.png "Innostage Group"){kind=logo}
In-Dap Models - ваш инструмент для моделирования
Данные — это новое золото современного мира. И от того насколько эффективно компания может работать с данными зависит ее конкурентное преимущество.Если вы сталкивались с описанными ниже проблемами при работе с данными, наш инструмент для вас.
- Затянутые сроки реализации моделей, не позволяют своевременно принимать решения
- Высокие требования к квалификации разработчиков требуют усилий по подбору и удержанию кадров
- Стоимость разработки модели снижает экономический эффекты от ее применения
- Множество моделей, написанных в разное время на разных технологиях, требуют дополнительных усилий по их поддержке
- Полученные результаты разбросаны по корпоративному хранилищу, что требует усилий при поиске данных
- Требуются так же дополнительные усилия по разграничении прав доступа к промежуточным и итоговым данным
Именно для решения этих проблем был разработан инструмент моделирования Innostage Data Analysis Platform. Models или In-Dap Models.
Инструмент предназначен для выполнения всего цикла задач, связанных с разработкой и эксплуатацией моделей. При разработке инструмента мы ставили перед собой цели:
- Простота разработки и поддержки кода
- Отсутствие необходимости разработки UI для конечных пользователей
- Гибкость и простота разграничения прав доступа
- Безопасность использования - защита данных
- Функциональность - возможность использования инструмента в различных ситуациях и для решения различных задач
Сферы применения
Продукт может быть использован как:- часть ситуационных центров, решающая нестандартные "ситуационные" задачи
- инструмент для поиска решений в сфере улучшения показателей бизнеса
- часть производственных и других систем, берущая на себя задачи сложных вычислений
Описание инструмента
In-Dap Models представляет собой среду для разработки моделей, а также инструмент конечного пользователя, позволяющий работать с моделями. Ниже представлены основные составные части инструмента.Модели
Модель представляет собой некую программу, предназначенную для получения, обработки данных и сохранения результатов. Модели могут решать следующие задачи:
- Поиск зависимостей;
- Прогнозирование;
- Подбор оптимальных параметров;
- Классификация и ранжирование;
- Выявление аномалий;
- Другие задачи анализа и обработки данных.
Узлы модели
Узел модели, получая данные от предыдущих узлов, выполняет Расчет (загрузку/выгрузку и обработку данных) и передаёт результаты в следующий узел. Такой подход позволяет разбивать сложные алгоритмы на простые блоки, что в свою очередь позволяет переиспользовать блоки, запускать блоки индивидуально, контролировать промежуточные результаты и т.д.
Алгоритм, по которому Узлы представляют собой скрипты, разработанные на языке Python, которые доступны к редактированию и модификации в любой момент. Узлы могут содержат различные параметры, управляющие ходом обработки данных, настраиваемые разработчиком
Каждая модификация Узла, Скрипта и Модели сохраняется в виде версии, так, что можно вернуться к более ранней версии и выполнить с ее помощью Расчет или восстановить старую версию.
Для большего удобства можно сохранять как отдельные узлы, так и совокупность узлов и их настроек в Галерее готовых решений для повторного использования в других моделях.
Однажды разработанную модель можно использовать многократно.
Эпизоды
Эпизоды представляют собой набор данных, полученный при использовании Модели на конкретных данных или в конкретной ситуации.
Эпизод хранит всю необходимую информацию - полученные данные, промежуточные результаты, итоговые данные, значения параметров, версии модели, узлов, скриптов на которых данные были получены.
Сравнение результатов
Данный механизм предназначен для наглядного сравнения результатов выполнения Расчетов при различных состояниях (например, узла в разных эпизодах при различных начальных условиях).
Планировщик
Инструмент планирования выполнения расчетов позволяет создавать расписание, согласно которому будет производиться Расчет. Все проведенные при этом расчеты сохраняются так же в виде Эпизодов.
Панели АРМ - рабочее пространство пользователя
Данный инструмент предназначен для настройки рабочего места конечного пользователя, работающего с моделями. Настройка возможна благодаря использованию "настраиваемых виджетов", из которых складывается рабочее пространство. Благодаря этому инструменту нет необходимости в разработке UI для каждой модели.
Технические особенности
- Работа с большими данными. Инструмент позволяет работать с терабайтами информации за счет использования хранилища стандарта S3
- Подключение удаленных обработчиков позволяет распределять вычисления и хранение данных для повышения производительности.
