Анализ данных (Data analytics)

Лаборатория анализа больших данных способна решать самые различные задачи по сбору, хранению, обработке и анализу данных.

Технологический стек:

Решения	Технологии
Инструменты для обработки и анализа	Python (язык программирования), NumPy (библиотека для научных вычислений), Pandas (библиотека анализа данных), PyCharm (интегрированная среда разработки), Pytorch (библиотека глубокого обучения), Featuretools + Dask (библиотека для автоматического создания признаков), Sklearn ( библиотека машинного обучения), Numpy ( библиотека для научных вычислений), XGBoost (библиотека градиентного бустинга), LGBM (библиотека градиентного бустинга), CatBoost (библиотека машинного обучения), SQLite (встраиваемая СУБД) и др.
Инструменты отчетности и визуализации данных	Plotly Dash (фреймворк для создания дашбордов), Grafana (платформа визуализации), PowerBI (инструмент бизнес-аналитики) и др.
Хранилища данных	Microsoft SQL (БД от Microsoft), PostgreSQL (объектно-реляционная СУБД), ClickHouse (колоночная СУБД), ELK (стек для логирования)
Интеграционные решения	Talend ESB (сервисная шина)
Компьютерное зрение	OpenCV , Tensorflow, Keras (библиотеки компьютерного зрения)

Высокая интенсивность поступающих сигналов с оборудования в диспетчерский центр при возникновении инцидентов требует большого штата сотрудников для их обработки. При этом, как правило, появляются ошибки человеческого фактора.

Задача - снизить нагрузку на операторов центра мониторинга путем автоматической фильтрации и ранжирования поступающих инцидентов.

Для решения данной задачи Innostage готова предложить решение по автоматической классификации инцидентов на основе машинного обучения. Разработанная модель интегрируется с системой Service Desk (Служба поддержки) или другой системой для учета и управления инцидентами или обращениями, и позволяет:

• Автоматически определять класс инцидента по первично зарегистрированным признакам.
• Автоматически обновлять класс инцидента по мере поступления новых и обновления существующих признаков.
• Автоматически выполнять обновление модели классификации с учетом вновь поступающих данных.

• Учитывается жизненный цикл обращения;
• При классификации описательных текстов используются современные наработки по распознаванию естественного языка;
• Поддержка бинарной и множественной классификации;
• Поддержка плоских и иерархических типов справочников;
• Автоматическое дообучение модели по мере накопления новых данных;
• Широкие возможности по интеграции.

Прогнозирование оттока клиентов

В условиях высокой конкуренции коммерческим предприятиям важно сохранять долгосрочные отношения с текущими клиентами – физическими и юридическими лицами.

Задача модели: предсказать на основе имеющихся данных переход Клиентов из состояния активности в состояние неактивности с интересующим горизонтом предсказания.

• Учитывается жизненный цикл Клиента в системе;
• Учитывается изменение анкетных данных и транзакций клиента;
• Определяется перечень влияющих на отток факторов, при этом для анализа используются как существующие, так и автоматически рассчитываемые признаки;
• При классификации используются современные инструменты генерации признаков и методы машинного обучения;
• Поддержка плоских и иерархических типов справочников;
• Автоматическое дообучение модели по мере накопления новых данных;
• Широкие возможности по интеграции.

Предиктивная диагностика оборудования

Промышленным предприятиям важно выявлять нарушения в работе технологического оборудования на ранней стадии и без остановки рабочего процесса.

Задачу диагностирования оборудования можно решить на основе анализа параметров, которые характеризуют технологический процесс и регистрируются штатными контрольно-измерительными приборам.

Innostage готова предложить решение для предиктивной диагностики оборудования, в котором применены современные нейросетевые модели, позволяющие анализировать телеметрию, учитывая временные взаимосвязи между компонентами.

Решение позволяет:

• Собирать, хранить и обрабатывать эксплуатационные параметры объекта мониторинга в режиме реального времени;
• Детектировать нетипичное (аномальное) поведение объекта мониторинга;
• Локализовать выявленную аномалию – определять время начала и окончания, определять наиболее релевантные параметры, связанные с обнаруженным отклонением в работе оборудования (в том числе определять весовые коэффициенты параметров);
• Формировать отчеты об аномалиях в автоматическом режиме и отправлять их на электронную почту или в смежные производственные системы;
• Визуализировать информацию в виде интерактивных графиков для подробного изучения причинно-следственных связей;
• Сэкономленные средства от применения технологии предиктивной диагностики можно оценить, как сумму произведений стоимости ущерба, который возможно не допустить на вероятность возникновения данного ущерба.

• Интеграция с АСУ ТП для получения параметров, характеризующих объект мониторинга.
• Интеграция с внешними системами мониторинга и диспетчеризации для отправки информации об обнаруженных аномалиях.
• Использование современных методов на основе нейронных сетей.
• Работа в режиме реального времени.
• Автоматическое дообучение модели по мере накопления новых данных.
• Визуализация информации на интерактивных графиках.
• Возможность прогнозировать дефект/отказ (в случае возможности разметки соответствующей информации на исторических данных).

BI-аналитика (Business Intelligence – бизнес-аналитика) и визуализация данных для оптимизации банковских процессов

Любой банк является источником огромных массивов данных: информация о клиентах, совершенных операциях, сделках и многом другом. Для обеспечения конкурентоспособности в финансовом секторе необходимо не только собирать и обрабатывать данную информацию, но и выявлять закономерности, описывать новые связи между объектами, предсказывать значения одних признаков на основе других.

Построение системы визуального анализа данных для оптимизации банковских процессов позволит решить следующие проблемы:

• Оценить эффективность работы подразделения и отдельных сотрудников;
• Найти зоны для последующей оптимизации процесса, включая т.н. «бутылочные горлышки»;
• Сформировать базис для принятия корректирующих управленческих решений.

• Анализ и описание текущих банковских бизнес-процессов «как есть»;
• Формирование модели для последующего анализа данных;
• Создание аналитических дэшбордов по различным показателям процесса.

Применение Системы визуального анализа данных возможно в разных предметных областях, поскольку поиск аномалий и закономерностей можно проводить в любых структурированных данных, например:

• В процессах корпоративного бизнеса: кредитование ЮЛ, расчётно-кассовое обслуживание ЮЛ, депозиты ЮЛ;
• В процессах розничного бизнеса: кредитование ФЛ, депозиты ФЛ, банковские карты;
• В процессах инвестиционного бизнеса и казначейства: работа на рынке ценных бумаг, управление ликвидностью и др.;
• В процессах управления просроченной задолженностью.