Внедрение предиктивной аналитики

Так что же необходимо для того, чтобы внедрить предиктивный анализ данных? Процесс предиктивного анализа может быть описан как процесс, состоящий из нескольких шагов, в которых сырые необработанные данные верифицируются и обрабатываются с целью создать предсказания на основе математической модели.

Для начала необходима постановка задачи. Перед созданием предиктивной модели следует определиться, какие показатели мы хотим получить на выходе, для какого временного интервала, в каких динамике и разрезах. Кроме того, для целей последующего сбора данных необходимо сформулировать гипотезы о предполагаемом влиянии тех или иных факторов на исследуемые показатели.

После того, как будут поставлена задача и сформулирована гипотеза, можно приступать к сбору исторических (ретроспективных) данных как по исследуемым показателям, так и по предикторам (факторам). В последнее время вычислительные мощности компаний растут, компании собирают данные как по своим внутренним показателям и процессам, так и по внешним факторам, поэтому при сборе данных важно определить требуемые источники данных среди доступных корпоративных и при необходимости дополнить их внешними.

При сборе данных необходимо учитывать их объем (глубину ретроспективы) и их качество. Эффективный анализ, получение объективных выводов возможно при большом объеме актуальных данных. Что же касается качества данных, то данные должны быть точными и чистыми от ошибок, то есть такими, чтобы им можно было доверять и корректно интерпретировать. Собранные данные необходимо проверифицировать и «очистить» от разного рода ошибок (например, удалить дубликаты, проверить на выбросы, исправить некорректные форматы и т.д.).

После того, как все данные будут собраны, начинается работа с ними. Речь идет об исследовательском (разведочном) анализе данных. Это этап выявления закономерностей, скрытых взаимосвязей в данных - так называемых «инсайтов». На данном этапе строится предиктивная модель. При построении модели важно определить предикторы – факторы, влияющие на прогнозируемые показатели / явления. Например, для построения прогнозов спроса на продукцию можно рассматривать такие предикторы, как погодные условия, сезонные распродажи, дни недели и праздничные дни, времени года и времени суток, а также уровень цен, денежные доходы населения и др.

Надо заметить, что для моделей, содержащих среди предикторов социально-экономические показатели (переменные параметры внешней среды), целесообразно строить сценарные прогнозы (в зависимости от альтернативных вариантов развития ситуации). Сценарное прогнозирование позволяет использовать несколько вариантов наиболее вероятных сценариев (например, базовый, пессимистический и оптимистический), которые обеспечат в будущем компании возможность быстро переориентироваться в изменяющихся условиях. Например, нашей компанией была разработана предиктивная модель, предназначенная для прогнозирования региональных балансов трудовых ресурсов и уровня безработицы в разрезе отраслей экономики.

Мы определили сценарные и управляемые параметры, сформулировали сценарии анализа и построили модель прогнозирования на основе методов корреляционно-регрессионного анализа. Среди сценарных параметров использовались такие показатели, как динамика численности населения по группам возрастов, индекс физического объёма производства по отраслям, инвестиции, индекс реальных располагаемых денежных доходов.

На данном этапе применяются статистические методы, методы интеллектуального анализа данных (Data Mining); современным трендом становится использование машинного обучения. Независимо от используемого метода, важным шагом в построении предиктивной модели является ее тестирование – оценка точности выдаваемых ей результатов, при необходимости - корректировка модели и повторное ее тестирование.

Основываясь на нашем опыте, мы бы рекомендовали разрабатывать предиктивные модели в рамках единой аналитической системы, а именно совместно с разработкой единого хранилища данных, при необходимости – с настройкой автоматической загрузки данных с сайтов статистических ведомств, с внедрением инструментария валидации исходных данных, разработкой форм ввода для сценарных параметров и отчетных форм / дашбордов для отображения значений прогнозных показателей.

А наша компания с удовольствием поможет вам в разработке таких систем.