Технологии интеллектуального анализа данных : учебное пособие

220 странство меньшей размерности и т.д. В некоторых задачах потре- буется дополнение исходных данных априорной информацией. 3. Преобразование (трансформация) данных. Этот этап необ- ходим для методов, требующих представления исходных данных в определенной форме. Преобразование данных осуществляется пу- тем их сглаживания (дополнительно к аналогичным процедурам на этапе подготовки), агрегирования (например, путем объединения данных, относящихся к некоторому периоду времени, интервалу значений числового атрибута и т.п.), обобщения (заменой низко- уровневых понятий высокоуровневыми), нормализации (например, приведением значений всех числовых атрибутов к интервалу от 0 до 1). Результатом трансформации данных должно быть их новое представление, имеющее как можно меньше атрибутов различного типа. Переход к такому представлению не должен вызывать боль- шие потери информации в контексте целевой задачи, например, при переводе качественного описательного признака в бинарное и процентное представление. 4. Data Mining. На этом этапе применяются различные инст- рументальные средства для нахождения знаний и закономерностей в данных. Это могут быть статистические пакеты, нейронные сети, эволюционные методы, алгоритмы поиска логических связей и за- кономерностей, а также гибридные модели, сочетающие в себе дос- тоинства различных технологий. В общем случае, сценарии приме- нения методов Data Mining могут быть самыми разными – от при- менения единственного метода до использования сложных их ком- бинаций, особенно если эти методы позволяют проанализировать данные с разных точек зрения. 5. Оценка (постобработка) данных – проверка построенных моделей и интерпретация полученных результатов. Очень простой и часто используемый способ оценки заключается в том, что все имеющиеся данные, которые необходимо анализировать, разбива-