Технологии интеллектуального анализа данных : учебное пособие

230 Рис. 4.4. Упорядоченные данные с пропусками Рис. 4.5. Данные после заполнения пропусков Редактирование аномалий. Аномалии – это отклонения от нормального (ожидаемого) поведения чего-либо, например, резкое отклонение величины от ее ожидаемого значения. Автоматическое редактирование аномальных значений осу- ществляется с использованием методов робастной фильтрации, в основе которых лежит использование робастных статистических оценок, таких, например, как медиана. При этом можно задать эм- пирически подобранный критерий того, что считать аномалией. Например, задание в качестве степени подавления аномальных данных значение «слабая» означает наиболее терпимое отношение к величине допустимых выбросов. На рис. 4.6 приведен пример величины с аномалиями. После применения алгоритма удаления аномалий та же вели- чина представляется так, как показано на рис. 4.7. Сглаживание. Для сглаживания рядов данных часто исполь- зуются два алгоритма. Первый способ сглаживания – это низкочастотная фильтра- ция с использованием быстрого преобразования Фурье. При этом задается верхнее значение полосы пропускаемых частот, т.е. отсе- кается все, что выше данного порога. Высокочастотная состав- 0 0,2 0,5 0,88 1,3 1,7 2,1 2,5 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,4 0,8 1,46 1,9 2,3 2,7 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1