Введение в методы оптимизации

когда градиент существует не во всех точках или его вычис­ ление требует больших вычислительных затрат. Для таких задач разработаны методы, которые требуют только вычис­ ления значений функции. Одним из них является метод поко­ ординатного спуска. Рассмотрим задачу / ( х ) min, х е . Обозначим че­ рез е' вектор из £ „, г-я координата которого равна единице, а остальные координаты равны нулю. Введем последователь­ ность единичных координатных векторов ^s'' | , положив / =e\s" = = e\s"'' =e",s'-" =e\... Рассмотрим два наиболее распространенных варианта метода покоординатного спуска. Метод циклического покоординатного спуска. Сначала выбираются начальное приблшкение х" е Е" и начальная ве­ личина итерационного шага ад > О. Пусть далее при некото­ ром к известны приближение е Е" и число а^, > О. В случае выполнения неравенства f [ x ' ' +a^s''^ </(х*') по­ лагается - х'' = ttj.. Если указанное неравен­ ство не выполняется, но имеет место неравенство / ( х ^ )< / ( х ^ ) , то полагается х^'" = х^- a ^ s \ = = а^.. При справедливости хотя бы одного из данных нера­ венств (к -и 1)-ю итерацию называют удачной. Если (к -1- 1)-я итерация оказалась неудачной, т.е. не выполняется ни одно из указанных неравенств, то полага- 84