Введение в методы оптимизации

Будем считать, что некоторая начальная точка х° уже выбрана. Тогда метод заключается в построении последова­ тельности I по правилу = х'' >0, к = 0,1 ,2,... Число называют величиной итерационного шага или просто шагом градиентного метода. Если /(д:^) О, то шаг а^, > О всегда может быть выбран таким, чтобы выполнялось неравенство / Если функция / ( л ) выпукла на и удовлетворяет некоторым дополнительным требова­ ниям, то при некоторых способах выбора чисел > О, А: = 0,1,2,... последовательность будет удовлетворять условиям (3.2), т. е. метод будет сходиться к решению задачи. В зависимости от способа выбора шага получаются раз­ личные варианты градиентного метода. Перечислим наиболее употребительные способы выбора чисел , к = 0 ,1,2,... 1) На луче 6 ; х = - а/(х^), а >о | , направ­ ленном по антиградиенту, вводится функция одной переменной Ф,(а) = / ( х * - а / ' ( д : ' ) ) , И определяется > О из условия = . Этот аго вариант градиентного метода, называемый методом наиско­ рейшего спуска, характеризуется оптимальным способом вы­ бора шага на итерациях. При его использовании на каждой итерации требуется решать вспомогательную задачу одно­ мерной оптимизации. Для нахождения можно применять, бб