- Введение в численные методы выпуклой оптимизации. Градиентный спуск, ускоренный градиентный спуск, метод Чебышёва, метод сопряженных градиентов.
Ссылки: [1] п. 2.4
- Градиентный спуск для задач невыпуклой оптимизации. Условие Поляка-Лоясиевича.
Ссылки: см. [2] параграф 1
- Методы решения малоразмерных задач выпуклой оптимизации. Метод центров тяжести, эллипсоидов.
Ссылки: см. [2] упражнение 1.4 и [1], п. 2.2
- Негладкая оптимизация. Субградиентный метод. Неточный оракул (сведение негладких задач к гладким).
Ссылки: см. [2] первая половина параграфа 2, упражнения 2.1, 2.2, 2.6
- Методы проекции градиента. Композитная оптимизация.
Ссылки: см. [2] вторая половина параграфа 2, параграф 3 в части композитной оптимизации и замечание 5.2
- Введение стохастическую оптимизацию. Стохастический градиентый спуск.
Ссылки: см. Лекция 11
- Оптимальные методы решения гладких и негладких выпуклых и сильно выпуклых задач оптимизации. Метод рестартов и регуляризации. Приводятся таблички, резюмирующие основные результаты, полученные в предыдущих лекциях.
Ссылки: см. [1] п. 2.1 и [1] замечание 4.1, конец параграфа 5 и начало Приложения
- Метод условного градиента, универсальный градиентный метод.
Ссылки: см. [1] п. 2.6 и [2] параграфы 2, 5
- Решения задач оптимизации с ограничениями. Принцип множителей Лагранжа, двойственная задача, теорема Сиона-Какутани, формула Демьянова-Данскина, регуляризация двойственной задачи.
Ссылки: см. [2] все до примера 4.1(не включительно)). Также упражнения 4.1, 4.2, 4.4 и замечание 4.3
- Рандомизированные методы. Метод рандомизации суммы, покомпонентные методы.
Ссылки: [2] замечание 1) приложения и п. 6.4 работы в части покомпонентных методов.
- Метод Ньютона и окрестность квадратичной сходимости. Тензорные методы.
Ссылки: см. [2] стр. 218-223, [1] п. 2.8.
Литература
[1] Воронцова Е.А., Хильдебранд Р., Гасников А.В., Стонякин Ф.С. Современные численные методы оптимизации. Выпуклый анализ. М.: МФТИ, 2021
[2] Гасников А.В. Универсальный градиентный спуск. М.: МЦНМО, 2020