Редактирование: Методы Оптимизации, Теормин
Материал из eSyr's wiki.
Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.
ПРЕДУПРЕЖДЕНИЕ: Длина этой страницы составляет 40 килобайт. Страницы, размер которых приближается к 32 КБ или превышает это значение, могут неверно отображаться в некоторых браузерах. Пожалуйста, рассмотрите вариант разбиения страницы на меньшие части.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия | Ваш текст | ||
Строка 313: | Строка 313: | ||
=== Формула градиентного метода в задаче безусловной минимизации === | === Формула градиентного метода в задаче безусловной минимизации === | ||
''Методичка. стр 41-42'' | ''Методичка. стр 41-42'' | ||
- | |||
- | Основная идея: | ||
- | * берем некоторое начальное значение | ||
- | * итеративно вычисляем [http://ru.wikipedia.org/wiki/%D0%93%D1%80%D0%B0%D0%B4%D0%B8%D0%B5%D0%BD%D1%82 градиент] целевой функции | ||
- | * двигаемся в обратном направлении | ||
- | * и так постепенно приходим к (локальному) минимуму функции | ||
- | |||
- | '''Формула градиентного метода''' -- <math>x^{t+1} = x^t - \alpha_t \mathrm{grad} f(x^t)</math>, где <math>\alpha_t</math> -- шаговый множитель: | ||
- | * пассивный способ: <math>\{\alpha_t\}</math> выбирается заранее | ||
- | * адаптивный способ: <math>\{\alpha_t\}</math> выбирается в зависимости от реализующейся <math>x_t</math> | ||
- | ** метод скорейшего спуска -- <math>\alpha_t \in \arg \min_{\alpha > 0} f(x^t - \alpha \mathrm{grad} f(x^t))</math> | ||
- | ** метод дробления (деления пополам) -- если <math>f(x^{t+1}) > f(x^t)</math>, то возвращаемся к шагу <math>t</math> с новым значением <math>\alpha_t = \alpha_t / 2</math> | ||
=== Идея метода Ньютона === | === Идея метода Ньютона === |