Условия существования экстремума. Аналитические методы решения.

Если функция и ее производные непрерывны, то точка является точкой экстремума (максимума или минимума) тогда и только тогда, когда порядок ее первой, не обращающейся в ноль в точке производной есть четное число. При этом, если , то - точка максимума, если , то - точка минимума.

Таким образом, при классическом подходе для поиска минимума функции одной переменной необходимо решить уравнение и установить знак в полученных точках. Аналитическое решение такого уравнения в общем случае невозможно, поэтому используются методы приближенного решения уравнения , известные из математического анализа (методы Ньютона, бисекций, и т.д.).

Рассмотрим функцию действительных переменных. Введем матричные обозначения для точки в n-мерном пространстве, градиента (вектора частных производных первого порядка функции f) и гессиана (матрицы частных производных второго порядка):

- точка в n-мерном пространстве,

- градиент,

- гессиан (матрица Гессе).

- элемент - частная производная второго порядка.

Напомним, что - симметрическая матрица.

Предполагая непрерывность и всех ее частных производных, можно обобщить классический подход на случай n³2.

Достаточное условие минимума:

- положительно определена.

Достаточное условие максимума:

- отрицательно определена.

По критерию Сильвестра, если D₁>0, D₂= >0, …, D_n>0 – Матрица положительно определена; если D₁<0, D₂>0, D₃<0,… – Матрица отрицательно определена;

Пример:

, тогда

положительно определена при любом Х, поэтому точка (2, 4, 6) является точкой локального минимума, а так как это единственная стационарная точка, то она же является и точкой глобального минимума.

Таким образом, для решения задачи оптимизации классическим методом необходимо решить систему уравнений , что невозможно сделать аналитически за исключением очень узкого класса таких систем (например, система линейных уравнений невысокого порядка). Затем придется еще устанавливать определенность гессиана, что тоже является совсем нетривиальной задачей в случае больших размерностей. Все это приводит к необходимости разрабатывать итерационные процедуры решения задач оптимизации.