Ninul A. S. Optimization of Objective Functions: Analytics. Numerical Methods. Design of Experiments. – Moscow: Scientific Publisher “Fizmatlit”, 2009, 336 p., 18 ill., 5 tab. (in Russian).
See this book, for example, in the Internet Archive page
https://archive.org/details/optimizatsija-tselevykh-funktsij-by-ninul-a-s-moscow-fizmatlit-2009-336-p
or in the Google Books page
https://books.google.ru/books?id=2PQuEAAAQBAJ .

Description
The main goals of this monograph are to consider the basic optimization methods of searching and analysis of extremum for objective functions (up to mathematical programming) in logic order which emphasizes their genesis, and to fill up the existing in this field important "blind spots". Typical and new useful examples of solving extremal problems in the areas of math analysis, general and linear algebra, theoretical and practical optimization using calculations, algorithms, approximations, linear regression with planning and experiments are given. We may note, for instance, the new differential method of inferring algebraic inequalities with specific examples of its working. In the frame of an extremal approach and by the way, the book solved in general kind two mathematical Problems posed by great mathematicians in the past (see below).
In the first Chapter the analytical aspects of finding an unconditional extremum for objective functions in a scalar or vector variable are considered. The solutions of special tasks and problems are discussed, for example, the proof of full hierarchy (general inequality) for all average positive values. (Specific illustrative meaning to decision of the last task in its general forms is given further in Chapters 3 and 4.) Besides, here it is given a solution of the Newtonian Problem about a relationship between coefficients of direct and inverse analytic power series, which is equivalent to the Problem of a relationship between derivatives of any orders for direct and inverse analytic functions. By the way with this solution, unusual isoparametric polynomials y(x) were introduced, incl. mirror ones y(x) and x(y), as well as differential invariants of order 2 or more for flat curves y(x) and x(y).
In the second Chapter the analytical aspects of finding a conditional extremum for objective functions in a constrained vector variable – either depended on some parameters or bounded by some connection equations, are considered. In addition, analytical basis of optimization by limit methods revealed (with small or big parameters). The geometrical interrelation between all three directions of conditional optimization is demonstrated with the use of functional eigenprojectors in two symmetric matrix forms. For analysis of a conditional extremum, a characteristic (secular) equation in stationary point for "conditional eigenvalues" of the Hesse matrix is derived. In particular, such approach gave an explicit exact solution for finding extremum of an objective function of the second order in a linearly constrained vector variable.
In the third Chapter a formal analysis for nonholomorphic real objective functions in complex conjugated or mixed variables is developed (i.e., without, as is usually done, doubling their dimension). With the use of the formal complex analysis, the methods of unconditional and conditional optimization for real objective functions in one or several pairs of complex conjugate or mixed variables are proposed.
In the fourth Chapter some important examples of solutions of extremal problems in general and linear algebra are given. As one of the results it is possible to note the theorem about complete requirements to the coefficients of a real algebraic equation that provide reality or positivity of all its roots, that there is a general solution to the Problem posed by Descartes and partially solved by himself in simplest cases.
In the fifth Chapter the main numerical methods of the orders 0, 1 and 2 of searching extremum for objective functions in one or several scalar variables are considered. Methods of searching conditional extremum are considered separately in the two cases of the vector variable – depended or bounded as mentioned earlier.
In the sixth Chapter the main planned-calculational methods of searching extremum for objective functions in several scalar variables on the basis of their difference models of the 1st, incomplete and complete 2nd orders are considered.
In the seventh Chapter the main planned-experimental methods of searching extremum for objective functions of response in several factors on the basis of their linear regression models, identical by form to difference models of the 1st, incomplete and complete 2nd orders mentioned above, are considered. Along the way, exact formulas and values of all accompanying computational parameters for the well-known multi-dimensional Box-Wilson Plan of experimental optimization of the 2nd order are derived (!).
In both last Chapters, the useful and correct simple criterion of approximated and regression models adequacy to their original objective functions is proposed.
The book is intended for specialists and users in the field of analysis and solutions of extremal problems, as well as for researchers, scientific worker, teachers, post-graduate students and students of mathematical, physical, and technical specialties.
In a paper form this book, without having it, can be looked through in many large scientific libraries. In a digital form one may read or upload it, for instance, in the Internet Archive or in the Google books (see web-address above), also in E-library.ru, E-library of MSU’s Mech Math Faculty (section Optimization), etc.
ISBN-13: 978-5-94052-175-4
Circulation of the book in Fizmatlit Publisher in 2009: 1000 copies
All rights reserved. Copyright: © 2009 by Anatoly S. Ninul
Personal author's web-site for communications: http://ninul-eng.narod.ru .

Описание
Главная цель данной монографии состоит в том, чтобы рассмотреть все основные аналитические, численные, планово-вычислительные и планово-экспериментальные методы поиска и анализа экстремума целевых функций от одной или нескольких переменных в логичном порядке, подчёркивающем их генезис, а также заполнить "белые пятна", имеющиеся в литературе по оптимизации. Столь обширный охват методов оптимизации, вплоть до математического программирования, обусловлен стремлением автора отобразить в одной книге главные проблемы оптимизации в целом. В книге решены две математические проблемы, поставленные великими математиками в прошлом. Даны характерные и новые полезные примеры решений экстремальных задач в областях математического анализа, общей и линейной алгебры, теоретической и практической оптимизации с применением аппроксимации, планирования и регрессии.
В 1-й главе излагаются аналитические аспекты решения задач на безусловный экстремум для целевых функций от скалярного или векторного аргумента. Рассматриваются решения специальных задач и проблем, в том числе задачи на доказательство иерархии (генерального неравенства) для всех средних величин, которой в 1, 3 и 4-й главах придаётся особое иллюстративное значение. Попутно дано решение проблемы Ньютона о связи коэффициентов прямого и обратного аналитических степенных рядов. Она же эквивалентна задаче о связи производных любого порядка прямой и обратной ей аналитических функций. Вместе с её решением, были введены необычные изопараметрические многочлены y(x), в т.ч. зеркальные y(x) и x(y), а также дифференциальные инварианты порядка 2 и более для плоских кривых y(x) и x(y).
Во 2-й главе излагаются аналитические аспекты решения задач на условный экстремум для целевых функций от векторного аргумента – либо зависимого от каких-нибудь параметров, либо ограниченного какими-нибудь уравнениями связи. Кроме того, в этой главе установлены аналитические основы предельных методов оптимизации. Показана геометрическая взаимосвязь всех трёх направлений условной оптимизации с применением собственных функциональных проекторов в двух матричных симметричных формах. Попутно дано явное и точное решение задачи оптимизации функции 2-го порядка при линейной связи её аргументов. Для анализа её экстремума выведено точное характеристическое (вековое) уравнение для “условных собственных значений” матрицы Гессе.
В 3-й главе развиты методы безусловной и условной оптимизации целевых неголоморфных вещественных скалярных функций от одного или нескольких комплексных сопряжённых или смешанных аргументов с применением операций формального комплексного анализа, т.е. без увеличения размерности комплексных аргументов как обычно принято вдвое.
В 4-й главе даны важные примеры решения экстремальных проблем в общей и линейной алгебре. Как один из результатов, выведено полное и, по сути, экстремальное требование к коэффициентам вещественного алгебраического уравнения степени n для вещественности, в т.ч. положительности, всех его корней, что есть общее решение проблемы, поставленной Декартом и частично решённой им самим для простейших случаев.
В 5-й главе рассматриваются основные численные методы поиска экстремума для целевых функций 0-го, 1-го и 2-го порядка от одного или нескольких скалярных аргументов. Отдельно изложены методы поиска условного экстремума в двух ранее указанных вариантах ограниченного аргумента – зависимого или связанного.
В 6-й главе рассмотрены планово-вычислительные методы поиска экстремума для целевых функций от нескольких скалярных аргументов на основе их разностных моделей 1-го, неполного и полного 2-го порядка.
В 7-й главе рассмотрены планово-экспериментальные методы поиска экстремума для целевых функций отклика от нескольких скалярных факторов на основе их линейных регрессионных моделей, тождественных по форме разностным моделям 1-го, неполного и полного 2-го порядка, указанных выше. Попутно выведены точные формулы и значения для всех сопутствующих вычислительных параметров хорошо известного многомерного Плана Бокса-Уилсона для экспериментальной оптимизации 2-го порядка (!).
В обеих последних главах предложен полезный и простой корректный критерий адекватности аппроксимированных и регрессионных моделей их оригинальным целевым функциям.
Книга предназначена для специалистов и пользователей в области анализа и решений экстремальных задач, а также для исследователей, научных работников, преподавателей, аспирантов и студентов физико-математических и технических специальностей.
В бумажной форме эту книгу, не имея её, можно посмотреть во многих больших научных библиотеках. В цифровой форме, она может просматриваться и скачиваться, например, в Internet Archive и Google Books (см. веб-адреса вначале), а также в E-library.ru, E-library Мехмат факультета МГУ (секция Оптимизация) и т.д.
Веб-сайт автора для контактов: http://ninulas.narod.ru (with English main page).