🚀 Программа

Занятие 1 • 📄 Материалы • 📝 Записи

Обзор приложений задач оптимизации, реальных постановок задач оптимизации и результатов	Задача наименьших квадратов на данных всемирного банка. 🐍 code
Введение в библиотеку CVXPY	Практика с библиотекой CVXPY 🐍 code
Введение в векторы, матрицы, тензоры	Простые упражнения с матрицами. 🐍 code

Занятие 2 • 📄 Материалы • 📝 Записи

Собственные числа матрицы. Сингулярные числа матрицы.	Задача PageRank как поиск главного собственного вектора матрицы переходных вероятностей графа. 🐍 code
Матричные разложения: SVD, Skeleton. Каноническое разложение тензора.	Сжатие слоев в нейронных сетях с помощью Skeleton. 🐍 code
Метод главных компонент	Eigenfaces. 🐍 code

Занятие 3 • 📄 Материалы • 📝 Записи

Матрично-векторное дифференцирование.	Задачи на производные по матрицам/векторам. 🐍 code
Автоматическое дифференцирование.	Задачи на автоматическое дифференцирование. 🐍 code
Идея чекпоинтинга активаций для экономии памяти	Запихнем в GPU RAM трансформер с большим батчем с помощью чекпоинтинга. 🐍 code

Занятие 4 • 📄 Материалы • 📝 Записи

Выпуклость. Выпуклые множества.	🐍 code
Выпуклые функции. Сильно выпуклые функции.	Задачи на производные по матрицам/векторам. 🐍 code

Занятие 5 • 📄 Материалы • 📝 Записи

Портфельная теория Марковица.	Оптимизация финансового портфеля на примере реальных данных фондового рынка. 🐍 code
Условия оптимальности: безусловная оптимизация и оптимизация с ограничениями типа равенств.	Решение задачи наименьших квадратов. 🐍 code
Условия оптимальности: оптимизация с ограничениями типа неравенств. Условия Каруша-Куна-Таккера	Аналитическое решение задач оптимизации. 🐍 code

Занятие 6 • 📄 Материалы • 📝 Записи

Задача линейного программирования.	Построение простейшей рекомендательной системы для просмотра TED видеороликов как задача линейного программирования. Практика с библиотекой pulp. 🐍 code
Симплекс метод.	Планирование производства как задача линейного программирования в PyOMO. 🐍 code
Введение в Mixed Integer Programming.	Реализация решения задачи о рюкзаке и о расстановке королев на шахматной доске. 🐍 code

Занятие 7 • 📄 Материалы • 📝 Записи

Оптимизация без производных и задачи глобальной оптимизации.	Подбор гиперпараметров модели машинного обучения в Keras с помощью Optuna. 🐍 code
Линейный поиск.	Исследование разных стратегий линейного поиска для градиентного спуска. Наискорейший спуск. 🐍 code

Занятие 8 • 📄 Материалы • 📝 Записи

Градиентный спуск и ускоренные методы - метод тяжелого шарика. Ускоренный метод Нестерова.	Исследование работы градиентных методов в задаче бинарной логистической регрессии. 🐍 code
Особенности негладкой оптимизации. Субградиентный метод. Проксимальный градиентный метод.	Исследование работы градиентных методов в задаче многоклассовой (softmax) логистической регрессии с $\ell_1$-регуляризацией. 🐍 code

Занятие 9 • 📄 Материалы • 📝 Записи

Стохастический градиентный спуск. Батчи и эпохи.	Детектирование аномалий во временных рядах с помощью нейросетевого автоэнкодера. 🐍 code
Продвинутые стохастические градиентные методы. Методы уменьшения дисперсии. Адаптивные методы.	Реализация методов снижения дисперсии для выпуклых и сильно выпуклых задач. 🐍 code
Обучение нейронных сетей с точки зрения методов оптимизации.	Визуализация проекции функции потерь нейронной сети на прямую и плоскость 🐍 code

Занятие 10 • 📄 Материалы • 📝 Записи

Обучение больших моделей.	Обучение самой большой языковой модели на одной видеокарте в колабе 🐍 code
Метод Ньютона и квазиньютоновские методы.	Реализация метода градиентного спуска и метода Ньютона, иследование их численных свойств в задаче выбора оптимальных координат постройки базвых станций. 🐍 code
Подведение итогов. Вопросы слушателей.