Appearance
09. Откуда берётся градиент: цепное правило
В уроке 08 мы получили формулу check_gradient.
Что именно доказываем
Один образец,
Нам нужно
Шаг 1. Производная по «своим» вероятностям
Сумма в цепном правиле «схлопывается» в одно слагаемое:
Шаг 2. Якобиан softmax
Обозначим нормирующую сумму
Случай
Случай
Оба случая записываются одной формулой (
Шаг 3. Подставляем в цепное правило
Для
Для
Итог:
Почему это «чудо».
даёт множитель при дифференцировании, а якобиан softmax — множитель (в обоих случаях, и ). Они сокращаются внахлёст, и от всей конструкции остаётся «вероятности минус one-hot». Без этого сокращения градиент softmax-CE был бы громоздкой дробью; именно поэтому softmax и CE обучают вместе, а не порознь.
Батч. Потеря батча — среднее:
(в матричной записи: по строкам).
Руками: численная проверка без check_gradient
Возьмём
Численно — two-point formula с check_gradient, урок 07):
| координата | аналитическая | численная (δ=1e-5) |
|---|---|---|
| 0 | 0.576117 | 0.576117 |
| 1 | −0.788058 | −0.788058 |
| 2 | 0.211942 | 0.211942 |
Совпадение до 6 знаков — формула верна. check_gradient делает ровно это для каждой координаты входа (включая 2D-случай: np.nditer с multi_index перебирает все индексы).
На что реагирует check_gradient
python
fx, analytic_grad = f(x)
assert np.all(np.isclose(orig_x, x, tol)), "Functions shouldn't modify input variables"
assert analytic_grad.shape == x.shape
# далее — по каждой координате: двухточечная формула и сравнение с tolЧетыре классических способа его «разозлить»:
In-place правки входа.
predictions -= np.max(predictions)прямо в функции изменитxу проверяющего → сработает первый assert. Пишитеp = np.asarray(...), вычитайте в новую переменную (как в решении урока 08).Неверный shape градиента. Вход
(N,), а вы вернули(1, N)(или наоборот) → второй assert. Отсюда приёмwas_1dиз решения урока 08.Забыв
/N. Градиент враз больше → Gradients are different at (i,). Analytic: 0.14403, Numeric: 0.57612(цифры «показывают» ровно кратность). Максимум по осям, а не по строкам. Для батча
вычитание Z.max(axis=0)(максимум по столбцам) даётвместо правильного — softmax «сломан по строкам», и градиент тоже. Почему
axis=0— ловушка: для 1D-входаaxis=0и есть единственная ось, всё работает. Ошибка проявляется только на батче — когда функция «проходит» cell 8 и падает в cell 14.
Практика
1. Два класса.
2. Батч из
3. Коллега возвращает из softmax_with_cross_entropy градиент формы (C, N) — транспонированный. Что напечатает check_gradient при
Показать решения
1.
2. Усреднение не «смещает» ничего: каждый образец даёт одинаковое вложение, среднее равно вложению одного образца, делённому на 4:
3. При assert analytic_grad.shape == x.shape и падение (RuntimeError, сообщение assert). При check_gradient сравнивает «транспонированные» координаты: напечатает Gradients are different at (0, 1). Analytic: ..., Numeric: ... и вернёт False. Хуже именно потому, что ошибка «тихая»: не падение, а долго гонять и не понять, почему не сходится.
Итоги урока
— цепное правило через якобиан softmax; сокращение — причина простоты; - Батч: всё то же, делённое на
; - Численная проверка (two-point) — независимый «судья»: если аналитический и численный градиенты сходятся до
— формула почти наверняка верна; - Частые причины красного
check_gradient: in-place правка входа, неверный shape, пропущенное, max(axis=0)вместоmax(axis=1).
Следующий урок — 10. L2-регуляризация и linear_softmax: добавляем регуляризацию и «пришиваем» градиент к весам