Skip to content

09. Откуда берётся градиент: цепное правило ​

В уроке 08 мы получили формулу S−1[y]N и закодили её. В этом уроке — выводим её с нуля, вручную проверяем численной производной и разбираем, на что конкретно реагирует check_gradient.

Что именно доказываем ​

Один образец, C классов. Обозначим логиты z=(z1,…,zC), вероятности Sc(z)=ezc∑jezj, правильный класс — y. Потеря:

L(z)=−log⁡Sy(z)

Нам нужно ∂L∂zk для каждого k. По цепному правилу проходим через промежуточную точку S:

∂L∂zk=∑c=1C∂L∂Sc⏟легко⋅∂Sc∂zk⏟softmax-якобиан

Шаг 1. Производная по «своим» вероятностям ​

L=−log⁡Sy зависит только от Sy, поэтому

∂L∂Sc={−1Sy,c=y0,c≠y

Сумма в цепном правиле «схлопывается» в одно слагаемое:

∂L∂zk=−1Sy⋅∂Sy∂zk

Шаг 2. Якобиан softmax ​

Обозначим нормирующую сумму Z=∑jezj. Тогда Sc=ezc/Z, и нужно ∂Sc/∂zk.

Случай c=k (производная «по себе»). Считаем как частное, учитывая, что Z тоже зависит от zk (∂Z/∂zk=ezk):

∂Sk∂zk=ezk⋅Z−ezk⋅ezkZ2=Sk⋅(1−Sk)

Случай c≠k (производная «чужой» вероятности). В числителе ezc от zk не зависит, вся зависимость — через Z:

∂Sc∂zk=0⋅Z−ezc⋅ezkZ2=−Sc⋅Sk

Оба случая записываются одной формулой (δck — дельта Кронекера):

∂Sc∂zk=Sc(δck−Sk)

Шаг 3. Подставляем в цепное правило ​

Для k=y:

∂L∂zy=−1Sy⋅Sy(1−Sy)=−(1−Sy)=Sy−1

Для k≠y:

∂L∂zk=−1Sy⋅(−SySk)=Sk

Итог: ∂L∂z=S−1[y].

Почему это «чудо». log даёт множитель 1/Sy при дифференцировании, а якобиан softmax — множитель Sy (в обоих случаях, k=y и k≠y). Они сокращаются внахлёст, и от всей конструкции остаётся «вероятности минус one-hot». Без этого сокращения градиент softmax-CE был бы громоздкой дробью; именно поэтому softmax и CE обучают вместе, а не порознь.

Батч. Потеря батча — среднее: Lbatch=1N∑iLi, значит, и градиент делится на N:

∂Lbatch∂Z=S−1[y]N

(в матричной записи: по строкам).

Руками: численная проверка без check_gradient ​

Возьмём z=[1,0,0], y=1. Аналитически (урок 08): S=[0.576117,0.211942,0.211942] → grad=S−[0,1,0]=[0.576117,−0.788058,0.211942].

Численно — two-point formula с δ=10−5 (та же, что и внутри check_gradient, урок 07):

L(z+δek)−L(z−δek)2δ
координата kаналитическаячисленная (δ=1e-5)
00.5761170.576117
1−0.788058−0.788058
20.2119420.211942

Совпадение до 6 знаков — формула верна. check_gradient делает ровно это для каждой координаты входа (включая 2D-случай: np.nditer с multi_index перебирает все индексы).

На что реагирует check_gradient ​

python
fx, analytic_grad = f(x)
assert np.all(np.isclose(orig_x, x, tol)), "Functions shouldn't modify input variables"
assert analytic_grad.shape == x.shape
# далее — по каждой координате: двухточечная формула и сравнение с tol

Четыре классических способа его «разозлить»:

  1. In-place правки входа. predictions -= np.max(predictions) прямо в функции изменит x у проверяющего → сработает первый assert. Пишите p = np.asarray(...), вычитайте в новую переменную (как в решении урока 08).

  2. Неверный shape градиента. Вход (N,), а вы вернули (1, N) (или наоборот) → второй assert. Отсюда приём was_1d из решения урока 08.

  3. Забыв /N. Градиент в N раз больше → Gradients are different at (i,). Analytic: 0.14403, Numeric: 0.57612 (цифры «показывают» ровно кратность N).

  4. Максимум по осям, а не по строкам. Для батча Z=[[1,0,0],[100,0,0]] вычитание Z.max(axis=0) (максимум по столбцам) даёт S=[[5.1⋅10−44,0.5,0.5],[1/3,1/3,1/3]] вместо правильного [[0.576,0.212,0.212],[1,∼0,∼0]] — softmax «сломан по строкам», и градиент тоже.

    Почему axis=0 — ловушка: для 1D-входа axis=0 и есть единственная ось, всё работает. Ошибка проявляется только на батче — когда функция «проходит» cell 8 и падает в cell 14.

Практика ​

1. Два класса. z=[2,1], y=0. Найдите S и grad вручную (проверьте, что tanh-подобной симметрии здесь нет — просто деление двух экспонент).

2. Батч из N=4 идентичных образцов zi=[1,0,0], yi=1. Чему равен элемент grad[0][0]? (Сначала без кода: что делает усреднение при одинаковых строках?)

3. Коллега возвращает из softmax_with_cross_entropy градиент формы (C, N) — транспонированный. Что напечатает check_gradient при C≠N? А при C=N — что будет печататься и почему это хуже?

Показать решения

1. S1=e2e2+e1=ee+1=0.731059, S2=0.268941. grad =S−[1,0]=[−0.268941,0.268941]. Обратите внимание на симметрию внутри класса-пары: |grad1|=|grad2| — но это свойство именно C=2.

2. Усреднение не «смещает» ничего: каждый образец даёт одинаковое вложение, среднее равно вложению одного образца, делённому на 4: grad[0][0]=0.576117/4=0.144029 (градиент целиком [0.144029,−0.197015,0.052985]).

3. При C≠N — сразу assert analytic_grad.shape == x.shape и падение (RuntimeError, сообщение assert). При C=N (напр. 10 классов, батч 10) assert проходит — и дальше check_gradient сравнивает «транспонированные» координаты: напечатает Gradients are different at (0, 1). Analytic: ..., Numeric: ... и вернёт False. Хуже именно потому, что ошибка «тихая»: не падение, а долго гонять и не понять, почему не сходится.

Итоги урока ​

  • ∂L/∂z=S−1[y] — цепное правило через якобиан softmax; сокращение 1/Sy⋅Sy — причина простоты;
  • Батч: всё то же, делённое на N;
  • Численная проверка (two-point) — независимый «судья»: если аналитический и численный градиенты сходятся до 10−4 — формула почти наверняка верна;
  • Частые причины красного check_gradient: in-place правка входа, неверный shape, пропущенное /N, max(axis=0) вместо max(axis=1).

Следующий урок — 10. L2-регуляризация и linear_softmax: добавляем регуляризацию и «пришиваем» градиент к весам W.