Skip to content

10. L2-регуляризация и linear_softmax ​

Два коротких TODO подряд: L2-штраф за «большие» веса и линейный слой с его градиентом по весам W. После этого урока вся «математика» модели собрана — в уроке 11 останется только крутить цикл обучения.

Зачем L2-регуляризация ​

Сами по себе W в X @ W — 3072 × 10 чисел, и обучение может «затевать» их до больших значений: модель начинает реагировать на шум (переобучение), а оптимизация — становиться неустойчивой. L2-регуляризация (он же weight decay) добавляет к функции потерь штраф за норму весов:

Ltotal(W)=LCE(W)+λ2‖W‖2⏟LL2(W)

где ‖W‖2=∑ijWij2, а λ>0 — «сила регуляризации» (reg_strength). Большой λ — модель «мягче» (веса ближе к нулю, решения проще), маленький — почти не влияет.

Почему λ2, а не λ? Чтобы при дифференцировании W2→2W двойка сократилась с 1/2, и градиент получился «чистым» λW. Конвенция, встречающаяся во всех учебниках.

TODO: l2_regularization в linear_classifer.py ​

По докстроингу: вход — W (любого shape) и reg_strength (float); выход — (loss, grad), где loss — одно число, grad — тот же shape, что W.

Вывод градиента в одну строчку:

∂∂Wij(λ2∑abWab2)=λ2⋅2Wij=λWij

Весь градиент — просто λW, поэлементно:

python
def l2_regularization(W, reg_strength):
    return 0.5 * reg_strength * np.sum(W * W), reg_strength * W

Без циклов — W * W (поэлементное) и np.sum. Второй элемент кортежа — reg_strength * W: скаляр умножает весь массив (broadcasting), shape сохраняется.

Проверка в ноутбуке (cell 18) ​

W берётся из cell 16 (W=[12−1112], ‖W‖2=1+4+1+1+1+4=12), λ=0.01:

python
linear_classifer.l2_regularization(W, 0.01)
check_gradient(lambda w: linear_classifer.l2_regularization(w, 0.01), W)

Ожидаемый вывод (ориентир):

text
Gradient check passed!
True

Сами значения: loss = 0.06 (=0.5⋅0.01⋅12), grad = [[0.01, 0.02], [-0.01, 0.01], [0.01, 0.02]].

TODO: linear_softmax в linear_classifer.py ​

Собираем всю модель в одну функцию: линейный слой → softmax → CE, градиент — по весам W.

Докстринг: X (batch, F), W (F, C), target_index (batch,) → (loss, dW), где dW (F, C).

Первая строчка уже дана в скелете — это и есть «прямой проход» линейного слоя:

python
predictions = np.dot(X, W)     # (batch, F) @ (F, C) → (batch, C)

Дальше — то, что уже реализовано (урок 08), и цепное правило для линейного слоя:

predictions=XW⇒∂L∂W=XT⋅∂L∂predictions

Почему так. Каждая ячейка Wjc получает вклад от всех образцов батча: L зависит от Wjc через каждый predictionsic=∑jXijWjc, то есть

∂L∂Wjc=∑i∂L∂predictionsic⋅Xij

— это ровно элемент (j,c) произведения XT⋅dprediction. Проверка по shape: (F,batch)⋅(batch,C)=(F,C) — как раз shape W.

Полная функция:

python
def linear_softmax(X, W, target_index):
    predictions = np.dot(X, W)                       # (batch, C)
    loss, dprediction = softmax_with_cross_entropy(  # (batch, C)
        predictions, target_index)
    dW = X.T @ dprediction                           # (F, C)
    return loss, dW

Замечание про bias. В этой модели отдельного вектора смещения b нет — в уроке 11 мы «приклеим» в конец X колонку единиц, и bias станет просто ещё одной группой весов (столбцом W). Поэтому linear_softmax знает только W.

Проверка в ноутбуке (cell 16) ​

python
batch_size, num_classes, num_features = 2, 2, 3
np.random.seed(42)
W = np.random.randint(-1, 3, size=(num_features, num_classes)).astype(float)
X = np.random.randint(-1, 3, size=(batch_size, num_features)).astype(float)
target_index = np.ones(batch_size, dtype=int)

loss, dW = linear_classifer.linear_softmax(X, W, target_index)
check_gradient(lambda w: linear_classifer.linear_softmax(X, w, target_index), W)

После seed(42) получаем X=[−1−11011], W=[12−1112], обе метки = 1. Ожидаемые значения (ориентир):

text
loss = 1.0877576813083574
dW = [[-0.44039854,  0.44039854],
      [-0.4166856 ,  0.4166856 ],
      [ 0.46411148, -0.46411148]]
Gradient check passed!
True

Промежуточные шаги для самопроверки: predictions=XW=[1−103]; строка 1: S=[0.8808,0.1192] → CE₁ =−log⁡0.1192=2.1269; строка 2: S=[0.0474,0.9526] → CE₂ =−log⁡0.9526=0.0486; loss = (2.1269 + 0.0486)/2 = 1.0878 ✓. Градиент по предсказаниям: dprediction=(S−1[y])/2=[0.4404−0.44040.0237−0.0237], и dW=XTdprediction — сверьте по строкам (каждая строка XT «собирает» вклады образцов).

Практика ​

1. W=[[3,−1]], λ=0.1. Найдите loss и grad.

2. Почему в градиенте L2 «пропала» двойка: ∂(λ2W2)/∂W=λW, а не λ2⋅2W=λW «с остатком»? (Это вопрос на внимательность: что именно сокращается?)

3. Почему dW = X.T @ dprediction, а не X @ dprediction.T? Подсказка: посчитайте shape обоих вариантов и сравните с shape W.

4. (На подумать) l2_regularization возвращает градиент λW по всем W. А если бы в модели был отдельный bias b (без колонки единиц)? Регуляризовать ли b и почему в большинстве практик его не штрафуют?

Показать решения

1. loss = 0.5 · 0.1 · (3² + (−1)²) = 0.05 · 10 = 0.5; grad = 0.1 · W = [0.3, −0.1].

2. Двойка из производной W2→2W и есть та самая двойка, которую сокращает множитель 1/2 в определении. 0.5⋅λ⋅2W=λW. Ничего «не пропадает» — это и есть смысл конвенции λ/2: чтобы финальная формула не несла лишних коэффициентов.

3. X: (batch,F), dprediction: (batch,C). X @ dprediction.T: (batch,F)⋅(C,batch) — не сошлось (размеры внутренней пары: F≠C в общем случае, и даже когда сошлось, это не тот тензор). X.T @ dprediction: (F,batch)⋅(batch,C)=(F,C) — ровно shape W, и по элементам это сумма ∑iXijdpredic — как в выводе выше.

4. Bias — «сдвиг» предсказания, он не связан с «размером» входов и обычно несёт в себе усреднённый логит; штрафовать его L2 — значит искусственно тянуть предсказания к нулю, что мешает модели «вырастить» нужный базовый уровень уверенности. В sklearn (LogisticRegression) bias по умолчанию не регуляризуется — тот же подход.

Итоги урока ​

  • L2-штраф: λ2‖W‖2, градиент — λW (поэлементно); конвенция λ/2 выбирается «для красоты» градиента;
  • linear_softmax = X @ W → softmax_with_cross_entropy → dW = X.T @ dprediction; цепное правило для линейного слоя — транспонированное матричное произведение;
  • Bias в этой модели — колонка единиц в X (будет в уроке 11), отдельного вектора b нет.

Следующий урок — 11. SGD: fit и predict: пишем цикл обучения и учимся читать кривую loss.