Appearance
10. L2-регуляризация и linear_softmax
Два коротких TODO подряд: L2-штраф за «большие» веса и линейный слой с его градиентом по весам
Зачем L2-регуляризация
Сами по себе X @ W — 3072 × 10 чисел, и обучение может «затевать» их до больших значений: модель начинает реагировать на шум (переобучение), а оптимизация — становиться неустойчивой. L2-регуляризация (он же weight decay) добавляет к функции потерь штраф за норму весов:
где reg_strength). Большой
Почему
, а не ? Чтобы при дифференцировании двойка сократилась с , и градиент получился «чистым» . Конвенция, встречающаяся во всех учебниках.
TODO: l2_regularization в linear_classifer.py
По докстроингу: вход — W (любого shape) и reg_strength (float); выход — (loss, grad), где loss — одно число, grad — тот же shape, что W.
Вывод градиента в одну строчку:
Весь градиент — просто
python
def l2_regularization(W, reg_strength):
return 0.5 * reg_strength * np.sum(W * W), reg_strength * WБез циклов — W * W (поэлементное) и np.sum. Второй элемент кортежа — reg_strength * W: скаляр умножает весь массив (broadcasting), shape сохраняется.
Проверка в ноутбуке (cell 18)
python
linear_classifer.l2_regularization(W, 0.01)
check_gradient(lambda w: linear_classifer.l2_regularization(w, 0.01), W)Ожидаемый вывод (ориентир):
text
Gradient check passed!
TrueСами значения: loss = 0.06 (grad = [[0.01, 0.02], [-0.01, 0.01], [0.01, 0.02]].
TODO: linear_softmax в linear_classifer.py
Собираем всю модель в одну функцию: линейный слой → softmax → CE, градиент — по весам
Докстринг: X (batch, F), W (F, C), target_index (batch,) → (loss, dW), где dW (F, C).
Первая строчка уже дана в скелете — это и есть «прямой проход» линейного слоя:
python
predictions = np.dot(X, W) # (batch, F) @ (F, C) → (batch, C)Дальше — то, что уже реализовано (урок 08), и цепное правило для линейного слоя:
Почему так. Каждая ячейка
— это ровно элемент
Полная функция:
python
def linear_softmax(X, W, target_index):
predictions = np.dot(X, W) # (batch, C)
loss, dprediction = softmax_with_cross_entropy( # (batch, C)
predictions, target_index)
dW = X.T @ dprediction # (F, C)
return loss, dWЗамечание про bias. В этой модели отдельного вектора смещения linear_softmax знает только
Проверка в ноутбуке (cell 16)
python
batch_size, num_classes, num_features = 2, 2, 3
np.random.seed(42)
W = np.random.randint(-1, 3, size=(num_features, num_classes)).astype(float)
X = np.random.randint(-1, 3, size=(batch_size, num_features)).astype(float)
target_index = np.ones(batch_size, dtype=int)
loss, dW = linear_classifer.linear_softmax(X, W, target_index)
check_gradient(lambda w: linear_classifer.linear_softmax(X, w, target_index), W)После seed(42) получаем
text
loss = 1.0877576813083574
dW = [[-0.44039854, 0.44039854],
[-0.4166856 , 0.4166856 ],
[ 0.46411148, -0.46411148]]
Gradient check passed!
TrueПромежуточные шаги для самопроверки: loss = (2.1269 + 0.0486)/2 = 1.0878 ✓. Градиент по предсказаниям:
Практика
1. loss и grad.
2. Почему в градиенте L2 «пропала» двойка:
3. Почему dW = X.T @ dprediction, а не X @ dprediction.T? Подсказка: посчитайте shape обоих вариантов и сравните с shape
4. (На подумать) l2_regularization возвращает градиент
Показать решения
1. loss = 0.5 · 0.1 · (3² + (−1)²) = 0.05 · 10 = 0.5; grad = 0.1 · W = [0.3, −0.1].
2. Двойка из производной
3. dprediction: X @ dprediction.T: X.T @ dprediction:
4. Bias — «сдвиг» предсказания, он не связан с «размером» входов и обычно несёт в себе усреднённый логит; штрафовать его L2 — значит искусственно тянуть предсказания к нулю, что мешает модели «вырастить» нужный базовый уровень уверенности. В sklearn (LogisticRegression) bias по умолчанию не регуляризуется — тот же подход.
Итоги урока
- L2-штраф:
, градиент — (поэлементно); конвенция выбирается «для красоты» градиента; linear_softmax=X @ W→softmax_with_cross_entropy→dW = X.T @ dprediction; цепное правило для линейного слоя — транспонированное матричное произведение;- Bias в этой модели — колонка единиц в
(будет в уроке 11), отдельного вектора нет.
Следующий урок — 11. SGD: fit и predict: пишем цикл обучения и учимся читать кривую loss.