Skip to content

12. Гиперпараметры и сдача задания ​

Финальный TODO ноутбука: перебрать lr×reg сеткой, выбрать пару по validation и прогнать её по test. Плюс — что писать в отчёт и что должно быть закоммичено.

У модели два гиперпараметра: learning_rate и reg. Обучение слепое к ним — мы не можем вычислить их градиент, поэтому просто перебираем: каждая пара (lr,reg) → свой тренировочный прогон → своя val-точность → берём лучшую пару.

Два правила, без которых grid search «сломан»:

  1. Новый классификатор на каждую пару. fit переиспользует self.W, если он уже есть (урок 11): если крутить один объект в цикле, каждая следующая пара будет «дообучаться» от весов предыдущей — сравнение станет бессмысленным.
  2. Лучшая пара — по val, а не по test. Test — «экзамен»: на него смотрят один раз в самом конце. Подбирать гиперпараметры по test — это «зубрить билеты» (тест-данные участвуют в принятии решений и перестают быть независимой оценкой).

TODO: сетка в cell 25 ​

python
for lr in learning_rates:
    for reg in reg_strengths:
        classifier = linear_classifer.LinearSoftmaxClassifier()  # НОВЫЙ
        classifier.fit(train_X, train_y, epochs=num_epochs,
                       learning_rate=lr, batch_size=batch_size, reg=reg)
        val_pred = classifier.predict(val_X)
        val_acc = multiclass_accuracy(val_pred, val_y)
        print('lr=%f reg=%f val_acc=%f' % (lr, reg, val_acc))
        if best_val_accuracy is None or val_acc > best_val_accuracy:
            best_classifier = classifier       # храним ОБЪЕКТ
            best_val_accuracy = val_acc

print('best validation accuracy achieved: %f' % best_val_accuracy)

Заметьте: мы храним объект best_classifier, а не числа best_lr/best_reg — так cell 27 ноутбука сразу может спрогнозировать test без дообучения:

python
# cell 27
test_pred = best_classifier.predict(test_X)
test_accuracy = multiclass_accuracy(test_pred, test_y)
print('Linear softmax classifier test set accuracy: %f' % (test_accuracy, ))

Что показало прогон на стабе (ориентир) ​

Сетка 3×3, 200 эпох, batch 300 (стаб 10000/1000, val/test 1000). Точность на val:

lr \ reg1e-41e-51e-6
1e-30.90400.90600.9030
1e-40.70300.70100.6990
1e-50.64300.61900.6330

Точность на test для лучшей строки (lr = 1e-3): reg 1e-4 → 0.879, reg 1e-5 → 0.877, reg 1e-6 → 0.876.

Вывод (для этого стаба):

  • lr доминирует. 1e-3 → ~0.90; 1e-4 → ~0.70; 1e-5 → ~0.62. Почему: 200 эпох × 30 батчей = 6000 шагов SGD. При lr=10−5 каждый шаг крохотный — модель не успевает «доехать» до минимума (недообучение). При 10−3 — успевает.
  • reg почти не влияет (1e-4…1e-6 дают 0.903–0.906). Стаб «простой»: классы почти линейно разделимы, и штраф на весах не меняет картину. На реальном SVHN (32×32, шум, наложения цифр) разброс по reg будет заметнее — регуляризация там реально мешает/помогает переобучению.
  • Лучшая пара: lr = 1e-3, reg = 1e-5 → val ≈ 0.906, test ≈ 0.877. val и test близки — модель не переобучилась (иначе test был бы заметно ниже val).

Цифры выше — ориентир: инициализация W (np.random.randn) зависит от состояния RNG, а оно — от порядка ваших ячеек. Последние 1–2 знака у вас могут отличаться; порядок величин и форма таблицы (lr доминирует, reg — вторичен) — устойчивы.

Подсказка из ноутбука ​

В cell 25 стоит:

hint: for best results, you might need to try more values for learning rate and regularization strength than provided initially

Перевод: сетка 3×3 — минимум для отчёта, а не оптимум. Можно расширить диапазоны, например learning_rates = [1e-2, 3e-3, 1e-3, 3e-4, 1e-4, 3e-5, 1e-5] и reg_strengths = [0, 1e-2, 1e-3, 1e-4, 1e-5, 1e-6] (reg=0 — «чистая» модель, полезно для сравнения). Чем шире сетка — тем дольше прогон (здесь ~15 с/конфигурацию, итого ~2–3 минуты). В отчёте напишите, почему остановились на выбранных диапазонах.

Отчёт и сдача ​

По чек-листу курса (index.md → «Чек-лист „сдано"») в отчёте должны читаться все четыре пункта:

  1. KNN. Все три реализации расстояний совпадают (np.allclose), бинарное предсказание работает, no_loops быстрее одноциклового (цифры из уроков 03–04);
  2. KNN-конец. Выбранный CV k (бинарный: 3, мультикласс: 1 — ваши значения могут отличаться на ±1–2 на разных данных) даёт accuracy на всех обучающих данных;
  3. Линейная часть. check_gradient зелёный для softmax_with_cross_entropy и linear_softmax (скриншоты/копия вывода), val accuracy > 0.2 (у нас ~0.90 на стабе);
  4. Ваши гиперпараметры и цифры. Какую сетку перебрали, какую пару (lr,reg) выбрали и почему, финальные accuracy на val и test, что показывала кривая loss (уроки 11–12).

Git: всё закоммичено в ваш клон репозитория (linear_classifer.py с реализациями, ноутбук с запускаемыми ячейками и выводами, отчёт report.md).

Практика ​

1. Почему нельзя взять один LinearSoftmaxClassifier() до цикла и переиспользовать его в for? (Напомните, что делает fit с self.W.)

2. Ваш best по val — lr=1e-3/reg=1e-5 с val=0.906, test=0.877. Коллега берёт lr=1e-3/reg=1e-4 (val=0.904, test=0.879). Кому «повезло» с test? Что это говорит о различии val и test как оценках?

3. Сколько прогонов займёт сетка 7×6 (по подсказке выше), если один прогон ~15 с? Сколько это в минутах — и стоит ли её запускать после того, как вы уже выбрали пару по базовой сетке?

4. (На подумать) Что изменится в grid search, если random_split_train_val в cell 4 ноутбука заменят «наивным» срезом без перемешивания — просто X[:-1000], X[-1000:]? Подсказка: откройте dataset.py и посмотрите, что делает random_split_train_val, кроме самого среза.

Показать решения

1. fit инициализирует self.W только если он None: if self.W is None: self.W = 0.001 * np.random.randn(...). Переиспользуя объект, вторая итерация продолжит обучение от весов первой пары (lr, reg) — и «точность пары 2» станет смесью двух обучений. Сравнение пар становится несправедливым. Новый объект на каждой итерации — единственный способ сравнить конфигурации «на равных».

2. Никому «не повезло» принципиально: различие 0.879−0.877=0.002 — это шум выборки из 1000 тестовых образцов (ошибка оценки точности ≈p(1−p)/N≈0.01). val-различие 0.906−0.904=0.002 — того же порядка. Урок: не гонитесь за последней цифрой, смотрите на устойчивый отрыв (в нашей таблице отрыв между строками lr — 0.2–0.3, между столбцами reg — 0.003).

3. 7×6=42 прогона × 15 с ≈ 630 с ≈ 10.5 минут. Запускать ли после выбора пары по базовой сетке: зависит от задачи. Если отчёт требует «разумного» перебора — да (10 минут — терпимо). Если вы уже видите, что lr=10−3 — лучший угол и reg не влияет, расширять reg не нужно, а вот lr имеет смысл сузить вокруг 10−3 (например, {3⋅10−3,10−3,3⋅10−4}): это 3 прогона, а не 42.

4. random_split_train_val не просто отрезает хвост: np.random.seed(seed) + np.random.shuffle(indices) — val становится случайной (представительной) подвыборкой train. В «наивном» варианте val — это «последние 1000 образцов файла». Для SVHN и нашего стаба это обычно не катастрофа (данные в файле и так в случайном порядке, генератор стаба тоже перемешивает — rng.permutation), и цифры почти не сдвинутся. Но в принципе это смещённая оценка: если бы файл был записан «классами в столбик» (сначала все 1, потом все 2), val-состав разошёлся бы с train-составом, val-точность стала непредставительной метрикой, и grid search выбрал бы «псевдо-лучшую» пару, не подтверждённую на test. Seed + shuffle — страховка от этого, плюс воспроизводимость сплита.

Итоги урока ​

  • Grid search: новый классификатор на каждую пару, лучшая — по val, test — один раз в конце;
  • На стабе lr доминирует (10−3≫10−4>10−5), reg почти не влияет (простые данные); на реальном SVHN картина с reg будет заметнее;
  • Храним объект best_classifier — test в cell 27 без дообучения;
  • Подсказка ноутбука: расширьте сетку (и reg=0 для сравнения);
  • Отчёт: KNN (три реализации, CV k), линейная часть (зелёные check_gradient, val > 0.2), ваши lr/reg и финальные val/test, всё в гите.

Задание 1 завершено. Вернитесь к сводке по заданию и сверьте чек-лист «сдано»: все четыре пункта должны читаться в вашем отчёте.