Appearance
12. Гиперпараметры и сдача задания
Финальный TODO ноутбука: перебрать
Идея: grid search
У модели два гиперпараметра: learning_rate и reg. Обучение слепое к ним — мы не можем вычислить их градиент, поэтому просто перебираем: каждая пара
Два правила, без которых grid search «сломан»:
- Новый классификатор на каждую пару.
fitпереиспользуетself.W, если он уже есть (урок 11): если крутить один объект в цикле, каждая следующая пара будет «дообучаться» от весов предыдущей — сравнение станет бессмысленным. - Лучшая пара — по val, а не по test. Test — «экзамен»: на него смотрят один раз в самом конце. Подбирать гиперпараметры по test — это «зубрить билеты» (тест-данные участвуют в принятии решений и перестают быть независимой оценкой).
TODO: сетка в cell 25
python
for lr in learning_rates:
for reg in reg_strengths:
classifier = linear_classifer.LinearSoftmaxClassifier() # НОВЫЙ
classifier.fit(train_X, train_y, epochs=num_epochs,
learning_rate=lr, batch_size=batch_size, reg=reg)
val_pred = classifier.predict(val_X)
val_acc = multiclass_accuracy(val_pred, val_y)
print('lr=%f reg=%f val_acc=%f' % (lr, reg, val_acc))
if best_val_accuracy is None or val_acc > best_val_accuracy:
best_classifier = classifier # храним ОБЪЕКТ
best_val_accuracy = val_acc
print('best validation accuracy achieved: %f' % best_val_accuracy)Заметьте: мы храним объект best_classifier, а не числа best_lr/best_reg — так cell 27 ноутбука сразу может спрогнозировать test без дообучения:
python
# cell 27
test_pred = best_classifier.predict(test_X)
test_accuracy = multiclass_accuracy(test_pred, test_y)
print('Linear softmax classifier test set accuracy: %f' % (test_accuracy, ))Что показало прогон на стабе (ориентир)
Сетка
| lr \ reg | 1e-4 | 1e-5 | 1e-6 |
|---|---|---|---|
| 1e-3 | 0.9040 | 0.9060 | 0.9030 |
| 1e-4 | 0.7030 | 0.7010 | 0.6990 |
| 1e-5 | 0.6430 | 0.6190 | 0.6330 |
Точность на test для лучшей строки (lr = 1e-3): reg 1e-4 → 0.879, reg 1e-5 → 0.877, reg 1e-6 → 0.876.
Вывод (для этого стаба):
lrдоминирует. 1e-3 → ~0.90; 1e-4 → ~0.70; 1e-5 → ~0.62. Почему: 200 эпох × 30 батчей = 6000 шагов SGD. Прикаждый шаг крохотный — модель не успевает «доехать» до минимума (недообучение). При — успевает. regпочти не влияет (1e-4…1e-6 дают 0.903–0.906). Стаб «простой»: классы почти линейно разделимы, и штраф на весах не меняет картину. На реальном SVHN (32×32, шум, наложения цифр) разброс поregбудет заметнее — регуляризация там реально мешает/помогает переобучению.- Лучшая пара: lr = 1e-3, reg = 1e-5 → val ≈ 0.906, test ≈ 0.877. val и test близки — модель не переобучилась (иначе test был бы заметно ниже val).
Цифры выше — ориентир: инициализация
( np.random.randn) зависит от состояния RNG, а оно — от порядка ваших ячеек. Последние 1–2 знака у вас могут отличаться; порядок величин и форма таблицы (lr доминирует, reg — вторичен) — устойчивы.
Подсказка из ноутбука
В cell 25 стоит:
hint: for best results, you might need to try more values for learning rate and regularization strength than provided initially
Перевод: сетка learning_rates = [1e-2, 3e-3, 1e-3, 3e-4, 1e-4, 3e-5, 1e-5] и reg_strengths = [0, 1e-2, 1e-3, 1e-4, 1e-5, 1e-6] (
Отчёт и сдача
По чек-листу курса (index.md → «Чек-лист „сдано"») в отчёте должны читаться все четыре пункта:
- KNN. Все три реализации расстояний совпадают (
np.allclose), бинарное предсказание работает,no_loopsбыстрее одноциклового (цифры из уроков 03–04); - KNN-конец. Выбранный CV
(бинарный: 3, мультикласс: 1 — ваши значения могут отличаться на ±1–2 на разных данных) даёт accuracy на всех обучающих данных; - Линейная часть.
check_gradientзелёный дляsoftmax_with_cross_entropyиlinear_softmax(скриншоты/копия вывода), val accuracy > 0.2 (у нас ~0.90 на стабе); - Ваши гиперпараметры и цифры. Какую сетку перебрали, какую пару
выбрали и почему, финальные accuracy на val и test, что показывала кривая loss (уроки 11–12).
Git: всё закоммичено в ваш клон репозитория (linear_classifer.py с реализациями, ноутбук с запускаемыми ячейками и выводами, отчёт report.md).
Практика
1. Почему нельзя взять один LinearSoftmaxClassifier() до цикла и переиспользовать его в for? (Напомните, что делает fit с self.W.)
2. Ваш best по val — lr=1e-3/reg=1e-5 с val=0.906, test=0.877. Коллега берёт lr=1e-3/reg=1e-4 (val=0.904, test=0.879). Кому «повезло» с test? Что это говорит о различии val и test как оценках?
3. Сколько прогонов займёт сетка
4. (На подумать) Что изменится в grid search, если random_split_train_val в cell 4 ноутбука заменят «наивным» срезом без перемешивания — просто X[:-1000], X[-1000:]? Подсказка: откройте dataset.py и посмотрите, что делает random_split_train_val, кроме самого среза.
Показать решения
1. fit инициализирует self.W только если он None: if self.W is None: self.W = 0.001 * np.random.randn(...). Переиспользуя объект, вторая итерация продолжит обучение от весов первой пары (lr, reg) — и «точность пары 2» станет смесью двух обучений. Сравнение пар становится несправедливым. Новый объект на каждой итерации — единственный способ сравнить конфигурации «на равных».
2. Никому «не повезло» принципиально: различие reg —
3. reg не нужно, а вот
4. random_split_train_val не просто отрезает хвост: np.random.seed(seed) + np.random.shuffle(indices) — val становится случайной (представительной) подвыборкой train. В «наивном» варианте val — это «последние 1000 образцов файла». Для SVHN и нашего стаба это обычно не катастрофа (данные в файле и так в случайном порядке, генератор стаба тоже перемешивает — rng.permutation), и цифры почти не сдвинутся. Но в принципе это смещённая оценка: если бы файл был записан «классами в столбик» (сначала все 1, потом все 2), val-состав разошёлся бы с train-составом, val-точность стала непредставительной метрикой, и grid search выбрал бы «псевдо-лучшую» пару, не подтверждённую на test. Seed + shuffle — страховка от этого, плюс воспроизводимость сплита.
Итоги урока
- Grid search: новый классификатор на каждую пару, лучшая — по val, test — один раз в конце;
- На стабе
доминирует ( ), почти не влияет (простые данные); на реальном SVHN картина с regбудет заметнее; - Храним объект
best_classifier— test в cell 27 без дообучения; - Подсказка ноутбука: расширьте сетку (и
для сравнения); - Отчёт: KNN (три реализации, CV
), линейная часть (зелёные check_gradient, val > 0.2), ваши/ regи финальные val/test, всё в гите.
Задание 1 завершено. Вернитесь к сводке по заданию и сверьте чек-лист «сдано»: все четыре пункта должны читаться в вашем отчёте.