Skip to content

Задание 1: KNN и линейный классификатор на SVHN ​

Что за задание ​

Модуль построен на реальном учебном задании «Задание 1» из курса dlcourse_ai (репозиторий sim0nsays/dlcourse_ai, assignments/assignment1). Исходники задания лежат в папке assignment_source/ этого модуля:

ФайлНазначение
knn.pyскелет класса KNN: fit/predict + пустые методы расстояний и голосования (TODO)
linear_classifer.pyскелет класса LinearSoftmaxClassifier: пустые fit/predict (TODO)
gradient_check.pyутилита проверки аналитического градиента численным (TODO внутри)
metrics.pyпустые метрики бинарной и мультиклассной классификации (TODO)
dataset.pyзагрузка SVHN из .mat + random_split_train_val (уже готовый)
KNN.ipynbноутбук части 1: инструкция + проверки + задания
Linear_classifier.ipynbноутбук части 2: инструкция + проверки + задания
requirements.txtзависимости: numpy, matplotlib

В задании нет готовых решений — есть только скелеты с TODO. Ваша задача по модулю: пройти все уроки, решить каждый TODO пошагово (уроки разбивают решение на подзадания с промежуточными проверками) и в последнем уроке оформить и сдать исходное задание целиком.

Две части задания ​

Часть 1 — KNN (K-ближайших соседей). Обучения как такового нет: модель хранит обучающую выборку, а предсказание — это «посмотреть на k ближайших соседей и проголосовать большинством». Вы реализуете расчёт матрицы расстояний в трёх режимах (два цикла, один цикл, полный векторинг), бинарное и мультиклассное голосование, метрики качества и подберёте k через кросс-валидацию.

Часть 2 — Линейный классификатор с softmax. Классическая линейная модель: X · W → softmax → cross-entropy. Вы выведете и реализуете градиенты (softmax_with_cross_entropy, L2-регуляризация, linear_softmax) и обучите модель стохастическим градиентным спуском (SGD), подобрав гиперпараметры по validation-выборке.

Данные: реальный SVHN или синтетический стаб ​

Задание использует датасет SVHN (Street View House Numbers): 730 000 изображений домов с вырезанными номерами, 32×32×3, 10 классов. Полный набор — около 240 МБ.

В уроках даны два равноценных пути:

  1. Реальные данные — wget -c два файла (train_32x32.mat, test_32x32.mat) в папку data/. Это канонический сценарий задания.
  2. Синтетический стаб — скрипт scripts/make_svhn_stub.py генерирует «домашние» цифры в том же формате .mat (32×32×3, метки 1–10). Стаб в разы легче реального SVHN: KNN на стабе даст accuracy 0.78–0.88, на реальном — около 0.2. Оба пути одинаково подходят для проверки кода; на реальных данных вы дополнительно увидите, как работает переобучение и шум.

Ориентиры по метрикам (зафиксированы прогоном эталонных решений):

ДанныеKNN binary (best k)KNN multiclass (best k)Линейный (best lr/reg, 200 ep)
стаб, KNN-часть (выборка 1000/100)k=3: test acc 0.88, F1 0.88k=1: test acc 0.78—
стаб, линейная часть (9000/1000/1000)——val 0.906, test 0.877 (lr 1e-3, reg 1e-5)
реальный SVHN, 10000/1000—≥ 0.2 (цель задания)> 0.2 (цель задания)

Что вы потренируете (карта навыков) ​

  • numpy: broadcasting, axis, np.array_split, fancy-индексирование, .mat-файлы;
  • git: клонирование репозитория, .gitignore, коммиты по мере решения TODO;
  • метрики: TP/FP/FN/TN, precision/recall/F1/accuracy и когда они расходятся;
  • валидация: train/val/test split, 5-fold кросс-валидация, подбор гиперпараметров;
  • оптимизация: численная vs аналитическая производная, градиентный спуск, learning rate, L2-регуляризация, история loss.

Как устроены уроки ​

Каждый урок — 30–60 минут, содержит: теорию «на пальцах», разбор конкретного TODO исходника, промежуточные подзадания с ожидаемым выводом и упражнения. В часть уроков встроены интерактивные стенды (KNN-плоскость, калькулятор метрик, softmax-лаборатория, градиентный спуск) — ими можно кликать и крутить слайдеры, не выходя со страницы.

Требования ​

  • Git + любой git-клиент (командная строка, GUI или VS Code);
  • Python 3.10+ (в уроках используется 3.13), Jupyter Lab или VS Code;
  • pip install -r requirements.txt (numpy ≥ 2.x, matplotlib) — см. урок 01;
  • для реальных данных: ~300 МБ свободного места и терпение на скачивание.

Важно про numpy 2.x. В исходниках задания встречаются алиасы np.int и np.float, удалённые в numpy ≥ 2.0. В папке assignment_source/ эти места уже исправлены (int/float), а также заодно починена ячейка square в ноутбуке части 2 (float(x*x) → float(np.sum(x * x)), в numpy 2.x нельзя конвертировать одноэлементный массив через float()). Разбор каждой правки — в уроке 01.

Чек-лист «сдано» ​

Задание считается решённым, когда выполнены все условия исходника:

  1. KNN: все три реализации расстояний дают один и тот же результат (np.allclose), бинарное предсказание работает, compute_distances_no_loops быстрее одноциклового;
  2. Подобранный через 5-fold CV k на всех обучающих данных даёт accuracy ≥ 0.2 (в задании: «Accuracy should be around 20%» на мультиклассе);
  3. Линейный классификатор: check_gradient зелёный для softmax_with_cross_entropy и linear_softmax, accuracy на validation > 0.2;
  4. Написан отчёт (какие lr/reg выбраны, финальные accuracy на val/test, что получилось градиентно), всё закоммичено в ваш клон репозитория.

Поехали: начните с урока 00.