Appearance
Задание 1: KNN и линейный классификатор на SVHN
Что за задание
Модуль построен на реальном учебном задании «Задание 1» из курса dlcourse_ai (репозиторий sim0nsays/dlcourse_ai, assignments/assignment1). Исходники задания лежат в папке assignment_source/ этого модуля:
| Файл | Назначение |
|---|---|
knn.py | скелет класса KNN: fit/predict + пустые методы расстояний и голосования (TODO) |
linear_classifer.py | скелет класса LinearSoftmaxClassifier: пустые fit/predict (TODO) |
gradient_check.py | утилита проверки аналитического градиента численным (TODO внутри) |
metrics.py | пустые метрики бинарной и мультиклассной классификации (TODO) |
dataset.py | загрузка SVHN из .mat + random_split_train_val (уже готовый) |
KNN.ipynb | ноутбук части 1: инструкция + проверки + задания |
Linear_classifier.ipynb | ноутбук части 2: инструкция + проверки + задания |
requirements.txt | зависимости: numpy, matplotlib |
В задании нет готовых решений — есть только скелеты с TODO. Ваша задача по модулю: пройти все уроки, решить каждый TODO пошагово (уроки разбивают решение на подзадания с промежуточными проверками) и в последнем уроке оформить и сдать исходное задание целиком.
Две части задания
Часть 1 — KNN (K-ближайших соседей). Обучения как такового нет: модель хранит обучающую выборку, а предсказание — это «посмотреть на k ближайших соседей и проголосовать большинством». Вы реализуете расчёт матрицы расстояний в трёх режимах (два цикла, один цикл, полный векторинг), бинарное и мультиклассное голосование, метрики качества и подберёте k через кросс-валидацию.
Часть 2 — Линейный классификатор с softmax. Классическая линейная модель: X · W → softmax → cross-entropy. Вы выведете и реализуете градиенты (softmax_with_cross_entropy, L2-регуляризация, linear_softmax) и обучите модель стохастическим градиентным спуском (SGD), подобрав гиперпараметры по validation-выборке.
Данные: реальный SVHN или синтетический стаб
Задание использует датасет SVHN (Street View House Numbers): 730 000 изображений домов с вырезанными номерами, 32×32×3, 10 классов. Полный набор — около 240 МБ.
В уроках даны два равноценных пути:
- Реальные данные —
wget -cдва файла (train_32x32.mat,test_32x32.mat) в папкуdata/. Это канонический сценарий задания. - Синтетический стаб — скрипт
scripts/make_svhn_stub.pyгенерирует «домашние» цифры в том же формате.mat(32×32×3, метки 1–10). Стаб в разы легче реального SVHN: KNN на стабе даст accuracy 0.78–0.88, на реальном — около 0.2. Оба пути одинаково подходят для проверки кода; на реальных данных вы дополнительно увидите, как работает переобучение и шум.
Ориентиры по метрикам (зафиксированы прогоном эталонных решений):
| Данные | KNN binary (best k) | KNN multiclass (best k) | Линейный (best lr/reg, 200 ep) |
|---|---|---|---|
| стаб, KNN-часть (выборка 1000/100) | k=3: test acc 0.88, F1 0.88 | k=1: test acc 0.78 | — |
| стаб, линейная часть (9000/1000/1000) | — | — | val 0.906, test 0.877 (lr 1e-3, reg 1e-5) |
| реальный SVHN, 10000/1000 | — | ≥ 0.2 (цель задания) | > 0.2 (цель задания) |
Что вы потренируете (карта навыков)
- numpy: broadcasting,
axis,np.array_split, fancy-индексирование,.mat-файлы; - git: клонирование репозитория,
.gitignore, коммиты по мере решения TODO; - метрики: TP/FP/FN/TN, precision/recall/F1/accuracy и когда они расходятся;
- валидация: train/val/test split, 5-fold кросс-валидация, подбор гиперпараметров;
- оптимизация: численная vs аналитическая производная, градиентный спуск, learning rate, L2-регуляризация, история loss.
Как устроены уроки
Каждый урок — 30–60 минут, содержит: теорию «на пальцах», разбор конкретного TODO исходника, промежуточные подзадания с ожидаемым выводом и упражнения. В часть уроков встроены интерактивные стенды (KNN-плоскость, калькулятор метрик, softmax-лаборатория, градиентный спуск) — ими можно кликать и крутить слайдеры, не выходя со страницы.
Требования
- Git + любой git-клиент (командная строка, GUI или VS Code);
- Python 3.10+ (в уроках используется 3.13), Jupyter Lab или VS Code;
pip install -r requirements.txt(numpy ≥ 2.x, matplotlib) — см. урок 01;- для реальных данных: ~300 МБ свободного места и терпение на скачивание.
Важно про numpy 2.x. В исходниках задания встречаются алиасы
np.intиnp.float, удалённые в numpy ≥ 2.0. В папкеassignment_source/эти места уже исправлены (int/float), а также заодно починена ячейкаsquareв ноутбуке части 2 (float(x*x)→float(np.sum(x * x)), в numpy 2.x нельзя конвертировать одноэлементный массив черезfloat()). Разбор каждой правки — в уроке 01.
Чек-лист «сдано»
Задание считается решённым, когда выполнены все условия исходника:
- KNN: все три реализации расстояний дают один и тот же результат (
np.allclose), бинарное предсказание работает,compute_distances_no_loopsбыстрее одноциклового; - Подобранный через 5-fold CV
kна всех обучающих данных даёт accuracy ≥ 0.2 (в задании: «Accuracy should be around 20%» на мультиклассе); - Линейный классификатор:
check_gradientзелёный дляsoftmax_with_cross_entropyиlinear_softmax, accuracy на validation > 0.2; - Написан отчёт (какие lr/reg выбраны, финальные accuracy на val/test, что получилось градиентно), всё закоммичено в ваш клон репозитория.
Поехали: начните с урока 00.