Data Science с нуля: что изучать, как собрать первый проект и проверить модель
Понятный маршрут от таблицы к проверенной модели: какие навыки нужны, как выбрать метрики и оформить первый проект в портфолио.

Модель с точностью 99% может оказаться бесполезной: например, если она относит все операции к обычным и пропускает редкие случаи мошенничества. Поэтому Data Science начинается с вопроса о данных и цене ошибки, а выбор алгоритма идёт следом.
Разберём, что изучать с нуля, как выбрать первый проект и отличить реальное качество модели от ошибки в проверке. На примере scikit-learn сравним классификатор с простым базовым решением и объясним, что означают метрики.
Что такое Data Science и чем отличаются соседние направления
Data Science — анализ данных и построение моделей для конкретной задачи: например, прогнозировать спрос или распределять обращения по темам. Дата-сайентист проверяет качество исходных данных, выбирает признаки и выясняет, насколько прогноз полезен на новых наблюдениях. Иногда результатом становится простое правило: оно может решать задачу дешевле и надёжнее сложной модели.
| Направление | Пример вопроса | Результат |
|---|---|---|
| Аналитика данных | Почему снизилась доля оплаченных заказов? | Проверенные расчёты, исследование причин и рекомендации |
| Data Science | Можно ли предсказать спрос на следующую неделю? | Исследование, модель и проверка качества на новых данных |
| ML engineering | Как обслуживать прогнозы быстро и стабильно? | Сервис модели, мониторинг и воспроизводимое обновление |
Во всех трёх направлениях встречаются Python, SQL и статистика. Различается основная задача: объяснить изменение показателей, проверить прогноз или обеспечить работу модели в сервисе.
Что нужно знать начинающему дата-сайентисту
Для первого табличного проекта нужны шесть групп навыков. Их можно осваивать параллельно: сравнение среднего и медианы на реальных заказах объясняет выбросы лучше, чем формулы без данных.
- Python: коллекции, условия, циклы, функции и чтение ошибок. Этого достаточно, чтобы написать обработку данных и проверить расчёт на нескольких строках.
- pandas и NumPy: фильтрация, группировки, объединение таблиц, пропуски и числовые массивы. Важно понимать типы столбцов и единицы измерения.
- SQL: SELECT, WHERE, GROUP BY и JOIN. Особое внимание — объединениям: несколько совпадений по ключу могут незаметно размножить строки и завысить выручку.
- Статистика и визуализация: распределения, разброс, выборки, неопределённость и корреляция. График показывает закономерность, но сам по себе не доказывает её причину.
- Машинное обучение: признаки, целевая переменная, базовое решение, валидация и метрики. Для начала подойдут линейные модели и деревья решений.
- Воспроизводимость: Git, отдельное окружение, версии зависимостей и README. Проект должен запускаться с начала по сохранённой инструкции.
Из математики понадобятся векторы и матрицы, основы вероятностей и производные. Они помогают понять устройство данных, случайность результата и обучение модели. Углубляться удобнее вместе с задачей: например, разбирать масштабирование признаков при знакомстве с линейными моделями.
Как устроен первый проект по Data Science
Постановка задачи определяет, что предсказываем, для кого, в какой момент и какое действие последует. Например: количество заказов завтра, рассчитанное сегодня вечером. Такая формулировка сразу запрещает использовать завтрашние продажи как входной признак и заставляет уточнить, когда появляются остальные данные.
- Проверьте происхождение и право использования данных. Определите, чему соответствует строка: заказу, человеку или дню. Опишите целевую переменную и способ получения разметки.
- Отложите тестовую часть по логике будущего применения. Исследуйте обучающие данные: типы столбцов, пропуски, дубликаты, диапазоны и доли классов. Это разведочный анализ, или EDA.
- Зафиксируйте baseline — простое базовое решение: например, самый частый класс или вчерашний спрос. Оно задаёт точку сравнения для модели.
- Обучите одну понятную модель. Подбирайте параметры на обучающей части с отдельной валидацией или кросс-валидацией. Обучаемые преобразования включите в общий конвейер.
- Оцените выбранное решение на отложенном тесте. Разберите ошибки по важным группам и объясните, где модель полезна, а где ненадёжна.
Очень крупный заказ может быть ошибкой выгрузки или настоящей покупкой. Перед удалением выбросов проверьте источник и сохраните причину изменения. Если способ очистки заметно влияет на вывод, это ограничение исследования.
Как избежать утечки данных и выбрать разделение
Утечка данных возникает, когда при обучении или выборе модели используется информация, недоступная в момент настоящего прогноза. Например, статус возврата нельзя использовать, чтобы предсказать возврат до покупки. Менее заметная утечка — заполнение пропусков средним по всей таблице, включая тест.
В scikit-learn Pipeline объединяет преобразования и модель. При fit на обучающей части параметры преобразований вычисляются только по ней. Но конвейер не исправит признак из будущего или неверное разделение: эти ошибки нужно исключить до обучения.
Для прогноза будущего обучаются на прошлом и проверяют на более позднем периоде; при повторных проверках пригодится TimeSeriesSplit. Для прогноза по новым клиентам записи одного клиента должны оставаться в одной части: для этого используют групповые разбиения, например GroupKFold. Иначе проверка может измерять узнавание знакомого клиента.
stratify сохраняет пропорции классов при случайном разделении, но не устраняет временную зависимость и повторы одних клиентов. Если после каждого просмотра теста менять модель, тест становится частью подбора. Для независимой оценки тогда понадобятся новые данные.
Какие метрики смотреть и почему accuracy недостаточно
В наборе из 990 обычных и 10 подозрительных операций ответ «всё обычно» даёт accuracy 99%, но не обнаруживает ни одного подозрительного случая. Поэтому вместе с долей верных ответов смотрят распределение классов и матрицу ошибок — сколько объектов каждого класса модель отнесла к каждой категории.
| Ситуация | Что проверить | Смысл показателя |
|---|---|---|
| Нужно находить редкий класс | Recall и число пропусков | Доля найденных объектов среди всех объектов нужного класса |
| Проверка срабатываний обходится дорого | Precision и ложные срабатывания | Доля верных сигналов среди всех срабатываний |
| Несколько одинаково важных классов | Macro-F1 и показатели каждого класса | Среднее F1 по классам с одинаковым весом каждого класса |
| Прогноз числовой величины | MAE и ошибки по диапазонам | Средняя абсолютная ошибка в единицах целевой величины |
F1 объединяет precision и recall, но не учитывает денежную стоимость ошибок. Для числового прогноза средней ошибки тоже мало: модель может хорошо работать в обычные дни и проваливаться на пиках спроса. Порог вероятности выбирают на валидации, а итоговое решение проверяют на тесте. Универсального «хорошего процента» нет.
Пример на Python: как проверить модель без утечки данных
Встроенный набор Iris содержит 150 наблюдений: четыре измерения цветка и три класса по 50 примеров. Задача — определить класс по измерениям. Набор не нужно скачивать отдельно. Этот пример показывает процедуру проверки; он не оценивает распознавание цветов по фотографиям.
python3 -m venv .venv
source .venv/bin/activate
python -m pip install scikit-learn pandas
python iris_project.py
python -m pip freeze > requirements.txtimport sklearn
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, f1_score, confusion_matrix
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
dataset = load_iris(as_frame=True)
X, y = dataset.data, dataset.target
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42
)
print("Versions:", sklearn.__version__, pd.__version__)
print("Train / test:", len(X_train), len(X_test))
print("Missing values:", X_train.isna().sum().to_dict())
print(X_train.describe().round(2))
models = {
"baseline": DummyClassifier(strategy="most_frequent"),
"logistic_regression": make_pipeline(
StandardScaler(), LogisticRegression(max_iter=1000)
),
}
for name, model in models.items():
model.fit(X_train, y_train)
prediction = model.predict(X_test)
print(name)
print("accuracy:", round(accuracy_score(y_test, prediction), 3))
print("macro_f1:", round(f1_score(
y_test, prediction, average="macro", zero_division=0
), 3))
print("confusion_matrix rows=true, columns=predicted:")
print(confusion_matrix(y_test, prediction, labels=[0, 1, 2]))DummyClassifier всегда выбирает один класс; логистическая регрессия, несмотря на название, решает задачу классификации и использует измерения цветка. StandardScaler вычисляет параметры только по обучающим данным внутри Pipeline. Обе заранее выбранные модели проверяются на одном тесте; подбора параметров здесь нет.
Baseline получит accuracy 0,333 и macro-F1 0,167: каждый класс занимает треть теста, а предсказывается только один. Матрица ошибок второй модели покажет, какие классы она перепутала. В тесте всего 30 наблюдений: одна дополнительная ошибка меняет accuracy на 3,3 процентного пункта.
Для подбора других моделей нужна кросс-валидация на обучающей части с Pipeline внутри каждой проверки. Финальный тест оставляют для выбранного решения. Фиксированный random_state позволяет повторить разделение; менять его ради красивого результата нельзя.
Что положить в портфолио начинающего
Iris помогает разобраться с кодом, но почти не требует проверки исходных данных. В портфолио полезнее показать задачу, где вы самостоятельно выбрали период, проверили признаки и объяснили ошибки. Например:
- Исследование продаж: проверка дубликатов заказов, разбор изменения выручки и графики, подтверждающие вывод. Укажите, каких данных не хватает для проверки причин.
- Прогноз ежедневного спроса: временное разделение, сравнение с предыдущим периодом, MAE по датам и разбор пиков. Для каждого признака должно быть понятно, когда он становится доступен.
- Классификация обращений: правила разметки, разделение без повторяющихся текстов, baseline и macro-F1. Примеры перепутанных тем объясняют ограничения лучше, чем одна итоговая цифра.
К репозиторию приложите короткий отчёт: вопрос, источник данных, способ проверки, результат и ограничения. Сохраните зависимости и команду запуска. Если исходные данные нельзя публиковать, опишите схему и добавьте разрешённый демонстрационный пример.
Почему более сложная модель не всегда лучше
Если модель выигрывает у baseline совсем немного, сначала проверьте устойчивость результата на валидации и ошибки по отдельным группам. Возможно, улучшение держится на нескольких наблюдениях или исчезает на следующем временном периоде. Более сложный алгоритм не исправит ошибки разметки, неудачное разделение и признаки из будущего.
Переход к сложной модели оправдан, когда понятен недостаток текущей: например, она систематически ошибается на пиках спроса. Тогда можно проверить новые признаки или другой алгоритм на той же схеме валидации. Итог проекта — обоснованный выбор решения, даже если им осталось простое правило.
Частые вопросы
Можно ли начать Data Science без опыта программирования?
Да, начните с основ Python и небольших задач с таблицами. Не спешите к сложной модели: сначала научитесь читать ошибку, проверять расчёт и объяснять каждую операцию с данными.
Нужно ли сразу покупать мощный компьютер?
Для примера Iris и небольших табличных проектов обычно достаточно обычного компьютера с Python. Требования к памяти и вычислениям зависят от размера данных и алгоритма; выбирайте оборудование после появления конкретной задачи.
Сколько времени займёт обучение с нуля?
Это зависит от исходной подготовки, регулярности практики и сложности цели. Основы Python, SQL и статистики можно изучать параллельно на одном проекте. Полезный ориентир — способность самостоятельно подготовить данные и объяснить качество модели.
Можно ли сделать портфолио только из учебных наборов?
Начать можно. Чтобы показать самостоятельность, добавьте собственную постановку, обоснование проверки, разбор ошибок и воспроизводимый запуск. Затем попробуйте более реалистичные данные, где придётся проверять качество и доступность признаков.


