Руководство пользователя

• 1. Обучение с учителем
  • 1.1. Линейные модели
    • 1.1.1. Метод наименьших квадратов
    • 1.1.2. Ридж-регрессия и классификация
    • 1.1.3. Лассо
    • 1.1.4. Многозадачный Lasso
    • 1.1.5. Elastic-Net
    • 1.1.6. Многозадачный Elastic-Net
    • 1.1.7. Регрессия наименьшего угла
    • 1.1.8. LARS Lasso
    • 1.1.9. Ортогональное сопоставление преследования (OMP)
    • 1.1.10. Байесовская регрессия
    • 1.1.11. Логистическая регрессия
    • 1.1.12. Обобщенные линейные модели
    • 1.1.13. Стохастический градиентный спуск - SGD
    • 1.1.14. Робастная регрессия: выбросы и ошибки моделирования
    • 1.1.15. Квантильная регрессия
    • 1.1.16. Полиномиальная регрессия: расширение линейных моделей с помощью базисных функций
  • 1.2. Линейный и квадратичный дискриминантный анализ
    • 1.2.1. Понижение размерности с использованием линейного дискриминантного анализа
    • 1.2.2. Математическая формулировка классификаторов LDA и QDA
    • 1.2.3. Математическая формулировка снижения размерности LDA
    • 1.2.4. Сжатие и оценщик ковариации
    • 1.2.5. Алгоритмы оценки
  • 1.6.7.1. Классификация
  • 1.4. Методы опорных векторов
    • 1.4.1. Классификация
    • 1.4.2. Регрессия
    • 1.4.3. Оценка плотности, обнаружение новизны
    • 1.4.4. Сложность
    • 1.4.5. Советы по практическому использованию
    • 1.4.6. Ядерные функции
    • 1.4.7. Математическая формулировка
    • 1.4.8. Детали реализации
  • 1.5. Стохастический градиентный спуск
    • 1.5.1. Классификация
    • 1.5.2. Регрессия
    • 1.5.3. Онлайн One-Class SVM
    • 1.5.4. Стохастический градиентный спуск для разреженных данных
    • 1.5.5. Сложность
    • 1.5.6. Критерий остановки
    • 1.5.7. Советы по практическому использованию
    • 1.5.8. Математическая формулировка
    • 1.5.9. Детали реализации
  • 1.6. Ближайшие соседи
    • 1.6.1. Необученные ближайшие соседи
    • 1.6.2. Классификация методом ближайших соседей
    • 1.6.3. Регрессия ближайших соседей
    • 1.6.4. Алгоритмы ближайших соседей
    • 1.6.5. Классификатор ближайшего центроида
    • 1.6.6. Преобразователь ближайших соседей
    • 1.6.7. Анализ компонентов соседства
  • 1.7. Гауссовские процессы
    • 1.7.1. Гауссовская процессная регрессия (GPR)
    • 1.7.2. Гауссовский процесс классификации (GPC)
    • 1.7.3. Примеры GPC
    • 1.7.4. Ядра для гауссовских процессов
  • 1.8. Перекрёстное разложение
    • 1.8.1. PLSCanonical
    • 1.8.2. PLSSVD
    • 1.8.3. PLSRegression
    • 1.8.4. Канонический корреляционный анализ
  • 1.9. Наивный Байес
    • 1.9.1. Наивный байесовский классификатор с гауссовским распределением
    • 1.9.2. Мультиномиальный наивный байесовский классификатор
    • 1.9.3. Комплементарный наивный байесовский классификатор
    • 1.9.4. Bernoulli Naive Bayes
    • 1.9.5. Категориальный наивный байесовский классификатор
    • 1.9.6. Построение наивной байесовской модели вне ядра
  • 1.10. Деревья решений
    • 1.10.1. Классификация
    • 1.10.2. Регрессия
    • 1.10.3. Многовариантные задачи
    • 1.10.4. Сложность
    • 1.10.5. Советы по практическому использованию
    • 1.10.6. Алгоритмы деревьев: ID3, C4.5, C5.0 и CART
    • 1.10.7. Математическая формулировка
    • 1.10.8. Поддержка пропущенных значений
    • 1.10.9. Минимальная обрезка по стоимости-сложности
  • 1.11. Ансамбли: Градиентный бустинг, случайные леса, бэггинг, голосование, стекинг
    • 1.11.1. Градиентный бустинг деревьев
    • 1.11.2. Случайные леса и другие ансамбли рандомизированных деревьев
    • 1.11.3. Мета-оценщик бэггинга
    • 1.11.4. Voting Classifier
    • 1.11.5. Регрессор голосования
    • 1.11.6. Стекинг (обобщение)
    • 1.11.7. AdaBoost
  • 1.12. Многоклассовые и многовариантные алгоритмы
    • 1.12.1. Многоклассовая классификация
    • 1.12.2. Многометочная классификация
    • 1.12.3. Многоклассовая классификация с несколькими выходами
    • 1.12.4. Многомерная регрессия
  • 1.13. Выбор признаков
    • 1.13.1. Удаление признаков с низкой дисперсией
    • 1.13.2. Одномерный отбор признаков
    • 1.13.3. Рекурсивное исключение признаков
    • 1.13.4. Выбор признаков с использованием SelectFromModel
    • 1.13.5. Последовательный отбор признаков
    • 1.13.6. Выбор признаков как часть конвейера
  • 1.14. Полуконтролируемое обучение
    • 1.14.1. Самообучение
    • 1.14.2. Распространение меток
  • 1.15. Изотоническая регрессия
  • 1.16. Вероятностная калибровка
    • 1.16.1. Калибровочные кривые
    • 1.16.2. Калибровка классификатора
    • 1.16.3. Использование
  • 1.17. Модели нейронных сетей (с учителем)
    • 1.17.1. Многослойный перцептрон
    • 1.17.2. Классификация
    • 1.17.3. Регрессия
    • 1.17.4. Регуляризация
    • 1.17.5. Алгоритмы
    • 1.17.6. Сложность
    • 1.17.7. Советы по практическому использованию
    • 1.17.8. Больше контроля с warm_start
• 2. Обучение без учителя
  • 2.1. Гауссовские смеси моделей
    • 2.1.1. Гауссовская смесь
    • 2.1.2. Вариационный байесовский гауссовский смесь
  • 2.2. Обучение многообразий
    • 2.2.1. Введение
    • 2.2.2. Isomap
    • 2.2.3. Локально линейное вложение
    • 2.2.4. Модифицированное Локально Линейное Вложение
    • 2.2.5. Отображение собственных значений гессиана
    • 2.2.6. Спектральное вложение
    • 2.2.7. Локальное выравнивание касательного пространства
    • 2.2.8. Многомерное шкалирование (MDS)
    • 2.2.9. Стохастическое вложение соседей с t-распределением (t-SNE)
    • 2.2.10. Советы по практическому использованию
  • 2.3. Кластеризация
    • 2.3.1. Обзор методов кластеризации
    • 2.3.2. K-средних
    • 2.3.3. Распространение сходства
    • 2.3.4. Mean Shift
    • 2.3.5. Спектральная кластеризация
    • 2.3.6. Иерархическая кластеризация
    • 2.3.7. DBSCAN
    • 2.3.8. HDBSCAN
    • 2.3.9. OPTICS
    • 2.3.10. BIRCH
    • 2.3.11. Оценка производительности кластеризации
  • 2.4. Бикластеризация
    • 2.4.1. Спектральная совместная кластеризация
    • 2.4.2. Спектральная бикластеризация
    • 2.4.3. Оценка бикластеризации
  • 2.5. Разложение сигналов на компоненты (проблемы матричной факторизации)
    • 2.5.1. Метод главных компонент (PCA)
    • 2.5.2. Анализ главных компонентов с ядром (kPCA)
    • 2.5.3. Усеченное сингулярное разложение и латентно-семантический анализ
    • 2.5.4. Словарное обучение
    • ) остаются привязанными к обучающему набору, который должен храниться для вывода.
    • 2.5.6. Анализ независимых компонент (ICA)
    • 2.5.7. Неотрицательное матричное разложение (NMF или NNMF)
    • 2.5.8. Латентное распределение Дирихле (LDA)
  • 2.6. Оценка ковариации
    • 2.6.1. Эмпирическая ковариация
    • 2.6.2. Сжатая ковариация
    • 2.6.3. Разреженная обратная ковариация
    • 2.6.4. Робастная оценка ковариации
  • 2.7. Обнаружение новизны и выбросов
    • 2.7.1. Обзор методов обнаружения выбросов
    • 2.7.2. Обнаружение новизны
    • 2.7.3. Обнаружение выбросов
    • 2.7.4. Обнаружение новизны с Local Outlier Factor
  • 2.8. Оценка плотности
    • 2.8.1. Оценка плотности: Гистограммы
    • 2.8.2. Оценка плотности ядра
  • 2.9. Модели нейронных сетей (без учителя)
    • 2.9.1. Ограниченные машины Больцмана
• 3. Выбор и оценка модели
  • 3.1. Кросс-валидация: оценка производительности оценщика
    • 3.1.1. Вычисление перекрестно проверенных метрик
    • 3.1.2. Итераторы перекрестной проверки
    • 3.1.3. Примечание о перемешивании
    • 3.1.4. Кросс-валидация и выбор модели
    • 3.1.5. Оценка перестановочного теста
  • 3.2. Настройка гиперпараметров оценщика
    • 3.2.1. Исчерпывающий поиск по сетке
    • 3.2.2. Рандомизированная оптимизация параметров
    • 3.2.3. Поиск оптимальных параметров с последовательным сокращением вдвое
    • 3.2.4. Советы по поиску параметров
    • 3.2.5. Альтернативы полному перебору параметров
  • 3.3. Настройка порога принятия решения для предсказания класса
    • 3.3.1. Последующая настройка порога принятия решения
  • 3.4. Метрики и оценка: количественная оценка качества предсказаний
    • 3.4.1. Какую функцию оценки следует использовать?
    • 3.4.2. Обзор API оценки
    • 3.4.3. The scoring параметр: определение правил оценки модели
    • 3.4.4. Метрики классификации
    • 3.4.5. Метрики ранжирования для многометочной классификации
    • 3.4.6. Метрики регрессии
    • 3.4.7. Метрики кластеризации
    • 3.4.8. Фиктивные оценщики
  • 3.5. Кривые валидации: построение оценок для оценки моделей
    • 3.5.1. Кривая валидации
    • 3.5.2. Кривая обучения
• Сгенерировать набор данных Swiss Roll.
  • 4.1. Примеры использования
    • 4.1.1. Взвешенное оценивание и обучение
    • 4.1.2. Взвешенная оценка и невзвешенное обучение
    • 4.1.3. Невзвешенный отбор признаков
    • 4.1.4. Различные веса оценки и обучения
  • 4.2. Интерфейс API
  • 4.3. Статус поддержки маршрутизации метаданных
• 5. Инспекция
  • 5.1. Графики частичной зависимости и индивидуального условного ожидания
    • 5.1.1. Графики частных зависимостей
    • 5.1.2. График индивидуального условного ожидания (ICE)
    • 5.1.3. Математическое определение
    • 5.1.4. Методы вычислений
  • 5.2. Важность признаков на основе перестановок
    • 5.2.1. Обзор алгоритма важности перестановок
    • 5.2.2. Связь с важностью на основе примесей в деревьях
    • 5.2.3. Вводящие в заблуждение значения для сильно коррелированных признаков
• 6. Визуализации
  • 6.1. Доступные утилиты построения графиков
    • 6.1.1. Объекты отображения
• 7. Преобразования наборов данных
  • 7.1. Конвейеры и составные оценщики
    • 7.1.1. Конвейер: объединение оценщиков
    • 7.1.2. Преобразование целевой переменной в регрессии
    • 7.1.3. FeatureUnion: составные пространства признаков
    • 7.1.4. ColumnTransformer для разнородных данных
    • 7.1.5. Визуализация составных оценщиков
  • 7.2. Извлечение признаков
    • 7.2.1. Загрузка признаков из словарей
    • 7.2.2. Хеширование признаков
    • 7.2.3. Извлечение текстовых признаков
    • 7.2.4. Извлечение признаков изображения
  • 7.3. Предобработка данных
    • 7.3.1. Стандартизация, или удаление среднего и масштабирование дисперсии
    • 7.3.2. Нелинейное преобразование
    • 7.3.3. Нормализация
    • 7.3.4. Кодирование категориальных признаков
    • 7.3.5. Дискретизация
    • 7.3.6. Импутация пропущенных значений
    • 7.3.7. Генерация полиномиальных признаков
    • 7.3.8. Пользовательские преобразователи
  • 7.4. Вменение пропущенных значений
    • 7.4.1. Одномерное vs. Многомерное заполнение
    • 7.4.2. Одномерная импутация признаков
    • 7.4.3. Многомерное заполнение пропусков в признаках
    • 7.4.4. Импутация ближайших соседей
    • 7.4.5. Сохранение постоянного количества признаков
    • 7.4.6. Отметка импутированных значений
    • 7.4.7. Оценщики, которые обрабатывают значения NaN
  • 7.5. Неконтролируемое снижение размерности
    • 7.5.1. PCA: анализ главных компонент
    • 7.5.2. Случайные проекции
    • 7.5.3. Агломерация признаков
  • 7.6. Случайное проецирование
    • 7.6.1. Лемма Джонсона-Линденштраусса
    • 7.6.2. Гауссовское случайное проецирование
    • 7.6.3. Разреженная случайная проекция
    • 7.6.4. Обратное преобразование
  • 7.7. Аппроксимация ядра
    • 7.7.1. Метод Нистрёма для аппроксимации ядра
    • 7.7.2. Ядро радиальной базисной функции
    • 7.7.3. Аддитивное ядро хи-квадрат
    • 7.7.4. Асимметричное ядро хи-квадрат
    • 7.7.5. Приближение полиномиального ядра через тензорный скетч
    • 7.7.6. Математические детали
  • 7.8. Парные метрики, сходства и ядра
    • 7.8.1. Косинусное сходство
    • 7.8.2. Линейное ядро
    • 7.8.3. Полиномиальное ядро
    • 7.8.4. Сигмоидное ядро
    • 7.8.5. Ядро RBF
    • 7.8.6. Ядро Лапласа
    • 7.8.7. Ядро Хи-квадрат
  • 7.9. Преобразование целевой переменной предсказания (y)
    • 7.9.1. Бинаризация меток
    • 7.9.2. Кодирование меток
• 8. Утилиты загрузки наборов данных
  • 8.1. Игрушечные наборы данных
    • 8.1.1. Набор данных Iris plants
    • 8.1.2. Набор данных по диабету
    • 8.1.3. Оптическое распознавание рукописных цифр dataset
    • 8.1.4. Набор данных Linnerrud
    • 8.1.5. Набор данных для распознавания вина
    • 8.1.6. Набор данных по раку молочной железы в Висконсине (диагностический)
  • 8.2. Реальные наборы данных
    • 8.2.1. Набор данных лиц Olivetti
    • 8.2.2. Текстовый набор данных 20 newsgroups
    • 8.2.3. Набор данных для распознавания лиц Labeled Faces in the Wild
    • 8.2.4. Типы лесного покрова
    • 8.2.5. Набор данных RCV1
    • 8.2.6. Набор данных Kddcup 99
    • 8.2.7. Набор данных California Housing
    • 8.2.8. Набор данных о распределении видов
  • 8.3. Сгенерированные наборы данных
    • 8.3.1. Генераторы для классификации и кластеризации
    • 8.3.2. Генераторы для регрессии
    • 8.3.3. Генераторы для обучения многообразий
    • 8.3.4. Генераторы для декомпозиции
  • 8.4. Загрузка других наборов данных
    • 8.4.1. Примеры изображений
    • 8.4.2. Наборы данных в формате svmlight / libsvm
    • 8.4.3. Загрузка наборов данных из репозитория openml.org
    • 8.4.4. Загрузка из внешних наборов данных
• 9. Вычисления с scikit-learn
  • 9.1. Стратегии масштабирования вычислений: большие данные
    • 9.1.1. Масштабирование с экземплярами с использованием обучения вне ядра
  • 9.2. Вычислительная производительность
    • 9.2.1. Задержка предсказания
    • 9.2.2. Пропускная способность предсказания
    • 9.2.3. Советы и хитрости
  • 9.3. Параллелизм, управление ресурсами и конфигурация
    • 9.3.1. Параллелизм
    • 9.3.2. Переключатели конфигурации
• 10. Сохранение модели
  • 10.1. Обзор рабочего процесса
    • 10.1.1. Обучить и сохранить модель
  • 10.2. ONNX
  • 10.3. skops.io
  • 10.4. pickle, joblib, и cloudpickle
  • 10.5. Ограничения безопасности и поддерживаемости
    • 10.5.1. Воспроизведение среды обучения в продакшене
    • 10.5.2. Обслуживание артефакта модели
  • 10.6. Summarizing the key points
• 11. Распространенные ошибки и рекомендуемые практики
  • 11.1. Несогласованная предобработка
  • 11.2. Утечка данных
    • 11.2.1. Как избежать утечки данных
    • 11.2.2. Утечка данных во время предобработки
  • 11.3. Управление случайностью
    • 11.3.1. Использование None или RandomState экземпляры, и повторные вызовы fit и split
    • 11.3.2. Распространённые подводные камни и тонкости
    • 11.3.3. Общие рекомендации
• 12. Диспетчеризация
  • 12.1. Поддержка Array API (экспериментальная)
    • 12.1.1. Включение поддержки Array API
    • 12.1.2. Пример использования
    • 12.1.3. Поддержка для Array API-совместимые входные данные
    • 12.1.4. Обработка типов входных и выходных массивов
    • 12.1.5. Общие проверки оценщиков
• 13. Выбор подходящего оценщика
• 14. Внешние ресурсы, видео и выступления
  • 14.1. MOOC scikit-learn
  • 14.2. Видео
  • 14.3. Новое в научном Python?
  • 14.4. Внешние учебные пособия