Обучение с учителем

Постановка задачи

Из «Бета-Банка» стали уходить клиенты. Каждый месяц. Немного, но заметно. Банковские маркетологи посчитали: сохранять текущих клиентов дешевле, чем привлекать новых. Нужно спрогнозировать, уйдёт клиент из банка в ближайшее время или нет. Вам предоставлены исторические данные о поведении клиентов и расторжении договоров с банком. Постройте модель с предельно большим значением F1-меры. Чтобы сдать проект успешно, нужно довести метрику до 0.59. Проверьте F1-меру на тестовой выборке самостоятельно. Дополнительно измеряйте AUC-ROC, сравнивайте её значение с F1-мерой. Источник данных: https://www.kaggle.com/barelydedicated/bank-customer-churn-modeling

Используемые модели и техники

Модели

- логистическая регрессия
- дерево решений
- случайный лес

Техники

- балансировка классов 
- updampling
- downsamplig
- работа с порогом

Краткий вывод

• Лучшай модель получилась при использовании алгоритма RandomForest со сдвигом порога
• Есть небольшая связь между f1 score и ROC-AUC. Обычно, когда f1 ростет то и ROC-AUC тоже ростет. Когда двигаем порог - связь теряется