No post anterior, a primeira versão dos modelos para definição de credit scoring foi feita usando 8 algoritmos de classificação de dados. Nesta versão, somente os algorimos com os três melhores resulatdos foram utilizados no processo de otimização com o RandomizedSearchCV: CatBoost, GradientBoosting e LightGBM.
Para fins de experimentação, as otimizações foram realizadas, somente, em dois hiperparâmetros: número de estimadores (n_estimators) e taxa de aprendizado (learning_rate).
Os resultados do Gradient Boosting apresentaram uma leve melhora em tanto em Acurácia como no F1 Score, ao passo que o LightGBM e o CatBoost tiveram um aumento de performance, apenas, no Teste KS.
Métrica: Acurácia
CatBoost = De 0.8222 para 0.8220
LightGBM = De 0.8223 para 0.8215
Gradient Boosting = De 0.8202 para 0.8214
Métrica: F1 Score
LightGBM = De 0.4824 para 0.4776
CatBoost = De 0.4835 para 0.4765
Gradient Boosting = De 0.4726 para 0.4729
Métrica: Teste KS
CatBoost = De 0.4338 para 0.4456
Gradient Boosting = De 0.4396 para 0.4360
LightGBM = De 0.4282 para 0.4348
Se desejar, confira o código dos modelos acessando o GitHub.
Comments