XGBoost

XGBoost est une implémentation d'arbres de décision à gradient boosté conçue pour être rapide et performant. Gradient Boosting est un algorithme d'apprentissage supervisé qui tente de prédire avec précision une variable cible en combinant les estimations d'un ensemble de modèles simples et plus faibles. Il est utilisé avec des données structurées ou tabulaires. Il a été créé à partir des recherches de l'auteur sur les variantes de tree boosting en combinant des arbres boostés avec un champ aléatoire conditionnel. Il est devenu populaire lorsque l'auteur a décidé d'essayer le Higgs Boson Challenge sur Kaggle et qu'il s'est retrouvé 1er du classement.