Matematikai különbségek a GBM, az XGBoost, a LightGBM és a CatBoost között
A GBDT modellcsaládnak számos megvalósítása létezik, például:
- GBM
- XGBoost
- LightGBM
- Catboost.
Milyen különbségek vannak matek e különböző megvalósítások között?
Úgy tűnik, hogy a Catboost felülmúlja a többi implementációt, még csak az alapértelmezett paramétereit is használva, de ennek ellenére nagyon lassú.
Feltételezem, hogy a catboost nem használja a dummifikált változókat, így az egyes (kategorikus) változók súlya kiegyensúlyozottabb a többi megvalósításhoz képest, így a nagy kardinalitású változóknak nincs nagyobb súlyuk, mint a többinek. Engedje meg, hogy a gyenge (alacsony kardinalitású) kategóriák belépjenek egyes fákba, ezáltal jobb teljesítményt nyújt. Ezen kívül nincs további magyarázatom.
Ezt a cikket szeretné megtekinteni a Yandex csapatának angol nyelvű cikkében a CATBoost matematikai szingularitásáról.
Röviden elolvastam, és néhány olyan dolog közül, amelyet gyorsan megértettem, az a tény, hogy nem használják a VONAT A KÉPZÉSRE, mivel ezek a maradványok optimistán torzítják a tanulás minőségét. ( Frissítés: ez az újdonság lehetőséget nyújt a túlillesztés elleni küzdelemre, ami az egyik oka annak, hogy az algoritmus jobban teljesített az analógjaihoz képest, valamint számos lehetőség a kategorikus változók előkezelésére.
Sajnálom, hogy nem adott konkrét és teljes választ.
Matematikai különbségek a GBM, az XGBoost között
Először azt javaslom, olvassa el Friedman cikkét a Gradient Boosting Machine-ről, amelyet különösen a lineáris regresszor modellekre, osztályozókra és döntési fákra alkalmaznak. https://statweb.stanford.edu/