CatBoost
By Eric Antoine ScuccimarraUsually when you think of a gradient boosted decision tree you think of XGBoost or LightGBM. I'd heard of CatBoost but I'd never tried it and it didn't seem too popular. I was looking at a Kaggle competition which had a lot of categorical data and I had squeezed just about every drop of performance I could out of LGBM so I decided to give CatBoost a try. I was extremely impressed.
Out of the box, with all default parameters, CatBoost scored better than the LGBM I had spent about a week tuning. CatBoost trained significantly slower than LGBM, but it will run on a GPU and doing so makes it train just slightly slower than the LGBM. Unlike XGBoost it can handle categorical data, which is nice because in this case we have far too many categories to do one-hot encoding. I've read the documentation several times but I am still unclear as to how exactly it encodes the categorical data, but whatever it does works very well.
I am just beginning to try to tune the hyperparameters so it is unclear how much (if any) extra performance I'll be able to squeeze out of it, but I am very, very impressed with CatBoost and I highly recommend it for any datasets which contain categorical data. Thank you Yandex!
Labels: coding, data_science, machine_learning, kaggle, catboost
Comments
Please login to comment|
RobertQH
Jan 22, 2019 at 11:34 am |
Хочу расказать и привсвести привер, а также сравнить: требования к лесам строительным; ГОСТ и виды строительных лесов; как собирать леса; комплектующие элементы вышку-туру; цены; подбор строительных лесов и многое другое. Строительные леса - это металлическая конструкция, собираемая вдоль фасада здания, которая используется для ведения строительных и отделочных работ. Основными их достоинствами считаются простота и скорость сборки, а также легкость и относительная низкая стоимость. Кроме этого строительные леса пригодны для многократного использования, при хранении они не занимают много места, а для их загрузки и транспортировки не требуется спецтехника. Подробнее:<a href=https://vk.com/minsklesa>леса строительные цена</a> Комплект строительных лесов включает в себя: Раму с лестницей; Раму проходную; Связь диагональную; Связь горизонтальную; Ригель; Настил; Опорную пяту; Анкерное крепление. Вышки-туры, используемые в строительстве, представляют собой оборудование для осуществления работ на высоте. Вышки-туры в Иркутске преимущественно применяются при проведении таких операций: фасадные работы; сервис вентиляционных систем; чистка витражей, мытьё стёкол. Мы готовы предложить:<a href=https://vk.com/vyshki_tur>вышка тура в минске</a>. Строительная сетка: разновидности и характеристики.В процессе проведения различных работ на стройплощадке довольно часто применяется строительная сетка. Сегодня она представлена несколькими разновидностями, и все они имеют свои эксплуатационные характеристики и предназначение. Подробнее <a href=https://vk.com/setkiminsk>купить сетку пвх</a> можно узнать у производителя на kiloton.by Такая продукция предназначена для монтажа как на уже возведенных, так и на еще строящихся зданиях высотного типа. Улавливающая сетка служит для предотвращения возможного падения со значительной высоты стройматериалов, рабочих и всевозможных инструментов, и даже сосулек с крыш. Побробнее <a href=https://vk.com/setkaby>купить сетку в гродно</a>
|
nkotbK
Feb 18, 2019 at 09:16 am |
New Kids on the Block is my favourite band of 90s. They had so many hits! The ones I remember are 'Tonight', 'Baby, I Believe In You' and, of course their hit 'Step By Step'. These are real songs, not fake ones like today! And it is awesome NKOTB have a tour in 2019! So I'm going to attend New Kids on the Block concert this year. The full list is here: <a href=https://newkidsontheblocktour2019.com>New Kids on the Block tour Atlanta</a>. Check it out and maybe we can even visit one of the performances together!