俄罗斯搜索引擎 Yandex Research推出Ai表格表格数据处理TabM

俄罗斯搜索引擎 Yandex Research推出Ai表格表格数据处理TabM
《俄罗斯搜索引擎 Yandex Research推出Ai表格表格数据处理TabM》

这项技术能够快速处理大规模数据并提供高精度预测,是商业、研究和医学领域亟需的一项能力。表格数据模型广泛应用于优化供应链、预测能源消耗、按疾病风险对患者进行分类等任务。

Yandex 研究团队的开发成果已在谷歌的国际数据科学和机器学习竞赛平台 Kaggle 上投入使用。值得注意的是,在 CIBMTR 主办的一项竞赛中,该新架构被用于提高异基因造血细胞移植 (HCT) 患者移植存活率的预测。Kaggle 的获胜者和获奖者因使用 TabM 解决这些及其他挑战而共获得了 6 万美元的奖金。

TabM(可进行多重预测的表格深度学习模型的缩写)是模型集成方法的有效实现。集成中的多个模型会分析数据,然后计算预测结果的平均值。TabM 架构能够在预测准确性和计算资源高效利用之间实现最佳平衡。

在 46 个数据集的测试中,TabM 的表现优于其他方法——不仅获得了最佳平均排名(TabM 为 1.7,而其最接近的竞争对手为 2.9),而且还展现出卓越的稳定性,这对于实际应用至关重要。由于能够整合多个子模型的优势并高效利用计算资源,TabM 可以与 CatBoost、XGBoost 和 LightGBM 等经典梯度提升模型相媲美——这些模型长期以来被认为是表格数据的黄金标准。

该架构可在GitHub上供开发人员和研究人员使用 ,研究论文可在 arXiv上查阅。

自 2019 年以来,Yandex Research 的科学家已经发表了8 篇关于表格数据深度学习模型的研究论文,总共获得 1,900 多次引用。

值得注意的是,TabM 论文已被德国曼海姆大学、新加坡国立大学、韩国大学和伊利诺伊大学香槟分校等机构引用。

多年来,这些论文已被包括 NeurIPS、ICLR 和 ICML 在内的顶级人工智能会议接受。