实验结果
上面两张表展示了方案在五个公开数据集和五个未公开数据集的结果,这五个数据集涉及不同的领域。
可以看到:
在五个公开数据集上,深兰团队工作的平均得分比第二名高出4.14%,而在五个未公布数据集上,这一数字增加到30.31%;
大多数团队的结果显示不同数据集上的性能不稳定;
在五个公开数据集上表现良好的一些排名靠前的团队(例如Deep_Wisdom和MingLive),无法在五个未公布数据集上获得相似的性能。
所有这些发现都充分证明了论文中提出的,针对时态关系数据的AutoML框架的有效性和鲁棒性,其在所有数据集上均表现出良好且稳定的性能。
模型细节
论文提出的框架由四个自动模块组成,包括:
数据预处理;
表合并;
特征工程;
模型调整;
用于控制模型时间和内存使用的时间记忆控制器。
整个框架结构由下图所示。
3.1 问题定义
时间关系数据通常代表多个关系表,即一个描述有关键ID的时间信息的主表,以及几个包含有关键ID的辅助信息的相关表,其中Key IDs是主表之间的连接列以及相关表格。
时间关系表的示例在下图中显示,其中Key ID这里是User ID和Item ID。