小明参加某公司的大数据竞赛,他的成绩在大赛排行榜上原本居于前二十,后来他保持特征不变,对原来的模型做了1天的调参,将自己的模型在自己本地测试集上的准确率提升了5%,然后他信心满满地将新模型的预测结果更新到了大赛官网上,结果懊恼地发现自己的新模型在大赛官方的测试集上准确率反而下降了。对此,他的朋友们展开了讨论,以下哪些说法正确。
小明参加某公司的大数据竞赛,他的成绩在大赛排行榜上原本居于前二十,后来他保持特征不变,对原来的模型做了1天的调参,将自己的模型在自己本地测试集上的准确率提升了5%,然后他信心满满地将新模型的预测结果更新到了大赛官网上,结果懊恼地发现自己的新模型在大赛官方的测试集上准确率反而下降了。对此,他的朋友们展开了讨论,以下哪些说法正确。
A、小芳:从机器学习理论的角度,这样的情况不应该发生,快去找大赛组委会反应
B、小刚:你这个有可能是由于过拟合导致的
C、小月:早就和你说过了,乖乖使用默认的参数就好了,调参是不可能有收益的
D、小平:你可以考虑一下,使用交叉验证来验证一下是否发生了过拟合
正确答案:小平:你可以考虑一下,使用交叉验证来验证一下是否发生了过拟合