欢迎大家来到IT世界,在知识的湖畔探索吧!
超参数调整是机器学习中最耗时的部分之一。必须对大量不同的超参数设置的性能进行评估，以找到最佳设置。尽管现代优化算法可以最大限度地减少所需的评估次数，但对单一设置的评估仍然很昂贵。使用重新取样技术，机器学习方法必须在不同的训练数据集上进行固定次数的K$拟合。作为对设定性能的估计，使用了K$拟合的各自平均值。许多超参数设置在不到K$的重采样迭代后就可以被抛弃，因为它们已经明显不如高性能设置。然而，在实践中，重新取样往往要到最后才进行，浪费了大量的计算精力。 我们建议使用一个连续的测试程序来尽量减少重采样迭代的次数，以检测劣质的参数设置。为此，我们首先分析了再抽样误差的分布，我们会发现，正态分布是有希望的。之后，我们建立一个假设该分布的连续测试程序。这个顺序测试程序被用于随机搜索算法中。 在一些现实的数据情况下，我们将标准的随机搜索与我们增强的顺序随机搜索进行比较。可以看出，顺序随机搜索能够找到相当好的超参数设置，但是，找到这些设置所需的计算时间大约减少了一半。
《Using Sequential Statistical Tests to Improve the Performance of Random Search in hyperparameter Tuning》
论文地址:http://arxiv.org/abs/2112.12438v1
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://itzsg.com/72710.html
