贝叶斯优化算法

[rabiakhatun785]

超参数优化在机器学习模型的开发和改进中起着重要作用，可确保其在特定任务中发挥最佳性能。贝叶斯优化算法因其效率和有效性而在各种方法中脱颖而出。与随机搜索和网格搜索等超参数调整方法不同，这些方法独立评估参数值而不考虑先前迭代的结果，而贝叶斯优化则利用先前评估的结果。这大大减少了找到最佳参数所需的时间。

该方法系统地细化超参数，重点关注最有可能产生更好性能的组合，从而增强模型在测试数据上的泛化能力。

在本文中，我们将以 Serokell 的实践为例，探索使用贝叶斯优化的基于模型的搜索。

什么是超参数？
在机器学习中，超参数是在学习过程之 巴西 电话号码 前手动设置的参数，用于配置模型结构或帮助学习。与在训练过程中学习和设置的模型参数不同，超参数是预先提供的，用于优化性能。

超参数的一些示例包括神经网络中的激活函数和层结构以及随机森林中的树和特征的数量。超参数的选择会显著影响模型性能，导致过度拟合或欠拟合。

超参数调整
机器学习中超参数优化的目的是找到给定 ML 算法的超参数，以便在验证集上获得最佳性能。

下面您可以看到两种算法的超参数示例，即随机森林和梯度增强机（GBM）：

算法 超参数
随机森林
树木数量：森林中的树木数量。
最大特征：分割节点时考虑的最大特征数。
最小样本叶：叶节点所需的最小样本数。
梯度提升机（GBM）
学习率：应用于每棵树的收缩因子。
树的数量：要运行的提升阶段的数量。
子样本：用于拟合单个基础学习者的样本部分。
阅读本文可以获得有关超参数的更详细解释。

超参数优化方法
超参数优化主要有四种方法。

手动搜索：手动设置超参数，并迭代地对模型的训练进行评估。
网格搜索：此方法通过预定义一组用于系统评估的超参数来实现流程的自动化。
随机搜索：这种方法也可以自动化整个过程，通过随机抽样参数值进行评估。
基于模型的搜索：通过结合自动化和反馈，这种方法根据以前的试验结果调整超参数值。
在快速找到最佳设置方面，随机搜索通常优于网格搜索。虽然手动搜索需要不断参与，但每次尝试都能从中学习。网格搜索独立运行，无需从过去的结果中学习。随机搜索也是自动的，但不会随着时间的推移而改进。基于模型的搜索结合了这三种方法的最佳特点：它是自动化的，并且从每次尝试中学习。

手动、网格、随机、基于模型的搜索比较
在以下章节中，我们将详细探讨基于模型的搜索。

使用贝叶斯优化的基于模型的搜索
贝叶斯优化是一种有效的策略，用于优化评估成本高的目标函数。它在函数评估需要很长时间的情况下特别有用，例如调整机器学习模型的超参数。贝叶斯优化的工作原理是构建一个概率模型，将输入参数映射到可能结果的概率分布。然后使用该模型对目标函数在参数空间中可能达到其最优值的位置进行有根据的猜测。

该过程涉及两个主要组成部分：代理模型和获取功能。

替代模型通常是高斯过程，用于估计目标函数，并随着新数据点的评估而不断更新。该模型提供了对参数空间中未探索点的预测的不确定性或置信度的度量。
获取函数使用代理模型的预测来决定下一步应评估参数空间中的哪个点。它在探索具有高不确定性的新领域和利用已知可提供有希望结果的领域之间取得平衡。