什么是超参数

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

超参数优化或模型选择是为学习算法选择一组最优超参数时的问题，通常目的是优化算法在独立数据集上的性能的度量。 通常使用交叉验证来估计这种泛化性能。超参数优化与实际的学习问题形成对比，这些问题通常也被转化为优化问题，但是优化了训练集上的损失函数。 实际上，学习算法学习可以很好地建模、重建输入的参数，而超参数优化则是

机器学习的超参数是什么

机器学习的超参数是什么

自从接触了机器学习后，在很多地方如书籍和文献中经常会看到有一类参数叫超参数（hyperparameter），其中提超参数最多的地方是在支持向量机（SVM）和深度学习（Deep Learning）中，比如支持向量机中的松弛因子：

上式中的C就是松弛因子，这个参数在支持向量机中不像参数W那样，可以通过优化学习得到。还有深度学习中的超参数，如学习率（Learning Rate），在训练深度网络时，这个学习率参数需要提前指定，比如最近设为0.09等。

那么问题来了，到底什么是超参数（hyperparameter）？在很多教材和文献中都是默认你理解超参数的定义的。如果不知道超参数的定义的话，有些文献中的话可能不好理解，比如在机器学习中，尤其是在支持向量机中，为什么有些文献要把数据集分割成训练集，验证集和测试集，而不是直接分割为训练集和测试集？只有理解了何谓超参数，才会明白某些文献中这样分割的道理。

什么是超参数呢？先来看一下超参数的学院风定义：在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

超参数的通俗定义：超参数也是一种参数，它具有参数的特性，比如未知，也就是它不是一个已知常量。一种手工可配置的设置，需要为它根据已有或现有的经验指定“正确”的值，也就是人为为它设定一个值，它不是通过系统学习得到的。

下面主要看看超参数在机器学习中的定义及示例：

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。

超参数：

1. 定义关于模型的更高层次的概念，如复杂性或学习能力。

2. 不能直接从标准模型培训过程中的数据中学习，需要预先定义。

3. 可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

超参数的一些示例：

1. 树的数量或树的深度

2. 矩阵分解中潜在因素的数量

3. 学习率（多种模式）

4. 深层神经网络隐藏层数

5. k均值聚类中的簇数

什么是超参数

超参数的选择直接影响着支持向量机（SVM）的泛化性能和回归效验，是确保SVM优秀性能的关键。针对超参数穷举搜索方法的难点，从试验设计的角度，提出了正交设计超参选择方法，并分析了基于混合核函数（比单一核函数具有更好的收敛性和模型适应性）SVM各个超参数的取值范围，选定了每个参数的试验水平。通过考虑参数间的正交性和交互性，选取最优超参数组合下的SVM模型。应用该方法，对两种典型滑坡位移时序的SVM建模进行了超参数组合正交优化设计，获得了精度高且泛化性能良好的滑坡预测模型，其试验结果验证了方法的可靠性。正交设计超参选择方法较之其他超参选择法简单实用，其高时效的特点更有助于SVM在实践工程中的良好应用。