type
status
date
slug
summary
tags
category
icon
password
这里会讲一些正则化模型的技术，用于解决过拟合问题
权重衰减 是最广泛使用的正则化技术之一，被称为 正则化
我们需要考虑的问题是如何量化一个模型的复杂程度，根据复杂程度制定惩罚规则，避免模型复杂带来的过拟合
我们可以设定权重范数（复杂程度的值），加到 Loss 上，以实现惩罚的效果
范数
相比于 1，他对于权重向量中的大分量惩罚更为严重，使得算法偏向于权重均匀分布的模型
被称为岭回归（ ridge regression）
我的疑问：w 的大小和复杂度有关系？
在机器学习中，模型的复杂度通常与 自由度（degree of freedom） 相关，也就是模型可以学习到多复杂的映射关系。常见的影响复杂度的因素包括：
• 参数的个数：更多的参数意味着更多的自由度，模型可以拟合更复杂的模式。
• 参数的值大小：即使参数个数不变，参数值越大，模型的变化范围也越大，容易拟合复杂函数。
• 非线性程度：如果模型的决策边界过于复杂，可能会导致过拟合。
因此，并不只有减少参数个数才能降低模型复杂度，控制参数的值大小也可以让模型变得更简单。
小结
- 正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，以降低学习到的模型的复杂度。
- 保持模型简单的一个特别的选择是使用L2惩罚的权重衰减。这会导致学习算法更新步骤中的权重衰减。
- 权重衰减功能在深度学习框架的优化器中提供。
- 在同一训练代码实现中，不同的参数集可以有不同的更新行为。
- 作者:昊卿
- 链接:hqhq1025.tech/article/1b3a897c-9da0-8091-abba-ce76314332ef
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
