数据挖掘之超参调优技巧
本文分享一些数据挖掘和机器学习的超参调优小技巧。
一个经验或者说是我们调优目标：训练损失应该稳步下降，一开始是陡峭的，然后更慢，直到曲线的斜率达到或接近零。
大多数机器学习问题需要大量的超参数调整。不幸的是，我们无法为每个模型提供具体的调整规则。降低学习率可以帮助一个模型有效收敛，但会使另一个模型收敛得太慢。您必须尝试为数据集找到最佳超参数集。也就是说，有一些经验法则：
训练损失应该稳步下降，一开始是陡峭的，然后更慢，直到曲线的斜率达到或接近零。
如果训练损失不收敛，则训练更多 epochs。
如果训练损失减少太慢，请提高学习率。请注意，将学习率设置得太高也可能会阻止训练损失收敛。
如果训练损失变化很大（即训练损失跳跃），请降低学习率。
在增加 epoch 数或批量大小的同时降低学习率通常是一个很好的组合。
将批大小设置为非常小也会导致不稳定。首先，尝试大批量值。然后，减小批量大小，直到您看到性能下降。
对于包含大量示例的真实数据集，整个数据集可能无法放入内存中。在这种情况下，您需要减小批处理大小以使批处理适合内存。
请记住：超参数的理想组合取决于数据，因此您必须始终进行试验和验证。
以上为主要：
以下为个别tip：
训练并不完全是确定性的，但通常loss收敛后的值偏大，说明这个模型或特征更不好，换个模型或者进行特征筛选。