什么是超参数
〖壹〗 、超参数是在开始机器学习之前，人为设置好的参数 ，它不能直接从标准模型训练过程中的数据中学习得到 ，而是需要通过预先定义和后续优化来提高学习性能和效果 。超参数的定义在机器学习和深度学习中，参数通常分为两类：模型参数和超参数 。
〖贰〗 、超参数是控制机器学习模型训练过程的配置变量。
〖叁〗、超参数是在机器学习开始学习过程之前需要手动设置的参数 ，它们不是通过训练过程得到的参数数据 。以下是关于超参数的详细解释：定义与特性 定义：超参数是在机器学习模型训练之前就需要确定的参数 ，它们对模型的性能和效果有重要影响 。
〖肆〗 、超参数是在机器学习的上下文中，在开始学习过程之前需要手动设置的参数，而不是通过训练过程得到的参数数据。以下是关于超参数的详细解释：定义与作用：超参数在机器学习模型的训练开始之前就已经确定 ，它们对模型的性能和效果有着重要影响。
catboost,lightgbm,xgboost的超参数的借鉴设定
GBM与CatBoost 。CatBoost在测试集准确度比较高 、过拟合程度最小、预测与调试时间最短 。但仅在包含分类特征并适当调整时表现优秀。XGBoost准确度接近CatBoost ，但运行速度较慢 。LightGBM在使用CatBoost特征时表现不佳，但正确使用时 ，速度与XGBoost相近 。结论适用于特定数据集 ，通常情况下，XGBoost运行速度较慢。
模型融合框架交叉验证策略：使用KFold进行5折分层抽样 ，确保每折数据分布一致 。多模型集成：分别训练LightGBM、XGBoost和CatBoost三个模型 ，通过交叉验证生成：袋外预测（OOF）：用于评估模型在训练集上的表现 。测试集预测：每个模型对测试集的预测结果。
模型参数调整包括学习率 、min_child_weight 、num_leaves、lambda_l2等，以优化模型性能 。经过多次迭代与参数调整 ，最终得分提升至2596左右 ，显著优于任务一的简单模型 。任务三聚焦模型集成，实现catboost 、xgboost与LightGBM三种模型的融合 ，以提高预测精度。
与传统梯度提升库（如 XGBoost 、LightGBM）相比：类别特征处理：CatBoost 无需手动编码 ，减少信息损失；其他库需依赖独热编码或目标编码 。过拟合控制：有序提升技术通过随机排列样本训练基模型，降低方差 。易用性：提供更简洁的 API 和默认参数，适合快速原型开发。
模型层面：对比线性回归、随机森林 、XGBoost 、MLP等模型在强度预测中的性能 ，通过PyTorch实现PINNs模拟非线性振动问题。
LoRA速成:看loss值调整超参数
〖壹〗、loss值一般控制在0.1~0.12之间 。若loss值超出此范围 ，可能表明模型训练存在问题 。二次元LoRA模型的loss值通常可以比三次元模型更低一些，但具体范围需根据实际训练情况判断。loss值不收敛的调整方法loss值收敛到0.15以下后不再继续收敛：原因：可能是学习率设置过高 ，导致模型在接近最优解时无法稳定 。
〖贰〗 、在LoRA模型训练中 ，根据loss值调整超参数的速成指南如下：控制loss值范围：三次元LoRA模型：建议控制loss值在0.1~0.12之间 。二次元模型：loss值的要求可适当放宽。loss值不收敛的处理：若loss值不收敛，可能由多个因素导致 ，需具体分析 。
〖叁〗 、遇到loss值收敛至0.15以下后不再下降的情况 ，可尝试将学习率调低一半，可能是当前学习率设置过高 。若loss值反而持续增大直至变为nan ，则可能数据集过大 ，应适当提升batchsize。然而，值得注意的是 ，batchsize的提升会导致显存需求增加 ，因此需根据实际情况调整 。
〖肆〗、对于不同类型的LoRA模型，loss值的控制范围可能会有所不同 。例如，在训练三次元LoRA时 ，loss值一般控制在0.1~0.12之间。这个范围并不是绝对的 ，而是需要根据具体的训练任务和数据集进行调整 。
〖伍〗 、训练设备性能：训练设备的性能对训练时间有很大影响，GPU加速能大幅缩短训练时间 。设定训练的轮数：设定合适的训练轮数 ，避免过拟合或欠拟合情况。使用验证集来评估模型性能 ，调整训练方向。超参数调优：可采用网格搜索等方法进行超参数调优，穷举寻找最优组合 。
什么是超参数?如何对它进行调整?
〖壹〗 、在机器学习实验中 ，超参数调整是优化模型性能的关键步骤 。常见的超参数调整方法包括： **网格搜索**：这是一种基础且直接的调优方法 ，通过遍历所有指定的超参数组合来寻找最佳配置。尽管这种方法简单，但当超参数数量增多时 ，计算复杂度会急剧增加 。
〖贰〗、逐步调整：在调节超参数时 ，应逐步调整并观察模型性能的变化，以便找到最优的超参数组合 。
〖叁〗、学习率衰减：随着训练的进行 ，逐渐减小学习率 ，有助于模型收敛。批量大小：每次迭代中用于训练模型的数据样本数量 。优化器类型：决定如何更新模型的权重，如SGD 、Adam等 。网络结构：神经网络的层数 、每层的神经元数量等。正则化参数：如LL2正则化项，用于防止模型过拟合 。
〖肆〗、贝叶斯优化：利用贝叶斯定理来指导超参数的搜索过程 ，通过构建目标函数的概率模型来高效地找到最优超参数组合 。超参数与训练参数的区别 训练参数：是模型在训练过程中通过学习算法自动调整的参数 ，如神经网络的权重和偏置。
〖伍〗 、在实际操作中，学习算法能够很好地拟合 、重建训练数据中的参数 ，而超参数优化的目标则是找到那些能够提升模型泛化能力的参数组合 。通过精细地调整这些超参数 ，我们有望构建出既具备强大学习能力又具有良好泛化性能的模型 。此外，超参数优化过程还涉及对模型复杂度和过拟合的权衡。
〖陆〗、超参数的选取对于模型的训练结果至关重要 ，因为它们直接影响模型的性能和训练速度。 常见超参数类型：常见的超参数包括学习率 、学习率衰减 、批量大小、优化器类型 、网络结构 、正则化参数等 。这些超参数的具体值需要根据具体的任务和数据集进行调整 。
