动调实习第三周记录

4月27日

样本不平衡对lgb模型的影响

1. 在测试集上，现有lgb模型的recall约为1，precsion和accuracy接近真实数据中的正样本比例，说明模型直接把所有样本都预测为正样本。
   对策：构建一个新的测试集，正负样本比例1:1进行测试。
   结果：从均衡测试集看，acc和precision都在0.5左右，recall仍然很高，说明模型倾向于预测正样本，此现象可作证测试数据集不平衡导致的模型偏差。
   
   • mae:0.255
   • auc:0.732
   • wmape:0.652
   • recall:0.990
   • accuracy:0.566
   • precision:0.553
   • f1 score:0.709
2. 通过观察测试数据集上的等宽分组和等频分组后的预测值-真实值差异情况，发现训练集和测试集是不均的，具体而言数量约为4：1。
   对策：进行样本加权尝试。
3. 结果：使用对样本加权采样后训练的方法，训练后在正负样本1:1的测试集测试，模型价指标如下：
   
   • mae:0.036
   • auc:0.723
   • wmape:0.073
   • recall:0.660
   • accuracy:0.662
   • precision:0.694
   • f1 score:0.676

4月28日

学校事务请假一天去南京，无进展。

4月29日

验证时间变量对模型影响

hour day_of_week week_of_month这三个时间变量对模型的影响。: week_of_month对模型无显著影响。统计查看按照day_of_week和hour分组后的ar的真实值。

进行网格化搜索确定超参数

通过网格搜素寻找超参数，确定lr， num_leaves， max_depth这三个对lgb模型影响较大的参数