8月份第一周记录

day1

1. 和老板约1v1，暂定周五，沟通试用期目标，暂定如下：1、SSL(MX/CO) moto版本拉齐及模型优化，rides不显著降低的情况下 CR+0.5pp，GMV+0.5% 2、RL倍数决策，协助线上开发及实验，拿到初步结果。
   • 为了准备周五沟通，最好 （1）先了解一下ssl的7.4版本和现在版本8的区别，了解rides等指标约束 （2）看看强化学习的论文，从阿里妈妈的这个看起。 （3）准备一下如何沟通，委婉提出想搞大模型。
2. 继续迭代ar-trigger的优化，目前dipnfreew0模型为基线，尝试解决在ddt1.3-2.3样本的低估问题。
   • 重新审查train代码，发现保存bestmodel直接用的 best_model=> model.state_dict()，这是浅拷贝。。。
   • 画了一下样本分布，猜测低倍数的样本和高倍数的分布不一致导致了这个问题，原文档里提到了一个“基于事实采样”，应该也说明要调整样本分布结构在训练时； 其次训练的时候可能要加点epoch，确保练熟。

3. 阅读了dd自己的一篇综述，做强化学习定价的，已经整理为文档，后面再看一下，周五可以和老板讨论一下，看看能不能做.

4. 完成线上实验的准入考试。

day2

1. 使用weightloss思路优化dipn模型,没有起到效果，目前最好的模型还是优化了训练管线后的dipnfreew0模型。

2. 学习：如果深度学习的特征输入中有3 7 14 28 天维度，应该如何处理？例如特征中既有一列为3天平均gmv，又有一列为7天平均gmv。这两者之间存在很强的相关性，在传统机器学习如线性回归中会导致问题。深度学习中会导致问题吗？如果不会，为什么？如果会，应该怎么处理这种数据？

• 基本不会有线性回归的问题，因为dl不求矩阵逆。但是仍然存在小问题，如可解释差等；解决问题方式：
• 先做标准化 + 对 GMV 取 log1p。GMV 是重尾金额,log1p 几乎必做,再 z-score。这一步比去共线性更重要。

• 直接全喂,配上正则。数据量够 + 有 L2/dropout时最省事且够用，默认做法。

• 改造成”增量/趋势”特征(很推荐)。与其喂原始的强相关值,不如喂它们的比值或差分；gmv_3d / gmv_7d(近期是否加速)、gmv_7d / gmv_28d(中期趋势); gmv_3d − gmv_7d。

• 把多窗口当”多尺度序列”编码。[3,7,14,28] 天本身是一条按尺度排列的短序列,可以把一组窗口特征过一个小 MLP / 1D-CNN 压缩成一个 group embedding。这种”特征组编码”是干净的设计。

• PCA 去相关:能做DL不划算,不推荐

day3

初步确定试用期目标：

1. SSL(MX/CO) moto版本拉齐及模型优化，rides不显著降低的情况下 CR+0.5pp，GMV+0.5%； 可能的收益链路，从模型和策略两边看：
   
   • 模型端：
   • 目前点ar_trigger用的dipn模型还有不少问题，结合前面看他们应该还在用v2，我修的v3应该合理一点，因为v3和文档里一样
   • 样本是有偏的，有偏有两层；一是训练样本通过explore机制来，其中的ddt分布和真实分布不一致；二是explore机制本身也是有偏
   • 特征含义，看看featv2表，加加新特征；尝试使用周围格子特征（目前只有简单的取平均），图，可以不局限于纯表格类数据
   • 策略端：
   • 看v7和v8策略区别，在于v7策略暂时没有加格子ar_trigger模型在demandsupplyfilter模块中，这可能是一个收益点。
   • 乘客动调希望更简洁，一段
   • 优化策略的触发条件

2. RL倍数决策，协助线上开发及实验，拿到初步结果

3. 稳定性，别出事情。

参加rl的周会，旁听为主，看看目前是什么进度。目前可能要我做的事情

• 开发线上explore新机制
• 邻居格子特征的选取的开发，这个有和目前预测ar_trigger模型有一部分重合工作
• 思考：奖励如何设计？ 多目标奖励，只gmv时涨价，只关注cr时降价。 目的是司机效率（gmv）和可靠性（cr）；而且是供需紧张情况下触发的，需要考虑； wjw：er需要越高越好，而cr更多是一个约束条件，保证下限即可

day4

优化dipn，无效果，继续。

准备周五和老板的1v1沟通，清单如下：