短视频热门教程分享嘉宾｜周晓宇，快手经济学家团队技术负责人
编辑| 王新民，同济大学
制作平台｜DataFunTalk
01
介绍
首先简单介绍一下Uplift。
Uplift模型需要做的是估计每个人对实验的反应，从而选择对实验更敏感的一组人。 例如，商家希望通过向顾客发送美容折扣券来增加顾客在该商家的消费。 当商家向所有用户发放美妆产品折扣券时，男性用户可能无法获得折扣券的用处，而女性用户可能更容易被这种策略所吸引。 如果我们计算发放优惠券的平均效果，即ATE（平均治疗效果），如果男性用户没有反馈而女性用户有积极反馈，则两组的综合实验效果可能并不显着。
此外，我们希望找到具有显着激励效果的用户群体。 业务中常见的做法是用户分层，但传统的用户分层很难展示高维度的分层结果。 这也是 Uplift 受欢迎的原因——我们希望估计高维异质因果效应——HTE（异质处理效应），而不是 ATE。
估计HTE的方法有很多种，例如休闲树、休闲森林等。我们首先从线性模型的角度解释如何从ATE估计HTE。 当实验变量离散时（即传统方法是将用户分为实验组和对照组），ATE的计算公式是两个用户组的结果变量diff的期望； 当实验变量是连续的（例如实验变量是药物的剂量）时，ATE的计算公式是结果变量相对于实验变量的推导。 用散点图来说明：当x轴为实验变量，y轴为结果变量时，ATE为拟合曲线在各点的斜率。 以此类推，HTE 要求我们求出每个点的斜率。
一个简单的解决方案是构造实验变量和特征变量之间的交互项并拟合一个线性函数：对于没有交互项的函数，求解出的实验效果是一个常数，即实验效果对于每个人都是相同的; 对于具有交互项的函数，求解的实验效果是特征变量X的函数。对于这种形式的HTE，我们也可以将其称为CATE（条件平均处理效果），因为它以特征变量X为条件。
例如：假设用户的数据包含两个档案变量，性别和年龄，并且都是one-hot编码的——性别等于1表示男性，性别等于0表示女性，年龄1表示大于30岁，0表示小于30岁30岁以上。 。 在这两个维度下，用户可以分为四组，我们希望估计每组的异质因果效应。 线性模型求解结果如表中公式所示。 这种方法的优点是：
①简单易懂：HTE相当于用户分层后找到各组的ATE。
②可进行统计检验：通过delta法可快速计算出标准误差。
02
困难
快手在应用Uplift模型时遇到了以下问题。
第一个问题：业务场景中的实验变量往往是连续的。 当第一个单元的边际影响与第二个单元的边际影响不同时，我们如何捕捉和量化这种现象？
比如推送消息：我们希望通过推送来增加用户的App时长。 大多数人每天都能接受一两次推送，但当用户收到第五次推送时，就会感到无聊，甚至关闭推送提醒功能，这样平台以后就再也没有机会吸引这个用户了。 我们希望有一个模型，不仅可以给出 HTE，还可以计算每个用户在不同实验剂量下的边际效应。 这样就可以知道哪些用户应该多推送。
再比如，当一个作者的粉丝数量增加时，我们希望他能够在平台上产出更多的作品。 我们发现，作者添加的前1000单位粉丝和后1000单位粉丝所带来的发表作品数量增量是不同的，因为大V主播和小主播对于同一个增量的感知是不同的在粉丝中。 如何捕捉这种规模效应，也是企业经常遇到的问题。
第二个问题：如何对非线性模型进行统计检验？
由于假设过于强烈，线性模型通常表现不佳。 切换到更复杂的机器学习模型后，Delta 方法不再适合查找标准误差。 而且特别是对于一些波动特别大的指标，即使使用delta方法也效果不佳。 因此我们需要知道如何判断指标的显着性。
针对以上两个问题，我们简单介绍一下快手的解决方案。
首先是估计规模效应。 以作者和作者的生产编号为例。 经济学中有一个理论叫边际效应递减定律：即当作者的粉丝数增加时，单纯通过增加粉丝数来产生作者的产出数所能产生的激励是有上限的。 如上图所示，我们期望看到每台风扇增加所带来的生产数量实际上逐渐减少。 如果能估算出作者的粉丝增粉能力上限和产量上限，对于平台资源的配置会有很大的帮助。
该问题的一个粗略解决方案是构造一个函数形式，使 HTE 成为实验变量的函数。
以之前提到的线性函数为例（左框中的公式），我们与干预变量和特征变量相互作用，求解得到的HTE是一个关于X的函数。然而，在这种形式下，治疗效果第一个单元的治疗效果与第二个单元的治疗效果相当，因此无法达到我们之前预期的边际效益递减的目的。 如果我们拟合一个非线性函数，比如上图中的多项式函数形式，一阶导数CATE是关于X和T的函数形式，这意味着第一个单元的治疗效果不等于治疗效果第二单元的。 , CATE 随治疗而变化。 这种粗略解决方案的缺点是对 CATE 函数形式的假设非常强。
为了解决上述问题，我们基于Farrell 2020年的论文构建了神经网络的优化模型，并将其称为“双神经网络”模型。 输入层由特征变量（如用户画像）组成，通过第一个神经网络的特征隐藏层构建交互特征； 交互层包括关于特征变量的函数a(X)以及函数和处理之间的交互项b(X)。 通过与参数隐藏层交互得到非线性关系，最终输出层输出为HTE。
在这里，我们展示了双神经网络模型在实际业务分析中的性能。 在本次分析中，我们首先使用对偶机器学习模型来修正估计目标（实验变量不是纯随机实验，对偶机器学习模型可以帮助我们生成准随机实验）。 同时，我们还优化了定量模型的性能，并根据连续实验变量生成了提升曲线。 从上图可以看出，双神经网络模型的性能远优于其他模型。
此外，我们还解决了如何对非线性模型进行统计检验的问题。 获得HTE后，往往需要回答：①谁有显着的HTE？ ②模型有多个处理，HTE差异很小。 哪种治疗方法更好、更科学？
基于Victor的论文，我们使用数据分裂的方法来近似显着性水平：通过不断分裂数据，使用主样本进行模型训练什么应用可以帮助涨粉丝，使用辅助样本来预测HTE并获得HTE的经验分布。
该方法使用三个关键指标来衡量 HTE 性能：
越接近0，估计的HTE等于噪声，越大，异质性越强。 另外，该指数越接近1，说明所选的ML估计方法能够更好地预测CATE。
近似估计 HTE 是否显着：将每个预测的 HTE 分为几段，并测试每个段的平均值是否显着。
估计X对HTE的影响是否显着是衡量特征重要性的一种方法。
03
应用
下面介绍基于双神经网络的Uplift模型在快手的应用。
1.应用-：粉体膨化及生产
平台希望圈住一些作者，了解他们的最大生产空间——了解作者的生产空间可以方便业务请求相应的活动流量和预算。 通过优化模型，我们可以估计每个作者的边际收益曲线。 该模型还可以根据作者类型进行分类，以获得不同作者的生成力的边际。 除了估算预算之外，通过预测每个作者的生产力上限，运筹学的同学可以针对大V作者做出相应的策略调整。 模型结果如右上图所示： 基于过去一段时间的勤奋程度等特征，作者1已经不可能将粉丝增加到45000人来增加收入，而对于作者2来说，他的追随者不再可能增加到 17,000 人。
2、应用二：消息推送
平台规定每个用户每天最多可以接收10条推送消息。 第一次推送对用户应用时长的影响肯定和第二次推送的影响不同：按理来说，第二次推送的影响会更弱。 如何使用模型捕捉这种效果？ 通过对偶神经网络模型，我们可以预测每个设备在不同推送次数下的响应。
结果如上图所示。 我们从所有样本中选取了 7 个设备，绘制了收益衰减图：横坐标是设备收到的推送次数，纵坐标是模型预测的边际收益。 蓝线代表随机选择的设备。 当推送第一条消息时，HTE已达到0，因此设备不适合推送策略。 粉色线代表另一个随机选择的设备。 当推送第7条消息时，HTE仍然不存在。 为0，这样可以推送更多消息。
04
总结
DNN+HTE可以应用于探索收入上限的问题：
① 帮助企业规划资源。 例如什么应用可以帮助涨粉丝，如果您想申请一部分预算来增加作者的流量，DNN+HTE模型可以帮助探索收入上限并估算出合理的预算申请金额。
②帮助调整定价策略。 例如，为商家增加粉丝时，哪里应该多收费，哪里应该少收费？ 您可以探索公共和私人领域的收入上限，并通过这两个上限调整价格。
事后分析使结果更加稳健：
① 对于DML，可以跨模型比较模型性能，适用于复杂的模型结构。
② 可以探讨模型估计的HTE变异是否足够大； 当变化比较小时，圈人效果可能不准确。
③ 可以探究特征变量对HTE的影响是否显着，帮助业务缩小决策圈，只针对重要人群制定策略。
05
提问时间
Q1：是根据线下数据进行分析吗？
A1：离线数据分析。 但并不是基于Experiment AB实验的结果：对于风机增产和增产两种情况，我们直接利用市场数据进行训练，利用模型来修正偏差。
Q2：应用中研究的Uplift模型中，什么情况下元学习器间接建模会比Uplift休闲树直接建模更好？
A2：元学习器在离线分析中可能用得较少，在在线分析中用得较多，因为它最大的优点是速度快，而在线训练模型可能有一定的优势。 但缺点是不灵活，大多数元学习器只能对离散的实验变量进行建模。 我们在对连续实验变量建模时做了大量的研究，最终设计了一种可以比较离散实验变量和连续实验变量模型性能的方法，使我们在模型选择上更加灵活。
Q3：模型是如何评估的，如何判断模型是否准确？
A3：将数据分为训练集和测试集，对测试集进行拟合，使用均方根误差来评估模型性能。
Q4：如何选择混杂因素？ 实际发现X选择对DML影响很大。 如何判断结果的置信度？
A4：当使用非实验数据时，一般建议选择X。 在对偶机器学习模型的应用中，我们会测试Model Y和Model T的残差，看看它们是否显着相关，以及它们的均值是否显着不同。 因为这是DML的假设，如果连这个基本假设都不能满足，那么一定会留下比较大的混杂因素，需要重新筛选。
发表评论