「2023 | 快手」PEPNet：融合个性化先验信息的多场景多任务网络

欢迎大家来到IT世界,在知识的湖畔探索吧!

欢迎大家来到IT世界,在知识的湖畔探索吧!

现在介绍快手提出的多场景多任务方法PEPNet。

Title: PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

From: 2023 快手

Link: arxiv.org/pdf/2302.0111

01

背景

现在推荐系统大多为多场景多任务，如下图所示，有多个页面，每个页面视为一个场景，如快手的精选、首页、发现页面，每个场景下有多个任务，如点赞、关注、收藏等。

不同场景下用户和item存在重叠，具有一定共性，展现形式和时机（如单双列、购买前后）等不同，同时具有一定差异性；不同任务之间具有不同的稀疏性，同时也存在相互影响；如果在建模过程中忽略了多场景和多任务之间的共性和差异性，会影响建模效果，如果多个场景和任务不能很好地进行平衡，会存在场景跷跷板（domain seesaw）和任务跷跷板（task seesaw）现象。

针对上面问题，论文提出一种PEPNet网络（Parameter and Embedding Personalized Network），是一种高效、低成本部署、即插即用的方法，并在快手全量上线。

02

方法

网络结构如下图所示，主要包含Gate Nu、EPNet和PPNet三部分：

• Gate NU：
  基于先验信息的门控结构，是EPNet和PPNet的基本单元；
  
• EPNet：
  场景信息作为输入，增强模型对用户跨域行为的底层感知能力；
  
• PPNet：
  用户和item信息作为门控输入，适配不同任务每层参数，平衡顶层任务间相互依赖关系；
  

2.1 Gate Neural Unit(Gate NU)

如下图，由两层FC构成，第一层激活函数为relu，第二层激活函数为sigmoid，第二层结果乘2作为输出，从而把输出取值从[0, 1]转化为[0, 2]

2.2 Embedding Personalized Network(EPNet)

如下图，场景特征（场景ID或场景特有特征）作为输入，通过Gate NU得到门控网络结果，门控网络结果和Embedding层结果进行element-wise相乘后，得到融入场景信息的Embedding结果，作为后续DNN和PPNet输入。

2.3 Parameter Personalized Network(PPNet)

如下图，[融入场景信息的Embedding结果、用户id、Item id、作者id] concat在一起作为输入，通过Gate NU得到门控结果，然后与DNN层结果element-wise相乘后，作为下一层DNN的输入。其中，融入场景信息的Embedding结果作为输入，为了不影响EPNet对embedding的更新和学习，训练过程中梯度不进行回传。

2.4 部署工程优化

（1）Feature score eliminationstrategy

为了确保系统能长时间运行，避免embedding参数很快填满机器内存，设计一个特殊的参数服务器来实现无冲突和内存高效的全局共享embedding表。

（2）DNN/Embedding layer Updating

模型采用在线学习，用户、item和作者不断新增，导致id特征会快速膨胀，同时存在大量过期或低频的ID，所有ID特征都存储会导致效率不高，带来额外的存储和计算开销，针对该问题，采用两种策略：一是，对特征设置特定数量，超过的被删除；二是，对特征设置过期时间，保留频繁更新的特征ID，删除未得到更新的特征

（3）Training strategy

在实践中，ID特征更新速度较快，在线学习的情况下为了更好地捕获底层embedding变化，同时稳定更新顶层DNN参数，embedding和DNN参数采用不同的更新策略，其中embedding层采用AdaGrad优化器，学习率为0.05，而DNN层采用Adam优化器，学习绿5e-6。

03

实验

（1）与其他方法对比

（2）消融实验

（3）线上效果