探索生成式推荐的前沿技术

🔥 探索生成式推荐的前沿技术

从Meta的HSTU到最近快手的OneRec，生成式推荐无疑是搜索推广领域的热点之一。✨有没有同学好奇天天刷的小红书是怎么推荐内容的呢？最近我们挖到了一篇小红书自家技术团队的好文《Towards Large-scale Generative Ranking》，提出了超实用的生成式精排模型GenRank，相比于Meta的HSTU，实现了计算效率和预估性能的双提升！可谓是又快又好，值得大家学习✅

📚 论文资源

推荐阅读： 《Towards Large-scale Generative Ranking》（看着像投稿NeurIPS）

✨ GenRank 的技术创新亮点

1️⃣ 动作导向架构

这是我觉得最妙的创新点！👍

• 告别传统：以前的模型（如HSTU）可能会把“物品”（如一篇笔记）和“动作”（如点赞、收藏）视同等重要，序列过长，计算量大。
• GenRank的新玩法：将“物品”视为上下文的位置信息，模型的核心任务是预测用户在这些位置上会产生什么“动作”。（见论文p1和p3）
• 🚀 效果：使用这一方法，注意力机制处理的序列长度直接减半！论文中提到，注意力计算成本降低了75%，线性投射成本降低了50%！

2️⃣ 高效处理时空偏置

为了让模型更懂用户，时间和位置信息必不可少。

GenRank设计了三种新的嵌入方式，只需线性I/O操作，开销小：

1. Position Embeddings: 记录物品在用户序列中的位置。
2. Request Index Embeddings: 处理用户在一次请求中互动多个物品的情况。
3. Pre-Request Time Embeddings: 捕捉物品与上一次请求的时间差，以反映用户活跃度。使用了ALiBi（Attention with Linear Biases）机制，这是一种无参数的偏置方法，根据query和key的距离调节注意力分数，距离越远，惩罚越大。

💻 实验效果

• 🎈 离线：相比HSTU增涨6个万分点。
• ✅ 线上AB测试：
• 🧷 用户平均停留时长 (Time Spent): +0.3345%
• 🧷 阅读量 (Reads): +0.6325%
• 🧷 互动量 (Engagements): +1.2474% ❤️
• 🧷 7日用户价值 (LT7): +0.1481%

🔥 冷启动用户的推荐效果提升

特别值得一提的是，GenRank对冷启动用户的推荐效果提升尤为显著，证明了生成式推荐的广泛适用性！🤗

#算法岗 #大模型 #大厂 #推荐算法 #互联网大厂 #深度学习 #程序员