近日，快手首次提出生成式强化学习出价技术，并将其应用于大规模广告系统中。该项技术显著提升了广告竞价的智能化水平，实现了出价策略从传统“依赖单步状态决策”到新一代“序列决策”的关键跨越，在为广告主带来更高投放回报的同时，也提升了平台整体收益，真正实现了双赢。2025年至今，该技术已成功推动快手广告收入提升3%，成效显著。
广告出价：实时竞价中的“智能大脑”
在实时竞价（RTB）广告系统中，出价模块作为连接广告主与流量的核心枢纽，需要在多重约束条件下实现广告投放效果的最优化。
这一过程面临三大挑战。首先是既要控制支出，又要追求效益。广告主不仅需要将单日花费严格控制在预算范围内，还应力求降低每次转化的成本，实现成本效益的双重优化。
其次是，未来环境的不确定性。系统难以预知即将到来的流量状况与竞争对手行为，因此必须依赖实时花费与成本等数据，动态调整出价策略以应对波动市场。
最后是决策之间的连锁影响。每一次出价不仅直接影响广告的展示与消耗，还会改变账户状态（如剩余预算），进而干扰后续出价决策，形成一个连续且复杂的序列决策问题。
三代技术革新，快手提出新一代生成式强化学习出价技术
快手出价技术已历经三代演进：从PID控制——基于当前状态与目标的偏差进行调节，响应直接但适应性有限，难以应对复杂多变的竞价环境；到第二代MPC预测模型——能够预测短期未来并优化动作，但预测范围有限，易陷局部最优；再到第三代强化学习——通过历史数据学习不同状态下的最优出价策略，最大化长期收益，兼顾效果与安全性。
近年来，尽管强化学习在自动出价中表现优异，但其决策仍依赖单步状态信息，对序列历史利用不足。而生成式模型擅长对序列数据进行建模和生成，却不擅长直接优化目标收益。
面对这一挑战，快手创新融合两类技术，提出生成式强化学习出价技术——在继承生成模型序列建模能力的基础上，引入强化学习的目标导向优化机制，实现出价策略在长序列决策中的新突破。
两大核心算法实现广告出价“多维思考”，助推智能决策升级
在将生成模型应用于强化出价策略的过程中，主要面临两大挑战：一是对高质量数据集的依赖较强，限制了泛化能力；二是生成模型难以直接优化序列整体收益，导致出价策略与广告主全局目标存在偏差。
针对这些挑战，快手提出了GAVE和CBD两大创新算法。GAVE算法融合了Score-based RTG机制与价值函数引导的动作探索策略，显著提升了离线训练中的探索能力，该成果助力团队荣获NeurIPS 2024自动出价竞赛双赛道冠军。
CBD算法则聚焦于生成模型与优化目标的对齐问题，引入“Completer（扩散补全）”和“Aligner（偏好对齐）”双模块，通过补全未来状态轨迹并进行校准，使出价策略更贴合广告主真实需求，提升了系统长程规划与决策可解释性。
2025年至今，生成式强化学习出价技术已在快手广告系统中全面部署，并推动平台广告收入提升3%。在多项关键客户指标上实现突破——如在成本控制场景中，消耗提升2.0%，CPA达标率提升1.9%。
展望未来，快手将围绕两大方向持续演进。一是构建出价基座大模型，整合多场景数据训练通用模型，发挥规模效应；二是发展出价推理大模型，引入大语言模型增强推理能力，提升可解释性与复杂决策水平。
快手将继续推动自动出价技术向更高层次的智能化迈进，为数字营销行业注入创新动力。
免责声明
本文转载自网络平台，发布此文仅为传递信息，本文观点不代表本站立场，版权归原作者所有；不代表赞同其观点，不对内容真实性负责，仅供用户参考之用，不构成任何投资、使用等行为的建议。请读者使用之前核实真实性，以及可能存在的风险，任何后果均由读者自行承担。
本网站提供的草稿箱预览链接仅用于内容创作者内部测试及协作沟通，不构成正式发布内容。预览链接包含的图文、数据等内容均为未定稿版本，可能存在错误、遗漏或临时性修改，用户不得将其作为决策依据或对外传播。
因预览链接内容不准确、失效或第三方不当使用导致的直接或间接损失（包括但不限于数据错误、商业风险、法律纠纷等），本网站不承担赔偿责任。用户通过预览链接访问第三方资源（如嵌入的图片、外链等），需自行承担相关风险，本网站不对其安全性、合法性负责。
禁止将预览链接用于商业推广、侵权传播或违反公序良俗的行为，违者需自行承担法律责任。如发现预览链接内容涉及侵权或违规，用户应立即停止使用并通过网站指定渠道提交删除请求。
本声明受中华人民共和国法律管辖，争议解决以本网站所在地法院为管辖法院。本网站保留修改免责声明的权利，修改后的声明将同步更新至预览链接页面，用户继续使用即视为接受新条款。
