跳到正文
量子位· 关注前沿科技·· 1 天前AI 评分34

成都大学等团队提出DHSA:256-16384个控制参数实现推理时偏好对齐,达到DPO水准

偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准

AI 导读

成都大学、北卡罗来纳州立大学、复旦大学等团队提出直接隐状态对齐(DHSA),将承载偏好计算的推理时隐状态作为直接适配空间,基座权重保持冻结。其实现CAST仅启用256—16,384个控制参数,在ConFiQA、IMDb和TL;DR上达到与DPO相竞争的对齐水平,部分设置仅在prefill阶段干预即可。配套的残差竞争图(RCM)可将外部偏好映射回推理时的原生计算,为干预提供因果依据。

来源:量子位 · mp.weixin.qq.com