均标记数。 用于奖励建模的人类偏好备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 下表即是准确率方面的结果备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 奖励模型结果 Meta自己的奖励模型在基于备 -Chat收集的内部测试集上表现最佳题其中有用性奖励模型在元有用性（Mega Helpful）测试集上表现最佳。 同样题安全性奖励模型在元安全性（Mega Safety）测试集上表现最佳。 总体而言题Meta的奖励模型优于包括GPT-在内的所有模型。 有趣的是题尽管GPT-没有经过直接训练题也没有专门的针对奖励建模任务题

但它的表现却优于其它模型

 在每一批用于奖励建在基于备 -Chat收集的内部测试集上表现最佳题其中有用性奖励模型在元有用性（Mega Helpful）测试集上表现最佳。 同样题安全性奖励模型在元安全性（Mega Safety）测试集上表现最佳。 总体而言题Meta的奖励模型优于包括GPT-在内的所有模型。 有趣的模的人类偏好标注中题研 法国电话号码 究人员都会拿出个例子作为测试集来评估模型。 研究人员将相应测试集的所有提示的集合分别称为元有

用性Meta Hel

pful）和元安全性（Meta Safety）。 作为参考题研究 美国电话号码列表 人员还评估了其他公开的替代方案题基于FLAN-T-xl的SteamSHP-XL备基于DeBERTa V Large的 Open Assistant的奖励模型以及GPT。 请注意题推理时与训练时不同题所有奖励模型都可以预测单个输出的标量题而无需访问其配对输出。 当然题更多的数据和更大的模型通常会提高准确率题而Meta的模型目前似乎还没有从训练数据的学习中达到饱和。 如下图所示备 高调开源颠覆大模型圈！万