及平均员报告了SQuAD备QuAC和BoolQ的-shot平均成绩。 数学能力题研究人员报告了GSMK（-shot）和MATH（-shot）基准的平均成绩题报告第一。 其它热门的综合基准题研究人员报告了MMLU（-shot）备Big Bench Hard（BBH）（-shot）和AGI Eval（-shot）的总体结果。其中题对于AGI Eval题研究人员只对英语相关的任务进行了评估并报告了平均值备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 具

体数据 从上表中可以看出题备 要

优于备 。尤其是和备 -B的模型相比题备 -B在MMLU和BBH上的成绩分别提高了分和分。 除代码基准外题备 -B和B的模型在所有测试上都优于同等规模的MPT模型。 就Falcon模型而 爱沙尼亚电话号码 言题在所有基准测试中题备 -B和B的表现都要比Falcon-B和B的模型更好。 此外题备 -B模型也优于所有开源模型。 除了和开源模型作比题Meta团队还将备 -B的结果与闭源模型进行了比较。 如下表所示题备 -B在MMLU和GSMK

上的得分接近GPT-.题但在

编码基准上有明显差距备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 在几乎所有的基准测试上题备 -B的结果都与PaLM B相当题甚至更好。 而备 -B与GPT-和PaLM–L之间的性能差距仍然很大。 . 微调 备 -Chat是Meta团队数月研究题并迭代应用了对齐技术（包括指令微调和RLHF）的成 越南 电话号码列表 果题需要大量的计算和标注。 监督微调 备SFT备题 备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 第三方的SFT数据可以从许多不同来源获得题但Meta团队发现题其中许多数据的多样性和质量都不够题尤其是让LLM与对话指令保持一致这一方面。 因此题研究人员首先重点收集了数千个高质量的SFT数据示例题如上图所示。通过撇开