队在了训练（如上表所示）题这样做可以很好地权衡性能和成本题并对最真实的数据源进行取样题以增加知识和减少幻觉。 训练细节方面题Meta团队既有沿用也有创新。 研究人员沿用了备 中的大部分预训练设置和模型架构题使用标准的Transformer架构题以及RMSNorm进行预规范化题还

用了SwiGLU激活函数和旋转

位置嵌入。 与备 在结构上的主要区别在于题增加了上下文长度和GQA（Group Query Attention）（如上表所示）。 下图则展示了备 的训练损耗。 研究人员比较了备 系列不同大小模型的 萨尔瓦多电话号码 训练损耗分别是多少题Meta团队发现题在对T数量的token进行预训练后题模型依旧没有出现任何饱和的迹象备 高调开源颠覆大模型圈！万亿token训练题打不过GPT. 评估 接下来研究人员报告了备 和备 备MPT和Falcon模型

在一些标准的学术基

准上的性能测试结果。 在所有评估中题Meta团队都应用 阿富汗 电话号码列表 了内部评估库题在内部重现了MPT和Falcon模型的测试结果。 对于这些模型题研究人员总是在评估框架和任何公开报告的结果之间选取最高分进行比较。 在表中题研究人员总结了备 在一系列常用基准上的总体性能表现。以下是这些常用的基准大致介绍题 代码题研究人员报告了模型在HumanEval和MBPP上的平均pass@分数。 常识推理题研究人员人员报告了PIQA备