今日实时汇率

1 美元(USD)=

7.178 人民币(CNY)

反向汇率:1 CNY = 0.1393 USD   更新时间:2025-07-11 03:00:01

发布一天,Code Llama代码能力突飞猛进,微调版HumanEval得分超GPT-4

昨天的我:在代码生成方面开源 LLM 将在几个月内击败 GPT-4 。现在的我:实际上是今天。

昨天,Meta 开源专攻代码生成的基础模型Code Llama,可免费用于研究以及商用目的。

Code Llama 系列模型有三个参数版本,参数量分别为 7B、13B 和 34B。并且支持多种编程语言,包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括:

Code Llama,基础代码模型; Code Llama-Python,Python 微调版; Code Llama-Instruct,自然语言指令微调版。

就其效果来说,Code Llama 的不同版本在 HumanEval 和 MBPP 数据集上的一次生成通过率(pass@1)都超越 GPT-3.5。

此外,Code Llama 的「Unnatural」34B 版本在 HumanEval 数据集上的 pass@1 接近了 GPT-4(62.2% vs 67.0%)。不过 Meta 没有发布这个版本,但通过一小部分高质量编码数据的训练实现了明显的效果改进。

图源:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/