<跨风格="颜色:# 000000 ">卡内基梅隆大学的研究人员推出了一个开源的自动代码生成器模型PolyCoder,具有27 b参数,基于GPT-2架构,在一台机器上对跨越12种编程语言的249 gb的代码进行了训练。训练结果表明,在C编程语言中,PolyCoder优于包括法典在内的所有模型。
<跨风格=把丈?# 000000”>“最近,代码的大型语言模型(LM)在完成代码和从自然语言描述中合成代码方面显示出巨大的前景。然而,目前最先进的代码LM(如食品)并没有公开提供,留下许多关于他们的模型和数据设计决策的疑问。我们的目标是通过对各种编程语言中最大的现有模型的系统评估来填补其中的一些空白:法典,GPT-J, GPT-Neo, GPT-NeoX20B和CodeParrot。尽管法典本身不是开源的,但我们发现现有的开源模型在一些编程语言中确实取得了接近的结果,虽然主要针对的是自然语言建模。我们进一步确定了一个重要的缺失部分,即专门在多语言的代码语料库中训练的大型开源模型。”
研究人员指出, OpenAI的法典于去年8月https://arxiv.org/pdf/2202.13169.pdf
0 留言