DeepSeek+Coder：当大型语言模型遇到编程时-代码智能的兴起

报告摘要

arXiv: 2401.14196 v2 [cs. SE] 2024 年 1 月 26 日 DeepSeek - Coder ：当大型语言模型遇到编程时 - 代码智郭大雅 * 1 , 朱启浩 ∗1,2 、杨德建 1 ，谢振达 1 、启东 1 ，张文涛 1

核心要点

1 DeepSeek - AI
2 HCST (PKU) 教育部重点实验室
1. Introduction
格分析了FIM训练策略对代码模型预训练阶段的影响。
2. 数据收集
1 ，这些数据用于增强模型对代码相关概念的理解，并提高其处理库使用和错误修复

报告信息

文件全名: 《DeepSeek+Coder：当大型语言模型遇到编程时-代码智能的兴起-23页.pdf》
适合读者: 战略规划行业研究员
核心数据: 练过程中使用下一个标记预测损失外，我们还引入了Fill-In-Middle（FIM）方法（Bavarian et
DeepSeek-Coder 的训练数据集由87%的源代码、10%的英语代码相关自然语言语料库和3%
除包含少于25%字母字符的文件。
我们保留那些可见文本至少占代码20%且不少于100个字符的文件。
核心议题: LLMGPT语言模型

常见问题

《DeepSeek+Coder：当大型语言模型遇到编程时-代码智能的兴起》主要包含哪些内容?

arXiv: 2401.14196 v2 [cs. SE] 2024 年 1 月 26 日 DeepSeek - Coder ：当大型语言模型遇到编程时 - 代码智郭大雅 * 1 , 朱启浩 ∗1,2 、杨德建 1 ，谢振达 1 、启东 1 ，张文涛 1核心数据:练过程中使用下一个标记预测损失外，我们还引入了Fill-In-Middle（FIM）方法（Bavarian et;DeepSeek-Coder 的训练数据集由87%的源代码、10%的英语代码相关自然语言语料库和3%;除包含少于25%字母字符的文件。。

这份报告由哪家机构发布?

本报告由北京大学发布,发布于 2025 年。

这份报告覆盖哪一年、篇幅多大?

覆盖 2025 年,全文约 23。

这份报告是免费的吗?如何获取?

本报告免费查阅,登录资料宝后即可在线获取完整内容。

这份报告适合哪些读者?

适合战略规划、行业研究员等读者参考。

报告涉及哪些关键议题?

重点分析了LLM、GPT、语言模型等议题。