DeepSeek Coder
已发布最先进的开源代码生成模型
发布于 2024.01.17
概述
DeepSeek Coder 是一系列从头训练的代码语言模型，使用 2T tokens 训练，其中 87% 为代码，13% 为自然语言。在开源代码模型中达到最先进的性能。
主要特性
- 87% 代码数据训练
- 支持 86+ 编程语言
- 支持代码填充功能
- 16K 上下文窗口
技术规格
- 参数量
- 1.3B / 6.7B / 33B
- 架构
- Transformer Decoder
- 上下文长度
- 16K tokens
- 训练数据量
- 2T tokens
- 许可证
- DeepSeek License