传DeepSeek正准备适配中国国产GPU
撰文: 联合早报
出版:更新:
中国初创企业深度求索(DeepSeek)研发大语言模型时据报绕过了美国人工智能巨头英伟达(Nvidia)的CUDA框架,为DeepSeek在未来适配中国国产芯片做好准备。
由Nvidia开发的软硬体整合技术“统一计算架构”(Compute Unified Device Architecture,CUDA)是一种通用程式设计框架,允许开发者利用Nvidia的图形处理器(GPU)进行计算。
由于CUDA大大降低了研发大模型的难度,因此全球大模型开发商都倾向选择使用Nvidia的CUDA技术,助力Nvidia占据全球人工智能领域的垄断地位。
然而,据美国科技网站Tom's Hardware报道,韩国未来资产证券在对DeepSeek技术论文进行分析时发现,该模型的硬体效率之所以能比Meta等高出10倍,因为“他们从头开始重建了一切”。
分析指出,DeepSeek在使用Nvidia的H800芯片进行训练时,使用了Nvidia的底层硬体指令PTX(Parallel Thread Execution)语言,而不是高阶程式语言CUDA。
由于CUDA是通用型程式设计框架,会导致训练模型时损失一些灵活性。中国网媒“快科技”分析,DeepSeek的做法相当于绕过了硬体对训练速度的限制,意味着其他模型需要训练10天,而DeepSeek只需要五天。
然而,这种程式设计非常复杂且难以维护,行业通用的做法是使用CUDA这类高阶程式语言。
快科技和腾讯网引述的消息人士指出,DeepSeek内部拥有一些擅长写PTX语言的内部开发者,假如DeepSeek未来有意改适配中国国产的GPU,在硬体适配方面将会更得心应手。