尽管春节假期已经过半,但是“来自东方的神秘力量的 DeepSeek”仍在引起全世界热议,各路业内人士也仍在从不同角度分析DeepSeek的模型和技术文章。
北京时间1月31日,英伟达宣布DeepSeek-R1模型登陆NVIDIANIM。同一时段内,亚马逊和微软也接入DeepSeek-R1模型。英伟达称,DeepSeek-R1是最先进的大语言模型。
韩国Mirae Asset Securities Research的一名分析师在 X撰写长文分析称:“这一突破是通过实施大量细粒度优化和使用英伟达的汇编式PTX编程,而非通过英伟达CUDA中的某些功能来实现的。”也就是说 DeepSeek 在研发大模型时绕过了CUDA。CUDA(Compute Unified Device Architecture,统一计算架构),是由英伟达开发的一种通用编程框架,它允许开发者利用英伟达的图形处理器(GPU,Graphics Processing Unit)进行通用计算。
如果DeepSeek真的绕过了 CUDA,那么这能说明什么?
在DeepSeek-V3的技术博文中,DeepSeek表示其使用了英伟达的PTX(Parallel Thread Execution)语言。
假如DeepSeek的开发者能够很好地使用PTX(Parallel Thread Execution)语言,那么相比使用 CUDA 提供的编程接口,肯定可以更精细地控制GPU 之间传输数据、权重和梯度等。但是,使用PTX写出来的代码非常复杂,且很难维护,因此需要专业度较高的开发者。也就是说,绕过CUDA的做法具有一定的技术难度,这需要开发者既要懂AI模型的算法,又要懂计算机系统架构来高效分配硬件资源。如果没有同时掌握这两方面技能的开发者,那就要分别招聘懂这些技能的开发者,即需要协调好不同人员。
从DeepSeek的技术报告来看,其主体实现还是基于 CUDA 的相关接口,其描述中也阐述绕开了CUDA来写通信,那就意味着它招聘了掌握不同技能的人才,并能将这些人才很好地串了起来。
这也说明DeepSeek拥有一些擅长写PTX语言的内部开发者。那么,假如它之后使用国产GPU,其在硬件适配方面将会更得心应手,其只要了解这些硬件驱动提供的一些基本函数接口,就可以仿照英伟达GPU硬件的编程接口去写相关的代码,从而让自家大模型更加容易适配国产硬件。
与此同时,从DeepSeek的技术报告来看,其技术从学术研究角度并没有胜出一筹,但是在工程上面的确非常有技巧。考虑到AMD已经宣布集成DeepSeek-V3到MI300X GPU,因此未来不排除会有更多GPU厂商牵手DeepSeek。
同时,也正如上述韩国分析师在同一篇X文章中所说的:“这凸显了DeepSeek非凡的工程水平,并表明美国对华制裁加剧的“GPU短缺危机“激发了他们紧迫感和创造力。“