因为DeepSeek事件, 美国可能会让英伟达将H20禁售 如何看待?
发布时间:
2025-02-02 22:19
阅读量:
7
果然懂这其中门道的人不多,但英伟达还是懂的
禁售H20不是针对训练的,是针对推理的
DeepSeek本来也不用H20做训练,他用的是H800做训练,H20就不是训练卡而是推理卡
现在的大模型因为参数量太大,还要支持长上下文和大Batch,对推理算力的需求是远远大过训练的。
DeepSeek具体怎么部署推理集群的方法也是在技术报告里提及了的,但是它只说了用了H800没说用了 H20。他也是采用了PD分离的技术方案,把推理里计算最集中的Prefilling和Decoding两个阶段分别部署到不同的设备上。一般来说,Prefilling阶段需要高算力,Decoding阶段需要大内存。所以Decoding阶段需要大显存低成本的卡。
这其中的大显存低成本的卡很可能就是H20,H20相比H100只有大约一半的价格。
DeepSeek反正训练需要的卡已经买到了,估计还有一些储备,以后扩大训练规模也是够用的,但是DeepSeek开源后必然会有很多人产生私有化部署DeepSeek模型的需求,那么就需要大量的推理算力,H100 H20都禁售可以大幅提高国内大模型的部署成本,推理成本拉高后,就可以抑制了DeepSeek的推广和普及,也变相拖慢了国内大模型应用落地的速度。
不过有个变数,就是910C,很可能华为的910C能填补这个生态位,这回真的要且听龙吟了。
END