互联网大厂如字节跳动、阿里巴巴等在跑AI模型时主要使用的是英伟达(NVIDIA)的高端GPU。具体来说,这些公司大量采购了英伟达的数据中心级GPU,例如:
- A100:这是英伟达的一款旗舰级数据中心GPU,拥有强大的并行处理能力,非常适合用于深度学习和其他AI任务。
- H100:作为A100的后继者,H100提供了更高的性能和效率,是目前市场上最先进的数据中心GPU之一。
- 减配版A800和H800:由于出口管制的原因,英伟达推出了减配版本的A800和H800,它们的带宽较原版有所减少,但仍然满足了很多国内厂商的需求。
根据资料,字节跳动在今年向英伟达订购了超过10亿美元的GPU,并且有报道称字节到货和未到货的A100与H800总计达到了10万块。而阿里云也在积极采购GPU以支持其大模型研究和服务。腾讯则宣布已经用上了H800,并将其应用于新的高性能计算服务中。
这些大厂之所以选择英伟达的GPU,主要是因为英伟达的CUDA架构及其配套软件库为AI开发提供了广泛的支持,尤其是在深度学习领域,英伟达GPU凭借其高效的Tensor Core以及对主流框架的良好兼容性成为了首选。此外,对于一些特定的应用场景或成本敏感的情况,他们也会考虑AMD的显卡产品,不过总体上,在AI算力方面,英伟达的产品仍然是市场上的主导。
本文来自投稿,不代表首晒立场,如若转载,请注明出处:https://www.shoushai.com/p/888