CoreWeave正将业务从GPU计算扩展到网络、存储和软件,以应对增长中的AI推理需求。该公司指出,GPU采用不同的连接和供电方式,能够让AI响应延迟出现数量级差异;同样是提供芯片,基础设施的组织方式也会影响服务表现。
专门提供GPU算力的新型云服务商,早期主要填补芯片紧缺造成的供给缺口。如今,AI原生初创公司选择基础设施时,考量已从“能否租到GPU”,转向响应延迟、突发算力承载能力和开放性。
这些需求对应着具体的使用场景:模型接到请求后多久能返回结果,访问量突然增加时能否提供足够算力,以及基础设施是否足够开放。随着推理需求增长,客户采购的重点正在从单一芯片资源转向支撑AI运行的整套服务,CoreWeave的业务扩展也沿着这一方向推进。据SiliconANGLE报道。