在GTC 2026大会的主题演讲中，NVIDIA创始人兼CEO黄仁勋首次公开披露了公司在使用AI大模型的内部成本数据，引发了业界的广泛关注。
关键数据
黄仁勋透露，NVIDIA每年在大模型API调用上的支出已达到约20亿美元。这个数字超过了大多数中型科技公司的年度研发预算。更令人关注的是，他提出了一个内部衡量标准：当工程师的token消耗超过其薪资的50%时，管理层会深感担忧。
Token经济的崛起
token在这里指的是AI模型调用的计费单位。每调用一次大模型，按处理的token数量计费。对于NVIDIA这样的AI公司来说，内部开发大量依赖AI辅助编码、测试和文档生成，token消耗自然水涨船高。
黄仁勋指出几个关键趋势：
- AI辅助编程普及率已达85%：NVIDIA几乎所有工程师都在日常工作中使用AI编码助手
- token成本增速快于人力成本：过去两年token支出增长了12倍
- 效率提升明显：虽然token成本上升，但整体开发效率提升了约40%
行业启示
这一数据对全行业都有参考价值。随着AI辅助工具的普及，token成本正在成为科技公司的重要支出项。如何平衡AI使用效率和成本控制，将是未来几年CTO们面临的核心挑战之一。