在智能体活跃，token（词元）破费量呈指数级加多的2026年，token经济以及算力的受醉心进度车载斗量。以“龙虾”OpenClaw为代表的智能体需要破费算力，用户必须从token供应商处获取API key（密钥），才能让这些智能体正常启动。

不外，许多东谈主不知谈的是，即就是合并款模子，凭据供应商的不同，其token的“质料”也会存在互异。近日，‌清华大学策画机系长聘训导‌、博士生导师，‌清程极智首席科学家翟季冬承袭了新京报贝壳财经记者的采访，揭开了token经济中这一“瞒哄的边缘”。

此外，当作曾指导清华团队十五次取得国际大学生超算竞赛冠军的拓荒憨厚，翟季冬和团队成员也对面前国产算力芯片如何与大模子进行适配，以及二者之间“推理引擎”层的作用，对新京报贝壳财经记者进行了科普。

‌清华大学策画机系长聘训导‌、博士生导师，‌清程极智首席科学家翟季冬复兴记者发问。罗亦丹/摄

合并模子，低廉token有可能更“花钱”

“token是本年最火的词，但token底层触及好多时间。”翟季冬开门见平地说，在他看来，token产业不错分为三层：底层是在芯片上部署大模子，分娩token的分娩层；中间层是当作token供应商转运分发token的畅通层；最表层则是个东谈主和企业用户胜仗调用API消费token的使用层。

这三层结构听上去跟电力系统有些相似，但翟季冬强调，两者的进修度有余不在一个量级，“当咱们用电时，毋庸系念发出来的电有‘判袂’，但token不同，雷同的模子、雷同的价钱，token质料却可能雄伟不皆。”

他告诉记者，本色上，token供应商的主见有好多，除了阳春白雪的价钱、高下文长度外，还有首字延伸、浑沌量，以及普通用户较难蚁合的精度、 KV Cache（键值缓存）掷中等。

而这些“瞒哄的细节”可能决定模子的成果和token破费的大小。

在模子成果方面，翟季冬例如称，比如模子发布时可能接纳了BF16精度，但有些供应商会把它量化成INT8甚而INT4来部署，自制是算力破费减半，不错承载更多用户，代价是模子才气被“剪辑”了，ag官方网站登录入口不再是原汁原味的成果。

据了解，FP16、INT8等专科术语指的是大模子推理的精度，数字（4/8/16/32/64）代表位数，一般来说，位数越高，策画精度越高、截至越准，但速率越慢、破费算力越大；位数越低，速率越快、越省算力，但会轻细亏空模子成果。

而在token破费量方面，翟季冬给记者算了一笔账：雷同的模子，一家供应商报价每百万token3元，另一家报价1元，看似低廉的那家，本色总资本可能反而更高。“它有两行报价，一滑是token掷中，可能是一毛钱，token不掷中是一块钱。可是它的token分娩作念得很差，你的这些央求都不掷中，终末反而花钱。”

清程极智统一创举东谈主师天麾阐发注解称，欢乐炸三张金花游戏app中国官方最新版这里的中枢时间是KV Cache（键值缓存）处理——在多轮对话场景中，缓存掷中不错省俭90%的资本，但不同供应商的缓存处理水平差距渊博，其中报价低的办事商也许缓存并不高，本该省俭的那些缓存没能省俭，导致总资本很高。但办事商在卖token时，一般不会胜仗阐发缓存掷中率是些许，甚而有些办事商胜仗不给缓存掷中的优惠价钱。

针对这一乱象，清程极智推出了AI Ping一站式大模子办事评测与API智能路由平台，面前，平台已接入30余家主流办事商、600余个大模子办事，掩饰文本、图片、视频等全场景；通过7×24小时多地域散播式监测，及时输出延伸、浑沌、可靠性、价钱等中枢主见。

不同供应商提供的DeepSeek-V4-Pro模子的token延伸情况对比图。数据起原：aiping.cn

6月8日，新京报贝壳财经记者登录AI Ping平台，立地检察了DeepSeek-V4-Pro模子不同token供应商的延伸情况，发现其纪录了价钱、延伸、浑沌等主见。如关于延伸这一主见，一些办事商的弧线波动极大，而最为闲隙的则是DeepSeek官方提供的token。

“中国的电力系统在全寰宇是第一的，咱们但愿通过多样致力，或者把我国token办事的质料和性能也作念到全寰宇第一。”翟季冬说。

芯片发展趋势：提拔的精度类型越来越多

token质料的互异，追本穷源要落到芯片和推理引擎上。一个容易被忽略的事实是：在国产算力和国产模子之间，并不是胜仗对接的联系，中间还隔着一层至关环节的“推理引擎”。这层软件起承转合，决定了芯片的算力能不行被高效开释，也决定了最毕分娩出来的token质料够不够好。

翟季冬用精度问题向贝壳财经记者阐发注解了推理引擎的价值——“好多东谈主认为芯片正在向精度越来越高发展，但事实上，芯片正在向提拔的精度类型越来越多发展，例如，传统CPU可能只提拔三、四种精度类型，而面前的AI芯片能提拔十几种，从FP64、FP32、FP16到FP8、FP4，还有INT8、INT4等整数精度，每一种都有不同的性能和成果量度。”

“模子不是说一定要选最高的精度才好，因为精度更高的同期，也更慢，每个模子会选一个恰到自制的精度。”清程极智统一创举东谈主唐适之补充谈，“面前来讲，主流模子的选择通常跟班英伟达走——比如FP8就是英伟达推出Hopper系列显卡时新增的精度，DeepSeek以为FP8最合乎我方的模子，就选了这个程序。”

但问题随之而来：国产芯片的精度提拔并子虚足跟英伟达对皆。“对DeepSeek来讲，国产卡有的精渡过高有的精渡过低，使用起来不管如何都是有亏空的。”

这恰是推理引擎的用武之地。翟季冬告诉记者，国际主流推理引擎如vLLM、SGlang对英伟达、AMD的生态提拔更好，但对国产芯片的优化插足有限。针对大模子部署资本高、国产算力适配不及的痛点，清程极智推出了自主研发的国产推理引擎赤兔，其对国产模子、国产芯片的提拔在很厚情况下比vLLM、SGlang要更好。

这种上风不仅仅体面前精度适配层面。唐适之先容，不同国产芯片的硬件本性互异很大，比如有些卡的张量策画才气和标量策画才气之间的量度跟英伟达不一样，有些卡的卡间互联容颜也不同，推理引擎需要针对这些特质作念定制化想象。“咱们要竟然地凭据国产卡上头的特质来选咱们的达成决议，而不是说看英伟达上头有这个精度就选这个精度。”

“咱们将执续深耕AI基础要领限制，坚执中枢时间自主可控，束缚迭代赤兔推理引擎对国产芯片的适配才气，完善AI Ping评测与路由办事，联动国产算力、国产模子、行业诓骗等产业链伙伴，打造高效、普惠、安全的国产AI基础要领体系，反应国度‘东谈主工智能+’行径，以时间鼎新鼓吹中国AI产业高质料发展。”翟季冬说。

新京报贝壳财经首席记者 罗亦丹 编著 陈莉 校对 柳宝庆欢乐炸三张金花游戏下载