來源:中新網(wǎng) 時間:2026-06-01 10:18
“Token質(zhì)量參差不齊,一些服務(wù)商的模型很‘笨’。”清華大學(xué)計算機(jī)系長聘教授翟季冬近日在一場活動上說,部分服務(wù)商的慢響應(yīng)比例接近20%,這意味著其提供的五分之一的服務(wù)都有問題。

“中科創(chuàng)星硬科技媒體行——清程極智專場活動”近日在北京舉行,圖為清華大學(xué)計算機(jī)系長聘教授翟季冬。主辦方供圖
Token,中文名“詞元”,通俗來說為人工智能(AI)識別文字的最小碎片。國家數(shù)據(jù)局發(fā)布數(shù)據(jù)顯示,今年3月,中國日均Token調(diào)用量已突破140萬億,較2024年初的1000億增長超千倍。
有觀察認(rèn)為,全球AI產(chǎn)業(yè)已進(jìn)入規(guī)模化落地的關(guān)鍵階段,Token成為AI時代的“水電煤”,是大模型服務(wù)與智能應(yīng)用的核心生產(chǎn)要素。
近日在北京舉行的“中科創(chuàng)星硬科技媒體行——清程極智專場活動”上,翟季冬表示,伴隨Agent智能體、多模態(tài)應(yīng)用快速普及,Token正從交互用量轉(zhuǎn)向生產(chǎn)用量,直接推動產(chǎn)業(yè)對推理效率、部署成本、服務(wù)穩(wěn)定性的要求持續(xù)攀升。
Token需求爆發(fā),國產(chǎn)算力與國產(chǎn)模型迎來高速發(fā)展,但二者之間的推理環(huán)節(jié)卻長期依賴海外引擎。同時,Token服務(wù)市場面臨的亂、貴、慢、選型難等突出問題,也成為制約AI技術(shù)普惠化、規(guī)?;涞氐钠款i。
作為清程極智首席科學(xué)家,翟季冬介紹說,團(tuán)隊針對大模型部署成本高、國產(chǎn)算力適配不足的痛點推出赤兔推理引擎。同時,面對Token服務(wù)市場服務(wù)商林立、指標(biāo)混亂、選型成本高的行業(yè)亂象,打造AI Ping一站式大模型服務(wù)評測與API智能路由平臺。
據(jù)悉,該平臺已接入600余個大模型服務(wù),覆蓋文本、圖片、視頻等全場景,通過7*24小時多地域分布式監(jiān)測,實時輸出延遲、吞吐、可靠性、價格等核心指標(biāo),數(shù)據(jù)真實可核驗。
“中國擁有世界上最繁榮的開源模型生態(tài),AI算力持續(xù)增長。通過Token調(diào)用使用AI大模型的用戶也日益增多。”翟季冬表示,他們將持續(xù)深耕AI基礎(chǔ)設(shè)施領(lǐng)域,堅持核心技術(shù)自主可控,不斷迭代赤兔推理引擎對國產(chǎn)芯片的適配能力,完善AI Ping評測與路由服務(wù)。(張素)
責(zé)任編輯:于彤彤