近期，清華大學高性能計算研究所傳來重大消息，翟季冬教授團隊攜手清華背景的科創(chuàng)先鋒清程極智，共同揭曉了一項開源大模型推理引擎——“赤兔Chitu”。這一創(chuàng)新成果為國產(chǎn)AI芯片的普及應用和生態(tài)建設鋪設了新的道路。
“赤兔Chitu”實現(xiàn)了在非英偉達Hopper架構(gòu)GPU及多種國產(chǎn)芯片上直接運行FP8精度模型的歷史性突破，打破了此前FP8精度模型對英偉達Hopper架構(gòu)（例如H100/H200）的硬件束縛，為行業(yè)帶來了更多選擇。
在A800集群的實際測試中，“赤兔”引擎展現(xiàn)了驚人的性能。在GPU使用量減半的情況下，推理速度卻提升了3.15倍，這一成果不僅大幅降低了企業(yè)的硬件投入成本，還顯著提升了運算效率。
“赤兔”引擎的智能優(yōu)化技術(shù)具備強大的兼容性，能夠迅速適應不同的芯片架構(gòu)。這意味著國產(chǎn)硬件廠商無需再投入大量資源進行軟件重復開發(fā)，可以將更多精力集中在硬件的升級與優(yōu)化上。目前，清程極智已經(jīng)與沐曦、燧原等領先廠商攜手，推出了即插即用的推理一體機，在金融、醫(yī)療等多個領域得到了廣泛應用。
清程極智的CEO湯雄超強調(diào)，目前國內(nèi)在推理引擎這一關鍵環(huán)節(jié)上，仍然缺乏達到生產(chǎn)級標準的開源產(chǎn)品。“赤兔”引擎的開源，是推動國內(nèi)AI生態(tài)建設的關鍵一步，它將為行業(yè)帶來更加高效、靈活的技術(shù)支撐，助力行業(yè)實現(xiàn)更快發(fā)展。
