3 月 12 日，雲天勵飛中标湛江市AI滲透支撐新質生産力基礎設施建設項目，中标金額4.2億元。項目将基於雲天勵飛自研的國産AI推理加速卡，建設國産AI推理千卡集群。
該集群将搭載DeepSeek等國産大模型，爲政務、産業及各類應用場景提供更加便捷、低成本的AI能力，探索打造“國模國芯”的AI生态樣闆。
一、AI算力從“訓練優先”走向“推理優先”
智算集群是人工智能時代的基礎設施。如果說電力支撐瞭工業時代，互聯網支撐瞭信息時代，那麽智算正在成爲支撐AI時代的重要底座。
在AI算力體系中，算力大體可以分爲訓練算力與推理算力。訓練算力決定模型如何完成“從0到1”的能力構建，而推理算力則直接支撐AI應用落地。無論是春節期間大熱的SeeDance，近期廣泛讨論的“小龍蝦”，還是各行業不斷上線的AI Agent應用，背後都離不開推理算力的支撐。根據Gartner預測，到2026年，約55%的AI專用雲基礎設施支出将用於推理工作負載。
過去，國内許多智算中心普遍採用“訓推一體”的建設模式。而此次在湛江建設的集群，則定位爲專注推理任務的AI推理集群，主要面向各類行業應用場景，爲傳統産業的AI化提供直接支撐。
湛江也是國産大模型DeepSeek創始人梁文峰的家鄉。近年來，當地在“DeepSeek+”應用探索方面動作頻頻。2025年初，DeepSeek-R1發布後，湛江即完成本地部署——基於國産技術棧的DeepSeek-R1大模型率先在湛江政務雲上線。該模型在處理通用政務事務的同時，還能夠持續學習本地産業知識與方言表達，逐漸形成具有地方特色的“湛江智慧”。
此次雲天勵飛建設的AI推理集群，也将與DeepSeek等國産模型進行深度适配，爲更多行業應用提供算力支撐。
二、面向推理時代的千卡集群架構
在大模型應用場景中，推理系統通常需要同時滿足高並發、高吞吐與低延遲三項要求。爲提升整體效率，當前業界普遍採用“Prefill–Decode分離”的推理架構，通過對不同階段進行資源優化，實現系統性能的整體提升。
其中，Prefill階段主要負責對長上下文進行理解和計算，計算量大、帶寬需求高；而Decode階段則負責持續生成Token，對系統延遲更加敏感。如何在兩個階段之間進行合理的資源配置，成爲推理系統架構設計的重要問題。
與此同時，随著大模型上下文長度不斷增加，大量中間狀态需要以KV Cache的形式存儲。業内普遍認爲，未來推理系統的性能瓶頸将越來越多來自數據訪問效率，而不僅僅是計算能力。
在這一背景下，算力、存儲與網絡之間的協同設計，正逐漸成爲AI基礎設施的重要競争力。
此次在湛江落地的千卡推理集群，正是圍繞這一思路進行構建。
該集群採用雲天勵飛自主研發的AI推理芯片，並在系統架構上確立瞭“優先優化Prefill、兼顧Decode”的技術路線。通過在芯片設計中對計算資源與存儲帶寬進行針對性配置，使系統在長上下文推理場景下依然能夠保持較高的吞吐效率。
在網絡互聯方面，系統採用統一高速互聯架構，通過400G光網絡構建集群物理層網絡，實現節點之間的高帶寬、低延遲通信。與傳統在節點内和節點間分别採用不同協議構建網絡的方式相比，這種同構互聯架構減少瞭協議轉換帶來的額外開銷，也簡化瞭系統部署。
在部署能力上，該架構既可以支持單節點數十卡規模擴展，也能夠平滑擴展至千卡級集群規模，從而适配不同規模的AI應用需求。
此外，針對大模型推理中KV Cache訪問帶來的壓力，系統在計算互聯與存儲互聯層面進行瞭協同優化。
通過計算網絡與存儲網絡的聯合調度，可以顯著提升數據讀取效率，使模型在長上下文推理場景下依然保持穩定性能。通過芯片架構、網絡互聯以及系統調度等多層優化，這一推理集群在整體效率與成本控制方面形成瞭明顯優勢，爲AI規模化應用提供瞭更加經濟的算力方案。
三、自研芯片構建低成本推理能力
據悉，本次AI推理集群将分三期建設，並全部採用雲天勵飛自研的國産AI推理加速卡。
其中，一期項目将部署雲天勵飛 X6000 推理加速卡；二、三期建設将率先搭載公司最新一代芯片産品。
根據公司規劃，未來三年雲天勵飛将推出三代AI推理芯片産品。
第一階段，将推出面向長上下文場景優化的Prefill芯片，通過提升計算效率與内存訪問能力，爲OpenClaw、各類AI Agent提供基礎算力支撐。
第二階段，将研發專注於Decode階段低延遲優化的芯片産品，進一步提升實時推理能力。
第三階段，則通過系統級協同優化，實現Prefill與Decode性能的整體提升，向毫秒級推理時延目标邁進。
其中，首款Prefill芯片DeepVerse100預計将在年内完成流片，並計劃在湛江集群中率先部署。
在更長期的規劃中，雲天勵飛提出“1001計劃”，即以“百億Token一分錢”爲長期目标，通過芯片與系統協同優化持續降低大模型推理成本。
過去幾年，AI算力建設往往以“堆算力”爲主要路徑——通過不斷擴大GPU規模來獲得更高性能。但随著大模型逐漸進入應用階段，産業關注點正從“算力峰值”轉向“單位成本效率”。
換句話說，未來AI産業競争的重要維度，不僅在於模型能力本身，還在於誰能夠以更低成本提供穩定的大規模推理能力。
湛江項目的落地，也爲這一目标提供瞭重要的實踐場景。千卡級推理集群不僅能夠滿足當前AI應用需求，同時也爲更大規模算力系統提供技術部署平台。
在典型架構下，一個千卡級集群通常由多級擴展結構組成：從單節點8卡、32卡，到64卡甚至百卡級超節點，再到跨節點的大規模集群。通過這一規模系統的實際運行，可以充分驗證卡間互聯、節點通信和負載均衡等關鍵技術，爲未來更大規模AI算力系統建設積累經驗。
随著大模型逐步進入産業應用階段，AI基礎設施的發展邏輯也正在發生變化——從單純追求算力規模，轉向更加注重效率與成本。
在業内看來，推理算力将成爲決定AI應用規模化落地的關鍵基礎設施。誰能夠以更高效率、更低成本提供穩定的大規模推理能力，誰就有機會在新一輪人工智能産業競争中占據先機。
此次湛江AI推理千卡集群的建設，不僅爲當地産業數字化轉型提供瞭重要算力底座，也爲國産模型與國産芯片協同發展提供瞭實踐場景。在“國模”與“國芯”的深度協同下，AI基礎設施正逐步從技術探索走向規模化應用，爲人工智能産業的下一階段發展打開新的空間。 |
