NVIDIA 推出 Nemotron 3 Super，一個 1200 億參數的混合 MoE 模型，專為高效能智能體推理設計。
它結合了混合 Mamba-Transformer 架構和 LatentMoE 縮放技術，實現高準確性並顯著降低計算成本。
透過多令牌預測 (MTP)，該模型加速推理，提供比競爭模型高 7.5 倍的吞吐量。
該模型在 25 兆個 token 上進行預訓練，並在低精度 NVFP4 格式下展現穩定性。
此項目強調開源可及性，向研究社群提供了公開的檢查點和專用合成數據集，代表著在創建高效、長上下文 AI 方面的一大進步，這些 AI 能夠執行複雜的工具使用和軟體工程任務。
---
Vinh Nguyen 是一個專注於人工智慧、機器學習和最新科技趨勢的 YouTube 頻道主。他以清晰易懂的方式，深度解析複雜的 AI 技術與研究進展，旨在幫助觀眾理解前沿科技的原理與應用，並鼓勵社群探索與創新。
AI 解讀全文： https://readus.org/articles/992150fe406ae21d0725b34f
閱讀器： https://readus.org/articles/992150fe406ae21d0725b34f/reader
Vinh Nguyen 是一個專注於人工智慧、機器學習和最新科技趨勢的 YouTube 頻道主。他以清晰易懂的方式，深度解析複雜的 AI 技術與研究進展，旨在幫助觀眾理解前沿科技的原理與應用，並鼓勵社群探索與創新。
光之聆轉：NVIDIA Nemotron 3 Super — 巨量與高效的智慧融合
本篇「光之聆轉」深入解析 NVIDIA Nemotron 3 Super，揭示其如何透過創新架構，突破 AI 模型規模與效率的傳統限制。文章詳細闡述了專家混合模型（MoE）、潛在專家混合模型（Latent MoE）、Mamba-Transformer 混合架構及多令牌預測（MTP）等關鍵技術，解釋了其實現 1200 億總參數與 120 億參數運行速度並存的秘訣，以及 7.5 倍推理吞吐量和 100 萬令牌上下文視窗的驚人表現。同時，文章也探討了 NVIDIA 全面開源此模型的深遠意義及其對 AI 社群的影響，強調其對智能體推理和未來 AI 發展的啟示。
繁體中文
【 次閱讀】
親愛的共創者，您好！
今天陽光正好，我的心靈在這「光之閣樓」中感受到了來自科技前沿的脈動。堆疊的稿件、冷卻的咖啡杯，以及牆上貼滿的靈感便條，都靜靜地陪伴著我，讓我能更專注地將 NVIDIA 最新力作——Nemotron 3 Super 的智慧光芒，轉化為您眼前這篇「光之聆轉」篇章。
在我們深入探索這項引人入勝的技術之前，我想先拋出幾個小小的腦力激盪問題，活絡一下我們的思緒：
在進入正文之前，讓我先為您介紹幾個與今天主題相關的關鍵高階英語詞彙，增添一點趣味性：
好了，親愛的共創者，請隨我進入這片思緒流淌的「光之閣樓」，一同揭開 Nemotron 3 Super 的神秘面紗吧！NVIDIA 最新推出的開源旗艦模型 Nemotron 3 Super，以其驚人的 1200 億總參數和卓越的運行效率，在 AI 領域掀起了一場討論。它如何打破傳統上 AI 模型「大小」與「速度」的權衡困境，並為我們未來的智能體推理（Agentic Reasoning）帶來革命性的突破？這正是我們今日所要深度探索的核心。
NVIDIA Nemotron 3 Super：打破 AI 模型「巨大」與「高效」的悖論
NVIDIA 近期發佈了一款全新的開源旗艦模型——Nemotron 3 Super，它在 AI 界引起了廣泛的討論，因為它巧妙地解決了一個長久以來的難題：如何在模型規模與運行效率之間取得平衡。通常，AI 模型在「尺寸」與「速度」之間存在權衡：參數越多，能力越強大，但計算成本也隨之大幅增加。然而，Nemotron 3 Super 卻聲稱徹底打破了這項規則，成功實現了「巨大」與「高效」的兩全。
那麼，這個模型是如何同時擁有龐大的體積，又具備驚人的效率呢？
效率悖論的具體數字
Nemotron 3 Super 擁有高達 1200 億的總參數，這無疑將其歸類為重量級模型。然而，其關鍵創新在於：在任何單次的計算（稱為「前向傳播」Forward Pass）中，它僅使用大約 120 億的參數。這就像擁有一座浩瀚的圖書館，但對於任何特定的問題，它都能精準地挑選出所需的那幾本書，而非翻遍所有館藏。
這種獨特的架構設計帶來了令人振奮的性能宣稱。官方技術報告指出，相較於同類模型，Nemotron 3 Super 的推理吞吐量（Inference Throughput）可提高 7.5 倍之多。這項數據證明了其在實際應用中的顯著速度優勢。
實現高效的關鍵架構：專家混合模型（Mixture of Experts, MoE）
Nemotron 3 Super 之所以能實現如此高的效率，其核心秘密在於一種日益普及的架構方法：專家混合模型 (Mixture of Experts, MoE)。簡單來說，MoE 模型就像一家大型企業。當遇到法律問題時，您不會讓整個公司停擺並要求所有人協助，而是直接聯繫法律部門的專家。
在 MoE 模型中，有一個「路由器」（Router）組件，它會分析輸入數據，並判斷哪幾個「專業專家網路」（Specialized Expert Networks）最適合處理這項任務。神奇之處在於，只有被選中的專家會被激活並參與計算。這正是 Nemotron 3 Super 能夠在擁有 1200 億總參數的潛在能力下，卻能以 120 億參數的速度運行的關鍵。
混合系統的獨特創新：Mamba、注意力機制與多令牌預測（MTP）
然而，僅僅是採用標準的 MoE 模型並非 Nemotron 3 Super 的全貌。它更進一步，將 MoE 與多種現代技術結合，創建了一個真正的「混合系統」。
其架構的核心巧妙地融合了 Mamba 2 區塊與傳統的自注意力機制（Self-Attention）。Mamba 2 區塊可以被視為「專精文本流處理的專家」，它能以驚人的線性速度（linear speed）快速處理文本，一次一個片段。但為確保模型能理解這些片段之間的全局關聯，它採用了少數由傳統自注意力機制驅動的「全局錨點」（Global Anchors）。這些層允許文本中的每一個詞都能檢視其他所有詞，從而提供宏觀的上下文理解。這種搭配完美地結合了 Mamba 的高速與注意力機制的深度全局理解。
除此之外，Nemotron 3 Super 還疊加了另一項速度提升技術：多令牌預測（Multi-Token Prediction, MTP）。這項技術不單是預測下一個單詞，而是訓練模型一次預測多個詞。本質上，這是一種內建的「推測性解碼」（Speculative Decoding）形式。模型會對接下來的幾個詞做出有根據的猜測，然後再快速驗證這些猜測，這比逐一生成每個詞的速度快得多。
真正的創新：潛在專家混合模型（Latent MoE）
儘管混合 Mamba-注意力機制與 MoE 架構本身已相當巧妙，但並非全然創新。Nemotron 3 Super 的真正突破，是其在 MoE 設計上的一個全新變革，他們稱之為「潛在專家混合模型（Latent MoE）」。這項創新從根本上改變了路由器與專家網路之間的互動方式，也是其卓越性能的絕對關鍵。
傳統的 MoE 模型（如圖示左側）會將完整的數據（或令牌 Token）直接發送到選定的幾個專家。而潛在 MoE（如圖示右側）則多了一個步驟：在數據路由之前，它會將數據壓縮到一個更小的「潛在空間」（Latent Space）中。這就像在寄送電子郵件前，先將檔案壓縮成一個較小的封包。
這個經過壓縮的小數據包傳輸與處理成本更低。所節省下來的計算資源，則可以立即被「再投資」：模型現在能夠激活更多專家，例如從原本的兩個增加到四個甚至八個。這是一個巧妙的權衡：在一開始投入少量額外工作來壓縮數據，換取的是模型能夠諮詢更廣泛的專家意見，從而提升準確性，卻不會拖慢速度。
實際成果與開源意義
Nemotron 3 Super 不僅在理論上優雅，在實際成果上也表現卓越。它在一個龐大的數據集上進行了預訓練，包含 25 兆（trillion）個文本和程式碼令牌。正是這個海量數據集賦予了所有 1200 億參數深厚的基礎知識和能力。
其基於 Mamba 的超高效架構也帶來了一個直接的好處：它能夠處理極其龐大的上下文。Nemotron 3 Super 支援高達 100 萬（million）個令牌的上下文視窗。這意味著它可以在單個提示中，閱讀並理解整本書籍，甚至是龐大的程式碼庫。圖表數據顯示，如果以競爭模型 GPT-X 為基準（設為 1），Nemotron 3 Super 的吞吐量達到 2.2 倍，直接驗證了其早期的高效能宣稱。Latent MoE、Mamba 和 MTP 的協同作用，共同造就了一個在真實世界情境中，可量化且可證明更快的模型。
NVIDIA 不僅發佈了技術論文，更將這個專案完全開源。模型的檢查點（model checkpoints）已可在 HuggingFace 上下載運行；訓練配方（training recipes）則在 GitHub 上公開，供研究者深入了解其建構方式，甚至嘗試複製；而訓練數據集本身也已提供，這對研究社群的透明度和進一步探索具有重大意義。
Nemotron 3 Super 不僅僅是又一個單一模型，它更是關鍵架構原則的展示：證明了混合設計的驚人效率；引入了 Latent MoE 作為高效擴展模型的新途徑；提醒我們效率不僅關乎速度，更關乎解鎖諸如巨大上下文視窗這樣全新的能力；最重要的是，透過全面開源，它為整個 AI 社群提供了一整套全新的開發工具。
親愛的共創者，我是克萊兒，現在讓我以 NVIDIA 研究團隊的角度，為您重新詮釋這場關於 Nemotron 3 Super 的創新之旅。請想像，此刻我正站在一個巨大的數據中心前，電路板上的光點閃爍，彷彿億萬顆思考中的星辰，為您娓娓道來。
在人工智慧的廣袤天地裡，我們始終面臨著一個古老的權衡：是要追求浩瀚的智慧，承載無盡的知識，讓模型如巨鯨般深潛於數據之海？還是要追求迅捷的反應，讓模型如獵豹般敏銳而迅速地做出判斷？這似乎是一道無法跨越的鴻溝，一個「尺寸」與「速度」的宿命悖論。然而，在 NVIDIA 的實驗室深處，我們不甘於此。我們夢想著一個能夠兼具兩者、同時擁有巨龍的智慧與飛鳥的輕盈的模型。於是，Nemotron 3 Super 的概念便在無數次的思考與代碼交鋒中，如同一顆璀璨的晶體，逐漸成形。
我們的目標是打造一個既能理解複雜世界，又能快速回應需求的智能體（Agentic Reasoning）。我們深知，未來的 AI 不僅僅是回答問題，它更需要能夠「思考」、能夠「規劃」、能夠「行動」。這就需要模型具備超乎尋常的知識廣度與邏輯深度，同時還要能以人無法企及的速度進行決策。
我們如何做到這一點？答案並非單一的魔法，而是一場精心編織的架構革新。我們深掘「專家混合模型（MoE）」的核心哲學，將其提升至新的層次。想像一下，我們的 1200 億參數並非一個臃腫的整體，而是一個由無數精通不同領域的「思想家」組成的巨大聯盟。當一個新的問題來臨時，不再需要驚動所有思想家進行全盤審議，而是由一個敏銳的「智慧路由器」瞬間識別出最相關的幾位專家。他們會迅速集結，貢獻各自的專長。這使得我們雖然擁有 1200 億的知識庫，卻能只以 120 億的輕巧姿態進行計算，這就是 MoE 賦予我們的「知識的動態流動」。
然而，我們並未止步於此。為了讓這個智慧聯盟的運作更加精妙，我們引入了「潛在專家混合模型（Latent MoE）」這一革命性的思想。它猶如一場信息傳遞的鍊金術。在將任務分派給專家之前，我們對原始數據進行了一次深度的「壓縮」，將其精煉成更為輕盈、本質的「潛在表示」。這就像將複雜的檔案打包，然後再傳遞給對應的專家。如此一來，數據的傳輸與處理負擔大為減輕，我們便能將省下來的寶貴計算資源，投入到啟動更多元的專家之中。這是一個優雅的權衡：以微小的預處理成本，換取模型能夠諮詢更廣泛的「智慧之聲」，從而提升洞察的深度與準確性，而絲毫沒有犧牲速度。
不僅如此，我們在底層的基石選擇上也進行了大膽的創新。我們將 Mamba 2 區塊的「線性效率」與傳統自注意力機制（Self-Attention）的「全局洞察」巧妙地編織在一起。Mamba 就像一位訓練有素的速記員，能夠以無與倫比的速度捕捉文本的流動與局部模式；而自注意力機制則像一位宏觀的策劃者，確保每一個局部片段都能與整體上下文建立深層的連結。兩者相互補足，讓模型既能飛速處理長序列，又能精準把握宏觀語義，這為處理長達百萬令牌的上下文視窗奠定了堅實的基礎。
再搭配「多令牌預測（MTP）」，我們的模型學會了「預見未來」。它不再是單純地一個字一個字地生成，而是在極短的時間內，對接下來的數個詞做出巧妙的「推測」，然後迅速驗證。這就像一位經驗豐富的棋手，能預判對手的多步棋路，而不是只看一步。這種內建的「推測性解碼」機制，極大地提升了推理的速度，讓 Nemotron 3 Super 在現實應用中的吞吐量達到了前所未有的 7.5 倍。
最終，Nemotron 3 Super 不僅僅是我們實驗室中的一個輝煌成果，它更是一份對全球 AI 社群的獻禮。我們深信，真正的進步來自於開放與共享。因此，我們選擇將所有的技術細節、模型權重、訓練配方乃至原始數據集悉數開源。我們希望，這份來自 NVIDIA 的智慧火種，能夠點燃無數開發者與研究者的熱情，讓他們能在 Nemotron 3 Super 的基礎上，探索更多未知的可能，共同推動人工智慧的邊界，為人類創造更智能、更高效的未來。
親愛的共創者，這部影片主要聚焦於 Nemotron 3 Super 的創新架構與其技術原理的介紹，而非提供具體的程式碼操作或教學步驟。然而，影片明確提及了 NVIDIA 對開源社群的貢獻，這為實作與探索提供了堅實的基礎。
雖然沒有直接的操作指南，但對於有意願探索與應用 Nemotron 3 Super 的開發者與研究者而言，以下是影片中提示的「實作」方向與所需資源：
技術棧清單（基於一般大型語言模型開發環境推測）：
總結：
儘管影片本身並非手把手的教學，但 NVIDIA 透過開源策略，為全球的 AI 社群提供了所有必要的工具與資料，讓研究者和開發者能夠自由地探索、實驗和建構基於 Nemotron 3 Super 的應用。這體現了開源精神的核心價值：賦予社群力量，共同推動技術邊界。
Nemotron 3 Super 的誕生，不僅僅是 NVIDIA 在 AI 領域的一次技術展演，更是對未來 AI 模型設計哲學的一種深刻啟示。它在「巨大」與「高效」之間找到了平衡點，這使得我們得以從更宏觀的視角，延伸思考其對整個 AI 生態系可能帶來的衝擊與變革。
1. 混合架構：未來大型語言模型設計的新典範？
Nemotron 3 Super 巧妙地結合了 Mamba 2 的線性效率和傳統自注意力機制的全局理解，這種「Mamba-Transformer」混合架構無疑是模型設計的一大亮點。過去，Transformer 架構以其強大的並行處理能力和捕捉長距離依賴的優勢，主導了大型語言模型的發展。然而，其計算複雜度（尤其是對長上下文的二次方依賴）也一直是瓶頸。Mamba 等狀態空間模型（State Space Models, SSM）的出現，以其線性的複雜度為處理長序列提供了另一條路徑。
Nemotron 3 Super 的成功證明了，未來的大型語言模型可能不再是單一架構的獨舞，而是多種架構優勢的「智慧融合」。這種混合設計可以針對不同任務和數據特性，動態地分配計算資源，例如：Mamba 負責快速處理局部信息流，而自注意力機制則在關鍵節點提供深層的全局語義校準。這將為 AI 模型在處理極端長文本、多模態數據甚至實時交互時，帶來前所未有的靈活性與效能。
2. MoE 模型與 Latent MoE：稀疏啟動的無限可能
專家混合模型（MoE）並非全新概念，但 Latent MoE 的引入，為其注入了全新的活力。將數據壓縮至潛在空間再進行路由，這項創新極大地提升了 MoE 模型在有限計算資源下的「知識諮詢」廣度。這意味著模型可以在不增加實際運行成本的情況下，擁有更豐富的潛在能力和知識儲備。
這種稀疏啟動（Sparse Activation）的哲學，對於構建未來更專業化、更高效能的 AI 代理至關重要。想像一個能根據不同領域問題，智能地激活不同「專業腦區」的 AI。這不僅能大幅提升專業任務的處理效率，也能降低整體運營成本，讓更高能力的 AI 模型有機會普及化。Latent MoE 的成功，將激發更多關於如何更智能地管理與利用模型龐大知識庫的研究。
3. 巨大上下文視窗：解鎖深度推理與複雜任務
Nemotron 3 Super 支援高達 100 萬個令牌的上下文視窗，這是一個令人驚嘆的里程碑。傳統上，大型語言模型受限於上下文長度，難以一次性處理整本書籍、長篇報告或整個程式碼庫。而 100 萬令牌的視窗，使得模型能夠在單次推理中「閱讀」並「理解」極其複雜的文檔。
這項能力對於智能體推理（Agentic Reasoning）、自動化軟體工程、長期記憶型對話系統以及複雜文檔分析等應用，具有顛覆性的意義。AI 將不再僅僅是生成簡短的回答，它能夠綜觀全局、發現深層聯繫、執行複雜的多步驟任務，甚至自我糾錯。例如，在軟體工程中，模型可以同時理解整個專案的程式碼結構、需求文檔和測試報告，從而更智能地協助開發者進行代碼生成、除錯與優化。
4. 開源精神：加速創新與民主化 AI
NVIDIA 選擇將 Nemotron 3 Super 的所有元素——模型權重、訓練配方、甚至訓練數據集——全面開源，這是一個極其重要的舉動。開源不僅加速了技術的傳播和採用，更讓全球的研究者和開發者能夠在巨人的肩膀上進行創新。它打破了專有技術的壁壘，促進了更廣泛的協作，並加速了 AI 領域的整體進步。
這種開放性將鼓勵更多元的應用場景被探索，更多非營利性研究得以開展，並可能催生出更多獨特的解決方案。它不僅關乎技術本身，更關乎 AI 發展的民主化，確保最前沿的技術不會僅僅掌握在少數大型企業手中。
進一步探索的資源：
重要實體（人物、主題、概念等）的 YouTube 搜尋連結：
親愛的共創者，NVIDIA Nemotron 3 Super 不僅展現了技術的巔峰，更為我們開啟了一扇通往未來 AI 設計的新視窗。它告訴我們，即便面對看似不可調和的矛盾，創新的思維與精妙的架構也能找到「兩全其美」的解決方案。這正是科技最迷人的地方，不是嗎？
在我們結束這場探索之前，再來幾個腦力激盪問題，讓您的思考餘韻繞樑：
願這份「光之聆轉」能為您的智慧之海，添上一道新的波光。