4萬億個晶體管，單機可訓練比GPT4大10倍的模型，最大的芯片面世
分類: 最新資訊
說說詞典
編輯 : 大寶123
發布 : 03-15
閱讀 :102
機器之心報道編輯：小舟、陳萍剛剛，芯片創業公司 Cerebras 宣布了該公司歷史上最重要的消息，「我們發布了世界上最快的芯片，該芯片擁有高達 4 萬億個晶體管。」一直以來，Cerebras 一直在往「大」的芯片方面發展，此前他們發布的晶圓級引擎（Wafer Scale Engine，WSE-1）面積比 iPad 還大。第二代 WSE-2 雖然在面積上沒有變化，但卻擁有驚人的 2.6 萬億個晶體管以及 85 萬個 AI 優化的內核。而現在推出的 WSE-3 包含 4 萬億個晶體管，在相同的功耗和價格下，WSE-3 的性能是之前記錄保持者 WSE-2 的兩倍。此次發布的 WSE-3 是專為訓練業界最大的 AI 模型而打造的，基于 5 納米、4 萬億晶體管的 WSE-3 將為 Cerebras CS-3 人工智能超級計算機提供動力，通過 90 萬個人工智能優化的計算核心，提供每秒 125 petaflops 峰值 AI 性能（1 petaflops 是指每秒 1,000,000,000,000,000（1 萬億）次浮點運算）。WSE-3 呈正方形，邊長為 21.5 厘米（面積為 46225mm^2），幾乎是使用了整個 300 毫米硅片來制造一個芯片。這么看來，憑借 WSE-3，Cerebras 可以繼續生產世界上最大的單芯片了。WSE-3 大尺寸到底是個什么概念，在將其與 Nvidia H100 GPU 進行比較后發現，前者大了 57 倍，內核數量增加了 52 倍，芯片內存增加了 800 倍，內存帶寬增加了 7000 倍，結構帶寬增加了 3700 倍以上。而這些都是芯片實現高性能的基礎。圖源：https://spectrum.ieee.org/cerebras-chip-cs3下圖展示了 WSE-3 的特點：WSE-3前兩代晶圓級引擎的一些參數。圖源：https://twitter.com/intelligenz_b/status/1768085044898275534配備 WSE-3 的 CS-3 計算機理論上可以處理 24 萬億個參數的大型語言模型，這比 OpenAI 的 GPT-4 等頂級生成式 AI 模型的參數高出一個數量級（據傳有 1 萬億個參數）。這么看來， 具有 24 萬億個參數的模型在一臺機器上運行成為可能。圖源：https://www.servethehome.com/cerebras-wse-3-ai-chip-launched-56x-larger-than-nvidia-h100-vertiv-supermicro-hpe-qualcomm/CS-3 擁有高達 1.2 PB 的巨大內存系統，旨在訓練比 GPT-4 和 Gemini 還大 10 倍的下一代前沿模型。24 萬億個參數的模型可以存儲在單個邏輯內存空間中，無需分區或重構，從而極大地簡化了訓練工作流程并提高了開發人員的工作效率。在 CS-3 上訓練 1 萬億個參數模型就像在 GPU 上訓練 10 億個參數模型一樣簡單。CS-3 專為滿足企業和超大規模需求而構建。緊湊的四系統配置可以在一天內微調 70B 模型，同時使用 2048 個系統進行全面擴展，Llama 70B 可以在一天內從頭開始訓練，這對于生成式 AI 來說是前所未有的壯舉。最新的 Cerebras 軟件框架為 PyTorch 2.0 和最新的 AI 模型和技術（如多模態模型、視覺 transformer、MoE 和擴散模型）提供原生支持。Cerebras 仍是唯一能為動態和非結構化稀疏性提供本機硬件加速的平臺，可以將訓練速度提高 8 倍。「八年前，當我們開始這一旅程時，每個人都說晶圓級處理器是一個白日夢。我們非常自豪能夠推出第三代突破性人工智能芯片，并且很高興將 WSE-3 和 CS-3 推向市場，以幫助解決當今最大的人工智能挑戰」，Cerebras 首席執行官兼聯合創始人 Andrew Feldman 如是說道。Cerebras 聯合創始人兼首席執行官 Andrew Feldman卓越的功耗效率和軟件易用性由于每個組件都針對 AI 工作進行了優化，CS-3 比任何其他系統都能以更小的空間和更低的功耗提供更高的計算性能。CS-3 性能翻倍，功耗卻保持不變。CS-3 具有卓越的易用性。相比于大模型常用的 GPU，CS-3 需要的代碼減少 97%，并且能夠在純數據并行模式下訓練從 1B 到 24T 參數的模型。GPT-3 大小的模型在 Cerebras 上實現只需要 565 行代碼（而 GPU 需要 20,507 行 ）—— 這是行業紀錄。圖源：https://www.servethehome.com/cerebras-wse-3-ai-chip-launched-56x-larger-than-nvidia-h100-vertiv-supermicro-hpe-qualcomm/目前，Cerebras 已經積壓了大量來自科技企業、科研機構的訂單。美國阿貢國家實驗室負責計算、環境和生命科學的實驗室副主任 Rick Stevens 稱贊道：「Cerebras 的大膽精神將為人工智能的未來鋪平道路。」https://www.zdnet.com/article/ai-startup-cerebras-unveils-the-largest-chip-yet-for-generative-ai/https://www.servethehome.com/cerebras-wse-3-ai-chip-launched-56x-larger-than-nvidia-h100-vertiv-supermicro-hpe-qualcomm/