清華大學電子工程系方璐教授課題組、自動化系戴瓊海院士課題組另闢蹊徑,首創全前向智能光計算訓練架構,研製出能耗更低成本更小的「太極-Ⅱ」光芯片,擺脫了對電子GPU(圖形處理器)離線訓練的依賴,實現大規模神經網絡的原位光訓練,為AI(人工智能)大模型探索了光訓練的新路徑。研究表明,太極-II能夠對多種不同光學系統進行訓練,並在各種任務下均表現出了卓越性能。相關研究成果在線發表於最新一期的國際學術期刊《自然》上。/大公報記者 劉凝哲、凱雷北京報道
AI大模型的迅猛發展和廣泛應用,使算力成為關鍵的戰略資源。智能光計算憑藉高算力低能耗的優勢,在後摩爾時代展現巨大的潛力。訓練和推理是AI大模型核心能力的兩大基石,智能光芯片「太極」的問世為大規模複雜任務的「推理」帶來曙光,但未能釋放光計算的「訓練之能」。現有光神經網絡的訓練嚴重依賴GPU離線建模,要求高度匹配的前向─反向傳播模型。這對光計算系統的精準對齊提出苛刻要求,致使梯度計算難、訓練規模小,禁錮了光計算的優勢。
在「太極」辯證統一思想的持續啟發下,清華大學電子工程系方璐教授課題組、自動化系戴瓊海院士課題組,首創了全前向智能光計算訓練架構,研製了太極-Ⅱ光訓練芯片,擺脫了對GPU離線訓練的依賴,實現了大規模神經網絡的原位光訓練。研究團隊刻畫了「光子傳播對稱性」這一物理模型,以「光」易「光」,摒棄了反向傳播這一電訓練範式,化「反」為「前」,掙脫了前向─反向光場傳播嚴格對齊的束縛,構建了通用光計算原位訓練系統,突破了電訓練架構對物理光計算的掣肘,支撐大規模神經網絡的精準高效光訓練。
構建光神經網絡傳播模型
「與現有訓練範式不同的是,我們摒棄了反向傳播,另闢蹊徑,構建了光神經網絡的對稱傳播模型,僅用光學系統的前向傳播即可實現高效高精度光訓練。」課題組負責人方璐教授表示。太極-Ⅱ以物理光學特性為啟發,擯棄了對電訓練架構的依賴,以全前向光學傳播模型來求解大規模網絡訓練難題,克服了計算精度差、訓練速度慢、能量效率低的瓶頸,支撐多尺度複雜光學系統的高效高精度在線訓練。
值得一提的是,太極-Ⅱ的面世,填補了智能光計算在大規模神經網絡訓練這一核心拼圖的空白,除加速AI模型訓練外,還在高性能智能成像、高效解析拓撲光子系統等方面表現出卓越性能。在原理樣片的基礎上,研究團隊正積極地向智能光芯片產業化邁進,在多種中小型無人系統上進行了應用部署。專家表示,可以預見智能光計算平台將逐步登上AI算力舞台,破除人工智能算力困局,以更低的資源消耗和更小的邊際成本,為人工智能大模型、通用人工智能、複雜智能系統的高速高能效計算開闢新路徑。
