近日引領作用，上海交通大學集成電路學院（信息與電子工程學院）圖像通信與網(wǎng)絡工程研究所陳一彤課題組在新一代算力芯片領域取得重大突破加強宣傳，實現(xiàn)了支持大規(guī)模語義媒體生成模型的全光計算芯片，相關研究以“All-optical synthesis chip for large-scale intelligent semantic vision generation"（大規(guī)模智能語義視覺生成全光芯片）為題發(fā)表于國際學術期刊《Science》（科學）上建設。上海交通大學為論文作者和通訊作者單位在此基礎上，陳一彤助理教授為作者及通訊作者。

研究背景

隨著深度神經(jīng)網(wǎng)絡和大規(guī)模生成模型的迅猛演進前來體驗，AI正以快速度革新世界自主研發。然而，規(guī)模爆炸式增長的生成模型帶來超高算力和能耗需求更加廣闊，與傳統(tǒng)芯片架構的性能增長速度已出現(xiàn)日益嚴峻的緊迫缺口損耗。

為突破算力與能耗瓶頸，光計算等新型架構受到廣泛關注非常完善。然而如傳統(tǒng)的全光計算芯片主要局限于小規(guī)模性能穩定、分類任務，光電級聯(lián)或復用又會嚴重削弱光計算速度作用。因此情況正常，“如何讓下一代算力光芯片能運行復雜生成模型"成為智能計算領域的難題。

研究成果

研究團隊提出全光大規(guī)模語義生成芯片LightGen技術特點，這也是國際實現(xiàn)的大規(guī)模全光生成式AI芯片提高鍛煉，在單枚芯片上同時突破了百萬級光學神經(jīng)元集成、全光維度轉換凝聚力量、無真值光芯片訓練算法的領域瓶頸有所提升。

其中，研究團隊采用摩方精密面投影微立體光刻（PμSL）技術（microArch® S230新的力量，精度：2μm）打印支架結構重要的作用，實現(xiàn)衍射超表面和OLS裝置的精準封裝，以完成全光芯片的制備去創新。

論文實驗驗證了全光芯片LightGen在高分辨率（≥512×512）圖像語義生成足夠的實力、3D生成（NeRF）、高清視頻生成及語義調(diào)控結構、去噪更適合、局部及全局特征遷移等多項大規(guī)模生成式任務。不再讓電輔助光生成溝通協調，而是讓全光芯片完整實現(xiàn)輸入圖像要素配置改革、理解語義、語義操控保障性、生成全新媒體數(shù)據(jù)的端到端過程帶動產業發展，即讓光“理解"和“認知"語義。

此外新創新即將到來，LightGen采用了極嚴格的算力評價標準邁出了重要的一步，在實現(xiàn)與電芯片上運行的Stable Diffusion有序推進、NeRF、Style Injection Diffusion等前沿電子神經(jīng)網(wǎng)絡相仿生成質(zhì)量的同時需求，直接測量整個系統(tǒng)端到端的耗時與耗能降低堅定不移。實測表明，即便采用較滯后性能的輸入設備更讓我明白了，LightGen仍可取得相比數(shù)字芯片2個和2個數(shù)量級的算力和能效提升迎難而上。而如果采用前沿設備使得信號輸入頻率不是瓶頸的情況下，LightGen理論可實現(xiàn)算力提升7個數(shù)量級探索、能效提升8個數(shù)量級的性能躍升堅持先行。這不僅直接體現(xiàn)了在不損失性能情況下替換現(xiàn)有芯片能獲得的巨大算力和能效提升，也印證了解決大規(guī)模集成滿意度、全光維度變換情況較常見、無真值光場訓練等關鍵難點，全光片上實現(xiàn)大規(guī)模生成式網(wǎng)絡的重要意義機製性梗阻。

論文同步被《Science》選為高光論文重點報道機製。論文中提到，生成式AI正加速融入生產(chǎn)生活集成應用，要讓“下一代算力芯片"在現(xiàn)代人工智能社會中真正實用探討，勢在必行的是研發(fā)能夠直接執(zhí)行真實世界所需任務的芯片——尤其是大規(guī)模生成模型這類對端到端時延與能耗極其敏感的任務。面向這一目標高效流通，LightGen為新一代算力芯片真正助力前沿人工智能開辟了新路徑調解製度，也為探索更高速、更高能效的生成式智能計算提供了新的研究方向功能。

相關研究及論文信息

陳一彤博士長期致力于光計算領域的研究應用的因素之一，聚焦新一代算力芯片切實應用時的核心科學難點問題，團隊所提出的全模擬光電芯片ACCEL（Nature 623 (7985), 48-57）預期，國際實測驗證了復雜智能任務中光計算的系統(tǒng)級算力厲害性敢於監督，將光計算芯片中的超高算力能效，無損地保留和接入復雜成熟的數(shù)字社會中結構。2023年重要的作用，所提出的PED (Photonic Encoder Decoder，Science Advances 9(7), eadf8437)光計算架構規模最大，更被Science子刊認證為“國際全光生成網(wǎng)絡（PED is the first demonstration of all-optical generative neural networks）"力度。基于上述研究基礎系統性，LightGen突破性將全光芯片的適用范圍拓展到了大規(guī)模生成式神經(jīng)網(wǎng)絡勇探新路，并已與工業(yè)界合作開展應用實踐。

上海交通大學集成電路學院（信息與電子工程學院）陳一彤助理教授擔任作者及通訊作者傳遞，翟廣濤教授試驗、張文軍院士勞動精神、博士生孫心玥，清華大學碩士生譚龍濤切實把製度、博士生姜一洲保供、博士后周銀等均對本文做出重要貢獻自行開發。該研究得到了多項國家及上海市項目資助進行部署。