精准猎取科技资讯,天堂视频在线观看,高效阅读科技新闻_黄色av网站在线免费观看_科技猎

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。  

作者:賴文昕

編輯:郭思、陳彩嫻

說起擴散模型生成的東西,你會立刻想到什么?

是OpenAI的經典牛油果椅子?

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

是英偉達Magic3D生成的藍色箭毒蛙?

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

還是斯坦福大學和微軟Folding Diffusion生成的蛋白質結構?

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

這些都是擴散模型的魔法展示,而近期,關于擴散模型的研究又進行了一次全新的升級。

由新加坡國立大學尤洋團隊、加州大學伯克利分校以及Meta AI Research聯手發布的一項名為“Neural Network Diffusion”的研究,已經實現了利用擴散模型來生成神經網絡,這意味著擴散模型不再局限于生成表面的產品或物體結構,而是直接進行底層革新,開始拿神經網絡做文章了,頗有種用魔法來打敗魔法的意味。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

論文地址:https://arxiv.org/pdf/2402.13144.pdf

該研究一出,迅速在國際AI社區引起了熱烈反響,登上了各大模型開發平臺的熱搜榜單,在業界內收獲了極高贊譽。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

這項工作中,研究團隊創新性地應用擴散模型來生成高性能神經網絡的參數配置。他們結合了自動編碼器框架和標準潛在擴散模型(LDM)設計了一種新穎的方法,即“參數擴散”(p-diff),通過訓練LDM從隨機噪聲中合成有效的神經網絡參數latent representations。

此方法具有以下特點:1)它始終達到與訓練數據相似的性能,甚至能在多數據集和架構中增強性能;2)生成的模型與訓練的模型有很大的不同,這表明此方法可以合成新參數,而不是記憶訓練樣本。

擴散模型如何生成“神經網絡”?

盡管擴散模型已經在視覺內容生成任務上取得了顯著成就,然而在其他眾多領域的應用潛力仍有待深入挖掘。

在此之前,學術界和工業界的研究重心主要在于如何通過傳統的學習策略來獲得針對特定任務表現優異的神經網絡參數,而不是直接利用擴散模型進行參數生成。學者們普遍從統計學先驗和概率模型的角度出發,例如探索隨機神經網絡架構及貝葉斯神經網絡方法,以優化模型性能。

而在深度學習這個大框架下,雖然監督學習和自監督學習一直是訓練神經網絡的核心機制,并且在很多實際應用中取得了巨大成功。但為了更好地展示擴散模型在生成高效能模型架構與參數方面的卓越能力,研究團隊大膽地將目光投向了尚未被充分探索的領域,嘗試利用擴散模型來創造并優化高性能、結構新穎的神經網絡參數。

簡而言之,“Neural Network Diffusion”項目所采用的是一種名為“神經網絡擴散”的方法(p-diff,p代表參數),使用標準的LDM來合成新參數。

該團隊經過深入研究神經網絡的訓練機制以及擴散模型的工作原理后,敏銳地洞察到:基于擴散原理的圖像生成過程與隨機梯度下降(SGD)等常用學習方法之間存在著兩種相似性。這意味著擴散模型或許能夠借鑒并革新現有的訓練范式,從而為構建更加智能且高效的神經網絡提供新的視角與工具。

首先,神經網絡訓練和擴散模型的逆過程都可以被視為從隨機噪聲/初始化到特定分布的轉變。其次,高質量圖像和高性能參數也可以通過多次噪聲的添加來降級為簡單分布,例如高斯分布。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

基于這些觀察,研究團隊引入了一種新的參數生成方法,稱之為“神經網絡擴散”(p-diff,p代表參數),它采用標準的LDM來合成一組新的參數。

擴散模型能夠將給定的隨機分布轉換為特定的隨機分布,因此研究人員使用了一個自動編碼器和一個標準的LDM來學習高性能參數的分布。

該研究方法整合了參數自動編碼器和擴散模型來實現神經網絡參數的創新生成。首先,研究人員選取一組經過充分訓練且表現出色的模型作為基礎,從中抽取一部分關鍵或有代表性的參數子集,并將這些多維結構的參數展平為一維向量形式。

接下來,他們構建了一個參數自動編碼器架構,其中包含一個編碼器模塊,用于從所提取的一維參數向量中學習潛在的低維表示(latent representations),這一過程能夠捕捉到原有參數的關鍵特征和模式。同時配備一個解碼器模塊,其任務是根據這些潛在表示恢復出原始的高維參數結構。

在此基礎上,團隊進一步訓練一個標準的擴散模型(LDM,Latent Diffusion Model)以適應參數生成場景,使其能夠在隨機噪聲輸入下逐步迭代并生成與目標參數對應的高質量潛在表示。

訓練完成后,研究人員利用一個逆擴散過程(p-diffusion process)來生成新的神經網絡參數。這個過程始于一個隨機噪聲向量,通過逆向遞歸地應用擴散模型的反變換,將其一步步轉化為有意義的潛在表示。最后,將這些合成的潛在表示輸入訓練好的解碼器中,解碼器會將其轉換為全新的、有望保持高性能的神經網絡參數。這種方法不僅拓展了擴散模型的應用領域,還可能挖掘出之前未被發現的有效網絡結構和參數配置。

訓練后,研究團隊利用 p-diff 通過以下鏈條生成新的參數:隨機噪聲 → 逆過程 → 訓練好的解碼器 → 生成的參數。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑


為了驗證該方法的有效性,研究團隊緊接著還在MNIST、CIFAR-10/100、ImageNet-1K、STL-10等廣泛的數據集上進行了評估實驗,實驗主要在神經網絡ResNet-18/50、ViT-Tiny/Base 和 onvNeXt-T/B 上進行。

研究團隊詳細闡述了具體的訓練細節。在實驗中,自動編碼器和LDM均包含了一個基于 4 層 1D CNN 的編碼器和解碼器。研究人員默認收集所有架構的200 個訓練數據。 在神經網絡 ResNet-18/50 上,他們從頭開始訓練模型。到了最后一個 epoch中,他們則繼續訓練最后兩個歸一化層并修復其他參數。在大多數情況下,自動編碼器和潛在擴散訓練可以在單個英偉達的 A100 40G GPU 上于 1~3 小時內完成。

實驗過后,研究人員發現,在大多數情況下,p-diff的方法取得了與兩個基線相似或更好的結果,這表明了此方法可以有效地學習高性能參數的分布,并從隨機噪聲中生成優異的模型。而且,該方法在各種數據集上始終表現良好,也證明了它具有良好的通用性。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

那么如何進一步確認p-diff是否真正可以合成新參數,而不只是在記憶訓練樣本呢?

為了驗證p-diff能夠生成一些與原始模型表現不同的新參數,研究團隊設計了另一個實驗,通過比較原始模型、添加噪聲模型、微調模型和 p-diff 模型的預測和可視化來研究它們之間的差異。

他們進行了四組對比:1)原始模型之間的相似性; 2)p-diff模型之間的相似性; 3)原始模型和p-diff模型之間的相似性; 4) 原始模型和 p-diff 模型之間的最大相似度(最近鄰)。

可以發現,在不同情況下,生成的模型之間的差異遠大于原始模型之間的差異。 另外,即使是原始模型和生成模型之間的最大相似度,也低于原始模型之間的相似度。這表明,p-diff 的確可以生成與其訓練數據表現不同的新參數。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

結語

Sora的平地一聲驚雷,讓本就火爆的文生圖、文生視頻的領域又增添了好幾分熱度,也讓在圖像和視頻生成方面取得了顯著成功的擴散模型獲得了更多的關注。

而無論是Sora、DALL·E 、Midjourney,還是Stable Diffusion等已經擁有眾多用戶的模型,它們背后的魔法都是擴散模型。在已有的例子中,擴散模型總是被運用在生成圖片或視頻上,而這一次,擴散模型居然直接滲入更深層,直接生成神經網絡,這堪稱機器學習中“用魔法打敗魔法”的神操作。

今日,研究團隊中的三作 Zhuang Liu 還在社交媒體上答復了網友的疑惑,解釋了“Neural Network Diffusion”和Sora 負責人 William Peebles 此前發布的研究“Learning to Learn with Generative Models of Neural Network Checkpoints”之間的區別:

William Peebles的研究工作是逐步生成參數,更像是優化器,將先前的檢查點作為輸入。 “Neural Network Diffusion”則是直接生成整套參數,無需之前的權重作為輸入。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

盡管研究團隊目前尚未解決內存限制、結構設計效率和性能穩定性等問題,但使用擴散模型生成神經網絡的創新嘗試,讓大模型領域的技術邊界又向外開拓了一面。

擴散模型未來將會有何發展,讓我們拭目以待。

雷峰網 (公眾號:雷峰網) AI 科技評論將持續關注大模型領域動態,歡迎添加anna042023,交流認知,互通有無

雷峰網原創文章,未經授權禁止轉載。詳情見 轉載須知 。

用擴散模型生成神經網絡?NUS 尤洋團隊:這不是開玩笑

隨意打賞

提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 优宝-汽车润滑脂-轴承润滑脂-高温齿轮润滑油脂厂家 | 上海公众号开发-公众号代运营公司-做公众号的公司企业服务商-咏熠软件 | 体感VRAR全息沉浸式3D投影多媒体展厅展会游戏互动-万展互动 | 密集架|电动密集架|移动密集架|黑龙江档案密集架-大量现货厂家销售 | 顺景erp系统_erp软件_erp软件系统_企业erp管理系统-广东顺景软件科技有限公司 | 防腐木批发价格_深圳_惠州_东莞防腐木厂家_森源(深圳)防腐木有限公司 | 定制奶茶纸杯_定制豆浆杯_广东纸杯厂_[绿保佳]一家专业生产纸杯碗的厂家 | 佛山商标注册_商标注册代理|专利注册申请_商标注册公司_鸿邦知识产权 | 视觉检测设备_自动化检测设备_CCD视觉检测机_外观缺陷检测-瑞智光电 | 压力控制器,差压控制器,温度控制器,防爆压力控制器,防爆温度控制器,防爆差压控制器-常州天利智能控制股份有限公司 | 润东方环保空调,冷风机,厂房车间降温设备-20年深圳环保空调生产厂家 | 济南保安公司加盟挂靠-亮剑国际安保服务集团总部-山东保安公司|济南保安培训学校 | 高效复合碳源-多核碳源生产厂家-污水处理反硝化菌种一长隆科技库巴鲁 | 山东螺杆空压机,烟台空压机,烟台开山空压机-烟台开山机电设备有限公司 | 户外-组合-幼儿园-不锈钢-儿童-滑滑梯-床-玩具-淘气堡-厂家-价格 | 船用锚链|专业锚链生产厂家|安徽亚太锚链制造有限公司 | 骨密度仪-骨密度测定仪-超声骨密度仪-骨龄测定仪-天津开发区圣鸿医疗器械有限公司 | 刹车盘机床-刹车盘生产线-龙口亨嘉智能装备 | 污水处理设备维修_污水处理工程改造_机械格栅_过滤设备_气浮设备_刮吸泥机_污泥浓缩罐_污水处理设备_污水处理工程-北京龙泉新禹科技有限公司 | 阻垢剂,反渗透阻垢剂,缓蚀阻垢剂-山东普尼奥水处理科技有限公司 真空粉体取样阀,电动楔式闸阀,电动针型阀-耐苛尔(上海)自动化仪表有限公司 | 刚性-柔性防水套管-橡胶伸缩接头-波纹管补偿器-启腾供水材料有限公司 | 领先的大模型技术与应用公司-中关村科金 | 防爆型气象站_农业气象站_校园气象站_农业四情监测系统「山东万象环境科技有限公司」 | 陕西华春网络科技股份有限公司 | 活性氧化铝|无烟煤滤料|活性氧化铝厂家|锰砂滤料厂家-河南新泰净水材料有限公司 | 宽带办理,电信宽带,移动宽带,联通宽带,电信宽带办理,移动宽带办理,联通宽带办理 | 福建自考_福建自学考试网| 皮带式输送机械|链板式输送机|不锈钢输送机|网带输送机械设备——青岛鸿儒机械有限公司 | 磁力抛光研磨机_超声波清洗机厂家_去毛刺设备-中锐达数控 | 玻璃钢型材-玻璃钢风管-玻璃钢管道,生产厂家-[江苏欧升玻璃钢制造有限公司] | 交联度测试仪-湿漏电流测试仪-双85恒温恒湿试验箱-常州市科迈实验仪器有限公司 | 杭州荣奥家具有限公司-浙江办公家具,杭州办公家具厂 | 珠海网站建设_响应网站建设_珠海建站公司_珠海网站设计与制作_珠海网讯互联 | 首页-浙江橙树网络技术有限公司 石磨面粉机|石磨面粉机械|石磨面粉机组|石磨面粉成套设备-河南成立粮油机械有限公司 | 拖链电缆_柔性电缆_伺服电缆_坦克链电缆-深圳市顺电工业电缆有限公司 | 欧洲MV日韩MV国产_人妻无码一区二区三区免费_少妇被 到高潮喷出白浆av_精品少妇自慰到喷水AV网站 | 电子厂招聘_工厂招聘_普工招聘_小时工招聘信息平台-众立方招工网 | 合肥风管加工厂-安徽螺旋/不锈钢风管-通风管道加工厂家-安徽风之范 | 3dmax渲染-效果图渲染-影视动画渲染-北京快渲科技有限公司 | 河南卓美创业科技有限公司-河南卓美防雷公司-防雷接地-防雷工程-重庆避雷针-避雷器-防雷检测-避雷带-避雷针-避雷塔、机房防雷、古建筑防雷等-山西防雷公司 | 北京网站建设首页,做网站选【优站网】,专注北京网站建设,北京网站推广,天津网站建设,天津网站推广,小程序,手机APP的开发。 |