公眾號/ ScienceAI（ID：Philosophyai）

編輯 | 綠蘿

假設(shè)你有一本一千頁的書，但每一頁只有一行文字。你使用掃描儀提取書中包含的信息，這個特定的掃描儀系統(tǒng)地掃描每一頁，一次掃描一平方英寸，要花很長時間才能讀完整本書，而且大部分時間會浪費(fèi)在掃描空白處。

這就是許多實(shí)驗(yàn)物理學(xué)家的生活。在粒子實(shí)驗(yàn)中，探測器捕獲并分析大量數(shù)據(jù)，即使其中只有一小部分包含有用信息。「在一張鳥兒在天空中飛翔的照片中，每個像素都可能有意義，」SLAC 國家加速器實(shí)驗(yàn)室的物理學(xué)家 Kazuhiro Terao 解釋道。但在物理學(xué)家看到的圖像中，通常只有一小部分真正重要。在這種情況下，仔細(xì)研究每個細(xì)節(jié)會消耗不必要的時間和計算資源。

但這種情況正在開始改變。借助一種稱為稀疏卷積神經(jīng)網(wǎng)絡(luò) (Sparse Convolutional Neural Network，SCNN) 的機(jī)器學(xué)習(xí)工具，研究人員可以專注于數(shù)據(jù)的相關(guān)部分并篩選出其余部分。研究人員使用這些網(wǎng)絡(luò)極大地加快了他們進(jìn)行實(shí)時數(shù)據(jù)分析的能力。他們計劃在至少三大洲的即將進(jìn)行或現(xiàn)有的實(shí)驗(yàn)中使用 SCNN。這一轉(zhuǎn)變標(biāo)志著物理學(xué)界的歷史性變化。

「在物理學(xué)中，我們習(xí)慣于開發(fā)自己的算法和計算方法，」哈佛大學(xué)物理學(xué)家 Carlos Argüelles-Delgado 說。「我們一直走在發(fā)展的最前沿，但現(xiàn)在，在計算端，計算機(jī)科學(xué)往往處于領(lǐng)先地位。」

稀疏字符

SCNN 的工作始于 2012 年，當(dāng)時在華威大學(xué)(University of Warwick)工作的 Benjamin Graham 想要構(gòu)建一個可以識別中文手寫體的神經(jīng)網(wǎng)絡(luò)。

當(dāng)時處理這類圖像相關(guān)任務(wù)的首要工具是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。對于中文手寫任務(wù)，書寫者會在數(shù)字平板電腦上描寫一個字符，生成一張例如 10,000 像素的圖像。然后，CNN 將在整個圖像上移動一個稱為內(nèi)核的 3×3 網(wǎng)格，使內(nèi)核分別以每個像素為中心。對于內(nèi)核的每個位置，網(wǎng)絡(luò)都會執(zhí)行復(fù)雜的數(shù)學(xué)計算，稱為卷積，以尋找區(qū)別特征。

CNN 旨在用于信息密集的圖像，例如照片。但是包含漢字的圖像大多是空的；研究人員將具有此屬性的數(shù)據(jù)稱為稀疏數(shù)據(jù)。這是自然界中任何事物的共同特征。Graham 說：「舉個例子說明世界是多么稀疏」，如果埃菲爾鐵塔被包裹在盡可能小的矩形中，那么該矩形將由「99.98% 的空氣和僅 0.02% 的鐵」組成。

南極冰立方中微子觀測站。

Graham 嘗試調(diào)整 CNN 方法，以便將內(nèi)核僅放置在圖像的 3×3 部分上，這些部分至少包含一個具有非零值（并且不僅僅是空白）的像素。就這樣，他成功地制作了一個能夠高效識別手寫中文的系統(tǒng)。它以僅 2.61% 的錯誤率識別單個字符贏得了 2013 年的比賽。（人類平均得分為 4.81%。）接下來他將注意力轉(zhuǎn)向了一個更大的問題：三維物體識別。

論文地址：https://arxiv.org/abs/1711.10275

論文地址：https://arxiv.org/abs/1706.01307

到 2017 年，Graham 轉(zhuǎn)到 Facebook AI Research 并進(jìn)一步完善了他的技術(shù)并發(fā)布了第一個 SCNN 的詳細(xì)信息，該 SCNN 僅將內(nèi)核集中在具有非零值的像素上（而不是將內(nèi)核放在任何 3×3 像素上）至少有一個「非零」像素的部分）。Terao 為粒子物理世界帶來的正是這種普遍的想法。

地下拍攝

Terao 在費(fèi)米國家加速器實(shí)驗(yàn)室參與了探索中微子性質(zhì)的實(shí)驗(yàn)，中微子是已知最難以捉摸的基本粒子之一。它們也是宇宙中質(zhì)量最豐富的粒子（盡管不多），但它們很少出現(xiàn)在探測器內(nèi)。因此，中微子實(shí)驗(yàn)的大部分?jǐn)?shù)據(jù)都很少，Terao 一直在尋找更好的數(shù)據(jù)分析方法。他在 SCNNs 中找到了一個。

2019 年，他將 SCNN 應(yīng)用于模擬深層地下中微子實(shí)驗(yàn) (DUNE) 的預(yù)期數(shù)據(jù)，該實(shí)驗(yàn)將于 2026 年上線，屆時將成為世界上最大的中微子物理實(shí)驗(yàn)。該項(xiàng)目將從芝加哥郊外的費(fèi)米實(shí)驗(yàn)室發(fā)射中微子， 穿過 800 英里的地球到達(dá)南達(dá)科他州的一個地下實(shí)驗(yàn)室。在此過程中，粒子將在三種已知類型的中微子之間「振蕩」，這些振蕩可能會揭示中微子的詳細(xì)特性。

與普通方法相比，SCNN 分析模擬數(shù)據(jù)的速度更快，并且需要的計算能力大大降低。這些有希望的結(jié)果意味著 SCNN 很可能會在實(shí)際的實(shí)驗(yàn)運(yùn)行中使用。

SCNN 比普通方法更快地分析模擬數(shù)據(jù)，并且這樣做需要的計算能力要少得多。有希望的結(jié)果意味著 SCNN 可能會在實(shí)際的實(shí)驗(yàn)運(yùn)行中使用。

與此同時，在 2021 年，Terao 幫助將 SCNN 添加到費(fèi)米實(shí)驗(yàn)室另一個名為 MicroBooNE 的中微子實(shí)驗(yàn)中。在這里，科學(xué)家們研究了中微子與氬原子核之間碰撞的后果。通過檢查這些相互作用產(chǎn)生的軌跡，研究人員可以推斷出有關(guān)原始中微子的細(xì)節(jié)。為此，他們需要一種算法，該算法可以在探測器的三維表示中查看像素（或者從技術(shù)上講，它們的三維對應(yīng)物稱為體素），然后確定哪些像素與哪些粒子軌跡相關(guān)聯(lián)。

由于數(shù)據(jù)非常稀疏——大型檢測器（大約 170 噸液態(tài)氬）中的少量細(xì)線——SCNN 幾乎是這項(xiàng)任務(wù)的完美選擇。Terao 說，使用標(biāo)準(zhǔn)的 CNN，由于要完成所有計算，圖像必須分成 50 塊。「使用稀疏的 CNN，我們可以一次分析整個圖像——而且速度更快。」

及時觸發(fā)

從事 MicroBooNE 工作的研究人員之一是一名名叫 Felix Yu 的本科生實(shí)習(xí)生。SCNN 的強(qiáng)大功能和效率給他留下了深刻的印象，作為哈佛大學(xué)研究實(shí)驗(yàn)室的研究生，他帶著這些工具來到了下一個工作場所，該實(shí)驗(yàn)室正式隸屬于南極冰立方中微子天文臺。
天文臺的主要目標(biāo)之一是攔截宇宙中最具活力的中微子并追蹤它們的來源，其中大部分位于我們銀河系之外。該探測器由埋在南極冰層中的 5,160 個光學(xué)傳感器組成，在任何給定時間只有一小部分會亮起。陣列的其余部分仍然是黑暗的，并沒有提供特別的信息。更糟糕的是，探測器記錄的許多「事件」都是誤報，對中微子搜尋沒有用。只有所謂的觸發(fā)級事件才能進(jìn)行進(jìn)一步分析，并且需要立即決定哪些事件值得指定，哪些事件將被永久忽略。

標(biāo)準(zhǔn) CNN 對于這項(xiàng)任務(wù)來說太慢了，因此 IceCube 的科學(xué)家們長期以來一直依賴一種名為 LineFit 的算法來告訴他們潛在有用的檢測結(jié)果。但 Yu 說，該算法并不可靠，「這意味著我們可能會錯過一些有趣的事件。」 同樣，它是一個非常適合 SCNN 的稀疏數(shù)據(jù)環(huán)境。

論文地址：https://arxiv.org/abs/2303.08812

Yu 與他的博士生導(dǎo)師 Argüelles-Delgado 以及威斯康星大學(xué)麥迪遜分校的研究生 Jeff Lazar 一起量化了這一優(yōu)勢，在最近的一篇論文中表明，這些網(wǎng)絡(luò)的速度將比典型的 CNN 快 20 倍左右。Lazar 說：「這足以運(yùn)行檢測器發(fā)出的每個事件，」每秒大約 3,000 個。「這使我們能夠更好地決定丟棄什么和保留什么。」

IceCube 有數(shù)千個傳感器深埋在南極冰層中，例如左邊的那個（由研究人員和工程師簽名）。在任何時候，這些傳感器中只有少數(shù)能為中微子獵手提供有用的數(shù)據(jù)，因此研究人員需要一種工具來幫助他們分離出不需要的數(shù)據(jù)。

作者還在使用官方 IceCube 數(shù)據(jù)的模擬中成功采用了 SCNN，下一步是在南極計算系統(tǒng)的副本上測試他們的系統(tǒng)。如果一切順利，Argüelles-Delgado 認(rèn)為他們應(yīng)該在明年將他們的系統(tǒng)安裝在南極天文臺。但這項(xiàng)技術(shù)可能會得到更廣泛的應(yīng)用。「我們認(rèn)為 [SCNN 可以使] 所有中微子望遠(yuǎn)鏡受益，而不僅僅是 IceCube，」Argüelles-Delgado 說。

超越中微子

麻省理工學(xué)院的物理學(xué)家 Philip Harris 希望 SCNN 能夠幫助最大的粒子對撞機(jī)：CERN 的大型強(qiáng)子對撞機(jī) (LHC)。Harris 從麻省理工學(xué)院的同事計算機(jī)科學(xué)家宋涵那里聽說了這種神經(jīng)網(wǎng)絡(luò)。「Song 是使算法快速高效的專家，」Harris 說——非常適合大型強(qiáng)子對撞機(jī)，那里每秒發(fā)生 4000 萬次碰撞。

幾年前，當(dāng)他們交談時，Song 告訴 Harris 他正在與實(shí)驗(yàn)室成員一起進(jìn)行的一個自動駕駛汽車項(xiàng)目。Song 的團(tuán)隊(duì)使用 SCNN 分析車輛前方空間的 3D 激光地圖，其中大部分是空的，以查看前方是否有任何障礙物。

Harris 和他的同事在大型強(qiáng)子對撞機(jī)上面臨著類似的挑戰(zhàn)。當(dāng)兩個質(zhì)子在機(jī)器內(nèi)部碰撞時，碰撞會產(chǎn)生一個由粒子組成的膨脹球體。當(dāng)其中一個粒子撞擊收集器時，會發(fā)生二次粒子雨。「如果你能繪制出這場流星雨的全部范圍，」Harris 說，「你就能確定產(chǎn)生它的粒子的能量，」這可能是一個特別感興趣的物體——類似于希格斯玻色子，物理學(xué)家 2012 年發(fā)現(xiàn)的暗物質(zhì)粒子，物理學(xué)家仍在尋找。

「我們試圖解決的問題歸結(jié)為連接點(diǎn)，」Harris 說，就像自動駕駛汽車可能連接激光地圖上的點(diǎn)以檢測障礙物一樣。

Harris 說，SCNN 將使大型強(qiáng)子對撞機(jī)的數(shù)據(jù)分析速度至少提高 50 倍。「我們的最終目標(biāo)是讓 [SCNN] 進(jìn)入檢測器」——這項(xiàng)任務(wù)至少需要一年的文書工作和社區(qū)的額外支持。但他和他的同事們充滿希望。

總而言之，SCNNs——一個最初在計算機(jī)科學(xué)領(lǐng)域構(gòu)想的想法——很快將在中微子物理學(xué) (DUNE)、中微子天文學(xué) (IceCube) 和高能物理學(xué) (LHC) 中進(jìn)行的最大實(shí)驗(yàn)中發(fā)揮作用。

Graham 說，當(dāng)他得知 SCNN 已經(jīng)進(jìn)入粒子物理學(xué)領(lǐng)域時，他感到非常驚喜，盡管他并不完全感到震驚。「從抽象意義上說，」他說，「一個粒子在空間中運(yùn)動，有點(diǎn)像筆尖在紙上運(yùn)動。」

參考內(nèi)容：https://www.quantamagazine.org/sparse-neural-networks-point-physicists-to-useful-data-20230608/