技術說明
通過深度學習提高圖像質(zhì)量
利用殘差通道注意力網(wǎng)絡（RCAN）還原和增強容積延時熒光顯微鏡數(shù)據(jù)
Authors
作者
Luciano Lucas博士 
總監(jiān)——Aivia
徠卡顯微系統(tǒng)，德國韋茨拉爾
Quyen Tran博士 
科學應用與市場經(jīng)理——Aivia 
徠卡顯微系統(tǒng)，美國貝爾維尤
Hoyin Lai
內(nèi)容營銷經(jīng)理/高級應用專員——Aivia
徠卡顯微系統(tǒng)，美國貝爾維尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN還原圖像

雙色共焦圖像的分辨率增強。訓練用的原始圖像在Leica SP8系統(tǒng)上拍攝，（A）共焦模式的核孔復合物（白色）和微管（綠色）；（B）STED模式拍攝的圖像。（C）使用深度學習模型將共焦圖像的空間分辨率提升到接近STED質(zhì)量。
對于收集到的活細胞3D數(shù)據(jù)，3D RCAN可以有效避免光漂白，允許我們拍攝長時間的超分辨率3D圖像數(shù)據(jù)。 實際應用中，圖像分辨率非常好，我們甚至能夠在3D圖像中長時間觀察到線粒體和囊泡的相互作用。 3D RCAN的圖像去模糊效果也比其他測試方法更好。 

我們還使用受激發(fā)射損耗（STED）拍攝的實驗數(shù)據(jù)來訓練RCAN模型，用以測試RCAN的性能。相比共聚焦的空間分辨率，RCAN在多個固定或活細胞樣品中實現(xiàn)了2.5倍的提升，與STED的提升效果類似。值得注意的是，反卷積共聚焦數(shù)據(jù)無法實現(xiàn)類似的分辨率提升。 

研究人員還開發(fā)了將RCAN與膨脹顯微術（expansion microscopy）相結(jié)合以提升iSIM分辨率的方案。 在細胞爬片樣本，線粒體和微管動力學的4D研究中，這種方法可以實現(xiàn)1.9倍的橫向分辨率和3.6倍的軸向分辨率提升。 需要注意的是，膨脹顯微術不能應用于活體樣本成像。 

基于這些結(jié)果，作者認為，相比現(xiàn)有方法（例如光片顯微鏡和轉(zhuǎn)盤共聚焦成像設備），3D RCAN與高分辨率、多噪點的共聚焦顯微鏡或iSIM相結(jié)合可以成為3D活細胞成像的精妙方案。作者還在考慮使用這種方法進一步改善其他顯微成像模式。

表達EGFP-Tomm20的U20S活細胞圖像。高放大倍率視圖，原始iSIM、去卷積iSIM和 RCAN預測進行比較。紅色剪頭表明RCAN可以比iSIM更好地解析線粒體。圖片來源：Nature Methods
如何使用3D RCAN模式
在GitHub和我們的網(wǎng)頁上可以找到代碼、數(shù)據(jù)以及經(jīng)過訓練的深度學習模式。此外，我們還在Aivia中部署了所有預訓練模型，因此每個人都能將其輕松用于自己的數(shù)據(jù)。Aivia用戶還可以添加訓練數(shù)據(jù)，以針對自己的成像/采樣工作優(yōu)化我們的預訓練模型。
本項研究刊載于2021年6月出版的《Nature Methods》雜志上。