可擴展輕量化深度學習助力高通量超分辨成像_abio生物試劑品牌網
近日,南方科技大學生物醫學工程系李依明課題組在高效單分子定位顯微方法研究中取得突破。相關成果以題為《Scalable and lightweight deep learning for efficient high accuracy single-molecule localization microscopy》的論文,發表于國際權威期刊《Nature Communications》。
單分子定位顯微鏡(single-molecule localization microscopy,SMLM)作為三大主流超分辨成像技術之一,因其兼具超高空間分辨率與分子特異性,在顯微成像領域擁有獨特的優勢。近年來,深度學習方法的引入顯著提升了SMLM在低信噪比與高分子密度條件下的定位表現。目前,以高內涵篩選(high-content screening)為目標的高通量超分辨成像技術已成為SMLM發展的主要方向。現有深度學習網絡因其模型復雜度高,在高通量成像場景中普遍存在處理延時長、資源消耗大等問題,嚴重制約了其在實際應用中的部署[1]。雖然已有一些模型壓縮技術可降低網絡復雜度,但往往以犧牲定位精度為代價,難以滿足SMLM對高精度定位的需求。
重要發現
為解決上述問題,研究團隊提出了LiteLoc—一種結合輕量化深度學習網絡與可擴展競爭式并行數據分析策略的高效框架。該框架集成了由粗、細特征提取器組成的輕量化深度學習網絡結構,并通過GPU集群并行分析實現性能最大化。在8張RTX 4090顯卡上,LiteLoc實現了超過560 MB/s的數據吞吐量,能夠實時處理現代sCMOS相機采集的高通量超分辨成像數據。本研究為基于深度學習的SMLM設立了一個兼顧定位精度與計算效率的新基準,為生命科學領域的高效、可擴展成像工作流程提供了高效的解決方案。
通常傳統圖像中的目標特征分布在整張圖像的不同區域;相比之下,單分子定位數據可被分解為大量時空分離的模塊,每個模塊僅包含局部熒光分子的相關信息,彼此之間相互獨立(如圖1a所示)。然而,現有基于深度學習的單分子數據分析軟件多采用串行處理模式,數據分析流程中CPU和GPU資源未被充分利用。LiteLoc提出的并行分析框架可以最大限度地利用硬件計算資源,將整個數據分析流程模塊化為數據讀取/預處理、網絡推理、后處理/寫入三個階段,并通過優化不同階段的并行處理機制,允許多張顯卡以競爭式方式同時讀取與分析處理數據。最終數據分析總耗時與子進程推理幾乎一致(如圖1b所示)。
傳統卷積神經網絡通常通過堆疊多個卷積層來提取多尺度特征。為實現更高效率,空洞卷積[2]因其在維持參數與計算量不變的同時能擴展感受野而受到關注。LiteLoc的輕量化深度學習網絡結構由兩部分組成:一是由空洞系數遞增的空洞卷積組構成的粗特征提取器,二是由簡化版U-Net[3]構成的細特征提取器(如圖1c所示)。該結構通過增大感受野、增強特征復用效率與融合多尺度信息,有效地將模型復雜度降低了一個數量級(如圖2a所示)。與此同時,LiteLoc在定位精度上與當前最優算法DECODE[4]相當甚至更優(如圖2c-f所示)。并且,和傳統的像素到像素的預測方式不同,LiteLoc采用的是結構化預測,直接面向單分子特征進行建模與定位,能夠在原始像素分辨率的基礎上達到超過像素尺寸十分之一的精度。結合GPU集群并行分析框架,LiteLoc實現了567.6 MB/s的總分析速度,超過常規SATA SSD的讀取上限(500 MB/s)。
為評估LiteLoc的定位性能,研究團隊分別對基于散光點擴散函數(point spread function,PSF)和6 μm DMO-Tetrapod PSF對標準結構U2OS細胞中核孔蛋白Nup96的成像數據進行了分析和重建(如圖3所示)。研究[5]表明,Nup96雙層環結構的平均直徑約為107 nm,雙層環間的平均距離約為50 nm。在散光PSF成像中,LiteLoc與主流定位算法DeepSTORM3D、DECODE均可在x-y平面中重構出核孔的環狀結構(如圖3b所示),并在x-z平面準確解析出靠近蓋玻片的雙層環結構(如圖3c所示)。在6 μm DMO-Tetrapod PSF實驗中,三種算法均能大致還原細胞上下表面的核孔蛋白分布(如圖3e所示)。
然而,由于單個分子的光子分布范圍更大、原始顯微圖像信噪比較低,DeepSTORM3D預測的定位點較為分散,數量也相對較少(如圖3d所示);而DECODE重構的超分辨圖像中出現了明顯的網格狀偽影。相比之下,LiteLoc重構圖像未出現此類偽影(如圖3i所示),顯示出LiteLoc具有更高的定位準確度。在分析速度方面,在相同硬件條件下,LiteLoc的分析耗時僅為DECODE的28.8%、DeepSTORM3D的1.5%,顯著提升了單分子數據的處理效率;在GPU集群的情況下,LiteLoc的分析速度可以達到DeepSTORM3D的500倍、DECODE的20倍。
在相對高密度條件下的基于散光PSF的微管成像實驗中,DeepSTORM3D的重建結果同樣會出現網格偽影(如圖4所示)。其原因在于DeepSTORM3D采用二值化的上采樣體素進行預測,使定位精度受到體素大小的限制。相比之下,LiteLoc和DECODE網絡均可預測亞像素級偏移量。然而,DECODE往往將高不確定性的預測偏向像素中心,從而在重建中產生網格偽影。LiteLoc則通過密集連接提升定位置信度,并且空洞卷積引入了稀疏的像素級計算,有助于緩解中心偏置問題并減少偽影。此外,常規的深度學習SMLM軟件支持的PSF建模方式有限,而在實際成像中研究者往往需根據具體成像需求選擇不同建模方式。樣條插值PSF[6]較為簡單,適用于空間不變PSF建模;而矢量PSF[7]考慮多種光學參數,如波長、折射率與數值孔徑,更適合用于包含深度與視場依賴像差的場景。LiteLoc同時支持兩種PSF建模方式用于訓練。
總結與展望
綜上所述,研究團隊提出了一套面向高通量SMLM的輕量化深度學習可擴展并行分析框架。該方法在保證高定位精度的前提下,將網絡推理速度提升三倍以上,顯著緩解了PSF復雜性、結構化數據偽影和成像條件多樣性帶來的挑戰,適用于不同生物樣本的超分辨成像任務。其在8張RTX 4090 GPU上的總處理速度超過560 MB/s,具備實時處理能力,未來有望應用于閉環成像系統與在線質量控制。此外,LiteLoc對計算資源的需求較低,便于集成至標準SMLM分析流程,并與聚類、追蹤或結構重建等下游模塊結合,實現高效一體化的超分辨數據處理流程。該框架及源碼已在GitHub開源:https://github.com/Li-Lab-SUSTech/LiteLoc。
南方科技大學生物醫學工程系的李依明副教授為該論文的通訊作者,2025屆碩士生費悅、博后傅爽以及石偉為論文的共同一作,南方科技大學為第一通訊單位。該項目得到了國家重點研發計劃、深圳市醫學研究專項資金、國家自然科學基金委員會和南方科技大學校長卓越博士后資金等科研項目的支持。
本站“ABIO生物試劑品牌網”圖片文字來自互聯網
如果有侵權請聯系微信: nanhu9181 處理,感謝~