CNN+LSTM--一種運動想象分類新模型

2023-02-20 17:06:02來源：騰訊云

說到運動想象（motor imagenation, MI), 我們都很熟悉，它是指個體在心理上模擬給定動作時的動態狀態。如何通過運動想象的腦電信號來分類個體的心理意圖，一直是研究人員關注的重點，MI信號可以用于控制外部設備，如大腦控制的機器人、大腦控制的外骨骼、自動駕駛汽車等，因此提高MI信號的分類準確性是極其有意義的。

腦電圖（EEG）的信噪比較低，因此如何從腦電圖信號中提取特征并正確分類是BCI技術最重要的部分。傳統上，通用空間模式（CSP）和支持向量機（SVM）用于對腦電圖信號進行分類，并實現良好的分類結果。隨著深度學習的發展，卷積神經網絡（CNN）備受關注。到目前為止，已經為BCI 范式提出了各種具有不同架構的神經網絡。

【資料圖】

本文通過將CNN和LSTM組合在一起，提出了一個新的功能融合深度學習框架。其次，該算法同時提取腦電圖信號的時間和空間特征，提高了精度，第三，該網絡提取了中間層特征，以防止特征丟失。

數據集

本文的數據來自BCI Competition IV，“BCI 競賽IV”的目標是驗證腦機接口 (BCI) 的信號處理和分類方法。與過去的 BCI 競賽相比，解決了與實際 BCI 系統高度相關的新的挑戰性問題，例如（數據集鏈接已附上）：

?無試驗結構的連續腦電圖分類（數據集 1）。

?受眼球運動偽影影響的 EEG 信號分類（數據?集 2）。

?MEG 手腕運動方向的分類（數據集 3）。

?ECoG 中需要細粒度空間分辨率的歧視（數據集 4）。

簡要介紹一下這四個數據集：

數據集 1： ?motor imagery, uncued classifier application?

由柏林 BCI 組提供：Technische Universit?t Berlin（機器學習實驗室）和 Fraunhofer FIRST（智能數據分析組）（ Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);評估數據是連續的腦電圖，其中還包含空閑狀態的時間段[64個EEG通道（0.05-200Hz），1000Hz采樣率，2個類別（+空閑狀態），7個科目]

數據集 2a： ?4 級運動圖像? 由格拉茨科技大學知識發現研究所（腦機接口實驗室，（Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運動意象（左手、右手、腳、舌頭） [22 個腦電圖通道（0.5-100Hz；陷波濾波器），3 個EOG 通道，250Hz 采樣率，4 個類別，9 個科目]

數據集 2b: ?motor imagery?由格拉茨科技大學知識發現研究所（腦機接口實驗室，（Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運動意象（左手，右手） [3 個雙極腦電圖通道（0.5-100Hz；陷波濾波），3 個EOG 通道，250Hz 采樣率，2 類，9 名受試者]

數據集 3：由弗萊堡阿爾伯特路德維希大學腦機接口計劃、弗萊堡伯恩斯坦計算神經科學中心和圖賓根大學醫學心理學和行為神經生物學研究所提供（ Stephan Waldert , Carsten Mehring , HubertPreissl , Christoph Braun )該數據集包含定向調制的低頻 MEG 活動，這些活動是在受試者在四個不同方向上進行手腕運動時記錄的。[10個MEG通道（過濾到0.5-100Hz），400Hz采樣率，4個班級，2個科目]

數據集 4：《ECoG 中的手指運動》由西雅圖華盛頓大學物理和醫學系( Kai J. Miller ) 和紐約州衛生部沃茲沃斯中心 ( Gerwin Schalk ) 提供個人屈曲期間的 ECoG 數據五個手指；使用數據手套獲取的運動。 [48 - 64 ECoG 通道（0.15-200Hz），1000Hz 采樣率，5 個類別，3 個科目]

融合模型

卷積神經網絡CNN已成為最受歡迎的基于深度學習的網絡作品，用于在幾個不同任務中學習功能。與傳統的機器學習算法不同，CNN不需要手動設計功能，它從原始數據中自動學習抽象特征進行分類，從而避免丟失有用信息。與通常有兩個獨立步驟（包括特征學習和分類）的經典框架相比，CNN可以學習特征，并同時由多層神經網絡進行分類。

LSTM通常用于處理時間序列的非線性特征。LSTM的主要特點是存在三個門：忘記門、存儲單元和輸出門，這極大地提高了LSTM處理時間信息的能力。

（ps: Conv1D 不代表卷積核只有一維,也不代表被卷積的特征只有一維，而是指卷積的方向是一維的；flatten可以理解為把數據扯成一條）

由上述的描述我們可知，CNN網絡和LSTM網絡可以分別提取空間和時間特征。因此，本文提出了一種同時提取時空特征的特征融合網絡方法。有兩種網絡結構：并行結構和串行結構。與串行結構相比，并行結構同時處理原始數據，這可以有效地從原始數據中提取更多的形成，并提高MI腦電圖信號的分類精度。本文采取了并行結構，基于腦電圖的時空特征，構建了一個CNN-LSTM并行結構模型，如上圖所示， CNN由一個輸入層、一個一維卷積層、一個可分離的卷積層和2個扁平層組成。LSTM由輸入層、LSTM層和扁平層組成。最后，這兩個部分被歸類為完全連接的層。除此之外，這個混合模型使用直系線性單元（ReLU）激活和批量歸一化（BN）來規范CNN中的激活函數。激活函數tanh用于LSTM。為了幫助規范模型，我們在每層中使用drop out（隨機丟掉一些神經元），并將drop out設置為0.5，以幫助防止在小樣本量訓練時過度擬合。

將實驗結果與其他論文進行比較，包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、濾波器庫時空卷積網絡（FBSF-TSCNN）[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6]，獲得如上結果?？梢钥闯?，本文的算法取得了最佳效果。此外，FFCL在所有九個受試者中的準確性一直優于EEGNet。

結論

本文提出了一種基于CNN和LSTM網絡融合多級空間-時間特征的腦電圖分類算法。提取和融合了空間特征、時間特征和中間層特征。它克服了傳統機器學習算法的缺點，即無法人工調參。結果表明，與單個特征相比，融合特征具有更強的分離性和更高的分類精度。此外，即使在嘈雜的數據集上，融合特征的準確性也高于其他算法，這表明使用融合特征的算法可以提取更多信息進行分類，并且對不同主體具有很強的適應性?？傊狙芯恐刑岢龅乃惴梢詮哪X電圖信號中提取具有更強分離性的時空信息，并通過集成中層特征來提高MI腦電圖信號的交流，這為腦電圖信號分類研究提供了新的想法。

參考文獻

[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.

[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. [3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). [4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. [5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. [6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.

僅用于學術分享，若侵權請留言，即時刪侵！

標簽：編程算法機器學習深度學習人工智能