基于腦電采用深度卷積神經(jīng)網(wǎng)絡在聽音樂的過程中進行時空上的情緒識別

1.研究背景

基于腦電來進行情緒識別是目前比較活躍的研究領域，而卷積神經(jīng)網(wǎng)絡作為機器學習的模型之一，也被應用到這一領域的研究中。

2.研究方法

2.1 被試

實驗選取了大阪大學的12名男性被試（平均年齡25.59±1.69歲），身體健康，并且沒有人之前接受過正式的音樂教育訓練。所有被試均是自愿參與，每個人都被告知實驗流程。

2.2 實驗材料

實驗中用到的音樂包括40個MIDI文件，每首歌都只有不同的樂器和節(jié)奏，以規(guī)避歌詞的影響，被試被要求從音樂集中選擇16首歌曲。

腦電數(shù)據(jù)的采樣率設置為250Hz，記錄了12個數(shù)據(jù)點的腦電信號，分別是Fp1，F(xiàn)p2，F(xiàn)3，F(xiàn)4，F(xiàn)7，F(xiàn)8，F(xiàn)z，C3，C4，T3，T4，Pz，這些通道均是在情緒管理中起到重要作用的額葉附近腦區(qū)。實驗過程中每個電極的阻抗降到20kΩ以下，并在60Hz進行凹陷濾波。

圖1. 國際標準10-20電極排布排布分布圖

2.3 實驗流程

在被試選擇了16首歌曲后，他們被要求去聽這些歌曲。歌曲之間有16秒的沉默間隔，減少了歌曲之間的任何效果。當每個被試在聽所選的音樂過程中，同時記錄其腦電信號。在實驗過程中要求被試閉眼保持穩(wěn)定以避免無關偽跡干擾。當被試聽完16首歌曲之后，摘下電極帽，把16首歌曲按照相同的順序再聽一遍，并通過不斷點擊屏幕上顯示的喚醒效價空間中的相應點來標注自己聽音樂過程中的感受。

圖2. 情緒分類模型的兩個維度

2.4 數(shù)據(jù)處理

本研究采用了基于Matlab的EEGLAB工具包，首先對腦電數(shù)據(jù)進行了0.5-60Hz的帶通濾波，并且根據(jù)獨立成分分析的結果校正受污染的數(shù)據(jù)，包括噪聲，眼動，肌電等偽跡。處理好之后，腦電信號通過時間戳與標注的情緒相關聯(lián)。

圖3. 數(shù)據(jù)采集與預處理流程

接下來對標注好的情緒元素進行分類，喚醒度方面分為高和低，效價方面分為積極和消極。在本研究中將情緒識別作為兩個成分的二元分類任務，根據(jù)EEG信號對情緒進行分類，考慮了卷積神經(jīng)網(wǎng)絡的復雜性、窗口大小以及電極的排序。

3.研究結果

4.參考文獻

Keelawat, P., Thammasan, N., Numao, M., & Kijsirikul, B. (2019). Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening. ArXiv Preprint ArXiv:1910.09719.