DAMGCN(2024):基于脑电的情绪识别:使用图卷积神经网络带双注意力机制的网络
导出时间:2025/11/24 09:02:21
1、研究背景与动机
(1)应用背景:情感计算与 EEG 的优势
情绪识别在 BCI 与情感计算中越来越重要;相较面部表情、语音等外显信号,EEG 直接反映大脑活动、更难伪装,因此被视为更客观、可靠的情绪测量手段。
(2)方法演进:从传统机器学习到深度学习
早期多用 SVM 等传统方法配合手工特征;随后深度学习在视觉、NLP 与生物医学信号上崛起并迁移到 EEG 情感识别,但如何充分利用脑网络的时空结构仍是核心难题。
(3)现有方法的关键不足
- 忽视脑网络“图结构”:不少工作直接在栅格或序列上做卷积/注意力,没有把多通道 EEG 的空间拓扑当作图来刻画,导致跨脑区信息整合不足。
- GAT 等局限于局部依赖:图注意力网络对邻接节点建权重,但难以覆盖全局长程关系;而 Transformer 注意力能自适应聚焦全局相关位置。
- 频段与通道的重要性未被显式区分:不同脑区与不同频带对情绪加工的贡献并不相同,缺乏同时面向“电极通道+频段”的权重分配机制与可解释分析。
- 可解释性不足:需要能直观展示模型学到的“哪些脑区/频段更关键”的方法,以便与神经科学证据对齐。
(4)DAMGCN 的设计动机
为解决以上问题,论文提出 DAMGCN,核心动机是:
- 把大脑视为图网络来建模空间拓扑:依据三维电极坐标构建邻接矩阵,用 GCN 聚合跨通道信息,提取代表性空间特征。
- 引入“双注意力”精细建权重:借鉴 Transformer 自注意力,对电极通道与频段分别分配权重,增强与情绪相关的脑区与频带、抑制无关成分,并可视化其生理合理性。
- 兼顾性能与可解释性:在 DEAP、SEED、SEED-IV 上通过主客体内/外实验验证准确率,同时输出注意力热图,提升模型可解释性与科研应用价值。
- 以任务先验驱动的特征设计:先用 STFT 将 EEG 划分为 δ/θ/α/β/γ(DEAP 为 θ/α/β/γ)等频段,计算**差分熵(DE)**作为输入特征,使模型更贴合情绪相关频段表征。
一句话总结
DAMGCN 的动机:用 GCN 把 EEG 的脑区拓扑建模为图,再用 Transformer 式“双注意力”在通道与频段两个维度做精细加权与可视化解释,从而同时提升全局依赖建模、判别性能与可解释性。
2、核心创新点总结
- “图 + Transformer”双注意力一体化框架 在 GCN 融合空间拓扑后,引入 两路注意力:对 电极通道 与 频段通道 分别分配权重,强化与情绪相关的通道/频带表征、抑制冗余成分;该整体框架在 DEAP、SEED、SEED-IV 的二/三/四分类上优于多数现有方法。
- 显式脑拓扑建模:三维坐标构图 + GCN 聚合 基于 电极三维空间坐标 构建邻接矩阵,刻画脑区间几何关系;随后用 GCN 在图上卷积与聚合,实现跨通道的空间信息融合(并配合残差与激活以稳训)。
- 任务先验驱动的频段特征:STFT + 差分熵(DE) 先用 STFT 将 EEG 分为 δ/θ/α/β/γ 等频带,再计算每一带的 DE(差分熵) 作为输入特征,与情绪相关频段的统计表征直接对齐,提高判别有效性。
- 四模块端到端可扩展架构 明确分为 (A) 特征提取(DE + 构图)→ (B) 图卷积 → (C) 双注意力 → (D) 分类器,便于在任一模块插拔/替换与消融研究。
- 性能与可解释性并重 训练后可 可视化通道/频段注意力权重,从而分析不同脑区与频段对情绪加工的贡献;论文报告 δ 频段权重整体偏低、前额叶与枕叶 贡献更突出,为神经生理解读提供依据。
- 多数据集、主客体内/外实验的系统验证 在 DEAP、SEED、SEED-IV 上进行 受试者相关(within-subject)与非受试者(cross-subject) 实验,验证框架的普适性与稳健性。
一句话概括:
DAMGCN 把 三维电极拓扑 引入 GCN,再用 双注意力 在 通道 × 频段 两个维度做精细加权,形成“拓扑先验 + 全局注意”的端到端框架,既提高情绪识别性能,又提供可视化的可解释证据。
3、模型的网络结构
A. Feature Extraction Block(特征提取模块)
输入: 原始多通道 EEG。
做法:
- 先按时间窗对每个通道做时频分析(如 STFT),把信号分到 5 个频段:δ、θ、α、β、γ。
- 在每个频段上计算 差分熵(DE) 特征,得到一个随时间变化的特征序列。
- 根据电极的 三维坐标 计算通道间距离,构建 邻接矩阵 A(距离近/连通强的权重大),把“头皮电极拓扑”显式变成一个图。
产物:一个按时间步组织的 图序列(节点=电极通道,节点特征=各频段 DE),以及对应的邻接矩阵 A。
B. Graph Convolution Block(图卷积模块)
目的: 在“电极图”上聚合空间邻域信息,提取 跨脑区拓扑特征。
做法:
- 对每个时间步(或每个时间窗)的图,堆叠 两层 GCN(GraphConv1 → GraphConv2):
- GraphConv1:把每个通道的频段特征与其邻居通道信息做加权融合(由 A 决定谁和谁更“近”);
- GraphConv2:在上一层的基础上进一步抽象,得到更高阶的空间表征。
- 输出仍保持“通道 × 频段 × 时间”的三维特征布图,但现在每个通道的向量已经融入了其拓扑邻域的信息。
直观理解:这一步像在“脑网络图”上做卷积,把相邻脑区的活动综合起来,而不是把 EEG 当成平铺网格随意卷。
C. Dual Channel Attention Mechanism Block(双通道注意力模块)
目的: 让网络自适应地挑重点——哪些频段更关键、哪些电极通道更关键。
- Frequency-band attention(频段注意力)
- 在每个通道上,对(δ、θ、α、β、γ)这 5 个频带学习一组可学习权重;
- 对情绪更敏感的频带(如 α/β)权重更高,冗余频带权重更低;
- 输出:各通道的频带特征被重标定(re-weight)。
- Channel attention(通道注意力)
- 在每个时间步,对 所有电极通道 学习一组通道权重;
- 与大脑功能相关的关键脑区(如前额叶、枕叶等)会被赋予更高权重;
- 输出:各通道的表示再一次被重标定,弱化噪声通道或与任务弱相关的通道。
两路注意力之后通常接 LayerNorm/BN 等标准化,稳定训练;最后把时序维度保留下来,交给分类头。
D. Classifier Block(分类模块)
做法:
- 将上一步的时空特征做 全局或时序池化(视实现而定),得到紧凑的样本级表示;
- 经过 全连接(Linear)+ ReLU,最后 Softmax 输出情绪类别(如二/三/四分类)。
数据流小结(从左到右)
原始 EEG
→(A)按频段提 DE + 构图 A
→(B)两层 GCN 聚合拓扑邻域
→(C)频段注意力 × 通道注意力 双重重标定 + 归一化
→(D)线性 + ReLU + Softmax 输出情绪类别
设计要点一眼懂
- 图结构:把电极当节点、距离当边,尊重大脑空间拓扑。
- GCN 聚合:让每个通道的表征吸收“邻居脑区”的信息。
- 双注意力:频段与通道两个维度分别“挑重点”。
- 端到端:从频段特征到分类一条链路,可视化注意力权重也更可解释。