A349-基于特征融合的医学图像分类算法.md

A349-基于特征融合的医学图像分类算法

【购买前必看】

1、关于我们

深度学习乐园是由python哥全职技术团队组建运营【团队成员为：复旦大学博士、华东理工爱丁堡博士、格拉斯哥博士、纽约大学硕士、浙江大学硕士】。

我们只做python业务，精通sklearn机器学习/torch深度学习/django/flask/vue全栈开发。

2、关于项目

我们从2018年开始，就专注于深度学习sci、ei、ccf、kaggle等，至今已有7年，共发表过10多篇顶刊顶会。

官网累积了数百个项目，已有3000多学员付费购买，圈子内有口皆碑：www.zzgcz.com （更多高级私密项目无法对外，联系微信定制：zzgcz_com）

3、售后承诺

包远程安装调试，所有项目均在本地运行通过，大部分都有截图和录屏。

支持二次修改，所有项目都是我们自己写的，改起来也非常容易。

加急定制1-2天可完成，这就是实力证明，远程验收满意后再付全款！

所有客户终身售后。兼职的人家都有主业，谁愿意持续服务你？

1  研究背景与目标

数字病理和影像学早已成为临床诊断的重要支撑。传统卷积神经网络（CNN）虽然对医学图像具备良好的判别能力，但单一主干网络在处理纹理细节与全局语义时常存在能力偏置。本项目提出一种双分支特征融合医学图像分类模型（FusionNet），在 PathMNIST 数据集上完成端到端训练与验证，最终输出可移植的推理权重文件，并通过多维指标定量评估模型性能。

目标概要：

2  数据集与预处理

2.1  数据来源

  • PathMNIST

  • 来源：MedMNIST v2.2

  • 图像尺寸：28 × 28 × 3

  • 类别数：9（对应不同胃肠道病理类型）

  • 划分：

    • 训练集 80,000 张

    • 验证集 11,983 张

    • 测试集 27,065 张

2.2  增强与归一化

3  模型架构设计

3.1  双分支主干

二者的卷积层参数彼此独立；ResNet 前置低层卷积被冻结以降低显存与过拟合风险。

3.2  特征融合与注意力

  • 级联：concat([f_resnet, f_mobile]) → 1,088‑D

  • SE‑注意力：

  • 全局平均池化得到通道描述符

  • 两层 Bottleneck (r = 8) 提取依赖关系

  • Sigmoid 输出权重 w ∈[0,1]

  • 逐通道缩放融合特征：f_fused = w ⊙ concat(.)

3.3  分类头

  • Dropout 0.4（抑制 co‑adaptation）

  • 全连接层 1,088 → 9

  • Softmax 输出概率分布

4  训练与优化策略

5  评估指标

  • TP/TN/FP/FN 为二元混淆矩阵统计

  • C 为类别总数

5.1  单类指标

Precisioni=TPiTPi+FPi,Recalli=TPiTPi+FNi,F1i=2⋅Precisioni⋅RecalliPrecisioni+Recalli

5.2  宏平均

Metricmacro

5.3  AUROC (multi‑class OVO)

采用“一对一”策略计算所有类别对之间的 ROC 面积，再取宏平均。

6  实验结果

在 NVIDIA RTX 4060ti (16GB) + PyTorch 2.2.1 环境下，1轮训练获得如下测试集性能：

\=== Test Metrics ===

ACC : 0.8170

Precision : 0.8089

Recall : 0.7891

F1 : 0.7748

AUROC : 0.9613

Image Token: MFzUbcbEMomdq0xcLWTcjFRWnpe

Image Token: LSETbyeHOo5MN1xqwYBc3ToFnbd