A162-【硕士毕设难度】基于元学习MAML的图像语义传输融合attention实现小样本迁移学习

一、立题依据

1.1 研究的目的及意义

传统图像传输旨在传递图像包含的所有像素信息，虽然保证了图像信息的完整性，但传输数据量大且传输比特流的信息冗余度高，占用大量带宽资源。语义通信作为一种新兴的通信方式，能够挖掘传输图像的语义信息实现数据压缩，以提高系统通信效率。当前，面向图像传输的语义通信大多基于深度学习进行语义特征提取和图像重建。然而，传统深度学习方法通常需要大量的标注数据进行预训练，其学习能力也受到网络结构的限制，难以适应小样本多样化的图像语义传输需求。元学习作为一种新兴的机器学习方法，具备快速学习新任务的能力，而非针对特定任务进行优化。

针对上述问题，本课题研究基于元学习的图像语义传输方法，以构建更具灵活性和泛化性的语义通信系统框架，实现小样本图像分类和重构。该研究在减轻实际工程中获取大规模标记数据集高成本问题的同时，还解决了传统图像语义传输方法在适应新任务上的局限性。因此，本课题对面向图像传输的语义通信系统具有重要理论和研究意义。

1.2 国内外研究现状及发展趋势

传统图像传输方法以香农信息论为指导，对所有像素信息进行编码并以比特流形式进行信道传输，信道容量已逐渐逼近香农极限。语义通信[1]作为一种新兴的智能通信范式，旨在通过提取数据的语义特征，在保留主要含义的同时对数据进行压缩，仅传输语义相关的信息。因此，语义通信能够有效地减少频谱资源占用，并对信道环境有较强的鲁棒性。另一方面，随着深度学习技术的发展，已有许多学者结合语义通信和深度学习的优势，将其应用到图像信息的压缩和传输问题上。Huang等人[2]提出一种基于生成对抗网络的图像语义编码方式，为多媒体语义通信系统设计了一个从粗到细的图像语义编码模型。针对语义和带宽敏感性方面更加丰富的图像数据，文献[3]提出了一种基于强化学习的自适应语义编码（Reinforcement Learning-Adaptive Semantic Coding，RL-ASC）方法，对像素级以上的图像进行编码。为了在图像传输过程中保留更多目标任务相关的语义信息，Sun等人[4]提出了一种基于像素语义的联合源信道编码方法。此外，Wang等人[5]引入了对抗性损失来优化基于深度学习的联合源通道编码，以更好地保留全局语义信息和局部纹理。文献[6]则基于上述研究进一步探索面向图像处理任务的语义通信系统，提出了一种基于深度学习的无线图像传输系统，使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性指数（Structural Similarity Index，SSIM）作为图像重建质量指标，实现基于端到端的联合信源信道编码（Joint source-channel coding，JSCC）。基于JSCC，Lin等人设计了一种具有信道反馈的图像重建方案Deep JSCC-f，使用接收器的信道反馈信息进一步提高了图像重建精度[7]。为了提高设备端的计算效率，文献[8]提出了联合特征压缩和传输方案，在边缘服务器上实现高效可靠的推理，该方案在提高端到端系统的可靠性的同时降低了计算复杂度。此外，M.JANKOWSKI等人设计了基于自编码器严格约束的设备边缘通信系统，在有限的计算能力下达到了更好的分类精度[9]。文献[10]提出了一种新的航空图像传输范式，其在无人机端部署一个轻量级模型，用于感知图像和信道条件，并在计算能力更强的基站端进一步处理所接收的信息。

然而，基于深度学习的图像分类和重构方法需要大规模数据集支撑训练，在小样本学习下的泛化性能较差。而元学习作为一种新型的机器学习范式，旨在使机器具备自动调参的能力，在小样本训练数据的条件下，利用先验网络训练知识快速更新以有效解决小样本分类问题。在图像分类方面，文献[11]采用与模型无关的元学习（Model-Agnostic Meta-Learning，MAML）算法来执行图像分类任务，并通过优化学习任务的参数以实现对未来任务的最高泛化性。进一步地，针对该泛化性在元学习者被过度训练时变差的问题，文献[12]提出了一种与任务无关的一阶元学习算法（Task-Agnostic Meta-learning algorithm，TA-Reptiles），其基于熵方法和一阶梯度更新来学习具有精细初始化参数的无偏模型。目前，许多小样本学习方法侧重于元网络模型的结构，而未对元知识表示展开专门的研究。文献[13]提出一种基于元学习的少样本网络NAM Net，通过引入注意力机制以增强元知识表征。为了进一步实现跨领域图像分类的任务，文献[14]提出一种小样本图像分类的元迁移学习方法，该方法从具有足够标记样本的数据集中提取可转移的先验知识，并将该先验知识推广到具有有限标记样本的不可见数据集中，以提高性能。然而，迁移学习存在模型参数不易收敛、计算时间开销大等缺陷，文献[15]研究域广义小样本图像分类问题，设计元正则化网络（Meta Regularity Network ，MRN）来学习域不变判别特征空间，其中学会学习更新策略用于模拟由可见和不可见域引起的域偏移，采用双重更新实现域广义图像分类，但该方法计算复杂度高，需要两次训练更新效率较低。在图像重构方面，文献[16]提出一对通过元学习策略进行低剂量CT图像重建的师生DNN策略，利用教师-学生网络进行小样本数据标注，但该网络模型复杂，对新注入的数据样本需要反复训练，泛化性能差。

综上所述，目前语义通信系统存在训练数据量需求大、系统泛化性差等问题，现有的数据增强、度量学习等小样本学习方法，难以从根本上解决模型因样本量不足而产生的过拟合问题，而元学习是任务级别的方法，通过基础学习器与元学习器之间的协调工作，来得到一个最优的参数状态，模型基于该参数状态仅需少量样本的迭代学习即可学习新类别。然而，目前关于元学习的研究主要面向图像分类等智能任务，将元学习和语义通信结合用于图像传输的研究较少，若将元学习算法应用于面向图像分类和重构任务的语义通信系统中，能够有效解决小样本学习过拟合问题，并提高模型的泛化能力。因此，本课题研究基于元学习的图像语义传输方法，旨在构建更具泛化性和鲁棒性的语义通信系统框架，实现小样本图像语义分类和重构，对提升语义通信系统的泛化性和实用性具有重要研究意义。

参考文献：

二、研究内容和目标

2.1主要研究内容

传统的图像通信以像素为表征单元，在发送端对输入图像逐像素进行信源编码并传输编码后比特流，该传输方法存在信息冗余度较大和针对信道的泛化性能较差等问题。语义通信具有面向图像传输的性质，不同于传统语法通信侧重于所有符号的精确传输，语义通信更加侧重于传递信息的含义，只需要传输目标所需的关键语义特征，能够显著节省通信带宽资源，有效提高通信效率。在图像语义通信系统的实际场景中，深度学习算法因其良好的语义信息特征提取能力和学习能力的特点被广泛采用。然而，目前传统深度学习大多为大模型训练框架，需要依赖大规模数据和高性能计算，并且无法快速学习和适应新数据，在小样本特征提取方面存在一定局限性。元学习旨在使机器学会自主学习，通过多任务的学习范式积累多任务的“共性知识”，利用这些“共性知识”指导模型在新任务中快速学习，在实现面向图像语义传输的小样本数据训练任务上具有广泛的应用前景，同时有效提高语义通信系统的迁移能力和泛化性。

本课题将面向特定图像任务的语义通信场景，同时对元网络模型的结构和元知识表示展开研究，利用元学习快速学习的能力解决在少量训练样本条件下图像分类准确率低、图像重构质量差、训练过拟合且数据泛化性能差等问题。具体地，本文拟围绕以下几个研究内容展开研究：

本课题研究在多用户场景下设计面向分类任务的图像语义传输系统，该系统主要由发送端、语义编码器、信道编码器、信道解码器和多个接收端共同组成。其主要工作过程如下：首先，语义编码器对来自发送端的图像进行语义特征提取。然后，该语义特征经由信道编码器进行信道编码并传输至接收端。在接收端，接收机根据具体的分类任务需求自适应地分配相应的数据集，并利用元学习为每个客户端预训练个性化的小样本语义分类模型。因此，在执行分类任务时，接收端将直接利用预先训练好的元学习模型对数据进行语义特征提取，并完成小样本多任务图像分类。

本课题首先考虑在训练数据和测试数据具有相似分布情况下，设计面向多个分类任务的图像语义传输系统，通过元学习实现小样本分类；然后，课题进一步考虑在训练数据和测试数据分布差异较大时，系统数据迁移能力完善的问题。具体地，本文拟利用测试数据与训练数据的语义特征相似度表征二者的相关性，并构建一个基于注意力网络的特征辅助模块以自适应调整元训练参数，促使系统快速学习和适应新任务。

2）研究面向重构任务的图像语义传输方法

本课题研究一个端到端的图像语义重构系统，该系统由发送端、语义编码器、语义解码器和接收端组成。其主要工作过程如下，首先，语义编码器对发送端输入的图像进行关键语义特征提取并编码，提取后的特征将通过信道传输至语义解码器。然后，语义解码器利用接收到的语义特征进行图像重构，重构后的图像保存在接收端，特别地，系统在语义编/解码器外部设置一个中央元学习者用于自动调节语义编/解码器的网络初始化参数，以应对小样本数据集的重构训练。

本课题首先考虑面向单一图像数据集重构任务的语义通信系统，研究小数据样本量情况下，基于语义特征信息重构图像的问题；其次，课题进一步考虑面向多个异构图像数据集重构任务的语义通信系统，研究在输入的每个数据集中其图像的语义细节、像素矩阵大小等图像复杂度指标不同且数据样本量少的情况下，设计出高效的特征提取编码器，能够获取更丰富的语义特征信息，从而提高异构图像数据集的平均重构质量。

2.2研究目标和效果

本课题将元学习应用于面向图像传输的语义通信系统中，通过对元学习核心思想及其模型参数更新策略的研究，研究面相不同图像处理任务的基于元学习的图像语义传输方法，旨在解决传统深度学习无法实现小样本数据训练、模型泛化能力较差等问题，具体的研究目标和效果如下：

2.3 拟解决的关键科学问题

本课题根据两种不同的图像语义传输需求，分别提出面向分类任务和面向重构任务的图像语义传输优化方法，拟解决基于传统深度学习的面向图像传输的语义通信系统中模型小样本训练容易过拟合、系统泛化能力差等问题，具体如下：

三、研究方案设计及可行性分析

3.1研究方法：

针对本课题的研究内容及研究目标，为达到预期研究效果，课题负责人将采用如下的研究方法：

3.2技术路线：

首先分析面向图像传输语义通信系统特征以及图像分类和重构模型的特征，将二者按照实际任务需求进行有机结合，总结归纳出模型需要改善和提升的目标方向；其次，研究元学习的理论推导步骤和算法参数更新流程，利用元学习算法的优点对所需要改善的目标问题进行建模，得到基于元学习的图像语义传输系统的数学模型，基于上一步得到的数学模型，考虑其针对不同输入数据的泛化性能，并根据不同的实际情况，提出不同的网络调整策略，加强模型面对新任务的学习和适应能力；验证所提方案的可行性，并通过仿真软件对所提算法进行仿真验证，再根据仿真结果进行分析并得到最后的结论。

3.3可行性分析：

本课题以基于元学习的图像语义传输方法为研究内容，将元学习应用于面向图像分类和重构任务的语义通信系统中，利用其能够实现少样本训练、模型泛化能力强等特点，以应对传统基于深度学习的图像语义通信系统中模型需要依赖大规模训练数据集支撑，并无法快速学习和适应新样本数据等影响通信质量和效率的问题。近年来，元学习作为一种新型的机器学习方法，已有一定的研究基础，被广泛用于减小样本数据量、提高模型鲁棒性等各种图像处理领域，是极具潜力的一种提升图像语义通信效率的技术手段。同时，课题负责人在面向图像传输的语义通信和基于元学习的图像处理方法方面已经阅读了大量论文和书籍，并进行了相关总结和理论分析， 对于本课题的后续研究思路比较清晰。此外，在具体的技术方案和实现方法上也有相关论文作为参考，所提方法也将使用仿真软件进行辅助验证。综上所述，本课题研究具有可行性。

四、本研究课题可能的创新之处（不少于500字）

本课题围绕深度学习在面向特定图像任务语义通信系统中应用的局限性展开研究，可能创新之处主要表现在以下几个方面：

1）研究针对小样本跨领域的图像语义特征分类系统，提出基于元学习的图像语义分类算法。目前面向图像分类任务的语义通信系统大多采用深度学习算法，该方法需要利用大规模样本数据进行训练且只能针对单任务进行图像分类，本课题引入元学习算法优化传统面向图像分类任务的语义通信系统，实现在客户端训练出小样本多任务的语义分类模型，解决深度学习小样本训练容易过拟合问题；其次，课题考虑模型跨领域图像分类任务，当训练数据和测试数据分布差异较大时，如何保证模型分类的准确率，通过调整元学习内部更新的网络结构，增添参数微调辅助模块，加快元模型针对新任务的参数更新速率，从而使系统能够快速学习和适应新的测试数据，提高系统的泛化性和鲁棒性。

2）研究面向小样本异构图像数据重构的语义通信系统，提出基于元学习的图像语义重构算法。基于深度学习的语义编/解码器依赖于大规模标记数据，但是收集大量标签数据是一项困难且昂贵的任务，这制约了深度学习在很多语义通信场景下的应用，本课题利用元学习算法自动调节语义编/解码器的网络初始化参数，使其具备快速学习和自动调参的能力，实现小样本图像数据的重构，课题进一步考虑多个复杂度不同的异构图像数据集同时进行重构，设计可以伸缩变化的卷积网络层数的编码器，有效提取更多的语义特征，并引入残差网络增强特征融合，实现系统平均图像重构质量的提升。

五、研究基础与工作条件

5.1与本项目相关的研究工作基础：

在开题之前，课题负责人对于本课题所研究的面向图像传输的语义通信系统、基于元学习图像处理方法的相关论文和文献书籍进行了较为充分的调研总结，对国内外研究现状和该领域未来可能的发展趋势有了一定的了解与认识。同时，课题负责人通过对调研过程中出现的自己不熟悉的相关通信和机器学习理论知识进行查缺补漏，补全了自己在基础知识方面的不足，具备了一定学习和解决问题的能力。在调研学习期间，课题负责人能够有计划地对当前阶段所完成的任务进行归纳总结，积极与导师针对课题的研究意义、创新型、重点难点、可行性和自己在科研上遇到的问题进行学术探讨，并根据导师的指导意见对本课题进行了多次补充、更改和完善，使得课题负责人对本课题的研究内容有着较为深刻和全面的认知。最后，课题负责人 针对本课题可能面临的重难点问题进行细致的思考，已经提出了一些初步的解决方案，并将在之后的研究过程中对其进一步细化和改进，以达到本课题的研究目标。

5.2已具备的实验条件：

本课题负责人在所研究领域有良好的文献积累，所在实验室在语义通信、图像处理、通信性能指标优化等方面有一定的积累，能够为课题负责人提供较为明确的研究指导。同时，本课题的研究思路清晰，课题负责人拥有一定的仿真基础，并在实验室具备本课题所需的MATLAB、Python等实验平台，能够支持课题负责人在不同的平台上进行实验仿真，支撑课题负责人对所研究课题进行理论分析和验证。