A308-多模态社交媒体命名实体识别NER系统

选题依据（包括选题的目的、意义或应用前景以及选题依据、国内外研究现状）

1选题背景

在当今信息爆炸的时代，社交媒体已成为人们获取信息、交流思想的重要平台。随着用户生成内容的激增，如何有效地从海量数据中提取有价值的信息，成为了自然语言处理领域的重要研究课题。命名实体识别（Named Entity Recognition, NER）作为信息提取的核心任务之一，旨在识别文本中的特定实体，如人名、地名、组织机构等。传统的NER方法往往局限于单一模态的文本数据，难以充分利用社交媒体中丰富的多模态信息，如图片、视频和音频等。

2选题意义

命名实体识别（Named Entity Recognition, NER）是指识别出文本中的“人名”、

“地名”、“机构名”等实体，是一项重要的自然语言处理（Natural Language Processing,NLP）任务。命名实体识别任务广泛应用于其他自然语言处理任务，如信息抽取、信息检索、自动文本摘要、问答系统以及构建知识图谱等。传统命名实体识别处理的是纯文本数据，旨在抽取文本中的实体。随着互联网的迅猛发展，如今越来越多的数据是由图文两种模态组成。为了适应当今互联网的发展，多模态命名实体识别任务应运而生。

基于多模态的社交媒体命名实体识别方法研究，旨在通过整合文本、图像和其他媒体形式的信息，提升实体识别的准确性和全面性。这一研究不仅能够推动自然语言处理技术的发展，还能为社交媒体的内容分析、舆情监测和信息推荐等实际应用提供有力支持。随着社交媒体的不断演变，用户行为和信息传播方式也在发生变化，研究多模态NER方法将有助于更好地理解和适应这些变化，从而为未来的社交媒体分析提供新的视角和工具。

3选题目的

目前多模态命名实体识别研究存在诸多挑战，例如多模态命名实体识别需要融合不同模态的信息，但是不同模态之间存在着差异性。现有的研究方法通常采用简单的特征拼接和注意力机制，无法充分利用模态信息捕获模态内和模态间的交互关系，从而影响实体识别结果的准确性。例如社交媒体数据，其中的文本内容较为简短且非正式，难以获取高质量的文本特征表示，这就导致了多模态数据的稀疏性问题。综上，虽然多模态命名实体识别研究工作已经有了很多进展，但在跨模态融合和跨模态特征提取等方面仍需要进一步探索和研究。

4国内外研究现状

4.1国内研究现状

在社交媒体的快速发展背景下，命名实体识别（NER）作为自然语言处理的重要任务，受到了广泛关注。原铭徽指出，社交媒体文本的多模态特性使得传统的命名实体识别方法面临挑战，因此需要探索新的研究路径，提出了基于指令构建和知识对齐的多模态命名实体识别模型[1]。周晓迎进一步强调，社交媒体中的信息多样性和复杂性要求研究者在NER中引入多模态数据，以提高识别的准确性和鲁棒性[2]。王洁铭则提出，结合情感分析的多模态实体识别方法，能够更全面地理解社交媒体文本中的信息[3]。刘佳婧在其研究中探讨了多模态命名实体识别的具体实现，认为深度学习技术的应用为该领域带来了新突破[4]。李晓腾在其论文中指出，社交媒体文本的非结构化特性使得传统方法难以适用，因此需要创新的方法来应对这一挑战，并提出了基于联合边界检测的命名实体识别方法[5]。吴志威提出，通过多模态融合，可以有效提升命名实体识别的性能，尤其是在处理复杂文本时[6]。丁俊丰则探讨了基于Transformer的多模态情感识别方法，认为其在NER中的应用前景广阔[8]。张天明等提出，融合多模态数据的小样本命名实体识别方法，能够有效提升模型的泛化能力[9]。吕学强等在研究中构建了多模态语言舆情数据集，强调了数据集在命名实体识别中的重要性[11]。Wang等则通过注意力机制的递归神经网络模型，探讨了中文社交媒体中的命名实体识别，认为该方法在处理复杂文本时表现优异[12]。这些研究共同为国内多模态社交媒体命名实体识别方法的探索提供了理论基础和实践指导。

4.2国外研究现状

自2018年Moon等人[32]发表了关于短社交媒体帖子的多模态命名实体识别的文章后，基于图像-文本的多模态命名实体识别技术已经成为了一个重要的研究方向。 在文章中作者提到使用 CNN 提取视觉信息，用双向 LSTM 提取文本信息，通过 Attention 操作融合图像特征、word 特征和 character 特征，再输入到BiLSTM-CRF 模型中。Lu等人[33]还为BiLSTM层的输出特征使用了视觉注意门，通过门机制组合图像特征和文本特征。Zhang等人[34]提出在 BiLSTM 层后面添加自适应共同注意力机制，动态控制文本表示和图像表示的组合。2020 年 Yu 等人提出了 UMT，其针对当前 MNER 方法里面词表示对视觉语境不敏感以及忽略了视觉语境带来的偏差这两方面的缺点，提出了一个多模态交互模块（MMI），以获得图像感知的词表示和词感知的视觉表示。同时为了减轻视觉偏差，文章进一步提出利用纯文本实体跨度检测（ESD）作为辅助模块，并设计了一个统一多模态 Transformer(UMT)来指导实体跨度检测（ESD）的最终预测。2021年Zhang等人[35]提出UMGF，该模型在提取图片信息时不是直接利用整张图片或利用平均分割后的图片，而是在图片中找到实体所在区域，截出对应的部分进行视觉信息抽取。并且提出了统一的多模态图融合方法，由Transformer部分提取模态内信息，由cross-model gate部分融合文本和视觉信息，两者配合从而实现模态内和模态之间的融合。

二、研究的基本内容，拟解决的主要问题

1研究的基本内容

由于社交平台字数限制或个人表达习惯，现代社交媒体用户趋向于使用图像配合

文字以增强情感的传达。这些图片可能直观地揭示了文本所要表达的内容，使信息更

加清晰明了。同时，图片还有助于消除文本可能引起的歧义，帮助读者准确理解作者

的意图。因此，在多模态场景下的命名实体识别任务（Multimodal Named Entity

Recognition，MNER）逐渐成为研究热点。

2拟解决的主要问题

（1）由于文本和图像特征来自不同的模态，他们之间存在着语义和视觉上的显著差异，这就要求采用跨模态学习方法来构建他们之间的桥梁。然而，实现模态间的相互理解和指导十分困难。如何有效地整合文本和图像的特征，以促进它们之间的互补与协作，是一个急需解决的问题。

（2）在社交媒体场景中，用户发布的文本与相应图像之间可能存在着某种隐式关联，挖掘这类隐喻或非直观的联系对模型的判断能力提出了挑战。这要求模型 不仅需要理解文本和图像各自的内容，还应该超越表面的文字和图像信息，捕捉细微且复杂的抽象连接。这需要模型具备强大的语境理解及推理能力。

（3）现有的多模态命名实体识别预先假定了图像文本是匹配关系，也就是说图像可以拿来帮助识别文本中的命名实体，所以在建模的过程中，图像往往直接用来加入模型中去提取信息。然而在实际使用 Twitter 的过程中发现，很多图像和文本并没有直接关系，有些类似于表情包图片，仅仅用来表示一种情绪或者态度，并不包含推文的文本中提到的命名实体。因此，如果将不匹配的图像加入模型中进行训练，有可能会误导模型，使预测结果产生偏差。

（4）社交媒体数据存在句子较短、表达不规范、拼写有误等问题，且相关数据集较少，特别是中文数据集，这些问题影响了模型对实体识别的效果。

研究步骤、方法及措施(或设计方案)

1研究步骤

本研究计划分为多个阶段，以确保系统性和科学性，具体安排如下：

第一阶段：文献综述与理论框架构建

在这一阶段，将对国内外关于多模态社交媒体命名实体识别的相关文献进行梳理，重点关注现有研究的成果、方法及其不足之处。通过分析已有文献，构建本研究的理论框架，为后续研究奠定基础。整理出多模态数据的特征及其在社交媒体中的应用，为后续的实验设计提供理论支持。

第二阶段：数据收集与预处理

在确定研究框架后，开始收集多模态社交媒体数据，包括文本、图像等。数据来源将涵盖主流社交媒体平台，如微博、Twitter、Instagram等。包括Twitter2017、CMNER( https://github.com/Jyz99/CMNER)等对应数据集确保数据的准确性和有效性。还将对数据进行初步分析，以识别潜在的命名实体及其特征。

第三阶段：模型设计与实验实施

在数据准备完成后，将设计多模态命名实体识别模型，结合深度学习和传统方法，探索其在多模态数据中的应用效果。通过实验，评估模型的性能，并与现有方法进行对比分析，以验证所提方法的有效性和创新性。

第四阶段：结果分析与论文撰写

实验结束后，将对实验结果进行深入分析，提炼出关键发现，并总结研究的贡献与不足之处。将根据研究成果撰写论文，确保逻辑严谨、结构清晰，并在规定时间内完成论文的初稿和修改。

第五阶段：论文答辩与成果发布

在论文完成后，将进行论文答辩，接受评审委员会的质询与建议，进一步完善研究成果。

2研究方法

2.1基于数据增强的命名实体识别方法

数据增强一般来说是指用已有数据来创造新数据的过程，是为了缓解数据不足

问题而提出的。随着数据增强方法在计算机视觉模型中广泛应用，自然语言处理领域

研究者也提出了多种适合文本的数据增强方法。常见的自然语言处理领域中数据增

强的方法有字符级别数据增强和词级别数据增强。字符级数据增强是对单词中某个

字符进行替换、增删等处理；词级别数据增强方式是对单词进行同义词或反义词替

换。采用了字符级数据增强来模拟现实世界中社交媒体数据中的噪声。

图1.2.1.1四种噪声注入方法

2.2基于大语言模型图文关系预测的多模态命名实体识别模型

研究表明，推特数据中大约有 33.8%图文对存在不匹配情况。这种情况下，图像不仅未能为文本提供附加信息，反而可能在文本实体抽取过程中引入噪声。因此，如何有效处理图文不匹配的问题以减少图像噪声的影响，成为多模态实体抽取领域面临的一个重要问题。因此，拟采用大语言模型图文关系预测的多模态命名实体识别模型。它主要包含以下几个关键部分。（1）获取 LLM提供的额外监督信号。利用预训练的视觉语言模型将图像转换为文字描述，然后将该描述与相应文本通过模板拼接，送入已经设定任务场景的 LLM 中，得到图文关联程度分数、关键实体与推理过程。（2）将图像与文本分别送入编码器获得嵌入式表示。在文本的编码过程中，加入从 LLM 处获得的关键实体。（3）将获得的来自不同模态的特征向量输入到多模态特征融合模块，基于跨模态注意力机制进行融合，获得融合多模态信息的特征向量。（4）将图像特征与融合多模态信息的特征向量分别送入图文相关性预测模块和图文相关性特征学习模块，利用预测模型和对比学习框架拟合来自LLM 的相关性得分。（5）利用上述预测模块的输出作为门控权重，对文本特征与多模态信息进行融合，进行序列标注任务。

图1.2.2.1基于大语言模型图文关系预测的 MNER 框架

主要参考文献

[1]原铭徽.面向社交媒体文本的多模态命名实体识别方法研究[D].北京化工大学,2024.DOI:10.26939/d.cnki.gbhgu.2024.000447.

[2]周晓迎.面向社交媒体的多模态命名实体识别方法研究[D].大连海事大学,2023.DOI:10.26989/d.cnki.gdlhu.2023.000991.

[3]王洁铭.面向社交媒体的多模态实体识别与情感分析研究[D].南京理工大学,2022.DOI:10.27241/d.cnki.gnjgu.2022.001288.

[4]刘佳婧.面向社交媒体的多模态命名实体识别研究[D].大连海事大学,2022.DOI:10.26989/d.cnki.gdlhu.2022.000407.

[5]李晓腾.面向社交媒体的命名实体识别方法研究[D].河北科技大学,2022.DOI:10.27107/d.cnki.ghbku.2022.000078.

[6]吴志威.面向社交媒体文本的多模态命名实体识别[D].华南理工大学,2022.DOI:10.27151/d.cnki.ghnlu.2022.003957.

[7]余诗媛.基于深度学习的命名实体识别研究[D].郑州大学,2022.DOI:10.27466/d.cnki.gzzdu.2022.002612.

[8]丁俊丰.基于Transformer的多模态情感识别方法研究[D].南京邮电大学,2023.

[9]张天明,张杉,刘曦,等.融合多模态数据的小样本命名实体识别方法[J].软件学报,2024,35(03):1107-1124.

[10]周晓迎.面向社交媒体的多模态命名实体识别方法研究[D].大连海事大学,2023.

[11]吕学强,董良,滕尚志,等.多模态语言舆情数据集构建与识别方法[J].北京信息科技大学学报(自然科学版),2023,38(05):1-9.

[12]Wang B ,Chai Y ,Xing S .Attention-based Recurrent Neural Model for Named Entity Recognition in Chinese Social Media[C]//International Association of Applied Science and Engineering.Proceedings of 2019 2nd International Conference on Algorithms, Computing and Artificial Intelligence (ACAI 2019).College of Software Nankai University;,2019:6.

[13]Lin H K ,Tsai M C .Applying Social Network Extraction With Named Entity Recognition to the Examination of Political Bias Within Online News Articles[C]//华侨大学.Proceedings of 2020 3rd International Conference on Artificial Intelligence and Pattern Recognition (AIPR 2020).Xiamen International School;Hsing Wu University;,2020:5.

[14]Churchward L .The Soviet Intelligentsia:An Essay on the Social Structure and Roles of Soviet Intellectuals in the 1960s[M].Taylor & Francis:2024-06-14.

[15]Kharmylliem B .Understanding Social Sustainability in a Hill Town:Water Governance in Shillong[M].Taylor & Francis:2024-06-14.

[16]Chauhan A ,Hughes L A .Trustworthiness Perceptions of Social Media Resources Named after a Crisis Event[J].Proceedings of the ACM on Human-Computer Interaction,2020,4(CSCW1):1-23.

[17]Osborn D .Dismantling Orientalist Representations in US Education:Schooling and Otherness in the Social Studies Classroom[M].Taylor & Francis:2024-06-14.

[18]Jethwaney J .Social Sector Communication:Concepts, Strategies and Case Studies[M].Taylor & Francis:2024-06-14.

[19]Yu T ,Xian S ,Hongfeng Y , et al.Hierarchical Self-adaptation Network for Multimodal Named Entity Recognition in Social Media[J].Neurocomputing,2021,(prepublish):

[20]Elaine J .Rights-Based Social Work and the Named Social Worker for Adults with Learning Disabilities: A Policy Intervention 50 Years in the Making[J].The British Journal of Social Work,2021,51(4):1259-1276.

[21]Ali B A B ,Mihi S,Bazi E I, et al.A Recent Survey of Arabic Named Entity Recognition on Social Media[J].Revue d'Intelligence Artificielle,2020,34(2):125-135.

[22]Zhang W ,Zinoviev D .Introduction to Quantitative Social Science with Python[M].CRC Press:2024-06-13.

[23]Wu Z ,Liu S .Corporate Responses to Social Activism: A Review and Research Agenda[J].Journal of Management,2024,50(6):2046-2072.

[24]Submission for Review: 3206-0144, We Need the Social Security Number of the Person Named Below, RI 38-45[J].The Federal Register / FIND,2023,88(158):

[25]Sarah Gehlert Named Dean of USC Suzanne Dworak-Peck School of Social Work[J].Manufacturing Close - Up,2020,

[26]Yashvardhan S ,Rupal B ,Bapiraju V T .Named Entity Recognition for Code Mixed Social Media Sentences[J].International Journal of Software Science and Computational Intelligence (IJSSCI),2021,13(2):23-36.

[27]FigBytes Named to the Constellation ShortList for Environmental, Social, and Governance (ESG) Reporting[J].M2 Presswire,2022,

[28]Tapestry Inc. Named to America's Most Responsible Companies List for Work on Sustainability, Social Impact and Equity, Inclusion & Diversity[J].M2 Presswire,2022,

[29]Goodnow J ,Pateman C .Women, Social Science and Public Policy[M].Taylor & Francis:2024-06-14.

[30]Barbosa R M ,Bugel T .Language Attitudes and the Pursuit of Social Justice:Identity, Prejudice, and Education[M].Taylor & Francis:2024-06-14.

[31]Sue B ,Rob W ,Chris F , et al.Co-creation in Public Services for Innovation and Social Justice:Concrete Elasticity![M].Policy Press:2024-06-14.

[32] S. Moon , L. Neves , V. Carvalho . Multimodal Named Entity Recognition for Short

Social Media Posts. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018.

[33] D.Lu , L.Neves , V.Carvalho , et al. Visual Attention Model for Name Tagging in

Multimodal Social Media. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[34] Q.Zhang , J.Fu , X.Liu , et al. Adaptive Co-attention Network for Named Entity

Recognition in Tweets. National Conference on Artificial Intelligence, 2018.

[35] D.Zhang , S.Wei , S.Li , et al. Multi-modal Graph Fusion for Named Entity Recognition with Targeted Visual Guidance. National Conference on Artificial Intelligence, 2021.