A330-基于bert和bisltm和传统规则对比的电商评价数据情感三分类模型
导出时间：2025/11/28 16:40:39
【购买前必看】
1、关于我们
深度学习乐园是由python哥全职技术团队组建运营【团队成员为：复旦大学博士、华东理工爱丁堡博士、格拉斯哥博士、纽约大学硕士、浙江大学硕士】。
我们只做python业务，精通sklearn机器学习/torch深度学习/django/flask/vue全栈开发。
2、关于项目
我们从2018年开始，就专注于深度学习sci、ei、ccf、kaggle等，至今已有7年，共发表过10多篇顶刊顶会。
官网累积了数百个项目，已有3000多学员付费购买，圈子内有口皆碑：www.zzgcz.com （更多高级私密项目无法对外，联系微信定制：zzgcz_com）
3、售后承诺
包远程安装调试，所有项目均在本地运行通过，大部分都有截图和录屏。
支持二次修改，所有项目都是我们自己写的，改起来也非常容易。
加急定制1-2天可完成，这就是实力证明，远程验收满意后再付全款！
所有客户终身售后。兼职的人家都有主业，谁愿意持续服务你？
目 录
1 引言 1 3
2 背景与原理 1 3
2.1 变压器架构 2 4
2.2 双向上下文建模 2 4
2.3 预训练目标2 4
2.4 情感分析应用 2 4
3 模型构建与实现 3 5
3.1 数据预处理与数据集构建 3 5
3.2 网络模型的定义 3 5
3.3 定义训练函数与评估函数 3 5
3.4 设置损失函数、优化方法及BertTokenizer词嵌入 4 6
3.5 训练模型5 7
3.6 比较模型选择与分析 5 8
4 实验分析与结果 6 8
4.1 实验设计原则 6 8
4.2 性能比较与误差分析 6 8
4.3 注意力可视化与模型行为 7 10
5 结论与展望 7 11
5.1 研究结论 7 11
5.2 研究局限性 7 11
5.3 未来情景 8 12
1. 引言
自然语言处理（NLP）是计算机科学、人工智能与语言学交叉领域的尖端技术，其核心任务涵盖语言理解、生成、翻译及情感分析。作为人工智能的重要分支，NLP近年来取得显著进展。随着深度学习技术的兴起，该领域在语言理解、生成、翻译和情感分析等任务上持续提升。
近年来，随着深度学习技术的兴起，传统语言处理模型的局限性得到了进一步突破，为自然语言处理领域带来了革命性进展。Transformer架构凭借强大的并行处理能力和自注意力机制，能够有效捕捉文本中的长距离依赖关系和上下文信息。基于Transformer架构的BERT（双向编码器表示）模型，通过创新的双向Transformer架构，在多项自然语言处理任务中表现出色，显著提升了模型对文本语义的深层理解能力。
BERT模型通过两个预训练目标：掩码语言建模（MLM）和下一句预测（NSP），能够同时捕捉文本的左右上下文信息，从而更好地理解句子中词语的意义。这种深层次的语义理解能力使BERT在情感分析等任务中能更准确地识别文本中的情感倾向，为自然语言处理领域带来了新的发展机遇。本文通过模型构建和训练的过程，详细展示了BERT模型在自然语言处理中的作用。
2 背景与原理
在实际应用中，BERT被广泛应用于智能客服领域，帮助电商平台的客服机器人快速准确地解答客户问题。该模型还用于维护社交媒体平台的运营环境。此外，BERT也被应用于智能写作辅助工具，提供实时语法检查和文本润色功能。BERT模型的核心原理基于Transformer架构，通过以下关键技术实现对文本的深度语义理解：
2.1 变压器架构
Transformer架构是一种基于自注意力机制的神经网络架构。它摒弃了传统的循环神经网络（RNN）结构，能够并行处理文本序列中的所有单词或子词单元。这种并行处理极大地提高了模型训练的速度和效率，同时更好地捕捉长距离依赖关系和上下文信息。
2.2 双向上下文建模
BERT采用双向变换器编码器，能够同时捕捉左右上下文信息。这意味着在处理单词时，BERT可同步考量单词左右两侧的上下文，从而更全面地理解其含义。
2.3 预训练目标
BERT预训练包括两个主要任务：掩码语言建模（MLM）和下一句预测（NSP）。
掩码语言建模（MLM）：在训练过程中，BERT 会随机屏蔽输入文本中的某些单词（通常占 15%），然后预测这些被屏蔽单词的原始内容。这项任务使 BERT 能够学习上下文中的单词含义，从而更好地理解文本的语义。
下一句预测（NSP）：BERT 还被训练用于判断两个句子是否属于连续文本的一部分。通过这种方式，BERT 学习了句子之间的逻辑关系和语义连贯性，这对于理解文本的整体结构和情感基调至关重要。
2.4 情感分析应用
在情感分析任务中，BERT模型首先对文本进行编码，将其转换为固定长度的向量表示，再利用这些向量进行情感分类。该模型能够捕捉文本中微妙的情感变化和复杂的语义信息，从而更准确地判断文本的情感倾向。
3 模型构建与实现
3.1 数据预处理与数据集创建
我们从社交媒体平台收集了18万条评论及其对应的“差、一般、好”情感标签。实验中使用Transformer库中的BertTokenizer和BertModel模型：BertTokenizer将输入的评论语句转换为Bert模型的向量信息，BertModel则根据输入信息输出结果。实验前通过数据去重处理确保数据集的多样性和质量。随后通过pip install命令安装所需Python包，搭建实验环境并加载包含评论数据的CSV文件。最终按6：4比例将数据划分为训练集和测试集，分别获取train_comments、train_labels、test_comments和test_labels的长度数据，为后续模型训练和验证做好准备。
3.2 网络模型的定义
我们选用BERT基础中文模型进行情感分析（文本分类）任务的微调。该模型在预训练阶段已掌握丰富的语言特征和语义信息，通过微调可适配特定情感分析任务，从而提升分类的准确性和有效性。在微调过程中，我们从BERT模型输出中提取“综合上下文信息 <cls>”，并连接全连接层对提取特征进行进一步处理和分类，最终完成情感分析任务。
3.3 定义训练函数与评估函数
evaluate函数用于评估神经网络对数据集的预测准确率。该函数以8个样本为批次进行处理，通过 tokenizer处理评论数据并限制最大长度，将处理后的数据输入模型获取预测结果，与真实标签进行比对，统计正确预测的数量，最终返回准确率。
train_bert_classifier函数用于训练BERT分类器。训练前，模型的最大准确率默认设为0.5。每个训练周期开始时，该函数会通过evaluate函数计算并输出训练集和测试集的准确率。若测试集准确率超过最大准确率，系统将更新该数值并保存模型参数。训练过程中，系统每次处理8个样本，对输入数据应用 tokenizer进行分词处理，输入模型后计算损失值，并通过反向传播更新梯度，从而优化模型在情感分析中的表现。
3.4 设置损失函数、优化方法、BertTokenizer词嵌入
在本NLP-BERT模型实验中，为构建适合模型训练的框架，执行了一系列有序操作。
首先安装了
d2l库。该工具为后续步骤（如设备选择和模型训练）提供支持。安装完成后，使用d2l库中的try_gpu（）函数获取GPU设备。若GPU可用，后续模型计算将在其上执行，从而显著提升计算效率。
接下来，定义了分类模型和数据预处理工具。鉴于这是一个三分类任务，
BERTClassifier 被实例化为输出维度为 3，以输出三个类别的概率分布。同时，为了将输入的评论句子转换为 BERT 模型可以处理的格式，使用 AutoTokenizer.from_pretrained（“bert-base-chinese”，local_files_only=True） 加载了一个预训练的中文分词器。本地加载分词器不仅避免了不稳定网络的影响，还确保了模型训练的连续性。同样地，预训练的序列分类模型通过 AutoModelForSequenceClassification.from_pretrained（“bert -base-chinese”，local_files_only=True）` 加载，并移动到之前获得的 GPU 设备上。
最终确定了模型训练的优化策略。选择交叉熵损失函数作为衡量模型预测结果与真实标签差异的指标，该函数能有效反映模型在分类任务中的表现。同时采用小批量随机梯度下降算法更新模型参数，将学习率设置为
1e-4以控制训练过程中的参数更新幅度，从而逐步提升模型的预测能力。完成上述配置后，加载模型和分词器，即可正式进入训练阶段。
3.5 培训模式
在完成模型构建和训练环境搭建后，我们正式进入模型训练阶段。训练工作通过
train_bert_classifier函数完成，该函数需要配置BERT分类器网络、中文分词器、交叉熵损失函数以及小批量随机梯度下降优化器。同时，系统会整合训练集数据（包含训练评论和标签）与测试集数据（包含测试评论和标签），并指定运行设备。整个训练过程共设置20轮训练周期。
在训练过程中，模型每轮都会通过优化算法根据损失反馈调整参数，从而持续学习输入数据中的特征和规律。经过20轮训练后，模型性能得到持续优化，这不仅为后续文本分类任务中展现优异表现打下坚实基础，也为后续模型评估环节提供了重要支撑。
3.6 比较模型选择与分析
完成模型的准备与训练后，为全面评估BERT模型在中文情感分析任务中的表现，后续实验中选取了具有代表性的双向长短期记忆网络（BiLSTM）-CN模型和基于规则的模型，与BERT-CN模型进行对比。
双向长短期记忆网络（BiLSTM）-中文是经典深度学习模型，通过双向结构捕捉文本正向与反向信息，有效处理上下文依赖关系以判断文本情感倾向。而基于规则的模型则采用传统方法，通过预设规则和情感词典对文本情感进行判定。尽管该方法相对传统，但在特定场景中仍具有应用价值。通过对比这两种模型，我们能从多维度深入分析BERT模型的优缺点，为后续研究与改进提供坚实基础。
4 实验分析与结果
4.1 实验设计原则
本实验的主要目的是全面评估BERT-CN模型在中文情感分析中的表现。为确保结果的可靠性和有效性，我们在数据集划分时采用了“stratify=labels”方法。该方法保证了训练集和测试集之间情感分布的一致性，从而消除了数据分布不均可能导致的潜在偏差。
我们选定F1分数作为核心评估指标。在情感分析任务中，数据集常存在类别不平衡问题，即正向、负向和中性三种情感类别的样本数量差异显著。F1分数能有效平衡精确率与召回率，相较于简单的准确率指标，它能更准确地衡量模型在不平衡场景下的表现。
4.2 性能比较与误差分析
BERT：
训练 - 损失值：0.471，准确率：0.788，精确率：0.788，召回率：0.788，F1值：0.788
Val - 丢失值：0.607，准确率：0.741，精确率：0.742，召回率：0.741，F1值：0.739
Bilstm：
训练 - 损失值：0.557，准确率：0.738，精确率：0.739，召回率：0.738，F1值：0.738
Val - 丢失值：0.555，准确率：0.730，精确率：0.735，召回率：0.730，F1值：0.725
规则：
列车 - 真实值：0.439，预测值：0.539，召回率：0.439，F1值：0.429
Val - Acc： 0.441，Prec： 0.544，Rec： 0.441，F1： 0.429
BERT-CN在准确率和F1值方面表现最佳，但训练耗时较长。BiLSTM-CN虽然训练周期短，但在处理复杂语义关系时存在不足，例如面对“服务差但价格实惠”这类句子时，会错误地将其归类为负面情绪，且无法平衡正负面语义。基于规则的模型准确率和F1值最低，在处理新式或语境依赖性表达时存在局限，比如遇到“这款手机续航能力太强了！”这类表达时，由于情感词典未将“太强”列为积极词汇，导致无法识别该句子的积极情感。
4.3 注意力可视化与模型行为
我们采用注意力可视化技术，深入解析BERT-CN模型的文本处理机制。通过分析样本文本‘屏幕清晰但照片模糊’的注意力分布图，发现模型重点关注‘清晰’和‘模糊’等关键词。这些词汇对判断文本整体情感倾向具有关键作用。
注意力热图显示，BERT-CN能够有效分配句子中不同词语的注意力权重，凸显其捕捉语义关系的能力。该可视化不仅有助于理解模型的决策机制，还为模型的进一步优化提供了线索。
5 结论与展望
5.1 研究结论
通过将具体代码实现与实验结果进行对比，我们得出以下结论：实验表明，BERT模型在中文情感分析任务中显著优于传统算法，F1值提升了9%至20%。其核心优势在于独特的双向注意力机制，能够有效捕捉负面表达、语义转换等复杂语言现象。但研究也发现，预训练模型在垂直领域和方言场景中的适应性仍需通过微调和领域知识注入进行优化，这反映出当前预训练技术在跨领域迁移应用中仍存在改进空间。
5.2 研究局限性
中文语境的适应性不足：BERT的预训练语料库主要涵盖通用中文，对特定领域和方言的覆盖有限。改进方向：需在社交媒体文本等领域特定数据上对模型进行微调。
对计算资源的高依赖性：BERT模型本身体积庞大且结构复杂，不仅训练耗时长，对硬件资源的要求也极高，这限制了其在资源有限场景中的快速部署与应用。改进方向：采用轻量级模型或模型量化技术。
长尾情感表达处理不足：对微妙情感和复杂消极结构的识别准确率较低。 改进方向：引入句法分析模块辅助语义理解。
5.3 未来情景
模型优化方向：探索更轻量高效的架构设计，在保证性能的同时降低资源消耗。开发更贴合不同任务需求的预训练策略，例如为专业领域量身打造专属预训练任务。加强跨语言预训练，提升模型处理不同文化与语言文本的能力，促进全球信息交流。
数据处理扩展：运用无监督与半监督学习技术，挖掘海量未标注数据的价值，拓展数据多样性。构建领域自适应数据增强技术，自动生成特定领域的高质量训练数据，从而提升模型的适应性。
拓展应用场景：将BERT应用于医疗、法律、金融等领域的专业文本处理，同时支持智能诊断、合同审核和投资分析。通过整合文本、图像与语音的多模态信息，开发更智能的交互系统，提升人机交互体验。
参考：
[1] Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018).BERT:深度双向变换器预训练用于语言理解.
[2] IMDB 数据集。 https://www.imdb.com/interfaces/
[3] Vaswani 等人（2017）。注意力就是你需要的一切。
[4] CSDN 博客。（年份）。[论文] BERT_bert 原始论文
[5] CSDN 博客。（年份）。F1Score 在自然语言处理 Tasks_f1score 中的应用 Tasks_f1score 在论文中
[6]网易移动网络.（年份）。舆情数据采集渠道综合汇总 | 微博 | 新闻 | 意见调查数据。
[7] Deng, J., Cheng, L. L., & Wang, Z. W. (2021).基于注意力机制的双向长短期记忆网络(BiLSTM)融合门控机制的CNN模型用于中文长文本分类.