文本分类系列

导出时间：2025/11/24 08:55:53

文本分类任务的定义与背景

文本分类（Text Classification）是指将文本文档或句子归类到预定义的类别的过程。换言之，模型会分析文本内容和含义，并为其分配一个最合适的标签。文本分类是自然语言处理（NLP）的基础任务之一，在NLP中具有重要地位。它能够帮助计算机自动整理海量的非结构化文本数据，提高信息处理效率。相比人工分类，自动文本分类速度更快且一致性更好，减少了人为因素导致的误差。

典型应用场景： 文本分类被广泛应用于各类实际任务。例如，

情感分析用于判断评论中的情感倾向（积极、消极或中性）；

垃圾邮件过滤自动识别垃圾邮件或垃圾短信；

新闻主题分类按主题对新闻文章归类（如体育、财经、娱乐等）；

意图识别用于理解用户在聊天机器人中的意图；

产品评论分类帮助商家分析客户反馈；

舆情监控跟踪社交媒体上的品牌提及和情绪等等。

这些应用证明了文本分类在信息过滤、推荐系统、客户反馈分析等方面的价值。

总之，文本分类旨在让机器自动“读懂”文本并贴上正确的标签。它既可以解决二分类问题（如垃圾邮件 vs 正常邮件），也能扩展到多分类甚至多标签问题，因而在各行业中都是关键技术，为应对信息过载和高效决策提供了支撑。

文本分类的深度学习方法发展历程

文本分类技术经历了从早期浅层模型到神经网络再到预训练大模型的演进过程。下面按照时间线梳理深度学习在文本分类中的发展脉络。

2.1 早期方法：词袋模型与浅层机器学习

在深度学习兴起之前，文本分类主要依赖基于特征工程的浅层学习模型。常见步骤是将文本转化为人工设计的特征，再训练传统机器学习分类器。

词袋模型（Bag of Words, BoW）是经典的文本表示方法，它将每篇文本表示为词汇表长度的向量，向量每一维是对应词在文本中的出现次数。这种表示忽略了词语顺序，仅关注词频。随后，n-gram特征考虑相邻词序关系扩充了BoW模型的信息；

TF-IDF（词频-逆文档频率）进一步衡量词语在文本内频率和跨文档重要性的平衡，提高了特征对类别判别的作用。

在特征表示上，2000年代后期还出现了LDA这类主题模型用于降维表示文本主题分布等，但总体而言这些方法仍属于浅层表示。

利用上述特征，早期分类算法包括：朴素贝叶斯（NB）、支持向量机（SVM）、K近邻（KNN）和决策树/随机森林等。朴素贝叶斯是最早应用于文本分类的模型之一，基于词在各类别中的概率进行分类，简单高效。SVM通过在高维空间寻找最优超平面分隔类，常用于文本二分类且效果良好。这些浅层模型在上世纪90年代到2010年前后占据主导。例如，SVM和朴素贝叶斯长期是新闻分类、垃圾邮件检测等任务的强大基线。但浅层方法需要耗时的人工特征工程，且无法充分利用词序和上下文信息。随着数据增大和模型需求提高，研究者开始寻求自动学习文本特征的方法。

2.2 分布式表示与基础神经网络

深度学习未兴起前的一大进步是分布式词向量的提出，即用稠密向量表示词语语义。Mikolov等人在2013年提出的Word2Vec模型能够通过大规模无标注语料学习每个单词的低维向量表示，捕捉到单词之间的语义相似度。例如“国王-男人+女人≈王后”这样的关系在词向量空间中可以被近似计算出来。

随后有GloVe等模型结合全局共现信息训练词向量。有了预训练的词向量，文本可以表示为词向量序列或通过平均/拼接得到句向量。相比BoW的稀疏高维表示，这种分布式表示能保留更多语义信息。

利用词向量，基础的神经网络分类器开始出现。例如，将一句话的词向量简单平均或加和，再输入一个前馈神经网络（多层感知机）进行分类。这相当于让网络自己学习非线性特征组合，而不只是人工指定特征。Facebook的fastText模型采用这种策略（词向量加和+线性分类器），由于高效且效果尚可，常被用作基线模型。基础神经网络降低了对人工特征的依赖，但简单的平均仍可能丢失序列信息。因此，研究者继续探索能体现词序和局部关联系的网络结构。

2.3 卷积神经网络（CNN）在文本分类中的应用

2014年，Yoon Kim提出将卷积神经网络（CNN）应用于句子分类，取得显著效果。CNN以往多用于图像处理，但也能用于文本：将词向量序列看作“文本图像”，用一维卷积提取局部n-gram特征，再用池化层聚合。这种TextCNN模型可以自动学到对情感、主题等有判别力的局部词组特征。例如卷积核窗口=3的滤波器可抓取句子中长度为3的关键短语（如“服务很好”）等。CNN具有并行卷积的能力，提取不同位置的关键信息，然后最大池化得到整个句子的全局特征用于分类。由于 CNN 能高效地捕捉局部相关性和位置无关特征，在评价指标上显著超过传统方法，被广泛接受为深度学习时代文本分类的起点。事实上，TextCNN模型至今仍被作为基线方法之一，在许多任务中取得强劲表现。CNN模型尤其擅长处理短文本（如一句话评论）的分类任务，训练速度快且对长距离依赖不敏感。

2.4 循环神经网络（RNN）及其变体在文本分类中的应用

与CNN侧重局部窗口不同，循环神经网络（RNN）擅长处理序列数据，能够挨个“阅读”文本并将前面看到的信息存入隐状态，从而捕捉长程依赖。特别是长短期记忆网络（LSTM）和门控循环单元（GRU）等RNN变体缓解了普通RNN梯度消失/爆炸的问题，能够有效记忆较长序列信息。在文本分类中，RNN可顺次处理句子每个词，将最后的隐状态用作整个文本的表示，再接入分类层。与CNN提取局部特征不同，RNN累积了整个序列的语义，因而在长文本（如长评论、文章）分类中更有优势。例如，对于一篇新闻，RNN可以综合首段和末段的信息进行主题判断。

后来，针对长文档的分类，出现了层次化的RNN模型：如Yang等人提出的层次注意力网络（HAN），先用RNN编码句子，再上层RNN编码文章，并用注意力机制选取重要的词和句。这种方法在长篇幅文本（如帖子、论文）分类上效果优秀。不过，RNN序列处理天然是顺序执行，无法像CNN那样并行，训练时间较长。而且RNN对特别长序列仍会有信息遗失。总体而言，在2015-2017年间，CNN和RNN各展所长，成为深度文本分类的两大主要架构，许多改进工作围绕这两者展开（例如将CNN和RNN结合的RCNN模型等）。

2.5 注意力机制模型与Transformer架构

深度学习文本分类的另一个飞跃来自注意力机制的引入。注意力机制最初在机器翻译中用于让模型学会聚焦最相关的词片段。应用到分类任务上，注意力可以让模型在众多词语中分配不同权重，从而“注意”对判断类别最有贡献的部分。例如，在情感分析中，对包含强烈情感的词赋予更高权重。2016年前后，多篇工作将注意力用于文本分类模型，如前述的层次注意力网络利用双层注意力（词级和句级）来挑选重要内容，从而提升长文本分类性能。

注意力机制的发展最终催生了革命性的Transformer架构（Vaswani等人在2017年提出）。Transformer抛弃了循环结构，完全基于**自注意力机制（self-attention）**来建模序列，全局任何两个位置的词都有直接信息通路。Transformer由编码器和解码器堆叠而成，其中编码器可以看作一种强大的文本表示模型。相较CNN/RNN，Transformer更好地捕捉长距离依赖且计算更具并行性，因而迅速被应用于各种NLP任务。对于文本分类，Transformer编码器可以将整段文本编码成上下文相关的表示向量（如[CLS]特殊标记的向量用于代表全句）。多头自注意力机制使模型能从不同角度关注文本的不同部分，从而学习到丰富的语义特征。

2018年，Transformer编码器的强大能力在预训练语言模型中得到体现，最突出的即BERT模型。可以说，BERT的出现是文本分类技术发展的重要转折点。BERT以双向Transformer为基础，预先在海量语料上训练语言模型，获得了通用的语言表示，然后通过微调即可在分类任务上取得极优成绩。大量研究者随即开始基于BERT改进文本分类模型，BERT在多个文本分类基准上性能大幅领先此前的CNN/RNN模型。与此同时，也有工作探索其他注意力模型的应用，例如利用Self-Attention池化替代RNN的最后一步，以便模型自主决定哪些词对分类最重要。这些基于注意力的模型为文本分类提供了更高的语义提取能力。可以看到，从2017年起，Transformer架构和注意力机制几乎主导了NLP模型设计，为文本分类迈入预训练时代铺平了道路。

2.6 预训练语言模型时代的到来

随着Transformer的成功，预训练-微调范式迅速成为文本分类的主流方法。预训练语言模型利用海量开放语料进行自监督训练，获得通用的文本表示，然后对下游分类任务进行微调，大幅提升了数据利用效率和模型效果。2018年除BERT外，还有OpenAI的GPT模型：GPT使用Transformer解码器单向模型进行预训练，擅长生成和理解，随后通过少量任务数据微调，也能用于分类等判别任务。GPT-2、GPT-3进一步扩大模型和数据规模，展现出惊人的少样本学习能力，可通过提示（prompt）完成分类等任务。2019年，Google提出XLNet（融合自回归和自编码优点）以及ALBERT（参数共享和矩阵分解降低模型大小）等，丰富了预训练模型的谱系。

预训练模型中，BERT仍是文本分类应用最广的里程碑之一。BERT采用了双向Transformer编码器，通过Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 两大任务进行预训练，能够产生深层的上下文语义表示。在下游分类任务中，只需在BERT顶部加一层分类器并用有标签数据微调即可，大大简化了模型设计工作。这一范式被广泛验证有效，使得许多NLP任务（包括情感分析、新闻分类等）成绩显著提高。从2018年至今，预训练模型不断迭代更新，也持续刷新文本分类的性能极限。

当前，已经涌现出众多SOTA级别的预训练模型，进一步提升了文本分类效果：

RoBERTa（2019）：由Facebook提出，是对BERT预训练策略的改进版。RoBERTa取消了NSP任务，采用动态掩码方式，并使用了更大规模数据和更长训练时间，取得了比BERT更好的表现。例如RoBERTa在GLUE基准上显著优于BERT，证明仅通过改进训练流程也能提升模型效果。
ERNIE（百度）（2019起）：百度研发的系列中文预训练模型，引入了知识增强机制。ERNIE通过在预训练中融入实体和知识图谱信息等任务，使模型获取更多世界知识和常识。ERNIE在中文情感分类、问答等任务上表现出色，证明了结合知识可以提升文本理解深度。
ALBERT（2019）：Google提出的轻量版BERT，通过参数分解和跨层参数共享极大减少了参数量，便于部署和训练。虽然压缩模型可能略有精度损失，但ALBERT在很多分类任务上仍保持与BERT相当的性能，同时显著降低内存占用。
XLNet（2019）：采用自动回归预测所有位置的Permuted Language Model预训练，能够利用词序排列的不同可能，克服了BERT中的独立掩码假设。XLNet在文本分类等任务上也取得领先，但结构相对复杂。
ELECTRA（2020）：Google提出的一种高效预训练方法，不再通过掩盖预测真实词，而是训练模型去判别句子中的每个词是原始语料还是由另一个小模型替换的。通过这种替换词检测任务，ELECTRA可以用更少计算资源达到与BERT相近甚至更好的效果。据报道，小规模ELECTRA在一些分类任务上可媲美大得多的BERT模型。
DeBERTa（2021）：微软提出的BERT改进版，全称“Decoding-enhanced BERT with disentangled attention”。其创新包括内容与位置解耦的自注意力机制以及相对位置编码，显著提升了模型对语序和依存的表示能力。DeBERTa在GLUE、SuperGLUE等基准上取得当时最好的成绩。
T5（2019）：Google提出的文本到文本转换模型（Text-to-Text Transfer Transformer），使用统一的Encoder-Decoder架构。T5将所有NLP任务（包含分类）都表示为文本到文本的格式，例如输入文本前加上任务指令，输出直接生成类别名称。这种统一范式使单一模型可以处理多种任务，也方便利用多任务训练提升表现。
GPT-3（2020）及后续GPT系列：OpenAI通过不断扩大模型参数（至1750亿）和训练数据，将语言模型推向极限。GPT-3展现出的零样本/少样本学习能力使其不需微调，就能通过提示完成文本分类等任务。这开启了利用超大规模生成模型进行分类的新思路，即通过设计提示让模型输出所需类别。
中文预训练大模型（2020-2023）：国内研究机构也推出了一系列针对中文的预训练模型。例如清华大学的GLM（General Language Model）系列模型，包含GLM-130B等，采用中英双语训练并引入新的预训练目标（如空白填充）以提升性能。此外，清华推出的ChatGLM等模型在GPT-3基础上针对中文对话进行优化，参数量达百亿级，在中英文分类任务上也具有强大能力。这些开源中文大模型为中文文本分类提供了新的工具，尤其在低资源情境下展现出强劲的泛化能力。

可以看到，预训练模型的不断发展使得文本分类进入了大模型时代。如今的SOTA模型往往拥有数亿甚至上千亿参数，经过海量通用语料学习到广泛的语言知识，然后通过微调或提示即可在具体分类任务上取得优异表现。深度学习文本分类的发展历程，正是模型逐渐从浅入深、由弱变强的过程：从人工提特征到网络自学特征，再到利用海量知识的预训练模型，文本分类的效果和应用范围都达到了前所未有的高度。

常用的文本分类数据集（中英）

评估和研究文本分类方法，离不开标准数据集的支撑。本节介绍一些常用的中文和英文文本分类数据集及其特点。

● 中文数据集：

THUCNews 新闻分类数据集： 由清华大学自然语言处理实验室提供的大规模中文新闻语料。该数据集根据2005-2011年新浪新闻RSS订阅的内容筛选生成，包含约74万篇新闻文章（2.19GB）。重新整合划分出14个新闻主题类别，包括财经、房产、教育、科技、体育、娱乐等。THUCNews常被用作中文文本分类基准，其一个子集（10分类，共6.5万篇）也经常用于快速实验。
复旦大学中文文本分类语料库： 由复旦大学李荣陆教授提供，包括新闻领域的文本，共划分为20个类别。数据集中训练集约9804篇文章，测试集9833篇文章，训练和测试各类文档数量大致均衡（一半一半划分）。类别涵盖文艺、体育、教育、金融等主要新闻主题，是经典的小型中文分类数据，用于早期模型验证和教学实验。
TNEWS 今日头条新闻标题数据集： 原始数据来自今日头条的新闻板块，收集了15个类别的新闻标题短文本。在CLUE评测中，该数据集被称为TNEWS，用于短文本分类基准。数据规模为：训练集约53,360条，验证集10,000条，测试集10,000条，每条样本是一句话的新闻标题。类别如旅游、教育、金融、军事、体育等都有覆盖，适合评估模型对短文本主题分类的效果。
SMP 微博情绪分类数据集： 来自“SMP2020-EWECT”评测任务的微博情感倾向数据。该数据集将微博中的用户发布内容按照情绪分为6个类别：neutral（中性）、happy（高兴）、angry（愤怒）、sad（悲伤）、fear（恐惧）、surprise（惊讶）。数据由微博帖子及其人工标注的情感类别构成，用于评测模型对社交媒体上非正式文本情绪的分类能力。在中文细粒度情感分析研究中具有代表性。
ChnSentiCorp 评论情感分析语料： 一个常用的中文情感分类数据集，汇集了来自网络的多领域评论。主要包含酒店评论、笔记本电脑评论和图书评论三大领域，每条评论有人为标注的情感倾向标签（正面或负面）。ChnSentiCorp总计约1万条评论语料，常用于中文情感二分类（正/负面）任务的模型训练和测试。其多领域性质也方便评估模型在不同领域上的泛化能力。
其他：中文领域还有如搜狗新闻语料库（SogouCA/SogouCS，由搜狗实验室发布，包含多个新闻类别，常用于早期文本分类研究）、豆瓣评论数据集（用户电影点评的情感分类）、JD商品评论数据集（商品评论好评差评）、网易新闻评论数据等。这些数据集丰富了中文分类任务在不同领域、不同题材上的测试场景。

● 英文数据集：

AG News 新闻分类数据集： 由学术搜索引擎ComeToMyHead从超过2000个新闻来源收集整理。包含四个新闻主题类目：World（世界）、Sports（体育）、Business（商业）、Sci/Tech（科技）。数据集规模为120,000条训练样本（每类30,000条）和7,600条测试样本。每个样本是一段新闻摘要文本，对应上述四类之一，是英文新闻主题分类的经典 benchmark。
Yelp评论数据集： 来自Yelp（美国大众点评）平台的商户评论数据，被广泛用于情感分析任务。有两个版本：
- Yelp-5（细粒度情感分类）：每条评论带有1到5星的评级标签，共5类。每个类别各有约130,000条训练样本、10,000条测试样本，总计650,000条训练样本和50,000条测试样本。任务是预测评论的星级评分。
- Yelp-2（二分类情感极性）：将评分简化为正面（4-5星）和负面（1-2星）两类，各有约560,000条训练样本和38,000条测试样本。这是评价模型区分好评/差评能力的常用数据。
Amazon产品评论数据集： 大规模产品评论语料库，收集自Amazon电商平台。同样提供二分类和五分类两个任务：
- Amazon-2（两类情感）：包含3,600,000条训练评论和400,000条测试评论，标签为正面或负面评价。
- Amazon-5（五类评分）：包含3,000,000条训练评论和650,000条测试评论，标签为1-5星级别。 Amazon数据集规模巨大，文本长度也较长，是检验模型在海量数据上训练效果和对长文本抓取情感倾向能力的重要资源。
IMDb电影评论数据集： 电影评论领域的著名数据集，用于情感二分类（正面/负面）。IMDb数据集一共50,000条影评文本，训练和测试各一半，且正负样本数量均衡，每部分各25,000条。该数据集评论文本长度较长、用词口语化明显，是深度学习模型常用的评测基准之一。
20 Newsgroups新闻组数据集： 经典的多类别文本分类数据，收集了20个不同主题的网络新闻组讨论帖。常用版本包含18,821篇文档，平均分布在20个话题类目下（如政治、宗教、科学、体育等）。20 Newsgroups因涉及话题广且每类文本数量适中，自1990年代起就是文本分类算法竞比的试金石之一。
其他：常用的英文数据集还包括Reuters-21578财经新闻（经典但类别不均衡，常用于多标签分类研究）、DBpedia百科文章分类（14类，大规模，共56万训练样本）、Ohsumed医学文摘分类（心血管疾病23类，可多标签）等。此外，情感分析方向有**Stanford Sentiment Treebank (SST)**细粒度情感数据、MPQA观点句子数据（不均衡的主观/客观分类)等。这些数据集共同组成了文本分类领域评测的基石，在学术研究中被反复使用和引用。

上述数据集为文本分类模型提供了多样化的评测环境：既有长文本也有短文本，既涵盖单标签也涉及多标签，领域从社交媒体到新闻、评论不一而足。研究者可以根据任务需求选择合适的数据集进行训练和测试。例如，训练一个中文新闻分类模型可选用THUCNews或搜狐新闻数据；评估情感分析算法则IMDb、Yelp、ChnSentiCorp等都是不错的选择。

文本分类任务常用评估指标

为了衡量文本分类模型的性能，需要用适当的评估指标对模型预测与真实标签的符合程度进行量化。不同指标侧重的方面不同，适用的场景也有所区别。以下是文本分类中常用的几个指标：

准确率（Accuracy）： 分类器预测正确的样本数占总样本数的比例，即 $\mathrm{Accuracy} = \frac{TP + TN}{TP+TN+FP+FN}$（以二分类为例）。准确率直观易解，是最常用的衡量标准之一。然而它存在一个缺陷：当数据类别分布极不平衡时，准确率可能产生误导性的乐观结果。例如，若某数据集100个样本中有99个属于正类，1个属于负类，一个始终预测“正类”的模型在该集上的准确率高达99%——看似极高，但它对少数类毫无辨识能力，模型实际没有意义。因此，准确率适合类别分布相对均衡、且对不同类别同等重视的任务；在类别不平衡或偏重特定类别时应谨慎使用这一指标。
精确率（Precision）： 又称查准率，指模型预测为正类的样本中实际真的正类所占比例，计算公式 $\mathrm{Precision} = \frac{TP}{TP+FP}$。精确率衡量的是结果的准确性，反映模型在判定某类时的可靠度。精确率高表示模型标为某类的结果很纯净、误报少。在垃圾邮件检测等场景下精确率尤为重要——我们更关心判为“垃圾”的邮件里有多少是真的垃圾（FP过多会误删正常邮件）。因此，当误报（False Positive）的代价高时（如将正常邮件错杀），应提升模型精确率。
召回率（Recall）： 又称查全率，指实际为正类的样本中被模型正确找出的比例，公式 $\mathrm{Recall} = \frac{TP}{TP+FN}$。它衡量模型发现真正目标的能力。召回率高表示漏检少。典型场景如疾病诊断，将患病视为正类，FN是漏诊病人——漏诊一个病人代价很大，因此召回率必须尽可能高。又如垃圾邮件过滤，把所有邮件都标为正常虽然精确率高，但会漏掉所有垃圾邮件导致召回率=0，这显然不可接受。当漏报（False Negative）的成本更高时，应注重提高召回率。
F1分数（F1 Score）： 精确率和召回率往往此消彼长：提高精确率可能降低召回率，反之亦然。F1分数是它们的调和平均数。F1综合考虑了精确率和召回率，当二者数值接近时F1较高；若两者差距悬殊，F1会偏低。F1分数尤其适用于类别不平衡时的模型整体性能评价。比如在只关注少数类的任务中，准确率可能被多数类主导而掩盖模型对少数类的性能，这时F1作为平衡指标更有参考价值。需要注意F1是一种综合指标，不能反映精确率和召回率的取舍，如有必要应结合Precision/Recall曲线做更详细分析。
ROC-AUC（Receiver Operating Characteristic - Area Under Curve）： ROC曲线描绘模型在不同分类阈值下真正例率（TPR）对假正例率（FPR）的变化，AUC则是这条曲线下的面积。AUC介于0.5（随机猜测）到1.0（完美分类）之间，数值越大表示模型整体判别能力越强。与Accuracy不同，AUC对类别分布不敏感，因为TPR和FPR分别考虑了真实正类和真实负类内部的比例。这使得AUC常用于评估二分类模型在各种阈值下的综合表现，而无需指定具体阈值。举例来说，在信用欺诈检测中正负样本极度不平衡，但通过AUC可以衡量模型在区分欺诈与正常上的排序能力，不会因为负样本过多而被准确率淹没。需要说明的是，AUC通常用于二分类或可获取连续概率分数的模型，多分类问题可通过宏/微平均扩展AUC或采用类似概念的PRC曲线（精确率-召回率曲线）下的面积（AP值）作为补充指标。

除了上述指标，在多分类任务中还有宏平均F1（Macro-F1）、微平均F1（Micro-F1）等指标，用于综合评价模型对各类的性能；在排序或标签数量可变的场景，有平均精度(Average Precision)、Top-K准确率等指标。选择指标时应结合任务需求：平衡类问题可首选准确率，偏重正类精度选Precision，偏重召回选Recall，追求平衡看F1，重视整体排序看AUC。通过多指标结合，可以更全面地了解文本分类模型的表现优劣。

预训练模型在文本分类中的迁移学习方法

预训练语言模型的出现，为文本分类带来了全新的范式。预训练模型往往规模庞大、在通用语料上学习得到强大的语言表示，但如何将其迁移并应用到具体分类任务，是实践中的关键一环。以下介绍几种常用的迁移学习技术路径：

微调（Fine-tuning）： 这是应用预训练模型最直接、也是目前最常见的方法。微调指在预训练模型的基础上，用少量任务相关的标注数据继续训练模型参数，使其适应具体任务。具体做法通常是：在预训练模型（如BERT）的最后加上一层全连接分类层，然后用文本分类的数据集来训练整个模型的参数（或大部分参数）。经过微调，模型会调整内部权重，以在该任务上达到最佳性能。例如，用数千条标注的影评训练BERT，可以让原本通用的语言表示更加偏向“识别评论情感”这个目标，从而取得极高的准确率。微调的优势在于充分利用了预训练模型的能力，一般只需较少的训练就能取得优异效果。值得注意的是，对于非常大的模型，有时也会冻结部分层只训练最后几层参数，以减少计算量同时避免过拟合。微调的范式如今几乎是文本分类的标配流程。
Prompt 学习（Prompt Learning）： Prompt学习是一种不直接微调模型全部参数，而是通过设计输入提示来引导预训练模型解决任务的技巧。在GPT-3展示出强大的少样本能力后，Prompt学习受到关注。它的思想是在输入文本前后添加一段提示语或问题，使分类任务转换为预训练模型擅长的填空或问答形式。例如，要分类一句话的情感，可以构造提示：“这句话的情感是__。”然后让模型填空，是“积极”还是“消极”。预训练模型在看到这样的上下文时，无需显式训练分类器也能给出合理的答案。此外还有Soft Prompt（可训练的连续向量作为提示）等技术，通过在不改动模型权重的情况下，用少量参数引导模型输出想要的类别。Prompt方法在低资源场景特别有用。当标注数据极少时，与其训练庞大模型，不如精心设计提示利用模型已有的知识完成任务。如今已有很多Prompt技巧应用于文本分类，包括手工提示、基于模板的自动提示、PTR、P-Tuning等，使得预训练模型可以**“零样本”或“少样本”**地完成分类任务。
参数高效微调（如 Adapter）： 针对大型预训练模型参数多、每次微调都要重新训练全部参数的问题，研究者提出了Adapter模块等高效微调方法。Adapter是在预训练模型的每一层插入的小型瓶颈网络（通常是先降维再升维的层），预训练模型原有参数保持不变，仅训练这些新增的小层参数。这样，每个任务只需要存储和更新很少的参数量，却能达到接近全模型微调的效果。例如，在BERT每层Transformer后加入一个Adapter层（含少量可训练参数），训练文本分类时只调节Adapter的参数，BERT主体参数冻结。由于Adapter参数占比极小，一个物理机可以维护很多套不同任务的Adapter，高效实现多任务或增量学习。除了Adapter，还有LoRA（Low-Rank Adaptation）、Prompt Tuning、Prefix Tuning等技术，也都是为了在不重新训练整模的情况下，通过新增少量参数实现模型定制。这类方法非常适合在部署场景下使用：我们可以有一个通用模型，然后针对不同分类任务加载不同的小模块，而不必为每个任务都保存一套完整模型。总体而言，参数高效的微调方法已成为大模型落地的重要工具。

除了上述主要方式，**特征提取法（Feature-based）**也是一种早期迁移手段，即用预训练模型抽取文本向量表示，然后训练一个简单分类器（如逻辑斯蒂回归、SVM）完成分类。这种方法在BERT出现初期曾被尝试，其效果不如微调但计算开销更低。不过随着微调与Prompt的便利性提升，直接特征提取已不太常用了。

需要根据任务特点选择合适的迁移策略：如果有充足标注数据且允许充分训练，微调能提供最佳性能；如果数据很少，Prompt方法可在不训练或少训练的情况下取得不错结果；如果希望统一模型应对多任务或降低部署成本，Adapter等参数高效方法是不二选择。实际上，这些方法也可以结合使用，例如先Prompt产生伪标签扩充数据，再微调模型；或先全量微调，再用Adapter做小任务的增量训练等。善用预训练模型的迁移学习技巧，能够最大限度发挥大模型在文本分类中的威力。

文本分类研究中的挑战与难点

尽管文本分类技术取得了长足进步，但在实际应用和研究中仍面临诸多挑战。以下列出目前该领域一些值得关注的难点问题：

小样本学习（Few-Shot Learning）： 许多实际场景下，很难获得大量标注的文本数据，这导致模型在零样本或少样本条件下表现不佳。当前的深度模型往往依赖海量标注数据才能训练出色，一旦标注样本极少，模型容易过拟合或无法学到有效模式。为了解决这个问题，研究者尝试了各种方法：利用先验知识推理（如利用类别名称的语义关系、类描述等来辅助分类），通过生成方法合成额外的训练样本，以及元学习框架让模型快速适应新类别。近期预训练的大模型（如GPT-3）展示了强大的少样本能力，通过提示和范例就能完成任务，这是少样本学习的一条新思路。然而，和人类相比，机器面对新类别时的学习能力仍有巨大差距，实现真正高效的Few-Shot文本分类仍是长远挑战。
类别不平衡（Class Imbalance）： 许多文本分类数据集中，各类别样本数相差悬殊，这使模型训练偏向于大量数据的类别，冷落了少数类别。类别不均衡会导致模型优化目标被多数类主导，取得很高的总体准确率却在少数类上几乎失败。例如在主题分类中，如果“体育”新闻远多于“科技”新闻，模型可能倾向于把未知文本判为体育，从而提高整体准确率但忽略了科技类的召回。这一问题常见于实际数据（如网络论坛中某些话题帖子远多于另一些）。应对不平衡，可以从数据和算法两方面入手：在数据上进行重采样（欠采样多数类或过采样少数类）以平衡训练分布；在算法上采用代价敏感的损失函数（为少数类错误赋予更高代价）或阈值调整、集成学习等技术。不平衡问题考验模型对罕见情况的辨识能力，也是评价分类算法实用性的重要维度。
多标签分类（Multi-Label Classification）： 与每个样本只有一个标签的单标签分类不同，多标签分类中每个文本可能同时属于多个类别。例如一篇文章可能兼具“政治”和“环境”两种主题。多标签任务更复杂的原因在于：标签之间往往存在相关性和层次结构，且输出空间组合爆炸（标签集合数量随类别数指数增长）。模型需要充分考虑标签之间的语义关系，否则容易忽略标签依赖，造成预测不一致或不完整。此外，训练过程中的误差传播、损失设计也比单标签更具挑战。为改进多标签分类，研究者探索了标签嵌入（将标签表示为向量以捕捉它们的关联）、序列解码（将多标签问题转化为序列预测）以及分层分类（先预测大类再预测细类）等方法。但如何减少模型在训练中丢失标签组合的深层语义、如何保留文档丰富语义同时正确映射到标签子集，仍然是需要进一步研究的问题。
知识注入与利用（Knowledge Integration）： 当前的预训练模型主要依赖统计模式，对常识和领域知识的掌握仍不充分。例如要分类医疗文本为疾病类别，仅靠语料学习可能不如结合医学知识库来得准确。将外部知识（知识库或知识图谱）融入文本分类被认为是提升模型性能的有效途径。已有尝试包括：在预训练或微调时加入知识蒸馏信号、对文本进行实体链接后将知识图谱嵌入、设计特殊的知识预训练任务（如掩盖实体让模型预测其属类）。像百度的ERNIE就是在预训练中融入百科和图谱知识的成功例子。然而，知识注入也带来挑战：如何筛选对当前任务有用的知识，以免引入噪音？针对不同任务应添加何种外部知识？如何高效地将知识表示融合到模型语义空间中？这些都仍未有定论。另外，知识库本身的更新和不完备也会影响效果。因此，如何正确、恰当地让模型利用人类知识，是提升文本分类智能水平的一大难题。
多模态融合（Multimodal Fusion）： 在许多真实应用中，文本并非孤立存在，往往和图像、音频、视频等模态共同出现。例如电商商品的分类可以利用商品描述（文本）和商品图片（视觉）；社交媒体上的谣言检测可结合帖子内容和附带图片。跨模态的文本分类要求模型同时处理文本和其他模态信息，将不同来源的特征进行融合。这对模型提出了更高要求，因为不同模态的数据分布和语义表征方式各异，如何对齐它们的语义是难点。如果处理不当，可能出现模态间相互干扰，或者模型过度依赖某一模态。当前的方法有：设计多模态神经网络（如图像CNN和文本Transformer分别提取特征后在融合层混合），利用注意力机制让模型自行选择信任哪个模态，或者引入协调表示空间将模态差异降至最低。即便如此，多模态模型往往需要大量配对的数据进行训练，而此类数据获取成本高。另外，多模态融合也涉及到不同模态数据质量的不一致、模态缺失时的鲁棒性等现实问题。这使得跨模态文本分类成为一个具有挑战性的前沿方向。
模型可解释性（Interpretability）： 现代深度学习模型尤其是预训练大模型通常被视为“黑箱”。对于分类结果，我们往往难以解释模型依据了哪些文本依据得出当前结论。可解释性不足会阻碍模型在高风险场景的采用（如法律文件分类，需要给出理由）。因此，提升文本分类模型的可解释性是重要挑战之一。技术上，常用的方法包括：使用注意力权重或梯度对输入文本的重要片段进行可视化（例如高亮模型关注的关键词）；训练可解释模型（如决策树、注意力网络）来逼近深度模型的行为；或者融入逻辑规则引导模型决策等。然而，这些方法仍不完善。当前Transformer自注意力提供了一定程度的可解释线索，但仍不足以完全理解模型内部决策过程。未来需要更高级的可解释AI技术，使得文本分类模型的每个预测都可以伴随人类易懂的解释，这对增加用户信任度、发现模型错误都有帮助。
鲁棒性与对抗攻击（Robustness & Adversarial Attacks）： 文本分类模型容易受到输入微小扰动的影响。例如在垃圾邮件分类中，只要在邮件中加几个无关字符，模型可能错误地将垃圾邮件判为正常邮件。这揭示了当前模型缺乏语义鲁棒性的问题。特别是精心设计的对抗样本（adversarial examples），在人类看来与原始文本语义等价，但模型却给出完全不同的预测。这对于应用来说非常危险。如何提升模型对噪音、拼写错误、对抗扰动的抵抗能力，正成为研究热点。一些方法如对抗训练（让模型在训练时见到扰动样本）、数据增强（随机扰动输入训练）以及使用扰动不变的表示等可以部分提高鲁棒性，但可能会牺牲部分精度。此外，提高鲁棒性也要警惕模型记忆无关特征，如何做到在保持模型性能的同时显著增强抗干扰能力仍在探索中。

除了以上几点，文本分类领域还有其他挑战，例如：领域迁移（模型训练和测试跨域时性能骤降，需要无监督域适应来缓解）、实时性（在低延迟要求场景下如何保证模型速度和精度平衡）、数据隐私和安全（联邦学习等在保证数据不离开本地情况下训练分类器）等等。这些问题都是实现文本分类技术更加实用和可靠必须解决的方向。

未来研究方向展望

面向未来，文本分类领域有诸多值得期待的研究方向，将进一步提升模型的智能性、适应性和应用范围：

结合知识图谱与符号知识： 尽管预训练模型已经蕴含大量语料知识，但让模型显式利用知识图谱等结构化知识将是重要趋势。一方面，知识图谱可提供事实约束和概念层次（如“苹果公司”属于“科技公司”类别等），有助于模型理解文本隐含的背景。未来研究可能在模型架构中引入知识记忆模块，或开发统一框架将符号知识与神经表示融合。例如，分类医疗文本时接入医学本体，分类新闻时关联事件知识库等。随着知识获取与表示技术的发展，我们有望见到文本分类模型在知识驱动下变得更可控、更具推理能力。
跨模态文本分类： 人类理解文本通常会综合视觉、听觉等多感官信息，AI模型也不应局限于单一文本模态。未来文本分类将更多地与多模态机器学习结合。例如在谣言检测、商品审核等任务中，模型将同时参考帖子文字和附带图片、视频；在情感分析中结合语音语调或表情。研究重点在于统一的多模态表征学习和高效融合机制，使模型能够从不同模态中提取互补信息。目前预训练领域已经出现了跨模态的大模型（如CLIP、ALIGN等对图文进行了联合训练），将它们应用于文本分类或开发新跨模态预训练模型，都是很有潜力的方向。最终目标是实现**“所见即可分类”**的能力：无论信息以文字、图像还是其它形式呈现，模型都能统筹分析、准确分类。
模型轻量化与可部署性： 随着模型规模愈发庞大，如何在保证性能的同时降低模型复杂度和资源占用成为重要课题。未来研究将致力于压缩和加速模型，使高性能文本分类模型在实际应用中更易部署。例如，发展更强的蒸馏技术，从超大教师模型中学到紧凑学生模型，在移动设备等算力有限的平台上运行文本分类。再如利用量化、剪枝将模型计算精简。此外，也会探索新的高效架构，如更浅层次但更宽度的网络，或专为文本设计的轻量模块。可以预见的是，**“小而美”**的模型会越来越多，让文本分类进入各类嵌入式场景成为可能。
自监督与持续学习： 预训练是自监督学习的成功案例，但未来自监督的潜力远未耗尽。针对文本分类，可能出现专门设计的自监督任务来提升模型对特定文本特征的敏感度。例如，利用无标签数据进行对比学习，让模型学会把相似主题的文本映射到邻近向量，从而提升聚类式的分类能力。又或是通过数据扩增的自监督任务（如句子顺序预测、段落插空重组等）来强化模型对文章结构的理解。另外，持续学习（Continual Learning）也是一大方向：模型能够不断从数据流中学习新类别知识，而不忘记旧类别（解决灾难性遗忘）。这对于实际应用很关键，因为新概念新话题层出不穷，需要模型具有与时俱进的学习能力。通过自监督任务持续地“刷新”模型的底层表示，或者采用弹性网络结构在加入新任务时避免干扰旧任务，都是值得探索的路径。
多语言与跨语言文本分类： 随着全球信息交流紧密，文本分类模型需要掌握多种语言甚至在不同语言间迁移。未来可能见到更多多语言预训练模型（如XLM-R、mT5等）的改进，以及对跨语言分类的研究。一个愿景是训练一个统一模型，能够对中英法等多种语言的文本进行分类，而且当某语言缺乏大规模标注数据时，模型能利用其他语言的知识来帮助（这实际上是一种跨语言迁移学习）。这需要模型拥有语言无关的抽象表示或对齐不同语言语义空间的能力。例如通过对比学习让不同语言的同义句贴近，或融入联合多语种词汇表。多语言文本分类的成功将使得低资源语言的文本分析能力大大提升，促进技术公平可及。
少样本和零样本学习的进一步突破： 虽然Few-Shot在挑战中提到存在困难，但正因为如此，它依然是未来重点攻克的方向之一。除了依赖超大模型的内置能力外，研究者也会继续探索元学习框架，在模型训练阶段模拟各种小数据任务，从而让模型学会学习的能力。一种可能的趋势是开发通用的NLP元分类器，能够通过几轮交互式提问或主动学习，从极少的数据中推断出分类决策边界。另外，Prompt学习将在未来继续发展，或许出现更自动化的Prompt生成方法、Prompt和参数微调结合的方法，使零样本/少样本分类更实用稳定。
长文本和结构化文本建模： 当前大部分预训练模型对长度仍有限制（如BERT通常最多512字）。然而实际中有许多超长文本需要分类，例如长篇小说的流派分类、科研论文的主题分类等。未来在模型结构上需要针对长文本进行优化，例如引入分层模型（段落级别处理再汇总）或者使用长序列Transformer（如Transformer-XL、Longformer、BigBird等）以扩展可处理长度。特别地，可能会有专门的层次Transformer用于长文档分类，能够在保留细节的同时高效处理上万字的文本。此外，结构化文本（如表格、代码、日志）分类也有独特需求，模型需要结合文本内容和其结构信息进行判别。这些都要求基础模型在长跨度依赖、跨段落上下文捕获等方面有所突破。解决长文本建模的难题，将极大拓展文本分类技术的应用边界，例如自动分类整本书籍、分析长篇报道的倾向等。