1.1 NLP基础词汇与应用场景
输入“/”快速插入内容
1.1 NLP基础词汇与应用场景
1.1 NLP基础词汇与应用场景
用户5190
用户3695
用户97372024年6月8日修改
自然语言处理（Natural Language Processing, NLP）是涉及计算语言学（Computational Linguistics）、计算机科学与工程（Computer Science and Engineering）与人工智能（Artificial Intelligence）的一个跨学科领域，主要研究如何利用计算机程序对海量的自然语言信息进行高效的处理与分析，以及如何实现计算机与人类自然语言之间的有效互动。
大致地讲，自然语言处理分为自然语言理解（Natural Language Understanding, NLU）、自然语言转换（Natural Language Transformation, NLT）和自然语言生成（Natural Language Generation, NLG）这些领域。
典型的自然语言理解（NLU）任务包括：
1.
情感分析：对给定的文本输入，在给定的选项范围内分析文本的情绪是正面还是负面；
2.
文本分类：对给定的文本输入，在给定的选项范围内对文本进行二分类或多分类；
3.
意图识别：对给定的文本输入，在给定的选项范围内对文本的意图进行识别归类；
4.
抽取式阅读理解：对给定的文本输入，用文本中的内容回答问题；
5.
语义匹配：对给定的两个文本输入，判断是否相似；
6.
自然语言推理：对给定的两个文本输入，判断是蕴涵、矛盾还是无关；
7.
命名实体识别：对给定的文本输入，返回含有命名实体及其对应标签的映射，例如{'糖尿病':'疾病'}；
8.
文本摘要：对给定的文本输入，用文本中的内容对文本进行摘要。
自然语言转换（NLT）任务包括但不限于：
1.
机器翻译：将一种自然语言转换为另一种自然语言，包括从源语言到目标语言的文本或语音的转换；
2.
非抽取式阅读理解：接受给定文本的输入，能够理解自然语言问题，并回答问题；
3.
文本风格转换：将文本从一种风格转换为另一种风格，如将正式文本转换为非正式文本；
4.
语音识别：将人类的语音转换为文本，用于语音指令、口述文本、会议记录等。
5.
意图改写：对给定的文本输入，将原始文本中的意图或核心信息重新表述，以不同的词汇和句式表达相同的意思，同时保持原意的准确性和完整性；
自然语言生成（NLG）任务则更为灵活了：
1.
文本生成：根据给定的上下文或提示，自动生成文本，如自动写作、诗歌创作、故事生成等。
2.
语音合成：将文本转换为听起来自然的语音，用于有声书、导航系统、虚拟助手等。
3.
聊天机器人：能够与人类实现多轮对话的聊天助手；
4.
文本到知识：从文本中提取知识，构建知识图谱或语义网络；
5.
语义解析：将自然语言表达转换为形式化的逻辑表示，用于命令解析、查询理解等。
✍️
注：我们将会看到，上面的三类自然语言处理任务刚好分别对应了三类Transformer架构：NLU任务适合仅编码器式的（encoder-only），例如BERT（Bidirectional Encoder Representation of Transformer），它们是对自然语言理解深刻的“评论家”；NLT任务适合编码器-解码器式的（encoder-decoder），例如T5（Text-to-Text Transfer Transformer），它们是能熟练进行序列到序列（seq2seq）转换的“翻译家”；NLG任务仅解码器式的（decoder-only），例如GPT（Generative Pretrained Transformer），它们是充满创意的“作家”。
这些应用场景展示了自然语言转换技术的多样性和广泛性。例如，在医学领域，可以利用命名实体识别（Named Entity Recognition, NER）方法来对医学文献中的名词进行识别，进而制作医学知识图谱；在法律和金融领域，我们经常需要用到语义匹配功能，对海量的文本知识库进行检索（Retrieval）离不开对语义相似度（Semantic Similarity）的精确测量；文本摘要减少了人类的阅读时间，提升了工作效率，方便了信息提取；语音识别、语音合成和翻译机器人提供了真正的全球化服务；更一般地讲，实体识别、意图识别、自然语言推理、知识抽取等功能则构成了的知识表示（Knowledge Representation）和知识工程（Knowledge Engineering）的基础——把人类知识表示为计算机能理解的模式，从而更好地构建人工智能。