方法实验室 / NLP001

NLP:从语言特点到研究应用

自然语言处理(NLP)用计算方法处理人类语言,通过人工规则或从数据中学习模式,完成分析、信息提取、预测和生成等任务。

大语言模型是其中一类技术。 [1]

一图梳理

知识图解
NLP 信息图:语言特点、模型、常见任务、语音分析及访谈应用
NLP:从语言特点到研究应用

01语言里的信息

观察层面关注的问题例子
词的构造与词义词怎样组成,表达什么意义?happy → unhappy;“满意”与“不满意”
句子结构与句意谁做什么,评价指向谁,是否存在转折?“解释很清楚,但等得太久”:肯定解释,不满等待
前后文与表达意图指代谁?为什么在这个情境下这样说?“说明有点难懂”可能是在请求进一步解释

这些是理解语言的视角,不是每个模型都必须依次执行的步骤。 [1][2]

语言构造、句法、语义与语境的概念示意图
语言结构与语境

语言分析的示意图,并非模型内部的固定层级。NLU 与 NLG 不必遵循严格相反的处理路线;语境也不局限于某一层。

02语音分析:除了说什么,还看怎么说

线索关注内容
音量声音的大小及变化
语速说话的快慢及变化
表达方式语调、重音、停顿等

这些声学与韵律线索需要结合话语内容和情境理解。普通转写文本通常不能完整保留它们;分析时需要音频或相应声学特征。语音分析与文本分析可以结合使用,但测量声音特征并不等同于理解语言内容。 [3]

03常见任务

任务解决什么问题
情感分析对什么持正面、负面或混合评价?
情绪线索识别表达中有哪些直接或间接的情绪线索?线索不等于临床诊断
信息提取找出研究需要的主题、实体或事件,组织为字段/标签并关联原文
总结类任务(summarization)归纳要点,形成访谈总结、会议总结或材料概览,保留重要转折与不确定性
翻译与问答跨语言表达信息,或针对材料回答问题

同一段话,可以服务不同任务。

“解释很清楚,但等得太久。”

情感分析

解释:肯定;等待:不满

信息提取

解释质量、等待体验

总结

同时保留这两方面

总结类任务关注内容要点,语音分析关注声音及表达线索,两者可以在同一工作流中使用。

04我的思考与应用

我的理解

从词、句子到语境,NLP 的入口是语言本身;把语言特点和具体任务联系起来,框架就更容易理解。

我的应用方向

我过去通过手动标记和关键词提取处理访谈。接下来想尝试用 NLP 辅助整理,并归纳受访者表达的主要观点。

  1. 研究问题
  2. 所需信息
  3. 字段/标签
  4. 回到原文核对

是否有效,需要看遗漏、标签质量,以及纠错后真正节省的时间。

05手写笔记

一页关于语言特点、常见任务与语音表达的学习记录。

中英文手写 NLP 笔记,记录模型、语言特点、情感分析、语音与文本任务
NLP 入门手写笔记

06参考资料

  1. Jurafsky & Martin — Speech and Language Processing
  2. Words and Tokens
  3. audEERING — Prosody & speech features
延伸阅读Tang 等(2023)关于医学证据总结的评估 ↗

研究对象与模型版本有特定范围,不代表访谈整理流程已经验证。

打开原图 ↗