方法实验室 / NLP001
NLP:从语言特点到研究应用
自然语言处理(NLP)用计算方法处理人类语言,通过人工规则或从数据中学习模式,完成分析、信息提取、预测和生成等任务。
大语言模型是其中一类技术。 [1]
一图梳理
知识图解
01语言里的信息
| 观察层面 | 关注的问题 | 例子 |
|---|---|---|
| 词的构造与词义 | 词怎样组成,表达什么意义? | happy → unhappy;“满意”与“不满意” |
| 句子结构与句意 | 谁做什么,评价指向谁,是否存在转折? | “解释很清楚,但等得太久”:肯定解释,不满等待 |
| 前后文与表达意图 | 指代谁?为什么在这个情境下这样说? | “说明有点难懂”可能是在请求进一步解释 |
这些是理解语言的视角,不是每个模型都必须依次执行的步骤。 [1][2]
语言分析的示意图,并非模型内部的固定层级。NLU 与 NLG 不必遵循严格相反的处理路线;语境也不局限于某一层。
02语音分析:除了说什么,还看怎么说
| 线索 | 关注内容 |
|---|---|
| 音量 | 声音的大小及变化 |
| 语速 | 说话的快慢及变化 |
| 表达方式 | 语调、重音、停顿等 |
这些声学与韵律线索需要结合话语内容和情境理解。普通转写文本通常不能完整保留它们;分析时需要音频或相应声学特征。语音分析与文本分析可以结合使用,但测量声音特征并不等同于理解语言内容。 [3]
03常见任务
| 任务 | 解决什么问题 |
|---|---|
| 情感分析 | 对什么持正面、负面或混合评价? |
| 情绪线索识别 | 表达中有哪些直接或间接的情绪线索?线索不等于临床诊断 |
| 信息提取 | 找出研究需要的主题、实体或事件,组织为字段/标签并关联原文 |
| 总结类任务(summarization) | 归纳要点,形成访谈总结、会议总结或材料概览,保留重要转折与不确定性 |
| 翻译与问答 | 跨语言表达信息,或针对材料回答问题 |
同一段话,可以服务不同任务。
“解释很清楚,但等得太久。”
情感分析
解释:肯定;等待:不满
信息提取
解释质量、等待体验
总结
同时保留这两方面
总结类任务关注内容要点,语音分析关注声音及表达线索,两者可以在同一工作流中使用。
04我的思考与应用
我的理解
从词、句子到语境,NLP 的入口是语言本身;把语言特点和具体任务联系起来,框架就更容易理解。
我的应用方向
我过去通过手动标记和关键词提取处理访谈。接下来想尝试用 NLP 辅助整理,并归纳受访者表达的主要观点。
- 研究问题
- 所需信息
- 字段/标签
- 回到原文核对
是否有效,需要看遗漏、标签质量,以及纠错后真正节省的时间。
05手写笔记
一页关于语言特点、常见任务与语音表达的学习记录。