无监督机器学习技术

一个贯穿本课的信念

上节课遗留的问题

今天的路线图

贯穿全课的问题：无监督 = 发现隐藏结构  |  压轴：智能体如何整合所有 NLP 技术

你面对的真实场景

主题模型的直觉

LDA 的核心机制：掷骰子

想想看：如果你的工作文本有 6 个话题，第 7 个话题会是什么？

实操：sklearn 三步走

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation

# 1. 构建词频矩阵
vectorizer = CountVectorizer(max_df=0.9, min_df=2)
X = vectorizer.fit_transform(texts)         # texts = 分词后的字符串列表
vocab = vectorizer.get_feature_names_out()

# 2. 训练 LDA，指定话题数 k — [注] k 由你来定，模型无法自行决定最佳值
lda = LatentDirichletAllocation(n_components=4, random_state=42)
lda.fit(X)

# 3. 查看每个话题的前 10 个词（不需要手写此代码，理解每步做什么即可）
for i, comp in enumerate(lda.components_):
    top_words = vocab[comp.argsort()[::-1][:10]]
    print(f"话题 {i}: {' | '.join(top_words)}")

LDA 的核心局限

LDA 留下了一个缺口

用数学写出来就是这样

图里的平行四边形，用向量算术表达就是：

模型怎么学会这个空间？

训练完全无监督。模型从来没人告诉它“king 和 queen 的关系类似 man 和 woman”，它自己学会的

实操：加载词向量（gensim）

# 安装：pip install gensim
import gensim.downloader as api

# 课堂演示推荐轻量模型（50 维，解压约 66 MB）
model = api.load("glove-wiki-gigaword-50")

# 加载大模型时用（300 维，解压约 3.6 GB，课堂网速需确认）
# model = api.load("word2vec-google-news-300")

# ① 查询最相似的词（先检查词是否存在）
if "doctor" in model:
    model.most_similar("doctor", topn=5)
    # → [('physician', 0.83), ('nurse', 0.79), ...]

# ② 词向量算术
model.most_similar(positive=["king", "woman"], negative=["man"], topn=1)
# → [('queen', 0.71)]

# ③ 语义相似度
model.similarity("doctor", "nurse")    # → 0.79
model.similarity("doctor", "apple")    # → 0.09

词嵌入的可视化：t-SNE

把高维词向量（如 50 维或 300 维）压缩到 2 维，让你能“看见”语义空间：

医疗类词聚在一起
政治类词聚在一起
数字类词聚在一起

相似的词自动形成“星座”

t-SNE 只是用来“看”的
真正的语义是在高维空间里

t-SNE 把 300 维词向量降到 2 维，语义相近的词聚在一起
[注] 示意图：基于合成向量生成，展示 t-SNE 聚类原理，非预训练模型实际输出

词嵌入的核心局限

两个工具，各有所长

行业应用：医疗

行业应用：政府 · 金融 · 教育

一个完整的无监督分析流水线

从工具到智能体：关键的一跃

智能体的工作循环：ReAct 模式

智能体的四个核心组件

真实案例：OpenClaw 智能体平台

NLP 技术如何支撑智能体

多智能体系统：分工合作

智能体的现实挑战

课堂讨论