声音 × 文字CS4313 · ASR 与 TTS 入门

HANDS-ON LAB

六个实验,亲手做一遍

六个工作站,每站只讲一件事;完成挑战即点亮徽章。

STATION 01 · MICROPHONE

看见你的声音

想研究声音,先得看见它。波形是声压随时间的形状;语谱图是每个瞬间各频率的能量。

WAVEFORM · 波形 时间 →
SPECTROGRAM · 语谱图 0–8 kHz ↑

试试:拖长“啊——”,看水平的谐波线;发“嘶——”,看高频的噪声块;音调上滑,看线条一起上弯。

元音是水平的谐波线,“嘶”是高频噪声块——语谱图逐瞬间画出各频率的能量。

🏅 挑战:让语谱图上出现 3 条以上清晰的水平谐波线(发元音就行)。 未完成

STATION 02 · FRAMING

分帧与加窗

整句话一直在变,但 25 毫秒内近似稳定——这是全部特征提取的前提。

WAVEFORM · “人工智能” ≈0.9 s · 16 kHz
FRAME · 帧内放大波形 25 ms
SPECTRUM · 该帧频谱 0–8 kHz →
→ 1 秒 ≈ 100 帧

帧窗一挪,频谱就换一张:“近似稳定”只在 25 毫秒的窗内成立。

🏅 挑战:把帧长调到 50 ms、帧移 5 ms,算算 1 秒有多少帧?(答案会自动出现) 未完成

STATION 03 · CTC

对齐与 CTC 折叠

100 个帧 ≠ 4 个字。CTC 允许模型逐帧乱猜,再用两条规则折叠出答案。

① 合并相邻重复
先猜:这 24 帧折叠后会剩几个字?点「▶ 折叠」验证
② 删除 ε
最终输出会出现在这里
CTC 的多对一:无数条帧级路径折叠成同一句话。语速、停顿怎么调,答案都是「人工智能」。
🏅 挑战:把“语速”调到 2、“停顿”调到 4,看看 ε 占了多少格——折叠后答案变了吗? 未完成

STATION 04 · METRIC

CER 计算器

识别得好不好,总得能打个分。CER =(替换 S + 删除 D + 插入 I)÷ 参考字数 N。分母是参考文本,所以 CER 可以超过 100%。

默认例子仍是那句「人工智能」,多带了「大模型」三个字。这也是一种对齐:和第 3 站一样,为两个不等长序列找对应。

🏅 挑战:构造一对文本,让 CER 恰好等于 50%。 未完成

STATION 05 · PROSODY

TTS 调音台

同一句话,怎么读出不同的意思?字读对只是底线;语速、音高、停顿——韵律本身承载意思。

预合成 16 kHz 样例,供对比。

字没换,只挪停顿、调语速,句子的意味就变了——韵律本身承载意思。

🏅 挑战:把语速调到 0.6 以下、音高调到 1.5 以上,各朗读一次,感受韵律怎么改变“同一句话”。 未完成

STATION 06 · NOISE

噪声实验室

还是那句 0.9 秒的「人工智能」:信噪比一路下降,识别错误怎样一步步出现?

WAVEFORM · “人工智能” + 白噪声 ≈0.9 s · 16 kHz

先猜:最嘈杂档还能听清吗?点 ▶ 验证。

安静人工智能改变世界96%
轻微噪声人工只能改变世界81%
明显噪声人工只能改变世届58%
非常嘈杂人工…能…世界29%

噪声越大,先错同音字、再丢字——错误逐级出现,不是一下崩掉。

表中识别结果为教学模拟,并非真实模型输出;错误取自常见模式,如“智→只”的同音字替换。想知道每一行错得多严重?亲手算它们的 CER →

🏅 挑战:拉到最嘈杂档完整播放一遍。(人耳往往比机器更鲁棒) 未完成

这六个实验对应互动教程的第 2、3、4、6 幕。玩出了新问题?串起全链路的压轴、以及能回答多数疑问的 12 个专题,就在下一站。