ASR · 听错多少
替换 S、删除 D、插入 I，相对参考长度 N 计算。
CER / WER = (S + D + I) ÷ N ↓ 越低越好
互动教程 · Interactive Primer
跟着一段声音，走完两条流水线
语音助手、实时字幕、翻译机，背后是同两个问题：机器怎样听懂，又怎样开口。七幕动画每幕回答一个问题；支持单步、重播与语音讲解。
FRAME 1 / 3
THE TWO DIRECTIONS
同一台机器，两种方向
先看输入和输出，不急着看模型名字。
声音连续波形
ASR · 听写
人工智能离散文字
TTS · 朗读
新声音合成波形
ASR：从“听到”恢复内容TTS：从内容生成说法
小测 · 语音助手听到“明天提醒我交作业”并回答“好的”。哪一步不属于 ASR 的职责？Q1
选一项。
STEP
AUTOMATIC SPEECH RECOGNITION
ASR：一段声音怎样变成一句话
从波形到文字，中间要先“整理声音”，再“寻找答案”。
波形每秒上万个采样点
分帧每 25 ms 一帧 · 帧移 10 ms
Mel 特征机器易读的声音热力图
编码提取上下文与发音线索
解码选最合理的文字
原始波形 → 短帧真实数据 · “人工智能”
Mel 频谱真实数据 · “人工智能”
网络读连续多帧context
识别结果confidence
人工智能
小测 · 为什么要把一句话切成约 25 毫秒的小帧？Q2
选一项。
STEP
THE ALIGNMENT PROBLEM
最难的不是分类，而是“对上号”
很多声音帧，要对应少量文字；边界一开始并不知道。
≈1001 秒语音的特征帧
≠
4“人工智能”的汉字
模型学习每一段更像哪个字
人工智能
CTC、Attention、RNN-T 的重要区别：怎样学习和搜索这条对齐关系
小测 · 1 秒语音约 100 帧，而“人工智能”只有 4 个字。模型要解决的是——Q3
选一项。
STEP
TEXT TO SPEECH
TTS：文字怎样被“补全”为声音
文字只告诉我们说什么，系统还要决定怎么读、怎么停、什么音色。
文字今天 3:30 见
文本前端规范化 / 发音 / 断句
声学模型时长 / 音高 / Mel 谱
声码器声音施工图 → 波形
播放扬声器推动空气
先确定“读什么”text front-end
今天 3:30 见今天三点半见
再决定“怎么读”prosody
Mel 施工图acoustic model
声码器生成波形vocoder
演示用你浏览器自带的音色，与本站讲解音色无关
小测 · “今天 3:30 见”里的“3:30”读成“三点半”，是谁的工作？Q4
选一项。
STEP
MIRROR, NOT INVERSE
像镜子，但不是简单倒放
从多种声音压缩成同一内容，再从同一内容补全出多种说法。
👩 女声 · “你好”👨 男声 · “你好”🧒 童声 · “你好”
→ASR
压缩
压缩
你好内容不变
→TTS
补全
补全
🙂 温柔地说😮 惊讶地说🤖 不同音色说
最终文本没保留什么？纯转写文本不表达大部分音色、情绪和麦克风细节；这些信息不一定从模型内部完全消失。
TTS 要补上什么？文字没有规定具体音色、语速、停顿、音高和情绪；TTS 必须作出选择，答案不唯一。
小测 · 同一句“你好”，TTS 为什么可以有无数种正确的合成结果？Q5
选一项。
STEP
MEASURE & CHECK
怎样判断系统“好不好”？
ASR 先数文字错误，TTS 还要让人耳判断自然度与韵律。
TTS · 听起来怎样
读对字只是底线；自然度、停顿和音色也决定体验。
可懂度自然度目标音色相似度韵律与情感首包延迟实时率
小测 · 一个 CER 很低、但说完 30 秒才出结果的 ASR 系统——Q6
选一项。
STEP
SPEECH-TO-SPEECH TRANSLATION
终点站：串成一台翻译机
ASR、MT、TTS 各管一段，接力完成“中文语音进，英文语音出”。
你说中文“人工智能改变世界”
ASR · 听写中文语音 → 中文文字
MT · 翻译中文文字 → 英文文字
TTS · 朗读英文文字 → 英文语音
说出英文“AI is changing the world!”
ASR + MT + TTS = 语音到语音翻译。三个模块你已经各认识了一遍。
STEP
快捷键：← → 单步 · 空格 播放 / 暂停（教学台在视野内时生效）
复习 · Recap
七幕速记 · 一屏复习
每幕一句话；点任意一行回看。