CS4313 · Interactive Primer
机器怎样“听懂”,
又怎样开口说话?
不从公式出发:跟着一段真实录音走完两条流水线,做六个实验,最后把 ASR 和 TTS 串成一台语音翻译机。全程约 45 分钟。
◷ 全程约 45 分钟
零基础可读
支持手机
PIPELINE DEMO「人工智能」
真实录音 · 0.9 秒 · 16 kHz 单声道
三个入口
从哪儿开始
推荐从教程开始;三个入口也可任意进。
新手从这里开始
01 · TUTORIAL
互动教程
七幕动画:从波形到文字,再从文字到声音。每幕一个知识点,配语音讲解与自测。
◷ 15 分钟 · 七幕 02 · LAB声学实验台
六个可交互实验:录音看波形语谱、分帧加窗、CTC 折叠、CER 计算、TTS 调音、噪声鲁棒性。
◷ 20 分钟 · 六个实验 03 · CAPSTONE语音翻译机
说一句中文,系统识别、翻译,再用你的音色说出外语。一个真实项目的完整拆解。
◷ 10 分钟 · 真实项目第二层 · 进阶篇
12 个专题:MFCC 与 DCT、CTC 的数学、声码器、语音大模型等,每篇约 5 分钟。
第三层 · 部署实战教程书 NEW
27 章开源教程书:在学校服务器的 Docker 里,手把手部署每一个 ASR、TTS 组件,串成语音管线,做出你的毕业设计。命令、预期输出、排错,一步不缺。
学习路径
推荐这样走
前四步在本站完成,最后回到课程笔记。
- 互动教程 七幕动画 + 随堂自测 · 约 15 分钟
- 声学实验台 六个真实可玩的实验 · 约 20 分钟
- 语音翻译机 压轴项目完整拆解 · 约 10 分钟
- 进阶篇 12 个专题任选,不必按顺序 · 约 5 分钟/篇
-
课程笔记 配套笔记《00-ASR与TTS入门教程》· 约 35 分钟
核心概念速览
先记住三个词
先建立直觉;这三个词全站会反复出现。
ASR · 自动语音识别
声音 → 文字把上万个采样点压成几个字:信息在压缩,关键是别丢内容。
TTS · 语音合成
文字 → 声音把几个字展开成上万个采样点:信息在补全,音色、语调、停顿由模型决定。
对齐 · Alignment
100 帧 ≠ 4 个字一秒声音约 100 帧,一句话只有几个字;哪帧对应哪个字,是两者共同的难题。
常见问题
开始之前
学这个需要什么基础?
不需要数学或机器学习背景;英文术语首次出现时都有中文解释。
手机上能玩吗?
能,全站适配手机。麦克风实验需授权录音;快捷键仅电脑可用。
讲解的声音是真人录的吗?
不是。讲解语音为 AI 合成的通用音色,不模仿任何真人,详见页脚声明。
入门看完了,想更深入怎么办?
看进阶篇:12 个专题回答入门跳过的问题,不必按顺序读;更深入的推导与代码在课程知识库。