声音 × 文字CS4313 · ASR 与 TTS 入门

CS4313 · Interactive Primer

机器怎样“听懂”,
又怎样开口说话?

不从公式出发:跟着一段真实录音走完两条流水线,做六个实验,最后把 ASR 和 TTS 串成一台语音翻译机。全程约 45 分钟。

◷ 全程约 45 分钟 零基础可读 支持手机
PIPELINE DEMO「人工智能」
真实录音 · 0.9 秒 · 16 kHz 单声道

三个入口

从哪儿开始

推荐从教程开始;三个入口也可任意进。

新手从这里开始 01 · TUTORIAL

互动教程

七幕动画:从波形到文字,再从文字到声音。每幕一个知识点,配语音讲解与自测。

◷ 15 分钟 · 七幕
02 · LAB

声学实验台

六个可交互实验:录音看波形语谱、分帧加窗、CTC 折叠、CER 计算、TTS 调音、噪声鲁棒性。

◷ 20 分钟 · 六个实验
03 · CAPSTONE

语音翻译机

说一句中文,系统识别、翻译,再用你的音色说出外语。一个真实项目的完整拆解。

◷ 10 分钟 · 真实项目

第二层 · 进阶篇

12 个专题:MFCC 与 DCT、CTC 的数学、声码器、语音大模型等,每篇约 5 分钟。

进入进阶篇

第三层 · 部署实战教程书 NEW

27 章开源教程书:在学校服务器的 Docker 里,手把手部署每一个 ASR、TTS 组件,串成语音管线,做出你的毕业设计。命令、预期输出、排错,一步不缺。

打开教程书

学习路径

推荐这样走

前四步在本站完成,最后回到课程笔记。

  1. 互动教程 七幕动画 + 随堂自测 · 约 15 分钟
  2. 声学实验台 六个真实可玩的实验 · 约 20 分钟
  3. 语音翻译机 压轴项目完整拆解 · 约 10 分钟
  4. 进阶篇 12 个专题任选,不必按顺序 · 约 5 分钟/篇
  5. 课程笔记 配套笔记《00-ASR与TTS入门教程》· 约 35 分钟

核心概念速览

先记住三个词

先建立直觉;这三个词全站会反复出现。

ASR · 自动语音识别

声音 → 文字

把上万个采样点压成几个字:信息在压缩,关键是别丢内容。

TTS · 语音合成

文字 → 声音

把几个字展开成上万个采样点:信息在补全,音色、语调、停顿由模型决定。

对齐 · Alignment

100 帧 ≠ 4 个字

一秒声音约 100 帧,一句话只有几个字;哪帧对应哪个字,是两者共同的难题。

常见问题

开始之前

学这个需要什么基础?

不需要数学或机器学习背景;英文术语首次出现时都有中文解释。

手机上能玩吗?

能,全站适配手机。麦克风实验需授权录音;快捷键仅电脑可用。

讲解的声音是真人录的吗?

不是。讲解语音为 AI 合成的通用音色,不模仿任何真人,详见页脚声明。

入门看完了,想更深入怎么办?

看进阶篇:12 个专题回答入门跳过的问题,不必按顺序读;更深入的推导与代码在课程知识库。

开始吧

从第一幕开始,全程约 45 分钟。