“ESP32-Audio-Kit”的版本间的差异
来自丢石头百科
(→资源下载) |
(→使用说明) |
||
第12行: | 第12行: | ||
{{FULLPAGENAME}} 是基于 [[ESP32-A1S]] 模组开发的小型音频开发板。大多数音频外设分布在开发板两侧,支持TF卡,耳机输出,两路麦克风输入和两路喇叭输出。方便开发人员迅速开发。 | {{FULLPAGENAME}} 是基于 [[ESP32-A1S]] 模组开发的小型音频开发板。大多数音频外设分布在开发板两侧,支持TF卡,耳机输出,两路麦克风输入和两路喇叭输出。方便开发人员迅速开发。 | ||
− | == | + | == 板载资源 == |
* 耳机口(earphone):插入3.5mm耳机插口,支持左右声道输出。 | * 耳机口(earphone):插入3.5mm耳机插口,支持左右声道输出。 | ||
* 左右声道扬声器(left channel of speaker/right channel of speaker):支持最大输出4Ω3W喇叭输出,同时支持双声道输出。 | * 左右声道扬声器(left channel of speaker/right channel of speaker):支持最大输出4Ω3W喇叭输出,同时支持双声道输出。 | ||
第41行: | 第41行: | ||
* 供电方式:1.Micro USB端口 5V/2A;2.锂电池供电。 | * 供电方式:1.Micro USB端口 5V/2A;2.锂电池供电。 | ||
− | == | + | == 使用说明 == |
* [https://github.com/donny681/esp-adf SDK例子] | * [https://github.com/donny681/esp-adf SDK例子] | ||
− | |||
* 更多教程请参考 [https://docs.espressif.com/projects/esp-adf/en/latest/get-started/index.html#about-esp-adf ESP-ADF API文档] 里面Ai-example例子。 | * 更多教程请参考 [https://docs.espressif.com/projects/esp-adf/en/latest/get-started/index.html#about-esp-adf ESP-ADF API文档] 里面Ai-example例子。 | ||
+ | |||
+ | 下面将讲解如何使用 ESP32-Audio-Kit (ESP32-A1S开发板)轻松的实现离线语音控制LED灯。 | ||
+ | |||
+ | === 离线语音框架 === | ||
+ | 1. '''算法模型 WakeNet 和 识别模型 MultiNet''' | ||
+ | |||
+ | 既然是语音唤醒,本地识别,就离不开算法模型和识别模型,而ESP32-A1S是基于乐鑫一个仓库esp_sr为基础的。而 esp_sr 提供语音识别相关方向算法模型,目前主要包括三个模块: | ||
+ | * 唤醒词识别模型 WakeNet | ||
+ | * 语音命令识别模型 MultiNet | ||
+ | * 声学算法:集成了回声消除 AEC(Acoustic Echo Cancellation),自动增益调节 AGC(automatic_gain_control),噪声抑制 NS(Noise Suppression),语音活动检测 VAD(Voice Activity Detection) 和麦克风阵列算法(Mic Array Processing)。 | ||
+ | |||
+ | 2. '''唤醒词识别''' | ||
+ | |||
+ | 唤醒词模型 [https://github.com/espressif/esp-sr/blob/master/wake_word_engine/README_cn.md WakeNet],致力于提供一个低资源消耗的的高性能模型,支持类似“Alexa”,“天猫精灵”,“小爱同学”等唤醒词的识别。 | ||
+ | |||
+ | 目前,ESP32的唤醒词仅仅开放了如下几个:“Hi,乐鑫”,“你好小智”,“你好小鑫”,“hi,Jeson”等唤醒词。 | ||
+ | |||
+ | 3. '''语音命令识别''' | ||
+ | |||
+ | 命令词识别模型 [https://github.com/espressif/esp-sr/blob/master/speech_command_recognition/README_cn.md MultiNet],致力于提供一个灵活的离线语音命词识别框架。用户可方便根据需求自定义语音命令,无需重新训练模型。 | ||
+ | |||
+ | 目前模型支持类似“打开空调”,“打开卧室灯”等中文命令词识别,自定义语音命令词最大个数为 100。 | ||
+ | |||
+ | 英文命令词定义将在下一版提供支持。 | ||
+ | |||
+ | === 编译步骤 === | ||
+ | 固件是基于ESP32的SDK开发为基础,仓库代码已经开发了支持ESP32-A1S开发板简单控制的demo。 | ||
+ | |||
+ | 参考资料:[https://docs.espressif.com/projects/esp-idf/en/latest/get-started/index.html# ESP32 Linux开发环境搭建教程] | ||
+ | |||
+ | 1. 下载源代码 | ||
+ | |||
+ | git clone 方式: | ||
+ | <pre> | ||
+ | git clone --recursive https://github.com/Ai-Thinker-Open/Ai-Thinker-Open_ESP32-A1S_ASR_SDK.git | ||
+ | </pre> | ||
+ | |||
+ | 如果速度较慢,可以直接下载: | ||
== 资源下载 == | == 资源下载 == |
2020年10月20日 (二) 14:34的版本
| |||||||||||||||||||
| |||||||||||||||||||
| |||||||||||||||||||
|
目录
产品概述
ESP32-Audio-Kit 是基于 ESP32-A1S 模组开发的小型音频开发板。大多数音频外设分布在开发板两侧,支持TF卡,耳机输出,两路麦克风输入和两路喇叭输出。方便开发人员迅速开发。
板载资源
- 耳机口(earphone):插入3.5mm耳机插口,支持左右声道输出。
- 左右声道扬声器(left channel of speaker/right channel of speaker):支持最大输出4Ω3W喇叭输出,同时支持双声道输出。
- SD卡:最大支持64G SD卡读写
- 按键(KEY):支持6路按键输入,默认出厂以下接入方式
名称 | IO |
---|---|
KEY1 | IO36 |
KEY2 | IO13 |
KEY3 | IO19 |
KEY4 | IO23 |
KEY5 | IO18 |
KEY6 | IO5 |
- 麦克风:两路模拟麦克风,分别作为音频输入。
- 耳麦输入(LINEIN):支持耳机麦克风输入。
- 锂电池(battery):支持3.7伏锂电池输入。
- 电源输入(POWER):最大支持5V2A电源输入,支持同时锂电池充电。
- 串口(UART):支持micro usb串口输入输出,最大支持921600波特率。
- 下载按钮(BOOT):下载时请拉低。由于IO0提供codec时钟,程序正常运行时请勿按下,否则影响codec工作。
- 复位按钮(EN):按此按钮可以重置系统。
- 供电方式:1.Micro USB端口 5V/2A;2.锂电池供电。
使用说明
- SDK例子
- 更多教程请参考 ESP-ADF API文档 里面Ai-example例子。
下面将讲解如何使用 ESP32-Audio-Kit (ESP32-A1S开发板)轻松的实现离线语音控制LED灯。
离线语音框架
1. 算法模型 WakeNet 和 识别模型 MultiNet
既然是语音唤醒,本地识别,就离不开算法模型和识别模型,而ESP32-A1S是基于乐鑫一个仓库esp_sr为基础的。而 esp_sr 提供语音识别相关方向算法模型,目前主要包括三个模块:
- 唤醒词识别模型 WakeNet
- 语音命令识别模型 MultiNet
- 声学算法:集成了回声消除 AEC(Acoustic Echo Cancellation),自动增益调节 AGC(automatic_gain_control),噪声抑制 NS(Noise Suppression),语音活动检测 VAD(Voice Activity Detection) 和麦克风阵列算法(Mic Array Processing)。
2. 唤醒词识别
唤醒词模型 WakeNet,致力于提供一个低资源消耗的的高性能模型,支持类似“Alexa”,“天猫精灵”,“小爱同学”等唤醒词的识别。
目前,ESP32的唤醒词仅仅开放了如下几个:“Hi,乐鑫”,“你好小智”,“你好小鑫”,“hi,Jeson”等唤醒词。
3. 语音命令识别
命令词识别模型 MultiNet,致力于提供一个灵活的离线语音命词识别框架。用户可方便根据需求自定义语音命令,无需重新训练模型。
目前模型支持类似“打开空调”,“打开卧室灯”等中文命令词识别,自定义语音命令词最大个数为 100。
英文命令词定义将在下一版提供支持。
编译步骤
固件是基于ESP32的SDK开发为基础,仓库代码已经开发了支持ESP32-A1S开发板简单控制的demo。
参考资料:ESP32 Linux开发环境搭建教程
1. 下载源代码
git clone 方式:
git clone --recursive https://github.com/Ai-Thinker-Open/Ai-Thinker-Open_ESP32-A1S_ASR_SDK.git
如果速度较慢,可以直接下载:
资源下载
原理图
ESP32-A1S 规格书
出厂固件
SDK
ESP-ADF API文档
ESP32-A1S ASR SDK
git clone https://github.com/Ai-Thinker-Open/Ai-Thinker-Open_ESP32-A1S_ASR_SDK
或通过
- 百度网盘,提取码:xcmj
FAQ
|
|
|
|
|
|
|