# 起因

1. 最近我通过ChatGPT的iOS端语音输入功能,发现它的语音识别准确度非常高。

2. 我很想知道它为什么识别这么准确,经过了解,是ChatGPT使用了OpenAI的Whisper语音识别模型。

3. 于是我就在想,为什么不基于Whisper做一个语音输入法,尤其是在电脑端,一个人的时候说话识别会比打字快很多。

# 开始折腾

## 参考Wang老师的开源项目whisper_youtube

4. 我在Twitter上看到Wang老师分享了一个基于Whisper的语音转文字的开源项目whisper_youtube。

5. 看到这个项目后,我就萌生了在本地搭建Whisper的想法,虽然我的初衷是做语音输入法。

6. 我找到了Wang老师的这个项目源码,准备学习参考它来实现我的想法。

7. 在学习这个项目的过程中,我了解到它是基于Google Colab和Jupyter Notebook实现的。

8. 之前我不太熟悉Colab和Jupyter Notebook,通过学习知道Colab可以免费提供云端计算资源来运行Jupyter Notebook。

9. 刚开始我错误地选择了在本地运行Colab,导致初始化环境时C盘被占用了40GB空间。

10. 后来我意识到直接使用Colab提供的云端计算资源更简单,就放弃了本地运行的想法。

11. Wang老师的项目其实已经做得很完整,基本就是开箱即用,如果我一开始就更熟悉Colab的话,可能1分钟就可以运行这个项目。

12. 我只需要调整一些参数,就可以使用这个项目来进行语音转文字,甚至支持主流视频网站的链接。

## 语音输入法?

13. 但是Wang老师的项目还是不能直接作为我想要的语音输入法使用。

14. 于是我找了4个相关的语音输入法项目来试用。

15. 包括Emacs的语音输入法插件,whisper-typer-tool,Buzz和Const-me/Whisper等。

16. 经过试用发现,这些项目或多或少都存在一些问题,不能满足我对语音输入法的要求。

## faster whisper

17. 后来我发现了faster whisper这个对Whisper模型进行优化的项目。

18. 为了实现语音输入法,我决定尝试在本地配置faster whisper的运行环境。

19. 安装了需要的cuda, cudnn, ffmpeg等库文件。遇到一些报错也都解决了。

20. 最后成功让faster whisper可以在我的电脑上运行。

21. 编写了一小段代码对它的语音转文字功能进行了验证。

22. 之后一直试图实现实时转录的功能,但是效果不佳,存在很多问题没能很好解决。

# 有意思的发现

23. 在使用过程中,我发现当没有语音输入时,whisper也会输出一些“感谢观看”之类的文字。

24. 我猜测这可能来自whisper的训练数据集,它们使用了大量影视作品的音频和字幕进行无监督训练。

25. 这也验证了OpenAI采用无监督学习的方法训练whisper是可行的。

Could not load library cudnn_cnn_infer64_8.dll. Error code 126
Please make sure cudnn_cnn_infer64_8.dll is in your library path!

Hi,

Sorry for the late reply,
这么晚才回复很抱歉，
Have you installed successfully zlib package ?
zlib包安装成功了吗？

3.1.3. Installing Zlib 68 3.1.3.安装 Zlib68
Zlib is a data compression software library that is needed by cuDNN.
Zlib是cuDNN所需的数据压缩软件库。

Procedure 程序
Download and extract the zlib package from ZLIB DLL 148. Users with a 32-bit machine should download the 32-bit ZLIB DLL 13.
从 ZLIB DLL148 下载并解压 zlib 包。拥有 32 位计算机的用户应下载 32 位 ZLIB DLL13。
Note: If using Chrome, the file may not automatically download. If this happens, right-click the link and choose Save link as…. Then, paste the URL into a browser window. If the above link doesn’t work please refer zlibwapi.dll free download | DLL‑files.com 45 or Download Zlibwapi.dll for Windows 10, 8.1, 8, 7, Vista and XP 49
注意：如果使用 Chrome，该文件可能不会自动下载。如果发生这种情况，请右键单击该链接并选择将链接另存为...。然后，将 URL 粘贴到浏览器窗口中。如果上面的链接不起作用，请参考zlibwapi.dll免费下载 | DLL‑files.com45 或下载 Zlibwapi.dll 适用于 Windows 10、8.1、8、7、Vista 和 XP49
Please download 64-bit or 32 bit based on your system.
请根据您的系统下载64位或32位。

Add the directory path of zlibwapi.dll to the environment variable PATH.
将zlibwapi.dll的目录路径添加到环境变量PATH中。
Please make sure zlib is added to the path.
请确保 zlib 已添加到路径中。
If you still face this error, please share with us nvidia-smi output and error logs .
如果您仍然遇到此错误，请与我们分享 nvidia-smi 输出和错误日志。

Thank you. 谢谢。

from faster_whisper import WhisperModel

from pydub import AudioSegment

  

audio = AudioSegment.from_file(".\\audio.m4a")

audio.export(".\\audio.wav", format="wav")

  
  

model_size = "large-v2"

  

# Run on GPU with FP16

model = WhisperModel(model_size, device="cuda", compute_type="float16")

  

# or run on GPU with INT8

# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")

# or run on CPU with INT8

# model = WhisperModel(model_size, device="cpu", compute_type="int8")

  

segments, info = model.transcribe(".\\audio.wav", beam_size=5)

  

print("Detected language '%s' with probability %f" % (info.language, info.language_probability))

  

for segment in segments:

    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

  

with open("output.txt", "w") as f:

    f.write("Detected language '%s' with probability %f\n" % (info.language, info.language_probability))

  

    for segment in segments:

        f.write("[%.2fs -> %.2fs] %s\n" % (segment.start, segment.end, segment.text))