PCの内臓マイクから音声を取得して音程を判定してみた。[Python, pyaudio, FFT]
概要
- pythonでPC内臓マイクからの音声を取得して遊んでみた
- リアルタイムに音声波形を描画してみた
- フーリエ変換して音程の判定をやってみた
環境
- OS: mac OS Big Sur バージョン 11.6.1
- conda 4.11.0
- Python 3.6.13
準備
anacondaで環境を準備。今回はPython 3.6.13でやっていきます。
canda install で以下を用意
- matplotlib
- pyaudio
- numpy
- opencv
実践
1.音声取得して波形をリアルタイム描画
pcの内臓マイクから音声をとって波形をプロットしました。
bufferとかrateは適当に設定。
ctrl＋cで終了します。
import matplotlib.pyplot as plt
import pyaudio as pa
import numpy as np
RATE=44100
BUFFER_SIZE=16384
## ストリーム準備
audio = pa.PyAudio()
stream = audio.open( rate=RATE,
channels=1,
format=pa.paInt16,
input=True,
frames_per_buffer=BUFFER_SIZE)
## 波形プロット用のバッファ
data_buffer = np.zeros(BUFFER_SIZE*16, int)
while True:
try:
## ストリームからデータを取得
audio_data=stream.read(BUFFER_SIZE)
data=np.frombuffer(audio_data,dtype='int16')
## リアルタイム音声波形プロット
data_buffer = np.append(data_buffer[BUFFER_SIZE:],data)
plt.plot(data_buffer)
plt.ylim(-10000,10000)
plt.draw()
plt.pause(0.0001)
plt.cla()
except KeyboardInterrupt: ## ctrl+c で終了
break
## 後始末
stream.stop_stream()
stream.close()
audio.terminate()
波形プロット結果
良い感じで波形が取れました。
2.フーリエ変換してみた
音声データが取れたのでとりあえずフーリエ変換して周波数成分を見てみました。
FFTをするわけですがnumpy使えばFFT自体は1行で終わります。
簡単で良いです。
fft_data = np.fft.fft(data)
これでフーリエ変換したデータは得られるのであとは良い感じにプロットを整えます。
import matplotlib.pyplot as plt
import pyaudio as pa
import numpy as np
RATE=44100
BUFFER_SIZE=16384
## ストリーム準備
audio = pa.PyAudio()
stream = audio.open( rate=RATE,
channels=1,
format=pa.paInt16,
input=True,
frames_per_buffer=BUFFER_SIZE)
## 波形プロット用のバッファ
data_buffer = np.zeros(BUFFER_SIZE*16, int)
## 二つのプロットを並べて描画
fig = plt.figure()
fft_fig = fig.add_subplot(2,1,1)
wave_fig = fig.add_subplot(2,1,2)
while True:
try:
## ストリームからデータを取得
audio_data=stream.read(BUFFER_SIZE)
data=np.frombuffer(audio_data,dtype='int16')
fft_data = np.fft.fft(data)
freq=np.fft.fftfreq(BUFFER_SIZE, d=1/RATE)
## プロット
data_buffer = np.append(data_buffer[BUFFER_SIZE:],data)
wave_fig.plot(data_buffer)
fft_fig.plot(freq[:BUFFER_SIZE//20],np.abs(fft_data[:BUFFER_SIZE//20]))
wave_fig.set_ylim(-10000,10000)
plt.pause(0.0001)
fft_fig.cla()
wave_fig.cla()
except KeyboardInterrupt: ## ctrl+c で終了
break
## 後始末
stream.stop_stream()
stream.close()
audio.terminate()
波形プロット結果(上:FFT,下:音声波形)
1kHzのsin派を鳴らしてみました。
ちゃんとフーリエ変換できていそうです。
3.音程判定
フーリエ変換したデータからスペクトルで最大成分を取ってきて12音階に変換しました。
音階への変換はこんな感んじで。
(多分これで大丈夫だと思いますがテキトーです。)
SCALE=[
'ラ', 'ラ#', 'シ', 'ド', 'ド#', 'レ',
'レ#', 'ミ', 'ファ', 'ファ#','ソ', 'ソ#'
]
val=freq[np.argmax(fft_data)]
offset = 0.5 if val >= 440 else -0.5
scale_num=int(np.log2((val/440.0)**12)+offset)%len(SCALE)
ついでにopencvで現在の音程を文字で表示させました。
日本語描画するのに地味に手間取り。
コード
import matplotlib.pyplot as plt
import pyaudio as pa
import numpy as np
import cv2
from PIL import Image, ImageFont, ImageDraw
RATE=44100
BUFFER_SIZE=16384
HEIGHT=300
WIDTH=400
SCALE=[
'ラ', 'ラ#', 'シ', 'ド', 'ド#', 'レ',
'レ#', 'ミ', 'ファ', 'ファ#','ソ', 'ソ#'
]
## ストリーム準備
audio = pa.PyAudio()
stream = audio.open( rate=RATE,
channels=1,
format=pa.paInt16,
input=True,
frames_per_buffer=BUFFER_SIZE)
## 波形プロット用のバッファ
data_buffer = np.zeros(BUFFER_SIZE*16, int)
## 二つのプロットを並べて描画
fig = plt.figure()
fft_fig = fig.add_subplot(2,1,1)
wave_fig = fig.add_subplot(2,1,2)
while True:
try:
## ストリームからデータを取得
audio_data=stream.read(BUFFER_SIZE)
data=np.frombuffer(audio_data,dtype='int16')
fd = np.fft.fft(data)
fft_data = np.abs(fd[:BUFFER_SIZE//2])
freq=np.fft.fftfreq(BUFFER_SIZE, d=1/RATE)
## スペクトルで最大の成分を取得
val=freq[np.argmax(fft_data)]
offset = 0.5 if val >= 440 else -0.5
scale_num=int(np.log2((val/440.0)**12)+offset)%len(SCALE)
## 描画準備
canvas = np.full((HEIGHT,WIDTH,3),255,np.uint8)
## 日本語を描画するのは少し手間がかかる
### 自身の環境に合わせてフォントへのpathを指定する
font = ImageFont.truetype(
'/System/Library/Fonts/ヒラギノ角ゴシック W5.ttc',
120)
canvas = Image.fromarray(canvas)
draw = ImageDraw.Draw(canvas)
draw.text((20, 100),
SCALE[scale_num],
font=font,
fill=(0, 0, 0, 0))
canvas = np.array(canvas)
## 判定結果を描画
cv2.imshow('sample',canvas)
## プロット
data_buffer = np.append(data_buffer[BUFFER_SIZE:],data)
wave_fig.plot(data_buffer)
fft_fig.plot(freq[:BUFFER_SIZE//20],fft_data[:BUFFER_SIZE//20])
wave_fig.set_ylim(-10000,10000)
plt.pause(0.0001)
fft_fig.cla()
wave_fig.cla()
except KeyboardInterrupt: ## ctrl+c で終了
break
## 後始末
stream.stop_stream()
stream.close()
audio.terminate()
実行結果
sin派(ラ:880Hz)を入れてみましたが良い感じに判定できていそうです。
人間の声でも大丈夫かは不安なところがありますが、、
とりあえずは今回はここまで。
所感
- pythonは思いついたことがすぐに試せるので良い
- 音にエフェクトをかけたり、他にも色々試せそう
- 思いのほかフーリエ変換が簡単にできて驚いた
- 自分の声で試したが音痴なので全然狙った音程が出せませんでした。
Game Up Your Life.
Skimieアプリをダウンロードして、タスク管理をゲーム化しよう
Skimieは、仕事や勉強にゲーミフィケーションを取り入れ、モチベーションアップをサポートする情報管理サービスです。
