こんにちは。Listnr のアプリケーションソフトを担当している中村です。
実は、この感情を判断する機能は、Listnrの活用例としてご提供しているもので、ベースの機能であるインターネット接続マイク機能をハックすることができるようになっています。具体的には、音声のアップロード先を自由に変えて、録音した音声を活用することが可能となっています。
システム構成
大まかな流れは以下のようになります。
Raspberry PiでListnrからの音声アップロードを受け付けるサーバーを構築する
Raspberry Piで受け取った音声ファイルをIBM BluemixのSpeech to Textサービスに送り、認識結果のテキストを受け取る
Raspberry PiでNゲージ線路の電圧を制御して電車の走行方向とスピードを操作できるようにする
Listnrの音声アップロード先をRaspberry Piに設定する
VIDEO
1. Raspberry PiでListnrからの音声アップロードを受け付けるサーバーを構築する
Raspberry Piに Raspbian をインストールします。インストールは INSTALLING OPERATING SYSTEM IMAGES などを参考に行ってください。
インストールができたら、Raspberry Pi上で作業します。キーボードとディスプレイをRaspberry Piに繋いで作業していただいてもよいですし、sshでRaspberry Piにログインして作業していただいても構いません。LINUX USERS ）
サンプルコードが以下にありますので、Raspberry Pi上にダウンロードします。https://github.com/cerevo/listnr-server-sample-py
git clone https://github.com/cerevo/listnr-server-sample-py.git
ダウンロードできたら、speech_to_text_n_scale ディレクトリに移動します。
cd listnr-server-sample-py/speech_to_text_n_scale/
必要なライブラリをインストールします。
sudo pip install -r requirements.txt
sudo apt-get install flac
サーバーを起動します。
python server.py
以下の様なログが表示されれば起動されています。
Bottle v0.12.9 server starting up (using WSGIRefServer())...
一旦、Ctrl-C でサーバーを終了します。
IBM Bluemix Speech to Text サービスを利用できるようにする
ここで、音声ファイルのテキスト認識をするためのサービスを利用するため、IBM Bluemixのフリートライアルの申し込みを行います。
以下を開き、上部右側にある「登録」ボタンを押して、アカウント登録します。
https://console.ng.bluemix.net/
登録後、再度上記ページを開き、上部右側にある「ログイン」ボタンからログインします。
スペース: dev
アプリ: アンバインドのまま
サービス名: Speech To Text
資格情報名: Credentials-1
選択済みプラン: 標準
作成が完了したら、左側メニューから「サービス資格情報」を選択します。すると、passwordやusernameが表示されるはずです。
vi config.ini
# ibm_bluemix_speech_to_text セクションのusername, passwordの部分に書き込んでください。
[ibm_bluemix_speech_to_text]
サーバーを起動して、テストしてみます。まずはサーバーを起動します。
python server.py
別のターミナルを開き、サンプルプログラムのディレクトリ以下にあるサンプル音声のディレクトリに移動し、音声ファイルをアップロードしてみます。
cd listnr-server-sample-py
cd audio_sample
curl -H "Transfer-Encoding: chunked" -X POST http://localhost:8080/wave -F "file=@sample.r16;type=application/octet-stream"
# OK と表示されれば送信完了です。
サーバーを起動したターミナルを再度開き以下の用に表示されれば、テキスト認識成功です。
127.0.0.1 - - [08/Apr/2016 11:05:23] "POST /wave HTTP/1.1" 200 2
2. Raspberry PiでNゲージ線路の電圧を制御して電車の走行方向とスピードを操作できるようにする
Raspberry PiとI2Cで接続できるモータードライバ DRV8830 を使って、ブレットボードなどで以下の様な回路を作ります。
こうすることで、Raspberry Pi –(I2C)–> DRV8830 –> D.C フィーダー N –> Nゲージの線路 –> 電車 という風に接続され、Raspberry PiでNゲージ線路の電圧を制御して電車の走行方向とスピードを操作できるようになります。
Raspberry PiでI2Cを使えるようにします。
/boot/config.txt の dtparam=i2c_arm=on の行のコメントアウトを外します
/etc/modules に i2c-dev の行があるか確認します
reboot します
再起動後、lsmod を実行して、i2c_bcm2708 と i2c_dev の行があることを確認します
lsmod
Module Size Used by
必要なライブラリをインストールします
sudo apt-get install python-smbus
Raspberry PiからI2CでDRV8830に指示を送るプログラムは i2c_motor_driver.py というファイルに書いてあります。上記の回路をテストするには、以下を実行してください。電車が動き始め、加速・減速し、その後逆方向に進むといった動作をすれば成功です。
python i2c_motor_driver.py
3. Listnrの音声アップロード先をRaspberry Piに設定する
Listnrの音声アップロード先は、専用アプリ（Android版 , iOS版 ）から変更可能です。開発者向け情報 ページの「Listnrの音声アップロード先サーバーを変更する」セクションを参考に変更を行います。
運転士になってみる
以上の準備ができたら、Raspberry Pi上のサーバーを起動して、Listnrに声を聞かせて見ましょう。
python server.py
サンプルプログラムでは以下の様なコマンドを用意しています。変更するには、server.py を編集してください。
動作
コマンド
出発
出発進行, スタート, 発車, 出発
停車
止まれ, ストップ, 停車
折り返し
バック, リバース, リターン, 折り返し
加速
加速, アップ, アクセル
減速
減速, ダウン, ブレーキ
ちなみに、社内で試したときは、音声認識の対象言語を英語にして、rightで出発、lightで停車という風に設定したところ、英語の発音練習大会に発展し大変盛り上がりました。rightが得意な人、lightが得意な人、両方きっちり発音できるネイティブの人という格付けまでされていました。コマンドの設定次第でいろいろと遊べるかもしれません。
まとめ
Listnrを使えば、Wi-Fi経由で音声を録音できるようになりますのでアイディア次第で様々な応用が可能だと思います。例えば、Raspberry Piではなく、インターネット上のレンタルサーバーに音声をアップロードして、認識した音声を元にSNSへ投稿するなどの応用例も実現可能かと思います。何かおもしろい応用例を思いつかれた場合や、実装された場合はぜひ教えてください。
