音声認識でHOUSEの照明を点けたり消したりしてみた

この記事はCAMPHOR- Advent Calendar 2016の14日目の記事です。

こんにちは @siriusjack です。去年に引き続き HOUSE ネタを今回も投稿してみたいと思います。CAMPHOR-HOUSE の照明は OB からの寄贈により一部 Philips Hue が採用されています。この照明を取りまとめている親機には REST API が用意されており外部からHTTP経由で照明の状態を変化させることが可能なため、昨年は Slack CAMPHOR- の Slack に bind されている Slack + Hubot 経由で on/off 操作を行ってみました。今年はその操作を音声認識経由で行ってみたのでその内容を一部紹介します。

動機

HOUSEの照明はもともと Slack 上の Hubot 経由で操作可能ではありますが、その操作が日常使いでは少々面倒だと感じる部分が多かったというのが一番の動機です。例えば、夜に HOUSE の戸締まりをして帰る際、今までは以下の作業が必要でした。

  1. 携帯をポケットから取り出す
  2. Slack を起動する
  3. HubotがListenしている適当なChannelを探す(e.g. playground)
  4. bot lights off コマンドを入力

この作業が音声認識になれば

  1. HOUSEに向かって話しかける

に短縮できて楽なのでは?というのが今回検証してみたかったことです。

全体の構成

ざっくりした全体の構成と対応する機器を以下に載せます。

https://gyazo.com/01399eb804c723c0fc26aaae5d2c5904

ソフトウェア

  • 音声認識エンジン: Julius

ハードウェア

  • Main board: Raspberry Pi 2
  • USB Microphone: サンワサプライ MM-MCUSB21BK

処理の流れは以下です。

  1. 音声認識エンジン (Julius) により HOUSE 内の音声から認識結果を出力
  2. 認識結果のストリームの中から照明操作に関わる内容があれば抽出
  3. 抽出内容に応じて Philips Hue の REST API を叩く

では、実際に行った作業に移りましょう。

セットアップ

まず、Julius を使って HOUSE 内の音声から音声認識結果を生成します。Julius は-moduleオプションを付けて起動すると音声認識内容を\n.\n区切りのxmlで出力し続ける tcp server として動作させることができます。デフォルトではport#10500で接続を待ち受けて接続があると認識結果をその都度出力し続けてくれます。この出力を適当に処理して正規化しパターンマッチにより人間が求めているコマンドに対応付けることが今回のゴールになります。

具体的にはまず認識してしてほしい用語を Julius に登録し、登録した用語が検出されたタイミングで対応するコマンドを発行し、Hueを点けたり消したりします。

音声認識には Julius のには以下のような単語リスト(word.list)を登録しました。

sil [] silB
sil [] silE
sp [] sp
ボット [ぼっと] b o q t o
ホット [ほっと] h o q t o
ボットライトオン [ぼっとらいとおん] b o q t o r a i t o o n
ボットライトオフ [ぼっとらいとおふ] b o q t o r a i t o o h u
ライト [らいと] r a i t
コーヒー [コーヒー] k o: h i

実際に辞書を用いて julius をモジュールモードで実行すると例えば以下のような出力が得られます。以下は試しに得られた出力をそのまま表示してみたものです。

https://gyazo.com/08c4f75715e20d288a0c68d775584bda

この結果を適当にparseして利用してみましょう。

そこで次の段階として、以下のような Python Script を用いて、Julius の出力が順に得られる stream から音声認識内容を表す <WHYPO/> 要素のみを取り出し、Attribute を整形して json で出力する以下のフィルターを作成してみました。

これを適用すると以下のような出力が得られます。

https://gyazo.com/fe68eacef5fe21cff8a9c96ebce640bd

ここまで来ればあとは認識された言葉に応じてコマンドを実行すればOKです。今回は”ボットライトオン”で照明ON、”ボットライトオフ”で照明OFFのAPIを叩く設定にし、実際に稼働させてみることにしました。今後しばらく使ってみて新たな気付きがあれば追記してみたいと思います。

またもし実装の詳細が知りたい場合は今回作ったものを以下に公開しておきますので、よければ参考にしてみてください。

https://github.com/siriusjack/house_vcontroller

次はKojiAomatsuの記事です。明日もお楽しみに。

参考サイト

http://usicolog.nomaki.jp/engineering/raspberryPi/raspberryPi_Julius.html

http://d.hatena.ne.jp/penkoba/20130928/1380351297

 


コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です