JP6586617B2 - 音声認識装置、方法、及びコンピュータプログラム - Google Patents

Description

本発明は、周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する技術に関する。

従来、音声認識技術によって、利用者あるいは操作者等の音声による命令を認識することが行われている。
しかしながら、音声認識においては、マイクが周囲の複数の音源の音を同時に拾ってしまうことにより、ターゲットとなる人物の声に雑音が入ってしまい、認識率が落ちるという問題があった。

このような音声認識技術に絡んで、特許文献１には、意図した装置を動作させるための装置であって、視線検出手段によって視線が検出された場合に、音声入力手段に入力された音声に基づく命令の発信を判断する装置が記載されている。

また、特許文献２には、カメラで撮影した映像から顔画像を検出することにより、複数の人物から利用者を検出する対話装置が記載されている。

特開平１１−２４６９４号公報 特開２００３−４７６９２号公報

上記特許文献では、利用者等の視線や顔画像に基づき、利用者等が発話し始めた、あるいは発話しているかを把握できるが、利用者等の発話中の音声をそのまま入力するのでは、利用者の発話中に発せられる周囲のノイズを除去できず、利用者等の発話内容の認識率を好ましいものとすることはできない。

そこで、本発明は、周囲の音源の中から、認識すべき音源を検知するすると共に、ノイズを出来る限り除去した状態で、当該音源から発せられている音声を選択的に抽出することを目的とする。

上記目的を達成するため、自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する装置であって、所定の方向において発せられている音声を入力する音声入力手段と、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備え、上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する判別処理手段、を有することを特徴とする。

また、人から発せられた音声による操作指示情報を、所定の操作対象機器を操作するための指示信号に変換すると共に、当該変換した指示信号を当該操作対象機器に送信するリモートコントロール装置と、接続され、上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記リモートコントロール装置に送信する音声データ送信手段、をさらに有するものとしてもよい。

また、人から発せられた音声による操作指示情報と、当該操作指示情報に基づいて所定の操作対象機器を操作するための指示信号とを関連付けて記憶する信号情報記憶手段と、上記信号情報記憶手段を参照して、上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記操作対象機器を操作するための指示信号に変換する変換処理手段と、上記変換した指示信号を上記操作対象機器に発信する発信処理手段と、をさらに有するものとしてもよい。

また、上記検知手段は、モーションセンサであるものとしてもよい。

また、上記検知手段は、所定の方向に存する人の顔の向きを認識し、上記判別処理手段は、上記検知手段によって、所定の方向において、顔が自装置に向いている人の存在を検知した際に、当該顔が自装置に向いている人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別するものとしてもよい。

また、本発明の別の観点に係る音声認識方法は、所定の方向において発せられている音声を入力する音声入力手段と、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えた音声認識装置により、自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する方法であって、上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理、を実行することを特徴とする。

また、本発明のさらに別の観点に係るコンピュータプログラムは、所定の方向において発せられている音声を入力する音声入力手段と、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えた装置を、自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する音声認識装置として機能させるためのプログラムであって、上記装置に対し、上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理、を実行させる。

本発明によれば、複数の人物がいたり、様々な雑音を発する家電製品等があったりする状態でも、周囲の音声の中から、音声を取得すべき対象を的確に把握し、ノイズを抑えた音声を取得することができる。

本発明の実施形態に係る音声認識装置の概要を説明する概要図である。 本実施形態に係る音声認識装置が備える機能を示した機能ブロック図である。 本実施形態に係る音声認識装置と、リモートコントロール装置及び操作対象機器とが連携して実行される処理の流れを示したシーケンス図である。 本発明の第二の実施形態に係る音声認識装置が備える機能を示した機能ブロック図である。 本実施形態に係る音声認識装置による処理の流れを示した処理フロー図である。 本発明の第三の実施形態に係る音声認識装置が備える機能を示した機能ブロック図である。 本実施形態に係る音声認識装置において、音声を認識する処理の流れを示した処理フロー図である。

以下、本発明の実施形態に係る音声認識装置について、図を参照して説明する。
図１に示されるように、本実施形態に係る音声認識装置１は、自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する装置である。

この音声認識装置１は、自装置を中心とする周囲の所定の方向ごとに、所定の方向において発せられている音声を入力するマイク１１と、当該所定の方向に存する人の存在を検知するセンサ１２とを複数備えている。
図１の例では、自装置の周囲３６０度を８つの方向に分割し、分割した方向ごとに、一組のマイク１１とセンサ１２が割り当てられている。

マイク１１とセンサ１２は夫々、予め割り当てられた方向において音声を取得、あるいは人の存在を検知するデバイスである。

予め分割された方向ごとに、人の存在の検知と音声の入力が可能なことから、所定の方向から音声が発せられ、これがマイク１１に入力された場合において、センサ１２によって当該方向における人の存在が検知されたときは当該音声を人によるものとみなし、当該入力された音声を、人の発した有効な音声として判別する。
これにより例えば、音声情報に基づいて家電等を遠隔操作する場合には、音声認識装置１の周りにあるテレビやラジオの音声といった人以外が発する音声をノイズとして除去して、人が発する音声をクリアに取得し、より的確な遠隔操作を実現することができる。

図２により、本実施形態に係る音声認識装置１、及び当該音声認識装置１と接続されたリモートコントロール装置２が備える機能を示す。
音声認識装置１は、マイク１１及びセンサ１２を備えると共に、CPU（Central Processing Unit）などの演算装置、RAM（Random Access Memory）、ROM（Read Only Memory）などの記憶装置により、判別処理部１３及び通信処理部１４からなる機能ブロックを構成する。

マイク１１は、音声を入力するためのデバイスであって、指向性を有し、予め割り当てられた方向の音声を取得する。指向性、とりわけ特定の方向に対する指向性（単一指向性）を有することによって、所定の方向から発せられた音声を取得する。
センサ１２は、予め割り当てられた方向において、人の存在を検知するデバイスであって、本例では、赤外線によって人の存在を検知するモーションセンサによって実現されているが、そのほか、超音波や可視光などを用いた人感センサによって構成することもできる。

判別処理部１３は、センサ１２によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力するマイク１１によって入力された音声のみを、有効な音声として判別する処理を実行する。

通信処理部１４は、リモートコントロール装置２とデータの送受信を可能とする処理部である。
音声認識装置１とリモートコントロール装置２との接続は、有線あるいは無線等を問わず、データの送受信を可能とすることができれば、各種の方法によることができる。
音声認識装置１はこの通信処理部１４により、リモートコントロール装置２に対して、音声によって構成された操作指示情報を送信することができる。

リモートコントロール装置２は、所謂リモートコントローラ（リモコン）等による遠隔操作が可能な家電等の操作対象機器３に対し、具体的な動作を指示する指示信号を発信することにより、操作対象機器３を操作する装置である。
このリモートコントロール装置２は、CPU（Central Processing Unit）などの演算装置、RAM（Random Access Memory）、ROM（Read Only Memory）などの記憶装置により、信号情報記憶部２１、変換処理部２２、通信処理部２３、及び発信処理部２４からなる機能ブロックを構成する。

信号情報記憶部２１は、人から発せられた音声による操作指示情報と、当該操作指示情報に基づいて操作対象機器３を操作するための指示信号とを関連付けて記憶する記憶部である。
なお、指示信号は例えば、赤外線の発光パターンや、Bluetooth（登録商標）などの狭域通信信号等によって構成されており、信号情報記憶部２１を参照することによって、操作指示情報に対応した指示信号が把握される。

変換処理部２２は、信号情報記憶部２１を参照して、音声認識装置１において有効な音声として判別された、操作指示情報を構成する音声に係るデータを、操作対象機器３を操作するための指示信号に変換する処理を実行する。
この処理は、信号情報記憶部２１において、所定の操作指示情報と関連付けられている指示信号を抽出することによって実現される。

通信処理部２３は、音声認識装置１とデータの送受信を可能とする処理部である。
リモートコントロール装置２はこの通信処理部２３により、音声認識装置１から音声によって構成された操作指示情報を受信することができる。

発信処理部２４は、変換処理部２２によって、音声による操作指示情報から変換された指示信号を操作対象機器３に発信する処理を実行する。
なお、指示信号は例えば、赤外線の発光パターンのほか、Bluetooth（登録商標）などの狭域通信信号等によって構成され、発信処理部２４は、赤外線を発光あるいは狭域通信信号を発信するなど、操作対象機器３との間で指示信号を送信するのに必要なデバイスとして実現される。

以下、本実施形態に係る音声認識装置１と、リモートコントロール装置２及び操作対象機器３とが連携する処理の流れについて説明する。
まず、図３に示されるように、音声認識装置１は常時、マイク１１によって周囲から音声入力を受け付ける（Ｓ１０１）。
マイク１１によって周囲から音声入力を受け付ける処理が行われる一方で、音声認識装置１は、人の存在を検知するセンサ１２により、当該マイク１１が割り当てられている方向と同じ方向について、人が当該方向に存在するか否かを検知可能な状態で待機する（Ｓ１０２）。

その結果、音声入力を受け付けた方向に人の存在が検知された場合には、当該入力された音声を人によって発せられた有効なものとみなした上、当該入力された音声を有効なものとしてリモートコントロール装置２に送信する（Ｓ１０３）。

これに応じてリモートコントロール装置２は変換処理部２２により、信号情報記憶部２１を参照して、受信した音声が有効な操作指示情報として記憶されているか判別した上（Ｓ１０４）、有効な操作指示情報であった場合には、当該操作指示情報と関連付けられた指示信号を抽出することにより、操作指示情報を指示信号に変換する（Ｓ１０５）。

変換された指示信号は発信処理部２４により、操作対象機器３に対して発信される（Ｓ１０６）。
これにより、指示信号を受信した操作対象機器３が指示された操作を実行する（Ｓ１０７）。

以上の本実施形態によれば、所定の方向ごとに人の検知と音声入力を行い、人が検知された方向から発せられた音声のみを選択的に抽出することにより、人以外のものが発するノイズを除き、人によって発せられた音声を高い精度で認識することができる。

続いて、本発明の第二の実施形態に係る音声認識装置について説明する。
図４に示されるように、本実施形態に係る音声認識装置４は、上述したリモートコントロール装置２の構成を含んでおり、音声認識装置４単独で操作対象機器３に対する操作を実行することができる。
この音声認識装置４は、マイク４１及びセンサ４２を備えると共に、CPU（Central Processing Unit）などの演算装置、RAM（Random Access Memory）、ROM（Read Only Memory）などの記憶装置により、判別処理部４３、信号情報記憶部４４、変換処理部４５、及び発信処理部４６からなる機能ブロックを構成する。

なお、音声認識装置４が備える機能について、マイク４１、センサ４２、判別処理部４３、信号情報記憶部４４、変換処理部４５、及び発信処理部４６は夫々、上述したマイク１１、センサ１２、判別処理部１３、信号情報記憶部２１、変換処理部２２、及び発信処理部２４と同様の機能を有している。

次に、本実施形態に係る音声認識装置４による処理の流れについて、図５を参照して説明する。
音声認識装置４は常時、マイク４１によって周囲から音声入力を受け付ける（Ｓ２０１）。
マイク４１によって周囲から音声入力を受け付ける処理が行われる一方で、音声認識装置４は、人の存在を検知するセンサ４２により、当該マイク４１が割り当てられている方向と同じ方向について、人が当該方向に存在するか否かを検知可能な状態で待機する（Ｓ２０２）。

その結果、音声入力を受け付けた方向に人の存在が検知された場合には、当該入力された音声を人によって発せられた有効なものとみなした上、変換処理部４５により、信号情報記憶部４４を参照して、当該音声が有効な操作指示情報として記憶されているか判別する（Ｓ２０３）。
その結果、有効な操作指示情報であった場合には、当該操作指示情報と関連付けられた指示信号を抽出することにより、操作指示情報が指示信号に変換される（Ｓ２０４）。

変換された指示信号は発信処理部４６により、操作対象機器３に対して発信される（Ｓ２０５）。
これにより、指示信号を受信した操作対象機器３では、指示された操作が実行される。

以上の本実施形態によれば、操作対象機器３に対して音声認識装置４単独で、音声による操作指示情報に対応した指示信号を発信することができる。

続いて、本発明の第三の実施形態に係る音声認識装置について説明する。
図６に示されるように、本実施形態に係る音声認識装置５は、所定の方向ごとに、上述した第一の実施形態に係る音声認識装置１が備えたセンサ１２に代えてカメラ５２を備えている。このカメラ５２は、顔が自装置に向いている人の存在を検知した際に、当該顔が自装置に向いている人の存在を検知した方向において発せられている音声を入力するマイク５１によって入力された音声のみを、有効な音声として判別する。

この音声認識装置５は、マイク５１及びカメラ５２を備えると共に、CPU（Central Processing Unit）などの演算装置、RAM（Random Access Memory）、ROM（Read Only Memory）などの記憶装置により、判別処理部５３及び通信処理部５４からなる機能ブロックを構成する。

なお、音声認識装置５が備える機能について、マイク５１、判別処理部５３、及び通信処理部５４は夫々、上述したマイク１１、判別処理部１３、及び通信処理部１４と同様の機能を有している。
また、音声認識装置５は、第一の実施形態と同様、操作対象機器３を操作するリモートコントロール装置２と接続している。

カメラ５２は例えば、ＣＣＤカメラにより構成され、予め組み込まれたソフトウェアモジュールによって、撮影した画像データから人の顔の向きを認識することができる。この人の顔の向きを認識する処理は例えば、撮影して得られた画像データについてエッジ抽出を行った上、その中に人の顔が映っていた場合に、その目の黒めの方向を検出することによって行われる。

次に、本実施形態に係る音声認識装置５において、音声を認識する処理の流れを説明する。
まず、図７に示されるように、音声認識装置１は常時、マイク５１によって周囲から音声入力を受け付ける（Ｓ３０１）。
マイク５１によって周囲から音声入力を受け付ける処理が行われる一方で、音声認識装置５は、人の存在を検知するカメラ５２により、当該マイク５１が割り当てられている方向と同じ方向について映像データを取得し、当該映像データの中から、人の顔が検出されるか否かを判別する（Ｓ３０２）。

その結果、映像データの中に、人の顔が検出された場合には、当該人の顔の黒目の向きを把握することによって、映像データ中の人が自装置に顔を向けているか否かを判別する（Ｓ３０３）。

以上の判別処理により、自装置に顔を向けている人が検知された場合には、当該検知された人の方向からの音声入力を担うマイク５１に入力された音声を有効なものとみなした上、当該音声をリモートコントロール装置２に送信する（Ｓ１０３）。
なお、リモートコントロール装置２に対して音声のデータが送信された後の処理については、第一の実施形態において述べたのと同様である。

本実施形態によれば、人が音声認識装置５に対して音声によって構成された操作指示情報を発しているかを判別した上で、検知した人の音声入力を選択的に抽出することができる。

なお、本実施形態においては、所定の方向ごとに複数のカメラ５２を備える代わりに、音声認識装置５の周知全方向の映像を取得可能なカメラを備えさせ、当該カメラによって、自装置に顔を向けている人の存在を検知した際に、当該検知した人の方向の音声を取得するマイク５１の音声を有効なものとして抽出することもできる。

以上の本発明の実施形態においては、常時、マイク１１、４１、５１による音声入力を受け付けながら、センサ１２、４２あるいはカメラ５２によって人あるいは人の顔の向きを検知したが、センサ１２、４２あるいはカメラ５２によって人あるいは人の顔の向きを検知した際に、人を検知した方向の音声を取得すマイク１１、４１、５１を起動させ、当該方向の音声を選択的に抽出するようにすることもできる。

１ 音声認識装置
１１ マイク
１２ センサ
１３ 判別処理部
１４ 通信処理部
２ リモートコントロール装置
２１ 信号情報記憶部
２２ 変換処理部
２３ 通信処理部
２４ 発信処理部
３ 操作対象機器
４ 音声認識装置
４１ マイク
４２ センサ
４３ 判別処理部
４４ 信号情報記憶部
４５ 変換処理部
４６ 発信処理部
５ 音声認識装置
５１ マイク
５２ カメラ
５３ 判別処理部
５４ 通信処理部

Claims (6)

1. 自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する装置であって、
   所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えると共に、
   人から発せられた音声による操作指示情報を、所定の操作対象機器を操作するための指示信号に変換すると共に、当該変換した指示信号を当該操作対象機器に送信するリモートコントロール装置と、接続され、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する判別処理手段と、
   上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記リモートコントロール装置に送信する音声データ送信手段、を有する、
   ことを特徴とする音声認識装置。
2. 自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する装置であって、
   所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備え、
   人から発せられた音声による操作指示情報と、当該操作指示情報に基づいて所定の操作対象機器を操作するための指示信号とを関連付けて記憶する信号情報記憶手段と、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する判別処理手段と、
   上記信号情報記憶手段を参照して、上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記操作対象機器を操作するための指示信号に変換する変換処理手段と、
   上記変換した指示信号を上記操作対象機器に発信する発信処理手段と、を有する、
   ことを特徴とする音声認識装置。
3. 所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えると共に、
   人から発せられた音声による操作指示情報を、所定の操作対象機器を操作するための指示信号に変換すると共に、当該変換した指示信号を当該操作対象機器に送信するリモートコントロール装置と、接続された音声認識装置により、
   自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する方法であって、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理と、
   上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記リモートコントロール装置に送信する処理と、を実行する、
   ことを特徴とする音声認識方法。
4. 所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えると共に、
   人から発せられた音声による操作指示情報を、所定の操作対象機器を操作するための指示信号に変換すると共に、当該変換した指示信号を当該操作対象機器に送信するリモートコントロール装置と、接続された装置を、
   自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する音声認識装置として機能させるためのプログラムであって、
   上記装置に対し、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理と、
   上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記リモートコントロール装置に送信する処理と、を実行させる、
   コンピュータプログラム。
5. 所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えると共に、
   人から発せられた音声による操作指示情報と、当該操作指示情報に基づいて所定の操作対象機器を操作するための指示信号とを関連付けて記憶する信号情報記憶手段、を有する音声認識装置により、
   自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する方法であって、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理と、
   上記信号情報記憶手段を参照して、上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記操作対象機器を操作するための指示信号に変換する処理と、
   上記変換した指示信号を上記操作対象機器に発信する処理と、を実行する、
   ことを特徴とする音声認識方法。
6. 所定の方向において発せられている音声を入力する音声入力手段と、
   モーションセンサ又は人感センサからなり、上記所定の方向に存する人の存在を検知する検知手段とを、自装置を中心とする周囲の所定の方向ごとに複数備えると共に、
   人から発せられた音声による操作指示情報と、当該操作指示情報に基づいて所定の操作対象機器を操作するための指示信号とを関連付けて記憶する信号情報記憶手段、を有する装置を、
   自装置の周囲で発せられた音声のうち、人の発した音声を認識して、当該音声のみを選択的に抽出する音声認識装置として機能させるためのプログラムであって、
   上記装置に対し、
   上記検知手段によって、所定の方向において人の存在を検知した際に、当該人の存在を検知した方向において発せられている音声を入力する音声入力手段によって入力された音声のみを、有効な音声として判別する処理と、
   上記信号情報記憶手段を参照して、上記有効な音声として判別され、上記操作指示情報を構成する音声に係るデータを、上記操作対象機器を操作するための指示信号に変換する処理と、
   上記変換した指示信号を上記操作対象機器に発信する処理と、を実行させる、
   コンピュータプログラム。

Images