JP4757786B2 - 音源方向推定装置、音源方向推定方法、及びロボット装置 - Google Patents

Description

本発明は、音源が存在する方向を推定する技術に関し、特に、音源からの音声情報とその音源が存在する方向を推定する為に収集した音声情報以外の情報とを用いて音源が存在する方向を推定する技術に関する。

音源方向を同定する技術として特許文献１が挙げられる。この特許文献１に記載されている技術を、図６を参照して説明する。

図６は、特許文献１に記載されているマイクロホンユニットのブロック図である。図６に示すように、特許文献１に記載されているマイクロホンユニット１１０は、第１のマイク１１１および第２のマイク１１２を内蔵している。

第１のマイク１１１には、音源からの音情報が入力される。第２のマイク１１２にも、第１のマイク１１１と同様に、音源からの音情報が入力される。マイクロホンユニット１１０内部において、第１のマイク１１１および第２のマイク１１２は一定距離を隔てて設けられており、音源からの音情報をそれぞれ独立して集音し、それぞれが音声信号を出力する。そして、各マイクからの出力は、音源方向同定部１２０に入力され、各マイクからの音声信号の位相差や減衰量等に基づいて音源の方向の同定が行われている。更に、特許文献１の技術では、音源方向同定部１２０で同定された音源方向の情報をモータ制御部１３０に入力させ、この情報に基づいて頭部稼働用モータ１４０に適切な制御命令を与えてロボットの頭を稼働させている。

また、音源方向を同定する技術として特許文献２の技術がある。特許文献２の技術は、左右一対のマイク部を装備させ、このマイク部から入力された音声を音声認識部で叫び声や声の方向や音量などをパラメータとして言語処理を行い、更に、左右のマイク部間の音圧差及び音の到達時間差に基づいて音源を認識し、この認識した方向にカメラを向けて画像情報に基づいて人物を検出している。
特開２００３−１７２７７３号公報 特開２００４−２９８９８８号広報

上記の特許文献１及び特許文献２の技術は、複数のマイクからの入力による音情報のみによって音源方向の同定を行っているため、音の反射や干渉を含む周囲の雑音、音源の音声出力レベル等のような達成性能の阻害要因や環境に求める条件指標が高く、また、外的要因の変動により安定した性能確保ができないという問題点がある。

また、複数のマイクから入力される音情報の位相差を得る必要があるため、一定距離を隔てた上で平面(同一指向性)に近いマイク配置を求められ、音源方向同定システムを搭載する装置自体のサイズの肥大化を余儀なくされ、装置サイズの小型化と品質確保とが両立できないという問題点がある。

そこで、本発明が解決しようとする課題は、上記問題点を解決することであって、対雑音耐力向上のため、音響効果のみで音源方向の特定をせず、音声とセンサが収集した情報とを用いて簡易的に且つ総合的に音源の同定を行うことである。

また、本発明が解決しようとする課題は、音源が存在する方向の推定において、より小規模な構成で且つコストも削減できる音源方向の推定を実現することである。

上記課題を解決するための第１の発明は、音源が存在する方向を推定する音源方向推定装置であって、
音声の有無を検出する音声検出手段と、
物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段と、
前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出手段が音声を検出したかを確認し、音声を検出した場合に前記物体を検知した物体検知手段の検知範囲に基づいて、音源が存在する方向を推定する音源方向推定手段と
を有することを特徴とする。

上記課題を解決するための第２の発明は、上記第１の発明において、前記物体検知手段は、赤外線センサ、超音波センサ、又はタッチセンサであることを特徴とする。

上記課題を解決するための第３の発明は、音源が存在する方向を推定する音源方向推定方法であって、
音源からの音声の有無を検出する音声検出ステップと、
物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段が物体を検知する検知ステップと、
前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出ステップで音声が検出されたかを確認し、音声が検出された場合に前記物体を検知した物体検知手段の検知範囲に基づいて、前記音源が存在する方向を推定する音源方向推定ステップと
を有することを特徴とする。

上記課題を解決するための第４の発明は、上記第３の発明において、前記検知ステップは、赤外線又は超音波を用いて前記物体が存在するかを検知することを特徴とする。

上記課題を解決するための第５の発明は、上記第３又は第４の発明において、前記検知ステップは、物体の接触があるかを検知することを特徴とする。

上記課題を解決するための第６の発明は、ロボット装置であって、
音声の有無を検出する音声検出手段と、
物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段と、
前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出手段が音声を検出したかを確認し、音声を検出した場合に前記物体を検知した物体検知手段の検知範囲に基づいて、音源が存在する方向を推定する音源方向推定手段と、
前記推定した方向に自装置の正面を対向させる駆動手段と
を有することを特徴とする。

上記課題を解決するための第７の発明は、上記第６の発明において、
前記物体検知手段は、赤外線センサ、超音波センサ、又はタッチセンサであることを特徴とする。

本発明は、音源の方向の特定にあたって、音源からの音情報を収集するマイクだけで行うのではなく、赤外線センサや超音波センサやスイッチ等によって音源の方向を特定するための情報を補完して、音源方向の同定精度を向上させることを特徴とする。

本発明によると、音源からの音情報を得る為のマイクだけでなく音源の方向の特定を補完するセンサを装備しているので、周囲雑音や音声の反射・減衰による影響を受けにくく、音源の方向の特定精度を向上することができる。

また、本発明によると、一定距離を隔てた上で平面(同一指向性)に近いマイク配置を求めないため、装置形状、即ち音源に対して正対する部分の面積を小型化することができる。

更に、本発明によると、マイクと併用するセンサ配置によって音源方向検出範囲を限定できるので、音源同定ではなく音源の位置する範囲を推定することができる。

本発明は、音源が存在する方向を推定する技術であり、本発明の特徴を説明するために、以下において図面を参照して述べる。

図１は、本発明における音源方向推定装置のブロック図である。

音源方向推定装置は、マイク１０と、増幅器２０と、センサ３０（１〜ｎ＋１：ｎは自然数）と、マイコン４０とを有する。

マイク１０は、自装置の周辺からの一定以上の音声を受信して、音声信号として出力する。

増幅器２０は、マイク１０からの音声信号のうち、主信号となる音声信号のみを増幅して出力する。

センサ３０は、複数のセンサ３０−１、センサ３０−２、・・・センサ３０−ｎ、センサ３０−ｎ＋１が設けられており、各々が指向性を持ち、特定方向における人等の生体を含む物体の存在有無に関する、音声情報以外の情報を収集して生体等の物体の存在を検知する。また、センサ３０を１つのみ配置させる場合、センサ３０はロボット装置の周囲の各方向に対して生体等の物体の存在有無に関する情報を収集して生体等の物体の存在を検知し、その旨を示す検知情報を出力する。

マイコン４０は、増幅器２０からの音声信号とセンサ３０からの検知情報とに基づいて、音源である物体を検知したセンサを特定し、そのセンサの検知範囲に基づいて音源の方向を推定する。

以下において、実施例を用いて、本発明の特徴を具体的に説明する。

図２は、本発明の音源方向推定装置を搭載したロボット装置のブロック図である。尚、このロボット装置は、本発明の一実施例である。

マイク１０は、自装置の周辺からの一定以上の音声を受信して、音声信号として出力する。マイク１０は、複数個配置させても良いが、以下の説明においては１つだけ設けられている場合を用いて説明する。マイクを複数個配置させる場合は、それぞれ単一指向性の特徴を活かし、指向範囲の重複を避けて配置することで、広範囲の音声情報を受信可能とさせる。

増幅器２０は、マイク１０からの音声信号のうち、主信号となる音声信号のみを増幅して出力する。

センサ３０は、複数のセンサ３０−１、センサ３０−２、・・・センサ３０−ｎ、センサ３０−ｎ＋１が設けられており、各々が指向性を持ち、特定方向における人等の生体を含む物体の存在有無を検知する。センサ３０は、受信可能範囲に依って複数個配置させる場合、受信可能範囲が互いに重複しないように配置することが望ましい。尚、以下の説明においては、センサを複数個設けた場合を用いて説明するが、センサ３０を１つのみ配置させる場合、センサ３０はロボット装置の周囲の各方向に対して生体等の物体が存在するかを検知し、その旨を示す検知情報を出力する。

ここで、センサ３０について一例を挙げて説明する。

図３は、センサ３０の機能を説明するための図である。図３に示されているセンサ３０は、センサの一例である焦電型赤外線センサを示している。この焦電型赤外線センサは、生体等の物体の熱移動を検出したりして、熱源の変化等に基づいて生体等の物体の存在を認識する。センサ３０は、受信可能範囲に依って複数個配置させる場合、受信可能範囲の重複を避けて配置することが望ましい。また、センサ３０を１つのみ配置させる場合、センサ３０はロボット装置の周囲の各方向に対して生体等の物体が存在するかを検知する。尚、焦電型赤外線センサは、当業者にとって周知の技術であり、その詳細な構成は本発明の主題ではないので詳細な説明は省略する。

上記では、センサ３０の一例として焦電型赤外線センサを挙げたが、焦電型赤外線センサ以外にも、超音波センサや光電型赤外線センサ、更に検知対象である生体等の物体が直接的にロボット装置への接触が方向の検出のトリガとなるタッチセンサ(スイッチ)であってもよく、生体等の物体の存在を検知又は検出できるものであれば良い。検出の目標とする方向、検出範囲、分解能、距離によってもセンサ選定基準は変わるため、最適なセンサを選定する必要がある。

マイコン４０は、センサからの検知情報を入力するセンサ入力部をセンサと同一個数分有し、増幅器２０からの音声信号が入力されるアナログ入力部を有する。このセンサ入力部に入力された検知情報とアナログ入力部から入力された音声情報とに基づき、信号処理にて演算を行い、音源である物体を検知したセンサを特定し、そのセンサの検知範囲に基づいて音源の方向を推定する。そして推定した結果を音源方向情報として出力する。また、マイコン４０は、アナログ入力信号のフィルタ設定値(閾値)を調整することで、対象とする音源である人等から発音された音声と周囲雑音とを区別して検知目標の音声（主音声）のみを抽出し、音源の方向を推定するために用いている。

駆動システム制御部５０は、マイコン４０で推定された音源の方向を示す音源方向情報に基づいて、駆動システム６０を制御する。尚、駆動システム制御部５０については、マイコン４０の一機能としてマイコン４０に動作させても良い。尚、隣接する複数のセンサが物体を検知した場合、それらの中間の方向にロボット装置の正面が向くように設定したりロボット装置を転回しないように設定したりなど、駆動システム制御部５０に設定する判定基準により、駆動システムの動作を決定することもできる。

駆動システム６０は、駆動システム制御部６０からの制御信号に従い、モーター７０を回転させロボット装置の可動部を制御し、推定した音源の方向に自装置の正面が正対するよう転回させる。この場合、音源の方向を人が存在する方向として捉えるものとする。尚、駆動システム６０については、ロボット装置において、音源が存在する方向を推定する技術の一利用例として記述したもので、駆動システム６０を構成させなくても本発明の主目的は実現できる。

次に、本発明の音源方向推定装置を搭載したロボット装置の動作を、図４を用いて説明する。尚、以下の説明においては、センサ３０は図３に示した焦電型赤外線センサを用いて説明する。

図４は、本発明の音源方向推定装置を搭載したロボット装置の動作を説明するためのフロー図である。

音源が存在する方向の推定が開始されると（ステップＳ１０１）、各センサ３０は自身の検出範囲内において生体等の物体による熱源移動の検出を開始する（ステップＳ１０２）。

熱源移動を検出したセンサは、熱源移動が検出されたことを示す熱源移動検出情報をマイコン４０に送出し、マイコン４０はその熱源移動検出情報を受信すると、熱源移動を検出したセンサを特定する（ステップＳ１０３）。

検出したセンサの特定ができると、その情報を保持し、マイク１０（増幅器２０）からの音声信号の有無を確認する（ステップＳ１０４）。

マイク１０から音声信号の入力がある場合は、マイコン４０内部は入力された音声信号をフィルタ閾値と比較して有効な入力であるかを判定する（ステップ１０５）。

マイク１０からの音声信号が有効入力であると判定された場合、マイコン４０は保持している熱源移動を検出したセンサの検出範囲に基づいて、音源が存在する方向の推定処理を行う（ステップＳ１０６）。

音源の方向を推定すると、音源の方向を示す情報を駆動システム制御部５０に送出し、対応するリアクションを開始するように駆動システム６０に指示を発行し、この指示を受けてモータ７０はロボット装置の正面を音源の方向に対向させるように駆動を開始する（ステップ１０７）。

上記のように、本願では、装置周辺からの音声入力に対し、音響効果のみによる音源方向同定手段だけでなく、センサによる生体等の物体の検知情報を加味させた上で音源が存在する方向を推定しているので、音響効果のみで音源を同意鄭させる場合と比較して雑音耐力を改善することができる。また、センサおよびマイクの配置、数量によって音源の方向を推定する分解能を限定または細分化することができ、音源方向の特定精度を任意に選択できる。尚、本願では、入力された音声信号のレベルが一定以上ない場合もセンサによって生体等の物体の検出が可能となり、より正確な音源および人のいる方向の検出が可能となる。

次に、上記とは異なる構成の実施例２について説明する。基本的構成は上記と同様であるが、マイコン４０についてさらに工夫している。尚、上記と同様の構成については同一の番号を付し、詳細な説明は省略する。

図６は、実施例２のブロック図である。図６に示すように、本実施例においては、マイコン４０の代わりに複数の加算器が設けられている。

センサ３０は、ロボット装置周辺の特定方向に指向性を有し、自身の検知範囲内における生体等の物体の存在有無を検知するための情報を収集して、生体等の物体の存在有無を検知する。生体等の物体を検知した時には”１”、未検知の時は”０”を出力する。

増幅器２０は、マイク１からの主信号である音声部分のみを増幅し、比較器９０に出力する。

比較器８０は、増幅器２０が増幅した音声信号のレベルに対し、外付け回路によって設定されている閾値と比較し、閾値を超えた場合は”１”、閾値以下の場合は”０”を各加算器９０に出力する。

加算器９０は、センサの個数と同じ数だけ設けられており、センサ毎に１つの加算器が接続されている。また、各加算器９０は、比較器８０が接続されている。加算器９０は、比較器８０とセンサ３０との両方の出力信号が”１”の場合、”１”を出力する。本実施例では、このような構成によって、簡易的に音源の方向を推定する。

駆動システム制御部５０は、加算器９０−１〜加算器９０−ｎ+１からの出力信号が”１”である加算器の検知範囲に基づいて、駆動システムを制御する。

駆動システム６０は、駆動システム制御部５０からの制御信号に従い、モータ７０を回転させ、ロボット装置の可動部を制御して音源が存在する方向にロボット装置が正対するよう転回させる。この場合、推定された音源方向を人等の物体が位置している方向として捉えるものとする。尚、隣接する複数のセンサが物体を検知した場合、それらの中間にロボット装置の正面が向くように設定したりロボット装置を転回しないように設定したりなど、駆動システム制御部５０に設定する判定基準によって駆動システムの動作を決定させてもよい。

このように、本実施例では、音源の方向を推定するためのマイコンを削除し、マイコンによる高度なマイク入力フィルタ処理や位置推定処理を省略しているので、簡易的な方向の推定とはなるがコスト低減という効果が得られる。

上記のように、本願では、装置周辺からの音声入力に対し、音響効果のみによる音源方向同定手段だけでなく、センサによる方向検出情報を加味した上で音源方向の同定を判断しているので、音響効果のみの場合と比較し、雑音耐力を改善できる。また、センサおよびマイクの配置、数量によって音源方向検出の分解能を限定または細分化でき、音源方向の検出精度を選択できる。尚、音声入力が一定以上ない場合もセンサによって人の検出が可能となり、より正確な音源および人のいる方向の検出が可能となる。

図１は、本発明の音源方向推定装置のブロック図である。 図２は、本発明の音源方向推定装置を搭載したロボット装置のブロック図である。 図３は、センサの一実施例を説明するための図である。 図４は、本発明の動作を説明するためのフロー図である。 図５は、本発明の実施例２の音源方向推定装置を搭載したロボット装置のブロック図である。 図６は、従来技術を説明するための図である。

符号の説明

１０ マイク
２０ 増幅器
３０ センサ
４０ マイコン
５０ 駆動システム制御
６０ 駆動システム
７０ モータ
８０ 加算器

Claims (7)

1. 音源が存在する方向を推定する音源方向推定装置であって、
   音声の有無を検出する音声検出手段と、
   物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段と、
   前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出手段が音声を検出したかを確認し、音声を検出した場合に前記物体を検知した物体検知手段の検知範囲に基づいて、音源が存在する方向を推定する音源方向推定手段と
   を有することを特徴とする音源方向推定装置。
2. 前記物体検知手段は、赤外線センサ、超音波センサ、又はタッチセンサであることを特徴とする請求項１に記載の音源方向推定装置。
3. 音源が存在する方向を推定する音源方向推定方法であって、
   音源からの音声の有無を検出する音声検出ステップと、
   物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段が物体を検知する検知ステップと、
   前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出ステップで音声が検出されたかを確認し、音声が検出された場合に前記物体を検知した物体検知手段の検知範囲に基づいて、前記音源が存在する方向を推定する音源方向推定ステップと
   を有することを特徴とする音源方向推定方法。
4. 前記検知ステップは、赤外線又は超音波を用いて前記物体が存在するかを検知することを特徴とする請求項３に記載の音源方向推定方法。
5. 前記検知ステップは、物体の接触があるかを検知することを特徴とする請求項３又は請求項４に記載の音源方向推定方法。
6. ロボット装置であって、
   音声の有無を検出する音声検出手段と、
   物体を検知する検知範囲が重複しないように複数個設けられている物体検知手段と、
   前記物体検知手段のうちいずれかの物体検知手段が物体を検知すると、前記音声検出手段が音声を検出したかを確認し、音声を検出した場合に前記物体を検知した物体検知手段の検知範囲に基づいて、音源が存在する方向を推定する音源方向推定手段と、
   前記推定した方向に自装置の正面を対向させる駆動手段と
   を有することを特徴とするロボット装置。
7. 前記物体検知手段は、赤外線センサ、超音波センサ、又はタッチセンサであることを特徴とする請求項６に記載のロボット装置。

Images