JP6977448B2 - 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム - Google Patents

機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム Download PDF

Info

Publication number
JP6977448B2
JP6977448B2 JP2017186313A JP2017186313A JP6977448B2 JP 6977448 B2 JP6977448 B2 JP 6977448B2 JP 2017186313 A JP2017186313 A JP 2017186313A JP 2017186313 A JP2017186313 A JP 2017186313A JP 6977448 B2 JP6977448 B2 JP 6977448B2
Authority
JP
Japan
Prior art keywords
power correction
target area
unit
correction coefficient
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017186313A
Other languages
English (en)
Other versions
JP2019062435A (ja
Inventor
啓太 川端
茂 立澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017186313A priority Critical patent/JP6977448B2/ja
Publication of JP2019062435A publication Critical patent/JP2019062435A/ja
Application granted granted Critical
Publication of JP6977448B2 publication Critical patent/JP6977448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムに関し、例えば、収音情報に基づいてテレプレゼンスロボットを制御するコミュニケーションシステムに適用し得る。
近年、遠隔地のユーザが遠隔操作によりロボット（対話装置）を制御し、対話装置を介して別の拠点に存在する他のユーザ（対話者）とコミュニケーションを図るコミュニケーションシステムが知られている。上記のようなコミュニケーションを主目的とした遠隔操作可能な対話装置は、特に、テレプレゼンスロボットとも呼ばれる。
ところで、テレプレゼンスロボットをはじめとする対話装置は、雑音を排除して対話者のみの声を収音できれば、その分だけ、コミュニケーションを円滑に図ることができる。例えば、特許文献１に示すようなエリア収音技術を対話装置に適用することが考えられる。エリア収音技術は、特定の範囲（以下、「目的エリア」）のみ収音することで背景の雑音などを抑制する技術である。
また、対話装置は、対話装置の位置を対話者と適切な位置に制御することが重要である。例えば、特許文献２では、対話装置と対話者の距離と、撮影した対話者の表示映像が適切な表示となるように、対話装置の位置の制御と、映像表示部の表示を制御することで、ユーザの操作を支援する方法が提案されている。また、特許文献３では、複数の収音ビームを用いて、収音した音の中で最もパワーの大きい収音範囲を、音源の位置として推定する音源位置推定が提案されている。
特許第５４８２８５４号公報 特開２０１６−２２５８７５号公報 特許第４８６７５７９号公報
しかしながら、上記特許文献１〜３に記載の技術を対話装置に適用したとしても、以下のような問題が存在する。
特許文献１に記載の技術は、目的エリアのみを収音するため、収音した音を聞き続けるためには音源（対話者）が常に目的エリア内に位置するようにしなければならない問題が存在する。
また、特許文献２に記載の技術では、映像が判断材料となるため、制御された対話装置の収音範囲に対話者が位置するとは限らない問題が存在する。特に、エリア収音装置（例えば、マイクロフォンアレイ）を収音装置として用いた場合、対話者を収音範囲に位置させることが困難である。
そして、特許文献３の技術は、収音ビームの収音範囲の外に音源があったときに位置推定が困難になる問題が存在する。
そのため、精度良く目的エリア内に音源が位置するように対話装置の位置を制御する機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムが望まれている。
第１の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置であって、（１）上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、（２）上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部とを有し、（３）さらに、上記機器は、移動機構を備える移動機器であり、（４）上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御する対目的エリア移動制御部と、（５）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（６）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（７）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
第２の本発明の機器制御プログラムは、複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置に搭載されるコンピュータを、（１）上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、（２）上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部として機能させ、（３）さらに、上記機器は、移動機構を備える移動機器であり、（４）上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御する対目的エリア移動制御部と、（５）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（６）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（７）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部として機能させることを特徴とする。
第３の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置に使用する機器制御方法であって、エリア内有音判定部及び目的エリア変更部を有し、（１）上記エリア内有音判定部は、上記目的エリア内に音源が存在するか否かを判定し、（２）上記目的エリア変更部は、上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させ、（３）さらに、上記機器は、移動機構を備える移動機器であり、対目的エリア移動制御部、パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、（４）上記対目的エリア移動制御部は、上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御し、（５）上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、（６）上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、（７）上記移動方向決定部は、上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする。
第４の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、（１）上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、（２）上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部と、（３）上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、当該対話装置の位置を制御する対目的エリア移動制御部と、（４）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（５）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（６）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、当該対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
第５の本発明は、第１の対話装置および第２の対話装置を備え、少なくとも前記第１の対話装置および第２の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、前記第１の対話装置および第２の対話装置の少なくとも一方に第４の本発明の対話装置を適用したことを特徴とする。
本発明によれば、精度良く目的エリア内に音源が位置するように対話装置の位置を制御することができる。
実施形態に係る対話装置の機能的構成について示すブロック図である。 実施形態に係るコミュニケーションシステムの全体構成を示す図である。 実施形態に係る対話装置の処理を示すフローチャートである。 実施形態に係る各マイクロホンアレイの収音範囲と音源との位置関係を示す図である（その１）。 実施形態に係る各マイクロホンアレイの収音範囲と音源との位置関係を示す図である（その２）。 実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。 実施形態に係る図６のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。 実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。
（Ａ）主たる実施形態
以下、本発明に係る機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムの一実施形態を、図面を参照しながら説明する。
（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図２は、実施形態に係るコミュニケーションシステムの全体構成を示す図である。図２において、コミュニケーションシステム１は、対話装置５と、情報端末２０と、対話装置５及び情報端末２０と通信可能なサーバ３０とを有している。
コミュニケーションシステム１は、別の拠点にある対話者同士が、対話を行うことができ、さらに、一方の拠点側の情報端末２０を操作する者が、他の拠点側の対話装置５を遠隔操作することができるシステムである。
情報端末２０は、対話装置５を遠隔操作する側に設けられる対話装置である。例えば、情報端末２０は、音声データをサーバ３０に送信するとともに、サーバ３０から送信されてきた音声データを出力する。また、情報端末２０は、対話装置５を遠隔操作するための入力を受け付け、サーバ３０に送信する。情報端末２０としては、タブレット端末、スマートフォン、パーソナルコンピュータなどを適用することができる。
対話装置５は、例えば、テレプレゼンスロボットのような対話装置であって、対話装置５を移動させる移動機構と、エリア収音部と、エリア収音部の収音範囲内に音源が位置するように対話装置５を制御する制御部とを備える。対話装置５は、収音した音声データをサーバ３０に送信するとともに、サーバ３０から送信されてきた音声データを出力する。また、対話装置５は、遠隔操作するための信号をサーバ３０から受信すると、その信号に従い動作する。なお、対話装置５及び上記情報端末２０は、第１の対話装置又は第２の対話装置の一例である。
本実施形態の特徴を簡単に述べると、第１に対話装置５が特定の範囲のみを収音するエリア収音部を有することである。第２にエリア収音の目的エリア内に音源がないとき、目的エリアの位置を変更することで音源が目的エリア内に位置するように探索することである。第３にエリア収音の目的エリア内の音源の位置を、目的エリアの中心に位置するように対話装置５を制御することである。第４に、音源を発見すること、音源の位置を目的エリアの中心にすることのためにエリア収音部によって得られた情報（後述するパワー補正係数等）を用いることで、エリア収音部をセンサとして活用することである。次に上記特徴１〜４を有する対話装置５の詳細な構成について述べる。
（Ａ−１−２）対話装置５の詳細な構成
図１は、実施形態に係る対話装置の機能的構成について示すブロック図である。
図１において、対話装置５は、エリア収音部１０と、パワー補正係数保持部１２と、移動方向決定部１３と、移動制御部１４と、移動機構１５と、エリア内有音判定部１６と、目的エリア変更部１７と、対目的エリア移動制御部１８とを有する。
エリア収音部１０は、パワー補正係数算出部１１を備え、複数のマイクロホンアレイｍとその指向性ビームフォーマを用いて目的エリア内のエリア音を収音するものである。ここで、ビームフォーマ（ＢＦ）は、加算型の遅延和法、減算型のスペクトル減算法（以下、ＳＳとも呼ぶ。）等の各種手法を用いることができる。この実施形態では、２つのマイクロホンアレイｍ１、ｍ２を用いる例を示すが、マイクロホンアレイｍの数は特に限定されるもので無い。
図８は、実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。図８で示すように、マイクロホンアレイｍ（ｍ１、ｍ２）は、マイクロホンアレイｍの正面中央の範囲（範囲Ｌ１）では、音圧レベルが高く、マイクロホンアレイｍに接近する左右の範囲（左下の範囲Ｌ２、右下の範囲Ｌ３）では音圧レベルが低い特性を示す。
また、エリア収音部１０は、目的エリア変更部１７から収音範囲を変更するためのマイクロホンアレイｍ１、ｍ２のビームフォーマの指向性を決定するパラメータを受信し、受信したパラメータに従って、マイクロホンアレイｍ１、ｍ２を制御する。エリア収音した音響信号は、エリア内有音判定部１６に送信され、マイクロホンアレイｍ１、ｍ２で収音した音響信号は、目的エリア変更部１７に送信される。
エリア内有音判定部１６は、エリア収音部１０から受信した音響信号により（例えば、音響信号のパワーの大きさにより）、目的エリアに音源が存在するか否か判定するものである。
目的エリア変更部１７は、エリア収音部１０のマイクロホンアレイｍ１、ｍ２から音響信号を受信し、各マイクロホンアレイｍ１、ｍ２に含まれる音から、どのマイクロホンアレイｍ方向にビームを向けたらよいかを判断し、マイクロホンアレイｍ１、ｍ２の制御を行うものである。また、目的エリア変更部１７は、対目的エリア移動制御部１８にマイクロホンアレイｍ１、ｍ２のビームフォーマの指向性を決定するパラメータを送信する。
対目的エリア移動制御部１８は、目的エリア変更部１７から受信したマイクロホンアレイｍ１、ｍ２のビームフォーマの指向性を決定するパラメータ等に基づき、対話装置５を移動制御する（例えば、移動機構１５を制御する命令を移動機構１５に送信する）ことによって、目的エリアを各マイクロホンアレイｍ１、ｍ２から等距離にするものである。
パワー補正係数算出部１１は、各マイクロホンアレイｍ（ｍ１、ｍ２）からの各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出するものである。ここで、パワー補正係数を求めるために、例えば、パワー補正係数算出部１１は、各ビームフォーマ出力信号の間で周波数毎の振幅スペクトルの比率を算出する。次に、パワー補正係数算出部１１は、求めた各周波数の振幅スペクトルの比率から最頻値若しくは中央値を算出し、その値をパワー補正係数とする。
パワー補正係数算出部１１は、算出したパワー補正係数をパワー補正係数保持部１２、移動方向決定部１３、移動制御部１４に送信する。
パワー補正係数保持部１２は、パワー補正係数算出部１１から受信したパワー補正係数を順次記憶するものである。なお、パワー補正係数保持部１２が記憶するパワー補正係数の数及び保持する時間間隔は限定されないものであるが、例えば、対話装置５の移動速度や、エリア収音部１０の収音範囲などの関係を考慮して決定しても良い。
パワー補正係数保持部１２は、記憶したパワー補正係数（過去のパワー補正係数）を移動方向決定部１３及び移動制御部１４に送信する。
移動方向決定部１３は、パワー補正係数算出部１１から受信した最新のパワー補正係数と、パワー補正係数保持部１２から受信した過去のパワー補正係数を基に、対話装置５の移動方向を決定するものである。なお、詳細は後述するが、この実施形態では、対話装置５の移動方向を決定する際に、一旦対話装置５を後進（又は前進）させるために、移動機構１５を制御する命令を移動機構１５に送信する。そして、移動方向決定部１３は、一旦移動することにより生じたパワー補正係数を比較した結果に応じて、決定した移動方向の情報（例えば、移動方向を示すフラグ）を移動制御部１４に送信する。
移動制御部１４は、パワー補正係数算出部１１から受信した最新のパワー補正係数と、パワー補正係数保持部１２から受信した過去のパワー補正係数とを比較し、後述する所定の条件を満たす場合には、移動方向決定部１３から受信した移動方向を示すフラグに従い移動機構１５を制御する命令を送信する。
移動機構１５は、移動方向決定部１３、移動制御部１４、又は対目的エリア移動制御部１８からの制御命令に基づき、対話装置５を移動させる機構である。移動機構１５は、例えば、３６０度動けるようなボール上の機構や、前後移動・左右への転回を行う車輪形状など、目的の方向に移動できばどのような機構でも良い。また、移動機構１５は、ドローンのようなプロペラ旋回により空中移動する機構や、水上移動可能なモータ機構のようなものでも良い。いずれにしても移動機構１５は、種々様々な機構を適用することができる。
（Ａ−２）実施形態の動作
次に、実施形態に係る対話装置５の処理を説明する。図３は、実施形態に係る対話装置の処理を示すフローチャートである。
目的エリアがある空間に存在する音源からの音は、マイクロホンアレイｍ１、ｍ２によって収音され、また、目的エリアを収音する過程で、パワー補正係数算出部１１は、パワー補正係数αｔを算出する（Ｓ１）。なお、パワー補正係数算出部１１が、パワー補正係数αｔを算出する手法は限定されないものであるが、例えば、特許文献１に記載の手法を適用することができる。算出されたパワー補正係数αｔは、パワー補正係数保持部１２、移動方向決定部１３、移動制御部１４へ送信される。
エリア収音部１０は、エリア収音した音響信号をエリア内有音判定部１６に送信する。また、エリア収音部１０は、各マイクロホンアレイｍ１、ｍ２で収音した音響信号を目的エリア変更部１７に送信する。
エリア内有音判定部１６は、エリア収音部１０から受信した音響信号のパワーの大きさによって目的エリアに音源が存在するか否かを判定する（Ｓ２）。対話装置５は、目的エリアに音源が存在しないと判断された場合にはステップＳ３の処理を実行し、目的エリアに音源が存在すると判定された場合にはステップＳ５を実行する。なお、音源の有無を判定する方法は、上述のパワーに限らず、例えば音声を対象として動作させる場合には、有声音を判定することで有音とする等、目的エリアに音が存在することが分かる方法であれば、種々様々な方法を適用することができる。
目的エリア変更部１７は、エリア収音部１０のマイクロホンアレイｍ１、ｍ２から音響信号を受信し、各マイクロホンアレイｍ１、ｍ２に含まれる音から、どのマイクロホンアレイｍ方向にビームを向けたらよいかを判断し、各マイクロホンアレイｍ１、ｍ２の制御を行う（Ｓ３）。
例えば、図４（Ａ）に示すようにマイクロホンアレイｍ２の収音範囲に音源Ｓｒが存在し、マイクロホンアレイｍ１の収音範囲に音源Ｓｒが存在しない場合、目的エリア変更部１７は、マイクロホンアレイｍ２のビーム方向を固定し、マイクロホンアレイｍ１のビーム方向を変更する。そして、図４（Ｂ）に示すように、マイクロホンアレイｍ１のビーム方向を変更した後、目的エリア変更部１７は、エリア収音の出力を確認し、音源が目的エリアに位置していると判定された場合には、次のステップＳ４に移行する。エリア収音の目的エリアに音源が存在しない場合、目的エリア変更部１７は、目的エリアを変更して音源を探知する。
なお、マイクロホンアレイｍのビーム方向を変更する方法は、各マイクロホンアレイｍに到来する信号の遅延を補正するための遅延量を変更したり、マイクロホンアレイｍの設置向きを物理的に変更したりする等、任意の方向に目的エリアを形成できれば良い。また、この際ビーム方向の変更方向や量は任意に決めて良い。本実施形態では、一方のマイクロホンアレイｍの収音範囲に音源がある場合の動作を示したが、音源を探知する方法はこの限りではなく、例えばいずれのマイクロホンアレイｍにも音源が含まれない場合、各マイクロホンアレイｍのビームをランダムに向けたり、広範囲を俯瞰して収音するマイクロホン（広範囲を収音するセンサ）を使用することで目的エリアの近くに音源があることを探知したりすることで音源の探知を補助するなど、目的エリアの位置を変更して音源を探索することが出来れば良い。ただし一方のマイクロホンアレイの収音範囲に音源があるほうが望ましい。
対目的エリア移動制御部１８は、目的エリア変更部１７の処理によって、目的エリアがエリア収音部１０の各マイクロホンアレイｍ１、ｍ２から等距離ではないものを、対話装置５を移動制御することによって、目的エリアを各マイクロホンアレイｍ１、ｍ２から等距離にする（Ｓ４）。例えば、対目的エリア移動制御部１８は、目的エリア変更部１７で変更したマイクロホンアレイｍのビームの回転角と変更前の目的エリアの位置から、対話装置５の移動方向を決定し、移動機構１５に移動機構の制御命令を、エリア収音部１０にマイクロホンアレイのビーム方向を変更する情報（パラメータ）を送信する。例えば、図５（Ａ）に示すようにマイクロホンアレイｍ１のビームを変更していた場合、対話装置５のマイクロホンアレイｍ１側は小さく前進し、マイクロホンアレイｍ２側を大きく前進し、マイクロホンアレイｍ１のビームは４５°方向から０°方向に制御する。これらを同時に行うことで、図５（Ｂ）に示すように目的エリアに音源Ｓｒをとどめたまま、各マイクロホンアレイｍ１、ｍ２の中央、すなわち対話装置５の正面に音源Ｓｒを位置させる。なお、対話装置５の移動方向は前進方向に限らず、前後左右上下等に移動して良く、音源を各マイクロホンアレイｍ１、ｍ２から等距離に位置させることができればどのような方法でも良い。
以下では、マイクロホンアレイｍ１、ｍ２は目的エリアから等間隔に位置していることを前提として説明する。
パワー補正係数保持部１２は、エリア収音部１０のパワー補正係数算出部１１から取得したパワー補正係数αｔを保持（記憶）する（Ｓ５）。保持したパワー補正係数（例えば、現在より１つ前の過去のパワー補正係数αｔ-1）は、移動方向決定部１３、及び移動制御部１４に送信される。
移動方向決定部１３はパワー補正係数算出部１１で得たパワー補正係数αｔと上記パワー補正係数保持部１２で保持した過去のパワー補正係数（例えば、パワー補正係数αｔ-1）とを比較し、エリア収音装置のマイクロホンアレイｍ１に対して垂直方向に対話装置５を移動させる方向（前方向又は後ろ方向）を決定する（Ｓ６）。以下、移動方向を決定させるステップＳ６の具体的手順について述べる。
まず、移動方向決定部１３は、対話装置５をマイクロホンアレイｍ１のビームフォームと平行方向（以下、「マイクロホンアレイｍ１方向」とも呼ぶ）に後進させるように移動機構１５に制御信号を送信し対話装置５を一旦移動させる。なお、対話装置５の移動方向を決定するためのマイクロホンアレイｍ１方向に対する動作の方向（一旦移動させる方向）は、後進方向に限らず、前進方向でも良い。また、一旦移動させる距離は、目的エリアの大きさや、周囲の空間の広さに応じて変更するなど自由に決定して良い。
次に、パワー補正係数算出部１１で得たパワー補正係数αｔ（対話装置５を一旦後進させたことにより生じた最新のパワー補正係数）を受信し、パワー補正係数保持部１２から対話装置５を後進する前のパワー補正係数αｔ-1を受信する。なお、エリア内のパワー補正係数は、以下で示すような規則性が存在する。
図６は実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。図６では、エリア収音に使用する各マイクロホンアレイｍ１、ｍ２のマップで、指向性を持つため中央の収音レベルが高く、横に行くにつれ収音レベルが低くなり、その比によってパワー補正係数が決定される。図６の各セルに示す数値は、エリア収音を行った際のパワー補正係数の一例である。
図６に示すようにマイクロホンアレイｍ１方向の目的エリア内のパワー補正係数は、前後に対する中心線で最も小さくなり、中心線からマイクロホンアレイｍ１に近づくあるいは遠ざかるほど大きくなる。
そのため、移動方向決定部１３は、パワー補正係数αｔとパワー補正係数αｔ-1とを比較し、αｔ＜αｔ-1であれば、マイクロホンアレイｍ１方向に後進する方向を移動方向と決定し、αｔ＞αｔ-1であれば前進する方向を移動方向と決定する。
なお、移動方向決定部１３は、例えば、エリア収音出力の大きさを計測するなどして目的エリアに音源が存在しないことが分かる場合、この処理を実施せずに収音処理に戻っても良い。また、移動方向決定部１３は、対話装置５を一旦後進させることで音源が目的エリアから外れてしまった場合、例えば動作を止めたり、又は前進させ対話装置５を元の位置に戻した上で上記移動方向を決定する動作を前進動作で行ったりするなどの処理を追加しても良い。
２つパワー補正係数の時刻の差（ｔ−１）はこの実施形態で使用した例に過ぎず、処理の速度や使用用途に応じて変更するなど自由に決定しても良い。
移動制御部１４は、移動方向決定部１３で求めた移動方向（パワー補正係数が小さくなるマイクロホンアレイｍ１方向）に対話装置５を移動（前進又は後進）させる（Ｓ７）。
移動方向決定部１３は、ステップＳ７の処理中（つまり、対話装置５が移動中）に、パワー補正係数αｔが極小値となったタイミング（又は極小値を超えたタイミング）で、対話装置５の移動方向をマイクロホンアレイｍ１方向から、マイクロホンアレイｍ２のビームフォームと平行方向（以下、「マイクロホンアレイｍ２方向」とも呼ぶ）に転換させる（Ｓ８）。なお、上記極小値は、対話装置５を移動させ続けて、パワー補正係数がαｔ＞αｔ-1となってはじめて理解できる。そのため、実際には極小値を僅かに超えたタイミングで、マイクロホンアレイｍ１方向からマイクロホンアレイｍ２方向に対話装置５の移動方向を転換させることになる。なお、パワー補正係数αｔが極小値となる位置が正確に分かる場合には、対話装置５を極小値の位置に移動させた後に、マイクロホンアレイｍ１方向からマイクロホンアレイｍ２方向に対話装置５の移動方向を転換させても良い。
移動方向決定部１３は、マイクロホンアレイｍ２方向に対して、ステップＳ６と同様の処理を行う（Ｓ９）。なお、図６で示すように、マイクロホンアレイｍ２方向の目的エリア内のパワー補正係数は、マイクロホンアレイｍ１方向の目的エリア内のパワー補正係数とは異なり、前後に対する中心線で最も大きくなり、中心線からマイクロホンアレイｍ２に近づくあるいは遠ざかるほど小さくなる。そのため、移動方向決定部１３は、先述のステップＳ６とは異なり、移動方向決定部１３は、一旦対話装置５を後進させている場合には、パワー補正係数αｔとパワー補正係数αｔ-1とを比較し、αｔ＞αｔ-1であれば、マイクロホンアレイｍ２方向に後進する方向を移動方向と決定し、αｔ＜αｔ-1であれば前進する方向を移動方向と決定する。
移動制御部１４は、移動方向決定部１３で求めた移動方向（パワー補正係数が大きくなるマイクロホンアレイｍ２方向）に対話装置５を移動（前進又は後進）させる（Ｓ１０）。なお、移動中の対話装置５は、パワー補正係数αｔが極大値となったタイミング（又は極大値を下回ったタイミング）で、対話装置５を停止する。上記極大値も先述の極小値と同様に、対話装置５を移動させ続けて、パワー補正係数がαｔ＜αｔ-1となってはじめて理解できる。
次に、上記ステップＳ７〜ステップＳ１０の処理について、図７の具体例を交えて改めて説明を行う。図７は、実施形態に係る図６のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。音源位置Ｐ１は、音源の初期位置を示している（図７では、パワー補正係数の値で音源位置を示している）。
ステップＳ７の処理により、移動方向決定部１３で決定したマイクロホンアレイｍ１方向の移動方向が後進だった場合には、パワー補正係数がαｔ＜αｔ-1となる間、対話装置の移動を繰り返す。図７を参照すると、音源位置Ｐ１（初期位置）がαｔ＜αｔ-1となるように、対話装置５が移動することにより、相対的に音源の位置を更新する。そして、マイクロホンアレイｍ１方向に対する対話装置５の移動により、音源の位置がマイクロホンアレイｍ１の前後方向に対して中央の位置（音源位置Ｐ２）となる。この音源位置Ｐ２は、つまり、先に説明したパワー補正係数の極小値であり、マイクロホンアレイｍ１からマイクロホンアレイｍ２方向に転換する位置（値）である。
移動方向決定部１３は、ステップＳ８の処理によりマイクロホンアレイｍ１からマイクロホンアレイｍ２方向へ転換した後、ステップＳ９の処理（マイクロホンアレイｍ２方向に対して対話装置５を移動させる方向を決定する処理）を行う。
ステップＳ１０の処理により、パワー補正係数がαｔ＞αｔ-1となる間、対話装置の移動を繰り返す。図７を参照すると、音源位置Ｐ２がαｔ＞αｔ-1となるように、対話装置５が移動することにより、相対的に音源の位置を更新する。そうすると、音源の位置は音源位置Ｐ２から音源位置Ｐ３に変化する。この音源位置Ｐ３は、つまり、先に説明した極大値であり、対話装置５が停止する位置である。
なお、この後、対話装置５はステップＳ１の処理に戻ることで、音源が移動したとしても、継続的に音源を目的エリアの中央に位置するように対話装置を制御できる。
（Ａ−３）実施形態の効果
以上のように、本発明の実施形態によれば、特定の範囲のみを収音し、かつ収音範囲に音源がないとき、収音範囲に音源が位置するように対話装置を制御し、そして、収音範囲の中央に音源が位置するように対話装置を自動で制御することで、精度良く収音することができる。
（Ｂ）他の実施形態
上記実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
（Ｂ−１）上記実施形態では、移動方向をマイクロホンアレイｍ１の方向から決定し制御したが、制御の順番は任意に決定しても良い（つまり、マイクロホンアレイｍ２の方向から決定しても良い）。
（Ｂ−２）上記実施形態では、対話装置５の移動制御は、移動機構１５に直接制御信号を送信することにより実現する例を示した。変形例として、例えば、サーバ３０（又は情報端末２０）は、対話装置５の移動方向決定部１３、移動制御部１４、及び対目的エリア移動制御部１８と同様の機能部を有し、サーバ３０から対話装置５の移動に関する制御信号を送信し、それに従い対話装置５の移動機構１５を制御する等の構成でも良い。
（Ｂ−３）上記実施形態では、対話装置５は必ずしも対話者を撮像するデバイス（例えば、カメラ等）を備える必要は無なかった。変形例としてカメラを備え、カメラからの映像（画像）を基に、一定の範囲内に音源が存在するか否かの大まかな判定を行い、かつ音源の存在する目的エリアに対話装置５の移動を行った後に、先述のステップＳ１〜Ｓ１０の処理を行っても良い。
１…コミュニケーションシステム、５…対話装置、１０…エリア収音部、１１…パワー補正係数算出部、１２…パワー補正係数保持部、１３…移動方向決定部、１４…移動制御部、１５…移動機構、１６…エリア内有音判定部、１７…目的エリア変更部、１８…対目的エリア移動制御部、２０…情報端末、３０…サーバ、ｍ（ｍ１、ｍ２）…マイクロホンアレイ。

Claims (15)

  1. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置であって、
    上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、
    上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部とを有し、
    さらに、上記機器は、移動機構を備える移動機器であり、
    上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御する対目的エリア移動制御部と、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有する
    ことを特徴とする機器制御装置。
  2. 上記対目的エリア移動制御部は、上記各マイクロホンアレイから等距離に上記目的エリアが位置するように上記移動機器を制御することを特徴とする請求項１に記載の機器制御装置。
  3. 上記収音部による収音処理と上記対目的エリア移動制御部による上記移動機器の制御とを繰り返し継続することを特徴とする請求項１又は２に記載の機器制御装置。
  4. 上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、上記パワー補正係数とすることを特徴とする請求項１〜３のいずれかに記載の機器制御装置。
  5. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に対して、上記移動機器を一旦移動させる制御を上記移動機構に対して行い、上記移動機器が一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項１〜４のいずれかに記載の機器制御装置。
  6. 上記移動方向決定部は、上記目的エリアに音源が存在しなかった場合には、上記対象マイクロホンアレイ方向に対する移動方向を決定せず、上記収音部による収音処理を行うことを特徴とする請求項１〜５のいずれかに記載の機器制御装置。
  7. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、最初に一旦前進移動をさせた場合には一旦後進移動を、又は最初に一旦後進移動させた場合には一旦前進移動をさせる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項５又は６に記載の機器制御装置。
  8. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、上記移動機器を最初に一旦移動をさせた距離とは異なる距離で、再度一旦移動させる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項５又は６に記載の機器制御装置。
  9. さらに、上記移動方向決定部で決定された移動方向に対して、上記移動機器を移動させる制御を上記移動機構に対して行い、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた上記過去のパワー補正係数とを比較して、上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続ける制御を行う移動制御部を有することを特徴とする請求項１〜８のいずれかに記載の機器制御装置。
  10. 上記移動方向決定部は、上記移動制御部で上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続けた後、上記各マイクロホンアレイ中の他の１のマイクロホンアレイを対象マイクロホンアレイとして、同様に上記対象マイクロホンアレイ方向に対する移動方向を決定する処理を行うことを特徴とする請求項９に記載の機器制御装置。
  11. 上記収音部による収音処理と上記移動機構に対する移動制御を繰り返しながら、音源を追尾することを特徴とする請求項１〜１０のいずれかに記載の機器制御装置。
  12. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置に搭載されるコンピュータを、
    上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、
    上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部として機能させ、
    さらに、上記機器は、移動機構を備える移動機器であり、
    上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御する対目的エリア移動制御部と、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部として機能させる
    ことを特徴とする機器制御プログラム。
  13. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部を備える機器を制御する機器制御装置に使用する機器制御方法であって、
    エリア内有音判定部及び目的エリア変更部を有し、
    上記エリア内有音判定部は、上記目的エリア内に音源が存在するか否かを判定し、
    上記目的エリア変更部は、上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させ、
    さらに、上記機器は、移動機構を備える移動機器であり、対目的エリア移動制御部、パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、
    上記対目的エリア移動制御部は、上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、上記移動機器の位置を制御し、
    上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、
    上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、
    上記移動方向決定部は、上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する
    ことを特徴とする機器制御方法。
  14. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、
    上記目的エリア内に音源が存在するか否かを判定するエリア内有音判定部と、
    上記目的エリア内に音源が存在しない場合、上記目的エリアの位置を変更することで、上記目的エリア内に音源を位置させる目的エリア変更部と、
    上記目的エリア変更部によって変更した上記目的エリアの世界座標を維持したまま、当該対話装置の位置を制御する対目的エリア移動制御部と、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、当該対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
    を有することを特徴とする対話装置。
  15. 第１の対話装置および第２の対話装置を備え、少なくとも前記第１の対話装置および第２の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、
    前記第１の対話装置および第２の対話装置の少なくとも一方に請求項１４に記載の対話装置を適用したことを特徴とするコミュニケーションシステム。
JP2017186313A 2017-09-27 2017-09-27 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム Active JP6977448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017186313A JP6977448B2 (ja) 2017-09-27 2017-09-27 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186313A JP6977448B2 (ja) 2017-09-27 2017-09-27 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Publications (2)

Publication Number Publication Date
JP2019062435A JP2019062435A (ja) 2019-04-18
JP6977448B2 true JP6977448B2 (ja) 2021-12-08

Family

ID=66178286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186313A Active JP6977448B2 (ja) 2017-09-27 2017-09-27 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Country Status (1)

Country Link
JP (1) JP6977448B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453980B (zh) * 2019-05-15 2024-03-29 松下知识产权经营株式会社 信息处理方法、无人飞行体以及无人飞行体控制系统
CN112578338B (zh) * 2019-09-27 2024-05-14 阿里巴巴集团控股有限公司 声源定位方法、装置、设备及存储介质
CN112470215A (zh) * 2019-12-03 2021-03-09 深圳市大疆创新科技有限公司 控制方法、装置和可移动平台
JP7248048B2 (ja) * 2021-04-28 2023-03-29 沖電気工業株式会社 収音装置、収音プログラム及び収音方法、並びに、キーボード
CN117406174B (zh) * 2023-12-15 2024-03-15 深圳市声菲特科技技术有限公司 准确定位声源的方法、装置、设备与存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251266A (ja) * 2005-03-10 2006-09-21 Hitachi Ltd 視聴覚連携認識方法および装置
EP1732352B1 (en) * 2005-04-29 2015-10-21 Nuance Communications, Inc. Detection and suppression of wind noise in microphone signals
JP6598064B2 (ja) * 2015-09-30 2019-10-30 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出システム、及び物体検出方法

Also Published As

Publication number Publication date
JP2019062435A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6977448B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
US10979805B2 (en) Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors
CN107534725B (zh) 一种语音信号处理方法及装置
CN104106267B (zh) 在增强现实环境中的信号增强波束成形
US8755536B2 (en) Stabilizing directional audio input from a moving microphone array
US8981994B2 (en) Processing signals
US9516241B2 (en) Beamforming method and apparatus for sound signal
KR100499124B1 (ko) 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
WO2021037129A1 (zh) 一种声音采集方法及装置
KR20120071452A (ko) 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법
JP2014137226A (ja) 移動体、音響源マップ作成システムおよび音響源マップ作成方法
JP6467736B2 (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
US20110058683A1 (en) Method & apparatus for selecting a microphone in a microphone array
WO2015106401A1 (zh) 语音处理方法和语音处理装置
JP2003251583A (ja) ロボット視聴覚システム
US11388343B2 (en) Photographing control method and controller with target localization based on sound detectors
EP2362238B1 (en) Estimating the distance from a sensor to a sound source
JP6879144B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
KR101884446B1 (ko) 다자간 회의에서의 화자 인식 및 화자 추적 방법
US10084965B2 (en) Omnidirectional high resolution tracking and recording apparatus and method
CN112859000B (zh) 一种声源定位方法以及装置
US20200275205A1 (en) Smart Speaker System with Microphone Room Calibration
CN112672251A (zh) 一种扬声器的控制方法和系统、存储介质及扬声器
Sasaki et al. Online spatial sound perception using microphone array on mobile robot
Martinson et al. Robotic discovery of the auditory scene

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R150 Certificate of patent or registration of utility model

Ref document number: 6977448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150