JP6879144B2 - 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム - Google Patents

機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム Download PDF

Info

Publication number
JP6879144B2
JP6879144B2 JP2017182869A JP2017182869A JP6879144B2 JP 6879144 B2 JP6879144 B2 JP 6879144B2 JP 2017182869 A JP2017182869 A JP 2017182869A JP 2017182869 A JP2017182869 A JP 2017182869A JP 6879144 B2 JP6879144 B2 JP 6879144B2
Authority
JP
Japan
Prior art keywords
power correction
correction coefficient
microphone array
unit
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017182869A
Other languages
English (en)
Other versions
JP2019057901A (ja
Inventor
啓太 川端
啓太 川端
茂 立澤
茂 立澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017182869A priority Critical patent/JP6879144B2/ja
Publication of JP2019057901A publication Critical patent/JP2019057901A/ja
Application granted granted Critical
Publication of JP6879144B2 publication Critical patent/JP6879144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムに関し、例えば、収音情報に基づいてテレプレゼンスロボットを制御するコミュニケーションシステムに適用し得る。
近年、遠隔地のユーザが遠隔操作によりロボット（対話装置）を制御し、対話装置を介して別の拠点に存在する他のユーザ（対話者）とコミュニケーションを図るコミュニケーションシステムが知られている。上記のようなコミュニケーションを主目的とした遠隔操作可能な対話装置は、特に、テレプレゼンスロボットとも呼ばれる。
ところで、テレプレゼンスロボットをはじめとする対話装置は、雑音を排除して対話者のみの声を収音できれば、その分だけ、コミュニケーションを円滑に図ることができる。例えば、特許文献１に示すようなエリア収音技術を対話装置に適用することが考えられる。エリア収音技術は、特定の範囲（以下、「目的エリア」）のみ収音することで背景の雑音などを抑制する技術である。
また、対話装置は、対話装置の位置を対話者と適切な位置に制御することが重要である。例えば、特許文献２では、対話装置と対話者の距離と、撮影した対話者の表示映像が適切な表示となるように、対話装置の位置の制御と、映像表示部の表示を制御することで、ユーザの操作を支援する方法が提案されている。また、特許文献３では、複数の収音ビームを用いて、収音した音の中で最もパワーの大きい収音範囲を、音源の位置として推定する音源位置推定が提案されている。
特許第５４８２８５４号公報 特開２０１６−２２５８７５号公報 特許第４８６７５７９号公報
しかしながら、上記特許文献１〜３に記載の技術を対話装置に適用したとしても、以下のような問題が存在する。
特許文献１に記載の技術は、目的エリアのみを収音するため、収音した音を聞き続けるためには音源（対話者）が常に目的エリア内に位置するようにしなければならない問題が存在する。
また、特許文献２に記載の技術では、映像が判断材料となるため、制御された対話装置の収音範囲に対話者が位置するとは限らない問題が存在する。特に、エリア収音装置（例えば、マイクロフォンアレイ）を収音装置として用いた場合、対話者を収音範囲に位置させることが困難である。
そして、特許文献３の技術は、収音ビームの収音範囲の端、つまりパワーが減衰する地点に音源があったときに位置推定が困難になる問題が存在する。
そのため、精度良く目的エリア内に音源が位置するように対話装置の位置を制御する機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムが望まれている。
第１の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置であって、（１）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（２）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（３）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
第２の本発明の機器制御プログラムは、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に搭載されるコンピュータを、（１）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（２）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（３）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部として機能させることを特徴とする。
第３の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に使用する機器制御方法であって、パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、（１）上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、（２）上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、（３）上記移動方向決定部は、上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする。
第４の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、（１）上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、（２）上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、（３）上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
第５の本発明は、第１の対話装置および第２の対話装置を備え、少なくとも前記第１の対話装置および第２の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、前記第１の対話装置および第２の対話装置の少なくとも一方に第４の本発明の対話装置を適用したことを特徴とするコミュニケーションシステム。
本発明によれば、精度良く目的エリア内に音源が位置するように対話装置の位置を制御することができる。
実施形態に係る対話装置の機能的構成について示すブロック図である。 実施形態に係るコミュニケーションシステムの全体構成を示す図である。 実施形態に係る対話装置の処理を示すフローチャートである。 実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。 実施形態に係る図４のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。 実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。
（Ａ）主たる実施形態
以下、本発明に係る機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムの一実施形態を、図面を参照しながら説明する。
（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図２は、実施形態に係るコミュニケーションシステムの全体構成を示す図である。図２において、コミュニケーションシステム１は、対話装置５と、情報端末２０と、対話装置５及び情報端末２０と通信可能なサーバ３０とを有している。
コミュニケーションシステム１は、別の拠点にある対話者同士が、対話を行うことができ、さらに、一方の拠点側の情報端末２０を操作する者が、他の拠点側の対話装置５を遠隔操作することができるシステムである。
情報端末２０は、対話装置５を遠隔操作する側に設けられる対話装置である。例えば、情報端末２０は、音声データをサーバ３０に送信するとともに、サーバ３０から送信されてきた音声データを出力する。また、情報端末２０は、対話装置５を遠隔操作するための入力を受け付け、サーバ３０に送信する。情報端末２０としては、タブレット端末、スマートフォン、パーソナルコンピュータなどを適用することができる。
対話装置５は、例えば、テレプレゼンスロボットのような対話装置であって、対話装置５を移動させる移動機構と、エリア収音部と、エリア収音部の収音範囲内に音源が位置するように対話装置５を制御する制御部とを備える。対話装置５は、収音した音声データをサーバ３０に送信するとともに、サーバ３０から送信されてきた音声データを出力する。また、対話装置５は、遠隔操作するための信号をサーバ３０から受信すると、その信号に従い動作する。なお、対話装置５及び上記情報端末２０は、第１の対話装置又は第２の対話装置の一例である。
本実施形態の特徴を簡単に述べると、第１に対話装置５が特定の範囲のみを収音するエリア収音部を有することである。第２に対話装置５がエリア収音の目的エリア内の音源の位置を、目的エリアの中心に位置するように対話装置５を制御（自動制御）することである。第３に、音源の位置を目的エリアの中心にするために、エリア収音部によって得られた情報（後述するパワー補正係数等）を用いることで、エリア収音部をセンサとして活用することである。次に上記特徴１〜３を有する対話装置５の詳細な構成について述べる。
（Ａ−１−２）対話装置５の詳細な構成
図１は、実施形態に係る対話装置の機能的構成について示すブロック図である。
図１において、対話装置５は、エリア収音部１０と、パワー補正係数保持部１２と、移動方向決定部１３と、移動制御部１４と、移動機構１５とを有する。
エリア収音部１０は、パワー補正係数算出部１１を備え、複数のマイクロホンアレイｍとその指向性ビームフォーマを用いて目的エリア内のエリア音を収音するものである。ここで、ビームフォーマ（ＢＦ）は、加算型の遅延和法、減算型のスペクトル減算法（以下、ＳＳとも呼ぶ。）等の各種手法を用いることができる。この実施形態では、２つのマイクロホンアレイｍ１、ｍ２を用いる例を示すが、マイクロホンアレイｍの数は特に限定されるもので無い。
図６は、実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。図６で示すように、マイクロホンアレイｍ（ｍ１、ｍ２）は、マイクロホンアレイｍの正面中央の範囲（範囲Ｌ１）では、音圧レベルが高く、マイクロホンアレイｍに接近する左右の範囲（左下の範囲Ｌ２、右下の範囲Ｌ３）では音圧レベルが低い特性を示す。
パワー補正係数算出部１１は、各マイクロホンアレイｍ（ｍ１、ｍ２）からの各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出するものである。ここで、パワー補正係数を求めるために、例えば、パワー補正係数算出部１１は、各ビームフォーマ出力信号の間で周波数毎の振幅スペクトルの比率を算出する。次に、パワー補正係数算出部１１は、求めた各周波数の振幅スペクトルの比率から最頻値若しくは中央値を算出し、その値をパワー補正係数とする。
パワー補正係数算出部１１は、算出したパワー補正係数をパワー補正係数保持部１２、移動方向決定部１３、移動制御部１４に送信する。
パワー補正係数保持部１２は、パワー補正係数算出部１１から受信したパワー補正係数を順次記憶するものである。なお、パワー補正係数保持部１２が記憶するパワー補正係数の数及び保持する時間間隔は限定されないものであるが、例えば、対話装置５の移動速度や、エリア収音部１０の収音範囲などの関係を考慮して決定しても良い。
パワー補正係数保持部１２は、記憶したパワー補正係数（過去のパワー補正係数）を移動方向決定部１３及び移動制御部１４に送信する。
移動方向決定部１３は、パワー補正係数算出部１１から受信した最新のパワー補正係数と、パワー補正係数保持部１２から受信した過去のパワー補正係数を基に、対話装置５の移動方向を決定するものである。なお、詳細は後述するが、この実施形態では、対話装置５の移動方向を決定する際に、一旦対話装置５を後進（又は前進）させるために、移動機構１５を制御する命令を移動機構１５に送信する。そして、移動方向決定部１３は、一旦移動することにより生じたパワー補正係数を比較した結果に応じて、決定した移動方向の情報（例えば、移動方向を示すフラグ）を移動制御部１４に送信する。
移動制御部１４は、パワー補正係数算出部１１から受信した最新のパワー補正係数と、パワー補正係数保持部１２から受信した過去のパワー補正係数とを比較し、後述する所定の条件を満たす場合には、移動方向決定部１３から受信した移動方向を示すフラグに従い移動機構１５を制御する命令を送信する。
移動機構１５は、移動方向決定部１３又は移動制御部１４からの制御命令に基づき、対話装置５を移動させる機構である。移動機構１５は、例えば、３６０度動けるようなボール上の機構や、前後移動・左右への転回を行う車輪形状など、目的の方向に移動できばどのような機構でも良い。また、移動機構１５は、ドローンのようなプロペラ旋回により空中移動する機構や、水上移動可能なモータ機構のようなものでも良い。いずれにしても移動機構１５は、種々様々な機構を適用することができる。
（Ａ−２）実施形態の動作
次に、実施形態に係る対話装置５の処理を説明する。図３は、実施形態に係る対話装置の処理を示すフローチャートである。なお、以下では、マイクロホンアレイｍ１、ｍ２は目的エリアから等間隔に位置していることを前提とする。
目的エリアがある空間に存在する音源からの音は、マイクロホンアレイｍ１、ｍ２をよって収音され、また、目的エリアを収音する過程で、パワー補正係数算出部１１は、パワー補正係数αｔを算出する（Ｓ１）。なお、パワー補正係数算出部１１が、パワー補正係数αｔを算出する手法は限定されないものであるが、例えば、特許文献１に記載の手法を適用することができる。算出されたパワー補正係数αｔは、パワー補正係数保持部１２、移動方向決定部１３、移動制御部１４へ送信される。
パワー補正係数保持部１２は、エリア収音部１０のパワー補正係数算出部１１から取得したパワー補正係数αｔを保持（記憶）する（Ｓ２）。保持したパワー補正係数（例えば、現在より１つ前の過去のパワー補正係数αｔ-1）は、移動方向決定部１３、及び移動制御部１４に送信される。
移動方向決定部１３はパワー補正係数算出部１１で得たパワー補正係数αｔと上記パワー補正係数保持部１２で保持した過去のパワー補正係数（例えば、パワー補正係数αｔ-1）とを比較し、エリア収音装置のマイクロホンアレイｍ１に対して垂直方向に対話装置５を移動させる方向（前方向又は後ろ方向）を決定する（Ｓ３）。以下、移動方向を決定させるステップＳ３の具体的手順について述べる。
まず、移動方向決定部１３は、対話装置５をマイクロホンアレイｍ１のビームフォームと平行方向（以下、「マイクロホンアレイｍ１方向」とも呼ぶ）に後進させるように移動機構１５に制御信号を送信し対話装置５を一旦移動させる。なお、対話装置５の移動方向を決定するためのマイクロホンアレイｍ１方向に対する動作の方向（一旦移動させる方向）は、後進方向に限らず、前進方向でも良い。また、一旦移動させる距離は、目的エリアの大きさや、周囲の空間の広さに応じて変更するなど自由に決定して良い。
次に、パワー補正係数算出部１１で得たパワー補正係数αｔ（対話装置５を一旦後進させたことにより生じた最新のパワー補正係数）を受信し、パワー補正係数保持部１２から対話装置５を後進する前のパワー補正係数αｔ-1を受信する。なお、エリア内のパワー補正係数は、以下で示すような規則性が存在する。
図４は実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。図４では、エリア収音に使用する各マイクロホンアレイｍ１、ｍ２のマップで、指向性を持つため中央の収音レベルが高く、横に行くにつれ収音レベルが低くなり、その比によってパワー補正係数が決定される。図４の各セルに示す数値は、エリア収音を行った際のパワー補正係数の一例である。
図４に示すようにマイクロホンアレイｍ１方向の目的エリア内のパワー補正係数は、前後に対する中心線で最も小さくなり、中心線からマイクロホンアレイｍ１に近づくあるいは遠ざかるほど大きくなる。
そのため、移動方向決定部１３は、パワー補正係数αｔとパワー補正係数αｔ-1とを比較し、αｔ＜αｔ-1であれば、マイクロホンアレイｍ１方向に後進する方向を移動方向と決定し、αｔ＞αｔ-1であれば前進する方向を移動方向と決定する。
なお、移動方向決定部１３は、例えば、エリア収音出力の大きさを計測するなどして目的エリアに音源が存在しないことが分かる場合、この処理を実施せずに収音処理に戻っても良い。また、移動方向決定部１３は、対話装置５を一旦後進させることで音源が目的エリアから外れてしまった場合、例えば動作を止めたり、又は前進させ対話装置５を元の位置に戻した上で上記移動方向を決定する動作を前進動作で行ったりするなどの処理を追加しても良い。
２つパワー補正係数の時刻の差（ｔ−１）はこの実施形態で使用した例に過ぎず、処理の速度や使用用途に応じて変更するなど自由に決定しても良い。
移動制御部１４は、移動方向決定部１３で求めた移動方向（パワー補正係数が小さくなるマイクロホンアレイｍ１方向）に対話装置５を移動（前進又は後進）させる（Ｓ４）。
移動方向決定部１３は、ステップＳ４の処理中（つまり、対話装置５が移動中）に、パワー補正係数αｔが極小値となったタイミング（又は極小値を超えたタイミング）で、対話装置５の移動方向をマイクロホンアレイｍ１方向から、マイクロホンアレイｍ２のビームフォームと平行方向（以下、「マイクロホンアレイｍ２方向」とも呼ぶ）に転換させる（Ｓ５）。なお、上記極小値は、対話装置５を移動させ続けて、パワー補正係数がαｔ＞αｔ-1となってはじめて理解できる。そのため、実際には極小値を僅かに超えたタイミングで、マイクロホンアレイｍ１方向からマイクロホンアレイｍ２方向に対話装置５の移動方向を転換させることになる。なお、パワー補正係数αｔが極小値となる位置が正確に分かる場合には、対話装置５を極小値の位置に移動させた後に、マイクロホンアレイｍ１方向からマイクロホンアレイｍ２方向に対話装置５の移動方向を転換させても良い。
移動方向決定部１３は、マイクロホンアレイｍ２方向に対して、ステップＳ３と同様の処理を行う（Ｓ６）。なお、図４で示すように、マイクロホンアレイｍ２方向の目的エリア内のパワー補正係数は、マイクロホンアレイｍ１方向の目的エリア内のパワー補正係数とは異なり、前後に対する中心線で最も大きくなり、中心線からマイクロホンアレイｍ２に近づくあるいは遠ざかるほど小さくなる。そのため、移動方向決定部１３は、先述のステップＳ３とは異なり、移動方向決定部１３は、一旦対話装置５を後進させている場合には、パワー補正係数αｔとパワー補正係数αｔ-1とを比較し、αｔ＞αｔ-1であれば、マイクロホンアレイｍ２方向に後進する方向を移動方向と決定し、αｔ＜αｔ-1であれば前進する方向を移動方向と決定する。
移動制御部１４は、移動方向決定部１３で求めた移動方向（パワー補正係数が大きくなるマイクロホンアレイｍ２方向）に対話装置５を移動（前進又は後進）させる（Ｓ７）。なお、移動中の対話装置５は、パワー補正係数αｔが極大値となったタイミング（又は極大値を下回ったタイミング）で、対話装置５を停止する。上記極大値も先述の極小値と同様に、対話装置５を移動させ続けて、パワー補正係数がαｔ＜αｔ-1となってはじめて理解できる。
次に、上記ステップＳ４〜ステップＳ７の処理について、図５の具体例を交えて改めて説明を行う。図５は、実施形態に係る図４のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。音源位置Ｐ１は、音源の初期位置を示している（図５では、パワー補正係数の値で音源位置を示している）。
ステップＳ４の処理により、移動方向決定部１３で決定したマイクロホンアレイｍ１方向の移動方向が後進だった場合には、パワー補正係数がαｔ＜αｔ-1となる間、対話装置の移動を繰り返す。図５を参照すると、音源位置Ｐ１（初期位置）がαｔ＜αｔ-1となるように、対話装置５が移動することにより、相対的に音源の位置を更新する。そして、マイクロホンアレイｍ１方向に対する対話装置５の移動により、音源の位置がマイクロホンアレイｍ１の前後方向に対して中央の位置（音源位置Ｐ２）となる。この音源位置Ｐ２は、つまり、先に説明したパワー補正係数の極小値であり、マイクロホンアレイｍ１からマイクロホンアレイｍ２方向に転換する位置（値）である。
移動方向決定部１３は、ステップＳ５の処理によりマイクロホンアレイｍ１からマイクロホンアレイｍ２方向へ転換した後、ステップＳ６の処理（マイクロホンアレイｍ２方向に対して対話装置５を移動させる方向を決定する処理）を行う。
ステップＳ７の処理により、パワー補正係数がαｔ＞αｔ-1となる間、対話装置の移動を繰り返す。図５を参照すると、音源位置Ｐ２がαｔ＞αｔ-1となるように、対話装置５が移動することにより、相対的に音源の位置を更新する。そうすると、音源の位置は音源位置Ｐ２から音源位置Ｐ３に変化する。この音源位置Ｐ３は、つまり、先に説明した極大値であり、対話装置５が停止する位置である。
なお、この後、対話装置５はステップＳ１の処理に戻ることで、音源が移動したとしても、継続的に音源を目的エリアの中央に位置するように対話装置を制御できる。
（Ａ−３）実施形態の効果
以上のように、本発明の実施形態によれば、特定の範囲のみを収音し、かつ、収音範囲の中央に音源が位置するように対話装置を自動で制御することで、精度良く収音することができる。
（Ｂ）他の実施形態
上記実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
（Ｂ−１）上記実施形態では、移動方向をマイクロホンアレイｍ１の方向から決定し制御したが、制御の順番は任意に決定しても良い（つまり、マイクロホンアレイｍ２の方向から決定しても良い）。
（Ｂ−２）上記実施形態では、対話装置５の移動制御は、移動機構１５に直接制御信号を送信することにより実現する例を示した。変形例として、例えば、サーバ３０（又は情報端末２０）は、対話装置５の移動方向決定部１３及び移動制御部１４と同様の機能部を有し、サーバ３０から対話装置５の移動に関する制御信号を送信し、それに従い対話装置５の移動機構１５を制御する等の構成でも良い。
（Ｂ−３）上記実施形態では、対話装置５は必ずしも対話者を撮像するデバイス（例えば、カメラ等）を備える必要は無なかった。変形例としてカメラを備え、カメラからの映像（画像）を基に、一定の範囲内に音源が存在するか否かの大まかな判定を行い、かつ音源の存在する目的エリアに対話装置５の移動を行った後に、先述のステップＳ１〜Ｓ６の処理を行っても良い。
１…コミュニケーションシステム、５…対話装置、１０…エリア収音部、１１…パワー補正係数算出部、１２…パワー補正係数保持部、１３…移動方向決定部、１４…移動制御部、１５…移動機構、２０…情報端末、３０…サーバ、ｍ（ｍ１、ｍ２）…マイクロホンアレイ。

Claims (13)

  1. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置であって、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
    を有することを特徴とする機器制御装置。
  2. 上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、上記パワー補正係数とすることを特徴とする請求項１に記載の機器制御装置。
  3. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に対して、上記移動機器を一旦移動させる制御を上記移動機構に対して行い、上記移動機器が一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項１又は２に記載の機器制御装置。
  4. 上記移動方向決定部は、上記目的エリアに音源が存在しなかった場合には、上記対象マイクロホンアレイ方向に対する移動方向を決定せず、上記収音部による収音処理を行うことを特徴とする請求項１〜３のいずれかに記載の機器制御装置。
  5. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、最初に一旦前進移動をさせた場合には一旦後進移動を、又は最初に一旦後進移動させた場合には一旦前進移動をさせる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項３又は４に記載の機器制御装置。
  6. 上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、上記移動機器を最初に一旦移動をさせた距離とは異なる距離で、再度一旦移動させる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項３又は４に記載の機器制御装置。
  7. さらに、上記移動方向決定部で決定された移動方向に対して、上記移動機器を移動させる制御を上記移動機構に対して行い、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた上記過去のパワー補正係数とを比較して、上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続ける制御を行う移動制御部を有することを特徴とする請求項１〜６のいずれかに記載の機器制御装置。
  8. 上記移動方向決定部は、上記移動制御部で上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続けた後、上記各マイクロホンアレイ中の他の１のマイクロホンアレイを対象マイクロホンアレイとして、同様に上記対象マイクロホンアレイ方向に対する移動方向を決定する処理を行うことを特徴とする請求項７に記載の機器制御装置。
  9. 上記収音部による収音処理と上記移動機構に対する移動制御を繰り返しながら、音源を追尾することを特徴とする請求項１〜８のいずれかに記載の機器制御装置。
  10. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に搭載されるコンピュータを、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
    して機能させることを特徴とする機器制御プログラム。
  11. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に使用する機器制御方法であって、
    パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、
    上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、
    上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、
    上記移動方向決定部は、上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する
    ことを特徴とする機器制御方法。
  12. 複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、
    上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
    上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
    上記各マイクロホンアレイ中の１の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
    を有することを特徴とする対話装置。
  13. 第１の対話装置および第２の対話装置を備え、少なくとも前記第１の対話装置および第２の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、
    前記第１の対話装置および第２の対話装置の少なくとも一方に請求項１２に記載の対話装置を適用したことを特徴とするコミュニケーションシステム。
JP2017182869A 2017-09-22 2017-09-22 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム Active JP6879144B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017182869A JP6879144B2 (ja) 2017-09-22 2017-09-22 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017182869A JP6879144B2 (ja) 2017-09-22 2017-09-22 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Publications (2)

Publication Number Publication Date
JP2019057901A JP2019057901A (ja) 2019-04-11
JP6879144B2 true JP6879144B2 (ja) 2021-06-02

Family

ID=66107548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017182869A Active JP6879144B2 (ja) 2017-09-22 2017-09-22 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム

Country Status (1)

Country Link
JP (1) JP6879144B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6879340B2 (ja) 2019-07-29 2021-06-02 沖電気工業株式会社 収音装置、収音プログラム、及び収音方法
JP6908142B1 (ja) * 2020-01-27 2021-07-21 沖電気工業株式会社 収音装置、収音プログラム、及び収音方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499124B1 (ko) * 2002-03-27 2005-07-04 삼성전자주식회사 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
JP4928376B2 (ja) * 2007-07-18 2012-05-09 日本電信電話株式会社 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP6149818B2 (ja) * 2014-07-18 2017-06-21 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP6598064B2 (ja) * 2015-09-30 2019-10-30 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出システム、及び物体検出方法

Also Published As

Publication number Publication date
JP2019057901A (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP6977448B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
CN107534725B (zh) 一种语音信号处理方法及装置
US10097921B2 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
KR101761312B1 (ko) 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법
US9516241B2 (en) Beamforming method and apparatus for sound signal
US8755536B2 (en) Stabilizing directional audio input from a moving microphone array
JP6240995B2 (ja) 移動体、音響源マップ作成システムおよび音響源マップ作成方法
US20100123785A1 (en) Graphic Control for Directional Audio Input
CN113692750A (zh) 使用声音场景分析和波束形成的声传递函数个性化
EP2748815A2 (en) Processing signals
EP2748817A2 (en) Processing signals
CN109155884A (zh) 用全向麦克风进行立体声分离和定向抑制
JP7194897B2 (ja) 信号処理装置及び信号処理方法
JP6879144B2 (ja) 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
CN110136733B (zh) 一种音频信号的解混响方法和装置
JP5205935B2 (ja) 雑音消去装置、雑音消去方法および雑音消去プログラム
CN112672251A (zh) 一种扬声器的控制方法和系统、存储介质及扬声器
CN107450882B (zh) 一种调节声音响度的方法、装置及存储介质
EP2362238B1 (en) Estimating the distance from a sensor to a sound source
CN110517702B (zh) 信号生成的方法、基于人工智能的语音识别方法及装置
JP2015171030A (ja) 収音装置及びプログラム
KR101884446B1 (ko) 다자간 회의에서의 화자 인식 및 화자 추적 방법
CN113596240A (zh) 录音方法、装置、电子设备及计算机可读介质
CN110415718B (zh) 信号生成的方法、基于人工智能的语音识别方法及装置
US10796711B2 (en) System and method for dynamic optical microphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6879144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150