JP6538002B2 - 目的音集音装置、目的音集音方法、プログラム、記録媒体 - Google Patents

Description

本発明は、複数のマイクロホンを利用した集音技術に利用される目的音集音装置、目的音集音方法、プログラム、記録媒体に関する。

図１、図２に特許文献１の目的音集音装置９の構成、および動作を模式的に示す。図１に示すように、特許文献１の目的音集音装置９は、方向推定部９１、集音方向制御部９２、指向性集音部９３、記憶部９４を含み、集音方向制御部９２は、所望方向設定部９２２、集音方向決定部９２３を含む。方向推定部９１は、複数のマイクロホン８−１、…、８−Ｎ（Ｎは２以上の整数）から集音した複数の音響信号に基づいて音源の方向を推定する（Ｓ９１）。方向推定部９１は、マイクロホン８−１、…、８−Ｎ間で発生する時間差や振幅差を手掛かりに音源の方向を推定する。所望方向設定部９２２は、集音を所望する方向（所望方向）、あるいは集音を所望する角度範囲（所望角度範囲）を予め設定する（Ｓ９２２）。集音方向決定部９２３は、ステップＳ９１で推定された音源の方向が予め設定された所望方向（あるいは所望角度範囲）と合致する場合に、当該音源の方向を集音方向と決定する（Ｓ９２３）。指向性集音部９３は、ステップＳ９２３で決定された集音方向の音を強調して指向性集音を実行する（Ｓ９３）。ステップＳ９３は、特許文献２などに開示された方法により実現できる。ステップＳ９３で指向性集音された音響信号は、同図に示すように記憶部９４に記憶する構成としてもよいし、この装置の外部に出力されてもよい。

特開２００５−６４９６８号公報 特開２００９−４４５８８号公報

特許文献１の方法は予め集音したい方向や角度範囲が決まっていれば有効である。一方、特許文献１の方法において予め集音したい方向や角度範囲が決まっていない場合、全方位が集音方向とされる。この場合、周囲に不要音を発するものや人がいる場合には、この音も必要な音として集音してしまうという問題がある。例えば、音声認識を用いて対話を行うロボットや、音声認識を用いて機器の操作を行うリモコンなどに特許文献１の方法を適用した場合、不要音に反応して音声認識が行われ、ロボットやリモコンが誤動作を起こす可能性がある。

そこで本発明では、不要音方向を推定し、不要音方向以外の方向を集音方向として指向性集音を実行することができる目的音集音装置を提供することを目的とする。

本発明の目的音集音装置は、方向推定部と、発音頻度計測部と、不要音方向推定部と、集音方向決定部と、指向性集音部を含む。

方向推定部は、複数のマイクロホンから集音した複数の音響信号に基づいて音源の方向を推定する。発音頻度計測部は、各方向について音源の方向として推定された頻度を計測する。不要音方向推定部は、各方向のうちの何れかの方向における頻度と予め定めた閾値との比較結果が所定の条件を充たす場合に、何れかの方向を不要音方向と推定する。集音方向決定部は、不要音方向と異なる方向が音源の方向と推定された場合に、不要音方向と異なる方向である音源の方向を集音方向と決定する。指向性集音部は、決定された集音方向の音を強調して集音する。

本発明の目的音集音装置によれば、不要音方向を推定し、不要音方向以外の方向を集音方向として指向性集音を実行することができる。

従来技術の目的音集音装置の構成を示すブロック図。 従来技術の目的音集音装置の動作を示すフローチャート。 実施例１の目的音集音装置の構成を示すブロック図。 実施例１の目的音集音装置の動作を示すフローチャート。 実施例２の目的音集音装置の構成を示すブロック図。 実施例２の目的音集音装置の合成音声生成、再生動作を示すフローチャート。 実施例２の目的音集音装置の集音方向制御動作を示すフローチャート。 変形例１の目的音集音装置の構成を示すブロック図。 変形例１の目的音集音装置の発話検出動作を示すフローチャート。 変形例１の目的音集音装置の集音方向制御動作を示すフローチャート。 実施例３の目的音集音装置の構成を示すブロック図。 実施例３の目的音集音装置の動作を示すフローチャート。 変形例２の目的音集音装置の構成を示すブロック図。 変形例２の目的音集音装置の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

以下、図３、図４を参照して実施例１の目的音集音装置の構成、および動作を説明する。図３に示すように、本実施例の目的音集音装置１は、方向推定部９１と、集音方向制御部１２と、指向性集音部９３と、記憶部９４を含み、集音方向制御部１２は、発音頻度計測部１２１と、不要音方向推定部１２２と、集音方向決定部１２３を含む。方向推定部９１、指向性集音部９３、記憶部９４は、特許文献１の目的音集音装置９の同名、同番号の構成要件と同じ機能を有するため、説明を略する。

発音頻度計測部１２１は、各方向について音源の方向として推定された頻度を計測する（Ｓ１２１）。すなわち、発音頻度計測部１２１は、一定時間内にどの方向からどのくらいの頻度で発音があったかを計測する。発音があったか否かについては、方向推定部９１の出力から知ることができる。発音頻度計測部１２１は、例えば過去Ｔ秒の間に方向推定部９１が推定した方向がθであった時間の合計をＡ（θ）秒とすれば、θ方向の発音頻度を、それらの比Ｄ（θ）＝Ａ（θ）／Ｔとして求めることができる。発音頻度計測部１２１は、この頻度を各方向についてすべて求める。例えば雑音源がテレビや音楽受聴用のスピーカであると想定した場合、これらは長時間の間ほとんど無音になることなく、マイクロホン８−１、…８−Ｎには同じ方向から音が到来し続けることとなる。このような雑音源がθ方向にあった場合、発音頻度Ｄ（θ）は１に近い大きな値をとることになる。

不要音方向推定部１２２は、各方向のうちの何れかの方向における頻度と予め定めた閾値との比較結果が所定の条件を充たす場合に、何れかの方向を不要音方向と推定する（Ｓ１２２）。例えば不要音方向推定部１２２は、前述の発音頻度Ｄ（θ）が、予め設定した閾値Ｅ（０≦Ｅ≦１）を超える場合に、その方向を不要音方向として設定する。不要音方向推定部１２２は、すべての方向について同様の推定を行い、一方向、または複数の方向を不要音方向と推定する。不要音方向推定部１２２は、不要音方向として設定された方向θ_Ｎに基づいて定まる所定の角度範囲内の全ての方向（例えばθ_Ｎ＋Δθ〜θ_Ｎ−Δθの範囲内の全ての方向）を不要音方向としてもよい。Δθは予め設定された不要音方向の設定幅であり、方向推定の精度に基づいて設定される。例えば方向推定精度が１０度であった場合に１０度以上の値を設定することで、方向の推定誤差で不要音を必要な音として判定してしまうことがなくなる。

集音方向決定部１２３は、不要音方向と異なる方向が音源の方向と推定された場合に、不要音方向と異なる方向である音源の方向を集音方向と決定する（Ｓ１２３）。

本実施例の目的音集音装置１によれば、音を継続的に発生している音源を不要音と推定し、それ以外の音源を目的音として取り扱うため、テレビや音楽受聴用のスピーカなどの雑音源が存在する場合でも、目的音を適切に判別し、目的音を強調して集音することができる。

以下、図５、図６、図７を参照して実施例２の目的音集音装置の構成、および動作を説明する。図５に示すように、本実施例の目的音集音装置２は、方向推定部９１と、集音方向制御部２２と、指向性集音部９３と、記憶部９４と、発話制御部２４と、音声合成部２５を含み、集音方向制御部２２は、発音頻度計測部２２１と、不要音方向推定部１２２と、集音方向決定部１２３を含む。発音頻度計測部２２１、発話制御部２４、音声合成部２５以外の構成要件については、実施例１の目的音集音装置１の同名、同番号の構成要件と同じ機能を有するため、説明を略する。本実施例の目的音集音装置２は、ユーザと対話を行う装置であることを想定し、発話制御部２４と、音声合成部２５を備えることにより、発話制御、音声合成機能を有している。発話制御部２４は、発話を制御する（Ｓ２４）。音声合成部２５は、合成音声を生成して再生する（Ｓ２５）。本実施例の発話頻度計測部２２１は、合成音声が再生されている時間に限り、頻度を計測する（Ｓ２２１）。

合成音声再生中は、対話相手であるユーザは相槌を打つ程度で、ユーザが頻繁に発話をする可能性は少ないものと想定される。従って合成音声再生中の発音頻度が高い場合、その音源はユーザでなく、雑音源である可能性が高い。本実施例の目的音集音装置２はこの想定に基づき、ユーザと対話を行う装置においても、実施例１と同様の効果を奏する。

＜変形例１＞
以下、図８、図９、図１０を参照して、発話制御部２４と、音声合成部２５を発話検出部２６ａに代替し、発音頻度計測部２２１を発音頻度計測部２２１ａに代替した変形例１の目的音集音装置２ａの構成、および動作について説明する。

発話検出部２６ａは、スピーカ再生用音信号から発話を検出する（Ｓ２６ａ）。発話検出部２６ａは、スピーカ再生用音信号のレベルとあらかじめ設定した閾値を比較し、スピーカ再生用音信号のレベルが閾値を超える場合に、発話ありとして発話を検出する。発話頻度計測部２２１ａは、発話が検出されている時間に限り、頻度を計測する（Ｓ２２１ａ）。

以下、図１１、図１２を参照して実施例３の目的音集音装置の構成、および動作を説明する。図１１に示すように、本実施例の目的音集音装置３は、方向推定部９１と、集音方向制御部３２と、指向性集音部９３と、記憶部９４と、発話制御部２４と、音声合成部２５を含み、集音方向制御部３２は、発音頻度計測部２２１と、不要音方向推定部１２２と、集音方向決定部３２３と、発音タイミング計測部３２４を含む。集音方向決定部３２３、発音タイミング計測部３２４以外の構成要件については、実施例２の目的音集音装置２の同名、同番号の構成要件と同じ機能を有するため、説明を略する。

発音タイミング計測部３２４は、合成音声の再生が休止している場合に、合成音声の再生が休止した直後から最初に音源の方向の推定がなされるまでの時間を計測する（Ｓ３２４）。

集音方向決定部３２３は、最初に推定された音源の方向が不要音方向と異なる方向であって、ステップＳ３２４で計測された時間が予め定めた条件を充たす場合に、最初に推定された音源の方向を集音方向と決定する（Ｓ３２３）。具体的には、集音方向決定部３２３は、方向推定部９１が推定した音源の方向が不要音方向推定部１２２において不要音方向と推定されていないという条件に加え、発音タイミング計測部３２４で計測された時間が、予め設定した最小値と最大値の間に入っている場合に、当該推定された方向を集音方向を決定する（Ｓ３２３）。ただし、最小値、最大値は負の値でも正の値でもよい。

本装置と対話を行っているユーザであれば、対話音声（合成音声）の再生が終わった直後に発話するのが自然であるものと想定される。本実施例の目的音集音装置３はこの想定に基づき、対話音声（合成音声）の再生が休止している場合に、対話音声（合成音声）の再生が休止した直後から短い時間以内に発音が開始されたか否かに注目することで音源がユーザであるか否かを判別することができる。

＜変形例２＞
以下、図１３、図１４を参照して、発話制御部２４と、音声合成部２５を発話検出部２６ａに代替し、発音頻度計測部２２１を発音頻度計測部２２１ａに代替し、発音タイミング計測部３２４を発音タイミング計測部３２４ａに代替した変形例２の目的音集音装置３ａの構成、および動作について説明する。発音タイミング計測部３２４ａは、発話が検出されていない場合に、発話が検出されなくなった直後から、最初に音源の方向の推定がなされるまでの時間を計測する（Ｓ３２４ａ）。別の表現では、発音タイミング計測部３２４ａは、発話検出部２６ａの出力が発話ありから発話なしに移行した時刻から、最初に音源の方向の推定がなされるまでの時間を計測する（Ｓ３２４ａ）。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. 複数のマイクロホンから集音した複数の音響信号に基づいて音源の方向を推定する方向推定部と、
   各方向について前記音源の方向として推定された頻度を計測する発音頻度計測部と、
   前記各方向のうちの何れかの方向における前記頻度と予め定めた閾値との比較結果が所定の条件を充たす場合に、前記何れかの方向を不要音方向と推定する不要音方向推定部と、
   前記不要音方向と異なる方向が前記音源の方向と推定された場合に、前記不要音方向と異なる方向である前記音源の方向を集音方向と決定する集音方向決定部と、
   前記決定された集音方向の音を強調して集音する指向性集音部と、
   を含む目的音集音装置。
2. 請求項１に記載の目的音集音装置であって、
   合成音声を生成して再生する音声合成部をさらに含み、
   前記発話頻度計測部は、
   前記合成音声が再生されている時間に限り、前記頻度を計測する
   目的音集音装置。
3. 請求項１に記載の目的音集音装置であって、
   所定の音信号から発話を検出する発話検出部をさらに含み、
   前記発話頻度計測部は、
   前記発話が検出されている時間に限り、前記頻度を計測する
   目的音集音装置。
4. 請求項２に記載の目的音集音装置であって、
   前記合成音声の再生が休止している場合に、前記合成音声の再生が休止した直後から最初に音源の方向の推定がなされるまでの時間を計測する発音タイミング計測部をさらに含み、
   前記集音方向決定部は、
   前記最初に推定された音源の方向が不要音方向と異なる方向であって、前記計測された時間が予め定めた条件を充たす場合に、前記最初に推定された音源の方向を集音方向と決定する
   目的音集音装置。
5. 請求項３に記載の目的音集音装置であって、
   前記発話が検出されていない場合に、前記発話が検出されなくなった直後から最初に音源の方向の推定がなされるまでの時間を計測する発音タイミング計測部をさらに含み、
   前記集音方向決定部は、
   前記最初に推定された音源の方向が不要音方向と異なる方向であって、前記計測された時間が予め定めた条件を充たす場合に、前記最初に推定された音源の方向を集音方向と決定する
   目的音集音装置。
6. 目的音集音装置が実行する目的音集音方法であって、
   複数のマイクロホンから集音した複数の音響信号に基づいて音源の方向を推定するステップと、
   各方向について前記音源の方向として推定された頻度を計測するステップと、
   前記各方向のうちの何れかの方向における前記頻度と予め定めた閾値との比較結果が所定の条件を充たす場合に、前記何れかの方向を不要音方向と推定するステップと、
   前記不要音方向と異なる方向が前記音源の方向と推定された場合に、前記不要音方向と異なる方向である前記音源の方向を集音方向と決定するステップと、
   前記決定された集音方向の音を強調して集音するステップと、
   を含む目的音集音方法。
7. コンピュータを請求項１から５の何れかに記載の目的音集音装置として機能させるプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images