JP5543023B2 - 目的音強調装置およびカーナビゲーションシステム - Google Patents

Description

この発明は、マイクロフォンアレイの出力信号から目的音を強調した音声信号を生成する目的音強調装置、およびこの目的音強調装置を利用したカーナビゲーションシステムに関する。

例えば自動車の車室のように雑音が大きい環境または複数の信号源が存在する環境の中で、車載ハンズフリーのような通話システムを構築するためには、特定の信号源（話者）の信号のみを分離して抽出する技術が必要である。そのような技術の一つとしてビームフォーマがある。ビームフォーマは、マイクロフォンアレイにより取得した複数チャネルの信号を足し合わせることで目的方向の信号を強調するものであり、固定型のビームフォーマと適応型のビームフォーマがある。最も単純な固定型ビームフォーマは遅延和法（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）であり、適法型のビームフォーマには最尤法（ＭＬ法）、最小分散法（ＭＶＤＲ）、一般化サイドローブキャンセラ（ＧＳＣ）などがある（例えば、非特許文献１参照）。

遅延和法は、目的方向にマイク感度の指向性を向ける方式であり、一般に計算量が少ないが、車載目的などリソースに制限がある場合はサイドローブが大きい、残響環境に弱い、低周波領域に対して十分な指向性が得られないなどの課題があった。
低周波領域において指向性を上げるためには、マイクロフォンアレイの全体のアレイ長を長くする必要がある。例えば１０００Ｈｚの音に対してメインローブが±１０°程度の指向性を得ようとすればアレイ長は約２ｍ必要となる。
また、単純にマイクロフォンの間隔を長くすることによりアレイ長を長くしても、グレーティングローブが目的方向以外に発生し、指向性が低下する（例えば、非特許文献２参照）。
従って、グレーティングローブを抑制しつつ低周波領域での指向性を保つためには、多数のマイクロフォンを密に並べる必要があり、コストが増大してしまう。

一方、適応型のビームフォーマは、目的方向の感度を一定に保った上で雑音音源が死角になるような指向性を形成する方式であり、低周波領域に対しても有効で、かつ、残響環境下でも雑音抑圧を行うことができるが、計算量が大きい、拡散性雑音には効果が弱いなどの課題があった。

そこで、少ないマイクロフォンでも高い音源分離性能を実現するために、例えば特許文献１では複数のビームフォーマを用意している。周波数帯域毎にそれらのビームフォーマを適用した結果より、最も振幅の大きいビームフォーマの出力を採用して合成することで音源分離性能を高め、音声認識精度を向上させている。
また例えば、特許文献２では周波数帯域毎のビームフォーマのビーム幅および環境雑音モデルなどから、複数のビームフォーマを用いて特定領域内の角度区間範囲を最適にカバーする包括的ビームフォーマが提案されている。

特許４４５７２２１号公報 特開２００５−２５３０７１号公報

浅野太著、「音のアレイ信号処理―音源の定位・追跡と分離―」、株式会社コロナ社、２０１１年、ｐ６９−１０６ 大賀寿郎、山崎芳男、金田豊共著、「音響システムとディジタル処理」、社団法人電子情報通信学会、１９９５年、ｐ１８１−１８６

上記特許文献１，２の方式は汎用性を追求したものであった。そのため、上記特許文献１のように複数のビームフォーマから得られる信号のうちの振幅が最大のものを選択すると、車内のようなノイズと音声のパワーが近い場合にノイズ源を選択してしまうという課題があった。また、上記特許文献２の方式は特定方向から到来する目的音を最適に強調するものではないので、車内の話者の音声を最適に強調するためには更なる改良が求められる。

この発明は、上記のような課題を解決するためになされたもので、複数の方式のビームフォーマを室内環境モデルに従って周波数帯域毎に切り替えて、室内の話者の音声信号を最適に強調することを目的とする。

この発明の目的音強調装置は、室内に設置された２個以上のマイクロフォンからの出力信号を周波数領域の信号に変換する演算部と、演算部が変換した複数の周波数領域の信号から、所定周波数帯域毎に目的音を強調した信号を生成するビームフォーマを、異なる方式で２つ以上有するビームフォーマ群と、室内環境における所定周波数帯域毎の雑音特性およびビームフォーマそれぞれの指向特性の情報を保持する室内環境モデル記憶部と、所定周波数帯域毎に、ビームフォーマそれぞれを車内環境モデル記憶部が保持する指向特性と雑音特性に基づいて評価し、当該評価の最も高いビームフォーマを選択するビームフォーマ種別判定部と、演算部が変換した周波数領域の信号を所定周波数帯域毎に、ビームフォーマ種別判定部が選択したビームフォーマへ出力する出力切替部と、ビームフォーマ群が出力する所定周波数帯域毎の信号を結合する信号結合部とを備えるものである。

この発明のカーナビゲーションシステムは、車内に設置される２個以上のマイクロフォンと、各マイクロフォンからの出力信号を入力に用いて、車内の話者の声を強調した音声信号を生成する上述の目的音強調装置と、目的音強調装置が生成した音声信号を利用してハンズフリー通話を行うハンズフリー通話制御部とを備えるものである。

この発明によれば、室内環境における音響特性に基づいて周波数帯域毎にビームフォーマを評価し、最適なビームフォーマにより目的音を強調するようにしたので、室内の話者の音声信号を最適に強調することができる。

この発明の実施の形態１に係る目的音強調装置を適用したカーナビゲーションシステムの構成を示すブロック図である。 実施の形態１に係る目的音強調装置の動作を示すフローチャートである。 実施の形態１に係る目的音強調装置の有する車内環境モデルを説明する図である。 実施の形態１に係る目的音強調装置の有する第１ビームフォーマ指向特性の一例を示すグラフである。 実施の形態１に係る目的音強調装置の有する車内推定雑音パワーの一例を示すグラフである。 実施の形態１に係る目的音強調装置によるビームフォーマ種別判定処理を説明するフローチャートである。 実施の形態１に係る目的音強調装置の有する車内環境モデルの別の例を説明する図である。 この発明の実施の形態２に係る目的音強調装置を適用したカーナビゲーションシステムの構成を示すブロック図である。 この発明の実施の形態３に係る目的音強調装置を適用したカーナビゲーションシステムの構成を示すブロック図である。 実施の形態３に係る目的音強調装置の有する車内環境モデルを説明する図である。 実施の形態３に係る目的音強調装置によるビームフォーマ種別判定処理を説明するフローチャートである。 この発明の実施の形態４に係る目的音強調装置によるビームフォーマ種別判定処理を説明するフローチャートである。 この発明の実施の形態５に係る目的音強調装置を適用したカーナビゲーションシステムの構成を示すブロック図である。 実施の形態５に係る目的音強調装置の有する車内環境モデルを説明する図である。 実施の形態５に係る目的音強調装置によるビームフォーマ種別判定処理を説明するフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に示すカーナビゲーションシステム１は、車内の音声信号を収録して電気信号に変換するマイク２，３からなるマイクロフォンアレイと、これらマイク２，３の出力信号を入力に用いて目的音を強調する目的音強調装置１０と、目的音を強調処理した音声信号を利用して（送信して）ハンズフリー通話を行うハンズフリー通話制御部４と、経路探索及び案内を行うナビゲーション制御部（不図示）などから構成されている。このカーナビゲーションシステム１において、マイク２，３は１０ｃｍ程度の間隔とし、車内のバックミラー等に取り付けることができる。また、目的音強調装置１０の目的音声は運転者の声であり、従って目的方向は運転席方向である。また、図示例ではマイク数を２個としたが、一般にビームフォーマは２チャネル以上の入力を扱えるため、マイク数を３個以上にしてもよい。ただし、本実施の形態１では説明を簡単にするため２個のマイク２，３を例に用いて説明する。

目的音強調装置１０は、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算部１１，１２と、車内環境モデル記憶部１３と、ビームフォーマ種別判定部１４と、ＢＦ（ＢｅａｍＦｏｒｍｅｒ）セレクタ（出力切替部）１５と、第１ビームフォーマ１６と、第２ビームフォーマ１７と、信号結合部１８とから構成されている。

ＦＦＴ演算部１１は、ＦＦＴにより、マイク２の出力信号を時間領域から周波数領域に変換して、ＢＦセレクタ１５へ出力する。同様に、ＦＦＴ演算部１２はマイク３の出力信号を周波数領域に変換してＢＦセレクタ１５へ出力する。なお、周波数領域への変換方式はＦＦＴに限定されるものではない。また、ＦＦＴ演算部はカーナビゲーションシステム１の有するマイクの数と同数用意すればよく、図示例のように２個に限定されるものではない。

車内環境モデル記憶部１３は、特定車種の車内環境の雑音特性をモデル化して保持するメモリである。ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３の保持する車内環境モデルに従って、ＢＦセレクタ１５から出力される所定の周波数帯域毎の信号に適用すべきビームフォーマ種別を判定する。ＢＦセレクタ１５は、ＦＦＴ演算部１１，１２から出力される周波数領域の信号を所定の周波数帯域毎に分割してビームフォーマ種別判定部１４に出力すると共に、その分割した信号を、ビームフォーマ種別判定部１４の判定結果に基づいて適用すべきビームフォーマへ出力する分別器である。

第１ビームフォーマ１６および第２ビームフォーマ１７は互いに異なる方式のビームフォーマ器であり、ＢＦセレクタ１５から出力される周波数帯域の信号に対してビームフォーミング処理を行う。ここでは、第１ビームフォーマ１６として固定型の遅延和法、第２ビームフォーマ１７として適応型の最小分散法のビームフォーマ器を用いる。なお、遅延和法および最小分散法は公知の技術であるため、詳細な説明は省略する。

信号結合部１８は、第１ビームフォーマ１６および第２ビームフォーマ１７から出力される周波数帯域毎の信号を結合し、逆ＦＦＴなどにより時間領域に変換して音声信号に復元する。

次に、図２に示すフローチャートを用いて、目的音強調装置１０の動作を説明する。
ＦＦＴ演算部１１，１２は、マイク２，３の出力信号をそれぞれ周波数領域の信号に変換して、ＢＦセレクタ１５へ出力する（ステップＳＴ１）。ＢＦセレクタ１５は、各周波数領域の信号を所定の帯域幅に分割し、帯域毎に（例えば周波数の小さい帯域から順に）ビームフォーマ種別判定部１４へ出力する（ステップＳＴ２）。ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３の保持する車内環境モデルに基づいて、ＢＦセレクタ１５から与えられた周波数帯域の信号を適用すべきビームフォーマ種別を判定する（ステップＳＴ３）。ビームフォーマ種別判定方法の詳細は後述する。

ＢＦセレクタ１５は、処理対象の周波数帯域の信号についてビームフォーマ種別判定部１４から適用すべきビームフォーマ種別の判定結果を受け取ると、その判定結果に従って第１ビームフォーマ１６および第２ビームフォーマ１７のいずれか選択された方へその周波数帯域の信号を出力する。そして、第１ビームフォーマ１６また第２ビームフォーマ１７のいずれか選択されたビームフォーマが、入力された処理対象の周波数帯域の信号をビームフォーミング処理する（ステップＳＴ４）。
最後に、信号結合部１８が、第１ビームフォーマ１６および第２ビームフォーマ１７から出力される各周波数帯域の信号を結合して、目的音（即ち、運転者の音声）の強調された音声信号としてハンズフリー通話制御部４に出力する。

次に、ビームフォーマ種別判定処理の詳細を説明する。
図３は、車内環境モデル記憶部１３が保持する車内環境モデルを説明する図である。車内環境モデルは、第１ビームフォーマ１６の指向特性の情報（以下、第１ビームフォーマ指向特性）１３１、第２ビームフォーマ１７の指向特性の情報（以下、第２ビームフォーマ指向特性）１３２、および車内推定雑音パワー１３３の情報を含む。

第１ビームフォーマ指向特性１３１は、対象車の車内における、第１ビームフォーマ１６の周波数帯域毎の指向特性を示す情報である。第１ビームフォーマ１６は遅延和法であるので、対象車の車内における音声が平面波で近似できる場合は、指向特性を下式（１）のように求めることができる。

ただし、θ_Ｌは目的方向の角度、ｄはマイクの間隔（ここでは１０ｃｍ）、Ｍはマイク数（ここでは２個）、ｆは周波数、ｃは音速である。

上式（１）より、θ方向の感度を求め、周波数毎の目的方向θ_Ｌのメインローブ幅を求めて、予め車内環境モデル記憶部１３に設定しておけばよい。図４は、周波数ｆ＝１５００Ｈｚにおける第１ビームフォーマ１６の指向特性の例を示すグラフである。グラフにおいて、各角度における中心からの半径は、その角度におけるビームフォーマのゲインの大きさを示す。

他方、車内形状が複雑で、音声を平面波で近似できない場合は、指向特性を予め実験により測定して、車内環境モデル記憶部１３に設定しておけばよい。指向特性を測定するためには、ＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）信号などのスイープ信号を所定の位置から発信し、マイク２，３で収録した音声信号を第１ビームフォーマ１６により処理して、そのパワーを車内環境モデル記憶部１３に設定すればよい。このときの所定の位置は、例えばマイク２，３の半径５０ｃｍ地点において所定角度毎の位置などとする。

また、第２ビームフォーマ１７は適応型の最小分散法であるので、上述したような測定により指向特性を求め、第２ビームフォーマ指向特性１３２として車内環境モデル記憶部１３に予め設定しておけばよい。

車内推定雑音パワー１３３は、対象車の車内における平均的な雑音パワーを周波数の関数として表した情報である。図５は、車内推定雑音パワー１３３の一例を示すグラフである。この車内推定雑音パワー１３３により、対象車の車内について、特定の周波数における雑音パワーを推定することができる。

図６は、ビームフォーマ種別判定部１４によるビームフォーマ種別判定処理（図２のステップＳＴ３に相当する）の詳細を示すフローチャートである。
ビームフォーマ種別判定部１４は、ＢＦセレクタ１５から出力される周波数（または周波数帯域）ｆの信号を受け取り（ステップＳＴ３１）、以下の処理により、この周波数ｆに適用すべきビームフォーマの種別（第１ビームフォーマ１６または第２ビームフォーマ１７）を判定する。

ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３から周波数ｆに対応する第１ビームフォーマ指向特性１３１と、第２ビームフォーマ指向特性１３２と、車内推定雑音パワー１３３とを取得する（ステップＳＴ３２）。そして、第１ビームフォーマ１６について、第１ビームフォーマ指向特性１３１と車内推定雑音パワー１３３を用いて所定の評価式により評価し、第２ビームフォーマ１７について、第２ビームフォーマ指向特性１３２と車内推定雑音パワー１３３を用いて所定の評価式により評価して、それぞれ評価値を求める（ステップＳＴ３３）。

評価式はＶ（ＢＦ，ｆ，ＮＰ）の形式とし、ビームフォーマ種別ＢＦ（第１ビームフォーマ１６をＢＦ＿１、第２ビームフォーマ１７をＢＦ＿２とする）、周波数ｆ、推定雑音パワーＮＰの関数とする。
ここでは、例として第１ビームフォーマ１６の評価式を下式（２）、第２ビームフォーマ１７の評価式を下式（３）とする。

Ｖ（ＢＦ＿１，ｆ，ＮＰ） （２）
＝Ｖ＿ＢＦ＿１（ｆ）
＝１／（第１ビームフォーマ１６の周波数ｆでのメインローブ幅）

Ｖ（ＢＦ＿２，ｆ，ＮＰ） （３）
＝Ｖ＿ＢＦ＿Ｂ（ｆ，ＮＰ）
＝｛ＮＰ／（基準値）｝／（第２ビームフォーマ１７の周波数ｆでのメインローブ幅）

ここで、メインローブ幅は、目的方向を基準としてゲイン値が所定以下になる目的方向を中心とした角度θの幅として定義する。このようにすることで、メインローブ幅が狭い（即ち、目的方向への指向性が高い）特性を有するビームフォーマの評価値が高くなる。また、基準値を適切に設定することにより、雑音が大きいときほど第２ビームフォーマ１７の評価値が高くなり、雑音が低いときほど第１ビームフォーマ１６の評価値が高くなりやすくなる。これは、第２ビームフォーマ１７として用いる最小分散法が、雑音の少ない場合に性能が劣化しやすい性質をもつためである。

ビームフォーマ種別判定部１４は、第１ビームフォーマ１６の評価値と第２ビームフォーマ１７の評価値を比較して（ステップＳＴ３４）、第１ビームフォーマ１６の評価値が高ければ第１ビームフォーマ１６を選択してＢＦセレクタ１５へ通知し（ステップＳＴ３５）、一方、第２ビームフォーマ１７の評価値が高ければ第２ビームフォーマ１７を選択してＢＦセレクタ１５へ通知する（ステップＳＴ３６）。なお、ＢＦセレクタ１５はステップＳＴ３６の通知を受けて、選択されたビームフォーマへ周波数ｆの信号を出力する。

そして、ビームフォーマ種別判定部１４は、ＢＦセレクタ１５から出力される全周波数帯域の信号（即ち、ＦＦＴ演算部１１，１２が出力する周波数領域の信号）について、ビームフォーマ種別を判定し終われば（ステップＳＴ３７“ＹＥＳ”）、一連のビームフォーマ種別判定処理を終了する。他方、まだ判定の終わっていない周波数があれば（ステップＳＴ３７“ＮＯ”）、再びステップＳＴ３１に戻る。

なお、上述の説明では、図３に示す車内環境モデル記憶部１３の第１ビームフォーマ指向特性１３１、第２ビームフォーマ指向特性１３２および車内推定雑音パワー１３３を用いてビームフォーマの評価を行ったが、この評価方法に限定されるものではない。
例えば、図７の例では、車内環境モデル記憶部１３ａが、新たに、周波数帯域毎のマイク２，３の指向特性を示す情報（以下、マイク指向特性）１３４を保持している。この構成の場合、ステップＳＴ３３のビームフォーマ評価処理において、ビームフォーマ種別判定部１４が、周波数帯域毎のマイク指向特性とビームフォーマ指向特性の比により、推定ＳＮ（信号対雑音）比を求める。
ここでは、例として第１ビームフォーマ１６の評価式を下式（４）、第２ビームフォーマ１７の評価式を下式（５）とする。

ここで、Ｇ_Ｍ（θ），Ｇ_ＢＦ１（θ），Ｇ_ＢＦ２（θ）はそれぞれマイク２，３、第１ビームフォーマ１６、第２ビームフォーマ１７の角度θ方向の周波数ｆにおけるゲイン値である。θ_Ｗは積分を実行する角度領域である。指向特性は３６０°で得られるが、実用上マイクの後ろ側などは音源が存在しないため、後ろの指向特性を考慮すべきでない場合がある。そのため、対象車の車内環境に合わせてθ_Ｗを決定する。これにより、鋭い指向特性をもつビームフォーマが選択されやすくなる。また、上式（３）と同様に、推定雑音パワーと基準値の比の項を、式（５）に乗算しても良い。

以上より、実施の形態１によれば、目的音強調装置１０は、車内に設置されたマイク２，３からの出力信号を周波数領域の信号に変換するＦＦＴ演算部１１，１２と、ＦＦＴ演算部１１，１２が変換した２つの周波数領域の信号から、所定周波数帯域毎に運転席の方向から到来する音声を強調した信号を生成する遅延和法の第１ビームフォーマ１６および最小分散法の第２ビームフォーマ１７を有するビームフォーマ群と、第１ビームフォーマ指向特性１３１、第２ビームフォーマ指向特性１３２および車内推定雑音パワー１３３を保持する車内環境モデル記憶部１３と、ＦＦＴ演算部１１，１２が変換した周波数領域の信号を所定周波数帯域毎に、第１および第２ビームフォーマ１６，１７を第１および第２ビームフォーマ指向特性１３１，１３２と車内推定雑音パワー１３３に基づいて評価し、評価の高いビームフォーマを選択するビームフォーマ種別判定部１４と、所定周波数帯域毎に、ビームフォーマ種別判定部１４が選択した第１または第２ビームフォーマ１６，１７へ出力するＢＦセレクタ１５と、ビームフォーマ群が出力する所定周波数帯域毎の信号を結合する信号結合部１８とを備えるように構成した。このため、対象車特有の車内環境に最適なビームフォーマを周波数別に切り替えて適用することができるようになり、ＳＮ比が向上し、運転席から到来する音声を最適に強調することができる。また、車内環境モデル記憶部１３の保持する車内環境モデルを対象車に合わせて変更することにより、簡易に、最適なビームフォーマ設定を行うことができる。

また、ビームフォーマ群の１つに計算コストの低い固定ビームフォーマを用いるようにしたので、計算量を抑えることができる。
また、ビームフォーマ群の１つに雑音が少ない場合に性能が劣化する最小分散法を用いたので、ビームフォーマ種別評価のための評価式（３）のように推定雑音パワーと基準値の比の項を乗算するようにすれば、雑音が少ないときはもう一方の遅延和法が選択されやすくなる。よって、ビームフォーマの種別毎の短所を補完し合うことができる。

なお、上記実施の形態１では、第１ビームフォーマ１６と第２ビームフォーマ１７のどちらを適用すべきか動的に判定する構成としたが、これに限定されるものではない。車内環境モデル記憶部１３は静的なデータ集合であるので、予め周波数帯域毎にどちらのビームフォーマを適用するかを、図６に示すフローチャートに従って決定しておき、周波数帯域毎に適用するビームフォーマ種別を表にして保持しておくこともできる。

また、上記実施の形態１では、ハンズフリー通話制御部４を備えたカーナビゲーションシステム１に対して目的音強調装置１０を適用した例を説明したが、用途はこれに限定されるものではない。例えば、経路案内を行う際の目的地入力を音声認識によって行う場合、前段処理として運転者が発話した目的地の音声をマイク２，３で収録して、目的音強調装置１０にて適切にビームフォーミング処理した音声信号をカーナビゲーションシステム１の音声認識部が使用するなどの構成にしてもよい。

さらに、上記説明ではマイク２，３の間隔を１０ｃｍ程度にしたマイクロフォンアレイを用いたが、これは車内への搭載を前提とした値であって、１０ｃｍ間隔に規定されるものではない。ただし、間隔をある程度長くすれば遅延和法（第１ビームフォーマ１６）にて鋭い指向性が得られるという利点があるが、間隔が長くなりすぎるとサイドローブ（グレーティングローブ）が発生するため指向性は失われるため、適度な間隔に設定する必要がある。

実施の形態２．
図８は、本実施の形態２に係る目的音強調装置１０を適用したカーナビゲーションシステム１の構成を示すブロック図である。本実施の形態２に係る目的音強調装置１０は、新たに、時系列で入力される周波数領域の信号から現在の車内状況を推定する車内状況推定部１９を備える。なお、図８において図１と同一または相当の部分については同一の符号を付し説明を省略する。

ＢＦセレクタ１５は、ＦＦＴ演算部１１，１２から出力される周波数領域の信号を所定の帯域幅を持つ信号に分割し、周波数の小さい帯域から順にビームフォーマ種別判定部１４および車内状況推定部１９に出力する。

車内状況推定部１９は、ＢＦセレクタ１５から出力される周波数帯域毎の信号に基づいて、現在の車内状況（周波数帯域毎の推定雑音パワー）を推定し、状況パラメータとしてビームフォーマ種別判定部１４に出力する。
なお、車内状況推定部１９の雑音パワーの推定方法としては、公知の技術（例えば、特開平１０−１７１４８７号公報）により周波数領域の信号から音声区間と無音声区間（即ち、雑音区間）とを検出し、検出した雑音区間の信号からパワーを算出することで雑音パワーを推定すればよい。
また、推定雑音パワーの計算はマイク毎に異なるため、車内状況推定部１９はマイク２，３の信号の平均値を使用したり、どちらか一方の信号を選択して使用したりすればよい。

ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３に予め保持されている車内推定雑音パワー１３３に代えて、車内状況推定部１９から出力される周波数帯域毎の推定雑音パワーを用いて、ＢＦセレクタ１５から出力される周波数帯域毎の信号に適したビームフォーマ種別を判定する。
従って、車内環境モデル記憶部１３は、車内推定雑音パワー１３３を予め保持しておく必要はない。

以上より、実施の形態２によれば、目的音強調装置１０はマイク２，３の出力信号を用いて車内環境の雑音パワーを推定する車内状況推定部１９を備え、ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３が保持する車内推定雑音パワー１３３に代えて、車内状況推定部１９が推定する雑音パワーを用いるように構成した。このため、現在の出力信号から雑音を推定でき、より状況に適したビームフォーマ種別を選択することができる。

実施の形態３．
図９は、本実施の形態３に係る目的音強調装置１０を適用したカーナビゲーションシステム１の構成を示すブロック図である。なお、図９において図１と同一または相当の部分については同一の符号を付し説明を省略する。

図１０は、車内環境モデル記憶部１３ｂが保持する車内環境モデルを説明する図である。この車内環境モデル記憶部１３ｂは、第１ビームフォーマ指向特性１３１と第２ビームフォーマ指向特性１３２と車内推定雑音パワー１３３に加え、新たにビームフォーミング回避周波数１３５の情報を保持している。
このビームフォーミング回避周波数１３５は、車両部品（エンジン、オーディオなど）の振動など複数のマイク２，３間で差異のない雑音の周波数帯域を示す情報であり、これはビームフォーミングでは抑圧できない雑音とする。例えばマイク２，３を取り付けるバックミラーが振動する場合などは、マイク２，３の出力信号間に強い相関があり、第１ビームフォーマ１６または第２ビームフォーマ１７を適用するとかえって雑音が強調されてしまうことが考えられる。このような雑音は対象車の車種に応じた特性として、予め実験により検出しておき、車内環境モデル記憶部１３ｂにビームフォーミング回避周波数１３５として設定しておくことができる。

次に、図１１に示すフローチャートを用いて、ビームフォーマ種別判定部１４によるビームフォーマ種別判定処理の詳細を説明する。なお、図１１に示すステップＳＴ３１〜ＳＴ３７は、図２に示すステップＳＴ３１〜ＳＴ３７と同一の処理であるため説明を省略し、ここではステップＳＴ４１，ＳＴ４２を中心に説明する。

ビームフォーマ種別判定部１４は、ステップＳＴ３３にてビームフォーマ評価を行う前に、処理対象の周波数（または周波数帯域）ｆがビームフォーミング回避周波数１３５に該当するか否かを判定する（ステップＳＴ４１）。周波数ｆが回避周波数に該当すれば（ステップＳＴ４１“ＹＥＳ”）、ビームフォーマ種別判定部１４はその周波数ｆに適用すべきビームフォーマはないと判定して、その旨をＢＦセレクタ１５に通知する（ステップＳＴ４２）。
一方、周波数ｆが回避周波数に該当しなければ（ステップＳＴ４１“ＮＯ”）、続くステップＳＴ３３以降の処理により第１ビームフォーマ１６と第２ビームフォーマ１７のどちらかを選択する。
ＢＦセレクタ１５は、周波数ｆの信号について、ビームフォーマ種別判定部１４からビームフォーミング処理なしの通知を受けた場合、その周波数ｆの信号を信号結合部１８へ出力する。

なお、ステップＳＴ３３以降の処理により、第１ビームフォーマ１６と第２ビームフォーマ１７の評価値を求めるに際し、第１ビームフォーマ指向特性１３１、第２ビームフォーマ指向特性１３２および車内推定雑音パワー１３３を用いる評価方法以外にも、マイク指向特性１３４を用いたり、車内状況推定部１９が求める推定雑音パワーを用いたりして評価してもよいことは言うまでもない。

以上より、実施の形態３によれば、目的音強調装置１０は、車内環境モデル記憶部１３ｂに第１および第２ビームフォーマ１６，１７による処理を回避する周波数帯域を示すビームフォーミング回避周波数１３５を格納しておき、ビームフォーマ種別判定部１４は、ビームフォーマ評価対象の周波数帯域が車内環境モデル記憶部１３ｂの保持するビームフォーミング回避周波数１３５に該当する場合にビームフォーマの選択を行わず、ＢＦセレクタ１５は、ビームフォーマ種別判定部１４によるビームフォーマの選択が行われなかった周波数帯域の信号を信号結合部１８へ出力するように構成した。このため、より対象車種に適合したビームフォーミング処理を行うことができる。

実施の形態４．
本実施の形態４に係る目的音強調装置１０は、図１に示す目的音強調装置１０と図面上では同様の構成であるため、以下では図１を援用して説明する。
本実施の形態４では、ビームフォーマの評価式Ｖ’（ＢＦ，ｆ，ＮＰ）を、上記実施の形態１で説明した評価式Ｖ（ＢＦ，ｆ，ＮＰ）を用いて以下のように定義する。

なお、上述したようにビームフォーマ種別ＢＦとしてはＢＦ＿１（第１ビームフォーマ１６）と、ＢＦ＿２（第２ビームフォーマ１７）とがある。
また、α（ＢＦ）はビームフォーマ種別毎に定められる係数パラメータであり、全てのビームフォーマ種別に対して一律で１を与えても良い。また、Ｃｏｓｔ（ＢＦ）はビームフォーマ種別に対してその計算コストを返す関数とする。この関数は、予めビームフォーマ種別毎の計算コストを表にして、車内環境モデル記憶部１３などが保持しておくことで構築できる。

上式（７）を用いると、推定雑音パワーＮＰが大きい場合は計算量の大きさが問題とならず、ＶＣ（ＢＦ，ＮＰ）は１に近い値となる。よって、ビームフォーマの評価値（６）は、Ｖ（ＢＦ，ｆ，ＮＰ）により求まる指向特性によって決まる。他方、推定雑音パワーＮＰが小さい場合は、計算コストが評価値へ寄与する度合いが増し、計算コストによりビームフォーマの評価値が決まる。

次に、図１２に示すフローチャートを用いて、ビームフォーマ種別判定部１４によるビームフォーマ種別判定処理の詳細を説明する。なお、この処理は、図２に示すステップＳＴ３に相当する。
ビームフォーマ種別判定部１４は、先ず車内環境モデル記憶部１３の車内推定雑音パワー１３３を参照し（ステップＳＴ５１）、ＢＦセレクタ１５から出力された周波数領域の信号のうちのまだ判定を行っていない周波数帯域の推定雑音パワーを比較し、推定雑音パワーが最大となる周波数帯域（または周波数）ｆを選択する（ステップＳＴ５２）。即ち、上記実施の形態１〜３では周波数帯域が小さい方から大きい方へと順に所定帯域幅毎にビームフォーマ種別判定処理を行ったが、本実施の形態４では推定雑音パワーが大きい順に所定帯域幅毎にビームフォーマ種別判定処理を行うことになる。

ビームフォーマ種別判定部１４は、選択した周波数帯域ｆの信号について、車内環境モデル記憶部１３から第１ビームフォーマ指向特性１３１と車内推定雑音パワー１３３、および第２ビームフォーマ指向特性１３２と車内推定雑音パワー１３３を用いて、上式（６）より、第１ビームフォーマ１６と第２ビームフォーマ１７それぞれの評価値を求める（ステップＳＴ５３）。そして、評価値同士を比較し（ステップＳＴ５４）、第１ビームフォーマ１６の評価値が高ければ第１ビームフォーマ１６を選択してＢＦセレクタ１５へ通知し（ステップＳＴ５５）、第２ビームフォーマ１７の評価値が高ければ第２ビームフォーマ１７を選択してＢＦセレクタ１５へ通知する（ステップＳＴ５６）。

そして、ビームフォーマ種別判定部１４は、推定雑音パワーの高い順にビームフォーマ種別判定を行い、ＢＦセレクタ１５から出力された全周波数帯域の信号についてビームフォーマ種別を判定し終われば（ステップＳＴ５７“ＹＥＳ”）、一連のビームフォーマ種別判定処理を終了する。他方、また判定の終わっていない周波数があれば（ステップＳＴ５７“ＮＯ”）、再びステップＳＴ５１に戻る。

以上より、実施の形態４によれば、目的音強調装置１０は、車内環境モデル記憶部１３などに第１および第２ビームフォーマ１６，１７の各計算コストの情報を格納しておき、ビームフォーマ種別判定部１４は、所定周波数帯域毎に、第１ビームフォーマ指向特性１３１、第２ビームフォーマ指向特性１３２、車内推定雑音パワー１３３および計算コストに基づいて評価するように構成した。さらに、ビームフォーマ種別判定部１４は、車内環境モデル記憶部１３の保持する車内推定雑音パワー１３３を参照して雑音パワーが大きい周波数帯域から順にビームフォーマの評価を行うように構成した。このため、推定雑音パワーが大きい周波数帯域では計算量に影響されずに指向特性の適正が高いビームフォーマ種別が選択され、反対に推定雑音パワーが小さくビームフォーマの指向特性があまり影響しない周波数帯域では計算量の小さいビームフォーマ種別が選択されるようになり、全体としての性能を大きく下げることなくトータルの計算量を小さくすることができる。

なお、上記実施の形態４では、上式（７）のように推定雑音パワーとの比により計算コストを考慮したが、計算コストを変数とした別の評価式を用いてもよい。
また、ビームフォーマ種別判定部１４において雑音パワーの大きい順に周波数帯域を選択する際、車内環境モデル記憶部１３の保持する車内推定雑音パワー１３３に代えて、上記実施の形態２のように車内状況推定部１９を用いてリアルタイムに推定した雑音パワーを用いてもよい。

実施の形態５．
図１３は、本実施の形態５に係る目的音強調装置１０を適用したカーナビゲーションシステム１の構成を示すブロック図である。本実施の形態５に係る目的音強調装置１０は、新たに、第１ビームフォーマ１６および第２ビームフォーマ１７による計算量を周波数帯域毎に積算していく計算量積算部２０と、現在のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）負荷状況を取得する負荷状況取得部２１とを備える。なお、図１３において図１と同一または相当の部分については同一の符号を付し説明を省略する。

なお、図１３に示す目的音強調装置１０はコンピュータで構成されており、ＦＦＴ演算部１１，１２、ビームフォーマ種別判定部１４、ＢＦセレクタ１５、第１ビームフォーマ１６、第２ビームフォーマ１７、信号結合部１８および計算量積算部２０の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されているプログラムを実行するものである。そのため、ＦＦＴ演算部１１，１２、ビームフォーマ種別判定部１４、ＢＦセレクタ１５、第１ビームフォーマ１６、第２ビームフォーマ１７、信号結合部１８および計算量積算部２０が、ＣＰＵ負荷状況に影響を及ぼすことになる。そして、負荷状況取得部２１は、このＣＰＵの使用率Ｘ［％］を取得する。

また、目的音強調装置１０のＣＰＵをカーナビゲーションシステム１が共有している場合には、負荷状況取得部２１が取得するＣＰＵの使用率Ｘに、例えばハンズフリー通話制御部４なども影響を及ぼすことになる。

図１４は、車内環境モデル記憶部１３ｃが保持する車内環境モデルを説明する図である。この車内環境モデル記憶部１３ｃは、第１ビームフォーマ指向特性１３１、第２ビームフォーマ指向特性１３２および車内推定雑音パワー１３３に加え、新たに計算余力テーブル１３６を保持している。
この計算余力テーブル１３６は、ＣＰＵ使用率に応じたビームフォーマ群に割り当て可能な計算余力を示す情報である。

ここで、計算余力の一例を説明する。本実施の形態４では、目的音強調装置１０が有するビームフォーマのうちの最も計算コストの小さいビームフォーマを全周波数帯域に適用した場合の計算量をＭｉｎＣｏｓｔとし、このＭｉｎＣｏｓｔとビームフォーマ群の計算コストの差分を計算余力とする。
本実施の形態４では、固定型の遅延和法を用いる第１ビームフォーマ１６が最も計算コストが小さいので、これをＭｉｎＣｏｓｔとする。よって、計算余力テーブル１３６は、第２ビームフォーマ１７の計算コストを計算余力として保持していることと等価になる。なお、このテーブルは、予めパラメータとして作成して車内環境モデル記憶部１３ｃに設定しておけばよい。

次に、図１５に示すフローチャートを用いて、ビームフォーマ種別判定処理の詳細を説明する。なお、この処理は、図２に示すステップＳＴ３に相当する。また、図１５に示すステップＳＴ５１〜ＳＴ５７は、図１２に示すステップＳＴ５１〜ＳＴ５７と同一の処理であるため説明を省略し、ここではステップＳＴ６１〜ＳＴ６６を中心に説明する。
先ず、負荷状況取得部２１が、ＣＰＵ使用率Ｘを取得する（ステップＳＴ６１）。

続いてビームフォーマ種別判定部１４が、負荷状況取得部２１から出力されたＣＰＵ使用率Ｘに対応するビームフォーマ群の計算余力を、車内環境モデル記憶部１３ｃの計算余力テーブル１３６を参照して取得し、計算余力Ｚとする（ステップＳＴ６２）。
また、ビームフォーマ種別判定部１４は、計算量積算部２０が記憶している積算計算量をクリアする（ステップＳＴ６３）。

ビームフォーマ種別判定部１４は、計算量積算部２０を参照し、現在の積算計算量を取得し、積算計算量Ｙとする（ステップＳＴ６４）。初回のステップＳＴ６４では、前段のステップＳＴ６３で積算計算量をクリアしたばかりなので、積算計算量Ｙは０である。続いて、積算計算量Ｙと計算余力Ｚとを比較し（ステップＳＴ６５）、積算計算量Ｙが計算余力Ｚより大きい場合（ステップＳＴ６５“ＹＥＳ”）、最小の計算コストとなる第１ビームフォーマ１６を選択する（ステップＳＴ５５）。これにより、ＣＰＵ負荷が高い場合には最も計算コストの小さいビームフォーマを選択できる。
一方、積算計算量Ｙが計算余力Ｚ以下の場合（ステップＳＴ６５“ＮＯ”）、ビームフォーマ種別判定部１４は車内環境モデル記憶部１３ｃを参照し、上記実施の形態４と同様にまだ判定を行っていない周波数帯域のうち、推定雑音パワーが最大となる周波数帯域について、上式（６）より、適用すべきビームフォーマ種別を判定する（ステップＳＴ５１〜ＳＴ５６）。これにより、ＣＰＵの処理能力に余裕がある場合には、計算コストではなく、指向特性および推定雑音パワーに基づいて最適なビームフォーマを選択できる。

判定後、ビームフォーマ種別判定部１４は、選択したビームフォーマについて下式（８）より求めた計算量を、計算量積算部２０の保持している積算計算量に加算して、計算量積算部２０を更新する（ステップＳＴ６６）。
Ｃｏｓｔ（ＢＦ）−ＭｉｎＣｏｓｔ （８）
ここで、Ｃｏｓｔ（ＢＦ）は、上式（７）と同じであり、ビームフォーマ種別に対してその計算コストを返す関数である。また、ＭｉｎＣｏｓｔは第１ビームフォーマ１６の計算コストＣｏｓｔ（ＢＦ＿１）に相当する。

そして、ビームフォーマ種別判定部１４は、推定雑音パワーの高い順にビームフォーマ種別判定を行い、ＢＦセレクタ１５から出力された全周波数帯域の信号についてビームフォーマ種別を判定し終われば（ステップＳＴ５７“ＹＥＳ”）、一連のビームフォーマ種別判定処理を終了する。他方、また判定の終わっていない周波数があれば（ステップＳＴ５７“ＮＯ”）、再びステップＳＴ６４に戻る。

このようにして、ビームフォーマ種別判定部１４は、周波数帯域毎に、最小コストＭｉｎＣｏｓｔからの差分を計算量積算部２０に積算して、最小コストのビームフォーマ（即ち、第１ビームフォーマ１６）のみ有する構成の場合からどのくらい計算量が増えたかを判定基準にして第１ビームフォーマ１６と第２ビームフォーマ１７とを切り替える。

以上より、実施の形態５によれば、目的音強調装置１０は、所定周波数帯域毎の第１または第２ビームフォーマ１６，１７による計算量を積算していく計算量積算部２０と、ＣＰＵ負荷の度合いを示すＣＰＵ使用率を取得する負荷状況取得部２１とを備え、車内環境モデル記憶部１３ｃは、ビームフォーマ種別に応じた計算コストと、ＣＰＵ使用率に応じてビームフォーマ群に割り当て可能な計算余力の情報を格納しておき、ビームフォーマ種別判定部１４は、負荷状況取得部２１が取得したＣＰＵ使用率に応じた計算余力を車内環境モデル記憶部１３ｃから取得し、所定周波数帯域毎に、計算量積算部２０の積算計算量が当該取得した計算余力より小さければ第１および第２ビームフォーマ１６，１７の評価を行って選択し、積算計算量が計算余力以上になると第１および第２ビームフォーマ１６，１７のうちの計算コストの小さい第１ビームフォーマ１６を選択するように構成した。このため、目的音強調装置１０またはカーナビゲーションシステム１の負荷状況に応じてビームフォーマ種別を切り替えることができる。よって、カーナビゲーションシステム１のような負荷状況の変動しやすいシステムに適用して好適である。

なお、上記実施の形態１〜５では、第１ビームフォーマ１６に遅延和法、第２ビームフォーマ１７に最小分散法を用いたが、ビームフォーマの種別はこれらに限定されるものではなく、その他にも例えば最尤法、多チャンネルＷｉｅｎｅｒフィルタ、一般化サイドローブキャンセラなどを用いてもよい。この構成の場合にも、ビームフォーマ種別判定として指向特性、計算量、ＳＮ性能などにより各ビームフォーマを評価して判定すればよい。
また、第１ビームフォーマ１６と第２ビームフォーマ１７の２つの方式のビームフォーマを具備する構成にしたが、３つ以上の方式のビームフォーマを具備する構成にしてもよい。

上記以外にも、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

以上のように、この発明に係る目的音強調装置は、車内環境モデルに応じてビームフォーマ種別を切り替えるようにしたので、カーナビゲーションシステムおよび車載用ハンズフリー通話システムなどに用いるのに適している。

１ カーナビゲーションシステム、２，３ マイク、４ ハンズフリー通話制御部、１０ 目的音強調装置、１１ ＦＦＴ演算部、１２ ＦＦＴ演算部、１３，１３ａ，１３ｂ，１３ｃ 車内環境モデル記憶部、１４ ビームフォーマ種別判定部、１５ ＢＦセレクタ（出力切替部）、１６ 第１ビームフォーマ、１７ 第２ビームフォーマ、１８ 信号結合部、１９ 車内状況推定部、２０ 計算量積算部、２１ 負荷状況取得部、１３１ 第１ビームフォーマ指向特性、１３２ 第２ビームフォーマ指向特性、１３３ 車内推定雑音パワー、１３４ マイク指向特性、１３５ ビームフォーミング回避周波数、１３６ 計算余力テーブル。

Claims (11)

1. ２個以上のマイクロフォンからの出力信号を周波数領域の信号に変換する演算部と、
   前記演算部が変換した複数の周波数領域の信号から、所定周波数帯域毎に目的音を強調した信号を生成するビームフォーマを、異なる方式で２つ以上有するビームフォーマ群と、
   前記マイクロフォンが設置された室内環境における前記所定周波数帯域毎の雑音特性および前記ビームフォーマそれぞれの指向特性の情報を保持する室内環境モデル記憶部と、
   前記所定周波数帯域毎に、前記ビームフォーマそれぞれを前記室内環境モデル記憶部が保持する指向特性と雑音特性に基づいて評価し、当該評価結果に基づいてビームフォーマを選択するビームフォーマ種別判定部と、
   前記演算部が変換した周波数領域の信号を前記所定周波数帯域毎に、前記ビームフォーマ種別判定部が選択したビームフォーマへ出力する出力切替部と、
   前記ビームフォーマ群が出力する前記所定周波数帯域毎の信号を結合する信号結合部とを備える目的音強調装置。
2. 室内環境モデル記憶部は、室内環境における雑音特性として、当該室内環境における所定周波数帯域毎の雑音パワーを保持し、
   ビームフォーマ種別判定部は、所定周波数帯域毎に、ビームフォーマそれぞれを前記室内環境モデル記憶部が保持する当該ビームフォーマの指向特性と前記雑音パワーに基づいて評価することを特徴とする請求項１記載の目的音強調装置。
3. 室内環境モデル記憶部は、室内環境における雑音特性として、マイクロフォンの指向特性を保持し、
   ビームフォーマ種別判定部は、所定周波数帯域毎に、ビームフォーマそれぞれを前記室内環境モデル記憶部が保持する当該ビームフォーマの指向特性と前記マイクロフォンの指向特性から求まる信号対雑音比に基づいて評価することを特徴とする請求項１記載の目的音強調装置。
4. 室内環境モデル記憶部は、ビームフォーマの方式に応じた計算コストの情報を保持し、
   ビームフォーマ種別判定部は、所定周波数帯域毎に、ビームフォーマそれぞれを前記室内環境モデル記憶部が保持する当該ビームフォーマの指向特性および計算コストと、雑音特性とに基づいて評価することを特徴とする請求項１記載の目的音強調装置。
5. マイクロフォンの出力信号を用いて室内環境の雑音パワーを推定する室内状況推定部を備え、
   ビームフォーマ種別判定部は、室内環境モデル記憶部が保持する雑音パワーに代えて、前記室内状況推定部が推定する雑音パワーを用いることを特徴とする請求項２記載の目的音強調装置。
6. 室内環境モデル記憶部は、ビームフォーマによる処理を回避する周波数帯域の情報を保持し、
   ビームフォーマ種別判定部は、ビームフォーマ評価対象の周波数帯域が前記室内環境モデル記憶部の保持する周波数帯域に該当する場合にビームフォーマの選択を行わず、
   出力切替部は、前記ビームフォーマ種別判定部によるビームフォーマの選択が行われなかった前記周波数帯域の信号を、ビームフォーマ群へ出力せず信号結合部へ出力することを特徴とする請求項１記載の目的音強調装置。
7. 所定周波数帯域毎のビームフォーマ群による計算量を積算していく計算量積算部と、
   計算負荷の度合いを示す情報を取得する負荷状況取得部とを備え、
   室内環境モデル記憶部は、ビームフォーマの方式に応じた計算コストと、前記負荷の度合いに応じて前記ビームフォーマ群に割り当て可能な計算余力の情報を保持し、
   ビームフォーマ種別判定部は、前記負荷状況取得部が取得した負荷の度合いに応じた計算余力を前記室内環境モデル記憶部から取得し、前記所定周波数帯域毎に、前記計算量積算部の積算計算量が当該取得した計算余力より小さければ各ビームフォーマの評価を行って選択し、前記積算計算量が前記計算余力以上になると前記ビームフォーマ群のうちの最も計算コストの小さいビームフォーマを選択することを特徴とする請求項１記載の目的音強調装置。
8. ビームフォーマ種別判定部は、室内環境モデル記憶部が保持する雑音特性を参照し、室内環境における雑音パワーが大きい周波数帯域から順に、ビームフォーマの評価を行うことを特徴とする請求項４記載の目的音強調装置。
9. ビームフォーマ群のうちの少なくとも１つのビームフォーマとして、適応ビームフォーマに比べて計算コストが小さい固定ビームフォーマを用いることを特徴とする請求項１記載の目的音強調装置。
10. ビームフォーマ群は、遅延和法によるビームフォーマと、最小分散法によるビームフォーマとからなることを特徴とする請求項１記載の目的音強調装置。
11. 車内に設置される２個以上のマイクロフォンと、
    前記各マイクロフォンからの出力信号を入力に用いて、前記車内の話者の声を強調した音声信号を生成する請求項１記載の目的音強調装置と、
    前記目的音強調装置が生成した音声信号を利用してハンズフリー通話を行うハンズフリー通話制御部とを備えるカーナビゲーションシステム。

Images