WO2007018293A1 - 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム - Google Patents

Abstract

　マイクロホン素子の感度のばらつきに影響を受けることなく、複数の音源から発せられた音源信号が混合された混合音の中から、目的音源からの音源信号を分離することを可能とする。音源分離装置１のビームフォーマ部３は、スペクトル分析後のマイクロホン１０、１１からの出力信号に対して複素共役の関係にある重み係数を乗算することにより、２つのマイクロホン１０、１１を結ぶ直線の垂線に対称な方向から到来する音源信号を各々減衰させるためのビームフォーマ処理を行う。パワー計算部４０、４１はパワースペクトル情報を計算し、目的音スペクトル抽出部５０、５１はパワースペクトル情報同士の差分に基づいて目的音源のスペクトル情報を抽出する。

Description

明 細 書

音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プロ グラム

技術分野

[0001] 本発明は、複数のマイクロホンを使用し、複数の音源から発せられた複数の音声信 号や各種環境雑音など複数の音響信号が混ざった信号から、目的とする音源から到 来する音源信号を分離する音源分離装置、音声認識装置、携帯電話機、音源分離 方法、及び、プログラムに関する。

背景技術

[0002] 種々の環境下において特定の音声信号などを収録したい場合、周囲環境にはさま ざまな雑音源があるため、目的音とする信号のみをマイクロホンで収録することは困 難であり、何らかの雑音低減処理あるいは音源分離処理が必要となる。

これらの処理が特に必要となる例として、例えば自動車環境下が挙げられる。自動 車環境下において、携帯電話の普及により運転中の携帯電話を使用しての通話は 車内に離れて設置されたマイクを使用するのが一般的あり、通話品質を著しく劣化さ せている。また、自動車環境下で運転中に音声認識を行う場合も同様の状況で発話 するため、音声認識性能を劣化させる原因になっている。現在の音声認識技術の進 歩により、定常雑音に対する音声認識率の劣化の問題に対して、劣化した性能のか なりの部分を回復することが可能となっている。しかし、現状の音声認識技術で対応 が難しいものとして、複数発話者の同時発話時の認識性能の劣化の問題がある。現 在の音声認識の技術では同時に発話された二人の混合音声を認識する技術が低い ため、音声認識装置使用時には発話者以外の同乗者は発話を制限され、同乗者の 行動を制限する状況が発生している。これらの音源分離の手法として独立主成分分 析法などを使用する方法もあるが、演算量、音源数の変動などの問題があり実用化 されていない。

[0003] 上記の問題を解決するために、車内の複数のマイクを取り付け特定方向からの音 声のみを収録する方法が各種提案されている力 自動車内に多数のマイクを取り付 けるためのスペースを確保することは困難であり、加えてコスト的な問題力も特性の揃 つたマイクを使用することも難しい。このため、出来るだけ少数で特性バラつきがある マイクを使用して動作をする方式が望まれている。

一般に複数のマイクロホンを使用する場合、低コストなマイクロホンほどその感度特 性のバラつきが大きく約 ± 3dB程度各周波数特性にバラつきがあると言われている。 これらの特性のバラつきがマイクロホンアレイ技術の中でも遅延和アレイなどの加算 型アレイ処理ではマイクロホンアレイ性能が設計通りの特性が実現できないだけであ る力 適応アレイなどのいわゆる減算型アレイでは一つのマイクを使用する場合より 特に lkHZ以下程度の低域において性能を悪ィ匕させる場合がある。

[0004] マイクロホンアレイ技術にとってセンサとしてのマイクロホンの特性のバラつきは大き な問題であり、これらの対策として、特許文献 1〜5などに複数のマイク素子の感度を 揃える方法が提案されて ヽる。

従来、少数のマイクロホン数で大きな効果が得られる適応ビームフォーマ処理技術 を利用したマイクロホンアレイに関しては、例えば非特許文献 1や、非特許文献 2に 述べられているように、一般化サイドローブキャンセラ（GSC)、フロスト型ビームフォ 一マおよび参照信号法など、種々の方法が知られている。

[0005] 適応ビームフォーマ処理は、基本的には雑音源の方向に死角を有する指向性ビー ムを形成したフィルタにより雑音を抑圧する処理であり、その中でも特に一般ィ匕サイド ローブキャンセラは、比較的性能が良いことで知られている。しかし、 GSCでは、設定 された目的音源の方向とずれた方向から目的信号が到来した際に、 目的信号がキヤ ンセルされて劣化するという問題点がある。これに対し、特許文献 6、 7において、こ れを周波数領域で動作させることで計算量を削減すると共に、周波数領域のフィルタ 係数から話者方向と特定雑音方向とを逐次検知し、 目的音と目的音以外の雑音とを ある程度分離し、スペクトルサブトラクシヨンと併用することで到来方向不明な雑音や 拡散性の雑音を低減する方法が開示されて！ヽる。

[特許文献 1]特開平 5— 131866号公報

[特許文献 2]特開 2002— 99297号公報

[特許文献 3]特開 2003— 153372号公報 [特許文献 4]特開 2004— 343700号公報

[特許文献 5]特開 2004- 289762号公報

[特許文献 6]特開 2001— 100800号公報

[特許文献 7]特開 2000— 47699号公報

[非特許文献 1]電子情報通信学会編「音響システムとデジタル処理」

[非特許文献 2]HAykin著、 "ADAptive Filter Theory(PrentiCe HA11)"

発明の開示

[0006] [発明が解決しょうとする課題]

この特許文献 6、 7に記載されているような適応ビームフォーマとスペクトルサブトラ クシヨンを組み合わせた技術にぉ 、て、マイクロホンの素子感度のバラつきが存在す る場合、適応フィルタ部の入力信号として目的音を抑圧した参照信号を作成する必 要があるが、目的音を十分に抑圧することが出来ず、適応フィルタ部の参照信号と目 的信号双方に目的音が含まれるため、適応フィルタ処理を施した結果目的音が歪み 音質が劣化する。同様の現象は、初期反射の大きな閉空間でも参照信号中に目的 音信号が漏れてしまヽ発生する。

これを解決するために、マイクロホンの素子感度補正をするために製品組み立て時 にバラつきを測定し補正データを作成して使用時に補正を行ったり、使用時に特定 方向からの基準信号を利用してマイクロホンの素子感度の個体差、周囲温度や部品 の経年変化による逐次変化を測定し補正する方法があるが、製造コストの増加や、基 準信号を 、つ再生させるか、あるいは収録した信号が本当に基準信号のみかどうか をどうやって判断する力などの問題がある。

[0007] また適応フィルタの動作に着目すると、一般的に適応フィルタで参照信号と目標信 号が高い相関性を持つ場合、適応フィルタの推定動作が上手く行えず推定精度を 著しく劣化させてしまう。一例を挙げると、目的音と雑音の双方が音声信号の場合な どである。

同様の問題はエコーキャンセラでも発生し、遠端信号から近端信号に混入したェコ 一を推定する適応フィルタにおいて、遠端、近端とも同時に 2人の人が発話をした場 合、いわゆるダブルトーク状態が発生しエコーキャンセラの動作が著しく劣化する。こ のため、ダブルトーク状態を如何に正確に検出し、適応フィルタのパラメータ推定を 停止させたり推定速度も遅くしたりするかが重要な性能維持の条件となっている。

[0008] したがって、本適応フィルタ動作においても、目的音と特定雑音が双方とも音声で ある場合、双方とも発話している状態を検出する必要があると同時に、双方とも発話 している頻度が高いほど適応フィルタ推定を停止させる頻度があがり、結果として適 応フィルタの雑音除去性能が劣化すると言う問題がある。

また、自動車の走行雑音など大きな拡散性雑音などが発生する状況においては拡 散性雑音の影響で適応フィルタの推定精度が劣化するため、結果として、適応フィル タの推定したフィルタパラメータを使用した話者方向、特定雑音方向の到来方向推 定精度が劣化し、システム全体の性能が劣化すると言う問題がある。

[0009] また、上記の特許文献 6、 7に記載された方式では、自動車向けなどに低コストのマ イクを使用して雑音成分抑圧装置を構成しょうとした場合、車内音源の初期反射が 大きい、拡散性の雑音成分が大きい、使用するマイク素子のバラつきが大きい（± 3d b程度)、運転者と同乗者とが同時に発話し相関性の強い目的音と特定雑音とが同 時に存在するなどの場合に、適応フィルタ部が所望の動作をせず、全体として所望 の動作を実現できない。

本発明は上記問題点に鑑みてなされたものであり、マイクロホン素子の感度のばら つきに影響を受けることなぐ複数の音源カゝら発せられた音源信号が混合された混合 音の中から、目的音源力 の音源信号を分離することを可能とする音源分離装置、 音声認識装置、携帯電話機、音源分離方法、及び、プログラムを提供することを目的 とする。

[課題を解決するための手段]

上記課題を解決するために、請求項 1に記載の発明は、互いに離して配置された 少なくとも 2つのマイクロホンに対して複数の音源力 発せられた音源信号が混合さ れた混合音を入力し、該混合音から目的音源からの音源信号を分離する音源分離 装置において、前記マイクロホンからの出力信号に対して第 1の係数を用いた演算を 行うことにより、所定の方向から到来する音源信号を減衰させるための第 1のビームフ ォーマ処理を行い、かつ、前記マイクロホン力 の出力信号に対して、前記第 1の係 数と周波数領域で複素共役の関係にある第 2の係数を用いた演算を行うことにより、 2つのマイクロホンを結ぶ直線の垂線に対して前記所定の方向と対称な方向力 到 来する音源信号を減衰させるための第 2のビームフォーマ処理を行うビームフォーマ 手段と、前記ビームフォーマ手段により得られた音源信号各々についてのパワース ベクトル情報を計算するパワー計算手段と、前記パワー計算手段により計算されたパ ワースベクトル情報同士の差分に基づいて、目的とする音源のスペクトル情報を抽出 する目的音スぺ外ル抽出手段とを備えることを特徴とする音源分離装置を提供する

[0010] この発明によれば、音源分離装置は、指向特性がマイクロホン素子の感度に影響 を受けないという性質を実現することができ、マイクロホン素子の感度のばらつきに影 響を受けることなぐ複数の音源から発せられた音源信号が混合された混合音の中 から、目的音源力もの音源信号を分離することが可能となる。

請求項 2に記載の発明は、請求項 1に記載の音源分離装置において、前記ビーム フォーマ手段は、互いに離して配置された 3つのマイクロホンのうち、何れか 2つのマ イク口ホンの組合せ及び他の 2つのマイクロホンの組合せ各々について、前記第 1の ビームフォーマ処理及び前記第 2のビームフォーマ処理を行うことを特徴とする。

[0011] この発明によれば、 3つのマイクロホンのうち、 2つのマイクロホンを結ぶ直線の垂線 を境界とした各領域に存在する目的音源力ゝらの音源信号を抽出することができる。 請求項 3に記載の発明は、請求項 1又は 2に記載の音源分離装置において、マイク 口ホンからの出力信号に対して遅延を与える指向性制御手段をさらに備えることを特 徴とする。

この発明によれば、遅延を与えることで指向特性を最適な状態に補正することがで き、音源の分離性能を向上させることができる。

[0012] 請求項 4に記載の発明は、請求項 3に記載の音源分離装置において、前記指向性 制御手段は、 2つのマイクロホンのうち少なくとも一方のマイクロホンからの出力信号 に対して遅延を与えることにより、仮想的に 3つのマイクロホンからの出力信号を生成 することを特徴とする。

この発明によれば、仮想的に 3つのマイクロホンからの出力信号を生成することがで きるため、 2つのマイクロホンのみを用いて、 2つのマイクロホンを結ぶ直線の垂線方 向から到来する音源信号を分離抽出することが可能となる。

[0013] 請求項 5に記載の発明は、請求項 3又は 4に記載の音源分離装置において、前記 音源信号が到来する方向を推定する到来方向推定手段をさらに備え、前記指向性 制御手段は、前記到来方向推定手段により推定された到来方向に基づいて、 2つの 音源の位置が仮想的に 2つのマイクロホンを結ぶ直線の垂線に対して対称となるよう に、該マイクロホンからの出力信号に対して遅延を与えることを特徴とする。

この発明によれば、音源の高 、分離性能が得られるように遅延操作を行うことが可 能となる。

[0014] 請求項 6に記載の発明は、請求項 1から 5の何れか 1項に記載の音源分離装置に おいて、前記目的音抽出手段により抽出されたパワースペクトル情報に対して、スぺ タトルサブトラクシヨン処理を行うスペクトルサブトラクシヨン手段をさらに備えたことを 特徴とする。

この発明によれば、スペクトルサブトラクシヨン処理を行うことにより到来方向不明の 定常雑音や拡散性の雑音などを除去することが可能となる。

[0015] 請求項 7に記載の発明は、請求項 1から 6の何れか 1項に記載の音源分離装置に おいて、前記ビームフォーマ手段による処理を行う前に、雑音を低減する処理を行う 定常雑音低減手段をさらに備えることを特徴とする。

この発明によれば、ミュージカルノイズのような聴感上不快な雑音の発生を低減す ることが可能となる。

請求項 8に記載の発明は、請求項 1から 7の何れ力 1項に記載の音源分離装置によ り分離された音源信号の音声認識を行う音声認識手段を備えた音声認識装置を提 供する。

[0016] この発明によれば、精度よく分離された音源信号に基づ!、て、精度のよ!、音声認 識を行うことができる。

請求項 9に記載の発明は、請求項 8に記載の音声認識装置において、車両の運転 席側から発せられる語彙の候補の一覧である運転席側認識語彙リスト及び助手席側 力 発せられる語彙の候補の一覧である助手席側認識語彙リストを記憶する認識語 彙リスト記憶手段をさらに備え、前記音声認識手段は、前記認識語彙リスト記憶手段 に記憶されて 、る運転席側認識語彙リスト及び助手席側認識語彙リストに基づ 、て、 前記音源分離装置により分離された音源信号の音声認識処理を行うことを特徴とす る。

[0017] この発明によれば、音声認識装置は、認識語彙リスト記憶手段に記憶されている助 手席側認識語彙リスト及び運転席側認識語彙リストに基づき音声認識処理を行うた め、運転席、助手席別に語彙リストの中から最適な語彙を選択することができ、精度 よく音声認識を行うことが可能となる。

請求項 10に記載の発明は、請求項 8又は 9に記載の音声認識装置において、現 在の車両の状態を管理する状態遷移手段と、車両の状態に応じた助手席側及び運 転席側における有効な語彙リストを記憶する有効語彙リスト記憶手段と、前記状態遷 移手段で管理されている現在の車両の状態と、前記有効語彙リスト記憶手段に記憶 されている語彙リストとに基づいて、前記音声認識手段により認識された語彙が有効 か否かを判断し、該判断結果に応じて制御を行う制御手段とをさらに備えることを特 徴とする。

[0018] この発明によれば、現在の車両の状態と有効語彙リストとに基づいて、認識された 語彙が有効力否かを判断し、判断結果に応じて制御を行うことができるため、車両内 の搭乗者にとって快適な制御を行うことができる。また、有効語彙リストや制御内容を 自由に設計することができるため、音声認識を使用したアプリケーション設計に自由 度を与えることができる。

請求項 11に記載の発明は、請求項 1から 7の何れ力 1項に記載の音源分離装置を 備えた携帯電話機を提供する。

[0019] この発明によれば、携帯電話機を中規模の会議室などで集音マイクとして利用する ことが可能である。

請求項 12に記載の発明は、互いに離して配置された少なくとも 2つのマイクロホン に対して、複数の音源カゝら発せられた音源信号を入力する音源信号受信ステップと 、前記マイクロホン力もの出力信号に対して、周波数領域で複素共役の関係にある 2 つの重み係数各々を用いて演算を行うことにより、 2つのマイクロホンを結ぶ直線の 垂線に対して対称な所定の方向から到来する音源信号を各々減衰させるための第 1 のビームフォーマ処理及び第 2のビームフォーマ処理を行うビームフォーマ処理ステ ップと、前記ビームフォーマ処理ステップにおいて得られた音源信号各々について ノ ヮ一スペクトル情報を算出するパワー計算ステップと、前記パワー計算ステップに おいて計算されたパワースペクトル情報同士の差分に基づいて、目的音源のスぺタト ル情報を抽出する目的音スペクトル抽出ステップとを備えることを特徴とする音源分 離方法を提供する。

請求項 13に記載の発明は、コンピュータに、互いに離して配置された少なくとも 2 つのマイクロホンから、複数の音源カゝら発せられた音源信号が混合された出力信号 を取得する出力信号取得ステップと、前記出力信号取得ステップにおいて取得され た出力信号に対して、周波数領域で複素共役の関係にある 2つの重み係数各々を 用いて演算を行うことにより、 2つのマイクロホンを結ぶ直線の垂線に対して対称な所 定の方向から到来する音源信号を各々減衰させるための第 1のビームフォーマ処理 及び第 2のビームフォーマ処理を行うビームフォーマ処理ステップと、前記ビームフォ マ処理ステップにお 、て得られた音源信号各々につ 、てパワースペクトル情報を 算出するパワー計算ステップと、前記パワー計算ステップにおいて計算されたパワー スペクトル情報同士の差分に基づいて、目的音源のスペクトル情報を抽出する目的 音スペクトル抽出ステップとを実行させるためのプログラムを提供する。

[発明の効果]

本発明によれば、周波数領域で複素共役の関係にある 2つの重み係数各々を用い て演算を行うことにより、 2つのマイクロホンを結ぶ直線の垂線に対して対称な所定の 方向から到来する音源信号を各々減衰させるための第 1のビームフォーマ処理及び 第 2のビームフォーマ処理を行うことにより、 2つのマイクロホンを結ぶ直線の垂線に 対して対称な方向から到来する音源信号を各々減衰させ、前記第 1のビームフォー マ処理及び前記第 2のビームフォーマ処理により得られた音源信号各々についての ノ ヮ一スペクトル情報同士の差分に基づいて目的音源のスペクトル情報を抽出する ことで、指向特性がマイクロホン素子の感度に影響を受けないという性質を実現する ことができ、マイクロホン素子の感度のばらつきに影響を受けることなぐ複数の音源 から発せられた音源信号が混合された混合音の中から、目的音源からの音源信号を 分離することが可能となる。

図面の簡単な説明

[図 1]本発明の第 1実施形態に係る音源分離システムの基本的構成を示す図である

[図 2]同実施形態に係るマイクの種類の一例を示す図である。

[図 3]同実施形態に係るビームフォーマ部の構成を示す図である。

[図 4]同実施形態に係るパワー計算部の構成を示す図である。

[図 5]同実施形態に係る目的音スペクトル抽出部の構成を示す図である。

[図 6]同実施形態に係る死角制御型ビームフォーマを説明するための図である。

[図 7]同実施形態に係る死角制御型ビームフォーマを説明するための図である。

[図 8]同実施形態に係る差分結果の指向特性の一例を示す図である。

[図 9]同実施形態に係るマイクの素子感度差を変動させた場合の共役ビームフォー マの指向特性を示す図である。

[図 10]同実施形態に係るマイクの素子感度差を変動させた場合のビームフォーマ単 体の指向特性を示す図である。

[図 11]同実施形態に係る音源分離装置の 360度の指向特性を求めたグラフを示す 図である。

[図 12]同実施形態に係る音源分離装置の指向特性を利用した 2話者個別録音の実 施例を示す図である。

[図 13]同実施形態に係る音源分離装置の指向特性を利用した簡易ハンズフリー装 置及び音声認識装置用マイクの実施例を示す図である。

[図 14]同実施形態に係る評価実験におけるマイク取り付け箇所を示す図である。

[図 15]同実施形態に係る評価実験の条件を示す図である。

[図 16]同実施形態に係る評価実験結果を示す図である。

[図 17]第 2実施形態に係る音源分離システムの構成を示す図である。

[図 18]同実施形態に係るビームフォーマの構成を示す図である。

[図 19]第 3実施形態に係る音源分離システムの構成を示す図である。 圆 20]同実施形態に係る他の音源分離システムの構成を示す図である。

圆 21]同実施形態に係る目的音スペクトル抽出部の構成を示す図である。

圆 22]第 4実施形態に係る音源分離システムの構成を示す図である。

圆 23]第 5実施形態に係る音源分離システムの構成を示す図である。

圆 24]同実施形態に係る指向性制御の例を示す図である。

圆 25]同実施形態に係る指向性制御部の構成を示す図である。

圆 26]第 6実施形態に係る音源分離システムの構成を示す図である。

圆 27]第 7実施形態に係る音源分離システムの構成を示す図である。

圆 28]同実施形態に係る分離される音源の位置を説明するための図である。

圆 29]同実施形態に係る単一指向性マイクの設置例を示す図である。

圆 30]同実施形態に係る目的音抽出部の構成の一例を示す図である。

圆 31]同実施形態に係る目的音抽出部の構成の一例を示す図である。

圆 32]同実施形態に係る目的音抽出部の構成の一例を示す図である。

圆 33]同実施形態に係る音源分離装置を利用したパソコンへの音声入力の例を示 す図である。

圆 34]第 8実施形態に係る目的音範囲と雑音範囲とを説明するための図である。 圆 35]同実施形態に係る遅延操作を説明するための図である。

圆 36]同実施形態に係る指向性制御手段の構成例を示す図である。

圆 37]同実施形態に係る音源分離装置システムの構成例を示す図である。

圆 38]同実施形態に係る目的音抽出部における処理方式の一例を示す図である。 圆 39]同実施形態に係る目的音抽出部における処理方式の一例を示す図である。 圆 40]第 9実施形態に係る車載機器制御用音声認識システムの構成を示す図である 圆 41]第 10実施形態に係る携帯電話機を示す図である。

圆 42]第 11実施形態に係る音源分離システムにおけるマイク配列を示す図である。 圆 43]第 12実施形態に係る音源分離システムが適用される環境を示す図である。

[図 44]同実施形態に係る音源分離システムが適用される発話音の入力状況を示す 図である。 [図 45]同実施形態に係るガイダンス音声削除部の構成を示す図である。

[図 46]同実施形態に係る目的音声抽出部の構成を示す図である。

[図 47]同実施形態に係るガイダンス音声削除部の他の構成を示す図である。

[図 48]同実施形態に係るガイダンス音声削除部の他の構成における目的音声抽出 部の構成を示す図である。

[図 49]同実施形態に係る音源分離システムが適用される他の環境を示す図である。

[図 50]同実施形態に係る音源分離システムが適用される発話音の他の入力状況を 示す図である。

[図 51]同実施形態に係る音源分離システムの他の構成を示す図である。

発明を実施するための最良の形態

[0022] 以下、図面を参照して、本発明に係る実施の形態について説明する。

[第 1実施形態]

図 1は、本発明の第 1実施形態に係る音源分離システムの基本的構成を示す図で ある。このシステムは、 2つのマイクロホン（以下「マイク」という） 10、 11と、音源分離装 置 1とで構成されている。この音源分離装置 1は、図示せぬ、全体を制御し演算処理 を実行する CPUと、 ROM, RAM,ハードディスク装置等の記憶装置を含むハードウ エアと、記憶装置に記憶されたプログラム、データ等を含むソフトウェアとを備えてい る。これらのハードウェア及びソフトウェアによって、図 1に示す機能ブロックが実現さ れる。

[0023] 2つのマイク 10、 11は無指向性のマイクであり、平面上に互いに数 cm程度離して 設置されている。なお、マイク 10、 11は無指向性であることが基本である力 図 2に 示すような単一指向性マイクも使用可能である。マイク 10、 11は 2つの音源 R1、R2 から発せられた信号を受信する。このとき、これら 2つの音源 Rl、 R2は、 2つのマイク 10、 11を結ぶ直線に対して引かれた垂線を境界として分割された 2つの領域 (以下「 垂線の左右」という）にそれぞれ位置するものとするが、必ずしも垂線に対し左右対称 の位置に存在する必要はな 、。

[0024] このマイク 10、 11で得た 2つの音源信号を、スペクトル分析部 20、 21においてそれ ぞれマイク出力毎に周波数分析し、ビームフォーマ部 3においてこれらの周波数分析 された信号を 2つのマイク 10、 11を結ぶ直線に対して引かれた垂線の左右に対称に 死角を形成したビームフォーマ 30、 31でフィルタリングを行い、パワー計算部 40、 41 においてそのフィルタ出力のパワーを計算し、目的音スペクトル抽出部 50、 51にお いてそれぞれの差分を計算した結果に対しある一定値以上の値を出力しそれ以下を ゼロとする処理を行う。これらの処理は、通常の特定雑音に関して死角を形成する処 理とは異なり、ビームフォーマ部 3をいくつかの条件の下で形成し上記の処理を実施 することで、従来問題であったマイクの素子感度のバラつきに起因するマイクロホンァ レイの特性の劣化の問題を解決すると同時に、上記垂線を中心として左右からの音 を分離する指向特性を幅広い周波数帯域に対して実現することが可能となる。以下 、各機能ブロックについて詳細に説明する。

[0025] [ビームフォーマ部]

まず、図 3を参照して、ビームフォーマ部 3の構成を説明する。図 3では、スペクトル 分析部 20、スペクトル分析部 21で周波数成分毎に分解された信号 X (ω)、χ (ω)

1 2 を入力として、乗算器 100a、 100b, 100c, 100dにて、フィルタの重み係数 w (ω)

1

、_W (co (co co) (

2 )、_W*

1 )、w*( *

2 は複素共役の関係にあることを示す)と乗算をそれ ぞれ行い、加加算器 100e、 100fにて 2つの乗算結果を加算し、その出力としてフィ ルタリング処理結果 ds (ω)、 ds (ω)を出力する。このように、ビームフォーマ部 3は

1 2

、複素共役フィルタ係数を使用することにより、マイク 10、 11間を結ぶ直線の垂線を 中心として対称な位置に死角を形成している。

[パワー計算部]

次に、図 4を参照して、パワー計算部 40、 41について説明する。パワー計算部 40 、 41は、ビームフォーマ 30、ビームフォーマ 31からの出力 ds (ω)、 ds (ω)を、以下

1 2

の計算式により、パワー計算部 40、パワー計算部 41にてパワースペクトル情報 ps (

1 o>)、ps (ω)に変換する。

2

ps ω ) = [Re(ds ))]²+[Im(ds (ω))]²

1 1 1

ps (ω ) = [Re(ds ))]²+[Im(ds (ω))]²

2 2 2

[0026] [目的音スペクトル抽出部]

次に、図 5を参照して、目的音スペクトル抽出部 50、 51に関して説明すると、パワー 計算部 40、 41の出力 ps ( co )、ps ( ω )は、目的音スペクトル抽出部 50、 51の 2つの

1 2

入力として使用される。目的音スペクトル抽出部 50、 51は、 2つのビームフォーマ 30 、 31出力のパワースペクトル情報を入力として、出力として左右の目的音をそれぞれ 出力するが、内部的には差分計算部 500、 510と係数変換部 501、 511で構成され る。

差分計算部 500は、減算器 500aにてビームフォーマ 30のパワースペクトル情報か らビームフォーマ 31のパワースペクトル情報の減算を行い、同様に、差分計算部 51 0は、減算器 501aにてビームフォーマ 31のパワースペクトル情報からビームフォーマ 30のパワースペクトル情報の減算を行い、その結果をそれぞれ、係数変換部 501、 係数変換部 511へ入力する。係数変換部 501、係数変換部 511は、それぞれ左右 の音を分離するためのブロックであり、それぞれ、値が特定のしきい値以上の値を、 目的とする方向からの信号としてスペクトル情報を出力する。ここで、しきい値の値は 一般的には" 0"であるが、使用環境に応じて最適値を実測より求め別々に設定して も良い。

[動作]

次に、図 1を参照して、音源分離装置システム全体の動作を説明する。

まず、 2つの無指向性あるいは指向性のマイク 10、 11を互いに数 cm程度離して設 置し、 2つの音源力も発せられた信号をマイク 10、マイク 11で受信する。このとき、各 マイク 10、 11で受信された 2つの音源信号が重畳された信号は、スペクトル分析部 2 0、スペクトル分析部 21で周波数分析が行われる。ここでは、一般的には高速フーリ ェ変換などの手法が用いられるが、フィルタバンクなどの周波数分析手法でも良 、。 周波数分析処理は 10msec程度の固定周期毎に行われる。

周波数分析された 2つの信号は、マイク 10、 11を結ぶ直線への垂線に対して対称 に死角が形成されたビームフォーマ 30、ビームフォーマ 31にてフィルタリングされ、 特定方向からの信号が減衰させられる。しかし、ここでは特定の音源到来方向を正確 に推測し、正確に推測された音源方向に死角を向けることを目的とはしていない。こ の 2チャンネルの入力を使用したフィルタリングは各周波数成分毎に行われ、ビーム フォーマ 30、ビームフォーマ 31の出力はパワー計算部 40、パワー計算部 41にてス ベクトルパワー情報に変換されると同時に、ビームフォーマ 30、ビームフォーマ 31の 出力から位相抽出部 60、位相抽出部 61にて位相情報 Φ、 Φが抽出される。次に、

1 2

パワー計算部 40、パワー計算部 41にてスペクトルパワー情報に変換されたビームフ ォーマ 30、ビームフォーマ 31の出力は、目的音スペクトル抽出部 50、目的音スぺタト ル抽出部 51に送られ、目的音スペクトル抽出部 50にて右方向（0〜90° )から来た 音源信号のパワースペクトル情報が抽出され、目的音スペクトル抽出部 51にて左方 向（— 90° 〜0)力 来た音源信号のパワースペクトル情報が抽出される。

[0028] 目的音スペクトル抽出部 51から抽出されたパワースペクトル情報を音声認識処理 の前処理として使用する場合は、当該パワースペクトル情報は図示していない音響 パラメータ解析部に送られ、音響分析処理が行われる。一方、抽出した音源信号の パワースペクトル情報を時間信号に戻す必要がある場合は、位相抽出部 60、位相抽 出部 61で抽出した位相情報と目的音スペクトル抽出部 50、目的音スペクトル抽出部 51で抽出したスペクトル情報とを時間波形変換部 70、時間波形変換部 71に入力し 時間信号情報に戻す処理を行う。

[死角制御型ビームフォーマの設計例]

次に、ビームフォーマ部 3中のビームフォーマ 30、ビームフォーマ 31において、 2 つのマイク 10、 11を結ぶ直線の垂線に対して対称な位置に死角を形成することで、 指向特性 (指向性)がマイク素子の感度の影響を受けないことについて証明する。

[0029] 2つのマイク素子を使用する場合において、図 6に示すように、目的方位 0 に対す

1 るゲインを 1とし、他方向 Θ に 1つの死角（ゲイン 0)を形成する死角制御型ビームフ

2

ォーマの設計例を以下に示す。

死角制御型ビームフォーマの出力信号を S (f) = [s (f)、 s (f) ] '、観測信号を X(f)

1 2

= [x (f)、 x (f) ] 'としたとき、ある周波数 fにおける死角制御型ビームフォーマの重

1 2

み係数ベクトル W(f、 θ , Θ ) = [w (f)、 w (f) ] 'は以下の計算で求めることが出来

1 2 1 2

る (ただし、 ' は転置操作を示す)。

[0030] [数 1]

のとき、

[0031] 一方、図 7に示すように、目的方向、死角方向を 2つのマイク 10、 11を結ぶ直線の 垂線を中心として、図 6に示す位置とは線対称な位置に設定するとき、重み係数べク トノレ W(f、 Θ Θ ) = [w (f)、 w (f) ]，は以下の計算で求めることが出来る。

[0032] [数 2]

,ϋ ,

[0033] このとき、

[0034] [数 3]

exp [-ゾ 2^¾sin ] exp [- j2 d₂ sin θ_γ I c]

-θ_χ ~θ₂) exp [— jl7jd_x sin θ₂1 c] exp [— j2rtfd₂ sin θ₂1 c

[0035] と計算され、両者の関係は、

[0036] [数 4]

[0037] となり、各重み係数は複素共役の関係にある。

次に、パワー計算部 40、 41、目的音スペクトル抽出部 50、 51において指向特性の 導出を行う。指向特性の計算のため、重みベクトル W、及び、方位ベクトル Vを以下 の式で定義する。

[0038] [数 5]

[0039] すると、パワー計算部 40の出力 ps ( ω )、パワー計算部 41の出力 ps ( ω )の指向

1 2

特性は以下のように表現することが出来る。

[0040] [数 6]

[0041] ただし、 *は共役操作、 Hは共役転置操作を表す。これより、目的音スぺ外ル抽出 部 50内の差分操作部 500の出力 dr ( ω )は以下のように求めることが出来る。

1

[0042] [数 7] ώ (ω) = v^Tw*w^Tv* - v^Tmv^Hv* = v^T(w*w^T - ww^HY*

2 x Re^WjVjV [0043] ここで、マイクの素子感度のバラつきを表現するパラメータとして αを導入し、一方 のマイクの素子感度が一方のマイクの素子感度の α倍であると仮定する。このときに 、片方のマイク出力が α倍であるということと、片方のチャンネルに掛ける重みが α倍 であることとは等価であるので、マイク素子感度のバラつきを考慮し、 w = a w とす

2 org2 ると、

[0044] [数 8]

[0045] となり、マイク素子感度が変化しても指向特性は変化しない。

このとき音源がマイクに対して十分離れている場合、すなわち平面波の場合は、方 位ベクトルは、

[0046] [数 9]

1

exp (—ノ—— d sin θ)

[0047] と表現されるので、結局、

[0048] [数 10] l , 2π

- a< 2 x Rei w_org2 ^exP(_ — ^ sm ^) - 2 x Re exp (ゾ十 rf sinの

A

[0049] となる。ただし、上記に述べた手法は球面波の場合も同様の性質が維持される。

図 8は、死角を前記垂線から ±45° 方向に形成する際に、ビームフォーマ 30、 31 のゲインを維持する拘束条件を垂線に対称な位置（±45° )に指定して設計した場 合の差分結果の指向特性例である。図 8から分かるように、 0° 方向を境界として、右 方向（マイク 10、 11から音源 Rl、 R2の方向を見た場合の右方向、以下同様）（0〜9 0° )から来た音源信号は正の値をとり、左方向（一 90° 〜0)から来た音源信号は 負の値をとる。これにより、各周波数成分において左右どちらの方向から到来したの かを判断することが出来る。

[0050] [指向特性の実験結果]

以上述べてきたように、ビームフォーマ 30、ビームフォーマ 31の乗算器で使用する 重み係数をそれぞれ複素共役の関係として上記の処理を行うことで、マイクの素子感 度によりアレイマイクの指向特性が影響を受けないことを示すために、マイクの素子 感度差 αを Odb、 +6db、—6dbと変動させて指向特性の計算を行った例を図 9に示 す。同図にはマイク 10、 11を結ぶ直線への垂線に対して対称な方向の指向特性が 示されていないが、当該指向特性は図 9に示した特性と対称な特性を持つ。図 9を見 て分力るように、ゲインの変動がある場合、アレイマイクの出力レベルの変動は発生 するが、指向特性は変動を受けない。これにより、安価なマイクを使用しマイクの素子 感度にばらつきがある場合でも安定した指向特性を実現することが可能となる。また 、図中に示した指向特性は死角を ±45° 方向に作成したものである力 同図から分 力るように指向特性に幅があるため、死角を実際の目的音源に対して正確に作成す る必要はない。また、マイクの素子感度差 αを Odb、 +6db、 一 6dbと変動させた場合 のビームフォーマ単体の指向特性を図 10に示す力 同図よりマイクの素子感度が 6d b異なると特定の方向に死角を形成すると!/、うビームフォーマに望まれて!/、る所望の 動作を殆ど行えないことがわかる。一方、本発明の特徴として最も注目すべき点とし て、図 10に示すような指向特性が発生するような指向特性の劣化したビームフォー マを使用しても、結果として得られる指向特性はマイクの素子感度が均一な場合と同 一であることである。

特定方向にビームフォーマで鋭 、死角を形成する手法は少数のマイクでも理論上 実現可能であるため、測定した信号は SN比を上げるために使用されたり、適応フィ ルタとして頻繁に使用される一般ィ匕サイドローブキャンセラの参照信号生成部である ブロッキングマトリックス部分に使用されるが、上述したマイクの素子感度差により設 計どおりの性能で死角を生成することが出来ず、量産を目的とした場合、実環境で所 定の性能が実現出来な!/、大きな要因の一つになって!/、る。

[0051] このような音源分離装置 1を用いて、 360度の指向特性を求めた例を図 11に示す。 同図から分力るように、音源分離装置 1は 180° 毎の指向特性を持ち、 2つの指向特 性がその境界において重なることなく分離されている。し力も、その指向特性がマイク の素子感度の影響を受けないことを更なる特徴としている。リニアアレイの場合、 ± 9 0° 以上では 0〜士 90° までの特性と対称となる指向特性となる。このように、指向 特性は、 2つのマイクを結ぶ線に垂直に引いた線を境界として 2つのゾーンに分割す ることが可能となる。

[0052] この特性を利用した実施例を、図 12及び図 13に示す。図 12は音声メモ装置への 応用である。従来、会議や打ち合わせの際に会議のメモの目的で音声メモ装置が使 用されてきた。このような使用例の場合、周りの騒音や 2人の音声が同時に録音され ているため、録音された内容が聞き取りにくい場合がある。この様な場合、 2つのマイ ク 10、 11をそれぞれ 2人の発話者の方に向け、音源分離装置 1でそれぞれ片方の 会話の内容を強調して録音することで後日の聞き取りを容易にする。このように音源 分離装置 1を利用することによって、対向する 2名の音声を分離し収集することが可 能となり、会議の議事録用音声メモとして利用することや、会議議事録で 2名の会話 を個別に同時音声認識することが可能となる。

[0053] 図 13は、簡易ハンズフリー装置、及び、音声認識装置用マイクへの応用例を示す 図である。近年、パーソナルコンピュータ（以下「パソコン」という）を使用してネット会 議などが行われるようになって来ているが、自宅などでパソコンを使用してネット会議 を行う場合、ノ ソコン内部にエコーキャンセラ機能がないためヘッドセットマイクなどを 利用しスピーカ音声力 マイクへのエコーの回り込み量を小さくするなどの対策が行 われている力 ヘッドセットマイクのように身体の一部に器具を密着させることがなか なか受け入れられていない。この対策として、ノ ソコン内部にエコーキャンセラ機能を ソフトウェアとして実装したり、ノソコン外部にエコーキャンセラ機能を内蔵したノヽンズ フリー装置を接続することも可能である。ノ ソコン内部にエコーキャンセラ機能を実装 する場合、スピーカへの再生音声とマイク力 の入力音声との同期をとる必要がある 力 再生音声と入力音声間の遅延が大きぐまた、パソコン機種ごとに遅延の大きさ が異なるなど実装上の問題がある。また、外部にエコーキャンセラ機能を内蔵したノ、 ンズフリー装置を接続する場合、コストがかかる。 [0054] 一方、本実施例では、マイク 10、 11をスピーカと発話者との間に置く必要があるが 、スピーカ再生信号との同期をとる必要もない。 2つのマイク 10、 11を用意し、マイク 10、 11からの信号をパソコンに取り込み、パソコンに記憶されているソフトウェアに基 づ 、て音源分離を実行することが出来るため、実装が容易である。

また、住宅内で音声認識を行う状況で一番頻繁に発生するであろう環境として、テ レビその他被制御機器に向力つて音声コマンドを使用することが考えられる。この場 合、テレビその他被制御機器のスピーカは被制御機器側力 発話者側に向力つて設 置してあり、スピーカから音声が流れていたりさまざまなガイダンスが流れている状況 で、発話者は音声でマイク装置に制御コマンドを入力したい場合がある。この場合、 何らかの手段でスピーカの音声がマイク装置に回り込む量を減衰させる必要がある 力 音源分離装置 1を使用することで容易に被制御機器力 の音声と発話者力 の 音声を分離することができ、音声認識性能が向上する。

[0055] [評価実験結果]

次に、評価実験結果について説明する。従来、自動車内での機器制御その他の目 的で音声認識が使用されている。従来においては、エアコンの送風音、ロードノイズ 、エンジン音などの雑音を低減する技術は確立されているが、音声などの影響を受 けない音声認識技術は確立されていない。これらのことを踏まえ、以下の点を実現可 能とする音声認識技術を提供することが重要となる。 (1)運転席に居る運転者が発し た音声、及び、助手席に居る助手席者が発した音声 (以下「運転席と助手席の音声」 という）の分離、（2)ヘッドポジションの移動を許容可能、（3)広いビーム幅と分離性 能の両立、（4)少数マイクでの機能提供、（5)音声認識使用時、運転者又は助手席 者に黙って 、ることを課さな ヽ

[0056] 音源分離装置 1の有効性を示すために、車内において 2人の発話者に同時発話さ せ、 2つのマイクで収録して音源分離装置で音源分離を行い、音声認識実験を行つ た。この音源分離装置は、 2つの音源の分離を目的に開発されたものであり、自動車 内の利用方法としては、例えば運転席と助手席の音声を分離することが可能となる。 このためのマイクの設置箇所としては、図 14に示すように、取り付け箇所 L1または取 り付け箇所 L2のように自動車内中央部が適している。また、取り付け箇所 L2に設置 した場合には、ルームミラー 400が運転者の方を向くため、マイク取り付け時に、マイ クの取り付け方向が大体正面になるように設置してもよいし、後述する指向性制御機 能を持たせてもよ!/、。音源分離装置 1では本来ビーム幅を広く取ってあるので正確な 位置あわせは必要としない。また、取り付け箇所 L2に設置する場合には、背面から の反射を抑えるためにマイクモジュールを工夫したり指向性マイクを利用することが 有効な場合がある。

評価実験の条件を図 15に、音源分離後の音声認識実験結果を図 16に示す。図 1 6 (a)に示すように、車内での 2話者発話時 (車内同時発話）においては、 1チャンネ ルマイクのみを使用した従来法 1における未処理時には 29% (停車時）、 27% (60k mZh走行時)であったが、本音源分離手法を適応することにより、 78% (停車時)、 7 8% (60kmZh走行時）と改善された。また、図 16 (b)に示すように、助手席側の音 声を運転席側の音声と誤って音声認識結果を出してしまった、ある 、は運転席側の 音声を助手席側の音声と誤って音声認識結果を出してしまった割合を評価すると、 従来の 1チャンネルマイクのみ使用時 (車内 1人発話)では、全発話の 93% (リジエタ シヨン性能 7%)について何らかの音声認識結果が出力されてしまった力 本手法を 適応した場合は、何らかの音声認識結果が出力されたのは 0% (リジェクシヨン率 100 %)であった。 また、 2マイクを使用した従来例として"雑音成分抑圧処理装置およ び雑音成分抑圧処理方法 (特許第 3484112号) "を従来法 2として停止状態での性 能比較を行った。従来法 2は目的音、雑音到来方向を推定しながら適応ビームフォ 一ミング処理を行い目的音および雑音を強調し、目的音が強調された信号から雑音 が強調された信号を周波数領域でスペクトルサブトラクシヨンする方式であるが、到来 方向推定エラーの影響を省くため目的音、雑音とも到来方向を既知（固定方向から 到来するもの）とし、適応ビームフォーマ部の最適値を求めた後に、目的音 (発話者 1 )、雑音 (発話者 2)を同時に再生し目的音声を抽出する処理をおこなった。（図 16 (a )参照のこと）

[第 2実施形態]

次に、第 2実施形態について説明する。図 17には、第 2実施形態に係る音源分離 システムの構成を示す。上述した第 1実施形態においては、マイク 10、 11からの入力 を、まずスペクトル分析部 20、スペクトル分析部 21にて周波数成分に変換したが、本 実施形態にぉ 、ては、まず時間領域にてビームフォーマ 80及びビームフォーマ 81 にて死角を生成して特定の到来方向からの信号を減衰させた信号を生成し、その後 、スペクトル分析部 20及びスペクトル分析部 21にて周波数成分に変換している。な お、図 17では、図 1と同一の機能を持つものには同一の番号がつけてある。ビームフ ォーマ 80、ビームフォーマ 81の構成は図 18に示すような FIRフィルタなどの形式で 構成されたフィルタ処理を実行することで実現される。このとき、 FIRフィルタの係数 は、図 3で示した周波数領域での複素共役の関係にある重み係数を、時間領域のフ ィルタ係数に変換することで求めることができる。

[0058] [第 3実施形態]

次に、第 3実施形態について説明する。図 19及び図 20は、第 3実施形態に係る音 源分離システムの構成を示す図である。上述したように、図 1及び図 17に示す目的 音スペクトル抽出部 50、目的音スペクトル抽出部 51は、図 5で示した構成にて実現さ れており、実験により求めた最適なしきい値を使用して音源分離処理を行う構成とな つている。一方、図 8に示したように、目的音スペクトル抽出部 50、 51中の差分計算 部 500、 510の出力である dr ( ω ) (i= l、 2)は正面 0° を中心として点対称な関係に なっていることが分かる。これより、目的音スペクトル抽出部 50、 51中の係数変換部 5 01、 511においてしきい値を" 0"とすると差分計算部 500、 510の符号のみを見てお くことで、正の時に右方向（0〜90° )から来た音源信号のパワースペクトル情報とし て抽出され、負のときに左方向（一 90° 〜0)力も来た音源信号のパワースペクトル 情報として抽出される。このため、図 1及び図 17で示した全体構成は、図 19及び図 2 0に示すように簡略ィ匕することが可能となる。図 19及び図 20中の目的音スペクトル抽 出部 90は、図 21に示す構成で実現される。

[0059] 図 21において、パワー計算部 40、パワー計算部 41にて計算されたビームフォーマ 30、ビームフォーマ 31のパワースペクトル情報は、目的音スペクトル抽出部 90内部 の差分計算部 900に入力される。そして、減算器 900aにて減算処理が行われ、係 数変換部 910、係数変換部 920においてそれぞれ目的とする方向力もの音源信号 のみが抽出される。具体的には、係数変換部 910は、右方向（0〜90° )からの音源 抽出を行うためのブロックであり、入力が正の場合は、そのスペクトル情報は右方向（

0〜90° )力も来たものとして出力し、負の場合は目的方向外力も到来した音源のス ベクトル情報として出力しない。一方、係数変換部 920は、左方向（一90° 〜0)から の音源抽出を行うためのブロックであり、入力が負の場合は、そのスペクトル情報は 左方向（— 90° 〜0)力 来たものとして出力し、正の場合は目的方向外力 到来し た音源のスペクトル情報として出力しない。以上の動作により、 2つのマイク 10、 11を 結ぶ直線の垂線を中心として左右の方向から到来する音源信号を分離することが可 能となる。

なお、図 19に示す音源分離システムと図 20に示す音源分離システムとは、ビーム フォーマ処理を周波数領域で行うか時間領域で行うかの違いが構成として異なって いる。図 19ではビームフォーマ処理を周波数領域で行っており、図 20では時間領域 で行っている。

[第 4実施形態]

次に、第 4実施形態について説明する。図 22は、第 4実施形態に係る音源分離シ ステムの構成を示す図である。同図に示すスペクトルサブトラクシヨン部 100、 101が 、 目的音スペクトル抽出部 50、 目的音スペクトル抽出部 51で抽出した各目的音に重 畳している到来方向不明の定常雑音や拡散性の雑音などを除去するためのスぺ外 ルサブトラクシヨン処理を行う。このような構成は、会議室中の空調やプロジェクタなど のファンの音などが存在する環境における使用でも有効である力 自動車内での使 用時に特に有効である。 自動車内にお 、て運転者と助手席に同乗者とが搭乗して!/、 る場合など、例えば運転席と助手席の音声は、前述の方式を使用することで別々に 取り出すことが可能である。しかし、エアコンの送風音、ロードノイズ、風きり音など、 到来方向が不明なものや拡散性の雑音は前述の方法では除去することが出来ない 。これらの雑音の影響は、処理の後段にスペクトルサブトラクシヨン処理を入れること で除去することが可能である。スペクトルサブトラクシヨン処理は、 1つのマイクの入力 信号を使用して発話区間検出を行い、無発話区間で雑音スぺ外ルを推定し、発話 区間でその前に推定した雑音成分をスケーリングして減算するタイプと、雑音が優位 に収録された信号と音声が優位に収録された信号を用いて、音声が優位に収録され た信号力 雑音が優位に収録された信号のスペクトルをスケーリングして差分するタ イブとがある。音声認識の場合、 1マイク方式を基本にした処理で十分なことが多い 力 本実施形態においてもこれを採用しており、本実施形態に係る音源分離システ ムは、第 1実施形態に係る音源分離システムに対して、発話区間検出部 110とスぺク トルサブトラクシヨン部 100、 101をあらたに追加することで対応している。

[0061] 図 22において、音源 Rl、音源 R2は目的音であり、音源 R3が到来方向不明の定 常雑音や拡散性の雑音を表して 、る。これらの雑音の多くは明確な指向性を持たな いものが多い。このような雑音の場合、目的音スペクトル抽出部の出力において、弱 い指向性をもつものはその方向の音源を抽出する目的音スペクトル抽出部に多く現 れ、まったく指向性を持たないものや道路の継ぎ目を踏んだ衝撃音などは左右の抽 出されたスペクトルに交互に検出されることが多いが、これらの雑音をスペクトルサブ トラクシヨン部 100、 101で除去可能である。なお、スペクトルサブトラクシヨンとしては 、発話区間検出の不要な連続型スペクトルサブトラクシヨンを使用してもよい。

[第 5実施形態]

次に、第 5実施形態について説明する。図 23には、第 5実施形態に係る音源分離 システムの構成を示す。本実施形態においては、分離したい 2つの目的音源 Rl、 R2 力 つのマイク 10、 11を結ぶ直線への垂線に対して対称と!/、える位置力 大きく外 れている場合の対策が示されている。本実施形態では、この対策のために 2つの目 的音源 Rl、 R2のおおまかな位置を検出するための到来方向推定部 120と、到来方 向推定部 120が推定した 2つの目的音源 Rl、 R2のおおよその音源到来方向情報を 使用し、指向性制御部 140において分離したい 2つの目的音源 Rl、 R2が仮想的に 出来るだけ 2つのマイク 10、 11を結ぶ直線への垂線に対して対称となるように、片方 のマイク入力に遅延操作を与える。

[0062] 図 24には、 2つの音源 Rl、音源 R2がマイク 10、マイク 11を結ぶ直線の垂線に対し て Θ てだけ回転した直線に対して左右対称となる状況を示している。このような場合 、片方のマイクで取得した信号に一定遅延量て dを与えることで、 Θ てだけ回転した ことと等価な状況を実現可能である。また、あら力じめいくつかの 2つの音源について 、 2つのマイクを結ぶ直線の垂線に対する位置関係から、 2音源を分離するのに最適 なビームフォーマ 30、 31のフィルタパラメータを用意しておき、到来方向推定部 120 力 のおおまかな 2つの音源の到来方向情報を元に現在の状況の 2つの音源を分 離するのに最適と思われるビームフォーマのフィルタパラメータをビームフォーマ制 御にて選択して、選択したビームフォーマのフィルタパラメータをビームフォーマ 30、 ビームフォーマ 31に設定するようにしてもよ!、。

[0063] 図 25に指向性制御部 140の構成例を示す。図 25 (a)に示す構成例は、周波数領 域で各周波数成分毎に片方のマイクで取得した信号に一定遅延量 τ dを与える時の 例を示している。図 25 (a)に示す構成例の場合、 X ( ω )に対して乗算器 100aにて e—

1

j co τとの乗算を行うことで遅延操作を実現している。また、時間領域でビームフォー マを行いたい場合は、図 25 (b)に示すような FIRフィルタの形式の遅延器 100bによ りフィルタリング処理を行えばょ 、。

なお、片方のマイク入力に遅延を与えるのではなぐ双方のマイク入力にそれぞれ 半分ずつの遅延を与え全体として同量の遅延操作を実現しても良い。つまり、片方 のマイクで取得した信号に遅延量て dを与えるのではなぐ片方のマイクで取得した 信号に遅延量 τ dZ2、もう片方のマイクで取得した信号に遅延量 τ dZ2を与える ことで、全体の遅延差がて dになるようにしてもよい。

[0064] [第 6実施形態]

次に、第 6実施形態について説明する。図 26は、第 6実施形態に係る音源分離シ ステムの構成を示す図である。本実施形態に係る音源分離システムは聴感を重視す るための構成となっており、自動車内でのハンズフリー通話などへの応用を考慮して いる。 自動車内において運転者と助手席の同乗者とが搭乗している場合などは、例 えば運転席と助手席の音声は前述の方式を使用することで別々に取り出すことが可 能である力 エアコンの送風音、ロードノイズ、風きり音など到来方向が不明なものや 拡散性の雑音は前述の方法では除去することが出来ない。これらの場合、第 4実施 形態で述べた様に、処理の後段にスペクトルサブトラクシヨン処理を入れることでこれ らの雑音の影響を除去することが可能であり、音声認識などの聴感上の音質を問題 としない用途には最適であるが、ハンズフリー通話装置用のマイクなどに使用した場 合に、聴感上ミュージカルノイズと呼ばれる雑音の消し残りが問題になることがある。 本発明においては、 2つのマイク 10、 11を結ぶ直線への垂線を中心にして左右の音 を分離するため、拡散性の雑音などその音の指向性が絶えず変動するような雑音の 場合、左右の分離結果に不規則に振り分けられてしまい音質を劣化させる場合があ る。

[0065] このため、本実施形態では、本発明に係る音源分離方式がマイクゲインの時間変 化に影響を受けないことを利用して、通常アレイマイク処理の後段に使用するポスト フィルタ処理をビームフォーマ処理の前段に入れて、拡散性雑音、定常雑音などを 低減し、音源分離後のミュージカルノイズの発生を防 、で 、る。

[第 7実施形態]

次に、第 7実施形態について説明する。図 27は、第 7実施形態に係る音源分離シ ステムの構成を示す図である。この音源分離システムは、 3つのマイク 10、 11、 12を 使用して 3音源を分離する構成を示している。同図において、マイク 10とマイク 12、 マイク 10とマイク 12を使用して、それぞれ 2つのマイクを結ぶ直線への垂線を中心と して左右の音源信号を分離し、 2組のマイクの組を使用して分離された音源信号合 計 4つを使用して、目的音抽出部 160にてマイク 10、マイク 11の正面方向近辺から 到来する音源 R3を最終的に分離する。

[0066] 図 28を使用して本構成で分離される音源の説明を行うと、図 28に示すように 2つの マイクを結ぶ直線への垂線 aと垂線 bを中心として、垂線の左右から到来する音源を 分離することが可能となる。図 28においては、ゾーン A、 B、 Cの各領域に音源が存 在すると仮定すると、垂線 aを使用して、ゾーン Aとゾーン B、 Cの領域から到来する音 源信号を分離することができ、垂線 bを使用して、ゾーン A、 Bとゾーン C力も到来する 音源の分離をすることができる。図 27において、これらの分離を行うブロックが分離 部 bOと分離部 blである。分離部 bOは、 3つの音源が重畳した信号から、ゾーン Aの 領域からの音源信号 S ( ω )と、ゾーン B、 Cの領域力もの音源信号 S ( ω )、 S (

Bmix Cmix ω )が混合した信号とを分離可能であり、分離部 blは同様に、ゾーン A、 Bの領域か らの音源信号 S ( ω )、 S ( ω )が混合した信号と、ゾーン Cの領域力もの音源信

Amix Bmix

号 S ( ω )とを分離可能で、この段階で、 S ( ω ) ½ ( ω )が分離出来ている。この様

C A C

にして得られた 4つの信号力もパワースペクトル領域で目的音抽出部 160にて所定 の操作を行うことで、 S ( ω )を求めることが出来る。ただし、ここで、 S ( ω )

B Amix 、 S (

Bmix ω )、 S ( ω )は他信号と混合された時の各信号を表す。

Cmix

[0067] 上記では、ゾーン Dに音源情報が無!、かある!/、はあってもレベル的に小さ!/、こと力 前提である力 もしゾーン Dに音源がある場合には、 3つのマイク 10、 11、 12に指向 性マイクを使用することでゾーン Dからの音源信号の混入を大幅に軽減することが可 能である。

図 29には単一指向性マイクの設置例を示す力 一般的にこのように指向性マイク を使用するとアレイマイクのビームフォーマ部において各マイク間の指向性のバラッ キなどで設計時の性能が出ないことが起こるが、本方式でもともとマイクの素子感度 ノ ラつきに影響を受けないのと同様、指向特性のバラツキにも影響を受けない一定 の性能を実現可能できる。

[0068] 図 30〜32を参照して、目的音抽出部 160における処理方式について詳細に説明 する。図 30に示す処理方式は、 2チャンネルのスペクトルサブトラクシヨン処理と同様 の処理方式である。つまり、片方のチャンネル信号としても目的音と妨害音とのパヮ 一スペクトルの和が求まっており、もう片方のチャンネノレ信号としても妨害音のパワー スペクトルが求まっているため、これらを減算器 100aで減算することにより目的音 S (

B

ω )を求めることが出来る。

[0069] 図 31に示す処理方式は、目的音に妨害音が重畳されたものを 2つ求めることが可 能なため、加算器 101bにてこれらを加算することで目的音のパワースペクトル情報 を 2倍の大きさとし、一方、加算器 101aにて妨害音同士を加算することで妨害音の パワースペクトルを求め、これに乗算器 101cで一定ファクタ（O. E. F 1〜2)を掛け て、減算器 lOldで加算器 101bの出力力 差分を計算することにより、目的音を抽 出するものである。なお、減算器 lOldの出力の段階で原音信号より音量が大きいの でレベル調整部 101 eでレベル調整を行う。

[0070] 図 32に示す処理方式は、図 31に示す加算器 101a、 101bの代わりに最小値計算 102a, 102bを使用するものである。尚、図 31では、 O. E. Fは 1. 0より大きい方が 音質が良い場合が多いが、図 32では O. E. Fは 1. 0前後が良い。なお、図 32では 最小値計算を行ったが、最小値計算の代わりに最大値計算でも良い。 また、分離したい目的音源の位置が本手法で最適な分離性能が得られる位置より 大きく外れている場合があるが、第 5実施形態で説明したように、マイク力 出力され る入力信号に遅延を与え音源の到来方向を仮想的に変えることで、出来るだけ最適 な分離性能が得られるように操作することが可能である。

[0071] 図 33には、本実施形態に係る音源分離システムの使用例を示す。パソコンへの音 声入力の用途において、 3つのマイク 10、 11、 12を使用して、小さい実装面積で、 パソコン正面力もの音声を、指向性を持たせて取得する例を示す。

[第 8実施形態]

次に、第 8実施形態について説明する。上述した実施形態においては、 (1) 2つのマイクを使用してマイク間を結ぶ直線を中心として、左右からの音を分離す る実施形態（2) 3つのマイクを使用して正面力 の音とその左右力 の音を分離する 実施形態 について説明した力 図 34に示すように、 2つのマイク 10、 11を使用して 2つのマイク 10、 11を結ぶ直線の正面方向からの音を分離抽出したい場合がある。

[0072] この場合、指向性制御手段により 2つのマイク 10、 11のうち片方マイクのからの出 力信号に図 35 (b)に示すように遅延を与え、仮想的に 3チャンネル目のマイク位置を 作成することで、仮想的に図 35 (a)に示す 3マイク入力を実現することが可能である。 図 36には、図 35で示した遅延操作を行う指向性制御手段の構成例を示す。図中に おいて Di(i= l、 2、 3、 4)は遅延素子を表すが、実際の遅延操作は時間領域で遅 延操作を行っても良いし、スペクトル分析後に周波数領域で遅延操作を行っても良 い。

[0073] 図 37には、本実施形態に係る音源分離装置システムの構成例を示す。指向性制 御手段 141、 142は、スペクトル分析部 20、 21と、遅延処理を行う遅延素子とで構成 されている。処理順としては、スペクトル分析処理を行ってから遅延処理を行ってもよ V、し（図中の Typel)、遅延処理を行ってからスペクトル分析処理を行ってもよ!ヽ（図 中の Type2)。指向性制御手段 141、 142の出力信号は、本手法 NBF以降のブロッ クにおいてビームフォーマ 30、 31、パワー計算部 40、 41等での処理が行われ、処 理後の信号が目的音抽出部 52に入力される。

[0074] 図 38及び図 39には、目的音抽出部 52における処理方式の一例を示す。図 38は 、 0 と 0 とがマイク 11、 12を結ぶ直線の垂線に対して対称な角度である場合の処

1 2

理方式の一例を示し、図 39は、 Θ と 0 とが前記垂線に対して対象な角度でない場

1 2

合の処理方式の一例を示す。

[第 9実施形態]

次に、第 9実施形態について説明する。図 40は、第 9実施形態に係る車載機器制 御用音声認識システムの構成を示す図である。本実施形態においては、自動車等の 車両に設けられた車載機器制御用音声認識システムに本発明に係る音源分離装置 1を応用した例を示している。本応用例では、運転席と助手席の音声を 2つのマイク 1 0、 11で取得し、音源分離装置 1で運転席と助手席の音声を分離し、分離した運転 席と助手席の音声をそれぞれ発話区間検出、音声認識処理、音声認識結果と自動 車走行状態やその他運転状態によって有効な認識結果のみを使用して、機器の制 御、システムの応答などを行うことで、車載機器制御用音声認識システムの信頼性の 向上と車載機器制御用音声認識システムの応答の自由性の拡張などを提供するも のである。

[0075] 車載機器制御用音声認識システムは、本システムに特徴的なデータとして、記憶装 置に助手席側認識語彙リスト 190、運転席側認識語彙リスト 191、助手席側有効語 彙リスト 210、及び、運転席側有効語彙リスト 211を記憶している。運転席側認識語 彙リスト 191は運転席側カゝら発せられる語彙の候補の一覧であり、助手席側認識語 彙リスト 190は助手席側力も発せられる語彙の候補の一覧である。運転席側有効語 彙リスト 211は、車両の状態（自動車走行状態やその他運転状態）に応じた運転席 側における有効な語彙リストである。助手席側有効語彙リスト 210は、車両の状態に 応じた助手席側における有効な語彙リストである。ここで、「有効」とは、語彙 (音声コ マンド）に応じた制御命令を出力することが許されて 、る状態を!、う。

[0076] 本システムの動作を図 40を用いて説明すると、運転者および助手席の同乗者が発 話した音声は 2つのマイク 10、 11で収音され、音源分離装置 1で運転席と助手席と の音声に分離されたのち、それぞれ運転者用、助手席の同乗者用に用意された発 話区間検出部 170、 171、音声認識部 180、 181に入力される。このとき、本発明に 係る音源分離装置 1の出力にお 、て 2人の音声は精度よく分離されて 、るために、 助手席側発話区間検出部 170、運転席側発話区間検出部 171で両者の発話区間 を精度よく分離出来ると同時に、助手席側音声認識部 180、運転席側音声認識部 1 81に相手の音声を抑圧した情報を与えることが可能で、相手の発話に影響を受けな い音声認識処理を精度良く行うことが出来る。

[0077] 本応用例では、各音声認識部 180、 181にそれぞれ専用にシステムの状態に関係 なくどのような語彙を認識すべきカゝを指示するための助手席側認識語彙リスト 190、 運転席側認識語彙リスト 191が提供されており、各音声認識部 180、 181はこの語彙 リストに従って音声認識処理を行い、音声認識結果を制御部 ·状態遷移部 200に出 力する。

制御部 ·状態遷移部 200が備える状態遷移部 201は、音声認識結果及び現在の 状態に基づ 、て次の状態に遷移できるようになって 、る。制御部 ·状態遷移部 200が 備える制御部 202では、状態遷移部 201から得られる現在の状態と、音声認識部 18 0、 181からの音声認識結果とに基づいて、助手席側、運転席側それぞれに用意さ れた助手席側有効語彙リスト 210、運転席側有効語彙リスト 211に基づいて、どの音 声コマンドに応答 (制御命令を出力）して良いかを調べる。同図に示す有効語彙リスト 210、 211においては、状態と音声コマンドの組合せに対して "〇"が対応付けられて いる場合に、音声コマンドに応答可能なことを示している。例えば、運転席側におい ては、状態が"運転中"の場合に応答が許されている音声コマンドは"もっと"、 "ライト つけて"、 "すずしぐ，であり、また、 "エアコン操作"、 "CD"、 "MD"は禁止されている

[0078] そして、許されて!/、る音声コマンドのみに応答し、エアコンを操作したりライトをつけ たりする制御を行うことで、車両の搭乗者は車内において快適に過ごすことができる 。また、車載機器制御用音声認識システムの信頼性を上げることができると同時に、 音声認識を使用したアプリケーション作成に仕様設計の自由度をより多く提供するこ とが可能となる。

以上の使用例によれば、運転席と助手席の同乗者とから同時に発話された音声を 同時に認識することが可能になったり、どちらか 1人が発話した場合でもそれが運転 席側からの発話なの力助手席側からの発話なのかを確実に検出して認識することが 可能となるため、同乗者の行動を制限せず、発話者とその発話者の音声コマンドに 対する応答を個別に設計することが出来るようになる。

[第 10実施形態]

次に、第 10実施形態について説明する。図 41には、本実施形態に係る携帯電話 機 300を示している。携帯電話機 300には、マイク 10、 11及び図示せぬ音源分離装 置が搭載されている。この携帯電話機 300は、通常はテレビ電話用であるが、モード を切り替えて集音マイクとしても使用可能である。図 41 (a)はマイク 10、 11がテレビ 電話用マイクとして動作している時の様子を示す図であり、図 41 (b)はマイク 10、 11 が集音マイクとして動作している時の様子を示す図である。中規模の会議室などで、 発表者がマイクを使うほど大規模な会議室でもなぐしかし、部屋が広く小さな声だと 発表者の声が聞き取り難い場面で使用することができる。

以上説明したように、最小 2本のマイクを互いに離して設置し、 2本のマイクを結ぶ 直線の垂線を中心として左右対称な角度に時間領域あるいは周波数領域にてビー ムフォーマにより死角を形成し、時間領域で死角を作成した場合には周波数領域に 変換し、双方のビームフォーマのパワースペクトルの差分を計算し、得られた結果の 係数変換を行うことで、左右の死角を中心として幅を持たせた指向特性を形成し、音 源分離を行うことが可能となる。このように、マイクの素子感度に指向特性が影響を受 けないという性質を実現することができ、マイクの素子感度のバラつきに影響を受け ず、音源到来方向の想定方向とのずれや大きな初期反射に関しても適度に広い指 向特性によりカバーし、安定した 2つの音源の分離特性を実現することが可能となる

[第 11実施形態] 次に、第 11実施形態について説明する。図 42には抽出したい目 的音がゾーン A (例えば運転席のゾーン）に存在し、それ以外の場所 (ゾーン B,ゾー ン C,ゾーン D)に妨害音が存在する状況下において、ゾーン Aの目的音を抽出する 例が示してある。本手法を使用したアレイマイク 2001 (例えば車室内で前方に配置（ 例えばルームミラーに設定)）を使用した場合、ゾーン AZC (例えば運転席及びその 後部座席のゾーン）とゾーン BZD (例えば助手席及びその後部座席のゾーン）に存 在する音を分離することは可能であるがゾーン A (例えば運転席のゾーン）とゾーン C (例えばその後部座席のゾーン）とに存在する音を分離することは出来ない。しかし、 本手法を使用したアレイマイク 2002を同図に記載されるようにゾーン AZBとゾーン CZDの境界の位置に配置することでゾーン AZBとゾーン C/Dに存在する音を分離 することが可能となるためゾーン Aの音のみを抽出することが可能となる。

[0080] 具体的には、ゾーン A, B, C, Dに居る発話者 A, B, C, Dが同時に発話した場合 、まずゾーン AZBとゾーン CZDの境界に配置したアレイマイク 2002を使用すること でゾーン AZBからの音とゾーン CZDからの音を分離することが可能となる。次にァ レイマイク 2001によりゾーン AZCからの音とゾーン BZDからの音を分離することが 出来る。最後にアレイマイク 2001を使用して求めたゾーン AZC力もの音とアレイマ イク 2002を使用して求めたゾーン AZBからの音を各周波数領域で比較し双方に共 通にある周波数成分をゾーン A力もの音として分離することが可能となる。同様な処 理により、各ゾーン B, C, Dからの音も個別に求めることが可能である。

[第 12実施形態] 次に、第 12実施形態について説明する。図 43は、自動車などの 環境下において音声認識により機器操作を行う状況を想定している。図 44は、その ときの機器操作のガイダンス音声と発話者の音声との関係を示す。

[0081] この様な場合、スピーカ 15から発話者 Aの発話のタイミングを促す目的で"目的地 をどうぞ"などのガイダンス音が流れた後、機械音たとえば"ピッ"などの様な音が流れ 、その後に発話者 Aは音声コマンドを発声する。しかし、ユーザが音声コマンドによる 機器操作に慣れてくるにつれ、図 44に示すように、ガイダンス音声中に発話者 Aが 発話を始めてしまう状況が発生するようになり、これが音声認識性能を下げる要因に なっている。

この様な状況への対策として、一般的にはエコーキャンセラを使用しマイク 10から の収録音に混在するガイダンス音声を適応的に推定し取り除くことで対応している。 また別の対応策として、図 45〜図 48に示すように、周波数分析後のマイク 10への 1 入力信号に関して、スペクトルサブトラクシヨンを行ったり（図 45、図 46)、各周波数成 分毎にガイダンス音声、発話者 Aの音声のどちらが多く含まれるかを推定し発話者 A の音声のみが多く含まれる周波数成分のみを発話者 Aの音声として取り出すことが 行われている（図 47、図 48)。 [0082] ここで、図 45、図 47において、フイノレタ部 1001は、スピーカ 15からマイク 10までの 音響的な反射ノ スを模擬したフィルタであり、予め求めておいたスピーカ 15からマイ ク 10までのインノ ルス応答を使用しても良いし、適応フィルタ処理により動的に求め ておいても良い。

図 45における、ゲイン操作部 1002は、スペクトルサブトラクシヨンを行う際に使用す るオーバーサブトラクシヨンファクタを決定する部分であり、スピーカ 15の音量に応じ て 1〜10程度のゲインのな力から選択され使用する。

[0083] また、図 45〖こおける、目的音声抽出部 1003は、ゲイン操作部 1002及びスペクトル 分析部 21の出力に基づいて、図 46に示すような処理を行い、処理結果の信号を、 時間波形変換部 1004に出力する。

図 47における、閾値計算部 1011は、ガイダンス音声の平均エネルギーを元に閾 値 thを決定する。

また、図 47における、目的音声抽出部 1012は、閾値計算部 1011及びスペクトル 分析部 21の出力に基づいて、図 48に示すような処理を行い、処理結果の信号を、 時間波形変換部 1004に出力する。なお、図 48に示す th は、同図に示す X ( ω

mm l·aτ

)が有効な入力であると判断するための閾値となる。

[0084] また、時間波形変換部 1004は、第 1の実施形態における時間波形変換部 70、 71 と同様な処理を行う。

しかし、従来方においては図 43のように、発話者 Aのみが発話する状況において は上述のような構成により対応可能であるが、図 49に示すように発話者 A (例えば運 転席の乗員）のみならず発話者 B (例えば助手席の乗員）がいる場合に、図 50に示 すように、発話者 Aのみならず発話者 Bも何らかの発話をする場合が起こりえるが、こ の様な状況には対応することが出来な 、。

[0085] このような状況に対し、図 51に示すように本手法と図 45または図 47で示したガイダ ンス音声削除部 1021、 1022とを組み合わせることで対応が可能となる。

具体的には、図 51においてガイダンス音声は車内のスピーカ 15から再生され、同 時に発話者 A,発話者 Bとも発話している状況下において、マイク 10およびマイク 11 には、ガイダンス音声、発話者 Aの発話音声、発話者 Bの発話音声が重畳されて入 力されている。このとき、ガイダンス音声削除部 1021およびガイダンス音声削除部 1 022では図 45または図 47に示した方法により、ガイダンス音声を除去し、結果として 発話者 Aの音声と発話者 Bの音声の両者の音声が重畳された信号を結果として出力 する。また、ここでは後処理として使用する本手法への入力時の計算の無駄を省くた めに、時間波形には戻さず、周波数成分のまま本手法（図 1)へ入力する。後段の本 手法においても入力として周波数成分情報が入力されるためスペクトル分析部の処 理を省き、ビームフォーマ部へ直接入力を行い、本手法を適用し処理を行うことによ り出力結果として、発話者 Aの音声と発話者 Bの音声を個別に得ることが可能となり、 音声認識装置の信頼性、性能の向上とアプリケーションの自由度を大幅に拡大する ことが出来る。

[0086] また、上述した各種機能の組合せやマイクからの信号の遅延操作により、正面方向 に狭い指向特性を実現したり、特定方向力 の音源信号のみを検出することが可能 となる。

カロえて、マイク間隔を広げなくとも低域まで高い分離性能を確保できるため、実装ス ペースを削減することが可能であり、携帯機器などへの使用も可能となる。

なお、上述した実施形態においては、音源分離システムの各機能ブロックをプログ ラムで実現するとして説明したが、回路等を用いることによりハードウェアで実現する ことも可能である。

産業上の利用の可能性

[0087] 音声認識装置、カーナビゲーシヨン、集音装置、録音装置、音声コマンドによる機 器の制御等、音源を精度よく分離する必要のあるあらゆる産業に利用可能である。

Claims

請求の範囲

[1] 互いに離して配置された少なくとも 2つのマイクロホンに対して複数の音源力 発せ られた音源信号が混合された混合音を入力し、該混合音から目的音源からの音源信 号を分離する音源分離装置において、

前記マイクロホン力 の出力信号に対して第 1の係数を用いた演算を行うことにより 、所定の方向から到来する音源信号を減衰させるための第 1のビームフォーマ処理 を行い、

かつ、

前記マイクロホン力 の出力信号に対して、前記第 1の係数と周波数領域で複素共 役の関係にある第 2の係数を用いた演算を行うことにより、 2つのマイクロホンを結ぶ 直線の垂線に対して前記所定の方向と対称な方向から到来する音源信号を減衰さ せるための第 2のビームフォーマ処理を行うビームフォーマ手段と、

前記ビームフォーマ手段により得られた音源信号各々についてのパワースペクトル 情報を計算するパワー計算手段と、

前記パワー計算手段により計算されたパワースぺ外ル情報同士の差分に基づい て、目的音源のスペクトル情報を抽出する目的音スペクトル抽出手段と

を備えることを特徴とする音源分離装置。

[2] 前記ビームフォーマ手段は、

互いに離して配置された 3つのマイクロホンのうち、何れ力 2つのマイクロホンの組 合せ及び他の 2つのマイクロホンの組合せ各々について、前記第 1のビームフォーマ 処理及び前記第 2のビームフォーマ処理を行うことを特徴とする

請求項 1に記載の音源分離装置。

[3] マイクロホン力 の出力信号に対して遅延を与える指向性制御手段をさらに備える ことを特徴とする

請求項 1又は 2に記載の音源分離装置。

[4] 前記指向性制御手段は、

2つのマイクロホンのうち少なくとも一方のマイクロホンからの出力信号に対して遅延 を与えることにより、仮想的に 3つのマイクロホン力 の出力信号を生成することを特 徴とする

請求項 3に記載の音源分離装置。

[5] 前記音源信号が到来する方向を推定する到来方向推定手段をさらに備え、

前記指向性制御手段は、

前記到来方向推定手段により推定された到来方向に基づいて、 2つの音源の位置 が仮想的に 2つのマイクロホンを結ぶ直線の垂線に対して対称となるように、該マイク 口ホンからの出力信号に対して遅延を与えることを特徴とする

請求項 3又は 4に記載の音源分離装置。

[6] 前記目的音抽出手段により抽出されたパワースペクトル情報に対して、スペクトル サブトラクシヨン処理を行うスペクトルサブトラクシヨン手段をさらに備えたことを特徴と する

請求項 1から 5の何れか 1項に記載の音源分離装置。

[7] 前記ビームフォーマ手段による処理を行う前に、雑音を低減する処理を行う定常雑 音低減手段をさらに備えることを特徴とする

請求項 1から 6の何れか 1項に記載の音源分離装置。

[8] 請求項 1から 7の何れか 1項に記載の音源分離装置により分離された音源信号の 音声認識を行う音声認識手段を備えた音声認識装置。

[9] 車両の運転席側から発せられる語彙の候補の一覧である運転席側認識語彙リスト 及び助手席側から発せられる語彙の候補の一覧である助手席側認識語彙リストを記 憶する認識語彙リスト記憶手段をさらに備え、

前記音声認識手段は、

前記認識語彙リスト記憶手段に記憶されている運転席側認識語彙リスト及び助手 席側認識語彙リストに基づ 、て、前記音源分離装置により分離された音源信号の音 声認識処理を行うことを特徴とする

請求項 8に記載の音声認識装置。

[10] 現在の車両の状態を管理する状態遷移手段と、

車両の状態に応じた助手席側及び運転席側における有効な語彙リストを記憶する 有効語彙リスト記憶手段と、 前記状態遷移手段で管理されて!、る現在の車両の状態と、前記有効語彙リスト記 憶手段に記憶されている語彙リストとに基づいて、前記音声認識手段により認識され た語彙が有効力否かを判断し、該判断結果に応じて制御を行う制御手段とをさらに 備えることを特徴とする

請求項 8又は 9に記載の音声認識装置。

[11] 請求項 1から 7の何れか 1項に記載の音源分離装置を備えた携帯電話機。

[12] 互いに離して配置された少なくとも 2つのマイクロホンに対して、複数の音源から発 せられた音源信号を入力する音源信号受信ステップと、

前記マイクロホン力もの出力信号に対して、周波数領域で複素共役の関係にある 2 つの重み係数各々を用いて演算を行うことにより、 2つのマイクロホンを結ぶ直線の 垂線に対して対称な所定の方向から到来する音源信号を各々減衰させるための第 1 のビームフォーマ処理及び第 2のビームフォーマ処理を行うビームフォーマ処理ステ ップと、

前記ビームフォーマ処理ステップにお 、て得られた音源信号各々につ 、てパワー スペクトル情報を算出するパワー計算ステップと、

前記パワー計算ステップにおいて計算されたパワースペクトル情報同士の差分に 基づいて、 目的音源のスペクトル情報を抽出する目的音スペクトル抽出ステップと を備えることを特徴とする音源分離方法。

[13] コンピュータに、

互いに離して配置された少なくとも 2つのマイクロホンから、複数の音源力 発せら れた音源信号が混合された出力信号を取得する出力信号取得ステップと、

前記出力信号取得ステップにおいて取得された出力信号に対して、周波数領域で 複素共役の関係にある 2つの重み係数各々を用いて演算を行うことにより、 2つのマ イク口ホンを結ぶ直線の垂線に対して対称な所定の方向から到来する音源信号を各 々減衰させるための第 1のビームフォーマ処理及び第 2のビームフォーマ処理を行う ビームフォーマ処理ステップと、

前記ビームフォーマ処理ステップにお 、て得られた音源信号各々につ 、てパワー スペクトル情報を算出するパワー計算ステップと、 前記パワー計算ステップにおいて計算されたパワースペクトル情報同士の差分に 基づ！/、て、目的音源のスペクトル情報を抽出する目的音スペクトル抽出ステップと を実行させるためのプログラム。