JP4330302B2

JP4330302B2 - 音声入出力装置

Info

Publication number: JP4330302B2
Application number: JP2002008909A
Authority: JP
Inventors: 充伸神沼
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-09-27
Filing date: 2002-01-17
Publication date: 2009-09-16
Anticipated expiration: 2022-01-17
Also published as: US7191124B2; US20030065513A1; JP2003174699A

Description

【０００１】
【発明の属する技術分野】
本発明は、音声入出力装置に関し、特に、形成される音場に含まれる任意の制御点における音を制御して、回り込み音の影響を低減させるとともに入力音声のＳ／Ｎ比を向上させる音声入出力装置に関する。
【０００２】
【従来の技術】
この種の音声入力装置において、マイクとスピーカとが一対となったヘッドセットの装着はユーザにとっては煩わしく、たとえば、特開２０００−３１６０４９号公報記載の車両用ハンドフリーシステムのように、マイクとスピーカとが特定の位置に固定されたものが提案されている。これによれば、ヘッドセットを装着することなく外部との通信を行うことができる。
ところで、音声入出力装置では、音声入力の正確性の確保、すなわち発話者の音声のＳ／Ｎ比のレベルを保つことが重要である。上掲した従来例の車両用ハンドフリーシステムでは、音源となるスピーカと収音するマイクとを一対として設けるという構成とし、このような構成によって発話者の注意を音が聞こえてくるスピーカに向けさせて、発話者がスピーカに向かって話し掛けるようにし、収音性を高めていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、音声入力装置（マイク）と音声出力装置（スピーカ）とを近くに配置した場合、音声出力装置から出力された音声が音声入力装置に受音されてしまうという、いわゆる回り込み音が発生し、収音対象となる音声のＳ／Ｎ値が著しく低下することがあった。さらに、この回り込み音は音声入力装置に取り付けられている増幅器のゲインが１を越えた場合、ハウリングが発生し通話さえも困難となる場合があった。
尤も、このような課題に対しては、音響エコーキャンセラが知られているが、装置自体が複雑になることに加えて、音声入力手段に入力される音のうち、発話者からの音（入力すべき音）と、音声出力装置からの音（排除すべき音）とを区別し、音声出力装置からの音のみを選択的に排除することができなかった。
本発明は、このような従来技術の問題点に鑑みてなされたものであり、形成された音場に含まれる制御点ごとの音声出力信号を生成して、回り込み音の影響を低減させるとともに、発話者の音声のＳ／Ｎ比を向上させた音声入力装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明によれば、音声が入力される音声入力手段と、供給された音声信号を制御して音声出力信号を生成する音声信号制御手段と、前記生成された音声出力信号に基づいて、聴者へ音声を出力して音場を形成する音声出力手段とを有し、前記音声信号制御手段は、音声出力手段が形成する音場に含まれる所定の制御点の音の音圧が、前記供給された音声信号に対応する音の音圧よりも低い値になるとともに、音声出力手段が形成する音場に含まれる他の所定の制御点の音の音圧が、前記供給された音声信号に対応する音の音圧とほぼ同等となるように、音声信号を制御して音声出力信号を生成する音声入出力装置が提供される。この発明において、前記音声信号制御手段は、予め算出された、前記音声出力手段と前記音場に含まれる所定の制御点との間の音の特性に基づいて、前記制御点の音圧を所定の値とするフィルタ処理の演算式を導き、前記供給された音声信号に前記フィルタ処理を行い、前記音声出力信号を生成することが好ましい。また、前記音声信号制御手段は、前記音声入力手段の位置を制御点とし、当該制御点における音圧が、供給された音声信号に対応する音の音圧よりも低い値になるように音声出力信号を生成することが好ましい。
【０００５】
この発明では、音声信号制御手段が、音声出力手段によって形成される音場に含まれる制御点の音圧を含む音のバランスが所定の値となるように、音声信号を制御して音声出力信号を生成する。また、この制御点における音のバランスを所定の値とするためには、音声出力手段と制御点との間の音の特性を得て、これに基づいて制御点の音のバランスを所定の値とするようなフィルタ処理の演算式を導き、供給された音声信号にフィルタ処理を行って音声出力信号を生成する。このように生成された音声出力信号に基づく音声は音声出力手段から出力され、制御点における音圧を含む音のバランスはフィルタ処理に応じた所定の値となる。さらに、音声入力手段の位置（制御点）において、音のバランスのうち、音圧を供給される元の音声信号の音圧よりも低い値とし、音のエネルギーを減衰させて音声入力手段の位置の音を小さくすることができる。
【０００６】
このような本願の発明は、所定の位置（制御点）における音圧を含む音のバランスを制御するという理論に基づく。このため、この発明の原理を図１、図２を参照しつつ説明する。まず、図１には、本発明の音声入出力装置の構成の一例を示した。ここで示した音声入出力装置は、音声信号を供給する外部の音声信号供給手段と制御手段と４つの音声出力手段（以下スピーカとする）と音声入力手段（以下マイクＭとする）とを備えている。外部の通信装置、音声合成装置、又はコンピュータ等の音信号供給手段より供給された音声信号は、制御手段にて制御されて音声出力信号となり、この音声出力信号に基づく音声が複数のスピーカＳ１〜Ｓ４を介して出力され、聴者には音声として聴取される。他方、マイクＭは発話者の声等を収音して、通信装置やコンピュータへ向けて出力する。
【０００７】
これらのスピーカＳ１〜Ｓ４とマイクＭとは、スピーカが形成する音場において、所定の位置関係を有するが、この位置関係は音場の所定の空間軸を基準に特定することができる。そして、この空間軸に基づき音場に含まれる所定の制御点の位置を特定することができる。
【０００８】
続いて、音の制御手法について図２を参照しつつ説明をする。ここでは、音の制御に関するトランスオーラル方式を例として説明するが、制御点における音圧の制御を実現できる他の理論を適用することはもちろん可能であり、本発明の制御がトランスオーラル方式に対応する制御に限定されることはない。ちなみに、トランスオーラル方式については、”Prospects for Transaural Recording: J Audio Eng. Soc, vol.3, No.1/2, pp3-19(1989)"に示されている。
【０００９】
さて、ここで一例として説明する、トランスオーラル方式に基づく、本発明の音声入出力装置の制御は、複数のスピーカを用いて、任意の制御点、例えば聴者の両耳付近の２点の位置の音のバランスを制御する。これを説明するために、図２では４つのスピーカを用いて３点の制御点の音圧を制御する場合の伝達系を示した。
【００１０】
音は音源から発せられ、伝達媒体を介して伝播され音場を形成する。このとき音場に含まれる任意の点と音源との間には音の伝達系としての空間伝達経路が形成される。この空間伝達経路における音のエネルギー状態は、音の特性を示す空間伝達特性として表現することができる。図２に示した例に戻ると、音信号供給手段から供給された音声信号Ｘ１、Ｘ２、Ｘ３は、制御手段にて制御処理を受け、音声出力信号が生成されて、４つのスピーカＳ１〜Ｓ４から音声として出力される。この４つのスピーカＳ１〜Ｓ４と音場における制御点Ｃ１〜Ｃ３との間には、１つのスピーカから３経路、すなわち、全部（４つ）のスピーカから１２経路の空間伝達経路が存在し、この経路のそれぞれに音の特性を表わす一態様としての空間伝達特性が存在する。この空間伝達特性は、任意の周波数ωにおいて、次式のような複素伝達特性行列として表わすことができる。もちろん、式（１）は図２で示した例に応じた複素伝達特性行列の例である。
【００１１】
【数１】

このとき複素入力信号行列を[Ｘ_ｉ(ω)]＝[Ｘ_１(ω),Ｘ_２(ω),Ｘ_３(ω)]^ｔ（但し、[・]^ｔは[・]の共役転置行列を示す）、制御位置で検出される複素出力信号行列を[Ｙ_ｉ(ω)]＝[Ｙ_１(ω),Ｙ_２(ω),Ｙ_３(ω)]^ｔとしたとき、伝達系は（２）式のように表現できる。
【００１２】
【数２】

ここで、伝達特性[Ｇ_ｉｊ(ω)]を相殺するような逆フィルタ[Ｈ_ｊｉ(ω)]、すなわち、
【数３】

を満たすように逆フィルタ[Ｈ_ｊｉ(ω)]が設計できれば、この逆フィルタを演算式としたフィルタ処理を行うことができる。このフィルタ処理を行うことで、
【数４】

のように複素入力信号行列[Ｘ_ｉ(ω)]と制御点における複素出力信号[Ｙ_ｉ(ω)]とを一致させることができる。
【００１３】
このような逆フィルタ[Ｈ_ｊｉ(ω)]を設計するためには、（３）式より、
[Ｈ_ｊｉ(ω)]＝[Ｇ_ｉｊ(ω)]⁻（[・]⁻は[・]の一般逆行列）となるような[Ｈ_ｊｉ(ω)]を計算すればよい。[Ｇ_ｉｊ(ω)]⁻の計算方法としては、例えば、"最小ノルム解を用いた逆フィルタ設計のトランスオーラルシステムへの応用：日本音響学会講演論文集,pp495-496(1998)"、に示されている手法を用いて次式（５）により計算することができる。
【００１４】
【数５】

このとき実現される逆フィルタは、
【数６】

として表現され、演算手段が、供給された音声信号に対して、この逆フィルタを実現する演算式に基づいてフィルタ処理を行うことにより、音声出力信号が生成され、（４）式を実現する音声Ｙ１〜Ｙ３が出力される。なお、図２では説明を簡潔にするために(ω)を省略している。以上のとおり、フィルタ処理の演算式として（６）で示した逆フィルタを導ければ、行列の各要素として表現された音源と制御点ごとの空間伝達特性に基づいて、各制御点の音声はそれぞれ独立に制御することができると考えられる。
【００１５】
この理論をさらに発展させ、各制御点ごとに異なる制御を行うことを試みる。ここでは、３点の制御点を独立して制御する場合を例にして説明する。この例では、３点の制御点のうち、２点の制御点では供給された音声信号に対応する音圧がそのままとなるように音声を出力し、１点の制御点では供給された音声信号に対応する音圧が小さくなるように音声を出力する手法について述べる。このような制御が可能となれば、ある制御点では音声を明瞭に出力し、ある制御点では音声を小さくすることができることとなる。
【００１６】
それでは、その具体的な処理を説明する。この制御の対象となる３点の制御点のうち、２点は供給された音声信号に対応する音圧が保たれるようにし、他の１点では供給された音声信号に対応する音圧がゼロとなるようにするために、（３）式における[Ｉ_ｉ]を[Ａ_ｉ]と置き換え、以下のように定義する。
【００１７】
このように、
【数７】

と置くことで、２点の制御点では、供給された音声信号に対応する音声をそのまま再現し、他の１点の制御点では音が減衰するように設計することが可能となる。このような設計を行った場合、逆フィルタ[Ｈ_ｊｉ(ω)]は（８）式によって計算され、
【数８】

その結果、
【数９】

として表現され、演算手段が、供給された音声信号に対して、この逆フィルタを実現する演算式に基づいてフィルタ処理を行うことにより、音声出力信号が生成され、２点では供給された音声信号に対応する音声がそのまま出力され、１点で音は減衰する。よって、図２に示した出力音声Ｙ１は、Ｙ１＝Ｘ１となり、Ｙ２は、Ｙ２＝Ｘ２となり、Ｙ３は、Ｙ３＝０とすることができる。
【００１８】
このように、任意の点を制御点とし、各制御点における音圧を制御することができることから、ある制御点では供給された音声信号と同等の音圧を保ち、あたかも制御点が音源であるかのように音声を出力することができる。他方、ある制御点では供給された音声信号よりも小さい音圧とすることができるから、共通の音場でありながら、その制御点では音を小さくすることができ、音場の中の音を制御点ごとに制御することができる。
【００１９】
加えて、音声出力手段から出力される音の特性は供給される音声信号から把握できるため、この音を対象とした各制御点における制御を行うことができる。よって、音声入力手段を制御点とした場合には、音声出力手段から出力された音声は、音声入力手段の位置において減衰させることができ、音声入力手段に入力される（音声出力手段から出力された）音声は微小なものとなる。とすれば、音声入力手段への回り込み音の影響を低減させるとともに、発話者の音声のＳ／Ｎ比を向上させた音声入力装置を提供することができる。
【００２０】
（２）上記目的を達成するために、本発明によれば、前記音声信号制御手段は、前記聴者の両耳の各位置を制御点とし、当該制御点における音圧が、前記供給された音声信号に対応する音圧とほぼ同等となるように音声出力信号を生成する音声入出力装置が提供される。この発明において、前記音声信号制御手段は、前記聴者の両耳の各位置を検知する検知手段を有し、当該検知手段が検知した前記聴者の両耳の位置を制御点とすることが好ましい。
【００２１】
この発明では、聴者の両耳の各位置を制御点とし、この制御点における音圧が音声信号に対応した音圧と実質的に等しくなるように音声信号を制御する。また、聴者の両耳の各位置を検知する検知手段を設ける場合には、聴者の身長等により異なる耳の位置を個別に特定し、正確な制御点及び正確な音の特性を特定することができる。なお、この発明において聴者の両耳の各位置を検知するための情報としては聴者が座るシートの位置情報、聴者の頭部の位置情報、聴者の頭部と耳の位置情報等が含まれ、これらに関する光や画像等の情報に基づいて、光センサや撮像手段等の通常の手法を用いて検知することができる。
【００２２】
これにより、上記発明と同等の効果を奏するとともに、聴者には、その聴者の両耳の位置において供給された音声信号がそのまま出力されたかのように感じさせることができる。換言すれば、聴者の耳元に音声出力手段があるかのように感じさせることができる。特に、音声入力手段を制御点としてその付近の音を減衰させた場合であっても、聴者の両耳では、減衰のない音声が出力されることから、音声入力手段の近傍では無音状態として回り込み音を防止しつつ、聴者は対話者の音声を違和感なく聞くことができるという音声入出力装置を提供することができる。
【００２３】
（３）本発明と直接関係する態様ではないが、音声信号制御手段は、聴者の両耳の位置を制御点とし、音声入力手段の位置が仮想音源となるように、２つの制御点における音圧を所定のバランスを有する値とすることも可能である。
【００２４】
この発明では、音声入力手段の位置を仮想音源となるように、聴者の両耳の位置の制御点の音圧を所定のバランスを有する値とする。
【００２５】
ここで、収音に関して説明すると、音声入力手段における音の収音性、収音された音のＳ／Ｎ比は、その音の指向性に関係し、音声入力手段に向かって発話した場合と、音声入力手段がある方向とは別の方向に向かって発話した場合とでは、前者の方がＳ／Ｎ比は高くなる。電話の受話器音声入力が口元にある場合は問題ないが、ハンズフリー方式のように発話者が自由な方向を向いて発話する場合には、発話者の発する音声に指向性を要求することは困難である。しかし、発話者に音声入力手段のある方向が提示されれば、発話者はその方向を意識して発話し、音声の指向性も確保できるものと考えられる。本発明では、音声入力手段の位置を仮想音源とし、この位置から音が聞こえてくるように聴者の両耳に位置する制御点の音圧をそれぞれ制御する。
【００２６】
ところで、聴者は、右耳に聞こえる音と左耳に聞こえる音とのバランスに基づいて、音源がどの方向にあるのかを認識する。よって、聴者の両耳に位置する制御点の音のバランスを変える。例えば、音を複数の位置から出力し、音を出力するタイミング（時間）をずらしたり、位相や周波数を変更して制御点の音圧のバランスを変えることで、このバランスに応じて仮想音源の方向を変えることができる。このように、聴者の両耳の位置の制御点の音圧を含む音のバランスを変えることにより、仮想音源の位置を設定することができる。また、仮想音源の位置が特定されれば、聴者が仮想音源を認識できるように両耳の位置の制御点の音圧のバランスを含む音のバランスを特定することができる。本発明では音声入力手段の位置に仮想音源があると聴者が感じるように、両耳位置の制御点の音圧を含む音のバランスを決定する。
【００２７】
このように、音声入力手段の位置に仮想音源があるようにすることで、聴者には音声入力手段の位置を指し示すことができる。これにより、この指し示された仮想音源に向かって聴者が発話することが期待できるため、音声入力手段においては、指向性のある音を収音することができ、結果としてＳ／Ｎ比の高い音声入出力装置を提供することができる。もちろん、上記発明と同等の効果をも奏することができ、音声入力手段に入力される回り込み音の影響を排除するとともに、指向性の高い音声の収音をも併せて実現することができ、従来の音響エコーキャンセラ等とは異質の効果を奏する音声入出力装置を提供することができる。
【００２８】
（４）上記目的を達成するために、本発明によれば、前記音声信号制御手段は、前記音の特性に寄与する環境状態と、これにフィルタ処理の演算式を対応づけたフィルタ処理テーブル記憶部と、前記音の特性に寄与する環境状態を検知する状態検知部とを有し、前記状態検知部が前記環境状態の変化を検知した場合には、変化後の環境状態に基づいて、前記フィルタ処理テーブルを参照して、前記供給された音声信号に前記フィルタ処理を行い、前記音声出力信号を生成する音声入出力装置が提供される。
【００２９】
本発明では音声出力手段と各制御点との間の音の特性に基づいて、音声信号を制御するところ、この音の特性に誤差があると、正確な音の制御を行うことができなくなる恐れがある。この発明では、音の特性を変化せしめる環境状態の変化があった場合、状態検知部がその変化を検知し、変化後の環境状態に基づく音の特性に対応するフィルタ処理を行う。この発明において、環境状態とは、音声入力手段の位置又は向き、聴者の位置又は向き、聴者の位置又は向き、温度、湿度その他の音の特性に寄与するあらゆる情報を含む。この環境状態を示す物理量とフィルタ処理の演算式とは、予め対応させてフィルタ処理テーブルとして記憶される。また、フィルタ処理テーブルには、音の特性及び音の特性からフィルタ処理の演算式を導く過程が記憶されていてもよい。
【００３０】
これにより、上記発明と同等の効果を奏するとともに、環境状態に変化が生じ、音の特性に変化があった場合、現実の環境状態及び音の特性に合致したフィルタ処理を行うことができる音声入出力装置を提供することができる。
【００３１】
【発明の効果】
（１）本発明によれば、音声入力手段への回り込み音の影響を低減させるとともに、発話者の音声のＳ／Ｎ比を向上させ、音声入力装置を提供することができる。
【００３２】
（２）本発明によれば、聴者は、その聴者の両耳の位置において供給された音声信号がそのまま出力されたかのように感じることができる。換言すれば、聴者は耳元に音声出力手段があるかのように感じることができる。特に、音声入力手段を制御点としてその付近の音を減衰させた場合であっても、聴者の両耳では、減衰のない音声が出力されることから、音声入力手段の近傍では無音状態として回り込み音を防止しつつ、聴者は対話者の音声を違和感なく聞くことができる音声入出力装置を提供することができる。
【００３３】
（３）本発明によれば、音声入力手段の位置に仮想音源があるようにすることで、聴者には音声入力手段の位置を指し示すことができ、これにより、この指し示された仮想音源に向かって聴者が発話することが期待できるため、音声入力手段においては、指向性のある音を収音することができ、結果としてＳ／Ｎ比の高い音声入出力装置を提供することができる。もちろん、上記発明と同等の効果をも奏することができ、音声入力手段に入力される回り込み音の影響を排除するとともに、指向性の高い音声の収音をも併せて実現することができ、従来の音響エコーキャンセラ等とは異質の効果を奏する音声入出力装置を提供することができる。
【００３４】
（４）本発明によれば、上記発明と同等の効果を奏するとともに、環境状態に変化が生じ、音の特性に変化があった場合、現実の環境状態及び音の特性に合致したフィルタ処理を行うことができる音声入出力装置を提供することができる。
【００３５】
【発明の実施の形態】
以下、本発明の実施形態を図３から図６に基づいて説明する。図３は本実施形態に係る音声入出力装置１００の構成を示す図、図４は本実施形態に係る音声入出力装置１００の制御を説明するための図、図５は本実施形態に係る音声入出力装置における各構成の配置を説明する図、図６は本実施形態の環境状態が変化した場合の制御手順を示すフローチャート図である。
【００３６】
図１に基づいて、本実施形態に係る音声入出力装置１００の構成を説明する。この音声入出力装置１００は、主な構成として、音声入力手段１と、音声出力手段２と音声信号制御装置３とを有している。ここでは、車両に搭載された音声入出力装置１００を例として説明し、制御される音場も車両の室内空間を例として説明する。もちろん、これは説明を明瞭とするために一例を挙げるものであり、車両に搭載されることに限定されることはなく、また、開放又は密閉のいずれの空間においても適用することができる。
【００３７】
まず、上記の構成のうち音声入力手段１について説明をする。音声入力手段１は、発話者の音声を収音するマイクロホン（マイク）１であり、増幅装置１１が収音された音声を増幅し、外部装置又は内部装置へ向けて出力する。この外部装置又は内部装置としては通信装置、音声認識装置、音声対話装置等を例示することができる。
【００３８】
音声出力手段２は、音声信号制御装置３が生成した音声出力信号に応じた音声を聴者に向けて出力するスピーカ２−１である。スピーカ２−１は、複数個（ｎ個）設けられ車両の室内に音場を形成する。この複数のスピーカ２は、音声出力信号に基づきスピーカ駆動部２１によってそれぞれ独立に音量、音質を調整することができる。
【００３９】
そして、音声信号制御手段３は、供給された音声信号に基づいて音声出力信号を生成する、本発明の中心的な制御を行う構成の一つである。音声信号制御手段３は、音声出力手段２が車両室内に形成した音場に含まれる制御点の音圧を、所定の値とするように音声信号を制御し、音声出力信号を生成する。この音声信号制御手段５には、発話者の座席位置センサ、発話者の頭部の位置センサ、発話者の頭部方向センサ、温度又は湿度の計測センサ、マイク位置の計測センサ等の各種センサ４と、制御に関するあらゆる情報を記憶させた記憶手段５とを有している。
【００４０】
この音声信号制御手段３の制御は、空間において結ばれた２点の音の特性を示す一態様としての空間伝達特性に基づいて行われる。この空間伝達特性とは、音源と観測点との間の伝達系における音の特性であり、音源から発せられる音のエネルギー状態、音場を形成する伝達媒体（例えば空気）、音源から発せられる音の指向性、音場における音の反射要因その他の音の伝達に関与する様々な因子を含む特性であり、上述した式（１）の複素伝達特性行列として表現することができる。
【００４１】
この空間伝達特性は、上記の要因が複雑に関与し合うため、音場ごと、制御点ごとの個別の特性として扱うことが好ましい。よって、例えば車内における空間伝達特性については、車内空間、車両内装、スピーカの位置、スピーカの向き等が特定できる場合は、当該車内空間を規定する空間軸を基準として特定される個々の位置について、複数のスピーカによって形成される音場における空間伝達特性を得ることができる。これは、実験に基づいて又は理論計算に基づいて予め求めることが好ましい。もっとも、車両に空間伝達特性を算出するための検知手段を備えて、音声信号制御手段３が音声出力信号を生成する際に空間伝達特性を算出することも可能である。
【００４２】
図４では、各スピーカ２−ｎと制御点との間に形成される各空間伝達特性Ｇ_ｉｊを示している。図４に示すように、供給されて音声信号Ｘは、所定の演算処理がなされて、各スピーカ２−ｎへ出力される。この実施形態では、４つのスピーカ２を備え、音場における制御点はＣ１〜Ｃ３の３点である。あるスピーカ２−ｎから発せられた音は伝播しつつ音場を形成し、所定の制御点Ｃ１〜Ｃ３への３点へも伝達される。よって、各スピーカ２−ｎは、各制御点Ｃ１〜Ｃ３への３つの空間伝達経路を有し、４つのスピーカ２−１〜２−４では１２の空間伝達経路があることとなる。この１２の空間伝達経路の特性に基づいて、制御点Ｃ１〜ｃ３の音圧を制御する。この制御は、先に説明した原理を用いて行われる。
【００４３】
本実施形態の制御を上述した原理にあてはめて簡潔に説明すると、空間伝達特性[Ｇ_ｉｊ(ω)]、音声信号[Ｘ_ｉ(ω)]、音声出力信号[Ｙ_ｉ(ω)]は、式（２）に示す関係があるから、この空間伝達特性[Ｇ_ｉｊ(ω)]を相殺するような逆フィルタ[Ｈ_ｊｉ(ω)]、すなわち、掛け合わせると単位行列［Ｉ_ｉ］となるような[Ｈ_ｊｉ(ω)]に基づいて音声信号Ｘ_ｉ(ω)を制御すれば（４）式のように、供給された音声信号Ｘと生成された音声Ｙとの関係を制御することができる。式（４）では、音声信号Ｘと出力される音声Ｙと等しい関係としたが、これらの間は任意の関係で対応づけることができる。このような逆フィルタ[Ｈ_ｊｉ(ω)]を設計するためには、音の特性を示す空間伝達特性に対する一般逆行列を導くことで式（６）のような演算式が求められる。
【００４４】
この原理に基づけば、本実施形態においても制御点Ｃ１〜Ｃ３の音圧を自由に制御することが可能となると考えられる。本実施形態では、３点の制御点を、聴者の両耳の位置に相当するＣ１及びＣ２と、マイク１の位置に相当するＣ３とし、これらの制御点における音圧をそれぞれ独立に制御する。具体的には、３点の制御点のうち、聴者の両耳の位置における制御点Ｃ１及びＣ２では供給された音声信号に対応する音圧がそのままとなるように音声を出力し、マイク１の位置における制御点Ｃ３では供給された音声信号に対応する音圧が小さくなるように音声を出力する。
【００４５】
この３点の制御点のうち、２点は供給された音声信号に対応する音圧が保たれるようにし、他の１点では供給された音声信号に対応する音圧がゼロとなるように３点をそれぞれ独立に制御するためには、空間伝達特性[Ｇ_ｉｊ(ω)]と掛け合わせると、３行目×３列目の要素が０である単位行列[Ａ_ｉ]となるような演算式、すなわち式（７）の関係を満たす[Ｈ_ｊｉ(ω)]（式９）を求め、この演算式に基づき、音声信号を処理すればよい。
【００４６】
こうして、生成された音声出力信号に基づいて、聴者の両耳の制御点Ｃ１及びＣ２に供給された音声のエネルギーは、最初供給された音声信号に対応するエネルギーを保って出力され、マイク１に位置する制御点Ｃ３では音のエネルギーは減衰する。よって、図４に示した出力音声Ｙ１は、Ｙ１＝Ｘ１となり、Ｙ２は、Ｙ２＝Ｘ２となり、Ｙ３は、Ｙ３＝０とすることができる。なお、制御点はそれぞれ独立に制御可能であるから、本実施形態の制御と音響エコーキャンセラとを組み合わせることも当然可能である。
【００４７】
以上、本実施形態における音声信号制御手段３の制御手法を説明した。続いて、このように制御された結果を図５に基づき具体的に説明する。本実施形態の音声入出力装置１００は、車両の室内空間において構成されるため、図５では、この３つの制御点Ｃ１〜Ｃ３、４つのスピーカ２−１〜２−４の車両室内における配置を具体的に示した。車両の室内環境は、図５に示すように１．６ｍ×２．０ｍの壁により仕切られた室内に、４個のスピーカ２−１〜２−４が図５のように配置されている。３点の制御点はＣ１〜Ｃ３とし、制御点Ｃ１、Ｃ２は聴者又はドライバの両耳の位置に相当し、Ｃ３はマイク１の位置に相当する。この実施形態では聴者の両耳の位置Ｃ１及びＣ２ではスピーカ２−１〜２−４から発せられる音声がそのまま聴取されるように制御するとともに、マイク１の位置の制御点Ｃ３ではスピーカ２−１〜２−４の音声が減衰するように制御する。
【００４８】
こうして、スピーカ２−ｎと各制御点Ｃ１〜Ｃ３の位置関係が決定したところで、まず、各制御点と音源の間の空間伝達特性を計測又は算出し、先に説明した手法により、逆フィルタを導く（式（８）（９）を参照）。こうして導かれた逆フィルタを用いて音声信号を処理し、音声出力信号を生成し、音声を出力する。
【００４９】
出力された音声によって形成された音場において、それぞれの制御点Ｃ１〜Ｃ３における複素音圧を計算した。このとき、室の高さ方向の空間は自由空間、壁の反射係数は０．１５、気温は２０℃とし、２００Hzから１０００Hzまでを１０Hz毎に計算した。全ての複素音圧を加算した後に制御点位置での音のエネルギー（振幅の２乗）を求めた。その結果を下記の表に示す。
【００５０】
【表１】

このように、制御点Ｃ１と制御点Ｃ２においては、音圧が高く、高エネルギー状態であるが、制御点Ｃ３においては、音圧が低く、音のエネルギーは−７９．９７ｄＢと著しく低い値となっている。このことより、制御点Ｃ３ではほとんど音が検知できない値にまで音圧が下がっていることがわかる。
【００５１】
また、この実施形態では、２つの制御点Ｃ１とＣ２とにおける音圧が異なり、これらは所定のバランスを有するように制御されている。図５に示したように聴者はマイク１のある方向を前方としており、制御点Ｃ１は左耳の位置に相当し、制御点Ｃ２は右耳の位置に相当する。ここで表を参照してみると、制御点Ｃ２すなわち右耳よりも、制御点Ｃ１すなわち左耳の方が音のエネルギーが大きいことがわかる。聴者は、右耳に聞こえる音と左耳に聞こえる音とのバランスに基づいて、音源がどの方向にあるのかを認識することから、この場合、聴者にとって、音は左前方のマイク１の方向から聞こえてくる、という状態となる。マイク１の方向から音声が聞こえてくることから、聴者がその方向に注意を向けて発話をするように仕向けることができる。このように、聴者がマイク１の方向を向いて発話すれば、聴者の音声はマイク１の方向の指向性を有することとなり、マイク１にて収音される音声のＳ／Ｎ比を向上させることができる。このように、制御点における音のエネルギーをそれぞれ制御することにより、仮想の音源を任意の場所に設けると同じ効果を得ることができ、本実施形態のように、マイク１の位置に仮想音源があるようにすることで、聴者にはマイク１の位置を指し示すことができる。これにより、この指し示された仮想音源に向かって聴者が発話することが期待できるため、マイク１にて指向性のある音を収音することができ、結果としてＳ／Ｎ比の高い音声入出力装置１００を提供することができる。
【００５２】
この実施形態では、聴者の両耳の位置の制御点Ｃ１及びＣ２を制御することによりこの効果を得ることができるが、他方、この制御とは独立にマイク１の位置の制御点Ｃ３の音圧（音のエネルギー）をも同時に制御することができる。すなわち、制御点Ｃ１及びＣ２の音圧のバランスによってマイク１に仮想音源を形成して指向性の高い音声の収音を可能としつつ、マイク１の制御点Ｃ３における音圧を低くすることで、マイク１に収音されてしまう回り込み音の影響を排除することをも併せて実現することができ、従来の音響エコーキャンセラ等とは異質の効果を奏する。
【００５３】
以上、特定された空間伝達特性に基づく基本的な制御について説明をした。ここでは、空間伝達特性に変化があった場合の処理について説明をする。この発明は、空間伝達特性に基づいて制御を行うため、空間伝達特性を正確に把握することが精度向上には欠かせない。このため、本実施形態では、空間伝達特性の変化を検知する各種センサ４と、この変更に対して迅速な処理を行うために種々の処理や情報を記憶する記憶手段５を設けた（図３参照）。
【００５４】
ここで、空間伝達特性に寄与する環境状態とは、マイク１の位置又は向き、スピーカ２の位置又は向き、聴者の位置又は向き、座席の位置、温度、湿度その他の空間伝達特性に寄与するあらゆる情報を含む。この環境状態を示す物理量と音声信号に施されるフィルタ処理の演算式とは、予め対応させてフィルタ処理テーブルとして記憶されている。このフィルタ処理テーブルには、フィルタ処理が直接記憶されていてもよいし、空間伝達特性及びこの空間伝達特性からフィルタ処理の演算式を導く処理過程が記憶されていてもよい。本実施形態では、処理速度の観点からフィルタ処理テーブルにはフィルタ処理を記憶させている。なお、この記憶手段５は、キャシュメモリ、メインメモリおよびディスクメモリを単独、あるいは組み合わせることにより構成することができる。
【００５５】
空間伝達特性に寄与する環境状態は各種センサ４にて検知され、これに変化があった場合には、変化後の環境状態に基づいて、記憶手段５のフィルタ処理テーブルを参照して、供給された音声信号に環境状態に応じたフィルタ処理を行い、音声出力信号を生成する。
【００５６】
この、各種センサ４が環境状態の変化を検知した場合の音声信号制御手段３の制御手順を図６のフローチャートに示した。
【００５７】
まず、各種センサ４は環境状態に関する信号を検出する（ステップ１）。この信号の検出は音声入出力装置１００が作動している際は常に（所定時間間隔で）行われていてもよいし、起動命令に応じて起動してもよい。この検出された信号に基づき環境状態の変化が生じた場合には（ステップ２）、検知した信号を分析する（ステップ３）。続いて、この結果に基づき制御方法（フィルタ処理）を変更する必要があるか否かについて判断する（ステップ４）。たとえば、検出された信号の変化が微差であり設定された閾値を超えない場合には、制御方法を変更するに及ばない。一方、環境状態に大きな変化が検出され、制御方法（フィルタ処理）を変更する必要がある場合には、さらに、制御の可能性を判断する（ステップ５）。このとき、例えば、マイク１に聴者が著しく近づいた場合や、制御されている制御点に聴者が著しく近づいた場合や、ドアが開放されている場合などは、制御方法の変更を行うことは好ましくない。このような場合には制御不能と判断して処理を終了する。一方、制御方法（フィルタ処理）の変更が可能であると判断された場合は、制御方法（フィルタ処理）の変更を行うために、フィルタ処理テーブルを参照して、検出された変化後の環境状態に対応する制御方法（フィルタ処理）を特定する。適当な制御方法（フィルタ処理）が特定されたら（ステップ６）、環境状態に関して検知された情報と適当な制御方法（フィルタ処理）とを音声信号制御手段３へ向けて送出する（ステップ７、８）。これにより、環境状態に変化が生じ、空間伝達特性に変化があった場合、現実の環境状態及び空間伝達特性に合致したフィルタ処理を行うことができる音声入出力装置１００を提供することができる。
【００５８】
以上のとおり、この実施形態にかかる音声入出力装置１００によれば、複数の制御点における音圧をそれぞれ独立に制御することができるため、マイク１の近傍では無音状態として回り込み音の影響を低減させるとともに、聴者の両耳では、減衰のない音声が出力されることから、ハウリングを防止しつつ、聴者は対話者の音声を違和感なく聞くことができ、また、同じく制御点の音圧を制御することにより、任意の方向に仮想音源を形成することができ、聴者をマイク１に向かって発話させる等のＳ／Ｎ比を向上させる手法にこれを用いることができる。これにより、ハウリングの発生を防止し、聴者へは明瞭な音声を供給し、また聴者（発話者）からの音声を明瞭に収音し、通信、音声認識、音声合成等における精度の高い音声入力装置を提供することができる。
【００５９】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の音声入出力装置の構成の概要を説明するためのブロック図である。
【図２】本発明の音の制御の原理を説明するための説明図である。
【図３】本実施形態に係る音声入出力装置の構成を示す図である。
【図４】本実施形態に係る音声入出力装置の制御を説明するための図である。
【図５】本実施形態に係る音声入出力装置における各構成の配置を説明する図である。
【図６】本実施形態の環境状態が変化した場合の制御手順を示すフローチャート図である。
【符号の説明】
１００…音声入出力手段
１…音声入力手段、マイクロホン、マイク
１１…増幅装置
２…音声出力手段、スピーカ
２１、２２…スピーカ駆動部
２−１〜２−ｎ…各スピーカ
３…音声信号制御手段
４…各種センサ、状態検知部
５…記憶手段
Ｘ…供給された音声信号
Ｙ…生成された音声出力信号
Ｃｉ…制御点ｉ

Claims

聴者による発話音声が入力される音声入力手段と、
供給された音声信号を制御して音声出力信号を生成する音声信号制御手段と、
前記生成された音声出力信号に基づいて、前記聴者へ音声を出力して音場を形成する音声出力手段とを有し、
前記音声信号制御手段は、前記音声入力手段の位置を制御点とするとともに前記聴者の左右の耳の各位置を他の制御点とし、前記音声出力手段から前記制御点となる前記音声入力手段の位置までの空間伝達特性と前記音声出力手段から前記他の制御点となる前記聴者の左右の耳の各位置までの空間伝達特性とに基づいて、前記制御点における音圧が前記供給された音声信号に対応する音の音圧よりも低い値になるとともに前記他の制御点における音圧が前記供給された音声信号に対応する音の音圧とほぼ同等の値となるフィルタ処理を行うための演算式を導き、前記供給された音声信号に前記フィルタ処理を行い、前記音声出力信号を生成する音声入出力装置。
前記音声信号制御手段は、
前記空間伝達特性に寄与する環境状態と、当該環境状態にフィルタ処理の演算式を対応づけて記憶しているフィルタ処理テーブル記憶部と、
前記空間伝達特性に寄与する環境状態を検知する状態検知部とを有し、
前記状態検知部が前記環境状態の変化を検知した場合には、変化後の環境状態に基づいて、前記フィルタ処理テーブル記憶部を参照して、前記供給された音声信号に前記フィルタ処理を行い、前記音声出力信号を生成する請求項１に記載の音声入出力装置。