JP5986426B2 - 音響処理装置、音響処理方法 - Google Patents

Description

本発明は音響処理技術に関するものである。

いわゆる音楽再生などを行う音響装置では、ステレオ構成による再生が一般的となっている。これらの装置は、左右二つのスピーカからそれぞれ異なる信号を再生し、スピーカ間で演奏しているがごとく感じられるように音楽が再生されている。このような音の定位感については、音像という言葉で語られている事が多い。

これらの音像感をもった音楽の録音には、複数本のマイクが用いられている。そのまま左右の信号を生成するステレオマイクや、幾本ものマイクでそれぞれ録音を行い、録音後にミキサーなどの音響編集装置を用いて合成し、ステレオ感を持たせるように構成されることが多い。

また、再生環境としては、２本のスピーカによるステレオ再生だけでなく、リスナの後ろ側にもスピーカを配し、周囲を音で取り囲むが如く再生するサラウンド技術なども広く普及している。これらのサラウンド技術では、そのスピーカの本数により、5.1チャンネル、7.1チャンネル、9.1チャンネルなど、いろいろな方式が提案されている。

これらサラウンド方式の普及は、臨場感を持って映画などの映像を楽しむ為に用いられており、映像の高精細化や立体映画などの普及に伴い、高臨場感への期待が高まっている。

サラウンド技術は、リスナの周囲からの音を再生するが、より立体的に再生する技術として、バイノーラル再生技術が知られている。バイノーラル再生とは、人間の頭部と同様のダミーヘッドの内耳部分にマイクを設置し、このマイクを用いて録音したものを、ヘッドフォンにて再生するものである。

ダミーヘッドを用いることで、通常人間が音の方向を認知するために用いているといわれている頭部伝達関数（HRTF:Head Relations Transfer Function）を含んだ音を録音する事が出来る。この頭部伝達関数とは、到来方向に対して異なる周波数特性を有しており、このHRTFが畳みこまれた音源をヘッドフォンにて再生することで、あたかも自分がその場所にいるかのような再生音を聞く事が可能になる。しかしながら、ヘッドフォンによる再生では、いわゆる音像が頭部の後方や横方向には再現されるが、前方には再生されないという問題がある。

これらの問題に対して、ダミーヘッドで録音されたバイノーラル信号をスピーカにて再生する技術が知られている。スピーカにて再生する事により、立体的にしかも、頭部の前方に音像が定位することが知られている。

このような構成において、左右のスピーカの音がそれぞれ個別に左右の耳に到達したときに初めて立体的な音像の効果が得られる。しかしながら、実際には左のスピーカの音が右の耳にも到達し、また、左のスピーカの音が右の耳にも到達する事があり、これをクロストークと呼んでいる。立体的な音を再生するためには、これをキャンセルする必要がある。

バイノーラル再生におけるクロストークについて、図１１を用いて説明する。図１１において左スピーカ１５Ｌの音が左の耳に到達するときの伝達関数をHLL、右スピーカ１５Ｒの音が右の耳に到達するときの伝達関数をHRRとする。この時、クロストークの伝達関数として、左スピーカ１５Ｌの音が右耳に到達するときの伝達関数はHLR、右スピーカ１５Ｒの音が左耳に到達するときの伝達関数はHRLとなる。左耳用のバイノーラル信号をＳＬ、右耳用の信号をＳＲとすれば、これらの伝達関数から、それぞれの耳に到達する音ＳＬ’，ＳＲ’は、以下の式で表される。

立体的な音響を再生するためには、図１１に示す如く、点線であらわされたクロストークを打ち消す為に、上記式（２）のＡの逆行列を信号に畳み込んで左スピーカ１５Ｌ、右スピーカ１５Ｒから発音し、キャンセルする必要がある（特許文献１）。

特開平０６−２１７４００号公報

しかしながらこの方法では、頭部位置への伝達関数をあらかじめ設定し、固定的に用いているため、頭部の移動が出来ないという問題がある。また、スピーカの再生音にキャンセル信号を重畳しているため、一定位置での一人用のキャンセルしかできず、複数人で同時に聴く事が出来ないという問題があった。

本発明はこのような問題に鑑みてなされたものであり、リスニング環境に応じた、複数のチャネルの音響信号処理を実現することを目的とする。

本発明の目的を達成するために、例えば、本発明の音響処理装置は、音響処理装置であって、
複数チャネルの音信号を第１出力部に出力させる第１制御手段と、
複数のリスナのそれぞれが前記複数チャネルの音信号を聞く位置を取得する位置取得手段と、
前記第１出力部により出力される複数チャネルのうちの第１チャネルの音信号を打ち消すための、前記リスナの第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの左耳用の出力部に出力させ、前記第１出力部により出力される前記複数チャネルのうちの第２チャネルの音信号を打ち消すための前記第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの右耳用の出力部に出力させる制御を、前記複数のリスナのそれぞれの左耳用の出力部及び右耳用の出力部について行う第２制御手段と
を有することを特徴とする。

本発明の構成によれば、リスニング環境に応じた、複数のチャネルの音響信号処理を実現することができる。

音響再生装置の機能構成例を示すブロック図。 立体的な音響を再生するための構成を説明する図。 キャンセル信号の送出を説明する図。 ヘッドフォン２１に適用可能な補助音源の一例を示す図。 測定モードで音響再生装置が行う処理のフローチャート。 各スピーカと各コンデンサマイクとの位置関係を示す図。 テーブル情報の生成及び使用を説明する図。 再生モードで音響再生装置が行う処理のフローチャート。 変形例を説明する図。 テーブル情報の構成例を示す図。 バイノーラル再生におけるクロストークを説明する図。 音響再生装置の機能構成例を示すブロック図。 バイノーラル信号の出力を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。

［第１の実施形態］
先ず、本実施形態に係る音響再生装置の機能構成例について、図１のブロック図を用いて説明する。

演算制御部１２は、ＣＰＵやＤＳＰ等により構成されており、音響再生装置を構成する各部の動作制御を行う。

バイノーラル音源部１１は、右耳用の音信号及び左耳用の音信号を含むバイノーラル信号を本装置に供給する。バイノーラル音源部１１は、外部の装置であってもよいし、本装置内の機能部であってもよい。バイノーラル音源部１１から供給されたバイノーラル信号は、セレクタ・ミキサ１３に入力される。

セレクタ・ミキサ１３は、本実施形態では、演算制御部１２からの指示に応じて、バイノーラル音源部１１から供給されたバイノーラル信号、測定信号発生部１６から供給された測定用信号、の何れか一方を選択して出力する。演算制御部１２から再生モードが設定された旨の通知を受けると、セレクタ・ミキサ１３は、バイノーラル音源部１１から供給されたバイノーラル信号をアンプ１４及びキャンセル信号生成部１８に出力する。一方、演算制御部１２から測定モードが設定された旨の通知を受けると、セレクタ・ミキサ１３は、測定信号発生部１６から供給された測定用信号をアンプ１４に出力する。

アンプ１４は、セレクタ・ミキサ１３から供給された信号を増幅させてから右スピーカ１５Ｒ、左スピーカ１５Ｌに出力する。アンプ１４は、セレクタ・ミキサ１３からバイノーラル信号を受けると、このバイノーラル信号に含まれる右耳用の音信号及び左耳用の音信号のそれぞれを、右耳用の音を発するための右スピーカ１５Ｒ、左耳用の音を発するための左スピーカ１５Ｌに出力する。またアンプ１４は、セレクタ・ミキサ１３から測定用信号を受けると、この測定用信号を右スピーカ１５Ｒ、左スピーカ１５Ｌの何れか一方に出力し、その後、出力先のスピーカについて後述の測定が完了すると、今度は他方のスピーカに測定用信号を出力する。

測定信号発生部１６は、演算制御部１２から測定モードが設定された旨の通知を受けると、インパルス応答（伝達関数）を測定するために発する音の信号を測定用信号としてセレクタ・ミキサ１３に出力する。測定用信号には、ＭＬＳ信号、スイープ信号、ＴＰＳ信号等を適用することができる。

キャンセル信号生成部１８は、伝達関数記憶部１７に記憶されている逆位相信号（詳しくは後述）を、セレクタ・ミキサ１３からの信号に畳み込むことで、キャンセル信号を生成する。より詳しくは、左耳用の逆位相信号（HRLの逆位相信号）を、セレクタ・ミキサ１３からの右耳用の音信号（SR）に畳み込むことで、左耳用のキャンセル信号を生成する。また、右耳用の逆位相信号（HLRの逆位相信号）を、セレクタ・ミキサ１３からの左耳用の音信号（SL）に畳み込むことで、右耳用のキャンセル信号を生成する。

周波数特性補正部２８は、キャンセル信号生成部１８により生成されたキャンセル信号の周波数特性を補正し、補正したキャンセル信号を遅延・音量制御部１９に出力する。遅延・音量制御部１９は、周波数特性補正部２８により周波数特性が補正されたキャンセル信号に対して遅延調整と音量調整とを行い、調整済みのキャンセル信号を出力する。なお、左耳用のキャンセル信号は、リスナの頭部に装着するヘッドフォン２１に取り付けられている、リスナの左耳に対して信号に応じた音を直接供給する左供給器２３Ｌに対して出力される。また、右耳用のキャンセル信号は、リスナの頭部に装着するヘッドフォン２１に取り付けられている、リスナの右耳に対して信号に応じた音を直接供給する右供給器２３Ｒに対して出力される。

ここで、逆位相信号をデータとして伝達関数記憶部１７に記憶させる処理は、バイノーラル音源部１１から供給されるバイノーラル信号を再生する前に行っておく必要がある。本実施形態に係る音響再生装置は、再生モードと測定モードの２つの動作モードを有しており、設定された方のモードに応じて動作する。

再生モードは、右耳用の音信号を右スピーカ１５Ｒ、右耳用のキャンセル信号を右供給器２３Ｒ、左耳用の音信号を左スピーカ１５Ｌ、左耳用のキャンセル信号を左供給器２３Ｌに出力するモードである。一方、測定モードは、左耳用の逆位相信号及び右耳用の逆位相信号を生成するためのモードである。モードの設定は、ユーザが不図示の操作部を操作することで演算制御部１２が設定するようにしてもよいし、処理の流れに応じて演算制御部１２が設定してもよい。

先ず、測定モードが設定された場合における音響再生装置の動作について説明する。演算制御部１２は、測定モードが設定されると、その旨を測定信号発生部１６及びセレクタ・ミキサ１３に通知する。この通知を受けた測定信号発生部１６は、上記の測定用信号をセレクタ・ミキサ１３に送出する。更にこの通知を受けたセレクタ・ミキサ１３は、測定信号発生部１６からの測定用信号をアンプ１４に送出する。

アンプ１４は、この測定用信号を増幅させてから左スピーカ１５Ｌに送出するので、この左スピーカ１５Ｌからは、この増幅された測定用信号に応じた音が発せられる。この発せられた音は、ヘッドフォン２１における左供給器２３Ｌに取り付けられたコンデンサマイク２２Ｌ、右供給器２３Ｒに取り付けられたコンデンサマイク２２Ｒにて集音される。それぞれのコンデンサマイク２２Ｌ、２２Ｒにて集音して得たインパルス応答信号は、左スピーカ１５Ｌからリスナの両耳（図１の場合、左供給器２３Ｌ及び右供給器２３Ｒ）近傍までの伝達関数を含んだ信号となる。

マイクアンプＡＤ変換部２０は、コンデンサマイク２２Ｌ、２２Ｒのうち、コンデンサマイク２２Ｒからのインパルス応答信号を増幅すると共にＡ／Ｄ変換を行い、ディジタルデータを生成する（第１の取得）。

演算制御部１２は、マイクアンプＡＤ変換部２０が生成したディジタルデータを用いて、「左スピーカ１５Ｌから右耳までのクロストーク信号の伝達関数ＨＬＲ」を求める。そして演算制御部１２は、求めたインパルス応答としての伝達関数ＨＬＲから該インパルス応答の逆位相の信号を生成し、生成した信号を、右耳用の逆位相信号として伝達関数記憶部１７に格納する（第１の生成）。

この右耳用の逆位相信号の格納処理が完了すると、演算制御部１２はアンプ１４を制御し、アンプ１４は、測定用信号を増幅させてから右スピーカ１５Ｒに送出するので、この右スピーカ１５Ｒからは、この増幅された測定用信号に応じた音が発せられる。

次にマイクアンプＡＤ変換部２０は、コンデンサマイク２２Ｌ、２２Ｒのうちコンデンサマイク２２Ｌからのインパルス応答信号を増幅すると共にＡ／Ｄ変換を行い、ディジタルデータを生成する（第２の取得）。

次に演算制御部１２は、マイクアンプＡＤ変換部２０が生成したディジタルデータを用いて、「右スピーカ１５Ｒから左耳までのクロストーク信号の伝達関数ＨＲＬ」を求める。そして演算制御部１２は、求めたインパルス応答としての伝達関数ＨＲＬから該インパルス応答の逆位相の信号を生成し、生成した信号を、左耳用の逆位相信号として伝達関数記憶部１７に格納する（第２の生成）。

そして演算制御部１２は、右耳用の逆位相信号、左耳用の逆位相信号、をディジタルデータとして伝達関数記憶部１７に格納する処理が完了すると、動作モードを再生モードに切り替える。

次に、再生モードにおける音響再生装置の動作について説明する。上記の通り、バイノーラル音源部１１からはバイノーラル信号が供給される。演算制御部１２は、再生モードが設定されると、その旨をセレクタ・ミキサ１３に通知するので、セレクタ・ミキサ１３は、バイノーラル音源部１１から供給されたバイノーラル信号をアンプ１４及びキャンセル信号生成部１８に送出する。

アンプ１４は、このバイノーラル信号を増幅させ、右耳用の音信号及び左耳用の音信号のそれぞれを、右スピーカ１５Ｒ、左スピーカ１５Ｌに出力する。

キャンセル信号生成部１８は、セレクタ・ミキサ１３からバイノーラル信号を受けると、このバイノーラル信号としての音信号に含まれる左耳用の音信号に対して、伝達関数記憶部１７に格納している右耳用の逆位相信号を畳み込む。この畳み込みにより、右耳用のキャンセル信号を生成する。同様に、キャンセル信号生成部１８は、このバイノーラル信号としての音信号に含まれる右耳用の音信号に対して、伝達関数記憶部１７に格納している左耳用の逆位相信号を畳み込む。この畳み込みにより、左耳用のキャンセル信号を生成する。

右耳用のキャンセル信号、左耳用のキャンセル信号のそれぞれは、周波数特性補正部２８及び遅延・音量制御部１９にて処理された後、図３に示す如く、右供給器２３Ｒ、左供給器２３Ｌに送出される。

右供給器２３Ｒ、左供給器２３Ｌとしては、たとえば骨伝導ヘッドフォンなどが使用できる。骨伝導ヘッドフォンは耳を塞ぐことなく、頭骨に対して振動を発生する事によって、音を聞く事が出来る為、普通のヘッドフォンと異なり、左スピーカ１５Ｌ、右スピーカ１５Ｒからの再生音の聴取を妨げる事がない。

その為、クロストークキャンセル信号をこの骨伝導ヘッドフォンにより再生し、式１にあるように、各耳に届く音SL’SR’に−HRL*R、−HLR*Lを耳の中の部分で重畳する事になる。そのため、耳と反対側のスピーカからのクロストークを耳の中の部分で、キャンセルする事が可能になる。

SL’＝HLL*SL＋HRL*SR−HRL*SR （３）
SR’＝HRR*SR＋HLR*SL−HLR*SL （４）
このように構成する事によって、スピーカからの信号に、クロストークキャンセルの為の信号を重畳する必要がない。その為、それぞれのリスナの位置のクロストークキャンセルの関数を記憶し、各リスナ毎に上記のキャンセル処理を施すことで、複数人での同時試聴を可能とする。

次に、周波数特性補正部２８について説明する。周波数特性補正部２８は、上記骨伝導ヘッドフォンなどの補助音源の周波数特性を補正するものである。スピーカの周波数特性と供給器の周波数特性が異なると、クロストークキャンセルの精度が低下する。そこで、スピーカの周波数特性と供給器の周波数特性を略一致させる必要があり、ここでは、ＦＩＲなどの直線位相を有するフィルタにて、周波数特性の補正を行う。フィルタ係数はあらかじめ測定によって決定しておけばよい。

骨伝導ヘッドフォンなどでは、通常のマイクロフォンなどで測定できる訳ではないので、実際にいくつかの周波数を再生し、スピーカからの発音との比較等によって、特性を決定し、フィルタ係数を決定するなどする。もちろん、特性の分かっている供給器であれば、その特性をスピーカと合わせるよう、フィルタ係数を設定すればよい。

次に、遅延・音量制御部１９について説明する。耳位置でのインパルス応答を畳み込む際に、ある程度の遅延情報が含まれているが、骨伝導発生部からの信号が知覚されるまでの時間が空気伝導と異なるため、頭部への装着位置や、個人差などが含まれる。その対策としては、ユーザが調整出来るようにして対応することもできる。また、補助音源の再生効率などの問題、個人差などが異なる場合があるため、音量についても、ユーザが調整するようにしてもよい。

ヘッドフォン２１に適用可能な補助音源の一例を図４に示す。図４には右側の構成のみを示しているが、左側の構成についても同様である。図４に示す如く、右側の構成２１Ｒには、骨伝導発生部分である右供給器２３Ｒと、集音を行う集音部としてのコンデンサマイク２２Ｒと、を有する。コンデンサマイク２２Ｒは、マイクアンプＡＤ変換部２０から電源を供給しＤＣカットした信号を増幅して、Ａ／Ｄ変換などを経て計算に用いる。

このように、コンデンサマイクを耳近傍に設置し、左右の耳部分でのそれぞれの特性を測定するよう構成している。なお、供給器は、骨伝導に限るわけではなく、たとえば、フルオープンタイプのヘッドホンの様な外耳道を塞がない様な形で発音可能な小型スピーカなどで構成しても構わない。即ち、スピーカからの音を遮らない構成であれば、どの様な発音体を供給器として用いてもよい。

次に、上記で説明した、測定モードが設定された場合に音響再生装置が行う処理について、同処理のフローチャートを示す図５を用いて説明する。ステップＳ１０２において演算制御部１２は、測定モードが設定されると、その旨を測定信号発生部１６及びセレクタ・ミキサ１３に通知する。ステップＳ１０３では測定信号発生部１６は、測定用信号の送出準備を行う。

ステップＳ１０４では演算制御部１２は、ヘッドフォン２１を頭部に装着してリスニングポイントに移動するよう、リスナに指示する。指示方法は特定の方法に限るものではなく、例えば、不図示の表示画面にヘッドフォン２１を装着してリスニングポイントに移動するように指示するためのメッセージや動画像を表示してもよい。

ユーザはヘッドフォン２１を自身の頭部に装着し、リスニングポイントに移動すると、準備が完了した旨を音響再生装置に通知する。通知方法は特定の方法に限るものではなく、例えばリモコンなどを用いて、準備が完了した旨を音響再生装置に通知するようにしてもよい。

準備が完了した旨の通知を演算制御部１２が検知すると、処理はステップＳ１０５を介してステップＳ１０６に進み、検知していない限りは処理はステップＳ１０５を介してステップＳ１０４に戻る。

ステップＳ１０６では、測定信号発生部１６は測定用信号をセレクタ・ミキサ１３に送出し、セレクタ・ミキサ１３は、測定信号発生部１６からの測定用信号をアンプ１４に送出する。そしてアンプ１４は、この測定用信号を増幅させてから左スピーカ１５Ｌに送出するので、この左スピーカ１５Ｌからは、この増幅された測定用信号に応じた音が発せられる。また、演算制御部１２は、本ステップにてマイクアンプＡＤ変換部２０による信号収集を開始させる。

ステップＳ１０７では、マイクアンプＡＤ変換部２０は、コンデンサマイク２２Ｌ、２２Ｒのうち、コンデンサマイク２２Ｒからのインパルス応答信号を増幅させてからＡ／Ｄ変換を行い、ディジタルデータを生成する。コンデンサマイク２２Ｒからのインパルス応答信号の収集は、このインパルス応答信号のレベル（音量）が規定値以下となるまで行う。然るに、インパルス応答信号のレベル（音量）が規定値以下でない限りは処理はステップＳ１０８を介してステップＳ１０７に戻り、インパルス応答信号の収集を継続させる。一方、インパルス応答信号のレベル（音量）が規定値以下となれば、処理はステップＳ１０８を介してステップＳ１０９に進み、インパルス応答信号の収集を終了させる。なお、インパルス応答信号の収集を終了する為の条件についてはこれに限るものではなく、スピーカからの発音開始から、ヘッドフォン２１と該スピーカとの間の距離に応じた時間だけ時間が経過した場合に収集終了としてもよい。

ステップＳ１０９では、演算制御部１２は、マイクアンプＡＤ変換部２０が生成したディジタルデータを用いて、「左スピーカ１５Ｌから右耳（厳密にはコンデンサマイク２２Ｒ）までのクロストーク信号の伝達関数ＨＬＲ」を求める。この計算は、アダマール変換などを用いればより高速に行うことができる。

ステップＳ１１０では、演算制御部１２は、ステップＳ１０９で求めた伝達関数ＨＬＲからインパルス応答の逆位相の信号を生成し、生成した信号を、右耳用の逆位相信号として伝達関数記憶部１７に格納する。

ステップＳ１１１では演算制御部１２は、右耳用の逆位相信号及び左耳用の逆位相信号の両方を生成したか否かを判断する。この判断の結果、両方を生成した場合は処理はステップＳ１１２に進み、まだ一方が生成されていない場合は、処理はステップＳ１０３に戻る。ここでの説明の場合、先に右耳用の逆位相信号を生成したので、次は左耳用の逆位相信号を生成すべく、ステップＳ１０３以降の処理を行う。

ステップＳ１１２では演算制御部１２は、動作モードを再生モードに切り替える。そしてステップＳ１１３では演算制御部１２は、測定が完了した旨をユーザに通知する。この通知方法もまた特定の方法に限るものではなく、例えば表示画面に測定が完了した旨を示すメッセージや動画像を表示するようにしてもよい。

なお、上記の説明では、先に右耳用の逆位相信号を生成し、次に左耳用の逆位相信号を生成したが、順番はこれに限るものではなく、逆の順番であってもよい。

また、本実施形態では、ある１カ所のリスニングポイントにおける「右耳用の逆位相信号」及び「左耳用の逆位相信号」を生成する為の構成について説明した。然るに、同様の処理を、複数のリスニングポイントのそれぞれに対して行えば、それぞれのリスニングポイントにおける「右耳用の逆位相信号」及び「左耳用の逆位相信号」を生成することができる。その場合、リスニングポイント毎に、該リスニングポイントに固有の情報（識別子など）と、該リスニングポイントにおいて生成した「右耳用の逆位相信号」及び「左耳用の逆位相信号」と、を関連づけて伝達関数記憶部１７等のメモリに格納すればよい。

再生モードでは、それぞれのリスナのリスニングポイントを指定すれば、それぞれのリスニングポイントに対する「右耳用の逆位相信号」及び「左耳用の逆位相信号」が特定できるので、それぞれのリスニングポイントに対してキャンセル信号を生成可能である。従って、それぞれのリスナに対し、該リスナのリスニングポイントに対するキャンセル信号を提供できるので、複数人のリスナが同時に臨場感のある立体音響を体感する事が出来る。

［第２の実施形態］
第１の実施形態を適用すれば、スピーカからの音に伝達関数を畳み込んでいない為、複数個所でそれぞれの伝達関数に応じた補正信号を生成することで、リスニングポイント毎にキャンセル信号を生成することができる。そのため、複数人のリスナが同時に臨場感のある立体音響を体感する事が出来る。しかし、第１の実施形態では、それぞれのリスナの頭部の位置が固定されていることが前提となっている。

本実施形態では、リスナの耳の位置に応じてキャンセル信号を切り替える事によって、頭部の位置が移動しても対処可能な音響再生装置について説明する。なお、以下では、第１の実施形態との差分のみについて説明し、それ以外については第１の実施形態と同様である。

右スピーカ１５Ｒ、左スピーカ１５Ｌとコンデンサマイク２２Ｒ、２２Ｌとの位置関係を図６に示す。右スピーカ１５Ｒと左スピーカ１５Ｌとの間の距離をＬ＿ＳＰとしている。また、右スピーカ１５Ｒからコンデンサマイク２２Ｒ、２２Ｌまでの距離をそれぞれＬ＿ＲＲ、Ｌ＿ＲＬ、左スピーカ１５Ｌからコンデンサマイク２２Ｒ、２２Ｌまでの距離をそれぞれＬ＿ＬＲ、Ｌ＿ＬＬとしている。また、図６において原点を右スピーカ１５Ｒの位置と左スピーカ１５Ｌの位置との中点位置とし、横方向にｘ軸、縦方向にｙ軸をとるので、左スピーカ１５Ｌの座標位置は（−Ｌ＿ＳＰ／２，０）、右スピーカ１５Ｒの座標位置は（Ｌ＿ＳＰ／２，０）となる。

この状態において、リスナの頭部が左スピーカ１５Ｌ及び右スピーカ１５Ｒと略同一高さにあるとすると、コンデンサマイク２２Ｌの座標位置（ＸＬ、ＹＬ）は以下のようになる。

ＸＬ＝（Ｌ＿ＬＬ^２−Ｌ＿ＬＲ^２）／２×Ｌ＿ＳＰ
ＹＬ＝ＳＱＲＴ（（Ｌ＿ＳＰ／２＋ＸＬ）^２−Ｌ＿ＬＬ^２）
同様に、リスナの頭部が左スピーカ１５Ｌ及び右スピーカ１５Ｒと略同一高さにあるとすると、コンデンサマイク２２Ｒの座標位置（ＸＲ、ＹＲ）は以下のようになる。

ＸＲ＝（Ｌ＿ＲＬ^２−Ｌ＿ＲＲ^２）／２×Ｌ＿ＳＰ
ＹＲ＝ＳＱＲＴ（（Ｌ＿ＳＰ／２＋ＸＲ）^２−Ｌ＿ＲＲ^２）
ここで、各スピーカ−マイク間の距離測定は、たとえば、測定用信号として、可聴周波数範囲外のバースト波などをスピーカから発音して、マイクで集音されるまでの時間を到達時間として計測するなどして、測る事が出来る。空気中の音波の伝播スピードＶａは約３４０ｍ／ｓｅｃであるので、計測時間にこの速度を乗ずる事で、スピーカ−マイク間の距離を測定することが出来る。

伝播スピードは温度により変化するので、測定前に一方のスピーカらから既知の点、たとえば１ｍの点で音を録音し、その時間から校正するようにしても良いし、実際に温度を測定して、補正するようにしても良い。

実際の動作に際しての詳細は、超音波を用いた距離測定など既存技術を用いることで可能であるので、詳細は省略するが、参照音としてのバースト信号を発音し、その参照音をマイクで収音し、記憶する。記憶された録音信号から、発音から録音までの到達時間を自己相関などで計算して到達時間を検出し、伝播スピードを乗ずる事で、スピーカからの距離を算出し、先の式にて、位置算出を行う。位置情報検出の際には、回路、処理などの固定値を除いた、空中での伝播時間を用いて距離測定することが肝要である。また、リスナの頭部高さが、スピーカの高さと大きく異なるような場合には、上記のような２次元座標ではなく３次元座標に拡張することで対応可能となる。

３次元位置測定においては、２つのスピーカ以外に、測定用信号を発音可能なスピーカまたは発音体を設け、左右のスピーカを結ぶ直線上以外の点に設置し、各スピーカ間の距離と、そこからの距離も測定することで、拡張する事が出来る。

左右のマイクの位置が検出できるので、第１の実施形態の各クロストーク特性の測定時に、距離の測定も行うように構成し、クロストークキャンセル用の伝達関数と位置座標との関連付けを行って、伝達関数を記憶しておく。

然るに、本実施形態に係る音響再生装置は、本装置内の適当なメモリに、図１０に示すようなテーブル情報を管理している。このテーブル情報は、測定モード中に作成するものであり、複数の位置のそれぞれについてインパルス応答信号を取得し、該取得したインパルス応答信号から計算されるインパルス応答（伝達関数）を該位置を含む領域に対応づけたテーブル情報を作成する。

例えばある位置（ｘ、ｙ）にコンデンサマイク２２Ｌを配置し、右スピーカ１５Ｒからの音をこの配置位置（ｘ、ｙ）でコンデンサマイク２２Ｌによって収集することでインパルス応答信号を取得する。そして、固定値ｄｘ、ｄｙを用いて、Ｘｍｉｎ＝ｘ−ｄｘ、Ｘｍａｘ＝ｘ＋ｄｘ、Ｙｍｉｎ＝ｙ−ｄｙ、Ｙｍａｘ＝ｙ＋ｄｙ、を求める。そして、配置位置（ｘ、ｙ）でコンデンサマイク２２Ｌが収集したインパルス応答信号から計算されるインパルス応答と、ｘ方向の範囲がＸｍｉｎからＸｍａｘでｙ方向の範囲がＹｍｉｎからＹｍａｘの領域と、を関連づけたテーブル情報を作成する。これをコンデンサマイク２２Ｒについても同様にして行う（コンデンサマイク２２Ｒの場合は左スピーカ１５Ｌからの音の収集となる）。

図１０の場合、コンデンサマイク２２Ｌ、２２Ｒのそれぞれを位置（ｘａ、ｙａ）に配置した際にコンデンサマイク２２Ｌ、２２Ｒが収集したインパルス応答信号から計算される伝達関数がそれぞれ、伝達関数Ｒ→Ｌ、伝達関数Ｌ→Ｒとなっている。そして、これらの伝達関数と位置（ｘａ、ｙａ）を含む領域Ａとを関連づけている。領域Ａは、ｘ方向の範囲がＸａｍｉｎ（＝ｘａ−ｄｘ）〜Ｘａｍａｘ（＝ｘａ＋ｄｘ）でｙ方向の範囲がＹａｍｉｎ（＝ｙａ−ｄｙ）〜Ｙａｍａｘ（＝ｙａ＋ｄｙ）の領域である。然るに、テーブル情報には、これらＸａｍｉｎ、Ｘａｍａｘ、Ｙａｍｉｎ、Ｙａｍｉｎと、位置（ｘａ、ｙａ）における伝達関数Ｌ→Ｒ、伝達関数Ｒ→Ｌと、が互いに関連づけて登録されている。これは、領域Ｂ，Ｃについても同様である。

なお、ｄｘ、ｄｙは、領域Ａが他の領域と重ならないように且つ同じ伝達関数を使用可能な最大領域のサイズに応じて設定されるもので、これは領域Ｂ、Ｃについても同様である。

なお、複数の位置にコンデンサマイク２２Ｌ（２２Ｒ）を配置した場合に、それぞれの配置位置間の中点を領域の境界としてｄｘ、ｄｙを決めてもよい。このように、ｄｘ、ｄｙの設定方法については特定の方法に限るものではない。また、コンデンサマイク２２Ｌ（２２Ｒ）を複数の位置に配置した際に、それぞれの位置について求めた左耳用のインパルス応答及び右耳用のインパルス応答を該位置を含む領域に対応づけて管理する構成であれば、テーブル情報の構成は図１０の構成に限らない。

図１０に例示したテーブル情報の生成及び使用について、図７を用いて説明する。領域Ａ内のある位置について求めたインパルス応答は、再生モードにおいてコンデンサマイク２２Ｌ（２２Ｒ）が領域Ａ内に位置している場合に使用される。また、領域Ｂ内のある位置について求めたインパルス応答は、再生モードにおいてコンデンサマイク２２Ｌ（２２Ｒ）が領域Ｂ内に位置している場合に使用される。また、領域Ｃ内のある位置について求めたインパルス応答は、再生モードにおいてコンデンサマイク２２Ｌ（２２Ｒ）が領域Ｃ内に位置している場合に使用される。

また、再生モードにおけるコンデンサマイク２２Ｌ（２２Ｒ）の位置検出については上記の通り、可聴範囲外の音を使用して測距しているので、適宜バーストなどの測定音を出力し、随時コンデンサマイク２２Ｌ（２２Ｒ）の位置を検出するように構成する。こうしておく事でリアルタイムに頭部位置が分かるため、その位置における補正が可能になる。

なお、再生モードにおいて、コンデンサマイク２２Ｌが領域Ｂ内、コンデンサマイク２２Ｒが領域Ｃ内、に位置しているとする。このような場合、左供給器２３Ｌに対しては、領域Ｂに対する伝達関数に基づくキャンセル信号を求めて送出し、左供給器２３Ｌに対しては、領域Ｃに対する伝達関数に基づくキャンセル信号を求めて送出する。このように、それぞれの供給器の位置に応じた伝達関数を用いることができる。

本実施形態において、再生モードで音響再生装置が行う処理について、同処理のフローチャートを示す図８を用いて説明する。

ステップＳ２０２では、測定信号発生部１６は、マイクの位置を測定（検出）するための信号であるバースト信号を発生させる。このバースト信号は可聴範囲外にその周波数を設定しておくことで、通常の再生中でも再生の妨げになる事がなく、距離測定を行う事ができる。セレクタ・ミキサ１３は、バイノーラル音源部１１からの音信号と共に、測定信号発生部１６からのバースト信号もアンプ１４に送出する。もちろん、第１の実施形態と同様、セレクタ・ミキサ１３は、バイノーラル音源部１１からの音信号をキャンセル信号生成部１８にも送出する。

アンプ１４からは、増幅された音信号が出力されるのであるが、バースト信号については右スピーカ１５Ｒ用と左スピーカ１５Ｌ用とで互いに異なる周波数に変えてから出力される。これは、このバースト波に応じた音を収集する側で、この収集した音の周波数からこの音がどっちのスピーカからのものであるのかを識別するためである。

そして右スピーカ１５Ｒからは右耳用の音信号に応じた音が出力されると共に、右スピーカ１５Ｒ用に周波数が変えられたバースト信号に応じた音（バースト波）も出力される。また、左スピーカ１５Ｌからは左耳用の音信号に応じた音が出力されると共に、左スピーカ１５Ｌ用に周波数が変えられたバースト信号に応じた音も出力される。もちろん、周波数を変えずに、先に一方のスピーカからバースト信号に応じた音を出力し、該スピーカに対する処理が終わってから他方のスピーカからバースト信号に応じた音を出力するようにしてもよい。

いずれにせよ、スピーカから発音されたバースト波は、スピーカとマイクとの間の距離に依存した時間だけ遅延して、該マイクにて収集され、該マイクは収集した音に応じた信号を送出する。

然るにステップＳ２０３では、マイクアンプＡＤ変換部２０は、コンデンサマイク２２Ｌ（２２Ｒ）からの信号に対してフィルタ処理などを施すことで高周波数成分を抽出し、更に自己相関などの計算を行うことで、バースト波の遅延時間を算出する。この遅延時間は、スピーカにてバースト波が発生したタイミングからマイクにてこのバースト波を検出するまでのタイミングまでの時間から、回路や処理にかかった時間を除いたもので計算される。

そしてステップＳ２０４では、演算制御部１２は、ステップＳ２０３で算出した遅延時間に、空気中の伝播速度を乗じ、更に、上記のＸＬ，ＹＬ，ＸＲ，ＹＲを求めるための式を用いて、コンデンサマイク２２Ｌ（２２Ｒ）の現在位置を計算する。この時、温度測定などを行って、速度の補正などを施しても構わない。

ステップＳ２０５では、演算制御部１２は、ステップＳ２０４で求めた位置が、予め定めた範囲内の位置であるか否かを判断する。この判断の結果、ステップＳ２０４で求めた位置が、予め定めた範囲内の位置である場合には処理はステップＳ２０６に進む。一方、ステップＳ２０４で求めた位置が、予め定めた範囲外である場合には、処理はステップＳ２０９に進む。

ステップＳ２０９では、演算制御部１２は、前回用いた伝達関数、若しくは予め定められた伝達関数を用いるよう、キャンセル信号生成部１８に指示する。予め定められた伝達関数は、例えば、図７に示したようないくつかの領域のうち中央部分に近い領域に対する伝達関数であってもよい。もちろん、ユーザが作成したものであってもよい。

一方、ステップＳ２０６では、演算制御部１２は、ステップＳ２０４で求めた位置が属する領域（この位置のｘ座標値をｘ方向の範囲に含み且つこの位置のｙ座標値をｙ方向の範囲に含む領域）を、図１０に示したようなテーブル情報から検索する。そして、属する領域が有効であるか否かを判断し、有効であると判断した場合は処理はステップＳ２０８に進み、有効ではないと判断した場合は処理はステップＳ２０９に進む。

ステップＳ２０６での判定は、換言すれば、図１０に示したようなテーブル情報で定義されている領域において事前に伝達関数が測定もしくは定義されているかどうかの判定である。

ステップＳ２０８では、演算制御部１２は、ステップＳ２０６で検索した領域に関連づけてテーブル情報に登録されている伝達関数を用いるよう、キャンセル信号生成部１８に指示する。

以上の処理により、キャンセル信号生成部１８に対して使用すべき伝達関数を指示することができるため、キャンセル信号生成部１８（演算制御部１２でもよい）は第１の実施形態と同様にしてこの伝達関数から、インパルス応答の逆位相の信号を生成する。以降は第１の実施形態と同様である。

なお、上記の処理では、マイクが領域間をまたいで移動する際に、使用する伝達関数がいきなり変わってしまうため、その際にリスナに異音を聞かせる可能性がある。そこで、異音などが発生しないよう、伝達関数を徐々に変更したり、音の切れ目にて変更するなどの処理を追加しても構わない。以上のような処理を逐次実行することで、頭部の移動を検知し、補正関数を変更することで、頭部が移動しても、良好な補正を行うことが出来る。

また、図９にあるように、頭部の回転に対して、細かく補正係数を決定し、それに対応することで、座る位置が固定で、頭部のみ回転するような場合にも対応することが可能になる。このようにリスナの動きに関して、あらかじめ特性を測定し、頭部位置（耳の位置）の変化に対応して、正確な補正関数を用いることが可能になるので、正確な補正を行う事が可能になる。

また、本実施形態を複数人のリスナのそれぞれに対して行うことで、第１の実施形態と同様、複数人での同時聴取を可能とすることが出来る。その場合に本実施形態に付加すべき構成については第１の実施形態で説明したとおりである。

また、本実施形態では、各領域に対する伝達関数を管理し、頭部位置の移動に対して補正用の関数を選択していた。しかし、移動の影響を受けない様な場合には伝達関数の補正を行わずに、スピーカからの距離に応じて、遅延時間調整や、音量の調整などに用いても構わない。このように構成すれば、キャンセルに関しての過不足を補うことも可能になる。もちろん、上記補正関数の変更と遅延量、音量の変更を同時に行ってもかまわない。

また、本実施形態では、スピーカから可聴範囲外の音を出力して位置検出を行っていたが、他の方法で位置検出を行うようにしてもよい。たとえば、スピーカが発音可能な上限が可聴範囲内である場合には、聴取に邪魔にならない周波数であれば、可聴範囲内とされる周波数であっても構わない。

あるいは、音ではなく、ヘッドフォン２１から赤外線などの光を発光し、この光位置を計算することでも位置検出を行うことができるし、このような技術と組み合わせても良い。また、スピーカ間にカメラなどの撮像装置を設け、リスナの顔を認識し、その位置を決定するよう構成しても良い。

なお、本実施形態では領域毎に伝達関数を管理しているが、伝達関数の代わりに該伝達関数が示すインパルス応答の逆位相の信号を管理するようにしてもよい。これにより、再生モードにおいてキャンセル信号生成部１８が伝達関数から逆位相の信号を生成する手間を省くことができる。

［第３の実施形態］
図１に示した各構成要件は全てハードウェアで構成してもよいが、キャンセル信号生成部１８や周波数特性補正部２８等、一部の構成要件をソフトウェア（コンピュータプログラム）で構成してもよい。その場合、このソフトウェアは、ＲＡＭやＲＯＭ等のメモリに格納しておき、演算制御部１２によって実行され、対応する機能が実現されることになる。

［第４の実施形態］
本実施形態に係る音響再生装置の機能構成例について、図１２のブロック図を用いて説明する。図１２において、図１に示した構成要件と同じ構成要件には同じ参照番号を付しており、その説明は省略する。

第１，２の実施形態では、バイノーラル信号（ＳＬ，ＳＲ）は左右のスピーカからそれぞれ出力される形態であったが、本実施形態では、図１３に示す如く、センタースピーカ１５Ｃから左と右の信号を合わせた信号（ＳＬ＋ＳＲ）を出力する。出力された音はスピーカから左右の耳までの伝達関数ＨＬ，ＨＲで伝達し、それぞれの耳にＨＬ（SL+SR）、ＨＲ（ＳＬ＋ＳＲ）で到達する。

この信号に対して、あらかじめこれら伝達関数を測定して、それぞれの逆位相信号を生成して補正する。例えば左の耳に対しての補正信号は−HL*SR、右の耳に対しては−HR*SLの信号をそれぞれの供給機に対して供給する。このようにする事で左耳にはＨＬ＊（ＳＬ＋ＳＲ）−ＨＬ＊ＳＲ＝ＨＬ＊ＳＬとなり、左耳用のバイノーラル信号のみが聞こえる事になる。右耳にも同様に右耳用の信号のみ聞こえるようになる。

本実施形態も、第１，２の実施形態と同様に、スピーカからの音に伝達関数を畳み込んでいない為、複数個所でそれぞれの伝達関数に応じた補正信号を生成することで、複数人で同時に試聴する事が可能になる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 音響処理装置であって、
   複数チャネルの音信号を第１出力部に出力させる第１制御手段と、
   複数のリスナのそれぞれが前記複数チャネルの音信号を聞く位置を取得する位置取得手段と、
   前記第１出力部により出力される複数チャネルのうちの第１チャネルの音信号を打ち消すための、前記リスナの第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの左耳用の出力部に出力させ、前記第１出力部により出力される前記複数チャネルのうちの第２チャネルの音信号を打ち消すための前記第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの右耳用の出力部に出力させる制御を、前記複数のリスナのそれぞれの左耳用の出力部及び右耳用の出力部について行う第２制御手段と
   を有することを特徴とする音響処理装置。
2. 更に、
   前記複数のリスナのそれぞれ用の第１収音部及び第２収音部のそれぞれの収音結果を取得する収音結果取得手段を備え、
   前記第２制御手段は、前記第１出力部から音信号が出力されている際の前記第１収音部による収音結果に基づいて、前記第１出力部により出力される前記第１チャネルの音信号を打ち消すための信号を前記左耳用の出力部に出力させ、前記第１出力部から音信号が出力されている際の前記第２収音部による収音結果に基づいて、前記第１出力部により出力される前記第２チャネルの音信号を打ち消すための信号を前記右耳用の出力部に出力させる
   ことを特徴とする請求項１に記載の音響処理装置。
3. 更に、
   前記第１出力部と前記第１収音部との間の第１伝達関数を、前記第１出力部から音信号が出力されている際の前記第１収音部による収音結果に基づいて取得し、前記第１出力部と前記第２収音部との間の第２伝達関数を、前記第１出力部から音信号が出力されている際の前記第２収音部による収音結果に基づいて取得する手段を備え、
   前記第２制御手段は、前記第１伝達関数に基づいて、前記第１出力部により出力される前記第１チャネルの音信号を打ち消すための信号を前記左耳用の出力部に出力させ、前記第２伝達関数に基づいて、前記第１出力部により出力される前記第２チャネルの音信号を打ち消すための信号を前記右耳用の出力部に出力させることを特徴とする請求項２に記載の音響処理装置。
4. 前記第１伝達関数は、前記第１出力部から出力されて前記第１収音部により収音されたインパルス応答信号に基づき、
   前記第２伝達関数は、前記第１出力部から出力されて前記第２収音部により収音されたインパルス応答信号に基づくことを特徴とする請求項３に記載の音響処理装置。
5. 前記第２制御手段は、前記第１チャネルの音信号と逆位相の信号を前記左耳用の出力部に出力させ、前記第２チャネルの音信号と逆位相の信号を前記右耳用の出力部に出力させることを特徴とする請求項１乃至４の何れか１項に記載の音響処理装置。
6. 前記複数のリスナのそれぞれ用の前記第１収音部は、前記複数のリスナのそれぞれの前記左耳用の出力部に取り付けられ、
   前記複数のリスナのそれぞれ用の前記第２収音部は、前記複数のリスナのそれぞれの前記右耳用の出力部に取り付けられることを特徴とする請求項２乃至４の何れか１項に記載の音響処理装置。
7. 前記第１出力部は、前記複数チャネルの音信号においてそれぞれのチャネルの音信号を出力する複数のスピーカであることを特徴とする請求項１乃至６の何れか１項に記載の音響処理装置。
8. 前記第１出力部は、前記複数チャネルの音信号を出力する単体のスピーカであることを特徴とする請求項１乃至６の何れか１項に記載の音響処理装置。
9. 前記第１制御手段が前記第１出力部に出力させる前記複数チャネルの音信号は、バイノーラル信号であることを特徴とする請求項１乃至８の何れか１項に記載の音響処理装置。
10. 前記第２制御手段は、前記左耳用の出力部の位置に応じて、該左耳用の出力部に出力させる音信号を制御し、前記右耳用の出力部の位置に応じて、該右耳用の出力部に出力させる音信号を制御することを特徴とする請求項１乃至９の何れか１項に記載の音響処理装置。
11. 更に、
    再生モード、測定モードの何れかを設定する手段を備え、
    前記第２制御手段は、前記測定モードにおいて前記第１出力部から音信号が出力されている際の前記第１収音部による収音結果に基づいて、前記再生モードにおいて前記第１出力部により出力される前記第１チャネルの音信号を打ち消すための信号を前記左耳用の出力部に出力させ、
    前記測定モードにおいて前記第１出力部から音信号が出力されている際の前記第２収音部による収音結果に基づいて、前記再生モードにおいて前記第１出力部により出力される前記第２チャネルの音信号を打ち消すための信号を前記右耳用の出力部に出力させることを特徴とする請求項２乃至４，６のいずれか１項に記載の音響処理装置。
12. 前記右耳用の出力部及び前記左耳用の出力部は、骨伝導ヘッドフォンであることを特徴とする請求項１乃至１１の何れか１項に記載の音響処理装置。
13. 前記右耳用の出力部及び前記左耳用の出力部は、フルオープンタイプのヘッドフォンであることを特徴とする請求項１乃至１１の何れか１項に記載の音響処理装置。
14. 前記第１制御手段は、前記第１チャネルの音信号として右耳用の音信号、前記第２チャネルの音信号として左耳用の音信号、を前記第１出力部に出力させ、
    前記第２制御手段は、前記第１チャネルの音信号である右耳用の音信号を打ち消すための信号を前記左耳用の出力部に出力させ、前記第２チャネルの音信号である左耳用の音信号を打ち消すための信号を前記右耳用の出力部に出力させることを特徴とする請求項１乃至１３の何れか１項に記載の音響処理装置。
15. 前記第２制御手段は、前記第２チャネルの音信号を打ち消すための信号を前記左耳用の出力部に出力させず、前記第１チャネルの音信号を打ち消すための信号を前記右耳用の出力部に出力させないことを特徴とする請求項１乃至１４の何れか１項に記載の音響処理装置。
16. 音響処理方法であって、
    複数チャネルの音信号を第１出力部に出力させ、
    複数のリスナのそれぞれが前記複数チャネルの音信号を聞く位置を取得し、
    前記第１出力部により出力される複数チャネルのうちの第１チャネルの音信号を打ち消すための、前記リスナの第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの左耳用の出力部に出力させ、前記第１出力部により出力される前記複数チャネルのうちの第２チャネルの音信号を打ち消すための前記第１位置に基づく信号を、前記第１出力部とは異なり且つ前記リスナの右耳用の出力部に出力させる制御を、前記複数のリスナのそれぞれの左耳用の出力部及び右耳用の出力部について行うことを特徴とする音響処理方法。
17. コンピュータを、請求項１乃至１５の何れか１項に記載の音響処理装置の各手段として機能させるためのコンピュータプログラム。

Images