JP3810110B2 - 線型予測係数を用いた立体音響処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は音響処理技術に関し、特にヘッドホン等を通した再生音場において聴取者に立体的な音響効果を提供する立体音響処理装置に関するものである。
【０００２】
【従来の技術】
一般に、音像を正確に再現し若しくは定位させるには、音源から聴取者までの原音場の音響特性と、スピーカ又はヘッドホン等の音響出力機器から聴取者までの再生音場の音響特性とを得ることが必要となる。実際の再生音場は、音源に前者の音響特性を付加し、且つその音源から後者の音響特性を除去することによって、スピーカ又はヘッドホンを用いた場合でも原音場の音像を聴取者に正確に再現することができ、また原音像の位置も正確に定位させることができる。
【０００３】
図１は、従来の２チャンネルステレオ装置から音像を聴取する場合を示している。
図２は、ヘッドホンにより図１と等価な音響空間を実現するための基本的な回路ブロック構成を示している。
図１では、左右のスピーカ（Ｌ，Ｒ）１，２から聴取者３の左右の耳（ｌ，ｒ）までの各音響空間経路の伝達特性を、Ｌｌ，Ｌｒ，Ｒｒ，及びＲｌと表している。図２では、さらに図１に示す各音響空間経路の伝達特性１１〜１４に加えて左右のヘッドホン（ＨＬ，ＨＲ）５，６から左右の耳に至る各伝達特性の逆特性（Ｈｌ^-1，Ｈｒ^-1）１５，１６を付加している。
【０００４】
図２に示すように原信号（Ｌ信号、Ｒ信号）に上記伝達特性１１〜１６を付加することによってヘッドホン５，６からの出力は、スピーカ１，２からの信号を正確に再現することができ、聴取者にはあたかもスピーカ１，２からの信号を聞いているかのような錯覚を起こさせ得る。
【０００５】
図３は、上述した各伝達特性を実現するための従来のＦＩＲフィルタ（非巡回型フィルタ）の一回路構成例を示したものである。
一般に、図２に示す各音響空間経路の伝達特性１１〜１４及びヘッドホンから耳までの伝達特性の逆特性１５，１６を模擬するフィルタには、下式（１）に示す各音響空間経路のインパルスレスポンスを係数とするＦＩＲフィルタ（非巡回型フィルタ）が用いられる。
【数１】

【０００６】
音響空間経路の伝達特性１１〜１４を表すフィルタ係数（ａ０，ａ１，ａ２，・・・，ａｎ）には、各経路毎の音響測定又は音響シュミレーション等によって得られたインパルスレスポンスによるフィルタ係数が用いられる。原信号に所望の音響特性を付加するためには、これらのフィルタを通じて各経路毎の音響特性を示すインパルスレスポンスが畳み込まれる。
【０００７】
図２に示すヘッドホンの逆特性（Ｈｌ^-1，Ｈｒ^-1）１５，１６のフィルタ係数（ａ０，ａ１，ａ２，．．．，ａｎ）については、周波数領域で求められる。まず、ヘッドホンの周波数特性を測定してその逆特性を求め、次にその結果を時間領域に戻して得られるインパルスレスポンスがフィルタの係数として用いられる。
【０００８】
次に、図４は、コンピュータグラフィクス（ＣＧ）の画像に合わせて音像を動かす場合の一般的なシステム構成例を示したものである。
図４において、ユーザ／ソフトウェアによる操作によってＣＧ表示装置２４の制御器２６は画像表示を行うＣＧアクセラレータ２５を駆動し、そして立体音響装置２７の制御器２９に対して画像に同期した音像の位置情報を与える。
【０００９】
音響特性付加器２８は、前記位置情報に基づく制御器２９からの制御によってディスプレイ２１の表示画面内の画像表示位置に、又は表示画面外部の仮想位置に音像が定位されるよう各チャネルのスピーカ２２及び２３（又はヘッドホン）のオーディオ出力信号レベルを制御する。
【００１０】
図５は、図４の音響特性付加器２８の基本構成を示している。音響特性付加器２８は、図３のＦＩＲフィルタを用いて音源Ｓから左右の耳に対する各音響空間経路Ｓｌ，Ｓｒの伝達特性を与える音響特性付加フィルタ３５，３７、及びヘッドホンＬ，Ｒチャネルの音響特性除去フィルタ３６，３８、さらには上記位置情報に基づいて各音響特性付加フィルタ３５，３７のフィルタ係数を選択的に与えるフィルタ係数選択部３９から構成される。
【００１１】
図６〜８は、図４の音響特性付加器２８で用いられる従来の音像定位技術を説明するためのものである。
図６は、音源と聴取者との関係を一般的に示している。音源３０と聴取者３１との間の音響空間の伝達特性Ｓｌ，Ｓｒは、先に説明した図１と同様のものである。
【００１２】
図７の（ａ）は、図４の音響特性付加器２８において、１つの音源を定位させる場合の音源（Ｓ）３０と聴取者３１との間の音響空間経路の音響特性付加フィルタ（Ｓ→ｌ）３５，（Ｓ→ｒ）３７、及びヘッドホン３３，３４の伝達特性の逆特性（ｈ^-1）３６，３８の例を示したものである。図７の（ｂ）は、さらに音像３０をＰ〜Ｑの複数の音像位置に定位させる場合の音響特性付加フィルタ３５，３７の構成を示している。
【００１３】
図８の（ａ）及び（ｂ）は、図７の（ｂ）の音響特性付加フィルタ３５，３７のさらに具体的な回路ブロック構成例を示したものである。
図８の（ａ）は、聴取者３１の左耳に対する音響特性付加フィルタ３５の構成を示しており、図７の（ｂ）に示す複数の音像位置Ｐ〜Ｑと聴取者３１との間の各音響空間の伝達特性を示すフィルタ（Ｐ→ｌ），・・・，（Ｑ→ｌ）、それらの各出力ゲインを個別に制御する複数の増幅器ｇ_Pl，・・・，ｇ_Ql、及び各増幅器の出力を加算出力するための加算器から成る。
【００１４】
図８の（ｂ）は、聴取者３１の右耳に対する音響特性付加フィルタ３７の構成を示している点を除いては図８の（ａ）と同様である。音響特性付加フィルタ３５，３７の各増幅器のゲインは、いずれかの音像位置Ｐ〜Ｑを指示する位置情報によって制御され、それによって音像３０は指示されたいずれかの音像位置Ｐ〜Ｑに定位する。
【００１５】
図９は、サラウンドタイプの音像定位の一例を示したものである。
図９では、聴取者３１の回りに５個のスピーカ（Ｌ，Ｃ，Ｒ，ＳＲ，ＳＬ）を配置したサラウンドシステムの例を示している。本例では、５個の音源からの出力レベルを相対的に制御することによって音像を聴取者３１の周囲に定位させることができる。
【００１６】
例えば、図９に示すスピーカＬとスピーカＳＬとの間のそれぞれの出力レベルを相対的に変化させることによってその間に音像を定位させることができる。従って、このような音像定位の場合にも上述した従来技術がそのまま適用できることが分かる。
【００１７】
【発明が解決しようとする課題】
しかしながら、従来において図３のＦＩＲフィルタの係数用に、通常の部屋でインパルスレスポンスを測定する場合、各伝達特性Ｌｌ，Ｌｒ，Ｒｒ，及びＲｌを表すＦＩＲフィルタのタップ数は、オーディオ信号用のサンプリング周波数４４．１ＫＨｚを用いた場合に、数千タップ又はそれ以上必要となる。また、ヘッドホンの伝達特性の逆特性ＨＬ^-1，ＨＲ^-1の場合にも数百タップ以上必要となる。
【００１８】
従って、図３のＦＩＲフィルタを用いた場合にはタップ数やその演算量が膨大なものとなり、現実に回路を構成すると複数の汎用ＤＳＰや専用の畳み込み演算プロセッサが必要になるなど低価格化や小型化等の面で問題があった。
さらに、音像を定位させる場合には各音像位置分の複数のチャネルフィルタを並列に演算処理しなけばならず、上記問題点の解決がさらに困難になるという問題があった。
【００１９】
また、一般に実時間によるＣＧ等の画像処理量は非常に大きく、画像処理装置の能力が小さかったり同時に多くの画像を表示するような場合には、その処理能力不足によって例えばコマ落としの映像のように連続した画像を表示できない場合が生じ得る。このような場合、音像の動きは画像の動きに同期して制御されるため音像の動きが不連続になるという問題があった。さらに、ユーザの視聴位置等の視聴環境が予め予定していた環境と異なるような場合には画像の見かけ上の動きと音像の動きとが一致しなくなるという問題もあった。
【００２０】
そこで本発明の目的は、上記種々の問題点に鑑み、音響特性を付加するために原信号に付加する音響特性を表すインパルスレスポンスの線形予測解析を行い、その線形予測係数を用いて合成フィルタを構成することでフィルタのタップ係数を大幅に削減し、ハードウェアの小型化、低コスト化そして演算処理の高速化等を達成することにある。
【００２１】
また本発明の目的は、音像を定位させる複数の位置から聴取者までの音響特性を各位置に共通な特性とそこに固有な特性とに分け、それらを付加するフィルタを直列に配列して音像の位置を制御することによって演算処理量の削減することにある。
【００２２】
さらに本発明によれば、音像を移動させる場合に、再生音場において１つの音像を複数の位置に定位させ、各位置の間における音響出力のレベル差を制御することによって音像をその間で滑らかに移動させ、また不連続な動きを行う画像の位置を補間することによってその補間した位置に合わせた音像の動きを実現することにある。
【００２３】
【課題を解決するための手段】
本発明によれば、仮想音源を用いて音像を定位させる立体音響処理装置であって、原信号に付加する所望の音響特性を、その音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数をフィルタ係数とする線形合成フィルタによって形成し、前記線形合成フィルタを通して前記原信号に所望の音響特性を付加する立体音響処理装置が提供される。
【００２４】
前記線形合成フィルタは、前記線形予測係数を用いたＩＩＲフィルタ構成を有して前記原信号に所望の音響特性の周波数特性を付加する短期合成フィルタ、そして同じく線形予測係数を用いたＩＩＲフィルタ構成を有して前記原信号に所望の音響特性の時間特性を付加するピッチ合成フィルタを含む。前記ピッチ合成フィルタは、減衰率が大きな直接音に係るピッチ合成部と、その後に続く減衰率が小さな反射音に係るピッチ合成部及びその遅延時間を与える遅延部から構成される
【００２５】
さらに、ヘッドホンやスピーカ等の音響出力機器の音響特性の逆特性を、その音響特性を表すインパスルレスポンスの線形予測解析から得られた線形予測係数をフィルタ係数とする線形予測フィルタによって形成し、前記線形予測フィルタを通して前記音響機器の音響特性を除去する。前記線形予測フィルタは、前記線形予測係数を用いたＦＩＲフィルタで構成される。
【００２６】
また本発明によれば、仮想音源を用いて音像を定位させる立体音響処理装置は：原信号に付加する左耳への１つ又は複数の音響経路の各音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、そのフィルタ係数とする線形合成フィルタから成る第１の音響特性付加フィルタ；前記第１の音響特性付加フィルタに直列接続され、左耳への音響出力機器の音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、前記音響出力機器の音響特性を除去するための逆特性を与えるそのフィルタ係数とする線形予測フィルタから成る第１の音響特性除去フィルタ；
【００２７】
原信号に付加する右耳への１つ又は複数の音響経路の各音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、そのフィルタ係数とする線形合成フィルタから成る第２の音響特性付加フィルタ；前記第２の音響特性付加フィルタに直列接続され、右耳への音響出力機器の音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、前記音響出力機器の音響特性を除去するための逆特性を与えるそのフィルタ係数とする線形予測フィルタから成る第２の音響特性除去フィルタ；
【００２８】
そして前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタに対して音像の位置情報に従って対応する所定のパラメータを選択的に設定する選択設定部からなる立体音響処理装置が提供される。
【００２９】
前記第１及び第２の音響特性付加フィルタは、各音響経路の音響特性に共通の特性を付加する共通部と、各音響経路の音響特性にそれぞれ固有な特性を付加する固有部とに分けて構成され、前記共通部と固有部とを直列接続することによって全体の音響特性を付加する。
【００３０】
さらに、所定の音源に対する前記共通部の演算結果を記憶する蓄積媒体と前記記憶された演算結果の読み出しを指示する読出指示部を有し、前記読出指示部は、その指示によって読み出された演算結果を前記固有部に直接与える。また、前記蓄積媒体には、前記所定の音源に対する前記共通部の演算結果に加えて対応する前記第１又は第２の音響特性除去フィルタの演算結果も合わせて記憶するようにしてもよい。
【００３１】
また、前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタは、さらに両耳間の遅延時間を与える遅延部を有し、前記第１又は第２の音響特性付加フィルタの遅延部のうち、両耳間の遅延時間のいずれか一方を基準（遅延時間ゼロ）とすることによって、その基準となる遅延部を省略することもできる。
【００３２】
前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタは、さらにそれらの出力信号レベルを可変的に設定できる増幅部を有し、前記選択設定部は前記音像の位置情報に従った前記増幅部のゲイン設定により前記第１の音響特性付加フィルタと第２の音響特性付加フィルタの各出力信号レベルを相対的に可変させることにより音像の定位位置を移動させることができる。
【００３３】
前記第１及び第２の音響特性付加フィルタは、聴取者の前方を中心に左右対象に構成してもよく、その場合には前記遅延部及び増幅部のパラメータが左右の対応する位置間で共用される。
【００３４】
さらに本発明によれば、前記立体音響処理装置は、過去及び未来の音像の位置情報からその中間の位置情報を補間する位置情報補間部を有し、前記位置情報補間部からの補間位置情報は前記選択設定部への位置情報として与えられる。同様に、過去及び現在の音像の位置情報からその未来の位置情報を予測補間する位置情報予測部を有し、前記位置情報予測部からの未来位置情報は前記選択設定部への位置情報として与えられる。
【００３５】
前記位置情報予測部は、さらに過去及び現在の音像の位置情報からその移動方向に関する規則性の有無を判断する規則性判断部を含み、前記位置情報予測部は前記規則性判断部が規則性有りと判断した場合に前記未来位置情報を与える。なお、前記音像の位置情報に代えて、前記音像を発する画像が表示される画像表示装置からの画像位置情報を用いることができる。前記選択設定部は、さらに聴取者の良好な聴取環境を提供・維持すべく、与えられた聴取者の位置情報に従って前記聴取環境を移動させてもよい。
【００３６】
本発明によれば、原信号に付加する所望の音響特性を表すインパルスレスポンスの線形予測解析によって得られた線形予測係数を有する線形合成フィルタが構成される。次に、この線形合成フィルタの時間領域エンベロープ（時間特性）及びスペクトル（周波数特性）が元のインパルスレスポンスと等しく又は近くなるように線形予測係数の補正を行う。この補正済みの線形合成フィルタを用いて、原音に音響特性を付加する。時間領域エンベロープとスペクトルが元のインパルスレスポンスと等しいか又は近いため、この線形合成フィルタを用いて所望の音響特性と等しいか又は近い音響特性を付加することができる。
【００３７】
この場合、線形合成フィルタをＩＩＲフィルタ（巡回型フィルタ）のピッチ構成フィルタと短期合成フィルタで構成することで、従来構成よりも大幅に少ないタップ数の線形合成フィルタを構成することができる。ここで、時間領域エンベロープは前記ピッチ合成フィルタで、またスペクトルは主に短期合成フィルタで制御する。
【００３８】
また本発明によれば、入力信号に付加する音響特性を音像定位を行う各位置に共通な特性と固有な特性に分けてフィルタを構成する。音響特性を付加する場合には、これらのフィルタを直列に接続して用いる。これによって全体の演算処理量を削減することができる。この場合、固有な特性の数が多いほど前記削減の効果は大となる。
【００３９】
また、上記共通な特性部分を処理した結果を予めハードディスク等の蓄積媒体に記憶しておくことにより、ゲームのように使用する音が決まっているような用途に対しては、前記蓄積媒体から直接信号を読み出すだけで実時間処理が必要な各位置に固有な音響特性を付加するフィルタにそれを入力することができる。このため、演算量の削減はもとより単に全ての情報を蓄積媒体に記憶させる場合よりも少ない蓄積容量で済ませられる。
【００４０】
さらに、各位置に共通な特性を付加するフィルタの出力信号と伴に、音響特性除去フィルタに入力して得られる出力信号を蓄積媒体に蓄えてもよい。この場合には音響特性除去フィルタの処理を実時間で行う必要がなくなる。このように、蓄積媒体を利用することにより少ない処理量で音像を動かすことができる。
【００４１】
さらに本発明によれば、不連続な動きを行う画像の位置を補間し、その補間した位置に合わせて音像を動かすことで連続的に音像を動かすことができる。また、ユーザの視聴環境を画像制御器と音像制御器に入力し、その情報を用いて画像と音像の動きを制御することによって見かけの画像の動きと音像の動きとを一致させることができる。
【００４２】
【発明の実施の形態】
図１０は、本発明による音響特性を付加するための線形合成フィルタを求めるための原理構成を示したものである。
本発明においては、図２で示した各伝達特性Ｌｌ，Ｌｒ，Ｒｌ，Ｒｒを表すフィルタを線形合成フィルタ４０によって構成する。そのために反射音や残留音等が除かれる無響室で上記各伝達特性を表すそれぞれの音響空間経路のインパルスレスポンスを測定し、それをもとに線形予測解析処理４１をおこなってインパルスレスポンスの線形予測係数を求める。
【００４３】
前記線形予測係数にはさらに補正処理４２が施され、その結果得られた係数を本発明によるＩＩＲフィルタ構成の線形合成フィルタ４０の線形予測係数に設定する。よって、前記線形合成フィルタ４０を通過した原信号には上記音響空間経路の音響特性の一つである周波数特性が付加されることになる。
【００４４】
図１１は、本発明による音響特性を付加するための線形合成フィルタの構成例を示したものである。
図１１において、線形合成フィルタ４０は、短期合成フィルタ４４とピッチ合成フィルタ４３とから構成され、それぞれ下式（２）及び（３）で表される。
【００４５】
【数２】

【００４６】
前者の短期合成フィルタ４４は、各伝達特性を表すインパルスレスポンスの線形予測解析から得られる線形予測係数を備えたＩＩＲフィルタとして構成され、聴取者には方向感を与える。また、後者のピッチ合成フィルタ４３は、原音にさらに初期反射音や残音響を与える。
【００４７】
図１２は、短期合成フィルタ４４の線形予測係数（ｂ１，ｂ２，．．．，ｂｍ）、及びピッチ合成フィルタ４３のピッチ係数Ｌ，ｂＬの求め方を示したものである。
まず、無響室で測定したインパルスレスポンスの自己相関係数処理４５によって自己相関係数を求めてから線形予測解析処理４６を行う。この結果得られる線形予測係数（ｂ１，ｂ２，．．．，ｂｍ）を用いて図１１の短期合成フイルタ４４（ＩＩＲフィルタ）を構成する。線形予測係数を用いたＩＩＲフィルタ構成とすることによって、元のインパルスレスポンスのサンプル数よりも大幅に少ないタップ数で、伝送特性の１つである周波数特性を付加することができる。例えば、２５６タップのものが約１０タップ程度にまで大幅に削減できる。
【００４８】
その他の伝送特性である各経路を通って信号が両耳まで到達する時間差とレベル差を表す遅延及びゲインは、図１１の遅延（Ｚ^-d）とゲイン（ｇ）によって付加される。図１２では、線形予測解析処理４６で求めた線形予測係数（ｂ１，ｂ２，．．．，ｂｍ）を短期合成フイルタ４４の逆特性を示す下式（４）からなる短期予測フイルタ４７（ＦＩＲフィルタ）の係数として用いる。
【００４９】
【数３】

【００５０】
式（２）と（４）から分かるように、前記短期予測フイルタ４７を通すことで短期合成フイルタ４４で付加された音響特性と同等の周波数成分を反対に除去することができる。その結果、次段のピッチ抽出処理４８で残った時間成分から上記遅延（Ｚ^-L）及びゲイン（ｂＬ）を求めることができる。求められた値はピッチ合成フィルタ４３の遅延及び係数として与えられる。
以上のことから、周波数特性及び時間特性を兼ね備えた所望の音響特性を表す伝達特性が図１１の回路構成によって実現できることが分かる。
【００５１】
図１３は、ピッチ合成フィルタ４３の一ブロック構成例を示したものであり、いわゆる直接音と反射音に分けて別々のピッチ合成フィルタを使用している。
音場を測定して得られるインパルスレスポンスは、通常、減衰率が大きい部分（直接音）で始まり、その後に減衰率の小さな部分（反射音）が続く。そのため、ピッチ合成フィルタ４３は、図１３に示す前者の直接音に係るピッチ合成フィルタ部４９と、後者に係るピッチ合成フィルタ部５１及びその遅延時間を与える遅延部５０とに分けて構成することができる。なお、直接音の部分をＦＩＲフィルタで構成し、または直接音と反射音の部分をオーバラップさせるようにしてもよい。
【００５２】
図１４は、上記のようにして得られた線形予測係数の補正処理の一例を示したものである。
図１４の時間領域のエンベロープ、スペクトルの評価処理５２において、一旦得られた短期合成フィルタ４４とピッチ合成フィルタ４３とを直列接続した状態で所望の音響特性のインパルスレスポンスと比較し、それによって線形合成フィルタのインパルスレスポンスの時間領域エンベロープとスペクトルが元のインパルスレスポンスと等しく、又はより近づくようにフィルタ係数の補正処理を行う。
【００５３】
図１５は、本発明によるヘッドホンの伝達特性の逆特性Ｈｌ^-1，Ｈｒ^-1を表すフィルタ構成例を示したものである。
図１５のフィルタ５３は、図１２で示した短期予測フィルタ４７と同一の構成を有しており、ヘッドホンのインパルスレスポンスの自己相関係数を求めて線形予測解析を行い、得られた線形予測係数（ｃ１，ｃ２，．．．，ｃｍ）からその逆特性を示すＦＩＲ型の線形予測フィルタを構成する。これにより、図３で示した従来の逆特性のインパルスレスポンスの１／１０以下の少ないタップ数のフィルタによりヘッドホンの周波数特性を除去することができる。なお、両耳間の特性を互いに対象と仮定することにより、それらの間の時間差やレベル差を考慮する必要は無くなる。
【００５４】
図１６は、従来との比較における本発明による音響付加フィルタの周波数特性の一例を示したものである。
図１６において、実線は図３に示す従来の２５６タップから成る音響特性付加フィルタの周波数特性の場合を示し、点線は本発明による１０タップからなる音響特性付加フィルタ（短期合成フィルタのみを使用）の周波数特性の場合を示している。本発明により従来よりも大幅に少ないタップ数でスペクトル近似がなされていることが分かる。
【００５５】
次に、図１７は、本発明による線形予測係数を用いた音響フィルタによって音像定位を行わせるための基本的なブロック構成が示されている。
図１７は、先に説明した図４及び図５の音響付加装置２８に相当し、その音響特性付加フィルタ３５及び３７は、本発明による線型予測係数を用いて周波数特性を付加したＩＩＲフィルタ５４，５５、それらの入力段でピッチや左右の耳に到達するまでの時間差等を与える遅延部５６，５７、そして出力段でゲインを個別に制御する増幅器５８，５９で構成される。また、左右チャネルのヘッドホンの音響特性を除去するフィルタ３６，３８は、本発明による線型予測係数を用いたＦＩＲフィルタによって構成される。
【００５６】
ここで、前記音響特性付加フィルタ３５及び３７のうち、ＩＩＲフィルタ５３，５４には図１１で説明した短期合成フィルタ４４が使われ、同じく遅延部５５，５６には図１１の遅延回路（Ｚ^-d）が使われる。また、ヘッドホンの音響特性を除去するフィルタ３６，３８には、図１５で説明したＦＩＲ形の線型予測フィルタ５３が使われる。従って、ここでは上記各フィルタついてこれ以上説明しない。なお、フィルタ係数選択手段３９は、上記各フィルタパラメータの内のフィルタ係数、ピッチ・遅延時間、そしてゲイン等の選択設定を行う。
【００５７】
図１８は、図１７の本発明による音響付加装置２８を使って図９で説明した音像定位を実現した例を示している。
図９に示す５個のスピーカ（Ｌ，Ｃ，Ｒ，ＳＲ，ＳＬ）に相当する５個の仮想音源が音響特性付加フィルタ（Ｃｌ〜ＳＲｌ及びＣｒ〜ＳＲｒ）５４〜５７によって同様な位置に配置され、またヘッドホン３３，３４の音響特性はその除去フィルタ３６，３８によって取り除かれる。この環境は聴取者にとって図９と同じものとなり、従って図９で説明したようにレベル調整部３９で増幅器５８，５９のゲインを変えることによって各仮想音源（Ｌ，Ｃ，Ｒ，ＳＲ，ＳＬ）からの音量を変化させ、それによって聴取者を取り囲むように音像を定位させることができる。
【００５８】
図１９は、本発明による音響付加装置の別の構成例を示したものであり、基本的には上述した図１７と同様な構成を有しているが、新たに位置情報の補間／予測部６０と規則性判断部６１を設けている点が異なる。
図２０〜図２４は、図１９の位置情報の補間／予測部６０及び規則性判断部６１の機能に関する説明図である。
【００５９】
図２０〜２２は位置情報の補間に関するものである。図２０に示すように、画像制御器６２（図４のＣＧ表示装置２４に相当）から音像制御器６３（図４の立体音響装置２７に相当）へ処理時間の長い画像処理に先立ってそれに関する未来の位置情報が先送りされる。そして、図２０では音像制御器６３に含まれる前記位置情報の補間／予測部６０が図２１に示すようにその未来の画像位置と現在位置及び過去の位置を用いてディスプレイ２１（図４参照）上の音像位置の補間を行う。
【００６０】
ここでは、図２２を使って画像位置の直交座標系（ｘ，ｙ，ｚ）の内のｘ軸の値の補間方法について述べる。なお、ｙ軸とｚ軸の値についてもそれぞれ同様に行うことができる。
図２２において、ｔ０を現在の時刻、ｔ−１，．．．，ｔ−ｍを過去の時刻、ｔ＋１を未来の時刻とする。ここで、テイラー級数展開を用いて、時刻ｔ＋１，．．．，ｔ−ｍにおいて、ｘ（ｔ）が次式で表されると仮定する。

【００６１】
値ｘ（ｔ＋１），．．．，ｘ（ｔ−ｍ）を用いて、上式の係数ａ０，．．．，ａｎを求めることにより、時刻ｔ’（ｔ０＜ｔ’＜ｔ＋１）におけるｘ軸の値ｘ（ｔ’）を得ることができる。ここで、
【００６２】
【数４】

【００６３】
なお、上記と同様に、ｘ軸の値の補間によって未来の位置を予測することもできる。例えば、予測係数ｂ１，・・・，ｂｎを用いて、次式で時刻ｔ＋１の予測値ｘ’（ｔ＋１）を求める。

上式の予測係数ｂ１，・・・，ｂｎは、現在と過去の値ｘ（ｔ），・・・，ｘ（ｔ−ｍ）の自己相関係数より線形予測解析を行って求まる。または、最大傾斜法等のアルゴリズムを用いて試行錯誤的に求めることができる。
【００６４】
図２３及び図２４は、画像の動きに規則性が有るか否かを判断することによって未来の位置を予測する方法について示している。
例えば、図１９の規則性判断部６１に相当する図２３の規則性判断器６４が上記式（５．４）において、予測係数ｂ１，・・・，ｂｎを線形予測解析を用いて求めるときに安定な予測系の係数が求まる場合には画像の動きに規則が有ると判断する。又は、同じ式（５．４）において、予測係数ｂ１，・・・，ｂｎを所定の適応アルゴリズムを用いて試行錯誤的に求めるときに係数の値がある値に収束する場合に画像の動きに規則性があると判断する。そしてこのように判断した場合にだけ式（５．４）から求められた係数を未来の位置情報として採用する。
【００６５】
上記では、ユーザやソフトウェアによって与えられる画像の位置情報に従ってディスプレイ上の音像位置を補間／予測することについて述べてきたが、位置情報は聴取者の位置情報であってもよい。
図２５及び図２６は、聴取者の位置情報によって音像を最適に定位させる例について示している。
【００６６】
図２５は、図４のシステムにおいて聴取者３１が斜線で囲まれた適切な視聴環境範囲を離れて移動することにより聴取者３１にとって音像位置と画像位置の軌跡が合わなくなった一例を示している。このような場合でも本発明により聴取者３１の位置を位置センサ等で常時監視することで、図２６に示すように前記視聴環境範囲を聴取者３１の側へ自動的に移動させ、それによってユーザの視聴環境に合わせて音像と画像を一致させることができる。図２０に視聴環境によって音像制御器６３を制御するようにしているのはこのためである。なお、音像定位位置を移動させることに関しては、いままで述べてきた方法がそのまま使用される。すなわち、Ｌ，Ｒの各チャネル信号を制御して、視聴環境範囲をユーザの位置へ移動する。
【００６７】
図２７は、本発明による演算処理の効率化の一実施例を示したものである。
図２７は、図１７又は図１９に示す各音響特性付加フィルタ３５，３７における音響特性の共通特性を抽出することで各フィルタに共通の演算部（Ｃ→ｌ）６４及び（Ｃ→ｒ）６５と個々のフィルタに固有の演算部（Ｐ→ｌ）〜（Ｑ→ｒ）６６〜６９とに分け、それらの間の重複した演算処理を回避することによって図８で説明した従来例と比べてより一層の演算処理の効率化／高速化を図ろうとしたものである。
【００６８】
前記共通の演算部６４，６５は、それぞれの固有の演算部６６〜６９と直列に接続される。また、各固有の演算部６６〜６９には両耳間のレベル差と音像の位置とを制御するための増幅器ｇ_Pl〜ｇ_Qrが接続される。
ここでは、音響特性の共通特性として２個若しくは複数の実音源（Ｐ〜Ｑ）の中間に位置する仮想音源（Ｃ）から聴取者までの音響特性を用いる。
【００６９】
図２８の（ａ）は、上記仮想音源Ｃから聴取者までの音響特性を表すインパルスレスポンスを用いて共通特性の線形予測係数を求める処理系を示している。本例では、Ｃ→ｌの音響特性について示しているが、Ｃ→ｒの音響特性についても同様である。なお、より一層の共通化のためには仮想音源Ｃが聴取者の正面にあるとして、Ｃ→ｌとＣ→ｒの各音響特性を互いに等しいと仮定することもできる。一般に、窓掛け処理７０にはハミングウインドウ等が用いられ、線形予測解析にはレビンソンダービン法が用いられる。
【００７０】
図２８の（ｂ）は、実音源Ｐ〜Ｑから聴取者までの音響特性の固有特性を表す線形予測係数を求める処理系を示している。各音響特性を表すインパルスレスポンスを共通特性を除去するフィルタ（Ｃ→ｌ）^-1７２又は（Ｃ→ｒ）^-1７３に入力し、その出力を線形予測解析することにより、各音響特性に固有な特性を表す線形予測係数を求める。上記フィルタ７２，７３には、図１２で説明したのと同様な方法で共通特性の線形予測係数が設定される。その結果、各固有のインパルスレスポンスから予め共通特性部分を除去した状態で、各固有のフィルタ特性（Ｐ→ｌ）〜（Ｑ→ｌ）及び（Ｐ→ｒ）〜（Ｑ→ｒ）の線形予測係数が求まる。
【００７１】
図２９及び図３０は本発明により共通部と固有部とを分離してそれらの間を直列接続した音響特性付加フィルタ３５，３７の一実施例を示したものである。
図２９の共通部６４，６５は、図１１で説明した短期合成フィルタ及びピッチ合成フィルタからなる線形合成フィルタそのもので構成され、また固有部６６〜６９は個々の周波数特性を表す短期合成フィルタの他に両耳間の時間差を制御する遅延器Ｚ^-DP ，Ｚ^-DQ とレベル差及び音像の位置とを制御するための増幅器ｇ_Pl〜ｇ_Qlで構成される。
【００７２】
図３０は、ＬとＲの２つの音源と聴取者との間の音響特性付加フィルタの例を示している。ここでは、以下で説明する図３１〜図３３の説明との整合性を考慮して共通部６４，６５においてピッチ合成フィルタは使用していない。
図３１〜図３３は、図３０に示す音響特性付加フィルタの周波数特性の一例を示したものである。
【００７３】
図３０のＬ及びＲの２つの音源は、図３１の（ａ）及び（ｂ）に示す音源Ｓ１及びＳ２にそれぞれ対応し、聴取者からみて３０度の開きをもって配置される。図３１の（ｂ）は、図３０の音響特性付加フィルタを回路ブロック化したものであり、図３２及び３３の測定系を示している。
【００７４】
図３２の点線は図３１の共通部（Ｃ→ｌ）の周波数特性を示し、また図３３の点線は共通部と固有部（ｓ１→ｌ）を直列接続したときの周波数特性を示している。
ここで、実線で示す従来フィルタのタップ数は２５６であり、点線で示す本発明による短期合成フィルタのタップ数は、Ｃ→１が６，ｓ１→ｌが４の合計１０タップとしてある。なお、上述したようにピッチ合成フィルタは使用していない。従って、固有部の数が増えるほど演算量の削減効果は大きいことが分かる。
【００７５】
図３４は、図３０の共通部６４，６５の共通特性を既に付加済みの原信号を音データとしてハードディスク等の蓄積媒体７４に記憶することを示している。
図３５は、共通特性の演算処理に代えて蓄積媒体７４から既に共通特性付加済みの信号を読み出し、それを固有部６６〜６９に与えることを示している。
図３５の例では、聴取者は、必要な時に音像制御装置７５を操作することによって蓄積媒体７４から共通特性演算済みの信号を読み出すことができる。読み出された信号は、固有特性の付加演算やその出力ゲインの調整処理が行われて所望の音像位置に定位する。この本発明によって共通特性の実時間演算処理は不要となる。なお、蓄積媒体７４に記憶される信号には、前記共通特性に加えて処理内容が固定しているヘッドホンの逆特性演算処理までを含めることができる。
【００７６】
図３６は、聴取者に対して左右対象な処理を行う例を示したものである。
図３６では、２つの仮想音源Ａ及びＢを使い、その間のレベルｇ_Al，ｇ_Ar，ｇ_Bl，ｇ_Brの差によって音像Ｓを定位させるものである。ここでは、聴取者の中心線（一点鎖線）を基準に左右対象な処理を行う。すなわち、中心線の左側の仮想音源Ａ及びＢと、中心線に関してそれらと対象な位置にある右側の仮想音源（Ａ）及び（Ｂ）とは聴取者に対して実質的に同様な音響空間を形成するものとする。
【００７７】
図３７に示すように、聴取者の回りをｎ等分して、各々の境界に仮想音源ＡとＢを置き、各仮想音源から両耳ｌとｒまでの伝達経路に対応する音響特性を図３８に示すように左右対象とする。これにより、実際には０，・・・，ｎ／２−１の係数のみを持っておけばよい。
聴取者に対する音像位置を、図３９に示すように正面から例えば反時計回りの角度θで表す。次に、下式（６）から図３７のｎ等分した区間の内のどの区間に音像が存在するかを前記角度θから求める。
【００７８】
区間番号＝（少数点未満切り捨て）θ／（２π／ｎ） ・・・（６）
また、仮想音源のレベルｇ_Al，ｇ_Ar，ｇ_Bl，ｇ_Brを求める場合には左右対象の条件から角度θを式（７）のように変換する。
θ＝θ（０≦θ＜π） ・・・（７）
又は２π−θ （π≦θ≦２π）
このように左右対象とすることにより音響特性を表す遅延やゲイン等の係数を左右で共用することができる。図３９において求めたθがπ≦θ≦２πの場合は、ｌｃｈとｒｃｈの出力信号を入れ換えて、ヘッドホンに出力する。これにより、聴取者の左側にあるとして計算した音像を右側に定位させることができる。
【００７９】
図４０は、上述した左右対象な系を処理するための音響特性付加フィルタの一例を示したものである。
この音響特性付加フィルタの特徴は、伝達経路Ａ→ｒ Ｂ→ｒの遅延処理をそれぞれＡ→ｌ，Ｂ→ｌの遅延を基準に行うことによってＡ→ｌ，Ｂ→ｌの遅延処理を省略することができることである。従って、両耳間時間差を表す遅延処理を半減させることができる。
【００８０】
【発明の効果】
以上述べたように、本発明によれば所望の音像定位を複数の仮想音源で行うため、音像の数や位置が変わった場合でも仮想音源から聴取者までの音響特性を変更する必要が無く、従って線形合成フィルタの構成を変える必要がない。また、少ないタップ数のフィルタで原信号に所望の音響特性を付加することができる。
【００８１】
また本発明によれば、入力信号に付加する音響特性を音像定位を行う各位置に共通な特性と固有な特性に分けてフィルタを構成するため、各フィルタの共通特性の演算は一度で済み、全体の演算処理量を削減することができる。この場合には、固有な特性の数が多いほどその削減の効果は大となる。
【００８２】
さらに、上記共通な特性部分を処理した結果を予めハードディスク等の蓄積媒体に記憶しておくことにより、前記蓄積媒体から直接信号を読み出すだけで実時間処理が必要な各位置に固有な音響特性を付加するフィルタにそれを入力することができる。このため、演算量の削減はもとより単に全ての情報を蓄積媒体に記憶させる場合よりも少ない蓄積容量で済ませられる。
【００８３】
なお、各位置に共通な特性を付加するフィルタの出力信号と伴に、音響特性除去フィルタに入力して得られる出力信号を蓄積媒体に蓄えてもよい。この場合には音響特性除去フィルタの処理を実時間で行う必要がなくなる。このように、蓄積媒体を利用することにより少ない処理量で音像を動かすことができる。
【００８４】
さらに本発明によれば、不連続な動きを行う画像の位置を補間し、その補間した位置に合わせて音像を動かすことで連続的に音像を動かすことができる。また、ユーザの視聴環境を画像制御器と音像制御器に入力し、その情報を用いて画像と音像の動きを制御することによって見かけの画像の動きと音像の動きとを一致させることができる。
【図面の簡単な説明】
【図１】２チャンネルのステレオ装置から立体音像を聴取する一例を示した図である。
【図２】ヘッドホンを使った図１と等価な音響空間の一構成例を示した図である。
【図３】従来のＦＩＲフィルタの一例を示した図である。
【図４】ＣＧ表示装置と立体音響装置の一構成例を示した図である。
【図５】図４の音響特性付加器の基本的な構成例を示した図である。
【図６】従来の音像定位技術の説明図（１）である。
【図７】従来の音像定位技術の説明図（２）である。
【図８】従来の音像定位技術の説明図（３）である。
【図９】サラウンドタイプの音像定位の一例を示した図である。
【図１０】本発明による音響特性を付加する線形合成フィルタを求めるための原理構成図である。
【図１１】本発明による音響特性を付加する線形合成フィルタの基本構成を示した図である。
【図１２】線形予測係数及びピッチ係数の求め方の一例を示した図である。
【図１３】ピッチ合成フィルタの一構成例を示した図である。
【図１４】線形予測係数の補正処理の一例を示した図である。
【図１５】線形予測係数を用いて伝達特性の逆特性を実現するＦＩＲフィルタの一例を示した図である。
【図１６】本発明による音響特性付加フィルタの周波数特性の一例を示した図である。
【図１７】本発明による音響付加装置の基本構成例を示した図である。
【図１８】図１７の音響付加装置によるサラウンドタイプの音像定位の一例を示した図である。
【図１９】本発明による音響付加装置の別の構成例を示した図である。
【図２０】位置情報の補間の説明図（１）である。
【図２１】位置情報の補間の説明図（２）である。
【図２２】位置情報の補間の説明図（３）である。
【図２３】位置情報の予測の説明図（１）である。
【図２４】位置情報の予測の説明図（２）である。
【図２５】聴取者の位置情報によって音像を定位させる説明図（１）である。
【図２６】聴取者の位置情報によって音像を定位させる説明図（２）である。
【図２７】本発明による演算処理構成を示した図である。
【図２８】共通特性及び固有特性の求め方の一例を示した図である。
【図２９】共通部と固有部とを分離した音響特性付加フィルタの実施例（１）を示した図である。
【図３０】共通部と固有部とを分離した音響特性付加フィルタの実施例（２）を示した図である。
【図３１】図３２の周波数特性の測定系を示した図である。
【図３２】共通部Ｃ→ｌの周波数特性図である。
【図３３】共通部Ｃ→ｌと固有部ｓ１→ｌの直列接続時の周波数特性図である。
【図３４】共通特性記憶の一例を示した図である。
【図３５】図３４の一実施例を示した図である。
【図３６】左右対象な処理の一例を示した図である。
【図３７】仮想音源の位置の例を示した図である。
【図３８】図３７における左右対象な音響特性の一例を示した図である。
【図３９】音像位置を表す角度θの説明図である。
【図４０】左右対象な音響特性付加フィルタの一例を示した図である。
【符号の説明】
４０…線形合成フィルタ
４３…ピッチ合成フィルタ
４４…短期合成フィルタ
３５，３７…音響特性付加フィルタ
３６，３８…音響特性除去フィルタ
３９…選択設定部
６０…位置情報の補間／予測部
６１…規則性判断部
６４，６５…共通部
６６〜６９…固有部
７４…ハードディスク

Claims (19)

1. 仮想音源を用いて音像を定位させる立体音響処理装置であって、
   原信号に付加する所望の音響特性を、その音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数をフィルタ係数とする線形合成フィルタによって形成し、前記線形合成フィルタを通して前記原信号に所望の音響特性を付加し、
   さらに、音響出力機器の音響特性の逆特性を、元の音響特性を表すインパスルレスポンスの線形予測解析から得られた線形予測係数をフィルタ係数とする線形予測フィルタによって形成し、前記線形予測フィルタを通して前記音響機器の音響特性を除去することを特徴とする立体音響処理装置。
2. 前記線形合成フィルタは、前記線形予測係数を用いたＩＩＲフィルタ構成を有して前記原信号に所望の音響特性の周波数特性を付加する短期合成フィルタを含む請求項１記載の立体音響処理装置。
3. 前記線形合成フィルタは、さらに前記線形予測係数を用いたＩＩＲフィルタ構成を有して前記原信号に所望の音響特性の時間特性を付加するピッチ合成フィルタを含む請求項２記載の立体音響処理装置。
4. 前記ピッチ合成フィルタは、減衰率が大きな直接音に係るピッチ合成部と、その後に続く減衰率が小さな反射音に係るピッチ合成部及びその遅延時間を与える遅延部から構成される請求項３記載の立体音響処理装置。
5. 前記線形予測フィルタは、前記線形予測係数を用いたＦＩＲフィルタ構成を有する請求項１記載の立体音響処理装置。
6. 仮想音源を用いて音像を定位させる立体音響処理装置であって、
   原信号に付加する左耳への１つ又は複数の音響経路の各音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、そのフィルタ係数とする線形合成フィルタから成る第１の音響特性付加フィルタ、
   前記第１の音響特性付加フィルタに直列接続され、左耳への音響出力機器の音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、前記音響出力機器の音響特性を除去するための逆特性を与えるそのフィルタ係数とする線形予測フィルタから成る第１の音響特性除去フィルタ、
   原信号に付加する右耳への１つ又は複数の音響経路の各音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、そのフィルタ係数とする線形合成フィルタから成る第２の音響特性付加フィルタ、
   前記第２の音響特性付加フィルタに直列接続され、右耳への音響出力機器の音響特性を表すインパスルレスポンスの線形予測解析によって得られる線形予測係数を、前記音響出力機器の音響特性を除去するための逆特性を与えるそのフィルタ係数とする線形予測フィルタから成る第２の音響特性除去フィルタ、そして
   前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタに対して音像の位置情報に従って対応する所定のパラメータを選択的に設定する選択設定部から構成することを特徴とする立体音響処理装置。
7. 前記第１及び第２の音響特性付加フィルタは、各音響経路の音響特性に共通の特性を付加する共通部と、各音響経路の音響特性にそれぞれ固有な特性を付加する固有部とに分けて構成され、前記共通部と固有部とを直列接続することによって全体の音響特性を付加する請求項６記載の立体音響処理装置。
8. さらに、所定の音源に対する前記共通部の演算結果を記憶する蓄積媒体と前記記憶された演算結果の読み出しを指示する読出指示部を有し、前記読出指示部は、その指示によって読み出された演算結果を前記固有部に直接与える請求項７記載の立体音響処理装置。
9. 前記蓄積媒体は、前記所定の音源に対する前記共通部の演算結果に加えて対応する前記第１又は第２の音響特性除去フィルタの演算結果も合わせて記憶する請求項８記載の立体音響処理装置。
10. 前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタ は、さらに両耳間の遅延時間を与える遅延部を有する請求項６記載の立体音響処理装置。
11. 前記第１又は第２の音響特性付加フィルタの遅延部のうち、両耳間の遅延時間のいずれか一方を基準（遅延時間ゼロ）とすることによって、その基準となる遅延部を省略することができる請求項１０記載の立体音響処理装置。
12. 前記第１の音響特性付加フィルタ及び第２の音響特性付加フィルタは、さらにそれらの出力信号レベルを可変的に設定できる増幅部を有する請求項６記載の立体音響処理装置。
13. 前記選択設定部は、前記音像の位置情報に従った前記増幅部のゲイン設定により前記第１の音響特性付加フィルタと第２の音響特性付加フィルタの各出力信号レベルを相対的に可変させることによって音像の定位位置を移動させる請求項１２記載の立体音響処理装置。
14. 前記第１及び第２の音響特性付加フィルタは、聴取者の前方を中心に左右対象に構成され、前記遅延部及び増幅部のパラメータが左右の対応する位置間で共用される請求項１０又は１２記載の立体音響処理装置。
15. さらに、過去及び未来の音像の位置情報からその中間の位置情報を補間する位置情報補間部を有し、前記位置情報補間部からの補間位置情報は前記選択設定部への位置情報として与えられる請求項６記載の立体音響処理装置。
16. さらに、過去及び現在の音像の位置情報からその未来の位置情報を予測補間する位置情報予測部を有し、前記位置情報予測部からの未来位置情報は前記選択設定部への位置情報として与えられる請求項６記載の立体音響処理装置。
17. 前記位置情報予測部は、さらに過去及び現在の音像の位置情報からその移動方向に関する規則性の有無を判断する規則性判断部を含み、前記位置情報予測部は前記規則性判断部が規則性有りと判断した場合に前記未来位置情報を与える請求項１６記載の立体音響処理装置。
18. 前記音像の位置情報に代えて、前記音像を発する画像が表示される画像表示装置からの画像位置情報が使われる請求項１５〜１７のいずれか１つに記載の立体音響処理装置。
19. 前記選択設定部は、さらに聴取者の良好な聴取環境を提供・維持すべく、与えられた聴取者の位置情報に従って前記聴取環境を移動させる請求項６記載の立体音響処理装置。

Images