JP4840421B2 - 音声信号処理装置、音声信号処理方法、プログラム - Google Patents

Description

本発明は、或る角度に定位している音源の音声信号について音声信号処理を施すための音声信号処理装置、音声信号処理方法、プログラムに関する。

ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などに収録されるコンテンツや、ＴＶ（テレビジョン）放送番組などのコンテンツにおける音声信号には様々な種類の音源が含まれている。例えば、音楽を収録したコンテンツであれば、歌声や楽器の音などといった音源が含まれる。また、ＴＶ放送番組としてのコンテンツであれば、出演者の声や効果音、笑い声、拍手などといった音源が含まれる。

これらの音源は、収録時には別々
のマイク（マイクロフォン）により収録することもあるが、その場合においても音声信号自体は最終的には２ｃｈ（チャンネル）や５．１ｃｈなどの予め定められたｃｈ数に絞られることになる。このとき、ミキシング等が行われることで、それぞれの音源がそれぞれ対応する角度（方向）に定位するように調整されることになる。

なお、関連する従来技術については以下の特許文献を挙げることができる。
特開平２−２９８２００号公報

上記のようにして得られたコンテンツが再生装置やＴＶ受像機側などで再生（受信・復調）されることで、その再生音声としては、それぞれの音源の定位方向を再現したかたちで得られるようになる。
しかしながら、ユーザの嗜好などにより、制作側で意図した音源の定位感が受け入れられない場合もある。また、或る方向に定位している音源のみを抽出するなど、コンテンツの楽しみ方の幅を広げるような工夫も要請される。これに伴い、或る方向に定位している音源を抽出する、或いはその音像を大きくする／小さくする、又は消すなどといった調整を行うことが要請されている。

そこで、本発明では以上のような問題点に鑑み、音声信号処理装置として以下のように構成することとした。
つまり、先ず、入力された複数チャンネルの音声信号をそれぞれ複数の周波数帯域に分割する分割手段を備える。
また、上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手段を備える。
また、上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手段を備える。
また、上記音声信号と同期した映像信号を入力する映像入力手段と、上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手段を備える。
また、上記映像信号処理手段により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手段を備える。
さらに、上記位相差算出手段と上記レベル比算出手段とにより算出された上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手段により取得された定位角度情報とに基づき、上記分割手段による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手段を備えるようにした。

ここで、上記のようにして複数系統の音声信号のそれぞれを複数の周波数帯域に分割すれば、音声信号に含まれる複数の音源を分割することができる。このことによると、帯域分割された複数系統の音声信号の位相差、レベル比は、それぞれの周波数帯域の音源の定位方向を示す情報となる。従って上記のようにしてこれら周波数帯域ごとに得られる複数系統の音声信号のそれぞれの位相差とレベル比の情報に基づき、分割出力について音声信号処理を施すことで、例えば或る方向に定位している音源のみを抽出したり、或いは消したり、さらには音量を調整するなど、定位角度ごとに音源の調整を行うことができる。

このようにして本発明によれば、或る方向に定位している音源のみを抽出したり、或いは消したり、さらには音量を調整するなど、定位方向ごとに音源の調整を行うことができる。

＜第１の実施の形態＞

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
図１は、実施の形態としての音声信号処理装置を含んで構成される再生装置１の内部構成を示したブロック図である。
この再生装置１としては、図示するメディア再生部２を備え、例えばＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）、或いはブルーレイディスク（Blu-Ray Disc）などの光ディスク記録媒体や、ＭＤ（Mini Disc：光磁気ディスク）、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体についての再生が可能とされる。

この場合、メディア再生部２が対応する記録媒体にはＬch（チャンネル）とＲchとによる２系統の音声信号によるコンテンツが記録されているものとする。メディア再生部２で再生されたこれらＬch，Ｒchの音声信号は、実施の形態の音声信号処理装置としての音声信号処理部３に供給される。

音声信号処理部３は、メディア再生部２からのＬch，Ｒch音声信号と、後述するシステムコントローラ５からの角度指示信号とに応じ、指示された角度（方向）に定位している音源の音声信号について所要の音声信号処理を施すように構成される。そして、このように音声信号処理を施したＬch，Ｒchの音声信号（音声信号Ｌex，音声信号Ｒexとする）をＤ／Ａコンバータ４に供給する。
なお、この音声信号処理部３の内部構成については後述する。

音声信号処理部３からの音声信号Ｌex、Ｒexは、Ｄ／Ａコンバータ４にてＤ／Ａ変換が施されＬch音声信号出力、Ｒch音声信号出力として出力される。

システムコントローラ５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Randam Access Memory）、ＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータで構成され、再生装置１の全体制御を行う。
システムコントローラ５に対しては図示する操作部６とコマンド受信部７とが備えられる。操作部６には、当該再生装置１の筐体外部に表出するようにして設けられた各種の操作子が備えられ、それらの操作に応じたコマンド信号をシステムコントローラ５に供給する。また、コマンド受信部７は、図示するリモートコマンダ１０から発せられた例えば赤外線信号等に依るコマンド信号を受信する。リモートコマンダ１０上にも各種の操作子が設けられており、コマンド受信部７はこれらリモートコマンダ１０上の操作子の操作に応じたコマンド信号をシステムコントローラ５に供給するようにされる。
システムコントローラ５は、操作部６及びコマンド受信部７からのコマンド信号に応じた各種の制御動作を実行するようにされる。これによって再生装置１ではユーザの操作入力に応じた動作が実行されるようになっている。

例えば、操作部６、リモートコマンダ１０にはメディア再生部２に装填された記録媒体に記録されるコンテンツについての再生指示を行うための操作子が備えられ、その操作に応じたコマンド信号が入力されることに応じ、システムコントローラ５はメディア再生部２を制御してコンテンツの再生を開始させる。

また、この場合、リモートコマンダ１０上には、次の図２に示されるような方向指示のための操作子が備えられている。つまり、この図２に示されるように右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄが備えられる。
ユーザは、上記右方向キー１０ａ、又は左方向キー１０ｂを操作することにより、再生装置１に対し定位角度を指示入力することができる。

図１に戻り、システムコントローラ５は、これら右方向キー１０ａ、左方向キー１０ｂの操作に応じたコマンド信号の入力に応じ、音声信号処理部３に供給すべき角度指示信号を生成する。すなわち、右方向キー１０ａ、左方向キー１０ｂの操作により指示入力される定位角度を表すための情報である。

続いて、図３には音声信号処理部３の内部構成を示す。
先ず、音声信号処理部３には、Ｌchの音声信号を入力する分析フィルタバンク１１Ｌと、Ｒchの音声信号を入力する分析フィルタバンク１１Ｒとが備えられる。これら分析フィルタバンク１１Ｌ、分析フィルタバンク１１Ｒは、入力音声信号を所定複数の周波数帯域に分割するために備えられる。
周知のように、入力信号成分を複数の周波数帯域に分割する手法としては、ＤＦＴ（Discrete Fourier Transform）フィルタバンク、ウェーブレットフィルタバンク、ＱＭＦ（Quadrature Mirror Filter）フィルタバンクなどのフィルタバンクと呼ばれる手法がある。フィルタバンクは、分析フィルタバンクと合成フィルタバンクの１セットで構成される。このフィルタバンクの手法は、入力信号を各帯域ごとに目的に応じて処理する場合などに利用されているもので、例えば非可逆圧縮などで広く用いられている。

上記分析フィルタバンク１１Ｌは、入力されるＬch音声信号をｎ個の等帯域幅による周波数帯域に分割し、ｎ個のサブバンド信号（sub1-L、sub2-L・・・subn-L）を生成する。これらｎ個のサブバンド信号sub1-L〜subn-Lの個々は、図示するようにしてｎ個のゲイン器１３（１３-1〜１３-n）のうち対応する添え字（１〜ｎ）の付されるゲイン器１３を介した後、それぞれ合成フィルタバンク１４Ｌに供給されるようになっている。
合成フィルタバンク１４Ｌでは、このようにして供給されるｎ個のサブバンド信号（sub1-L〜subn-L）を合成して元の音声信号形態に再構成する。

同様に、上記分析フィルタバンク１１Ｒは、入力されるＲch音声信号をｎ個の等帯域幅による周波数帯域に分割し、ｎ個のサブバンド信号（sub1-R、sub2-R・・・subn-R）を生成する。この場合も、これらｎ個のサブバンド信号sub1-R〜subn-Rの個々は、上記したゲイン器１３（１３-1〜１３-n）のうち対応する添え字（１〜ｎ）の付されるゲイン器１３を介した後、それぞれ合成フィルタバンク１４Ｒに供給される。
合成フィルタバンク１４Ｒでは、供給されるｎ個のサブバンド信号（sub1-R〜subn-R）を合成して元の音声信号形態に再構成する。
なお、ここでは各分析フィルタバンク１１によって入力音声信号を等帯域幅により分割するものとしたが、非等帯域幅により分割することもできる。

そして、分析フィルタバンク１１Ｌにより生成されたサブバンド信号sub1-L〜subn-Lの個々は、図示するようにｎ個のバンド別ゲイン算出回路１２（１２-1〜１２-n）のうち対応する添え字の付されるバンド別ゲイン算出回路１２に対してもそれぞれ分岐して供給される。
同様に、分析フィルタバンク１１Ｒにより生成されたサブバンド信号sub1-R〜subn-Rの個々としても、バンド別ゲイン算出回路１２-1〜１２-nのうち対応する添え字の付されるバンド別ゲイン算出回路１２に対してもそれぞれ分岐して供給される。
つまり、これによってバンド別ゲイン算出回路１２-1〜１２-nの個々には、それぞれ対応する帯域のＬchのサブバンド信号（以下サブバンド信号sub-Lとも言う）とＲchのサブバンド信号（以下サブバンド信号sub-Rとも言う）とが入力されるようになっている。

バンド別ゲイン算出回路１２-1〜１２-nの個々には、図１に示したシステムコントローラ５からの角度指示信号がそれぞれ入力される。これらバンド別ゲイン算出回路１２は、後述するようにしてそれぞれ入力されるＬchのサブバンド信号sub-L、Ｒchのサブバンド信号sub-Rの位相差とレベル比と、上記角度指示信号とに基づき、この角度指示信号により指示される角度に定位している音源を抽出するために、対応する帯域のサブバンド信号sub-L、サブバンド信号sub-Rに設定されるべきゲインＧ-subを算出する。
つまり、バンド別ゲイン算出回路１２-1では、サブバンド信号sub1-L、サブバンド信号sub1-Rに設定すべきゲインＧ-sub1を生成し、バンド別ゲイン算出回路１２-2ではサブバンド信号sub2-L、サブバンド信号sub2-Rに設定すべきゲインＧ-sub2を生成するといったように、バンド別ゲイン算出回路１２-1〜１２-nによっては、それぞれの帯域のサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rに設定されるべきゲインＧsub1〜Ｇ-subnが生成される。
なお、このようなバンド別ゲイン算出回路１２の内部構成については後述する。

バンド別ゲイン算出回路１２-1〜１２-nで算出されたゲインＧ-sub1〜Ｇ-subnの個々は、上記したゲイン器１３-1〜１３-nのうち対応する添え字の付されたゲイン器１３にそれぞれ供給される。
ゲイン器１３の個々は、供給されたゲインＧ-subに基づき、それぞれ分析フィルタバンク１１Ｌからのサブバンド信号sub-L、分析フィルタバンク１１Ｒからのサブバンド信号sub1-Rのゲインを調整し、サブバンド信号sub-Lについては合成フィルタバンク１４Ｌへ、サブバンド信号sub-Rについては合成フィルタバンク１４Ｒへそれぞれ供給する。

合成フィルタバンク１４Ｌ、１４Ｒでは、上述もしたようにゲイン器１３-1〜１３-nから供給されるサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rを合成して元の音声信号形態に再構成して出力する。
ここで、ゲイン器１３-1〜１３-nから供給される各帯域のサブバンド信号sub-L、サブバンド信号sub-Rは、それぞれ対応するバンド別ゲイン算出回路１２で生成された、角度指示信号により指示される角度に定位している音源を抽出するためのゲインＧ-subに応じてゲインが調整されたもとなっている。
例えば、指示された角度に定位している音源が帯域１〜帯域２（サブバンド信号sub1-L〜sub2-L、サブバンド信号sub1-R〜sub2-R）で構成されるものであったとすれば、例えばこれらサブバンド信号sub1-L〜sub2-L、サブバンド信号sub1-R〜sub2-Rのみがゲイン＝１とされ、それ以外の帯域がすべてゲイン＝０に調整されるといったものである。
これにより、上記のようにして全ての帯域のサブバンド信号が合成されて再構成された音声信号としては、上記角度指示信号により指示された角度に定位している音源のみが抽出されたものとして再現できるものとなっている。
ここでは、このように合成フィルタバンク１４Ｌ、１４Ｒからそれぞれ出力される、角度指示信号により指示された角度に定位している音源を抽出したものとできる音声信号のことを、それぞれ音声信号Ｌex、音声信号Ｒexと呼ぶ。

図４は、バンド別ゲイン算出回路１２の内部構成を示している。
先ず、図３に示した分析フィルタバンク１１Ｌからのサブバンド信号sub-Lは、フーリエ変換器２１Ｌに入力され、ここにおいて例えばＦＦＴ（高速フーリエ変換）などのフーリエ変換処理が施される。フーリエ変換処理により得られた複素サブバンド信号ｃsub-Lは、位相差算出器２２とレベル比算出器２３とに供給される。
また、分析フィルタバンク１１Ｒからのサブバンド信号sub-Rは、フーリエ変換器２１Ｒに供給されフーリエ変換処理が施され、同様に複素サブバンド信号ｃsub-Rとして位相差算出器２２とレベル比算出器２３とに供給される。

位相差算出器２２では、フーリエ変換器２１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器２１Ｒからの複素サブバンド信号ｃsub-Rとの位相差（時間差）を算出する。
ここで、時間ωにおける複素サブバンド信号ｃsub-Lとｃsub-RとをそれぞれＬ(ω)、Ｒ(ω)とした場合、時間ωにおける複素サブバンド信号ｃsub-Lと複素サブバンド信号ｃsub-Rとの位相差θ_lr(ω)は、次の[数１]により与えられる。
但し、下記［数１］において、−１８０≦θ_lr(ω)≦１８０とする。
また、Ｒｅ(ｘ)は複素数ｘの実部を、Ｉｍ(ｘ)はｘの虚部を表す。

位相差算出器２２は、上記[数１]に基づいてフーリエ変換器２１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器２１Ｒからの複素サブバンド信号ｃsub-Rとの位相差θ_lr(ω)を算出する。そして、このように算出される位相差θ_lr(ω)を順次出力することで、ゲイン算出器２４に位相差信号θ_lrを供給するようにされる。

また、レベル比算出器２３では、フーリエ変換器２１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器２１Ｒからの複素サブバンド信号ｃsub-Rとのレベル比を算出する。
ここで、時間ωにおける複素サブバンド信号ｃsub-Lとｃsub-RとをそれぞれＬ(ω)、Ｒ(ω)とした場合、時間ωにおける複素サブバンド信号ｃsub-Lと複素サブバンド信号ｃsub-Rとのレベル比ｍａｇ_lr(ω)は、次の[数２]により与えられる。
但し、下記［数２］において、−１≦ｍａｇ_lr(ω)≦１とする。

レベル比算出器２３は、上記[数２]に基づいてフーリエ変換器２１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器２１Ｒからの複素サブバンド信号ｃsub-Rとのレベル比ｍａｇ_lr(ω)を算出する。そして、このように算出される位相差ｍａｇ_lr(ω)を順次出力することで、ゲイン算出器２４にレベル比信号ｍａｇ_lrを供給するようにされる。

ゲイン算出器２４は、位相差算出器２２からの位相差信号θ_lrと、レベル比算出器２３からのレベル比信号ｍａｇ_lrと、さらに図１に示したシステムコントローラ５からの角度指示信号とに基づき、この角度指示信号により指示される角度に定位している音源を抽出するために、対応する帯域のＬchのサブバンド信号sub-LとＲchのサブバンド信号sub-Rとに設定すべきゲインＧ-subを算出する。

ここで、音像の定位は人間の感覚的なものであり、厳密な定義はされておらず数式などで表す事は難しい。例えばＬch，Ｒchのステレオ音声信号について、各々のｃｈの信号が完全に等しい場合、各スピーカの真ん中あたりに音源があるように感じる。また、左側のｃｈのみに信号が含まれている場合は左側のスピーカ付近に音源があるように感じる。
本明細書では、このように感覚的に音像の位置が知覚されることを定位と呼び、或る点を基準としたときの音像の定位位置への角度を定位角度と呼んでいる。

音像を定位させる手法としては各種のものが知られているが、聴取者の各耳に到達する音声信号の位相差（時間差）とレベル比（音圧レベル比）によって特定位置（特定方向）に音源を感じさせるものがある。一例として、特開平２−２９８２００号公報により開示される手法では、音源からの信号にフーリエ変換を行い、周波数軸上で各々のｃｈの信号に周波数に依存したレベル比と位相差とを与えることで、或る方向に音像を定位させるようにしている。

このような手法の逆の発想として、本実施の形態では、各ｃｈの音声信号の位相差、レベル比を、音源が定位している角度を表す情報として扱うものとしている。このために本実施の形態では、これまでで説明してきたように各ｃｈの音声信号の位相差と各ｃｈの信号のレベル比とを解析することで、音源の定位角度を求めるようにしている。

ここで、これまでに説明した音声信号処理部３の構成によれば、各周波数帯域ごとに、各ｃｈの音声信号の位相差θ_lr(ω)とレベル比ｍａｇ_lr(ω)とが求まる。つまり、これによって各周波数帯域の音声信号ごとに、それらの定位角度を求めていることになる。
このようにして位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)により各周波数帯域ごとの定位角度が求まれば、図４におけるゲイン算出器２４としては、入力される角度指示信号と、これら周波数帯域ごとの定位角度との違いに基づき、上記角度指示信号により指示される定位角度の音源が抽出されるように、それぞれの周波数帯域の音声信号（sub1-L〜subn-L、sub1-R〜subn-R）に設定すべきゲインを算出すればよい。

具体的に、本実施の形態では、先ずは位相差θ_lr(ω)によって求めた定位角度に応じて算出される位相差側ゲインＧ_θ(ω)と、レベル比ｍａｇ_lr(ω)で求めた定位角度に応じて算出するレベル比側ゲインＧ_mag(ω)とを別個に得るようにする。その上で、最終的に各サブバンド信号sub-L、sub-Rに与えるゲインＧ-subとしては、これら位相差側ゲインＧ_θ(ω)と、レベル比側ゲインＧ_mag(ω)とを乗算して求めるものとする。
つまり、時間ωにおけるゲインＧ-subをゲイン値Ｇ-sub(ω)とすると、

Ｇ-sub(ω)＝Ｇ_θ(ω)×Ｇ_mag(ω)

により最終的なゲインＧ-subを求める。

そして、ゲイン算出器２４において、位相差側ゲインＧ_θ(ω)は、角度指示信号により指示される定位角度をangleとしたとき、以下の［数３］により求めるものとする。
但し、下記［数３］において、gradientは０以上の任意の値、top_widthは０≦top_width≦１８０の任意の値であるとする。
また、角度指示信号により指示可能な定位角度angleは−１８０≦angle≦１８０であるとする。
また、位相差側ゲインＧ_θ(ω)については、０≦Ｇ_θ(ω)≦１であり、算出されたＧ_θ(ω)の値が０よりも小さいときはＧ_θ(ω)＝０とする。

また、ゲイン算出器２４において、レベル比側ゲインＧ_mag(ω)は、同じく角度指示信号により指示される定位角度をangleとしたとき、以下の［数４］により求めるものとする。
但し、この［数４］においてもgradientは０以上の任意の値、top_widthは０≦top_width≦１８０の任意の値であるとする。
また、角度指示信号により指示可能な定位角度angleは−１８０≦angle≦１８０であるとする。
また、レベル比側ゲインＧ_mag(ω)については、０≦Ｇ_mag(ω)≦１であり、算出されたＧ_mag(ω)の値が０よりも小さいときはＧ_mag(ω)＝０とする。

上記［数３］［数４］において、gradient、top_widthの値については種々の設定が可能であるが、以下にその一例を示す。
先ず第一例としては、全ての周波数帯域（サブバンド）について、gradient、top_widthの値を固定とする手法である。上記［数３］において、例えばtop_width＝２０、gradient＝１に固定とし、角度指示信号により指示されたangleの値がangle＝０、angle＝−８０であったときにそれぞれ得られる位相差側ゲインＧ_θ(ω)の特性を次の図５に示す。

図５は、横軸を位相差θ_lr(ω)、縦軸を位相差側ゲインＧ_θ(ω)としたときの位相差側ゲインＧ_θ(ω)の値をグラフ化して示している。つまり、この図では各定位角度ごとに対応した位相差ゲインＧ_θ(ω)の値を示しているものである。
先ず、この第一例ではtop_widthの値が「２０」に固定であることから、位相差側ゲインＧ_θ(ω)の値が最大値となる（この場合はＧ_θ(ω)＝１）幅が４０となる。具体的に、angle＝０のときは位相差θ_lr(ω)が−２０〜２０までの範囲がtop_width（Ｇ_θ(ω)＝１）となり、angle＝−８０のときは位相差θ_lr(ω)が−１００〜−６０までの範囲がtop_width（Ｇ_θ(ω)＝１）となる。すなわち、先の［数３］（［数４］も同様）において、ゲインが最大値となる範囲は「angle−top_width〜angle＋top_width」の範囲となるので、ゲインが最大値となる範囲は「top_width×２」となる。
また、この場合はgradientの値が「１」で固定であるため、top_widthの範囲外、つまり（θ_lr(ω)＞angle＋top_width）または（θ_lr(ω)＜angle−top_width）となる部分では、［数３］を解くと必ず位相差側ゲインＧ_θ(ω)が負の値となり、先に述べた０≦Ｇ_θ(ω)≦１の条件を合わせると、このtop_widthの範囲外の位相差側ゲインＧ_θ(ω)は全て「０」となる。

また、第二例は、全ての周波数帯域（サブバンド）についてgradientは固定とするが、指示されたangleの値に伴ってtop_widthの値を変化させる手法である。この場合、例えばtop_widthの値は、指示されるangleの値に応じ、

top_width＝｜angle／４｜

により求めるものとする。例えば先の［数４］において、gradientの値をgradient＝２０で固定し、angleの値としてangle＝０、angle＝−８０がそれぞれ指示された場合に得られるレベル比側ゲインＧ_mag(ω)の特性を次の図６に示す。

この図６においても、横軸をレベル比ｍａｇ_lr(ω)、縦軸をレベル比側ゲインＧ_mag(ω)としたときのレベル比側ゲインＧ_mag(ω)の値をグラフ化して示している。
この場合、top_widthの値が指示されたangleの値に応じて「top_width＝｜angle／４｜」に変化するので、angle＝０のときは図示するようにtop_width＝０となり、angle＝−８０のときはtop_width＝２０となる。
また、この場合は、gradientの値が先の第一例の場合の「１」ではなく「２０」とされたので、top_widthの範囲外のレベル比側ゲインＧ_mag(ω)は全て「０」にはならい。すなわち、この場合はtop_widthの範囲外となる（ｍａｇ_lr(ω)・１８０＞angle＋top_width）または（ｍａｇ_lr(ω)・１８０＜angle−top_width）となる部分のうち、レベル比ｍａｇ_lr(ω)の値の或る範囲までは、［数４］の計算結果として正の値が得られる。つまり、このことで、図示するようにtop_widthの範囲外であってもレベル比ｍａｇ_lr(ω)の値が或る値となるまでは、angleの値から遠ざかるにつれレベル比側ゲインＧ_mag(ω)の値は０に向けて徐々に減少するようになる。

これら図５，図６の説明から理解されるように、［数３］［数４］においてgradientの値は、位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)について、top_widthの範囲外となる部分の傾きを調整するための値である。
上記手法によれば、top_widthの値とこのようなgradientの値の設定によって、ゲイン窓の形状を自由に調整することができる。

また、上記説明において、第二例では、例えばtop_width＝｜angle／４｜として、angleの値が０のときはtop_widthを０とし、angleの値が０から遠ざかるにつれtop_widthの幅を拡大するものとしたが、これは、先の［数１］［数２］の計算によると、算出される位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の値が「０」寄り（つまり中央寄り）の値で得られてしまうことがある場合を想定してのものである。
つまり、このように位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の値が中央寄りの値で得られてしまう場合において、angleにより０から遠い角度が指示されたときにtop_widthが狭く抽出する定位角度範囲が狭めであった場合には、抽出すべき定位角度に定位している周波数帯域成分が適正に抽出されず、逆にそれ以外の周波数帯域成分が抽出されてしまうといった虞がある。
これに対し、上記第二例のように指示されたangleの値が０から遠ざかるにつれtop_widthの幅を拡大すれば、上記のように位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)として「０」寄りの値が算出される場合にも抽出すべき周波数帯域を適正に抽出することができるようになる。

上記のような［数３］「数４」により、角度指示信号により指示されたangleに定位している音源を抽出するために、対応するサブバンド信号に設定されるべき位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)を得ることができる。
そして、上述もしたように、図４に示したゲイン算出器２４では、これら［数３］「数４」に基づき得られた位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算することで、対応するサブバンド信号sub-L、sub-Rに対して最終的に設定されるべきゲイン値Ｇ-sub(ω)を算出するようにされる（Ｇ-sub(ω)＝Ｇ_θ(ω)×Ｇ_mag(ω)）。
その上でゲイン算出器２４は、このゲイン値Ｇ-sub(ω)を図３に示したゲイン器１３に供給すべきゲインＧ-subとして順次出力するようにされる。

図７は、これまでに説明してきた第１の実施の形態としての音源抽出動作の動作手順をフローチャートにより示している。
図７において、先ずステップＳ１０１では、Ｌch信号、Ｒch信号を複数バンドに分割する。すなわち、この動作は、図３に示した分析フィルタバンク１１Ｌ、分析フィルタバンク１１Ｒが、それぞれ入力されるＬch音声信号、Ｒch音声信号をｎ個の周波数帯域に分割し、それぞれサブバンド信号sub1-L〜subn-L、サブバンド信号sub1-R〜subn-Rを生成する動作に相当する。

続くステップＳ１０２では、分割したＬch信号、Ｒch信号をフーリエ変換する。すなわち、図４に示した、各バンド別ゲイン算出回路１２内のフーリエ変換器２１Ｌ、各フーリエ変換器２１Ｒが、それぞれ入力されるサブバンド信号sub-L、sub-Rについてフーリエ変換処理を施す。

ステップＳ１０３では、バンド（周波数帯域）ごとにＬch信号とＲch信号の位相差θ_lr(ω)を算出する。つまり、各バンド別ゲイン算出回路１２における位相差算出器２２が、それぞれフーリエ変換器１１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器１１Ｒからの複素サブバンド信号ｃsub-Rとに基づき、位相差θ_lr(ω)を算出する。

そして、ステップＳ１０４では、バンドごとに位相差θ_lr(ω)と［数３］、及び角度指示信号（angle）に基づき位相差側ゲインＧ_θ(ω)を算出する。つまり、各バンド別ゲイン算出回路１２におけるゲイン算出器２４が、位相差算出器２２から供給される位相差θ_lr(ω)と、システムコントローラ５から供給される角度指示信号の値（angleの値）と、先に示した［数３］とに基づき、位相差側ゲインＧ_θ(ω)を算出するものである。

また、ステップＳ１０５では、バンドごとにＬch信号とＲch信号のレベル比ｍａｇ_lr(ω)を算出する。つまり、各バンド別ゲイン算出回路１２におけるレベル比算出器２３が、それぞれフーリエ変換器１１Ｌからの複素サブバンド信号ｃsub-Lとフーリエ変換器１１Ｒからの複素サブバンド信号ｃsub-Rとに基づき、レベル比ｍａｇ_lr(ω)を算出する。

そして、ステップＳ１０６では、バンドごとにレベル比ｍａｇ_lr(ω)と［数４］、及び角度指示信号（angle）に基づきレベル比側ゲインＧ_mag(ω)を算出する。つまり、各バンド別ゲイン算出回路１２におけるゲイン算出器２４が、レベル比算出器２３から供給されるレベル比ｍａｇ_lr(ω)と、システムコントローラ５から供給される角度指示信号の値（angleの値）と、先に示した［数４］とに基づき、レベル比側ゲインＧ_mag(ω)を算出するものである。

なお、ここでは説明の便宜上、位相差θ_lr(ω)・位相差側ゲインＧ_θ(ω)の算出と、レベル比ｍａｇ_lr(ω)・レベル比側ゲインＧ_mag(ω)の算出とが前後して行われるものとしたが、実際の構成においてこれらは同時並行的に行われるものとなる。

ステップＳ１０７では、バンドごとに位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算してゲイン値Ｇ-sub(ω)を算出する。これは、各バンド別ゲイン算出回路１２におけるゲイン算出器２４が、ステップＳ１０４にて生成した位相差側ゲインＧ_θ(ω)と、ステップＳ１０６にて生成したレベル比側ゲインＧ_mag(ω)とを乗算する動作に相当する。
このステップＳ１０７により、各バンド別ゲイン算出回路１２におけるゲイン算出器２４において、それぞれのバンドに設定すべき最終的なゲイン値Ｇ-sub(ω)が得られる。

続くステップＳ１０８では、バンドごとにＬch信号、Ｒch信号にゲイン値Ｇ-sub(ω)を与える。つまり、図３に示した各ゲイン器１３が、入力されるサブバンド信号sub-L、サブバンド信号sub-Rに対し、それぞれ対応するバンド別ゲイン算出回路１２から供給されるゲイン値Ｇ-subを与える。

そして、ステップＳ１０９では、各バンドのＬch信号、各バンドのＲch信号をそれぞれ合成して出力する。すなわち、図３に示した合成フィルタバンク１４Ｌがゲイン器１３-1〜１３-nから供給される各バンドのＬch信号を入力してこれらを合成して出力し、また合成フィルタバンク１４Ｒがゲイン器１３-1〜１３-nから供給される各バンドのＲch信号を入力してこれらを合成して出力する。
これによって合成フィルタバンク１４Ｌ、合成フィルタバンク１４Ｒからは、先にも説明したように角度指示信号により指示された角度（angle）に定位している音源のみが抽出されたものとして再現できる音声信号Ｌex、音声信号Ｒexが出力される。

このような音声信号Ｌex、音声信号Ｒexが出力されることで、聴取者に対し、指示された角度に定位している音源のみが抽出されたように知覚させることができる。換言すれば、これによって指示された角度に定位している音源のみを抽出することができる。

なお、これまでの説明では、本実施の形態としての音源抽出動作の実現にあたり、音声信号処理部３を図７に示した各動作を行うハードウェアにより構成する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部３としては、図７に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部３に対してはＲＯＭ等の記録媒体が備えられ、そこに上記プログラムが記録される。

また、第１の実施の形態では、［数３］［数４］の計算にあたり、各ｃｈの音声信号についての位相差及びレベル比として、或る時点(時間(ω))での位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の値を用いるものとしたが、これら位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の積分結果を位相差、レベル比の値として用いることもできる。

また、第１の実施の形態では、ゲイン値Ｇ-subの算出にあたり、先の［数３］［数４］としての、位相差θ_lr(ω)とangleとを変数としてゲインＧ_θ(ω)を求めるための関数、及びレベル比ｍａｇ_lr(ω)とangleとを変数としてゲインＧ_mag(ω)を求めるための関数を用いるものとしたが、これに代え、予め角度指示信号により指示可能な定位角度（angle）ごとに、先の図５、図６に示したようなゲイン特性（ゲインについての窓）をそのまま定義する窓関数を用いてゲイン値を求めるようにすることもできる。
つまり、例えば先の図５に示したangle＝０のときを例に挙げれば、予めこのangle＝０のときのゲイン窓の形状を定めておき、このゲイン窓の形状を定義する関数として、位相差θ_lr(ω)（定位角度）を変数としてゲインＧ_θ(ω)を求めるための関数を予め生成して用意しておく。同様に、他のangleの値についてもそのangleのときに対応して設定されるべきゲイン窓の形状を定めておき、それらの窓形状を定義する関数を予め生成して用意しておく。
また、レベル比ｍａｇ_lr(ω)についても、同様に指示可能なangleの値ごとにそのangleのときに対応して設定されるべきゲイン窓の形状を定めておき、それらの窓形状を定義する関数として、レベル比ｍａｇ_lr(ω)を変数とした関数を予め生成して用意しておく。
そして、実際に角度指示信号によりangleの値が指示されたときは、この指示されたangleの値に応じて位相差側、レベル比側の窓関数をそれぞれ１つ選択し、その窓関数に対し、算出した位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の値を代入して、それぞれ位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)を算出するといったものである。

但し、本実施の形態の［数３］［数４］のように、angleも変数とした関数を用いてゲインを算出するものとすれば、上記のように位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)のみを変数とする窓関数を用いる場合とは異なり、保持しておくべき関数としてはこれら［数３］［数４］によるそれぞれ１種のみとすることができる。
すなわち、上記説明から理解されるように、窓関数を用いる手法では、各angle対応に個別の関数をそれぞれ用意しておく必要があり、この点でゲイン算出のための関数を保持しておくために必要なメモリ容量が増大化する傾向となる。これに対し、上記のように［数３］［数４］のみを保持しておくだけで済めば、その分必要なメモリ容量を削減することができる。

また、ここでは、指示された角度に定位している音源のみが抽出されて出力されるべく、指示された角度に定位している音源の音量を調整するものとしたが、これに代え、指示された角度に定位している音源に対し、例えばリバーブ処理などの他の音声信号処理を施すようにすることもできる。
具体的に、リバーブ処理であれば、ゲイン器１３がリバーブ処理を実行するリバーブ処理器となり、位相差とレベル比とに基づき算出されたリバーブ係数（リバーブのレベルを変化させるためのパラメータ）に基づき各サブバンド信号にリバーブ処理を施すように構成すればよい。

また、ここでは、指示された角度に定位している音源のみが抽出されて出力されるべく、指示された角度のゲイン窓を凸状とするものとしたが、逆に指示された角度に定位している音源を消すとした場合は、指示された定位角度の部分が凹状となるようなゲイン窓を設定する等すればよい。

＜第２の実施の形態＞

続いては第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態の応用として、音声信号と同期した映像信号を再生する場合において、映像のズームに応じて音源の抽出を行うようにしたものである。
図８は、このような第２の実施の形態としての再生装置３０の内部構成を示している。
なお、この図８において、既に先の図１において説明した部分については同一の符号を付して説明を省略する。

先ずこの場合、再生装置３０が再生対象とする記録媒体には、音声信号と共に、これと同期した映像信号が記録される。メディア再生部３２としては、装填された記録媒体に記録される音声信号と映像信号とについての再生を行うように構成される。
再生された音声信号としてのＬch信号、Ｒch信号は、音声信号処理部３３に供給される。また、これらＬch信号、Ｒch信号と同期して再生される映像信号Ｖは、映像信号処理部３４に供給される。

ここで、第２の実施の形態において、映像信号についてのズーム操作は、リモートコマンダ１０に備えられる上下左右の方向キー（図２の１０ａ〜１０ｄ）により行うことができる。
ズーム操作としては、右方向キー１０ａ／左方向キー１０ｂにより画面の左右方向を指示することができ、また上方向キー１０ｃ／下方向キー１０ｄによりズームイン／ズームアウト指示を行うことができる。

この場合のシステムコントローラ５としても、コマンド受信部７を介してリモートコマンダ１０からの右方向キー１０ａ／左方向キー１０ｂに対応するコマンド信号が入力されることに応じ、角度指示信号を出力するようにされる。出力される角度指示信号は、音声信号処理部３３に供給されると共に、この場合は分岐して映像信号処理部３４に対しても供給される。
また、上方向キー１０ｃ／下方向キー１０ｄに対応するコマンド信号の入力に応じては、システムコントローラ５は図示するようにズーム倍率指示信号を出力するようにされる。このズーム倍率指示信号としても、音声信号処理部３３と映像信号処理部３４とに供給される。

音声信号処理部３３は、第１の実施の形態の音声信号処理部３が備えていた機能、つまり角度指示信号により指示される角度に定位している音源を抽出する機能に加え、この場合はズーム倍率指示信号に応じて、指示された角度に定位している音源のゲイン（または指示された角度以外に定位している音源のゲイン）を調整するようにされる。つまり、これにより、角度指示信号により指示された角度（すなわちこの場合はズーム位置）に定位している音源の音量を、映像のズーム倍率に応じて調整するようにされているものである。
なお、音声信号処理部３３の内部構成については後述する。

また、映像信号処理部３４は、入力される映像信号Ｖについて各種の映像信号処理を行う。例えば、輪郭補正処理やガンマ補正処理などの画質補正処理などを行う。
また、特にこの場合は、上記した角度指示信号とズーム倍率指示信号とに応じた映像のズーム処理を行う。具体的には、角度指示信号で指示される画面の左右位置と、ズーム倍率指示信号により指示されるズーム倍率とに応じて、映像信号Ｖに基づき映し出される映像の一部がズームイン／ズームアウトするように処理を行う。
この映像信号処理部３４により映像信号処理が施された映像信号Ｖは、図示するようにＤ／Ａコンバータ３５を介して出力される。

図９は、音声信号処理部３３の内部構成を示している。
なお、この図９においても既に第１の実施の形態（図３）において説明した部分については同一符号を付して説明を省略する。
この場合の音声信号処理部３３において、Ｌch信号は、図示するように分析フィルタバンク１１Ｌに入力される共に、分岐してゲイン調整回路３９Ｌに対しても供給される。また、分析フィルタバンク１１Ｒに供給されるＲch信号は、分岐してゲイン調整回路３９Ｒに対しても供給される。

ゲイン調整回路３９Ｌには、上記Ｌch信号と共に、合成フィルタバンク１４Ｌからの音声信号Ｌexが入力される。そして、図８に示したシステムコントローラ５からのズーム倍率指示信号も入力される。
このゲイン調整回路３９Ｌでは、ズーム倍率指示信号により指示されるズーム倍率に応じ、音声信号ＬexまたはＬch信号のゲインを調整するようにされる。つまり、ズーム倍率の上昇（つまりズームイン）に応じては、音声信号Ｌexのゲインを上げる（またはＬch信号のゲインを下げる）ようにしてゲイン調整を行う。また、ズーム倍率の低下（つまりズームアウト）に応じては、音声信号Ｌexのゲインを下げる（またはＬch信号のゲインを上げる）ようにしてゲイン調整を行う。
そしてゲイン調整回路３９Ｌは、ゲイン調整したこれら音声信号ＬexとＬch信号とを合成（加算）して出力する。

また、ゲイン調整回路３９Ｒには、上記Ｒch信号と共に、合成フィルタバンク１４Ｒからの音声信号Ｒexが入力され、またシステムコントローラ５からのズーム倍率指示信号も入力される。
このゲイン調整回路３９Ｒとしても、ズーム倍率指示信号により指示されるズーム倍率に応じ、音声信号ＲexまたはＲch信号のゲインを調整するようにされる。つまり、ズーム倍率の上昇（つまりズームイン）に応じては音声信号Ｒexのゲインを上げる（またはＲch信号のゲインを下げる）ようにしてゲイン調整を行う。また、ズーム倍率の低下（つまりズームアウト）に応じては、音声信号Ｒexのゲインを下げる（またはＲch信号のゲインを上げる）ようにしてゲイン調整を行う。
そしてゲイン調整回路３９Ｒとしても、ゲイン調整したこれら音声信号ＲexとＲch信号とを合成して出力するようにされる。

これらゲイン調整回路３９Ｌ、３９Ｒの出力は、図８に示したＤ／Ａコンバータ４を介して音声信号出力として外部出力される。

このような音声信号処理部３３の構成において、音声信号Ｌex、音声信号Ｒexとしては、角度指示信号により指示される角度に定位している音源を抽出したものとなっている。つまり、角度指示信号により指示された映像の左右位置に定位している音源を抽出したものとなっている。そして上記構成によれば、このように抽出された音源の音量が、指示されたズーム倍率に応じて調整される。つまり、これによって映像のズーム位置に定位しているとして抽出した音源の音量を、映像のズーム倍率に応じて調整することができる。

ここで、従来においても、映像信号の再生装置などにおいてズーム操作に応じ映像の一部をズームイン／ズームアウトするようにされたものがある。これにより、例えば映像の中央にズームインするなど、見たい部分を拡大することができるというものである。
しかし、このような映像のズーム機能を備える従来の装置においては、ズームインした場合にも音声信号としては通常通り出力される。これによると、場合によってはズームインによって画面中に映し出されなくなった部分からの音も含まれるなど、映像と音声との一体感が損なわれてユーザに違和感を抱かせる可能性がある。

これに対し第２の実施の形態によれば、映像のズーム機能と連動して音声信号の調整も行われる。具体的には、ズームイン／ズームアウトする角度に応じて、その角度に定位している音像の音量をズーム倍率に応じて調整することができる。これによって従来のようにズームインされた映像と音声とが一致しないことによる違和感を効果的に低減することができる。

図１０は、図８，図９の構成により実現される動作をフローチャートにより示している。
なお、この図１０において、ステップＳ２０１〜Ｓ２０９による動作は、先の図７に示したステップＳ１０１〜Ｓ１０９と同様に、角度指示信号により指示された角度に定位している音源を抽出するための動作となる。従って、これらステップＳ２０１〜Ｓ２０９の動作についてここで改めて説明はせず、ステップＳ２１０〜Ｓ２１３についてのみ説明する。

先ず、ステップＳ２１０では、ズーム倍率指示信号に応じＬch／Ｌex、Ｒch／Ｒexのゲイン値を決定する。つまり、この動作は、図９に示したゲイン調整回路３９Ｌ、ゲイン調整回路３９Ｒが、それぞれ合成フィルタバンク１４Ｌからの音声信号Ｌexまたはメディア再生部３２からのＬch信号、合成フィルタバンク１４Ｒからの音声信号Ｒexまたはメディア再生部３２からのＲch信号について、ズーム倍率指示信号に応じてゲイン値を決定する動作に相当する。

そして、ステップＳ２１１では、決定したゲイン値に基づきＬch信号、音声信号Ｌex、Ｒch信号、音声信号Ｒexのゲインを調整する。つまり、ゲイン調整回路３９ＬがＬch信号または音声信号Ｌexのゲインを調整し、ゲイン調整回路３９ＲがＲch信号または音声信号Ｒexのゲインを調整する。
その上で、ステップＳ２１２において、Ｌch信号・音声信号Ｌex、Ｒch信号・音声信号Ｒexを合成して出力する。つまり、ゲイン調整回路３９ＬがＬch信号・音声信号Ｌexを合成して出力し、ゲイン調整回路３９ＲがＲch信号・音声信号Ｒexを合成して出力する。

ここで、先の図９の説明によると、各ゲイン調整回路３９におけるズーム倍率指示信号に応じたゲイン調整としては、ズームインに応じては音声信号Ｌex、音声信号Ｒex側のゲインを上げる、またはＬch信号、Ｒch信号側のゲインを下げるものとした。また、ズームアウトに応じては、音声信号Ｌex、音声信号Ｒex側のゲインを下げる、またはＬch信号、Ｒch信号側のゲインを上げるものとした。
例えば前者の調整、すなわちズームインに応じて音声信号Ｌex・Ｒex側のゲインを上げる調整を行ったときは、これら音声信号Ｌex・Ｒexの音量が設定音量よりも大きくなるように調整されることになる。このことによると、ユーザの設定音量が守られなくなるといった点で問題となりかねない。
これを対策するとした場合には、後者の調整、つまりズームイン操作に応じＬch信号・Ｒch信号側のゲインを下げるように調整を行えばよい。

但し、実際の聴感上の問題として、これらの調整手法のように音声信号Ｌex・Ｒex側のみ、又はＬch信号・Ｒch信号のみのどちらか一方を調整した場合は、全体的な音量として元の設定音量との均衡がとられなくなる可能性があり、この点でユーザに違和感を感じさせてしまう虞がないとは言えない。
そこで、この点を考慮する場合等には、ズーム倍率指示信号に応じて音声信号Ｌex・Ｒex側、Ｌch信号・Ｒch信号側の双方のゲインを総合的に調整するようにすることもできる。

なお、この第２の実施の形態としても、音源抽出動作は音声信号処理部３３のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部３３としては、図１０に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部３３に対してはＲＯＭ等の記録媒体が備えられ、そこに上記プログラムが記録されることになる。

＜第３の実施の形態＞

第３の実施の形態は、先の第１の実施の形態を応用して、予め定められた所定の定位角度範囲ごとに、定位している音源のゲイン調整ができるようにするものである。
なお、第３の実施の形態において、再生装置の全体構成としては、先の図１に示した再生装置１と同様であるとする。つまり、記録媒体に記録された音声信号についてのみ再生が可能とされているものとする。

この場合の再生装置としては、図１に示した操作部６上に、次の図１１に示すようなつまみ操作子６−１、６−２、６−３、６−４、６−５を備えるようにされる。
これらつまみ操作子６−１、６−２、６−３、６−４、６−５は、それぞれ対応する定位角度範囲に定位する音源についてのゲイン（音量）を調整するための操作子となる。

ここで、第３の実施の形態では、複数系統の音声信号（つまりこの場合はＬch信号とＲch信号）がスピーカから出力されたとき、音源が定位可能な角度範囲（この場合は例示的に３６０°としている）を、５つの等間隔の範囲に分けるものとしている。
つまりこの場合、聴取者の正面を０°（中央）とすると、１８０°〜１０８°、１０８°〜３６°、３６°〜−３６°、−３６°〜−１０８°、−１０８°〜−１８０°の範囲に分けるものとしている。これらの定位角度範囲を、ここでは定位角度レンジと呼ぶ。
この場合、５つに分けられた定位角度レンジのうち、１８０°〜１０８°の範囲を定位角度レンジ１とし、１０８°〜３６°の範囲を定位角度レンジ２とする。以降も順に３６°〜−３６°の範囲は定位角度レンジ３、−３６°〜−１０８°の範囲は定位角度レンジ４、−１０８°〜−１８０°の範囲は定位角度レンジ５とする。

図１１において、つまみ操作子６−１は、定位角度レンジ１に定位する音源についてのゲインを調整するための操作子となる。また、以降も同様に、つまみ操作子６−２、つまみ操作子６−３、つまみ操作子６−４、つまみ操作子６−５は、それぞれ定位角度レンジ２、定位角度レンジ３、定位角度レンジ４、定位角度レンジ５に定位する音源についてゲイン調整を行うための操作子となる。
これらつまみ操作子６−１〜６−５によるそれぞれの操作情報は、図示は省略するが、システムコントローラ５に入力されて各レンジごとのゲイン指示信号に変換される。このようなレンジごとのゲイン指示信号は、次の図１２にも示すように、音声信号処理部４３内のバンド別ゲイン算出回路１２−１〜１２−ｎに対しそれぞれ供給されるようになっている。

なお、ここではつまみ操作子６−１〜６−５は操作部６に設けられる場合を示したが、これらをリモートコマンダ１０に設けることもできる。
また、ここでは定位角度レンジは等間隔に分けるものとしたが、非等間隔で分けることもできる。また、定位角度レンジの数は５つとしたがそれ以外の数に分けることもできる。

図１２は、第３の実施の形態の再生装置における音声信号処理部４３の内部構成について示している。なお、この図においても既に図３にて説明した部分については同一符号を付して説明を省略する。
上記もしているように、この場合の再生装置においては、つまみ操作子６−１〜６−５によるそれぞれの操作情報が、システムコントローラ５に入力されてレンジごとのゲイン指示信号に変換され、図示するようにバンド別ゲイン算出回路１２−１〜１２−ｎに対しそれぞれ供給される。
各バンド別ゲイン算出回路１２では、このように入力されるレンジごとのゲイン指示信号と、分析フィルタバンク１１Ｌからのサブバンド信号sub-Lと分析フィルタバンク１１Ｒからのサブバンド信号sub-Rとに基づき、後段のゲイン器１３にて対応する帯域のサブバンド信号sub-L、サブバンド信号sub-Rに設定されるべきゲインＧ-subを算出する。

この場合の各バンド別ゲイン算出回路１２の内部構成は、次の図１３に示すものとなる。
なお、この図１３においても先の図４にて説明した部分については同一符号を付して説明を省略する。
この場合のバンド別ゲイン算出回路１２には、先の図４に示したバンド別ゲイン算出回路１２が備えていたゲイン算出器２４に代えて、ゲイン算出器４４が設けられる。このゲイン算出器４４としても、位相差算出器２２からの位相差信号θ_lrと、レベル比算出器２３からのレベル比信号ｍａｇ_lrとが入力される。また、システムコントローラ５からのレンジごとのゲイン指示信号は、このゲイン算出器４４に入力されるようになっている。

このゲイン算出器４４に対しては、図示するメモリ部４５が設けられる。メモリ部４５は例えばＲＯＭなどの記憶装置とされ、ここには図示する窓関数対応情報４５ａが格納される。
この窓関数対応情報４５ａは、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの１つ１つに、予め定められた対応する窓関数が対応づけられた情報である。この場合も、最終的なゲイン値Ｇ-sub(ω)としては位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算して求めるので、この窓関数としては、位相差信号θ_lrの値（θ_lr(ω)）を変数として位相差側ゲインＧ_θ(ω)を表す位相差側窓関数と、レベル比信号ｍａｇ_lrの値（ｍａｇ_lr(ω)）を変数としてレベル比側ゲインＧ_mag(ω)を表すレベル比側窓関数との２種が用意される。
つまり、窓関数対応情報４５ａとしては、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの１つ１つに予め定められた対応する位相差側窓関数が対応づけられた情報と、同じくレンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの１つ１つに予め定められた対応するレベル比側窓関数が対応づけられた情報とを含むものとなっている。
なお、このような窓関数対応情報４５ａついては後の図１４、図１５にて改めて説明する。

ゲイン算出器４４は、システムコントローラ５からのレンジごとのゲイン指示信号を元に、上記窓関数対応情報４５ａから対応する位相差側窓関数を読み出し、この位相差側窓関数と位相差算出器２２からの位相差θ_lr(ω)とに基づく演算を行うことで、対応する周波数バンドに応じた位相差側ゲインＧ_θ(ω)を算出する。
また、これと共にゲイン算出器４４は、レンジごとのゲイン指示信号を元に上記窓関数対応情報４５ａから対応するレベル比側窓関数を読み出し、このレベル比側窓関数とレベル比算出器２３からのレベル比ｍａｇ_lr(ω)とに基づく演算を行うことで、対応する周波数バンドに応じたレベル比側ゲインＧ_mag(ω)を算出する。
そしてこの場合のゲイン算出器４４としても、

Ｇ-sub(ω)＝Ｇ_θ(ω)×Ｇ_mag(ω)

による演算を行ってゲイン値Ｇ-sub(ω)を算出する。

このようにして各バンド別ゲイン算出回路１２（１２−１〜１２−ｎ）において、各周波数バンドごとに設定されるべきゲインＧ-sub（Ｇ-sub1〜Ｇ-subn）が算出される。これらゲインＧ-sub1〜Ｇ-subnは、先の図１２にも示されているように、ゲイン器１３−１〜１３−ｎのうち対応する添え字の付されるゲイン器１３に対して入力されそれぞれサブバンド信号sub-L、サブバンド信号sub-Rに与えられるものとなる。

図１４、図１５は、上述した位相差側窓関数、レベル比側窓関数について説明するための図であり、各図の（ａ）図では横軸に位相差θ_lr(ω)、縦軸に位相差側ゲインＧ_θ(ω)をとった場合の位相差側ゲインＧ_θ(ω)の特性（つまり位相差側窓関数）をグラフ化して示し、（ｂ）図では横軸にレベル比ｍａｇ_lr(ω)、縦軸にレベル比側ゲインＧ_mag(ω)をとった場合のレベル比側ゲインＧ_mag(ω)の特性（つまりレベル比側窓関数）をグラフ化して示している。

先ず、図１４は、レンジごとのゲイン指示信号により定位角度レンジ１〜定位角度レンジ５のすべてについて同じゲイン値が指示されたときに応じて設定される窓関数の例をそれぞれ示している。
全ての定位角度レンジのゲインとして同じ値が指示された場合は、これら図１４（ａ）（ｂ）に示されるように、入力される位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の値に関わらす、常に一定のゲイン値となるような関数が定められる。

そして、図１５は、レンジごとのゲイン指示信号により定位角度レンジ１〜定位角度レンジ５についてそれぞれ異なるゲインが指示されたときに応じて設定される窓関数の例を示している。
このような窓関数（位相差側窓関数、及びレベル比側窓関数）は、予め、例えば聴感上の実験を行った結果などに基づき、各定位角度レンジに定位している音源が、指示されたゲイン（音量）で出力できるようにして設定される。
そして、このような窓関数としては、レンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの１つ１つについて、それぞれ予め定めておくようにする。このようなレンジごとのゲイン指示信号により指示され得る各定位角度レンジごとのゲインの組み合わせの１つ１つと、その個々に応じて定めた窓関数とを対応づけて、先の窓関数対応情報４５ａを生成するようにされる。

このような窓関数対応情報４５ａとされることにより、ゲイン算出器４４は、上述のようにして入力されるレンジごとのゲイン指示信号の値に基づき、対応する適正な位相差側窓関数、レベル比側窓関数を選択することができる。すなわち、ゲイン算出器４４にて選択される位相差側窓関数、レベル比側窓関数としては、各定位角度レンジに定位している音源が、レンジごとのゲイン指示信号により指示されるゲイン（音量）でそれぞれ出力することができるようにして設定された窓関数となる。
そして、このように適正に選択された窓関数に基づき、ゲイン算出器４４では、位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)から対応する周波数バンドに設定されるべき適正なゲイン値Ｇ_θ(ω)、Ｇ_mag(ω)が求まる。
これらゲイン値Ｇ_θ(ω)、Ｇ_mag(ω)が、先に説明したようにゲイン算出器４４にて乗算されて、各ゲイン器１３にてゲインＧ-subとして対応するサブバンド信号sub-L、サブバンド信号sub-Rに与えられる。これにより、合成フィルタバンク１４Ｌ、合成フィルタバンク１４Ｒで合成されて得られる音声信号Ｌex、音声信号Ｒexとしては、各定位角度レンジに定位している音源が、それぞれレンジごとのゲイン指示信号により指示されるゲイン（音量）となるようにできるものとなっている。
すなわち、これによってレンジごとのゲイン指示信号で指示されたゲインで、各定位角度レンジに定位している音源のゲインを調整することができる。

ここで、例えば定位角度レンジ１はギター、定位角度レンジ２はベース、定位角度レンジ３はボーカル、定位角度レンジ４はドラム、定位角度レンジ５はキーボードの音源がそれぞれ定位しているとすれば、このような第３の実施の形態によれば、ユーザはこれらの各パートごとの音量を自由に調整することができる。つまりは、例えばギターの音のみを抽出したりボーカルの音を消したり等、或る定位角度に定位している音源のみを抽出したり或いは消したり等といった指示を、ユーザが手動で自由に行うことが可能となるようにできる。

図１６は、上記説明による定位角度レンジごとのゲイン調整動作の動作手順を示したフローチャートである。
先ず、ステップＳ３０１〜Ｓ３０４においては、先の図７に示したステップＳ１０１〜、Ｓ１０３、及びＳ１０５と同様の動作により、Ｌch信号、Ｒch信号のバンド分割、フーリエ変換、及び各バンドごとの位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の算出が行われる。

そして、ステップＳ３０５では、レンジごとのゲイン指示信号の各値に応じた位相差側窓関数、レベル比側窓関数の選択が行われる。つまり、各バンド別ゲイン算出回路１２内のゲイン算出器４４が、システムコントローラ５から入力されるレンジごとのゲイン指示信号の各値に応じ、メモリ部４５内の窓関数対応情報４５ａから該当する位相差側窓関数、及びレベル比側窓関数を選択する。

続くステップＳ３０６では、バンドごとに、選択した位相差側窓関数と位相差θ_lr(ω)とに基づき、位相差側ゲインＧ_θ(ω)を算出する。つまり、各バンド別ゲイン算出回路１２内のゲイン算出器４４が、選択した位相差側窓関数に位相差算出器２２からの位相差θ_lr(ω)を代入してこれを解くことで位相差側ゲインＧ_θ(ω)を算出する。
また、ステップＳ３０７では、バンドごとに、選択したレベル比側窓関数とレベル比ｍａｇ_lr(ω)とに基づき、レベル比側ゲインＧ_mag(ω)を算出する。すなわち、各バンド別ゲイン算出回路１２内のゲイン算出器４４が、選択したレベル比側窓関数にレベル比算出器２３からのレベル比ｍａｇ_lr(ω)を代入してこれを解くことでレベル比側ゲインＧ_mag(ω)を算出する。

なお、ここでも便宜上、位相差θ_lr(ω)・位相差側ゲインＧ_θ(ω)と、レベル比ｍａｇ_lr(ω)・レベル比側ゲインＧ_mag(ω)とがそれぞれ前後して算出されるもとしたが、実際にはこれらが同時並行して行われるものとなる。

続くステップＳ３０８〜ステップＳ３１０では、先の図７のステップＳ１０７〜Ｓ１０９と同様に、ゲイン算出器４４がバンドごとに位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算してゲイン値Ｇ-sub(ω)を算出し、さらにゲイン器１３がバンドごとにＬch信号、Ｒch信号に算出されたゲイン値Ｇ-sub(ω)を与え、その上で合成フィルタバンク１４Ｌ、合成フィルタバンク１４Ｒが、各バンドのＬch信号、各バンドのＲch信号をそれぞれ合成して出力する。
これにより、各定位角度レンジに定位している音源がそれぞれレンジごとのゲイン指示信号により指示されるゲイン（音量）となるようにできる音声信号Ｌex、音声信号Ｒexが出力されることになる。

なお、このような定位角度レンジごとのゲイン調整動作についても、音声信号処理部３３のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部３３としては、図１６に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部３３に対してはＲＯＭ等の記録媒体が備えられ、そこに上記プログラムが記録される。

とろこで、これまでの説明では、第３の実施の形態としての定位角度レンジごとのゲイン調整を可能とするために、位相差θ_lr(ω)とレベル比ｍａｇ_lr(ω)のみを変数とした窓関数を用いることにより、各バンドに設定されるべきゲイン値Ｇ-subを求めるものとしたが、これに代え、位相差ゲインＧ_θ(ω)とレンジごとのゲイン指示信号の各値、レベル比ゲインＧ_mag(ω)とレンジごとのゲイン指示信号の各値とを変数とした関数を用いてゲイン値Ｇ-subを求めるようにすることもできる。

その具体的な手法としては、先ず、位相差θ_lr(ω)のとり得る値（この場合は１８０°〜−１８０°）、レベル比θ_mag(ω)のとり得る値（この場合は１〜−１）を定位角度レンジの数に応じて分割（この場合は５分割）し、この分割された範囲ごとに独立した関数を用いて位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)を算出する。そして、これらレンジごとに独立して求めた位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)の値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算し、これによって各定位角度レンジに定位している音源が、それぞれレンジごとのゲイン指示信号により指示されるゲイン（音量）となるようにするための位相差側ゲインＧ_θ(ω)、レベル比側ゲインＧ_mag(ω)を算出する。
そして、各バンドごとに、このように算出された位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算して最終的なゲイン値Ｇ-sub(ω)を得るようにする。

ここで、定位角度レンジ１〜５に応じて位相差θ_lr(ω)を分割するために設定される閾値を１８０°側から順にＴ₀、Ｔ₁、Ｔ₂、Ｔ₃、Ｔ₄、Ｔ₅とする。また、定位角度レンジごとに求められる位相差側ゲインＧ_θ(ω)をレンジ１側から順にＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)とする。さらに、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値を、レンジ１側から順にＧ_set1、Ｇ_set2、Ｇ_set3、Ｇ_set4、Ｇ_set5とする。
この場合において、上記説明のようにレンジごとに独立して求めた位相差側ゲインの値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算して位相差側ゲインＧ_θ(ω)を求めることは、次の［数５］により表すことができる。

また、同様に、レベル比側ゲインＧ_mag(ω)については、定位角度レンジ１〜５に応じてレベル比ｍａｇ_lr(ω)を分割するために設定される閾値を「１」側から順にＴ₀／１８０、Ｔ₁／１８０、Ｔ₂／１８０、Ｔ₃／１８０、Ｔ₄／１８０、Ｔ₅／１８０とし、また、定位角度レンジごとに求められるレベル比側ゲインＧ_mag(ω)をレンジ１側から順にＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)とし、さらに、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値を、レンジ１側から順にＧ_set1、Ｇ_set2、Ｇ_set3、Ｇ_set4、Ｇ_set5とした場合において、上記説明のようにレンジごとに独立して求めたレベル比側ゲインの値を、レンジごとのゲイン指示信号により指示された各レンジのゲイン値によって乗算してレベル比側ゲインＧ_mag(ω)を求めることは、次の［数６］により表すことができる。

そして、この場合は、上記説明のようにして定位角度レンジごとの位相差側ゲインＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)については、それぞれ定位角度レンジごとに独立して設定された関数を用いて算出するようにされる。
具体的に、位相差側ゲインＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)は、定位角度レンジごとのゲイン窓の左斜辺の傾斜を各々gradient_θ1L、gradient_θ2L、gradient_θ3L、gradient_θ4L、gradient_θ5Lとし、定位角度レンジごとのゲイン窓の右斜辺の傾斜を各々gradient_θ1R、gradient_θ2R、gradient_θ3R、gradient_θ4R、gradient_θ5Rとし、また、各定位角度レンジごとのゲイン窓の上底の幅を２で割ったものを各々top_width_θ1、top_width_θ2、top_width_θ3、top_width_θ4、top_width_θ5としたとき、下記の［数７］［数８］［数９］［数１０］［数１１］により求める。
但し、下記［数７］〜［数１１］において、０≦Ｇ_θ1(ω)≦１、０≦Ｇ_θ2(ω)≦１、０≦Ｇ_θ3(ω)≦１、０≦Ｇ_θ4(ω)≦１、０≦Ｇ_θ5(ω)≦１であるとする。

また、先の説明によれば、定位角度レンジごとのレベル比側ゲインＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)についても、それぞれ定位角度レンジごとに独立して設定された関数を用いて算出するようにされる。
つまり、レベル比側ゲインＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)は、定位角度レンジごとのゲイン窓の左斜辺の傾斜を各々gradient_mag1L、gradient_mag2L、gradient_mag3L、gradient_mag4L、gradient_mag5Lとし、定位角度レンジごとのゲイン窓の右斜辺の傾斜を各々gradient_mag1R、gradient_mag2R、gradient_mag3R、gradient_mag4R、gradient_mag5Rとし、また、各定位角度レンジごとのゲイン窓の上底の幅を２で割ったものを各々top_width_mag1、top_width_mag2、top_width_mag3、top_width_mag4、top_width_mag5としたとき、下記の［数１２］［数１３］［数１４］［数１５］［数１６］により求める。
但し、下記［数１２］〜［数１６］においても、０≦Ｇ_mag1(ω)≦１、０≦Ｇ_mag2(ω)≦１、０≦Ｇ_mag3(ω)≦１、０≦Ｇ_mag4(ω)≦１、０≦Ｇ_mag5(ω)≦１であるとする。

ここで、閾値Ｔ₀〜Ｔ₅については固定値となり、本例のように５分割の等分割とする場合はＴ₀＝１８０、Ｔ₁＝１０８、Ｔ₂＝３６、Ｔ₃＝−３６、Ｔ₄＝−１０８、Ｔ₅＝−１８０となる。
また、gradient_θ1L〜gradient_θ5L、gradient_θ1R〜gradient_θ5R、gradient_mag1L〜gradient_mag5L、gradient_mag1R〜gradient_mag5R、top_width_θ1〜top_width_θ5、top_width_mag1〜top_width_mag5の各値は、固定値、またはシステムコントローラ５から適宜指示される値とすることができる。例えばシステムコントローラ５から適宜指示されるようにした場合、各定位角度レンジ間の境界でゲイン値が繋がるような値を選定するようにすればよい。

次の図１７は、gradient_θ1L＝１、gradient_θ2L＝２６、gradient_θ3L＝２０、gradient_θ4L＝１、gradient_θ5L＝１８０とし、またgradient_θ1R＝１、gradient_θ2R＝２６、gradient_θ3R＝１８０、gradient_θ4R＝１、gradient_θ5R＝２０とし、さらにtop_width_θ1＝３６、top_width_θ2＝３０、top_width_θ3＝３０、top_width_θ4＝３６、top_width_θ5＝３０とした場合において、レンジごとのゲイン指示信号により定位角度レンジ１のゲインＧ_set1＝１．０、定位角度レンジ２のゲインＧ_set2＝１．３、定位角度レンジ３のゲインＧ_set3＝１．０、定位角度レンジ４のゲインＧ_set4＝０．７、定位角度レンジ５のゲインＧ_set5＝１．０が指示された場合において、横軸を位相差θ_lr(ω)、縦軸を位相差側ゲインＧ_θ(ω)として位相差側ゲインＧ_θ(ω)の特性をグラフ化して示している。
また、図１８では、gradient_mag1L〜gradient_mag5L、gradient_mag1R〜gradient_mag5Rをすべて「１」とし、さらにtop_width_mag1〜top_width_mag5をすべて「３６」とした場合において、レンジごとのゲイン指示信号により定位角度レンジ１のゲインＧ_set1＝１．０、定位角度レンジ２のゲインＧ_set2＝０．７、定位角度レンジ３のゲインＧ_set3＝１．０、定位角度レンジ４のゲインＧ_set4＝１．３、定位角度レンジ５のゲインＧ_set5＝１．０が指示された場合において、横軸をレベル比ｍａｇ_lr(ω)、縦軸をレベル比側ゲインＧ_mag(ω)としてレベル比側ゲインＧ_mag(ω)の特性をグラフ化して示している。

先ず図１７において、この場合はtop_width_θ1とtop_width_θ4とを「３６」とし、gradient_θ1Lとgradient_θ1Rとを「１」、gradient_θ4Lとgradient_θ4Rとを「１」としたことで、図示するように定位角度レンジ１と定位角度レンジ４での位相差側ゲインＧ_θ(ω)は全域にわたってフラットとなる特性が得られる。この場合、定位角度レンジ１のゲイン＝１．０、定位角度レンジ４のゲイン＝０．７であるから、これら定位角度レンジ１（この場合は１８０＜Ｇ_θ(ω)≦１０８）と定位角度レンジ４（この場合は−３６＞θ_lr(ω)≧−１０８）に該当する位相差θ_lr(ω)の値が算出された周波数バンド（サブバンド信号）に対応する位相差側ゲインＧ_θ(ω)としては、それぞれ「１」と「０．７」となる。
また、それ以外の定位角度レンジ２、定位角度レンジ３、定位角度レンジ５については、それぞれ[gradient_θ2L＝２６,gradient_θ2R＝２６,top_width_θ2＝３０］、［gradient_θ3L＝２０,gradient_θ3R＝１８０,top_width_θ3＝３０］、［gradient_θ5L＝１８０,gradient_θ5R＝２０,top_width_θ5＝３０］とされたことに応じ、それぞれのレンジのゲイン窓（ゲイン特性）の形状は図のようになる。そして、この場合は定位角度レンジ２のゲイン＝１．３、定位角度レンジ３のゲイン＝１．０、定位角度レンジ５のゲイン＝１．０であることから、各々top_widthの部分のゲイン値は「１．３」、「１．０」、「１．０」となる。また、これら定位角度レンジ２、定位角度レンジ３、定位角度レンジ５のtop_width以外の部分は、先の［数８］［数９］［数１１］に基づく計算（具体的には各式の(１)(３)）が行われることで図のような形状が得られる。

また、図１８においては、gradient_mag1L〜gradient_mag5L、gradient_mag1R〜gradient_mag5Rをすべて「１」とし、さらにtop_width_mag1〜top_width_mag5をすべて「３６」としたので、図示するように各定位角度レンジで一定の値が得られる。具体的に、この場合は定位角度レンジ１のゲイン＝１．０、定位角度レンジ２のゲイン＝０．７、定位角度レンジ３のゲイン＝１．０、定位角度レンジ４のゲイン＝１．３、定位角度レンジ５のゲイン＝１．０が指示された場合なので、定位角度レンジ１に該当するレベル比ｍａｇlr(ω)の値が算出された周波数バンド（サブバンド信号）に対応するレベル比側ゲインＧ_mag1(ω)の値はすべて「１．０」となる。また、定位角度レンジ２に該当するレベル比ｍａｇlr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインＧ_mag2(ω)の値はすべて「０．７」、定位角度レンジ３に該当するレベル比ｍａｇlr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインＧ_mag3(ω)の値はすべて「１．０」、定位角度レンジ４に該当するレベル比ｍａｇlr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインＧ_mag4(ω)の値はすべて「１．３」、定位角度レンジ５に該当するレベル比ｍａｇlr(ω)の値が算出された周波数バンドに対応するレベル比側ゲインＧ_mag5(ω)の値はすべて「１．０」となる。

このような手法によれば、レンジごとのゲイン指示信号により指示されたゲイン（音量）で各定位角度レンジに定位している音源を調整するための位相差側ゲインＧ_θ(ω)としては、位相差θ_lr(ω)と、レンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値（Ｇ_set1〜Ｇ_set5）とを変数とした関数を用いて算出できる。同様に、レンジごとのゲイン指示信号により指示されたゲイン（音量）で各定位角度レンジに定位している音源を調整するためのレベル比側ゲインＧ_mag(ω)としては、レベル比ｍａｇ_lr(ω)と、レンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値（Ｇ_set1〜Ｇ_set5）とを変数とした関数を用いて算出できる。
すなわち、この場合においてメモリ部４５に格納しておくべき関数としては、少なくとも［数７］〜［数１１］、［数１２］〜［数１６］のみとすることができ、先に説明したような各定位角度レンジで設定され得るゲイン値の組み合わせごとに対応させて窓関数を用意する場合よりも、メモリ部４５に格納しておくべきデータ容量を削減することができる。

図１９は、第３の実施の形態としてのゲイン調整動作を行うにあたって、上記のように位相差θ_lr(ω)とレンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値（Ｇ_set1〜Ｇ_set5）とを変数とした関数と、レベル比ｍａｇ_lr(ω)とレンジごとのゲイン指示信号により指示される各定位角度レンジごとのゲイン値（Ｇ_set1〜Ｇ_set5）とを変数とした関数とを用いてゲイン値を算出する場合の、動作手順を示したフローチャートである。
先ず、この場合、ステップＳ４０１〜Ｓ４０４では、先の図１６に示したステップＳ３０１〜Ｓ３０４と同様に、Ｌch信号、Ｒch信号のバンド分割、フーリエ変換、及び各バンドごとの位相差θ_lr(ω)、レベル比ｍａｇ_lr(ω)の算出が行われる。

そしてこの場合、次のステップＳ４０５では、バンドごとに位相差θ_lr(ω)と［数７］〜［数１１］に基づき、位相差側ゲインＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)を算出するようにされる。すなわち、各バンド別ゲイン算出回路１２内におけるゲイン算出器４４が、位相差算出器２２から入力される位相差θ_lr(ω)と予め設定された［数７］〜［数１１］とに基づく演算を行うことで、位相差側ゲインＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)を算出するものである。

そして、続くステップＳ４０６では、［数５］に基づき、位相差側ゲインＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)とレンジごとのゲイン指示信号の値（Ｇ_set1、Ｇ_set2、Ｇ_set3、Ｇ_set4、Ｇ_set5）とから、各バンド対応の位相差側ゲインＧ_θ(ω)を算出する。つまり、各バンド別ゲイン算出回路１２におけるゲイン算出器４４が、ステップＳ４０５にて算出した位相差側ゲインＧ_θ(ω)（つまりＧ_θ1(ω)、Ｇ_θ2(ω)、Ｇ_θ3(ω)、Ｇ_θ4(ω)、Ｇ_θ5(ω)の何れか）と、システムコントローラ５から供給されるレンジごとのゲイン指示信号の値とから［数５］に基づく演算を行うことで、対応する周波数バンド（サブバンド信号）に設定されるべき位相差側ゲインＧ_θ(ω)を算出するものである。

また、ステップＳ４０７では、バンドごとにレベル比ｍａｇ_lr(ω)と［数１２］〜［数１６］に基づき、レベル比側ゲインＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)を算出する。つまり、各バンド別ゲイン算出回路１２内におけるゲイン算出器４４が、レベル比算出器２３から入力されるレベル比ｍａｇ_lr(ω)と予め設定された［数１２］〜［数１６］とに基づく演算を行うことで、レベル比側ゲインＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_,ag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)を算出する。

さらに、ステップＳ４０８では、［数６］に基づき、レベル比側ゲインＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)とレンジごとのゲイン指示信号の値（Ｇ_set1、Ｇ_set2、Ｇ_set3、Ｇ_set4、Ｇ_set5）とから、各バンド対応のレベル比側ゲインＧ_mag(ω)を算出する。つまり、各バンド別ゲイン算出回路１２におけるゲイン算出器４４が、ステップＳ４０７にて算出したレベル比側ゲインＧ_mag(ω)（つまりＧ_mag1(ω)、Ｇ_mag2(ω)、Ｇ_mag3(ω)、Ｇ_mag4(ω)、Ｇ_mag5(ω)の何れか）と、システムコントローラ５から供給されるレンジごとのゲイン指示信号の値とから［数６］に基づく演算を行うことで、対応する周波数バンド（サブバンド信号）に設定されるべきレベル比側ゲインＧ_mag(ω)を算出する。

なお、ここでも便宜上、位相差θ_lr(ω)・位相差側ゲインＧ_θ(ω)と、レベル比ｍａｇ_lr(ω)・レベル比側ゲインＧ_mag(ω)とが前後してそれぞれ算出されるもとしたが、実際にはこれらが同時並行して行われるものとなる。

その上で、ステップＳ４０９〜Ｓ４１１では、先の図１６に示したステップＳ３０８〜Ｓ３１０と同様に、ゲイン算出器４４がバンドごとに位相差側ゲインＧ_θ(ω)とレベル比側ゲインＧ_mag(ω)とを乗算してゲイン値Ｇ-subを算出し、ゲイン器１３がバンドごとにＬch信号、Ｒch信号にＧ-sub(ω)を与え、さらに合成フィルタバンク１４Ｌ、合成フィルタバンク１４Ｒが、各バンドのＬch信号、各バンドのＲch信号をそれぞれ合成して出力する。

なお、このような［数５］〜［数１６］を用いて定位角度レンジごとのゲイン調整動作についても、音声信号処理部３３のハードウェア構成により実現する場合を例示したが、その一部又は全部をソフトウエア処理により実現することも可能である。その場合、音声信号処理部３３としては、図１９に示した対応する処理を実行するためのプログラムに従って動作するマイクロコンピュータなどで構成すればよい。この場合、音声信号処理部３３に対してはＲＯＭ等の記録媒体が備えられ、そこに上記プログラムが記録される。

ここで、定位角度レンジごとにゲイン調整を行う手法としては、このような［数５］〜［数１６］を用いてゲイン値を算出する手法以外にも、例えば各閾値（Ｔ₀〜Ｔ₅）の中間点でのゲイン値をレンジごとのゲイン指示信号により指示されたゲイン値とし、その間を直線補間または曲線補間するといった手法も採ることができる。その場合としても、窓関数は使用しないのでその分メモリ部４５として必要な容量を削減することができる。

また、第３の実施の形態として、定位角度レンジごとのゲイン調整を行うにあたっては、以下のような手法も採ることができる。
つまり、先ずは定位角度レンジ対応に、その定位角度レンジに定位している音源を抽出する音声信号Ｌexと音声信号Ｒexを生成する系を備える。つまり、この場合は定位角度レンジ１に定位する音源を抽出するための音声信号Ｌexと音声信号Ｒexの生成系と、定位角度レンジ２に定位する音源を抽出するための音声信号Ｌexと音声信号Ｒexの生成系と、定位角度レンジ３に定位する音源を抽出するための音声信号Ｌexと音声信号Ｒexの生成系と、定位角度レンジ４に定位する音源を抽出するための音声信号Ｌexと音声信号Ｒexの生成系と、定位角度レンジ５に定位する音源を抽出するための音声信号Ｌexと音声信号Ｒexの生成系とを備える。例えば、このような構成としては、第１の実施の形態の音声信号処理部３を５系統備えるようにしたものと捉えることができる。
その上で、これら複数系統の音声信号Ｌex・音声信号Ｒexの出力の１つ１つに対応して、それぞれゲイン調整回路を設け、これらゲイン調整回路において、レンジごとのゲイン指示信号により指示される定位角度レンジごとのゲイン値に応じて、それぞれ入力される音声信号Ｌex・音声信号Ｒexのゲインを調整して出力する。そして、最終的には、これらゲイン調整回路から出力される各音声信号Ｌex、各音声信号Ｒexをそれぞれ合成して出力する。
これによって同様に各定位角度レンジに定位している音源をレンジごとのゲイン指示信号の値に応じて調整することができる。

＜実施の形態の変形例＞

以上実施の形態について説明したが、本発明としてはこれまでに説明した各実施の形態に限定されるべきものではない。
例えば各実施の形態では、音声信号はＬchとＲchの２ｃｈのみとしたが、２ｃｈ以上の音声信号に対応することもできる。

また、各実施の形態では、各ｃｈの音声信号の位相差とレベル比を算出した結果に基づき音声信号に設定されるべきゲイン値を算出するものとしたが、位相差またはレベル比のどちらか一方のみに基づきゲイン値を算出するように構成することもできる。
また、レベル比以外にも、各ch信号の音圧レベルの差を表すものであれば他の要素について算出し、これに基づきゲイン値を算出することもできる。

また、各実施の形態において、メディア再生部２としては、記録媒体から音声信号（及び映像信号）を再生するものとしたが、ＡＭ・ＦＭ、ＴＶ放送などを受信・復調して音声信号（及び映像信号）を出力するチューナ装置として構成することもできる。

或いは、各実施の形態の再生装置としては、このようなメディア再生部２を備えて記録媒体についての再生機能、または放送信号の受信機能を有するように構成される以外にも、例えばアンプ装置などとして、外部で再生（受信）された音声信号を入力し、この入力音声信号に対して音声信号処理を行うように構成することもできる。

また、第２の実施の形態では、ズーム倍率に応じた音声信号の調整として、例えば上方向キー１０ｃ／下方向キー１０ｄによるズームイン／ズームアウト操作に応じ、左右方向キー（１０ａ、１０ｂ）で指示された角度に定位している音像の音量について手動で調整できるように構成したが、このような構成を、第１の実施の形態のように音声信号についてのみ再生する場合にも適用することができる。
つまり、音声信号のみについて再生を行う場合にも、指示された角度に定位している音像の音量を上方向キー１０ｃ／下方向キー１０ｄなどを利用した手動の操作に応じて調整するように構成するものである。

また、第２の実施の形態において、例えば上方向キー１０ｃ／下方向キー１０ｄによるズームイン／ズームアウト操作に応じ、抽出する音源の範囲を広げたり狭めたりするように構成することもできる。
つまり、上方向キー１０ｃによるズームイン操作に応じて、例えば［数３］及び［数４］におけるtop_widthやgradientの値を小さくし、下方向キー１０ｄによるズームアウト操作に応じてtop_widthやgradientの値を大きくすることで抽出する音源の範囲がズームイン／ズームアウト操作に連動して変化するように構成するものである。

また、第３の実施の形態では、第１の実施の形態のように音声信号についてのみ再生を行う場合において、各定位角度レンジごとのゲイン調整を行う場合を例示したが、第２の実施の形態の場合ように映像信号についての再生も行う場合においても定位角度レンジごとのゲイン調整を行うように構成することもできる。

本発明における第１の実施の形態としての音声信号処理装置を備えて構成される再生装置の内部構成について示したブロック図である。 実施の形態の再生装置が備えるリモートコマンダの外観図である。 第１の実施の形態としての音声信号処理装置の内部構成を示すブロック図である。 第１の実施の形態の音声信号処理装置が備えるバンド別ゲイン算出回路の内部構成について示したブロック図である。 第１の実施の形態において設定される位相差側ゲインの特性について例示的に示した図である。 第１の実施の形態において設定されるレベル比側ゲインの特性について例示的に示した図である。 第１の実施の形態としてのゲイン調整動作の動作手順を示したフローチャートである。 第２の実施の形態としての音声信号処理装置を備えて構成される再生装置の内部構成を示したブロック図である。 第２の実施の形態としての音声信号処理装置の内部構成について示したブロック図である。 第２の実施の形態としてのゲイン調整動作の動作手順を示したフローチャートである。 第３の実施の形態としての再生装置の操作部に備えられる操作子を示した外観図である。 第３の実施の形態としての音声信号処理装置の内部構成について示したブロック図である。 第３の実施の形態としての音声信号処理装置が備えるバンド別ゲイン算出回路の内部構成を示したブロック図である。 レンジごとのゲイン指示信号の各値が同じ値とされる場合に対応して設定される窓関数について例示した図である。 レンジごとのゲイン指示信号の各値がそれぞれ異なる値とされる場合に対応して設定される窓関数について例示した図である。 第３の実施の形態のゲイン調整動作として、窓関数を用いてゲイン値を算出する場合の調整動作の動作手順について示したフローチャートである。 第３の実施の形態としてゲイン値の算出にレンジごとのゲイン指示信号の値と位相差とを変数とした関数を用いる場合において設定される定位角度レンジごとの位相差側ゲインの特性について例示した図である。 第３の実施の形態としてゲイン値の算出にレンジごとのゲイン指示信号の値とレベル比とを変数とした関数を用いる場合において設定される定位角度レンジごとのレベル比側ゲインの特性について例示した図である。 第３の実施の形態としてゲイン値の算出にレンジごとのゲイン指示信号の値と位相差とを変数とした関数、及びレンジごとのゲイン指示信号の値とレベル比とを変数とした関数を用いる場合における、ゲイン調整動作の動作手順について示したフローチャートである。

符号の説明

１,３０ 再生装置、２ メディア再生部、３,３３,４３ 音声信号処理部、４ Ｄ／Ａコンバータ、５ システムコントローラ、６ 操作部、６−１〜６−５ つまみ操作子、７ コマンド受信部、１０ リモートコマンダ、１０ａ 右方向キー、１０ｂ 左方向キー、１０ｃ 上方向キー、１０ｄ 下方向キー、１１Ｌ,１１Ｒ 分析フィルタバンク、１２−１〜１２−ｎ バンド別ゲイン算出回路、１３−１〜１３−ｎ ゲイン器、１４Ｌ,１４Ｒ 合成フィルタバンク、２１Ｌ,２１Ｒ フーリエ変換器、２２ 位相差算出器、２３ レベル比算出器、２４,４４ ゲイン算出器、３９Ｌ,３９Ｒ ゲイン調整回路、４５ メモリ部、４５ａ 窓関数対応情報

Claims (7)

1. 入力された複数チャンネルの音声信号をそれぞれ複数の周波数帯域に分割する分割手段と、
   上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手段と、
   上記分割手段により分割された上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手段と、
   上記音声信号と同期した映像信号を入力する映像入力手段と、
   上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手段と、
   上記映像信号処理手段により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手段と、
   上記位相差算出手段と上記レベル比算出手段とにより算出された上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手段により取得された定位角度情報とに基づき、上記分割手段による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手段と
   を備える音声信号処理装置。
2. さらに、上記映像信号処理手段による上記映像の一部の拡大倍率を指示する映像拡大倍率指示手段と、
   上記チャンネルごとに、上記入力された音声信号と上記ズーム位置抽出信号とを入力し、上記映像拡大倍率指示手段により指示される上記拡大倍率の上昇に応じては、相対的に上記ズーム位置抽出信号側のゲインが大となるようにゲイン調整を行い、上記拡大倍率の低下に応じては、相対的に上記音声信号側のゲインが大となるようにしてゲイン調整を行う共に、ゲイン調整後の上記音声信号と上記ズーム位置抽出信号とを上記チャンネルごとに合成するゲイン調整・合成手段とを備える
   請求項１に記載の音声信号処理装置。
3. 上記ゲイン調整・合成手段は、
   上記拡大倍率の上昇／低下に対し、上記ズーム位置抽出信号側のゲインのみを調整する
   請求項２に記載の音声信号処理装置。
4. 上記ゲイン調整・合成手段は、
   上記拡大倍率の上昇／低下に対し、上記音声信号側のゲインのみを調整する
   請求項２に記載の音声信号処理装置。
5. 上記ゲイン調整・合成手段は、
   上記拡大倍率の上昇／低下に対し、上記ズーム位置抽出信号と上記音声信号の双方のゲインを調整する
   請求項２に記載の音声信号処理装置。
6. 入力された複数チャンネルの音声信号をそれぞれ複数の周波数帯域に分割する分割手順と、
   上記分割手順により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出手順と、
   上記分割手順により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算出手順と、
   上記音声信号と同期した映像信号を入力する映像入力手順と、
   上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理手順と、
   上記映像信号処理手順により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得手順と、
   上記位相差算出手順と上記レベル比算出手順とにより算出した上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得手順により取得した定位角度情報とに基づき、上記分割手順による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出手順と
   を有する音声信号処理方法。
7. 入力された複数チャンネルの音声信号をそれぞれ複数の周波数帯域に分割する分割処理と、
   上記分割処理により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号の位相差を算出する位相差算出処理と、
   上記分割処理により分割した上記複数の周波数帯域ごとに上記複数チャンネルの音声信号のレベル比を算出するレベル比算処理と、
   上記音声信号と同期した映像信号を入力する映像入力処理と、
   上記映像信号に基づき得られる映像の一部が拡大されるようにして映像信号処理を施す映像信号処理実行処理と、
   上記映像信号処理実行処理により拡大される上記映像の一部の位置に応じた定位角度情報を取得する定位角度取得処理と、
   上記位相差算出処理と上記レベル比算出処理とにより算出した上記複数の周波数帯域ごとの位相差とレベル比と、上記定位角度取得処理により取得した定位角度情報とに基づき、上記分割処理による分割信号についてゲイン調整を行うことで、上記定位角度情報が指示する定位角度に定位している周波数帯域の音声信号をズーム位置抽出信号として抽出する音声抽出処理と
   を音声信号処理装置に実行させるプログラム。

Images