JP5672741B2

JP5672741B2 - 信号処理装置および方法、並びにプログラム

Info

Publication number: JP5672741B2
Application number: JP2010080517A
Authority: JP
Inventors: 健司中野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2015-02-18
Anticipated expiration: 2030-03-31
Also published as: CN102209288B; CN102209288A; JP2011216963A; US9661437B2; US20110243336A1

Description

本発明は、信号処理装置および方法、並びにプログラムに関し、特に、映像の奥行き感に沿った音場感を提供することができるようにした信号処理装置および方法、並びにプログラムに関する。

映像の世界では、いわゆる立体映像が今後、家庭用コンテンツとして普及する可能性が高くなっている。そのような中、映像に付随する音声にも奥行き感を持たせることが期待されている。

また、立体映像の構成要素である右目用、左目用の映像の差分情報から、映像各所の奥行き情報を抽出する試みなどがされている。さらに、コンテンツに奥行き情報を与えるメタ情報をコンテンツ制作者が埋め込むなど、音声情報以外からの奥行き情報を参照することが可能な状況になりつつある（特許文献１参照）。

しかしながら、現状では、このような映像に付随する音声は従来と変わらない5.1chやステレオといったフォーマットであり、その音場イメージも基本的に映像の奥行きや手前への飛び出しを意識していないものが数多くある。これは主に、不特定多数リスナの同時視聴を想定しなければならない劇場用映画などのコンテンツが多いためである。したがって、現状の再生システムでは、音声（映像側にあるもの、例えば、センター音声）に奥行き感を与えることが容易ではなく、結果的に隣り合う再生スピーカを結ぶような位置への音配置にとどめていることにある。

特開２０００−５０４００号公報

このようなコンテンツを家庭で再生する場合は、不特定多数リスナの同時視聴のような縛りを考える必要性が少なくなる。したがって、音声に奥行き感を持たせるような後工程により、立体映像と音声との融合性を高めるようにできれば、より作品世界への没頭感が増すものと考えられる。

以上のような状況において、現在、映像に付随する音声にも奥行き感を持たせることが早急に求められている。

本発明は、このような状況に鑑みてなされたものであり、映像の奥行き感に沿った音場感を提供することができるものである。

本発明の一側面の信号処理装置は、音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する音像定位処理手段と、前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する混合手段とを備える。

前記音像定位位置を決める情報は、音像定位をさせる所定の位置に対する重みの情報である。

前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を記憶する記憶手段をさらに備え、前記音像定位処理手段は、前記記憶手段に記憶されている前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合することができる。

前記音声信号に多重化された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を抽出する抽出手段をさらに備え、前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記抽出手段に抽出された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合することができる。

前記音声信号に対応する画像信号における視差情報から、前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を分析する分析手段をさらに備え、前記音像定位処理手段は、前記分析手段に分析された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合することができる。

本発明の一側面の信号処理方法は、音像定位処理手段と、混合手段とを備える信号処理装置の信号処理方法において、前記音像定位処理手段が、音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合し、前記混合手段が、前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する。

本発明の一側面のプログラムは、音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する音像定位処理手段と、前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する混合手段としてコンピュータを機能させる。

本発明の一側面においては、音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合された後、音像定位処理が行われ、出力先毎に混合される。そして、前記出力先毎に混合された前記各チャンネルの音声信号が混合される。

なお、上述の信号処理装置は、独立した装置であっても良いし、１つの信号処理装置を構成している内部ブロックであってもよい。

本発明の一側面によれば、映像の奥行き感に沿った音場感を提供することができる。

本発明を適用した信号処理装置の第１の実施の形態の構成を示すブロック図である。奥行き制御処理部の構成例を示すブロック図である。図１の信号処理装置の信号処理を説明するフローチャートである。奥行き制御処理部の他の構成例を示すブロック図である。奥行き制御情報の例を示す図である。図４の奥行き制御処理部の場合の図１の信号処理装置の信号処理を説明するフローチャートである。本発明を適用した信号処理装置の第２の実施の形態の構成を示すブロック図である。コンピュータのハードウエアの構成例を示すブロック図である。

以下、図を参照して本発明の実施の形態について説明する。

［信号処理装置の構成例］
図１は、本発明を適用した信号処理装置の第１の実施の形態の構成を表している。

図１の信号処理装置１１は、例えば、5.1ch（チャンネル）のうち、FL、FR、FCの各chを奥行き制御の対象として、固定位置近距離定位仮想音源と固定位置遠距離仮想音源、実音源との混合による合成音像方式により、奥行き制御処理を行う。奥行き制御処理は、実音源（再生スピーカ）位置に対して、リスナ側に近くなるように音像定位させたり（近距離定位）、リスナに対して遠くなるように音像定位させる（遠距離定位）ものである。

信号処理装置１１は、奥行き情報抽出部２１、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３、混合(Mix)部２３、再生スピーカ２４−１乃至再生スピーカ２４−３により構成されている。

図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３にそれぞれ入力される。

奥行き情報抽出部２１は、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出し、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に供給する。

奥行き制御処理部２２−１は、FLchの音声信号に対して、奥行き情報抽出部２１からのFLch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−１は、FLchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。

奥行き制御処理部２２−２は、FCchの音声信号に対して、奥行き情報抽出部２１からのFCch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−２は、FCchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。

奥行き制御処理部２２−３は、FRchの音声信号に対して、奥行き情報抽出部２１からのFRch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−３は、FRchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。

混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの各スピーカ用出力音声信号を、スピーカ毎に混合し、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。

再生スピーカ２４−１は、混合部２３からのFLスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−２は、混合部２３からのFCスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−３は、混合部２３からのFRスピーカ用出力音声信号に対応する音声を出力する。

ここで、合成音像方式においては、例えば、FLchの場合、再生スピーカ２４−１である実音源、FL遠距離定位仮想音源３１−１、FL近距離定位仮想音源３２−１の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−１が形成される。図１の例においては、再生スピーカ２４−１とFL近距離定位仮想音源３２−１との間のほぼ中央に合成音像３３−１が形成されている。

FCchの場合、再生スピーカ２４−２である実音源、FC遠距離定位仮想音源３１−２、FC近距離定位仮想音源３２−２の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−２が形成される。図１の例においては、再生スピーカ２４−２とFC遠距離定位仮想音源３１−２との間の再生スピーカ２４−２寄りに合成音像３３−２が形成されている。

FRchの場合、再生スピーカ２４−３である実音源、FR遠距離定位仮想音源３１−３、FR近距離定位仮想音源３２−３の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−３が形成される。図１の例においては、再生スピーカ２４−３とFR近距離定位仮想音源３２−３との間の再生スピーカ２４−３寄りに合成音像３３−３が形成されている。

以上のように、信号処理装置１１においては、各chの奥行き情報に記述された音像位置と、再生音による合成音像３３−１乃至合成音像３３−３がおおよそ一致するように、奥行き制御処理が行われる。

[奥行き制御処理部の構成例]
図２は、FRchの音声信号に対して奥行き制御処理を行う奥行き制御処理部２２−３の構成例を示すブロック図である。

奥行き制御処理部２２−３は、奥行き情報記憶部５１、奥行き情報選択部５２、減衰器５３−１乃至減衰器５３−３、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、固定位置近距離定位処理部５６、および混合部５７−１乃至混合部５７−３により構成されている。

奥行き情報記憶部５１には、各音源位置の奥行き情報が予め記憶されている。奥行き情報選択部５２は、奥行き情報抽出部２１からの音源位置毎の奥行き情報と予め記憶されている奥行き情報のどちらか一方を選択する。例えば、奥行き情報選択部５２は、奥行き情報抽出部２１から奥行き情報が供給されない場合、記憶されている固定の奥行き情報を用い、奥行き情報抽出部２１から奥行き情報が供給された場合、供給された奥行き情報を用いる。あるいは、奥行き情報は、ユーザによる設定に応じて選択するように構成してもよい。

奥行き情報選択部５２は、選択した奥行き情報を、対応する減衰器５３−１乃至減衰器５３−３に供給する。

図２の例の場合、奥行き情報には、減衰器５３−１乃至減衰器５３−３（すなわち、各音源位置）に対する減衰量が記述されている。なお、奥行き情報は、減衰量に限定されず、例えば、混合部５７―１乃至混合部５７−３に対する混合比(Mix比)であってもよい。この場合、混合部５７−１乃至混合部５７−３において、混合比を用いた混合が行われる。

減衰器５３−１は、遠距離定位音像位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、固定位置遠距離定位処理部５４に出力する。減衰器５３−２は、実音源位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、実音源位置定位処理部５５に出力する。減衰器５３−３は、近距離定位音像位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、固定位置近距離定位処理部５６に出力する。

固定位置遠距離定位処理部５４は、FR遠距離定位仮想音源３１−３を形成するための信号処理を行う。固定位置遠距離定位処理部５４は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。

実音源位置定位処理部５５は、再生スピーカ２４−３である実音源を形成するための信号処理を行う。実音源位置定位処理部５５は、信号処理結果のFRスピーカ用出力音声信号を混合部５７−３に出力する。

固定位置近距離定位処理部５６は、FR近距離定位仮想音源３２−３を形成するための信号処理を行う。固定位置近距離定位処理部５６は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。

なお、実音源位置定位処理部５５の場合、対象が実音源位置であるので、入力されるFRの音声信号に対応するFRスピーカ用の音声信号しか生成されない。これに対して、固定位置遠距離定位処理部５４や固定位置近距離定位処理部５６の場合、FR遠距離定位仮想音源３１−３やFR近距離定位仮想音源３２−３を形成するためには、入力されるFRの音声信号に対応するFRスピーカ用の音声信号以外のFCスピーカ用やFLスピーカ用の音声信号の生成も必要となる。

混合部５７−１は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFLスピーカ用出力音声信号を混合し、混合したFLスピーカ用出力音声信号を、混合部２３に出力する。混合部５７−２は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFCスピーカ用出力音声信号を混合し、混合したFCスピーカ用出力音声信号を、混合部２３に出力する。

混合部５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６からのFRスピーカ用出力音声信号を混合し、混合したFRスピーカ用出力音声信号を、混合部２３に出力する。

なお、図１の奥行き制御処理部２２−１および奥行き制御処理部２２−２の構成例は、実音源位置定位処理部５５からの音声信号の出力先が、混合部５７−１乃至混合部５７−３のうち、対応するchスピーカ用出力音声信号を混合する混合部に変わることが異なるだけである。すなわち、それ以外は、図２の奥行き制御処理部２２−３の構成例と基本的に同じであるので、以下、図２の奥行き制御処理部２２−３の構成は、奥行き制御処理部２２−１および奥行き制御処理部２２−２としても用いられる。

[信号処理の説明]
次に、図３のフローチャートを参照して、図１の信号処理装置１１の信号処理を説明する。

図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の減衰器５３−１乃至減衰器５３−３にそれぞれ入力される。

奥行き情報抽出部２１は、ステップＳ１１において、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出する。奥行き情報抽出部２１は、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の奥行き情報選択部５２に供給する。

なお、以降のステップＳ１２乃至Ｓ１６は、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３においてそれぞれ実行される処理であるので、代表して、奥行き制御処理部２２−３（FRの信号処理）の場合を説明する。

ステップＳ１２において、奥行き制御処理部２２−３の奥行き情報記憶部５１は、記憶している各音源位置の奥行き情報を読み出し、読み出した奥行き情報を、奥行き情報選択部５２に供給する。

奥行き情報選択部５２は、ステップＳ１３において、奥行き情報抽出部２１からの音源位置毎の奥行き情報と予め記憶されている奥行き情報のどちらか一方を選択する。奥行き情報選択部５２は、選択した奥行き情報を、対応する減衰器５３−１乃至減衰器５３−３に供給する。

ステップＳ１４において、減衰器５３−１乃至減衰器５３−３は、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行う。そして、減衰器５３−１は、減衰を行った音声信号を、固定位置遠距離定位処理部５４に出力する。減衰器５３−２は、減衰を行った音声信号を、実音源位置定位処理部５５に出力する。減衰器５３−３は、減衰を行った音声信号を、固定位置近距離定位処理部５６に出力する。

ステップＳ１５において、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６は、各音源位置に対応する音像定位処理をそれぞれ行う。

具体的には、固定位置遠距離定位処理部５４は、FR遠距離定位仮想音源３１−３を形成するための信号処理を行う。固定位置遠距離定位処理部５４は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。

ステップＳ１６において、混合部５７−１乃至混合器５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６のうち少なくとも１つから入力される音像定位処理後の音声信号を混合し、混合部２３に出力する。

すなわち、混合部５７−１は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFLスピーカ用出力音声信号を混合し、混合したFLスピーカ用出力音声信号を、混合部２３に出力する。混合部５７−２は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFCスピーカ用出力音声信号を混合し、混合したFCスピーカ用出力音声信号を、混合部２３に出力する。

ステップＳ１７において、混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの奥行き制御処理後の各スピーカ用出力音声信号を、各スピーカ毎に混合する。混合部２３は、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。

以上により、例えば、FLchの場合、再生スピーカ２４−１である実音源、FL遠距離定位仮想音源３１−１、FL近距離定位仮想音源３２−１の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−１が形成される。FCchの場合、再生スピーカ２４−２である実音源、FC遠距離定位仮想音源３１−２、FC近距離定位仮想音源３２−２の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−２が形成される。FRchの場合、再生スピーカ２４−３である実音源、FR遠距離定位仮想音源３１−３、FR近距離定位仮想音源３２−３の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−３が形成される。

以上のように、各chに対して奥行き情報を持たせ、それに基づいて音源位置を制御するようにしたので、立体映像の奥行き感やコンテンツ制作者の考えに沿った音場感を提供することができる。

なお、上記説明においては、信号処理装置１１に、奥行き情報抽出部２１、奥行き情報記憶部５１、奥行き情報選択部５２を備える例を説明したが、奥行き情報抽出部２１または奥行き情報記憶部５１のみを備えるように構成することもできる。この場合、奥行き情報選択部５２も必要ないので、除くようにしてもよい。

[奥行き制御処理部の構成例]
図４は、FRchの音声信号に対して奥行き制御処理を行う奥行き制御処理部２２−３の他の構成例を示すブロック図である。

図４の奥行き制御処理部２２−３は、奥行き情報記憶部５１、奥行き情報選択部５２、および減衰器５３−１乃至減衰器５３−３が除かれている点が図２の奥行き制御処理部２２−３と異なっている。また、図４の奥行き制御処理部２２−３は、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎ並びに、混合部７２−１乃至混合部７２−３が追加されている点が図２の奥行き制御処理部２２−３と異なっている。

そして、図４の奥行き制御処理部２２−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、固定位置近距離定位処理部５６、および混合部５７−１乃至５７−３を備えている点は、図２の奥行き制御処理部２２−３と共通している。

奥行き情報抽出部２１からの対応するFRchの奥行き情報は、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎ、並びに、混合部７２−１乃至混合部７２−３にそれぞれ供給される。奥行き情報には、例えば、分割帯域数、および各帯域の範囲などの制御帯域情報、並びに帯域毎の各音源位置に対する重みである混合比などが含まれている。

帯域１抽出処理部７１−１は、奥行き情報に基づいて、入力される音声信号から、帯域１の信号を抽出し、抽出した帯域１の音声信号を混合部７２−１乃至混合部７２−３に供給する。帯域２抽出処理部７１−２は、奥行き情報に基づいて、入力される音声信号から、帯域２の信号を抽出し、抽出した帯域２の音声信号を混合部７２−１乃至混合部７２−３に供給する。以下、同様に、帯域３抽出処理部７１−３乃至帯域ｎ抽出処理部７１−ｎは、奥行き情報に基づいて、入力される音声信号から、帯域３乃至帯域ｎの信号をそれぞれ抽出し、抽出した各帯域３乃至帯域ｎの音声信号を混合部７２−１乃至混合部７２−３にそれぞれ供給する。すなわち、図４の例においては、音声信号の帯域を、帯域１乃至帯域ｎに分け、ｎ個の各帯域がｎ個の各帯域抽出処理部７１でそれぞれ抽出する例が示されている。ここで、ｎ≦１である。

混合部７２−１は、各帯域の音声信号に対して、奥行き情報の対応する帯域の遠距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置遠距離定位処理部５４に出力する。

混合部７２−２は、各帯域の音声信号に対して、奥行き情報の対応する帯域の実音源位置に対応する混合比を乗算してから混合し、混合した音声信号を実音源位置定位処理部５５に出力する。

混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の近距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置近距離定位処理部５６に出力する。

なお、奥行き制御処理部２２−１および奥行き制御処理部２２−２の構成例は、実音源位置定位処理部５５からの音声信号の出力先が、混合部５７−１乃至混合部５７−３のうち、対応するchスピーカ用出力音声信号を混合する混合部に変わることが異なるだけである。すなわち、それ以外は、図４に示した奥行き制御処理部２２−３の構成例と基本的に同じであるので、以下、図４の奥行き制御処理部２２−３の構成は、奥行き制御処理部２２−１および奥行き制御処理部２２−２としても用いられる。

[奥行き情報の例]
図５は、FRchの奥行き情報の例を示す図である。図５の奥行き情報には、周波数帯域毎の各音源位置に対する重みである混合比ｗが記述されている。

例えば、周波数帯域１の遠距離仮想音源位置の混合比ｗは、0.5で、実音源位置の混合比ｗは、0.2で、近距離仮想音源位置の混合比ｗは、0.3であることが記述されている。また、周波数帯域２の遠距離仮想音源位置の混合比ｗは、0で、実音源位置の混合比ｗは、1で、近距離仮想音源位置の混合比ｗは、0であることが記述されている。さらに、周波数帯域ｎの遠距離仮想音源位置の混合比ｗは、0.3で、実音源位置の混合比ｗは、0.5で、近距離仮想音源位置の混合比ｗは、0.2であることが記述されている。なお、周波数帯域３乃至ｎ−１の混合比の例は省略されている。

また、図５の例においては示されていないが、奥行き情報には、分割帯域数、および各帯域の範囲などの制御帯域情報も記述されている。

[信号処理の説明]
次に、図６のフローチャートを参照して、図４の奥行き制御処理部２２−３の場合の図１の信号処理装置１１の信号処理を説明する。

図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎにそれぞれ入力される。

奥行き情報抽出部２１は、ステップＳ７１において、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出する。奥行き情報抽出部２１は、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎに並びに、混合部７２−１乃至混合部７２−３にそれぞれに供給する。

なお、以降のステップＳ７２乃至Ｓ７５は、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３においてそれぞれ実行される処理であるので、代表して、奥行き制御処理部２２−３（FRの信号処理）の場合を説明する。

ステップＳ７２において、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎは、奥行き情報の分割帯域数、および各帯域の範囲などの制御帯域情に基づいて、入力される音声信号から対応する帯域をそれぞれ抽出する。帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎは、抽出した帯域の音声信号を、混合部７２−１乃至混合部７２−３にそれぞれ出力する。

ステップＳ７３において、混合部７２−１乃至混合部７２−３は、各帯域の音声信号を、奥行き情報に応じた重み付けで混合する。すなわち、混合部７２−１乃至混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の各音源位置に対応する混合比を乗算してから混合し、混合した音声信号を対応する定位処理部５４乃至５６に出力する。

具体的には、混合部７２−１は、各帯域の音声信号に対して、奥行き情報の対応する帯域の遠距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置遠距離定位処理部５４に出力する。混合部７２−２は、各帯域の音声信号に対して、奥行き情報の対応する帯域の実音源位置に対応する混合比を乗算してから混合し、混合した音声信号を実音源位置定位処理部５５に出力する。混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の近距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置近距離定位処理部５６に出力する。

ステップＳ７４において、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６は、各音源位置に対応する音像定位処理をそれぞれ行う。

ステップＳ７５において、混合部５７−１乃至混合器５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６のうち少なくとも１つから入力される音像定位処理後の音声信号を混合し、混合部２３に出力する。

ステップＳ７６において、混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの奥行き制御処理後の各スピーカ用出力音声信号を、各スピーカ毎に混合する。混合部２３は、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。

なお、上述したステップＳ７４乃至Ｓ７６の処理は、上述した図３のステップＳ１５乃至Ｓ１７と基本的に同じ処理を行うので、それらの具体的な処理の説明は繰り返しになるので省略される。

以上のように、図４の例においては、入力音声信号をさらに帯域別に分けることにより、それぞれが独立して奥行き制御される。

これにより、例えば、FCchの音声信号に人の声（セリフ）とそれ以外の背景音が混合されていた場合に、人の声の帯域に関しては実音源位置に、それ以外の帯域については、近距離または遠距離定位させるといった利用方法が可能になる。なお、当然、帯域で分けたとしても、目的音素材以外の音素材も通常は被っていることになるので、目的となる素材の主帯域を選別して指定するなどの工夫は必要となる。

このような制御帯域情報は、上述したように奥行き情報内に含めて、逐次制御帯域並びに音像位置を変更可能にすることもできるし、制御帯域は固定し、例えば、人の声の帯域以外に関してのみ音像位置を変更できるようにすることも可能である。なお、後者の場合は、奥行き情報に制御帯域情報を含める必要はなくなる。

また、奥行き情報を用いず、入力信号の主帯域に応じて奥行き位置を固定した処理としてもよいし、入力信号の主帯域を、例えば、人の声に固定して、奥行き位置を固定した処理としてもよい。

［信号処理装置の構成例］
図７は、本発明を適用した信号処理装置の第２の実施の形態の構成を表している。図７の信号処理装置１０１は、奥行き情報抽出部２１、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３、混合(Mix)部２３、再生スピーカ２４−１乃至再生スピーカ２４−３を備えている点は、図１の信号処理装置１１と共通している。また、図７の信号処理装置１０１においては、図１の信号処理装置１１と同様に、合成音像方式が用いられる。

一方、図７の信号処理装置１０１は、画像情報抽出部１１１および判定部１１２が追加された点が、図１の信号処理装置１１と異なっている。すなわち、画像情報抽出部１１１には、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に入力される音声信号に対応する画像信号が入力される。

画像情報抽出部１１１は、画像信号の立体情報において、FL、FC、FRの対応する位置のどこに情報があって、その情報が前に飛び出しているか、奥にあるかなどの視差情報を分析することにより、奥行き情報を抽出する。画像情報抽出部１１１は、抽出した奥行き情報を、判定部１１２に供給する。

判定部１１２は、画像情報抽出部１１１からの奥行き情報と、奥行き情報抽出部２１が音声信号から抽出した奥行き情報とを比較して、両者がほぼ合っていれば（大きく違っていなければ）、画像情報抽出部１１１からの奥行き情報を奥行き情報抽出部２１に供給する。

奥行き情報抽出部２１は、判定部１１２から奥行き情報が供給された場合、抽出した奥行き情報に加えて、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に供給する。すなわち、この例の場合、画像信号からの奥行き情報は補助的に用いられる。

なお、図７の例においては、判定部１１２を備えるようにしたが、判定部１１２はなくてもよく、この場合、奥行き情報抽出部２１は、音声信号から抽出した奥行き情報を用いてもよいし、画像信号から抽出した奥行き情報を用いてもよい。その判断は、ユーザの設定に応じてなされることも可能である。また、音声信号から奥行き情報が抽出されなかった場合に、画像信号から抽出した奥行き情報を用いてもよい。

また、判定部１１２において、音声信号からの奥行き情報と画像信号からの奥行き情報のうち、精度のよいものを判定して用いるようにしてもよい。

なお、上記説明においては、合成音像方式において、実音源位置以外に、近距離定位仮想音源と遠距離定位仮想音源を形成する例を説明したが、近距離定位仮想音源だけであってもよいし、遠距離定位仮想音源だけであってもよい。

その場合、奥行き情報は、定位位置の近い側のものとして処理される。すなわち、例えば、実音源位置以外に、近距離定位仮想音源だけ形成される場合、定位処理は、実音源位置定位処理と近距離定位処理となるが、奥行き情報として遠距離定位指定のものがあったときには、実音源位置指定のものとして処理される。

また、上述した奥行き情報は、各chの奥行き情報を与えるものとする。上記説明においては、5.1ch（チャンネル）のうち、FL、FR、FCの各chを奥行き制御の対象の例を説明したが、これに限定されない。例えば、一般的な5.1ch(FL/FR/FC/SL/SR/SW)の場合は、FL/FR/FC/SL/SR/SWの各chについての奥行き情報としてもよい。

ただし、この奥行き情報は、必ずしも全てのchに与える必要はない。例えば、図７を参照して上述したように、画像の立体情報から音源の奥行き情報を抽出する場合には、画像情報のある位置（フロント側）に含まれるchのみについて奥行き情報が与えられることになるので、この場合、5.1chのうち、FL、FR、FCの各chについての奥行き情報が与えられるものとなる。

以上のように、奥行き情報をch毎に与えることで、信号処理をシンプルに構成することができる。従来の音声の5.1ch信号などは、通常、既にいろいろな音がミックスされてしまっているので、音源分離といった大規模な処理をしない限りは、chの奥行き情報だけでもリーズナブルに構成可能である。

また、上述したように、音の奥行き制御を行う信号処理部は、各chに固定させることができるので、信号処理リソースの見積もりが容易など、実用的側面でのメリットが大きい。

そして、本発明においては、このような各chの奥行き情報を利用し、各chの信号に対して奥行き制御処理を施すようにしたので、各chの音像位置を変更することができる。

したがって、映像の奥行き感に沿った音場感を簡単に提供することができる。また、コンテンツ制作者の意図に沿った音場感を提供することができる。

なお、上記説明においては、合成音像方式の例を説明したが、本発明は、他の音像方式の場合にも適用することができる。例えば、音像位置に応じてHRTF（Head-Related Transfer Function:頭部伝達関数）を変更する、いわゆるHRTF方式でもよい。

HRTF方式の場合、奥行き情報として、合成音像方式の混合比や減衰量の代わりに、音像定位の距離情報が与えられる。HRTF方式の場合、データベースを有しているので、距離に応じてデータベースから係数をとって、係数を切り替えて音像定位処理が行われる。

したがって、合成音像方式の場合、HRTF方式と比較して、データベースを持つ必要がないという利点がある。また、HRTF方式の場合、係数の切替タイミングにより音が切れる恐れもあるが、合成音像方式の場合には、その恐れがないという利点もある。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

［パーソナルコンピュータの構成例］
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１信号処理装置，２１奥行き情報抽出部，２２−１乃至２２−３奥行き制御処理部，２３混合部，２４−１乃至２４−３再生スピーカ，５１奥行き情報記憶部，５２奥行き情報選択部，５３−１乃至５３−３減衰器，５４固定位置遠距離定位処理部，５５実音源位置定位処理部，５６固定位置近距離定位処理部，５７−１乃至５７−３混合部，７１−１帯域１抽出処理部，７１−２帯域２抽出処理部，７１−３帯域３抽出処理部，７２−１乃至７２−３混合部，１０１信号処理装置，１１１画像情報抽出部，１１２判定部

Claims

音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する音像定位処理手段と、
前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する混合手段と
を備える信号処理装置。
前記音像定位位置を決める情報は、音像定位をさせる所定の位置に対する重みの情報である
請求項１に記載の信号処理装置。
前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を記憶する記憶手段
をさらに備え、
前記音像定位処理手段は、前記記憶手段に記憶されている前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する
請求項２に記載の信号処理装置。
前記音声信号に多重化された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を抽出する抽出手段
をさらに備え、
前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記抽出手段に抽出された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する
請求項２に記載の信号処理装置。
前記音声信号に対応する画像信号における視差情報から、前記各チャンネルの周波数帯域毎の音像定位位置を決める情報を分析する分析手段
をさらに備え、
前記音像定位処理手段は、前記分析手段に分析された前記各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する
請求項２に記載の信号処理装置。
音像定位処理手段と、混合手段とを備える信号処理装置の信号処理方法において、
前記音像定位処理手段が、音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合し、
前記混合手段が、前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する
信号処理方法。
音声信号の各チャンネルの周波数帯域毎の音像定位位置を決める情報に基づいて、前記各チャンネルの周波数帯域毎の音声信号に対して、音源位置の混合比に応じて混合した後、音像定位処理を行い、出力先毎に混合する音像定位処理手段と、
前記音像定位処理手段により出力先毎に混合された前記各チャンネルの音声信号を混合する混合手段と
してコンピュータを機能させるためのプログラム。