JP5929301B2 - 時間差補正方法、音声信号処理装置、再生装置およびプログラム - Google Patents

Description

メインチャンネルと低音効果音チャンネルの時間差を補正する時間差補正方法、音声信号処理装置、再生装置およびプログラムに関する。

従来、複数のスピーカーを用いて多チャンネル再生を行うマルチチャンネルサラウンド方式の再生装置において、ＬＦＥ(Low Frequency Effect)チャンネル（低音効果音チャンネル）の信号を、他のチャンネル（メインチャンネル）の信号から低域通過フィルタを用いて生成する技術が知られている。但し、この手法では、低域通過フィルタを用いて低域成分を抽出する際にＬＦＥチャンネルの信号に遅延が生じる。このため、例えば特許文献１では、メインチャンネルの信号とＬＦＥチャンネルの信号の時間差（位相差）を補正する補正処理を行っている。この補正処理により、メインチャンネルとＬＦＥチャンネルを合成したときに得られる群遅延特性を平坦とし、低音の鈍さや低音楽器の表現不足を改善している。

ところで、ＤＶＤ等のパッケージメディアやインターネット配信などにより提供されるサラウンドコンテンツ（音楽コンテンツ）の制作時に、メインチャンネルの信号から低音効果音用スピーカーで出力する低音効果音を作成する技術が知られている。この場合も、メインチャンネルの信号から低域通過フィルタを用いて低域成分を抽出するため、ＬＦＥチャンネルの信号に遅延が生じる。これに対し、例えば特許文献２では、サラウンドコンテンツの制作時点で、低域通過フィルタの特性に応じて時間差を補正することにより、低音効果音を適切に出力している。

特開２００２−３６９３００号公報 特開２００５−０２７１６３号公報

ところが、上記の特許文献１，２では、低域通過フィルタを用いた低域成分の抽出と、それにより発生する信号の時間差の補正が同一システム内で完結しているため、補正すべき時間差は、既知の低域通過フィルタの特性から容易に求めることができる。しかしながら、特許文献２のような時間差補正が為されていないサラウンドコンテンツ（低音のずれがあるコンテンツ）を再生装置で再生しようとすると、その制作時に用いられた低域通過フィルタの特性が未知であるため、時間差の補正が困難である。つまり、特許文献１の再生装置を用いても、正確な時間差補正ができない。

また、メインチャンネルの信号とＬＦＥチャンネルの信号は、常に相関性があるとは限らない。例えば、映画やドラマのコンテンツなど、メインチャンネルとＬＦＥチャンネルが無相関の場合もある。この場合は、時間差補正処理自体が無意味である。また、音楽コンテンツの場合は、相関性が低いにも関わらずむやみに時間差を補正すると、逆に音質を損ねてしまう場合もある。

本発明は、上記の問題点に鑑み、サラウンドコンテンツにおけるメインチャンネルの信号とＬＦＥチャンネルの信号との時間差（サラウンドコンテンツ制作時に生じる時間差）を再生装置側で適切に補正することが可能な時間差補正方法、音声信号処理装置、再生装置およびプログラムを提供することを課題とする。

本発明の時間差補正方法は、サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、時間差算出ステップにより算出された時間差を補正する時間差補正ステップと、を備え、信号取得ステップ、相関判定ステップ、時間差算出ステップおよび時間差補正ステップは、所定時間ごとに繰返し実行され、時間差補正ステップは、相関判定ステップにより相関「有」と判定された場合、時間差を補正し、相関判定ステップにより相関「無」と判定された場合、時間差を補正しないことを特徴とする。
本発明の時間差補正方法は、サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、時間差算出ステップにより算出された時間差を補正する時間差補正ステップと、を備え、信号取得ステップ、相関判定ステップ、時間差算出ステップおよび時間差補正ステップは、所定時間ごとに繰返し実行され、時間差補正ステップは、相関判定ステップにより相関「有」と判定された場合、時間差を補正し、相関判定ステップにより相関「無」と判定された場合、前回算出された時間差を維持することを特徴とする。
上記の時間差補正方法において、メインチャンネルの信号に対する低音効果音チャンネルの極性を判定する極性判定ステップと、極性判定ステップの判定結果に応じて、メインチャンネルの信号または低音効果音チャンネルの信号の極性を補正する極性補正ステップと、をさらに備えたことを特徴とする。
上記の時間差補正方法において、メインチャンネルの信号から、プリフィルタを適用して低域成分を抽出するプリフィルタ適用ステップをさらに実行し、相関判定ステップでは、プリフィルタ適用ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。
上記の時間差補正方法において、プリフィルタ適用ステップは、メインチャンネルの信号に対して適用したプリフィルタと同様のプリフィルタを、低音効果音チャンネルの信号に対して適用することを特徴とする。
上記の時間差補正方法において、プリフィルタ適用ステップの後、メインチャンネルと低音効果音チャンネルの信号振幅の正規化を行う正規化ステップをさらに実行し、相関判定ステップでは、正規化ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。
上記の時間差補正方法において、信号取得ステップは、サラウンドコンテンツの音声特性が特徴的な区間を、一部区間として抽出することを特徴とする。
本発明の音声信号処理装置は、サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得手段と、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、時間差算出手段により算出された時間差を補正する時間差補正手段と、を備え、信号取得手段、相関判定手段、時間差算出手段および時間差補正手段の処理は、所定時間ごとに繰返し実行され、時間差補正手段は、相関判定手段により相関「有」と判定された場合、時間差を補正し、相関判定手段により相関「無」と判定された場合、時間差を補正しないことを特徴とする。
本発明の音声信号処理装置は、サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得手段と、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、時間差算出手段により算出された時間差を補正する時間差補正手段と、を備え、信号取得手段、相関判定手段、時間差算出手段および時間差補正手段の処理は、所定時間ごとに繰返し実行され、時間差補正手段は、相関判定手段により相関「有」と判定された場合、時間差を補正し、相関判定手段により相関「無」と判定された場合、前回算出された時間差を維持することを特徴とする。
本発明の再生装置は、上記の音声信号処理装置における各手段を備え、時間差補正手段による時間差補正後のサラウンドコンテンツを再生することを特徴とする。
本発明のプログラムは、コンピューターに、上記の時間差補正方法における各ステップを実行させることを特徴とする。
なお、以下の構成としても良い。
本発明の時間差補正方法は、サラウンドコンテンツの制作時に生じるメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、時間差算出ステップにより算出された時間差を補正する時間差補正ステップと、を備え、時間差補正ステップは、相関判定ステップにより相関「有」と判定された場合のみ、時間差を補正することを特徴とする。

本発明の音声信号処理装置は、サラウンドコンテンツの制作時に生じるメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得手段と、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、時間差算出手段により算出された時間差を補正する時間差補正手段と、を備え、時間差補正手段は、相関判定ステップにより相関「有」と判定された場合のみ、時間差を補正することを特徴とする。

これらの構成によれば、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出するため、未知の低域通過フィルタを用いて低域成分が生成されたコンテンツであっても、その時間差を補正することができる。つまり、コンテンツ制作時における低音のずれを、再生装置側で補正することができる。また、メインチャンネルの信号と低音効果音チャンネルの信号の相関の有無を判定し、相関「有」と判定された場合のみ時間差を補正するため、適切な時間差補正を行うことができる。例えば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツの場合、無駄な時間差補正処理を省略できる。また、音楽コンテンツの場合であって、相関「無」と判定された場合は、時間差の算出結果自体の信頼性が低いため、敢えて時間差補正を行わないことで音質劣化を防止できる。
なお、サラウンドコンテンツの信号取得時に、メインチャンネルと低音効果音チャンネルの両方に低域成分が存在するか否かを判定し、存在する場合のみ各ステップを実行する（各手段を機能させる）構成としても良い。
また、サラウンドコンテンツの信号取得時に、ジャンル情報などのメタデータに基づいてコンテンツ種別を判定し、特定コンテンツ（音楽コンテンツ）の場合のみ各ステップを実行する構成としても良い。これらの構成によれば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツに対する無駄な処理（時間差算出や相関判定の処理）を省くことができる。なお、コンテンツの先頭を判別可能な場合は、特定コンテンツではないと判定されたコンテンツ全体に対して、各ステップを省略しても良い。

上記の時間差補正方法において、信号取得ステップ、相関判定ステップ、時間差算出ステップおよび時間差補正ステップは、所定時間ごとに繰返し実行され、時間差補正ステップは、相関判定ステップにより相関「無」と判定された場合、前回算出された時間差を維持することを特徴とする。

この構成によれば、コンテンツ（楽曲）の先頭などを判別できない場合でも、コンテンツがどのタイミングで切り替わったかを意識することなく、時間差補正を行うことができる。特に、ＡＶレシーバーなど、楽曲単位の再生制御ができない装置に本構成が適用された場合、有用である。

上記の時間差補正方法において、メインチャンネルの信号に対する低音効果音チャンネルの極性を判定する極性判定ステップと、極性判定ステップの判定結果に応じて、メインチャンネルの信号または低音効果音チャンネルの信号の極性を補正する極性補正ステップと、をさらに備えたことを特徴とする。

この構成によれば、メインチャンネルの信号と低音効果音チャンネルの時間差だけでなく極性の補正も行うため、メインチャンネルの信号に対して低音効果音チャンネルの信号の極性が反転している場合において、より正確な時間差補正を行うことができる。これにより、信号間の干渉を最小限に抑えることができ、アタックの強い低音が得られる。また、低音が安定することで高音を含めた全体の音質バランスも向上する。

上記の時間差補正方法において、メインチャンネルの信号から、プリフィルタを適用して低域成分を抽出するプリフィルタ適用ステップをさらに実行し、相関判定ステップでは、プリフィルタ適用ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。

この構成によれば、プリフィルタを適用することで、低域成分のみについて相関の有無を判定できるため、より正確な判定結果が期待できる。

上記の時間差補正方法において、プリフィルタ適用ステップは、メインチャンネルの信号に対して適用したプリフィルタと同様のプリフィルタを、低音効果音チャンネルの信号に対して適用することを特徴とする。

メインチャンネルの一方のみにプリフィルタを適用すると、プリフィルタの特性による遅延がメインチャンネルの信号のみに発生し、低音効果音チャンネルの信号との間に時間差が生じてしまう。この構成によれば、低音効果音チャンネルにもプリフィルタを適用するため、そのような不具合を解消できる。

上記の時間差補正方法において、プリフィルタ適用ステップの後、メインチャンネルと低音効果音チャンネルの信号振幅の正規化を行う正規化ステップをさらに実行し、相関判定ステップでは、正規化ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。

この構成によれば、コンテンツによってメインチャンネルと低音効果音チャンネルの信号振幅の大きさは様々であるため、正規化を行うことで、コンテンツに依らず相関の有無を正確に判定できる。

上記の時間差補正方法において、信号取得ステップは、サラウンドコンテンツの音声特性が特徴的な区間を、一部区間として抽出することを特徴とする。

この構成によれば、音量が大きい区間、特定楽器音の発生区間、アタック音発生区間など、コンテンツの特徴的な区間に対して、各ステップを実行することで、より適切な時間差補正を行うことができる。

本発明の再生装置は、上記の音声信号処理装置における各手段を備え、時間差補正手段による時間差補正後のサラウンドコンテンツを再生することを特徴とする。

本発明のプログラムは、コンピューターに、上記の時間差補正方法における各ステップを実行させることを特徴とする。

これらの再生装置およびプログラムを用いることにより、サラウンドコンテンツの制作時に生じるメインチャンネルの信号とＬＦＥチャンネルの信号との時間差を再生装置側で適切に補正することができる。

本発明の一実施形態に係る再生装置の構成を示す図である。 音声信号処理回路の構成を示す図である。 （ａ）は、ＬＦＥ極性／遅延解析部の構成を示す図であり、（ｂ）は、相関評価部の構成を示す図である。 （ａ）は、相関関数を示す図であり、（ｂ）は、相関判定の説明図である。 （ａ）〜（ｃ）は、相関関数の計算過程を示す図である。 遅延量自動補正処理の流れを示すフローチャートである。 図６のサブルーチンであり、ＬＦＥ極性／遅延解析処理の流れを示すフローチャートである。 （ａ）は、差分二乗和の計算式を示す図であり、（ｂ）は、相関判定の説明図であり、（ｃ）は、極性判定および遅延量算出の説明図である。

以下、本発明の一実施形態に係る時間差補正方法、音声信号処理装置、再生装置およびプログラムについて、図面を参照しながら説明する。本実施形態では、５．１チャンネルのマルチチャンネルサラウンド方式のＡＶレシーバーに本発明を適用した場合について説明する。

図１は、ＡＶレシーバーを想定した再生装置１の構成を示す図である。再生装置１は、音声信号処理回路２と、Ｄ／Ａ変換器３と、増幅器４と、スピーカー５を備えている。音源となるサラウンドコンテンツの音声データが、音声信号処理回路２でデジタル音声信号となり、各種信号処理が行われる。その後、Ｄ／Ａ変換器３でアナログ音声信号となり、増幅器４に入力されてスピーカー５より放音される。なお、請求項における「音声信号処理装置」は、音声信号処理回路２に相当する。

スピーカー５は、聴取者の前方左側に設置されるフロント左スピーカー５Ｌ、前方右側に設置されるフロント右スピーカー５Ｒ、正面に設置されるセンタースピーカー５Ｃ、後方左側に設置されるサラウンド左スピーカー５ＳＬ、後方右側に設置されるサラウンド右スピーカー５ＳＲ、低音効果音である低域成分を再生する低音効果音用スピーカー５ＬＦＥ、の６つから成る。また、Ｄ／Ａ変換器３および増幅器４は、各スピーカー５に対応して６つずつ設けられる。なお、再生装置１の構成は、５．１チャンネルに限らず、６．１チャンネルや７．１チャンネルなどであっても良い。

次に、図２を参照し、音声信号処理回路２の構成について説明する。音声信号処理回路２は、音声復号化部２１、加算部２２、ＬＦＥ極性／遅延解析部２３、ＬＦＥ遅延補正部２４、ＬＦＥ極性補正部２５およびシステムコントローラ２６から成る。

音声復号化部２１は、音声データを復号化する。これにより、マルチチャンネルのデジタル音声（Ｌチャンネル信号、Ｒチャンネル信号、Ｃチャンネル信号、ＳＬチャンネル信号、ＳＲチャンネル信号、ＬＦＥチャンネル信号）が得られる。これら６種類の信号は、それぞれ６つのＤ／Ａ変換器３、増幅器４およびスピーカー５に対応している。なお、ＬＦＥチャンネルは低音効果音チャンネル（超低音域専用チャンネル）である。また、ＬＦＥチャンネル以外の５つのチャンネルをメインチャンネルと総称する。

加算部２２は、メインチャンネルの各チャンネル（Ｌチャンネル信号、Ｒチャンネル信号、Ｃチャンネル信号、ＳＬチャンネル信号、ＳＲチャンネル信号）を加算する。

ＬＦＥ極性／遅延解析部２３は、システムコントローラ２６の制御下で、メインチャンネルの信号に対するＬＦＥチャンネルの信号の極性と遅延量（時間差）の解析を行う。ＬＦＥ極性／遅延解析部２３には、加算部２２によるメインチャンネルの加算結果とＬＦＥチャンネルの信号が入力される。また、ＬＦＥ極性／遅延解析部２３の解析結果は、システムコントローラ２６に通知される。

ＬＦＥ遅延補正部２４は、メインチャンネルの信号の遅延処理を行う。遅延処理の遅延量は、システムコントローラ２６により制御され、全チャンネル同じ値となる。ＬＦＥ極性補正部２５は、ＬＦＥチャンネルの信号に対して極性反転処理を行う。極性反転処理のＯＮ／ＯＦＦはシステムコントローラ２６により制御される。

システムコントローラ２６は、一定時間毎（例えば、数十秒毎）にＬＦＥ極性／遅延解析部２３への解析処理開始を指示し、その後、解析が完了したことを検知すると、その解析結果をＬＦＥ遅延補正部２４およびＬＦＥ極性補正部２５に反映させる。

次に、図３を参照し、ＬＦＥ極性／遅延解析部２３の構成について、さらに詳細に説明する。図３（ａ）に示すように、ＬＦＥ極性／遅延解析部２３は、バッファ入力制御部７１（信号取得部）、バッファ７２および相関評価部７３から成る。

バッファ入力制御部７１は、サラウンドコンテンツの一部区間における、メインチャンネルの信号とＬＦＥチャンネルの信号を繰り返し取得する。具体的には、システムコントローラ２６からの解析開始指示によってバッファ入力制御部７１の信号経路スイッチ（図示省略）がＯＦＦからＯＮに変化し、メインチャンネル（各チャンネルの信号の加算結果）とＬＦＥチャンネルの信号を、一定時間分それぞれのバッファ７２ａ，７２ｂに取り込む。バッファ７２ａは、メインチャンネル用のバッファであり、バッファ７２ｂは、ＬＦＥチャンネル用のバッファである。バッファ入力制御部７１の信号経路スイッチは、各信号のバッファ取り込みが完了した時点で、ＯＮからＯＦＦとなる。その後、相関評価部７３にて、バッファ７２ａ内の信号とバッファ７２ｂ内の信号の相関について解析が行われ、メインチャンネルの信号に対するＬＦＥチャンネルの信号の極性(正相／逆相)および遅延量が、解析結果としてシステムコントローラ２６に通知される。

図３（ｂ）に示すように、相関評価部７３は、プリフィリタ適用部８１、正規化部８２、時間差算出部８３、相関判定部８４および極性判定部８５から成る。

プリフィリタ適用部８１は、低域成分のみについて相関評価を行えるように、高域成分を含むメインチャンネルの信号からプリフィルタにより低域成分を抽出する。ここで用いるプリフィルタは、低域通過フィルタである。但し、メインチャンネルの一方のみにプリフィルタを適用すると、プリフィルタの特性による遅延がメインチャンネルのみに発生し、ＬＦＥチャンネルの信号との間に時間差が発生してしまうため、高域成分を含まないＬＦＥチャンネルにも同様のプリフィルタを適用する。

正規化部８２は、信号の絶対値の最大振幅が１になるようにメインチャンネルの信号とＬＦＥチャンネルの信号について信号振幅の正規化を行う。これは、コンテンツによってメインチャンネルとＬＦＥチャンネルの信号振幅の大きさが一定でないためである。このように正規化を行うことで、コンテンツに依らず相関関数の計算結果を一定の数値(閾値)で評価することができる。

時間差算出部８３は、相関関数（図４（ａ）参照）を用いて、メインチャンネルの信号に対するＬＦＥチャンネルの信号の遅延量（時間差）を算出する。また、相関判定部８４も、相関関数を用いて、メインチャンネルの信号とＬＦＥチャンネルの信号の、相関の有無を判定する。さらに、極性判定部８５も、相関関数を用いて、メインチャンネルの信号に対するＬＦＥチャンネルの極性を判定する。

ここで、図４および図５を参照し、相関関数の計算について説明する。図４（ａ）は、相関関数を示している。同図において、Ｒ（ｍ）は、−１から１までの範囲の値をとる。そして、Ｒ（ｍ）は、メインチャンネルの信号ｘ（ｎ）と、ＬＦＥチャンネルの信号ｙ（ｎ）との間の相関が正相であれば正の値をとり、逆相であれば負の値をとる。また、Ｒ（ｍ）は、相関が強ければ、その絶対値が１に近い値をとり、相関が弱ければ、０に近い値をとる。これにより、相関の有無を判定する。

また、相関関数Ｒ（ｍ）の性質から、Ｒ（ｍ）の絶対値｜Ｒ（ｍ）｜が最大となるｍをｍ_MAXとし、そのときの値をＲ（ｍ_MAX）とすると、メインチャンネルの信号ｘ（ｎ）に対するＬＦＥチャンネルの信号ｙ（ｎ）の遅延量はｍ_MAXで表される。これにより、遅延量（時間差）を算出する。

また、相関関数Ｒ（ｍ）の性質から、メインチャンネルの信号ｘ（ｎ）に対するＬＦＥチャンネルの信号ｙ（ｎ）の極性（正相／逆相）は、Ｒ（ｍ_MAX）の符号（＋／−）により表される。これにより、極性を判定する。

また、メインチャンネルの信号とＬＦＥチャンネルの信号の相関が弱い場合は解析結果としての信頼性が低い。このため、図４（ｂ）に示すように、相関の有無判定のための閾値ＴＨ_Rを設け、｜Ｒ（ｍ_MAX）｜がＴＨ_R以上であれば「相関有り」と判定し、｜Ｒ（ｍ_MAX）｜がＴＨ_Rより小さければ「相関無し」と判定する。なお、「相関有り」と判定した場合は、相関評価部７３の解析結果を「成功」とし、「相関無し」と判定した場合は、相関評価部７３の解析結果を「失敗」とする。

図５は、相関関数の計算過程を示す図である。同図（ａ）〜（ｃ）に示すように、メインチャンネルの信号とＬＦＥチャンネルの信号の波形が最も一致するように（相関が強くなるように）、メインチャンネルに対するＬＦＥチャンネルの対応区間（区間Ｘ）を少しずつずらしながら決定していく。同図の例では、最も波形が一致する（ｂ）の対応結果から、遅延量ｍ_MAXを求める。

次に、図６および図７を参照し、遅延量自動補正処理の流れを説明する。再生装置１は、図６に示すフローチャートを、所定時間ごとに繰返し実行する。まず、音声データが入力されているか否かを判別し（Ｓ０１）、入力されていない場合は（Ｓ０１：Ｎｏ）、処理を終了する。また、音声データが入力されている場合は（Ｓ０１：Ｙｅｓ）、サラウンドコンテンツにＬＦＥチャンネルが収録されているか否かを判別し（Ｓ０２）、収録されていない場合は（Ｓ０２：Ｎｏ）、処理を終了する。また、収録されている場合は（Ｓ０２：Ｙｅｓ）、ＬＦＥ極性／遅延解析処理（図７参照）を行う（Ｓ０３）。

その後、ＬＦＥ極性／遅延解析処理の解析結果が「成功」か否かを判別し（Ｓ０４）、「成功」の場合は（Ｓ０４：Ｙｅｓ）、ＬＦＥ極性補正部２５の極性を更新し（Ｓ０５）、さらにＬＦＥ遅延補正部２４の遅延量を更新する（Ｓ０６）。一方、ＬＦＥ極性／遅延解析処理の解析が「失敗」の場合は（Ｓ０４：Ｎｏ）、そのまま処理を終了する。例えば、メインチャンネルの信号とＬＦＥチャンネルの信号の相関が弱い場合、解析結果が「失敗」となる。この場合は、Ｓ０５およびＳ０６を省略し、前回算出された極性と遅延量を維持する。

図７は、ＬＦＥ極性／遅延解析処理（図６のＳ０３）の流れを示すフローチャートである。ＬＦＥ極性／遅延解析処理では、まずバッファ７２ａ，７２ｂへの信号取り込みを行い（Ｓ１１）、メインチャンネルとＬＦＥチャンネルの両方に低域成分が存在するか否かを判別する（Ｓ１２）。両方に低域成分が存在しない場合は（Ｓ１２：Ｎｏ）、解析結果を「失敗」として（Ｓ１３）、ＬＦＥ極性／遅延解析処理を終了する。

また、両方に低域成分が存在する場合は（Ｓ１２：Ｙｅｓ）、プリフィルタを適用してメインチャンネルの信号から低域成分を抽出し（Ｓ１４）、信号振幅の正規化を行う（Ｓ１５）。その後、相関関数Ｒ（ｍ）の計算を行い（Ｓ１６）、遅延量ｍ_MAXを探索する（Ｓ１７）。また、｜Ｒ（ｍ_MAX）｜がＴＨ_R以上であるか否かに応じて相関の有無を判定し（Ｓ１８）、ＴＨ_Rより小さい場合は（Ｓ１８：Ｎｏ）、相関無しのため解析「失敗」と判定する（Ｓ１３）。

また、｜Ｒ（ｍ_MAX）｜がＴＨ_R以上である場合（相関有りの場合）は（Ｓ１８：Ｙｅｓ）、Ｒ（ｍ_MAX）が正の値か否かを判別し（Ｓ１９）、正の値である場合は（Ｓ１９：Ｙｅｓ）、ＬＦＥチャンネルの極性を正相とする（Ｓ２０）。逆に、０以下（負の値）である場合は（Ｓ１９：Ｎｏ）、ＬＦＥチャンネルの極性を逆相とする（Ｓ２１）。極性を更新すると（Ｓ２０，Ｓ２１）、さらにＬＦＥの遅延量を、Ｓ１７で求めたｍ_MAXに更新し（Ｓ２２）、解析結果を「成功」として（Ｓ２３）、ＬＦＥ極性／遅延解析処理を終了する。

以上説明したとおり、本実施形態によれば、メインチャンネルの信号に対するＬＦＥチャンネルの信号の遅延量を算出するため、コンテンツ制作時における未知の低域通過フィルタを用いて低域成分が生成されたコンテンツであっても、その遅延量を再生装置１側で補正することができる。また、遅延量だけでなく極性の補正も行うため、メインチャンネルの信号に対して低音効果音チャンネルの信号の極性が反転している場合において、より正確な遅延量補正を行うことができる。これにより、信号間の干渉を最小限に抑えることができ、アタックの強い低音が得られる。また、低音が安定することで高音を含めた全体の音質バランスも向上する。さらに、極性補正部をＬＦＥチャンネル側に設けたため（ＬＦＥ極性補正部２５，図２参照）、メインチャンネル側に設ける場合と比較して、極性補正処理に要する処理量を軽減できる。

また、メインチャンネルの信号とＬＦＥチャンネルの信号の相関の有無を判定し、相関「有」と判定された場合のみ遅延量を補正するため、適切な遅延量補正を行うことができる。例えば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツの場合、無駄な遅延量補正処理を省略できる。また、音楽コンテンツの場合であって、相関「無」と判定された場合は、遅延量の算出結果自体の信頼性が低いため、敢えて遅延量補正を行わないことで音質劣化を防止できる。

また、遅延量補正を所定時間ごとに繰返し実行するため、コンテンツ（楽曲）の先頭などを判別できないＡＶレシーバーにおいても、コンテンツがどのタイミングで切り替わったかを意識することなく、正確な遅延量補正を行うことができる。

また、相関判定の前処理として、メインチャンネルおよびＬＦＥチャンネルの両方に対してプリフィルタを適用するため、プリフィルタの特性による遅延を防止しつつ、低域成分のみについてより正確な相関の有無を判定できる。またその後、正規化を行うことにより、コンテンツの信号振幅の大きさに依らず、より正確に相関の有無を判定できる。

［第２実施形態］
次に、図８を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、相関関数を用いたが、本実施形態では差分二乗和を用いる。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図８（ａ）は、差分二乗和の計算式を示す図である。差分二乗和を用いる場合、まず計算式（１）により、メインチャンネル信号とＬＦＥチャンネル信号が正相関係であるとした場合の差分二乗和を求める。計算式（１）において、Ｓ_pos（ｍ）は常に正の値となり、完全に一致する場合は０となる。また、Ｓ_pos（ｍ）が最小となるときのｍを求め、ｍ_{MIN_pos}とする。

続いて、計算式（２）により、メインチャンネル信号とＬＦＥチャンネル信号が逆相関係であるとした場合の差分二乗和を求める。つまり、メインチャンネル信号と「極性を反転したＬＦＥチャンネル信号」の差分二乗和を求める。計算式（２）において、Ｓ_neg（ｍ）は常に正の値となり、完全に一致する場合は０となる。また、Ｓ_neg（ｍ）が最小となるときのｍを求め、ｍ_{MIN_neg}とする。

続いて、図８（ｂ）に示すように、計算式（１），（２）の結果を用いて、相関の有無を判定する。つまり、Ｓ_pos（ｍ_{MIN_pos}）およびＳ_neg（ｍ_{MIN_neg}）のいずれかが閾値ＴＨ_S以下の場合、「相関有り」と判定する。また、Ｓ_pos（ｍ_{MIN_pos}）およびＳ_neg（ｍ_{MIN_neg}）がいずれも閾値ＴＨ_Sより大きい場合、「相関無し」と判定する。

さらに、図８（ｃ）に示すように、極性の判定と、遅延量の算出を行う。つまり、Ｓ_pos（ｍ_{MIN_pos}）がＳ_neg（ｍ_{MIN_neg}）以下の場合、ＬＦＥチャンネル信号の極性を正相と判定し、遅延量をｍ_{MIN_pos}とする。また、Ｓ_pos（ｍ_{MIN_pos}）がＳ_neg（ｍ_{MIN_neg}）より大きい場合、ＬＦＥチャンネル信号の極性を逆相と判定し、遅延量をｍ_{MIN_neg}とする。

以上、説明したとおり、相関の有無判定、極性の判定、遅延量の算出は、第１実施形態に示した相関関数だけでなく、差分二乗和を用いて行うことも可能である。

なお、上記の第１実施形態および第２実施形態では、極性の判定と遅延量の算出の両方を行ったが、遅延量の算出のみを行っても良い。つまり、極性の判定を省略しても良い。この構成によれば、遅延なしで信号の極性のみ反転しているコンテンツに対しては完全な補正ができないものの、演算量を少なくすることができる。例えば、差分二乗和を用いる場合の、計算式（２）の計算（図８（ａ）参照）と、最後の極性判定（図８（ｃ）参照）を省略できる。

また、上記の各実施形態では、極性補正部（ＬＦＥ極性補正部２５）を、ＬＦＥチャンネル側に設けたが（図２参照）、メインチャンネル側に極性補正部を設けても良い。この場合、Ｌチャンネル、Ｒチャンネル、Ｃチャンネル、ＳＬチャンネル、ＳＲチャンネルの５つのチャンネルについて極性補正処理を行う。またこの場合、極性補正部は、ＬＦＥ遅延補正部２４による遅延補正の前に行っても良いし、後に行っても良い。

また、上記の各実施形態では、遅延量自動補正処理（図６参照）において、コンテンツにＬＦＥチャンネルが収録されている場合、ＬＦＥ極性／遅延解析処理（図７参照）を行うものとしたが、さらにコンテンツの音声特性が特徴的か否かを判別し、特徴的と判定した場合のみ、ＬＦＥ極性／遅延解析処理を行っても良い。つまり、音声特性が特徴的な区間のみ、ＬＦＥ極性／遅延解析処理を行っても良い。音声特性が特徴的か否かの判定は、例えば、音量の大きさ、特定楽器音の有無、アタック音の有無などに基づいて行う。この構成によれば、コンテンツの特徴的な区間に対してのみＬＦＥ極性／遅延解析処理を行うことで、効率的に遅延量補正を行うことができる。

また、上記に示した再生装置１の各構成要素をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを再生装置１の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上記の実施形態では、再生装置１をＡＶレシーバーに適用した場合を例示したが、デジタル放送チューナーやＢＤ／ＤＶＤディスクプレーヤーなど、他の音響機器に適用しても良い。また、ＢＤ／ＤＶＤディスクプレーヤーのように、楽曲単位で再生制御が可能な場合（楽曲の先頭を識別可能な場合）、楽曲の先頭で１回のみ遅延量自動補正処理（図６参照）を行うようにしても良い。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…再生装置 ２…音声信号処理回路 ３…Ｄ／Ａ変換器 ４…増幅器 ５…スピーカー ２１…音声復号化部 ２２…加算部 ２３…ＬＦＥ極性／遅延解析部 ２４…ＬＦＥ遅延補正部 ２５…ＬＦＥ極性補正部 ２６…システムコントローラ ７１…バッファ入力制御部 ７２…バッファ ７２ａ…メインチャンネル用バッファ ７２ｂ…ＬＦＥチャンネル用バッファ ７３…相関評価部 ８１…プリフィリタ適用部 ８２…正規化部 ８３…時間差算出部 ８４…相関判定部 ８５…極性判定部

Claims (11)

1. サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、
   前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得ステップと、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、
   前記時間差算出ステップにより算出された前記時間差を補正する時間差補正ステップと、を備え、
   前記信号取得ステップ、前記相関判定ステップ、前記時間差算出ステップおよび前記時間差補正ステップは、所定時間ごとに繰返し実行され、
   前記時間差補正ステップは、前記相関判定ステップにより相関「有」と判定された場合、前記時間差を補正し、前記相関判定ステップにより相関「無」と判定された場合、前記時間差を補正しないことを特徴とする時間差補正方法。
2. サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、
   前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得ステップと、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、
   前記時間差算出ステップにより算出された前記時間差を補正する時間差補正ステップと、を備え、
   前記信号取得ステップ、前記相関判定ステップ、前記時間差算出ステップおよび前記時間差補正ステップは、所定時間ごとに繰返し実行され、
   前記時間差補正ステップは、前記相関判定ステップにより相関「有」と判定された場合、前記時間差を補正し、前記相関判定ステップにより相関「無」と判定された場合、前回算出された前記時間差を維持することを特徴とする時間差補正方法。
3. 前記メインチャンネルの信号に対する前記低音効果音チャンネルの極性を判定する極性判定ステップと、
   前記極性判定ステップの判定結果に応じて、前記メインチャンネルの信号または前記低音効果音チャンネルの信号の極性を補正する極性補正ステップと、をさらに備えたことを特徴とする請求項１または２に記載の時間差補正方法。
4. 前記メインチャンネルの信号から、プリフィルタを適用して低域成分を抽出するプリフィルタ適用ステップをさらに実行し、
   前記相関判定ステップでは、前記プリフィルタ適用ステップの後、前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、前記相関の有無を判定することを特徴とする請求項１または２に記載の時間差補正方法。
5. 前記プリフィルタ適用ステップは、前記メインチャンネルの信号に対して適用した前記プリフィルタと同様のプリフィルタを、前記低音効果音チャンネルの信号に対して適用することを特徴とする請求項４に記載の時間差補正方法。
6. 前記プリフィルタ適用ステップの後、前記メインチャンネルと前記低音効果音チャンネルの信号振幅の正規化を行う正規化ステップをさらに実行し、
   前記相関判定ステップでは、前記正規化ステップの後、前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、前記相関の有無を判定することを特徴とする請求項４に記載の時間差補正方法。
7. 前記信号取得ステップは、前記サラウンドコンテンツの音声特性が特徴的な区間を、前記一部区間として抽出することを特徴とする請求項１または２に記載の時間差補正方法。
8. サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、
   前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得手段と、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、
   前記時間差算出手段により算出された前記時間差を補正する時間差補正手段と、を備え、
   前記信号取得手段、前記相関判定手段、前記時間差算出手段および前記時間差補正手段の処理は、所定時間ごとに繰返し実行され、
   前記時間差補正手段は、前記相関判定手段により相関「有」と判定された場合、前記時間差を補正し、前記相関判定手段により相関「無」と判定された場合、前記時間差を補正しないことを特徴とする音声信号処理装置。
9. サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、
   前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得手段と、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、
   前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、
   前記時間差算出手段により算出された前記時間差を補正する時間差補正手段と、を備え、
   前記信号取得手段、前記相関判定手段、前記時間差算出手段および前記時間差補正手段の処理は、所定時間ごとに繰返し実行され、
   前記時間差補正手段は、前記相関判定手段により相関「有」と判定された場合、前記時間差を補正し、前記相関判定手段により相関「無」と判定された場合、前回算出された前記時間差を維持することを特徴とする音声信号処理装置。
10. 請求項８または９に記載の音声信号処理装置における各手段を備え、
    前記時間差補正手段による時間差補正後の前記サラウンドコンテンツを再生することを特徴とする再生装置。
11. コンピューターに、請求項１ないし７のいずれか１項に記載の時間差補正方法における各ステップを実行させるためのプログラム。

Images