WO2014192675A1

WO2014192675A1 - 信号処理装置及び信号処理方法

Info

Publication number: WO2014192675A1
Application number: PCT/JP2014/063789
Authority: WO
Inventors: 橋本　武志; 哲生渡邉; 藤田　康弘; 一智福江
Original assignee: クラリオン株式会社
Priority date: 2013-05-31
Filing date: 2014-05-26
Publication date: 2014-12-04
Also published as: EP3007171A1; US20160104499A1; EP3007171B1; US10147434B2; JP2014235274A; EP3007171A4; CN105324815A; CN105324815B; JP6305694B2

Abstract

　オーディオ信号から所定の条件を満たす周波数帯域を検出する帯域検出手段と、帯域検出手段による検出帯域に応じた参照信号を生成する参照信号生成手段と、生成された参照信号自体の周波数特性に基づいて参照信号を補正する参照信号補正手段と、補正された参照信号を検出帯域より高い周波数帯域まで拡張する周波数帯域拡張手段と、拡張された周波数帯域内の各周波数成分に対してオーディオ信号の周波数特性に応じた重み付けを行うことにより補間信号を生成する補間信号生成手段と、生成された補間信号をオーディオ信号と合成する信号合成手段と、から信号処理装置を構成する。

Description

信号処理装置及び信号処理方法

　本発明は、補間信号を生成してオーディオ信号と合成することにより、オーディオ信号の高域成分を補間する信号処理装置及び信号処理方法に関する。

　オーディオ信号を圧縮するフォーマットとして、ＭＰ３（MPEG Audio Layer-3）、ＷＭＡ（Windows Media Audio、登録商標）、ＡＡＣ（Advanced Audio Coding）等の非可逆圧縮フォーマットが知られている。非可逆圧縮フォーマットでは、可聴域の上限に近い又は上限を超える高域の周波数成分を大幅にカットすることにより、高圧縮率を達成する。この種の技術が開発された当初は、高域の周波数成分を大幅にカットした場合であっても聴感上の音質劣化が生じないと考えられていたが、近年では、高域の周波数成分を大幅にカットすることによって音質に微妙な変化が生じ、オリジナルの音源に比べて聴感上の音質が劣化するという考えが主流となっている。そこで、非可逆圧縮されたオーディオ信号に対して高域補間を行うことにより音質改善を行う高域補間装置が提案されている。この種の高域補間装置の具体的構成は、例えば特開２００７－２５４８０号公報（以下、特許文献１と記す）や再表２００７－５３４４７８号公報（以下、特許文献２と記す）に記載されている。

　特許文献１に記載の高域補間装置は、オーディオ信号（原信号）を解析することによって得た信号の実部及び虚部を算出し、算出された実部及び虚部から原信号の包絡成分を形成し、形成された包絡成分の高調波成分を抽出する。特許文献１に記載の高域補間装置は、抽出された高調波成分を原信号に合成することによって原信号の高域補間を行う。

　特許文献２に記載の高域補間装置は、オーディオ信号をスペクトル反転し、スペクトル反転された信号をアップサンプリングし、アップサンプリングされた信号からベースバンド信号の高域とほぼ同一の周波数を低域端とする拡張帯域成分を抽出する。特許文献２に記載の高域補間装置は、抽出された拡張帯域成分をベースバンド信号に合成することによってベースバンド信号の高域補間を行う。

　非可逆圧縮されたオーディオ信号の周波数帯域は、圧縮符号化フォーマットやサンプリングレート、圧縮符号化後のビットレートに応じて変わる。そのため、特許文献１に記載されているように、オーディオ信号に対して固定の周波数帯域の補間信号を合成することによって高域補間を行うと、高域補間前のオーディオ信号の周波数帯域によっては、高域補間後のオーディオ信号の周波数スペクトルが不連続となる。このように、特許文献１に記載の高域補間装置では、オーディオ信号に高域補間を施すことによって却って聴感上の音質劣化を生じさせることがある。

　また、オーディオ信号は一般的特性として高域ほど減衰するが、瞬間的には高域側でレベルが増幅することがある。しかし、特許文献２では、装置に入力されるオーディオ信号の特性として前者の一般的特性しか考慮されていない。そのため、レベルが高域側で増幅する特性のオーディオ信号が入力した直後は、オーディオ信号の周波数スペクトルが不連続になり、高域を過度に強調するものとなる。このように、特許文献２に記載の高域補間装置においても特許文献１に記載の高域補間装置と同様に、オーディオ信号に高域補間を施すことによって却って聴感上の音質劣化を生じさせることがある。

　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、非可逆圧縮されたオーディオ信号の周波数特性に拘わらず高域補間による音質の向上を達成することが可能な信号処理装置及び信号処理方法を提供することである。

　本発明の一つの側面により提供される信号処理装置は、オーディオ信号から所定の条件を満たす周波数帯域を検出する帯域検出手段と、帯域検出手段による検出帯域に応じた参照信号を生成する参照信号生成手段と、生成された参照信号自体の周波数特性に基づいて参照信号を補正する参照信号補正手段と、補正された参照信号を検出帯域より高い周波数帯域まで拡張する周波数帯域拡張手段と、拡張された周波数帯域内の各周波数成分に対してオーディオ信号の周波数特性に応じた重み付けを行うことにより補間信号を生成する補間信号生成手段と、生成された補間信号をオーディオ信号と合成する信号合成手段とを備える。

　上記構成によれば、オーディオ信号の周波数特性に応じた値で参照信号が補正され、補正された参照信号を基に補間信号が生成されてオーディオ信号に合成されるため、オーディオ信号の周波数特性に拘わらず高域補間による音質の向上が達成される。

　参照信号補正手段は、例えば、参照信号生成手段により生成された参照信号をフラットな周波数特性に補正する。

　また、参照信号補正手段は、参照信号生成手段により生成された参照信号について第１の回帰分析を行い、第１の回帰分析によって得た周波数特性の情報に基づいて参照信号に対する周波数毎の参照信号用重み量を計算し、計算された周波数毎の参照信号用重み量と参照信号とを乗算することにより、参照信号を補正する構成としてもよい。

　参照信号生成手段は、例えば、検出帯域全体のうち高域側のｎ％の範囲を抽出し、抽出された成分を参照信号とする。

　帯域検出手段は、オーディオ信号内の第１の周波数領域及び第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、設定されたスレッシュホールドに基づいてオーディオ信号から周波数帯域を検出する構成としてもよい。

　また、帯域検出手段は、例えば、スレッシュホールドを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を上限とした周波数帯域をオーディオ信号から検出する。

　補間信号生成手段は、オーディオ信号の少なくとも一部について第２の回帰分析を行い、第２の回帰分析によって得た周波数特性の情報に基づき、周波数帯域拡張手段により拡張された周波数帯域内の各周波数成分に対する周波数毎の補間信号用重み量を計算し、計算された周波数毎の補間信号用重み量と上記拡張された周波数帯域内の各周波数成分とを乗算することにより、補間信号を生成する構成としてもよい。

　第２の回帰分析によって得た周波数特性の情報は、例えば、周波数帯域拡張手段により拡張された周波数帯域内の周波数成分の変化率を含む。この場合、補間信号生成手段は、変化率がマイナス側に大きくなるほど補間信号用重み量を大きくする。

　また、補間信号生成手段は、例えば、第２の回帰分析を行う範囲の上限側の周波数が高いほど補間信号用重み量を大きくする。

　また、信号処理装置は、次の条件（１）～（３）
（１）検出帯域が所定の周波数帯域以下
（２）第２の周波数領域のレベルが所定値以下
（３）第１の周波数領域のレベルと第２の周波数領域のレベルとの差が所定値以下
の少なくとも１つが満たされるとき、補間信号生成手段による補間信号の生成を行わない構成としてもよい。

　本発明の別の側面により提供される信号処理方法は、オーディオ信号から所定の条件を満たす周波数帯域を検出する帯域検出ステップと、帯域検出ステップにて検出された検出帯域に応じた参照信号を生成する参照信号生成ステップと、生成された参照信号自体の周波数特性に基づいて参照信号を補正する参照信号補正ステップと、補正された参照信号を検出帯域より高い周波数帯域まで拡張する周波数帯域拡張ステップと、拡張された周波数帯域内の各周波数成分に対してオーディオ信号の周波数特性に応じた重み付けを行うことにより補間信号を生成する補間信号生成ステップと、生成された補間信号をオーディオ信号と合成する信号合成ステップとを含む。

　参照信号補正ステップでは、例えば、参照信号生成ステップにて生成された参照信号をフラットな周波数特性に補正しても良い。

　参照信号補正ステップでは、参照信号生成ステップにて生成された参照信号について第１の回帰分析を行い、第１の回帰分析によって得た周波数特性の情報に基づいて参照信号に対する周波数毎の参照信号用重み量を計算し、計算された周波数毎の参照信号用重み量と参照信号とを乗算することにより、該参照信号を補正しても良い。

　参照信号生成ステップでは、検出帯域全体のうち高域側のｎ％の範囲を抽出し、抽出された成分を参照信号としても良い。

　帯域検出ステップでは、オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、設定されたスレッシュホールドに基づいて、オーディオ信号から周波数帯域を検出しても良い。

　帯域検出ステップでは、スレッシュホールドを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を上限とした周波数帯域をオーディオ信号から検出しても良い。

　補間信号生成ステップでは、オーディオ信号の少なくとも一部について第２の回帰分析を行い、第２の回帰分析によって得た周波数特性の情報に基づき、拡張された周波数帯域内の各周波数成分に対する周波数毎の補間信号用重み量を計算し、計算された周波数毎の補間信号用重み量と拡張された周波数帯域内の各周波数成分とを乗算することにより、補間信号を生成しても良い。

　第２の回帰分析によって得た周波数特性の情報は、拡張された周波数帯域内の周波数成分の変化率を含み、補間信号生成ステップでは、変化率がマイナス側に大きくなるほど補間信号用重み量を大きくしても良い。

　補間信号生成ステップでは、第２の回帰分析を行う範囲の上限側の周波数が高いほど補間信号用重み量を大きくしても良い。

　当該信号処理方法では、次の条件（１）～（３）
（１）検出帯域が所定の周波数帯域以下
（２）第２の周波数領域のレベルが所定値以下
（３）第１の周波数領域のレベルと第２の周波数領域のレベルとの差が所定値以下
の少なくとも１つが満たされるとき、補間信号生成ステップでの補間信号の生成を行わないように構成されていても良い。

本発明の実施形態の音響処理装置の構成を示すブロック図である。本発明の実施形態の音響処理装置に備えられる高域補間処理部の構成を示すブロック図である。本発明の実施形態の高域補間処理部に備えられる帯域検出部の動作説明を補助する説明補助図である。本発明の実施形態の帯域検出部にて検出された振幅スペクトルを用いて高域補間するまでの一連の処理を説明するための動作波形図である。参照信号の補正を行わない場合に生成される補間信号を例示する図である。参照信号の補正を行わない場合に生成される補間信号を例示する図である。重み量Ｐ_２（ｘ）と各種パラメータとの関係を示す図である。夫々異なる動作条件で生成された高域補間後のオーディオ信号を例示する図である。夫々異なる動作条件で生成された高域補間後のオーディオ信号を例示する図である。

　以下、図面を参照して、本発明の実施形態の音響処理装置について説明する。

［音響処理装置１全体の構成］
　図１は、本実施形態の音響処理装置１の構成を示すブロック図である。図１に示されるように、音響処理装置１は、ＦＦＴ（Fast Fourier Transform）部１０、高域補間処理部２０及びＩＦＦＴ（Inverse FFT）部３０を備えている。

　ＦＦＴ部１０には、音源部より非可逆圧縮フォーマットの符号化信号を復号化したオーディオ信号が入力される。ここで、非可逆圧縮フォーマットとは、例えばＭＰ３、ＷＭＡ、ＡＡＣ等である。ＦＦＴ部１０は、入力されたオーディオ信号についてオーバラップ処理及び窓関数による重み付けを行った後、ＳＴＦＴ（Short-Term Fourier Transform）により時間領域から周波数領域への変換を行い、実数及び虚数の周波数スペクトルを得る。ＦＦＴ部１０は、周波数変換によって得た周波数スペクトルを振幅スペクトル及び位相スペクトルに変換する。ＦＦＴ部１０は、振幅スペクトルを高域補間処理部２０に出力し、位相スペクトルをＩＦＦＴ部３０に出力する。高域補間処理部２０は、ＦＦＴ部１０より入力された振幅スペクトルの高域を補間してＩＦＦＴ部３０に出力する。高域補間処理部２０によって補間される帯域は、例えば、非可逆圧縮時に大幅にカットされた可聴域の上限に近い又は上限を超える周波数帯域である。ＩＦＦＴ部３０は、高域補間処理部２０により高域補間された振幅スペクトル及びＦＦＴ部１０の出力がそのまま保持された位相スペクトルに基づいて実数及び虚数の周波数スペクトルを求め、窓関数による重み付けを行う。ＩＦＦＴ部３０は、重み付けされた信号に対してＳＴＦＴとオーバラップ加算とを行うことにより、周波数領域から時間領域に信号を変換し、高域補間されたオーディオ信号を生成して出力する。

［高域補間処理部２０の構成］
　図２は、高域補間処理部２０の構成を示すブロック図である。図２に示されるように、高域補間処理部２０は、帯域検出部２１０、参照信号抽出部２２０、参照信号補正部２３０、補間信号生成部２４０、補間信号補正部２５０及び加算部２６０を備えている。なお、以下、説明の便宜上、高域補間処理部２０内の各部に対する入力信号・出力信号に符号を付す。

　図３は、帯域検出部２１０の動作説明を補助する図であり、ＦＦＴ部１０から帯域検出部２１０に入力される振幅スペクトルＳの例を示す。図３中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　帯域検出部２１０は、ＦＦＴ部１０より入力されたオーディオ信号の振幅スペクトルＳ（リニアスケール）をデシベルスケールに変換する。帯域検出部２１０は、デシベルスケールに変換された振幅スペクトルＳについて所定の低中域範囲及び所定の高域範囲の信号レベルを計算し、計算された低中域範囲及び高域範囲の信号レベルに基づいてスレッシュホールドを設定する。スレッシュホールドは、例えば、図３に示されるように、低中域範囲の信号レベル（平均値）と高域範囲の信号レベル（平均値）との中間レベルである。

　帯域検出部２１０は、ＦＦＴ部１０より入力した振幅スペクトルＳ（リニアスケール）から、スレッシュホールドを下回る周波数ポイントの周波数を上限とした周波数帯域のオーディオ信号（振幅スペクトルＳａ）を検出する。図３に示されるように、スレッシュホールドを下回る周波数ポイントが複数存在する場合は、より高域側の周波数（図３の例では周波数ｆｔ）を上限とした範囲の振幅スペクトルＳａが検出される。帯域検出部２１０は、検出された振幅スペクトルＳａに含まれる局所的なバラツキを抑えるため、振幅スペクトルＳａをスムージングにより平滑化する。なお、帯域検出部２１０は、不要な補間信号の生成を抑えるため、次の条件（１）～（３）
（１）検出された振幅スペクトルＳａが所定の周波数領域以下
（２）高域範囲の信号レベルが所定値以上
（３）低中域範囲と高域範囲との信号レベル差が所定値以下
の少なくとも１つが満たされるとき、補間信号の生成が不要と判定する。補間信号の生成が不要と判定された振幅スペクトルに対しては、高域補間が行われない。

　図４（ａ）～図４（ｈ）は、帯域検出部２１０にて検出された振幅スペクトルＳａを用いて高域補間するまでの一連の処理を説明するための動作波形図である。図４（ａ）～図４（ｈ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　参照信号抽出部２２０には、帯域検出部２１０にて検出された振幅スペクトルＳａが入力される。参照信号抽出部２２０は、振幅スペクトルＳａの周波数帯域に応じて振幅スペクトルＳａから参照信号Ｓｂを抽出する（図４（ａ）参照）。例えば、振幅スペクトルＳａ全体のうち高域側のｎ（０＜ｎ）％の範囲の振幅スペクトルが参照信号Ｓｂとして抽出される。ここで、音声帯域（例えば肉声）の信号を基に生成された補間信号によって高域補間を行うと、聴感上違和感を与えやすい音質に劣化するという問題がある。これに対し、上記の例では、振幅スペクトルＳａの周波数帯域が狭いほど参照信号Ｓｂの周波数帯域も狭くなるため、音質劣化の原因となる音声帯域の抽出が抑えられる。

　参照信号抽出部２２０は、振幅スペクトルＳａから抽出した参照信号Ｓｂを低域側（ＤＣ側）へ周波数シフトし（図４（ｂ）参照）、周波数シフトされた参照信号Ｓｂを参照信号補正部２３０に出力する。

　参照信号補正部２３０は、参照信号抽出部２２０より入力された参照信号Ｓｂ（リニアスケール）をデジベルスケールに変換し、変換されたデシベルスケールの参照信号Ｓｂについて一次の回帰分析により周波数スロープを検出する。参照信号補正部２３０は、一次の回帰分析により検出された周波数スロープの逆特性（参照信号Ｓｂに対する周波数毎の重み量）を計算する。具体的には、参照信号補正部２３０は、参照信号Ｓｂに対する周波数毎の重み量をＰ_１（ｘ）と定義し、横軸（ｘ軸）上の周波数領域のＦＦＴのサンプル位置をｘと定義し、一次の回帰分析にて検出された参照信号Ｓｂの周波数スロープの値をα_１と定義し、参照信号Ｓｂの周波数帯域に相当するＦＦＴのサンプル数の１／２をβ_１と定義した場合に、次式（１）により、周波数スロープの逆特性（参照信号Ｓｂに対する周波数毎の重み量Ｐ_１（ｘ））を計算する。
［式（１）］
Ｐ_１（ｘ）＝－α_１ｘ＋β_１

　図４（ｃ）に示されるように、参照信号Ｓｂに対する周波数毎の重み量Ｐ_１（ｘ）はデシベルスケールで求められる。参照信号補正部２３０は、デシベルスケールの重み量Ｐ_１（ｘ）をリニアスケールに変換する。参照信号補正部２３０は、リニアスケールに変換された重み量Ｐ_１（ｘ）と、参照信号抽出部２２０より入力された参照信号Ｓｂ（リニアスケール）とを乗算することにより、参照信号Ｓｂを補正する。具体的には、参照信号Ｓｂは、フラットな周波数特性を持つ信号（参照信号Ｓｂ’）に補正される（図４（ｄ）参照）。

　補間信号生成部２４０には、参照信号補正部２３０にて補正された参照信号Ｓｂ’が入力される。補間信号生成部２４０は、参照信号Ｓｂ’を振幅スペクトルＳａの周波数帯域より高い周波数帯域まで拡張（言い換えると、参照信号Ｓｂ’を振幅スペクトルＳａの周波数帯域より高い周波数帯域に達するまで複数複製）することにより、高域を含む補間信号Ｓｃを生成する（図４（ｅ）参照）。補間信号Ｓｃはフラットな周波数特性を持つ。また、参照信号Ｓｂ’の拡張範囲は、例えば、振幅スペクトルＳａの周波数帯域全域と、振幅スペクトルＳａの周波数帯域より高い所定範囲の周波数帯域（可聴域の上限に近い帯域や可聴域の上限を超える帯域等）を含む。

　補間信号補正部２５０には、補間信号生成部２４０にて生成された補間信号Ｓｃが入力される。補間信号補正部２５０は、ＦＦＴ部１０より入力された振幅スペクトルＳ（リニアスケール）をデジベルスケールに変換し、変換されたデシベルスケールの振幅スペクトルＳについて一次の回帰分析により周波数スロープを検出する。なお、振幅スペクトルＳに代えて、帯域検出部２１０より入力される振幅スペクトルＳａの周波数スロープを検出してもよい。回帰分析範囲は任意に設定することができるが、典型的には、オーディオ信号の高域側と補間信号とを滑らかにつなぐため、低域成分を除く所定の周波数帯域に対応する範囲である。補間信号補正部２５０は、検出された周波数スロープ及び回帰分析範囲に対応する周波数帯域に応じた重み量を周波数毎に計算する。具体的には、補間信号補正部２５０は、補間信号Ｓｃに対する周波数毎の重み量をＰ_２（ｘ）と定義し、横軸（ｘ軸）上の周波数領域のＦＦＴのサンプル位置をｘと定義し、回帰分析範囲の上限の周波数をｂと定義し、ＦＦＴのサンプル長をｓと定義し、回帰分析範囲に対応する周波数帯域のスロープの値をα_２と定義し、所定の補正係数をｋと定義した場合に、次式（２）により、補間信号Ｓｃに対する周波数毎の重み量Ｐ_２（ｘ）を計算する。
［式（２）］
Ｐ_２（ｘ）＝－α’ｘ＋β_２
但し、
α’＝α_２－［１－（ｂ／ｓ）］／ｋ
β_２＝－α’ｂ
ｘ＜ｂのとき、Ｐ_２（ｘ）＝－∞

　図４（ｆ）に示されるように、補間信号Ｓｃに対する周波数毎の重み量Ｐ_２（ｘ）はデシベルスケールで求められる。補間信号補正部２５０は、デシベルスケールの重み量Ｐ_２（ｘ）をリニアスケールに変換する。補間信号補正部２５０は、リニアスケールに変換された重み量Ｐ_２（ｘ）と、補間信号生成部２４０にて生成された補間信号Ｓｃ（リニアスケール）とを乗算することにより、補間信号Ｓｃを補正する。補正後の補間信号Ｓｃ’は、例えば図４（ｇ）に示されるように、周波数ｂより高域の信号であり、周波数が高いほど減衰する特性を持つ。

　加算部２６０には、ＦＦＴ部１０より振幅スペクトルＳが入力されると共に、補間信号補正部２５０より補間信号Ｓｃ’が入力される。振幅スペクトルＳは、高域成分が大幅にカットされたオーディオ信号の振幅スペクトルであり、補間信号Ｓｃ’は、オーディオ信号の周波数帯域より高い周波数領域の振幅スペクトルである。加算部２６０は、振幅スペクトルＳと補間信号Ｓｃ’とを合成することにより、高域が補間されたオーディオ信号の振幅スペクトルＳ’を生成し（図４（ｈ）参照）、生成されたオーディオ信号の振幅スペクトルＳ’をＩＦＦＴ部３０に出力する。

　本実施形態では、振幅スペクトルＳａの周波数帯域に応じて参照信号Ｓｂを抽出し、抽出された参照信号Ｓｂを補正することによって得た参照信号Ｓｂ’を基に補間信号Ｓｃ’を生成して振幅スペクトルＳ（オーディオ信号）に合成する。これにより、ＦＦＴ部１０に入力されるオーディオ信号の周波数特性に拘わらず（例えば、オーディオ信号の周波数帯域が圧縮符号化フォーマット等に応じて変わった場合であっても、また、レベルが高域側で増幅する特性のオーディオ信号が入力された場合であっても）、オーディオ信号に対して連続的変化で減衰する自然な特性のスペクトルで高域が補間される。そのため、高域補間による聴感上の音質向上が達成される。

　図５及び図６に、参照信号の補正を行わない場合に生成される補間信号を例示する。図５、図６の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。図５は、高域ほど減衰する特性のオーディオ信号を例に取り、図６は、高域ほど増幅する特性のオーディオ信号を例に取る。図５（ａ）、図６（ａ）の各図は、オーディオ信号より抽出される参照信号を示す。図５（ｂ）、図６（ｂ）の各図は、抽出された参照信号をオーディオ信号の周波数帯域より高い周波数帯域まで拡張することによって生成される補間信号を示す。図５（ｂ）、図６（ｂ）の各図に示されるように、参照信号を補正しない場合は、補間信号のスペクトルが不連続になることが判る。そのため、図５及び図６の例では、高域補間を行うことにより却って聴感上の音質劣化が生じる。

　次に、本実施形態の音響処理装置１の動作パラメータ例を示す。
（ＦＦＴ部１０／ＩＦＦＴ部３０）
サンプル長　　　　　　　：８，１９２サンプル
窓関数　　　　　　　　　：ハニング
オーバラップ長　　　　　：５０％
（帯域検出部２１０）
最小制御周波数　　　　　：７ｋＨｚ
低中域範囲　　　　　　　：２ｋＨｚ～６ｋＨｚ
高域範囲　　　　　　　　：２０ｋＨｚ～２２ｋＨｚ
高域レベル判定　　　　　：－２０ｄＢ
信号レベル差　　　　　　：２０ｄＢ
スレッシュホールド　　　：０．５
（参照信号抽出部２２０）
参照帯域幅　　　　　　　：２．７５６ｋＨｚ
（補間信号補正部２５０）
下限周波数　　　　　　　：５００Ｈｚ
補正係数ｋ　　　　　　　：０．０１

　「最小制御周波数（＝７ｋＨｚ）」は、帯域検出部２１０にて検出される振幅スペクトルＳａが７ｋＨｚ未満の場合、高域補間を行わないことを示す。「高域レベル判定（＝－２０ｄＢ）」は、高域範囲の信号レベルが－２０ｄＢ以上の場合、高域補間を行わないことを示す。「信号レベル差（＝２０ｄＢ）」は、低中域範囲と高域範囲との信号レベル差が２０ｄＢ以下の場合、高域補間を行わないことを示す。「スレッシュホールド（＝０．５）」は、振幅スペクトルＳａを検出するためのスレッシュホールドが低中域範囲の信号レベル（平均値）と高域範囲の信号レベル（平均値）との中間値であることを示す。「参照帯域幅（＝２．７５６ｋＨｚ）」は、「最小制御周波数（＝７ｋＨｚ）」に対応する参照信号Ｓｂの帯域幅である。「下限周波数（＝５００Ｈｚ）」は、補間信号補正部２５０による回帰分析の範囲下限を示す（すなわち、５００Ｈｚ未満は回帰分析の範囲に含まれない。）。

　図７（ａ）は、上記動作パラメータ例において、周波数ｂを８ｋＨｚに固定し、周波数スロープ値α_２を０～－０．０１０の範囲で－０．００２刻みで変化させたときの夫々の重み量Ｐ_２（ｘ）を示す。図７（ｂ）は、上記動作パラメータ例において、周波数スロープ値α_２を０（フラットな周波数特性）に固定し、周波数ｂを８ｋＨｚ～２０ｋＨｚの範囲で２ｋＨｚ刻みで変化させたときの夫々の重み量Ｐ_２（ｘ）を示す。図７（ａ）、図７（ｂ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。なお、図７（ａ）及び図７（ｂ）の例では、ＦＦＴのサンプル位置を周波数に変換して示している。

　図７（ａ）及び図７（ｂ）を参照すると、周波数スロープ値α_２や周波数ｂに応じて重み量Ｐ_２（ｘ）が変化していることが判る。具体的には、図７（ａ）に示されるように、周波数スロープ値α_２がマイナス側に大きくなるほど（すなわち高域での減衰が大きいオーディオ信号ほど）重み量Ｐ_２（ｘ）が大きくなり、補間信号Ｓｃ’の高域の減衰量が大きくなる。また、図７（ｂ）に示されるように、周波数ｂが高いほど重み量Ｐ_２（ｘ）が小さくなり、補間信号Ｓｃ’の高域の減衰量が小さくなる。このように、オーディオ信号の周波数スロープや回帰分析範囲に応じて補間信号Ｓｃ’のスロープを変化させることにより、オーディオ信号に対して連続的変化で減衰する自然な特性のスペクトルで可聴域の上限に近い又は上限を超える高域が補間される。そのため、高域補間による聴感上の音質向上が達成される。また、オーディオ信号の周波数帯域が狭いほど参照信号の周波数帯域が狭くなるため、音質劣化の原因となる音声帯域の抽出が抑えられる。また、オーディオ信号の周波数帯域が狭いほど補間信号のレベルが小さくなるため、例えば周波数帯域の狭いオーディオ信号に対して過剰な補間信号が合成されることがない。

　図８（ａ）は、高域ほど減衰する特性のオーディオ信号（周波数帯域：１０ｋＨｚ）を示す。図８（ｂ）～図８（ｅ）の各図は、上記動作パラメータ例において、図８（ａ）のオーディオ信号の高域を補間することによって得られる信号を示す。但し、図８（ｂ）～図８（ｅ）の各図では動作条件が夫々異なる。なお、図８（ａ）～図８（ｅ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　図８（ｂ）は、高域補間処理から参照信号の補正処理及び補間信号の補正処理を省いた例を示す。また、図８（ｃ）は、高域補間処理から補間信号の補正処理を省いた例を示す。図８（ｂ）及び図８（ｃ）の例では、図８（ａ）のオーディオ信号に対して周波数フラットな補間信号が合成される。図８（ｂ）及び図８（ｃ）の例では、過剰な高域成分が補間されることによって周波数バランスが崩れるため、聴感上の音質劣化が生じる。

　図８（ｄ）は、高域補間処理から参照信号の補正処理を省いた例を示す。また、図８（ｅ）は、高域補間処理から何れの処理も省かない例を示す。図８（ｄ）の例では、高域補間後のオーディオ信号は、高域ほど減衰する特性となっているが、スペクトルが連続的変化で減衰しているとまではいえない。図８（ｄ）の例では、スペクトル内に残存する不連続領域が聴感上の違和感をユーザに与える虞がある。これに対し、図８（ｅ）の例では、高域補間後のオーディオ信号は、スペクトルが連続的変化で高域ほど減衰する自然な特性となっている。図８（ｄ）と図８（ｅ）とを比較すると、補間信号の補正だけでなく参照信号の補正も行うことにより、高域補間による聴感上の音質向上が達成されることが判る。

　図９（ａ）は、高域側で増幅する特性のオーディオ信号（周波数帯域：１０ｋＨｚ）を示す。図９（ｂ）～図９（ｅ）の各図は、上記動作パラメータ例において、図９（ａ）のオーディオ信号の高域を補間することによって得られる信号を示す。図９（ｂ）～図９（ｅ）の各図の例の動作条件は夫々、図８（ｂ）～図８（ｅ）の各図の例の動作条件と同じである。

　図９（ｂ）の例では、図９（ａ）のオーディオ信号に対して不連続なスペクトルを持つ補間信号が合成される。図９（ｃ）の例では、図９（ａ）のオーディオ信号に対して周波数フラットな補間信号が合成される。図９（ｂ）及び図９（ｃ）の例では、不連続な特性を持つスペクトルが合成されたり、過剰な高域成分が補間されることによって周波数バランスが崩れたりするため、聴感上の音質劣化が生じる。

　図９（ｄ）の例では、高域補間後のオーディオ信号は、高域ほど減衰する特性となっているが、スペクトルの変化が不連続である。図９（ｄ）の例では、この不連続な領域が聴感上の違和感をユーザに与える虞がある。これに対し、図９（ｅ）の例では、高域補間後のオーディオ信号は、スペクトルが連続的変化で高域ほど減衰する自然な特性となっている。図９（ｄ）と図９（ｅ）とを比較すると、補間信号の補正だけでなく参照信号の補正も行うことにより、高域補間による聴感上の音質向上が達成されることが判る。

　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施例等又は自明な実施例等を適宜組み合わせた内容も本願の実施形態に含まれる。例えば、本実施形態では、参照信号補正部２３０は、周波数帯域内で単調に増幅又は減衰する特性の参照信号Ｓｂを補正するため、一次の回帰分析を用いている。しかし、参照信号Ｓｂの特性は線形に限らず、場合によっては非線形となる。周波数帯域内で増幅と減衰とを繰り返す特性の参照信号Ｓｂを補正する場合を考える。この場合、参照信号補正部２３０は、次数を増加して回帰分析を行って逆特性を算出し、算出された逆特性により参照信号Ｓｂを補正する。

Claims

　オーディオ信号から所定の条件を満たす周波数帯域を検出する帯域検出手段と、
　前記帯域検出手段による検出帯域に応じた参照信号を生成する参照信号生成手段と、
　生成された参照信号自体の周波数特性に基づいて該参照信号を補正する参照信号補正手段と、
　補正された参照信号を前記検出帯域より高い周波数帯域まで拡張する周波数帯域拡張手段と、
　拡張された周波数帯域内の各周波数成分に対して前記オーディオ信号の周波数特性に応じた重み付けを行うことにより補間信号を生成する補間信号生成手段と、
　生成された補間信号を前記オーディオ信号と合成する信号合成手段と、
を備える、
信号処理装置。
　前記参照信号補正手段は、
　　前記参照信号生成手段により生成された参照信号をフラットな周波数特性に補正する、
請求項１に記載の信号処理装置。
　前記参照信号補正手段は、
　　前記参照信号生成手段により生成された参照信号について第１の回帰分析を行い、
　　前記第１の回帰分析によって得た周波数特性の情報に基づいて前記参照信号に対する周波数毎の参照信号用重み量を計算し、
　　計算された周波数毎の参照信号用重み量と前記参照信号とを乗算することにより、該参照信号を補正する、
請求項１又は請求項２に記載の信号処理装置。
　前記参照信号生成手段は、
　　前記検出帯域全体のうち高域側のｎ％の範囲を抽出し、抽出された成分を前記参照信号とする、
請求項１から請求項３の何れか一項に記載の信号処理装置。
　前記帯域検出手段は、
　　前記オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、
　　計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、
　　設定されたスレッシュホールドに基づいて前記オーディオ信号から周波数帯域を検出する、
請求項１から請求項４の何れか一項に記載の信号処理装置。
　前記帯域検出手段は、
　　前記スレッシュホールドを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を上限とした周波数帯域を前記オーディオ信号から検出する、
請求項５に記載の信号処理装置。
　前記補間信号生成手段は、
　　前記オーディオ信号の少なくとも一部について第２の回帰分析を行い、
　　前記第２の回帰分析によって得た周波数特性の情報に基づき、前記拡張された周波数帯域内の各周波数成分に対する周波数毎の補間信号用重み量を計算し、
　　計算された周波数毎の補間信号用重み量と前記拡張された周波数帯域内の各周波数成分とを乗算することにより、前記補間信号を生成する、
請求項１から請求項６の何れか一項に記載の信号処理装置。
　前記第２の回帰分析によって得た周波数特性の情報は、
　　前記拡張された周波数帯域内の周波数成分の変化率を含み、
　前記補間信号生成手段は、
　　前記変化率がマイナス側に大きくなるほど前記補間信号用重み量を大きくする、
請求項７に記載の信号処理装置。
　前記補間信号生成手段は、
　　前記第２の回帰分析を行う範囲の上限側の周波数が高いほど前記補間信号用重み量を大きくする、
請求項７又は請求項８に記載の信号処理装置。
　次の条件（１）～（３）
（１）前記検出帯域が所定の周波数帯域以下
（２）前記第２の周波数領域のレベルが所定値以下
（３）前記第１の周波数領域のレベルと前記第２の周波数領域のレベルとの差が所定値以下
の少なくとも１つが満たされるとき、前記補間信号生成手段による前記補間信号の生成を行わない、
請求項１から請求項９の何れか一項に記載の信号処理装置。
　オーディオ信号から所定の条件を満たす周波数帯域を検出する帯域検出ステップと、
　前記帯域検出ステップにて検出された検出帯域に応じた参照信号を生成する参照信号生成ステップと、
　生成された参照信号自体の周波数特性に基づいて該参照信号を補正する参照信号補正ステップと、
　補正された参照信号を前記検出帯域より高い周波数帯域まで拡張する周波数帯域拡張ステップと、
　拡張された周波数帯域内の各周波数成分に対して前記オーディオ信号の周波数特性に応じた重み付けを行うことにより補間信号を生成する補間信号生成ステップと、
　生成された補間信号を前記オーディオ信号と合成する信号合成ステップと、
を含む、
信号処理方法。
　前記参照信号補正ステップでは、
　　前記参照信号生成ステップにて生成された参照信号をフラットな周波数特性に補正する、
請求項１１に記載の信号処理方法。
　前記参照信号補正ステップでは、
　　前記参照信号生成ステップにて生成された参照信号について第１の回帰分析を行い、
　　前記第１の回帰分析によって得た周波数特性の情報に基づいて前記参照信号に対する周波数毎の参照信号用重み量を計算し、
　　計算された周波数毎の参照信号用重み量と前記参照信号とを乗算することにより、該参照信号を補正する、
請求項１１又は請求項１２に記載の信号処理方法。
　前記参照信号生成ステップでは、
　　前記検出帯域全体のうち高域側のｎ％の範囲を抽出し、抽出された成分を前記参照信号とする、
請求項１１から請求項１３の何れか一項に記載の信号処理方法。
　前記帯域検出ステップでは、
　　前記オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、
　　計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、
　　設定されたスレッシュホールドに基づいて前記オーディオ信号から周波数帯域を検出する、
請求項１１から請求項１４の何れか一項に記載の信号処理方法。
　前記帯域検出ステップでは、
　　前記スレッシュホールドを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を上限とした周波数帯域を前記オーディオ信号から検出する、
請求項１５に記載の信号処理方法。
　前記補間信号生成ステップでは、
　　前記オーディオ信号の少なくとも一部について第２の回帰分析を行い、
　　前記第２の回帰分析によって得た周波数特性の情報に基づき、前記拡張された周波数帯域内の各周波数成分に対する周波数毎の補間信号用重み量を計算し、
　　計算された周波数毎の補間信号用重み量と前記拡張された周波数帯域内の各周波数成分とを乗算することにより、前記補間信号を生成する、
請求項１１から請求項１６の何れか一項に記載の信号処理方法。
　前記第２の回帰分析によって得た周波数特性の情報は、
　　前記拡張された周波数帯域内の周波数成分の変化率を含み、
　前記補間信号生成ステップでは、
　　前記変化率がマイナス側に大きくなるほど前記補間信号用重み量を大きくする、
請求項１７に記載の信号処理方法。
　前記補間信号生成ステップでは、
　　前記第２の回帰分析を行う範囲の上限側の周波数が高いほど前記補間信号用重み量を大きくする、
請求項１７又は請求項１８に記載の信号処理方法。
　次の条件（１）～（３）
（１）前記検出帯域が所定の周波数帯域以下
（２）前記第２の周波数領域のレベルが所定値以下
（３）前記第１の周波数領域のレベルと前記第２の周波数領域のレベルとの差が所定値以下
の少なくとも１つが満たされるとき、前記補間信号生成ステップでの前記補間信号の生成を行わない、
請求項１１から請求項１９の何れか一項に記載の信号処理方法。