WO2016002551A1

WO2016002551A1 - 信号処理装置及び信号処理方法

Info

Publication number: WO2016002551A1
Application number: PCT/JP2015/067824
Authority: WO
Inventors: 橋本　武志; 哲生渡邉; 藤田　康弘; 一智福江; 隆富熊谷
Original assignee: クラリオン株式会社
Priority date: 2014-07-04
Filing date: 2015-06-22
Publication date: 2016-01-07
Also published as: CN106663448B; EP3166107A1; EP3166107A4; US10354675B2; JP6401521B2; EP3166107B1; CN106663448A; US20170140774A1; JP2016017982A

Abstract

　オーディオ信号から所定の条件を満たす周波数を検出する周波数検出手段と、周波数検出手段による検出周波数又はその付近の周波数特性に応じて該検出周波数をオフセットするオフセット手段と、オフセット手段によるオフセット後の検出周波数に基づいてオーディオ信号から信号を抽出して参照信号を生成する参照信号生成手段と、生成された参照信号に基づいて補間信号を生成する補間信号生成手段と、生成された補間信号をオーディオ信号と合成することで該オーディオ信号の高域補間を行う信号合成手段とを備える信号処理装置を提供する。

Description

信号処理装置及び信号処理方法

　本発明は、補間信号を生成してオーディオ信号と合成することにより、オーディオ信号の高域成分を補間する信号処理装置及び信号処理方法に関する。

　オーディオ信号を圧縮するフォーマットとして、例えば、ＭＰ３（MPEG Audio Layer-3）、ＷＭＡ（Windows Media Audio、登録商標）、ＡＡＣ（Advanced Audio Coding）等の非可逆圧縮フォーマットが知られている。非可逆圧縮フォーマットでは、可聴域の上限に近い又は上限を超える高域の周波数成分を大幅にカットすることにより、高圧縮率を達成する。この種の技術が開発された当初は、高域の周波数成分を大幅にカットした場合であっても聴感上の音質劣化が生じないと考えられていたが、近年では、高域の周波数成分を大幅にカットすることによって音質に微妙な変化が生じ、オリジナルの音源に比べて聴感上の音質が劣化するという考えが主流となっている。そこで、非可逆圧縮されたオーディオ信号に対して高域補間を行うことにより音質改善を行う高域補間装置が提案されている。この種の高域補間装置の具体的構成は、例えば特開２００７－２５４８０号公報（以下、「特許文献１」と記す。）や再表２００７－２９７９６号公報（以下、「特許文献２」と記す。）に記載されている。

　特許文献１に記載の高域補間装置は、オーディオ信号（原信号）を解析することによって得た信号の実部及び虚部を算出し、算出された実部及び虚部から原信号の包絡成分を形成し、形成された包絡成分の高調波成分を抽出する。特許文献１に記載の高域補間装置は、抽出された高調波成分を原信号に合成することによって原信号の高域補間を行う。

　特許文献２に記載の高域補間装置は、オーディオ信号をスペクトル反転し、スペクトル反転された信号をアップサンプリングし、アップサンプリングされた信号からベースバンド信号の高域とほぼ同一の周波数を低域端とする拡張帯域成分を抽出する。特許文献２に記載の高域補間装置は、抽出された拡張帯域成分をベースバンド信号に合成することによってベースバンド信号の高域補間を行う。

　非可逆圧縮されたオーディオ信号の周波数帯域は、圧縮符号化フォーマットやサンプリングレート、圧縮符号化後のビットレートに応じて変わる。そのため、特許文献１に記載されているように、オーディオ信号に対して固定の周波数帯域の補間信号を合成することによって高域補間を行うと、高域補間前のオーディオ信号の周波数帯域によっては、高域補間後のオーディオ信号の周波数スペクトルが不連続となる。このように、特許文献１に記載の高域補間装置では、オーディオ信号に高域補間を施すことによって却って聴感上の音質劣化を生じさせることがある。

　また、オーディオ信号は一般的特性として高域ほど減衰するが、瞬間的には高域側でレベルが増幅することがある。しかし、特許文献２では、装置に入力されるオーディオ信号の特性として前者の一般的特性しか考慮されていない。そのため、レベルが高域側で増幅する特性のオーディオ信号が入力した直後は、オーディオ信号の周波数スペクトルが不連続になり、高域を過度に強調するものとなる。このように、特許文献２に記載の高域補間装置においても特許文献１に記載の高域補間装置と同様に、オーディオ信号に高域補間を施すことによって却って聴感上の音質劣化を生じさせることがある。

　また、オーディオ信号には、非可逆圧縮フォーマットのオーディオ信号だけでなく、例えば、可逆圧縮フォーマットのオーディオ信号やＣＤ（Compact Disc）音源、ＤＶＤ（Digital Versatile Disc） Audio、ＳＡＣＤ（Super Audio CD）等のハイレゾリューション音源のオーディオ信号がある。これらのオーディオ信号に対して特許文献１や特許文献２に記載の技術を適用した場合も、高域補間を施すことによって却って聴感上の音質劣化が生じる恐れがある。

　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、オーディオ信号に対する高域補間による音質の向上を達成するのに好適な信号処理装置及び信号処理方法を提供することである。

　本発明の一実施形態に係る信号処理装置は、オーディオ信号から所定の条件を満たす周波数を検出する周波数検出手段と、周波数検出手段による検出周波数又はその付近の周波数特性に応じて該検出周波数をオフセットするオフセット手段と、オフセット手段によるオフセット後の検出周波数に基づいてオーディオ信号から信号を抽出して参照信号を生成する参照信号生成手段と、生成された参照信号に基づいて補間信号を生成する補間信号生成手段と、生成された補間信号をオーディオ信号と合成することで該オーディオ信号の高域補間を行う信号合成手段とを備える。

　オフセット手段は、検出周波数又はその付近におけるオーディオ信号のスロープ特性を検出し、検出されたスロープ特性に応じて検出周波数に対するオフセット量を変える構成としてもよい。

　また、オフセット手段は、検出周波数又はその付近においてオーディオ信号の減衰が緩やかであるほど検出周波数に対するオフセット量を大きな値に設定する構成としてもよい。

　参照信号生成手段は、オーディオ信号のうち、オフセット後の検出周波数から低周波数側へｎ％の範囲の信号を抽出し、抽出された信号を用いて参照信号を生成する構成としてもよい。

　周波数検出手段は、オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、設定されたスレッシュホールドのレベルを下回る周波数を所定の条件を満たす周波数として検出する構成としてもよい。

　また、周波数検出手段は、スレッシュホールドのレベルを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を所定の条件を満たす周波数として検出する構成としてもよい。

　補間信号生成手段は、参照信号生成手段により生成された参照信号に対して所定の窓関数による重み付け及びオーバラップ処理を行ったうえで、該参照信号の複製を行い、複製によって複数に増加された参照信号を検出周波数より高い周波数帯域まで並べて配置し、並べて配置された参照信号群の各周波数成分に対してオーディオ信号の周波数特性に応じた重み付けを行うことにより、補間信号を生成する構成としてもよい。

　また、本実施形態の信号処理装置は、補間信号生成手段による参照信号の複製に先立ち、該参照信号に含まれるノイズを低減するノイズ低減手段を備える構成としてもよい。

　また、本実施形態の信号処理装置は、オーディオ信号をフィルタリングするフィルタ手段を備える構成としてもよい。この場合、信号合成手段は、フィルタ手段によりフィルタリングされたオーディオ信号に補間信号を合成することで該オーディオ信号の高域補間を行う。また、フィルタ手段は、検出周波数に応じてオーディオ信号に対するカットオフ周波数が可変する構成としてもよい。

　また、本発明の一実施形態に係る信号処理方法は、オーディオ信号から所定の条件を満たす周波数を検出する周波数検出ステップと、周波数検出ステップでの検出周波数又はその付近の周波数特性に応じて該検出周波数をオフセットするオフセットステップと、オフセットステップでのオフセット後の検出周波数に基づいてオーディオ信号から信号を抽出して参照信号を生成する参照信号生成ステップと、生成された参照信号に基づいて補間信号を生成する補間信号生成ステップと、生成された補間信号をオーディオ信号と合成することで該オーディオ信号の高域補間を行う信号合成ステップとを含む。

　本発明の実施形態によれば、オーディオ信号に対する高域補間による音質の向上を達成するのに好適な信号処理装置及び信号処理方法が提供される。

本発明の実施形態の音響処理装置の構成を示すブロック図である。本発明の実施形態の音響処理装置に備えられる高域補間処理部の構成を示すブロック図である。本発明の実施形態の高域補間処理部に備えられる帯域検出部の動作説明を補助する説明補助図である。本発明の実施形態の帯域検出部に入力される高圧縮オーディオ信号の複素スペクトルとスレッシュホールド周波数との関係を示す図（上欄図）及び当該高圧縮オーディオ信号の周波数と信号レベルの変化率との関係を示す図（下欄図）である。本発明の実施形態の帯域検出部に入力される高圧縮オーディオ信号の複素スペクトルとスレッシュホールド周波数との関係を示す図（上欄図）及び当該高圧縮オーディオ信号の周波数と信号レベルの変化率との関係を示す図（下欄図）である。本発明の実施形態の高域補間処理部に備えられる参照信号抽出部に入力される複素スペクトルに対して高域補間するまでの一連の処理を説明するための動作波形図（図６（ａ）～図６（ｈ））である。スレッシュホールド周波数又はその付近における信号レベルの変化率とスレッシュホールド周波数のオフセット量との関係を示す図である。本発明の実施形態の高域補間処理部に備えられる補間信号生成部の動作を説明するための動作波形図（図８（ａ）及び図８（ｂ））である。本発明の実施形態の高域補間処理部に備えられる第一ノイズ低減回路によるノイズ除去処理を説明するための図（図９（ａ）及び図９（ｂ））である。本発明の実施形態の高域補間処理部に備えられる第二ノイズ低減回路によるノイズ除去処理を説明するための図（図１０（ａ）～図１０（ｄ））である。本発明の実施形態において、周波数スロープに応じたスレッシュホールド周波数のオフセット処理を導入することによる効果を説明する、事例１の説明図（図１１（ａ）～図１１（ｃ））である。本発明の実施形態において、参照信号に対する窓関数による重み付け及びオーバラップ処理を導入することによる効果を説明する、事例２の説明図（図１２（ａ）～図１２（ｃ））である。本発明の実施形態において、第一ノイズ低減回路によるノイズ除去処理を導入することによる効果を説明する、事例３の説明図（図１３（ａ）及び図１３（ｂ））である。本発明の実施形態において、第二ノイズ低減回路によるノイズ除去処理を導入することによる効果を説明する、事例４の説明図（図１４（ａ）～図１４（ｃ））である。

　以下、図面を参照して、本発明の実施形態の音響処理装置について説明する。

［音響処理装置１全体の構成］
　図１は、本実施形態の音響処理装置１の構成を示すブロック図である。図１に示されるように、音響処理装置１は、ＦＦＴ（Fast Fourier Transform）部１０、高域補間処理部２０及びＩＦＦＴ（Inverse FFT）部３０を備えている。

　ＦＦＴ部１０には、例えば、音源部より非可逆圧縮フォーマットの符号化信号を復号化したオーディオ信号や可逆圧縮フォーマットの符号化信号を復号化したオーディオ信号、ＣＤ音源、ＤＶＤ Audio、ＳＡＣＤ等のハイレゾリューション音源のオーディオ信号が入力される。非可逆圧縮フォーマットには、例えばＭＰ３、ＷＭＡ、ＡＡＣがある。また、可逆圧縮フォーマットには、例えばＷＭＡＬ（WMA Lossless）、ＡＬＡＣ（Apple Lossless Audio Codec、" Apple"は登録商標）、ＡＡＬ（ATRAC Advanced Lossless：登録商標）がある。なお、説明の便宜上、非可逆圧縮フォーマットのオーディオ信号を「高圧縮オーディオ信号」と記し、可逆圧縮フォーマットのオーディオ信号並びにハイレゾリューション音源のオーディオ信号及びハイレゾリューション音源のスペックを満たさないＣＤ－ＤＡ（４４．１ｋＨｚ／１６ｂｉｔ）等のオーディオ信号であって、高圧縮オーディオ信号よりも高域の情報を保持するものを「高品質オーディオ信号」と記す。

　ＦＦＴ部１０は、入力されたオーディオ信号についてオーバラップ処理及び窓関数による重み付けを行った後、ＳＴＦＴ（Short-Term Fourier Transform）により時間領域から周波数領域への変換を行い、実数及び虚数の複素スペクトルを得て、高域補間処理部２０に出力する。高域補間処理部２０は、ＦＦＴ部１０より入力された複素スペクトルの高域を補間してＩＦＦＴ部３０に出力する。高域補間処理部２０によって補間される帯域は、例えば、高圧縮オーディオ信号の場合、非可逆圧縮時に大幅にカットされた可聴域の上限に近い又は上限を超える周波数帯域であり、高品質オーディオ信号の場合、レベルが緩やかに減衰する帯域を含む、可聴域の上限に近い又は上限を超える周波数帯域である。ＩＦＦＴ部３０は、高域補間処理部２０により高域補間された複素スペクトルに基づいて実数及び虚数の複素スペクトルを求め、窓関数による重み付けを行う。ＩＦＦＴ部３０は、重み付けされた信号に対してＳＴＦＴとオーバラップ加算とを行うことにより、周波数領域から時間領域に信号を変換し、高域補間されたオーディオ信号を生成して出力する。

［高域補間処理部２０の構成］
　図２は、高域補間処理部２０の構成を示すブロック図である。図２に示されるように、高域補間処理部２０は、帯域検出部２１０、参照信号抽出部２２０、参照信号補正部２３０、補間信号生成部２４０、補間信号補正部２５０、加算部２６０、第一ノイズ低減回路２７０及び第二ノイズ低減回路２８０を備えている。なお、以下、説明の便宜上、高域補間処理部２０内の各部に対する入力信号・出力信号に符号を付す。

　図３は、帯域検出部２１０の動作説明を補助する図であり、ＦＦＴ部１０から帯域検出部２１０に入力される複素スペクトルＳの例を示す。図３中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　帯域検出部２１０は、ＦＦＴ部１０より入力されたオーディオ信号の複素スペクトルＳ（リニアスケール）をデシベルスケールに変換する。帯域検出部２１０は、複素スペクトルＳに含まれる局所的なバラツキを抑えるため、デシベルスケールに変換された複素スペクトルＳをスムージングにより平滑化する。帯域検出部２１０は、平滑化された複素スペクトルＳについて所定の低中域範囲及び所定の高域範囲の信号レベルを計算し、計算された低中域範囲及び高域範囲の信号レベルに基づいてスレッシュホールドを設定する。スレッシュホールドは、例えば、図３に示されるように、低中域範囲の信号レベル（平均値）と高域範囲の信号レベル（平均値）との中間レベルである。

　帯域検出部２１０は、ＦＦＴ部１０より入力された複素スペクトルＳ（リニアスケール）から、スレッシュホールドを下回る周波数ポイントを検出する。図３に示されるように、スレッシュホールドを下回る周波数ポイントが複数存在する場合、帯域検出部２１０は、より高域側の周波数ポイント（図３の例では周波数ｆｔ）を検出する。以下、説明の便宜上、スレッシュホールドにより検出される周波数（ここでは周波数ｆｔ）を「スレッシュホールド周波数Ｆｔｈ」と記す。なお、帯域検出部２１０は、不要な補間信号の生成を抑えるため、次の条件（１）～（３）
（１）検出されたスレッシュホールド周波数Ｆｔｈが所定の周波数以下
（２）高域範囲の信号レベルが所定値以上
（３）低中域範囲と高域範囲との信号レベル差が所定値以下
の少なくとも１つが満たされるとき、補間信号の生成が不要と判定する。補間信号の生成が不要と判定された複素スペクトルＳに対しては、高域補間が行われない。

　ここで、図４の上欄に、ＦＦＴ部１０から帯域検出部２１０に入力される高圧縮オーディオ信号の複素スペクトルＳとスレッシュホールド周波数Ｆｔｈとの関係を示し、図４の下欄に、当該高圧縮オーディオ信号の周波数と信号レベルの変化率βとの関係を示す。また、図５の上欄に、ＦＦＴ部１０から帯域検出部２１０に入力される高品質オーディオ信号の複素スペクトルＳとスレッシュホールド周波数Ｆｔｈとの関係を示し、図５下欄に、当該高品質オーディオ信号の周波数と信号レベルの変化率βとの関係を示す。変化率βは、複素スペクトルＳに対してハイパスフィルタを用いた微分を行うことで求まる。図４、図５の各図の上欄のグラフにおいて、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。また、図４、図５の各図の下欄のグラフにおいて、縦軸（ｙ軸）は、信号レベルの変化率（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　高圧縮オーディオ信号は、情報量の削減のため、スレッシュホールド周波数Ｆｔｈ付近を境に高域が急峻にカットされており（図４の上欄参照）、スレッシュホールド周波数Ｆｔｈ付近における信号レベルの変化率βが大きい（図４の下欄参照）。一方、高品質オーディオ信号は、スレッシュホールド周波数Ｆｔｈ付近が比較的緩やかな周波数スロープとなっており（図５の上欄参照）、スレッシュホールド周波数Ｆｔｈ付近における信号レベルの変化率βが小さい（図５の下欄参照）。

　参照信号抽出部２２０には、第一ノイズ低減回路２７０及び第二ノイズ低減回路２８０を介してノイズ除去された複素スペクトルＳが入力される。以下、説明の便宜上、第一ノイズ低減回路２７０によるノイズ除去後の複素スペクトルＳに符号「Ｓ’」を付し、第二ノイズ低減回路２８０によるノイズ除去後の複素スペクトルＳ’に符号「Ｓ”」を付す。第一ノイズ低減回路２７０及び第二ノイズ低減回路２８０によるノイズ除去処理の詳細は後述する。また、参照信号抽出部２２０には、オフセット後周波数Ｆｔｈ’の情報が帯域検出部２１０より入力される。オフセット後周波数Ｆｔｈ’の詳細についても後述する。

　図６（ａ）～図６（ｈ）は、参照信号抽出部２２０に入力された複素スペクトルＳ”に対して高域補間するまでの一連の処理を説明するための動作波形図を示す。図６（ａ）～図６（ｈ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：Ｈｚ）を示す。

　ここで、参照信号抽出部２２０がスレッシュホールド周波数Ｆｔｈの情報に基づいて複素スペクトルＳ”から参照信号Ｓｂを抽出する場合を考える。この場合、例えば、複素スペクトルＳ”全体のうち、スレッシュホールド周波数Ｆｔｈから低周波数側へｎ（０＜ｎ）％の範囲の複素スペクトルが参照信号Ｓｂとして抽出される。そのため、参照信号Ｓｂは、スレッシュホールド周波数Ｆｔｈを検出する際の、スレッシュホールド周波数Ｆｔｈ付近の複素スペクトルＳ”の周波数スロープの影響を受けて適正な信号レベルにならない虞がある。参照信号Ｓｂは、特に、高品質オーディオ信号の場合には、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープによる品質の劣化が大きく、適正な信号レベルとならないことがある。

　そこで、帯域検出部２１０は、検出されたスレッシュホールド周波数Ｆｔｈに対し、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープに応じたオフセット量αを掛け、オフセット後のスレッシュホールド周波数Ｆｔｈ（オフセット後周波数Ｆｔｈ’）を参照信号抽出部２２０に出力する。参照信号抽出部２２０は、複素スペクトルＳ”全体のうち、オフセット後周波数Ｆｔｈ’から低周波数側へｎ％の範囲の複素スペクトルを参照信号Ｓｂとして抽出する（図６（ａ）参照）。これにより、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープに起因する参照信号Ｓｂの品質劣化が抑えられる。

　図７は、スレッシュホールド周波数Ｆｔｈ付近（又はスレッシュホールド周波数Ｆｔｈ）における信号レベルの変化率βとオフセット量αとの関係を示す。なお、スレッシュホールド周波数Ｆｔｈ付近における変化率βは、例えば、スレッシュホールド周波数Ｆｔｈを含む所定範囲内における変化率βの平均値である。図７中、縦軸（ｙ軸）は、オフセット量α（単位：Ｈｚ）を示し、横軸（ｘ軸）は、信号レベルの変化率β（単位：ｄＢ）を示す。図７に示されるように、オフセット量αは、信号レベルの変化率βが－５０ｄＢ～０ｄＢの範囲において０Ｈｚ～－３ｋＨｚの間で変化し、変化率βが大きいほど（周波数スロープが急峻であるほど）絶対値が小さく、変化率βが小さいほど（周波数スロープが緩やかであるほど）絶対値が大きい。

　具体的には、図４の高圧縮オーディオ信号の例では、信号レベルの変化率βが大きく（周波数スロープが急峻であり）、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープによる参照信号Ｓｂの品質劣化が実質的に無い。そのため、オフセット量αはゼロである。従って、参照信号抽出部２２０は、スレッシュホールド周波数Ｆｔｈと同一のオフセット後周波数Ｆｔｈ’から低周波数側へｎ％の範囲の複素スペクトルを参照信号Ｓｂとして抽出する。

　一方、図５の高品質オーディオ信号の例では、信号レベルの変化率βが小さく（周波数スロープが緩やかであり）、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープによる参照信号Ｓｂの品質劣化が大きい。そのため、オフセット量αは－３ｋＨｚである。従って、参照信号抽出部２２０は、スレッシュホールド周波数Ｆｔｈよりも３ｋＨｚ低いオフセット後周波数Ｆｔｈ’から低周波数側へｎ％の範囲の複素スペクトルを参照信号Ｓｂとして抽出する。これにより、参照信号Ｓｂは、図６（ａ）に例示されるように、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープの影響が排除されて、十分な（適正な）信号レベルとなる。

　ここで、音声帯域（例えば肉声）の信号を基に生成された補間信号によって高域補間を行うと、聴感上違和感を与えやすい音質に劣化するという問題がある。これに対し、本実施形態では、複素スペクトルＳ”の周波数帯域が狭いほど参照信号Ｓｂの周波数帯域も狭くなるため、音質劣化の原因となる音声帯域の抽出が抑えられる。

　参照信号抽出部２２０は、複素スペクトルＳ”から抽出した参照信号Ｓｂを低域側（ＤＣ側）へ周波数シフトし（図６（ｂ）参照）、周波数シフトされた参照信号Ｓｂを参照信号補正部２３０に出力する。

　参照信号補正部２３０は、参照信号抽出部２２０より入力された参照信号Ｓｂ（リニアスケール）をデシベルスケールに変換し、変換されたデシベルスケールの参照信号Ｓｂについて一次の回帰分析により周波数スロープを検出する。参照信号補正部２３０は、一次の回帰分析により検出された周波数スロープの逆特性（参照信号Ｓｂに対する周波数毎の重み量）を計算する。具体的には、参照信号補正部２３０は、参照信号Ｓｂに対する周波数毎の重み量をｐ_１（ｘ）と定義し、横軸（ｘ軸）上の周波数領域のＦＦＴのサンプル位置をｘと定義し、一次の回帰分析にて検出された参照信号Ｓｂの周波数スロープの値をα_１と定義し、参照信号Ｓｂの周波数帯域に相当するＦＦＴのサンプル数の１／２をβ_１と定義した場合に、次式（１）により、周波数スロープの逆特性（参照信号Ｓｂに対する周波数毎の重み量ｐ_１（ｘ））を計算する。
［式（１）］
ｐ_１（ｘ）＝－α_１ｘ＋β_１

　図６（ｃ）に示されるように、参照信号Ｓｂに対する周波数毎の重み量ｐ_１（ｘ）はデシベルスケールで求められる。参照信号補正部２３０は、デシベルスケールの重み量ｐ_１（ｘ）をリニアスケールに変換する。参照信号補正部２３０は、リニアスケールに変換された重み量ｐ_１（ｘ）と、参照信号抽出部２２０より入力された参照信号Ｓｂ（リニアスケール）とを乗算することにより、参照信号Ｓｂを補正する。具体的には、参照信号Ｓｂは、フラットな周波数特性を持つ信号（参照信号Ｓｂ’）に補正される（図６（ｄ）参照）。

　補間信号生成部２４０には、参照信号補正部２３０にて補正された参照信号Ｓｂ’が入力される。補間信号生成部２４０は、参照信号Ｓｂ’をスレッシュホールド周波数Ｆｔｈより高い周波数帯域まで拡張（言い換えると、参照信号Ｓｂ’を複製し、複製によって複数に増加された参照信号Ｓｂ’をスレッシュホールド周波数Ｆｔｈより高い周波数帯域まで並べて配置）することにより、高域を含む補間信号Ｓｃを生成する（図６（ｅ）参照）。参照信号Ｓｂ’が拡張される範囲は、例えば、可聴域の上限に近い帯域や可聴域の上限を超える帯域まで含む。

　図８（ａ）及び図８（ｂ）は、補間信号生成部２４０の動作を説明するための動作波形図を示す。参照信号補正部２３０にて補正された参照信号Ｓｂ’は、厳密にはフラットな周波数特性を持つわけではない。そのため、補間信号生成部２４０において、参照信号Ｓｂ’が複数帯域に複製されると、複製された参照信号Ｓｂ’間で振幅と位相が急激に変化することによる帯域間干渉が発生する。これにより、本来の補間信号Ｓｃよりも時間軸上で前に信号が出力するプリエコーが発生する。そのため、補間信号生成部２４０は、図８（ａ）の上欄に示されるように、参照信号Ｓｂ’に所定の窓関数を掛けて周波数特性の重み付けを行ってオーバラップ処理を行ない、帯域間での信号レベル差及び位相差を小さくすることで帯域間干渉を低減させる。

　なお、図８（ａ）の上欄に例示される参照信号Ｓｂ’がそのまま複数帯域へ複製されると、補間信号Ｓｃがリップルを持つことになる。そのため、補間信号生成部２４０は、参照信号Ｓｂ’をそのピークを境に二分割し、分割された高周波数側の信号と低周波数側の信号とを入れ替える（図８（ａ）の下欄参照）。補間信号生成部２４０は、次いで、窓関数による重み付け後の参照信号Ｓｂ’（図８（ａ）の上欄参照）と入れ替え処理後の参照信号（同図下欄参照）とを合成して、帯域間でオーバラップ処理する。これにより、よりフラットな周波数特性を持つ参照信号Ｓｂ’が得られる（図８（ｂ）参照）。かかる参照信号Ｓｂ’を複数帯域へ複製しても帯域間干渉は生じず、プリエコーが発生しない、フラットな周波数特性を持つ補間信号Ｓｃが得られる。

　補間信号補正部２５０には、補間信号生成部２４０にて生成された補間信号Ｓｃが入力される。また、補間信号補正部２５０には、第一ノイズ低減回路２７０より複素スペクトルＳ’が入力されると共に、帯域検出部２１０よりオフセット後周波数Ｆｔｈ’の情報が入力される。

　補間信号補正部２５０は、第一ノイズ低減回路２７０より入力された複素スペクトルＳ’（リニアスケール）をデシベルスケールに変換し、変換されたデシベルスケールの複素スペクトルＳ’について一次の回帰分析により周波数スロープを検出する。なお、補間信号補正部２５０は、周波数スロープを検出する際、オフセット後周波数Ｆｔｈ’より高域側の情報は用いない。回帰分析範囲は任意に設定することができるが、典型的には、オーディオ信号の高域側と補間信号とを滑らかにつなぐため、低域成分を除く所定の周波数帯域に対応する範囲である。補間信号補正部２５０は、検出された周波数スロープ及び回帰分析範囲に対応する周波数帯域に応じた重み量を周波数毎に計算する。具体的には、補間信号補正部２５０は、補間信号Ｓｃに対する周波数毎の重み量をｐ_２（ｘ）と定義し、横軸（ｘ軸）上の周波数領域のＦＦＴのサンプル位置をｘと定義し、回帰分析範囲の上限の周波数をｂと定義し、ＦＦＴのサンプル長をｓと定義し、回帰分析範囲に対応する周波数帯域のスロープの値をα_２と定義し、所定の補正係数をｋと定義した場合に、次式（２）により、補間信号Ｓｃに対する周波数毎の重み量ｐ_２（ｘ）を計算する。
［式（２）］
ｐ_２（ｘ）＝－α’ｘ＋β_２
但し、
α’＝α_２－［１－（ｂ／ｓ）］／ｋ
β_２＝－α’ｂ
ｘ＜ｂのとき、ｐ_２（ｘ）＝－∞

　図６（ｆ）に示されるように、補間信号Ｓｃに対する周波数毎の重み量ｐ_２（ｘ）はデシベルスケールで求められる。補間信号補正部２５０は、デシベルスケールの重み量ｐ_２（ｘ）をリニアスケールに変換する。補間信号補正部２５０は、リニアスケールに変換された重み量ｐ_２（ｘ）と、補間信号生成部２４０にて生成された補間信号Ｓｃ（リニアスケール）とを乗算することにより、補間信号Ｓｃを補正する。補正後の補間信号Ｓｃ’は、例えば図６（ｇ）に示されるように、オフセット後周波数Ｆｔｈ’より高域の信号であり、周波数が高いほど減衰する特性を持つ。

　加算部２６０には、ＦＦＴ部１０より第一ノイズ低減回路２７０を介して複素スペクトルＳ’が入力されると共に、補間信号補正部２５０より補間信号Ｓｃ’が入力される。複素スペクトルＳ’は、高域成分が大幅にカット又は高域成分の情報が少ないオーディオ信号の複素スペクトルであり、補間信号Ｓｃ’は、当該オーディオ信号の周波数帯域より高い周波数領域の複素スペクトルである。加算部２６０は、複素スペクトルＳ’と補間信号Ｓｃ’とを合成することにより、高域が補間されたオーディオ信号の複素スペクトルＳＳを生成し（図６（ｈ）参照）、生成されたオーディオ信号の複素スペクトルＳＳをＩＦＦＴ部３０に出力する。

　このように、本実施形態では、スレッシュホールド周波数Ｆｔｈ付近の周波数スロープに応じてオフセットされたオフセット後周波数Ｆｔｈ’に基づいて複素スペクトルＳ”から参照信号Ｓｂが抽出される。これにより、周波数スロープに起因する参照信号Ｓｂの品質劣化が抑えられるため、品質の高い補間信号Ｓｃ’が生成可能となる。そのため、ＦＦＴ部１０に入力されるオーディオ信号の周波数特性に拘わらず、オーディオ信号に対して連続的変化で減衰する自然な特性のスペクトルでの高域補間が可能となり、聴感上の音質向上が達成される。

　また、本実施形態では、参照信号Ｓｂ’に窓関数による重み付け及びオーバラップ処理が行われることにより、帯域間干渉によるプリエコーの発生が抑えられる。すなわち、高域補間処理の副作用として現れるプリエコーが抑えられるため、聴感上の音質向上が達成される。

　ところで、音源部より入力されるオーディオ信号には、音源の収録環境や音響機材の影響により、スレッシュホールド周波数Ｆｔｈを超える帯域で不要な正弦波ノイズやサンプリング周波数の変換に伴うエイリアシングノイズ（折り返しノイズ）が混入しているものがある。図９（ａ）に、この種のノイズが混入されたオーディオ信号の複素スペクトルＳを例示する。図９（ａ）に例示される正弦波ノイズやエイリアシングノイズは、音質劣化の原因であるため、除去することが望まれる。

　そこで、第一ノイズ低減回路２７０は、スレッシュホールド周波数Ｆｔｈに応じてカットオフ周波数が可変するローパスフィルタを備える。具体的には、第一ノイズ低減回路２７０は、ＦＦＴ分１０より入力される複素スペクトルＳを、帯域検出部２１０より入力されるスレッシュホールド周波数Ｆｔｈの情報に基づいてフィルタリングし、フィルタリングされた複素スペクトルＳ’を後段の回路に出力する。

　図９（ｂ）に、図９（ａ）に例示される複素スペクトルＳをスレッシュホールド周波数Ｆｔｈでフィルタリングした結果得られる複素スペクトルＳ’を示す。図９（ｂ）に示されるように、複素スペクトルＳ’は、第一ノイズ低減回路２７０によって正弦波ノイズやエイリアシングノイズが除去されている。これにより、正弦波ノイズやエイリアシングノイズによる音質の劣化が抑えられる。

　また、音源部より入力されるオーディオ信号には、音源の収録環境や音響機材の影響により、スレッシュホールド周波数Ｆｔｈより低い帯域で不要な正弦波ノイズが混入しているものがある。図１０（ａ）に、この種のノイズが混入されたオーディオ信号の複素スペクトルＳを例示する。

　図１０（ａ）の例では、参照信号Ｓｂとして抽出される帯域にノイズが混入している。ノイズが混入された参照信号Ｓｂを基に補間信号を生成して高域補間を行うと、高域補間されたオーディオ信号には、図１０（ｂ）に示されるように、参照信号Ｓｂ’の複製回数に応じて増加したノイズが重畳される。

　そこで、本実施形態では、参照信号Ｓｂに混入され得るノイズは、参照信号Ｓｂ’を複数帯域に複製する前段側で予め低減される。具体的には、第二ノイズ低減回路２８０は、ＳＴＦＴ毎に低域から高域に亘って複数回入力される複素スペクトルＳ’を振幅スペクトルと位相スペクトルに変換する。第二ノイズ低減回路２８０は、変換された各振幅スペクトルにおいて、フィルタリング処理による定常的な成分（すなわちＤＣ及びＤＣ付近の変動成分）を抑圧する。第二ノイズ低減回路２８０は、抑圧後の振幅スペクトルと位相スペクトルから複素スペクトルへの再変換を行う。これにより得られる複素スペクトルＳ”は、図１０（ｃ）に示されるように、正弦波等の定常的な成分のみが抑圧されたものとなる。正弦波等が抑圧された参照信号Ｓｂを基に補間信号を生成して高域補間を行うと、図１０（ｄ）に示されるように、参照信号Ｓｂ’を複製する過程でのノイズの増加が抑えられる。その結果、正弦波ノイズによる音質の劣化が抑えられる。

［具体的動作パラメータ例］
　次に、本実施形態の音響処理装置１の動作パラメータ例を示す。ここに例示される動作パラメータは、下記の各事例１～４に適用される。なお、各事例１～４で処理されるオーディオ信号は、高品質オーディオ信号である。

（ＦＦＴ部１０／ＩＦＦＴ部３０）
サンプリング周波数：９６ｋＨｚ
サンプル長　　　　：８，１９２サンプル
窓関数　　　　　　：ハニング
オーバラップ長　　：７５％
（帯域検出部２１０）
最小制御周波数　　：７ｋＨｚ
低中域範囲　　　　：２ｋＨｚ～６ｋＨｚ
高域範囲　　　　　：４６ｋＨｚ～４８ｋＨｚ
高域レベル判定　　：－４０ｄＢ
信号レベル差　　　：３０ｄＢ
スレッシュホールド：０．５
一次ハイパスフィルタの正規化カットオフ周波数：０．００５
（参照信号抽出部２２０）
参照帯域幅　　　　：６ｋＨｚ
（補間信号生成部２４０）
窓関数　　　　　　：ハニング
（補間信号補正部２５０）
下限周波数　　　　：５００Ｈｚ
補正係数ｋ　　　　：０．０１
（第一ノイズ低減回路２７０）
スレッシュホールド周波数Ｆｔｈに応じた可変ローパスフィルタ
（第二ノイズ低減回路２８０）
一次ハイパスフィルタの正規化カットオフ周波数：０．０１

　「サンプリング周波数（＝９６ｋＨｚ）」は、ＳＴＦＴによる周波数領域のＦＦＴのサンプル位置を周波数に変換して示したものである。「最小制御周波数（＝７ｋＨｚ）」は、帯域検出部２１０にて検出されるスレッシュホールド周波数Ｆｔｈが７ｋＨｚ未満の場合、高域補間を行わないことを示す。「高域レベル判定（＝－４０ｄＢ）」は、高域範囲の信号レベルが－４０ｄＢ以上の場合、高域補間を行わないことを示す。「信号レベル差（＝３０ｄＢ）」は、低中域範囲と高域範囲との信号レベル差が３０ｄＢ以下の場合、高域補間を行わないことを示す。「スレッシュホールド（＝０．５）」は、スレッシュホールド周波数Ｆｔｈを検出するためのスレッシュホールドが低中域範囲の信号レベル（平均値）と高域範囲の信号レベル（平均値）との中間値であることを示す。帯域検出部２１０の「一次ハイパスフィルタの正規化カットオフ周波数」は、変化率βを検出する際に設定される値である。「参照帯域幅（＝６ｋＨｚ）」は、「最小制御周波数（＝７ｋＨｚ）」に対応する参照信号Ｓｂの帯域幅である。「下限周波数（＝５００Ｈｚ）」は、補間信号補正部２５０による回帰分析の範囲下限を示す（すなわち、５００Ｈｚ未満は回帰分析の範囲に含まれない。）。

［事例１］
　図１１（ａ）～図１１（ｃ）は、事例１を説明するための図である。図１１（ａ）～図１１（ｃ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：ｋＨｚ）を示す。事例１では、周波数スロープに応じたスレッシュホールド周波数Ｆｔｈのオフセット処理を導入することによる効果を説明する。

　図１１（ａ）は、事例１において、高域補間処理部２０に入力されるオーディオ信号の複素スペクトルＳを示す。図１１（ａ）に示される複素スペクトルＳは、高品質オーディオ信号のスペクトルであることから、高域側の周波数スロープ（２２ｋＨｚ～２５ｋＨｚ辺り）が急峻で無く比較的緩やかである。

　図１１（ｂ）及び図１１（ｃ）は、図１１（ａ）に示される入力（複素スペクトルＳ）に対する出力（複素スペクトルＳＳ）を示す。図１１（ｂ）は、事例１において、周波数スロープに応じたスレッシュホールド周波数Ｆｔｈのオフセット処理を行わなかった場合の出力を示す。図１１（ｃ）は、事例１において、周波数スロープに応じたスレッシュホールド周波数Ｆｔｈのオフセット処理を行った場合の出力を示す。

　周波数スロープに応じたスレッシュホールド周波数Ｆｔｈのオフセット処理が行われないと、図１１（ｂ）に示されるように、周波数領域において複素スペクトルＳ’と補間信号Ｓｃ’とが滑らかにつながらず（２２ｋＨｚ～２５ｋＨｚ辺りにギャップが生じて）、補間領域（高域）への減衰が不自然となる。加えて、参照信号Ｓｂが充分な（適正な）信号レベルを持たないことから、補間領域での減衰が連続性を欠き、不自然となる。

　これに対し、周波数スロープに応じたスレッシュホールド周波数Ｆｔｈのオフセット処理が行われると、図１１（ｃ）に示されるように、周波数領域において複素スペクトルＳ’と補間信号Ｓｃ’とが滑らかにつながり、補間領域（高域）への減衰が自然となる。加えて、参照信号Ｓｂが充分な（適正な）信号レベルを持つことから、補間領域での減衰が連続的で自然なものになる。

［事例２］
　図１２（ａ）～図１２（ｃ）は、事例２を説明するための図（スペクトログラム）である。図１２（ａ）～図１２（ｃ）の各図中、縦軸（ｙ軸）は、周波数（単位：ｋＨｚ）を示し、横軸（ｘ軸）は時間（又はサンプル数）（単位：ｍｓｅｃ）を示し、色の濃淡はパワー（単位：ｄＢ）を示す。事例２では、参照信号Ｓｂ’に対する窓関数による重み付け及びオーバラップ処理を導入することによる効果を説明する。

　図１２（ａ）は、事例２において、音響処理装置１に入力されるオーディオ信号のスペクトログラムを示す。

　図１２（ｂ）及び図１２（ｃ）は、図１２（ａ）に示される入力に対する音響処理装置１の出力を示す。図１２（ｂ）は、事例２において、参照信号Ｓｂ’に対する窓関数による重み付け及びオーバラップ処理を行わなかった場合の出力を示す。図１２（ｃ）は、事例２において、参照信号Ｓｂ’に対する窓関数による重み付け及びオーバラップ処理を行った場合の出力を示す。

　参照信号Ｓｂ’に対する窓関数による重み付け及びオーバラップ処理が行われないと、図１２（ｂ）に示されるように、帯域間干渉によりプリエコー（同図中、高周波側において時間軸方向に細く線状に伸びる成分）が発生する。

　これに対し、参照信号Ｓｂ’に対する窓関数による重み付け及びオーバラップ処理が行われると、図１２（ｃ）に示されるように、帯域間干渉によるプリエコーの発生が抑えられる。

［事例３］
　図１３（ａ）及び図１３（ｂ）は、事例３を説明するための図である。図１３（ａ）、図１３（ｂ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：ｋＨｚ）を示す。事例３では、第一ノイズ低減回路２７０によるノイズ除去処理を導入することによる効果を説明する。

　図１３（ａ）は、事例３において、第一ノイズ低減回路２７０に入力されるオーディオ信号の複素スペクトルＳを示す。図１３（ａ）に示されるように、事例３では、正弦波ノイズやエイリアシングノイズが複素スペクトルＳに含まれている。

　図１３（ｂ）は、事例３において、第一ノイズ低減回路２７０より出力されるオーディオ信号の複素スペクトルＳ’を示す。図１３（ｂ）に示されるように、複素スペクトルＳ’は、第一ノイズ低減回路２７０より正弦波ノイズやエイリアシングノイズが除去される。

［事例４］
　図１４（ａ）～図１４（ｃ）は、事例４を説明するための図である。図１４（ａ）～図１４（ｃ）の各図中、縦軸（ｙ軸）は、信号レベル（単位：ｄＢ）を示し、横軸（ｘ軸）は、周波数（単位：ｋＨｚ）を示す。事例４では、第二ノイズ低減回路２８０によるノイズ除去処理を導入することによる効果を説明する。

　図１４（ａ）は、事例４において、高域補間処理部２０に入力されるオーディオ信号の複素スペクトルＳを示す。図１４（ａ）に示される複素スペクトルＳは、参照信号Ｓｂとして抽出される帯域に正弦波ノイズが混入している。

　図１４（ｂ）及び図１４（ｃ）は、図１４（ａ）に示される入力（複素スペクトルＳ）に対する出力（複素スペクトルＳＳ）を示す。図１４（ｂ）は、事例４において、第二ノイズ低減回路２８０によるノイズ除去処理を行わなかった場合の出力を示す。図１４（ｃ）は、事例４において、第二ノイズ低減回路２８０によるノイズ除去処理を行った場合の出力を示す。

　第二ノイズ低減回路２８０によるノイズ除去処理が行われないと、図１４（ｂ）に示されるように、参照信号Ｓｂ’の複製回数に応じて増加したノイズが複素スペクトルＳＳに重畳される。

　これに対し、第二ノイズ低減回路２８０によるノイズ除去処理が行われると、図１４（ｃ）に示されるように、参照信号Ｓｂ’を複製する過程でのノイズの増加が抑えられる。

　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施例等又は自明な実施例等を適宜組み合わせた内容も本願の実施形態に含まれる。例えば、本実施形態では、参照信号補正部２３０は、周波数帯域内で単調に増幅又は減衰する特性の参照信号Ｓｂを補正するため、一次の回帰分析を用いている。しかし、参照信号Ｓｂの特性は線形に限らず、場合によっては非線形となる。周波数帯域内で増幅と減衰とを繰り返す特性の参照信号Ｓｂを補正する場合を考える。この場合、参照信号補正部２３０は、次数を増加して回帰分析を行って逆特性を算出し、算出された逆特性により参照信号Ｓｂを補正する。

Claims

　オーディオ信号から所定の条件を満たす周波数を検出する周波数検出手段と、
　前記周波数検出手段による検出周波数又はその付近の周波数特性に応じて該検出周波数をオフセットするオフセット手段と、
　前記オフセット手段によるオフセット後の検出周波数に基づいて前記オーディオ信号から信号を抽出して参照信号を生成する参照信号生成手段と、
　生成された参照信号に基づいて補間信号を生成する補間信号生成手段と、
　生成された補間信号を前記オーディオ信号と合成することで該オーディオ信号の高域補間を行う信号合成手段と、
を備える、
信号処理装置。
　前記オフセット手段は、
　　前記検出周波数又はその付近における前記オーディオ信号のスロープ特性を検出し、
　　検出されたスロープ特性に応じて前記検出周波数に対するオフセット量を変える、
請求項１に記載の信号処理装置。
　前記オフセット手段は、
　　前記検出周波数又はその付近において前記オーディオ信号の減衰が緩やかであるほど前記検出周波数に対するオフセット量を大きな値に設定する、
請求項２に記載の信号処理装置。
　前記参照信号生成手段は、
　　前記オーディオ信号のうち、前記オフセット後の検出周波数から低周波数側へｎ％の範囲の信号を抽出し、
　　抽出された信号を用いて前記参照信号を生成する、
請求項１から請求項３の何れか一項に記載の信号処理装置。
　前記周波数検出手段は、
　　前記オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、
　　計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、
　　設定されたスレッシュホールドのレベルを下回る周波数を前記所定の条件を満たす周波数として検出する、
請求項１から請求項４の何れか一項に記載の信号処理装置。
　前記周波数検出手段は、
　　前記スレッシュホールドのレベルを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を前記所定の条件を満たす周波数として検出する、
請求項５に記載の信号処理装置。
　前記補間信号生成手段は、
　　前記参照信号生成手段により生成された参照信号に対して所定の窓関数による重み付け及びオーバラップ処理を行ったうえで、該参照信号の複製を行い、
　　複製によって複数に増加された参照信号を前記検出周波数より高い周波数帯域まで並べて配置し、
　　並べて配置された参照信号群の各周波数成分に対して前記オーディオ信号の周波数特性に応じた重み付けを行うことにより、前記補間信号を生成する、
請求項１から請求項６の何れか一項に記載の信号処理装置。
　前記補間信号生成手段による前記参照信号の複製に先立ち、該参照信号に含まれるノイズを低減するノイズ低減手段
を備える、
請求項７に記載の信号処理装置。
　前記オーディオ信号をフィルタリングするフィルタ手段
を備え、
　前記信号合成手段は、
　　前記フィルタ手段によりフィルタリングされたオーディオ信号に前記補間信号を合成することで該オーディオ信号の高域補間を行い、
　前記フィルタ手段は、
　　前記検出周波数に応じて前記オーディオ信号に対するカットオフ周波数が可変する、
請求項１から請求項８の何れか一項に記載の信号処理装置。
　オーディオ信号から所定の条件を満たす周波数を検出する周波数検出ステップと、
　前記周波数検出ステップでの検出周波数又はその付近の周波数特性に応じて該検出周波数をオフセットするオフセットステップと、
　前記オフセットステップでのオフセット後の検出周波数に基づいて前記オーディオ信号から信号を抽出して参照信号を生成する参照信号生成ステップと、
　生成された参照信号に基づいて補間信号を生成する補間信号生成ステップと、
　生成された補間信号を前記オーディオ信号と合成することで該オーディオ信号の高域補間を行う信号合成ステップと、
を含む、
信号処理方法。
　前記オフセットステップにて、
　　前記検出周波数又はその付近における前記オーディオ信号のスロープ特性を検出し、
　　検出されたスロープ特性に応じて前記検出周波数に対するオフセット量を変える、
請求項１０に記載の信号処理方法。
　前記オフセットステップにて、
　　前記検出周波数又はその付近において前記オーディオ信号の減衰が緩やかであるほど前記検出周波数に対するオフセット量を大きな値に設定する、
請求項１１に記載の信号処理方法。
　前記参照信号生成ステップにて、
　　前記オーディオ信号のうち、前記オフセット後の検出周波数から低周波数側へｎ％の範囲の信号を抽出し、
　　抽出された信号を用いて前記参照信号を生成する、
請求項１０から請求項１２の何れか一項に記載の信号処理方法。
　前記周波数検出ステップにて、
　　前記オーディオ信号内の第１の周波数領域及び該第１の周波数領域よりも高い第２の周波数領域のレベルを計算し、
　　計算された第１及び第２の周波数領域のレベルに基づいてスレッシュホールドを設定し、
　　設定されたスレッシュホールドのレベルを下回る周波数を前記所定の条件を満たす周波数として検出する、
請求項１０から請求項１３の何れか一項に記載の信号処理方法。
　前記周波数検出ステップにて、
　　前記スレッシュホールドのレベルを下回る少なくとも１つの周波数ポイントのうち最も高域側の周波数ポイントの周波数を前記所定の条件を満たす周波数として検出する、
請求項１４に記載の信号処理方法。
　前記補間信号生成ステップにて、
　　前記参照信号生成ステップにて生成された参照信号に対して所定の窓関数による重み付け及びオーバラップ処理を行ったうえで、該参照信号の複製を行い、
　　複製によって複数に増加された参照信号を前記検出周波数より高い周波数帯域まで並べて配置し、
　　並べて配置された参照信号群の各周波数成分に対して前記オーディオ信号の周波数特性に応じた重み付けを行うことにより、前記補間信号を生成する、
請求項１０から請求項１５の何れか一項に記載の信号処理方法。
　前記補間信号生成ステップでの前記参照信号の複製に先立ち、該参照信号に含まれるノイズを低減するノイズ低減ステップ
を含む、
請求項１６に記載の信号処理方法。
　前記オーディオ信号をフィルタリングするフィルタステップ
を含み、
　前記信号合成ステップにて、
　　前記フィルタステップでフィルタリングされたオーディオ信号に前記補間信号を合成することで該オーディオ信号の高域補間を行い、
　前記フィルタステップにて、
　　前記検出周波数に応じて前記オーディオ信号に対するカットオフ周波数が可変する、
請求項１０から請求項１７の何れか一項に記載の信号処理方法。