JP5141180B2 - 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 - Google Patents

Description

本発明は、高周波数帯域の信号を削除して符号化された符号化データをより高音質に再生するのに最適な信号処理装置及び信号処理方法、再生装置及び再生方法、再生処理をコンピュータに実行させるプログラム及びそのプログラムか記録された記録媒体、並びに復号化装置及び復号化方法に関するものである。

近年、ＭＰ３（国際標準規格ISO/IEC 11172-3, MPEG Audio Layer3）などの符号化されたデータを提供する音楽配信サービスが広まりつつある。これらのサービスでは、ダウンロードの際に時間がかからないように、ビットレートを低く抑えた符号化データの配信が主流である。

低ビットレートの符号化データは、ファイル容量を抑えるために、人間の耳には知覚され難い約１５ｋＨｚ以上の高周波数帯域の信号を削除して符号化していることが多い。その結果、ファイル容量は小さく収まるが、高周波数帯域を削除することで、原信号がもつ臨場感が失われ、音がこもるという問題がある。

これに対し、ＨＥ−ＡＡＣ（国際標準規格ISO/IEC 14496-3, High Efficiency MPEG4 AAC）などの符号化方式では、帯域拡大技術によって、約１５ｋＨｚ以上の高周波数帯域を生成し、原信号に近い高周波数成分を再現している。また、近年では、高周波数帯域の信号を削除して符号化したデータを復号化処理して得られる信号を入力し、高周波数帯域を補完する後処理帯域拡大技術などにより原信号に近い高周波数成分を再現している。

例えば、特許文献１で提示されている手法では、入力信号と局部発振信号を混合して高周波数帯域を生成し、符号化方式や楽曲のジャンルに応じた通過域特性でフィルタリングした高域周波数成分と、入力信号を加算することで帯域を補完している。また、特許文献２で提示されている手法では、フーリエ変換を用いて入力信号を周波数領域へ変換し、低周波数帯域の周波数スペクトルから高周波数帯域の包絡線を推定し、その包絡に沿うように低周波数帯域の周波数スペクトルの利得を調整して貼り付けを行っている。

特開２００４−１８４４７２号公報 特開２００２−１７５０９２号公報 特許第３５３８１２２号公報

しかし、上記特許文献１で提示されている手法では、予め学習する高域通過フィルタの通過域特性の種類に限りがあり、高周波数帯域の利得調整における柔軟性が得られない。また、上記特許文献２で提示されている手法では、フーリエ変換して周波数領域にて振幅を調整し、逆フーリエ変換することで時間信号を得ているが、フーリエ変換長に依存した時間エイリアシングが起きてしまうという問題がある。

また、特許文献３では、帯域分割フィルタを用いることでこれらの問題を回避している。図１０は、特許文献３で提案された従来の再生装置のブロック図である。この手法では、入力されたＰＣＭ（Pulse-Code Modulation）信号に対し、帯域分割部１０１において複数のサブバンド信号に分解している。さらに、包絡推定部１０２にて、フレーム単位の周波数包絡の推定を行い、高域生成部１０３にて高周波数帯域のサブバンド信号を生成している。最後に、帯域拡大されたサブバンド信号を帯域合成部１０４に入力し、帯域拡大されたＰＣＭ信号を出力している。

しかし、上記特許文献３の手法には、三つの問題がある。一つ目は、一定のフレーム単位の処理の結果、入力信号の一フレーム内での時間的変動に追従した高周波数帯域信号の生成が行われないという問題である。二つ目は、極度に大きな信号が入力された場合、それに応じて高周波数帯域の信号も大きく計算されてしまうことで、帯域合成フィルタの出力がオーバーフローする可能性があるという問題である。三つ目は、符号化データを復号化処理して得られる信号を入力し、高周波数帯域を補完する後処理帯域拡大技術においては、帯域拡大する開始周波数帯域が未知であるという問題である。

本発明は、これらの問題点を鑑みてなされたものであり、高周波数帯域の信号を削除して符号化された符号化データを、より高音質に再生することができる信号処理装置及び信号処理方法、再生装置及び再生方法、再生処理をコンピュータに実行させるプログラム及びそのプログラムか記録された記録媒体、並びに復号化装置及び復号化方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る信号処理装置は、入力信号の拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段とを備える。

また、本発明に係る情報処理方法は、入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程とを有する。

また、本発明に係る再生装置は、入力信号を帯域拡大した後に再生する再生装置において、上記入力信号の拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段とを備え、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する。

また、本発明に係る再生方法は、入力信号を帯域拡大した後に再生する再生方法において、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程とを有する。

また、本発明に係るプログラムは、入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムにおいて、コンピュータに、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程とを実行させる。

また、本発明に係る記録媒体は、入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムが記録された記録媒体において、コンピュータに、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程とを実行させるプログラムが記録されている。

また、本発明に係る復号化装置は、入力された符号化データを復号化処理して入力信号を得る復号化手段と、上記符号化データに関するサイド情報をもとに拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段とを備える。
また、本発明に係る復号化方法は、入力された符号化データを復号化処理して入力信号を得る復号化工程と、上記符号化データに関するサイド情報をもとに拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程とを備える。

本発明によれば、入力信号の拡大開始帯域を決定し、当該拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大するようにしたため、入力信号をより高音質に再生することができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施形態は、入力信号をより高音質に再生するものである。

図１は、本実施の形態における周波数帯域拡大装置１０の構成を示すブロック図である。この周波数帯域拡大装置１０は、拡大制御部１１と、帯域分割部１２と、時間分類部１３と、包絡推定部１４と、帯域補完部１５と、高域生成部１６と、位相調整部１７と、帯域合成部１８とを備えて構成されている。

拡大制御部１１は、入力信号に関する、符号化方式の種類、サンプリングレート、ビットレート等のサイド情報を入力し、このサイド情報により拡大開始周波数帯域を決定し、帯域分割部１２へ供給する。なお、サイド情報は、入力信号の符号化方式の種類に応じて予め設定された値でも良いし、利用者によって設定される任意の値でも良い。

帯域分割部１２は、入力信号を複数のサブバンド信号に分割する。そして、生成した複数のサブバンド信号のうち、拡大開始周波数帯域より低域側の複数のサブバンド信号（以下、低域側サブバンド信号という）を帯域合成部１８へ、また、低域側サブバンド信号の中でも拡大開始周波数帯域に近い側の複数のサブバンド信号（以下、拡大低域側サブバンド信号という）を時間分類部１３と高域生成部１６へ供給する。

時間分類部１３は、拡大低域側サブバンド信号の時間方向での過渡検出を行い、拡大低域側サブバンド信号の時間方向でのグループ化を行って、拡大低域側サブバンド信号のグループ毎の平均サンプルパワーを生成し、包絡推定部１４へ供給する。

包絡推定部１４は、時間分類部１３にて生成された平均サンプルパワーの和から、グループ毎にグループパワーを求め、拡大低域側サブバンド信号全体のグループパワーの平均値を計算する。そして、グループパワーの平均値を起点として、一次直線による外挿から、拡大周波数帯域より高域側のサブバンドの包絡値を推定し、帯域補完部１５へ供給する。

帯域補完部１５は、高域側のサブバンドの包絡値と低域側のサブバンドの包絡値から、拡大低域側サブバンド信号から高域側のサブバンド信号への利得調整値を計算し、高域生成部１６へ供給する。

高域生成部１６は、高域側のサブバンドの利得調整値を拡大低域側サブバンド信号に乗算することで、高域側のサブバンド信号を生成し、位相調整部１７へ供給する。

位相調整部１７は、高域生成部１６より生成された高域側のサブバンド信号の位相をずらし、帯域合成部１８へ供給する。

帯域合成部１８は、位相調整部１７より供給された高域側のサブバンド信号と、帯域分割部より供給された低域側サブバンド信号とを帯域合成し、帯域拡大された信号を出力する。

このように入力信号に関するサイド情報を用いることにより、帯域拡大する拡大開始周波数帯域を高精度に決定することができる。また、拡大開始周波数帯域より高域側のサブバンド信号を、拡大開始周波数帯域に近い拡大低域側サブバンド信号に基づいて生成するため、より高音質に周波数帯域を拡大することができる。また、生成された高域側のサブバンド信号の位相をずらすことにより、オーバーフローを防止することができる。

以下、上述した周波数帯域拡大装置の各構成部についてさらに詳細に説明する。

（拡大制御部）
拡大制御部１１は、入力信号に関するサイド情報により、拡大開始周波数帯域を決定する。サイド情報としては、符号化方式の種類、サンプリングレート、ビットレート等が挙げられる。なお、サイド情報は、入力信号の符号化方式の種類に応じて予め設定された値でも良いし、利用者によって設定される任意の値でも良い。

入力信号の周波数帯域は、一般的に、符号化方式の種類、サンプリングレート、ビットレート等、さまざまなサイド情報と相関関係を有しているため、本実施の形態では、このサイド情報を用いて、入力信号の周波数帯域を推定し、周波数帯域補完する拡大開始周波数帯域ｓｂを決定する。決定された拡大開始周波数帯域ｓｂは帯域分割部１２へと供給される。

図２は、サイド情報と拡大開始周波数帯域ｓｂの関係を示す図である。この図２に示す例は、入力信号の周波数帯域を１６個に分割した場合を示すものであり、符号化方式、サンプリングレート及びビットレートに応じて、拡大開始周波数帯域ｓｂ（ｓｂは０以上１５以下の任意の定数）が決定される。例えば、サイド情報が、符号化方式がＢ、サンプリングレートが４４１００Ｈｚ、ビットレートが６４−９６ｋｂｐｓの場合、拡大開始周波数帯域ｓｂは、９と決定される。サイド情報を決定する要素としては、上記の他、Stereo/Mono、CBR/VBRの違いなどが考えられる。

（帯域分割部）
帯域分割部１２は、入力信号ｘ（ｎ）を１６個のサブバンド信号ｘ（ｉｂ，ｎ）に分割する（ｉｂ＝０〜１５、ここで、ｉｂが大きいほど高域のサブバンド信号を示す）。そして、これら１６個のサブバンド信号ｘ（ｉｂ，ｎ）のうち、０から拡大開始周波数帯域（以下、ｓｂと呼ぶ。）の１つ前（ｓｂ−１）までのサブバンド信号ｘ（ｉｂ，ｎ）を帯域合成部１８へ、ｓｂ−４からｓｂ−１までのサブバンド信号ｘ（ｉｂ，ｎ）を時間分類部１３と高域生成部１６へ供給する。

なお、本実施の形態では、入力信号ｘ(ｎ)を１６個のサブバンド信号ｘ(ｉｂ，ｎ)に分割することとして説明するが、サブバンド分割数はこれに限定されるものではない。

（時間分類部）
時間分類部１３は、音の立ち上がり・立ち下がりなどの時間方向の過渡検出をする毎に別グループとして分類し、グループ毎に高周波数帯域を補完する。これにより、非定常部と定常部が存在し、利得や周波数特性に差異がある自然界の音響信号においても音質劣化を防ぐことができる。一方、特許文献３に記載の技術は、フレーム処理を行い、フレーム単位で処理を行い、高周波数帯域を補完している。つまり、自然界の音響信号を分離せず、時間変動を考慮せずに補完を行うこととなるため、音質劣化の原因となる。

・時間分割及びパワーエンベロープの算出
帯域分割部１２より供給された、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号ｘ（ｉｂ，ｎ）を入力とする。各サブバンド信号ｘ（ｉｂ，ｎ）を、時間方向に１６分割し、その１単位をスロットとする。そして、サブバンド信号ｘ（ｉｂ，ｎ）から、スロット毎に、１サンプルあたりの平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)を計算する。このとき、１スロットあたりのサンプル数を８とする。

・過渡検出によるグループ化
ｓｂ−４からｓｂ−１までの低域側のサブバンドにおいて、全１６スロット夫々について、平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)を時間的な方向で（時間軸に沿って前後で）比較し、立ち上がり・立ち下がりの過渡検出を行う。ここでの過渡検出とは、平均サンプルパワーについて時間方向に変動が大きい箇所を検出することを言う。

探索中のスロットと、その１スロット前の平均サンプルパワーｐｏｗｅｒ(ｉｂ,ｉｓｌｏｔ−１)との比（ｒａｔｉｏ）を算出し、ｒａｔｉｏが１６倍以上のときを立ち上がり、１／１６（＝０．０６２５）倍以下のときを立ち下がりとして、時間的に過去に過渡検出されたスロットから現在過渡検出されたスロットの次のスロットまでを１つのグループとする。

あるサブバンドｉｂにおいて、立ち上がりまたは立ち下がりが検出された場合には、ｓｂ−４からｓｂ−１の低域側のすべてのサブバンドにおいても過渡検出されたものとする。

この結果、時間変動を考慮したグループ化が行われ、より自然界の音響信号に近い高周波数帯域成分を作り出し、高音質化することが可能となる。

本実施の形態では、帯域分割部より供給された、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号ｘ（ｉｂ,ｎ）を、それぞれ時間方向に１６分割し、その１単位をスロットとしているが、時間方向の分割数については限定しない。また、８サンプルでスロットとしているが、時間方向の分割数及び1スロットのサンプル数については限定しない。また、過渡検出のためのｒａｔｉｏが１６倍以上のときを立ち上がり、１／１６（＝０．０６２５）倍以下のときを立ち下がりとしたが、帯域分割数や時間方向の分割数などに応じて、立ち上がり検出や立ち下がり検出の閾値である１６や１／１６（＝０．０６２５）を変更してもよい。

・過渡検出対象サブバンドの決定
符号劣化を伴う符号化信号のグループ化では、過渡検出を行う対象の低域側のサブバンド信号の劣化具合によって、時間変動の正確性が左右される。図３は、符号劣化が激しい場合の周波数振幅特性を示す図である。図３に示すように符号劣化ａが激しい場合、周波数軸に穴が空く現象として見受けられ、時間分類部１３がその穴を信号の減衰部分と解釈し、原信号では過渡部分が存在しない箇所でも、過渡検出を行ってしまうという問題がある。その結果、グループ化の精度低下による音質劣化にとどまらず、過渡検出による計算量の増加を伴ってしまう。

そこで、本実施の形態では、平均サンプルパワーのサブバンド毎の最大値の比較を用いて、過渡検出に必要なサブバンドであるか否かを判断し、その後、実際の過渡検出を行っている。また、全サブバンドが極端に微小な信号の場合も、聴感にかからない範囲の時間変動を拾うことによる計算量の増加を防ぐため、過渡検出を行わない。

図４は、過渡検出の対象サブバンドの決定の処理の流れを示すフローチャートである。

ステップＳ４１〜ステップＳ４３では、ｓｂ−４からｓｂ−１までの低域側の４つのサブバンドにおいて、全１６スロットの平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)の中で最大値を探索し、その値をそのサブバンドの代表値ｍａｘ ｐｏｗｅｒ(ｉｂ)とする。

ステップＳ４４では、低域側の４つのサブバンドで求めた４個の代表値ｍａｘ ｐｏｗｅｒ(ｉｂ)（ｉｂ＝ｓｂ−４，ｓｂ−３，ｓｂ−２，ｓｂ−１）の中で最大の値をもつサブバンドを親サブバンドｐｂとし、残りを子サブバンドｃｂ(０)、ｃｂ(１)、ｃｂ(２)とする。親サブバンドの代表値をｍａｘ ｐｏｗｅｒ(ｐｂ)とする（ステップＳ４５）。

ステップＳ４６において、親サブバンドの代表値ｍａｘ ｐｏｗｅｒ(ｐｂ)が、１６ｂｉｔ ｆｕｌｌ ｓｃａｌｅ基準の−８０[ｄＢＦｓ]以上のレベルの場合、ステップＳ４７に進む。

一方、親サブバンドの代表値ｍａｘ ｐｏｗｅｒ(ｐｂ)が、１６ｂｉｔ ｆｕｌｌ ｓｃａｌｅ基準の−８０[ｄＢＦｓ]より小さいレベルの場合、低域側の全４バンドにおいて過渡検出による時間方向のグルーピングを一切行わない。すなわち、対象サブバンドは無いこととなる（ステップＳ４８）。この結果、微小信号の過渡検出を行わず、無駄な計算量の増加を防ぐことができる。

ステップＳ４７において、ｍａｘ ｐｏｗｅｒ(ｉｂ)が−８０[ｄＢＦｓ]以上かつ、親サブバンドｐｂの代表値ｍａｘ ｐｏｗｅｒ(ｐｂ)に対して、ある子サブバンドｃｂ(ｍ)の代表値ｍａｘ ｐｏｗｅｒ(ｃｂ(ｍ))が０．００１５６２５倍より小さい値ならば、ステップＳ４９に進み、このサブバンドにおいて過渡検出を一切行わない。

一方、ｍａｘ ｐｏｗｅｒ(ｉｂ)が−８０[ｄＢＦｓ]以上かつ、親サブバンドｐｂの代表値ｍａｘ ｐｏｗｅｒ(ｐｂ)に対して子サブバンドｃｂ(ｍ)の代表値ｍａｘ ｐｏｗｅｒ(ｃｂ(ｍ))が０．００１５６２５倍以上の値ならば、ステップＳ５０に進み、このサブバンドにおいて過渡検出を行う。過渡検出の対象サブバンドには親サブバンドｐｂも含まれる。

この結果、符号劣化による時間変動の誤検出を防ぎ、より自然音響信号に近い時間包絡を再現することで、高音質化することが可能である。時間分類部１３にて生成されたｓｂ−４からｓｂ−１まで低域側の４つのサブバンドｉｂの平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)は、包絡推定部１４に供給される。

なお、本実施の形態では、過渡検出のためのｒａｔｉｏが０．００１５６２５倍より小さい値を持つサブバンドならば過渡検出を行っていないが、帯域分割数や時間方向の分割数などに応じて、過渡検出のための閾値である０．００１５６２５を変更しても構わない。

（包絡推定部）
包絡推定部１４は、まず、時間分類部１３にて生成された平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)の和から、グループ毎にグループパワーを求め、ｓｂ−４からｓｂ−１までの低域側のサブバンドのグループパワーの平均値を計算する。さらに、その低域側のサブバンドのグループパワーの平均値を起点として、一次直線による外挿から、ｓｂから１５までの高域側のサブバンドの包絡値を推定している。包絡値の一次直線をａｘ＋ｂで表した場合、後述する加重平均による包絡基準値の算出で基準点ｂを、後述する包絡傾斜値ａ＿ｌｅｖで傾きａを求めている。

・グループパワーの計算
包絡推定部１４は、時間分類部１３より供給されたｓｂ−４からｓｂ−１まで低域側の４つのサブバンドｉｂの平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)を入力とする。それぞれのサブバンドｉｂにおいて、各グループ内に存在するスロット数ｎｓｌｏｔ(ｉｇ)分の平均サンプルパワーｐｏｗｅｒ(ｉｂ，ｉｓｌｏｔ)の合計をグループ毎に計算し、それをグループパワーｔｐｏｗ(ｉｂ,ｉｇ)とする。ｉｇは現在のグループを指しており、最大で１６となる。

・加重平均による包絡基準値の算出
（４）式により得られた各グループにおけるグループパワーｔｐｏｗ(ｉｂ,ｉｇ)から、ｓｂ−４からｓｂ−１までの低域側のサブバンド全体の平均値を求める。ここで、平均を行う際に、加重平均を用い、ｓｂに近いサブバンドにより重みを持たせることで、低域側と高域側の周波数包絡が滑らかに繋がるような工夫を行っている。

図５は、平均手法の違いによる包絡基準値の様子を示す模式図である。ここでは、図５のようにｓｂに近接するサブバンドｓｂ−１のグループパワーｔｐｏｗ(ｓｂ−１,ｉｇ)が残りのサブバンドと比較して小さい場合について、平均手法の違いについて説明する。

均等な重みをもつ平均値を用いると、図５（Ａ）のように、ｓｂから遠い残りの３つのサブバンドのグループパワーｔｐｏｗ(ｉｂ,ｉｇ)の大きさの影響から、後に平均値から計算される基準点ｂが大きく計算される。その結果、ｓｂ−１のサブバンドとｓｂのサブバンドは滑らかに繋がらなくなり、音質劣化を招く。

一方、本実施の形態では、図５（Ｂ）のように、ｓｂ寄りのサブバンドに、大きな重みを付けて平均を計算するため、周波数包絡を滑らかに繋げることができる。

図６は、加重平均による包絡基準値の算出の処理の流れを示すフローチャートである。ステップＳ６１〜ステップＳ６３において、ｓｂ−４からｓｂ−１までの低域側の４つのサブバンドそれぞれのグループパワーｔｐｏｗ(ｉｂ,ｉｇ)を算出する。そして、グループパワーｔｐｏｗ(ｉｂ,ｉｇ)に対し、ｓｂに最も近いサブバンドから順に、例えば８：４：２：１の比率で加重平均値ｗ＿ａｖｇ(ｉｇ)を算出し（ステップＳ６４）、加重平均値ｗ＿ａｖｇ(ｉｇ)を求める（ステップＳ６５）。

続いて、ｓｂ−４からｓｂ−１までの低域側の４つのサブバンドから求めた加重平均値ｗ＿ａｖｇ(ｉｇ)を使用して、サブバンドｓｂのグループパワーを推定する。この値は基準値ｂに等しく、包絡基準値ｆｅｎｖ(ｉｇ)と呼ぶ。本実施の形態では、ユーザによる絡基準調整値ｂ＿ｌｅｖとの乗算により決定される。すなわち、一意に包絡基準値を決定するのではなく、ユーザによる包絡基準調整機能を有している。

ここで、包絡基準調整値ｂ＿ｌｅｖは、０．２５以上、１．０以下の範囲であり、ユーザが任意に設定できる。本実施の形態においては、包絡基準調整値ｂ＿ｌｅｖは、一般的な音楽データの統計的な周波数包絡から０．５を推奨値として設定しているが、包絡基準調整値ｂ＿ｌｅｖの範囲を、帯域分割数や拡大開始周波数帯域ｓｂなどに応じて変更してもよい。

・包絡基準値の制限
包絡基準値ｆｅｎｖ(ｉｇ)は、加重平均値ｗ＿ａｖｇ(ｉｇ)または拡大強度ｅ＿ｌｅｖによっては、極端に大きな値になり、帯域合成部にてサブバンド信号を合成した結果、帯域合成出力信号がオーバーフローする可能性がある。そこで、本実施の形態では、包絡基準値ｆｅｎｖ(ｉｇ)に対して、極端に大きな値をとらないように制限器を適用することにより、出力信号のオーバーフローを防いでいる。

図７は、包絡基準値の制限の処理の流れを示すフローチャートである。また、図８は、包絡基準値の制限の様子を示す模式図である。

ステップＳ７１において、包絡基準値ｆｅｎｖ(ｉｇ)が閾値−６[ｄＢＦｓ]（＝１６３８４＾２＊ｎｓｌｏｔ(ｉｇ)）より大きい場合は、ステップＳ７２に進み、図８（Ｂ）示すように閾値と同レベルまで強制的に減衰させる。

一方、ステップＳ７１において、包絡基準値ｆｅｎｖ(ｉｇ)が閾値−６[ｄＢＦｓ]（＝１６３８４＾２＊ｎｓｌｏｔ(ｉｇ)）以下の場合は、ステップＳ７３に進み、図８（Ａ）に示すようにその包絡基準値ｆｅｎｖ(ｉｇ)をそのまま用いる。

なお、本実施の形態では、包絡基準値ｆｅｎｖ(ｉｇ)を制限するための閾値を−６[ｄＢＦｓ]としたが、帯域分割数や拡大開始周波数帯域ｓｂなどに応じて変更してもよい。

・高域側の包絡値の決定
ｓｂから１５までの高域側のサブバンドの包絡値ｅｎｖ(ｉｂ,ｉｇ)は、包絡基準値ｆｅｎｖ(ｉｇ)に傾きａを乗算することにより計算される。傾きaは、包絡傾斜値ａ＿ｌｅｖにより決定される。本実施の形態では、一意に傾きを決定するのではなく、ユーザによる包絡傾斜調整機能を有している。

ここで、包絡傾斜値ａ＿ｌｅｖは、０．２５以上、１．０以下の範囲であり、ユーザが任意に設定できる。本実施の形態においては、包絡傾斜値ａ＿ｌｅｖは、一般的な音楽データの統計的な包絡から０．５を推奨値として設定しているが、包絡傾斜値ａ＿ｌｅｖの範囲を、帯域分割数や拡大開始周波数帯域ｓｂなどに応じて変更してもよい。

低域側のサブバンドにおける包絡値ｅｎｖ(ｉｂ,ｉｇ)は、グループパワーｔｐｏｗ(ｉｂ,ｉｇ)と同義であり、低域側の拡大帯域におけるグループパワーを低域側の包絡値としている。

時間分類部１３より供給されたｓｂ−４からｓｂ−１までの低域側の包絡値ｅｎｖ(ｉｂ,ｉｇ)と、上述の処理により得られたｓｂから１５までの高域側の包絡値ｅｎｖ(ｉｂ,ｉｇ)は、帯域補完部１５へ供給される。

（帯域補完部）
帯域補完部１５では、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号の利得を調整して、ｓｂから１５までの高域側のサブバンド信号を補完する。対になるサブバンドのマッピングパターンは、ｓｂによって一意に決定される。

包絡推定部１４より供給された、ｓｂから１５までの高域側の包絡値ｅｎｖ(ｉｂ,ｉｇ)と、サブバンドｉｂの元となる信号が存在するｓｂ−４からｓｂ−１までの低域側のサブバンドｓｂ＿ｍａｐ(ｉｂ)の包絡値ｅｎｖ(ｓｂ＿ｍａｐ(ｉｂ),ｉｇ)との間で、除算の平方根をとることで、ｓｂから１５までの高域側のサブバンドの利得調整係数ｇａｉｎ(ｉｂ,ｉｇ)を求める。

そして、（１２）式により得られたｓｂから１５までの高域側のサブバンドの利得調整係数ｇａｉｎ(ｉｂ,ｉｇ)を高域生成部１６に供給する。

（高域生成部）
高域生成部１６は、帯域分割部１２より供給されたｓｂ−４からｓｂ−１までの低域側のサブバンド信号ｘ(ｉｂ,ｎ)を入力し、また、帯域補完部１５より供給されたｓｂから１５までの高域側のサブバンドの利得調整係数ｇａｉｎ(ｉｂ,ｉｇ)を入力する。元となるｓｂ−４からｓｂ−１までの低域側のサブバンド信号ｘ(ｓｂ＿ｍａｐ(ｉｂ),ｎ)に、ｓｂから１５までの高域側のサブバンドの利得調整係数ｇａｉｎ(ｉｂ,ｉｇ)を乗算し、ｓｂから１５までの高域側のサブバンド信号ｘ(ｉｂ,ｎ)を得る。

そして、（１３）式により得られたｓｂから１５までの高域側のサブバンド信号ｘ(ｉｂ,ｎ)を位相調整部１７に供給する。

（位相調整部）
ところで、帯域補完部１５より供給されたｓｂから１５までの高域側のサブバンド信号ｘ(ｉｂ,ｎ)は、ｓｂ−４からｓｂ−１までの低域側の４つのサブバンド信号ｘ(ｓｂ＿ｍａｐ(ｉｂ),ｎ)により生成されているため、時間信号のピークに関しても、低域側のサブバンド信号と高域側のサブバンド信号とで同じタイミングで現れる。同じタイミングのピークを持つ箇所で帯域合成により全サブバンドを足し合わせると、帯域合成出力信号のオーバーフローが生じることがある。

そこで、位相調整部１７は、オーバーフローを防止するために、低域側のサブバンド信号と高域側のサブバンド信号のピークをずらして帯域合成部１８に入力する。

図９は、低域側のサブバンド信号と高域側のサブバンド信号の位相調整の様子を示す模式図である。ここでは、ｓｂから１５までの高域側のサブバンド信号ｘ(ｉｂ,ｎ)を時間軸で後ろに４サンプルシフトさせている。つまり、本実施の形態では、人間の聴覚の後方継時マスキング特性を利用し、知覚できない範囲内において時間方向にサブバンド信号ｘ(ｉｂ,ｎ)を遅延させる。

なお、ここでは４サンプルの遅延を行ったが、帯域分割数や拡大開始周波数帯域ｓｂ、サンプリング周波数などに応じて、４サンプルの遅延を変更してもよい。

位相調整部１７は、サンプルシフトさせて得られたｓｂから１５までの高域側のサブバンド信号ｘ(ｉｂ,ｎ)を帯域合成部１８に供給する。

（帯域合成部）
帯域合成部１８は、位相調整部１７より供給されたｓｂから１５までの高域側のサブバンド信号ｘ（ｉｂ，ｎ）と、帯域分割部１２より供給された０からｓｂ−１までの低域側のサブバンド信号ｘ（ｉｂ，ｎ）をフィルタバンクによって帯域合成し、帯域合成出力信号ｙ（ｎ）を得る。

以上説明したように、本実施の形態では、サイド情報に応じてｓｂを決定し、ｓｂよりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大するようにしたため、高周波数帯域が削除された信号をより高音質に再生することができる。また、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号の符号劣化を検出し、その検出結果に応じてｓｂ−４からｓｂ−１までの低域側のサブバンド信号の過渡検出するため、過渡検出の際の計算量の増加を防ぐことができる。また、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号を高域側に重みを付けて周波数包絡を平均することにより、低域側と高域側の周波数包絡が滑らかに繋げることができる。また、ｓｂ−４からｓｂ−１までの低域側のサブバンド信号から算出された包絡基準値に制限器を適用し帯域合成することで、帯域合成出力信号のオーバーフローを防ぐことができる。また、０からｓｂ−１までの低域側の複数のサブバンド信号の位相とｓｂから１５の複数のサブバンド信号の位相とをずらして帯域合成することで、帯域合成出力信号のオーバーフローを防ぐことができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、本実施形態では、復号化処理後の信号を処理する周波数帯域拡大装置を例として説明したが、本発明は、復号化手段を備えた再生装置にも適用可能である。また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本実施の形態における周波数帯域拡大装置の構成を示すブロック図である。 サイド情報と拡大開始周波数帯域ｓｂの関係を示す図である。 符号劣化が激しい場合の周波数振幅特性を示す図である。 過渡検出の対象サブバンドの決定の処理の流れを示すフローチャートである。 平均手法の違いによる包絡基準値の様子を示す模式図である。 加重平均による包絡基準値の算出の処理の流れを示すフローチャートである。 包絡基準値の制限の処理の流れを示すフローチャートである。 包絡基準値の制限の様子を示す模式図である。 低域側のサブバンド信号と高域側のサブバンド信号の位相調整の様子を示す模式図である。 従来手法の周波数帯域拡大装置の構成を示すブロック図である。

符号の説明

１０ 周波数帯域拡大装置、１１ 拡大制御部、１２ 帯域分割部、１３ 時間分類部、 １４ 包絡推定部、１５ 帯域補完部、１６ 高域生成部、１７ 位相調整部、１８ 帯域合成部

Claims (12)

1. 入力信号の拡大開始帯域を決定する拡大制御手段と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、
   上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、
   上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段と
   を備える信号処理装置。
2. 上記帯域合成手段は、上記拡大開始帯域よりも低域側の複数のサブバンド信号に対して、上記拡大開始帯域以上の複数のサブバンド信号を、人間の聴覚の後方継時マスキング特性によって知覚できない範囲内において時間方向に遅延させて帯域合成する請求項１記載の信号処理装置。
3. 上記帯域合成手段は、上記拡大開始帯域以上の複数のサブバンド信号を、帯域分割数、拡大開始帯域周波数、又はサンプリング周波数のいずれかに応じたサンプル数だけ時間軸で後ろに遅延させる請求項１記載の信号処理装置。
4. 入力信号の拡大開始帯域を決定する拡大制御工程と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
   上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、
   上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程と
   を有する信号処理方法。
5. 入力信号を帯域拡大した後に再生する再生装置において、
   上記入力信号の拡大開始帯域を決定する拡大制御手段と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、
   上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、
   上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段と
   を備え、
   上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する再生装置。
6. 入力信号を帯域拡大した後に再生する再生方法において、
   上記入力信号の拡大開始帯域を決定する拡大制御工程と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
   上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、
   上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程と
   を有する再生方法。
7. 入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムにおいて、
   コンピュータに、
   上記入力信号の拡大開始帯域を決定する拡大制御工程と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
   上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、
   上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程と
   を実行させるプログラム。
8. 入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムが記録された記録媒体において、
   コンピュータに、
   上記入力信号の拡大開始帯域を決定する拡大制御工程と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
   上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、
   上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程と
   を実行させるプログラムが記録された記録媒体。
9. 入力された符号化データを復号化処理して入力信号を得る復号化手段と、
   上記符号化データに関するサイド情報をもとに拡大開始帯域を決定する拡大制御手段と、
   上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、
   上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成手段と、
   上記高域生成手段で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成手段と
   を備える復号化装置。
10. 上記帯域合成手段は、上記拡大開始帯域よりも低域側の複数のサブバンド信号に対して、上記拡大開始帯域以上の複数のサブバンド信号を、人間の聴覚の後方継時マスキング特性によって知覚できない範囲内において時間方向に遅延させて帯域合成する請求項９記載の復号化装置。
11. 上記帯域合成手段は、上記拡大開始帯域以上の複数のサブバンド信号を、帯域分割数、拡大開始帯域周波数、又はサンプリング周波数のいずれかに応じたサンプル数だけ時間軸で後ろに遅延させる請求項９記載の復号化装置。
12. 入力された符号化データを復号化処理して入力信号を得る復号化工程と、
    上記符号化データに関するサイド情報をもとに拡大開始帯域を決定する拡大制御工程と、
    上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
    上記帯域分割工程で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて上記拡大開始帯域以上の複数のサブバンド信号を生成する高域生成工程と、
    上記高域生成工程で生成された上記拡大開始帯域以上の複数のサブバンド信号を時間方向にシフトさせて帯域合成する帯域合成工程と
    を備える復号化方法。

Images