JPWO2005036527A1 - スペクトル包絡線符号化のための時間境界及び周波数分解能の決定方法 - Google Patents

Abstract

現行ＳＢＲフレームのフレームタイプは、先行フレームの終了境界のタイプに応じて決定される。開始境界は、先行ＳＢＲフレームの終了境界に応じて決定される。ＦＩＸＦＩＸフレームでは、低時間分解能設定が用いられる。ＦＩＸＶＡＲフレームやＶＡＲＶＡＲフレームにおいては、中間境界の探索は、過渡事象の境界位置と許容範囲内における最大の終了境界位置との間の領域中において行われる。終了境界はまたこの段階において決定される。より多くの境界を設置することができる場合においては、別の探索が過渡事象の境界と開始境界との間の帯域において行われる。ＶＡＲＦＩＸフレームにおいては、可変開始境界と固定終了帯域とを境とする全ての領域において、１つの探索のみが行われる必要がある。上述の全ては２つの前方探索処理と１つの後方探索処理を用いて達成される。これらは時間セグメントの信号変化を評価することに基づいた同じ原理が用いられるが、それらが適応される条件に適応させるために、軽度の変更が行なわれる。

Description

本発明は、周波数帯域複製（ＳＢＲ：Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）のようなサブバンド符号化手法に関する帯域幅延長技術のための時間境界や周波数分解能を決定する体系化されたセグメント化に関する。特に、時間境界と周波数境界とを区分して、各フレームをサブバンド符号化に適したセグメントに分割する方法に関する。

ＳＢＲ等の帯域幅拡張方法に基づいたサブバンド符号化において、時間方向と周波数方法の両方において適切な分割は、低エネルギーエリアが同じ平均エネルギー値を共有することを防止するために重要となる。この問題により、デコーダにおいて好ましくない増幅が行われ聴覚的に認識できる異音が発生する可能性がある。
音声符号化の目的は、音声符号化装置においてデジタル化された音声ストリームを圧縮したビットストリームに変換することであり、その結果、復号化器におけるビットストリームの処理後においても、できるだけ原音に近い音質を保つことにある。よく知られた圧縮法は、図１に示される通りである。図１は、復号化器と符号化器からなる典型的な音声符号化システムを示す。モジュール１０００は、時間領域の音声信号を連続したフレームに分割し、モジュール１０１０は、音声信号の各フレームを周波数帯域に変換し、モジュール１０２０は、所定の周波数（ハンド帯として知られる）まで周波数帯域を量子化する。図２は、音声符号化における典型的な時間／周波数格子図である。モジュール１０１０が音声信号を周波数帯域に変換する１つの可能な方法は、図２に示すような時間／周波数格子を用いる手法である。図２において、フィルタバンクは、音声信号を多重のサブバンドに分割するためのものであり、各サブバンドは時間領域での狭い周波数範囲内の信号の一部を代表している。復号化器においては、音声周波数帯域は、モジュール１０３０によって逆量子化され、モジュール１０４０において音声フレームに変換される。そして、音声フレームはモジュール１０５０において連続する音声ストリームを適切に形成するために組み立てられる。
符号化のビットレート（各秒におけるビット数）が減少するに伴って、高周波帯域は聴覚的には低周波帯域ほど重要でないとみなされる。そのため、高周波帯域を符号化しないことにより、伝送される音声信号の帯域幅に犠牲が生じる。その結果、いくつかの高周波数音と低周波数音の倍音構造が実現されなくなる。図３は、ビットレートにおける帯域幅の限定が高周波数長や調和の損失を起こすことを示す図である。図３は、上述の帯域制限処理を示すものであり、２０２０は符号化された音声の帯域幅の結果を示すものである。
帯域幅拡張の目的は、高周波帯域を非常に少ない追加的なビットを用いて音声信号を符号化することにより、高周波帯域を回復することである。この技術の１つとして、ＳＢＲ法（国際公開ＷＯ９８／５７４３６）があり、これは今ＭＰＥＧ標準となっている（ＩＳＯ／ＩＥＣ １４４９６−３．２００１ ＡＭＤ１）。図４は、帯域幅拡張のためのサブバンド符号化機能を有する符号化器の例を示す図である。図４は、この発明に関連するＳＢＲ法の符号化器の構成を示すものである。最初に、音声信号は、３０１０の分析フィルタバンクにおけるＮ個のサブバンドフィルタを用いてＮ個のサブバンドに帯域分割され、各分析フィルタは信号のある周波数範囲を取り出す。このフィルタによって生成されるＮ個の信号は、冗長性を除くために間引かれる。帯域幅拡張符号器３０２０は、フィルタ出力から幾つかの情報を抽出し、結果、復号化器において、低周波サブバンドの音声信号の帯域幅を拡張するための情報として用いられる。帯域幅拡張情報は、ビットストリームを形成するために、低周波サブバンドの音声信号を符号化するコアコーデック３０００からの出力と共にビットストリーム多重化器３０３０において多重化される。通常のＳＢＲフレームはＬサンプルのサブバンドフィルタ出口によって構成される。
図５は、帯域幅拡張のためのサブバンド符号化機能を有する復号化器を示す図である。図５は、本発明に関連するＳＢＲ法の復号化器を示す。最初に、４０００においてビットストリームは中核音声ビットストリーム及び帯域幅拡張ビットストームになるように逆多重化される。中核復号化器４０１０は、時間領域において帯域制限された音声信号を生成するために中核音声ビットストリームを復号化する。帯域制限音声信号は、４０２０の分析フィルタバンクのＭ個のサブバンドフィルタを用いてＭ個のサブバンドに帯域分割される。高周波サブバンドは、このサブバンドレベルにおいて帯域幅拡張情報を用いて合成される。新たな高周波サブバンドは、低周波サブバンドも同じように、アップサンプリングされ、Ｎ個のフィルタを持つ最終的な帯域幅拡張信号を出力する合成フィルタバンク４０４０で合成される。
分析フィルタバンク３０１０からの出力は、図２の音声信号の時間／周波数格子図において見ることができる。帯域幅の拡張情報の一部として、時間／周波数格子図は、最初に時間軸中に示す時間セグメントに分割され、それから、周波数軸中に示す周波数帯域に分割される。各周波数帯域は、その平均的なエネルギーが計算され、量子化され、そして符号化される。この過程は、スペクトル包絡線符号化として知られている。すなわち、スペクトル包絡線符号化において、音声信号は、時間軸と周波数軸とで形成される２次元平面上の各セグメントにおける平均エネルギーの分布によって表される。図６は、時間方向及び周波数方向のセグメントを示す図である。図６は、そのような分割過程を示すものであり、ＩＰＰ（ＷＯ０１／２６０９５Ａ１）に示されている。図においては、５０１０は、時間軸方向の分割を示す。５０２０は、周波数軸方向の分割を示す。復号化器においては、この処理で生成されるデータは、合成された高周波帯域のエネルギーを形付けるために用いられ、結果、原音の音声信号と同様のエネルギー包絡線を取得する。適切な分割なしには、低エネルギーエリアは高エネルギーエリアと同じ平均エネルギー値を共有することが強いられることとなるだろう。また、視聴的に感知できる異音に至るかもしれない誤った増幅が復号化器において生じるかもしれない。
各ＳＢＲフレームは境界を用いて時間軸中において時間断片に部分化される。従来技術においては、効率的なスペクトル包絡線符号化を達成するために、固定や可変境界が用いられる。図７は、４つのフレームタイプの境界関係を示す図である。図７を参照すると、固定された境界６０６０、６０７０、６１００は規定のＳＢＲフレームである境界６０１０、６０２０、６０５０と一致する。そして、現フレームの境界６０８０、６０９０は次の規定のＳＢＲフレーム中に侵食することを許容範囲内とする。可変ＳＢＲフレームの開始境界と終了境界とのどちらかは、固定境界又は可変境界となることができる。開始境界と終了境界の両方が固定境界である場合においては、可変ＳＢＲフレームは規定のＳＢＲフレームと一致することとなる。現行のＳＢＲフレームの終了境界は自動的に次のＳＢＲフレームの開始境界となる。
開始境界と終了境界の間においては、従来技術によれば、ＳＢＲフレームは、さらに中間境界により、幾つかの時間セグメントに部分化される。開始境界と終了境界が共に固定された境界である場合においては、ＳＢＲフレームは一様な時間セグメントに分割される。これは、従来技術においてはＦＩＸＦＩＸフレーム（すなわち、開始境界としてのＦＩＸ境界や終了境界としてのＦＩＸ境界）として知られる。図８は、固定開始境界及び固定終了境界を用いるＦＩＸＦＩＸフレームを示す図である。図８に示されるように、７０１０は開始境界であり、７０２０は終了境界である。閾値検出部が現行のＳＢＲフレーム中に過渡事象領域を検出する場合においては、その終了境界は次の規定のＳＢＲフレームと等しいか又はより大きくなくてはならない可変境界となる。
図９は、固定開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＦＩＸＶＡＲフレームを示す図である。このフレームは開始境界８０１０としてＦＩＸ（固定）境界を持ち、終了境界８０５０としてＶＡＲ（可変）境界を持つ。中間境界８０２０、８０３０、８０４０は、お互いに、若しくは前記可変境界に対して相対的に特定され、ここでｄ０，ｄ１，ｄ２等は相対境界距離である。図９においては、最初の相対距離ｄ０は可変境界より開始しなければならない。連続する相対距離は先に決められた中間境界より開始する。
現行のＳＢＲフレームの終了境界は、自動的に次のＳＢＲフレームの開始境界となるため、連続したＳＢＲフレーム中の過渡事象の振る舞いにおいては、ＳＢＲフレームが２つの可変境界を持つことも可能となる。図１０は、そのようなフレーム、つまり、可変開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして２つの最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＶＡＲフレームを示す図である。ＶＡＲＶＡＲフレームにおいては、中間境界は可変境界のいずれか１つを用いて相対的に特定される。この図においては、中間境界９０２０は開始境界９０１０と相対的に決定され、中間境界９０３０、９０４０、９０５０はお互い、若しくは可変終了境界９０６０に対して相対的に決定される。
最後に、可変境界から開始しているが、過渡事象検出部が現行のＳＢＲフレーム中に過渡事象を検出できない場合においては、終了境界として固定境界を適用する。これは従来技術で紹介されている最終フレーム種別である。図１１は、そのようなフレーム、つまり、可変開始境界、固定終了境界、そして開始境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＦＩＸフレームを示す図である。ここで、１００１０は可変開始境界であり、１００５０は固定終了境界である。１００２０，１００３０，１００４０はｄ０，ｄ１，ｄ２から漸次導出された中間境界を構成する。
ビット消費を削減するために、中間境界と可変境界の間の相対境界距離は、２〜３の予め決められたサイズのみをとることができる。
上述した境界によって定められるいくつかの時間セグメントを設定した後、２つの境界に挟まれる各時間セグメントは、周波数軸方向での周波数帯域に分割される。実際のスペクトルの境界は、本発明とは無関係な方法で導出される。図１２は、高分解能時間セグメントと低分解能時間セグメントとの間の境界の関係を示す図である。図１２は２つの取り得る分解能である高分解能分割と低分解能分割との間の境界関係を示している。低分解能分割の境界と高分解能分割の境界とは相互可変となる。

現行ＳＢＲフレームにおいては、先行ＳＢＲフレームの終了境界に基づく開始境界の決定や、閾値検出部を用いた過渡事象境界の決定に従って、終了境界や全ての中間境界を決定するのに、ある手法が必要とされる。すなわち、終了境界や全ての中間境界を決定するために、工夫が必要なのである。
この問題は単純ではない。というのも、上述したように、全ての中間境界ｄｉはお互いに若しくは可変境界に対して相対的に特定され、そして、全ての相対距離は２〜３の予め決められたサイズ（ｄｉ［Ｄ１，Ｄ２，Ｄ３，Ｄ４］，ｗｉｔｈ０＜Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４．）のみをとることができる。さらに、規格上、予め定められた数の中間境界しか設置することはできない。ＦＩＸＶＡＲフレームやＶＡＲＶＡＲフレームタイプにおいては、終了境界は規定のＳＢＲ境界と等しいか、より大きなものでなければならない。したがって、全ての課される制約を満たす体系的な手法が必要とされる。すなわち、時間／周波数格子符号化を行うシステムでは、このように課されたすべての制約を満足しながら、かつ、符号化効率が高くなるように中間境界および終了境界を決定しなければならない。
従来技術において用いられるスペクトル符号化手法においては、低時間分解能だが高スペクトル分解能（例えば、２〜３の時間セグメントに対して、多くの周波数帯域に渡って周波数スペクトルを導出すること）に頼るものである。過渡事象が検出される場合において、従来技術においては、過渡事象の後の帯域を符号化するために、高時間分解能だが、低スペクトル分解能（例えば、多くの時間セグメントに対して、少ない周波数帯域の周波数スペクトルを導出すること）に変更している。分解能のレベルを変更するのは、過渡事象はスペクトル変化より時間変化を示す傾向があると考えられるからである。周波数分解能を低くすることは、ビット消費における急激な増加を防止することができる。しかし、この方法は、後の過渡事象帯域が、例えばトーン信号の急激な発生を表すような、より高度な分解能を必要とする大きいスペクトル変化を示す場合においては充分なものではない。
＜時間境界の決定＞
時間境界を決定するためには、本発明においては、復号化器により課される全ての規格上の制約を考慮に入れて、終了境界や全ての中間境界を決定する体系的な手法を提供することを目的とする。
従来技術のように、現行のＳＢＲフレームのフレームタイプは、先行フレームの終了境界のタイプや、現行ＳＢＲフレームの過渡事象の存在に応じて決定される。開始境界もまた、先行ＳＢＲフレームの終了境界に従って決定される。
ＦＩＸＦＩＸフレームにおいては、低時間分解能の設定が用いられる。すなわち、図８に示したように時間幅ｄの等間隔で中間境界が設定される。
フレーム中において過渡事象が発生するＦＩＸＶＡＲフレームやＶＡＲＶＡＲフレームにおいては、可能な中間境界の探索は、過渡事象時間位置の後の領域中において最初に実施される。終了境界もまたこの段階において決定される。それから、最初の段階で既に許容範囲内における境界の最大数を使い果たしていない場合においては、過渡事象の位置に対して時間的に前の領域において中間境界を設定できるかどうかの探索が行われる。
ＶＡＲＦＩＸフレームにおいては、１つの探索が可変開始境界と固定終了境界とを境とする全ての領域中において実行される必要がある。
上述の全ては、２つの前方探索処理と１つの後方探索処理により達成される。これらは同じ原則を用いている。それは、時間セグメントの信号変化を評価することに基づくが、適応されるシナリオに適合するために少しずつ異なっている。
＜周波数分解能の決定＞
周波数分解能を決定するために、本発明は、スペクトル方向中でエネルギー変化を客観的に評価する適応的な方法を提供する。
低分解能区分の境界は高分解能区分の代替的な境界であるので、高分解能が最初に仮定され、平均エネルギーは各周波数帯域において計算される。低分解能境界を境とする周波数帯域の全てのペアのために、エネルギー比が計算される。全ての時間区分において計算された全てのエネルギー差の最小値が予め決められた閾値を超えているような場合においては、高周波数分解能が採用される。そうでない場合においては、低周波数分解能が採用される。後の過渡事象の領域中で高時間分解能を与える重要性に鑑みて、この方法は、この領域において高周波数分解能を適用するための厳密な判定基準を採用している。
本発明のスペクトル包絡線符号化の時間境界及び周波数分解能の決定方法は、時間／周波数格子を用いた音声信号のスペクトル包絡線符号化において時間境界及び周波数分解能を決定する方法であって、包絡線データにおける先行フレームの終了時間境界から現行フレームの開始時間境界を導出し、前記開始時間境界と所定の許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、一定以上に程度が大きい過渡事象の時間位置を検出し、前記過渡事象の大きさを、所定の信号変化基準と比較することにより、前記許容範囲内における現行フレームの終了時間境界と前記過渡事象の時間位置との間のスペクトルデータ中の中間時間境界及び実際の終了時間境界を見つけ出して具体値化する。従って、時間境界決定方法によって、時間方向中のエネルギーの変化を評価することで前と後の過渡事象領域のフレーム分割を実行する好ましい体系的な手法が実現される。この方法においては、全ての課せられた規格上の制約を考慮したうえで、過渡事象よりも後ろの領域を優先することにより、あるいは、過渡事象よりも遠い領域に対してより近い領域を優先することによって良い音質が実現されている。
また、本発明において適応される周波数分解能の決定方法は、過渡事象よりも後ろの領域における周波数方向のエネルギー分布を検出する。中間時間境界および前記終了時間境界による分割で取得された各時間セグメントについて、所定の周波数で示される低分解能境界を境とする全ての周波数帯域のエネルギーを評価することにより、前記時間セグメントにおける周波数分解能を導出する。この方法では、エネルギー分布に大きな変化が発見される場合においては、高分解能分割を用いる。本発明に係る２つの方法を同時に用いることにより、ＳＢＲ技術の時間−周波数図の分割の好ましく、かつ、簡単に実現することが可能な手法が提供される。
なお、本発明は、このようなスペクトル包絡線符号化の時間境界及び周波数分解能の決定方法として実現することができるだけでなく、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだ音響符号化装置および音響復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

図１は、典型的な音声符号化システムを示す図である。
図２は、音声符号化における典型的な時間／周波数格子図である。
図３は、ビットレートにおける帯域幅の限定が高周波数長や調和の損失を起こすことを示す図である。
図４は、帯域幅拡張のためのサブバンド符号化機能を有する符号化器の例を示す図である。
図５は、帯域幅拡張のためのサブバンド符号化機能を有する復号化器を示す図である。
図６は、時間方向及び周波数方向のセグメントを示す図である。
図７は、４つのフレームタイプの境界関係を示す図である。
図８は、固定開始境界及び固定終了境界を用いるＦＩＸＦＩＸフレームを示す図である。
図９は、固定開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＦＩＸＶＡＲフレームを示す図である。
図１０は、可変開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして２つの最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＶＡＲフレームを示す図である。
図１１は、可変開始境界、固定終了境界、そして開始境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＦＩＸフレームを示す図である。
図１２は、高分解能時間セグメントと低分解能時間セグメントとの間の境界の関係を示す図である。
図１３は、本発明に係る時間境界決定部の全体を示すフローチャートを示す図である。
図１４は、４つのフレームタイプの可変部中における３つの探索タイプの使用を示す図である。
図１５は、前方探索（タイプ１）処理のフローチャートを示す図である。
図１６は、前方探索（タイプ２）処理のフローチャートを示す図である。
図１７は、後方探索処理のフローチャートを示す図である。
図１８は、本発明に係る周波数分解能決定部を示すイラスト図である。

下記に述べる方法は、ＳＢＲの文脈中で説明された例である。しかし、本発明の適応範囲は、時間／周波数格子に基づいたスペクトル包絡線符号化方法を利用しているどのような形態にも拡張されるものである。
３．５．１ 時間境界の決定
時間境界の決定の実施例は、図１３から１７までの一連のフローチャートにおいて示されている。
３．５．１．１ 概要
図１３は、本発明に係る時間境界決定部の全体を示すフローチャートを示す図である。図１３は、全ての時間境界の決定処理の全体図を示す。１２０１０において、先行ＳＢＲフレームの終了境界に最初のｂｏｒｄｅｒ［０］を設定し、また、境界カウンターのｎｏＢｏｒｄｅｒを１に初期化する。１２０２０において、過渡事象検出部を現行フレームにおいて作動させる。ｂｏｒｄｅｒ０から（次の規定のＳＢＲ境界＋Ｖ）までで最も急激な過渡事象の振る舞いを検出するためである。これにより、現行フレーム内における過渡事象の有無を検出する。ここでＶは、構成によって許容される次のＳＢＲフレームの中に入り込む量である。
過渡事象が見つかれば、１２０３０において、先行ＳＢＲフレームの終了境界の種別を確認する。それが固定境界であれば、現行フレームは１２０５０中においてＦＩＸＶＡＲタイプとなる。それが可変境界であれば、現行フレームは１２０９０中においてＶＡＲＶＡＲタイプとなる。いずれのケースにおいても、過渡事象の位置を示す境界はｂｏｒｄｅｒ１中に登録され、現行フレーム内の境界の数を示すｎｏＢｏｒｄｅｒはインクリメントされて増加する。
過渡事象が見つからない場合においては、１２０４０において、先行ＳＢＲフレームの終了境界の種別を確認する。それが固定境界であれば、現行フレームは１２１３０中においてＦＩＸＦＩＸタイプとなる。可変境界であれば、現行フレームは１２１５０中においてＶＡＲＦＩＸタイプとなる。
現行フレームがＦＩＸＶＡＲである場合においては、１２０６０において、中間境界の必要性を確認するために、前記過渡事象と（次の規定のＳＢＲ境界＋Ｖ）との間の領域を確認する。３．５．１．２において述べる前方探索（タイプ１）の方法はこの目的のために用いられる。前方探索の最後において、１２０７０で、境界数ｎｏＢｏｒｄｅｒが確認される。ｎｏＢｏｒｄｅｒが境界数として許容される最大値ＭａｘＢｏｒｄｅｒよりも少ない場合においては、１２０８０において、前記過渡事象及び開始境界の間の領域を確認するために後方探索を用い、必要であるならばより多くの中間境界を具体値化する。上述のシーケンス処理は、過渡事象位置よりも後ろの領域で検出される中間境界を優先する。
現行フレームがＶＡＲＶＡＲである場合においては、１２１００において、中間境界のための可能性ある必要性のために、３．５．１．２において述べる前方探索（タイプ１）の方法を用いて、前記過渡事象と（次の規定のＳＢＲ境界＋Ｖ）との間の領域を確認する。前方探索の最後において、１２１１０中において、ｎｏＢｏｒｄｅｒが確認される。ｎｏＢｏｒｄｅｒが境界数として許容される最大値ＭａｘＢｏｒｄｅｒよりも少ない場合においては、１２１２０において、前記過渡事象及び開始境界の間の領域を確認するために別の前方探索（タイプ２）を用い、必要であるならばより多くの中間境界を具体値化する。上述と同様となるが、上述のシーケンス処理は、過渡事象位置よりも後ろの領域で検出される中間境界を優先する。
現行フレームがＦＩＸＦＩＸである場合においては、１２１４０において、低時間分解能の設定を選択する。より詳細は３．５．２において述べる。
現行フレームがＶＡＲＦＩＸである場合においては、１２１６０において、中間境界の必要性を確認するために開始境界と次の規定のＳＢＲフレーム境界との間の領域を確認する。上記の前方探索（タイプ１）方法はこの目的のために用いられる。
上述した各処理の４つ分岐は、１２１７０において後の処理のために検出した境界を昇順に並べ換えて終了する。
図１４は、４つのフレームタイプの可変部中における３つの探索タイプの使用を示す図である。図１４は、４つのフレーム種別中における３つの探索タイプの使用を描画するものであり、ここで１７０１０と１７０２０は前方探索処理（タイプ１）を示し、１７０４０と１７０５０は前方探索処理（タイプ２）を示し、１７０３０は後方探索処理を示す。
過渡事象位置よりも後ろの領域は、上述の実施例において、中間境界決定処理中で優先されるが、信号変化を評価することにより、どのような領域が優先されるかを選択することも可能となる。信号変化が過渡事象よりも前の領域において、より大きいような場合においては、過渡事象よりも前の領域が優先され、また、信号変化が過渡事象よりも後の領域において、より大きい場合においては、過渡事象の後ろの領域が優先される。
３．５．１．２ 前方探索（タイプ１）
この前方探索法（タイプ１）は、過渡事象の位置から開始し、まだ決定していない可変境界において終了する領域のために設計されている。その目的は、中間境界と終了境界を定めることにある。３つの入力されるパラメータであるｂｏｒｄｅｒ１、ｂｏｒｄｅｒ２、ｎｏＢｏｒｄｅｒＬｉｍｉｔは、（ｂｏｒｄｅｒ１とｂｏｒｄｅｒ２との間の）探索領域を設定するために図１３の１２０６０と１２１００に従って初期化されなければならない。また、ｎｏＢｏｒｄｅｒＬｉｍｉｔは許される最大の境界数に初期化される。
図１５は、前方探索（タイプ１）処理のフローチャートを示す図である。図１５には、この方法のフローチャートを示す。この方法は、時間セグメントの左境界と右境界を表現するために、２つの中間の変数ｉとｊを用いる。セグメントの左境界をｉとし、右境界をｊとする。ｋは現行時間セグメントの相対境界距離Ｄｋを参照するために用いる。全ての相対距離は予め決められたサイズ（ｄｉ［Ｄ１，Ｄ２，Ｄ３，Ｄ４］，ｗｉｔｈ０＜Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４．）のみをとることができるからである。１３０１０において、ｉとｋをｉ＝ｂｏｒｄｅｒ１、ｋ＝２に初期化する。ｂｏｒｄｅｒ１は、過渡事象の時間位置である。すなわち、１３０１０では、過渡事象の時間位置を示す境界ｉ＝ｂｏｒｄｅｒ１から、前方に時間セグメントの相対境界距離Ｄ２の位置に中間境界ｊを決定することを予定している。１３０２０において、ｉがまだ規定のＳＢＲフレーム境界より下か否か（すなわち、過渡事象の時間位置が、現行フレームとすべき規定のＳＢＲフレーム境界を越えていないか否か）を判定する。また、境界数ｎｏＢｏｒｄｅｒが境界数の上限であるｎｏＢｏｒｄｅｒＬｉｍｉｔを超えていないかを判定する。超えていない状態においては、より多くの中間境界がまだ具体値化されることができる。そこで１３０３０中において、隣の可能な端部である現行時間セグメントｊ＝ｉ＋Ｄ２に設定する。すなわち、過渡事象の時間位置から幅Ｄ２の幅をもつ中間境界が設定可能かどうかを調べる。１３０４０中において、ｊ＜＝ｂｏｒｄｅｒ２か否かの判定を行う。すなわち、ｊで表される中間境界が現行フレームの終端となる（規定のＳＢＲ境界＋Ｖ）を超えていないかを判定する。
ｎｏの場合においては、Ｄｋ（ただし、Ｄｋ＝Ｄ２）は有効な相対境界距離ではなくなる。この方法では、１３０９０中において、ｋ＝ｋ−１とすることにより、以前の相対境界距離Ｄ（ｋ−１）、すなわち、Ｄ１に逆戻りし、ｉ＋Ｄｋすなわち、ｊ＝ｉ＋Ｄ１に新しい境界ｊを登録する。境界の数はｎｏＢｏｒｄｅｒを増加することにより更新される。この方法によれば、１３０４０中において「ｎｏ」の選択を経て、１３１００に至るならば、最後に登録される境界は、このＳＢＲフレームの可変終了境界となる。
一方、１３０４０中において「Ｙｅｓ」を選択する場合においては、それは新たな境界が必要か否かを判定するための信号変化基準を評価するための処理に進む。しかし、Ｄｋが既に相対境界距離（本例においてはＤ４）として許容範囲内における最大である場合においては、すなわち、１３０５０のように相対化境界距離を最大幅にしてしまう場合には、１３０５０中において反映するように、信号変化基準は評価される必要はない。というのも、このようにした場合、新たな境界は強制的に決めるためである。１３０５０中において「Ｙｅｓ」を選択する場合においては、新たな境界を登録するために、直接１３１００に至ることとなる。
ＤｋがまだＤ４でない場合においては、１３０５０はｎｏであり、以下に示す変数ｐｅａｋ＿ｒａｔｉｏはｉと（ｊ−１）の間で示される領域のために１３０６０中において評価される。新たな中間境界を決定するための基準は、全ての時間セグメントの平均エネルギーと、各時間位置のエネルギー比とを確認することに基づく。それは１３０７０中において下記の式で実行される。

この式において、
ＥＴｍは時間位置ｍのエネルギーである。
ＥＴはｉから（ｊ−１）までにおいて計算された全ての時間位置の平均エネルギーである。
Ｔｒ１は予め定められた閾値である。
別の可能な信号変化基準として、下記の最大及び最小のエネルギー値を比較することに基づいてもよい。

最後に、信号変化基準として、下記の絶対振幅の最大値及び最小値を比較することに基づいてもよい。
ｐｅａｋ＿ｒａｔｉｏが閾値Ｔｒ１を超える場合においては、大きな信号変化により新たな境界が決定される。しかし、現行のＤｋが、より大きな信号変化を引き起こすならば、Ｄ（ｋ−１）は望まれる相対境界距離となるべきである。結果として、１３０９０において、ｋの値は減算され、１３１００において、新たな境界が登録される。

ｐｅａｋ＿ｒａｔｉｏが上記閾値Ｔｒ１を越えない場合においては、信号変化は、十分に穏やかであると考えられ、従って、１３０８０中において、より時間幅の大きなＤｋが、まずｋの値を増加させた後、ｊを調整することによって適用される。すなわち、信号変化の小さい場所ではより大きな時間間隔で境界を作成する。
この処理は最終的に１３０２０中において「ｎｏ」の選択がなされるまで繰り返される。それから、全てのｎｏＢｏｒｄｅｒＬｉｍｉｔが使用されているにも関わらず、可変終了境界となるであろう終了境界が、まだ規定のＳＢＲフレーム境界以下であるか否かを確認するための１３１１０に進む。このステップは重要であり、というのも、ＳＢＲ構成は、標準値のＳＢＲフレーム境界と等しいか又は大きい終了境界を要求するためである。終了境界が規定のＳＢＲフレームよりも小さくなければ、処理は安全に終了する。終了境界が規定のＳＢＲフレームよりも小さい場合においては、この方法は、終了境界が前記要求を満たすまで相対境界距離を拡張する処理を開始する。
この相対境界距離を拡張する１つの可能な方法は、最初の過渡事象の境界から最も離れた相対境界距離を犠牲にすることによって実現される。１３１２０から開始して、ｉは終了境界を参照するために初期化される。１３１３０中において、ｂｏｒｄｅｒ ｉとｂｏｒｄｅｒ（ｉ−１）の間の相対境界距離を引き続いて確認する。この相対境界距離がＤ４よりも小さくない場合においては、この相対境界距離は拡張できないために、ｉは減少され、その結果、ｂｏｒｄｅｒ（ｉ−１）とｂｏｒｄｅｒ（ｉ−２）の間の相対境界距離が確認される。しかし、その相対境界距離がＤ４よりも低いような場合においては、ｂｏｒｄｅｒ ｉとｂｏｒｄｅｒ（ｉ−１）の間の相対距離は１３１６０中において拡張される。この処理は、１３１７０中において検証されるように、終了境界が規定のＳＢＲフレーム境界より大きいか、等しくなるまで繰り返される。
相対境界距離を拡張する１つの可能な方法は、より多くの処理を必要とする方法である。それは、境界の間の全ての相対境界距離を増加させ、新たな境界間の信号特性を確認し、境界間の信号変化が最小となる境界において相対距離を増加させる。そして、この処理は終了境界が規定のＳＢＲフレーム境界と等しいかより大きくなるまで繰り返される。しかし、経験的に、最小の変化をしている領域は、過渡事象境界から最も離れた領域である。その理由は、過渡事象境界に近い領域が最も変化しているならば、この特性は過渡事象境界に近くに位置して存在する中間境界の存在によって既に捉えられているからである。
３．５．１．３ 前方探索（タイプ２）
この前方探索法（タイプ２）は、可変境界又は固定境界と共に開始し、また既に決定された境界で終了する帯域において設定される。タイプ１の前方探索法とは異なり、目的は中間境界を決定することのみを目的とする。３つの入力されるパラメータ、ｂｏｒｄｅｒ１、ｂｏｒｄｅｒ２、ｎｏＢｏｒｄｅｒＬｉｍｉｔは、探索領域及び許容範囲内における境界の最大数を設定するため、図１３の１２１２０及び１２１６０に従って初期化されなければならない。
図１６は、前方探索（タイプ２）処理のフローチャートを示す図である。図１６にこの方法のフローチャートを示す。原則的に、２つの前方探索方法は同じとなる。従って、１４０１０から１４１００の処理においては、図１５の１３０１０から１３１００の処理と、幾つかの例外を除けばほとんど同様である。
１４０２０において、現行時間セグメントの先頭端が、次の規定のＳＢＲフレームより小さいかを確認する代わりに、前記先頭端がｂｏｒｄｅｒ２−Ｄ２より小さくなるかを確認することが新たな制約となる。
１４０２０中において「ｎｏ」を選択する場合においては、処理は終了する。すなわち、図１５に１３１１０以降の処理とは異なり、幾つかの相対境界距離を拡張する処理を必要とはしない。というのも終了境界は見つける必要がないためである。
同様に、１４０４０中では、現行時間セグメントの後端がｂｏｒｄｅｒ２を越えるならば、終了境界は必要がないので、新たな境界をｉ＋Ｄ（ｋ−１）（図１５の１３０４０から１３０９０までの枝分かれに示されるように）に登録せずに、すぐに終了する。
１４１００中では、新たな境界のｐｅａｋ＿ｒａｔｉｏは、それが初期化される際には保存されなければならない。これは１４１１０中において冗長な境界を取り除くためである。これらの冗長な境界は、現行フレームにおける時間セグメント長を許される最大値に設定するために作成されることがある。というのも、各境界の位置は相互の相対位置で表されるために、次に境界を設定するために便宜的に冗長な境界を設置する必要が生じる場合があるためである。しかし、これが終了境界であれば、それは問題を引き起こすことなく取り除かれることができる。
３．５．１．４ 後方探索
この後方探索方法は、過渡事象と共に開始する境界と開始境界と共に終了する境界の領域のために設定される。３つの入力されるパラメータ、ｂｏｒｄｅｒ１、ｂｏｒｄｅｒ２、及びｎｏＢｏｒｄｅｒＬｉｍｉｔは、探索帯域及び許容範囲内における最大数を設定するための図１３の１２０８０中に従って初期化されなければならない。
図１７は、後方探索処理のフローチャートを示す図である。原則的に、この方法は前方探索（タイプ２）と同様となる。従って、逆方向で実行される処理を除いて、１５０１０から１５１１０までの処理はほとんど１４０１０から１４１１０までの処理と同じとなる。ｉに相対するｊを増加する代わりに、後方探索においてはｉに相対するｊを減少させる。
具体的には、１４０２０中でｉ＜＝ｂｏｒｄｅｒ２−Ｄ２とする代わりに、１５０２０において、ｉ＞＝ｂｏｒｄｅｒ２＋Ｄ２とする。というのもｉは徐々に開始境界（すなわち、ｂｏｒｄｅｒ２）に近づくためである。 １４０４０中でｊ＜＝ｂｏｒｄｅｒ２とする代わりに、上記同様の理由により、１５０４０において、ｊ＞＝ｂｏｒｄｅｒ２とする。
１４０６０中で時間位置ｉからｊ−１の間のｐｅａｋ＿ｒａｔｉｏを計算する代わりに、１５０６０において、時間位置ｊからｉ−１の間のｐｅａｋ＿ｒａｔｉｏを計算する。
１４０３０と１４０８０中でのｊ＝ｉ＋Ｄｋを計算する代わりに、１５０３０と１５０８０においてｊ＝ｉ−Ｄｋを計算する。
最後に、１４１００中でｉ＝ｉ＋Ｄｋを計算する代わりに、１５１００中ではｉ＝ｉ−Ｄｋを計算する。
３．５．２ ＦＩＸＦＩＸにおける低時間分解能
ＦＩＸＦＩＸフレームはその近傍中に過渡事象の特性を有していない。そこで、符号化ビットを削減するために少ない時間境界を使うことが論理的となる。ＳＢＲにとって、ＦＩＸＦＩＸフレームのための時間／周波数図は選択された境界の数に基づいて均一的に中間境界により分割される。境界の数を選択する簡単な方法は、境界の最も低い数を使用してみて、形成される時間セグメントのｐｅａｋ＿ｒａｔｉｏを評価することである。ｐｅａｋ＿ｒａｔｉｏのいずれもがある閾値を越える場合においては、より多くの数の境界が必要とされ、形成される各時間セグメントのｐｅａｋ＿ｒａｔｉｏの評価は繰り返される。形成される全時間セグメントのｐｅａｋ＿ｒａｔｉｏがある閾値よりも低くなる場合において、又は境界の最大数に至る場合において、処理は終了する。
３．５．３ 周波数分解能の決定
周波数分解能の決定の実施例は、図１８中に参考図として示される。図１８は、本発明に係る周波数分能決定部を示すイラスト図である。低分解能分割の境界は高分解能分割の境界を１つおきにとったものとなる。
最初に、高周波数分解能が適用されることを前提とすると、時間セグメント中の全ての周波数帯域の平均エネルギーが計算される。平均エネルギーはＥｉを用いて示す。
図１８において、高周波数分解能の境界が「偶数」で表される場合においては、下記の式を満たすことにより高周波数分解能が選択される。そうでない場合においては、低周波数分解能が選択される

図１８において、高周波数分解能の境界が「奇数」で表される場合においては、下記の式を満たすことにより高周波数分解能が選択される。そうでない場合においては。低周波数分解能が選択される。

ここで、しきい境界の後の最初のｎ個の時間セグメントにおいては、

であり、またそれ以外においては
ＦＲＥＱ＿ＲＥＳ＿ＴＨＲＥＳＨＯＬＤ_２＞ＦＲＥＱ＿ＲＥＳ＿ＴＨＲＥＳＨＯＬＤ_１
となる。
これは、閾値の時間位置の後のｎ個の時間セグメントにおいて高周波数分解能を適用することは適していないということを示唆する。というのも、より高い時間分解能が必要とされるためである。
上述の実施例においては、平均エネルギーが決定のために用いられるが、信号変化を示す振幅情報のような他のパラメータを代わりに用いることも可能である。
産業上の利用の可能性
本発明の符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送の放送局、コンテンツ配信を行う配信サーバおよび携帯電話機などに備えられる音響信号符号化装置として有用である。また、本発明に係る復号化装置は、音楽コンテンツ等の配信を受けるための通信機能および記録媒体読み出し機能を備えたパーソナルコンピュータ、ＰＤＡ、携帯電話機、携帯型オーディオ再生装置およびデジタル放送を受信するＳＴＢなどに備えられるオーディオ復号化装置などとして有用である。

本発明は、周波数帯域複製（ＳＢＲ：Spectral Band Replication）のようなサブバンド符号化手法に関する帯域幅延長技術のための時間境界や周波数分解能を決定する体系化されたセグメント化に関する。特に、時間境界と周波数境界とを区分して、各フレームをサブバンド符号化に適したセグメントに分割する方法に関する。

ＳＢＲ等の帯域幅拡張方法に基づいたサブバンド符号化において、時間方向と周波数方法の両方において適切な分割は、低エネルギーエリアが同じ平均エネルギー値を共有することを防止するために重要となる。この問題により、デコーダにおいて好ましくない増幅が行われ聴覚的に認識できる異音が発生する可能性がある。

音声符号化の目的は、音声符号化装置においてデジタル化された音声ストリームを圧縮したビットストリームに変換することであり、その結果、復号化器におけるビットストリームの処理後においても、できるだけ原音に近い音質を保つことにある。よく知られた圧縮法は、図１に示される通りである。図１は、復号化器と符号化器からなる典型的な音声符号化システムを示す。モジュール１０００は、時間領域の音声信号を連続したフレームに分割し、モジュール１０１０は、音声信号の各フレームを周波数帯域に変換し、モジュール１０２０は、所定の周波数（ハンド帯として知られる）まで周波数帯域を量子化する。図２は、音声符号化における典型的な時間／周波数格子図である。モジュール１０１０が音声信号を周波数帯域に変換する１つの可能な方法は、図２に示すような時間／周波数格子を用いる手法である。図２において、フィルタバンクは、音声信号を多重のサブバンドに分割するためのものであり、各サブバンドは時間領域での狭い周波数範囲内の信号の一部を代表している。復号化器においては、音声周波数帯域は、モジュール１０３０によって逆量子化され、モジュール１０４０において音声フレームに変換される。そして、音声フレームはモジュール１０５０において連続する音声ストリームを適切に形成するために組み立てられる。

符号化のビットレート（各秒におけるビット数）が減少するに伴って、高周波帯域は聴覚的には低周波帯域ほど重要でないとみなされる。そのため、高周波帯域を符号化しないことにより、伝送される音声信号の帯域幅に犠牲が生じる。その結果、いくつかの高周波数音と低周波数音の倍音構造が実現されなくなる。図３は、ビットレートにおける帯域幅の限定が高周波数長や調和の損失を起こすことを示す図である。図３は、上述の帯域制限処理を示すものであり、２０２０は符号化された音声の帯域幅の結果を示すものである。

帯域幅拡張の目的は、高周波帯域を非常に少ない追加的なビットを用いて音声信号を符号化することにより、高周波帯域を回復することである。この技術の１つとして、ＳＢＲ法（国際公開 WO98/57436）があり、これは今ＭＰＥＧ標準となっている（ISO/IEC 14496-3.2001 AMD1）。図４は、帯域幅拡張のためのサブバンド符号化機能を有する符号化器の例を示す図である。図４は、この発明に関連するＳＢＲ法の符号化器の構成を示すものである。最初に、音声信号は、３０１０の分析フィルタバンクにおけるＮ個のサブバンドフィルタを用いてＮ個のサブバンドに帯域分割され、各分析フィルタは信号のある周波数範囲を取り出す。このフィルタによって生成されるＮ個の信号は、冗長性を除くために間引かれる。帯域幅拡張符号器３０２０は、フィルタ出力から幾つかの情報を抽出し、結果、復号化器において、低周波サブバンドの音声信号の帯域幅を拡張するための情報として用いられる。帯域幅拡張情報は、ビットストリームを形成するために、低周波サブバンドの音声信号を符号化するコアコーデック３０００からの出力と共にビットストリーム多重化器３０３０において多重化される。通常のＳＢＲフレームはＬサンプルのサブバンドフィルタ出口によって構成される。

図５は、帯域幅拡張のためのサブバンド符号化機能を有する復号化器を示す図である。図５は、本発明に関連するＳＢＲ法の復号化器を示す。最初に、４０００においてビットストリームは中核音声ビットストリーム及び帯域幅拡張ビットストームになるように逆多重化される。中核復号化器４０１０は、時間領域において帯域制限された音声信号を生成するために中核音声ビットストリームを復号化する。帯域制限音声信号は、４０２０の分析フィルタバンクのＭ個のサブバンドフィルタを用いてＭ個のサブバンドに帯域分割される。高周波サブバンドは、このサブバンドレベルにおいて帯域幅拡張情報を用いて合成される。新たな高周波サブバンドは、低周波サブバンドも同じように、アップサンプリングされ、Ｎ個のフィルタを持つ最終的な帯域幅拡張信号を出力する合成フィルタバンク４０４０で合成される。

分析フィルタバンク３０１０からの出力は、図２の音声信号の時間／周波数格子図において見ることができる。帯域幅の拡張情報の一部として、時間／周波数格子図は、最初に時間軸中に示す時間セグメントに分割され、それから、周波数軸中に示す周波数帯域に分割される。各周波数帯域は、その平均的なエネルギーが計算され、量子化され、そして符号化される。この過程は、スペクトル包絡線符号化として知られている。すなわち、スペクトル包絡線符号化において、音声信号は、時間軸と周波数軸とで形成される２次元平面上の各セグメントにおける平均エネルギーの分布によって表される。図６は、時間方向及び周波数方向のセグメントを示す図である。図６は、そのような分割過程を示すものであり、ＩＰＰ（WO01/26095A1）に示されている。図においては、５０１０は、時間軸方向の分割を示す。５０２０は、周波数軸方向の分割を示す。復号化器においては、この処理で生成されるデータは、合成された高周波帯域のエネルギーを形付けるために用いられ、結果、原音の音声信号と同様のエネルギー包絡線を取得する。適切な分割なしには、低エネルギーエリアは高エネルギーエリアと同じ平均エネルギー値を共有することが強いられることとなるだろう。また、視聴的に感知できる異音に至るかもしれない誤った増幅が復号化器において生じるかもしれない。

各ＳＢＲフレームは境界を用いて時間軸中において時間断片に部分化される。従来技術においては、効率的なスペクトル包絡線符号化を達成するために、固定や可変境界が用いられる。図７は、４つのフレームタイプの境界関係を示す図である。図７を参照すると、固定された境界６０６０、６０７０、６１００は規定のＳＢＲフレームである境界６０１０、６０２０、６０５０と一致する。そして、現フレームの境界６０８０、６０９０は次の規定のＳＢＲフレーム中に侵食することを許容範囲内とする。可変ＳＢＲフレームの開始境界と終了境界とのどちらかは、固定境界又は可変境界となることができる。開始境界と終了境界の両方が固定境界である場合においては、可変ＳＢＲフレームは規定のＳＢＲフレームと一致することとなる。現行のＳＢＲフレームの終了境界は自動的に次のＳＢＲフレームの開始境界となる。

開始境界と終了境界の間においては、従来技術によれば、ＳＢＲフレームは、さらに中間境界により、幾つかの時間セグメントに部分化される。開始境界と終了境界が共に固定された境界である場合においては、ＳＢＲフレームは一様な時間セグメントに分割される。これは、従来技術においてはＦＩＸＦＩＸフレーム（すなわち、開始境界としてのＦＩＸ境界や終了境界としてのＦＩＸ境界）として知られる。図８は、固定開始境界及び固定終了境界を用いるＦＩＸＦＩＸフレームを示す図である。図８に示されるように、７０１０は開始境界であり、７０２０は終了境界である。閾値検出部が現行のＳＢＲフレーム中に過渡事象領域を検出する場合においては、その終了境界は次の規定のＳＢＲフレームと等しいか又はより大きくなくてはならない可変境界となる。

図９は、固定開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＦＩＸＶＡＲフレームを示す図である。このフレームは開始境界８０１０としてＦＩＸ（固定）境界を持ち、終了境界８０５０としてＶＡＲ（可変）境界を持つ。中間境界８０２０、８０３０、８０４０は、お互いに、若しくは前記可変境界に対して相対的に特定され、ここでd0,d1,d2等は相対境界距離である。図９においては、最初の相対距離d0は可変境界より開始しなければならない。連続する相対距離は先に決められた中間境界より開始する。

現行のＳＢＲフレームの終了境界は、自動的に次のＳＢＲフレームの開始境界となるため、連続したＳＢＲフレーム中の過渡事象の振る舞いにおいては、ＳＢＲフレームが２つの可変境界を持つことも可能となる。図１０は、そのようなフレーム、つまり、可変開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして２つの最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＶＡＲフレームを示す図である。ＶＡＲＶＡＲフレームにおいては、中間境界は可変境界のいずれか１つを用いて相対的に特定される。この図においては、中間境界９０２０は開始境界９０１０と相対的に決定され、中間境界９０３０、９０４０、９０５０はお互い、若しくは可変終了境界９０６０に対して相対的に決定される。

最後に、可変境界から開始しているが、過渡事象検出部が現行のＳＢＲフレーム中に過渡事象を検出できない場合においては、終了境界として固定境界を適用する。これは従来技術で紹介されている最終フレーム種別である。図１１は、そのようなフレーム、つまり、可変開始境界、固定終了境界、そして開始境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＦＩＸフレームを示す図である。ここで、１００１０は可変開始境界であり、１００５０は固定終了境界である。１００２０，１００３０，１００４０はd0,d1,d2から漸次導出された中間境界を構成する。

ビット消費を削減するために、中間境界と可変境界の間の相対境界距離は、２〜３の予め決められたサイズのみをとることができる。

上述した境界によって定められるいくつかの時間セグメントを設定した後、２つの境界に挟まれる各時間セグメントは、周波数軸方向での周波数帯域に分割される。実際のスペクトルの境界は、本発明とは無関係な方法で導出される。図１２は、高分解能時間セグメントと低分解能時間セグメントとの間の境界の関係を示す図である。図１２は２つの取り得る分解能である高分解能分割と低分解能分割との間の境界関係を示している。低分解能分割の境界と高分解能分割の境界とは相互可変となる。

現行ＳＢＲフレームにおいては、先行ＳＢＲフレームの終了境界に基づく開始境界の決定や、閾値検出部を用いた過渡事象境界の決定に従って、終了境界や全ての中間境界を決定するのに、ある手法が必要とされる。すなわち、終了境界や全ての中間境界を決定するために、工夫が必要なのである。

この問題は単純ではない。というのも、上述したように、全ての中間境界diはお互いに若しくは可変境界に対して相対的に特定され、そして、全ての相対距離は２〜３の予め決められたサイズ（di [D1, D2, D3, D4], with 0<D1<D2<D3<D4.）のみをとることができる。さらに、規格上、予め定められた数の中間境界しか設置することはできない。ＦＩＸＶＡＲフレームやＶＡＲＶＡＲフレームタイプにおいては、終了境界は規定のＳＢＲ境界と等しいか、より大きなものでなければならない。したがって、全ての課される制約を満たす体系的な手法が必要とされる。すなわち、時間／周波数格子符号化を行うシステムでは、このように課されたすべての制約を満足しながら、かつ、符号化効率が高くなるように中間境界および終了境界を決定しなければならない。

従来技術において用いられるスペクトル符号化手法においては、低時間分解能だが高スペクトル分解能（例えば、２〜３の時間セグメントに対して、多くの周波数帯域に渡って周波数スペクトルを導出すること）に頼るものである。過渡事象が検出される場合において、従来技術においては、過渡事象の後の帯域を符号化するために、高時間分解能だが、低スペクトル分解能（例えば、多くの時間セグメントに対して、少ない周波数帯域の周波数スペクトルを導出すること）に変更している。分解能のレベルを変更するのは、過渡事象はスペクトル変化より時間変化を示す傾向があると考えられるからである。周波数分解能を低くすることは、ビット消費における急激な増加を防止することができる。しかし、この方法は、後の過渡事象帯域が、例えばトーン信号の急激な発生を表すような、より高度な分解能を必要とする大きいスペクトル変化を示す場合においては充分なものではない。
＜時間境界の決定＞
時間境界を決定するためには、本発明においては、復号化器により課される全ての規格上の制約を考慮に入れて、終了境界や全ての中間境界を決定する体系的な手法を提供することを目的とする。

従来技術のように、現行のＳＢＲフレームのフレームタイプは、先行フレームの終了境界のタイプや、現行ＳＢＲフレームの過渡事象の存在に応じて決定される。開始境界もまた、先行ＳＢＲフレームの終了境界に従って決定される。

ＦＩＸＦＩＸフレームにおいては、低時間分解能の設定が用いられる。すなわち、図８に示したように時間幅ｄの等間隔で中間境界が設定される。

フレーム中において過渡事象が発生するＦＩＸＶＡＲフレームやＶＡＲＶＡＲフレームにおいては、可能な中間境界の探索は、過渡事象時間位置の後の領域中において最初に実施される。終了境界もまたこの段階において決定される。それから、最初の段階で既に許容範囲内における境界の最大数を使い果たしていない場合においては、過渡事象の位置に対して時間的に前の領域において中間境界を設定できるかどうかの探索が行われる。

ＶＡＲＦＩＸフレームにおいては、１つの探索が可変開始境界と固定終了境界とを境とする全ての領域中において実行される必要がある。

上述の全ては、２つの前方探索処理と１つの後方探索処理により達成される。これらは同じ原則を用いている。それは、時間セグメントの信号変化を評価することに基づくが、適応されるシナリオに適合するために少しずつ異なっている。
＜周波数分解能の決定＞
周波数分解能を決定するために、本発明は、スペクトル方向中でエネルギー変化を客観的に評価する適応的な方法を提供する。

低分解能区分の境界は高分解能区分の代替的な境界であるので、高分解能が最初に仮定され、平均エネルギーは各周波数帯域において計算される。低分解能境界を境とする周波数帯域の全てのペアのために、エネルギー比が計算される。全ての時間区分において計算された全てのエネルギー差の最小値が予め決められた閾値を超えているような場合においては、高周波数分解能が採用される。そうでない場合においては、低周波数分解能が採用される。後の過渡事象の領域中で高時間分解能を与える重要性に鑑みて、この方法は、この領域において高周波数分解能を適用するための厳密な判定基準を採用している。

本発明のスペクトル包絡線符号化の時間境界及び周波数分解能の決定方法は、時間／周波数格子を用いた音声信号のスペクトル包絡線符号化において時間境界及び周波数分解能を決定する方法であって、包絡線データにおける先行フレームの終了時間境界から現行フレームの開始時間境界を導出し、前記開始時間境界と所定の許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、一定以上に程度が大きい過渡事象の時間位置を検出し、前記過渡事象の大きさを、所定の信号変化基準と比較することにより、前記許容範囲内における現行フレームの終了時間境界と前記過渡事象の時間位置との間のスペクトルデータ中の中間時間境界及び実際の終了時間境界を見つけ出して具体値化する。従って、時間境界決定方法によって、時間方向中のエネルギーの変化を評価することで前と後の過渡事象領域のフレーム分割を実行する好ましい体系的な手法が実現される。この方法においては、全ての課せられた規格上の制約を考慮したうえで、過渡事象よりも後ろの領域を優先することにより、あるいは、過渡事象よりも遠い領域に対してより近い領域を優先することによって良い音質が実現されている。

また、本発明において適応される周波数分解能の決定方法は、過渡事象よりも後ろの領域における周波数方向のエネルギー分布を検出する。中間時間境界および前記終了時間境界による分割で取得された各時間セグメントについて、所定の周波数で示される低分解能境界を境とする全ての周波数帯域のエネルギーを評価することにより、前記時間セグメントにおける周波数分解能を導出する。この方法では、エネルギー分布に大きな変化が発見される場合においては、高分解能分割を用いる。本発明に係る２つの方法を同時に用いることにより、ＳＢＲ技術の時間―周波数図の分割の好ましく、かつ、簡単に実現することが可能な手法が提供される。

なお、本発明は、このようなスペクトル包絡線符号化の時間境界及び周波数分解能の決定方法として実現することができるだけでなく、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだ音響符号化装置および音響復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

下記に述べる方法は、ＳＢＲの文脈中で説明された例である。しかし、本発明の適応範囲は、時間／周波数格子に基づいたスペクトル包絡線符号化方法を利用しているどのような形態にも拡張されるものである。
３．５．１ 時間境界の決定
時間境界の決定の実施例は、図１３から１７までの一連のフローチャートにおいて示されている。
３．５．１．１ 概要
図１３は、本発明に係る時間境界決定部の全体を示すフローチャートを示す図である。図１３は、全ての時間境界の決定処理の全体図を示す。１２０１０において、先行ＳＢＲフレームの終了境界に最初のborder［０］を設定し、また、境界カウンターのnoBorderを１に初期化する。１２０２０において、過渡事象検出部を現行フレームにおいて作動させる。border0から（次の規定のＳＢＲ境界＋Ｖ）までで最も急激な過渡事象の振る舞いを検出するためである。これにより、現行フレーム内における過渡事象の有無を検出する。ここでＶは、構成によって許容される次のＳＢＲフレームの中に入り込む量である。

過渡事象が見つかれば、１２０３０において、先行ＳＢＲフレームの終了境界の種別を確認する。それが固定境界であれば、現行フレームは１２０５０中においてＦＩＸＶＡＲタイプとなる。それが可変境界であれば、現行フレームは１２０９０中においてＶＡＲＶＡＲタイプとなる。いずれのケースにおいても、過渡事象の位置を示す境界はborder1中に登録され、現行フレーム内の境界の数を示すnoBorderはインクリメントされて増加する。

過渡事象が見つからない場合においては、１２０４０において、先行ＳＢＲフレームの終了境界の種別を確認する。それが固定境界であれば、現行フレームは１２１３０中においてＦＩＸＦＩＸタイプとなる。可変境界であれば、現行フレームは１２１５０中においてＶＡＲＦＩＸタイプとなる。

現行フレームがＦＩＸＶＡＲである場合においては、１２０６０において、中間境界の必要性を確認するために、前記過渡事象と（次の規定のＳＢＲ境界＋Ｖ）との間の領域を確認する。３．５．１．２において述べる前方探索（タイプ１）の方法はこの目的のために用いられる。前方探索の最後において、１２０７０で、境界数noBorderが確認される。noBorderが境界数として許容される最大値MaxBorderよりも少ない場合においては、１２０８０において、前記過渡事象及び開始境界の間の領域を確認するために後方探索を用い、必要であるならばより多くの中間境界を具体値化する。上述のシーケンス処理は、過渡事象位置よりも後ろの領域で検出される中間境界を優先する。

現行フレームがＶＡＲＶＡＲである場合においては、１２１００において、中間境界のための可能性ある必要性のために、３．５．１．２において述べる前方探索（タイプ１）の方法を用いて、前記過渡事象と（次の規定のＳＢＲ境界＋Ｖ）との間の領域を確認する。前方探索の最後において、１２１１０中において、noBorderが確認される。noBorderが境界数として許容される最大値MaxBorderよりも少ない場合においては、１２１２０において、前記過渡事象及び開始境界の間の領域を確認するために別の前方探索（タイプ２）を用い、必要であるならばより多くの中間境界を具体値化する。上述と同様となるが、上述のシーケンス処理は、過渡事象位置よりも後ろの領域で検出される中間境界を優先する。

現行フレームがＦＩＸＦＩＸである場合においては、１２１４０において、低時間分解能の設定を選択する。より詳細は３．５．２において述べる。

現行フレームがＶＡＲＦＩＸである場合においては、１２１６０において、中間境界の必要性を確認するために開始境界と次の規定のＳＢＲフレーム境界との間の領域を確認する。上記の前方探索（タイプ１）方法はこの目的のために用いられる。

上述した各処理の４つ分岐は、１２１７０において後の処理のために検出した境界を昇順に並べ換えて終了する。

図１４は、４つのフレームタイプの可変部中における３つの探索タイプの使用を示す図である。図１４は、４つのフレーム種別中における３つの探索タイプの使用を描画するものであり、ここで１７０１０と１７０２０は前方探索処理（タイプ１）を示し、１７０４０と１７０５０は前方探索処理（タイプ２）を示し、１７０３０は後方探索処理を示す。

過渡事象位置よりも後ろの領域は、上述の実施例において、中間境界決定処理中で優先されるが、信号変化を評価することにより、どのような領域が優先されるかを選択することも可能となる。信号変化が過渡事象よりも前の領域において、より大きいような場合においては、過渡事象よりも前の領域が優先され、また、信号変化が過渡事象よりも後の領域において、より大きい場合においては、過渡事象の後ろの領域が優先される。
３．５．１．２ 前方探索（タイプ１）
この前方探索法（タイプ１）は、過渡事象の位置から開始し、まだ決定していない可変境界において終了する領域のために設計されている。その目的は、中間境界と終了境界を定めることにある。３つの入力されるパラメータであるborder1、border2、noBorderLimitは、（border1とborder2との間の）探索領域を設定するために図１３の１２０６０と１２１００に従って初期化されなければならない。また、noBorderLimitは許される最大の境界数に初期化される。

図１５は、前方探索（タイプ１）処理のフローチャートを示す図である。図１５には、この方法のフローチャートを示す。この方法は、時間セグメントの左境界と右境界を表現するために、２つの中間の変数ｉとｊを用いる。セグメントの左境界をｉとし、右境界をｊとする。ｋは現行時間セグメントの相対境界距離Ｄｋを参照するために用いる。全ての相対距離は予め決められたサイズ（di [D1, D2, D3, D4], with 0<D1<D2<D3<D4.）のみをとることができるからである。１３０１０において、ｉとｋをｉ=border1、ｋ=2に初期化する。border1は、過渡事象の時間位置である。すなわち、１３０１０では、過渡事象の時間位置を示す境界ｉ＝border1から、前方に時間セグメントの相対境界距離Ｄ２の位置に中間境界ｊを決定することを予定している。１３０２０において、ｉがまだ規定のＳＢＲフレーム境界より下か否か（すなわち、過渡事象の時間位置が、現行フレームとすべき規定のＳＢＲフレーム境界を越えていないか否か）を判定する。また、境界数noBorderが境界数の上限であるnoBorderLimitを超えていないかを判定する。超えていない状態においては、より多くの中間境界がまだ具体値化されることができる。そこで１３０３０中において、隣の可能な端部である現行時間セグメントｊ=ｉ＋Ｄ２に設定する。すなわち、過渡事象の時間位置から幅Ｄ２の幅をもつ中間境界が設定可能かどうかを調べる。１３０４０中において、ｊ<=border2か否かの判定を行う。すなわち、ｊで表される中間境界が現行フレームの終端となる（規定のＳＢＲ境界＋Ｖ）を超えていないかを判定する。

noの場合においては、Ｄｋ（ただし、Ｄｋ＝Ｄ２）は有効な相対境界距離ではなくなる。この方法では、１３０９０中において、ｋ＝ｋ−１とすることにより、以前の相対境界距離Ｄ（ｋ-１）、すなわち、Ｄ１に逆戻りし、ｉ＋Ｄｋすなわち、ｊ＝ｉ＋Ｄ１に新しい境界ｊを登録する。境界の数はnoBorderを増加することにより更新される。この方法によれば、１３０４０中において「no」の選択を経て、１３１００に至るならば、最後に登録される境界は、このＳＢＲフレームの可変終了境界となる。

一方、１３０４０中において「Yes」を選択する場合においては、それは新たな境界が必要か否かを判定するための信号変化基準を評価するための処理に進む。しかし、Ｄｋが既に相対境界距離（本例においてはＤ４）として許容範囲内における最大である場合においては、すなわち、１３０５０のように相対化境界距離を最大幅にしてしまう場合には、１３０５０中において反映するように、信号変化基準は評価される必要はない。というのも、このようにした場合、新たな境界は強制的に決めるためである。１３０５０中において「Yes」を選択する場合においては、新たな境界を登録するために、直接１３１００に至ることとなる。

ＤｋがまだＤ４でない場合においては、１３０５０はnoであり、以下に示す変数peak_ratioはｉと（ｊ-１）の間で示される領域のために１３０６０中において評価される。新たな中間境界を決定するための基準は、全ての時間セグメントの平均エネルギーと、各時間位置のエネルギー比とを確認することに基づく。それは１３０７０中において下記の式で実行される。

この式において、
ＥＴｍは時間位置ｍのエネルギーである。

ＥＴはｉから（ｊ-１）までにおいて計算された全ての時間位置の平均エネルギーである。

Ｔｒ１は予め定められた閾値である。
別の可能な信号変化基準として、下記の最大及び最小のエネルギー値を比較することに基づいてもよい。

最後に、信号変化基準として、下記の絶対振幅の最大値及び最小値を比較することに基づいてもよい。

peak_ratioが閾値Ｔｒ１を超える場合においては、大きな信号変化により新たな境界が決定される。しかし、現行のＤｋが、より大きな信号変化を引き起こすならば、Ｄ（ｋ-１）は望まれる相対境界距離となるべきである。結果として、１３０９０において、ｋの値は減算され、１３１００において、新たな境界が登録される。

peak_ratioが上記閾値Ｔｒ１を越えない場合においては、信号変化は、十分に穏やかであると考えられ、従って、１３０８０中において、より時間幅の大きなＤｋが、まずｋの値を増加させた後、ｊを調整することによって適用される。すなわち、信号変化の小さい場所ではより大きな時間間隔で境界を作成する。

この処理は最終的に１３０２０中において「no」の選択がなされるまで繰り返される。それから、全てのnoBorderLimitが使用されているにも関わらず、可変終了境界となるであろう終了境界が、まだ規定のＳＢＲフレーム境界以下であるか否かを確認するための１３１１０に進む。このステップは重要であり、というのも、ＳＢＲ構成は、標準値のＳＢＲフレーム境界と等しいか又は大きい終了境界を要求するためである。終了境界が規定のＳＢＲフレームよりも小さくなければ、処理は安全に終了する。終了境界が規定のＳＢＲフレームよりも小さい場合においては、この方法は、終了境界が前記要求を満たすまで相対境界距離を拡張する処理を開始する。

この相対境界距離を拡張する１つの可能な方法は、最初の過渡事象の境界から最も離れた相対境界距離を犠牲にすることによって実現される。１３１２０から開始して、ｉは終了境界を参照するために初期化される。１３１３０中において、borderｉとborder（ｉ-１）の間の相対境界距離を引き続いて確認する。この相対境界距離がＤ４よりも小さくない場合においては、この相対境界距離は拡張できないために、ｉは減少され、その結果、border（ｉ-１）とborder（ｉ-２）の間の相対境界距離が確認される。しかし、その相対境界距離がＤ４よりも低いような場合においては、borderｉとborder（ｉ-１）の間の相対距離は１３１６０中において拡張される。この処理は、１３１７０中において検証されるように、終了境界が規定のＳＢＲフレーム境界より大きいか、等しくなるまで繰り返される。

相対境界距離を拡張する１つの可能な方法は、より多くの処理を必要とする方法である。それは、境界の間の全ての相対境界距離を増加させ、新たな境界間の信号特性を確認し、境界間の信号変化が最小となる境界において相対距離を増加させる。そして、この処理は終了境界が規定のＳＢＲフレーム境界と等しいかより大きくなるまで繰り返される。しかし、経験的に、最小の変化をしている領域は、過渡事象境界から最も離れた領域である。その理由は、過渡事象境界に近い領域が最も変化しているならば、この特性は過渡事象境界に近くに位置して存在する中間境界の存在によって既に捉えられているからである。
３．５．１．３ 前方探索（タイプ２）
この前方探索法（タイプ２）は、可変境界又は固定境界と共に開始し、また既に決定された境界で終了する帯域において設定される。タイプ１の前方探索法とは異なり、目的は中間境界を決定することのみを目的とする。３つの入力されるパラメータ、border1、border2、noBorderLimitは、探索領域及び許容範囲内における境界の最大数を設定するため、図１３の１２１２０及び１２１６０に従って初期化されなければならない。

図１６は、前方探索（タイプ２）処理のフローチャートを示す図である。図１６にこの方法のフローチャートを示す。原則的に、２つの前方探索方法は同じとなる。従って、１４０１０から１４１００の処理においては、図１５の１３０１０から１３１００の処理と、幾つかの例外を除けばほとんど同様である。

１４０２０において、現行時間セグメントの先頭端が、次の規定のＳＢＲフレームより小さいかを確認する代わりに、前記先頭端がborder2-Ｄ２より小さくなるかを確認することが新たな制約となる。

１４０２０中において「no」を選択する場合においては、処理は終了する。すなわち、図１５に１３１１０以降の処理とは異なり、幾つかの相対境界距離を拡張する処理を必要とはしない。というのも終了境界は見つける必要がないためである。

同様に、１４０４０中では、現行時間セグメントの後端がborder2を越えるならば、終了境界は必要がないので、新たな境界をｉ＋Ｄ（ｋ-１）（図１５の１３０４０から１３０９０までの枝分かれに示されるように）に登録せずに、すぐに終了する。

１４１００中では、新たな境界のpeak_ratioは、それが初期化される際には保存されなければならない。これは１４１１０中において冗長な境界を取り除くためである。これらの冗長な境界は、現行フレームにおける時間セグメント長を許される最大値に設定するために作成されることがある。というのも、各境界の位置は相互の相対位置で表されるために、次に境界を設定するために便宜的に冗長な境界を設置する必要が生じる場合があるためである。しかし、これが終了境界であれば、それは問題を引き起こすことなく取り除かれることができる。
３．５．１．４ 後方探索
この後方探索方法は、過渡事象と共に開始する境界と開始境界と共に終了する境界の領域のために設定される。３つの入力されるパラメータ、border1、border2、及びnoBorderLimitは、探索帯域及び許容範囲内における最大数を設定するための図１３の１２０８０中に従って初期化されなければならない。

図１７は、後方探索処理のフローチャートを示す図である。原則的に、この方法は前方探索（タイプ２）と同様となる。従って、逆方向で実行される処理を除いて、１５０１０から１５１１０までの処理はほとんど１４０１０から１４１１０までの処理と同じとなる。ｉに相対するｊを増加する代わりに、後方探索においてはｉに相対するｊを減少させる。

具体的には、１４０２０中でｉ＜＝border2−Ｄ２とする代わりに、１５０２０において、ｉ＞＝border2＋Ｄ２とする。というのもｉは徐々に開始境界（すなわち、border2）に近づくためである。 １４０４０中でｊ＜＝border2とする代わりに、上記同様の理由により、１５０４０において、ｊ＞＝border2とする。

１４０６０中で時間位置ｉからｊ−１の間のpeak_ratioを計算する代わりに、１５０６０において、時間位置ｊからｉ―１の間のpeak_ratioを計算する。

１４０３０と１４０８０中でのｊ＝ｉ＋Ｄｋを計算する代わりに、１５０３０と１５０８０においてｊ＝ｉ-Ｄｋを計算する。

最後に、１４１００中でｉ＝ｉ＋Ｄｋを計算する代わりに、１５１００中ではｉ＝ｉ―Ｄｋを計算する。
３．５．２ ＦＩＸＦＩＸにおける低時間分解能
ＦＩＸＦＩＸフレームはその近傍中に過渡事象の特性を有していない。そこで、符号化ビットを削減するために少ない時間境界を使うことが論理的となる。ＳＢＲにとって、ＦＩＸＦＩＸフレームのための時間／周波数図は選択された境界の数に基づいて均一的に中間境界により分割される。境界の数を選択する簡単な方法は、境界の最も低い数を使用してみて、形成される時間セグメントのpeak_ratioを評価することである。peak_ratioのいずれもがある閾値を越える場合においては、より多くの数の境界が必要とされ、形成される各時間セグメントのpeak_ratioの評価は繰り返される。形成される全時間セグメントのpeak_ratioがある閾値よりも低くなる場合において、又は境界の最大数に至る場合において、処理は終了する。
３．５．３ 周波数分解能の決定
周波数分解能の決定の実施例は、図１８中に参考図として示される。図１８は、本発明に係る周波数分能決定部を示すイラスト図である。低分解能分割の境界は高分解能分割の境界を１つおきにとったものとなる。

最初に、高周波数分解能が適用されることを前提とすると、時間セグメント中の全ての周波数帯域の平均エネルギーが計算される。平均エネルギーはＥｉを用いて示す。

図１８において、高周波数分解能の境界が「偶数」で表される場合においては、下記の式を満たすことにより高周波数分解能が選択される。そうでない場合においては、低周波数分解能が選択される

図１８において、高周波数分解能の境界が「奇数」で表される場合においては、下記の式を満たすことにより高周波数分解能が選択される。そうでない場合においては。低周波数分解能が選択される。

ここで、しきい境界の後の最初のｎ個の時間セグメントにおいては、

であり、またそれ以外においては
FREQ_RES_THRESHOLD₂ > FREQ_RES_THRESHOLD₁
となる。

これは、閾値の時間位置の後のｎ個の時間セグメントにおいて高周波数分解能を適用することは適していないということを示唆する。というのも、より高い時間分解能が必要とされるためである。

上述の実施例においては、平均エネルギーが決定のために用いられるが、信号変化を示す振幅情報のような他のパラメータを代わりに用いることも可能である。

本発明の符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送の放送局、コンテンツ配信を行う配信サーバおよび携帯電話機などに備えられる音響信号符号化装置として有用である。
また、本発明に係る復号化装置は、音楽コンテンツ等の配信を受けるための通信機能および記録媒体読み出し機能を備えたパーソナルコンピュータ、ＰＤＡ、携帯電話機、携帯型オーディオ再生装置およびデジタル放送を受信するＳＴＢなどに備えられるオーディオ復号化装置などとして有用である。

図１は、典型的な音声符号化システムを示す図である。 図２は、音声符号化における典型的な時間／周波数格子図である。 図３は、ビットレートにおける帯域幅の限定が高周波数長や調和の損失を起こすことを示す図である。 図４は、帯域幅拡張のためのサブバンド符号化機能を有する符号化器の例を示す図である。 図５は、帯域幅拡張のためのサブバンド符号化機能を有する復号化器を示す図である。 図６は、時間方向及び周波数方向のセグメントを示す図である。 図７は、４つのフレームタイプの境界関係を示す図である。 図８は、固定開始境界及び固定終了境界を用いるＦＩＸＦＩＸフレームを示す図である。 図９は、固定開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＦＩＸＶＡＲフレームを示す図である。 図１０は、可変開始境界、規定のＳＢＲフレーム境界よりも大きい可変終了境界、そして２つの最終境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＶＡＲフレームを示す図である。 図１１は、可変開始境界、固定終了境界、そして開始境界との相関、又はお互いの相関により特定される幾つかの中間境界を用いるＶＡＲＦＩＸフレームを示す図である。 図１２は、高分解能時間セグメントと低分解能時間セグメントとの間の境界の関係を示す図である。 図１３は、本発明に係る時間境界決定部の全体を示すフローチャートを示す図である。 図１４は、４つのフレームタイプの可変部中における３つの探索タイプの使用を示す図である。 図１５は、前方探索（タイプ１）処理のフローチャートを示す図である。 図１６は、前方探索（タイプ２）処理のフローチャートを示す図である。 図１７は、後方探索処理のフローチャートを示す図である。 図１８は、本発明に係る周波数分解能決定部を示すイラスト図である。

Claims (17)

1. 時間／周波数格子を用いた音声信号のスペクトル包絡線符号化において時間境界及び周波数分解能を決定する方法であって、
   包絡線データにおける先行フレームの終了時間境界から現行フレームの開始時間境界を導出し、
   前記開始時間境界と所定の許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、一定以上に程度が大きい過渡事象の時間位置を検出し、
   前記過渡事象の大きさを、所定の信号変化基準と比較することにより、前記許容範囲内における現行フレームの終了時間境界と前記過渡事象の時間位置との間のスペクトルデータ中の中間時間境界及び実際の終了時間境界を見つけ出して具体値化する
   ことを特徴とする時間境界及び周波数分解能決定方法。
2. 前記方法は、さらに、
   上記中間時間境界および前記終了時間境界による分割で取得された各時間セグメントについて、所定の周波数で示される低分解能境界を境とする全ての周波数帯域のエネルギーを評価することにより、前記時間セグメントにおける周波数分解能を導出する
   ことを特徴とする請求の範囲１記載の時間境界及び周波数分解能決定方法。
3. 現行フレームにおいて、許容範囲内における境界の数が残されていないが、開始時間境界から終了時間境界までの幅が最小要求値を満たしていない場合においては、要求される最小値が達成されるまで直前の前記中間境界の間隔を拡張する
   ことを特徴とする請求項１記載の時間境界及び周波数分解能決定方法。
4. 許容範囲内における境界の数が残されている場合においては、所定の信号変化基準を評価することにより、過渡事象の時間位置と開始時間境界の間とのスペクトルデータ中の中間時間境界をさらに具体値化する
   ことを特徴とする請求項１記載の時間境界及び周波数分解能決定方法。
5. 中間時間境界を発見するための処理では、まず、先に見つけられた時間境界と前記先の時間境界から離れて前方に動いている動き時間境界によって定められる一時的な時間セグメントを定義し、次に、前記動き時間境界の全ての変化に対して前記信号変化基準を評価する
   ことを特徴とする請求項１記載の時間境界及び周波数分解能決定方法。
6. 前記信号変化基準は、前記一時的な時間セグメント内の時間位置の最小エネルギーと前記一時的な時間セグメントの平均エネルギーとの比である
   ことを特徴とする請求項５記載の時間境界及び周波数分解能決定方法。
7. 計算された前記比が閾値を越えるような場合においては、新たな時間セグメントを定義するための前記動き時間境界に従って、新たな中間境界又は終了境界を具体値化する
   ことを特徴とする請求項６記載の時間境界及び周波数分解能決定方法。
8. 前記中間境界の拡張は、前記フレームの中の過渡事象時間位置から最も遠くに離れた時間セグメントについて行い、さらに遠くの境界の拡張がその規格上の限界に達した場合にだけ、過渡事象時間セグメントにより近い時間セグメントについても考慮する
   ことを特徴とする請求項３記載の時間境界及び周波数分解能決定方法。
9. 前記境界の拡張では、全ての時間セグメントを増加させ、形成される新たな時間セグメントの信号特性を確認し、境界間での信号変化を最小にするように時間セグメント数を増加させる
   ことを特徴とする請求項３記載の時間境界及び周波数分解能決定方法。
10. 前記信号変化基準の評価は、各時間セグメントの周波数帯ごとのエネルギー間の比率を計算することであり、
    前記比の最小値が閾値を超えるような場合においては、高周波分解能が適用され、そうでない場合においては、低周波数分解能が適用される
    ことを特徴とする請求項２記載の時間境界及び周波数分解能決定方法。
11. 前記過渡事象の時間位置を含む領域における高周波数分解能への切り替えが抑制されるように、過渡事象の時間位置を含む時間境界より後の複数の時間セグメントは、前記閾値がより高く設定される
    ことを特徴とする請求項１０記載の時間境界及び周波数分解能決定方法。
12. 時間／周波数格子を用いた音声信号のスペクトル包絡線符号化による帯域幅拡張における時間境界及び周波数分解能を決定する方法であって、
    分析フィルタバンクは音声信号を複数の低周波数サブバンド信号に変換し、
    前記サブバンド信号の一部は高周波数帯域に複製され、前記複製されたサブバンドは時間境界情報を用いて時間セグメントに分割された後、前記周波数分解能情報を用いて周波数帯に分割され、その後に前記包絡線データによって調整され、
    合成フィルタバンクは前記低周波数サブバンド信号と前記包絡線調節サブバンド信号をバンド幅拡張された時間寄与信号に変換し、
    前記方法では、
    包絡線データにおける先行フレームの終了時間境界から開始時間境界を導出し、
    前記開始時間境界と最も離れた許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、最も程度が大きい過渡事象時間位置を検出し、
    信号変化基準を評価することにより、最も離れた許容範囲内における終了時間境界と前記過渡事象時間位置の間のスペクトルデータ中の中間時間境界及び実際の終了時間境界を見つけ出して具体値化し、
    上記で取得された各時間セグメントについて、低分解能境界を境とする全ての周波数帯域のエネルギーを評価することにより、周波数分解能を導出する
    ことを特徴とする時間境界及び周波数分解能決定方法。
13. 時間／周波数格子を用いた音声信号のスペクトル包絡線符号化において時間境界及び周波数分解能を決定する方法であって、
    包絡線データにおける先行フレームの終了時間境界から開始時間境界を導出し、
    前記開始時間境界と最も離れた許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、最も程度が大きい過渡事象時間位置を検出し、
    前記過渡事象境界と前記開始時間境界の間の帯域、又は前記過渡事象境界及び最も遠く離れた終了時間境界の間の帯域のどちらの領域が最も変化するスペクトルデータを有するかを検出し、
    前記最も変化しているスペクトルデータが前記過渡境界と前記最も離れた許容範囲内における終了境界との間の領域において発見される場合には、信号変化基準を評価することにより、前記領域中において、実際の終了時間境界と中間時間境界を見つけ出して具体値化し、
    前記最も変化しているスペクトルデータが前記過渡境界と前記開始時間境界の間の帯域で発見される場合においては、信号変化基準を評価することにより、前記領域中の中間境界を見つけ出して具体値化し、また、信号変化基準を評価することにより、他の領域中の実際の終了時間境界と中間時間境界を見つけ出して具体値化し、
    上述において獲得される各時間セグメントについて、低分解能境界を境とする各周波数帯のエネルギーを評価することによって周波数分解能を導き出す
    ことを特徴とする時間境界及び周波数分解能決定方法。
14. 時間／周波数格子を用いた音声信号のスペクトル包絡線符号化による帯域幅拡張における時間境界及び周波数分解能を決定する方法であって、
    分析フィルタバンクは音声信号を複数の低周波数サブバンド信号に変換し、
    前記サブバンド信号の一部は高周波数帯域に複製され、前記複製されたサブバンドは前記時間境界情報を用いて時間セグメントに分割された後に、前記周波数分解能情報を用いて周波数帯に分割され、その後に前記包絡線データによって調整され、
    合成フィルタバンクは前記低周波数サブバンド信号と前記包絡線調節サブバンド信号をバンド幅拡張、時間寄与信号に変換し、
    前記方法では、
    包絡線データにおける先行フレームの終了時間境界から開始時間境界を導出し、
    前記開始時間境界と最も離れた許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、最も程度が大きい過渡事象時間位置を検出し、
    前記過渡事象境界と前記開始時間境界の間の帯域、又は前記過渡事象境界及び最も遠く離れた終了時間境界の間の帯域のどちらの領域が最も変化するスペクトルデータを有するかを検出し、
    最も変化している前記スペクトルデータが前記過渡境界と最も離れた前記許容範囲内における終了境界との間の領域において発見される場合には、信号変化基準を評価することにより、前記領域中において、実際の終了時間境界と中間時間境界を見つけ出して具体値化し、
    最も変化している前記スペクトルデータが前記過渡境界と前記開始時間境界の間の帯域で発見される場合においては、信号変化基準を評価することにより、前記領域中の中間境界を見つけ出して具体値化するとともに、信号変化基準を評価することにより、他の領域中の実際の終了時間境界と中間時間境界を見つけ出して具体値化し、
    獲得された各時間セグメントについて、低分解能境界を境とする各周波数帯のエネルギーを評価することによって周波数分解能を導き出す
    ことを特徴とする時間境界及び周波数分解能決定方法。
15. 請求項１から請求項１４のいずれかに記載の時間境界及び周波数分解能決定方法により達成される機能を提供するプログラム言語で記述されたプログラム。
16. 請求項１５記載のプログラムを格納している記録媒体。
17. 時間／周波数格子を用いた音声信号のスペクトル包絡線符号化において時間境界及び周波数分解能を決定する装置であって、
    包絡線データにおける先行フレームの終了時間境界から現行フレームの開始時間境界を導出する手段と、
    前記開始時間境界と所定の許容範囲内における終了時間境界との間のスペクトルデータ中から、過渡事象検出部により、一定以上に程度が大きい過渡事象の時間位置を検出する手段と、
    前記過渡事象の大きさを、所定の信号変化基準と比較することにより、前記許容範囲内における現行フレームの終了時間境界と前記過渡事象の時間位置との間のスペクトルデータ中の中間時間境界及び実際の終了時間境界を見つけ出して具体値化する手段と、
    上記中間時間境界および前記終了時間境界による分割で取得された各時間セグメントについて、所定の周波数で示される低分解能境界を境とする全ての周波数帯域のエネルギーを評価することにより、前記時間セグメントにおける周波数分解能を導出する手段と
    を備えることを特徴とする時間境界及び周波数分解能決定装置。

Images