WO2011048792A1

WO2011048792A1 - 音響信号処理装置、音響符号化装置および音響復号装置

Info

Publication number: WO2011048792A1
Application number: PCT/JP2010/006180
Authority: WO
Inventors: 石川　智一; 則松　武志; コックセンチョン; フアンゾウ; ハイシャンジョン
Original assignee: パナソニック株式会社
Priority date: 2009-10-21
Filing date: 2010-10-19
Publication date: 2011-04-28
Also published as: TW201137859A; JP5422664B2; US20120022676A1; US9026236B2; CN102257567A; JPWO2011048792A1; EP2704143B1; EP2704143A3; EP2360688B1; EP2360688A1; TWI509596B; EP2704143A2; EP2360688A4; CN102257567B

Abstract

　低い演算量で、時間伸縮処理または周波数変調処理のような音響信号処理を実現できる音響信号処理装置を提供する。音響信号処理装置は、所定の調整係数を用いて、入力音響信号列を変換する音響信号処理装置であって、入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換するフィルタバンク（２６０１）と、ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部（２６０２）とを備える。

Description

音響信号処理装置、音響符号化装置および音響復号装置

　本発明は、音響信号および音声信号（以下、音響信号と呼ぶ）をデジタル信号処理する音響信号処理装置に関するものである。

　音響信号を時間軸上で、圧縮したり伸張したりする技術として、フェーズボコーダー（Ｐｈａｓｅ　Ｖｏｃｏｄｅｒ）という技術がある。非特許文献１に開示されているフェーズボコーダー装置は、デジタル化した音響信号に高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）または短時間フーリエ変換（ＳＴＦＴ：Ｓｈｏｒｔ　Ｔｉｍｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を適用し、周波数領域で、時間方向の伸縮処理（時間伸張処理）、および、ピッチ変換処理（ピッチシフト処理）などを実現している。

　ピッチは、ピッチ周波数とも呼ばれ、音の高さを意味する。時間伸張処理は、音響信号のピッチを変えずに音響信号の時間長を伸縮する処理である。ピッチシフト処理は、周波数変調処理の例であり、音響信号の時間長を変えずに音響信号のピッチを変える処理である。ピッチシフト処理は、ピッチ伸張処理とも呼ばれる。

　音響信号の再生速度が単純に変更された場合、音響信号の時間長およびピッチの両方が変更される。一方、ピッチを変えずに時間伸縮された音響信号の再生速度が変更されることにより、音響信号の時間長が元に戻り、音響信号のピッチのみが変換される場合もある。そのため、ピッチシフト処理には、時間伸張処理が含まれる場合がある。逆に、時間伸張処理には、ピッチシフト処理が含まれる場合もある。このように時間伸張処理とピッチシフト処理とは、対応する関係を有する。

　時間伸張処理は、入力音響信号をＦＦＴして得られたスペクトル信号の局所的なスペクトル特性を変えることなく、入力音響信号の継続時間（再生時間）を変化させることが出来る。その原理は以下の通りである。

　（ａ）時間伸張処理を実行する音響信号処理装置は、まず、入力音響信号を一定時間間隔に分割して、一定時間間隔毎（たとえば１０２４サンプル毎）に解析する。その際、音響信号処理装置は、分割した時間単位内で、分割時間単位よりも短い時間間隔（たとえば１２８サンプル）毎にオーバーラップさせて入力音響信号を処理する。ここでは、オーバーラップさせる時間間隔をホップサイズ（Ｈｏｐ　Ｓｉｚｅ）と呼ぶことにする。

　図３０Ａでは、入力信号のホップサイズは、Ｒ_aである。また、フェーズボコーダー処理によって算出される出力音響信号も、時間間隔が一定サンプル数だけオーバーラップされた音響信号になる。図３０Ｂでは、出力音響信号のホップサイズは、Ｒ_sである。時間伸張する場合は、Ｒ_s＞Ｒ_aとなり、時間圧縮する場合は、Ｒ_s＜Ｒ_aとなる。ここでは、時間伸張する場合（Ｒ_s＞Ｒ_a）を例にとって説明する。時間伸張の割合ｒを式１のように定義する。

　（ｂ）上述のように、一定時間間隔毎に分割され、オーバーラップされた状態の各時間ブロック信号は、時間的にコヒーレント（Ｃｏｈｅｒｅｎｔ）なパターンを有している場合が多い。そこで、音響信号処理装置は、各時間ブロック信号に周波数変換を施す。典型的には、音響信号処理装置は、入力の各時間ブロック信号を周波数変換し、位相情報を調整する。その後、音響信号処理装置は、出力の時間ブロック信号として、周波数領域の信号を時間領域の信号に戻す。

　上記の原理に従って、これまでの古典的なフェーズボコーダー装置は、ＳＴＦＴを用いて、周波数領域への変換を行い、周波数領域でのさまざまな調整処理の後、短時間フーリエ逆変換を行っていた。そして、これにより、時間変換およびピッチシフト処理を実現していた。次に、ＳＴＦＴベースの処理について、説明する。

　（１）解析
　まず、音響信号処理装置は、ホップサイズＲ_aでオーバーラップされた時間ブロック単位毎に窓長Ｌの解析窓関数を実行する。具体的には、音響信号処理装置は、各ブロックを、ＦＦＴを用いて周波数領域に変換する。たとえば、ｕＲ_a（ｕ∈Ｎ）という点における周波数特性は、式２によって算出される。

　ここで、ｈ（ｎ）は解析窓関数であり、ｋは、周波数インデックスを示し、範囲としてはｋ＝０，…，Ｌ－１である。また、Ｗ_L ^mkは、

により算出される。

　（２）調整
　このようにして算出された周波数信号の位相情報、すなわち、調整前の位相情報は、φ（ｕＲ_a，ｋ）であるとする。調整フェーズにおいて、音響信号処理装置は、周波数インデックスがｋである周波数成分ω（ｕＲ_a，ｋ）を次の方法で算出する。

　まず、周波数成分ω（ｕＲ_a，ｋ）を算出するため、音響信号処理装置は、連続する解析点である（ｕ－１）Ｒ_aとｕＲ_aの位相信号の増加分Δφ_k ^uを式３に従って算出する。

　時間間隔Ｒ_aで増加分Δφ_k ^uが算出されるため、音響信号処理装置は、各周波数成分ω（ｕＲ_a，ｋ）を式４に従って計算することができる。

　次に、音響信号処理装置は、合成点ｕＲ_sにおける位相を、式５によって計算する。

　ψ（ｕＲ_s，ｋ）＝ψ（（ｕ－１）Ｒ_s，ｋ）＋Ｒ_s・ω（ｕＲ_a，ｋ）　　　（式５）

（３）再合成
　音響信号処理装置は、ＦＦＴにより算出された周波数信号の振幅｜Ｘ（ｕＲ_a，ｋ）｜と、調整後の位相ψ（ｕＲ_s，ｋ）とをすべての周波数インデックスに対して算出する。そして、音響信号処理装置は、逆ＦＦＴ変換を用いて、周波数信号を時間信号に再合成する。再合成は、式６に従って実行される。

　音響信号処理装置は、再合成された時間ブロック信号を、合成点ｕＲ_sに挿入する。そして、音響信号処理装置は、合成出力された信号と、前のブロックで合成出力された信号とをオーバーラップ加算することで、時間伸張信号を生成する。前ブロックの合成出力とのオーバーラップ加算は、式７に示される。

　上記の３つのステップは、解析点（ｕ＋１）Ｒ_aに関しても、施される。そして、上記の３つのステップは、すべての入力信号ブロックに対して繰り返される。この結果として、音響信号処理装置は、伸張比Ｒ_s／Ｒ_aで時間伸張した信号を算出することが出来る。

　なお、時間伸張された信号の振幅方向のモジュレーション（時間的な揺らぎ）を補正するため、窓関数ｈ（ｍ）は、電力補償（ｐｏｗｅｒ－ｃｏｍｐｌｅｍｎｔａｒｙ）条件を満たす必要がある。

　時間伸張に対応する処理として、ピッチシフト処理がある。ピッチシフト処理は、信号の経過時間を変えることなく信号のピッチを変える方法である。デジタル音響信号のピッチを変える簡単な方法は、入力信号を間引く（ｒｅｓａｍｐｌｅ）ことである。ピッチシフト処理は、時間伸張処理とも組み合わせることが可能である。例えば、音響信号処理装置は、時間伸張処理の後で、元の入力信号の時間長にｒｅｓａｍｐｌｅすることも可能である。

　一方で、ピッチシフト処理を直接そのまま計算する手法も存在する。ピッチシフト処理を計算する手法は、一般的に、時間軸でのｒｅｓａｍｐｌｅ処理よりもかなり悪い副作用を発生する場合があるが、本発明ではその詳細は述べない。

　なお、時間伸張の処理は、伸張比により、時間圧縮の処理になる場合がある。そのため、ここでは、時間伸張の表現は、時間伸縮を示し、時間圧縮を含む。

Ｉｍｐｒｏｖｅｄ　Ｐｈａｓｅ　Ｖｏｃｏｄｅｒ　Ｔｉｍｅ－Ｓｃａｌｅ　Ｍｏｄｉｆｉｃａｔｉｏｎ　ｏｆ　Ａｕｄｉｏ（ＩＥＥＥ　Ｔｒａｎｓ　ＡＳＰ　Ｖｏｌ．７　Ｎｏ．３，Ｍａｙ　１９８９）

　しかしながら、上述のように、ＦＦＴおよび逆ＦＦＴで構成する古典的なフェーズボコーダー装置で高品質な時間伸張を実現するためには、細かいホップサイズを設定する必要がある。したがって、結果的にＦＦＴおよび逆ＦＦＴを膨大な回数実施することが必要であり、演算量が大きい。

　また、音響信号処理装置は、時間伸張処理の後、時間伸張処理とは異なる処理を実行する場合がある。この場合、音響信号処理装置は、時間領域の信号を解析用の領域の信号へ変換する必要がある。例えば、このような解析用の領域として、時間軸方向と周波数軸方向との両方に成分を有するＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）領域がある。ＱＭＦ領域は、時間軸方向と周波数軸方向との両方に成分を有するため、合成複素領域、合成周波数領域、サブバンド領域、または、周波数サブバンド領域等とも呼ばれることもある。

　一般的に、複素ＱＭＦフィルタバンクは、時間領域の信号を、時間軸と周波数軸との両方に成分を持つ合成複素領域へと変換する手法の一つである。ＱＭＦフィルタバンクは、典型的には、Ｓｐｅｃｔｒａｌ　Ｂａｎｄ　Ｒｅｐｌｉｃａｔｉｏｎ（ＳＢＲ）技術、Ｐａｒａｍｅｔｒｉｃ　Ｓｔｅｒｅｏ（ＰＳ）、および、Ｓｐａｔｉａｌ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ（ＳＡＣ）などのパラメトリックベースのオーディオ符号化方法に用いられている。これらの符号化で用いられているＱＭＦフィルタバンクは、サブバンド毎に複素数の値で表現される周波数領域の信号を２倍にオーバーサンプリングするような特性を持つ。これは、折り返し歪みを発生させずに、サブバンド周波数領域の信号を処理することを実現するための仕様である。

　以下に、もう少し詳しく述べる。ＱＭＦ解析フィルタバンクは、入力信号の実数値の離散時間信号ｘ（ｎ）をサブバンド周波数領域の複素信号ｓ_k（ｎ）に変換する。ｓ_k（ｎ）は、式８によって算出される。

　ここで、ｐ（ｎ）は、ｌｏｗ－ｐａｓｓ特性を持つＬ－１次のプロトタイプフィルタのインパルス応答である。αは位相パラメータ、Ｍはサブバンド数である。また、ｋは、サブバンドのインデックスを示しており、ｋ＝０，１，…，Ｍ－１である。

　ここでは、ＱＭＦ解析フィルタバンクによってサブバンド領域の信号に分割された信号をＱＭＦ係数と呼ぶ。ＱＭＦ係数は、パラメトリック符号化手法において、合成処理の前段階で、調整されることが多い。

　ＱＭＦ合成フィルタバンクは、ＱＭＦ係数の先頭のＭ個の係数をゼロパディングする（値を０で埋める）ことによって、サブバンド信号ｓ’_k（ｎ）を算出する。そして、ＱＭＦ合成フィルタバンクは、式９に従って時間信号ｘ’（ｎ）を算出する。

　ここで、βは位相パラメータを示す。

　以上のケースでは、入力の実数値信号ｘ（ｎ）の再合成可能条件（ｐｅｒｆｅｃｔ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）をほぼ満たすように、実数値で構成された線形位相プロトタイプフィルタ係数ｐ（ｎ）および位相パラメータが設計されている。

　上述のように、ＱＭＦ変換は、時間軸方向と周波数軸方向との混合の変換である。すなわち、信号に含まれる周波数成分と、時間毎の周波数の変化を示す情報を抽出することが可能である。そして、周波数成分は、サブバンドおよび単位時間毎に抽出することができる。ここでは、単位時間のことをタイムスロットと呼ぶことにする。

　図３１に詳しく図示する。実数の入力信号は、長さＬおよびホップサイズＭのオーバーラップされたブロックに分割される。ＱＭＦ解析処理では、各ブロックは、Ｍ個の複素サブバンド信号が１個のタイムスロットになった形へと変換される（図３１の上段）。こうして、時間領域のＬサンプルの信号が、Ｌ個の複素ＱＭＦ係数へと変換される。この複素ＱＭＦ係数は、図３１の中段で示すように、Ｌ／Ｍ個のタイムスロットおよびＭ個のサブバンドで構成される。各タイムスロットは、当該タイムスロットよりも前の（Ｌ／Ｍ－１）個のタイムスロットのＱＭＦ係数を用いて、ＱＭＦ合成処理で、Ｍ個の実数時間信号へと合成される（図３１の下段）。

　上述のＳＴＦＴと同様に、音響信号処理装置は、時間分解能と周波数分解能の本来の組み合わせによって、ある瞬間の周波数信号をＱＭＦ領域で算出することが可能である。

　また、音響信号処理装置は、Ｌ／Ｍ個のタイムスロットおよびＭ個のサブバンドで構成されている複素ＱＭＦ係数ブロックから、あるタイムスロットの位相情報と隣接するタイムスロットの位相情報との間の位相差を算出することができる。例えば、あるタイムスロットの位相情報と隣接するタイムスロットの位相情報との間の位相差は、式１０で算出される。

　Δφ（ｎ，ｋ）＝φ（ｎ，ｋ）－φ（ｎ－１，ｋ）　　　（式１０）

　ここで、φ（ｎ，ｋ）は、位相情報を示す。ｎは、タイムスロットインデックスを示し、ｎ＝０，１，…，Ｌ／Ｍ－１である。ｋは、サブバンドインデックスを示し、ｋ＝０，１，…，Ｍ－１である。

　時間伸張処理された後に、音響信号が、このようなＱＭＦ領域で信号処理される場合がある。しかし、この場合、音響信号処理装置は、演算量が大きいＦＦＴおよび逆ＦＦＴを伴う時間伸張処理に加えて、時間領域の信号をＱＭＦ領域の信号へ変換する処理をしなければならない。よって、演算量がさらに増加していた。

　そこで、本発明は、低い演算量で、音響信号処理を実現できる音響信号処理装置を提供することを目的とする。

　上記課題を解決するため、本発明に係る音響信号処理装置は、所定の調整係数を用いて、入力音響信号列を変換する音響信号処理装置であって、前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換するフィルタバンクと、前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整部とを備える。

　これにより、音響信号処理がＱＭＦ領域で実行される。したがって、演算量の大きな従来の音響信号処理が用いられないため、演算量が低減する。

　また、前記調整部は、調整された前記ＱＭＦ係数列から、所定の時間伸縮比で時間伸縮された前記入力音響信号列が得られるように、前記所定の時間伸縮比を示す前記所定の調整係数に依存させて、前記ＱＭＦ係数列を調整してもよい。

　これにより、音響信号の時間伸縮に相当する処理がＱＭＦ領域で実行される。したがって、演算量の大きな従来の時間伸縮処理が用いられないため、演算量が低減する。

　また、前記調整部は、調整された前記ＱＭＦ係数列から、所定の周波数変調比で周波数変調された前記入力音響信号列が得られるように、前記所定の周波数変調比を示す前記所定の調整係数に依存させて、前記ＱＭＦ係数列を調整してもよい。

　これにより、音響信号の周波数変調に相当する処理がＱＭＦ領域で実行される。したがって、演算量の大きな従来の周波数変調処理が用いられないため、演算量が低減する。

　また、前記フィルタバンクは、前記入力音響信号列を時間間隔毎に前記ＱＭＦ係数列へ逐次変換することにより、前記時間間隔毎の前記ＱＭＦ係数列を生成し、前記調整部は、前記時間間隔毎に生成された前記ＱＭＦ係数列のタイムスロット毎およびサブバンド毎に位相情報を算出する算出回路と、前記タイムスロット毎および前記サブバンド毎の前記位相情報を前記所定の調整係数に依存させて調整することにより、前記ＱＭＦ係数列を調整する調整回路とを備えてもよい。

　これにより、ＱＭＦ係数の位相情報が、調整係数に応じて、適応的に調整される。

　また、前記調整回路は、前記サブバンド毎に、前記ＱＭＦ係数列の最初のタイムスロットの前記位相情報と、前記所定の調整係数とに依存させて算出した値を、前記タイムスロット毎の前記位相情報に加算することにより、前記タイムスロット毎の前記位相情報を調整してもよい。

　これにより、位相情報が、タイムスロット毎に、調整係数に応じて、適応的に調整される。

　また、前記算出回路は、さらに、前記時間間隔毎に生成された前記ＱＭＦ係数列の前記タイムスロット毎および前記サブバンド毎に振幅情報を算出し、前記調整回路は、さらに、前記タイムスロット毎および前記サブバンド毎の前記振幅情報を前記所定の調整係数に依存させて調整することにより、前記ＱＭＦ係数列を調整してもよい。

　これにより、ＱＭＦ係数の振幅情報が、調整係数に応じて、適応的に調整される。

　また、前記調整部は、さらに、前記ＱＭＦ係数列の調整前または調整後に、前記ＱＭＦ係数列から、予め定められた帯域幅に対応する新たなＱＭＦ係数列を取り出す帯域制限部を備えてもよい。

　これにより、必要な周波数帯域のＱＭＦ係数のみが得られる。

　また、前記調整部は、前記ＱＭＦ係数列を調整する割合をサブバンド毎に重み付けして、前記サブバンド毎に前記ＱＭＦ係数列を調整してもよい。

　これにより、周波数帯域に応じて、適応的に、ＱＭＦ係数が調整される。

　また、前記調整部は、さらに、前記ＱＭＦ係数列の調整前または調整後に、前記ＱＭＦ係数列を時間および周波数の分解能が異なる新たなＱＭＦ係数列に変換する領域変換器を備えてもよい。

　これにより、ＱＭＦ係数列が、処理に応じたサブバンド数を有するＱＭＦ係数列に変換される。

　また、前記調整部は、調整前の前記ＱＭＦ係数列から過渡成分を検出し、検出した前記過渡成分を調整前の前記ＱＭＦ係数列から取り出し、取り出した前記過渡成分を調整し、調整した前記過渡成分を調整後の前記ＱＭＦ係数列に戻すことにより、前記ＱＭＦ係数列を調整してもよい。

　これにより、時間伸張処理に不適切な過渡成分による影響が抑制される。

　また、前記音響信号処理装置は、さらに、調整後の前記ＱＭＦ係数列から、予め定められた変換係数を用いて、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、前記高周波数帯域のうち、前記高域生成部によって前記高域係数列が生成されなかった周波数帯域である欠落帯域の係数を前記欠落帯域の両側に隣接する帯域に属する前記高域係数列を用いて補完する高域補完部とを備えてもよい。

　これにより、高周波数帯域に対応するＱＭＦ係数が得られる。

　また、本発明に係る音響符号化装置は、第１音響信号列を符号化する音響符号化装置であって、前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１フィルタバンクと、前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリング部と、前記第２音響信号列を符号化する第１符号化部と、前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２フィルタバンクと、前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化部と、符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳部とを備えてもよい。

　これにより、ＱＭＦ領域での音響信号処理を用いて、音響信号が符号化される。したがって、演算量の大きな従来の音響信号処理が用いられないため、演算量が低減する。また、ＱＭＦ領域での音響信号処理により得られたＱＭＦ係数は、時間領域の音響信号に変換されることなく、後段の処理に用いられる。したがって、さらに、演算量が低減する。

　また、本発明に係る音響復号装置は、入力されたビットストリームから、第１音響信号列を復号する音響復号装置であって、入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離部と、符号化された前記パラメータを復号する第１復号部と、符号化された前記第２音響信号列を復号する第２復号部と、前記第２復号部によって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１フィルタバンクと、前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２フィルタバンクとを備えてもよい。

　これにより、ＱＭＦ領域での音響信号処理を用いて、音響信号が復号される。したがって、演算量の大きな従来の音響信号処理が用いられないため、演算量が低減する。また、ＱＭＦ領域での音響信号処理により得られたＱＭＦ係数は、時間領域の音響信号に変換されることなく、後段の処理に用いられる。したがって、さらに、演算量が低減する。

　また、本発明に係る音響信号処理方法は、所定の調整係数を用いて、入力音響信号列を変換する音響信号処理方法であって、前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換する変換ステップと、前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整ステップとを含んでもよい。

　これにより、本発明に係る音響信号処理装置が、音響信号処理方法として実現される。

　また、本発明に係る音響符号化方法は、第１音響信号列を符号化する音響符号化方法であって、前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１変換ステップと、前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリングステップと、前記第２音響信号列を符号化する第１符号化ステップと、前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２変換ステップと、前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整ステップと、前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化ステップと、符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳ステップとを含んでもよい。

　これにより、本発明に係る音響符号化装置が、音響符号化方法として実現される。

　また、本発明に係る音響復号方法は、入力されたビットストリームから、第１音響信号列を復号する音響復号方法であって、入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離ステップと、符号化された前記パラメータを復号する第１復号ステップと、符号化された前記第２音響信号列を復号する第２復号ステップと、前記第２復号ステップによって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１変換ステップと、前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整ステップと、復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成ステップと、前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２変換ステップとを含んでもよい。

　これにより、本発明に係る音響復号装置が、音響復号方法として実現される。

　また、本発明に係るプログラムは、前記音響信号処理方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。

　これにより、本発明に係る音響信号処理方法が、プログラムとして実現される。

　また、本発明に係るプログラムは、前記音響符号化方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。

　これにより、本発明に係る音響符号化方法が、プログラムとして実現される。

　また、本発明に係るプログラムは、前記音響復号方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。

　これにより、本発明に係る音響復号方法が、プログラムとして実現される。

　また、本発明に係る集積回路は、所定の調整係数を用いて、入力音響信号列を変換する集積回路であって、前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換するフィルタバンクと、前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整部とを備えてもよい。

　これにより、本発明に係る音響信号処理装置が、集積回路として実現される。

　また、本発明に係る集積回路は、第１音響信号列を符号化する集積回路であって、前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１フィルタバンクと、前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリング部と、前記第２音響信号列を符号化する第１符号化部と、前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２フィルタバンクと、前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化部と、符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳部とを備えてもよい。

　これにより、本発明に係る音響符号化装置が、集積回路として実現される。

　また、本発明に係る集積回路は、入力されたビットストリームから、第１音響信号列を復号する集積回路であって、入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離部と、符号化された前記パラメータを復号する第１復号部と、符号化された前記第２音響信号列を復号する第２復号部と、前記第２復号部によって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１フィルタバンクと、前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２フィルタバンクとを備えてもよい。

　これにより、本発明に係る音響復号装置が、集積回路として実現される。

　本発明により、低い演算量で、音響信号処理を実現できる。

図１は、実施の形態１に係る音響信号処理装置を示す構成図である。図２は、実施の形態１に係る時間伸張処理を示す説明図である。図３は、音響復号装置を示す構成図である。図４は、実施の形態１に係る周波数変調回路を示す構成図である。図５Ａは、実施の形態２に係るＱＭＦ係数ブロックを示す説明図である。図５Ｂは、ＱＭＦ領域でのタイムスロット毎のエネルギー分布を示す図である。図５Ｃは、ＱＭＦ領域でのサブバンド毎のエネルギー分布を示す図である。図６Ａは、過渡成分に応じた時間伸張処理の第１パターンを示す説明図である。図６Ｂは、過渡成分に応じた時間伸張処理の第２パターンを示す説明図である。図６Ｃは、過渡成分に応じた時間伸張処理の第３パターンを示す説明図である。図７Ａは、実施の形態２に係る過渡成分抽出処理を示す説明図である。図７Ｂは、実施の形態２に係る過渡成分挿入処理を示す説明図である。図８は、過渡位置とＱＭＦ位相遷移割合との線形関係を示す図である。図９は、実施の形態２に係る時間伸張処理のフローチャートである。図１０は、実施の形態２に係る時間伸張処理の変形例のフローチャートである。図１１は、実施の形態３に係る時間伸張処理を示す説明図である。図１２は、実施の形態４に係る時間伸張処理を示す説明図である。図１３は、実施の形態５に係る音響信号処理装置を示す構成図である。図１４は、実施の形態５に係る音響信号処理装置の第１変形例を示す構成図である。図１５は、実施の形態５に係る音響信号処理装置の第２変形例を示す構成図である。図１６Ａは、リサンプリング処理によりピッチシフト処理された出力を示す図である。図１６Ｂは、時間伸張処理により期待される出力を示す図である。図１６Ｃは、時間伸張処理により誤った出力を示す図である。図１７は、実施の形態６に係る音響信号処理装置を示す構成図である。図１８は、実施の形態６に係るＱＭＦ領域変換処理を示す概念図である。図１９は、実施の形態６に係る周波数変調処理のフローチャートである。図２０Ａは、ＱＭＦプロトタイプフィルタの振幅応答を示す図である。図２０Ｂは、周波数と振幅との関係を示す図である。図２１は、実施の形態６に係る音響符号化装置を示す構成図である。図２２は、音質の評価を示す説明図である。図２３Ａは、実施の形態７に係る音響信号処理装置を示す構成図である。図２３Ｂは、実施の形態７に係る音響信号処理装置の処理を示すフローチャートである。図２４は、実施の形態７に係る音響信号処理装置の変形例を示す構成図である。図２５は、実施の形態７に係る音響符号化装置を示す構成図である。図２６は、実施の形態７に係る音響符号化装置の処理を示すフローチャートである。図２７は、実施の形態７に係る音響復号装置を示す構成図である。図２８は、実施の形態７に係る音響復号装置の処理を示すフローチャートである。図２９は、実施の形態７に係る音響復号装置の変形例を示す構成図である。図３０Ａは、時間伸張処理前の音響信号の状態を示す説明図である。図３０Ｂは、時間伸張処理後の音響信号の状態を示す説明図である。図３１は、ＱＭＦ解析処理およびＱＭＦ合成処理を示す説明図である。

　以下、本発明の実施の形態を、図面を参照しながら説明する。

　（実施の形態１）
　実施の形態１に係る音響信号処理装置は、入力された音響信号に対して、ＱＭＦ変換を行い、位相調整を行い、逆ＱＭＦ変換を施すことで、時間伸張処理を実現する。

　図１は、実施の形態１に係る音響信号処理装置の構成図である。まず、はじめに、ＱＭＦ解析フィルタバンク９０１は、入力された音響信号をＱＭＦ係数Ｘ（ｍ，ｎ）に変換する。ここで、ｍは、サブバンドインデックスを示し、ｎは、タイムスロットインデックスを示す。調整回路９０２は、変換で得られたＱＭＦ係数を調整する。以下、調整回路９０２での調整に関して説明する。式１１は、調整前の各ＱＭＦ係数を、それぞれの振幅および位相を用いて表現している。

　ｒ（ｍ、ｎ）は、振幅情報を示し、ａ（ｍ、ｎ）は、位相情報を示す。調整回路９０２は、位相情報ａ（ｍ，ｎ）を位相情報

に調整する。調整回路９０２は、調整後の位相情報と調整前の振幅情報ｒ（ｍ，ｎ）によって、新しいＱＭＦ係数を式１２に従って計算する。

　最後に、ＱＭＦ合成フィルタバンク９０３は、式１２で計算された新しいＱＭＦ係数を時間信号に変換する。以下に、位相情報を調整する手法に関して説明する。

　実施の形態１において、ＱＭＦベースの時間伸張処理は、次に示すステップで構成される。すなわち、時間伸張処理は、（１）位相情報を調整するステップと、（２）ＱＭＦ変換の加法定理に基づいて、ＱＭＦ領域でのオーバーラップ加算を実行するステップとで、構成される。

　以下は、時間伸張に関する説明で、２Ｌサンプルの実数値の時間信号を伸張係数ｓで時間伸張を行う場合の例である。ＱＭＦ解析フィルタバンク９０１は、例えば、２Ｌサンプルの実数値の時間信号を、２Ｌ／Ｍ個の時間スロットおよびＭ個のサブバンドで構成される２Ｌ個のＱＭＦ係数に変換する。すなわち、ＱＭＦ解析フィルタバンク９０１は、２Ｌサンプルの実数値の時間信号を合成周波数領域のＱＭＦ係数に変換する。

　ＳＴＦＴベースの時間伸張方法と同じように、ＱＭＦ変換によって算出されるＱＭＦ係数は、位相情報を調整する前段で、解析窓関数の影響を受けやすい。実施の形態１では、ＱＭＦ係数への変換を下記の３ステップで実現する。

　（１）解析窓関数ｈ（ｎ）（窓長Ｌ）がＱＭＦ領域用に変換されることにより、ＱＭＦ領域用の解析窓関数Ｈ（ν，ｋ）（Ｌ／Ｍ個のタイムスロットと、Ｍ個のサブバンドで構成）が算出される。

　（２）算出された解析窓関数Ｈ（ν，ｋ）は、

によって、簡易化される。

　（３）ＱＭＦ解析フィルタバンク９０１は、Ｘ（ｍ，ｋ）＝Ｘ（ｍ，ｋ）・Ｈ₀（ｗ）（ここで、ｗ＝ｍｏｄ（ｍ，Ｌ／Ｍ）、ｍｏｄ（）は剰余を算出する演算である）によって、ＱＭＦ係数を算出する。

　元々のＱＭＦ係数は、図２の上段に示すようにＬ／Ｍ個のタイムスロットで、ホップサイズが１タイムスロット毎にオーバーラップされたＬ／Ｍ＋１個のＱＭＦブロックで構成される。

　調整回路９０２は、位相情報が非連続になることを確実に避けるため、調整前の各ＱＭＦブロックの位相情報を調整し、新しいＱＭＦブロックを構成する。つまり、μ番目とμ＋１番目のＱＭＦブロックがオーバーラップしている場合に新しいＱＭＦブロックの位相情報はμ・ｓサンプル点において連続性を確保する必要がある（ｓは伸張係数）。これは、時間領域で言うと、ジャンプポイントμ・Ｍ・ｓ（μ∈Ｎ）における連続性を確保することに相当する。

　調整回路９０２は、調整前の各ＱＭＦブロックの位相情報φ_u（ｋ）を、複素数であるＱＭＦ係数Ｘ（ｕ，ｋ）（タイムスロットインデックスｕ＝０，…，２Ｌ／Ｍ－１、サブバンドインデックスｋ＝０，１，…，Ｍ－１）から算出する。図２の中段に示すように、調整回路９０２は、各ＱＭＦブロックを、タイムスロットが古い順番から演算して、新しいＱＭＦブロックを生成する。各ＱＭＦブロックは、それぞれ、異なる模様で図示されている。図２は、２タイムスロット分のホップサイズでずらして処理する場合を示している。

　ｎ番目（ｎ＝１，…，Ｌ／Ｍ＋１）の新しいＱＭＦブロックの位相情報は、ψ_u ⁽ⁿ⁾（ｋ）（タイムスロットインデックスｕ＝０，…，Ｌ／Ｍ－１、サブバンドインデックスｋ＝０，１，…，Ｍ－１）として表現される。新しい位相情報ψ_u ⁽ⁿ⁾（ｋ）は、時間伸張後の新しいＱＭＦブロックが、どこに再配置されるかで異なる。

　１番目のＱＭＦブロックＸ⁽¹⁾（ｕ，ｋ）（ｕ＝０，…，Ｌ／Ｍ－１）が再配置される際、そのＱＭＦブロックの新しい位相情報ψ_u ⁽¹⁾（ｋ）は、調整前のＱＭＦブロックの位相情報φ_u（ｋ）と同じとする。すなわち、新しい位相情報ψ_u ⁽¹⁾（ｋ）は、ψ_u ⁽¹⁾（ｋ）＝φ_u（ｋ）（ｕ＝０，…，Ｌ／Ｍ－１、ｋ＝０，１，…，Ｍ－１）で算出される。

　２番目のＱＭＦブロックＸ⁽²⁾（ｕ，ｋ）（ｕ＝０，…，Ｌ／Ｍ－１）は、ｓタイムスロットのホップサイズだけ移動して再配置される（図２は、２タイムスロットの場合を示している）。この場合、ブロックの先頭の周波数成分は、１番目の新しいＱＭＦブロックＸ⁽¹⁾（ｕ，ｋ）のｓ番目のタイムスロットと連続している必要がある。従って、Ｘ⁽²⁾（ｕ，ｋ）の１番目のタイムスロットの周波数成分は、元々のＱＭＦブロックの２番目のタイムスロットの周波数成分と一致させる。すなわち、新しい位相情報ψ₀ ⁽²⁾（ｋ）は、ψ₀ ⁽²⁾（ｋ）＝ψ₀ ⁽¹⁾（ｋ）＋Δφ₁（ｋ）で算出される。

　１番目のタイムスロットの位相情報が変わったため、残りの位相情報も、元々のＱＭＦブロックの位相情報に応じて調整される。すなわち、新しい位相情報ψ_u ⁽²⁾（ｋ）は、ψ_u ⁽²⁾（ｋ）＝ψ_u-1 ⁽²⁾（ｋ）＋Δφ_u+1（ｋ）（ｕ＝０，…，Ｌ／Ｍ－１）で算出される。

　ここで、Δφ_u（ｋ）は、Δφ_u（ｋ）＝φ_u（ｋ）－φ_u-1（ｋ）で算出され、調整前のＱＭＦブロックの位相差である。

　調整回路９０２は、以上のプロセスをＬ／Ｍ＋１回繰り返して、調整後のＱＭＦブロックを生成する。すなわち、ｍ番目（ｍ＝３，…，Ｌ／Ｍ＋１）の新しいＱＭＦブロックの調整後の位相情報ψ_u ^(m)（ｋ）は、式１３および式１４で算出される。

　ψ₀ ^(m)（ｋ）＝ψ₀ ^(m-1)（ｋ）＋Δφ_m-1（ｋ）　　　（式１３）
　ψ_u ^(m)（ｋ）＝ψ_u-1 ^(m)（ｋ）＋Δφ_m+u-1（ｋ）（ｕ＝１，…，Ｌ／Ｍ－１）　（式１４）

　調整回路９０２は、新しいＱＭＦブロックの振幅情報に元々のＱＭＦブロックの振幅情報を用いることで、新しいＱＭＦブロックのＱＭＦ係数を算出することが可能になる。

　調整回路９０２は、ＱＭＦ領域の偶数番目のサブバンドと奇数番目のサブバンドとで異なる調整方法により、位相情報を調整してもよい。例えば、調波構造が強い（トナリティの強い）音響信号では、ＱＭＦ領域において、周波数成分毎に位相差情報（Δφ（ｎ，ｋ）＝φ（ｎ，ｋ）－φ（ｎ－１，ｋ））が異なる。この場合、調整回路９０２は、瞬時周波数成分ω（ｎ，ｋ）を式１５により決定する。

　ここで、ｐｒｉｎｃａｒｇ（α）は、αの変換を示し、式１６のように定義される。

　ｐｒｉｎｃａｒｇ（α）＝ｍｏｄ（α＋π，－２π）＋π　　（式１６）

　ｍｏｄ（ａ，ｂ）は、ａをｂで割った余りを示す。

　これらをまとめると、上記の位相調整方法における、位相差情報Δφ_u（ｋ）は、式１７により算出される。

　更に、ＱＭＦ合成フィルタバンク９０３は、時間伸張処理の演算量を削減するため、ＱＭＦ合成処理を新しいＱＭＦブロックの各々に対して適用しなくてもよい。その代わり、ＱＭＦ合成フィルタバンク９０３は、新しいＱＭＦブロックをオーバーラップ加算し、得られた信号に対して、ＱＭＦ合成処理を適用する。

　ＳＴＦＴベースの伸張処理と同じように、ＱＭＦ変換によって算出されるＱＭＦ係数は、オーバーラップ加算する前段階で、合成窓関数の影響を受けやすい。そこで、上述の解析窓関数と同様に、合成窓関数は、Ｘ⁽ⁿ⁺¹⁾（ｕ，ｋ）＝Ｘ⁽ⁿ⁺¹⁾（ｕ，ｋ）・Ｈ₀（ｗ）（ここでｗ＝ｍｏｄ（ｕ，Ｌ／Ｍ））によって実現する。

　ＱＭＦ変換では加法定理が成立するため、Ｌ／Ｍ＋１個のすべてのＱＭＦブロックはｓタイムスロットのホップサイズでオーバーラップ加算することが可能である。オーバーラップ加算の結果であるＹ（ｕ，ｋ）は、式１８で算出される。

　Ｙ（ｎｓ＋ｕ，ｋ）＝Ｙ（ｎｓ＋ｕ，ｋ）＋Ｘ⁽ⁿ⁺¹⁾（ｕ，ｋ）（ｎ＝０，…，Ｌ／Ｍ、ｕ＝１，…，Ｌ／Ｍ，ｋ＝０，１，…，Ｍ－１）　　　（式１８）

　ＱＭＦ合成フィルタバンク９０３は、最終的な時間伸張後の音響信号を、上記Ｙ（ｕ，ｋ）にＱＭＦ合成フィルタを適用することで、生成することが可能である。元の信号に対して、ｓ倍の時間伸張処理を施すことができることは、Ｙ（ｕ，ｋ）の時間インデックスｕの範囲からも明らかである。

　上述の式１２に示したように、実施の形態１では、調整回路９０２は、ＱＭＦ領域で位相調整および振幅調整を行う。これまでにも述べているとおり、ＱＭＦ解析フィルタバンク９０１は、単位時間毎に区切られた音響信号をＱＭＦフィルタで逐次ＱＭＦ係数（ＱＭＦブロック）に変換する。そして、調整回路９０２は、予め指定された伸張率（ｓ倍、たとえばｓ＝２，３，４など）に応じて隣り合うＱＭＦブロック毎の位相および振幅の連続性を保持するように、各ＱＭＦブロックの振幅および位相を調整する。これにより、フェーズボコーダー処理が実現される。

　ＱＭＦ合成フィルタバンク９０３は、ＱＭＦ領域でフェーズボコーダー処理されたＱＭＦ係数を、時間領域の信号へ変換する。これにより、ｓ倍に伸張された時間領域の音響信号が得られる。また、時間伸張処理の後段の信号処理によって、ＱＭＦ係数の方が、都合が良い場合がある。例えば、ＱＭＦ領域でフェーズボコーダー処理されたＱＭＦ係数に、ＳＢＲ技術に基づく帯域拡大処理など、何らかの音響処理が施されてもよい。そして、後段の信号処理の後、ＱＭＦ合成フィルタバンク９０３は、時間領域の音響信号に変換する構成を取っても良い。

　図３に示された構成は、そのような組み合わせの一例である。これは、ＱＭＦ領域でのフェーズボコーダー処理と、音響信号の帯域拡大技術とを組み合わせた音響復号装置の一例である。以下に、フェーズボコーダー処理を用いた音響復号装置の構成を説明する。

　分離部１２０１は、入力のビットストリームを、高域生成のためのパラメータと、低域復号のための符号化情報とに分離する。パラメータ復号部１２０７は、高域生成のためのパラメータを復号する。復号部１２０２は、低域復号のための符号化情報から、低域成分の音響信号を復号する。ＱＭＦ解析フィルタバンク１２０３は、復号された音響信号をＱＭＦ領域の音響信号に変換する。

　周波数変調回路１２０５および時間伸張回路１２０４は、ＱＭＦ領域の音響信号に、前記フェーズボコーダー処理を施す。その後、高域生成回路１２０６は、高域生成のためのパラメータを用いて高域周波数成分の信号を生成する。概形調整回路１２０８は、高域成分の周波数概形を調整する。ＱＭＦ合成フィルタバンク１２０９は、ＱＭＦ領域における低域成分および高域成分の音響信号を時間領域の音響信号へ変換する。

　なお、上記低域成分の符号化処理または復号処理には、ＭＰＥＧ－ＡＡＣ方式、ＭＰＥＧ－Ｌａｙｅｒ３などの音響符号化方式が用いられてもよいし、あるいは、ＡＣＥＬＰなどの音声符号化方式が用いられてもよい。

　また、調整回路９０２は、ＱＭＦ領域でフェーズボコーダー処理を行う際、式１２による調整後のＱＭＦ係数の算出に、ＱＭＦブロックのサブバンドインデックス毎に重み付け演算を行ってもよい。これにより、調整回路９０２は、サブバンドインデックス毎に異なる値を持つ変調係数で変調することも可能である。たとえば、高域周波数に対応するサブバンドインデックスにおいて、伸張時に歪みが大きくなる音響信号がある。調整回路９０２は、そういう音響信号を小さくするような変調係数を用いてもよい。

　さらに、ＱＭＦ領域でフェーズボコーダー処理をする別の構成として、音響信号処理装置は、ＱＭＦ解析フィルタバンク９０１の後段に、さらに、別のＱＭＦ解析フィルタバンクを備えてもよい。ＱＭＦ解析フィルタバンク９０１のみでは低域の周波数分解能が低い場合がある。その場合、低域成分を多く含む音響信号にフェーズボコーダー処理を施しても、十分な効果が得られない。

　そこで、低域成分の周波数分解能を向上させるため、低域部分（たとえば、ＱＭＦ解析フィルタバンク９０１の出力に含まれる全ＱＭＦブロックの半分）を解析するための別のＱＭＦ解析フィルタバンクが用いられてもよい。これにより、周波数分解能が２倍に向上する。その上で、調整回路９０２は、上述のような、ＱＭＦ領域でのフェーズボコーダー処理を施す。これにより、音質を維持したまま、演算量およびメモリ消費量の削減効果が高くなる。

　図４は、ＱＭＦ領域の分解能を向上させる構成の例を示す図である。ＱＭＦ合成フィルタバンク２４０１は、入力の音響信号を一旦ＱＭＦ合成フィルタで合成する。その後、ＱＭＦ解析フィルタバンク２４０２は、２倍の解像度のＱＭＦ解析フィルタで、ＱＭＦ係数を算出する。２倍の分解能になったＱＭＦ領域の信号に対して、２倍の時間伸張と、２倍、３倍または４倍のピッチシフト処理を行うフェーズボコーダー処理回路（第１時間伸張回路２４０３、第２時間伸張回路２４０４および第３時間伸張回路２４０５）が並列に構成される。

　そして、各フェーズボコーダー処理回路は、２倍の解像度で、伸張割合の異なるフェーズボコーダー処理を統一的に行う。そして、マージ回路２４０６は、フェーズボコーダー処理された信号を合成する。

　ＱＭＦフィルタによるフェーズボコーダー処理は、上記からもわかるように、ＳＴＦＴベースのフェーズボコーダー処理と比較して、演算量の大きなＦＦＴ処理を用いる必要がない。そのため、演算量を大幅に削減できるという顕著な効果が存在する。

　（実施の形態２）
　実施の形態２として、実施の形態１に記載のブロックベースによる時間軸伸張方法を拡張する形態を述べる。実施の形態２に係る音響信号処理装置は、図１に示された実施の形態１に係る音響信号処理装置と同様の構成要素を備える。そして、上述の位相情報の不連続による影響を避けるため、位相情報の算出は、下記の２種類の方法で行われる。

　（ａ）調整回路９０２は、調整後のＱＭＦブロックにおいて、オーバーラップしているタイムスロットの位相情報がブロック間で連続するように、位相情報を調整する。すなわち、調整回路９０２は、ψ₀ ^(m)（ｋ）＝ψ₀ ^(m-1)（ｋ）＋Δφ_m-1（ｋ）により、位相情報を調整する。

　（ｂ）調整回路９０２は、調整後の各ＱＭＦブロックにおいて、ブロック内で連続しているタイムスロット間で位相情報が連続するように、位相情報を調整する。すなわち、調整回路９０２は、ψ_u ^(m)（ｋ）＝ψ_u-1 ^(m)（ｋ）＋Δφ_m+u-1（ｋ）（ここで、ｕ＝１，…，Ｌ／Ｍ－１）により、位相情報を調整する。

　上記では、位相情報の調整方法は、トナリティの強い成分に応じて、位相情報が調整前のＱＭＦブロックから変化していると仮定している。

　しかしながら、実際には、上述の仮定は常に正しいとは限らない。典型的には、元の信号が音響的に過渡的な信号の場合、上述の仮定は正しくない。過渡信号は、時間領域で鋭いアタック音がある場合など、非定常な形式の信号である。位相情報と周波数成分の間に一定の関係を仮定することで、次のことが分かる。すなわち、トナリティの強い成分が離散的に大量に含まれており、かつ、短い時間間隔の間に間隔の広い周波数成分が含まれているような場合、過渡信号を処理することが困難である。結果として、伸縮処理により、知覚できる音響的な歪みを有する出力信号が、生成されることになってしまう。

　実施の形態２では、過渡信号を多く含む信号を伸張処理する際に発生する上記の問題に対処するため、実施の形態１に係る位相情報の調整を伴う時間伸縮処理が、トナリティの強い信号と過渡信号との両方に対応可能な時間伸縮処理に変形される。

　まず初めに、調整回路９０２は、潜在的に問題になりそうな時間伸縮処理を除外するため、過渡信号に含まれる過渡成分をＱＭＦ領域で検出する。

　過渡状態を検出する手法は、様々な手法があり、数多くの文献で開示されている。実施の形態２では、ＱＭＦブロックでの過渡応答を検出する２つの簡単な手法が示される。

　図５Ａは、ＱＭＦ変換により算出されたＱＭＦブロックＸ（ｕ，ｋ）（２Ｌ／Ｍ個のタイムスロット、Ｍ個のサブバンド）に対して時間伸張する場合に関して説明するための説明図である。１つめの手法は、前記ＱＭＦブロック毎のエネルギー値の変化に応じて過渡状態を検出する方法であり、２つめの手法は、周波数軸でＱＭＦブロック毎の振幅値の変化を検出する方法である。

　１つめの検出方法は、次の通りである。調整回路９０２は、図５Ｂに示されるように、各ＱＭＦブロックのタイムスロット毎にエネルギー値Ｅ₀～Ｅ_2L/M-1を算出する。図５Ｃは、サブバンド毎のエネルギー値を示す図である。調整回路９０２は、タイムスロット毎にエネルギー値の差分をｄＥ_u＝Ｅ_u+1－Ｅ_u（ここでｕ＝０，…，２Ｌ／Ｍ－２）として算出する。所定の閾値Ｔ₀により、もし、

である場合、ｉ番目のタイムスロットにおいて過渡成分が検出される。

　２つめの検出方法は、次の通りである。ＱＭＦブロックに含まれるすべてのタイムスロットおよびサブバンドでの振幅がＡ（ｕ，ｋ）である場合、各タイムスロットについて、振幅情報の概形は、

として計算される。所定の閾値Ｔ₁とＴ₂により、Ｆ_i＞Ｔ₁であり、

　もし、ｕ₀番目のタイムスロットで過渡成分が検出された場合、上記の位相情報の伸張処理は、ｕ₀番目のタイムスロットを含む新しいＱＭＦブロックに対して、修正される。

　伸張処理の修正は、２つの目的を持っている。１つは、任意の位相情報伸張処理においてｕ₀番目のタイムスロットの処理をさけるためである。もう１つは、仮にｕ₀番目のタイムスロットが何も処理されずにバイパスされている場合、ＱＭＦブロック内およびＱＭＦブロック間の連続性を保持するためである。これら２つの目的を達成するために、前記の位相情報伸張処理は次のように修正される。

　ｍ番目の新しいＱＭＦブロック（ｍ＝２，…，Ｌ／Ｍ＋１）において、その位相ψ_u ^(m)（ｋ）は、次のようになる。

　（ａ）ｍ＜ｕ₀＜ｍ＋Ｌ／Ｍ－１の場合、ＱＭＦブロック内の位相情報の連続性を担保するために、位相ψ_u ^(m)（ｋ）は、

で算出される（図６Ａ）。

　（ｂ）ｍ＝ｕ₀かつｍｏｄ（ｕ₀，ｓ）＝０の場合、任意の位相情報処理からｕ₀番目のタイムスロットの処理を避けるために、位相ψ₀ ^(m)（ｋ）は、

で算出される（図６Ｂ）。また、ＱＭＦブロック間での位相情報の連続性を担保するために、位相ψ₁ ^(m)（ｋ）は、

で算出される。

　（ｃ）ｍ＝ｕ₀かつｍｏｄ（ｕ₀，ｓ）≠０の場合、任意の位相情報処理からｕ₀番目のタイムスロットの処理を避けるために、位相ψ₀ ^(m)（ｋ）は、

で算出される（図６Ｃ）。また、ＱＭＦブロック間の位相情報の連続性を担保するために、位相ψ₁ ^(m)（ｋ）は、

で算出される。

　実際のところ、音響的観点から、上記の過渡信号に対する伸張処理は、好ましくない場合も多い。調整回路９０２は、過渡信号を伸張処理しない代わりに、ＱＭＦブロックから過渡信号成分を取り除いたうえで伸張処理を施し、伸張処理したＱＭＦブロックに対して、さきほど取り除いた過渡信号を戻してもよい。

　図７Ａおよび図７Ｂには、上述の処理が示されている。ここでは、ＱＭＦ変換によって算出されたＱＭＦブロック信号Ｘ（ｕ，ｋ）（Ｌ／Ｍ個のタイムスロットおよびＭ個のサブバンドを有すると仮定）が時間伸張される場合で、かつ、上記の過渡信号検出方法でｕ₀番目のタイムスロットで過渡信号が検出されている場合を説明する。各ブロックの時間伸張は、次のステップで実施される。

　（１）調整回路９０２は、ｕ₀番目のタイムスロット成分をＱＭＦブロックから取り除き、取り出したｕ₀番目のタイムスロットを“０”詰め、あるいは、“内挿”処理をする。

　（２）調整回路９０２は、新しいＱＭＦブロックの信号を、上記伸張方法に従って、ｓ・Ｌ／Ｍ個のタイムスロットへ伸張する。

　（３）調整回路９０２は、上記（１）で取り除いたタイムスロットの信号を、上記（２）で伸張したブロックの位置（ｓ・ｕ₀番目のタイムスロットの位置）に挿入する。

　ここで、上記の手法は、ｓ・ｕ₀番目のタイムスロットが過渡応答成分に対する適切な位置でない場合の単純な例でもある。それは、ＱＭＦ変換の時間分解能が低いためである。

　より高音質な時間伸張回路を実現するためには、上記の単純化された例を拡張することが必要になる。そして、過渡応答成分の正確な位置が必要になる。実際には、ＱＭＦ領域のいくつかの情報、たとえば、振幅情報および位相遷移情報などは、過渡応答成分の正確な位置を特定するために有用である。

　過渡応答成分の位置（以下では、過渡位置と呼ぶ）は、各ＱＭＦブロックの信号の振幅成分および位相遷移情報のそれぞれを検出する２つのステップによって特定されることが好ましい。ｔ₀時刻でのみにインパルス成分が存在する場合を説明する。インパルス成分は、過渡応答成分の典型的な例である。

　まず、調整回路９０２は、ＱＭＦ領域で各ＱＭＦブロックの振幅情報を算出することで、過渡位置ｔ₀の大まかな推定を行う。

　上記のＱＭＦ変換の手続きを考慮すると、次のことが分かる。すなわち、解析窓処理をしているため、インパルス成分はＱＭＦ領域の複数のタイムスロットにわたって、影響を与える。これらのタイムスロットの振幅値の分布を解析することで、次の２つの場合が存在することが分かった。

　（１）ｎ₀番目のタイムスロットが、より高いエネルギー（振幅値の自乗）を持っている場合、調整回路９０２は、（ｎ₀－５）・６４－３２＜ｔ₀＜（ｎ₀－５）・６４＋３２として、過渡位置ｔ₀を推定する。

　（２）ｎ₀－１番目とｎ₀番目のタイムスロットがほぼ同じエネルギーである場合、調整回路９０２は、ｔ₀＝（ｎ₀－５）・６４－３２として、過渡位置ｔ₀を推定する。

　（ｎ₀－５）は、ＱＭＦ解析フィルタバンク９０１で５つのタイムスロット分だけ遅延させておくことを示している。また、上記（２）の場合、調整回路９０２は、過渡位置を振幅解析のみによって正確に決定することができる。

　そして、上記（１）の場合、調整回路９０２は、ＱＭＦ領域の位相情報を用いることで、更に効率的に過渡位置ｔ₀を決定することができる。

　以下、ｎ₀番目のタイムスロット内の位相情報φ（ｎ₀，ｋ）（ｋ＝０，１，…，Ｍ－１）を解析する場合について説明する。２πで巡回（ラウンド）する位相情報φ（ｎ₀，ｋ）の遷移割合は、過渡位置ｔ₀と、過渡位置ｔ₀に最も近い左（時間的に過去）のタイムスロット、あるいは、ｎ₀番目のタイムスロットの中間の位置との間に完全線形関係を有しなければならない。つまり、ｋ・Δｔ＝Ｃ₀－ｇ₀が成立する。ここで、位相遷移割合は、

である。

　ｕｎｗｒａｐ（Ｐ）は、ラジアン位相Ｐを２πで巡回させ、π以上の変化を修正する関数である。Ｃ₀は定数である。

　Δｔは、過渡位置ｔ₀と、過渡位置ｔ₀に最も近い左（時間的に過去）のタイムスロット、または、ｎ₀番目のタイムスロットとの距離である。つまり、Δｔは、式１９によって算出される。

　上記のパラメータの例は、式２０によって示されるような値である。

　図８は、過渡位置ｔ₀とＱＭＦ位相遷移割合ｇ₀との間にある線形関係を示す図である。図８に示されているように、ｎ₀（最もエネルギーが高いタイムスロットのインデックス）が固定である限り、ｔ₀とｇ₀とは、一対一に対応づけられる。

　上記に基づいて、別の例を説明する。それは、ＱＭＦ領域において、時間伸張処理をしている間に過渡成分を扱う手法である。上述の簡易手法と比較すると、本手法は、次の点に利点がある。すなわち、本手法は、元々の信号の過渡位置を正確に検出することができる。また、本手法は、時間伸張された過渡成分が存在するタイムスロットも、適切な位相情報とともに検出することができる。本手法の詳細を次に記載する。なお、本手法の手順は、図９にフローチャートとしても示される。

　ＱＭＦ解析フィルタバンク９０１は、入力された時間信号時間信号ｘ（ｎ）を受け取る（Ｓ２００１）。ＱＭＦ解析フィルタバンク９０１は、時間伸張の対象となる時間信号ｘ（ｎ）から、ＱＭＦブロックＸ（ｍ，ｋ）を計算する（Ｓ２００２）。ここで、Ｘ（ｍ，ｋ）の振幅はｒ（ｍ，ｋ）であり、位相情報はφ（ｍ，ｋ）であるとする。このＱＭＦブロックに過渡成分の信号が含まれる場合、最適な時間伸張手法は次の通りである。

　（ａ）調整回路９０２は、過渡信号の存在するタイムスロットｍ₀を、エネルギー分布に基づいて、式２１により、検出する（Ｓ２００３）。

　（ｂ）調整回路９０２は、過渡応答が存在するタイムスロットのうち、過渡応答が目立つタイムスロットの位相遷移割合

を推定する（Ｓ２００４）。すなわち、調整回路９０２は、タイムスロットの位相角ω₀と位相遷移割合

を推定する。

　（ｃ）調整回路９０２は、多項式残差を式２２で算出する。

　（ｄ）調整回路９０２は、過渡位置ｔ₀を式２３に従って決定する（Ｓ２００５）。

　ここで、定数Ｋは、Ｋ＝０．０４９１である。

　（ｅ）調整回路９０２は、過渡状態にある領域を式２４に従って決定する（Ｓ２００６）。

　調整回路９０２は、スカラー値を用いて、過渡状態にある領域内でＱＭＦ係数を式２５に従って小さくする（Ｓ２００７）。

　αは、小さい値であって、たとえばα＝０．００１である。

　（ｆ）調整回路９０２は、過渡状態にないＱＭＦブロックに対して通常の時間伸張処理を施す（Ｓ２００８）。

　（ｇ）調整回路９０２は、次のように、過渡位置ｓ・ｔ₀における新しいタイムスロットおよび位相遷移割合を計算する。

　＜ｉ＞調整回路９０２は、時間伸張したタイムスロットインデックスｍ₁をｍ₁＝ｃｅｉｌ（（ｓ・ｔ₀－３２）／６４）＋５により算出する（Ｓ２００９）。ここで、ｃｅｉｌは、最も近い整数に切り上げる処理である。

　＜ｉｉ＞調整回路９０２は、過渡位置と、新しいタイムスロットの最も近い左（時間的に過去）の位置との距離を式２６に従って算出する。

　　Δｔ₁＝ｓ・ｔ₀－（ｍ₁－５）・６４＋３２　　　（式２６）
　＜ｉｉｉ＞調整回路９０２は、新しい位相遷移割合を式２７で算出する。

　（ｈ）調整回路９０２は、過渡応答の目立つタイムスロットｍ₁でのＱＭＦ係数を新たに合成する。

　タイムスロットｍ₁の振幅は、伸張前のタイムスロットｍ₀の振幅を継承している。調整回路９０２は、位相情報を新しい位相遷移割合と位相差に基づいて式２８によって算出する（Ｓ２０１０）。

　そして、調整回路９０２は、新しいＱＭＦ係数を式２９で算出する（Ｓ２０１１）。

　（ｉ）調整回路９０２は、新しい過渡領域を式３０で決定する（Ｓ２０１３）。

　（ｊ）新しく決定した過渡領域

に複数のタイムスロットが含まれる場合、調整回路９０２は、それらのタイムスロットの位相を式３１により再調整する（Ｓ２０１５）。

　そして、調整回路９０２は、このようにして調整したタイムスロットで構成されるＱＭＦブロック係数を、式３２に従って再合成する。

　最後に、調整回路９０２は、時間伸張処理されたＱＭＦブロックを出力する（Ｓ２０１２）。

　演算量の観点では、過渡位置を検出するために実行される上記の（ａ）～（ｄ）は、直接時間領域での過渡応答検出手法で置き換えられてもよい。たとえば、時間領域で過渡位置を検出するための過渡位置検出部（図示せず）が、ＱＭＦ解析フィルタバンク９０１の前段に配置される。そして、時間領域での過渡応答検出手法として典型的な手順は、次の通りである。

　（１）過渡位置検出部は、時間信号ｘ（ｎ）（ｎ＝０，１，…，Ｎ・Ｌ₀－１）を、長さＬ₀のＮ個のセグメントに分割する。

　（２）過渡位置検出部は、各セグメントでのエネルギーを

として計算する。

　（３）過渡位置検出部は、全体のセグメントでのエネルギーをＥ_lt（ｉ）＝α・Ｅ_lt（ｉ－１）＋（１－α）・Ｅ_s（ｉ）に従って計算する。

　（４）もし、Ｅ_s（ｉ）／Ｅ_lt（ｉ）＞Ｒ₁であり、Ｅ_s（ｉ）＞Ｒ₂であれば、過渡位置検出部は、ｉ番目のセグメントは過渡応答成分を含んでいる過渡セグメントであるとして判断する。ここで、Ｒ₁およびＲ₂は、所定の閾値である。

　（５）過渡位置検出部は、最終的な過渡位置の概算の位置として、過渡セグメントの真ん中の位置をｔ₀＝（ｉ＋０．５）・Ｌ₀によって算出する。

　もし、時間領域の過渡成分検出を用いる場合、図９のフローチャートは、図１０のように変更される。

　なお、実施の形態１と同様に、実施の形態２に係る音響信号処理をＱＭＦ領域での別の音響処理と組み合わせる構成も可能である。例えば、ＱＭＦ解析フィルタバンク９０１は、単位時間毎に区切られた音響信号をＱＭＦフィルタで逐次ＱＭＦ係数（ＱＭＦブロック）に変換する。そして、調整回路９０２は、予め指定された伸張率（ｓ倍、たとえばｓ＝２，３，４など）に応じて隣り合うＱＭＦブロック毎の位相および振幅の連続性を保持するように、各ＱＭＦブロックの振幅および位相を調整する。これにより、フェーズボコーダー処理が実現される。

　分離部１２０１は、入力のビットストリームを高域生成のためのパラメータと低域復号のための符号化情報とに分離する。パラメータ復号部１２０７は、高域生成のためのパラメータを復号する。復号部１２０２は、低域復号のための符号化情報から、低域成分の音響信号を復号する。ＱＭＦ解析フィルタバンク１２０３は、復号された音響信号をＱＭＦ領域の音響信号に変換する。

　さらに、ＱＭＦ領域でフェーズボコーダー処理する別の構成として、音響信号処理装置は、ＱＭＦ解析フィルタバンク９０１の後段に、さらに、別のＱＭＦ解析フィルタバンクを備えてもよい。ＱＭＦ解析フィルタバンク９０１のみでは低域の周波数分解能が低い場合がある。その場合、低域成分を多く含む音響信号にフェーズボコーダー処理を施しても、十分な効果が得られない。

　そこで、低域成分の周波数分解能を向上させるため、低域部分（たとえば、ＱＭＦ解析フィルタバンク９０１の出力に含まれる全ＱＭＦブロックの半分）を解析するための別のＱＭＦ解析フィルタバンクが用いられてもよい。これにより、周波数分解能が２倍に向上する。その上で、調整回路９０２は、上述のような、ＱＭＦ領域でのフェーズボコーダー処理を施す。これにより、音質を維持したまま、演算量およびメモリ消費量の削減の効果が高くなる。

　なお、実施の形態２に係る音響信号処理装置は、下記に示す構成を備えてもよい。

　調整回路９０２は、入力の音響信号のトナリティ（音響調波構造の大きさ）と音響信号の過渡特性に応じて、柔軟に調整してもよい。調整回路９０２は、ＱＭＦ領域の係数に過渡信号を検出することによって位相情報を調整してもよい。調整回路９０２は、位相情報の連続性を確保するように、かつ、ＱＭＦ領域の係数の過渡信号成分が変化しないように、位相情報を調整してもよい。調整回路９０２は、時間伸縮を避けた過渡信号成分に関連したＱＭＦ係数を、過渡信号成分を伸張または圧縮したＱＭＦ係数に戻すことによって、位相情報を調整してもよい。

　音響信号処理装置は、さらに、入力信号の過渡特性を検出する検出部と、検出部によって検出した過渡成分を弱める処理を施すアッテネーターとを備えてもよい。アッテネーターは、位相が調整される前段に備えられる。調整回路９０２は、時間伸張処理をした後で、弱める処理を施した過渡成分を拡張する。アッテネーターは、周波数領域の係数の振幅値を調整することにより、過渡成分を弱めてもよい。

　調整回路９０２は、時間伸張した過渡成分について、周波数領域の振幅を増加させ、位相を調整することで、時間伸張した過渡成分を拡張してもよい。

　（実施の形態３）
　実施の形態３に係る音響信号処理装置は、入力された音響信号に対して、ＱＭＦ変換を行い、ＱＭＦ係数に対して位相調整および振幅調整を行うことにより、時間伸張および周波数変調処理を実現する。

　実施の形態３に係る音響信号処理装置は、図１に示された実施の形態１に係る音響信号処理装置と同様の構成要素を備える。ＱＭＦ解析フィルタバンク９０１は、入力の音響信号をＱＭＦ係数Ｘ（ｍ，ｎ）に変換する。調整回路９０２は、ＱＭＦ係数を調整する。調整前のＱＭＦ係数Ｘ（ｍ，ｎ）は、振幅および位相を用いて、式３３のように表現される。

　位相情報ａ（ｍ，ｎ）は、調整回路９０２で調整されて、

となる。調整回路９０２は、調整後の位相情報と元の振幅情報ｒ（ｍ，ｎ）によって、新しいＱＭＦ係数を式３４に従って計算する。

　最後に、ＱＭＦ合成フィルタバンク９０３は、式３４で計算された新しいＱＭＦ係数を時間信号に変換する。なお、実施の形態３に係る音響信号処理装置は、ＱＭＦ合成フィルタを施さずに、新しいＱＭＦ係数をそのまま後段の別の音響信号処理装置に出力しても良い。後段の音響信号処理装置は、たとえば、ＳＢＲ技術に基づく音響信号処理などを実行する。

　実施の形態１と異なる点は、図１１に示すように、時間伸張係数がｓである場合、元々のＱＭＦ領域のタイムスロットの後ろに、（ｓ－１）個の仮想タイムスロットが挿入されることである。

　この場合、調整回路９０２は、元々の音響信号のピッチを維持する必要がある。また、調整回路９０２は、位相情報を聴感的な音質劣化を避けるように算出する必要がある。たとえば、元々のＱＭＦブロックの位相情報をφ_n（ｋ）（タイムスロットインデックスｎ＝１，…，Ｌ／Ｍ、サブバンドインデックスｋ＝０，１，…，Ｍ－１）とすると、調整回路９０２は、上記仮想タイムスロットにおける調整後の新しい位相情報を、式３５で算出する。

　ψ_q（ｋ）＝ψ_q-1（ｋ）＋Δφ_n（ｋ）
　（ｑ＝ｓ・（ｎ－１）＋１，…，ｓ・ｎ、ｎ＝１，…，Ｌ／Ｍ）　　　（式３５）

　ここで、実施の形態１と同様に、位相差Δφ_n（ｋ）は、Δφ_n（ｋ）＝φ_n（ｋ）－φ_n-1（ｋ）で算出される。

　また、位相差Δφ_n（ｋ）は、式３６でも算出される。

　挿入されるタイムスロットの振幅情報は、挿入される境界部で連続になるように、前のタイムスロットと後ろのタイムスロットの間を線形補完（内挿）する値で構成される。たとえば、元のＱＭＦブロックをａ_n（ｋ）とすると、挿入される仮想タイムスロットの振幅情報は、式３７により線形補完される。

　ＱＭＦ合成フィルタバンク９０３は、このようにして仮想タイムスロットを挿入することにより構成された新しいＱＭＦブロックを実施の形態１と同様に時間領域の信号へと変換する。これにより、時間伸張された信号が算出される。なお、上述の通り、実施の形態３に係る音響信号処理装置は、ＱＭＦ合成フィルタバンクを施さずに、新しいＱＭＦ係数をそのまま後段の音響信号処理装置に出力しても良い。

　実施の形態３に係る音響信号処理装置も、ＦＦＴ演算を用いておらず、ＳＴＦＴベースのフェーズボコーダー処理に比べて圧倒的に少ない演算量で同等の効果を実現する。

　（実施の形態４）
　実施の形態４に係る音響信号処理装置は、入力された音響信号に対して、ＱＭＦ変換を行い、ＱＭＦ係数に対して位相調整を行う。そして、実施の形態４に係る音響信号処理装置は、元のＱＭＦブロックをサブバンド毎に処理することで、時間伸張処理を実現する。

　実施の形態４に係る音響信号処理装置は、図１に示された実施の形態１に係る音響信号処理装置と同様の構成要素を備える。ＱＭＦ解析フィルタバンク９０１は、入力の音響信号をＱＭＦ係数Ｘ（ｍ，ｎ）に変換する。調整回路９０２は、ＱＭＦ係数を調整する。調整前のＱＭＦ係数Ｘ（ｍ，ｎ）は、振幅および位相を用いて、式３８のように表現される。

　位相情報ａ（ｍ，ｎ）は、調整回路９０２で調整されて

となる。調整回路９０２は、調整後の位相情報と元の振幅情報ｒ（ｍ，ｎ）によって、新しいＱＭＦ係数を式３９に従って計算する。

　最後に、ＱＭＦ合成フィルタバンク９０３は、式３９で計算された新しいＱＭＦ係数を時間信号に変換する。なお、実施の形態４に係る音響信号処理装置は、ＱＭＦ合成フィルタを施さずに、新しいＱＭＦ係数をそのまま後段の別の音響信号処理装置に出力しても良い。後段の音響信号処理装置は、たとえば、ＳＢＲ技術に基づく音響信号処理などを実行する。

　ＱＭＦ変換には、入力された音響信号を、時間特性を持つ合成周波数領域に変換する作用がある。従って、ＳＴＦＴベースの時間伸張手法は、ＱＭＦブロックの時間特性に対して適用可能である。

　実施の形態１と異なる点は、図１２に示すように、元のＱＭＦブロックをサブバンド毎に時間伸張する点である。

　元のＱＭＦブロックは、Ｌ／Ｍ個のタイムスロットとＭ個のサブバンドで構成されている。各ＱＭＦブロックがＭ個のスカラー値で構成されていて、各スカラー値は経時情報をＬ／Ｍ個の係数で構成されている。

　実施の形態４では、ＳＴＦＴベースの時間伸張手法が、各サブバンドのスカラー値に対して直接適用される。すなわち、調整回路９０２は、各サブバンドのスカラー値を連続してＦＦＴ変換し、位相情報を調整し、逆ＦＦＴを施す。これにより、調整回路９０２は、新しいサブバンドのスカラー値を算出する。なお、この時間伸張処理は、サブバンド毎に実行されるため、演算量は大きくない。

　たとえば、時間伸張係数が２である場合（音響信号を２倍の時間に伸張する場合）、調整回路９０２は、ホップサイズＲ_a毎に上記の処理を繰り返す。その結果として、元のＱＭＦブロックのサブバンドが２・Ｌ／Ｍ個の係数を含むような、時間伸張が実現される。調整回路９０２は、上記のステップを繰り返すことにより、元のＱＭＦブロックを２倍の長さのＱＭＦブロックに変換することが出来る。

　ＱＭＦ合成フィルタバンク９０３は、こうして得られた新しいＱＭＦブロックを時間信号へと合成する。これにより、実施の形態４に係る音響信号処理装置は、元の時間信号をその２倍の長さを持つ時間信号へと時間伸張することができる。なお、ここでは、実施の形態４に係る音響信号処理方法をサブバンドベースの時間伸張手法と呼ぶことにする。

　以上、３つの異なる手法を用いた時間伸張処理が、複数の実施の形態に基づいて、述べられた。表１は、それらの演算量（複雑性評価：Ｃｏｍｐｌｅｘｉｔｙ　Ｍｅａｓｕｒｅｍｅｎｔ）の大小を整理された比較表である。

　３つの時間伸張手法はどれも、古典的なＳＴＦＴベースの時間伸張手法よりも演算量が非常に少ないことが分かる。これは、ＳＴＦＴベースの時間伸張手法では、内部的にループする処理が行われているためである。ＱＭＦベースでは、そのようなループ処理が行われない。

　（実施の形態５）
　実施の形態５では、実施の形態１～４と同じように、ＱＭＦ領域での時間伸張が実現される。異なる点は、図１３に示すように、ＱＭＦ領域にてＱＭＦ係数を調整する点である。

　ＱＭＦ解析フィルタバンク１００１は、時間伸縮および周波数変調の両方を実現するため、入力音響信号をＱＭＦ係数へと変換する。そして、調整回路１００２は、実施の形態１～４と同様に、得られたＱＭＦ係数の位相調整を行う。

　そして、ＱＭＦ領域変換器１００３は、調整されたＱＭＦ係数を新しいＱＭＦ係数に変換する。バンドパスフィルタ１００４は、必要に応じて、ＱＭＦ領域で、帯域制限を実施する。帯域制限は、折り返し歪みを低減させる際に必要である。最後に、ＱＭＦ合成フィルタバンク１００５は、新しいＱＭＦ係数を時間領域の信号へと変換する。

　なお、実施の形態５に係る音響信号処理装置は、ＱＭＦ合成フィルタを施さずに、新しいＱＭＦ係数をそのまま後段の別の音響信号処理装置に出力しても良い。後段の音響信号処理装置は、たとえば、ＳＢＲ技術に基づく音響信号処理などを実行する。以上が、実施の形態５の概要である。

　図１４に示された構成は、ＱＭＦ領域の位相および振幅を変換処理することで、対象とする音響信号の時間伸縮処理および周波数変調処理を実現する構成である。

　まず、ＱＭＦ解析フィルタバンク１８０１は、時間伸縮および周波数変調の両方を実現するため、音響信号をＱＭＦ係数に変換する。周波数変調回路１８０３は、こうして得られたＱＭＦ係数に対して、ＱＭＦ領域にて、周波数変調処理を実施する。バンドパスフィルタである帯域制限フィルタ１８０２は、周波数変調処理の前に、折り返し歪みを除去するために帯域制限をかける場合がある。

　そして、周波数変調回路１８０３は、位相変換処理および振幅変換処理を複数のＱＭＦブロックに対して連続して適用することにより、周波数変調処理を行う。そして、時間伸張回路１８０４は、周波数変調処理によって生成されたＱＭＦ係数の時間伸縮処理を行う。時間伸縮処理は、実施の形態１等と同様の方法で実現される。

　なお、周波数変調回路１８０３と時間伸張回路１８０４とが順に接続された構成が記載されているが、それらの接続順序はこれに限らない。すなわち、時間伸張回路１８０４が時間伸縮処理を実行した後、周波数変調回路１８０３が周波数変調処理を施しても良い。

　最後に、ＱＭＦ合成フィルタバンク１８０５は、周波数変調処理と時間伸縮処理とが施されたＱＭＦ係数を新たな音響信号に変換する。新たな音響信号は、元の音響信号と比較して、時間軸方向および周波数軸方向に伸縮された信号になる。

　なお、図１４に示された音響信号処理装置も、ＱＭＦ合成フィルタを施さずに、新しいＱＭＦ係数をそのまま後段の別の音響信号処理装置に出力しても良い。後段の音響信号処理装置は、たとえば、ＳＢＲ技術に基づく音響信号処理などを実行する。

　実施の形態１～４では、時間伸張手法が示された。実施の形態５に係る音響信号処理装置の構成は、それらの実施の形態に係る音響信号処理装置の構成に、ピッチ伸張処理による周波数変調処理を加えた構成である。時間あるいは周波数を理想的な状態に調整するためのいくつかの手法がある。しかし、古典的なピッチ伸張処理、すなわち、時間伸張された信号をリサンプリングする（間引く）方法は、そのままでは、周波数変調処理に適用することができない。

　図１４に示された音響信号処理装置は、ＱＭＦ解析フィルタバンク１８０１による処理の後、ＱＭＦ領域上でピッチ伸張処理を実現する。ＱＭＦ解析フィルタバンク１８０１の処理により、時間領域の所定の信号成分（特定周波数における正弦波成分）が、２つの異なるＱＭＦサブバンドの信号となる。そのため、その後に、１つのＱＭＦ係数ブロックから、周波数と振幅との両方について、正しい信号成分を分離して、ピッチ変換することは困難になる。

　従って、実施の形態５に係る音響信号処理装置は、ピッチ伸張処理がより前に実施される構成に変形されてもよい。すなわち、図１５に示すように、ＱＭＦ解析フィルタバンクの前段で、時間領域の入力信号をリサンプリングする構成とする。図１５では、リサンプリング部５００が音響信号をリサンプリングし、ＱＭＦ解析フィルタバンク５０４が音響信号をＱＭＦ係数に変換し、時間伸張回路５０５がＱＭＦ係数を調整する。

　図１５に示されたリサンプリング部５００は、次の３つのモジュールから構成されている。すなわち、リサンプリング部５００は、（１）Ｍ倍のアップサンプリング部５０１、（２）折り返し歪みを抑制するためのローパスフィルタ５０２、（３）Ｄ倍のダウンサンプリング部５０３を備える。つまり、リサンプリング部５００は、ＱＭＦ解析フィルタバンク５０４の処理の前に、入力の元信号を、係数Ｍ／Ｄ倍にリサンプリングする。そうすることで、リサンプリング部５００は、全体のＱＭＦ領域の周波数成分を、Ｍ／Ｄ倍にする。

　複数回のピッチ伸張処理が必要な場合、たとえば、２倍と３倍の両方のピッチ伸張処理が必要な場合、次のような処理が最良である。異なる倍率のリサンプリング処理を整合させるためには、それぞれのリサンプリング処理に応じて異なる遅延量をもつ複数の遅延回路が必要である。それらの遅延回路は、２倍または３倍にピッチ伸張処理された出力信号が合成される前に、時間調整を実施する。

　以下、低域を含んだ信号を、２倍もしくは３倍のピッチ伸張処理によって、周波数帯域を拡張する場合を説明する。これを実現するため、音響信号処理装置は、まずリサンプリング処理を実施する。図１６Ａは、ピッチ伸張処理された出力を示す図である。図１６Ａの縦軸は、周波数軸を示し、横軸は、時間軸を示す。

　音響信号処理装置は、リサンプリング処理により、低域を含んだ信号（図１６Ａの最も太い黒線）の２倍（図１６Ａの太い黒線）および３倍（図１６Ａの薄い黒線）のピッチ伸張処理した信号を生成する。もし、時間領域でずれが生じている場合、２倍のピッチ伸張処理信号には、ｄ₀時間の遅延時間があり、３倍のピッチ伸張処理信号には、ｄ₁時間の遅延時間がある。

　音響信号処理装置は、高帯域の信号を得るため、元の信号、２倍の周波数帯域を持つ信号、および、３倍の周波数帯域を持つ信号を、それぞれ、２倍、３倍および４倍に時間伸張する。その結果、音響信号処理装置は、それらの信号の合成信号を図１６Ｂに示すように高帯域の信号として生成することが可能である。

　なお、時間ずれが生じている場合、図１６Ｃに示すように遅延量の不一致もそのままピッチ伸張されるため、高帯域信号には、遅延量不一致の問題が発生する場合もある。上述の複数の遅延回路は、時間ずれを低減させるように、時間調整を実施する。

　上記のリサンプリング方法をそのまま実施しても良い。しかし、更に上記処理の演算量を削減するために、ローパスフィルタ５０２は、ポリフェーズフィルタバンクによって実現されてもよい。ローパスフィルタ５０２の次数が高い場合、演算量を削減するために、畳み込み原理に基づいて、ＦＦＴ領域でローパスフィルタ５０２が実現されても良い。

　更には、Ｍ／Ｄ＜１．０である場合、つまり、ピッチ伸張処理によってピッチが高くなる場合、後段のＱＭＦ解析フィルタバンク５０４と時間伸張回路５０５における演算量が、リサンプリング処理に必要な処理量よりも大きい。そのため、時間伸張およびリサンプリング処理の順番を入れ替えることにより、演算量が削減される。

　また、図１５では、リサンプリング部５００がＱＭＦ解析フィルタバンク５０４の前段に設けられている。これは、特定音源（たとえば単一正弦波など）に対して、ピッチ伸張処理を施した場合に発生する音質劣化を最小限に防ぐためである。ＱＭＦ解析フィルタバンク５０４の処理後にピッチシフト処理が実施される場合、元の音響信号に含まれる正弦波信号が、複数のＱＭＦブロックに分離された状態になる。そのため、その信号に対してピッチシフト処理が施された場合、元の正弦波信号が多数のＱＭＦブロックに拡散してしまう。

　すなわち、単一正弦波などの特殊音源には、上述の構成でリサンプリング処理が行われた方がよい。しかし、一般の音響信号のピッチシフト処理に、単一正弦波のみが入力されることは、ほぼ無いに等しい。そのため、演算量の増大要因となるリサンプリング処理は、省略されてもよい。

　また、音響信号処理装置は、ＱＭＦ解析フィルタバンク５０４によって得られたＱＭＦ係数に対して直接ピッチ伸張処理を施す構成であってもよい。この構成の場合、ピッチ伸張処理が施された音響信号の品質は、単一正弦波などの特殊音源では若干劣る場合がある。しかし、このような構成を有する音響信号処理装置は、それ以外の一般的な音響信号に対して、十分な品質を保持することが可能である。そのことを鑑みて、リサンプリング処理を省くことによって、処理量の非常に大きな処理部が省かれる。したがって、全体の処理量が削減される。

　そして、音響信号処理装置は、適用用途に合わせて、適切な組み合わせで構成されてもよい。

　（実施の形態６）
　実施の形態６に係る音響信号処理装置は、実施の形態５と同じように、ＱＭＦ領域での時間伸縮および周波数変調処理を行う。実施の形態６では、実施の形態５で用いられたリサンプリング処理を用いない点が、実施の形態５とは異なる点である。実施の形態６に係る音響信号処理装置は、図１３に示された音響信号処理装置の構成要素を備える。

　図１３に示された音響信号処理装置は、時間伸縮処理および周波数変調処理の両方を行う。そのため、ＱＭＦ解析フィルタバンク１００１は、音響信号をＱＭＦ係数へと変換する。そして、調整回路１００２は、得られたＱＭＦ係数を、実施の形態１～４に記載されたように、位相調整を行う。

　なお、実施の形態６に係る音響信号処理装置は、ＱＭＦ合成フィルタを施さずに、新しいＱＭＦ係数をそのまま後段の別の音響信号処理装置に出力しても良い。後段の音響信号処理装置は、たとえば、ＳＢＲ技術に基づく音響信号処理などを実行する。以上が、実施の形態６の全体構成である。

　実施の形態６に係る音響信号処理装置は、ピッチ伸張処理による周波数変調処理に関して、実施の形態５とは異なる処理を行う。

　ピッチを伸縮することで周波数変調処理を施すために、時間領域の音響信号をリサンプリングする手法は非常に単純である。しかし、折り返し歪みを抑制するために必要なローパスフィルタが構成上必要である。そのため、ローパスフィルタにより遅延が発生する。一般的には、リサンプリング処理の精度を高めるためには次数の大きなローパスフィルタが必要である。一方、次数が大きいとフィルタの遅延が大きくなる。

　そこで、図１７に示された実施の形態６に係る音響信号処理装置は、ＱＭＦ領域で係数の構成を変換するＱＭＦ領域変換器６０３を備える。そして、ＱＭＦ領域変換器６０３によって、リサンプリング処理とは異なるピッチシフト処理が実行される。

　ＱＭＦ解析フィルタバンク６０１は、入力の時間信号からＱＭＦ係数を算出する。実施の形態１～５と同様に、時間伸張回路６０２は、算出したＱＭＦ係数を時間伸張する。ＱＭＦ領域変換器６０３は、時間伸張されたＱＭＦ係数にピッチ伸張処理を施す。

　図１８に示すように、ＱＭＦ領域変換器６０３は、新たにＱＭＦ合成フィルタおよびＱＭＦ解析フィルタを用いずに、あるＱＭＦ領域のＱＭＦ係数を、周波数および時間の分解能がそれぞれ異なる別のＱＭＦ領域のＱＭＦ係数へと直接変換するものである。図１８で示されているように、ＱＭＦ領域変換器６０３は、Ｍ個のサブバンドおよびＬ／Ｍ個のタイムスロットで構成されるあるＱＭＦブロックを、Ｎ個のサブバンドとＬ／Ｎ個のタイムスロットで構成される新しいＱＭＦブロックに変換することが可能となる。

　ＱＭＦ領域変換器６０３は、タイムスロット数およびサブバンド数を変えることができる。そして、その出力信号の時間および周波数の分解能は、入力信号から変更される。そのため、時間伸張処理およびピッチ伸張処理の両方を同時に実現するためには、新しい時間伸張係数が、算出される必要がある。たとえば、所望の時間伸張係数をｓ、所望のピッチ伸張係数をｗとすると、新しい時間伸張係数は、

で計算される。

　図１７は、時間伸張処理とピッチ伸張処理の両方を実現する構成を示す図である。なお、図１７に示された音響信号処理装置は、時間伸張処理（時間伸張回路６０２）とピッチ伸張処理（ＱＭＦ領域変換器６０３）との順序で構成されている。しかし、音響信号処理装置は、先にピッチ伸張処理を行い、その後に時間伸張処理を行う構成であっても良い。ここでは、Ｌ個の入力サンプルがあることを想定している。

　ＱＭＦ解析フィルタバンク６０１は、Ｌ個のサンプルからＭ個のサブバンドおよびＬ／Ｍ個のタイムスロットで構成するＱＭＦブロックを算出する。時間伸張回路６０２は、このようにして算出したＱＭＦブロックの各ＱＭＦ係数から、Ｍ個のサブバンドおよび

個のタイムスロットで構成するＱＭＦブロックを算出する。最後に、ＱＭＦ領域変換器６０３は、伸張されたＱＭＦブロックをｗ・Ｍ個のサブバンドおよびｓ・Ｌ／Ｍ個のタイムスロットで構成される別のＱＭＦブロックへと変換する（ｗ＞１．０の場合、最も小さいＭ個のサブバンドが最終的な出力信号になる）。

　ＱＭＦ領域変換器６０３の処理は、ＱＭＦ合成フィルタバンクおよびＱＭＦ解析フィルタバンクの演算処理を数学的に圧縮することに相当する。音響信号処理装置は、ＱＭＦ合成フィルタバンクおよびＱＭＦ解析フィルタバンクを用いて演算する場合、内部に遅延回路を包含する構成になる。それに比べて、ＱＭＦ領域変換器６０３を備える音響信号処理装置は、演算遅延および演算量を削減することができる。たとえば、音響信号処理装置は、サブバンドインデックスがＳ_k（ｋ＝０，…，Ｍ－１）であるサブバンドを、サブバンドインデックスＳ_l（ｌ＝０，…，ｗＭ－１）に変換する場合、式４０の計算を実行する。

　ここで、Ｐ_MとＰ_wMはそれぞれ、ＱＭＦ解析フィルタバンクとＱＭＦ合成フィルタバンクのプロトタイプ関数を表している。

　次に、ピッチシフト処理の別の例に関して述べる。上記に述べたピッチシフト処理と違い、音響信号処理装置は、下記の通りに処理する。

　（ａ）音響信号処理装置は、伸張処理前のＱＭＦブロックに含まれる信号の周波数成分を検出する。

　（ｂ）音響信号処理装置は、所定の変換係数によって周波数をシフトする。周波数シフトするための単純な方法は、前記変換係数を入力信号のピッチに乗算する方法である。

　（ｃ）音響信号処理装置は、所望のシフト周波数成分での新しいＱＭＦブロックを構成する。

　音響信号処理装置は、ＱＭＦ変換によって算出したＱＭＦブロックに対し、信号の周波数成分ω（ｎ，ｋ）を式４１により算出する。

　ここで、ｐｒｉｎｃａｒｇ（α）はαにおける基礎周波数を示す。また、Δφ（ｎ，ｋ）は、Δφ（ｎ，ｋ）＝φ（ｎ，ｋ）－φ（ｎ－１，ｋ）であり、同一サブバンドｋにおける、２つのＱＭＦ成分の位相差を示している。

　所望の伸張後の基礎周波数は、変換係数Ｐ₀（Ｐ₀＞１と仮定する）を用いてＰ₀・ω（ｎ，ｋ）として算出される。

　ピッチの伸張および圧縮（あわせてシフトと呼ぶ）の本質は、所望の周波数成分を、シフト後のＱＭＦブロック上に構築することである。ピッチシフト処理は、図１９に示すように、下記のステップでも実現される。

　（ａ）まず、音響信号処理装置は、シフト後のＱＭＦブロックを初期化する（Ｓ１３０１）。音響信号処理装置は、すべてのＱＭＦブロックにおける位相ψ（ｎ，ｋ）および振幅ｒ₁（ｎ，ｋ）を０に設定する。

　（ｂ）次に、音響信号処理装置は、サブバンドを変換係数Ｐ₀分だけ繰り上げることで、サブバンドの境界を決定する（Ｓ１３０２）。Ｐ₀＞１の場合、音響信号処理装置は、折り返し歪みを避けるため、低い方のサブバンド境界ｋ_lbをｋ_lb＝０として算出し、高い方のサブバンド境界ｋ_ubをｋ_ub＝ｆｌｏｏｒ（Ｍ／Ｐ₀）として算出する。

　これは、すべての周波数成分が

に含まれているからである。

　（ｃ）音響信号処理装置は、［ｋ_lb，ｋ_ub］にあるｊ番目のサブバンドに対して、シフト処理後の周波数Ｐ₀・ω（ｎ，ｊ）をインデックスｑ（ｎ）＝ｒｏｕｎｄ（Ｐ₀・ω（ｎ，ｊ））にマッピングする（Ｓ１３０５）。

　（ｄ）音響信号処理装置は、新しいブロック（ｎ，ｑ（ｎ））の位相および振幅を再構築する（Ｓ１３０６）。ここで、音響信号処理装置は、新しい振幅を式４２により算出する。

　関数Ｆ（）は後ほど述べる。

　音響信号処理装置は、新しい位相を、式４３により算出する。

　ここでは、ｄｆ（ｎ）＝Ｐ₀・ω（ｎ，ｊ）－ｑ（ｎ）およびψ（ｎ，ｑ（ｎ））が“包含された”調整が前提である。音響信号処理装置は、－π≦ψ（ｎ，ｑ（ｎ））＜πを保証するため、複数回、２πを加算している。

　（ｅ）音響信号処理装置は、所望の周波数成分Ｐ₀・ω（ｎ，ｊ）についてのサブバンドインデックス

を式４４により算出したサブバンドにマッピングする（Ｓ１３０７）。

　（ｆ）音響信号処理装置は、新しいブロック

の位相および振幅を再構築する（Ｓ１３０８）。そして、音響信号処理装置は、新しい振幅を式４５により算出する。

　関数Ｆ（）は後ほど述べる。

　音響信号処理装置は、新しい位相を式４６により算出する。

は“包含された”調整が前提である。音響信号処理装置は、

を保証するため、複数回、２πを加算している。

　（ｇ）音響信号処理装置が、［ｋ_lb，ｋ_ub］の範囲に含まれるすべてのサブバンド信号を一旦処理した後、Ｐ₀＞１であるため、新しいＱＭＦブロックに含まれる値が“０”になる場合がある。音響信号処理装置は、このようなブロックに対して、各々の位相情報を“非０”なるように線形補完する。また、音響信号処理装置は、各々の振幅を位相情報に基づいて補完する（Ｓ１３１０）。

　（ｈ）音響信号処理装置は、新しいＱＭＦブロックの振幅および位相情報を複素係数のブロック信号に変換する（Ｓ１３１１）。

　上記の振幅調整および補完に関しては、ここでは説明を省略する。それら両方が、ＱＭＦ領域における信号の周波数成分と振幅との間にある関係性に関しているからである。

　正弦的なトナリティの強い信号は、上記（ｃ）および（ｅ）で示されたように、２つの異なるＱＭＦサブバンドの信号成分を発生させるかもしれない。解析の結果、それら２つのサブバンドにおける振幅の関係は、ＱＭＦ解析フィルタバンク（ＱＭＦ変換）のプロトタイプフィルタに依存している。

　たとえば、ＱＭＦ解析フィルタバンク（ＱＭＦ変換）は、ＭＰＥＧＳｕｒｒｏｕｎｄおよびＨＥ－ＡＡＣ方式で用いられているフィルタバンクであることを前提とする。図２０Ａは、プロトタイプフィルタｐ（ｎ）（フィルタ長６４０サンプル）の振幅応答を示す図である。ほぼ完全に再構築性を達成するため、その振幅応答は、周波数［－０．５，０．５］の外側では急激に減衰している。そのプロトタイプフィルタを基準として、Ｍ個のバンド数をもつ複素ＱＭＦ解析フィルタバンクの係数は、

として定義される。

　この場合、複素フィルタバンクは、ｋ番目のサブバンドにおいて、周波数の中央がｋ＋１／２になるように、構成されている。図２０Ｂは、間引かれた周波数応答を示す図である。便宜上、ｋ－１番目のサブバンドの振幅特性は、図２０Ｂの左側に折れ線で示されており、ｋ＋１番目のサブバンドの振幅特性は、図２０Ｂの右側に折れ線で示されている。

　図２０Ｂに示されているように、周波数ｆ₀（ｋ－１≦ｆ₀＜ｋ＋１）の成分について、もし、０＜ｄｆ＝ｆ₀－（ｋ＋１／２）＜１であるなら、ｋ番目とｋ＋１番目のサブバンドの２つのブロックがそれぞれ提供される。また、－１＜ｄｆ＝ｆ₀－（ｋ＋１／２）＜０である場合、ｋ－１番目とｋ番目のサブバンドの２つのブロックが提供される（上記（ｅ）参照）。それに応じた振幅は、周波数ｆ₀とｋ番目のサブバンドの中央周波数との差、および、サブバンドフィルタの振幅に依存する。

　サブバンドの振幅Ｆ（ｄｆ）は、－１≦ｄｆ＜１において対称の関数であって、

で表される。

　２つのブロックが同じ周波数に存在するため、それらの位相差は

を満たす必要がある（上記（ｆ）参照）。

　以上より、振幅の補完処理は、線形補完として扱うべきではないことがわかる。その代わり、信号の周波数成分と振幅情報との間にある関係が上記のようになるべきである。

　上述したように、実施の形態６では、ＱＭＦ領域での位相調整および振幅調整が行われる。これまでにも述べているとおり、音響信号処理装置は、単位時間毎に区切られた音響信号をＱＭＦフィルタバンクで逐次ＱＭＦ領域の係数（ＱＭＦブロック）に変換する。そして、音響信号処理装置は、予め指定された伸張率（ｓ倍、たとえばｓ＝２，３，４など）に応じて隣り合うＱＭＦブロック毎の位相および振幅の連続性を保持するように、各ＱＭＦブロックの振幅および位相を調整する。これにより、音響信号処理装置は、フェーズボコーダー処理を実現する。

　音響信号処理装置は、ＱＭＦ領域でフェーズボコーダー処理されたＱＭＦ係数を、ＱＭＦ合成フィルタバンクで時間領域の信号へ変換する。これにより、ｓ倍に伸張された時間領域の音響信号が得られる。また、後段の別の音響信号処理装置で、ＱＭＦ係数が用いられる場合がある。このような場合、後段の別の音響信号処理装置が、ＱＭＦ領域でフェーズボコーダー処理されたＱＭＦブロックの係数に、ＳＢＲ技術に基づく帯域拡大処理など、何らかの音響処理を施してもよい。そして、そのような後段の別の音響信号処理装置が、ＱＭＦ合成フィルタバンクでＱＭＦ係数を時間領域の音響信号に変換しも良い。

　図３に示された構成は、そのような組み合わせの一例である。これは、ＱＭＦ領域でのフェーズボコーダー処理と、音響信号の帯域拡大技術を組み合わせた音響復号装置の一例である。以下に、フェーズボコーダー処理を用いた音響復号装置の構成を説明する。

　分離部１２０１は、入力のビットストリームを高域生成のためのパラメータと低域復号のための符号化情報とへ分離する。パラメータ復号部１２０７は、高域生成のためのパラメータを復号する。復号部１２０２は、低域復号のための符号化情報から、低域成分の音響信号を復号する。ＱＭＦ解析フィルタバンク１２０３は、復号された音響信号をＱＭＦ領域の音響信号に変換する。

　周波数変調回路１２０５および時間伸張回路１２０４は、ＱＭＦ領域の音響信号に、前記フェーズボコーダー処理を施す。その後、高域生成回路１２０６は、高域生成のためのパラメータを用いて高域周波数成分の信号を生成する。概形調整回路１２０８は、高域成分の周波数概形を調整する。ＱＭＦ合成フィルタバンク１２０９は、ＱＭＦ領域における低域成分および高域成分の音響信号を時間領域の音響信号へと変換する。

　また、ＱＭＦ領域でフェーズボコーダー処理が行われる場合に、変調係数ｒ（ｍ，ｎ）について、ＱＭＦブロックのサブバンドインデックス（ｍ，ｎ）毎に重み付けが行われてもよい。これにより、ＱＭＦ係数が、サブバンドインデックス毎に異なる値を持つ変調係数で変調される。たとえば、高域周波数に対応するサブバンドインデックスにおいて、伸張した際に音響信号の歪みが大きくなる場合がある。そのようなサブバンドインデックスに対して、伸張の割合を小さくなるような伸張係数が用いられる。

　さらに、ＱＭＦ領域でフェーズボコーダー処理する別の構成として、音響信号処理装置は、ＱＭＦ解析フィルタバンクの後段に、さらに別のＱＭＦ解析フィルタバンクを備えてもよい。第１のＱＭＦ解析フィルタバンクのみでは低域の周波数分解能が低い場合がある。その場合、低域成分を多く含む音響信号にフェーズボコーダー処理を施しても、十分な効果が得られない。

　そこで、低域成分の周波数分解能を向上させるために、低域部分（たとえば、第１のＱＭＦ解析フィルタバンクの出力に含まれる全ＱＭＦブロックの半分）を解析するための第２のＱＭＦ解析フィルタバンクが用いられてもより。これにより、周波数分解能が２倍に向上する。その上で、上述のＱＭＦ領域でのフェーズボコーダー処理が施されることで、音質を維持したまま、演算量およびメモリ消費量の削減効果が高められる。

　そして、各フェーズボコーダー処理回路は、２倍の解像度で、伸張割合の異なるフェーズボコーダー処理を統一的に行える。そして、マージ回路２４０６は、フェーズボコーダー処理された信号を合成する。

　これまで説明してきた時間伸張処理およびピッチ伸張処理を、音響信号の符号化装置に用いる例に関して、以下に説明する。

　図２１は、時間伸張処理およびピッチ伸張処理を用いて、音響信号を符号化する音響符号化装置を示す構成図である。図２１に示された音響符号化装置は、一定数のサンプル毎に分割した音響信号をフレーム処理する。

　まず初めに、ダウンサンプリング部１１０２は、音響信号をダウンサンプリングすることにより、低域の周波数成分のみを含む信号を生成する。符号化部１１０３は、その低域のみ含んだ音響信号をＭＰＥＧ－ＡＡＣ、ＭＰＥＧ－Ｌａｙｅｒ３またはＡＣ３方式などで代表される音響符号化方式を用いて符号化することにより、符号化情報を生成する。また、同時に、ＱＭＦ解析フィルタバンク１１０４は、低域成分のみを含む音響信号をＱＭＦ係数に変換する。一方、ＱＭＦ解析フィルタバンク１１０１は、全帯域成分を含む音響信号をＱＭＦ係数に変換する。

　時間伸張回路１１０５および周波数変調回路１１０６は、低域成分のみを含む音響信号をＱＭＦ領域に変換した信号（ＱＭＦ係数）を、上述の複数の実施の形態で示されたように調整して、高域の仮想的なＱＭＦ係数を生成する。

　パラメータ算出部１１０７は、上記の仮想的な高域ＱＭＦ係数と、全帯域成分を含むＱＭＦ係数（実際のＱＭＦ係数）とを比較することで、高域成分の概形情報を算出する。重畳部１１０８は、算出された概形情報を符号化情報に重畳する。

　図３は、音響復号装置の構成を示す図である。図３に示された音響復号装置は、上述の音響符号化装置で符号化された符号化情報を受信して音響信号へ復号する装置である。分離部１２０１は、受信した符号化情報を、第１の符号化情報と、第２の符号化情報とに分離する。パラメータ復号部１２０７は、第２の符号化情報を高域のＱＭＦ係数の概形情報へ変換する。一方で、復号部１２０２は、第１の符号化情報から、低域成分のみを含む音響信号を復号する。ＱＭＦ解析フィルタバンク１２０３は、復号された音響信号を、低域成分のみを含むＱＭＦ係数へ変換する。そして、時間伸張回路１２０４および周波数変調回路１２０５は、その低域成分のみを含むＱＭＦ係数に対して、上述の複数の実施の形態で示されたように、時間およびピッチを調整する。これにより、高域成分を含む仮想的なＱＭＦ係数が生成される。

　概形調整回路１２０８および高域生成回路１２０６は、高域成分を含む仮想的なＱＭＦ係数を、受信した第２の符号化情報に含まれる概形情報に基づいて、調整する。ＱＭＦ合成フィルタバンク１２０９は、調整されたＱＭＦ係数と低域のＱＭＦ係数とを合成する。そして、ＱＭＦ合成フィルタバンク１２０９は、得られた合成ＱＭＦ係数をＱＭＦ合成フィルタで、低域成分と高域成分の両方を含んだ時間領域の音響信号へ変換する。

　このようにして、音響符号化装置は、時間伸縮比を符号化情報として伝送する。音響復号装置は、時間伸縮比を用いて、音響信号を復号する。これにより、音響符号化装置は、フレーム毎に時間伸縮比を様々に変化させることができる。よって、高域成分の制御が柔軟になる。したがって、高い符号化効率が達成される。

　図２２は、従来のＳＦＴＦベースの時間伸張回路および周波数変調回路を用いた場合と、ＱＭＦベースの時間伸張回路および周波数変調回路を用いた場合とで、音質比較実験を行った結果を示す図である。図２２に示された結果は、ビットレートが１６ｋｂｐｓ、モノラル信号の条件での実験に基づいている。また、この結果は、ＭＵＳＨＲＡ（Ｍｕｌｔｉｐｌｅ　Ｓｔｉｍｕｌｉ　ｗｉｔｈ　Ｈｉｄｄｅｎ　Ｒｅｆｅｒｅｎｃｅ　ａｎｄ　Ａｎｃｈｏｒ）法による評価に基づいている。

　図２２において、縦軸はＳＴＦＴ方式との音質差を示しており、横軸は異なる音響特性を持つ複数の音源を示している。図２２からわかるように、ＳＦＴＦベースの方式と比較してもＱＭＦベースの方式がほぼ同等の音質で符号化および復号できていることがわかる。本実験で用いられた音源は、符号化および復号した際に劣化が特に起こりやすい音源である。そのため、それ以外の一般的な音響信号に対しても、同等の性能を有しつつ、符号化および復号が行われることは、明白である。

　このように、本発明に係る音響信号処理装置は、ＱＭＦ領域において、時間伸張処理およびピッチ伸張処理を行う。本発明に係る音響信号処理は、古典的なＳＴＦＴベースの時間伸張処理およびピッチ伸張処理に比べ、ＱＭＦフィルタを用いて実現されている。そのため、本発明に係る音響信号処理は、演算量の大きいＦＦＴを使用する必要がなく、同等の効果をより少ない演算量で実現することができる。また、ＳＴＦＴベースでは、ホップサイズによる処理を実施する必要があるため、処理遅延が発生する。ＱＭＦベースでは、ＱＭＦフィルタの処理遅延が非常に短い。そのため、本発明に係る音響信号処理装置は、処理遅延を非常に小さくすることができるという優れた利点も備えている。

　（実施の形態７）
　図２３Ａは、実施の形態７に係る音響信号処理装置を示す構成図である。図２３Ａに示された音響信号処理装置は、フィルタバンク２６０１と調整部２６０２とを備える。フィルタバンク２６０１は、図１に示されたＱＭＦ解析フィルタバンク９０１等と同様の動作を行う。調整部２６０２は、図１に示された調整回路９０２等と同様の動作を行う。そして、図２３Ａに示された音響信号処理装置は、所定の調整係数を用いて、入力音響信号列を変換する。ここで、所定の調整係数は、時間伸縮比、周波数変調比、および、それらを組み合わせた比率のいずれかに相当する。

　図２３Ｂは、図２３Ａに示された音響信号処理装置の処理を示すフローチャートである。フィルタバンク２６０１は、入力音響信号列を、ＱＭＦ解析フィルタを用いて、ＱＭＦ係数列へ変換する（Ｓ２６０１）。調整部２６０２は、ＱＭＦ係数列を所定の調整係数に依存させて調整する（Ｓ２６０２）。

　例えば、調整部２６０２は、調整されたＱＭＦ係数列から、予め定められた時間伸縮比で時間伸縮された入力音響信号列が得られるように、予め定められた時間伸縮比を示す調整係数に依存させて、ＱＭＦ係数列の位相情報および振幅情報を調整する。あるいは、調整部２６０２は、調整されたＱＭＦ係数列から、予め定められた周波数変調比で周波数変調（ピッチシフト）された入力音響信号列が得られるように、予め定められた周波数変調比を示す調整係数に依存させて、ＱＭＦ係数列の位相情報および振幅情報を調整する。

　図２４は、図２３Ａに示された音響信号処理装置の変形例を示す構成図である。図２４に示された音響信号処理装置は、図２３Ａに示された音響信号処理装置に加えて、高域生成部２７０５および高域補完部２７０６を備える。また、調整部２６０２は、帯域制限部２７０１、算出回路２７０２、調整回路２７０３および領域変換器２７０４を備える。

　フィルタバンク２６０１は、入力音響信号列を一定時間間隔毎にＱＭＦ係数列へ逐次変換することにより、一定時間間隔毎のＱＭＦ係数列を生成する。算出回路２７０２は、一定時間間隔毎に生成されたＱＭＦ係数列のタイムスロット毎およびサブバンド毎に位相情報および振幅情報を算出する。調整回路２７０３は、タイムスロット毎およびサブバンド毎の位相情報を所定の調整係数に依存させて調整することにより、ＱＭＦ係数列の位相情報および振幅情報を調整する。

　帯域制限部２７０１は、図１４に示された帯域制限フィルタ１８０２と同様の動作をする。すなわち、帯域制限部２７０１は、ＱＭＦ係数列の調整前に、ＱＭＦ係数列から、予め定められた帯域幅に対応する新たなＱＭＦ係数列を取り出す。領域変換器２７０４は、図１７に示されたＱＭＦ領域変換器と同様の動作をする。すなわち、領域変換器２７０４は、ＱＭＦ係数列の調整後に、ＱＭＦ係数列を時間および周波数の分解能がそれぞれ異なる新たなＱＭＦ係数列に変換する。

　なお、帯域制限部２７０１は、ＱＭＦ係数列の調整後に、ＱＭＦ係数列から、予め定められた帯域幅に対応する新たなＱＭＦ係数列を取り出してもよい。また、領域変換器２７０４は、ＱＭＦ係数列の調整前に、ＱＭＦ係数列を時間および周波数の分解能がそれぞれ異なる新たなＱＭＦ係数列に変換してもよい。

　高域生成部２７０５は、図３に示された高域生成回路１２０６と同様の動作をする。すなわち、高域生成部２７０５は、調整後のＱＭＦ係数列から、予め定められた変換係数を用いて、調整前のＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する。

　高域補完部２７０６は、図３に示された概形調整回路１２０８と同様の動作をする。すなわち、高域補完部２７０６は、高周波数帯域のうち、高域生成部２７０５によって高域係数列が生成されなかった周波数帯域である欠落帯域の係数を欠落帯域の両側に隣接する帯域に属する高域係数列を用いて補完する。

　図２５は、実施の形態７に係る音響符号化装置を示す構成図である。図２５に示された音響符号化装置は、ダウンサンプリング部２８０２、第１フィルタバンク２８０１、第２フィルタバンク２８０４、第１符号化部２８０３、第２符号化部２８０７、調整部２８０６および重畳部２８０８を備える。図２５に示された音響符号化装置は、図２１に示された音響符号化装置と同様の動作をする。そして、図２５に示された構成要素は、図２１に示された構成要素に対応する。

　すなわち、ダウンサンプリング部２８０２は、ダウンサンプリング部１１０２と同様の動作をする。第１フィルタバンク２８０１は、ＱＭＦ解析フィルタバンク１１０１と同様の動作をする。第２フィルタバンク２８０４は、ＱＭＦ解析フィルタバンク１１０４と同様の動作をする。第１符号化部２８０３は、符号化部１１０３と同様の動作をする。第２符号化部２８０７は、パラメータ算出部１１０７と同様の動作をする。調整部２８０６は、時間伸張回路１１０５と同様の動作をする。重畳部２８０８は、重畳部１１０８と同様の動作をする。

　図２６は、図２５に示された音響符号化装置の処理を示すフローチャートである。

　まず、第１フィルタバンク２８０１は、音響信号列を、ＱＭＦ解析フィルタを用いて、ＱＭＦ係数列に変換する（Ｓ２９０１）。次に、ダウンサンプリング部２８０２は、音響信号列をダウンサンプリングすることにより、新たな音響信号列を生成する（Ｓ２９０２）。次に、第１符号化部２８０３は、生成された新たな音響信号列を符号化する（Ｓ２９０３）。次に、第２フィルタバンク２８０４は、生成された新たな音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する（Ｓ２９０４）。

　次に、調整部２８０６は、第２ＱＭＦ係数列を所定の調整係数に依存させて調整する（Ｓ２９０５）。所定の調整係数は、上述の通り、時間伸縮比、周波数変調比、および、それらを組み合わせた比率のいずれかに相当する。

　次に、第２符号化部２８０７は、第１ＱＭＦ係数列と、調整された第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、生成したパラメータを符号化する（Ｓ２９０６）。次に、重畳部２８０８は、符号化された音響信号列と、符号化されたパラメータとを重畳する（Ｓ２９０７）。

　図２７は、実施の形態７に係る音響復号装置を示す構成図である。図２７に示された音響復号装置は、分離部３００１、第１復号部３００７、第２復号部３００２、第１フィルタバンク３００３、第２フィルタバンク３００９、調整部３００４および高域生成部３００６を備える。図２７に示された音響復号装置は、図３に示された音響復号装置と同様の動作をする。そして、図２７に示された構成要素は、図３に示された構成要素に対応する。

　すなわち、分離部３００１は、分離部１２０１と同様の動作をする。第１復号部３００７は、パラメータ復号部１２０７と同様の動作をする。第２復号部３００２は、復号部１２０２と同様の動作をする。第１フィルタバンク３００３は、ＱＭＦ解析フィルタバンク１２０３と同様の動作をする。第２フィルタバンク３００９は、ＱＭＦ合成フィルタバンク１２０９と同様の動作をする。調整部３００４は、時間伸張回路１２０４と同様の動作をする。高域生成部３００６は、高域生成回路１２０６と同様の動作をする。

　図２８は、図２７に示された音響復号装置の処理を示すフローチャートである。

　まず、分離部３００１は、入力されたビットストリームから、符号化されたパラメータと符号化された音響信号列とを分離する（Ｓ３１０１）。次に、第１復号部３００７は、符号化されたパラメータを復号する（Ｓ３１０２）。次に、第２復号部３００２は、符号化された音響信号列を復号する（Ｓ３１０３）。次に、第１フィルタバンク３００３は、第２復号部３００２によって復号された音響信号列を、ＱＭＦ解析フィルタを用いて、ＱＭＦ係数列に変換する（Ｓ３１０４）。

　次に、調整部３００４は、ＱＭＦ係数列を所定の調整係数に依存させて調整する（Ｓ３１０５）。所定の調整係数は、上述の通り、時間伸縮比、周波数変調比、および、それらを組み合わせた比率のいずれかに相当する。

　次に、高域生成部３００６は、調整されたＱＭＦ係数列から、復号されたパラメータを用いて、ＱＭＦ係数に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する（Ｓ３１０６）。次に、第２フィルタバンク３００９は、ＱＭＦ係数列と高域係数列とを、ＱＭＦ合成フィルタを用いて、時間領域の音響信号列に変換する。

　図２９は、図２７に示された音響復号装置の変形例を示す構成図である。図２９に示された音響復号装置は、復号部２５０１、ＱＭＦ解析フィルタバンク２５０２、周波数変調回路２５０３、結合部２５０４、高周波再構築部２５０５およびＱＭＦ合成フィルタバンク２５０６を備える。

　復号部２５０１は、ビットストリームから、音響信号を復号する。ＱＭＦ解析フィルタバンク２５０２は、復号された音響信号をＱＭＦ係数に変換する。周波数変調回路２５０３は、ＱＭＦ係数に周波数変調処理を施す。この周波数変調回路２５０３は、図４に示された構成要素を備える。図４に示されたように、周波数変調処理において、内部的に時間伸張処理が実行される。そして、結合部２５０４は、ＱＭＦ解析フィルタバンク２５０２から得られるＱＭＦ係数と、周波数変調回路２５０３から得られるＱＭＦ係数とを結合する。高周波再構築部２５０５は、結合されたＱＭＦ係数から、高域に対応するＱＭＦ係数を再構築する。ＱＭＦ合成フィルタバンク２５０６は、高周波再構築部２５０５から得られるＱＭＦ係数を音響信号に変換する。

　本発明に係る音響信号処理装置は、ＳＴＦＴベースのフェーズボコーダー処理に比べて、演算量の削減が可能となる。また、音響信号処理装置は、ＱＭＦ領域で信号を出力するため、ＳＢＲ技術またはＰａｒａｍｅｔｒｉｃＳｔｅｒｅｏなどのパラメトリック符号化処理において、領域変換の非効率性を解消することができる。そして、音響信号処理装置は、領域変換の演算に必要なメモリの容量も削減できる。

　以上、本発明に係る音響信号処理装置、音響符号化装置および音響復号装置について、複数の実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

　例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

　また、本発明は、音響信号処理装置、音響符号化装置または音響復号装置として実現できるだけでなく、音響信号処理装置、音響符号化装置または音響復号装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらの方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現できる。

　また、音響信号処理装置、音響符号化装置または音響復号装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、音響信号処理装置、音響符号化装置または音響復号装置に含まれる構成要素の集積回路化を行ってもよい。

　本発明に係る音響信号処理装置は、オーディオレコーダ、オーディオプレーヤー、携帯電話等に有用である。

　５００　リサンプリング部
　５０１　アップサンプリング部
　５０２　ローパスフィルタ
　５０３、１１０２、２８０２　ダウンサンプリング部
　５０４、６０１、９０１、１００１、１１０１、１１０４、１２０３、１８０１、２４０２、２５０２　ＱＭＦ解析フィルタバンク
　５０５、６０２、１１０５、１２０４、１８０４　時間伸張回路
　６０３、１００３　ＱＭＦ領域変換器
　９０２、１００２、２７０３　調整回路
　９０３、１００５、１２０９、１８０５、２４０１、２５０６　ＱＭＦ合成フィルタバンク
　１００４　バンドパスフィルタ
　１１０３　符号化部
　１１０６、１２０５、１８０３、２５０３　周波数変調回路
　１１０７　パラメータ算出部
　１１０８、２８０８　重畳部
　１２０１、３００１　分離部
　１２０２、２５０１　復号部
　１２０６　高域生成回路
　１２０７　パラメータ復号部
　１２０８　概形調整回路
　１８０２　帯域制限フィルタ
　２４０３　第１時間伸張回路
　２４０４　第２時間伸張回路
　２４０５　第３時間伸張回路
　２４０６　マージ回路
　２５０４　結合部
　２５０５　高周波再構築部
　２６０１　フィルタバンク
　２６０２、２８０６、３００４　調整部
　２７０１　帯域制限部
　２７０２　算出回路
　２７０４　領域変換器
　２７０５、３００６　高域生成部
　２７０６　高域補完部
　２８０１、３００３　第１フィルタバンク
　２８０３　第１符号化部
　２８０４、３００９　第２フィルタバンク
　２８０７　第２符号化部
　３００２　第２復号部
　３００７　第１復号部

Claims

　所定の調整係数を用いて、入力音響信号列を変換する音響信号処理装置であって、
　前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換するフィルタバンクと、
　前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整部とを備える
　音響信号処理装置。
　前記調整部は、調整された前記ＱＭＦ係数列から、所定の時間伸縮比で時間伸縮された前記入力音響信号列が得られるように、前記所定の時間伸縮比を示す前記所定の調整係数に依存させて、前記ＱＭＦ係数列を調整する
　請求項１に記載の音響信号処理装置。
　前記調整部は、調整された前記ＱＭＦ係数列から、所定の周波数変調比で周波数変調された前記入力音響信号列が得られるように、前記所定の周波数変調比を示す前記所定の調整係数に依存させて、前記ＱＭＦ係数列を調整する
　請求項１に記載の音響信号処理装置。
　前記フィルタバンクは、前記入力音響信号列を時間間隔毎に前記ＱＭＦ係数列へ逐次変換することにより、前記時間間隔毎の前記ＱＭＦ係数列を生成し、
　前記調整部は、
　前記時間間隔毎に生成された前記ＱＭＦ係数列のタイムスロット毎およびサブバンド毎に位相情報を算出する算出回路と、
　前記タイムスロット毎および前記サブバンド毎の前記位相情報を前記所定の調整係数に依存させて調整することにより、前記ＱＭＦ係数列を調整する調整回路とを備える
　請求項１～３のいずれか１項に記載の音響信号処理装置。
　前記調整回路は、前記サブバンド毎に、前記ＱＭＦ係数列の最初のタイムスロットの前記位相情報と、前記所定の調整係数とに依存させて算出した値を、前記タイムスロット毎の前記位相情報に加算することにより、前記タイムスロット毎の前記位相情報を調整する
　請求項４に記載の音響信号処理装置。
　前記算出回路は、さらに、前記時間間隔毎に生成された前記ＱＭＦ係数列の前記タイムスロット毎および前記サブバンド毎に振幅情報を算出し、
　前記調整回路は、さらに、前記タイムスロット毎および前記サブバンド毎の前記振幅情報を前記所定の調整係数に依存させて調整することにより、前記ＱＭＦ係数列を調整する
　請求項４または請求項５に記載の音響信号処理装置。
　前記調整部は、さらに、前記ＱＭＦ係数列の調整前または調整後に、前記ＱＭＦ係数列から、予め定められた帯域幅に対応する新たなＱＭＦ係数列を取り出す帯域制限部を備える
　請求項１～６のいずれか１項に記載の音響信号処理装置。
　前記調整部は、前記ＱＭＦ係数列を調整する割合をサブバンド毎に重み付けして、前記サブバンド毎に前記ＱＭＦ係数列を調整する
　請求項１～７のいずれか１項に記載の音響信号処理装置。
　前記調整部は、さらに、前記ＱＭＦ係数列の調整前または調整後に、前記ＱＭＦ係数列を時間および周波数の分解能が異なる新たなＱＭＦ係数列に変換する領域変換器を備える
　請求項１～８のいずれか１項に記載の音響信号処理装置。
　前記調整部は、調整前の前記ＱＭＦ係数列から過渡成分を検出し、検出した前記過渡成分を調整前の前記ＱＭＦ係数列から取り出し、取り出した前記過渡成分を調整し、調整した前記過渡成分を調整後の前記ＱＭＦ係数列に戻すことにより、前記ＱＭＦ係数列を調整する
　請求項１～９のいずれか１項に記載の音響信号処理装置。
　前記音響信号処理装置は、さらに、
　調整後の前記ＱＭＦ係数列から、予め定められた変換係数を用いて、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、
　前記高周波数帯域のうち、前記高域生成部によって前記高域係数列が生成されなかった周波数帯域である欠落帯域の係数を前記欠落帯域の両側に隣接する帯域に属する前記高域係数列を用いて補完する高域補完部とを備える
　請求項１～１０のいずれか１項に記載の音響信号処理装置。
　第１音響信号列を符号化する音響符号化装置であって、
　前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１フィルタバンクと、
　前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリング部と、
　前記第２音響信号列を符号化する第１符号化部と、
　前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２フィルタバンクと、
　前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、
　前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化部と、
　符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳部とを備える
　音響符号化装置。
　入力されたビットストリームから、第１音響信号列を復号する音響復号装置であって、
　入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離部と、
　符号化された前記パラメータを復号する第１復号部と、
　符号化された前記第２音響信号列を復号する第２復号部と、
　前記第２復号部によって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１フィルタバンクと、
　前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、
　復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、
　前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２フィルタバンクとを備える
　音響復号装置。
　所定の調整係数を用いて、入力音響信号列を変換する音響信号処理方法であって、
　前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換する変換ステップと、
　前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整ステップとを含む
　音響信号処理方法。
　第１音響信号列を符号化する音響符号化方法であって、
　前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１変換ステップと、
　前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリングステップと、
　前記第２音響信号列を符号化する第１符号化ステップと、
　前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２変換ステップと、
　前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整ステップと、
　前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化ステップと、
　符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳ステップとを含む
　音響符号化方法。
　入力されたビットストリームから、第１音響信号列を復号する音響復号方法であって、
　入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離ステップと、
　符号化された前記パラメータを復号する第１復号ステップと、
　符号化された前記第２音響信号列を復号する第２復号ステップと、
　前記第２復号ステップによって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１変換ステップと、
　前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整ステップと、
　復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成ステップと、
　前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２変換ステップとを含む
　音響復号方法。
　請求項１４に記載の音響信号処理方法に含まれるステップをコンピュータに実行させるための
　プログラム。
　請求項１５に記載の音響符号化方法に含まれるステップをコンピュータに実行させるための
　プログラム。
　請求項１６に記載の音響復号方法に含まれるステップをコンピュータに実行させるための
　プログラム。
　所定の調整係数を用いて、入力音響信号列を変換する集積回路であって、
　前記入力音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列へ変換するフィルタバンクと、
　前記ＱＭＦ係数列を前記所定の調整係数に依存させて調整する調整部とを備える
　集積回路。
　第１音響信号列を符号化する集積回路であって、
　前記第１音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、第１ＱＭＦ係数列に変換する第１フィルタバンクと、
　前記第１音響信号列をダウンサンプリングすることにより、第２音響信号列を生成するダウンサンプリング部と、
　前記第２音響信号列を符号化する第１符号化部と、
　前記第２音響信号列を、ＱＭＦ解析フィルタを用いて、第２ＱＭＦ係数列に変換する第２フィルタバンクと、
　前記第２ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、
　前記第１ＱＭＦ係数列と、調整された前記第２ＱＭＦ係数列とを比較することで、復号に用いられるパラメータを生成し、前記パラメータを符号化する第２符号化部と、
　符号化された前記第２音響信号列と、符号化された前記パラメータとを重畳する重畳部とを備える
　集積回路。
　入力されたビットストリームから、第１音響信号列を復号する集積回路であって、
　入力された前記ビットストリームから、符号化されたパラメータと符号化された第２音響信号列とに分離する分離部と、
　符号化された前記パラメータを復号する第１復号部と、
　符号化された前記第２音響信号列を復号する第２復号部と、
　前記第２復号部によって復号された前記第２音響信号列を、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ　Ｍｉｒｒｏｒ　Ｆｉｌｔｅｒ）解析フィルタを用いて、ＱＭＦ係数列に変換する第１フィルタバンクと、
　前記ＱＭＦ係数列を所定の調整係数に依存させて調整する調整部と、
　復号された前記パラメータを用いて、調整後の前記ＱＭＦ係数列から、調整前の前記ＱＭＦ係数列に対応する周波数帯域よりも高い高周波数帯域に対応する新たなＱＭＦ係数列である高域係数列を生成する高域生成部と、
　前記高域係数列、および、調整前の前記ＱＭＦ係数列を、ＱＭＦ合成フィルタを用いて、時間領域の前記第１音響信号列に変換する第２フィルタバンクとを備える
　集積回路。