JP5977176B2 - 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラム - Google Patents

Description

本発明は、音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラムに関するものである。

聴覚心理を利用して人間の知覚に不必要な情報を取り除くことにより信号のデータ量を数十分の一に圧縮する音声音響符号化技術は、信号の伝送および蓄積において極めて重要な技術である。広く利用されている知覚的オーディオ符号化技術の例として、ISO/IEC MPEG（Moving Picture Experts Group）で標準化されたMPEG4 AAC（Advanced Audio
Coding）などを挙げることができる。

また、音声符号化の性能をさらに向上させ、低いビットレートで高い音声品質を得る方法として、音声の低周波成分を用いて高周波成分を生成する帯域拡張技術が近年広く用いられるようになった。この帯域拡張技術の代表的な例はMPEG4 AACで利用されるSBR（Spectral Band Replication）技術である。このようなSBRでは、QMF（Quadrature
Mirror Filter）バンクによって周波数領域に変換された信号に対し、低周波帯域から高周波帯域へのスペクトル係数の複写を行うことにより高周波成分を生成した後、複写された係数のスペクトル包絡とトーナリティを調整することによって高周波成分の調整を行う。以下、スペクトル包絡とトーナリティの調整を、「周波数エンベロープの調整」と称する。このような帯域拡張技術を利用した音声符号化方式は、信号の高周波成分を少量の補助情報のみを用いて再生することができるため、音声符号化の低ビットレート化のために有効である。

ここで、SBRに代表される周波数領域での帯域拡張技術においては、周波数領域で表現されたスペクトル係数に対しての周波数エンベロープの調整により、スピーチ信号や拍手音、カスタネット音のような時間エンベロープの変化の大きい音声信号を符号化した際には復号信号においてプリエコー又はポストエコーと呼ばれる残響状の雑音が知覚される場合がある。この問題は、調整処理の過程で高周波成分の時間エンベロープが変形し、多くの場合は調整前より平坦な形状になることに起因する。調整処理により平坦になった高周波成分の時間エンベロープは符号前の原信号における高周波成分の時間エンベロープと一致せず、プリエコー・ポストエコーの原因となる。

この問題に対する解決法として、次のような方法が知られている（下記特許文献１参照。）。すなわち、周波数領域信号の時間スロット毎に低周波成分の電力を取得し、取得した電力から時間エンベロープ情報を抽出し、抽出した時間エンベロープ情報を、補助情報で調整した後に周波数エンベロープの調整の処理が施された高周波成分に乗畳するという方法である。以下、上記方法を「時間エンベロープ変形の手法」と称する。これにより、復号信号の時間エンベロープを歪の少ない形状に調整し、プリエコー・ポストエコーの改善された再生信号を得ることを確認できる。

国際公開２０１０／１１４１２３号公報

ここで、上記特許文献１に記載の時間エンベロープ変形の手法においては、入力された多重化ビットストリームを基に得られた低周波成分のみを含む復号信号を得た後に、その復号信号からＱＭＦ領域の信号を得る。さらに、ＱＭＦ領域の信号から時間エンベロープ情報を取得し、その時間エンベロープ情報をさらにパラメータを用いて調整した後に、調整後の時間エンベロープ情報を用いて、高周波成分のＱＭＦ領域の信号を対象にした時間エンベロープ変形の処理を施す。

しかしながら、上記の時間エンベロープ変形の手法では、低周波成分のＱＭＦ領域の信号から得られた時間の関数である単一の時間エンベロープ情報を用いて時間エンベロープ変形の処理が行われているため、当該低周波成分の時間エンベロープと高周波成分の時間エンベロープとの相関が不十分な場合には時間エンベロープの波形の調整をすることが困難である。その結果、復号信号におけるプリエコーおよびポストエコーが十分に改善されない傾向にあった。

そこで、本発明は、かかる課題に鑑みて為されたものであり、復号信号における時間エンベロープを歪の少ない形状に調整することによって、プリエコーおよびポストエコーの十分に改善された再生信号を得ることができる音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラムを提供することを目的とする。

上記課題を解決するため、本発明の一側面に係る復号装置は、音声信号を符号化した符号化系列を復号する音声復号装置であって、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段と、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、時間エンベロープ算出手段で取得された時間エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整手段と、時間エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段と、を備える。

或いは、別の側面に係る復号装置は、 音声信号を符号化した符号化系列を復号する音声復号装置であって、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段と、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を、高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳手段と、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段と、時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段と、を備える。

或いは、別の側面に係る復号装置は、音声信号を符号化した符号化系列を復号する音声復号装置であって、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段と、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段と、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出手段と、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段と、時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段と、を備える。

本発明の一側面に係る復号方法は、音声信号を符号化した符号化系列を復号する音声復号方法であって、非多重化手段が、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、低周波数帯域復号手段が、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、周波数変換手段が、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、高周波数帯域符号化系列解析手段が、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、符号化系列復号逆量子化手段が、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、高周波数帯域生成手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成ステップと、第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、時間エンベロープ算出手段が、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、時間エンベロープ調整手段が、時間エンベロープ算出手段で取得された時間エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整ステップと、逆周波数変換手段が、時間エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換ステップと、を備える。

或いは、本発明の別の側面に係る復号方法は、音声信号を符号化した符号化系列を復号する音声復号方法であって、非多重化手段が、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、低周波数帯域復号手段が、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、周波数変換手段が、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、高周波数帯域符号化系列解析手段が、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、符号化系列復号逆量子化手段が、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、高周波数帯域生成手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成ステップと、第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、時間エンベロープ算出手段が、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、周波数エンベロープ重畳手段が、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を、高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳ステップと、時間周波数エンベロープ調整手段が、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整ステップと、逆周波数変換手段が、時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換ステップと、を備える。

或いは、本発明の別の側面に係る復号方法は、音声信号を符号化した符号化系列を復号する音声復号方法であって、非多重化手段が、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、低周波数帯域復号手段が、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、周波数変換手段が、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、高周波数帯域符号化系列解析手段が、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、符号化系列復号逆量子化手段が、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、高周波数帯域生成手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成ステップと、低周波数帯域時間エンベロープ算出手段が、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出ステップと、時間エンベロープ算出手段が、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、周波数エンベロープ算出手段が、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出ステップと、時間周波数エンベロープ調整手段が、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整ステップと、逆周波数変換手段が、時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換ステップと、を備える。

本発明の一側面に係る復号プログラムは、音声信号を符号化した符号化系列を復号する音声復号プログラムであって、コンピュータを、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、時間エンベロープ算出手段で取得された時間エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整手段、及び時間エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段、として機能させる。

或いは、本発明の別の側面に係る復号プログラムは、音声信号を符号化した符号化系列を復号する音声復号プログラムであって、コンピュータを、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を、高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳手段、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段、及び時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段、として機能させる。

或いは、本発明の別の側面に係る復号プログラムは、音声信号を符号化した符号化系列を復号する音声復号プログラムであって、コンピュータを、符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、非多重化手段によって非多重化された低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、低周波数帯域復号手段によって得られた低周波数帯域信号を、周波数領域に変換する周波数変換手段、非多重化手段によって非多重化された高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、高周波数帯域符号化系列解析手段によって取得された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号から、符号化系列復号逆量子化手段で復号された高周波数帯域生成用補助情報を用いて、音声信号の周波数領域の高周波数帯域成分を生成する高周波数帯域生成手段、周波数変換手段によって周波数領域に変換された低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、符号化系列復号逆量子化手段によって取得された時間エンベロープ情報、および低周波数帯域時間エンベロープ算出手段により取得された複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、符号化系列復号逆量子化手段によって取得された周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出手段、時間エンベロープ算出手段で取得された時間エンベロープ、および周波数周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段、及び時間周波数エンベロープ調整手段により調整された高周波数帯域成分と、低周波数帯域復号手段によって復号された低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する逆周波数変換手段、として機能させる。

このような復号装置、復号方法、或いは復号プログラムによれば、符号化系列から非多重化及び復号されて低周波数帯域信号が得られ、符号化系列から非多重化、復号、及び逆量子化されて高周波数帯域生成用補助情報及び時間エンベロープ情報が得られる。そして、高周波数帯域生成用補助情報を用いて周波数領域に変換された低周波数帯域信号から周波数領域の高周波数帯域成分が生成される一方で、周波数領域の低周波数帯域信号を分析して複数の低周波数帯域の時間エンベロープが取得された後に、その複数の低周波数帯域の時間エンベロープと、時間エンベロープ情報とを用いて、高周波数帯域の時間エンベロープが算出される。さらに、算出された高周波数帯域の時間エンベロープによって高周波数帯域成分の時間エンベロープが調整され、調整された高周波数帯域成分と低周波数帯域信号が加算されて時間領域信号が出力される。このように、高周波数帯域成分の時間エンベロープの調整用に複数の低周波数帯域の時間エンベロープが用いられるので、低周波数帯域成分の時間エンベロープと高周波数帯域成分の時間エンベロープとの相関を利用して高い精度で高周波数帯域成分の時間エンベロープの波形が調整される。その結果、復号信号における時間エンベロープが歪の少ない形状に調整され、プリエコーおよびポストエコーの十分に改善された再生信号を得ることができる。

ここで、周波数変換手段によって周波数領域に変換された低周波数帯域信号を用いて、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、ことが好適である。かかる時間エンベロープ算出制御手段を備えれば、低周波数帯域信号の電力等の性質に応じて低周波数帯域の時間エンベロープの算出、或いは、高周波数帯域の時間エンベロープの算出の処理を省略することができ、演算量を削減することができる。

また、符号化系列復号逆量子化手段によって取得した時間エンベロープ情報を用いて、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、ことも好適である。かかる時間エンベロープ算出制御手段を備えれば、符号化系列から得られた時間エンベロープ情報に応じて低周波数帯域の時間エンベロープの算出、或いは、高周波数帯域の時間エンベロープの算出の処理を省略することができ、演算量を削減することができる。

さらに、高周波数帯域符号化系列解析手段は、時間エンベロープ算出制御情報をさらに取得し、高周波数帯域符号化系列解析手段によって取得した時間エンベロープ算出制御情報を用いて、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、ことも好適である。かかる構成を採れば、符号化系列から得られた時間エンベロープ算出制御情報に応じて低周波数帯域の時間エンベロープの算出、或いは、高周波数帯域の時間エンベロープの算出の処理を省略することができ、演算量を削減することができる。

またさらに、高周波数帯域符号化系列解析手段は、時間エンベロープ算出制御情報をさらに取得し、符号化系列復号／逆量子化手段は、第２の周波数エンベロープ情報をさらに取得し、時間エンベロープ算出制御情報を基に、高周波数帯域成分の周波数エンベロープを第2の周波数エンベロープ情報を基に調整するか否かを判断し、当該周波数エンベロープを調整すると判断した場合には、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出を行わないように制御する時間エンベロープ算出制御手段をさらに備える、ことも好適である。この場合も、符号化系列から得られた時間エンベロープ算出制御情報に応じて低周波数帯域の時間エンベロープの算出、或いは、高周波数帯域の時間エンベロープの算出の処理を省略することができ、演算量を削減することができる。

さらにまた、時間周波数エンベロープ調整手段は、高周波数帯域生成手段で生成された音声信号の高周波数帯域成分を所定の関数に基づき処理することも好適である。また、低周波数帯域時間エンベロープ算出手段は、取得した複数の低周波数帯域の時間エンベロープを所定の関数に基づき処理することも好適である。

また、本発明の一側面に係る符号化装置は、音声信号を符号化する音声符号化装置であって、音声信号を周波数領域に変換する周波数変換手段と、音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリング手段と、ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化手段と、周波数変換手段によって周波数領域に変換された音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の時間エンベロープを用いて、周波数変換手段によって変換された音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出手段と、音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出手段と、補助情報算出手段によって生成された高周波数帯域生成用補助情報、および時間エンベロープ情報算出手段によって算出された時間エンベロープ情報を量子化および符号化する量子化符号化手段と、量子化符号化手段によって量子化および符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成手段と、低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、符号化系列構成手段によって構成された高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化手段と、を備える。

本発明の一側面に係る符号化方法は、音声信号を符号化する音声符号化方法であって、周波数変換手段が、音声信号を周波数領域に変換する周波数変換ステップと、ダウンサンプリング手段が、音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリングステップと、低周波数帯域符号化手段が、ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化ステップと、第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、周波数変換手段によって周波数領域に変換された音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、時間エンベロープ情報算出手段が、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の時間エンベロープを用いて、周波数変換手段によって変換された音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出ステップと、補助情報算出手段が、音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出ステップと、量子化符号化手段が、補助情報算出手段によって生成された高周波数帯域生成用補助情報、および時間エンベロープ情報算出手段によって算出された時間エンベロープ情報を量子化および符号化する量子化符号化ステップと、符号化系列構成手段が、量子化符号化手段によって量子化および符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成ステップと、多重化手段が、低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、符号化系列構成手段によって構成された高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化ステップと、を備える。

本発明の一側面に係る符号化プログラムは、音声信号を符号化する音声符号化プログラムであって、コンピュータを、音声信号を周波数領域に変換する周波数変換手段、音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリング手段、ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化手段、周波数変換手段によって周波数領域に変換された音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の時間エンベロープを用いて、周波数変換手段によって変換された音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出手段、音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出手段、補助情報算出手段によって生成された高周波数帯域生成用補助情報、および時間エンベロープ情報算出手段によって算出された時間エンベロープ情報を量子化および符号化する量子化符号化手段、量子化符号化手段によって量子化および符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成手段、及び低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、符号化系列構成手段によって構成された高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化手段、として機能させる。

このような符号化装置、符号化方法、或いは符号化プログラムによれば、音声信号がダウンサンプリングされて低周波数帯域信号が得られ、その低周波数帯域信号が符号化される一方で、周波数領域の音声信号を基に低周波数帯域成分の時間エンベロープが複数算出され、その複数の低周波数帯域成分の時間エンベロープを用いて高周波数帯域成分の時間エンベロープを取得するための時間エンベロープ情報が算出される。さらに、低周波数帯域信号から高周波数帯域成分を生成するための高周波数帯域生成用補助情報が算出され、高周波数帯域生成用補助情報と時間エンベロープ情報とが量子化及び符号化された後に、高周波数帯域生成用補助情報と時間エンベロープ情報とを含む高周波数帯域符号化系列が構成される。そして、低周波数帯域符号化系列及び高周波数帯域符号化系列とが多重化された符号化系列が生成される。これにより、符号化系列が復号装置に入力される際に、復号装置側で高周波数帯域成分の時間エンベロープの調整用に複数の低周波数帯域の時間エンベロープを用いることが可能になり、復号装置側で低周波数帯域成分の時間エンベロープと高周波数帯域成分の時間エンベロープとの相関を利用して高い精度で高周波数帯域成分の時間エンベロープの波形が調整される。その結果、復号信号における時間エンベロープが歪の少ない形状に調整され、復号装置側でプリエコーおよびポストエコーの十分に改善された再生信号を得ることができる。

ここで、周波数変換手段によって周波数領域に変換された音声信号の高周波数帯域成分の周波数エンベロープ情報を算出する周波数エンベロープ算出手段をさらに備え、量子化符号化手段は、周波数エンベロープ情報をさらに量子化および符号化し、符号化系列構成手段は、量子化符号化手段によって量子化および符号化された周波数エンベロープ情報をさらに加えて高周波数帯域符号化系列を構成する、ことが好適である。かかる構成を採れば、復号装置側で高周波数帯域成分の周波数エンベロープの調整も可能にされるので、復号装置側で周波数特性の改善された再生信号を得ることができる。

また、周波数変換手段によって周波数領域に変換された音声信号と、時間エンベロープ情報算出手段にて算出された時間エンベロープ情報のうち少なくとも１つを用いて、音声復号装置における時間エンベロープ算出を制御する時間エンベロープ算出制御情報を生成する制御情報生成手段をさらに備え、符号化系列構成手段は、制御情報生成手段にて生成された時間エンベロープ算出制御情報をさらに加えて高周波数帯域符号化系列を構成する、ことも好適である。この場合、音声信号の電力等の性質や時間エンベロープ情報を参照して、復号装置側での時間エンベロープの算出の処理を効率化することができ、演算量を削減することができる。

またさらに、時間エンベロープ情報算出手段は、周波数変換手段によって周波数領域に変換された音声信号の高周波数帯域成分の時間エンベロープを算出し、第１〜第Ｎの低周波数帯域成分の時間エンベロープから算出した時間エンベロープと、上記周波数帯域成分の時間エンベロープとの相関に基づいて、時間エンベロープ情報を算出することも好適である。

本発明によれば、復号信号における時間エンベロープを歪の少ない形状に調整することによって、プリエコーおよびポストエコーの十分に改善された再生信号を得ることができる。

本発明の第１実施形態にかかる音声復号装置１の概略構成図である。 図１の音声復号装置１によって実現される音声復号方法の手順を示すフローチャートである。 本発明の第１実施形態にかかる音声符号化装置２の概略構成図である。 図３の音声符号化装置２によって実現される音声符号化方法の手順を示すフローチャートである。 第１の実施形態に係る音声復号装置１の第１の変形例におけるエンベロープ算出に関る要部の構成を示す図である。 図５の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。 第１実施形態に係る音声復号装置１の第２の変形例におけるエンベロープ算出に関る要部の構成を示す図である。 図７の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。 第１実施形態に係る音声復号装置１の第３の変形例におけるエンベロープ算出に関る要部の構成を示す図である。 図９の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。 第１実施形態に係る音声復号装置１の第４の変形例によるエンベロープ算出の手順を示すフローチャートである。 第１実施形態に係る音声復号装置１の第５の変形例によるエンベロープ算出の手順を示すフローチャートである。 第１実施形態に係る音声復号装置１の第６の変形例におけるエンベロープ算出に関る要部の構成を示す図である。 第１の実施形態に係る音声復号装置１の第７の変形例における時間エンベロープ算出部１ｇの時間エンベロープ算出の手順を示すフローチャートである。 第１の実施形態に係る音声復号装置１の第２の変形例に、第１の実施形態に係る音声復号装置１の第７の変形例を適用した際の時間エンベロープ算出制御部１ｍの処理の一部を示すフローチャートである。 第１の実施形態に係る音声復号装置１の第４の変形例に、第１の実施形態に係る音声復号装置１の第７の変形例を適用した際の時間エンベロープ算出制御部１ｎの処理の一部を示すフローチャートである。 第１の実施形態に係る音声符号化装置２の第１の変形例の構成を示す図である。 図１７の音声符号化装置２による音声符号化の手順を示すフローチャートである。 、第１の実施形態に係る音声符号化装置２の第２の変形例の構成を示す図である。 図１９の音声符号化装置２による音声符号化の手順を示すフローチャートである。 第１の実施形態に係る音声符号化装置２の第３の変形例の構成を示す図である。 図２１の音声符号化装置２による音声符号化の手順を示すフローチャートである。 第２の実施形態に係る音声復号装置１０１の構成を示す図である。 図２３の音声復号装置１０１による音声復号の手順を示すフローチャートである。 第２の実施形態に係る音声符号化装置１０２の構成を示す図である。 図２５の音声符号化装置１０２による音声符号化の手順を示すフローチャートである。 本発明の第１実施形態に係る音声符号化装置２の第１の変形例を、本発明の第２の実施形態に係る音声符号化装置１０２に適用した際の構成を示す図である。 図２７の音声符号化装置１０２による音声符号化の手順を示すフローチャートである 本発明の第１実施形態に係る音声符号化装置２の第２の変形例を、本発明の第２の実施形態に係る音声符号化装置１０２に適用した際の構成を示す図である。 図２９の音声符号化装置１０２による音声符号化の手順を示すフローチャートである。 第３の実施形態に係る音声復号装置２０１の構成を示す図である。 図３１の音声復号装置２０１による音声復号の手順を示すフローチャートである。 第４の実施形態に係る音声復号装置３０１の構成を示す図である。 図３３の音声復号装置３０１による音声復号の手順を示すフローチャートである。 第３の実施形態に係る音声符号化装置２０２の構成を示す図である。 図３５の音声符号化装置２０２による音声符号化の手順を示すフローチャートである。 第４の実施形態に係る音声符号化装置３０２の構成を示す図である。 図３７の音声符号化装置３０２による音声符号化の手順を示すフローチャートである。 第２の実施形態に係る音声復号装置１０１の第３の変化例の構成を示す図である。 図３９の音声復号装置１０１による音声復号の手順を示すフローチャートである。

以下、図面とともに本発明による音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

［第１実施形態］

図１は、本発明の第１実施形態に係る音声復号装置１の構成を示す図、図２は、音声復号装置１によって実現される音声復号方法の手順を示すフローチャートである。音声復号装置１は、物理的には図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及び通信装置等を備え、このＣＰＵは、ＲＯＭ等の音声復号装置１の内蔵メモリに格納された所定のコンピュータプログラム（例えば、図２のフローチャートに示す処理を行うためのコンピュータプログラム）をＲＡＭにロードして実行することによって音声復号装置１を統括的に制御する。音声復号装置１の通信装置は、後述する音声符号化装置２から出力される多重化された符号化系列を受信し、更に、復号した音声信号を外部に出力する。

音声復号装置１は、図１に示すように、機能的には、非多重化部（非多重化手段）１ａ、低周波数帯域復号部（低周波数帯域復号手段）１ｂ、帯域分割フィルタバンク部（周波数変換手段）１ｃ、符号化系列解析部（高周波数帯域符号化系列解析手段）１ｄ、符号化系列復号/逆量子化部（符号化系列復号逆量子化手段）１ｅ、第１〜第ｎ（ｎは２以上の整数）低周波数帯域時間エンベロープ算出部（低周波数帯域時間エンベロープ算出手段）１ｆ_１〜１ｆ_ｎ、時間エンベロープ算出部（時間エンベロープ算出手段）１ｇ、高周波数帯域生成部（高周波数帯域生成手段）１ｈ、時間エンベロープ調整部（時間エンベロープ調整手段）１ｉ、及び帯域合成フィルタバンク部（逆周波数変換手段）１ｊを備える（１ｃ〜１ｅ、及び１ｈ〜１ｉは帯域拡張部（帯域拡張手段）と呼ぶこともある。）。図１に示す音声復号装置１の各機能部は、音声復号装置１のＣＰＵが音声復号装置１の内蔵メモリに格納されたコンピュータプログラムを実行することによって実現される機能である。音声復号装置１のＣＰＵは、このコンピュータプログラムを実行することによって（図１の各機能部を用いて）、図２のフローチャートに示す処理（ステップＳ０１〜ステップＳ１０の処理）を順次実行する。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、音声復号装置１のＲＯＭやＲＡＭ等の内蔵メモリに格納されるものとする。

以下、音声復号装置１の各機能部の機能について詳細に説明する。

非多重化部１ａは、音声復号装置１の通信装置を介して入力された多重化された符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列に非多重化することによって分離する。

低周波数帯域復号部１ｂは、非多重化部１ａから与えられた低周波数帯域符号化系列を復号し、低周波数帯域の成分のみを含む復号信号を得る。この際、復号の方式は、ＣＥＬＰ（Code-Excited Linear Prediction）方式に代表される音声符号化方式に基づいてもよく、またＡＡＣ（Advanced Audio Coding）やＴＣＸ（Transform Coded Excitation）方式などの音響符号化に基づいてもよい。また、ＰＣＭ（Pulse Code Modulation）符号化方式に基づいても良い。また、それらの符号化方式を切り替えて符号化する方式に基づいてもよい。本実施形態において、符号化方式は限定されない。

帯域分割フィルタバンク部１ｃは、低周波数帯域復号部１ｂから与えられた低周波数帯域の成分のみを含む復号信号を分析し、その復号信号を周波数領域の信号に変換する。以降、上記帯域分割フィルタバンク部１ｃにより取得される低周波数帯域に対応する周波数領域の信号を、Ｘ_ｄｅｃ（ｊ，ｉ）｛０≦ｊ＜ｋ_ｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝と表す。ここで、ｊは周波数方向のインデックス、ｉは時間方向のインデックス、ｋ_ｘは非負整数である。また、ｔは、上記信号Ｘ_ｄｅｃ（ｊ，ｉ）のインデックスｉについての範囲ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）が、第ｓ（０≦ｓ＜ｓ_Ｅ）番目のフレームに対応するように定義する。また、ｓ_Ｅは全フレームの数である。上記フレームは、例えば、低周波数帯域復号部１ｂの復号方式が従う符号化方式が規定するフレームに対応する。また、上記フレームは、“ISO/IEC 14496-3”に規定される“MPEG4 AAC”で利用されるSBRにおける、いわゆる、SBRフレーム（SBR frame）、あるいは、SBRエンベロープタイムセグメント（SBR
envelope time segment）に対応してもよい。なお、本実施形態においては、上記フレームが規定する時間間隔は、上記の例には限定されない。上記インデックスｉは、“ISO/IEC 14496-3”に規定される“MPEG4 AAC”で利用されるSBRにおける、QMFサブバンドサブサンプル（QMF subband subsample）、または、それを束ねるタイムスロット（time slot）、に対応してもよい。

符号化系列解析部１ｄは、非多重化部１ａから与えられた高周波数帯域符号化系列を解析し、符号化された高周波数帯域生成用補助情報と、符号化された時間/周波数エンベロープ情報を取得する。

符号化系列復号/逆量子化部１ｅは、符号化系列解析部１ｄから与えられた符号化された高周波数帯域生成用補助情報を復号・逆量子化し、高周波数帯域生成用補助情報を得ると共に、符号化系列解析部１ｄから与えられた符号化された時間エンベロープ情報を復号・逆量子化し時間エンベロープ情報を取得する。

第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎは、それぞれ、異なる時間エンベロープを算出する。すなわち、第ｋ低周波数帯域時間エンベロープ算出部１ｆ_ｋ（１≦ｋ≦ｎ）は、帯域分割フィルタバンク部１ｃから、低周波数帯域の信号Ｘ（ｊ，ｉ）｛０≦ｊ＜ｋ_ｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を受け取り、低周波数帯域の第ｋ番目の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）を算出する。(ステップＳｂ６の処理)。具体的には、第ｋ低周波数帯域時間エンベロープ算出部１ｆ_ｋは、時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）を次のようにして算出する。

まず、低周波数帯域内の異なる副周波数帯を、下記の条件を満たす二つの整数ｋ_ｌ、ｋ_ｈを用いて指定できる。

上記条件を満たす、可能な整数の組（ｋ_ｌ、ｋ_ｈ）は、全部でｎ_ｍａｘ＝ｋ_ｘ（ｋ_ｘ＋１）／２個ある。これらの整数の組の内の任意の一つを選べば、上記副周波数帯が指定できる。

次に、上記ｎ_ｍａｘ個の整数の組から、ｎ個を選択することで、副周波数帯をｎ個指定する。以下、これらのｎ個の帯域を表すために、二つのサイズｎの配列Ｂ_ｌとＢ_ｈを、信号Ｘ_ｄｅｃ（ｊ，ｉ）｛Ｂ_ｌ（ｋ）≦ｊ≦Ｂ_ｈ（ｋ）、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝が、第ｋ（１≦ｋ≦ｎ）番目の副周波数帯成分に対応するように定義する。

さらに、上記ｎ個の副周波帯成分の電力の時間エンベロープを次の式で取得する。

そして、上記Ｅ_Ｌ（ｋ，ｉ）を対象にして、下記式を計算する。

次に、この量Ｌ_０（ｋ，ｉ）に所定の処理を施して時間エンベロープＬ（ｋ，ｉ）を取得する。例えば、下記式を用いて、この量Ｌ_０（ｋ，ｉ）を時間方向に平滑化することで、時間エンベロープＬ（ｋ，ｉ）を取得してもよい。

上記式中、ｓｃ（ｊ）、０≦ｊ≦ｄは平滑化係数であり、ｄは平滑化の次数である。ｓｃ（ｊ）は例えば、下記式；

によって設定されるが、本実施形態においてｓｃ（ｊ）の値は上記式には限定されない。

また、上記Ｌ_０(ｋ，ｉ)は例えば下記式で計算してもよい。

さらには、上記Ｌ_０(ｋ．ｉ)は例えば下記式で計算してもよい。

ただし、εはゼロ割を回避する緩和係数である。またさらには、上記Ｌ_０(ｋ．ｉ)は例えば下記式で計算してもよい。

そして、第ｋ低周波数帯域時間エンベロープ算出部１ｆ_ｋが算出する時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）は、例えば、下記式；

あるいは、下記式；

を用いて得られる。

ただし、上記Ｌ_ｄｅｃ（ｋ，ｉ）は、第ｋ番目の上記副周波数帯域の信号の信号電力または信号振幅の時間変動を表すパラメータであればよく、上記のＬ_０(ｋ，ｉ)およびＬ_１(ｋ，ｉ)の形態に限定されない。

また、上記Ｌ_ｄｅｃ（ｋ，ｉ）は以下のように主成分分析を用いた方法で算出してもよい。

まず、上述したＬ_ｄｅｃ（ｋ，ｉ）｛１≦ｋ≦ｎ、ｔ（ｓ）≦ｉ≦ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝の算出過程において、上記ｎを別の整数ｍ＝ｎ−１に置き換えることで、上記Ｌ_ｄｅｃ（ｋ，ｉ）に対応する量をインデックスｋについてｍ種類定め、これらの量を改めて、Ｌ_２（ｋ，ｉ）｛１≦ｋ≦ｍ（＝ｎ−１）、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝と表すことにする。そして、第ｓ（０≦ｓ＜ｓ_Ｅ）番目のフレームに対応する上記Ｌ_２（ｌ，ｉ）｛１≦ｌ≦ｍ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）｝を、次元Ｄ＝ｔ（ｓ＋１）−ｔ（ｓ）のベクトルがｍ個集まったサンプルと捉え、これらのサンプルの平均を下記式；

により求める。上記平均を用いて、変位ベクトルを下記式で定義する。

これらの変位ベクトルから、サイズＤ×Ｄの分散共分散行列Ｃｏｖを下記式で算出する。

次に、下記式；

を満たす互いに直交する、行列Ｃｏｖの固有ベクトルＶ^（ｋ）を算出する。ここで、上記Ｖ^（ｋ） _ｉは固有ベクトルＶ^（ｋ）の成分であり、λ^（ｋ）はＶ^（ｋ）に対応する行列Ｃｏｖの固有値である。ここで、上記ベクトルＶ^（ｋ）の各々は、正規化されていてもよい。ただし、正規化の方法は本発明においては限定されない。以降、記述の簡便化のため、λ^（１）≧λ^（２）≧・・・≧λ^（Ｄ）とする。

以上で取得された固有ベクトルを用いて、低周波数帯域時間エンベロープ算出部１ｆ_ｋ（ただし、１≦ｋ≦ｎ）は、時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）は以下のように算出する。すなわち、Ｄ≧ｍ（＝ｎ−１）なら、上記固有ベクトルの中から、対応する固有値の大きさ順にｎ−１個選択し、下記式により算出する。

一方、Ｄ＜ｍ（＝ｎ−１）なら、上記固有ベクトルを用いて、下記式により算出する。

ここで、αは定数であり、例えば、α＝０としてもよい。また、同じくＤ＜ｍ（＝ｎ−１）の場合、下記式により算出してもよい。

また、上記Ｌ_ｄｅｃ（ｋ，ｉ）は以下のような方法で算出してもよい。まず、上記Ｌ_２（ｌ，ｉ）の算出過程において、ｍ＝ｎとして、Ｌ_２（ｌ，ｉ）、１≦ｌ≦ｍ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅを算出する。これらは、次元Ｄ＝ｔ（ｓ＋１）−ｔ（ｓ）のベクトルがｎ個集まった集合と捉えることができる。上記ｎ個のベクトルを用いて、グラム・シュミットの直交化法、等の方法で、直交ベクトルをｎ個算出し、これらをＬ_ｄｅｃ（ｋ，ｉ）、１≦ｌ≦ｎ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅとする。ただし、直交化の方法は上記例に限定されない。また、直交ベクトルは必ずしも正規化されていなくてもよい。

時間エンベロープ算出部１ｇは、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎから与えられたｎ個の低周波数帯域の時間エンベロープと、符号化系列復号/逆量子化部１ｅから与えられた時間エンベロープ情報を用いて、高周波数帯域の時間エンベロープを算出する。詳細には、時間エンベロープ算出部１ｇによる時間エンベロープの算出は次のように行われる。

まず、高周波数帯域をｎ_Ｈ（ｎ_Ｈ≧１）個の副周波数帯に分割し、これらの副周波数帯をＢ^（Ｔ） _ｌ（ｌ＝１，２，３，・・・，ｎ_Ｈ）と表記する。次に、上記時間エンベロープL_ｄｅｃ（ｋ，ｉ）を用いて、高周波帯域の副周波数帯Ｂ^（Ｔ） _ｌの時間エンベロープｇ_ｄｅｃ（ｌ，ｉ）を算出する。ｉは時間方向のインデックスである。

例えば、上記ｇ_ｄｅｃ（ｌ，ｉ）は下記式で与えられる。

ここで、上記式中に示された値；

は、符号化系列復号/逆量子化部１ｅから与えられた時間エンベロープ情報である。

また、符号化系列復号/逆量子化部１ｅから与えられた時間エンベロープ情報は、係数Ａ_ｌ，ｋ（ｓ）が、

なる係数を含むものであってもよく、その場合は、上記ｇ_ｄｅｃ（ｌ，ｉ）が、下記式；

によって与えられてもよい。

さらに、符号化系列復号/逆量子化部１ｅから与えられた時間エンベロープ情報は、上記係数Ａ_ｌ，ｋ（ｓ）｛１≦ｌ≦ｎ_Ｈ、１≦ｋ≦ｎ、０≦ｓ＜ｓ_Ｅ｝、あるいは、上記係数Ａ_ｌ，ｋ（ｓ）｛１≦ｌ≦ｎ_Ｈ、０≦ｋ≦ｎ、０≦ｓ＜ｓ_Ｅ｝に加え、下記式；

で与えられる係数を含むものであってもよく、その場合は、上記ｇ_ｄｅｃ（ｌ，ｉ）が、下記式；

あるいは、下記式；

によって与えられるとしても良い。ここで、Ｕ（ｋ，ｉ）｛１≦ｋ≦ｇ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝は所定の係数、あるいは、所定の関数である。例えば、上記Ｕ（ｋ，ｉ）は、下記式で与えられる関数でもよい。

ここで、Ωは所定の係数である。

ここで、上記ｇ_ｄｅｃ（ｌ、ｉ）は、Ｌ_ｄｅｃ（ｋ，ｉ）による表現であれば他の形態も許され、時間エンベロープ情報の形態も係数Ａ_ｌ，ｋ（ｓ）の形態に限定されない。

最後に、時間エンベロープ算出部１ｇは、上記ｇ_ｄｅｃ（ｌ，ｉ）を用いて、下記式：

あるいは、下記式；

により時間エンベロープを算出する。

高周波数帯域生成部１ｈは、帯域分割フィルタバンク部１ｃから与えられた低周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ）｛０≦ｊ＜ｋ_ｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を、符号化系列復号/逆量子化部１ｅから与えられた高周波数帯域生成用補助情報を用いて高周波数帯域に複写することにより、高周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ）｛ｋ_ｘ≦ｊ≦ｋ_ｍａｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を生成する。上記高周波数帯域の生成は、“ISO/IEC 14496-3”に規定される“MPEG4 AAC”のSBRにおけるHFジェネレーション（HF generation）の方法に従って行う（“ISO/IEC 14496-3 subpart 4 General
Audio Coding”）。

時間エンベロープ調整部１ｉは、高周波数帯域生成部１ｈから与えられた高周波数帯域信号Ｘ_Ｈ（ｊ，ｉ）｛ｋ_ｘ≦ｊ≦ｋ_ｍａｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝の時間エンベロープを、時間エンベロープ算出部１ｇから与えられた時間エンベロープＥ_Ｔ（ｌ，ｉ）｛１≦ｌ≦ｎ_Ｈ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を用いて調整する。

すなわち、上記時間エンベロープの調節は、下記のように、“MPEG4 AAC”のSBRにおけるHFアジャストメント（HF adjustment）と類似の手段により行われる。ただし、簡単のため、下記ではHFアジャストメントにおけるノイズアディション（Noise addition）のみを考慮した方法を示し、その他のゲインリミッタ（Gain limiter）、ゲインスムーザ（Gain smother）、シヌソイドアディション（Sinusoid addition）等の処理に対応するものは省略した。ただし、省略した上記処理を含むように処理を一般化することは容易である。なお、ノイズアディションに対応する処理を行うために必要なノイズフロアー・スケールファクター、あるいは、上記省略した処理を行う際に必要なパラメータは、既に符号化系列復号/逆量子化部１ｅによって与えられているものとする。

はじめに、以下の記述の簡単化のため、副周波数帯Ｂ^（Ｔ） _ｌ（１≦ｌ≦ｎ_Ｈ）の境界を表すｎ_Ｈ＋１個のインデックスを要素とする配列Ｆ_Ｈを、信号Ｘ_Ｈ（ｊ，ｉ）｛Ｆ_Ｈ（ｌ）≦ｊ＜Ｆ_Ｈ（ｌ＋１）、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝が、副周波数帯Ｂ^（Ｔ） _ｌの成分に対応するように定義する。ただし、Ｆ_Ｈ（１）＝ｋ_ｘ、Ｆ_Ｈ（ｎ_Ｈ＋１）＝ｋ_ｍａｘ＋１である。

上記定義のもとで、時間エンベロープを下記式により変換する。

その後、符号化系列復号/逆量子化部１ｅによって与えられるノイズフロアー・スケールファクターＱ（ｍ，ｉ）を下記式で変換する。

ただし、Ｍ＝Ｆ（ｎ_Ｈ＋１）−Ｆ（１）である。また、ゲインを下記式で算出する。

ここで、下記式；

により表される量を定義する。

最後に、時間エンベロープ調整部１ｉは、下記式により、時間エンベロープ調節済みの信号を得る。

ここで、Ｖ_０、Ｖ_１はノイズ成分を規定する配列であり、ｆは、インデックスｉを上記配列上のインデックスに写像する関数である（具体例については、“ISO/IEC 14496-3 4.B.18”を参照。）。

帯域合成フィルタバンク部１ｊは、時間エンベロープ調整部１ｉから与えられた高周波数帯信号Ｙ（ｉ，ｊ）｛ｋ_ｘ≦ｊ≦ｋ_ｍａｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝と、帯域分割フィルタバンク部１ｃから与えられた低周波数帯信号Ｘ（ｊ，ｉ）｛０≦ｊ＜ｋ_ｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝とを加算した後に帯域合成することによって、全周波数帯域成分を含む時間領域の復号音声信号を取得し、取得した音声信号を内蔵する通信装置を介して外部に出力する。

以下、図２を参照して、音声復号装置１の動作について説明するとともに、併せて音声復号装置１における音声復号方法について詳述する。

まず、非多重化部１ａにより、入力された符号化系列から低周波数帯域符号化系列と高周波数帯域符号化系列とが分離される（ステップＳ０１）。次に、低周波数帯域復号部１ｂにより、低周波数帯域符号化系列が復号されて、低周波数帯域の成分のみを含む復号信号が得られる（ステップＳ０２）。その後、帯域分割フィルタバンク部１ｃにより、低周波数帯域の成分のみを含む復号信号が分析されて、周波数領域の信号に変換される（ステップＳ０３）。

さらに、符号化系列解析部１ｄにより、高周波数帯域符号化系列が解析されて、符号化された高周波数帯域生成用補助情報と、量子化された時間エンベロープ情報とが取得される（ステップＳ０４）。そして、符号化系列復号/逆量子化部１ｅによって、高周波数帯域生成用補助情報が復号されるとともに、時間エンベロープ情報が逆量子化される（ステップＳ０５）。その後、高周波数帯域生成部１ｈにより、低周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ）を、高周波数帯域生成用補助情報を用いて高周波数帯域に複写することにより、高周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ）が生成される（ステップＳ０６）。次に、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにより、低周波数帯域の信号Ｘ（ｊ，ｉ）を基に、複数の低周波数帯域の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）が算出される（ステップＳ０７）。

さらに、時間エンベロープ算出部１ｇにより、複数の低周波数帯域内の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）と時間エンベロープ情報を用いて、高周波数帯域の時間エンベロープＥ_Ｔ（ｌ，ｉ）が算出される（ステップＳ０８）。そして、時間エンベロープ調整部１ｉにより、高周波数帯域信号Ｘ_Ｈ（ｊ，ｉ）の時間エンベロープが時間エンベロープＥ_Ｔ（ｌ，ｉ）を用いて調整される（ステップＳ０９）。最後に、帯域合成フィルタバンク部１ｊにより、高周波数帯信号Ｙ（ｉ，ｊ）と低周波数帯信号Ｘ（ｊ，ｉ）とが加算された後に帯域合成されることにより時間領域の復号音声信号が取得され、その復号音声信号が出力される（ステップＳ１０）。

図３は、本発明の第１実施形態に係る音声符号化装置２の構成を示す図であり、図４は、音声符号化装置２によって実現される音声符号化方法の手順を示すフローチャートである。音声符号化装置２は、物理的には図示しないCPU、ROM、RAM及び通信装置等を備え、このCPUは、ROM等の音声符号化装置２の内蔵メモリに格納された所定のコンピュータプログラム（例えば、図4のフローチャートに示す処理を行うためのコンピュータプログラム）をRAMにロードして実行することによって音声符号化装置２を統括的に制御する。音声符号化装置２の通信装置は、符号化の対象となる音声信号を外部から受信し、更に、符号化された多重化ビットストリームを外部に出力する。

図３に示すように、音声符号化装置２は、機能的には、ダウンサンプリング部（ダウンサンプリング手段）２ａ、低周波数帯域符号化部（低周波数帯域符号化手段）２ｂ、帯域分割フィルタバンク部（周波数変換手段）２ｃ、高周波数帯域生成用補助情報算出部（補助情報算出手段）２ｄ、第１〜第ｎ（ｎは２以上の整数）低周波数帯域時間エンベロープ算出部（低周波数帯域時間エンベロープ算出手段）２ｅ_１〜２ｅ_ｎ、時間エンベロープ情報算出部（時間エンベロープ情報算出手段）２ｆ、量子化/符号化部（量子化符号化手段）２ｇ、高周波数帯域符号化系列構成部（符号化系列構成手段）２ｈ、及び多重化部（多重化手段）２ｉを備える。図３に示す音声符号化装置２の各機能部は、音声符号化装置２のＣＰＵが音声符号化装置２の内蔵メモリに格納されたコンピュータプログラムを実行することによって実現される機能である。音声符号化装置２のＣＰＵは、このコンピュータプログラムを実行することによって（図３に示す各機能部を用いて）、図４のフローチャートに示す処理（ステップＳ１１〜ステップＳ２０の処理）を順次実行する。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、音声符号化装置２のＲＯＭやＲＡＭ等の内蔵メモリに格納されるものとする。

ダウンサンプリング部２ａは、音声符号化装置２の通信装置を介して受信された外部からの入力信号を処理し、ダウンサンプルされた低周波数帯域の時間領域信号を得る。低周波数帯域符号化部２ｂは、ダウンサンプルされた時間領域信号を符号化し、低周波数帯域符号化系列を得る。低周波数帯域符号化部２ｂにおける符号化はＣＥＬＰ方式に代表される音声符号化方式に基づいてもよく、またＡＡＣに代表される変換符号化やＴＣＸ方式などの音響符号化に基づいてもよい。また、ＰＣＭ符号化方式に基づいても良い。また、それら符号化方式を切り替えて符号化する方式に基づいてもよい。本実施形態において、符号化方式は限定されない。

帯域分割フィルタバンク部２ｃは、音声符号化装置２の通信装置を介して受信された外部からの入力信号を分析し、周波数領域の全周波数帯域の信号Ｘ（ｊ，ｉ）に変換する。ただし、ｊは周波数方向のインデックスであり、ｉは時間方向のインデックスである。

高周波数帯域生成用補助情報算出部２ｄは、帯域分割フィルタバンク部２ｃから周波数領域の信号Ｘ（ｊ，ｉ）を受け取り、高周波数帯域の電力、信号変化や、トーナリティ等の分析に基づいて、低周波数帯域の信号成分から高周波数帯域の信号成分を生成する際に用いる高周波数帯域生成用補助情報を算出する。

第１〜第ｎ低周波数帯域時間エンベロープ算出部２ｅ_１〜２ｅ_ｎは、それぞれ、複数の異なる低周波帯域成分の時間エンベロープを算出する。具体的には、第ｋ低周波数帯域時間エンベロープ算出部２ｅ_ｋ（１≦ｋ≦ｎ）は、帯域分割フィルタバンク部２ｃから、低周波数帯域の信号Ｘ（ｊ，ｉ）｛０≦ｊ＜ｋ_ｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を受け取り、上述した音声復号装置１の第ｋ低周波数帯域時間エンベロープ算出部１ｆ_ｋ（ただし、１≦ｋ≦ｎ）の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）の算出方法に従い、低周波数帯域の第ｋ番目の時間エンベロープＬ（ｋ、ｉ）｛ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を算出する。

時間エンベロープ情報算出部２ｆは、帯域分割フィルタバンク部２ｃから、高周波数帯域の信号Ｘ（ｊ，ｉ）｛ｋ_ｘ≦ｊ＜Ｎ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を、また、第ｋ低周波数帯域時間エンベロープ算出部２ｅ_ｋ（１≦ｋ≦ｎ）からは、時間エンベロープＬ（ｋ、ｉ）｛ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を受け取り、信号Ｘ（ｊ，ｉ）の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する。上記時間エンベロープ情報は、上述した音声復号装置１側で、上記時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）が与えられた際に、高周波数帯域の参照時間エンベロープの近似を復元できる情報である。

具体的には、上記時間エンベロープ情報の算出は次のようにして行われる。まず、電力の時間エンベロープが下記式により算出される。

次に、上記高周波数帯域の第ｌ（１≦ｌ≦ｎ_Ｈ）番目の周波数帯域の参照時間エンベロープを、Ｈ（ｌ、ｉ）｛ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）｝と表すことにすると、参照時間エンベロープＨ（ｌ、ｉ）は、下記式；

又は、下記式；

によって算出される。

なお、上述した低周波数帯域の時間エンベロープと同様に、Ｈ(ｌ，ｉ)に対して所定の処理（例えば平滑化）を施して、高周波数帯域の参照時間エンベロープとしてもよい。また、高周波数帯域の参照時間エンベロープは、高周波数帯域の信号の信号電力または信号振幅の時間変動を表すパラメータであればよく、上記の算出方法に限定されない。上記参照時間エンベロープＨ（ｌ，ｉ）の上記時間エンベロープＬ（ｋ，ｉ）による近似をｇ（ｌ，ｉ）と表すと、上記ｇ（ｌ，ｉ）の形態は、音声復号装置１におけるｇ_ｄｅｃ（ｌ，ｉ）の形態に従う。ここで、上記時間エンベロープＬ（ｋ，ｉ）を、音声復号装置１側の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）に対応させた。

例えば、時間エンベロープ情報は、上記参照時間エンベロープＨ（ｌ，ｉ）に対する上記ｇ（ｌ，ｉ）の誤差を定義し、その誤差を最小にするｇ（ｌ，ｉ）を求めることで算出できる。すなわち、誤差を時間エンベロープ情報の関数として捉え、その誤差の最小値を与える時間エンベロープ情報を探索して算出すればよい。当該時間エンベロープ情報の算出は、数値的に行ってもかまわない。また、数式を用いて計算してもよい。

さらに詳細には、参照時間エンベロープＨ（ｌ，ｉ）に対する上記ｇ（ｌ，ｉ）の誤差は、下記式；

によって計算される。また、この誤差は、下記式を利用して重みつき誤差として計算されてもよい。

さらには、誤差は下記式によって計算されてもよい。

ここで、重みｗ(ｌ，ｉ)は時間インデックスｉにより変化する重みとしても、あるいは、周波数インデックスｌにより変化する重みとしても定義してよく、さらに時間インデックスｉ及び周波数インデックスｌにより変化する重みとして定義してもよい。なお、本実施形態においては、上記誤差の形態、および、上記例にある重みの形態には限定されない。

量子化/符号化部２ｇは、時間エンベロープ情報算出部２ｆから時間エンベロープ情報を受け取り、時間エンベロープ情報の量子化・符号化を行い、高周波数帯域生成用補助情報算出部２ｄからは高周波数帯域生成用補助情報を受け取り高周波数帯域生成用補助情報を符号化する。

このような時間エンベロープ情報の量子化・符号化方法としては、例えば、当該情報が係数Ａ_ｌ，ｋ（ｓ）の形態である場合、上記Ａ_ｌ，ｋ(ｓ)をスカラ量子化した後、エントロピー符号化してもよい。さらには、Ａ_ｌ，ｋ(ｓ)を所定の符号帳を用いてベクトル量子化し、そのインデックスを符号としてもよい。なお、本実施形態においては、時間エンベロープ情報の量子化・符号化方法は上記に限定されない。

高周波数帯域符号化系列構成部２ｈは、量子化/符号化部２ｇから符号化された高周波数帯域生成用補助情報と量子化された時間エンベロープ情報とを受け取り、それらを含む高周波数帯域符号化系列を構成する。

多重化部２ｉは、低周波数帯域符号化部２ｂから低周波数帯域符号化系列を、高周波数帯域符号化系列構成部２ｈから高周波数帯域符号化系列を受け取り、２つの符号化系列を多重化することによって符号化系列を生成し、生成した符号化系列を出力する。

以下、図４を参照して、音声符号化装置２の動作について説明するとともに、併せて音声符号化装置２における音声符号化方法について詳述する。

まず、入力された音声信号が帯域分割フィルタバンク部２ｃによって分析されることにより、周波数領域の全周波数帯域の信号Ｘ（ｊ，ｉ）が取得される（ステップＳ１１）。次に、ダウンサンプリング部２ａにより外部からの入力音声信号が処理されて、ダウンサンプルされた時間領域信号が取得される（ステップＳ１２）。その後、低周波数帯域符号化部２ｂにより、ダウンサンプルされた時間領域信号が符号化されて、低周波数帯域符号化系列が得られる（ステップＳ１３）。

さらに、高周波数帯域生成用補助情報算出部２ｄにより、帯域分割フィルタバンク部２ｃから取得された周波数領域の信号Ｘ（ｊ，ｉ）が分析され、高周波数帯域の信号成分を生成する際に用いる高周波数帯域生成用補助情報が算出される（ステップＳ１４）。そして、第１〜第ｎ低周波数帯域時間エンベロープ算出部２ｅ_１〜２ｅ_ｎにより、低周波数帯域の信号Ｘ（ｊ，ｉ）を基に、低周波数帯域の複数の時間エンベロープＬ（ｋ、ｉ）が算出される（ステップＳ１５）。その後、時間エンベロープ情報算出部２ｆにより、高周波数帯域の信号Ｘ（ｊ，ｉ）、及び低周波数帯域の複数の時間エンベロープＬ（ｋ、ｉ）を基に、信号Ｘ（ｊ，ｉ）の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報が算出される（ステップＳ１６）。次に、量子化/符号化部２ｇにより、時間エンベロープ情報が量子化・符号化されるとともに、高周波数帯域生成用補助情報が符号化される（ステップＳ１７）。

さらに、高周波数帯域符号化系列構成部２ｈにより、符号化された高周波数帯域生成用補助情報と量子化された時間エンベロープ情報とを含む高周波数帯域符号化系列が構成される（ステップＳ１８）。そして、多重化部２ｉにより、低周波数帯域符号化系列と高周波数帯域符号化系列を多重化することによって符号化系列が生成され、生成された符号化系列が出力される（ステップＳ１９）。

以上説明した音声復号装置１、復号方法、或いは復号プログラムによれば、符号化系列から非多重化及び復号されて低周波数帯域信号が得られ、符号化系列から非多重化、復号、及び逆量子化されて高周波数帯域生成用補助情報及び時間エンベロープ情報が得られる。そして、高周波数帯域生成用補助情報を用いて周波数領域に変換された低周波数帯域信号Ｘ_ｄｅｃ（ｊ，ｉ）から周波数領域の高周波数帯域成分Ｘ_ｄｅｃ（ｊ，ｉ）が生成される一方で、周波数領域の低周波数帯域信号Ｘ_ｄｅｃ（ｊ，ｉ）を分析して複数の低周波数帯域の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）が取得された後に、その複数の低周波数帯域の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）と、時間エンベロープ情報とを用いて、高周波数帯域の時間エンベロープＥ_Ｔ（ｌ，ｉ）が算出される。さらに、算出された高周波数帯域の時間エンベロープＥ_Ｔ（ｌ，ｉ）によって高周波数帯域成分Ｘ_Ｈ（ｊ，ｉ）の時間エンベロープが調整され、調整された高周波数帯域成分と低周波数帯域信号が加算されて時間領域信号が出力される。このように、高周波数帯域成分Ｘ_Ｈ（ｊ，ｉ）の時間エンベロープの調整用に複数の低周波数帯域の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）が用いられるので、低周波数帯域成分の時間エンベロープと高周波数帯域成分の時間エンベロープとの相関を利用して高い精度で高周波数帯域成分の時間エンベロープの波形が調整される。その結果、復号信号における時間エンベロープが歪の少ない形状に調整され、プリエコーおよびポストエコーの十分に改善された再生信号を得ることができる。

また、上述した音声符号化装置２、符号化方法、或いは符号化プログラムによれば、音声信号がダウンサンプリングされて低周波数帯域信号が得られ、その低周波数帯域信号が符号化される一方で、周波数領域の音声信号Ｘ（ｊ，ｉ）を基に低周波数帯域成分の時間エンベロープＬ（ｋ，ｉ）が複数算出され、その複数の低周波数帯域成分の時間エンベロープＬ（ｋ，ｉ）を用いて高周波数帯域成分の時間エンベロープを取得するための時間エンベロープ情報が算出される。さらに、低周波数帯域信号から高周波数帯域成分を生成するための高周波数帯域生成用補助情報が算出され、高周波数帯域生成用補助情報と時間エンベロープ情報とが量子化及び符号化された後に、高周波数帯域生成用補助情報と時間エンベロープ情報とを含む高周波数帯域符号化系列が構成される。そして、低周波数帯域符号化系列及び高周波数帯域符号化系列とが多重化された符号化系列が生成される。これにより、符号化系列が音声復号装置１に入力される際に、音声復号装置１側で高周波数帯域成分の時間エンベロープの調整用に複数の低周波数帯域の時間エンベロープを用いることが可能になり、音声復号装置１側で低周波数帯域成分の時間エンベロープと高周波数帯域成分の時間エンベロープとの相関を利用して高い精度で高周波数帯域成分の時間エンベロープの波形が調整される。その結果、復号信号における時間エンベロープが歪の少ない形状に調整され、復号装置側でプリエコーおよびポストエコーの十分に改善された再生信号を得ることができる。

［第１の実施形態の音声復号装置の第１の変形例］

図５は、第１の実施形態に係る音声復号装置１の第１の変形例におけるエンベロープ算出に関る要部の構成を示す図、図６は、図５の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。

図５に示す音声復号装置１は、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎ及び時間エンベロープ算出部１ｇに加えて、時間エンベロープ算出制御部（時間エンベロープ算出制御手段）１ｋを備える。この時間エンベロープ算出制御部１ｋは、帯域分割フィルタバンク部１ｃから低周波数帯域信号を受け取り、当該フレームにおける低周波数帯域信号の電力を算出し（ステップＳ３１）、算出した低周波数帯域信号の電力を所定の閾値と比較する（ステップＳ３２）。そして、時間エンベロープ算出制御部１ｋは、低周波数帯域信号の電力が所定の閾値よりも大きくない場合（ステップＳ３２；ＮＯ）には、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎには低周波数帯域時間エンベロープ算出制御信号を、時間エンベロープ算出部１ｇには時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎおよび時間エンベロープ算出部１ｇにて時間エンベロープの算出処理をしないように制御する。この場合、高周波数帯域信号の時間エンベロープは、上記時間エンベロープに基づいて調整されず（例えば、上記数式２９においてＥ（ｍ，ｉ）をＥ_ｃｕｒｒ（ｍ，ｉ）とし、上記数式３０の代わりに下記式；

とする）（ステップＳ３６）に、帯域合成フィルタバンク部１ｊに送られる。一方、時間エンベロープ算出制御部１ｋは、低周波数帯域信号の電力が所定の閾値よりも大きい場合には、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎには低周波数帯域時間エンベロープ算出制御信号を、時間エンベロープ算出部１ｇには時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎおよび時間エンベロープ算出部１ｇは時間エンベロープの算出処理を実施するように制御する。この場合、時間エンベロープ調整部１ｉにて上記時間エンベロープに基づいて時間エンベロープが調整された高周波数帯域信号は帯域合成フィルタバンク部１ｊに送られる。

図６を参照して、音声復号装置１の第１の変形例においては、ステップＳ３１〜Ｓ３６に示すエンベロープ算出処理が、図２に示す第１実施形態にかかる音声復号装置１のステップＳ０７〜Ｓ０９の処理に置き換えて実行される。

このような音声復号装置１の第１の変形例により、例えば低周波数帯域信号の電力が小さく、高周波数帯域信号の時間エンベロープ算出に用いられない場合に、ステップＳ０７〜Ｓ０８の処理を省略することにより演算量が削減可能である。

なお、時間エンベロープ算出制御部１ｋは、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて算出される第１〜第ｎ低周波数帯域時間エンベロープに相当する部分の電力を算出してもよく、算出された第１〜第ｎ低周波数帯域時間エンベロープに相当する電力を所定の閾値と比較した結果に基づいて低周波数帯域時間エンベロープ算出制御信号を出力し、上記第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎの処理を省略するか否かを制御してもよい。

この場合、時間エンベロープ算出制御部１ｋは、すべての第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎの処理を省略するように制御した場合には、時間エンベロープ算出部１ｇに時間エンベロープ算出制御信号を出力して時間エンベロープ算出処理を省略するように制御する。また、時間エンベロープ算出制御部１ｋは、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎのうち少なくとも１つ以上が低周波数帯域時間エンベロープの算出処理を実施するように制御される場合には、時間エンベロープ算出部１ｇに時間エンベロープ算出制御信号を出力して時間エンベロープ算出処理を実施するように制御する。

［第１の実施形態の音声復号装置の第２の変形例］

図７は、第１実施形態に係る音声復号装置１の第２の変形例におけるエンベロープ算出に関る要部の構成を示す図、図８は、図７の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。

図７に示す音声復号装置１は、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎ及び時間エンベロープ算出部１ｇに加えて、時間エンベロープ算出制御部（時間エンベロープ算出制御手段）１ｍを備える。この時間エンベロープ算出制御部１ｍは、符号化系列復号/逆量子化部１ｅから受け取った時間エンベロープ情報に基づいて、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎに低周波数帯域時間エンベロープ算出制御信号を出力することによって、第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎでの低周波数帯域時間エンベロープ算出処理の実施を制御する。

詳細には、音声復号装置１の第２の変形例においては、図８に示すステップＳ４１〜Ｓ４８のエンベロープ算出処理が、図２に示す第１実施形態にかかる音声復号装置１のステップＳ０７〜Ｓ０９の処理に置き換えて実行される。

まず、時間エンベロープ算出制御部１ｍにより、カウント値countが０に設定される（ステップＳ４１）。次に、時間エンベロープ算出制御部１ｍにより、符号化系列復号/逆量子化部１ｅから受け取った時間エンベロープ情報に含まれる係数Ａ_{ｌ，ｃｏｕｎｔ＋１}（ｓ）が０か否かが判定される（ステップＳ４２）。

判定の結果、係数Ａ_{ｌ，ｃｏｕｎｔ＋１}（ｓ）が０の場合は（ステップＳ４２；ＮＯ）、時間エンベロープ算出制御部１ｍにより、第count番目の低周波数帯域時間エンベロープ算出部１ｆ_{ｃｏｕｎｔ}に低周波数帯域時間エンベロープ算出制御信号を出力して低周波数帯域時間エンベロープ算出部１ｆ_{ｃｏｕｎｔ}での低周波数帯域時間エンベロープ算出処理を実施しないように制御し、ステップＳ４４の処理に移る。一方、係数Ａ_{ｌ，ｃｏｕｎｔ＋１}（ｓ）が０でないと判定された場合には（ステップＳ４２；ＹＥＳ）、第count番目の低周波数帯域時間エンベロープ算出部１ｆ_{ｃｏｕｎｔ}に低周波数帯域時間エンベロープ算出制御信号を出力して低周波数帯域時間エンベロープ算出部１ｆ_{ｃｏｕｎｔ}での低周波数帯域時間エンベロープ算出処理を実施するように制御する。これにより、低周波数帯域時間エンベロープ算出部１ｆ_{ｃｏｕｎｔ}により、低周波数帯域時間エンベロープが算出される（ステップＳ４３）。

さらに、時間エンベロープ算出制御部１ｍにより、カウント値countを1増分された（ステップＳ４４）後に、カウント値countと低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎの個数ｎとが比較される（ステップＳ４５）。比較の結果、カウント値countが個数ｎよりも小さい場合（ステップＳ４５；ＹＥＳ）には、ステップＳ４２の処理に戻り、時間エンベロープ情報に含まれる次の係数Ａ_{ｌ，ｃｏｕｎｔ}（ｓ）の判定が繰り返される。一方、カウント値countが個数ｎ以上の場合（ステップＳ４５；ＮＯ）には、ステップＳ４６の処理に移される。 そして、時間エンベロープ算出制御部１ｍにより、１つ以上の低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて低周波数帯域時間エンベロープの算出処理が実施されたか否かが判定される（ステップＳ４６）。判定の結果、すべての低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて低周波数帯域時間エンベロープの算出処理が実施されていない場合（ステップＳ４６；ＮＯ）には、時間エンベロープ算出部１ｇに時間エンベロープ算出制御信号を出力して時間エンベロープ算出処理を省略するように制御する。この場合は、ステップＳ４７〜Ｓ４８の処理にかわりステップＳ４９を実施し、ステップＳ１０の処理（図２）に移される。これに対して、１つ以上の低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて低周波数帯域時間エンベロープの算出処理が実施された場合（ステップＳ４６；ＹＥＳ）は、時間エンベロープ算出部１ｇにて時間エンベロープの算出処理が実施される（ステップＳ４７）。次いで、時間エンベロープ調整部１ｉによって、高周波数帯域信号の時間エンベロープ調整処理が実施される（ステップＳ４８）。その後、帯域合成フィルタバンク部１ｊによって、出力信号の合成処理が実施される。

このような音声復号装置１の第２の変形例により、符号化系列から得られた時間エンベロープ情報を基に一部の処理が不要な場合に、ステップＳ０７〜Ｓ０８のいずれかの処理を省略することにより、演算量が削減可能である。

［第１の実施形態の音声復号装置の第３の変形例］

図９は、第１実施形態に係る音声復号装置１の第３の変形例におけるエンベロープ算出に関る要部の構成を示す図、図１０は、図９の音声復号装置１によるエンベロープ算出の手順を示すフローチャートである。

図９に示す音声復号装置１は、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎ及び時間エンベロープ算出部１ｇに加えて、時間エンベロープ算出制御部（時間エンベロープ算出制御手段）１ｎを備える。この時間エンベロープ算出制御部１ｎは、符号化系列解析部１ｄより時間エンベロープ算出制御情報を受け取る。本変形例においては、時間エンベロープ算出制御情報には、当該フレームにおいて時間エンベロープ算出処理を実施するか否かが記述されている。時間エンベロープ算出制御情報の記述内容を読み取るに際し復号/逆量子化処理が必要な場合は、符号化系列復号/逆量子化部１ｅにより復号逆量子化処理が実施される。また、時間エンベロープ算出制御部１ｎは、時間エンベロープ算出制御情報を参照することにより、当該フレームにおいて時間エンベロープ算出処理を実施するか否かを決定する。そして、時間エンベロープ算出制御部１ｎは、時間エンベロープ算出処理を実施しないと決定した場合、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎには低周波数帯域時間エンベロープ算出制御信号を、時間エンベロープ算出部１ｇには時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎおよび時間エンベロープ算出部１ｇにて時間エンベロープの算出処理を行わないように制御する。この場合、高周波数帯域信号は、時間エンベロープを上記時間エンベロープに基づいて調整されずに、帯域合成フィルタバンク部１ｊに送られる。その一方で、時間エンベロープ算出制御部１ｎは、時間エンベロープ算出処理を実施すると決定した場合、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎには低周波数帯域時間エンベロープ算出制御信号を、時間エンベロープ算出部１ｇには時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎおよび時間エンベロープ算出部１ｇにて時間エンベロープの算出処理が行われるように制御する。この場合、時間エンベロープ調整部１ｉにて時間エンベロープが調整された高周波数帯域信号が帯域合成フィルタバンク部１ｊに送られる。

図１０を参照して、音声復号装置１の第３の変形例においては、ステップＳ５１〜Ｓ５４に示すエンベロープ算出処理が、図２に示す第１実施形態にかかる音声復号装置１のステップＳ０７〜Ｓ０９の処理に置き換えて実行される。

このような音声復号装置１の第３の変形例によっても、符号化装置側からの制御情報を基にしてステップＳ０７〜Ｓ０８の処理を省略することにより、演算量が削減可能である。

［第１の実施形態の音声復号装置の第４の変形例］

図１１は、第１実施形態に係る音声復号装置１の第４の変形例によるエンベロープ算出の手順を示すフローチャートである。なお、この音声復号装置１の第４の変形例の構成は、図９に示す構成と同様である。

この第４の変形例では、図１１に示すステップＳ６１〜Ｓ６４に示すエンベロープ算出処理が、図２に示す第１実施形態にかかる音声復号装置１のステップＳ０７〜Ｓ０９の処理に置き換えて実行される。

すなわち、時間エンベロープ算出制御情報には、当該フレームにおいて、第１〜ｎ低周波数帯域時間エンベロープのうち時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープが記述されている。ここで、時間エンベロープ算出制御情報の記述内容を読み取るに際し復号/逆量子化処理が必要な場合は、符号化系列復号/逆量子化部１ｅにより復号逆量子化処理が実施される。そして、時間エンベロープ算出制御部１ｎにより、時間エンベロープ算出制御情報に基づき、当該フレームにおいて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープが選択される（ステップＳ６１）。

次に、時間エンベロープ算出制御部１ｎにより、第1〜ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎに対して低周波数帯域時間エンベロープ算出制御信号が出力される。これにより、上記選択処理にて選択された低周波数帯域時間エンベロープに相当する低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎによって低周波数帯域時間エンベロープが算出されるように制御され、上記選択処理にて選択されなかった低周波数帯域時間エンベロープに相当する低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎによって低周波数帯域時間エンベロープが算出されないように制御される（ステップＳ６２）。

その後、時間エンベロープ算出制御部１ｎにより、時間エンベロープ算出部１ｇに対して時間エンベロープ算出制御信号が出力され、選択された低周波数帯域時間エンベロープのみを用いて、時間エンベロープを算出するように制御される（ステップＳ６３）。さらに、時間エンベロープ調整部１ｉによって、算出された時間エンベロープを用いて、高周波数帯域生成部１ｈにて生成された高周波数帯域信号の時間エンベロープが調整される（ステップＳ６４）。

また、上記選択処理にて、いずれの低周波数帯域時間エンベロープも選択されない場合には、上記ステップＳ６２〜Ｓ６３をスキップし、高周波数帯域信号は、時間エンベロープを上記時間エンベロープに基づいて調整されず（図６のステップＳ３６）に、帯域合成フィルタバンク部１ｊに送られてもよい。

このような音声復号装置１の第４の変形例によっても、符号化装置側からの制御情報を基にしてステップＳ０７〜Ｓ０８の処理を省略することにより、演算量が削減可能である。

［第１の実施形態の音声復号装置の第５の変形例］

図１２は、第１実施形態に係る音声復号装置１の第５の変形例によるエンベロープ算出の手順を示すフローチャートである。なお、この音声復号装置１の第５の変形例の構成は、図９に示す構成と同様である。

この第５の変形例では、図１２に示すステップＳ７１〜Ｓ７５に示すエンベロープ算出処理が、図２に示す第１実施形態にかかる音声復号装置１のステップＳ０７〜Ｓ０９の処理に置き換えて実行される。

すなわち、時間エンベロープ算出制御情報には、当該フレームにおいて、第１〜ｎ低周波数帯域時間エンベロープの算出方法が記述されている。時間エンベロープ算出制御情報の記述内容を読み取るに際し復号/逆量子化処理が必要な場合は、符号化系列復号/逆量子化部１ｅにより復号逆量子化処理が実施される。時間エンベロープ算出制御情報に記述されている第１〜ｎ低周波数帯域時間エンベロープの算出方法は、例えば副周波数帯域を表す配列Ｂ_ｌとＢ_ｈの設定に関する内容であってもよく、このような時間エンベロープ算出制御情報に基づき副周波数帯域の周波数範囲を制御することが可能になる。配列Ｂ_ｌとＢ_ｈの設定に関する内容は、配列Ｂ_ｌとＢ_ｈを設定する整数の組（ｋ_ｌ、ｋ_ｈ）が記述されていてもよく、所定の複数の配列Ｂ_ｌとＢ_ｈの設定内容からいずれかの選択に関する記述でもよい。本変形例において、配列Ｂ_ｌとＢ_ｈの設定に関する内容の記述方法は限定されない。また、時間エンベロープ算出制御情報に記述されている第１〜ｎ低周波数帯域時間エンベロープの算出方法は、上記所定の処理の設定に関する内容（例えば、上記平滑化係数ｓｃ（ｊ）の設定に関する内容）であってもよく、これにより時間エンベロープ算出制御情報に基づき上記所定の処理（例えば、上記平滑化処理）を制御することが可能になる。平滑化係数ｓｃ（ｊ）の設定に関する内容は、平滑化係数ｓｃ（ｊ）の値を量子化・符号化したものでもよく、所定の複数の平滑化係数ｓｃ（ｊ）からいずれかの選択に関する内容でもよい。さらには、平滑化処理をするか否かを記述したものを含んでもよい。本変形例において、上記所定の処理の設定（例えば、上記平滑化係数ｓｃ（ｊ）の設定）に関する内容の記述方法は限定されない。さらには、時間エンベロープ算出制御情報に記述されている第１〜ｎ低周波数帯域時間エンベロープの算出方法は、上記の算出方法のうち少なくとも１つ以上を含んでいてもよい。なお、本変形例において、時間エンベロープ算出制御情報に記述されている第１〜ｎ低周波数帯域時間エンベロープの算出方法は、低周波数帯域時間エンベロープの算出方法に関する内容が記述されていればよく、上記の内容に限定されない。

ステップＳ７１では、時間エンベロープ算出制御部１ｎにより、時間エンベロープ算出制御情報に基づき、当該フレームにおいて低周波数帯域時間エンベロープの算出方法を変更するか否かが決定される。次に、低周波数帯域時間エンベロープの算出方法を変更しない場合（ステップＳ７１；ＮＯ）は、低周波数帯域時間エンベロープの算出方法を変更せずに、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて第１〜ｎの低周波数帯域時間エンベロープが算出される（ステップＳ７３）。一方、低周波数帯域時間エンベロープの算出方法を変更する場合（ステップＳ７１；ＹＥＳ）は、時間エンベロープ算出制御部１ｎにより、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎに対して低周波数帯域時間エンベロープ算出制御信号を出力して低周波数帯域時間エンベロープの算出方法が指示され、低周波数帯域時間エンベロープの算出方法が変更される（ステップＳ７２）。その後、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて、変更された低周波数帯域時間エンベロープ算出方法により、第１〜ｎの低周波数帯域時間エンベロープが算出される（ステップＳ７３）。さらに、時間エンベロープ算出部１ｇにより、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにて算出された第１〜ｎの低周波数帯域時間エンベロープを用いて時間エンベロープが算出される（ステップＳ７４）。そして、時間エンベロープ調整部１ｉにより、時間エンベロープ算出部１ｇにて算出された時間エンベロープを用いて、高周波数帯域生成部１ｈにて生成された高周波数帯域信号の時間エンベロープが調整される（ステップＳ７５）。

このような音声復号装置１の第５の変形例によっても、符号化装置側からの制御情報を基にしてステップＳ０７〜Ｓ０８の処理を細かく制御することにより、さらに精度の高い時間エンベロープの調整が削減可能である。

［第１の実施形態の音声復号装置の第６の変形例］

図１３は、第１実施形態に係る音声復号装置１の第６の変形例におけるエンベロープ算出に関る要部の構成を示す図である。図１３に示す音声復号装置１は、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎ及び時間エンベロープ算出部１ｇに加えて、時間エンベロープ算出制御部（時間エンベロープ算出制御手段）１ｏを備える。この時間エンベロープ算出制御部１ｏは、音声復号装置１の第１〜第５の変形例におけるエンベロープ算出処理のうちのいずれか１つ以上を実行するように構成されている。

［第１の実施形態の音声復号装置の第７の変形例］

図１４は、第１実施形態に係る音声復号装置１の第７の変形例によるエンベロープ算出の手順を示すフローチャートである。なお、この音声復号装置１の第７の変形例の構成は、第１の実施形態に係る音声復号装置１と同様である。図１４のステップＳ２６１〜Ｓ２６２は、上記第1の実施形態にかかる音声復号装置１の処理を示すフローチャート図２におけるステップＳ０８を置き換えるものである。

本変形例においては、時間エンベロープ算出部１ｇは、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎから与えられた低周波数帯域内の時間エンベロープＬ_ｄｅｃ（ｋ，ｉ）｛１≦ｋ≦ｎ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝と、符号化系列復号/逆量子化部１ｅから与えられた、時間エンベロープ情報を用いて、所定の処理（ステップＳ２６１の処理）の後、時間エンベロープを算出する（ステップＳ２６２の処理）。ここで、所定の処理としては、所定の処理、及び、それに係る時間エンベロープの算出としては、以下で示される例がある。

第１の例では、数式１８、数式２１、数式２３、あるいは、数式２４における係数Ａ_ｌ，ｋ（ｓ）を、符号化系列復号/逆量子化部１ｅから別の形態で与えられる時間エンベロープ情報を用いて算出する。例えば、上記係数は下記式により算出される。

０≦ｓ＜ｓ_Ｅ
ここで、α_k(s)、ｋ＝１，２，・・・，Num、０≦ｓ＜ｓ_Ｅは符号化系列復号/逆量子化部１ｅから与えられる時間エンベロープ情報であり、F_lk（ｘ_１，ｘ_２，・・・，ｘ_Num）、１≦ｌ≦ｎ_Ｈ、１≦ｋ≦ｎは、Num個の変数を引数とする所定の関数である。その後、上記の方法で取得された係数Ａ_ｌ，ｋ（ｓ）を用いて、数式１８、数式２１、数式２３、あるいは、数式２４により、時間エンベロープを算出する。

第２の例では、まず、下記式で与えられる量を算出する。

ここで、下記式；

は、所定の係数である。

また、上記ｇ^（０）（ｌ，ｉ）は、所定の係数であってもよく、また、インデックスｌ，ｉについての所定の関数であってもよい。例えば、上記ｇ^（０）（ｌ，ｉ）は下記式によって与えられる関数であってもよい。

ここで、λ、ωは所定の係数である。

続いて、数式１８、数式２１、数式２３、あるいは、数式２４の左辺に対応する量を算出し、これらを改めて、ｇ^（１）（ｌ，ｉ）｛１≦ｌ≦ｎ_Ｈ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝と表す。そして、時間エンベロープは、例えば、下記式によって算出される。

また、時間エンベロープは、下記式により算出されてもよい。

さらに、下記式：

により時間エンベロープが算出されても良い。

また、符号化系列復号/逆量子化部１ｅから時間エンベロープ情報が与えられない場合は、下記式；

により時間エンベロープが算出されてもよい。

本変形例においては、上記ｇ_ｄｅｃ（ｌ，ｉ）の形態は、上記例に限定されない。

なお、本発明においては、所定の処理、および、それに係る時間エンベロープの算出の内容は上記の例には限定されない。

本変形例は、第１の実施形態に係る音声復号装置１の第１〜第６の変形例に以下のような方法で適用してもよい。

第１の実施形態に係る音声復号装置１の第１の変形例に適用する場合は、例えば、図６のステップＳ３４を図１４のステップＳ２６１〜Ｓ２６２で置き換える。ここで、上記所定の処理をあらかじめ複数用意し、低周波数信号の電力の大きさに拠って切り替えても良い。さらには、低周波数信号の電力の大きさに拠って、a)上記所定の処理のみを実施して時間エンベロープを算出する、b)上記所定の処理を実施し、さらに時間エンベロープ情報を用いて時間エンベロープを算出する、c)上記所定の処理は実施せず、時間エンベロープ情報を用いて時間エンベロープを算出する、のうちいずれかを選択してもよい。

図１５は、第１の実施形態に係る音声復号装置１の第２の変形例に適用する場合の、第１の実施形態に係る音声復号装置１の第７の変形例における時間エンベロープ算出制御部１ｍの処理の一部を示すフローチャートである。

第１の実施形態に係る音声復号装置１の第２の変形例に適用する場合は、例えば、図８のステップＳ４２を図１５のステップＳ２７１で、図８のステップＳ４７を図１４のステップＳ２６１〜Ｓ２６２で置き換える。また、所定の処理をあらかじめ複数用意し、時間エンベロープ情報に基づいて、切り替えても良い。さらには、時間エンベロープ情報に拠って、a)上記所定の処理のみを実施して時間エンベロープを算出する、b)上記所定の処理を実施し、さらに時間エンベロープ情報を用いて時間エンベロープを算出する、c)上記所定の処理は実施せず、時間エンベロープ情報を用いて時間エンベロープを算出する、のうちいずれかを選択してもよい。

また、第１の実施形態に係る音声復号装置１の第３の変形例に適用する場合は、図１０のステップＳ５３を図１４のステップＳ２６１〜Ｓ２６２で置き換える。また、所定の処理をあらかじめ複数用意し、時間エンベロープ算出制御情報に基づいて、切り替えても良い。さらには、時間エンベロープ算出制御情報に拠って、a)上記所定の処理のみを実施して時間エンベロープを算出する、b)上記所定の処理を実施し、さらに時間エンベロープ情報を用いて時間エンベロープを算出する、c)上記所定の処理は実施せず、時間エンベロープ情報を用いて時間エンベロープを算出する、のうちいずれかを選択してもよい。

図１６は、第１の実施形態に係る音声復号装置１の第４の変形例に適用する場合の、第１の実施形態に係る音声復号装置１の第７の変形例における時間エンベロープ算出制御部１ｎの処理の一部を示すフローチャートである。

第１の実施形態に係る音声復号装置１の第４の変形例に適用する場合は、図１１のステップＳ６１を図１６のステップＳ２８１で、図１１のステップＳ６３を図１４のステップＳ２６１〜Ｓ２６２で置き換える。図１６のステップＳ２８１において、第１〜ｎ低周波数帯成分の時間エンベロープより算出する低周波数帯成分の時間エンベロープを選択する方法としては、例えば、上記所定の処理の一例におけるA^（０） _ｌ，kがゼロか否かを調査し、A^（０） _ｌ，kが非ゼロであり、さらに時間エンベロープ算出制御情報にて低周波数信号時間エンベロープ算出部１ｆ_ｋにてＬ_ｄｅｃ（ｋ，ｉ）を算出するよう指示されている場合には、低周波数信号時間エンベロープ算出部１ｆ_ｋはＬ_ｄｅｃ（ｋ，ｉ）を算出するというようにしてもよい。

第１の実施形態に係る音声復号装置１の第５の変形例に適用する場合は、図１２のステップＳ７４を図１４のステップＳ２６１〜Ｓ２６２で置き換える。ここで、低周波数帯成分の時間エンベロープ算出方法を変更した場合は、それに合わせて、所定の処理方法を変更してもよい。

また、第１の実施形態に係る音声復号装置１の第６の変形例への適用は、上記第１〜第５の変形例への適用方法に従う。

なお、図１４では、所定の処理の後に時間エンベロープを算出する流れが示されているが、時間エンベロープを算出した後に所定の処理をしてもよい。例えば、算出済みの時間エンベロープに、平滑化等の所定の処理を施しても良い。さらには、所定の処理の後、時間エンベロープを算出し、更にその時間エンベロープに対し別の所定の処理を施しても良い。

［第１の実施形態の音声符号化装置の第１の変形例］

図１７は、第１の実施形態に係る音声符号化装置２の第１の変形例の構成を示す図、図１８は、図１７の音声符号化装置２による音声符号化の手順を示すフローチャートである。

図１７に示す音声符号化装置２は、第１の実施形態に係る音声符号化装置２に対して、時間エンベロープ算出制御情報生成部（制御情報生成手段）２ｊがさらに追加されている。

この時間エンベロープ算出制御情報生成部２ｊは、帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）、及び時間エンベロープ情報算出部２ｆから受け取る時間エンベロープ情報のうち少なくとも１つ以上を用いて時間エンベロープ算出制御情報を生成する。生成される時間エンベロープ算出制御情報は、第１の実施形態に係る音声復号装置１の第３〜第７の変形例における時間エンベロープ算出制御情報のうちのいずれかであればよい。

ここで、時間エンベロープ算出制御情報生成部２ｊは、例えば、帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）のうち低周波数帯域信号に相当する周波数帯域の信号電力を算出し、算出した信号電力に応じて音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。

また、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）のうち高周波数帯域信号に相当する周波数帯域の信号電力を算出して、算出した信号電力に応じて音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。

さらには、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）のうち全周波数帯域信号に相当する周波数帯域（すなわち低周波数帯域信号に相当する周波数帯域と高周波数信号に相当する周波数帯域）の信号電力を算出して、算出した信号電力に応じて復号装置にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。

さらには、時間エンベロープ算出制御情報生成部２ｊは、第１〜第ｎ低周波数帯域時間エンベロープ算出部２ｅ_１〜２ｅ_ｎにて算出される第１〜第ｎ低周波数帯域時間エンベロープに相当する部分の電力を算出して、算出した信号電力に応じて音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。

また、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）のうち低周波数帯域信号に相当する周波数帯域の信号電力を算出し、算出した信号電力に応じて音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

本変形例においては、算出する信号電力の周波数帯域は限定されず、算出された信号電力に応じて生成される時間エンベロープ算出制御情報は上記第１の実施形態に係る音声復号装置１の第３〜第７の変形例における時間エンベロープ算出制御情報のうちのいずれか１つ以上であればよい。

さらには、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）の信号特性を検出/測定し、信号特性に応じて、音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。

また、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）の信号特性に応じて、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。

さらには、時間エンベロープ算出制御情報生成部２ｊは、周波数領域の信号Ｘ（ｊ，ｉ）の信号特性に応じて、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

なお、時間エンベロープ算出制御情報生成部２ｊで検出/測定される信号特性は、信号の立上り/立下りの急峻さに関する特性であってもよい。さらには、信号の定常性に関する特性であってもよい。さらには、信号のトーン性の強さに関する特性であってもよい。さらには上記の特性のうち少なくとも１つ以上であってもよい。

本変形例においては、検出/測定される信号特性は限定されず、検出/測定された信号特性に応じて生成される時間エンベロープ算出制御情報は第１の実施形態に係る音声復号装置１の第３〜第６の変形例における時間エンベロープ算出制御情報のうちのいずれか１つ以上であればよい。

また、時間エンベロープ算出制御情報生成部２ｊは、例えば時間エンベロープ情報算出部２ｆから受け取る上記時間エンベロープ情報Ａ_ｌ，ｋ（ｓ）（１≦ｌ≦ｎ_Ｈ，１≦ｋ≦ｎ，０≦ｓ＜ｓ_Ｅ）の値に応じて音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。さらには、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

本変形例においては、時間エンベロープ情報に応じて生成される時間エンベロープ算出制御情報は第１の実施形態に係る音声復号装置１の第３〜第６の変形例における時間エンベロープ算出制御情報のうちのいずれか１つ以上であればよい。

また、時間エンベロープ算出制御情報生成部２ｊは、例えば、帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）、及び量子化/符号化部２ｇから受け取る高周波数帯域生成用補助情報の符号化系列を用いて音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

より具体的には、時間エンベロープ算出制御情報生成部２ｊは、例えば、量子化/符号化部２ｇから受け取る高周波数帯域生成用補助情報の符号化系列を復号/逆量子化して局所復号高周波数帯域生成用補助情報を取得した後、当該局所復号高周波数帯域生成用補助情報、及び周波数領域の信号Ｘ（ｊ，ｉ）を用いて、擬似局所復号高周波数帯域信号を生成する。擬似局所復号高周波数帯域信号は、第１の実施形態に係る音声復号装置１の高周波数帯域生成部１ｈと同一の処理を実施することで生成可能である。生成された擬似局所復号高周波数帯域信号と、周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域とを比較し、比較結果に基づいて時間エンベロープ算出制御情報を生成する。

ここで、擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域との比較は、当該両信号の差分信号を算出し、当該差分信号の電力の大きさに基づいてもよい。さらには、擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域の時間エンベロープを算出し、当該時間エンベロープの差分、または差分の大きさの少なくとも１つに基づいてもよい。

また、時間エンベロープ算出制御情報生成部２ｊは、例えば帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）、時間エンベロープ情報算出部２ｆより受け取る時間エンベロープ情報、及び量子化/符号化部２ｇから受け取る高周波数帯域生成用補助情報の符号化系列を用いて音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

より具体的には、時間エンベロープ算出制御情報生成部２ｊは、擬似局所復号高周波数帯域信号を生成した後、時間エンベロープ情報算出部２ｆより受け取る時間エンベロープ情報を用いて当該擬似局所復号高周波数帯域信号の時間エンベロープを調整し、当該時間エンベロープを調整した擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域とを比較し、比較結果に基づいて時間エンベロープ算出制御情報を生成する。

また、時間エンベロープを調整した擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域との比較は、擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域との比較と同様にして実施できる。

また、第１の実施形態に係る音声符号化装置２の時間エンベロープ情報算出部２ｆにおいて、擬似局所復号高周波数帯域信号を用いて時間エンベロープ情報を算出してもよい。より具体的には、時間エンベロープ情報算出部２ｆにはさらに量子化/符号化部２ｇから受け取る高周波数帯域生成用補助情報の符号化系列が入力され、当該高周波数帯域生成用補助情報の符号化系列を復号/逆量子化して局所復号高周波数帯域生成用補助情報が取得された後、当該局所復号高周波数帯域生成用補助情報、及び周波数領域の信号Ｘ（ｊ，ｉ）を用いて、擬似局所復号高周波数帯域信号が生成される。

例えば、時間エンベロープ情報算出部２ｆは、時間エンベロープ情報より算出した時間エンベロープを用いて擬似局所復号高周波数帯域信号の時間エンベロープを調整した際に、周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域に最も近づけることができる時間エンベロープ情報を、算出された時間エンベロープ情報として出力してもよい。ここで、周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域に近いか否かの判断は、時間エンベロープを調整した擬似局所復号高周波数帯域信号と周波数領域の信号Ｘ（ｊ，ｉ）の高周波数帯域信号に相当する周波数帯域との差分信号に基づいてもよく、さらには当該両信号の時間エンベロープを算出し、その時間エンベロープの誤差に基づいてもよい。

また、時間エンベロープ算出制御情報生成部２ｊは、例えば、量子化/符号化部２ｇから受け取る時間エンベロープ情報の符号化に要した情報量（より具体的にはビット数）に応じて、音声復号装置１にて時間エンベロープ算出処理を実施するか否かの時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成してもよい。

より具体的には、時間エンベロープ算出制御情報生成部２ｊは、例えば、量子化/符号化部２ｇから受け取る時間エンベロープ情報の符号化に要した情報量（より具体的にはビット数）が所定の閾値と等しい、または閾値よりも小さい場合は、音声復号装置１にて時間エンベロープ算出処理を実施するよう指示する時間エンベロープ算出制御情報を生成する。一方、時間エンベロープ算出制御情報生成部２ｊは、時間エンベロープ情報の符号化に要した情報量が閾値よりも大きい場合には、音声復号装置１にて時間エンベロープ算出処理を実施しないよう指示する時間エンベロープ算出制御情報を生成する。

さらには、時間エンベロープ情報の符号化に要した情報量が所定の閾値と等しい、または閾値よりも小さくなるように、音声復号装置１にて時間エンベロープ算出処理に用いる低周波数帯域時間エンベロープの選択に関する時間エンベロープ算出制御情報を生成してもよい。この際、時間エンベロープ情報の符号化に要した情報量と閾値の比較結果を時間エンベロープ情報算出部２ｆに通知し、時間エンベロープ情報算出部２ｆは通知された比較結果に応じて時間エンベロープ情報を算出しなおしても良い。なお、時間エンベロープ情報を算出しなおした場合は、量子化/符号化部２ｇは算出しなおされた時間エンベロープ情報を、符号化/量子化する。ここで、時間エンベロープ情報の算出しなおす回数は限定されない。

本変形例においては、時間エンベロープ情報の符号化に要した情報量に基づいて時間エンベロープ算出制御情報を算出すればよく、生成される時間エンベロープ算出制御情報は第１の実施形態に係る音声復号装置１の第３〜第６の変形例における時間エンベロープ算出制御情報のうちのいずれか１つ以上であればよい。

上述のようにして時間エンベロープ算出制御情報生成部２ｊによって生成された時間エンベロープ算出制御情報は、高周波数帯域符号化系列構成部２ｈによって高周波数帯域符号化系列にさらに加えられて高周波数帯域符号化系列が構成される。

［第１の実施形態の音声符号化装置の第２の変形例］

図１９は、第１の実施形態に係る音声符号化装置２の第２の変形例の構成を示す図、図２０は、図１９の音声符号化装置２による音声符号化の手順を示すフローチャートである。

図１９に示す音声符号化装置２は、第１の実施形態に係る音声符号化装置２に対して、低周波数帯域復号部２ｋがさらに追加されている。

この低周波数帯域復号部２ｋは、低周波数帯域符号化部２ｂから低周波数帯域符号化系列を受け取り、低周波数帯域符号化系列を復号逆量子化して局所復号低周波数信号を取得する。なお、低周波数帯域符号化部２ｂから量子化した低周波数帯域信号を取得可能な場合は、低周波数帯域復号部２ｋは量子化した低周波数帯域信号を逆量子化して局所復号低周波数信号を取得してもよい。これに対して、低周波数帯域時間エンベロープ算出部２ｅ_１〜２ｅ_ｎにより、低周波数帯域復号部２ｋにて取得した局所復号低周波数信号を用いて、第１〜第ｎの低周波数帯域時間エンベロープが算出される。

なお、当該第１の実施形態に係る音声符号化装置２の第２の変形例は、第１の実施形態に係る音声符号化装置２の第１の変形例にも適用できる。

［第１の実施形態の音声符号化装置の第３の変形例］

図２１は、第１の実施形態に係る音声符号化装置２の第３の変形例の構成を示す図、図２２は、図２１の音声符号化装置２による音声符号化の手順を示すフローチャートである。

図２１に示す音声符号化装置２は、第１の実施形態に係る音声符号化装置２に対して、ダウンサンプリング部２ａに代えて帯域合成フィルタバンク部２ｍを備える点が異なっている。

この帯域合成フィルタバンク部２ｍは、帯域分割フィルタバンク部２ｃから周波数領域の信号Ｘ（ｊ，ｉ）を受け取り、低周波数帯域信号に相当する周波数帯域について帯域合成してダウンサンプル信号を取得する。帯域合成によるダウンサンプル信号の取得は、例えば“ISO/IEC 14496-3”に規定される“MPEG4 AAC”のSBRにおけるダウンサンプルドシンセシスフィルタバンク（Downsampledsynthesis filterbank）の方法に従って行うことができる（“ISO/IEC 14496-3 subpart 4 General Audio Coding”）。

なお、当該第１の実施形態に係る音声符号化装置２の第３の変形例は、第１の実施形態に係る音声符号化装置２の第１〜第２の変形例にも適用できる。

第１の実施形態に係る音声符号化装置２の第４の変形例は、前記第１の実施形態係る音声符号化装置２の時間エンベロープ情報算出部２ｆにおいてｇ（ｌ，ｉ）を算出する際に、上記第１の実施形態に係る音声復号装置１の第７の変形例に対応する所定の処理を実施する。なお、第１の実施形態に係る音声復号装置１の第７の変形例と同様に、所定の処理を実施した後に低周波数帯域の時間エンベロープを用いてｇ（ｌ，ｉ）を算出してもよく、低周波数帯域の時間エンベロープを用いてｇ（ｌ，ｉ）を算出した後に所定の処理を実施してｇ（ｌ，ｉ）を算出してもよい。

なお、当該第１の実施形態に係る音声符号化装置２の第４の変形例は、第１の実施形態に係る音声符号化装置２の第１〜第３の変形例にも適用できる。

当該第１の実施形態に係る音声符号化装置２の第４の変形例を、第１の実施形態に係る音声符号化装置２の第１の変形例に適用する際には、上記Ｈ（ｌ，ｉ）に対するｇ（ｌ，ｉ）の誤差に基づいて、上記時間エンベロープ情報算出制御情報に、上記第１の実施形態に係る音声復号装置１において上記所定の処理を実施するか否かの情報を含んでもよい。

［第２実施形態］

次に、本発明の第２実施形態について説明する。

図２３は、第２の実施形態に係る音声復号装置１０１の構成を示す図、図２４は、図２３の音声復号装置１０１による音声復号の手順を示すフローチャートである。図２３に示す音声復号装置１０１の第１の実施形態に係る音声復号装置１との相違点は、周波数エンベロープ重畳部（周波数エンベロープ重畳手段）１ｑがさらに追加されている点と、時間エンベロープ調整部１ｉの代わりに時間/周波数エンベロープ調整部（時間周波数エンベロープ調整手段）１ｐが備えられている点である（１ｃ〜１ｅ、１ｈ、１ｊ、及び１ｐは帯域拡張部（帯域拡張手段）と呼ぶこともある。）。

符号化系列解析部１ｄは、非多重化部１ａから与えられた高周波数帯域符号化系列を解析し、符号化された高周波数帯域生成用補助情報と、量子化された時間/周波数エンベロープ情報を取得する。

符号化系列復号/逆量子化部１ｅは、符号化系列解析部１ｄから与えられた符号化された高周波数帯域生成用補助情報を復号し、高周波数帯域生成用補助情報を得ると共に、符号化系列解析部１ｄから与えられた量子化された時間/周波数エンベロープ情報を逆量子化し時間/周波数エンベロープ情報を取得する。

周波数エンベロープ重畳部１ｑは、時間エンベロープ算出部１ｇからは時間エンベロープＥ_Ｔ（ｌ，ｉ）を、符号化系列復号/逆量子化部１ｅからは周波数エンベロープ情報を受け取る。そして、周波数エンベロープ重畳部１ｑは、周波数エンベロープ情報から周波数エンベロープを算出し、周波数エンベロープを時間エンベロープに重畳する。詳細には、例えば、周波数エンベロープ重畳部１ｑは以下のような手順で処理する。

まず、周波数エンベロープ重畳部１ｑは、時間エンベロープを下記式により変換する。

次に、周波数エンベロープ重畳部１ｑは、高周波数帯域をｍ_Ｈ（ｍ_Ｈ≧１）個の副周波数帯に分割する。ここで、これらの副周波数帯をＢ^（Ｆ） _ｋ（ｋ＝１，２，３，・・・，ｍ_Ｈ）と表記する。また、以下では、記述の簡単化のため、副周波数帯Ｂ^（Ｆ） _ｋ（１≦ｋ≦ｍ_Ｈ）の境界を表すｍ_Ｈ＋１個のインデックスを要素とする配列Ｇ_Ｈを、信号Ｘ_Ｈ（ｊ，ｉ）、Ｇ_Ｈ（ｋ）≦ｊ＜Ｇ_Ｈ（ｋ＋１）、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅが、副周波数帯Ｂ^（Ｆ） _ｋの成分に対応するように定義する。ただし、Ｇ_Ｈ（１）＝ｋ_ｘ、Ｇ_Ｈ（ｍ_Ｈ＋１）＝ｋ_ｍａｘ＋１である。

続いて、周波数エンベロープ重畳部１ｑは、周波数エンベロープを次の数式により算出する。

ここで、上記ｓｆ_ｄｅｃ（ｋ，ｓ）（ただし、１≦ｋ≦ｍ_Ｈ、０≦ｓ＜ｓ_Ｅ）は、副周波数帯Ｂ^（Ｆ） _ｋに対応するスケールファクタである。

なお、上記周波数エンベロープは、次の数式により算出してもよい。

本実施形態においては、上記Ｅ_{Ｆ，ｄｅｃ}（ｋ，ｓ）の形態は上記例に限定されない。

ここで、周波数エンベロープ重畳部１ｑは、上記ｓｆ_ｄｅｃ（ｋ，ｓ）を次のような方法で算出する。まず、上記ｓｆ_ｄｅｃ（ｋ，ｓ）の内、いくつかの副周波数帯に対応するものは、下記式で表されるように、時間によらない定数とする（以降、これらの副周波数帯に対応するインデックスｋの集まりをＮ_Ｃと標記する）。

ここで、Ｃ＝０としてもよいが、本実施形態においては、Ｃの値は規定されない。そして、周波数エンベロープ重畳部１ｑは、整数１が集合Ｎ_ｃに含まれなければ、周波数エンベロープ情報から、スケールファクタｓｆ_ｄｅｃ（１、ｓ）、０≦ｓ＜ｓを取得する。

その後、周波数エンベロープ重畳部１ｑは、下記の（ステップｋ）の処理をｋ＝２からｋ＝ｍ_Ｈまで繰り返し、上記スケールファクタを算出する。
（ステップｋ）
整数ｋが集合Ｎｃに含まれなければ、周波数エンベロープ情報から、スケールファクタの差分ｄｓｆ_ｄｅｃ（ｋ、ｓ）、０≦ｓ＜ｓを取得し、下記式；

によりスケールファクタを算出し、整数ｋに１を加算して次の（ステップｋ）の処理に進む。一方、整数ｋが集合Ｎ_ｃに含まれる場合は、そのまま、整数ｋに１を加算して次の（ステップｋ）の処理に進む。

また、周波数エンベロープ情報から、スケールファクタの差分ｓｆ_ｄｅｃ（１、ｓ）、０≦ｓ＜ｓ_Ｅを受け取る場合は、ｓｆ_ｄｅｃ（０、ｓ）、０≦ｓ＜ｓ_Ｅを、帯域分割フィルタバンク部１ｃから受け取った、周波数領域信号の低周波数帯域成分を用いて算出し、上記ステップｋの処理を実施してもよい。例えば、後述する数式６３、６４、及び６５において、Ｘ（ｊ，ｉ）をＸ_ｄｅｃ（ｊ，ｉ）に置き換え、ｋ＝０において０≦ｋ_ｌ≦ｋ_ｈ＜ｋ_ｘを満たす所定のｋ_ｌ、およびｋ_ｈを用いて算出したｓｆ（０、ｓ）をｓｆ_ｄｅｃ（０、ｓ）としてもよい。

ここでは、上記の例と異なり、周波数エンベロープ情報が、スケールファクタｓｆ_ｄｅｃ（ｋ，ｓ）自体に対応するとしてもよい。また、周波数エンベロープ情報は、第ｓ（ｓ≧１）番目のフレームにおけるスケールファクタｓｆ_ｄｅｃ（ｋ、ｓ）、１≦ｋ≦ｍ_Ｈを、第ｓ−１番目のフレームにおけるスケールファクタｓｆ_ｄｅｃ（ｋ、ｓ−１）を用いて、下記式で算出する際の、時間方向の差分ｄｔｓｆ（ｓ、ｋ）、１≦ｓ＜ｓ_Ｅ、１≦ｋ≦ｍ_Ｈであってもよい。

ただし、この場合、初期値に対応する、ｓｆ_ｄｅｃ（ｋ、０）、１≦ｋ≦ｍ_Ｈは上記の方法等、別の手段を用いて取得する。

さらには、低周波数帯域成分のスケールファクタ、及び高周波数帯域の副周波数帯のスケールファクタのうちの少なくとも1つ以上から、前記副周波数帯のスケールファクタを内挿・外挿を用いて求めても良い。このとき、周波数エンベロープ情報は、上記内挿・外挿に用いる副帯域のスケールファクタ、および、高周波数帯域内の内挿・外挿パラメータである。なお、上記低周波数帯域成分のスケールファクタの算出には、帯域分割フィルタバンク部１ｃから受け取った、周波数領域信号の低周波数帯域成分を用いる。

また、内挿・外挿パラメータは所定のパラメータでもよい。さらには、前記所定の内挿・外挿パラメータ、及び周波数エンベロープ情報に含まれる内挿・外挿パラメータから実際に内挿・外挿に用いるパラメータを算出して、前記スケールファクタの内挿・外挿をしてもよい。さらには、周波数エンベロープ情報を受け取らない場合、及び周波数エンベロープ情報が内挿・外挿パラメータを含まない場合のうち少なくとも1つ以上の場合には、所定の内挿・外挿パラメータのみを用いて、前記スケールファクタの内挿・外挿をしてもよい。なお、本実施形態においては、上記、内挿・外挿の方法は限定されない。

なお、上記の周波数エンベロープ情報の形態は、一例であり、高周波数帯域の副帯域ごとの信号電力または信号振幅の周波数方向の変動を表すパラメータであればよい。本実施形態においては、周波数エンベロープ情報の形態は限定されない。

次に、周波数エンベロープ重畳部１ｑは、上記Ｅ_Ｆ（ｋ，ｓ）を次の数式を用いて変換する。

続いて、周波数エンベロープ重畳部１ｑは、上記のようにして変換された時間エンベロープＥ_０（ｍ，ｉ）、および、周波数エンベロープＥ_１（ｍ，ｉ）を用いて、下記式により、量Ｅ_２（ｍ，ｉ）を算出する。

また、上記Ｅ_２（ｍ，ｉ）は、下記式で与えられる形態であってもよい。

さらに、下記式で与えられる形態であってもよい。

ここで、Ｑ（ｍ）、０≦ｍ＜ｋ_ｍａｘ−ｋ_ｘは、下記式の条件を満たす整数である。

また、下記式のような形態であってもよい。

ただし、本発明においては、上記Ｅ_２（ｍ，ｉ）の形態は、上記例に限定されない。

次に、周波数エンベロープ重畳部１ｑは、上記Ｅ_２（ｍ，ｉ）を用いて量Ｅ（ｍ，ｉ）を下記式によって算出する。

ここで、係数Ｃ（ｓ）は、下記式で与えられる。

また、下記式；

としてもよい。

時間/周波数エンベロープ調整部１ｐは、高周波数帯域生成部１ｈから与えられた高周波数帯域信号Ｘ_Ｈ（ｊ，ｉ）、ｋ_ｘ≦ｊ＜ｋ_ｍａｘの時間/周波数エンベロープを、周波数エンベロープ重畳部１ｑから与えられた時間/周波数エンベロープＥ_１（ｍ，ｉ）を用いて調整する。

なお、本発明の第1の実施形態に係る音声復号装置１の第１〜第６の変形例は、当該本発明の第２の実施形態に係る音声復号装置１０１に適用してもよい。

図２５は、第２の実施形態に係る音声符号化装置１０２の構成を示す図、図２６は、図２５の音声符号化装置１０２による音声符号化の手順を示すフローチャートである。図２５に示す音声符号化装置１０２の第１の実施形態に係る音声符号化装置２との相違点は、周波数エンベロープ情報算出部２ｎがさらに追加されている点である。

すなわち、周波数エンベロープ情報算出部２ｎは、帯域分割フィルタバンク部２ｃから、高周波数帯域の信号Ｘ（ｊ，ｉ）｛０≦ｊ＜Ｎ、０≦ｉ＜ｔ（ｓ_Ｅ）｝を与えられ、周波数エンベロープ情報を算出する。詳細には、周波数エンベロープ情報の算出は以下のように行われる。

まず、周波数エンベロープ情報算出部２ｎは、副周波数帯Ｂ^（Ｆ） _ｋ（ただし、ｋ＝１，２，３，・・・，ｍ_Ｈ）上の電力の周波数エンベロープを下記式により算出する。

続いて、周波数エンベロープ情報算出部２ｎは、副周波数帯Ｂ^（Ｆ） _ｋのスケールファクタｓｆ（ｋ、ｓ）、１≦ｋ≦ｍ_Ｈを算出する。上記ｓｆ（ｋ、ｓ）は、例えば、下記式により算出する。

また、周波数エンベロープ情報算出部２ｎは、上記ｓｆ（ｋ、ｓ）を“ISO/IEC 14496-3 4.B.18”に記載の方法に従って、下記式により算出してもよい。

また、音声復号装置１０１側に対応して、下記式；

によって設定しても良い。

そして、周波数エンベロープ情報算出部２ｎは、周波数エンベロープ情報を、上記スケールファクタｓｆ（ｋ、ｓ）（１≦ｋ≦ｍ_Ｈ）としても良い。また、周波数エンベロープ情報は下記式のような形態であってもよい。すなわち、上記スケールファクタｓｆ（ｋ，ｓ）の差分を、下記式；

により定義し、上記ｄｓｆ（ｋ、ｓ）とｓｆ（１、ｓ）（０≦ｓ＜ｓ_Ｅ）を周波数エンベロープ情報としてもよい。

また、第２の実施形態に係る音声復号装置１０１の周波数エンベロープ重畳部１ｑと同様に、低周波数帯域の周波数領域の信号Ｘ（ｊ，ｉ）（0≦ｊ＜ｋ_ｘ）を用いて上記スケールファクタｓｆ（０，ｓ）を算出し、当該スケールファクタｓｆ（０，ｓ）より算出したｄｓｆ（１、ｓ）を周波数エンベロープ情報に含んでもよい。

また、周波数エンベロープ情報は、高周波数帯域の上記スケールファクタを低周波数帯域成分のスケールファクタから外挿して近似する際の、低周波数帯域からの外挿のパラメータであってもよい。また、周波数エンベロープ情報は、高周波数帯域のうちのいくつかの副周波数帯のスケールファクタから、これらの副周波数帯以外の部分を内挿・外挿を用いて求める際の、副帯域のスケールファクタ、および、高周波数帯域内の内挿・外挿パラメータである。前者と後者の形態をあわせたものが周波数エンベロープ情報であってもよい。

なお、本発明において、上記周波数エンベロープ情報は、上記例に限定されない。

周波数エンベロープ情報の量子化・符号化方法としては、例えば、周波数エンベロープ情報をスカラ量子化した後、ハフマン符号や算術符号に代表されるエントロピー符号化をしてもよい。さらには、周波数エンベロープ情報を所定の符号帳によりベクトル量子化し、そのインデックスを符号としてもよい。

具体的には、例えば、上記スケールファクタｓｆ（ｋ，ｓ）をスカラ量子化した後、ハフマン符号や算術符号に代表されるエントロピー符号化をしてもよい。さらには、上記ｄｓｆ(ｋ，ｓ)をスカラ量子化した後、エントロピー符号化してもよい。さらには、上記スケールファクタｓｆ(ｋ，ｓ)を所定の符号帳によりベクトル量子化し、そのインデックスを符号としてもよい。さらには、上記ｄｓｆ(ｋ，ｓ)を所定の符号帳によりベクトル量子化し、そのインデックスを符号としてもよい。さらにはスカラ量子化したスケールファクタｓｆ（ｋ，ｓ）の差分をエントロピー符号化してもよい。

例えば、“ISO/IEC
14496-3 4.B.18”に記載の方法に従い、上記式のｓｆ（ｋ，ｓ）を用いて、下記式；

によってＥ_{Ｄｅｌｔａ}(ｋ，ｓ)を算出し、Ｅ_{Ｄｅｌｔａ}(ｋ，ｓ)をハフマン符号化してもよい。

ここで、ある整数ｌが集合Ｎ_ｃに含まれるとき、ｓｆ（ｌ、ｓ）（０≦ｓ＜ｓ_Ｅ）やｄｓｆ（ｌ、ｓ）（０≦ｓ＜ｓ_Ｅ）の上記量子化・符号化を省略しても良い。

なお、本発明において、上記周波数エンベロープ情報の量子化・符号化は、上記の例に限定されない。

なお、本発明の第１の実施形態に係る音声符号化装置２の第１〜第４の変形例は、当該本発明の第２の実施形態に係る音声符号化装置１０２に適用してもよい。例えば、図２７は、本発明の第１実施形態に係る音声符号化装置２の第１の変形例を、本発明の第２の実施形態に係る音声符号化装置１０２に適用した際の構成を示す図であり、図２８は、図２７の音声符号化装置１０２による音声符号化の手順を示すフローチャートである。また、図２９は、本発明の第１実施形態に係る音声符号化装置２の第２の変形例を、本発明の第２の実施形態に係る音声符号化装置１０２に適用した際の構成を示す図であり、図３０は、図２９の音声符号化装置１０２による音声符号化の手順を示すフローチャートである。

［第３実施形態］

次に、本発明の第３実施形態について説明する。

図３１は、第３の実施形態に係る音声復号装置２０１の構成を示す図、図３２は、図３１の音声復号装置２０１による音声復号の手順を示すフローチャートである。図３１に示す音声復号装置２０１の第１の実施形態に係る音声復号装置１との相違点は、時間エンベロープ算出制御部１ｓがさらに追加されている点と、符号化系列復号/逆量子化部１ｅ及び時間エンベロープ調整部１ｉの代わりに符号化系列復号/逆量子化部１ｒ及びエンベロープ調整部１ｔが備えられている点である（１ｃ〜１ｄ、１ｈ、１ｊ、及び１ｒ〜１ｔは帯域拡張部（帯域拡張手段）と呼ぶこともある。）。

符号化系列解析部１ｄは、非多重化部１ａから与えられた高周波数帯域符号化系列を解析し、符号化された高周波数帯域生成用補助情報、及び時間エンベロープ算出制御情報を得て、さらには符号化された時間エンベロープ情報、または符号化された第２周波数エンベロープ情報を得る。

符号化系列復号/逆量子化部１ｒは、符号化系列解析部１ｄから与えられた符号化された高周波数帯域生成用補助情報を復号し、高周波数帯域生成用補助情報を得る。

高周波数帯域生成部１ｈは、帯域分割フィルタバンク部１ｃから与えられた、低周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ）、０≦ｊ＜ｋ_ｘを、符号化系列復号/逆量子化部１ｒから与えられた高周波数帯域生成用補助情報を用いて高周波数帯域に複写することにより、高周波数帯域の信号Ｘ_ｄｅｃ（ｊ，ｉ），ｋ_ｘ≦ｊ≦ｋ_ｍａｘを生成する。

時間エンベロープ算出制御部１ｓは、符号化系列解析部１ｄから与えられた時間エンベロープ算出制御情報に基づき、エンベロープ調整部１ｔは高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整するか否かを調べる。エンベロープ調整部１ｔが高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整しない場合は、符号化系列復号/逆量子化部１ｒは、符号化系列解析部１ｄから与えられた、符号化された時間エンベロープ情報を復号/逆量子化して時間エンベロープ情報を得る。一方、エンベロープ調整部１ｔが高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整する場合は、時間エンベロープ算出制御部１ｓは、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎには低周波数帯域時間エンベロープ算出制御信号を、時間エンベロープ算出部１ｇには時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎおよび時間エンベロープ算出部１ｇにてエンベロープ算出の処理をしないように指示する。

また、符号化系列復号/逆量子化部１ｒは、符号化系列解析部１ｄから与えられた、符号化された第2周波数エンベロープ情報を復号/逆量子化して第2周波数エンベロープ情報を得る。さらに、この場合には、エンベロープ調整部１ｔは、高周波数帯域生成部１ｈから与えられた高周波数帯域信号Ｘ_Ｈ（ｊ，ｉ）（ｋ_ｘ≦ｊ＜ｋ_ｍａｘ）の周波数エンベロープを、符号化系列復号/逆量子化部１ｒから与えられた第2周波数エンベロープ情報を用いて調整する。

具体的には、復号/逆量子化された上記第２周波数エンベロープ情報を用いて、音声復号装置１０１の周波数エンベロープ重畳部１ｑにおけるＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）の算出方法に従い、上記Ｅ_{Ｆ，ｄｅｃ}（ｋ，ｓ）に対応する量Ｅ_３（ｋ，ｓ）、１≦ｋ≦ｍ_Ｈ、０≦ｓ＜ｓ_Ｅを算出し、さらに、上記Ｅ_３（ｋ，ｓ）を下記式により変換する。

その後の処理は、音声復号装置１０１の時間/周波数エンベロープ調整部１ｐにおける処理手順に従い、エンベロープを調整された高周波数帯信号Ｙ（ｉ，ｊ）｛ｋ_ｘ≦ｊ≦ｋ_ｍａｘ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を取得する。

なお、本発明第1の実施形態に係る音声復号装置１の第１〜第７の変形例は、当該本発明第３の実施形態に係る音声復号装置２０１に適用してもよい。

図３５は、第３の実施形態に係る音声符号化装置２０２の構成を示す図、図３６は、図３５の音声符号化装置２０２による音声符号化の手順を示すフローチャートである。図３５に示す音声符号化装置２０２の第１の実施形態に係る音声符号化装置２との相違点は、時間エンベロープ算出制御情報生成部２ｊ及び第２周波数エンベロープ情報算出部２ｏがさらに追加されている点である。

第２周波数エンベロープ情報算出部２ｏは、帯域分割フィルタバンク部２ｃから、高周波数帯域の信号Ｘ（ｊ，ｉ）｛ｋ_ｘ≦ｊ＜Ｎ、ｔ（ｓ）≦ｉ＜ｔ（ｓ＋１）、０≦ｓ＜ｓ_Ｅ｝を与えられ、第２周波数エンベロープ情報を算出する（ステップＳ２０７の処理）。

この第２周波数エンベロープ情報は、前記第２の実施形態に係る音声符号化装置１０２における周波数エンベロープ情報の算出方法と同様な方法で求めてもよい。ただし、本実施形態において、第２周波数エンベロープ情報の算出方法は限定されない。

量子化/符号化部２ｇは、時間エンベロープ情報、及び第２周波数エンベロープ情報を、量子化・符号化する。時間エンベロープ情報は、第１及び第2の実施形態の音声符号化装置の量子化／符号化部２ｇにおける量子化・符号化と同様にできる。第2周波数エンベロープ情報は、第2の実施形態の音声符号化装置の量子化／符号化部２ｇにおける周波数エンベロープ情報の量子化・符号化と同様にできる。ただし、本実施形態において、時間エンベロープ情報、及び第2周波数エンベロープ情報の量子化・符号化方法は限定されない。

時間エンベロープ算出制御情報生成部２ｊは、帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）、時間エンベロープ情報算出部２ｆから受け取る時間エンベロープ情報、及び第２周波数エンベロープ情報算出部２ｏから受け取る第２周波数エンベロープ情報のうち少なくとも1つ以上を用いて時間エンベロープ算出制御情報を生成する（ステップＳ２０９の処理）。生成される時間エンベロープ算出制御情報は、上記第３の実施形態に係る音声復号装置２０１における時間エンベロープ算出制御情報であればよい。

時間エンベロープ算出制御情報生成部２ｊは、例えば、第１の実施形態例の音声符号化装置２の第１の変形例と同様でもよい。

時間エンベロープ算出制御情報生成部２ｊは、例えば第１の実施形態の音声符号化装置２の第１の変形例と同様に、時間エンベロープ情報と第２周波数エンベロープ情報を用いて擬似局所復号高周波数帯域信号をそれぞれ生成し、原信号と比較する。第２周波数エンベロープ情報を用いて生成した擬似局所復号高周波数帯域信号の方が原信号に近い場合、時間エンベロープ算出制御情として、復号装置にて第２周波数エンベロープ情報にて高周波数帯域信号を調整することを指示する情報を生成する。上記各擬似局所復号高周波数帯域信号と原信号の比較は、例えば差分信号を算出して、差分信号が小さいか否かによるものでもよい。さらには、上記各擬似局所復号高周波数帯域信号、及び原信号の時間エンベロープを算出した上で、上記各擬似局所復号高周波数帯域信号と原信号の時間エンベロープの差分を算出し、前記差分が小さいか否かによるものでもよい。さらには、上記原信号との差分信号、または／およびエンベロープの差分の最大値が小さいか否かによるものでもよい。本実施形態において、比較方法は上記の方法に限定されない。

時間エンベロープ算出制御情報生成部２ｊは、上記時間エンベロープ算出制御情報を生成する際に、量子化された時間エンベロープ情報、及び量子化された第２周波数エンベロープ情報のうち少なくとも一つをさらに用いてもよい。

符号化構成部２ｈは、符号化/逆量子化部２ｇから受け取る符号化された高周波数帯域生成用補助情報と、時間エンベロープ算出制御情報が、復号装置にて第２周波数エンベロープ情報にて高周波数帯域信号を調整することを指示する情報の場合には符号化された第２周波数エンベロープ情報とで、上記に該当しない場合は符号化された時間エンベロープ情報とで、高周波数帯域符号化系列を構成する（ステップＳ２１１の処理）。

なお、本発明の第１の実施形態に係る音声符号化装置２の第１〜第４の変形例は、当該本発明第３の実施形態に係る音声符号化装置２０２に適用してもよい。

［第４実施形態］

次に、本発明の第４実施形態について説明する。

図３３は、第４の実施形態に係る音声復号装置３０１の構成を示す図、図３４は、図３３の音声復号装置３０１による音声復号の手順を示すフローチャートである。図３３に示す音声復号装置２０１の第１の実施形態に係る音声復号装置１との相違点は、時間エンベロープ算出制御部１ｓ及び周波数エンベロープ重畳部１ｕがさらに追加されている点と、符号化系列復号/逆量子化部１ｅ及び時間エンベロープ調整部１ｉの代わりに符号化系列復号/逆量子化部１ｒ及び時間/周波数エンベロープ調整部１ｖが備えられている点である（１ｃ〜１ｄ、１ｈ、１ｊ、１ｒ〜１ｓ、及び１ｕ〜１ｖは帯域拡張部（帯域拡張手段）と呼ぶこともある。）。

符号化系列解析部１ｄは、非多重化部１ａから与えられた高周波数帯域符号化系列を解析し、符号化された高周波数帯域生成用補助情報、及び時間エンベロープ算出制御情報を得て、さらには符号化された時間エンベロープ情報、及び符号化された周波数エンベロープ情報、または符号化された第２周波数エンベロープ情報を得る。

時間エンベロープ算出制御部１ｓは、符号化系列解析部１ｄから与えられた時間エンベロープ算出制御情報に基づき、エンベロープ調整部１ｖは高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整するか否かを調べ、時間/周波数エンベロープ調整部１ｖが高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整しない場合は、符号化系列復号/逆量子化部１ｒは、符号化系列解析部１ｄから与えられた、符号化された時間エンベロープ情報を復号/逆量子化して時間エンベロープ情報を得る。

一方、時間/周波数エンベロープ調整部１ｖが高周波数帯域の信号のエンベロープを第2周波数エンベロープ情報で調整する場合は、第3の実施形態のステップＳ１９０の処理と同様に処理する。また、時間/周波数エンベロープ調整部１ｖの処理も第3の実施形態のステップＳ１９１の処理と同様である。

なお、本発明第1の実施形態に係る音声復号装置１の第１〜第７の変形例は、当該本発明第４の実施形態に係る音声復号装置３０１に適用してもよい。

図３７は、第４の実施形態に係る音声符号化装置３０２の構成を示す図、図３８は、図３７の音声符号化装置３０２による音声符号化の手順を示すフローチャートである。図３７に示す音声符号化装置３０２の第１の実施形態に係る音声符号化装置２との相違点は、時間エンベロープ算出制御情報生成部２ｊ、周波数エンベロープ情報算出部２ｐ、及び第２周波数エンベロープ情報算出部２ｏがさらに追加されている点である。

量子化／符号化部２ｇは、時間エンベロープ情報、周波数エンベロープ情報、及び第2周波数エンベロープ情報を、量子化・符号化する。この時間エンベロープ情報は、第1及び第2の実施形態の符号化装置の量子化／符号化部２ｇにおける量子化・符号化と同様にできる。周波数エンベロープ情報、第2周波数エンベロープ情報は、第2の実施形態の符号化装置の量子化／符号化部２ｇにおける周波数エンベロープ情報の量子化・符号化と同様にできる。ただし、本発明において、時間エンベロープ情報、及び第2周波数エンベロープ情報の量子化・符号化方法は限定されない。

時間エンベロープ算出制御情報生成部２ｊは、帯域分割フィルタバンク部２ｃから受け取る周波数領域の信号Ｘ（ｊ，ｉ）、時間エンベロープ情報算出部２ｆから受け取る時間エンベロープ情報、周波数エンベロープ情報算出部２ｐから受け取る周波数エンベロープ情報、及び第２周波数エンベロープ情報算出部から受け取る第２周波数エンベロープ情報２ｏのうち少なくとも1つ以上を用いて時間エンベロープ算出制御情報を生成する（ステップＳ２５０の処理）。生成される時間エンベロープ算出制御情報は、上記第４の実施形態に係る音声復号装置３０１における時間エンベロープ算出制御情報であればよい。

時間エンベロープ算出制御情報生成部２ｊは、例えば、第１の実施形態の符号化装置２の第１の変形例と同様でもよい。さらには、時間エンベロープ算出制御情報生成部２ｊは、例えば、第３の実施形態に係る音声符号化装置２０２と同様でもよい。

時間エンベロープ算出制御情報生成部２ｊは、例えば第１の実施形態の符号化装置２の第1の変形例と同様に、時間エンベロープ情報と周波数エンベロープ情報、及び第２周波数エンベロープ情報を用いて擬似局所復号高周波数帯域信号をそれぞれ生成し、原信号と比較する。第２周波数エンベロープ情報を用いて生成した擬似局所復号高周波数帯域信号の方が原信号に近い場合、時間エンベロープ算出制御情報として、復号装置にて第２周波数エンベロープ情報にて高周波数帯域信号を調整することを指示する情報を生成する。

上記各擬似局所復号高周波数帯域信号と原信号の比較は、第３の実施形態に係る音声符号化装置２０２の時間エンベロープ算出制御情報生成部２ｊと同様でもよく、本実施形態において比較方法は限定されない。

時間エンベロープ算出制御情報生成部２ｊは、上記時間エンベロープ算出制御情報を生成する際に、量子化された時間エンベロープ情報、量子化された周波数エンベロープ情報、及び量子化された第２周波数エンベロープ情報のうち少なくとも一つをさらに用いてもよい。

符号化構成部２ｈは、符号化/逆量子化部１ｇから受け取る符号化された高周波数帯域生成用補助情報と、時間エンベロープ算出制御情報が、復号装置にて第２周波数エンベロープ情報にて高周波数帯域信号を調整することを指示する情報の場合には符号化された第２周波数エンベロープ情報とで、上記に該当しない場合は符号化された時間エンベロープ情報、及び符号化された周波数エンベロープ情報とで、高周波数帯域符号化系列を構成する（ステップＳ２５２の処理）。

なお、本発明の第１の実施形態に係る音声符号化装置２の第１〜第４の変形例は、当該本発明の第４の実施形態に係る音声符号化装置３０２に適用してもよい。

［第１の実施形態の音声復号装置の第８の変形例］
本変形例では、第１の実施形態にかかる音声復号装置１の時間エンベロープ算出部１ｇでは、算出した時間エンベロープに所定の関数に基づく処理を施す。例えば、時間エンベロープ算出部１ｇは、時間エンベロープを時間的に正規化する処理をし、下記式にて時間エンベロープE_T’(l, i)を算出する。

本変形例では、時間エンベロープE_T’(l,
i)を算出した後では、それ以降の処理において量E_T(l,i)を量E_T’(l,i)に置き換えて処理することができる。

このような変形例によれば、高周波数帯域生成部１ｈで生成される高周波数帯域信号X_H(j, i)のフレームｓにおける周波数帯域F_H(l)≦j＜F_H(l+1)のエネルギーの総量を変えずに，フレームsの周波数帯域F_H(l)≦j＜F_H(l+1)内の高周波数帯域信号X_H(j,i)（F_H(l)≦j＜F_H(l+1)）の時間的形状のみを調整できる。

なお、上記第１の実施形態にかかる音声復号装置１の第８の変形例は、第１の実施形態にかかる音声復号装置１の第１〜第７の変形例、及び第２〜第４の実施形態にかかる各音声復号装置にも適用可能であり、その際にはE_T(l, i)をE_T’(l, i)に置き換えればよい。

［第１の実施形態の音声復号装置の第９の変形例］
本変形例では、第１の実施形態にかかる音声復号装置１の第１〜第ｎ低周波数帯域時間エンベロープ算出部１ｆ_１〜１ｆ_ｎにおいて、量L₀(k, i)を時間方向に平滑化して時間エンベロープL₁(k, i)を取得する際には、フレームｓ−１からフレームｓに移行する際にL₀(k,i)（t(s)-d≦i＜t(s)）を保持しておく。本変形例によれば、フレームｓ−１との境界に近いフレームｓの量L₀(k, i)（より具体的には、L₀(k,i) （t(s)≦i＜t(s)+d））に対しても平滑化ができる。

なお、上記第１の実施形態にかかる音声復号装置１の第９の変形例は第１の実施形態にかかる音声復号装置１の第１〜第８の変形例、及び第２〜第４の実施形態にかかる各音声復号装置にも適用可能である。

［第１の実施形態の音声符号化装置の第５の変形例］
本変形例では、第１の実施形態の音声符号化装置２にかかる時間エンベロープ情報算出部２ｆにおける時間エンベロープ情報の算出は、参照時間エンベロープH(l,i)と上記g(l,i)の相関に基づいて実施される。例えば、時間エンベロープ情報算出部２ｆは、以下のように時間エンベロープ情報を算出する。

すなわち、下記式により、H(l,i)とg(l,i)の相関係数corr(l)を算出する。

上記相関係数corr(l)を所定の閾値と比較し、その比較結果に基づいて時間エンベロープ情報を算出する。さらには、corr²(l)に相当する値を求めて所定の閾値と比較し、その比較結果に基づいて時間エンベロープ情報を算出することでも実現できる。

例えば、以下のように時間エンベロープ情報を算出する。上述の相関係数と比較する所定の閾値をcorr_th(l)とし、g_dec(l,i)を数式２１のとおり与えられるとして、下記式により時間エンベロープ情報を算出する。

上記の例で算出された時間エンベロープ情報が、第１の実施形態の復号装置１の第２の変形例に入力された際には、副周波数帯域B^(T) _lにおいて、A_l,k(s)=0，A_l,0(s)=const(0)の場合（すなわち、符号化装置にて相関係数が所定の閾値よりも小さかった場合）には、時間エンベロープ算出制御部１ｍにより、第ｋ番目(k>0)の低周波数帯域時間エンベロープ算出部１ｆ_ｋに低周波数帯域時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_ｋでの低周波数帯域時間エンベロープ算出処理を実施しないように制御することになる。一方、A_l,k(s)=const(k)，A_l,0(s)=0の場合（すなわち、符号化装置にて相関係数が所定の閾値よりも大きかった場合）には、時間エンベロープ算出制御部１ｍにより、第ｋ番目(k>0)の低周波数帯域時間エンベロープ算出部１ｆ_ｋに低周波数帯域時間エンベロープ算出制御信号を出力して、低周波数帯域時間エンベロープ算出部１ｆ_ｋでの低周波数帯域時間エンベロープ算出処理を実施するように制御することになる。

なお、本変形例においては、参照時間エンベロープH(l,i)と上記g(l,i)の相関に基づいて時間エンベロープ情報を算出すればよく、上記の方法に限定されない。

上記第１の実施形態にかかる音声符号化装置２に記載した、参照時間エンベロープH(l,i)とg(l,i)の誤差（または重み付き誤差）に基づいて時間エンベロープ情報を算出する場合は、参照時間エンベロープH(l,i)とg(l,i)がどの程度一致するかに基づいて時間エンベロープ情報を算出する。一方、本変形例では、参照時間エンベロープH(l,i)とg(l,i)の形状がどの程度似ているかに基づいて時間エンベロープ情報を算出する。

なお、上記第１の実施形態にかかる音声符号化装置２の第５の変形例は、第１の実施形態の音声符号化装置２の第１〜第５の変形例、及び第２〜第４の実施形態にかかる音声符号化装置にも適用可能である。

［第２の実施形態の音声復号装置の第１の変形例］
本変形例では、第２の実施形態の音声復号装置１０１にかかる周波数エンベロープ重畳部１ｑにおいて、周波数エンベロープＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）に所定の関数に基づく処理を施す。例えば、周波数エンベロープ重畳部１ｑは、下記式にて与えられる周波数エンベロープＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）を平滑化する関数に基づく処理を施す。

ただし、

であり、sc_h(j)、d_hは、それぞれ所定の平滑化係数、平滑化次数である。この際には、以降の処理において、Ｅ_{Ｆ，ｄｅｃ，Ｆｉｌｔ}（ｋ，ｉ）をＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）として置き換えて処理を進めればよい。

さらには、上記数式７３に当該周波数エンベロープＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）に対応するフレームの信号特性に基づいて周波数エンベロープＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）を平滑化するか否かを決定する関数を含むことができる。さらには、平滑化するか否かを示す情報が符号化系列に含まれており、その情報に基づいて周波数エンベロープＥ_{Ｆ，ｄｅｃ}（ｋ，ｓ）を平滑化するか否かを決定する関数を含むことができる。

なお、上記第２の実施形態の音声復号装置１０１の第１の変形例は、第４の実施形態にかかる音声復号装置にも適用可能である。

［第２の実施形態の音声復号装置の第２の変形例］
第２の実施形態の音声復号装置１０１にかかる周波数エンベロープ重畳部１ｑにおいては、量E(m, i)はC(s)によりE₂(m, i)を補正した値になっている（数式６０）。また、数式６１によると、フレームｓの帯域k_x≦m≦k_maxにおける時間/周波数エンベロープ調整後の高周波数帯域信号のエネルギーが、フレームｓの帯域k_x≦m≦k_maxにおける時間エンベロープE₀(m,i)の総和になるように補正されている。一方、数式６２によると、フレームｓの帯域k_x≦m≦k_maxにおける時間/周波数エンベロープ調整後の高周波数帯域信号のエネルギーは、フレームｓの帯域k_x≦m≦k_maxにおける周波数エンベロープE₁(m,i)の総和になるように補正されている。本変形例では、C(s)は、フレームｓの帯域k_x≦m≦k_maxにおける時間/周波数エンベロープ調整後の高周波数帯域信号のエネルギーが時間/周波数エンベロープ調整後も保持されるように、下記式によって与えられる。

さらには、フレームｓの帯域k_x≦m≦k_maxにおける時間/周波数エンベロープ調整後の高周波数帯域信号のエネルギーが、フレームｓの帯域k_x≦m≦k_maxにおける時間エンベロープE₂(m,i)の総和になるように、C(s)を下記式によって与えることもできる。

なお、上記第２の実施形態の音声復号装置１０１の第２の変形例は、第２の実施形態の音声復号装置１０１の第１の変形例、及び第４の実施形態にかかる音声復号装置にも適用可能である。

［第２の実施形態にかかる音声復号装置の第３の変形例］

図３９は、本発明の第２の実施形態に係る音声復号装置１０１の第３の変形例の構成を示す図、図４０は、図３９の音声復号装置１０１による音声復号の手順を示すフローチャートである。本変形例と第２の実施形態の音声復号装置１０１との相違点は、周波数エンベロープ重畳部１ｑに替えて周波数エンベロープ算出部１ｗを備える点である。

本変形例の周波数エンベロープ算出部１ｗは、第２の実施形態の周波数エンベロープ重畳部１ｑと同様に、周波数エンベロープE₁(m,s)を算出する（ステップＳ１１９ａ）。

そして、時間/周波数エンベロープ調整部１ｐは、時間エンベロープE_T(l,i)、及び周波数エンベロープE₁(m,s)を用いて、時間/周波数エンベロープの調整を、例えば以下のように行う（ステップＳ１２０）。

すなわち、時間/周波数エンベロープ調整部１ｐは、周波数エンベロープ重畳部１ｑと同様に、時間エンベロープE_T(l,i)をE₀(m,i)に変換する。

また、“MPEG4 AAC”のSBRにおけるHFアジャストメント（HF
adjustment）と同様に、符号化系列復号/逆量子化部１ｅによって与えられるフレームｓにおけるノイズフロアー・スケールファクターQ(m,s)は下記式で変換する。

また、符号化系列復号/逆量子化部１ｅによって与えられるシヌソイドを付加するか否かを決めるパラメータより求められた量S(m,s)を用いて、フレームｓにおけるシヌソイドのレベルが下記式によって与えられる。

また、ゲインは、周波数エンベロープE₁(m,s)、符号化系列復号/逆量子化部１ｅによって与えられるフレームｓにおけるノイズフロアー・スケールファクターQ(m,s)、符号化系列復号/逆量子化部１ｅによって与えられるフレームｓのパラメータに依存する関数であるδ(s)を用いて、下記式で与えられる。

ここで、量E_curr(m,s)は下記式により定義される。

また、下記式によっても定義できる。

また、S’(m,s)は、フレームｓにおいて、インデックスｍが表す周波数を含む副周波数帯B^(F) _k（G_H(k)≦m＜G_H(k+1)）内に付加されるシヌソイドがあるか否かを表す関数であり、付加されるシヌソイドがある場合は“１”、それ以外の場合は“０”となる。

さらには、上記量E_curr(m,s)を用いて、下記量X’_H(m+k_x,i)を算出できる。

あるいは、上記量X’_H(m+k_x,i)は以下の式からも算出できる。

あるいは、上記量X’_H(m+k_x,i)は以下の式からも算出できる。

このように処理すれば、高周波数帯域信号X_H(m+k_x,i)を、周波数インデックスm、または副周波数帯域B^(F) _kにおいて時間方向に平坦化できる。従って、以降の処理を実施することで、高周波数帯域信号X_H(m+k_x,i)の時間エンベロープにはよらず、時間エンベロープ算出部１ｇにて算出された時間エンベロープに基づく高周波数帯域の信号を出力できる。

ここで、上記ゲイン，ノイズフロアー・スケールファクター，シヌソイドレベルに対し、所定の関数に基づく処理を施して、ゲインG₂(m, s)、ノイズフロアー・スケールファクターQ₃(m, s)、シヌソイドレベルS₃(m, s)を算出できる。例えば、“MPEG4 AAC”のSBRにおけるHFアジャストメント（HF adjustment）と同様に、上記ゲイン，ノイズフロアー・スケールファクター，シヌソイドレベルに対し、不必要なノイズの付加を避けるためのゲイン制限（ゲインリミッタ Gain limiter）、ゲイン制限によるエネルギーの損失の補償（ゲインブースタ Gain booster）の関数に基づく処理を施して、ゲインG₂(m, s)、ノイズフロアー・スケールファクターQ₃(m, s)、シヌソイドレベルS₃(m, s)を算出する（具体例については、ISO/IEC 1449-3 4.6.18.7.5を参照）。上記所定の処理を施した場合は、以降の処理において、G(m,s)，Q₂(m,s)，S₂(m,s)に代わって、G₂(m,s)，Q₃(m,s)，S₃(m,s)を用いる。

上記により得られたゲインG(m,s)、ノイズフロアー・スケールファクターQ₂(m,s)、及び時間エンベロープE₀(m,i)を用いて下記式により与えられる量G₃(m,i)、Q₄(m,i)を算出する。下記式にて、ゲイン、及びノイズフロアー・スケールファクターを時間エンベロープに基づいて算出し、以降の処理を経て、最終的に時間/周波数エンベロープ調整部１ｐより時間/周波数エンベロープを調整済みの信号を出力することができる。

なお、上記式では、ゲイン，及びノイズフロアー・スケールファクターを時間エンベロープに基づいて算出したが、ゲイン，及びノイズフロアー・スケールファクターと同様に、シヌソイドレベルも時間エンベロープに基づいて算出できる。

さらに、上記G₃(m,i)、Q₄(m,i)に所定の関数に基づく処理を施してもよい。例えば、平滑化する関数に基づく処理である。下記式にて与えられるG_Filt(m,i)、Q_Filt(m,i)を算出する。

ただし、sc_h(j)、d_hは、それぞれ所定の平滑化係数、平滑化次数である。また、G_Temp(m,i)、Q_Temp(m,i)は下記式にて与えられる。

さらには、下記の関数に基づく処理によっても同様に平滑化の効果を得られる。

ただし、w_old(m,i)、w_curr(m,i)は、それぞれ所定の重み係数である。また、G_Temp(m,i)、Q_Temp(m,i)は下記式にて与えられる。

また、G_old(m)は1つ前のフレーム（具体的にはフレームｓ−１）におけるフレームｓとの境界の時間インデックス(具体的にはt(s)-1)のゲインであり、下記式のいずれかにて与えられる。

上記所定の関数に基づく処理を施した場合は、以降の処理において、G₃(m,s)，Q₄(m,s)に代わって、G_Filt(m,s)，Q_Filt(m,s)を用いる。

また、上記平滑化をする関数は、符号化系列復号/逆量子化部１ｅによって与えられるフレームｓのパラメータに基づいて上記平滑化をするか否かを決定する関数を含むことができる。さらには、平滑化するか否かを示す情報が符号化系列に含まれており、その情報に基づいて上記平滑化をするか否かを決定する関数を含むこともできる。さらには、上記のうち少なくとも一方に基づいて、上記平滑化をするか否かを決定する関数を含むことができる。

最後に、時間/周波数エンベロープ調整部１ｐは、下記式により、時間/周波数エンベロープ調整済みの信号を得る。

ここで、Ｖ_０、Ｖ_１はノイズ成分を規定する配列であり、ｆは、インデックスｉを上記配列上のインデックスに写像する関数であり、φ_Re,sin、φ_Im,sinはシヌソイド成分の位相を規定する配列であり、ｆ_sinは、インデックスｉを上記配列上のインデックスに写像する関数である（具体例については、“ISO/IEC 14496-3 4.6.18”を参照）。

あるいは、上記数式９７においては、X_H(m+k_x,i)に代わってX’_H(m+k_x,i)を用いることもできる。

なお、上述の“MPEG4
AAC”のSBRにおけるHFアジャストメントのゲインブースタを本発明の第２の実施形態の音声復号装置１０１にかかる周波数エンベロープ重畳部１ｑにて適用すると、副周波数帯域B^(F) _k（G_H(k)≦j＜G_H(k+1)）ごとにフレームｓ単位で、ゲイン制限によるエネルギーの損失の補償をすることになる。一方で下記式によれば、副周波数帯域B^(F) _k（G_H(k)≦j＜G_H(k+1)）ごとに高周波数帯域信号X_H(j,i)については時間インデックスi単位で、ゲイン制限によるエネルギーの損失の補償をすることになる。

上記式にて、ゲインG(m,s)、ノイズ・スケールファクターQ₂(m,s)に対して、上述の“MPEG4 AAC”のSBRにおけるHFアジャストメントのゲインリミッタを適用できる。

上記ゲインG₂(m,i)、及びノイズ・スケールファクターQ₃(m,i)を用いて、数式８９、９０の代わりに、下記式にてG_Temp(m,i)、Q_Temp(m,i)は与えられる。

さらには、数式９９を下記式に置き換えると、副周波数帯域B^(T) _k（F_H(k)≦j＜F_H(k+1)）ごとに高周波数帯域信号X_H(j,i)については時間インデックスi単位で、ゲイン制限によるエネルギーの損失の補償をすることになる。

さらには、数式９９を下記式に置き換えると、周波数インデックスmごとに高周波数帯域信号X_H(j,i)については時間インデックスi単位で、ゲイン制限によるエネルギーの損失の補償をすることになる。

あるいは、上記の量G_BoostTemp(m.i)を算出する際に、X_H(m+k_x,i)に代わってX’_H(m+k_x,i)を用いることもできる。

第２の実施形態の音声復号装置１０１にかかる時間/周波数エンベロープ調整部１ｐにおいては、時間/周波数エンベロープの調整は、第１の実施形態の音声復号装置１にかかる時間エンベロープ調整部１ｉと同様に、周波数エンベロープ重畳部１ｑから受け取った量E(m,i)を用いて、“MPEG4 AAC”のSBRにおけるHFアジャストメント（HF
Adjustment）と類似の手段により行われる。そのため、MPEG4 AAC”のSBRにおけるHFアジャストメント（HF adjustment）と同様に、ゲイン，ノイズフロアー・スケールファクター，シヌソイドレベルに対し、不必要なノイズの付加を避けるためのゲイン制限（ゲインリミッタ Gain limiter）、ゲイン制限によるエネルギーの損失の補償（ゲインブースタ Gain booster）の関数に基づく処理をする場合，当該処理を時間インデックスi（t（s）≦i＜t(s+1)）に対して実施する。一方、本変形例によると、ゲイン，ノイズフロアー・スケールファクター，シヌソイドレベルに対し、不必要なノイズの付加を避けるためのゲイン制限（ゲインリミッタ Gain limiter）、ゲイン制限によるエネルギーの損失の補償（ゲインブースタ Gain booster）の関数に基づく処理をする場合に、当該処理のうち少なくとも1つの処理はフレームｓに対して実施すればよい。従って、本変形例では第２の実施形態の音声復号装置１０１に比べ、上記の処理の演算量を削減することができる。

なお、上記第２の実施形態の音声復号装置１０１の第３の変形例は、第２の実施形態の音声復号装置１０１の第１〜第２の変形例、及び第４の実施形態にかかる音声復号装置にも適用可能である。

［第２実施形態の音声復号装置１０１の第３の変形例の別の形態］
上記変形例において、第１の実施形態の音声復号装置１の第１、第２、第３の変形例、及び当該変形例の処理を少なくとも一つ以上実行する第１の実施形態の音声復号装置１の第５の変形例を適用した場合には、時間エンベロープ算出部１ｇが時間エンベロープＥ_Ｔ（ｌ，ｉ）を算出しない場合が生じる。このような場合は、Ｅ_０（ｍ，ｉ）が必要な演算処理では、Ｅ_０（ｍ，ｉ）を１に置き換えて実行する。この方法により、Ｅ_０（ｍ，ｉ）、Ｅ_０（ｍ，ｉ）のべき乗、Ｅ_０（ｍ，ｉ）の平方根を乗じる処理を省略することができ、演算量を削減できる。なお、上記の方法を用いた処理では、時間／周波数エンベロープ調整部１ｐはＥ_０（ｍ，ｉ）を算出する必要がない。

［第１の実施形態に係る音声符号化装置２の第６の変形例］
時間エンベロープ情報算出部２ｆは、帯域分割フィルタバンク部２ｃから得られる周波数領域の信号Ｘ（ｊ，ｉ）、音声符号化装置２の通信装置を介して受信された外部からの入力信号、および、ダウンサンプリング部２ａからの出力として得られるダウンサンプルされた低周波数帯域の時間領域信号、のうちの少なくとも１つ以上の信号の特性に基づき、時間エンベロープ情報を算出する。上記信号の特性としては、例えば信号の、過渡性、トーナリティ、雑音性などがあるが、本変形例において、信号特性は、これらの具体例に限定されない。

なお、本変形例は、第１の実施形態の音声符号化装置２の第１〜第５の変形例、及び第２〜第４の実施形態にかかる音声符号化装置にも適用可能である。

［第１実施形態に係る音声符号化装置２の第７の変形例］
時間エンベロープ算出制御情報生成部２ｊは、帯域分割フィルタバンク部２ｃから得られる周波数領域の信号Ｘ（ｊ，ｉ）、音声符号化装置２の通信装置を介して受信された外部からの入力信号、および、ダウンサンプリング部２ａからの出力として得られるダウンサンプルされた低周波数帯域の時間領域信号、のうちの少なくとも１つ以上の信号の信号特性に応じて、音声復号装置１における低周波数帯域時間エンベロープ算出方法に関する時間エンベロープ算出制御情報を生成する。上記信号の特性としては、例えば信号の、過渡性、トーナリティ、雑音性などがあるが、本変形例において、信号特性は、これらの具体例に限定されない。

なお、本変形例は、第１の実施形態の音声符号化装置２の第１〜第６の変形例、及び第２〜第４の実施形態にかかる音声符号化装置にも適用可能である。

［第１〜第４の実施形態の音声符号化装置の量子化/符号化部］
第１〜第４の実施形態の音声符号化装置の量子化/符号化部２ｇについては、ノイズフロアー・スケールファクターや、シヌソイドを付加するか否かを決めるパラメータも量子化・符号化してもよいことは明白である。

本発明は、音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラムを使用用途とし、復号信号における時間エンベロープを歪の少ない形状に調整することによって、プリエコーおよびポストエコーの十分に改善された再生信号を得ることができるものである。

１ｆ_１〜１ｆ_ｎ…低周波数帯域時間エンベロープ算出部、２ｅ_１〜２ｅ_ｎ…低周波数帯域時間エンベロープ算出部、１，１０２，２０１，３０１…音声復号装置、１ａ…非多重化部、１ｂ…低周波数帯域復号部、１ｃ…帯域分割フィルタバンク部、１ｄ…符号化系列解析部、１ｅ…逆量子化部、１ｇ…時間エンベロープ算出部、１ｈ…高周波数帯域生成部、１ｉ…時間エンベロープ調整部、１ｊ…帯域合成フィルタバンク部、１ｋ，１ｍ，１ｎ，１ｏ…時間エンベロープ算出制御部、１ｐ，１ｖ…時間/周波数エンベロープ調整部、１ｑ…周波数エンベロープ重畳部、１ｒ…符号化系列復号/逆量子化部、１ｓ…時間エンベロープ算出制御部、１ｔ…エンベロープ調整部、１ｕ…周波数エンベロープ重畳部、１ｗ…周波数エンベロープ算出部、２，１０２，２０２，３０２…音声符号化装置、２ａ…ダウンサンプリング部、２ｂ…低周波数帯域符号化部、２ｃ…帯域分割フィルタバンク部、２ｄ…高周波数帯域生成用補助情報算出部、２ｅ_１〜２ｅ_ｋ…低周波数帯域時間エンベロープ算出部、２ｆ…時間エンベロープ情報算出部、２ｇ…量子化/符号化部、２ｈ…高周波数帯域符号化系列構成部、２ｉ…多重化部、２ｊ…時間エンベロープ算出制御情報生成部、２ｋ…低周波数帯域復号部、２ｍ…帯域合成フィルタバンク部、２ｎ，２ｏ，２ｐ…周波数エンベロープ情報算出部。

Claims (21)

1. 音声信号を符号化した符号化系列を復号する音声復号装置であって、
   前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、
   前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段と、
   前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、
   前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段と、
   前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、
   前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、
   前記時間エンベロープ算出手段で取得された前記時間エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整手段と、
   前記時間エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段と、
   を備え、
   前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
   音声復号装置。
2. 音声信号を符号化した符号化系列を復号する音声復号装置であって、
   前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、
   前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段と、
   前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、
   前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段と、
   前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、
   前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、
   前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を、前記高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳手段と、
   前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段と、
   前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段と、
   を備え、
   前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
   音声復号装置。
3. 音声信号を符号化した符号化系列を復号する音声復号装置であって、
   前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段と、
   前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段と、
   前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段と、
   前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段と、
   前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段と、
   前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、
   前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段と、
   前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出手段と、
   前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段と、
   前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段と、
   を備え、
   前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
   音声復号装置。
4. 前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を用いて、前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および前記時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、
   ことを特徴とする請求項１〜３のいずれか１項に記載の音声復号装置。
5. 前記符号化系列復号逆量子化手段によって取得した前記時間エンベロープ情報を用いて、前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および前記時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、
   ことを特徴とする請求項１〜３のいずれか１項に記載の音声復号装置。
6. 前記高周波数帯域符号化系列解析手段は、時間エンベロープ算出制御情報をさらに取得し、
   前記高周波数帯域符号化系列解析手段によって取得した時間エンベロープ算出制御情報を用いて、前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および前記時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出のうち少なくとも１つを制御する時間エンベロープ算出制御手段をさらに備える、
   ことを特徴とする請求項１〜３のいずれか１項に記載の音声復号装置。
7. 前記高周波数帯域符号化系列解析手段は、時間エンベロープ算出制御情報をさらに取得し、
   前記符号化系列復号逆量子化手段は、第２の周波数エンベロープ情報をさらに取得し、
   前記時間エンベロープ算出制御情報を基に、高周波数帯域成分の周波数エンベロープを前記第２の周波数エンベロープ情報を基に調整するか否かを判断し、当該周波数エンベロープを調整すると判断した場合には、前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段における低周波数帯域の時間エンベロープの算出、および前記時間エンベロープ算出手段における高周波数帯域の時間エンベロープの算出を行わないように制御する時間エンベロープ算出制御手段をさらに備える、
   ことを特徴とする請求項１〜３のいずれか１項に記載の音声復号装置。
8. 前記時間周波数エンベロープ調整手段は、前記高周波数帯域生成手段で生成された音声信号の高周波数帯域成分を所定の関数に基づき処理することを特徴とする請求項２又は３に記載の音声復号装置。
9. 前記低周波数帯域時間エンベロープ算出手段は、取得した複数の低周波数帯域の時間エンベロープを所定の関数に基づき処理することを特徴とする請求項１〜８のいずれか１項に記載の音声復号装置。
10. 音声信号を符号化する音声符号化装置であって、
    前記音声信号を周波数領域に変換する周波数変換手段と、
    前記音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリング手段と、
    前記ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化手段と、
    前記周波数変換手段によって周波数領域に変換された前記音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段と、
    前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の前記時間エンベロープを用いて、前記周波数変換手段によって変換された前記音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出手段と、
    前記音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出手段と、
    前記補助情報算出手段によって生成された前記高周波数帯域生成用補助情報、および前記時間エンベロープ情報算出手段によって算出された前記時間エンベロープ情報を量子化および符号化する量子化符号化手段と、
    前記量子化符号化手段によって量子化および符号化された前記高周波数帯域生成用補助情報および前記時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成手段と、
    前記低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、前記符号化系列構成手段によって構成された前記高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化手段と、
    を備え、
    前記時間エンベロープ情報算出手段は、前記高周波数帯域成分の時間エンベロープを取得するための複数の所定の処理を切り替えるための前記時間エンベロープ情報を算出する、
    音声符号化装置。
11. 前記周波数変換手段によって周波数領域に変換された前記音声信号の高周波数帯域成分の周波数エンベロープ情報を算出する周波数エンベロープ算出手段をさらに備え、
    前記量子化符号化手段は、前記周波数エンベロープ情報をさらに量子化および符号化し、
    前記符号化系列構成手段は、前記量子化符号化手段によって量子化および符号化された前記周波数エンベロープ情報をさらに加えて高周波数帯域符号化系列を構成する、
    ことを特徴とする請求項１０に記載の音声符号化装置。
12. 前記周波数変換手段によって周波数領域に変換された前記音声信号と、前記時間エンベロープ情報算出手段にて算出された時間エンベロープ情報のうち少なくとも１つを用いて、音声復号装置における時間エンベロープ算出を制御する時間エンベロープ算出制御情報を生成する制御情報生成手段をさらに備え、
    前記符号化系列構成手段は、前記制御情報生成手段にて生成された前記時間エンベロープ算出制御情報をさらに加えて高周波数帯域符号化系列を構成する、
    ことを特徴とする請求項１０又は１１に記載の音声符号化装置。
13. 前記時間エンベロープ情報算出手段は、前記周波数変換手段によって周波数領域に変換された前記音声信号の高周波数帯域成分の時間エンベロープを算出し、
    前記第１〜第Ｎの低周波数帯域成分の時間エンベロープから算出した時間エンベロープと、上記高周波数帯域成分の時間エンベロープとの相関に基づいて、時間エンベロープ情報を算出することを特徴とする請求項１０〜１２のいずれか１項に記載の音声符号化装置。
14. 音声信号を符号化した符号化系列を復号する音声復号方法であって、
    非多重化手段が、前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、
    低周波数帯域復号手段が、前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、
    周波数変換手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、
    高周波数帯域符号化系列解析手段が、前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、
    符号化系列復号逆量子化手段が、前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、
    高周波数帯域生成手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成ステップと、
    第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、
    時間エンベロープ算出手段が、前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、
    時間エンベロープ調整手段が、前記時間エンベロープ算出手段で取得された前記時間エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整ステップと、
    信号出力手段が、前記時間エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力ステップと、
    を備え、
    前記時間エンベロープ算出ステップでは、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号方法。
15. 音声信号を符号化した符号化系列を復号する音声復号方法であって、
    非多重化手段が、前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、
    低周波数帯域復号手段が、前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、
    周波数変換手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、
    高周波数帯域符号化系列解析手段が、前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、
    符号化系列復号逆量子化手段が、前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、
    高周波数帯域生成手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成ステップと、
    第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、
    時間エンベロープ算出手段が、前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、
    周波数エンベロープ重畳手段が、前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を、前記高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳ステップと、
    時間周波数エンベロープ調整手段が、前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整ステップと、
    信号出力手段が、前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力ステップと、
    を備え、
    前記時間エンベロープ算出ステップでは、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号方法。
16. 音声信号を符号化した符号化系列を復号する音声復号方法であって、
    非多重化手段が、前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化ステップと、
    低周波数帯域復号手段が、前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号ステップと、
    周波数変換手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換ステップと、
    高周波数帯域符号化系列解析手段が、前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析ステップと、
    符号化系列復号逆量子化手段が、前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化ステップと、
    高周波数帯域生成手段が、前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成ステップと、
    低周波数帯域時間エンベロープ算出手段が、前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出ステップと、
    時間エンベロープ算出手段が、前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出ステップと、
    周波数エンベロープ算出手段が、前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出ステップと、
    時間周波数エンベロープ調整手段が、前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整ステップと、
    信号出力手段が、前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力ステップと、
    を備え、
    前記時間エンベロープ算出ステップでは、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号方法。
17. 音声信号を符号化する音声符号化方法であって、
    周波数変換手段が、前記音声信号を周波数領域に変換する周波数変換ステップと、
    ダウンサンプリング手段が、前記音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリングステップと、
    低周波数帯域符号化手段が、前記ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化ステップと、
    第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段が、前記周波数変換手段によって周波数領域に変換された前記音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎの低周波数帯域時間エンベロープ算出ステップと、
    時間エンベロープ情報算出手段が、前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の前記時間エンベロープを用いて、前記周波数変換手段によって変換された前記音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出ステップと、
    補助情報算出手段が、前記音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出ステップと、
    量子化符号化手段が、前記補助情報算出手段によって生成された前記高周波数帯域生成用補助情報、および前記時間エンベロープ情報算出手段によって算出された前記時間エンベロープ情報を量子化および符号化する量子化符号化ステップと、
    符号化系列構成手段が、前記量子化符号化手段によって量子化および符号化された前記高周波数帯域生成用補助情報および前記時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成ステップと、
    多重化手段が、前記低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、前記符号化系列構成手段によって構成された前記高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化ステップと、
    を備え、
    前記時間エンベロープ情報算出ステップでは、前記高周波数帯域成分の時間エンベロープを取得するための複数の所定の処理を切り替えるための前記時間エンベロープ情報を算出する、
    音声符号化方法。
18. 音声信号を符号化した符号化系列を復号する音声復号プログラムであって、
    コンピュータを、
    前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、
    前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段、
    前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、
    前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段、
    前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、
    前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、
    前記時間エンベロープ算出手段で取得された前記時間エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープを調整する時間エンベロープ調整手段、及び
    前記時間エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段、
    として機能させ、
    前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号プログラム。
19. 音声信号を符号化した符号化系列を復号する音声復号プログラムであって、
    コンピュータを、
    前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、
    前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段、
    前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、
    前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段、
    前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、
    前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、
    前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を、前記高周波数帯域の時間エンベロープに重畳して時間周波数エンベロープを取得する周波数エンベロープ重畳手段、
    前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ重畳手段で取得された時間周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段、及び
    前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段、
    として機能させ、
    前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号プログラム。
20. 音声信号を符号化した符号化系列を復号する音声復号プログラムであって、
    コンピュータを、
    前記符号化系列を、低周波数帯域符号化系列と高周波数帯域符号化系列とに非多重化する非多重化手段、
    前記非多重化手段によって非多重化された前記低周波数帯域符号化系列を復号して低周波数帯域信号を得る低周波数帯域復号手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号を、周波数領域に変換する周波数変換手段、
    前記非多重化手段によって非多重化された前記高周波数帯域符号化系列を解析して、符号化された高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を取得する高周波数帯域符号化系列解析手段、
    前記高周波数帯域符号化系列解析手段によって取得された前記高周波数帯域生成用補助情報、周波数エンベロープ情報、および時間エンベロープ情報を復号および逆量子化する符号化系列復号逆量子化手段、
    前記低周波数帯域復号手段によって得られた前記低周波数帯域信号から、前記符号化系列復号逆量子化手段で復号された前記高周波数帯域生成用補助情報を用いて、前記音声信号の高周波数帯域成分を生成する高周波数帯域生成手段、
    前記周波数変換手段によって周波数領域に変換された前記低周波数帯域信号を分析して、複数の低周波数帯域の時間エンベロープを取得する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、
    前記符号化系列復号逆量子化手段によって取得された前記時間エンベロープ情報、および前記低周波数帯域時間エンベロープ算出手段により取得された前記複数の低周波数帯域の時間エンベロープを用いて、高周波数帯域の時間エンベロープを算出する時間エンベロープ算出手段、
    前記符号化系列復号逆量子化手段によって取得された前記周波数エンベロープ情報を用いて、周波数エンベロープを算出する周波数エンベロープ算出手段、
    前記時間エンベロープ算出手段で取得された前記時間エンベロープ、および前記周波数エンベロープ算出手段で取得された周波数エンベロープを用いて、前記高周波数帯域生成手段で生成された高周波数帯域成分の時間エンベロープと周波数エンベロープを調整する、時間周波数エンベロープ調整手段、及び
    前記時間周波数エンベロープ調整手段により調整された前記高周波数帯域成分と、前記低周波数帯域復号手段によって復号された前記低周波数帯域信号とを加算し、全周波数帯域成分を含む時間領域信号を出力する信号出力手段、
    として機能させ、
    前記時間エンベロープ算出手段は、予め複数用意された前記複数の低周波数帯域の時間エンベロープを用いた所定の処理を前記時間エンベロープ情報を基に切り替えて実施することにより、前記高周波数帯域の時間エンベロープを算出する、
    音声復号プログラム。
21. 音声信号を符号化する音声符号化プログラムであって、
    コンピュータを、
    前記音声信号を周波数領域に変換する周波数変換手段、
    前記音声信号をダウンサンプリングして低周波数帯域信号を取得するダウンサンプリング手段、
    前記ダウンサンプリング手段で取得した低周波数帯域信号を符号化する低周波数帯域符号化手段、
    前記周波数変換手段によって周波数領域に変換された前記音声信号の低周波数帯域成分の時間エンベロープを複数算出する第１〜第Ｎ（Ｎは２以上の整数）の低周波数帯域時間エンベロープ算出手段、
    前記第１〜第Ｎの低周波数帯域時間エンベロープ算出手段により算出された低周波数帯域成分の前記時間エンベロープを用いて、前記周波数変換手段によって変換された前記音声信号の高周波数帯域成分の時間エンベロープを取得するために必要な時間エンベロープ情報を算出する時間エンベロープ情報算出手段、
    前記音声信号を分析し低周波数帯域信号から高周波数帯域成分を生成するために用いる高周波数帯域生成用補助情報を算出する補助情報算出手段、
    前記補助情報算出手段によって生成された前記高周波数帯域生成用補助情報、および前記時間エンベロープ情報算出手段によって算出された前記時間エンベロープ情報を量子化および符号化する量子化符号化手段、
    前記量子化符号化手段によって量子化および符号化された前記高周波数帯域生成用補助情報および前記時間エンベロープ情報を高周波数帯域符号化系列へと構成する符号化系列構成手段、及び
    前記低周波数帯域符号化手段によって取得された低周波数帯域符号化系列と、前記符号化系列構成手段によって構成された前記高周波数帯域符号化系列とが多重化された符号化系列を生成する多重化手段、
    として機能させ、
    前記時間エンベロープ情報算出手段は、前記高周波数帯域成分の時間エンベロープを取得するための複数の所定の処理を切り替えるための前記時間エンベロープ情報を算出する、
    音声符号化プログラム。

Images