JP3811110B2 - ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 - Google Patents
ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3811110B2 JP3811110B2 JP2002244408A JP2002244408A JP3811110B2 JP 3811110 B2 JP3811110 B2 JP 3811110B2 JP 2002244408 A JP2002244408 A JP 2002244408A JP 2002244408 A JP2002244408 A JP 2002244408A JP 3811110 B2 JP3811110 B2 JP 3811110B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- decoded
- digital signal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は音声、音楽などの音響信号や画像信号などの各種ディジタル信号を表現するビット数を削減する方法、特に許容歪を制御可能な符号化方法、その復号化方法、それらの装置及びプログラムに関する。
【０００２】
【従来の技術】
音声、画像などの情報を圧縮する方法として歪を許す非可逆な符号化と、歪を許さない可逆な符号化がある。非可逆な圧縮としてはITU-T(International Telecommunications Union-Telecom Standardization)やISO/IEC MPEG (International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group)の標準として種々の方法が知られている。これらの非可逆圧縮方法を使うとわずかの歪に押さえつつ、もとのディジタル信号を1/10以下までに圧縮することが可能である。しかし、その歪は符号化条件や入力信号に依存し、用途によっては再生信号の劣化が問題となる場合がある。
【０００３】
一方、もとの信号を完全に再現できる可逆な圧縮方法として、コンピュータのファイルやテキストの圧縮によく使われているユニバーサルな圧縮符号化が知られている。これは入力系列の統計を学習しながら、どのような信号に対しても圧縮が可能で、テキストなどには1/2程度まで圧縮できるが、音声や画像のデータに直接適用しても圧縮効果は２割程度にとどまる。
圧縮率の高い非可逆の符号化を行い、その再生信号と原信号の誤差を可逆に圧縮することを組み合わせることで圧縮率の高い非可逆符号化と可逆の圧縮との両方を柔軟に使い分けることが可能となる。
【０００４】
この組み合わせ圧縮方法を特開2001-44847公報「符号化方法、可逆復号化方法、これらの装置及びその各プログラム記録媒体」で本発明者は提案した。この方法は前記公報に詳細に示されているが、以下図１を参照して簡単に説明する。
符号器では、ディジタル入力信号（以下、入力信号サンプル系列とも呼ぶ）が、入力端子100から入力され、フレーム分割部110で、その入力信号サンプル系列が、例えば1024個の入力信号サンプルからなるフレーム単位に、順次分割される。
【０００５】
非可逆量子化部120で、フレーム分割部110の出力が非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記入力信号が音声信号であればITU-Tの音声符号化などが利用でき、音楽であればMPEGまたはＴwinＶＱ(Transform-Domain Weighted Interleaved Vector Quantization)などが利用でき、映像であればMPEGなどが利用できる。その他、前記公報で示す各種非可逆量子化法を用いることもできる。なお、非可逆量子化部120からの出力を「非可逆圧縮符号I(n)」と称する。
【０００６】
非可逆量子化部120に対応する復号部（即ち、逆量子化部230）と同様構成の逆量子化部130で、非可逆圧縮符号I(n)から局部再生信号が生成される。局部再生信号と元のディジタル入力信号との誤差信号が減算部140で求められる。通常、この誤差信号の振幅は、元のディジタル入力信号の振幅よりもかなり小さい。よって、ディジタル入力信号をそのまま可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
この可逆圧縮符号化の効率を上げるために、並び替え部160が、誤差信号（即ち、ビット列）のビットを並び替える。並び替え部160による処理の詳細を図２を参照して以下に説明する。ディジタル入力信号（図２Ａ）では、２の補数表現で、各サンプル値（振幅）の正負の整数が表現される。ディジタル入力信号とそのディジタル入力信号に対応する局部再生信号との誤差信号サンプルを図２Ｂに示す。並び替え部160は、この誤差信号（即ち、ビット列）を、２の補数表現によるビット列から、符号絶対値表現（極性と絶対値の２進数）によるビット列へ変換する（図２Ｃ）。変換後の誤差信号では、ＭＳＢ（Most Significant Bit：最上位ビット）〜第２ＬＳＢ（Least Significant Bit：最下位ビット）が振幅の絶対値を示し、ＬＳＢが振幅の極性符号を示す。
【０００７】
次に、並び替え部160は、符号絶対値表現に変換後の誤差信号サンプルを、それぞれの対応ビット位置（ＭＳＢ，第２ＭＳＢ，…，ＬＳＢ）毎に、即ち、図２の時間軸方向に連結する（図２Ｄ）。この各ビット列（即ち、同じビット位置の1024個のビットからなるビット列）を以下「等位ビット列」と称する。以上の並び替えでは、各誤差信号の値はまったく変らない。ところが、誤差信号は振幅が小さいので、並び替え部160の出力では、上位のビットは全て“０”となることが多い。その結果、“０”が連続することによって、誤差信号の可逆圧縮符号化効率が上がる。
【０００８】
次に、可逆符号化部150で、並び替え部160の出力が可逆圧縮符号化される。可逆符号化部150は、例えば、連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などにより等位ビット列を可逆圧縮符号化し、復号器２０に送る。並び替え部160の出力に、テキスト等を可逆に圧縮するユニバーサル符号化を適用することでも圧縮効率が改善される。
以上の処理によって、符号器は、非可逆量子化部120からの非可逆圧縮符号I(n)と可逆符号化部150からの可逆圧縮符号I(e)とを出力する。
【０００９】
復号器２０では、可逆復号化部210が、可逆圧縮符号I(e)を復号化する。そして、並び替え部220が、並び替え部160と逆の処理を行うことによって、誤差信号をフレーム単位で順次出力する。また、逆量子化部230が、非可逆圧縮符号I(n)を復号化する。加算部240が、逆量子化部230の出力と並び替え部160の出力とを加算する。最後に、フレーム合成部250が、加算部240の出力を順次連結することによって、元の入力信号サンプル系列を再生する。以上の処理によって、該入力信号サンプル系列が、出力端子260から出力される。
【００１０】
【発明が解決しようとする課題】
この従来の符号化方法は、伝送路上においてビット欠落が生じると復号器２０の並び替え部により再構築する各サンプルに他のサンプルのビットが混入し、復号信号に大きな品質劣化が生じるもんだいがある。また、実現可能な圧縮率は約1/2程度であり、品質をほとんど損なわずに1/3とか1/4の圧縮や精度を保障した圧縮は実現できない。
また原信号の振幅を表現するディジタル値のビット数を１ビット削減しても削減しない場合と同じ精度を保障した波形再生が可能であるが、一般に４ビット以上削減すると聴感上、大きな量子化雑音が聞こえてしまうという問題があった。
【００１１】
この発明の第１の目的は、伝送路でビット欠落が生じても、復号信号にそれほど大きな品質劣化が生じない符号化方法と復号方法及びそれらの装置を提供することである。この発明の第２の目的は、ディジタル信号を制御された歪内で、その情報を圧縮することと広い範囲のビットレートで精度を保障しながら圧縮効率を高める符号化方法、その復号化方法、これらの装置を提供することにある。
【００１２】
【課題を解決するための手段】
この発明によれば、複数のサンプルを含む各フレームごとにディジタル信号を符号化する符号化方法は、以下のステップを含む。
(a) フレームごとのディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成し、
(b) 上記データの組を符号で出力する。
【００１３】
この発明によれば、フレームごとにディジタル信号のサンプルを再生する復号化方法であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
(b) 上記複数の組のデータに基づいてディジタル信号を再生するステップ、
とを含む。
【００１４】
この発明によれば、複数のサンプルからなる各フレームごとにディジタル信号を符号化する符号化器であり、
フレーム毎に上記ディジタル信号のサンプルを，それらの各ビット位置で跨いだビット列の可逆データの複数の組，又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成する手段と、
上記データの組を符号瀬出力する出力手段、
とを含む。
【００１５】
この発明によれば、複数のサンプルから成る各フレーム毎にディジタル信号のサンプルを再生する復号器であり、
入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの復数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するデータ生成手段と、
上記データの組からディジタル信号を再生する手段、
とを含む。
作用
この発明による上記符号化方法、符号器及び復号方法、復号器によれば伝送記録単位データごとにパケット化するため、符号化処理において伝送容量、記憶容量などに応じてパケットを故意に欠落させて情報量を減少させても、この発明の復号化方法によれば、パケットの欠落に対し伝送記録単位データを補正することができる。
【００１６】
この発明の可逆符号化方法によれば伝送記録単位データごとにパケット化するため、伝送容量、記憶容量などに応じてパケットを故意に欠落させて情報量を減少させ、つまり１／３とか１／４の圧縮としても、この発明の可逆復号化方法によれば、パケットの欠落に対し伝送記録単位データを補正することができる。
なおこの明細書においては情報量を調整するために意図的に１フレーム中のパケットを除去したために、復号器において１フレーム中のパケットが全て入力されない場合、あるいは通信網のトラフィック輻輳による交換局などで一部パケットを送出しないために基づく、又は伝送路障害、記録再生装置の異常などに基くパケット欠落の場合、更に入力されたパケット中に誤りがあり、その伝送記録単位データを解読できず、使用することができない場合などを総称でパケット欠落と記す。
【００１７】
【発明の実施の形態】
以下この発明の実施形態を実施例により図面を参照して説明する。各図において既に説明した図と対応する部分には同一番号を付けて説明する。
第 1 実施例
図３にこの発明による符号器１０及び復号器２０の各実施例を示す。この実施例が図１の従来技術と異なる点は、ヘッダ付加部320を設け、パケットで信号を送出することにより、伝送路でのビット欠落による復号信号への品質劣化の影響を軽減するよう構成したことである。
【００１８】
符号器１０において、入力端子からの入力信号サンプル系列はフレーム分割部110で例えば1024個の入力信号サンプル（即ち、n=1024点のサンプル）からなるフレーム単位に順次分割され、この分割された各フレームごとに、入力信号サンプル系列は並び替え部160によりそれぞれのサンプルの振幅ビット列における対応ビット位置のビットがそのフレームにわたって時間方向に連結される。この際入力信号サンプルは正または負の整数の振幅が２の補数表現されているが、その２の補数表現された各サンプルを、従来技術の説明と同様に、この２の補数表現によるビット列を極性絶対値変換部161で、極性符号と絶対値から成るｍビット２進数表現に変換し、その後、1フレームｎ個のｍビットサンプルに対し、ビット配列変換部162で、それぞれのｍビットサンプルの各対応ビット位置のビットをフレームにわたって時間方向に連結したビット配列（即ち、等位ビット列）に並び替えることが好ましい。しかし図中破線で示すように、極性絶対値変換部161を介することなく、ビット配列変換部162で変換、つまり２の補数表現のまま、各対応ビット位置のビットをフレームにわたって時間方向に連結した等位ビット列に並び替えてもよい。
【００１９】
この発明では並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。この単位を以下ブロックと呼ぶが、伝送単位で一般に使用されるパケットとも呼ぶ。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆圧縮符号化され、ヘッダ付加部320により、復号時に、互いに分離された伝送記録単位データを１つのフレームとして再構成可能なように例えば連続番号を含むヘッダが取付けられ、パケットとして出力端子170に出力される。なお可逆符号化部150は従来技術の可逆符号化部150と同様なものである。
【００２０】
通常の入力信号サンプルは２の補数で正負の整数を表現するが、この例では、ディジタル入力信号を極性符号と振幅の絶対値の２進数に変換したあとのフレーム毎の数値列のビット配列組替え、つまり等位ビット列への変換と、伝送記録単位データへの分割の例を図４Ａに示す。極性符号と絶対値表現された各ｍビットサンプル（振幅ビット列）は図４Ａ中の左側に示すように１フレーム分が時間方向に配列されている。ｎ番目のサンプルの振幅ビット列の様子を理解し易いように、太線で囲んだ振幅ビット列DV(n)として示す。ｎはフレーム内の時間軸方向のサンプル番号を表わし、例えばn=1, 2, …, 1024である。後述のように、例えば入力データが音声信号であれば、伝送路でのパケットの欠落によるビットの欠落が生じる場合、各振幅ビット列DV(n)の上位ビット程大きな歪を再生音声品質に与え、極性符号は最も大きな歪を与えることになるので、この例では各振幅ビット列DV(n)の極性符号を絶対値のＭＳＢと隣接させ、図ではＭＳＢの直上に極性符号を位置させている。
【００２１】
このようなサンプル列を、図４Ａの右側に示すようにこの例ではまず各サンプルの振幅値の極性ビット（符号）のみを時間軸方向に連結して、フレーム内で等位ビット列を作る。次にｍビット振幅値のＭＳＢのみをフレーム内で連結して等位ビット列を作り、以下同様にして、順次、各対応ビット位置ごとにフレームにわたってビットを時間方向に連結して等位ビット列を作り、最後にＬＳＢのみをフレーム内で連結して等位ビット列を作る。それらの等位ビット列の１つの例を図４Ａ中右側のビット配列中に太枠でDH(i)として示す。ｉは振幅ビット列DV(n)における各ビット位置を示し、例えばＭＳＢ側からi=1, 2, …, 17である。以上の並び替えではフレーム中に含まれるデータの中身は全く変らない。
【００２２】
伝送記録単位分割部310で、各等位ビット列DH(i)ごとに又は隣接する複数の等位ビット列DH(i)ごとに伝送記録単位データに分割する。この場合、１フレーム中において、伝送記録単位データとして１つの等位ビット列で構成されるものと複数の等位ビット列で構成されるものとが混在してもよい。
このように分割された各伝送記録単位データはヘッダ付加部320で、例えば図４Ｂに示すようにヘッダ３１がその伝送記録単位データ（ペイロード）３２に付けられる。ヘッダ３１には例えばフレーム番号とフレーム内の伝送記録単位データの番号よりなるパケット番号３３と、必要に応じてそのパケットの優先度３４及びデータ長３５が設けられ、復号側でそれらに基づいて各フレームごとにディジタル信号列を再構成できるようにしている。
【００２３】
データ長３５は伝送記録単位データ３２のデータ長が固定であれば必要ないが、可逆符号化部150で圧縮符号化された場合などはデータ長がパケットにより異なることがある。
更に一般にはパケット全体に誤りが生じているか否かを検出するためのＣＲＣ符号などの誤り検出符号３６が最後に付加されて１つのパケット３０が構成され、このパケット３０が出力端子170から出力される。
パケット３０に優先順位がつけられる場合は、振幅ビット列の、より上位のビット位置に対応する伝送記録単位データを含むパケットに、より高い優先度を示す符号を与える。つまり、各等位ビット列DH(i)ごとに伝送記録単位データに分割する場合はDH(i)のｉが小さいデータを含むパケット程、高い優先度を与える。従って、図４Ａの例では、i=1に対応する極性等位ビット列を含むDH(1)に最も高い優先度が与えられる。優先度は振幅ビット列のLSB〜MSBに対し必ずしも全て単調増加の異なる優先度を与える必要はなく、例えば上位複数ビットにはそれぞれ異なる優先度を与え、下位複数ビットに対しては同じ優先度と与えてもよい。即ち、予め決めた優先度の数は振幅ビット列のビット数と等しいか、それより小さくしてもよい。なお後述するが従来技術で説明したように高圧縮の非可逆量子化を併用する場合は、その高圧縮符号化符号を表わすビット列に最も高い優先度を与えてもよい。
【００２４】
復号器２０においては入力端子２００からのパケット３０はその伝送記録単位データが可逆圧縮されている場合は可逆復号化部210（従来技術の可逆復号化部210と同一）で可逆復号され、各伝送記録単位データは伝送記録単位統合部410でそのパケット番号に基づき、複数のパケットより１フレーム分を統合し、例えば図４Ａの右側の等位ビット列DH(i)に示すように統合される。この統合された等位ビット列は並び替え部220で振幅ビット列DV(n)、つまりサンプル列（波形サンプル列）に変換される。この際、各サンプルが極性符号と絶対値で表現したものから伝送記録単位データが作られたものである場合はビット配列逆変換部221で、図４Ａで説明した並び替えと逆に等位ビット列を振幅ビット列に並び替えた後、２の補数変換部222で各振幅ビット列を、２の補数表現に変換する。なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図３中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま復号サンプルとしてフレーム合成部250へ供給される。
【００２５】
この発明では入力されたパケットの一連のパケット番号に欠落が生じていることを欠落検出部420が検出すると、そのパケット番号のパケットが欠落していると判定し、並び替え部220からの振幅ビット列はフレーム合成部250へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（サンプル）に対して行われ、フレーム合成部250へ供給される。
欠落補正部430における補正は既知の情報から欠落した情報を推定して行う。一部のパケット、通常優先度の低いＬＳＢ側のビットが収容されたパケットが欠落した場合、その欠落部分に対応するビットの値が確定できないので小さい数値、例えば０か、その欠落部分のとりうる値の中間値を使って波形を再生せざるを得ない。この場合ＭＳＢ側の確定したビット数の精度は保てるが、ビット欠落による聴覚的ひずみは大きい。この理由は図５に示す模式図のように原音のスペクトルは実線に示すように低域にエネルギーが偏る場合が多く、これに対してビットの欠落によるひずみ成分は破線に示すように平坦に近いスペクトル形状となるのでその高域成分が原音より大きく、雑音として聞こえてしまう。そこで不確定の成分のスペクトルが平均的なスペクトルまたはフレーム毎に確定したスペクトルに近いように不確定な波形の値を補正する。これにより、補正後の歪み成分のスペクトルは図５中の１点鎖線のように高域成分が小さくなり、ひずみが原音にマスクされて品質が改善される。
【００２６】
つまり、過去の数フレームの平均的スペクトル、又は後で述べるように別に得られたそのフレームにおける確定したスペクトルが例えば図５中の実線に近いような場合、当該フレームの欠落情報以外の情報から得られるスペクトルが、図５中の実線に近づくように、欠落情報に対する補正を行う。この補正の好ましい手法は後の実施例で述べる。簡単な手法としては、欠落補正部430でその入力再生サンプル列を低域通過フィルタに通して平滑化して高域の雑音成分を除去すればよい。その低域通過フィルタの遮断特性は、原信号のスペクトル形状（包絡）が予め知られていれば、その特性に応じて高域成分を減衰させるように選定する。あるいは、前述のように平均的なスペクトルを求め又はフレームごとの確定したスペクトルの形状に合せて遮断特性を適応的に変更してもよい。
【００２７】
このように復号器２０でパケット欠落にもとづく情報欠落を補正できるため、必要に応じてＬＳＢ側パケットを意図的に送らず、符号化圧縮効率を大としても、復号器２０で復号が可能となる、あるいは聴感上問題にならない再生を行うことができる。
第２実施例
図６にこの発明の第２実施例を示す。この第２実施例では符号器１０においてフレーム分割部110でフレームごとに分割された入力信号サンプル系列は補助情報生成部350に与えられる。補助情報生成部350はスペクトル包絡算出部351とパワー算出部354と、補助情報符号化部352とから構成されている。フレーム分割部１１０でフレームごとに分割された入力信号サンプル列はスペクトル包絡算出部351でスペクトル包絡を表現するパラメータが、例えば線形予測分析により線形予測係数LPCとして求められ、またパワー算出部354でフレームごとの入力信号サンプル列の平均パワーPaが求められる。
【００２８】
あるいは求めた線形予測係数LPCに基づき構成された逆フィルタ355に入力信号サンプル列を入力してスペクトル包絡を平坦化処理して、その平坦化された信号の平均パワーが平坦化パワー算出部356で求められる。線形予測係数LPC及び平均パワーPaは補助情報符号化部352により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報とされる。この補助情報はヘッダ付加部320へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データを含むパケット内に付加され、あるいは独立したパケットとして出力される。
【００２９】
なお、スペクトル包絡算出部351により求められるスペクトル包絡係数はフレーム長を長くしてもそれ程大きな変化はなく、また、補助情報符号化部340により符号化されたスペクトル包絡係数の情報量もそれ程変化しないので、図中に破線で示すように並び替え部160に与えるディジタル入力信号のフレーム長より長いフレーム長でフレーム分割部110'により分割して補助情報生成部350に与え、可逆圧縮の効率を高めるようにしてもよい。
復号器２０においては入力端子200に入力されたパケットは分離部440において伝送記録単位データと、補助情報とに分離され、伝送記録単位データは可逆復号化部210へ供給され、補助情報は補助情報復号部450へ供給され、補助情報復号部450は当該フレームのスペクトル包絡を表すパラメータ、ここでは線形予測係数LPCと平均パワーPaを復号し、このスペクトル包絡係数LPCと平均パワーPaを欠落補正部430へ供給する。欠落補正部430はこのスペクトル包絡係数LPCと平均パワーPaを、欠落情報の補正に用い、例えば実施例１で述べたように欠落情報に対する補正を行う。
【００３０】
あるいは欠落情報（ビット）のとり得る値の各組み合せを、各サンプル値に加算し、補正サンプル列（波形）の候補を作り、これら候補のスペクトル包絡を求め、そのスペクトル包絡が補助情報の復号スペクトル包絡と最も近いものと対応する補正サンプル列（波形）候補を、補正サンプル列としてフレーム合成部250へ出力する。なお図６において可逆符号化部150、可逆復号化部210を省略してもよい。
補助情報による補正
欠落情報の取り得る値の各組み合わせを用いて補正サンプル列の候補を作る場合、欠落情報（ビット）が多くなると、補正サンプル列（波形）候補が著しく多くなり、処理量が非現実的になるおそれがある。このような問題がないようにする欠落補正部430の処理、及びその機能構成について以下に説明する。
【００３１】
図７にその処理手順の一例を、図８に欠落補正部430の機能構成の一例をそれぞれ示す。まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。
この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、欠落４ビットの値は０〜１５までの値のどれかであるが、仮に８または７に設定する。
【００３２】
次にこの暫定波形のスペクトル包絡係数をスペクトル包絡算出部432で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡係数を推定できる。一方、誤差計算部433で、受信された補助情報Axが補助情報復号部450で復号されて原音のスペクトル包絡係数が得られ、その原音スペクトル包絡を暫定波形のスペクトル包絡係数と比較して、誤差が許容範囲内であれば暫定波形を補正された出力波形信号としてスイッチＳＷ１を介してフレーム合成部250へ出力する（Ｓ３）。
【００３３】
ステップＳ３において、推定スペクトル包絡係数と復号スペクトル包絡係数との誤差が許容範囲内でない場合には、まず推定した暫定波形のスペクトル包絡係数の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めた暫定波形のスペクトル包絡係数を表す線形予測計数を用いて例えば全極型の線形予測係数の逆フィルタ（全零型）434にスイッチＳＷ２を介して与えられた暫定波形を通過させることで暫定波形のスペクトルを平坦化する。
次にこのスペクトルが平坦化された波形信号の平均パワーをパワー計算部438で計算し、その平均パワーと、補助情報復号部450からの復号された平均パワーとから補正量を補正量計算部439で計算し、例えば両者の比又は差をとり、その補正量によりパワー補正部501で平坦化信号に対し振幅補正を行う。つまり、逆フィルタ434の出力に対し補正量を乗算又は加算して復号パワーに合わせる(Ｓ５)。次に振幅補正された平均化信号に対して補助情報のスペクトル包絡係数を乗算してスペクトル包絡係数が補正された暫定波形を生成する（Ｓ６）。即ち補助情報のスペクトル包絡を表わすパラメータLPCを用いた全極型の合成フィルタ435にパワー補正部501の出力を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原音に近いものになる。
【００３４】
ただしこのスペクトル補正波形の振幅値は欠落波形の振幅値中のすでに確定されているビットと矛盾するビットを含む可能性があるので、正しい値に修正部436で修正する（Ｓ７）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各サンプルのとりうる値の不確定幅は１６であるので、それらの取り得る値中からスペクトル補正波形と最も近い値に修正する。つまり各サンプルにおいて補正したサンプル値がとり得る範囲(XXXXXXXXXXXX0000〜XXXXXXXXXXXX1111)から外れた場合は、とり得る範囲のスペクトル補正波形のサンプルと最も近い限界値に修正する。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原音のものに近づく。
【００３５】
この修正波形をステップＳ１の暫定波形としてスイッチＳＷ３を介して暫定波形生成部431に戻してステップＳ２以後の処理を繰り返すことができる。なお波形（サンプル値）は整数値が前提であるが、フィルタ計算では実数扱いとなり、フィルタの出力値の整数化が必要になる。合成フィルタの場合にはサンプルごとに整数化するか、フレーム毎にあとで一括して整数化するかで結果は異なるが、どちらも可能である。
図７及び図８中に破線で示すように、ステップＳ４で暫定波形を平坦化した後、まずこの平坦化された暫定波形（平坦化信号）を合成フィルタ435へ通して、スペクトル包絡補正した再構成サンプル系列（波形）を得（Ｓ５′）、そのスペクトル包絡補正された波形に対しパワー補正部501'で振幅補正をして（Ｓ６’）、ステップＳ７に移るようにしてもよい。この場合は、合成フィルタ435からのスペクトル包絡補正された波形の平均パワーがパワー計算部438'で計算され、この平均パワーと、補助情報の復号パワー（符号器１０中のパワー算出部356の出力）とにより補正量計算部439'で補正量が求められ、その補正量により合成フィルタ435の出力に対してパワー補正部501'で振幅補正が行われる。
【００３６】
次に補助情報を用いた欠落情報補正処理の他の例を図９を参照して説明する。ステップＳ１〜Ｓ３、Ｓ６は図７に示した処理中のステップＳ１〜Ｓ３、Ｓ７とそれぞれ同一処理である。この例では図９のステップＳ４において、ステップＳ２で推定したスペクトル包絡に対する逆特性の逆フィルタ434と補助情報中のスペクトル包絡を表す線形予測係数LPCを用いた合成フィルタ435とを合体した１つの合成フィルタ部435'のフィルタ係数を計算し（Ｓ４）、ステップＳ５でこの合成フィルタに暫定波形を通して補正波形を合成する。その補正されたスペクトル包絡波形に対し振幅補正を行う(Ｓ６)。この振幅補正は図８中に破線で示すパワー計算部438'、補正量計算部439'、パワー補正部501'により行う。
【００３７】
図９に示した処理の機能構成は、図８中に破線で示すように、スペクトル包絡算出部432からの推定スペクトル包絡係数と補助情報復号部450からの復号スペクトル包絡係数とから、逆フィルタ434と合成フィルタ435を組み合せたひとつの合成フィルタ部435'のフィルタ係数が合成スペクトル包絡計算部437で計算され、そのフィルタ係数が合成フィルタ部435'に設定され、この合成フィルタ部435'に暫定波形が通される。その合成フィルタ438の出力に対し、パワー補正部501'で振幅補正が行われる。
【００３８】
この合成フィルタ部435'のフィルタ係数の計算は例えば図１０に示すように、暫定波形スペクトル包絡係数として得た線形予測係数を係数変換部437ａで線形予測ケプストラム係数Caに変換し、また補助情報復号スペクトル包絡係数として得た線形予測係数を係数変換部437ｂで線形予測ケプストラム係数Cbに変換し、これら係数Ca，Cbを減算部437ｃで減算してCb-Caを求め、このCb-Caを逆変換部437ｄで線形予測係数に逆変換し、この線形予測係数を合成フィルタ438のフィルタ係数に用いればよい。この予測係数への変換は例えば特開平8-248996号「ディジタルフィルタのフィルタ係数決定方法」に記述されている方法を使えばよい。
【００３９】
この図９に示した処理では、合成スペクトル包絡計算部437による計算が必要であるが、暫定波形に対するフィルタ処理演算は１回ですむ。図７及び図９に示した補正処理を周波数領域に変換して行ってもよい。
図７及び図９に示した各フローチャートのループ中でステップＳ６(又はＳ５’)，Ｓ５における補助情報から復号されたLPCに基づくスペクトル補正は原音と再生信号のスペクトル歪を小さくするもので、ステップＳ７の補正は原音と再生信号の波形歪を小さくするものであり、補正量を小さくして補正波形の発散を防ぐことができる。その方法として、図７、図９に示した例では逆フィルタ434の線形予測係数αk及び合成フィルタ435，438の線形予測係数βk, βk'の両方ともに１未満の定数γのｋ乗(γk)をかける方法がある（ｋはパラメータの次数）。図１０に示した例では線形予測ケプストラム係数Ca, Cbすべてに１未満の定数をかければよい。また図７及び図９における繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
【００４０】
なお前記αk, βk, βk'にγkを乗算すること、線形予測ケプストラム係数に１未満の定数を乗算することは、スペクトル包絡特性の帯域を拡大した予測計数を乗算することになり、暫定波形（サンプル列）のスペクトル包絡、補助情報の復号スペクトル包絡をそれぞれなまらせることになる。
図７及び図９において、ステップＳ３を省略し、ステップＳ１，Ｓ２，Ｓ４，Ｓ５（Ｓ５’），Ｓ６（Ｓ６’）、Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正波形（サンプル列）を出力してもよい。また図中に示すように、ステップＳ３において繰り返しが規定回数以上になると、その最終に得られた修正波形を出力してもよい。
第３実施例
従来技術の図１を参照して説明した、圧縮率の高い非可逆符号化と、その再生信号と原信号の誤差信号の可逆圧縮とを組み合せる符号化方法にこの発明を適用した第３実施例を図１１に示す。図１で説明したと同様に符号器１０では入力端子100からのディジタル入力信号列は圧縮率の高い非可逆量子化部120により、非可逆量子化され、その量子化情報は逆量子化部130で逆量子化（即ち復号）され、この逆量子化された信号（再生信号）と入力端子100からの原ディジタル入力信号列との差が減算部140でとられ、この差分信号である誤差信号がフレーム分割部110へ供給される。つまりこのフレームごとの誤差信号に対し、前述したようにビット配列の並び替え、伝送記録単位データへ分割、伝送記録単位データの可逆圧縮が行われ、ヘッダ付加部320でヘッダ３１が付けられてパケット化される。
【００４１】
非可逆量子化部120からの量子化符号I(n)もヘッダ付加部320へ供給されて、ヘッダ３１が付けられてパケットを構成する。この際、優先度を付ける場合にこの量子化符号のビット列に対して最も高い優先度を示す符号を与える。また、図４には線で示したように、誤差信号又サンプル列は原入力信号サンプル列のスペクトル包絡を表現するパラメータと平均パワーとが補助情報として補助情報生成部350で生成され、独立したパケットとして、又は優先度の高いパケット内に格納されて送出される。
【００４２】
復号器２０は原音合成後、即ち、逆量子化により再生した原音信号波形の概形と誤差波形を加算器240で加算して原音信号波形を再生した後に補正を行う例であって、入力端子200に入力されたパケットから非可逆量子化符号I(n)と、補助情報と、伝送記録単位データとが分離部440で分離され、非可逆量子化符号I(n)は逆量子化部230で逆量子化され、補助情報は補助情報復号部450で復号され、復号されたスペクトル包絡を表すパラメータ及び平均パワーが欠落補正部430へ供給される。一方、伝送記録単位データは前述したように可逆伸張、伝送記録単位統合、並び替えが順次行われ、振幅ビット列、つまり誤差信号サンプル列が再生され、この再生誤差信号と逆量子化部230からの逆量子化信号とが加算部240で加算される。この加算信号は、欠落検出部420よりパケット欠落が検出された場合は欠落補正部430へ供給される。
【００４３】
欠落補正部430における補正方法は上述した各種の手法の何れを用いてもよい。補助情報復号スペクトル包絡を表わすパラメータを利用する場合に、逆量子化部230で対応スペクトル包絡を表わすパラメータを得ることができる場合は、これを利用してもよい。あるいは図中に破線で示すように符号器１０ではフレーム分割部110の出力誤差信号、又はフレーム分割部110'によりフレームに分割された入力端子100からの入力信号から補助情報生成部350で補助情報を生成し、この補助情報を何れかのパケット内に加えるか、独立したパケットにより出力する。復号器２０では分離部440で補助情報を分離し、その補助情報を補助情報復号部450で復号して欠落補正部430へ供給すればよい。
【００４４】
このように非可逆量子化符号と誤差信号を用いる場合は、復号器２０において原音合成前の誤差信号に対し、欠落情報補正を行ってもよい。即ち、例えば図１２に示すように並び替え部220からの並び替え出力をパケット欠落の場合は欠落補正部430へ供給して欠落情報を補正して、フレーム合成部250へ供給する。この欠落補正部430での補正は前述した各種の手法を用いることができ、補助情報復号スペクトル包絡を用いる場合は、補助情報復号部450の復号化出力を用い、あるいは逆量子化部230で対応するスペクトル包絡を表わすパラメータが得られる場合はこれを利用してもよい。フレーム合成部250から再生誤差信号と逆量子化部230からの逆量子化信号とを加算部240で加算して原音信号を再生する。
【００４５】
図１1及び１２で示した実施例においても、補助情報として平均パワーを使用しないでもよい。
図１１に示したように符号器１０において、誤差信号に対してフレーム分割部110でフレーム分割する場合は、非可逆量子化部120における量子化処理のフレーム（例えば1024サンプル）に対し、フレーム分割部110の分割フレームを長く、例えば１６倍程度にすることにより、可逆符号化部150における圧縮効率を高くすることができる。しかしフレーム分割部110での分割フレーム長を余り長くすると復号の際にそれだけ遅れが長くなる。
【００４６】
図６、図１１に示した各実施例において、並び替え部160は必ずしも極性絶対値変換部161を設けなくてもよい。つまり２の補数表現のままビット配列並び替えを行ってもよい。この場合は可逆符号化の効率が下がるが、圧縮率より振幅分解能の選択（振幅精度のスケーラビリティ）のみが問題となる用途に有効である。
図１１、図１２に示した例においては、再生信号の忠実性の要求に応じて端子260からの信号のみならず、逆量子化部230からの出力を再生信号としてもよい。
上述した各実施例において符号器１０、復号器２０はそれぞれコンピュータにより可逆符号化プログラム、可逆復号化プログラムを実行させて機能させることもできる。これらの場合は、そのコンピュータのプログラムメモリに、可逆符号化プログラム、可逆復号化プログラムを、CD-ROM、可撓性磁気ディスクなどから、又は通信回線を通じてダウンロードして利用することになる。
【００４７】
この発明の効果を計算機シミュレーションを、第３実施例（符号化は図１１、復号化は図１２）について行った。誤差信号のサンプル値の桁数（極性信号を含める）を１６とし、第６〜１０ビットが欠落し、欠落補正部430で誤差信号を低域通過フィルタにより平滑化して補正し、復号信号（出力端子260）の聴感補正したＳＮＲ（Weighted SNR）と、復号信号の原音信号に対するケプストラム距離（スペクトル包絡の歪）とを求めた。その結果を図１３Ａ，１３Ｂに示す。参考のために欠落情報の補正を行わない場合のＳＮＲとケプストラム距離も示した。これらより、第６ビットが欠落した場合、この発明による欠落の情報補正（欠落補正）をした場合は、欠落補正しない場合より可成り改善されることが理解される。
第４実施例
図１４にこの発明による符号器１０及び復号器２０の他の実施例を示す。この実施例は図６の実施例における補助情報生成部350を変形したものである。前述のように、符号器１０において、入力端子100からの入力信号サンプル系列はフレーム分割部110で例えば1024個のサンプルからなるフレーム単位に順次分割される。この実施例では、補助情報生成部350内の有効桁数検出部353でフレームごとの入力ディジタル信号の絶対値の最大値を表現する桁数が有効桁数Ｆｅとして検出される。
【００４８】
フレーム分割部110で分割された各フレームごとに、入力信号サンプル系列はその有効桁数以内の部分のみが並び替え部160により各サンプル（振幅ビット列）における対応ビットが時間方向に配列される。この際、各入力信号サンプルは正または負の整数の振幅が２の補数表現されているが、その２の補数表現された各サンプルを、従来技術の説明と同様に、極性絶対値変換部１６１で、極性符号と絶対値の２進数表現に変換し、その後、ビット配列変換部１６２で、それぞれのサンプル（振幅ビット列）の対応ビット（桁）を時間方向に連結したビット配列（等位ビット列）にならびかえることが好ましい。しかし図中破線で示すように、極性絶対値変換部１６１を介することなく、つまり２の補数表現のまま、ビット配列変換部１６２で各対応ビットを時間方向にビット結合した等位ビット列にならびかえてもよい。
【００４９】
つまり、通常の入力信号サンプルは２の補数で正負の整数を表現するが、この例では、入力信号サンプルを極性符号と振幅の絶対値の２進数に変換したあとの数値に組替えた後、等位ビット列への変換を行い、更に、伝送記録単位分割部310で伝送記録単位データへの分割を行っている。その例を図１５Ａに示す。極性符号と絶対値表現された各サンプルは図１５Ａ中の左側の振幅ビット列に示すように１フレーム分が時間方向に順次配列されている。１つの振幅ビット列の様子を理解し易いように、太線で囲んだ振幅ビット列DV(n)として示す、ｎはフレーム内の時刻を表わし、例えばn=1, 2, …, 1024である。この例では各振幅ビット列DV(n)の極性符号を絶対値のＭＳＢと隣接させ、図ではＭＳＢの直上に極性符号を位置させている。
【００５０】
このような1フレーム分のそれぞれのサンプルの振幅ビット列の内で最もＭＳＢに近い桁に"1"があるビット位置を検出、ＬＳＢからその桁までの桁数が有効桁数Feとして求まる。この１フレームのディジタル信号中のこの有効桁数以内の範囲361のみと極性符号とをビット列に変換する。つまり有効桁数より上位の桁からＭＳＢまでの範囲362は等位ビット列に変換しない。
このような振幅ビット列データを、図１５Ａの右側に示すようにこの例ではまず各サンプルの振幅の数値の極性ビット（符号）のみを時間方向に連結して、フレーム内で系列（等位ビット列）を作る。次に有効桁数Ｆｅ以内の最も大きな数値に対応する桁のみをフレーム内で連結して系列（等位ビット列）を作り、同様にして、順次、各桁（対応ビット）ごとに時間方向に連結して等位ビット列を作り、最後にＬＳＢのみをフレーム内でつなげたビット列（等位ビット列）を作る。これら等位ビット列の１つの例を図１５Ａ中右側のビット配列太枠でDH(i)として示す。ｉは等位ビット列の作成順を示す。以上の並び替えではフレーム内のデータの中身は全く変らない。
【００５１】
なおディジタル信号が２の補数で正負の整数を表現している場合は例えば図１５Ｂに１フレーム分の振幅ビット列を示すように、絶対値の最大値を表現する桁より、絶対値が大きい部分は、図１５Ｂ中の範囲363に示すように、振幅ビット列が正の値であれば、全て"0"となり、負の値であれば全て"1"となる。このような部分以外の範囲364の桁数が有効桁数として検出される。この範囲364とこれと隣接したビット（桁）、つまり極性符号についてのみ、図１５Ｂの右側に示すように、等位ビット列への変換を行えばよい。
【００５２】
並び替え部160からの出力は伝送記録単位分割部310で、各等位ビット列DH(i)ごとに又は隣接する複数の等位ビット列DH(i)ごとに伝送記録単位データに分割する。この場合、１フレーム中において、伝送記録単位データとして１つの等位ビット列で構成されるものと複数の等位ビット列で構成されるものとが混在してもよい。
このように分割された各伝送記録単位データはヘッダ付与部320で、例えば図４Ｃに示したと同様にヘッダ３１がその伝送記録単位データ（ペイロード）３２に付けられる。
【００５３】
この第４実施例では補助情報生成部350はスペクトル包絡算出部351、補助情報符号化部352、有効桁数検出部353、パワー算出部354を有しており、フレーム分割部110からの入力信号サンプル列から有効桁数検出部353で検出した有効桁数Feが補助情報符号化部352で符号化されて送出される。あるいは、各サンプルがｍビット構成とすると、う浮こう桁数Feの代りにm-Feを符号化して送ってもよいことは明らかである。この例では更に、フレーム分割部110でフレームごとに分割された入力信号サンプル列はスペクトル包絡算出部351において例えば線形予測分析により線形予測係数LPCがスペクトル包絡を表現するパラメータとして求められ、またパワー算出部354でフレームごとの分割されたサンプル列の平均パワーPaが算出される。あるいはスペクトル包絡算出部351で求めた線形予測係数LPCに基づき構成した逆フィルタ355に入力信号サンプル列を入力してそのスペクトル包絡を平坦化処理し、その平坦化された信号の平均パワーPaがパワー算出部356で求められる。
【００５４】
これら線形予測係数ＬＰＣ及び平均パワーPaも補助情報符号化部340により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報とされる。この有効桁数Fe、スペクトル包絡のパラメータLPC、平均パワーPaを符号化した補助情報はヘッダ付加部320へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。なお図中に破線で示すように、図６の実施例と同様にスペクトル包絡のパラメータLPC、平均パワーPa等の補助情報をフレーム分割部110'により、フレーム分割部110による分割長より長いフレーム長で分割された入力信号フレームに対して取得することにより、可逆圧縮の効率を高めるようにしてもよい。
【００５５】
復号器２０においては入力端子200に入力されたパケット３０は分離部440において伝送記録単位データと、補助情報とに分離され、伝送記録単位データは可逆復号化部210（図１の復号化部210と同一）へ供給され、補助情報は補助情報復号部450へ供給され、補助情報復号部450は当該フレームの有効桁数Fe、スペクトル包絡を表すパラメータLPC及び平均パワーPaを復号し、有効桁数Feを桁合せ部460へ供給し、スペクトル包絡パラメータLPC及び平均パワーPaを欠落補正部430へ供給する。欠落補正部430、補助情報復号部450、桁合せ部460は情報補正部480を構成している。
【００５６】
伝送記録単位データはそれが可逆圧縮されている場合は可逆復号化部210で可逆復号され、各伝送記録単位データは伝送記録単位統合部410でそのパケット番号に基づき、複数のパケットより１フレーム分を統合し、例えば図１５Ａの右側の等位ビット配列に示すように統合される。この統合されたデータは並び替え部220で等位ビット列から振幅ビット列、つまり元のサンプル列（波形）に変換される。この際、各サンプルが極性符号と振幅の絶対値で表現されている場合はビット配列逆変換部221で、図１５Ａで説明した並び替えと逆に等位ビット列を図１５Ｂの右側に示すように振幅ビット列に並び替えた後、２の補数変換部222で、ビット配列逆変換部221からの各振幅ビット列を、２の補数表現に変換し、つまり極性符号が負の振幅ビット列はその"1"と"0"とを入れかえる。
【００５７】
なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図１４中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま桁合せ部460へ供給される。桁合せ部460では各振幅ビット列に対し、復号有効桁数Feに応じた桁合せをする。つまり本来の振幅ビット列のビット数（桁数）ｍになるように、その振幅ビット列の上位に、極性符号が正であれば０を、負であれば１を付け加え、つまり例えば図１５Ｂにおける範囲363のビットを付け加える。この桁合せされた振幅ビット列は、復号サンプルとしてフレーム合成部250へ供給される。
【００５８】
パケット欠落が生じている場合は、そのパケットのパケット番号が欠落検出部420により検出され、並び替え部220からの振幅ビット列は桁合せ部460へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（サンプル）に対し行われて、桁合せ部460へ供給される。
欠落補正部430における補正は既知の情報から欠落した情報を推定して行う。欠落補正部430は前述の各実施例と同様に、過去の数フレームの平均的スペクトル、又は後で述べるように補助情報の復号結果として得られたそのフレームにおける確定したスペクトルに、当該フレームの欠落情報以外の情報から得られるスペクトルが近づくように、欠落情報に対する補正を行う。簡単な補正法としては、欠落補正部430でその入力再生サンプル列を低域通過フィルタに通して平滑化して高域の雑音成分を除去すればよい。その低域通過フィルタの遮断特性は、原信号のスペクトル形状（包絡）が予め知られていれば、その特性に応じて高域成分を減衰させるように選定する。あるいは、前述のように平均的なスペクトルを求め、又はフレームごとの確定したスペクトルの形状に合せて遮断特性を適応的に変更してもよい。
【００５９】
このように復号器２０でパケット欠落にもとづく情報欠落を補正できることを利用し、情報量削減のため必要に応じてＬＳＢ側パケットを意図的に送らず、ビットレートを低くしても、復号器２０で可逆復号が可能となる。あるいは聴感上問題にならない再生を行うことができる。
あるいは欠落情報（ビット）のとり得る値の総ての組み合せを、各サンプル値に加算し、補正サンプル列（波形）の候補を作り、これら候補のスペクトル包絡を求め、そのスペクトル包絡が補助情報の復号スペクトル包絡と最も近いものと対応する補正サンプル列（波形）候補を、補正サンプル列として桁合せ部460へ出力する。なお図１４において可逆符号化部150、可逆復号化部210を省略してもよい。
補助情報による補正
欠落情報のとり得る値の総ての組み合せを用いて補正サンプル列の候補を生成する場合、欠落情報（ビット）が多くなるにつれて、補正サンプル列（波形）候補が著しく多くなり、処理量が非現実的に増加するおそれがある。このような問題を回避する欠落補正部430の処理、及びその機能構成について以下に説明する。
【００６０】
図１６にその欠落情報補正処理手順の一例を、図１７に欠落補正部430の機能構成の一例をそれぞれ示す。ステップＳ１〜Ｓ６の処理は図７のステップＳ１〜Ｓ４、Ｓ６，Ｓ７と同様であり、まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、欠落４ビットの値は０〜１５の値のうちどれかであるが、仮に８または７に設定する。
【００６１】
次にこの暫定波形のスペクトル包絡をスペクトル包絡算出部４３２で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡係数を分析できる。一方、誤差計算部４３３で、受信された補助情報Axが補助情報復号部450で復号されて原音のスペクトル包絡係数が得られ、その原音スペクトル包絡係数を暫定波形のスペクトル包絡係数と比較して誤差が予め決めた値Δｄより小であれば暫定波形を補正された出力波形としてフレーム合成部250へ出力する（Ｓ３）。
【００６２】
ステップＳ３において、推定スペクトル包絡係数と復号スペクトル包絡係数の誤差が予め決めた値Δｄより小でない場合には、まず推定した暫定波形のスペクトル包絡係数の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めた暫定波形スペクトル包絡を表すパラメータを例えば全極型（全零型）の線形予測逆フィルタ434に設定し、暫定波形を逆フィルタ434に通過させることで暫定波形のスペクトルを平坦化して平坦化信号とする。この平坦化信号の平均パワーをパワー計算部438で計算し、この平均パワーと、補助情報復号部450からの復号された平均パワー（符号器１０の平坦化パワー算出部331の出力）とから補正量を補正量計算部439で計算し、例えば両者の比又は差として計算し、その補正量により、パワー補正部501で逆フィルタ434の出力に対し振幅補正を行う、つまり、逆フィルタ434の出力に対し補正量を乗算又は加算して、暫定波形のパワーを復号パワーに合せる（Ｓ５）。
【００６３】
次にこの振幅補正された平坦化信号に対して補助情報のスペクトル包絡の特性を与えてスペクトル包絡を補正する（Ｓ６）。すなわち補助情報の復号スペクトル包絡を表わすパラメータＬＰＣを用いた全極型の合成フィルタ435にパワー補正部501の出力を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原音に近いものになる。
ただしこのスペクトル補正波形は振幅ビット列中のすでに確定しているビットと矛盾する場合があるので、前述と同様に正しい値に修正部436で修正する（Ｓ７）。
【００６４】
この修正波形をステップＳ１の暫定波形としてステップＳ２以後の処理を繰り返すことができる。なお復号有効桁数Feがフレーム毎に異なる場合で、スペクトル包絡算出部432の線形予測分析（ステップＳ２）、逆フィルタ434（ステップＳ４）、合成フィルタ435（ステップＳ６）の各処理の対象となるサンプルが現在のフレームと過去のフレームにまたがる場合がある。この場合には処理の対象は現在のフレームであっても、一つ過去のフレームの有効桁数Feを現在のフレームの有効桁数Feと一致させたうえで分析やフィルタ処理を行う必要がある。一つ過去のフレームの有効桁数Feが現在のフレームの有効桁数よりＮ桁大きい場合には、一つ過去のフレームのサンプルを例えばＮ桁下位にシフトさせて振幅値を縮小させてその有効桁数を現在のフレームの有効桁数に合わせる。逆に一つ過去のフレームの有効桁数が現在のフレームの有効桁数よりＭ桁大きい場合には、過去のフレームのサンプルを例えば浮動小数点表示などで一時的にＭ桁上位にシフトして振幅値を拡大させてその有効桁数を現在のフレームの有効桁数に合わせる。この場合、上位シフトによりレジスタから溢れ出て情報の欠落が大きいときにはその過去のフレームのサンプルの振幅値の精度が落ちているので、過去のフレームのサンプルを使わない、あるいは現在のフレームのサンプルに対する補正処理を省略してもよい。
【００６５】
このような有効桁数の補正は図１６中に破線で示すように、ステップＳ２の分析処理に必要な場合は、その前に、前述した有効桁数補正を行い（Ｓ２′）、ステップＳ４の逆フィルタ処理に必要な場合は、その前に有効桁数補正を行い（Ｓ４′）、ステップＳ６の合成フィルタ処理に必要な場合は、その前に有効桁数補正を行う（Ｓ６′）。また図１７において、スペクトル包絡算出部４３２、逆フィルタ434、合成フィルタ435中の過去のフレームのサンプルを必要とするものに対しては破線で示すように補助情報復号部450から復号された有効桁数Feも供給され、これらスペクトル包絡算出部432、逆フィルタ434、合成フィルタ435において、過去のフレームのサンプルに対する有効桁数を現在フレームの有効桁数に合せる処理を行った後、その本来の処理を行うようにされる。
【００６６】
図１６及び図１７中に破線で示すように、ステップＳ４で暫定波形を平坦化した後、まずこの平坦化された暫定波形（平坦化信号）を合成フィルタ435へ通して、スペクトル包絡補正した再構成サンプル系列（波形）を得（Ｓ５′）、そのスペクトル包絡補正された波形に対しパワー補正部501'で振幅補正をして（Ｓ６”）ステップＳ７に移るようにしてもよい。この場合は、合成フィルタ435からのスペクトル包絡補正された波形の平均パワーがパワー計算部438'で計算され、この平均パワーと、補助情報の復号パワー（符号器１０中のパワー計算部331の出力）とにより補正量計算部439'で補正量が求められ、その補正量により合成フィルタ435の出力に対してパワー補正部501'で振幅補正が行われる。ステップＳ５’の合成フィルタ435による処理が１つ前のフレームとまたがって行われる場合は、ステップＳ５”で示すように予め有効桁数の補正を行う。
【００６７】
補正情報を用いた欠落情報補正処理の更に他の例を図１８を参照して説明する。この欠落情報補正処理は、図８における合成スペクトル包絡計算部437と合成フィルタ部435’を使用した補正処理と同様の原理を使用する。
ステップＳ１〜Ｓ３、Ｓ６は図１６に示した処理中のステップＳ１〜Ｓ３、Ｓ７とそれぞれ同一処理である。この例ではステップＳ３の後、ステップＳ２において推定したスペクトル包絡の逆フィルタ434と補助情報の復号スペクトル包絡の合成フィルタ435を合わせたひとつの合成フィルタ部435'のフィルタ係数を合成スペクトル包絡計算部437で計算し（Ｓ４）、ステップＳ５でこの合成フィルタ部435'に暫定波形を通してスペクトル包絡を補正した波形を合成し、そのスペクトル包絡が補正された波形に対しパワー補正部501'で振幅補正を行う（Ｓ６）。この振幅補正は図１７中に破線で示すパワー計算部438'、補正量計算部439'、パワー補正部501'により行う。この合成フィルタ501'のフィルタ係数の計算は例えば図１０で説明した計算により実施する。
【００６８】
この図１８に示した処理では、合成スペクトル包絡計算部437による合成フィルタ部435’のフィルタ係数の計算が必要であるが、暫定波形に対するフィルタ演算は１回ですむ。図１６及び図１８に示した補正処理を周波数領域に変換して行ってもよい。
図１８中でステップＳ２のスペクトル包絡算出やステップＳ５でスペクトル包絡補正で、過去のサンプルを必要とする場合は、破線で示すようにそのステップＳ２やＳ５の前に前述した有効桁数補正を行う（Ｓ２′又はＳ５′）。
【００６９】
図１６に示したフローチャートのループ中でステップＳ６（又はＳ５′）、及び図１８に示したフローチャートのループ中のＳ５における補助情報から復号したLPCに基づくスペクトル包絡補正は原音と再生信号のスペクトル歪を小さくするもので、両フローチャート中のステップＳ７の補正は原音と再生信号の波形ひずみを小さくするものであるので、ループによるこの操作の繰り返しで収束する保障はないが、図７Ｂ及び９について説明したと同様に、逆フィルタ434の線形予測係数αk、合成フィルタ435，438の線形予測係数βk, βk'のそれぞれに対し定数γkを乗算することにより発散を防ぐことができる。ただし、γは０＜γ＜１であり、ｋはパラメータの次数である。
【００７０】
図１０の構成を使用する場合には、線形予測ケプストラム係数Ca,Cbのすべてに１未満の定数をかければよい。また図１６及び図１８において繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
図１６及び図１８において、ステップＳ３を省略し、ステップＳ１，Ｓ２，Ｓ４，Ｓ５（Ｓ５′），Ｓ６（Ｓ６′），Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正波形（サンプル列）を出力してもよい。また図中に示すように、ステップＳ３において繰り返しが規定回数以上になると、その時最終に得られた修正波形欠落補正部430の出力してもよい。
【００７１】
桁合せ部460は図１４中に破線で示すように、並び替え部220の直後に挿入してもよい。この場合は、欠落補正部430における前述した有効桁数を合わせる処理は不要となる。また図１６及び図１８に示した欠落情報の補正処理において、ステップＳ５，Ｓ６′及びＳ６の振幅補正は省略してもよい。この場合は図１７においても対応する部分438',439',501'が省略される。場合によっては復号スペクトル包絡を用いる欠落情報の補正は省略し前述した低域通過フィルタを使用する方法や過去のフレームのスペクトル包絡係数に一致するよう補正する方法などの他の補正を用いてもよい。この場合は、符号器１０で、スペクトル包絡又はこれと平均パワーの補助情報の生成は省略され、また復号器２０の欠落補正部430は図１７に示した構成とは異なるものとなる。
第５実施例
図１４で説明した各フレーム中のサンプルの有効桁に対し並び替えを行う符号化方法を図１で説明した圧縮率の高い非可逆符号化と、その再生信号と原信号の誤差信号の可逆圧縮とを組み合せた符号化方法に適用した第５実施例を図１９に示す。この実施例の符号器１０においては、ビット配列変換部162において、図１５Ａあるいは図１５Ｂで説明した有効桁に対する並び替えをう。補助情報生成部350は図１４の実施例における補助情報生成部350と同様に構成されている。それ以外は図１１における符号器１０と同様の構成とされている。また、復号器２０は図１１の実施例における復号器２０において、桁合わせ部460を並び替え部220の出力側に設け、欠落補正部430として図１４の欠落補正部430、即ち図１７の欠落補正部430を使用したものであり、それ以外は図１１における復号器２０と同様の構成とされている。従って詳細な説明は繰り返さない。
【００７２】
このように非可逆量子化符号と誤差信号を用いる場合は、復号器２０において原音合成前の誤差信号に対し、欠落情報補正を行ってもよい。即ち、例えば図２０に示すように並び替え部220からのならびかえ出力をパケット欠落の場合は欠落補正部430へ供給して欠落情報を補正して、桁合せ部460へ供給し、欠落情報を含まない場合は並び替え部220の出力を直接桁合せ部460へ供給し、桁合せ部460で桁合せされたサンプル列をフレーム合成部250へ供給する。欠落補正部430での補正は前述した各種の手法を用いることができ、補助情報復号スペクトル包絡又はこれと復号平均パワーを用いる場合は、補助情報復号部450の復号化出力を用い、あるいは逆量子化部230で対応するスペクトル包絡を表わすパラメータLPCが得られる場合はこれを利用してもよい。フレーム合成部250からの再生誤差信号と逆量子化部230からの逆量子化信号とを加算部240で加算する。図２０中に破線で示すように、桁合せ部460を並び替え部220の直後に設けてもよい。
【００７３】
上述において、符号器１０でパケット化することなく、少くともフレームごとに有効桁数と伝送記録単位データとを送出し、復号器２０でこれらを用いて復号するようにしてもよい。
第６実施例
図２１にこの発明による符号器１０及び復号器２０の各実施例を示す。この実施例では、図６の実施例においてフレーム分割された入力信号サンプル列を等位ビット列に変換して送出する代わりに、入力信号サンプル列の予測誤差を等位ビット列に変換して送出するものである。
【００７４】
符号器１０は図６における符号器１０に対し、サンプルレジスタ371と、線形予測部372と、整数化部373と、差回路374とからなる予測誤差生成部370が追加された構成とされている。また、復号器２は図６における復号器２０に対し、サンプルレジスタ471と、線形予測部472と、整数化部473と、加算部474とからなる合成フィルタ470が追加された構成とされている。フレーム分割部110から入力信号サンプル列が各フレームごとに、補助情報生成部350のスペクトル包絡算出部351と予測誤差生成部370の差回路374に与えられる。入力信号サンプル列はフレームごとにスペクトル包絡算出部351で、例えば線形予測分析され、そのスペクトル包絡を表わすパラメータとして線形予測係数ＬＰＣが求められる。このスペクトル包絡のパラメータＬＰＣは補助情報符号化部352で符号化される。
【００７５】
例えばフレーム分割部110からの直前のフレームの予め決めた数の複数サンプルがレジスタ371から線形予測部372へ供給され、これらサンプル列に対し、スペクトル包絡算出部351からのスペクトル包絡パラメータLPCに基づく線形予測係数が乗算、加算されて、入力サンプル毎に線形予測値が求められる。この線形予測値は整数化部373で整数値とされ、整数の予測値とフレーム分割部110からの現サンプルとの差が差回路374で予測誤差信号サンプルSpeとして求められる。
この入力サンプル毎に得られる予測誤差信号Speは並び替え部160に入力され、並び替え部160において各フレームごとにそれぞれの入力サンプルに対する予測誤差信号サンプルSpe（振幅ビット列）の対応ビット（桁）が図４Ａで説明したように時間方向に配列される。並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータ毎に必要に応じて、可逆符号化部150により可逆圧縮符号化され、ヘッダ付与部320により、復号時に分割された伝送記録単位データを１つのフレームとして再構成可能なようにヘッダが取付けられ、パケットとして出力端子170に出力される。
【００７６】
補助情報符号化部350からのスペクトル包絡のパラメータＬＰＣの符号化情報（補助情報）はヘッダ付与部320から１つのパケットとして、又は最も優先度のパケット内に格納されて出力される。
復号器２０においては入力端子200からのパケット３０は分離部440において、補助情報と、伝送記録単位データ（極性符号列を含む）とに分離され、補助情報は補助情報復号部450へ供給される。伝送記録単位データはそれが可逆圧縮されている場合は可逆復号化部210へ供給され、ここで可逆復号された後、各伝送記録単位データは伝送記録単位統合部410へ供給される。伝送記録単位統合部440ではパケット番号に基づき、複数のパケットより１フレーム分の伝送記録単位データを統合する。この統合されたデータは並び替え部220で等位ビット列を振幅ビット列の１フレーム分、つまり予測誤差波形に変換される。
【００７７】
なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図２１中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま復号サンプルとして欠落補正部430を迂回して合成フィルタ470へ供給される。パケット欠落が生じていなければ、並び替え部220から、符号器１０の並び替え部160に入力された予測誤差信号サンプルSpeと完全に同一の予測誤差信号Speが得られる。合成フィルタ470では、符号器１０における予測誤差生成部370の処理と逆の処理が行われる。つまりレジスタ471から予め決められた一定数の直前の復号サンプルが線形予測部472に入力され、線形予測部472に各サンプルに対して、補助情報復号部450で復号された線形予測係数PLCがそれぞれ乗算され、その乗算結果の和が現在の復号サンプルの予測値として求められる。この予測値は整数化部463で整数値とされ、この整数化された予測値と並び替え部220からの現在の予測誤差信号との和が加算部474でとられて、合成フィルタ470のフィルタ出力とされ、フレーム合成部250へ供給されると共にレジスタ471へ供給される。よって、合成フィルタ470でディジタル信号が合成され、これがフレーム合成部250で互いにつなぎ合わされて、符号器１０の入力端子100に入力された信号が再生されて出力端子260に出力される。
【００７８】
入力されたパケットのパケット番号からパケット欠落が生じている場合は、欠落検出部420でこれが検出され、並び替え部220からの振幅ビット列は合成フィルタ470へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（予測誤差信号）に対し行われて、合成フィルタ470へ供給される。
欠落情報補正
欠落補正部430における欠落した情報を補正した予測誤差波形を得る処理手順と構成を図２２及び図２３を参照して以下に説明する。
【００７９】
欠落予測誤差波形（並び替え部220からの１フレーム分のサンプル列出力）が暫定波形生成部431に入力され、まず確定しているビットのみを使ってフレーム内の暫定予測誤差波形を生成する（Ｓ１）。この際欠落しているビットは例えば０に固定するか、欠落情報のとり得る範囲の中間値とする。
次にこの暫定予測誤差波形のスペクトル包絡をスペクトル包絡算出部432で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定予測誤差波形に対して行えばスペクトル包絡を推定できる。符号器１０の予測誤差生成部370で生成される予測誤差波形のスペクトル包絡はほぼ平坦となるので、この推定したスペクトル包絡は、暫定予測誤差波形が符号器１０の予測誤差生成部370で得られた原予測誤差信号波形と同一であれば平坦であることが、期待される。しかしこの暫定予測誤差波形が原予測誤差信号波形と異なればスペクトル包絡は平坦なものにならない。この平坦度が許容範囲内であるか否かの判定を平坦度判定部433Fで行う（Ｓ３）。この平坦度が許容範囲であればその暫定予測誤差波形をそのまま合成フィルタ470へ出力する。
【００８０】
この平坦度の判定は例えば、スペクトル包絡算出部432でスペクトル包絡のパラメータとして求めた線形予測係数c1, c2, …, cM の相加平均を相乗平均で割算した値が0dBであれば、完全な平坦であり、例えば3dB以下であればほぼ平坦な状態であると判定する。あるいは、前記スペクトル包絡のパラメータとしてLPCケプストラム係数を求め、この係数の自乗和が一定値以下であれば、ほぼ平坦な状態と判定する。
スペクトル包絡形状が平坦な状態から大きく異なると判定されると、まず推定したスペクトル包絡の逆特性を暫定予測誤差波形に与える（Ｓ４）。具体的には例えば全極型の線形予測の逆フィルタ（全零型）434に暫定予測誤差波形を通過させることで、そのスペクトルを平坦化する。このとき、完全に平坦化するのではなく、スペクトル包絡特性のバンド幅を拡大した、つまりスペクトル包絡をなまらせた予測係数で平坦化してもよい。
【００８１】
ただしこの平坦化された補正波形は正常に受信されたパケットから得られた確定している振幅のビットと矛盾する可能性があるので、正しい値に修正部436で修正する（Ｓ５）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各振幅ビット列（予測誤差信号）のとり得る値には１６の範囲の不確定があるが、スペクトル補正波形中にこの範囲と外れた振幅ビット列があれば、最も近い値、つまりこの例で下位４ビットが最大値の１５の振幅ビット列に修正する。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原予測誤差信号に近い波形が再生される。必要に応じてこの修正波形を暫定予測誤差波形としてステップＳ１に戻って補正を繰り返す。
【００８２】
なお補正予測誤差（暫定予測誤差）波形は整数値が前提であるが、フィルタ計算では実数扱いとなり、フィルタの出力値の整数化が必要になる。合成フィルタ470の場合には振幅ビット列ごと(サンプルごと)に整数化するか、フレーム毎にあとで一括して整数化するかで結果は異なるが、どちらも可能である。
前述したように欠落ビットのとり得る値の総ての組み合せを用いて補正サンプル列の候補を作る場合は、欠落ビットが多くなると、補正振幅ビット列（波形）候補が著しく多くなり、処理量が非現実的になるおそれがある。このような問題がないようにする欠落補正部430の処理、及びその機能構成について以下に説明する。
【００８３】
図２４にその処理手順の一例を、図２５に機能構成の一例をそれぞれ示す。まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定予測誤差波形（暫定的な振幅ビット列）を再生する（Ｓ１）。この暫定予測誤差波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、０〜１５までのレベルのどれかが正しい値であるが、仮に８または７に設定する。
【００８４】
次に、受信した補助情報から復号したスペクトル包絡の予測係数LPCを合成フィルタ435に設定し、この暫定予測誤差波形を合成フィルタ435に通して符号器１０への原入力信号波形を線形予測合成する（Ｓ２）。この合成波形のスペクトル包絡をスペクトル包絡算出部432で計算する（Ｓ３）。誤差計算部437で、この計算したスペクトル包絡と、補助情報として受信された原音(原入力信号)のスペクトル包絡、つまり補助情報復号部４５０で復号されたスペクトル包絡とを、比較して誤差が許容範囲内であれば暫定予測誤差波形を補正された予測誤差波形（補正振幅ビット列）として合成フィルタ470へ出力する（Ｓ４）。
【００８５】
ステップＳ４において、暫定予測誤差波形のスペクトル包絡と補助情報から復号したスペクトル包絡形状が大きく異なるとき、つまり暫定予測誤差が不完全な場合はまず計算したスペクトル包絡の逆特性を暫定予測誤差波形に与える（Ｓ５）。具体的にはステップＳ３で求めたスペクトル包絡を表すパラメータを設定した全極型の線形予測の逆フィルタ（全零型）４３４に暫定予測誤差波形を通過させることでスペクトルを平坦化する。この場合も完全に平坦化するのではなく、スペクトル包絡特性の帯域幅を拡大した、つまりなまらせた予測係数を用いてもよい。
【００８６】
次にこの平坦化信号に対して復号スペクトル包絡の特性を与える（Ｓ６）。即ち、補助情報から復号したスペクトル包絡を表わすパラメータLPCを設定した全極型の合成フィルタ435に逆フィルタ434の出力を通して暫定予測誤差波形の補正予測誤差波形を作る。この結果の補正予測誤差波形は原予測誤差波形（信号）に近いものになる。
図２２に示した場合と同様にこの補正予測誤差波形はすでにわかっている振幅のビットと矛盾する可能性があるので、正しい値に修正部436で修正する（Ｓ７）。
【００８７】
この修正予測誤差波形をステップＳ１の暫定予測誤差波形としてステップＳ２以後の処理を繰り返す。図２４、図２５中に破線で示すように、ステップＳ４の次に暫定予測誤差波形を復号スペクトル包絡パラメータを用いて波形合成し（合成フィルタ435"を通し）（Ｓ５′）、その合成波形に対し、計算したスペクトル包絡の逆特性を与え（逆フィルタ434'を通し）（Ｓ６′）てもよい。なおバンド幅を拡大した係数を使わない場合は予測係数を求めるために合成した波形、つまり合成フィルタ502の出力波形を逆フィルタ434に供給してもよい。
【００８８】
次に復号スペクトル包絡を用いた欠落情報補正処理の他の例を図２６を参照して説明する。
ステップＳ１〜Ｓ４、Ｓ７は図２４に示した処理中のステップＳ１〜Ｓ４、Ｓ７とそれぞれ同一処理である。この例ではステップＳ４の後、ステップＳ３において計算したスペクトル包絡の逆フィルタ434と復号スペクトル包絡の合成フィルタ435とを合わせたひとつの合成フィルタ部435'のフィルタ係数を計算し（Ｓ５）、ステップＳ６でこの合成フィルタ部435'に暫定予測誤差波形を通して補正予測誤差波形を合成する。
【００８９】
図２６に示した処理の機能構成は、図２５中に破線で示すように、補助情報復号部450からの復号スペクトル包絡パラメータLPCとスペクトル包絡算出部432からの推定スペクトル包絡パラメータαとから、逆フィルタ434と合成フィルタ438を組み合せたひとつの合成フィルタ部435'のフィルタ特性が合成スペクトル包絡計算部437で計算され、そのフィルタ係数が合成フィルタ438に設定され、この合成フィルタ部435'に暫定予測誤差波形が通される。
この合成フィルタ438のフィルタ係数の計算は例えば図１０で説明したように、暫定予測誤差波形の線形予測係数を係数変換部437aで線形予測ケプストラム係数Caに変換し、また復号スペクトル包絡の線形予測係数を係数変換部437bで線形予測ケプストラム係数Cbに変換し、これら係数Ca，Cbを減算部437cで減算してCb-Caを求め、このCb-Caを逆変換部437dで線形予測係数に逆変換し、この線形予測係数を合成フィルタ部435'のフィルタ係数に用いればよい。
【００９０】
図２２に示したフローチャート中の繰り返し処理で予測誤差波形が発散しないようにするため、図２２、図２４、図２６に示した例では逆フィルタ434の線形予測係数αkと図２４、図２６に示した例では合成フィルタ435，438の線形予測係数βk, βk'ともに１未満の定数γのｋ乗をかける方法がある（ｋはパラメータの次数）。図１０に示した場合には線形予測ケプストラム係数のすべてに１未満の定数をかければよい。また図２２、図２４及び図２６において繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
【００９１】
図２２でステップＳ３、図２４及び図２６において、ステップＳ４を省略し、図２２ではステップＳ１，Ｓ２，Ｓ４，Ｓ５を１回だけ、図２４及び図２６ではステップＳ１，Ｓ２，Ｓ３，Ｓ５，Ｓ６，Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正予測誤差波形（振幅ビット列）を出力してもよい。また図中に示すように、図２２のステップＳ３、図２４及び図２６のステップＳ４において繰り返しが規定回数以上になると、その最終に得られた修正予測誤差波形を出力してもよい。図２２、図２４、図２６に示した処理は周波数領域に変換して行ってもよい。この場合は例えば逆フィルタ処理は、正規化処理となる。
【００９２】
予測誤差信号Speは振幅が小さくなっている場合が多い。このため予測誤差信号Speを極性と絶対値の２進数で表現すると、例えば図１５Ａ及び図１５Ｂで説明したと同様に、各予測誤差信号Spe（振幅ビット列）の上位の桁はフレームの全体で全て"0"となる場合が多い。従って１フレーム内において絶対値の最大値を表現する桁数を有効桁数として求め、つまり"1"を含む最大の桁数を有効桁数Feを、図２１中の符号器１０内の有効桁数検出部163で検出し、この有効桁数Feも補助情報符号化部352で符号化してスペクトル包絡のパラメータLPCと共に出力し、並び替え部160で有効桁数Feの範囲４１内のビットと極性符号のみを等位ビット列に変換して伝送記録単位分割部310へ出力する。
【００９３】
復号器２０においては入力されたパケットより、並び替え部２２０からの振幅ビット列又は欠落補正部430からの補正（修正）振幅ビット列よりなる再生予測誤差波形に対し、補助情報復号部450で復号した有効桁数Feによる桁合せを桁合せ部460で行う。桁合せ部460に入力される再生予測誤差波形（振幅ビット列）が例えば図１５Ｂの右側における桁数Feの振幅ビット列のようになった場合に、その各振幅ビット列（２の補数表現）に対し、図１５Ｂの左側に示すように極性符号が正（"0"）のものには、本来の振幅ビット列のビット幅（符号器１０の並び替え部160の入力予測誤差サンプルSpeのビット幅）ｍから有効桁数Feを引いた数だけ、"0"を上位に付け加え、極性符号が負（"1"）のものには"1"を同じ数ｍ-Feだけ、上位に付け加える。
【００９４】
このように桁合せされた再生予測誤差波形が合成フィルタ470へ供給される。このように有効桁数を補助情報に加えることにより、符号化効率を向上させることができる。なお符号器１０の並び替え部160で、予測誤差信号を（振幅ビット列）を極性符号と絶対値の２進数値とに変換することなく２の補数表現の振幅ビット列に対しても、有効桁数Ｆｅを補助情報として出力するようにしてもよい。この場合も、図１５Ｂの左側に示したようにフレーム内において何れの振幅ビット列においても同一上位桁数では"0"のみ又は"1"のみとなる範囲より下位桁の数が有効桁数Feであり、その有効桁数Feの最下位ビットを極性符号として用いればよい。
【００９５】
有効桁数Feを利用する場合において、復号器２０の欠落補正部430（図２５）内のスペクトル包絡算出部432、逆フィルタ434、合成フィルタ435、合成フィルタ502、合成フィルタ435'において、その分析処理やフィルタ処理のために一つ前のフレームの再生予測誤差信号を必要とする場合は、一つ前のフレームの有効桁数Feと現在のフレームの有効桁数とを合せて処理する必要がある。例えば現在のフレームの有効桁数が一つ前のフレームの有効桁数よりＭビット（桁）大きい時は、例えば一つ前のフレームの振幅ビット列を下位にＭビットシフトして過去のフレームの振幅ビット列の振幅値を縮小して、一つ前の過去のフレームの有効桁数を現在のフレームの有効桁数にそろえたうえで補正処理を行う。現在のフレームの有効桁数が一つ前のフレームの有効桁数よりＮビット（桁）小さい時は、例えば一つ前のフレームの振幅ビット列を例えば浮動小数点としてＮビット上位にシフトして一つ前のフレームの振幅ビット列の振幅値を拡大して、一つ前のフレームの有効桁数と現在の有効桁数をそろえたうえで上記各フィルタによる処理を行う、あるいは一つ前のフレームを無視して処理を行う。
【００９６】
このような有効桁数をそろえる場合は、図２２におけるステップＳ２，Ｓ４の各直前、図２４におけるステップＳ２，Ｓ３，Ｓ５，Ｓ６の各直前、図２６におけるステップＳ２，Ｓ３，Ｓ６の各直前に破線で示すように、必要とする一つ前のフレームの振幅ビット列に対し、有効桁数をそろえる有効桁数補正を行えばよい。図２３及び図２５の欠落補正部430において、有効桁数をそろえることが必要な各部において、一つ前のフレームの振幅ビット列に対して有効桁数をそろえる処理を行えばよい。なお図２１中の復号器２０内に示すように、並び替え部220より振幅ビット列に対し、桁合せ部460により桁合せを行ってもよく、この場合は、前述した有効桁数補正の必要はなくなる。
第７実施例
ところで、従来、音響信号の高圧縮符号化は、圧縮効率を高める点から聴覚特性を考慮し、聴感歪を最小化するようにするのが一般的である。これは聴覚最適化を利用した符号化であって、与えられたビット数のもとに周波数マスキングを用いて、聴覚的な量子化歪を最小化するものである。波形歪最小という規範では、聴覚とは無関係に量子化歪のエネルギーを最小化するために、原音のスペクトルの大きさに無関係に量子化歪を配分するものである。
【００９７】
聴覚最適化では、原音の大きなスペクトル成分の周辺の量子化歪は原音の成分にマスクされて聞こえないので、原音のスペクトル成分の大きいところに大きな歪を許容し、反対に原音のスペクトル成分の小さいところには量子化歪を小さくする。
例えば、前述した図１1の実施例のように高圧縮率の非可逆符号化と、可逆符号化との組合せにおいて、非可逆符号化に聴覚特性が考慮されていると、その局部復号信号(図１1では逆量子化部130の出力)の波形は、特に比較的大きなスペクトル成分の部分で歪みが大きい。このためこの局部復号信号と原音の入力音響信号との誤差信号はその振幅の変動が比較的大きく、そのため、前述した並び替えを行って可逆圧縮符号化を行ってもその符号化効率を十分大きくすることができない。この点を改善した実施例を、図２７を参照して以下に説明する。
【００９８】
符号化装置１０において、入力端子100に入力された音響信号のサンプル系列はフレーム分割部110で例えば1024個のサンプルごとのフレーム単位に分割され、これら各フレーム単位の音響信号は聴覚特性を考慮した非可逆圧縮符号化が、聴感最適化符号化部１３で行われる。この聴感最適化符号化は聴感歪が最小化するように圧縮符号化するもので例えばMPEG符号化を利用できる。この聴感最適化符号化部１３からは非可逆符号である聴感最適化符号Inaが出力される。
この聴感最適化符号Inaは局部復号部１４で局部復号され、局部復号信号が作られる。符号Inaの局部復号信号は聴感最適化符号化部１３において分析合成符号化法により生成することができる。この局部復号信号は変形部１５において、フレーム分割部110の出力音響信号との誤差が小さくなるように変形される。つまり変形部１５で変形された局部復号信号（変形局部信号）とフレーム分割部110の出力である音響信号との誤差が誤差算出部１６で算出され、その誤差信号のエネルギーが望ましくは最小になるように、局部復号信号は変形部１５で変形される。
【００９９】
この変形は、変形パラメータ生成部１７で生成された変形パラメータを局部復号信号に乗算し、または局部復号信号に対する複数サンプルの重み付き加算により行われる。変形パラメータの生成は例えば次のように行われる。
ｐ次の変形パラメータＡ(１×ｐ)、ｎ個のサンプルから成る入力音響信号Ｘ(１×ｎ）、局部復号信号行列Ｙ(ｐ×ｎ)を以下のようにおく。
Ａ＝(a0 ，a1 ，…，a(p-1))T
Ｘ＝(x0 ，x1 ，…，x(n-1))T
【数１】
( )T は行列の転置を表わす。
誤差信号のエネルギーｄは下記となる。
ｄ＝(Ｘ−ＹＡ)T(Ｘ−ＹＡ) (2)
ｄを最小とする変形パラメータＡは下記となる。
【０１００】
Ａ＝(ＹTＹ)-1ＹTＸ (3)
（ＹTＹ)は自己相関行列、ＹTＸは相互相関ベクトルと近似でき、ｐ＝１の時の変形パラメータa0 はＸとＹの相互相関係数をＹのエネルギーで正規化したものとなる。
またＵ（＝Ｘ−Ｙ）とＹとの相関係数ｂを求めて、
Ｚ＝Ｘ−Ｙ−ｂＹ (4)
のＺを誤差信号としてもよい。つまりＺ＝Ｘ−(１＋ｂ)Ｙ≡Ｘ−a0Ｙと置ける。
【０１０１】
つまり変形パラメータ生成部１７では例えば図２８Ａに示すように、入力音響信号Ｘと局部復号信号Ｙの転置行列との相互相関ベクトルが乗算部171で計算され、また乗算部172で自己相関行列ＹTＹが計算され、割算部173で乗算部172の計算結果で乗算部171の計算結果が割算されて変形パラメータＡが生成される。あるいは乗算部171でＸとＹの相互相関係数を計算し、乗算部172でＹのエネルギーを計算し、得られた相互相関係数をＹのエネルギーで割算することを割算部173で行って変形パラメータa0を求めてもよい。
【０１０２】
あるいは図２８Ｂに示すようにＸ−Ｙ＝Ｕを引算部174で計算し、ＵとＹの相互相関係数ｂを乗算部175で計算し、加算部176でｂに１を加算して変形パラメータa0 としてもよい。
変形パラメータＡ、a0 又はｂは符号化されて変形パラメータ符号Inmとして変形パラメータ生成部１７から出力される。このように変形パラメータは音響信号Ｘと局部復号信号Ｙとの相互相関成分を含むものであり、変形部１５では変形パラメータを局部復号信号Ｙに対し乗算し又は局部復号信号Ｙを変形パラメータＡで重み付き加算、乃至、畳み込み演算を行う。
【０１０３】
なお音響信号と局部復号信号との誤差信号のエネルギーが最小化されていれば、誤差信号と音響信号や局部復号信号とは無相関であるが、誤差信号のエネルギーが最小化されていなければ誤差信号と音響信号や局部復号信号と相関が生じる。この相関成分を求めて、その相関成分に応じて式(３)により局部復号信号Ｙを変形して、誤差信号のエネルギーを最小化するように式(２)変形パラメータＡが決められる。
変形パラメータＡの生成は、最初は適当な値を与え誤差信号Ｕの振幅又はエネルギーが小さくなるように、フレームごとに逐次修正するようにしてもよい。この場合は変形パラメータ符号Inmを出力する必要はない。
【０１０４】
誤差算出部１６からの誤差信号は可逆符号化部１８で可逆符号化され、可逆符号Pneとして出力される。可逆符号化は例えば図１及び図2で説明した特開2001-44847公報に示されているようにビット並び替えと、ハフマン符号化、算術符号化などのエントロピー符号化との組み合わせで実施できる。
変形部１５で局部復号信号が、音響信号との誤差が小さくなるように変形されるため、変形を行なわない局部復号信号と音響信号との誤差信号と比較して、誤差信号中の"0"ビットの数が多く、それだけ高効率的に可逆符号化することができる。
【０１０５】
聴感最適化符号Ina、可逆符号Ine、必要に応じて変形パラメータ符号Inmが結合部315で結合されて出力される。なお、図２８Ｂに示すように変形部１５で局部復号信号Ｙに変形パラメータｂを乗算して変更局部復号信号bＹを計算し、その変形局部復号信号bＹと、Ｕ＝Ｘ−Ｙとの誤差Ｕ−bＹを誤差算出部１６で計算して誤差信号を求めこれを可逆符号化してもよい。この誤差信号は誤差信号Δ＝Ｘ−a0Ｙと実質的には同一であるから、音響信号と変形局部信号との誤差信号を求めるということは、この両者の手法及びこれと等価な手法を意味する。変形パラメータ符号Inmはｂを符号化したものでもよいことは明らかである。
【０１０６】
復号器２０においては、入力端子200に入力されたフレームごとの符号の組は分離部440で聴感最適化符号Inaと可逆符号Ineとに、必要に応じて変形パラメータ符号Inmとに分離される。聴感最適化符号Inaは聴感最適化符号復号部２３で非可逆復号化されて復号信号が生成される。この復号化の手法は符号器１０中の局部復号部１４と同一とする。この復号信号は変形部２４で定数倍又は複数サンプルの重み付き加算などにより変形される。この変形も符号器１０中の変形部１５と同一処理とする。変形パラメータ生成部２５は変形パラメータ符号Inmが入力される場合はこの符号Inmを復号して変形パラメータＡ又はa0 又はｂを生成する。変形パラメータ符号Inmが入力されない場合は、復号信号Ｙと再生音響信号Ｘとを用いて符号化装置１０中の変形パラメータ生成部１４と同一手法により変形パラメータＡを逐次修正により求める。
【０１０７】
可逆符号Ineは可逆復号部２１により可逆復号され、誤差信号Δが再生される。この誤差信号Δと変形された復号信号aＹとが加算部２７で加算されて音響信号が再生される。この再生音響信号が切換部２８を通じてフレーム合成部250へ供給され、フレームごとの再生音響信号が順次連結されて出力される。欠落検出部４２０により補正可能な程度のパケットの欠落が検出された場合、情報補正部４８０により例えば図２３で前述したような補正が行われる。
可逆符号Ineが入力されなかった場合や、一部の欠落によりある程度以上の品質の誤差信号Δを得ることができない場合はこれが欠落検出部420で検出され、この検出出力により切換部２８が制御されて、聴感最適化符号復号部２３から復号信号が再生音響信号としてフレーム合成部250へ供給される。最終的な可逆符号化のためには量子化誤差エネルギーが小さいほうが圧縮効率が高いが、聴感最適化符号Inaのみの情報しか得られない場合は聴感歪を最小化する量子化結果を用いるほうが１ビットレートの割りに品質が高くなる。可逆復号部２６などを備えない復号化装置においても聴感最適化符号Inaを復号して再生ディジタル信号とすることができる。
第８実施例
図２９にこの発明の第８実施例を示し、図２７と対応する部分に同一参照番号を付けてある。符号器１０において図２７の実施例と異なる点は変形部１５である。即ちこの第２実施例では局部復号部１４からの局部復号信号Ｙと音響信号Ｘとの誤差信号が誤差算出部１５Ａで算出され、その誤差信号が誤差最小化符号化部１５Ｂで量子化誤差エネルギーが最小となるように非可逆圧縮符号化し、非可逆符号として誤差最小化符号Inpが出力される。
【０１０８】
この誤差最小化符号Inpは局部復号部１５Ｃで局部復号され、その局部復号信号と局部復号部１４からの局部復号信号とが加算部１５Ｄで加算され、この加算局部復号と音響信号との誤差が誤差算出部１６で算出され、誤差信号として可逆符号化部１８へ供給される。このように聴感最適化符号部１３と誤差最小化符号部１５Ｂとの２段階により音響信号が符号化されるため、その局部復号信号、つまり加算部１５Ｄからの加算局部復号信号はそれだけ音響信号に近いものとなり、誤差算出部１６からの誤差信号における"0"ビットの数が多くなる。結合部315では聴感最適化符号Inaと誤差最小化符号Inpと可逆符号Ineが結合されて出力される。
【０１０９】
復号器２０においては誤差最小化符号Inpが誤差最小化符号復号部２４Ａで非可逆復号され、その復号信号と、聴感最適化符号復号部２３からの復号信号とが加算部２４Ｂで加算され、この加算された復号信号が切換部２８を通じて加算部２７へ供給され、可逆復号部２６からの再生誤差信号と加算される。可逆符号Ineが入力されない場合や誤差信号を再生するための十分な情報が得られない場合は切換部２８は加算部２４Ｂからの加算復号信号にかえて、聴感最適化符号Inaの復号信号が再生音響信号としてフレーム合成部２５０へ供給する。誤差最小化符号復号部４５及び加算部２４Ｂは変形部２４を構成している。
第９実施例
図３０にこの発明の第９実施例を示す。第９実施例は図２７の第７実施例とは符号化装置１０における変形部１５の構成が異なり、また誤差最小化符号化部１９を設けた点が異なり、これに伴って復号器２０においても変更されている。
【０１１０】
符号器１０においてフレームごとの音響信号は誤差最小化符号化部１９により量子化誤差エネルギーを最小化するように非可逆圧縮符号化され、その非可逆符号として誤差最小化符号Inpが出力される。この誤差最小化符号Inpは局部復号部１５Ｅで局部復号され、その局部復号信号と局部復号部１４からの局部復号信号とが荷重平均部１５Ｆで前者を重視して荷重平均される。この荷重平均局部復号信号と音響信号との誤差が誤差算出部１６で算出され、その誤差信号が可逆符号化部１８へ供給される。
【０１１１】
荷重平均部１５Ｆでの重みは誤差算出部１６からの誤差が小さくなるような統計的に予め求めた固定値であり、例えば誤差最小化符号Inpの局部復号信号に対しては0.8〜0.9程度、聴感最適化符号の局部復号信号に対しては0.1〜0.2程度の値とする。あるいは変形パラメータ生成部１７において、両局部復号信号と、音響信号とを入力して、誤差算出部１６からの誤差信号が最小になるように連立方程式を解いて両重みを決定してもよい。この場合はその両重みを符号化し重み符号Inwを出力する。局部復号部１５Ｅ、荷重平均部１５Ｆは変形部１５を構成している。
【０１１２】
結合部315は聴感最適化符号Inaと、誤差最小化符号Inpと可逆符号Ineとを結合して出力し、変形パラメータ生成部１７を用いる場合は重み符号Inwも結合する。聴感最適符号化部１３と誤差最小化符号化部１９とはスペクトル包絡やパワーなどのパラメータを共に用いる場合がある。このような場合は破線で示すように両者に共通のパラメータを符号化する共通符号化部１３Ａを一方の符号化部、図３０では聴感最適化符号化部１３内に設けてその共通符号Incとして出力すると共に抽出した共通に用いるパラメータを必要に応じて他方の符号化部、この例では誤差最小化符号化部１９へ供給する。更に、聴感最適化符号化部１３内の符号化部１３Ｂで入力音響信号の波形情報などを聴覚特性を考慮したベクトル量子化するなどして符号化し、符号Inarを出力し、誤差最小化符号化部１９内の符号化部１９Ａで同様に音響信号の波形情報などを量子化誤差エネルギーを最小化するようにベクトル量子化するなどによって符号化して符号Inprを出力するようにしてもよい。
【０１１３】
復号器２０においては分離部440で分離された誤差最小化符号Inpは誤差最小化符号復号部２４Ａで非可逆復号され、その復号信号は荷重平均部２４Ｃで聴感最適化符号復号部２３からの復号信号と、前者に偏った荷重加算が行われ、その荷重加算復号信号が加算部２７で可逆復号部２１からの再生誤差信号と加算されて切換部２８を通してフレーム合成部250へ供給される。荷重平均部24Cにおける荷重は、符号化装置１０の荷重平均部１５Ｆにおける荷重と同一とされる。符号化装置１０で変形パラメータ生成部１７により重み（荷重）が決定される場合は、分離部440で分離されたその重み符号Inwが重み復号部２９で復号され、その復号された重みが荷重平均部２４Ｃへ供給される。
【０１１４】
聴感最適化符号Inaの復号信号と、誤差最小化符号Inpの復号信号はもう１つの荷重平均部２６にも供給され、ここで前者（Ina復号信号）に偏った荷重平均が行われる。この荷重平均における重みは例えば、符号Inaの復号信号に対し0.8〜0.9程度が符号Inpの復号信号に対し0.2〜0.9程度が固定的に与えられる。あるいは重み復号部２９で復号された重みを、荷重平均部２４Ｃによる重み付けとは逆の関係で荷重平均部２６に対し与えてもよい。
可逆符号Ineが入力されない場合や可逆復号部２１で誤差信号を再生するための十分な情報が得られない場合は荷重平均部２６からの平均化復号信号が切換部２８を通じて再生音響信号としてフレーム合成部250へ供給される。分離部440で共通符号Inwが分離される場合は、共通符号Inwは共通復号部２２で復号され、これら共通復号信号は聴感最適化符号復号部２３及び誤差最小化符号復号部２４Ａへ供給される。これら復号部２３，２４Ａにはそれぞれ符号Inar，Inprが供給され、それぞれ所望の復号信号が得られるようにされる。誤差最小化符号復号部２４Ａ及び荷重平均部２４Ｃは変形部２４を構成している。
第１０実施例
図３１に第１０実施例を図３０と対応する部分に同一参照番号を付けて示す。この第１０実施例では符号器１０において誤差最小化符号Inpの局部復号信号が局部復号部１５Ｅから誤差算出部１６へ直接供給される。従って、聴感最適化符号Inaに対しては局部復号は行わず、誤差最小化符号Inpに対する局部復号結果が誤差算出部１６での誤差算出に利用される。この第１０実施例においても第９実施例と同様に聴感最適化符号化部１３と誤差最小化符号化部１９とで共通のパラメータを一方で抽出して両者の符号化に利用すると共に共通符号Inwと、それぞれの部分符号Inar，Inprを出力するようにしてもよい。
【０１１５】
復号器２０においては誤差最小化符号復号部２４Ａからの復号信号が加算部２７へ直接供給されて、可逆復号部２１からの再生誤差信号と加算される。切換部２８は聴感最適化符号復号部２３の復号信号と、加算部２７の加算信号とが切換えられて再生音響信号としてフレーム合成部250へ供給される。また共通符号Incが分離部440で分離される場合の動作は図３０で説明した場合と同様である。
第１１実施例
図３２にこの発明の第１１実施例を図３０と対応する部分に同一参照番号を付けて示す。この第１１実施例の符号器１０においては図３０の第３実施例における聴感最適化符号化部１３が誤差算出部１６の出力側に接続され、局部復号部１５Ｅからの、誤差最小化符号Inpに対する局部復号信号と音響信号との誤差が誤差算出部１６で算出され、その誤差信号が聴感最適化符号化部１３で聴感歪を最小化するように非可逆圧縮符号化され、この非可逆符号が聴感最適化符号Inaとして出力される。結合部315では誤差最小化符号Inpと聴感最適化符号Inaと可逆符号Ineが結合されて出力される。
【０１１６】
復号器２０では分離された聴感最適化符号Inaは聴感最適化符号復号部２３で非可逆復号化され、その復号信号と、誤差最小化符号復号部２４Ａによる誤差最小化符号Inpの復号信号とが加算部２４Ｂで加算される。誤差最小化符号Inpの復号信号と可逆符号Ineの可逆復号信号、つまり再生誤差信号とが加算部２７で加算されて再生音響信号として切換部２８を通じてフレーム合成部250へ供給される。可逆復号部２１により誤差信号が再生されない場合は加算部２４Ｂからの加算復号信号が切換部２８を通じてフレーム合成部250へ再生音響信号として供給される。
【０１１７】
この場合も可逆符号化部１８による可逆圧縮符号化に量子化誤差エネルギーを最小化する量子化系列を使い、非可逆圧縮符号化のみの情報しか得られない場合には聴感歪を最小化する量子化結果を用いる点は第８〜第１０実施例と同様である。しかし、この場合は誤差最小化符号化部１９により誤差最小化符号化した後に、その局部復号信号に対し更に聴感最適化符号化部１３により聴感歪最小化の量子化を行っており、つまり多段に量子化しているため、全体としての符号化ビット数は多くなるが、それだけ聴感的改善がなされ、歪エネルギーの最適化でも、第１段階の局部復号信号、つまり局部復号部１５Ｅからの誤差最小化符号Inpの局部復号信号よりも効率がよいことがある。つまり歪エネルギーの最適化には効率のよい方を用いるとよい。
【０１１８】
この場合の手法を、図３２中に示す破線の構成により説明する。聴感最適化符号化部１３からの符号Inaは局部復号部１４で局部復号され、その局部復号信号は加算部３１で局部復号部１５Ｅからの符号Inpの局部復号信号と加算され、この加算局部復号信号と音響信号との誤差が誤差算出部３２で算出され、この誤差信号と、誤差算出部１６からの誤差信号との大小が大小比較部３３で比較され、小さい方が選択部３４で選択されて可逆符号化部１８へ供給される。この際、いずれの誤差信号を選択したかを示す選択符号Insが出力される。
【０１１９】
復号器２０では分離部440で分離された選択符号Insにより選択部４１が制御され、符号化装置１０で誤差算出部１６からの誤差信号が選択された場合は誤差最小化符号復号部２４Ａからの復号信号が選択されて加算部２７へ供給され、符号器１０において誤差算出部３２からの誤差信号が選択された場合は、加算部２４Ｂからの加算復号信号が選択されて加算部２７へ供給される。
図２７〜３２中の可逆符号化部１８の具体例を図３３に示す。この構成は図１４における並び替え部160、伝送記録単位分割部310、可逆符号化部150、補助情報生成部350による構成とほとんど同じである。誤差信号１６からの誤差信号は並び替え部160と補助情報生成部350とに供給される。補助情報生成部350内の有効桁数検出部353でフレームごとに誤差信号の絶対値の最大値を表現する桁数が有効桁数Feとして検出される。また誤差信号はその有効桁数以内の部分のみが図１５Ａ，１５Ｂを参照して説明したように並び替え部160により各サンプル（振幅ビット列）における同一ビット位置のビットが、フレームにわたって配列され、等位ビット列とされる。
【０１２０】
並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆圧縮符号化され、誤差符号Ineとして出力される。
一方、有効桁数検出部353で検出した有効桁数Feが補助情報符号化部352に与えられる。この例では更に、フレームごとに誤差信号サンプル列はスペクトル包絡算出部351で例えば線形予測分析され、スペクトル包絡を表現するパラメータLPCが線形予測係数として求められる。またパワー算出部354でフレームごとの誤差信号の平均パワーが算出される。あるいはスペクトル包絡算出部351で求めた線形予測係数に基づき構成した逆フィルタ355に誤差信号を入力してスペクトル包絡を平坦化処理し、その平坦化された信号の平均パワーがパワー算出部356で求められる。これら有効桁数Fe、線形予測係数LPC及び平均パワーが補助情報符号化部352により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報Inxとされる。この有効桁数、スペクトル包絡のパラメータ、平均パワーを符号化した補助情報Inxは結合部315（図２７、２９〜３２）へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。
【０１２１】
図２７〜３２における復号器２０の可逆復号部２１の具体例を情報補正部480と共に図３４に示す。入力されたパケットPeから分離部440において補助情報Inxと誤差符号Ineが分離され、誤差符号Ineは可逆復号化部210へ供給され、補助情報Inxは補助情報復号部450へ供給される。補助情報復号部450は当該フレームの有効桁数Fe、スペクトル包絡を表すパラメータLPC及び平均パワーを復号し、有効桁数Feを桁合せ部460へ供給し、スペクトル包絡パラメータ及び平均パワーを欠落補正部430へ供給する。これらの各部の動作については図１４の実施例で既に詳細に説明したのでここでは説明を省略する。
【０１２２】
図２７〜３２の各実施例における符号器１０の可逆符号化部１８は、誤差信号に対し更に予測処理を行うように構成してもよい。その構成例を図３５Ａに示す。誤差信号はスペクトル包絡算出部351に与えられてそのスペクトル包絡を表す線形予測係数LPCが求められる。一方、誤差信号は予測誤差生成部370に与えられ予測誤差信号Speが生成される。例えば誤差算出部１６からの直前の複数の誤差信号サンプルがレジスタ371から線形予測部372へ供給され、これらサンプルに対し、スペクトル包絡算出部371からのスペクトル包絡を表わす線形予測係数LPCが乗算され、それら乗算結果が加算されて線形予測値が求められる。この線形予測値は整数化部373で整数値とされ、整数の予測値と誤差算出部１６からの誤差信号の現サンプルとの差が差回路374で求められて、予測誤差信号Speが得られる。この予測誤差信号Speは並び替え部160に入力される。
【０１２３】
符号器１０の可逆符号化部１８に図３５Ａの構成を適用した場合の復号器２０における可逆復号部２１の構成例を図３５Ｂに示す。この構成は図２１における復号器２０の並び替え部220、欠落補正部430、補助情報復号部450、合成フィルタ470による構成と同じである。情報補正部480からの再生された予測誤差信号Speは合成フィルタ470で図３５Ａにおける可逆符号化部１８の予測誤差生成部370の処理と逆の処理が行われる。つまりレジスタ471から予め決められた一定数の直前の復号サンプルが線形予測部472に入力され、それらのサンプルに対して、補助情報復号部450で復号された線形予測係数LPCに基づく重みがそれぞれ乗算され、その乗算結果の和が現在の復号サンプルの予測値として求められる。この予測値は整数化部473で整数値とされ、この整数化された予測値と情報補正部480からの現在の予測誤差信号との和が加算部474でとられて、合成フィルタ470のフィルタ出力、つまり再生誤差信号とされる。
第１２実施例
ところで上述した各実施例は、１つのチャネルの入力ディジタル信号に対する符号器及び復号器の場合であったが、それらの実施例をマルチチャネル信号に適用した実施例を以下に示す。マルチチャネル信号を対象とした圧縮符号化はAC-3(Dolby社のAudio Coding)やAAC(Dolby社のAdvanced Audio Coding)などいくつか開発されており、聴感的には劣化がわずかとすることができるが、波形は原音とかなり異なってしまう。マルチチャネルの信号をそのままＰＣＭ(Pulse Code Modulation)として伝送すると、完全に原音が再現されるが、多くの情報量を必要とする。またその符号化列の一部だけから音を再生することはできないし、このためＰＣＭとした信号をパケット伝送を行った場合はパケット消失は大きな影響を受ける。
【０１２４】
マルチチャネル信号を混合してチャネル数が減少して符号化することにより符号化効率を上げることが考えられる。しかしこの場合、原マルチチャネル信号を正しく再生することはできない。
この第１２実施例では、複数のディジタル信号を混合して、これより少ない数のディジタル信号として符号化し、符号化効率を向上させ、かつ必要に応じて、原複数のディジタル信号を忠実に再生することも可能とし、広い範囲のビットレートの選択、広い範囲のチャネル数の選択を可能とする多チャネル信号符号化方法、復号化方法、符号化器、復号化器を提供する。
【０１２５】
図３６はこの発明による符号器と復号器の第１２実施例を示す。符号器１０においてはＭを２以上の整数とすると、Ｍチャネルのディジタル信号が端子1001 〜100M よりフレーム分割部110に入力され、それぞれフレーム単位例えば1024サンプルごとに分割される。各分割されたディジタル信号はチャネル混合部３０でＭより少ないＮチャネルのディジタル信号に混合される。Ｎは１以上の整数であり、Ｎ＜Ｍである。この混合されたＮチャネルの信号は符号化部120で非可逆又は可逆圧縮符号化され、主符号Imとして出力される。この符号化は高圧縮符号化とすることが望ましい。主符号Imは局部符号化部１３０で復号され局部復号信号が作られる。この局部復号信号はチャネル拡大部４０で元のＭチャネルの局部復号信号にチャネル数が増加される。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。
【０１２６】
なおチャネル混合は例えば８チャネルの信号のうち最初の４チャネルの平均を左チャネル信号とし後の４チャネルの平均を右チャネル信号としてもよい。あるいは２チャネルステレオ信号の平均を１チャネルモノラル信号としてもよい。
チャネル拡大は前記チャネル混合と逆に対応する数のチャネル数の信号にする。ここでチャネル数が拡大された局部符号信号は前記チャネル混合によるチャネル数の減少によって入力ディジタル信号に対して情報が失われている。その失われた信号を誤差信号として、フレーム分割部110から分岐したＭチャネルディジタル信号とＭチャネル局部復号信号とが誤差算出部140に入力されて算出される。この誤差信号は配列変換部５０に供給されて、ビット列の並び替えと圧縮符号化がそれぞれ行われ、誤差符号Ineとして補助情報符号Inxと共に出力される。配列変化部５０の具体的構成及び処理については後で述べるが、図４Ａ及び図１５Ａ，１５Ｂで述べた等位ビット列への変換を行う並び替え部160を少なくとも備えている。配列変換部５０よりの誤差符号Ine、補助情報Inx、及び符号化部120からの主符号Imは、結合部315で結合されて出力され、パケットPeで送出する場合は図４Ｂで説明したヘッダ３１をつけて送出される。
【０１２７】
復号器２０においては、入力されたパケットPeが分離部440でこの場合主符号Imと、誤差符号Ineと、補助情報Inxとに分離される。主符号Imは復号化部６０で、符号器１０における符号化部120の符号化手法と対応した復号化手法により復号され、復号信号が作られる。この復号信号はチャネル拡大部８０によりＮチャネルの復号信号からＭチャネルの復号信号にチャネル拡大される。
分離された誤差符号Ineは配列逆変換部７０で処理されてＭチャネルの誤差信号が再生される。配列逆変換部７０の具体的構成及び処理については後で述べるが、少なくとも図４Ａ，１５Ａ，１５Ｂで述べた並び替え部220を備え、振幅ビット列よりなる誤差信号を再生する。また、補助情報Inxは情報補正部480で復号され、欠落検出部420によりパケットの欠落が検出された場合に補助情報に基づいて情報補正部480において再生誤差信号が補正される。
【０１２８】
再生されたＭチャネルの誤差信号とチャネル拡大されたＭチャネルの復号信号とが対応するチャネルごとに加算部240で加算されてＭチャネルの再生ディジタル信号としてフレーム合成部250へ供給され、これより各チャネルごとにフレーム連結されてディジタル信号がそれぞれ出力される。
この構成によれば復号器２０に主符号Im及び誤差符号Ineと補助情報Inxがそれぞれ再生復号信号及び復号誤差信号を得るに十分な程度に少ない欠落で入力されれば、原Ｍチャネルディジタル信号を忠実に再生することができる。必要に応じてチャネル混合部３０における減少するチャネル数の選択により符号化効率を変更することができる。またパケットが入力されなかったり誤差信号を再生するための十分な情報が得られなかったりした場合にチャネル拡大部８０よりのＭチャネル復号信号を再生ディジタル信号としてフレーム合成部250へ供給することによりかなりの品質を持つ信号を得ることができる。
【０１２９】
図３６の実施例において、チャネル混合を複数段階で行って復号化してもよい。その例を図３７を参照して説明する。図３７において図３６と対応する部分に同一参照符号をつけてある。符号器１０においてはこの例ではチャネル混合をチャネル混合部３０とチャネル混合部４１との２段で行う。例えばＭ＝８チャネルステレオの原ディジタル信号をＮ＝２チャネル又はＮ＝４チャネルのステレオディジタル信号にチャネル混合し、更にそのステレオディジタル信号をＬ＝１チャネルのモノラルディジタル信号にチャネル混合する。このチャネル混合部４１よりのチャネル混合信号を符号化部120で符号化し、主符号Imを出力する。
【０１３０】
この主符号Imを局部復号部130で復号し、その局部復号信号をチャネル拡大部４２でチャネル拡大してＬチャネルからＮチャネルにする。このＮチャネル局部復号信号とチャネル混合部３０よりのＮチャネルディジタル信号との誤差信号を誤差算出部４３で算出し、この誤差信号を符号化部４４で非可逆又は可逆の好ましくは高圧縮符号化して従符号Ieとして出力する。
従符号Ieを局部復号部４５で復号してＮチャネルの局部復号信号を作り、これとチャネル拡大部４２よりのＮチャネルの局部復号信号とを加算部４６で加算し、この加算したＮチャネルの局部復号信号をチャネル拡大部４０でチャネル拡大してＭチャネルの加算局部復号信号とする。このＭチャネル加算局部復号信号とフレーム分割部１１０よりのＭチャネルディジタル信号との誤差信号を誤差算出部140で算出し、この誤差信号を配列変換部５０へ供給する。配列変換部５０よりの誤差符号Ine、補助情報Inx、主符号Im及び従符号Ieを結合部315で結合し、パケット化して出力する。
【０１３１】
復号器２０では分離部440で分離された主符号Imと従符号Ieを復号化部６０と６１でそれぞれ復号し、誤差符号Ineを配列逆変換部７０で並び返して誤差信号を再生する。復号化部６０よりのＬチャネルの復号信号はチャネル拡大部８０でＮチャネルの復号信号に拡大されこのＮチャネルの復号信号と復号部６１よりのＮチャネルの復号信号とが加算部６２で加算される。このＮチャネルの加算復号信号はチャネル拡大部６３でＭチャネルの復号信号にチャネル拡大され、このＭチャネルの復号信号と配列逆変換部７０のＭチャネルの誤差信号とが加算部240で加算されて再生ディジタル信号としてフレーム合成部250へ供給される。
【０１３２】
この場合例えばビットレートの範囲を8kbit/sから5Mbit/sまで６０倍くらいの範囲が選択できる。
図３６及び図３７において結合部315でパケットPeを生成する場合は、主符号Imを含むパケットの優先度を最も高いものとするのが好ましい。また従符号Ieを含むパケットは、主符号Imを含むパケットの次に高い優先度とする。
上述した図３６、３７の各実施例で用いられる配列変換部５０の具体例としては、例えば図３３で説明した可逆符号化部１８の構成をそのまま使用することができる。その場合、図３６、３７の各実施例の復号器２０で用いられる配列逆変換部７０の具体例としては、例えば図３４で説明した可逆復号部２１の構成をそのまま使用することができる。
【０１３３】
あるいは、図３６、３７の各実施例に用いられる配列変換部５０の他の具体例として、例えば図３５Ａで説明した可逆符号化部１８の構成をそのまま使用してもよい。その場合、図３６、３７における配列逆変換部７０の具体的構成としては、図３５Ｂの可逆復号部２１の構成をそのまま使用することができる。
第１３実施例
マルチチャネルの信号をそのままＰＣＭとして伝送すると、完全に原音が再現されるが、多くの情報量を必要とする。またその符号化列の一部だけから音を再生することはできないし、このためＰＣＭとした信号をパケット伝送した場合はパケット消失は大きな影響を受ける。
【０１３４】
この第１３実施例では、多チャネルディジタル信号を、情報欠落の影響を受け難い、また情報圧縮の程度を比較的広い範囲で選択可能とする符号化方法、復号化方法、符号器、復号器、を提供する。
図３８を参照して第１３実施例の符号器１０と復号器２０を説明する。
符号器１０において、Ｍ個（Ｍは２以上の整数）のディジタル信号が入力端子1001〜100Mを通じてフレーム分割部110に入力され、例えばそれぞれ1024個のディジタル信号からなるフレーム単位に順次分割される。これら各Ｍ個のフレームごとのディジタル信号はチャネル間直交変換部190で、チャネル間直交変換されて直交変換信号が出力される。つまりＭ個のディジタル信号の同一時刻のサンプルが直交変換される。ここでチャネル間直交変換に整数値を用いる可逆変換を使用すると全体として可逆な符号化を行うことができる。
【０１３５】
この直交変換信号は並び替え部160に入力される。並び替え部160において各フレームごとに直交変換信号の各成分（例えばＬ＋ＲとＬ−Ｒ）ごとに各サンプル（振幅ビット列）における、振幅を表わす同一ビット位置（桁）がフレームにわたって時間軸方向に配列され、等位ビット列とされる。
並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆符号化され、結合部315により、復号時に分割された伝送記録単位データを１つのフレームとして再構成可能なようにヘッダが取付けられ、パケットPeとして出力端子170に出力される。なお可逆符号化部150の符号化は従来技術の可逆符号化と同様なものである。パケットPeに優先順位をつける場合は、直交変換信号の各成分中のエネルギーの大きなものから順に、例えばＬ＋Ｒを第１優先とし、その中で極性符号、ＭＳＢ側に対応伝送記録単位データを含むものに高い優先度を与える。
【０１３６】
復号化器２０においては入力端子200からのパケット３７は、後で述べるように、補助情報を含む場合は分離部440で補助情報と、伝送記録単位データ（極性符号列を含む）とに分離される。伝送記録単位データはそれが可逆符号化されている場合は可逆復号化部210へ供給され、ここで可逆復号された後、各伝送記録単位データは伝送記録単位統合部410へ供給される。伝送記録単位統合部410ではパケット番号に基づき、１つ又は複数のパケットより１フレーム分の伝送記録単位データを統合し、直交変換信号の各成分ごとに統合する。この統合されたデータは並び替え部220で等位ビット列を振幅ビット列の１フレーム分、つまり直交変換信号の１成分のサンプル列（波形）に変換される。並び替え部160、220の動作については図４Ａ，１５Ａ，１５Ｂを参照して詳しく説明したのでここでは説明しない。パケット欠落が生じていなければ、並び替え部220から、符号器１０の並び替え部160に入力された直交変換信号と完全に同一の直交変換信号が得られる。
【０１３７】
チャネル間直交逆変換部290では、その入力された再生直交変換信号の各成分を、チャネル間直交変換部190での直交変換と逆の変換を行ってＭチャネルディジタル信号を再生する。このようにフレームごとに再生されたＭチャネルディジタル信号はフレーム合成部250で各チャネルごとにフレームの順に連結された出力端子2601〜260Mからそれぞれ出力される。
このようにして、Ｍチャネルディジタル信号をチャネル間直交変換して伝送や記録を行うことができ、その際、伝送記録単位でパケット化することにより、エネルギーの大きいもの程、またそのＭＳＢに近いもの程、優先度を高くすることにより、伝送容量や記録容量が小さい場合に、優先度が高いパケットのみを用いることにより、比較的品質の高い再生信号を得ることができる。また後で述べるように、パケット欠落時に、失なわれた情報を補うことにより、よりよい品質の多チャネルディジタル信号を再生することができる。
【０１３８】
上述において、可逆符号化部150、可逆復号化部210を省略してもよい。
第１４実施例
チャネル間直交変換にＤＦＴやＤＣＴのような実数の変換を用いると、この直交変換信号をチャネル間直交逆変換しても、再生ディジタル信号は原ディジタル信号と一致しない。また直交変換係数の一部だけ、つまりエネルギーの大きい成分だけ、例えばＬ＋Ｒのみをパケットとして出力することが要求されることがある。これらに対応した発明の実施例が以下に述べる第１４実施例である。
【０１３９】
この第１４実施例を図３９を参照して説明する。
図３９において図３８と異なる点は、チャネル間直交変換部190からの直交変換信号の全成分或は一部の成分、つまりパワーの大きな成分を符号化部120で可逆符号化し、主符号Imを出力する。符号化部120からの符号を局部復号部１３０で復号して局部復号信号を作り、その局部復号信号をチャネル間直交逆変換部180でチャネル間直交変換部190の変換と逆変換を行って複数のチャネルのディジタル局部復号信号を生成する。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。これら各チャネルの局部復号信号とフレーム分割部110からの各ディジタル信号の対応するチャネル間における誤差信号を誤差算出部140で算出する。この算出した各誤差信号を配列変換部５０で図３８中の並び替え部160、伝送記録単位分割部310、可逆符号化部150の処理を行う。
【０１４０】
符号化部120からの主符号Imが伝送記録単位分割部310で伝送記録単位に分割され、これと配列変換部部５０からの誤差符号Ineが結合部315で結合され、必要に応じてパケットPeとして出力される。なお配列変換部50は少なくとも図３８中の並び替え部160を備えていればよく、図３８中の伝送記録単位分割部310及び可逆符号化部150の処理は行わなくてもよい。この場合は主符号Imも伝送記録単位分割部330の処理を行わない。結合部315で主符号Imと誤差符号Ineをパケットとする場合は主符号Imを含むパケットに最も高い優先度を与える。
【０１４１】
復号器２０においては分離部440で主符号Imと誤差符号Ineが分離され、前者は復号化部６０で可逆復号化され、その復号信号はチャネル間直交逆変換部290で符号器１０のチャネル間直交逆変換部180と同様の処理によりチャネル間直交逆変換される。
一方、誤差符号Ineは配列逆変換部７０に入力され、図３８中の復号器２０の可逆復号化部210、伝送記録単位統合部410、並び替え部220、情報補正部480の処理が行われ、誤差信号サンプル列が再生される。ただし、少なくとも並び替え部220における処理が行われればよく、符号器１０側に対応して可逆復号化部210、伝送記録単位統合部410の処理は行わないでもよい。
【０１４２】
これら各再生された誤差信号と、チャネル間直交逆変換部３０からの逆変換信号と対応するチャネルについて、加算部240でそれぞれ加算され、各チャネルの再生ディジタル信号が得られ、これらがフレーム合成部250へ供給される。
直交変換成分の一部を省略し、符号化ビット数を少くし、効率良い符号化としてもこの第１４実施例により原ディジタル信号を再生することができる。また誤差信号成分が送られなかったり、再生に必要とする十分な情報が得られなくてもチャネル間直交逆変換部３０からの逆変換処理された各信号をディジタル再生信号として用いることによりある程度の品質の再生信号を得ることができる。符号器１０の配列変換部５０において、各種の処理を省略できるが、これに応じて配列逆変換部７０における処理も省略される。また符号化部120で可逆符号化する場合に限らず、いわゆる非可逆の高圧縮符号化を行ってもよい。その場合はこれに応じて復号化器２０の復号部６０も非可逆復号化を行う。この高圧縮符号化方法は従来技術の項で述べたものなどを用いることができる。
第１５実施例
図４０に図３９と対応する部分に同一参照符号を付けてこの発明の第１５実施例を示す。第２実施例と異なる部分のみを説明する。
【０１４３】
符号器１０においては、チャネル間直交変換部190によりＭチャネルディジタル信号がチャネル間直交変換された信号は符号化部120で符号化されて主符号Imとして出力されると共に、その主符号Imは局部復号部130で局部復号されて局部信号とされる。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。その局部信号に対し、ここではチャネル間直交逆変換は行わず、チャネル間直交変換部190からのチャネル間直交変換信号との対応する成分の各誤差信号が誤差算出部140で算出される。この誤差信号が配列変換部５０に供給される。以下第１４実施例の符号器と同様に処理される。
【０１４４】
復号化器２０においては第１４実施例との相異に基づき復号部６０で復号された主符号Imの主信号と、配列逆変換部７０で再生された誤差信号とが加算部240で各対応する成分について加算され、これら加算された各成分の信号がチャネル間直交逆変換部290で符号器１０のチャネル間直交変換部190と対応した逆変換が行われ、各チャネルの再生ディジタル信号としてフレーム合成部250へ供給される。
この場合も誤差信号を正しく再生できれば多チャネルディジタル信号を正しく再現できる。また第１４実施例と同様、符号化部120ではチャネル間直交変換信号中のパワーの大きい成分だけを選択するか、予め平均的にパワーが大きい成分を決めておき、この成分だけを符号化して符号化効率を向上させることも可能である。符号化部120は非可逆の高圧縮符号化でも可逆の圧縮符号化でもよい。
【０１４５】
図３９、図４０中の配列変換部５０の具体的構成例としては、例えば図３３に示す可逆符号化部１８の構成をそのまま使用することができる。この配列変換部５０と対応する配列逆変換部７０の具体的構成例としては、図３４に示す可逆復号部２１の構成をそのまま使用することができる。
あるいは、配列変換部５０の具体的構成例として図３５Ａに示す可逆符号化部１８を使用し、それに対応して配列逆変換部７０の具体的構成例として図３５Ｂに示す可逆復号部２１を使用してもよい。
第１６実施例
上述したような、非可逆圧縮符号と、その誤差信号の可逆符号とを用いて、可逆符号化を実現しようとする符号化／復号化方法によっても、非可逆圧縮符号を再生する復号化器や計算機の環境によって、その非可逆圧縮符号の再生信号にはわずかな誤差が含まれることがある。そのような場合、復号化器で、非可逆圧縮符号の復号信号と、可逆符号を復号した誤差信号とを組合わせても、再生ディジタル信号が原ディジタル信号とは完全には一致しない。
【０１４６】
この第１６実施例は、非可逆圧縮符号化とその誤差信号の可逆符号化を用い、復号化器や計算機の環境にかかわらず、理論的には、原ディジタル信号と完全に一致する再生ディジタル信号を得ることを可能とする符号化方法、復号化方法、符号器、復号器を提供するものであり、以下に図４１を参照して説明する。
図４１において、符号器１０においては入力端子100からのディジタル信号はフレーム分割部110でフレーム単位、例えば1024サンプルごとに分割されそのフレームごとにディジタル信号は非可逆符号化部120で符号化され、主符号Imとして出力される。その主符号Imは局部復号部１４で復号され局部復号信号が作られ、その局部復号信号は変動最大桁数検出部５５及び切捨部５６に供給される。符号Imの局部復号信号は、非可逆符号化部120において分析合成符号化法により生成することができる。変動最大桁数検出部５５においてはフレーム又はフレーム内の１サブフレーム以上において主符号Imが復号器で復号された際の復号信号の保証される確かな桁数、つまり復号化器の復号精度に基づいて変動し得る桁数の最大を検出する。
【０１４７】
例えばMPEG-4オーディオ準拠の復号化器では環境によらず、その再生信号の各サンプル値は基準再生信号から±１の範囲内に収まることが保証されている。従って局部復号部１４を考慮すると種々の復号器の再生信号の振幅には±２の誤差が含まれる可能性がある。局部復号信号の振幅も値によっては上記±１の誤差により上位の桁数まで２進数表現の値が変わる場合がある。
例えば局部復号信号の振幅が、
8192（２進で0010000000000000）
の場合、基準復号値は
8191（２進で0001111111111111）
または
8193（２進で0010000000000001）
であることが考えられる。
【０１４８】
従って別の復号化器では
8190（２進で0001111111111110）
から
8194（２進で0010000000000010）
までとなることが考えられる。この場合、環境が変わっても復号値が保証されるのは上位２桁のみとなる。
ここでフレーム又は１以上のサブフレーム内で異なる環境の復号化器でも指定された桁数までは再生（復号）波形の振幅の２進表現が一致する桁数を、精度の最小値と定義し、変動し得る桁数の最大値と呼ぶ。上記の数8192が含まれるときの最大の桁数は１４となる。前記数値例では精度の最小値は上位２桁である。負の数の場合は絶対値に対して同様の処理を行う。また復号振幅が−２，−１，０，１，２のいずれかの場合は極性が反転しないようにすべて０とするものと決めておく。変動最大桁数検出部５５ではフレーム又は１以上のサブフレームごとに各局部復号信号の各サンプルについて保証される精度を計算し、つまり復号保証される振幅値を計算し、そのフレーム又は１以上のサブフレームごとに保証される精度の最小値、つまり変動し得る桁数の最大値を図４２に示すように求める。
【０１４９】
変動最大桁数検出部５５では局部復号信号の各サンプルについてこのように環境によって変動し得る桁数を計算し、フレーム又はフレーム内の１サブフレーム以上ごとのその変動し得る桁数の最大値を検出してこれを桁数符号Igとして出力すると共に、切捨部５６において局部復号信号を前記変動の桁数の最大値の桁の数値以下を切り捨てて保証局部復号信号を生成する。保証局部復号信号は図４２中の斜線の下側の線１１となる。
この保証局部復号信号とフレーム分割部110からのディジタル信号との誤差信号を誤差算出部１６で算出する。この誤差信号はフレーム分割部110からのディジタル信号中の図５３における保証局部復号信号線１１以下の部分の信号となる。この誤差信号を可逆符号化部１８で可逆符号化して誤差符号Ineとして出力する。主符号Im、誤差符号Ine、桁数符号Igを結合部315で結合して出力端子１７０から出力する。
【０１５０】
復号器２０では入力端子200からの入力符号は分離部440でフレームごとに主符号Im、桁数符号Ig、誤差符号Ineに分離される。主符号Imは非可逆復号部６０で非可逆復号化されて復号信号が作られる。桁数符号Igは桁数復号部８１で復号され、変動の最大桁数が得られる。切捨部８２において非可逆復号部６０からの復号信号の前記変動の最大桁数以下の部分が切捨てられ保証復号信号として出力される。
誤差符号Ineは可逆復号部２１で可逆復号され、誤差信号が再生される。この誤差信号と切捨部８２からの保証復号信号とが加算部240で加算され再生ディジタル信号としてフレーム合成部250へ供給される。フレーム合成部250はフレームごとの再生信号を順次結合して出力端子260へ出力する。
【０１５１】
このように符号化器１０で作られた保証局部信号は局部復号部１４及び復号化器２０で発生する誤りの最悪の合計値に影響されないものとされてあり、復号化器２０で作成される保証復号信号は復号化器の保証局部復号信号と理論的には完全に一致したものとなり、従ってその誤差信号が正しく再生されれば理想的には完全に原ディジタル信号と一致した再生ディジタル信号を得ることができる。
第１６実施例において桁数符号Igは精度の最小値を符号化したものでもよい。
第１７実施例
変動最大桁数検出部５５で検出される変動の最大桁数は例えば１サンプルを１６ビット表現の場合、３又は４ビット程度となることが多いが、前述した数値例のように、復号保証精度が上位２桁しかないサンプルがあれば、精度の最小値、つまり変動の最大桁数が大きなものとなり、誤差信号の振幅が大きくなり、可逆符号化部１８より出力される誤差符号Ineのビット数が多くなり、符号化効率が悪くなる。しかし、このようになるのは前記数値例のように、局部復号信号のサンプル値が上位桁において１か所のみ１で他の桁は全て０となる場合であり、このようなことは少ない。つまりそのような例外のサンプルを除くと、例えば図４３Ａに示すように精度の最小値は１２又は１３ビット程度となる。
【０１５２】
この第２３実施例ではフレーム又は１以上のサブフレームごとに例外のサンプルを除いた精度の最小値、つまり変動し得る最大の桁数と、その例外サンプルの位置（フレーム又はサブフレーム内の）情報と、その復号保証精度、つまり変動の最大桁数をそれぞれ符号化し、図４３Ａに示す保証局部復号信号を作る。
例えば図４４に図４１に対応する部分に同一参照番号を付けて示すように、符号器１０では、局部復号部１４からの局部復号信号は例外検出部５７へ供給され、例外的に大きな変動し得る桁数（例外的に小さい保証精度）を検出し、その桁数（又は精度）とサンプル位置情報とを変動最大桁数検出部５５と切捨部５６へ供給すると共に、その変動し得る桁数（又は精度）とサンプル位置情報を符号化して例外符号Igeとして出力する。
【０１５３】
変動最大桁数検出部５５では局部復号信号中から例外サンプルを除去し、その除去された局部復号信号の変動し得る最大の桁数（又は精度最小値）を検出し、これを切捨部５６へ供給すると共に符号化して桁数符号Igとして出力する。切捨部５６では局部復号信号から、例外サンプルについてはその変動し得る桁数の数値以下を切捨て、その他の部分は変動し得る最大桁数以下を切捨てて保証局部復号信号とする。この保証局部復号信号を誤差算出部１６へ供給する。また結合部315では主符号Im、誤差符号Ine、桁数符号Igの他、例外符号Igeも合成して出力する。その他は図４１の実施例と同様である。
【０１５４】
例外サンプルとしては、大部分のサンプルに対し予め決めたビット数だけ精度が小さい（変動し得る桁数が大きい）ものの全て、又は予め決めた数までその精度が小さい（変動し得る桁数が大きい）順に選択し、結合部315で、例えば図４３Ｂに示すようにフレーム（又はサブフレーム）ごとに、例外サンプルの数を示す符号、次に例外サンプルの位置情報及びその変動し得る桁数（精度）を表わす例外符号Igeを順次配列し、最後に桁数符号Igを付けた一塊として出力する。
復号化器２０では、分離された例外符号Igeは例外復号部８３で復号され、サンプル位置情報と変動し得る桁数が得られる。切捨部８２においては、非可逆復号部６０からの復号信号中の、例外復号部８３からのサンプル位置情報が示すサンプルはその変動最大桁数以下が切り捨てられ、その他のサンプルは、桁数復号部８１からの変動し得る最大の桁数以下が切捨てられて、保証局部信号が生成される。その他の処理は図４１の実施例と同様である。
【０１５５】
この第１７実施例によれば、符号器１０における誤差信号の情報量が少なくなり、それだけ可逆符号化部１８における符号化効率が向上する。
上述の図４１及び４４における可逆符号化部１８の具体的構成例としては、例えば前述と同様に図３３で示した可逆符号化部１８の構成をそのまま使用することができる。またその場合の復号器２０における可逆復号化部２１の構成は図３４に示した可逆復号化部２１の構成をそのまま使用できる。あるいは、可逆符号化部１８の構成として図３５Ａに示した可逆符号化部１８の構成を使用してもよい。その場合の可逆復号化部２１の構成としては図３５Ｂに示す構成をそのまま使用できる。、
前述したこの発明による各実施例の符号化方法及び復号化方法は、いずれもコンピュータで実施可能なプログラムとして記憶媒体に記述し、必要に応じてこれを読み出してコンピュータで実行することができる。
【０１５６】
【発明の効果】
以上説明したように、この発明の第１の観点による符号化方法及び復号方法によれば、フレーム毎に一連のサンプルの対応するビットを連結して等位ビット列を生成し、パケットとして出力するので、伝送路でのパケットの欠落が生じても復号されたフレームのサンプル列の対応するビットの欠落はそれ程大きな品質劣化をもたらさない。
この発明の第２の観点による符号化方法及び復号方法によれば、復号器が保証する復号信号の精度に応じて、フレーム又はサブフレーム毎に復号器の精度に基づき変動する最大の桁数を検出し、局部復号信号中の変動の最大桁数以下を切り捨てて保証局部信号とし、これと原ディジタル信号との誤差信号を可逆符号化しているため、復号において非可逆符号の復号信号から復号した変動の最大桁数以下を切り捨てることにより、符号器の保証局部信号と論理的に一致した保証復号信号を得ることができる。
【０１５７】
以上説明したように、この発明による符号化方法、復号化方法、符号器及び復号器は以下の観点のように表すことができる。
符号化方法
第１の観点による方法：複数のサンプルを含む各フレームごとにディジタル信号を符号化する符号化方法は、以下のステップを含む。
(a) フレームごとのディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成し、
(b) 上記データの組を符号で出力する。
【０１５８】
第２の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は可逆符号化する前に予め各サンプルの振幅を極性符号と絶対値の２進表現に変換するステップを含むことを特徴とする符号化方法。
第３の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(b)は上記可逆符号を格納し、上記ヘッダ情報がつけられたパケットを生成し出力するステップを含む。
第４の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(b)は上記ビット列に極性符号および絶対値に降順に高い優先度をつけるステップを含む。
【０１５９】
第５の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は、
(a-1) 原信号を非可逆符号化して非可逆圧縮情報と局部復号信号を生成するステップと、
(a-2）上記局部復号信号と上記原信号との誤差信号を上記ディジタル信号として非可逆符号化するステップ、
とを含み、
上記ステップ(b)は、上記可逆符号と共に上記非可逆圧縮情報を出力する。
【０１６０】
第６の観点の符号化方法：第１の観点記載の符号化方法において、上記ディジタル信号のスペクトル包絡を表現するパラメータを求め、そのパラメータを符号化して生成した符号を補助情報として上記可逆符号と共に出力するステップを含む。
第７の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は、
(a-1) 各フレーム内のディジタル信号の振幅の絶対値の最大値を表現する桁数を有効桁数として決定するステップと、
(a-2) フレームごとにその有効桁数以内の部分についてそれぞれのサンプルの上記対応する少なくとも１桁のビットをそのフレームにわたって時間方向に並んだ少なくともひとつの上記ビット列を上記可逆符号の一部の伝送記録単位データとして生成するステップ、
とを含み、
上記ステップ(b) は、フレームごとに上記有効桁数を上記可逆符号と共に出力するステップを含む。
【０１６１】
第８の観点の符号化方法：第７の観点記載の符号化方法において、上記ステップ(b) は、上記有効桁数を補助情報として又はそのフレームの何れかのパケット内に格納して出力するステップを含む。
第９の観点の符号化方法：第６の観点記載の符号化方法において、上記ステップ(a) 、
(a-1)上記パラメータとして線形予測係数と現在の予測値を過去のディジタル信号から求めるステップと、
(a-2) その予測値を現在のサンプルから差し引いて予測誤差を求めるステップ、
とを含み、
上記ステップ(b) は、上記線形予測係数を符号化して補助情報として上記可逆符号と共に出力する。
【０１６２】
第１０の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に聴覚特性を考慮した非可逆符号化して非可逆符号を生成し局部復号信号を生成するステップと、
(0-2) その局部復号信号を、上記入力信号との誤差が小さくなるように変形して変形局部復号信号を生成するステップと、
(0-3) 上記入力信号と上記変形局部復号信号との誤差信号を上記ディジタル信号として生成するステップとを含む。
【０１６３】
第１１の観点の符号化方法：第１０の観点記載の符号化方法において、
上記ステップ(0-2) は、上記ディジタル信号と上記局部復号信号との相互相関成分を含む変形パラメータを計算し、その変形パラメータ符号を出力するステップと、
上記変形パラメータを上記局部復号信号に対し、乗算又は畳み込み上記変形局部復号信号を作るステップとを含む。
第１２の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記局部復号信号に対し変形パラメータを乗算し、又は複数サンプルを変形パラメータで結合して上記変形局部復号信号を作るステップと、
(0-2-2) その上記誤差信号のエネルギーが小さくなるように、上記変形パラメータをフレームごとに生成するステップとを含む。
【０１６４】
第１３の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記局部復号信号の上記ディジタル信号に対する誤差を算出して誤差信号を求めるステップと、
(0-2-2) その誤差信号を、量子化誤差が最小になるように符号化して誤差最小化符号を生成し、その誤差最小化符号に対する第２局部復号信号を生成するステップと、
(0-2-3) その第２局部復号信号と上記局部復号信号を加算して上記変形局部信号を得るステップとを含む。
【０１６５】
第１４の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記ディジタル信号を、量子化誤差が最小になるように符号化してその誤差最小化符号を生成し、その誤差最小化符号にたいする第２局部信号を生成するステップと、
(0-2-2) その第２局部信号と上記局部信号とを前者を重視した荷重平均をとって、上記変形局部信号を求めるステップとを含む.
第１５の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に、聴覚特性を考慮した非可逆圧縮符号化して第１非可逆符号を出力するステップと、
(0-2) 上記ディジタル信号を非可逆圧縮符号化して第２非可逆符号を生成しその第２非可逆符号に対する局部信号を生成するステップと、
(0-3) その局部信号と上記ディジタル信号との誤差信号を上記ディジタル信号として求めるステップ、
とを含む。
【０１６６】
第１６の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に量子化誤差が最小となるように圧縮符号化して誤差最小化符号を生成し、その誤差最小化符号に対する第１局部信号を生成するステップと、
(0-2) その第１局部信号の上記入力信号に対する誤差信号を上記ディジタル信号として生成するステップと、
(0-3) 上記誤差信号を聴覚特性を考慮した非可逆圧縮符号化して可逆符号を生成するステップとを含む。
【０１６７】
第１７の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をＮチャネルの信号に混合するステップと、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、その主符号に対するＮチャネルの局部復号信号を生成するステップと、
(0-2) このＮチャネルの混合信号を符号化して主符号を生成し、
(0-3) このＮチャネル局部復号信号をＭチャネルの局部復号信号にチャネル拡大するステップと、
(0-4) 各上記Ｍチャネル局部復号信号とそれに対応する上記Ｍチャネル入力信号との誤差信号を上記ディジタル信号として求めるステップ、
とを含み、
上記ステップ(b) は、上記主符号を上記可逆符号と共に出力するステップを含む。
【０１６８】
第１８の観点の符号化方法：第１６の観点記載の符号化方法は更に、
(0-1) 上記Ｎチャネルの混合信号をＮより少ない１以上のＬチャネルの混合信号に混合するステップと、
(0-2) そのＬチャネルの混合信号を符号化して主符号を生成しその主符号に対するチャネル局部信号を生成するステップと、
(0-3) そのＬチャネル局部復号信号をＮチャネルの局部復号信号にチャネル拡大するステップと、
(0-4) そのＮチャネルの局部復号信号と上記Ｎチャネルの混合信号との差を第1誤差信号として生成するステップと、
(0-5) 上記第1誤差信号を符号化して、従符号を生成し、その従符号に対するＮチャネルの局部誤差信号を生成するステップと、
(0-6) そのＮチャネルの局部復号信号と上記Ｎチャネルの局部復号誤差信号とを加算してＮチャネル加算局部信号を生成するステップと、
(0-7) このＮチャネル加算局部復号信号をチャネル拡大して、Ｍチャネルの加算局部信号を生成するステップと、
(0-8) このＭチャネル加算局部信号と上記Ｍチャネルディジタル信号との差を第２誤差信号として生成するステップ、
とを含み、
上記ステップ(b) は、上記主符号と共に、上記従符号を出力する。
【０１６９】
第１９の観点の符号化方法：第１の観点記載の符号化方法は更に、
Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を上記ディジタル信号として含み、Ｍは２以上の整数であり、上記Ｍチャネルのそれぞれに対して上記ステップ(a)、(b)を実行する。
第２０の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を生成するステップと、Ｍは２以上の整数であり、
(0-2) その直交変換信号の少なくとも一部の信号を符号化して、主符号を生成し、その主符号に対する局部復号信号を生成するステップと、
(0-3) その局部復号信号をチャネル間直交逆変換して、Ｍチャネル局部復号信号を生成するステップと、
(0-4) 各上記Ｍチャネル局部復号信号とそれに対応する上記Ｍチャネル入力信号との誤差信号を上記ディジタル信号としてを求めるステップ、
とを含み、
上記ステップ(b) は、上記従符号を上記主符号と共に出力する。
【０１７０】
第２１の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を生成するステップと、Ｍは２以上の整数であり、
(0-2) その直交変換信号の少なくとも一部の信号を符号化して、主符号を生成し、その主符号に対する局部復号信号を生成するステップと、
(0-3) その各局部復号信号とそれに対応する上記直交変換信号との差を誤差信号として求めるステップ、
とを含み、
上記ステップ(b) は上記主符号を上記可逆符号と共に出力する。
【０１７１】
第２２の観点の符号化方法：第１の観点記載の符号化方法において、更に、
(a-1)ディジタル信号を非可逆符号化して、非可逆符号を生成し、その非可逆符号に対する局部復号信号を生成し、
(a-2)フレーム又はフレーム内の1以上のサブフレームごとに上記非可逆符号に対する復号信号が変動し得る最大の桁数を上記復号信号から検出し、その変動の最大桁数を示す桁数符号を出力し、
(a-3)上記局部復号信号をディジタル表現における上記変動の最大桁数以下のアブ文を切り捨てて精度保証局部復号信号を生成し、
(a-4)その精度保証局部復号信号と上記ディジタル信号との誤差信号を作成し、
(a-5)その誤差信号を可逆符号化して可逆符号を出力する。
復号化方法
第２３の観点の復号化方法：フレームごとにディジタル信号のサンプルを再生する復号化方法であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
(b) 上記複数の組のデータに基づいてディジタル信号を再生するステップ、
とを含む。
【０１７２】
第２４の観点の復号化方法：第２３の観点記載の復号化方法において、
上記ステップ(b) は、上記サンプル列を、極性符号と絶対値の２進表現から２の補数表現に変換するステップを含む。
第２５の観点の復号化方法：第２３の観点記載の復号化方法において、
上記ステップ(b) は、上記ディジタル信号を平滑化して上記ディジタル信号するステップを含む。
第２６の観点の復号化方法：第２３の観点の復号化方法において、上記ステップ(b) は、補助情報を復号してスペクトル包絡を求め、上記ディジタル信号のスペクトル包絡が上記復号スペクトル包絡に近づくように、上記ディジタル信号を補正するステップを含む。
【０１７３】
第２７の観点の復号化方法：第２６の観点の復号化方法において、上記ステップ(b) は、
(b-1) 上記欠落又は誤りビットに対し暫定サンプルを代入するステップと、
(b-2) 上記暫定サンプルのスペクトル包絡を計算するステップと、
(b-3) 上記計算したスペクトル包絡又はその変形スペクトル包絡の特性により上記暫定的なサンプルのスペクトル包絡を平坦化するステップと、
(b-4) 上記平坦化されたスペクトル包絡に対し、上記復号スペクトル包絡又はその変形スペクトル包絡を使ってサンプルを再構成するステップ、
とを含む。
【０１７４】
第２８の観点の復号化方法：第２６の観点の復号化方法において、上記ステップ(b) は、
(b-1) 上記欠落又は誤りビットに対し暫定的なサンプルを代入するステップと、
(b-2) 上記暫定サンプルのスペクトル包絡を計算するステップと、
(b-3) 上記計算したスペクトル包絡またはその変形スペクトル包絡の逆特性により上記復号スペクトル包絡またはその変形スペクトル包絡を組み合わせたひとつのスペクトル包絡を計算するステップと、
(b-4) 上記ひとつのスペクトル包絡を用いて上記暫定的なサンプル列を再構成するステップと、
(b-5) 上記再構成されたサンプル列中の誤った補正を修正するステップ、
とを含むことを特徴とする復号化方法。
【０１７５】
第２９の観点の復号化方法：第２７の観点記載の復号化方法において、上記ステップ(b-3) は、計算したスペクトル包絡を線形予測ケプストラム係数Caに変換し、上記復号スペクトル包絡を線形予測ケプストラム係数Cbに変換し、又は上記補助情報に対する復号スペクトル包絡を使って、これら線形予測ケプストラム係数の差Cb-Caを求めて、上記ひとつのスペクトル包絡を得るステップを含む。
第３０の観点の復号化方法： 第２７、２８又は２９の観点記載のいずれかの復号化方法において、更に、
(b-5) 上記暫定的なサンプルのスペクトル包絡と上記復号スペクトル包絡との誤差が所定値以内か否かを調べ、所定値以内であれば、その時の暫定的なサンプルを補正されたサンプルとし、所定値以内でなければ、上記ステップ(b-2)、(b-3)、(b-4) を繰り返す。
【０１７６】
第３１の観点の復号化方法：第２３の観点記載の復号化方法において、上記ステップ(a) は、入力された非可逆符号化情報を非可逆復号化し、その非可逆復号化信号に上記ディジタル信号を加算するステップを含む。
第３２の観点の復号化方法：第２３の観点記載の復号化方法において、上記ステップ(a) は、上記可逆符号の伝送記録単位データを復号し、ヘッダ情報に基づき上記1フレームの少なくとも１つのビット位置の少なくとも１つの復号ビット列を生成するステップを含み、上記ステップ(b) は、上記伝送記録単位データ中の欠落又は誤りビットを検出し、各フレーム毎に上記サンプル列に対し、入力された有効桁数に応じた桁合せを行うステップを含む。
【０１７７】
第３３の観点の復号化方法：第３２の観点記載の復号化方法において、上記ステップ(b) は、現在のフレームの復号有効桁数が一つ前のフレームの復号有効桁数より大きければ、一つ前のフレームのサンプルの振幅値を縮小して、一つ前のフレームの有効桁数を現在のフレームの有効桁数にそろえた後、補正処理を行い、
現在のフレームの有効桁数が一つ前のフレームの有効桁数より小さければ、一つ前のフレームのサンプルの振幅値を拡大して、一つ前のフレームの有効桁数を現在のフレームの有効桁数にそろえた後、補正処理を行う。
【０１７８】
第３４の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルは予測誤差信号のサンプルであり、更に
(c) 欠落又は誤りデータに対し、予測誤差信号のスペクトル包絡に基づき、上記予測誤差信号を補正するステップ、
(d) 入力補助情報を復号して線形予測情報を得るステップと、
(e) 上記線形予測に基づいて再生原信号を上記予測誤差信号信号と上記再生原信号の過去のサンプルとから合成するステップ、
とを含む。
【０１７９】
第３５の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルのスペクトル包絡を形質するステップと、
(c-3) 上記スペクトル包絡の平坦度を求め、その平坦度が所定値以内であれば、上記暫定サンプルを上記補正した予測誤差信号とするステップと、
(c-4) 上記平坦度が所定値以内でなければ、上記暫定サンプルを、上記スペクトル包絡又はその変形スペクトル包絡により規格化して平坦化信号を得るステップと、
(c-5) 上記規格化した信号を上記暫定サンプルとして使用して上記ステップ(c-1) 〜(c-4) を繰り返す。
【０１８０】
第３６の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルに対し、上記復号線形予測係数を用いてフィルタ処理し合成信号を生成するステップと、
(c-3) 上記合成信号のスペクトル包絡を計算するステップと、
(c-4) 上記計算したスペクトル包絡又はその変形スペクトル包絡により上記暫定誤差信号を規格化してスペクトルが平坦化された信号を作るステップと、
(c-5) 上記スペクトルが平坦化された信号に対し、上記復号線形予測係数を用いてフィルタ処理して予測誤差波形を再構成するステップ、
とを含む。
【０１８１】
第３７の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルに対し、上記復号線形予測係数を用いてフィルタ処理し合成信号を生成するステップと、
(c-3) 上記合成信号の線形予測係数を計算するステップと、
(c-4) 上記計算した線形予測係数またはその帯域を拡大した線形予測係数の逆特性と、上記復号線形予測係数またはその帯域を拡大した線形予測係数を組み合わせた線形予測係数を計算するステップと、
(c-5) 上記組み合わせた線形予測係数を用いて上記暫定サンプルをフィルタ処理して予測誤差信号を生成するステップ、
とを含む。
【０１８２】
第３８の観点の復号化方法：第３６または３７の観点記載の復号化方法において、更に上記計算した線形予測係数と上記復号線形予測係数との誤差が所定値以内か否かを調べ、所定値以内であれば、その時の暫定サンプルを補正された予測誤差波形とし、所定値以内でなければ、上記合成信号を上記暫定サンプルとして使用して上記ステップ(c-1) 〜(c-5) を繰り返す。
第３９の観点の復号化方法：第３１の観点記載の復号化方法において、更に以下のステップを含む：
(c) 上記局部復号信号と上記ディジタル信号との誤差が小さくなるように上記局部復号信号を変形して変形信号を生成するステップと、
(d) その変形信号と上記誤差信号とを合成して、上記再生信号を更新するステップ、
とを含む
第４０の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 変形パラメータ符号を復号して変形パラメータを得るステップと、
(c-2) その復号された変形パラメータを上記復号信号に対し乗算又は畳み込みを行って上記変形復号信号を得るステップ、
とを含む。
【０１８３】
第４１の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記局部復号信号に対し、少なくとも１つの変形パラメータで乗算又は畳み込み演算して上記変形信号を生成するステップと、
(c-2) その変形信号と上記再生信号との誤差信号のエネルギーが小さくなるように、上記変形パラメータを生成するステップ、
とを含む。
【０１８４】
第４２の観点の復号化方法：第２３の観点記載の復号化方法において、更に、
(c) 入力誤差最小化符号を非可逆復号して第１局部復号信号を再生するステップと、
(d) 上記ディジタル信号と上記第１局部復号信号を加算して第１ディジタル信号を再生するステップと、
(e) 聴覚特性が考慮された第２非可逆符号を非可逆復号して第２局部復号信号を再生するステップと、
(f) 上記第１ディジタル信号又は上記第２ディジタルを出力するステップ、
とを含む。
【０１８５】
第４３の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 誤差最小化符号を復号して第２局部復号信号を得るステップと、
(c-2)その第２局部復号信号を上記局部復号信号に加算して上記変形信号を生成するステップ、
とを含む。
第４４の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 誤差最小化符号を復号して第２局部復号信号を作るステップと、
(c-2) その第２局部復号信号と上記局部復号信号とを前者に重視して荷重平均を行って上記変形復号信号を作るステップ、
とを含む。
【０１８６】
第４５の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号してＮチャネルの復号信号を求めるステップと、ＮはＭより小さい１以上の整数であり、、
(d) そのＮチャネル復号信号をＭチャネルの復号信号にチャネル拡大するステップと、
(e) 上記Ｍチャネル誤差信号と上記Ｍチャネル復号信号とを加算してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１８７】
第４６の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号してＬチャネルの復号信号を得るステップと、Ｌは１以上の整数であり、
(d) そのＬチャネル復号信号をチャネル拡大してＮチャネルの復号主信号を生成するステップと、ＮはＬより大きくＭより小さい整数であり、
(e) 従符号を復号してＮチャネル復号従信号を得るステップと、
(f) このＮチャネル復号主信号と上記Ｎチャネル復号従信号とを加算してＮチャネル加算信号を生成するステップと、
(h) そのＮチャネル加算信号をチャネル拡大してＭチャネルの加算信号を生成するステップと、
(i) 上記Ｍチャネルの誤差信号と上記Ｍチャネル加算信号とを加算してＭチャネルの再生ディジタル信号を得るステップ、
とを含む。
【０１８８】
第４７の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルは複数チャネルのサンプルであり、上記復号化方法は更に
(c) 上記複数チャネルのサンプル列に対しチャネル間直交逆変換を行って複数チャネルのディジタル信号を再生するステップ、
を含む。
第４８の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号化して局部復号信号を得るステップと、
(d) 上記Ｍチャネルの局部復号信号にチャネル間直交逆変換を施してＭチャネル復号信号を求めるステップと、
(e) このＭチャネル復号信号と上記Ｍチャネル誤差信号とを加算してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１８９】
第４９の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に
(c) 入力主符号を復号化してＭチャネルの局部復号信号を求めるステップと、
(d) 上記Ｍチャネルの局部復号信号と上記Ｍチャネルの誤差信号を加算してＭチャネルの加算信号を得るステップと、
(e) 上記Ｍチャネルの加算信号に対しチャネル間直交逆変換を施してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１９０】
第５０の観点の復号化方法：第２３の観点記載の復号化方法において、更に以下のステップを含む：
(c) 非可逆符号を非可逆復号して局部復号信号を生成し、
(d) 最大桁数符号を復号して変動の最大桁数を得、
(e) 上記復号信号を、ディジタル表現において上記変動の最大桁数以下を切り捨てて精度保証信号を生成し、
(f) 上記ディジタル信号と上記精度保証信号を加算して再生信号を生成する。、
第５１の観点の復号化方法：第５０の観点記載の復号化方法において、上記ステップ(d) は、例外符号を復号して、その例外値とサンプル位置情報を得て、上記精度保証信号のサンプル位置に上記例外値を割り当てるステップを含む、
符号器
第５２の観点の符号器：複数のサンプルからなる各フレームごとにディジタル信号を符号化する符号化器であり、
フレーム毎に上記ディジタル信号のサンプルを，それらの各ビット位置で跨いだビット列の可逆データの複数の組，又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成する手段と、
上記データの組を符号瀬出力する出力手段、
とを含む。
【０１９１】
第５３の観点の符号器：第５２の観点記載の符号器において、各サンプルの振幅を極性と絶対値の２進表現に変換し、その変換されたサンプルを上記並び替え部へ供給する極性絶対値変換部を含む。
第５４の観点の符号器：第５３の観点記載の符号器において、上記結合部は上記ビット列に対し、極性、絶対値の大きさ順にパケットの優先順位を付ける。
第５５の観点の符号器：第５２又は５３の観点記載の符号器において、原信号を非可逆符号化して、上記非可逆符号化情報と局部復号信号を出力する非可逆符号器と、上記局部復号信号と上記原信号との誤差信号を上記ディジタル信号として求めて出力する差分器とを含む。
【０１９２】
第５６の観点の符号器：第５２、５３又は５４のいずれかの観点記載の符号器において、上記ディジタル信号のスペクトル包絡を表現するパラメータを符号化して補助情報として上記パケットと共に出力する補助情報生成部を有している。
第５７の観点の符号器：第５２の観点記載の符号器は、更に上記分割されたフレームごとに、そのディジタル信号の絶対値の最大値を表現する桁数を有効桁数として求めて出力する補助情報生成部を有し、上記並び替え部は、上記フレームごとに、上記有効桁数以内のみについて、上記等位ビット列を生成する。
【０１９３】
第５８の観点の符号器：第５２の観点記載の符号器は更に、
各フレームごとに入力ディジタル信号のスペクトル包絡を表わす線形予測係数を求めるスペクトル包絡算出部と、
上記線形予測係数を符号化して補助情報とする補助情報生成部と、
フレームごとに過去のディジタル信号と線形予測係数から現在の入力信号の整数化された予測値を求める予測部と、
上記予測値を現在の入力ディジタル信号から差し引いて予測誤差信号を求める予測誤差生成部、
とを含む。
【０１９４】
第５９の観点の符号器：第５８の観点記載の符号器は更に、各フレームごとに上記振幅ビット列の絶対値の最大値を表現する桁数を有効桁数として求める有効桁数検出部と、上記有効桁数を符号化して上記補助情報に加える手段とを有し、上記並び替え部は上記有効桁数の範囲内でのみ上記サンプル列の振幅ビット列を等位ビット列へ並び替えを行う。
第６０の観点の符号器：第５２の観点記載の符号器は更に、
入力ディジタル信号をフレーム毎に聴覚特性を考慮した非可逆符号化して非可逆符号を生成し局部復号信号を生成する非可逆符号化部と、
上記局部復号信号が入力され、局部復号信号を、上記入力信号との誤差が小さくなるように変形して変形局部復号信号を生成する変形部と、
上記入力信号と上記変形局部信号が入力され、これら間の誤差信号を上記ディジタル信号として生成する誤差算出部、
とを含む。
【０１９５】
第６１の観点の符号器：第５２の観点記載の符号器において、上記ディジタル信号はＭチャネルのディジタル信号であり、Ｍは２以上の整数であり、上記符号器は更に、
フレームごとにＭチャネルのディジタル信号が入力され、これらＭチャネルのディジタル信号を混合してＮチャネルの混合信号を出力するチャネル混合部と、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、
上記Ｎチャネルの混合信号が入力され、これらを符号化して主符号とその主符号に対するＮチャネル局部信号を生成する符号化部と、
上記Ｎチャネル局部復号信号が入力され、これらをチャネル拡大してＭチャネルの局部復号信号を出力するチャネル拡大部と、
上記Ｍチャネル局部復号信号と、上記Ｍチャネルディジタル信号との間の誤差信号を上記ディジタル信号として計算する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９６】
第６２の観点の符号器：第５２の観点記載の符号器は更に、
Ｍチャネルの入力信号に対してチャネル間直交変換を行って直交変換信号を出力するチャネル間直交変換部と、Ｍは２以上の整数であり、
上記直交変換信号の少なくとも一部の信号を符号化して主符号を生成し、その主符号に対する局部復号信号を生成する符号化部と、
上記局部復号信号に対しチャネル間直交逆変換してＭチャネル局部復号信号を生成するチャネル間直交逆変換部と、
各上記Ｍチャネル局部復号信号と、対応する１つの上記Ｍチャネルディジタル信号との間の誤差信号を上記ディジタル信号として生成する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９７】
第６３の観点の符号器：第５２の観点記載の符号器において、Ｍは２以上の整数であり、上記符号器は更に、
Ｍチャネルの入力信号に対してチャネル間直交変換を行って直交変換信号を生成するチャネル間直交変換部と、Ｍは２以上の整数であり、
上記直交変換信号の少なくとも一部を符号化して主符号を生成しその主符号に対する局部復号信号を生成する符号化部と、
各上記局部復号信号と、それに対応する上記直交変換信号との間の誤差信号を上記ディジタル信号として算出する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９８】
第６４の観点の符号器：第５２の観点記載の符号器において、更に、
入力信号を非可逆符号化して非可逆符号を出力する非可逆符号化部と、
上記非可逆符号を復号して局部復号信号を出力する局部復号部と、
フレーム又はフレーム内の１以上のサブフレームごとに上記非可逆符号に対する復号信号が環境によって変動し得る最大桁数を上記局部復号信号から検出し、その変動の最大桁数を示す桁数符号を出力する変動最大桁数検出部と、
上記局部復号信号を、上記変動の最大桁数以下の部分を切り捨てて保証局部復号信号を生成する切捨部と、
上記保証局部復号信号と上記ディジタル信号との誤差信号を作成する誤差算出部と、
上記誤差信号を可逆符号化して、可逆符号を出力する可逆符号化部、
とを含む。
復号器
第６５の観点の復号器：複数のサンプルから成る各フレーム毎にディジタル信号のサンプルを再生する復号器であり、
入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの復数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するデータ生成手段と、
上記データの組からディジタル信号を再生する手段、
とを含む。
【０１９９】
第６６の観点の復号器：第６５の観点の復号器において、各上記サンプルを、極性符号と絶対値の２進表現から２の補数表現に変換して上記サンプルとする２の補数変換部を有する。
第６７の観点の復号器：第６５又は６６の観点の復号器において、更に既知の情報から欠落ビット列を推定し、上記サンプル列を修正する欠落補正部を含む。
第６８の観点の復号器：第６７の観点の復号器において、上記欠落補正部はその入力を平滑化する低域通過フィルタである。
【０２００】
第６９の観点の復号器：第６７の観点の復号器は更に、
入力された補助情報を復号してスペクトル包絡を求める補助情報復号部を含み、上記欠落補正部は上記補正されたサンプル列のスペクトル包絡が上記復号されたスペクトル包絡に近づくように、上記サンプル列を補正するものである。
第７０の観点の復号器：第６９の観点の復号器において、上記欠落補正部は、上記欠落又は誤りビットをサンプルにまたがって置き換えた暫定的なサンプル列を生成する暫定サンプル生成部と、
上記暫定的なサンプル列のスペクトル包絡を計算するスペクトル包絡算出部と、
上記復号したスペクトル包絡又はその変形スペクトル包絡で上記暫定的なサンプル列のスペクトル包絡を規格化する逆フィルタと、
上記平坦化されたスペクトル包絡に対し、上記復号スペクトル包絡又はその変形スペクトル包絡及び上記平坦化スペクトル包絡を使って補正サンプル列を再構成する合成フィルタ、
とを含む。
【０２０１】
第７１の観点の復号器：第６９の観点の復号器において、上記欠落補正部は、上記欠落又は誤りビットに対し適当な値を代入した暫定的なサンプル列を再生する暫定波形生成部と、
上記暫定的なサンプルのスペクトル包絡を計算するスペクトル包絡算出部と、上記計算したスペクトル包絡またはその変形スペクトル包絡の逆特性と、上記復号スペクトル包絡またはその変形スペクトル包絡を合成した１つのスペクトル包絡線形予測係数を計算する合成スペクトル包絡計算部と、
上記１つの合成スペクトル包絡を用いて、上記暫定的なサンプル列を再構成する合成フィルタ、
とを含む。
【０２０２】
第７２の観点の復号器：第７１の観点の復号器において、上記合成スペクトル包絡計算部は、上記計算したスペクトル包絡を線形予測ケプストラム係数Caに変換する第１係数変換部と、上記復号スペクトル包絡を線形予測ケプストラム係数Cbに変換する第２係数変換部と、上記線形予測ケプストラム係数の差Cb-Caを求める減算部と、上記差Cb-Caを線形予測係数に逆変換して、上記合成スペクトル包絡の線形予測係数を得る逆変換部とを含む。
第７３の観点の復号器：第７０又は７１の観点の復号器において、また上記暫定的なサンプル列又は上記修正されたサンプル列のスペクトル包絡と上記復号スペクトル包絡との誤差を求め、その誤差が所定値以内であれば、その時の暫定的な又は修正されたサンプル列を補正されたサンプル列とし、所定値以内でなければ、上記暫定的な又は上記修正されたサンプル列を上記逆フィルタあるいは上記合成フィルタへ供給する誤差計算部を含む。
【０２０３】
第７４の観点の復号器：第７３の観点の復号器において、入力された非可逆符号化を非可逆復号化して局部復号信号を生成する非可逆復号部と、上記局部復号信号に上記ディジタル信号を加算し、その加算されたサンプル列を、上記欠落補正部へ供給する加算部とを含む。
第７５の観点の復号器：第６５の観点の復号器は更に、
入力された補助情報を復号してそのフレームの有効桁数を得る補助情報復号部と、
上記フレームのサンプル又は上記補正されたサンプルに対し、上記復号有効桁数に応じた桁合せを行う桁合せ部、
とを含む。
【０２０４】
第７６の観点の復号器：第７５の観点の復号器において、上記補助情報復号部は平均パワーも復号するものであり、上記欠落補正部は、上記復号平均パワーを用いて上記サンプルの振幅も補正するものである。
第７７の観点の復号器：第６５の観点の復号器において、上記サンプルの線形予測係数は予測誤差信号の線形予測係数であり、上記復号器は更に、入力された補助情報を復号して線形予測係数を得る補助情報復号部と、
上記線形予測係数を使って上記予測誤差信号と、復号原信号の過去のサンプルとから復号原信号を合成し、予測誤差信号のスペクトル包絡に基づき、予測誤差信号の誤り又は欠落データを補正する欠落補正部、
とを含む。
【０２０５】
第７８の観点の復号器：第７７の観点の復号器において、上記欠落補正部は、上記欠落または誤りビットと置き換える暫定サンプルを再生する暫定波形生成部と、
上記暫定サンプルのスペクトル包絡を求めるスペクトル包絡算出部と、
上記スペクトル包絡の平坦度を求め、その平坦度が所定値以内か否かを判定し、所定値以内であれば上記暫定サンプルを上記予測誤差信号とする平坦度判定部と、
上記平坦度が所定値以内でなければ、上記暫定サンプルに対し、上記スペクトル包絡又はその変形スペクトル包絡により規格化して規格化信号を得る逆フィルタ、
とを含む。
【０２０６】
第７９の観点の復号器：第７７の観点の復号器において、上記欠落補正部は、
上記欠落または誤りビットに暫定サンプルを代入する暫定波形生成部と、
上記復号線形予測係数を用いて上記暫定サンプルをフィルタ処理し、合成信号を生成する第１合成フィルタと、
上記合成信号のスペクトル包絡を計算するスペクトル包絡算出部と、
上記計算した線形予測係数またはその帯域を拡大した線形予測係数の逆特性と、上記復号線形予測係数またはその帯域を拡大した線形予測係数を組み合わせたひとつの線形予測係数を計算する合成スペクトル包絡計算部と、
上記組み合わせた線形予測係数を用いて、上記暫定サンプルをフィルタ処理して予測誤差信号を生成する合成第２フィルタ、
とを含む。
【０２０７】
第８０の観点の復号器：第６５の観点の復号器において、更に、
上記局部復号信号が入力され、上記局部復号信号と上記ディジタル信号との誤差が小さくなるように、その局部復号信号を変形して変形信号を生成する変形部と、
上記変形信号と上記誤差信号を合成して上記再生信号を更新する加算部、
とを含む。
第８１の観点の復号器：第６５の観点の復号器において、更に、
主符号を復号してＮチャネルの復号信号を出力する復号部と、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、
上記Ｎチャネルの復号信号をＭチャネル復号信号にチャネル拡大するチャネル拡大部と、
欠落ビットを検出し、欠落信号を出力する欠落検出部と、上記情報補正部は、上記欠落検出部により検出された欠落ビットに対応する上記誤差信号に欠落情報を付加する欠落情報補正部を有しており、
上記Ｍチャネル誤差信号又は補正誤差信号と上記Ｍチャネル復号信号を加算してＭチャネルディジタル信号を出力する加算部、
とを含む。
【０２０８】
第８２の観点の復号器：第６５の観点の復号器において、上記並び替え部はＭ個設けられ、Ｍチャネルの誤差信号を出力し、Ｍは２以上の整数であり、上記復号器は更に、
主符号を復号して局部復号主信号を出力する復号部と、
上記局部復号主信号に対しチャネル間直交逆変換を行ってＭチャネル復号信号を生成するチャネル間直交逆変換部と、
上記Ｍチャネル復号信号と上記Ｍチャネル誤差信号を加算して再生Ｍチャネルディジタル信号を出力する加算部、
とを含む。
【０２０９】
第８３の観点の復号器：第６５の観点の復号器において、更に、
入力主信号を復号して復号主信号を出力する復号部と、
上記復号主信号と上記Ｍチャネル誤差信号を加算してＭチャネル加算信号を出力する加算器と、
上記Ｍチャネル加算信号が入力され、それらのチャネル間直行逆変換を行いＭチャネル復号信号を出力するチャネル間直行逆変換部、
とを含む。
【０２１０】
第８４の観点の復号器：第６５の観点の復号器において、更に、
非可逆符号を非可逆復号して局部復号信号を生成する非可逆復号部と、
最大桁数符号を復号して変動の最大桁数を出力する桁数復号部と、
上記局部復号信号の上記変動の最大桁数以下の部分を切り捨てて精度保証信号を出力する切捨て部と、
入力可逆符号を可逆復号して誤差信号を再生する可逆復号部と、
上記ディジタル信号と上記精度保証信号とを加算して再生ディジタル信号を出力する加算部、
とを含む。
【０２１１】
第８５の観点の符号化プログラム：第１乃至第２２の観点の符号化方法をコンピュータで実行するための符号化プログラム。
第８６の観点の復号化プログラム：第２３乃至第５１の観点の復号化方法をコンピュータで実行するための復号化プログラム。
【図面の簡単な説明】
【図１】従来の非可逆量子化を組み合わせた符号器及び復号器の機能構成を示す図。
【図２】図１中の並び替え部160の処理を説明するための図。
【図３】この発明の符号器及び復号器の各実施例１の機能構成を示す図。
【図４】Ａは並び替え部160の処理例を示す図、Ｂはパケットのフォーマットの例を示す図。
【図５】欠落補正部430の処理と関連して、原音と歪み成分のスペクトル包絡の比較例を示す図。
【図６】この発明の符号器及び復号器の各第２実施例の機能構成を示す図。
【図７】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図８】欠落補正部430の図５と対応した機能構成例を示す図。
【図９】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図１０】合成スペクトル包絡計算部437の具体例の機能構成を示す図。
【図１１】この発明による原音分析合成後補正の符号器及び復号器の各第３実施例の機能構成を示す図。
【図１２】この発明による誤差分析、合成前補正の復号器の第３実施例の変形の機能構成を示す図。
【図１３】この発明の効果を説明するための計算機シミュレーションの結果を示す図。
【図１４】この発明の符号器及び復号器の各第４実施例の機能構成を示す図。
【図１５】Ａは並び替え部160の処理例を示す図、Ｂは２の補数値に対する並び替え部160の処理例を示す図。
【図１６】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図１７】欠落補正部430の図１６と対応した機能構成例を示す図。
【図１８】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図１９】この発明による原音分析合成後補正の符号器及び復号器の各第５実施例の機能構成を示す図。
【図２０】この発明による誤差分析、合成前補正の復号器の第５実施例の変形の機能構成を示す図。
【図２１】この発明の符号器及び復号器の各第６実施例の機能構成を示す図。
【図２２】欠落補正部430における補助情報を用いない処理手順の例を示す流れ図。
【図２３】欠落補正部430の図２２と対応した機能構成例を示す図。
【図２４】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図２５】欠落補正部430の図２４と対応した機能構成例を示す図。
【図２６】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図２７】この発明の第１実施例の機能構成例を示す図。
【図２８】Ａは図２７中の変形パラメータ生成部１７の具体例を示す図、Ｂは図２７中の変形パラメータ生成部１７の他の具体例を示す図。
【図２９】この発明の第２実施例の機能構成例を示す図。
【図３０】この発明の第３実施例の機能構成例を示す図。
【図３１】この発明の第４実施例の機能構成例を示す図。
【図３２】この発明の第５実施例の機能構成例を示す図。
【図３３】可逆符号化部１８の機能構成例を示す図。
【図３４】可逆復号部２１の機能構成例を示す図。
【図３５】Ａは予測誤差生成部の機能構成例を示す図、Ｂは予測合成フィルタの機能構成例を示す図である。
【図３６】この発明の第１２実施例の機能構成例を示す図。
【図３７】この発明の第１２実施例の変形例の機能構成例を示す図。
【図３８】この発明の第１３実施例の機能構成例を示す図。
【図３９】この発明の第１４実施例の機能構成例を示す図。
【図４０】この発明の第１５実施例の機能構成例を示す図。
【図４１】この発明の第１６実施例の機能構成例を示す図。
【図４２】保証局部復号信号１１の例を示す図。
【図４３】Ａは保証局部復号信号１１の他の例を示す図、Ｂは例外符号Ige、桁数符号Igの符号群の例を示す図である。
【図４４】この発明の第１７実施例の機能構成例を示す図。
【発明の属する技術分野】
この発明は音声、音楽などの音響信号や画像信号などの各種ディジタル信号を表現するビット数を削減する方法、特に許容歪を制御可能な符号化方法、その復号化方法、それらの装置及びプログラムに関する。
【０００２】
【従来の技術】
音声、画像などの情報を圧縮する方法として歪を許す非可逆な符号化と、歪を許さない可逆な符号化がある。非可逆な圧縮としてはITU-T(International Telecommunications Union-Telecom Standardization)やISO/IEC MPEG (International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group)の標準として種々の方法が知られている。これらの非可逆圧縮方法を使うとわずかの歪に押さえつつ、もとのディジタル信号を1/10以下までに圧縮することが可能である。しかし、その歪は符号化条件や入力信号に依存し、用途によっては再生信号の劣化が問題となる場合がある。
【０００３】
一方、もとの信号を完全に再現できる可逆な圧縮方法として、コンピュータのファイルやテキストの圧縮によく使われているユニバーサルな圧縮符号化が知られている。これは入力系列の統計を学習しながら、どのような信号に対しても圧縮が可能で、テキストなどには1/2程度まで圧縮できるが、音声や画像のデータに直接適用しても圧縮効果は２割程度にとどまる。
圧縮率の高い非可逆の符号化を行い、その再生信号と原信号の誤差を可逆に圧縮することを組み合わせることで圧縮率の高い非可逆符号化と可逆の圧縮との両方を柔軟に使い分けることが可能となる。
【０００４】
この組み合わせ圧縮方法を特開2001-44847公報「符号化方法、可逆復号化方法、これらの装置及びその各プログラム記録媒体」で本発明者は提案した。この方法は前記公報に詳細に示されているが、以下図１を参照して簡単に説明する。
符号器では、ディジタル入力信号（以下、入力信号サンプル系列とも呼ぶ）が、入力端子100から入力され、フレーム分割部110で、その入力信号サンプル系列が、例えば1024個の入力信号サンプルからなるフレーム単位に、順次分割される。
【０００５】
非可逆量子化部120で、フレーム分割部110の出力が非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記入力信号が音声信号であればITU-Tの音声符号化などが利用でき、音楽であればMPEGまたはＴwinＶＱ(Transform-Domain Weighted Interleaved Vector Quantization)などが利用でき、映像であればMPEGなどが利用できる。その他、前記公報で示す各種非可逆量子化法を用いることもできる。なお、非可逆量子化部120からの出力を「非可逆圧縮符号I(n)」と称する。
【０００６】
非可逆量子化部120に対応する復号部（即ち、逆量子化部230）と同様構成の逆量子化部130で、非可逆圧縮符号I(n)から局部再生信号が生成される。局部再生信号と元のディジタル入力信号との誤差信号が減算部140で求められる。通常、この誤差信号の振幅は、元のディジタル入力信号の振幅よりもかなり小さい。よって、ディジタル入力信号をそのまま可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
この可逆圧縮符号化の効率を上げるために、並び替え部160が、誤差信号（即ち、ビット列）のビットを並び替える。並び替え部160による処理の詳細を図２を参照して以下に説明する。ディジタル入力信号（図２Ａ）では、２の補数表現で、各サンプル値（振幅）の正負の整数が表現される。ディジタル入力信号とそのディジタル入力信号に対応する局部再生信号との誤差信号サンプルを図２Ｂに示す。並び替え部160は、この誤差信号（即ち、ビット列）を、２の補数表現によるビット列から、符号絶対値表現（極性と絶対値の２進数）によるビット列へ変換する（図２Ｃ）。変換後の誤差信号では、ＭＳＢ（Most Significant Bit：最上位ビット）〜第２ＬＳＢ（Least Significant Bit：最下位ビット）が振幅の絶対値を示し、ＬＳＢが振幅の極性符号を示す。
【０００７】
次に、並び替え部160は、符号絶対値表現に変換後の誤差信号サンプルを、それぞれの対応ビット位置（ＭＳＢ，第２ＭＳＢ，…，ＬＳＢ）毎に、即ち、図２の時間軸方向に連結する（図２Ｄ）。この各ビット列（即ち、同じビット位置の1024個のビットからなるビット列）を以下「等位ビット列」と称する。以上の並び替えでは、各誤差信号の値はまったく変らない。ところが、誤差信号は振幅が小さいので、並び替え部160の出力では、上位のビットは全て“０”となることが多い。その結果、“０”が連続することによって、誤差信号の可逆圧縮符号化効率が上がる。
【０００８】
次に、可逆符号化部150で、並び替え部160の出力が可逆圧縮符号化される。可逆符号化部150は、例えば、連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などにより等位ビット列を可逆圧縮符号化し、復号器２０に送る。並び替え部160の出力に、テキスト等を可逆に圧縮するユニバーサル符号化を適用することでも圧縮効率が改善される。
以上の処理によって、符号器は、非可逆量子化部120からの非可逆圧縮符号I(n)と可逆符号化部150からの可逆圧縮符号I(e)とを出力する。
【０００９】
復号器２０では、可逆復号化部210が、可逆圧縮符号I(e)を復号化する。そして、並び替え部220が、並び替え部160と逆の処理を行うことによって、誤差信号をフレーム単位で順次出力する。また、逆量子化部230が、非可逆圧縮符号I(n)を復号化する。加算部240が、逆量子化部230の出力と並び替え部160の出力とを加算する。最後に、フレーム合成部250が、加算部240の出力を順次連結することによって、元の入力信号サンプル系列を再生する。以上の処理によって、該入力信号サンプル系列が、出力端子260から出力される。
【００１０】
【発明が解決しようとする課題】
この従来の符号化方法は、伝送路上においてビット欠落が生じると復号器２０の並び替え部により再構築する各サンプルに他のサンプルのビットが混入し、復号信号に大きな品質劣化が生じるもんだいがある。また、実現可能な圧縮率は約1/2程度であり、品質をほとんど損なわずに1/3とか1/4の圧縮や精度を保障した圧縮は実現できない。
また原信号の振幅を表現するディジタル値のビット数を１ビット削減しても削減しない場合と同じ精度を保障した波形再生が可能であるが、一般に４ビット以上削減すると聴感上、大きな量子化雑音が聞こえてしまうという問題があった。
【００１１】
この発明の第１の目的は、伝送路でビット欠落が生じても、復号信号にそれほど大きな品質劣化が生じない符号化方法と復号方法及びそれらの装置を提供することである。この発明の第２の目的は、ディジタル信号を制御された歪内で、その情報を圧縮することと広い範囲のビットレートで精度を保障しながら圧縮効率を高める符号化方法、その復号化方法、これらの装置を提供することにある。
【００１２】
【課題を解決するための手段】
この発明によれば、複数のサンプルを含む各フレームごとにディジタル信号を符号化する符号化方法は、以下のステップを含む。
(a) フレームごとのディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成し、
(b) 上記データの組を符号で出力する。
【００１３】
この発明によれば、フレームごとにディジタル信号のサンプルを再生する復号化方法であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
(b) 上記複数の組のデータに基づいてディジタル信号を再生するステップ、
とを含む。
【００１４】
この発明によれば、複数のサンプルからなる各フレームごとにディジタル信号を符号化する符号化器であり、
フレーム毎に上記ディジタル信号のサンプルを，それらの各ビット位置で跨いだビット列の可逆データの複数の組，又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成する手段と、
上記データの組を符号瀬出力する出力手段、
とを含む。
【００１５】
この発明によれば、複数のサンプルから成る各フレーム毎にディジタル信号のサンプルを再生する復号器であり、
入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの復数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するデータ生成手段と、
上記データの組からディジタル信号を再生する手段、
とを含む。
作用
この発明による上記符号化方法、符号器及び復号方法、復号器によれば伝送記録単位データごとにパケット化するため、符号化処理において伝送容量、記憶容量などに応じてパケットを故意に欠落させて情報量を減少させても、この発明の復号化方法によれば、パケットの欠落に対し伝送記録単位データを補正することができる。
【００１６】
この発明の可逆符号化方法によれば伝送記録単位データごとにパケット化するため、伝送容量、記憶容量などに応じてパケットを故意に欠落させて情報量を減少させ、つまり１／３とか１／４の圧縮としても、この発明の可逆復号化方法によれば、パケットの欠落に対し伝送記録単位データを補正することができる。
なおこの明細書においては情報量を調整するために意図的に１フレーム中のパケットを除去したために、復号器において１フレーム中のパケットが全て入力されない場合、あるいは通信網のトラフィック輻輳による交換局などで一部パケットを送出しないために基づく、又は伝送路障害、記録再生装置の異常などに基くパケット欠落の場合、更に入力されたパケット中に誤りがあり、その伝送記録単位データを解読できず、使用することができない場合などを総称でパケット欠落と記す。
【００１７】
【発明の実施の形態】
以下この発明の実施形態を実施例により図面を参照して説明する。各図において既に説明した図と対応する部分には同一番号を付けて説明する。
第 1 実施例
図３にこの発明による符号器１０及び復号器２０の各実施例を示す。この実施例が図１の従来技術と異なる点は、ヘッダ付加部320を設け、パケットで信号を送出することにより、伝送路でのビット欠落による復号信号への品質劣化の影響を軽減するよう構成したことである。
【００１８】
符号器１０において、入力端子からの入力信号サンプル系列はフレーム分割部110で例えば1024個の入力信号サンプル（即ち、n=1024点のサンプル）からなるフレーム単位に順次分割され、この分割された各フレームごとに、入力信号サンプル系列は並び替え部160によりそれぞれのサンプルの振幅ビット列における対応ビット位置のビットがそのフレームにわたって時間方向に連結される。この際入力信号サンプルは正または負の整数の振幅が２の補数表現されているが、その２の補数表現された各サンプルを、従来技術の説明と同様に、この２の補数表現によるビット列を極性絶対値変換部161で、極性符号と絶対値から成るｍビット２進数表現に変換し、その後、1フレームｎ個のｍビットサンプルに対し、ビット配列変換部162で、それぞれのｍビットサンプルの各対応ビット位置のビットをフレームにわたって時間方向に連結したビット配列（即ち、等位ビット列）に並び替えることが好ましい。しかし図中破線で示すように、極性絶対値変換部161を介することなく、ビット配列変換部162で変換、つまり２の補数表現のまま、各対応ビット位置のビットをフレームにわたって時間方向に連結した等位ビット列に並び替えてもよい。
【００１９】
この発明では並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。この単位を以下ブロックと呼ぶが、伝送単位で一般に使用されるパケットとも呼ぶ。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆圧縮符号化され、ヘッダ付加部320により、復号時に、互いに分離された伝送記録単位データを１つのフレームとして再構成可能なように例えば連続番号を含むヘッダが取付けられ、パケットとして出力端子170に出力される。なお可逆符号化部150は従来技術の可逆符号化部150と同様なものである。
【００２０】
通常の入力信号サンプルは２の補数で正負の整数を表現するが、この例では、ディジタル入力信号を極性符号と振幅の絶対値の２進数に変換したあとのフレーム毎の数値列のビット配列組替え、つまり等位ビット列への変換と、伝送記録単位データへの分割の例を図４Ａに示す。極性符号と絶対値表現された各ｍビットサンプル（振幅ビット列）は図４Ａ中の左側に示すように１フレーム分が時間方向に配列されている。ｎ番目のサンプルの振幅ビット列の様子を理解し易いように、太線で囲んだ振幅ビット列DV(n)として示す。ｎはフレーム内の時間軸方向のサンプル番号を表わし、例えばn=1, 2, …, 1024である。後述のように、例えば入力データが音声信号であれば、伝送路でのパケットの欠落によるビットの欠落が生じる場合、各振幅ビット列DV(n)の上位ビット程大きな歪を再生音声品質に与え、極性符号は最も大きな歪を与えることになるので、この例では各振幅ビット列DV(n)の極性符号を絶対値のＭＳＢと隣接させ、図ではＭＳＢの直上に極性符号を位置させている。
【００２１】
このようなサンプル列を、図４Ａの右側に示すようにこの例ではまず各サンプルの振幅値の極性ビット（符号）のみを時間軸方向に連結して、フレーム内で等位ビット列を作る。次にｍビット振幅値のＭＳＢのみをフレーム内で連結して等位ビット列を作り、以下同様にして、順次、各対応ビット位置ごとにフレームにわたってビットを時間方向に連結して等位ビット列を作り、最後にＬＳＢのみをフレーム内で連結して等位ビット列を作る。それらの等位ビット列の１つの例を図４Ａ中右側のビット配列中に太枠でDH(i)として示す。ｉは振幅ビット列DV(n)における各ビット位置を示し、例えばＭＳＢ側からi=1, 2, …, 17である。以上の並び替えではフレーム中に含まれるデータの中身は全く変らない。
【００２２】
伝送記録単位分割部310で、各等位ビット列DH(i)ごとに又は隣接する複数の等位ビット列DH(i)ごとに伝送記録単位データに分割する。この場合、１フレーム中において、伝送記録単位データとして１つの等位ビット列で構成されるものと複数の等位ビット列で構成されるものとが混在してもよい。
このように分割された各伝送記録単位データはヘッダ付加部320で、例えば図４Ｂに示すようにヘッダ３１がその伝送記録単位データ（ペイロード）３２に付けられる。ヘッダ３１には例えばフレーム番号とフレーム内の伝送記録単位データの番号よりなるパケット番号３３と、必要に応じてそのパケットの優先度３４及びデータ長３５が設けられ、復号側でそれらに基づいて各フレームごとにディジタル信号列を再構成できるようにしている。
【００２３】
データ長３５は伝送記録単位データ３２のデータ長が固定であれば必要ないが、可逆符号化部150で圧縮符号化された場合などはデータ長がパケットにより異なることがある。
更に一般にはパケット全体に誤りが生じているか否かを検出するためのＣＲＣ符号などの誤り検出符号３６が最後に付加されて１つのパケット３０が構成され、このパケット３０が出力端子170から出力される。
パケット３０に優先順位がつけられる場合は、振幅ビット列の、より上位のビット位置に対応する伝送記録単位データを含むパケットに、より高い優先度を示す符号を与える。つまり、各等位ビット列DH(i)ごとに伝送記録単位データに分割する場合はDH(i)のｉが小さいデータを含むパケット程、高い優先度を与える。従って、図４Ａの例では、i=1に対応する極性等位ビット列を含むDH(1)に最も高い優先度が与えられる。優先度は振幅ビット列のLSB〜MSBに対し必ずしも全て単調増加の異なる優先度を与える必要はなく、例えば上位複数ビットにはそれぞれ異なる優先度を与え、下位複数ビットに対しては同じ優先度と与えてもよい。即ち、予め決めた優先度の数は振幅ビット列のビット数と等しいか、それより小さくしてもよい。なお後述するが従来技術で説明したように高圧縮の非可逆量子化を併用する場合は、その高圧縮符号化符号を表わすビット列に最も高い優先度を与えてもよい。
【００２４】
復号器２０においては入力端子２００からのパケット３０はその伝送記録単位データが可逆圧縮されている場合は可逆復号化部210（従来技術の可逆復号化部210と同一）で可逆復号され、各伝送記録単位データは伝送記録単位統合部410でそのパケット番号に基づき、複数のパケットより１フレーム分を統合し、例えば図４Ａの右側の等位ビット列DH(i)に示すように統合される。この統合された等位ビット列は並び替え部220で振幅ビット列DV(n)、つまりサンプル列（波形サンプル列）に変換される。この際、各サンプルが極性符号と絶対値で表現したものから伝送記録単位データが作られたものである場合はビット配列逆変換部221で、図４Ａで説明した並び替えと逆に等位ビット列を振幅ビット列に並び替えた後、２の補数変換部222で各振幅ビット列を、２の補数表現に変換する。なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図３中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま復号サンプルとしてフレーム合成部250へ供給される。
【００２５】
この発明では入力されたパケットの一連のパケット番号に欠落が生じていることを欠落検出部420が検出すると、そのパケット番号のパケットが欠落していると判定し、並び替え部220からの振幅ビット列はフレーム合成部250へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（サンプル）に対して行われ、フレーム合成部250へ供給される。
欠落補正部430における補正は既知の情報から欠落した情報を推定して行う。一部のパケット、通常優先度の低いＬＳＢ側のビットが収容されたパケットが欠落した場合、その欠落部分に対応するビットの値が確定できないので小さい数値、例えば０か、その欠落部分のとりうる値の中間値を使って波形を再生せざるを得ない。この場合ＭＳＢ側の確定したビット数の精度は保てるが、ビット欠落による聴覚的ひずみは大きい。この理由は図５に示す模式図のように原音のスペクトルは実線に示すように低域にエネルギーが偏る場合が多く、これに対してビットの欠落によるひずみ成分は破線に示すように平坦に近いスペクトル形状となるのでその高域成分が原音より大きく、雑音として聞こえてしまう。そこで不確定の成分のスペクトルが平均的なスペクトルまたはフレーム毎に確定したスペクトルに近いように不確定な波形の値を補正する。これにより、補正後の歪み成分のスペクトルは図５中の１点鎖線のように高域成分が小さくなり、ひずみが原音にマスクされて品質が改善される。
【００２６】
つまり、過去の数フレームの平均的スペクトル、又は後で述べるように別に得られたそのフレームにおける確定したスペクトルが例えば図５中の実線に近いような場合、当該フレームの欠落情報以外の情報から得られるスペクトルが、図５中の実線に近づくように、欠落情報に対する補正を行う。この補正の好ましい手法は後の実施例で述べる。簡単な手法としては、欠落補正部430でその入力再生サンプル列を低域通過フィルタに通して平滑化して高域の雑音成分を除去すればよい。その低域通過フィルタの遮断特性は、原信号のスペクトル形状（包絡）が予め知られていれば、その特性に応じて高域成分を減衰させるように選定する。あるいは、前述のように平均的なスペクトルを求め又はフレームごとの確定したスペクトルの形状に合せて遮断特性を適応的に変更してもよい。
【００２７】
このように復号器２０でパケット欠落にもとづく情報欠落を補正できるため、必要に応じてＬＳＢ側パケットを意図的に送らず、符号化圧縮効率を大としても、復号器２０で復号が可能となる、あるいは聴感上問題にならない再生を行うことができる。
第２実施例
図６にこの発明の第２実施例を示す。この第２実施例では符号器１０においてフレーム分割部110でフレームごとに分割された入力信号サンプル系列は補助情報生成部350に与えられる。補助情報生成部350はスペクトル包絡算出部351とパワー算出部354と、補助情報符号化部352とから構成されている。フレーム分割部１１０でフレームごとに分割された入力信号サンプル列はスペクトル包絡算出部351でスペクトル包絡を表現するパラメータが、例えば線形予測分析により線形予測係数LPCとして求められ、またパワー算出部354でフレームごとの入力信号サンプル列の平均パワーPaが求められる。
【００２８】
あるいは求めた線形予測係数LPCに基づき構成された逆フィルタ355に入力信号サンプル列を入力してスペクトル包絡を平坦化処理して、その平坦化された信号の平均パワーが平坦化パワー算出部356で求められる。線形予測係数LPC及び平均パワーPaは補助情報符号化部352により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報とされる。この補助情報はヘッダ付加部320へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データを含むパケット内に付加され、あるいは独立したパケットとして出力される。
【００２９】
なお、スペクトル包絡算出部351により求められるスペクトル包絡係数はフレーム長を長くしてもそれ程大きな変化はなく、また、補助情報符号化部340により符号化されたスペクトル包絡係数の情報量もそれ程変化しないので、図中に破線で示すように並び替え部160に与えるディジタル入力信号のフレーム長より長いフレーム長でフレーム分割部110'により分割して補助情報生成部350に与え、可逆圧縮の効率を高めるようにしてもよい。
復号器２０においては入力端子200に入力されたパケットは分離部440において伝送記録単位データと、補助情報とに分離され、伝送記録単位データは可逆復号化部210へ供給され、補助情報は補助情報復号部450へ供給され、補助情報復号部450は当該フレームのスペクトル包絡を表すパラメータ、ここでは線形予測係数LPCと平均パワーPaを復号し、このスペクトル包絡係数LPCと平均パワーPaを欠落補正部430へ供給する。欠落補正部430はこのスペクトル包絡係数LPCと平均パワーPaを、欠落情報の補正に用い、例えば実施例１で述べたように欠落情報に対する補正を行う。
【００３０】
あるいは欠落情報（ビット）のとり得る値の各組み合せを、各サンプル値に加算し、補正サンプル列（波形）の候補を作り、これら候補のスペクトル包絡を求め、そのスペクトル包絡が補助情報の復号スペクトル包絡と最も近いものと対応する補正サンプル列（波形）候補を、補正サンプル列としてフレーム合成部250へ出力する。なお図６において可逆符号化部150、可逆復号化部210を省略してもよい。
補助情報による補正
欠落情報の取り得る値の各組み合わせを用いて補正サンプル列の候補を作る場合、欠落情報（ビット）が多くなると、補正サンプル列（波形）候補が著しく多くなり、処理量が非現実的になるおそれがある。このような問題がないようにする欠落補正部430の処理、及びその機能構成について以下に説明する。
【００３１】
図７にその処理手順の一例を、図８に欠落補正部430の機能構成の一例をそれぞれ示す。まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。
この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、欠落４ビットの値は０〜１５までの値のどれかであるが、仮に８または７に設定する。
【００３２】
次にこの暫定波形のスペクトル包絡係数をスペクトル包絡算出部432で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡係数を推定できる。一方、誤差計算部433で、受信された補助情報Axが補助情報復号部450で復号されて原音のスペクトル包絡係数が得られ、その原音スペクトル包絡を暫定波形のスペクトル包絡係数と比較して、誤差が許容範囲内であれば暫定波形を補正された出力波形信号としてスイッチＳＷ１を介してフレーム合成部250へ出力する（Ｓ３）。
【００３３】
ステップＳ３において、推定スペクトル包絡係数と復号スペクトル包絡係数との誤差が許容範囲内でない場合には、まず推定した暫定波形のスペクトル包絡係数の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めた暫定波形のスペクトル包絡係数を表す線形予測計数を用いて例えば全極型の線形予測係数の逆フィルタ（全零型）434にスイッチＳＷ２を介して与えられた暫定波形を通過させることで暫定波形のスペクトルを平坦化する。
次にこのスペクトルが平坦化された波形信号の平均パワーをパワー計算部438で計算し、その平均パワーと、補助情報復号部450からの復号された平均パワーとから補正量を補正量計算部439で計算し、例えば両者の比又は差をとり、その補正量によりパワー補正部501で平坦化信号に対し振幅補正を行う。つまり、逆フィルタ434の出力に対し補正量を乗算又は加算して復号パワーに合わせる(Ｓ５)。次に振幅補正された平均化信号に対して補助情報のスペクトル包絡係数を乗算してスペクトル包絡係数が補正された暫定波形を生成する（Ｓ６）。即ち補助情報のスペクトル包絡を表わすパラメータLPCを用いた全極型の合成フィルタ435にパワー補正部501の出力を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原音に近いものになる。
【００３４】
ただしこのスペクトル補正波形の振幅値は欠落波形の振幅値中のすでに確定されているビットと矛盾するビットを含む可能性があるので、正しい値に修正部436で修正する（Ｓ７）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各サンプルのとりうる値の不確定幅は１６であるので、それらの取り得る値中からスペクトル補正波形と最も近い値に修正する。つまり各サンプルにおいて補正したサンプル値がとり得る範囲(XXXXXXXXXXXX0000〜XXXXXXXXXXXX1111)から外れた場合は、とり得る範囲のスペクトル補正波形のサンプルと最も近い限界値に修正する。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原音のものに近づく。
【００３５】
この修正波形をステップＳ１の暫定波形としてスイッチＳＷ３を介して暫定波形生成部431に戻してステップＳ２以後の処理を繰り返すことができる。なお波形（サンプル値）は整数値が前提であるが、フィルタ計算では実数扱いとなり、フィルタの出力値の整数化が必要になる。合成フィルタの場合にはサンプルごとに整数化するか、フレーム毎にあとで一括して整数化するかで結果は異なるが、どちらも可能である。
図７及び図８中に破線で示すように、ステップＳ４で暫定波形を平坦化した後、まずこの平坦化された暫定波形（平坦化信号）を合成フィルタ435へ通して、スペクトル包絡補正した再構成サンプル系列（波形）を得（Ｓ５′）、そのスペクトル包絡補正された波形に対しパワー補正部501'で振幅補正をして（Ｓ６’）、ステップＳ７に移るようにしてもよい。この場合は、合成フィルタ435からのスペクトル包絡補正された波形の平均パワーがパワー計算部438'で計算され、この平均パワーと、補助情報の復号パワー（符号器１０中のパワー算出部356の出力）とにより補正量計算部439'で補正量が求められ、その補正量により合成フィルタ435の出力に対してパワー補正部501'で振幅補正が行われる。
【００３６】
次に補助情報を用いた欠落情報補正処理の他の例を図９を参照して説明する。ステップＳ１〜Ｓ３、Ｓ６は図７に示した処理中のステップＳ１〜Ｓ３、Ｓ７とそれぞれ同一処理である。この例では図９のステップＳ４において、ステップＳ２で推定したスペクトル包絡に対する逆特性の逆フィルタ434と補助情報中のスペクトル包絡を表す線形予測係数LPCを用いた合成フィルタ435とを合体した１つの合成フィルタ部435'のフィルタ係数を計算し（Ｓ４）、ステップＳ５でこの合成フィルタに暫定波形を通して補正波形を合成する。その補正されたスペクトル包絡波形に対し振幅補正を行う(Ｓ６)。この振幅補正は図８中に破線で示すパワー計算部438'、補正量計算部439'、パワー補正部501'により行う。
【００３７】
図９に示した処理の機能構成は、図８中に破線で示すように、スペクトル包絡算出部432からの推定スペクトル包絡係数と補助情報復号部450からの復号スペクトル包絡係数とから、逆フィルタ434と合成フィルタ435を組み合せたひとつの合成フィルタ部435'のフィルタ係数が合成スペクトル包絡計算部437で計算され、そのフィルタ係数が合成フィルタ部435'に設定され、この合成フィルタ部435'に暫定波形が通される。その合成フィルタ438の出力に対し、パワー補正部501'で振幅補正が行われる。
【００３８】
この合成フィルタ部435'のフィルタ係数の計算は例えば図１０に示すように、暫定波形スペクトル包絡係数として得た線形予測係数を係数変換部437ａで線形予測ケプストラム係数Caに変換し、また補助情報復号スペクトル包絡係数として得た線形予測係数を係数変換部437ｂで線形予測ケプストラム係数Cbに変換し、これら係数Ca，Cbを減算部437ｃで減算してCb-Caを求め、このCb-Caを逆変換部437ｄで線形予測係数に逆変換し、この線形予測係数を合成フィルタ438のフィルタ係数に用いればよい。この予測係数への変換は例えば特開平8-248996号「ディジタルフィルタのフィルタ係数決定方法」に記述されている方法を使えばよい。
【００３９】
この図９に示した処理では、合成スペクトル包絡計算部437による計算が必要であるが、暫定波形に対するフィルタ処理演算は１回ですむ。図７及び図９に示した補正処理を周波数領域に変換して行ってもよい。
図７及び図９に示した各フローチャートのループ中でステップＳ６(又はＳ５’)，Ｓ５における補助情報から復号されたLPCに基づくスペクトル補正は原音と再生信号のスペクトル歪を小さくするもので、ステップＳ７の補正は原音と再生信号の波形歪を小さくするものであり、補正量を小さくして補正波形の発散を防ぐことができる。その方法として、図７、図９に示した例では逆フィルタ434の線形予測係数αk及び合成フィルタ435，438の線形予測係数βk, βk'の両方ともに１未満の定数γのｋ乗(γk)をかける方法がある（ｋはパラメータの次数）。図１０に示した例では線形予測ケプストラム係数Ca, Cbすべてに１未満の定数をかければよい。また図７及び図９における繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
【００４０】
なお前記αk, βk, βk'にγkを乗算すること、線形予測ケプストラム係数に１未満の定数を乗算することは、スペクトル包絡特性の帯域を拡大した予測計数を乗算することになり、暫定波形（サンプル列）のスペクトル包絡、補助情報の復号スペクトル包絡をそれぞれなまらせることになる。
図７及び図９において、ステップＳ３を省略し、ステップＳ１，Ｓ２，Ｓ４，Ｓ５（Ｓ５’），Ｓ６（Ｓ６’）、Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正波形（サンプル列）を出力してもよい。また図中に示すように、ステップＳ３において繰り返しが規定回数以上になると、その最終に得られた修正波形を出力してもよい。
第３実施例
従来技術の図１を参照して説明した、圧縮率の高い非可逆符号化と、その再生信号と原信号の誤差信号の可逆圧縮とを組み合せる符号化方法にこの発明を適用した第３実施例を図１１に示す。図１で説明したと同様に符号器１０では入力端子100からのディジタル入力信号列は圧縮率の高い非可逆量子化部120により、非可逆量子化され、その量子化情報は逆量子化部130で逆量子化（即ち復号）され、この逆量子化された信号（再生信号）と入力端子100からの原ディジタル入力信号列との差が減算部140でとられ、この差分信号である誤差信号がフレーム分割部110へ供給される。つまりこのフレームごとの誤差信号に対し、前述したようにビット配列の並び替え、伝送記録単位データへ分割、伝送記録単位データの可逆圧縮が行われ、ヘッダ付加部320でヘッダ３１が付けられてパケット化される。
【００４１】
非可逆量子化部120からの量子化符号I(n)もヘッダ付加部320へ供給されて、ヘッダ３１が付けられてパケットを構成する。この際、優先度を付ける場合にこの量子化符号のビット列に対して最も高い優先度を示す符号を与える。また、図４には線で示したように、誤差信号又サンプル列は原入力信号サンプル列のスペクトル包絡を表現するパラメータと平均パワーとが補助情報として補助情報生成部350で生成され、独立したパケットとして、又は優先度の高いパケット内に格納されて送出される。
【００４２】
復号器２０は原音合成後、即ち、逆量子化により再生した原音信号波形の概形と誤差波形を加算器240で加算して原音信号波形を再生した後に補正を行う例であって、入力端子200に入力されたパケットから非可逆量子化符号I(n)と、補助情報と、伝送記録単位データとが分離部440で分離され、非可逆量子化符号I(n)は逆量子化部230で逆量子化され、補助情報は補助情報復号部450で復号され、復号されたスペクトル包絡を表すパラメータ及び平均パワーが欠落補正部430へ供給される。一方、伝送記録単位データは前述したように可逆伸張、伝送記録単位統合、並び替えが順次行われ、振幅ビット列、つまり誤差信号サンプル列が再生され、この再生誤差信号と逆量子化部230からの逆量子化信号とが加算部240で加算される。この加算信号は、欠落検出部420よりパケット欠落が検出された場合は欠落補正部430へ供給される。
【００４３】
欠落補正部430における補正方法は上述した各種の手法の何れを用いてもよい。補助情報復号スペクトル包絡を表わすパラメータを利用する場合に、逆量子化部230で対応スペクトル包絡を表わすパラメータを得ることができる場合は、これを利用してもよい。あるいは図中に破線で示すように符号器１０ではフレーム分割部110の出力誤差信号、又はフレーム分割部110'によりフレームに分割された入力端子100からの入力信号から補助情報生成部350で補助情報を生成し、この補助情報を何れかのパケット内に加えるか、独立したパケットにより出力する。復号器２０では分離部440で補助情報を分離し、その補助情報を補助情報復号部450で復号して欠落補正部430へ供給すればよい。
【００４４】
このように非可逆量子化符号と誤差信号を用いる場合は、復号器２０において原音合成前の誤差信号に対し、欠落情報補正を行ってもよい。即ち、例えば図１２に示すように並び替え部220からの並び替え出力をパケット欠落の場合は欠落補正部430へ供給して欠落情報を補正して、フレーム合成部250へ供給する。この欠落補正部430での補正は前述した各種の手法を用いることができ、補助情報復号スペクトル包絡を用いる場合は、補助情報復号部450の復号化出力を用い、あるいは逆量子化部230で対応するスペクトル包絡を表わすパラメータが得られる場合はこれを利用してもよい。フレーム合成部250から再生誤差信号と逆量子化部230からの逆量子化信号とを加算部240で加算して原音信号を再生する。
【００４５】
図１1及び１２で示した実施例においても、補助情報として平均パワーを使用しないでもよい。
図１１に示したように符号器１０において、誤差信号に対してフレーム分割部110でフレーム分割する場合は、非可逆量子化部120における量子化処理のフレーム（例えば1024サンプル）に対し、フレーム分割部110の分割フレームを長く、例えば１６倍程度にすることにより、可逆符号化部150における圧縮効率を高くすることができる。しかしフレーム分割部110での分割フレーム長を余り長くすると復号の際にそれだけ遅れが長くなる。
【００４６】
図６、図１１に示した各実施例において、並び替え部160は必ずしも極性絶対値変換部161を設けなくてもよい。つまり２の補数表現のままビット配列並び替えを行ってもよい。この場合は可逆符号化の効率が下がるが、圧縮率より振幅分解能の選択（振幅精度のスケーラビリティ）のみが問題となる用途に有効である。
図１１、図１２に示した例においては、再生信号の忠実性の要求に応じて端子260からの信号のみならず、逆量子化部230からの出力を再生信号としてもよい。
上述した各実施例において符号器１０、復号器２０はそれぞれコンピュータにより可逆符号化プログラム、可逆復号化プログラムを実行させて機能させることもできる。これらの場合は、そのコンピュータのプログラムメモリに、可逆符号化プログラム、可逆復号化プログラムを、CD-ROM、可撓性磁気ディスクなどから、又は通信回線を通じてダウンロードして利用することになる。
【００４７】
この発明の効果を計算機シミュレーションを、第３実施例（符号化は図１１、復号化は図１２）について行った。誤差信号のサンプル値の桁数（極性信号を含める）を１６とし、第６〜１０ビットが欠落し、欠落補正部430で誤差信号を低域通過フィルタにより平滑化して補正し、復号信号（出力端子260）の聴感補正したＳＮＲ（Weighted SNR）と、復号信号の原音信号に対するケプストラム距離（スペクトル包絡の歪）とを求めた。その結果を図１３Ａ，１３Ｂに示す。参考のために欠落情報の補正を行わない場合のＳＮＲとケプストラム距離も示した。これらより、第６ビットが欠落した場合、この発明による欠落の情報補正（欠落補正）をした場合は、欠落補正しない場合より可成り改善されることが理解される。
第４実施例
図１４にこの発明による符号器１０及び復号器２０の他の実施例を示す。この実施例は図６の実施例における補助情報生成部350を変形したものである。前述のように、符号器１０において、入力端子100からの入力信号サンプル系列はフレーム分割部110で例えば1024個のサンプルからなるフレーム単位に順次分割される。この実施例では、補助情報生成部350内の有効桁数検出部353でフレームごとの入力ディジタル信号の絶対値の最大値を表現する桁数が有効桁数Ｆｅとして検出される。
【００４８】
フレーム分割部110で分割された各フレームごとに、入力信号サンプル系列はその有効桁数以内の部分のみが並び替え部160により各サンプル（振幅ビット列）における対応ビットが時間方向に配列される。この際、各入力信号サンプルは正または負の整数の振幅が２の補数表現されているが、その２の補数表現された各サンプルを、従来技術の説明と同様に、極性絶対値変換部１６１で、極性符号と絶対値の２進数表現に変換し、その後、ビット配列変換部１６２で、それぞれのサンプル（振幅ビット列）の対応ビット（桁）を時間方向に連結したビット配列（等位ビット列）にならびかえることが好ましい。しかし図中破線で示すように、極性絶対値変換部１６１を介することなく、つまり２の補数表現のまま、ビット配列変換部１６２で各対応ビットを時間方向にビット結合した等位ビット列にならびかえてもよい。
【００４９】
つまり、通常の入力信号サンプルは２の補数で正負の整数を表現するが、この例では、入力信号サンプルを極性符号と振幅の絶対値の２進数に変換したあとの数値に組替えた後、等位ビット列への変換を行い、更に、伝送記録単位分割部310で伝送記録単位データへの分割を行っている。その例を図１５Ａに示す。極性符号と絶対値表現された各サンプルは図１５Ａ中の左側の振幅ビット列に示すように１フレーム分が時間方向に順次配列されている。１つの振幅ビット列の様子を理解し易いように、太線で囲んだ振幅ビット列DV(n)として示す、ｎはフレーム内の時刻を表わし、例えばn=1, 2, …, 1024である。この例では各振幅ビット列DV(n)の極性符号を絶対値のＭＳＢと隣接させ、図ではＭＳＢの直上に極性符号を位置させている。
【００５０】
このような1フレーム分のそれぞれのサンプルの振幅ビット列の内で最もＭＳＢに近い桁に"1"があるビット位置を検出、ＬＳＢからその桁までの桁数が有効桁数Feとして求まる。この１フレームのディジタル信号中のこの有効桁数以内の範囲361のみと極性符号とをビット列に変換する。つまり有効桁数より上位の桁からＭＳＢまでの範囲362は等位ビット列に変換しない。
このような振幅ビット列データを、図１５Ａの右側に示すようにこの例ではまず各サンプルの振幅の数値の極性ビット（符号）のみを時間方向に連結して、フレーム内で系列（等位ビット列）を作る。次に有効桁数Ｆｅ以内の最も大きな数値に対応する桁のみをフレーム内で連結して系列（等位ビット列）を作り、同様にして、順次、各桁（対応ビット）ごとに時間方向に連結して等位ビット列を作り、最後にＬＳＢのみをフレーム内でつなげたビット列（等位ビット列）を作る。これら等位ビット列の１つの例を図１５Ａ中右側のビット配列太枠でDH(i)として示す。ｉは等位ビット列の作成順を示す。以上の並び替えではフレーム内のデータの中身は全く変らない。
【００５１】
なおディジタル信号が２の補数で正負の整数を表現している場合は例えば図１５Ｂに１フレーム分の振幅ビット列を示すように、絶対値の最大値を表現する桁より、絶対値が大きい部分は、図１５Ｂ中の範囲363に示すように、振幅ビット列が正の値であれば、全て"0"となり、負の値であれば全て"1"となる。このような部分以外の範囲364の桁数が有効桁数として検出される。この範囲364とこれと隣接したビット（桁）、つまり極性符号についてのみ、図１５Ｂの右側に示すように、等位ビット列への変換を行えばよい。
【００５２】
並び替え部160からの出力は伝送記録単位分割部310で、各等位ビット列DH(i)ごとに又は隣接する複数の等位ビット列DH(i)ごとに伝送記録単位データに分割する。この場合、１フレーム中において、伝送記録単位データとして１つの等位ビット列で構成されるものと複数の等位ビット列で構成されるものとが混在してもよい。
このように分割された各伝送記録単位データはヘッダ付与部320で、例えば図４Ｃに示したと同様にヘッダ３１がその伝送記録単位データ（ペイロード）３２に付けられる。
【００５３】
この第４実施例では補助情報生成部350はスペクトル包絡算出部351、補助情報符号化部352、有効桁数検出部353、パワー算出部354を有しており、フレーム分割部110からの入力信号サンプル列から有効桁数検出部353で検出した有効桁数Feが補助情報符号化部352で符号化されて送出される。あるいは、各サンプルがｍビット構成とすると、う浮こう桁数Feの代りにm-Feを符号化して送ってもよいことは明らかである。この例では更に、フレーム分割部110でフレームごとに分割された入力信号サンプル列はスペクトル包絡算出部351において例えば線形予測分析により線形予測係数LPCがスペクトル包絡を表現するパラメータとして求められ、またパワー算出部354でフレームごとの分割されたサンプル列の平均パワーPaが算出される。あるいはスペクトル包絡算出部351で求めた線形予測係数LPCに基づき構成した逆フィルタ355に入力信号サンプル列を入力してそのスペクトル包絡を平坦化処理し、その平坦化された信号の平均パワーPaがパワー算出部356で求められる。
【００５４】
これら線形予測係数ＬＰＣ及び平均パワーPaも補助情報符号化部340により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報とされる。この有効桁数Fe、スペクトル包絡のパラメータLPC、平均パワーPaを符号化した補助情報はヘッダ付加部320へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。なお図中に破線で示すように、図６の実施例と同様にスペクトル包絡のパラメータLPC、平均パワーPa等の補助情報をフレーム分割部110'により、フレーム分割部110による分割長より長いフレーム長で分割された入力信号フレームに対して取得することにより、可逆圧縮の効率を高めるようにしてもよい。
【００５５】
復号器２０においては入力端子200に入力されたパケット３０は分離部440において伝送記録単位データと、補助情報とに分離され、伝送記録単位データは可逆復号化部210（図１の復号化部210と同一）へ供給され、補助情報は補助情報復号部450へ供給され、補助情報復号部450は当該フレームの有効桁数Fe、スペクトル包絡を表すパラメータLPC及び平均パワーPaを復号し、有効桁数Feを桁合せ部460へ供給し、スペクトル包絡パラメータLPC及び平均パワーPaを欠落補正部430へ供給する。欠落補正部430、補助情報復号部450、桁合せ部460は情報補正部480を構成している。
【００５６】
伝送記録単位データはそれが可逆圧縮されている場合は可逆復号化部210で可逆復号され、各伝送記録単位データは伝送記録単位統合部410でそのパケット番号に基づき、複数のパケットより１フレーム分を統合し、例えば図１５Ａの右側の等位ビット配列に示すように統合される。この統合されたデータは並び替え部220で等位ビット列から振幅ビット列、つまり元のサンプル列（波形）に変換される。この際、各サンプルが極性符号と振幅の絶対値で表現されている場合はビット配列逆変換部221で、図１５Ａで説明した並び替えと逆に等位ビット列を図１５Ｂの右側に示すように振幅ビット列に並び替えた後、２の補数変換部222で、ビット配列逆変換部221からの各振幅ビット列を、２の補数表現に変換し、つまり極性符号が負の振幅ビット列はその"1"と"0"とを入れかえる。
【００５７】
なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図１４中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま桁合せ部460へ供給される。桁合せ部460では各振幅ビット列に対し、復号有効桁数Feに応じた桁合せをする。つまり本来の振幅ビット列のビット数（桁数）ｍになるように、その振幅ビット列の上位に、極性符号が正であれば０を、負であれば１を付け加え、つまり例えば図１５Ｂにおける範囲363のビットを付け加える。この桁合せされた振幅ビット列は、復号サンプルとしてフレーム合成部250へ供給される。
【００５８】
パケット欠落が生じている場合は、そのパケットのパケット番号が欠落検出部420により検出され、並び替え部220からの振幅ビット列は桁合せ部460へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（サンプル）に対し行われて、桁合せ部460へ供給される。
欠落補正部430における補正は既知の情報から欠落した情報を推定して行う。欠落補正部430は前述の各実施例と同様に、過去の数フレームの平均的スペクトル、又は後で述べるように補助情報の復号結果として得られたそのフレームにおける確定したスペクトルに、当該フレームの欠落情報以外の情報から得られるスペクトルが近づくように、欠落情報に対する補正を行う。簡単な補正法としては、欠落補正部430でその入力再生サンプル列を低域通過フィルタに通して平滑化して高域の雑音成分を除去すればよい。その低域通過フィルタの遮断特性は、原信号のスペクトル形状（包絡）が予め知られていれば、その特性に応じて高域成分を減衰させるように選定する。あるいは、前述のように平均的なスペクトルを求め、又はフレームごとの確定したスペクトルの形状に合せて遮断特性を適応的に変更してもよい。
【００５９】
このように復号器２０でパケット欠落にもとづく情報欠落を補正できることを利用し、情報量削減のため必要に応じてＬＳＢ側パケットを意図的に送らず、ビットレートを低くしても、復号器２０で可逆復号が可能となる。あるいは聴感上問題にならない再生を行うことができる。
あるいは欠落情報（ビット）のとり得る値の総ての組み合せを、各サンプル値に加算し、補正サンプル列（波形）の候補を作り、これら候補のスペクトル包絡を求め、そのスペクトル包絡が補助情報の復号スペクトル包絡と最も近いものと対応する補正サンプル列（波形）候補を、補正サンプル列として桁合せ部460へ出力する。なお図１４において可逆符号化部150、可逆復号化部210を省略してもよい。
補助情報による補正
欠落情報のとり得る値の総ての組み合せを用いて補正サンプル列の候補を生成する場合、欠落情報（ビット）が多くなるにつれて、補正サンプル列（波形）候補が著しく多くなり、処理量が非現実的に増加するおそれがある。このような問題を回避する欠落補正部430の処理、及びその機能構成について以下に説明する。
【００６０】
図１６にその欠落情報補正処理手順の一例を、図１７に欠落補正部430の機能構成の一例をそれぞれ示す。ステップＳ１〜Ｓ６の処理は図７のステップＳ１〜Ｓ４、Ｓ６，Ｓ７と同様であり、まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、欠落４ビットの値は０〜１５の値のうちどれかであるが、仮に８または７に設定する。
【００６１】
次にこの暫定波形のスペクトル包絡をスペクトル包絡算出部４３２で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡係数を分析できる。一方、誤差計算部４３３で、受信された補助情報Axが補助情報復号部450で復号されて原音のスペクトル包絡係数が得られ、その原音スペクトル包絡係数を暫定波形のスペクトル包絡係数と比較して誤差が予め決めた値Δｄより小であれば暫定波形を補正された出力波形としてフレーム合成部250へ出力する（Ｓ３）。
【００６２】
ステップＳ３において、推定スペクトル包絡係数と復号スペクトル包絡係数の誤差が予め決めた値Δｄより小でない場合には、まず推定した暫定波形のスペクトル包絡係数の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めた暫定波形スペクトル包絡を表すパラメータを例えば全極型（全零型）の線形予測逆フィルタ434に設定し、暫定波形を逆フィルタ434に通過させることで暫定波形のスペクトルを平坦化して平坦化信号とする。この平坦化信号の平均パワーをパワー計算部438で計算し、この平均パワーと、補助情報復号部450からの復号された平均パワー（符号器１０の平坦化パワー算出部331の出力）とから補正量を補正量計算部439で計算し、例えば両者の比又は差として計算し、その補正量により、パワー補正部501で逆フィルタ434の出力に対し振幅補正を行う、つまり、逆フィルタ434の出力に対し補正量を乗算又は加算して、暫定波形のパワーを復号パワーに合せる（Ｓ５）。
【００６３】
次にこの振幅補正された平坦化信号に対して補助情報のスペクトル包絡の特性を与えてスペクトル包絡を補正する（Ｓ６）。すなわち補助情報の復号スペクトル包絡を表わすパラメータＬＰＣを用いた全極型の合成フィルタ435にパワー補正部501の出力を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原音に近いものになる。
ただしこのスペクトル補正波形は振幅ビット列中のすでに確定しているビットと矛盾する場合があるので、前述と同様に正しい値に修正部436で修正する（Ｓ７）。
【００６４】
この修正波形をステップＳ１の暫定波形としてステップＳ２以後の処理を繰り返すことができる。なお復号有効桁数Feがフレーム毎に異なる場合で、スペクトル包絡算出部432の線形予測分析（ステップＳ２）、逆フィルタ434（ステップＳ４）、合成フィルタ435（ステップＳ６）の各処理の対象となるサンプルが現在のフレームと過去のフレームにまたがる場合がある。この場合には処理の対象は現在のフレームであっても、一つ過去のフレームの有効桁数Feを現在のフレームの有効桁数Feと一致させたうえで分析やフィルタ処理を行う必要がある。一つ過去のフレームの有効桁数Feが現在のフレームの有効桁数よりＮ桁大きい場合には、一つ過去のフレームのサンプルを例えばＮ桁下位にシフトさせて振幅値を縮小させてその有効桁数を現在のフレームの有効桁数に合わせる。逆に一つ過去のフレームの有効桁数が現在のフレームの有効桁数よりＭ桁大きい場合には、過去のフレームのサンプルを例えば浮動小数点表示などで一時的にＭ桁上位にシフトして振幅値を拡大させてその有効桁数を現在のフレームの有効桁数に合わせる。この場合、上位シフトによりレジスタから溢れ出て情報の欠落が大きいときにはその過去のフレームのサンプルの振幅値の精度が落ちているので、過去のフレームのサンプルを使わない、あるいは現在のフレームのサンプルに対する補正処理を省略してもよい。
【００６５】
このような有効桁数の補正は図１６中に破線で示すように、ステップＳ２の分析処理に必要な場合は、その前に、前述した有効桁数補正を行い（Ｓ２′）、ステップＳ４の逆フィルタ処理に必要な場合は、その前に有効桁数補正を行い（Ｓ４′）、ステップＳ６の合成フィルタ処理に必要な場合は、その前に有効桁数補正を行う（Ｓ６′）。また図１７において、スペクトル包絡算出部４３２、逆フィルタ434、合成フィルタ435中の過去のフレームのサンプルを必要とするものに対しては破線で示すように補助情報復号部450から復号された有効桁数Feも供給され、これらスペクトル包絡算出部432、逆フィルタ434、合成フィルタ435において、過去のフレームのサンプルに対する有効桁数を現在フレームの有効桁数に合せる処理を行った後、その本来の処理を行うようにされる。
【００６６】
図１６及び図１７中に破線で示すように、ステップＳ４で暫定波形を平坦化した後、まずこの平坦化された暫定波形（平坦化信号）を合成フィルタ435へ通して、スペクトル包絡補正した再構成サンプル系列（波形）を得（Ｓ５′）、そのスペクトル包絡補正された波形に対しパワー補正部501'で振幅補正をして（Ｓ６”）ステップＳ７に移るようにしてもよい。この場合は、合成フィルタ435からのスペクトル包絡補正された波形の平均パワーがパワー計算部438'で計算され、この平均パワーと、補助情報の復号パワー（符号器１０中のパワー計算部331の出力）とにより補正量計算部439'で補正量が求められ、その補正量により合成フィルタ435の出力に対してパワー補正部501'で振幅補正が行われる。ステップＳ５’の合成フィルタ435による処理が１つ前のフレームとまたがって行われる場合は、ステップＳ５”で示すように予め有効桁数の補正を行う。
【００６７】
補正情報を用いた欠落情報補正処理の更に他の例を図１８を参照して説明する。この欠落情報補正処理は、図８における合成スペクトル包絡計算部437と合成フィルタ部435’を使用した補正処理と同様の原理を使用する。
ステップＳ１〜Ｓ３、Ｓ６は図１６に示した処理中のステップＳ１〜Ｓ３、Ｓ７とそれぞれ同一処理である。この例ではステップＳ３の後、ステップＳ２において推定したスペクトル包絡の逆フィルタ434と補助情報の復号スペクトル包絡の合成フィルタ435を合わせたひとつの合成フィルタ部435'のフィルタ係数を合成スペクトル包絡計算部437で計算し（Ｓ４）、ステップＳ５でこの合成フィルタ部435'に暫定波形を通してスペクトル包絡を補正した波形を合成し、そのスペクトル包絡が補正された波形に対しパワー補正部501'で振幅補正を行う（Ｓ６）。この振幅補正は図１７中に破線で示すパワー計算部438'、補正量計算部439'、パワー補正部501'により行う。この合成フィルタ501'のフィルタ係数の計算は例えば図１０で説明した計算により実施する。
【００６８】
この図１８に示した処理では、合成スペクトル包絡計算部437による合成フィルタ部435’のフィルタ係数の計算が必要であるが、暫定波形に対するフィルタ演算は１回ですむ。図１６及び図１８に示した補正処理を周波数領域に変換して行ってもよい。
図１８中でステップＳ２のスペクトル包絡算出やステップＳ５でスペクトル包絡補正で、過去のサンプルを必要とする場合は、破線で示すようにそのステップＳ２やＳ５の前に前述した有効桁数補正を行う（Ｓ２′又はＳ５′）。
【００６９】
図１６に示したフローチャートのループ中でステップＳ６（又はＳ５′）、及び図１８に示したフローチャートのループ中のＳ５における補助情報から復号したLPCに基づくスペクトル包絡補正は原音と再生信号のスペクトル歪を小さくするもので、両フローチャート中のステップＳ７の補正は原音と再生信号の波形ひずみを小さくするものであるので、ループによるこの操作の繰り返しで収束する保障はないが、図７Ｂ及び９について説明したと同様に、逆フィルタ434の線形予測係数αk、合成フィルタ435，438の線形予測係数βk, βk'のそれぞれに対し定数γkを乗算することにより発散を防ぐことができる。ただし、γは０＜γ＜１であり、ｋはパラメータの次数である。
【００７０】
図１０の構成を使用する場合には、線形予測ケプストラム係数Ca,Cbのすべてに１未満の定数をかければよい。また図１６及び図１８において繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
図１６及び図１８において、ステップＳ３を省略し、ステップＳ１，Ｓ２，Ｓ４，Ｓ５（Ｓ５′），Ｓ６（Ｓ６′），Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正波形（サンプル列）を出力してもよい。また図中に示すように、ステップＳ３において繰り返しが規定回数以上になると、その時最終に得られた修正波形欠落補正部430の出力してもよい。
【００７１】
桁合せ部460は図１４中に破線で示すように、並び替え部220の直後に挿入してもよい。この場合は、欠落補正部430における前述した有効桁数を合わせる処理は不要となる。また図１６及び図１８に示した欠落情報の補正処理において、ステップＳ５，Ｓ６′及びＳ６の振幅補正は省略してもよい。この場合は図１７においても対応する部分438',439',501'が省略される。場合によっては復号スペクトル包絡を用いる欠落情報の補正は省略し前述した低域通過フィルタを使用する方法や過去のフレームのスペクトル包絡係数に一致するよう補正する方法などの他の補正を用いてもよい。この場合は、符号器１０で、スペクトル包絡又はこれと平均パワーの補助情報の生成は省略され、また復号器２０の欠落補正部430は図１７に示した構成とは異なるものとなる。
第５実施例
図１４で説明した各フレーム中のサンプルの有効桁に対し並び替えを行う符号化方法を図１で説明した圧縮率の高い非可逆符号化と、その再生信号と原信号の誤差信号の可逆圧縮とを組み合せた符号化方法に適用した第５実施例を図１９に示す。この実施例の符号器１０においては、ビット配列変換部162において、図１５Ａあるいは図１５Ｂで説明した有効桁に対する並び替えをう。補助情報生成部350は図１４の実施例における補助情報生成部350と同様に構成されている。それ以外は図１１における符号器１０と同様の構成とされている。また、復号器２０は図１１の実施例における復号器２０において、桁合わせ部460を並び替え部220の出力側に設け、欠落補正部430として図１４の欠落補正部430、即ち図１７の欠落補正部430を使用したものであり、それ以外は図１１における復号器２０と同様の構成とされている。従って詳細な説明は繰り返さない。
【００７２】
このように非可逆量子化符号と誤差信号を用いる場合は、復号器２０において原音合成前の誤差信号に対し、欠落情報補正を行ってもよい。即ち、例えば図２０に示すように並び替え部220からのならびかえ出力をパケット欠落の場合は欠落補正部430へ供給して欠落情報を補正して、桁合せ部460へ供給し、欠落情報を含まない場合は並び替え部220の出力を直接桁合せ部460へ供給し、桁合せ部460で桁合せされたサンプル列をフレーム合成部250へ供給する。欠落補正部430での補正は前述した各種の手法を用いることができ、補助情報復号スペクトル包絡又はこれと復号平均パワーを用いる場合は、補助情報復号部450の復号化出力を用い、あるいは逆量子化部230で対応するスペクトル包絡を表わすパラメータLPCが得られる場合はこれを利用してもよい。フレーム合成部250からの再生誤差信号と逆量子化部230からの逆量子化信号とを加算部240で加算する。図２０中に破線で示すように、桁合せ部460を並び替え部220の直後に設けてもよい。
【００７３】
上述において、符号器１０でパケット化することなく、少くともフレームごとに有効桁数と伝送記録単位データとを送出し、復号器２０でこれらを用いて復号するようにしてもよい。
第６実施例
図２１にこの発明による符号器１０及び復号器２０の各実施例を示す。この実施例では、図６の実施例においてフレーム分割された入力信号サンプル列を等位ビット列に変換して送出する代わりに、入力信号サンプル列の予測誤差を等位ビット列に変換して送出するものである。
【００７４】
符号器１０は図６における符号器１０に対し、サンプルレジスタ371と、線形予測部372と、整数化部373と、差回路374とからなる予測誤差生成部370が追加された構成とされている。また、復号器２は図６における復号器２０に対し、サンプルレジスタ471と、線形予測部472と、整数化部473と、加算部474とからなる合成フィルタ470が追加された構成とされている。フレーム分割部110から入力信号サンプル列が各フレームごとに、補助情報生成部350のスペクトル包絡算出部351と予測誤差生成部370の差回路374に与えられる。入力信号サンプル列はフレームごとにスペクトル包絡算出部351で、例えば線形予測分析され、そのスペクトル包絡を表わすパラメータとして線形予測係数ＬＰＣが求められる。このスペクトル包絡のパラメータＬＰＣは補助情報符号化部352で符号化される。
【００７５】
例えばフレーム分割部110からの直前のフレームの予め決めた数の複数サンプルがレジスタ371から線形予測部372へ供給され、これらサンプル列に対し、スペクトル包絡算出部351からのスペクトル包絡パラメータLPCに基づく線形予測係数が乗算、加算されて、入力サンプル毎に線形予測値が求められる。この線形予測値は整数化部373で整数値とされ、整数の予測値とフレーム分割部110からの現サンプルとの差が差回路374で予測誤差信号サンプルSpeとして求められる。
この入力サンプル毎に得られる予測誤差信号Speは並び替え部160に入力され、並び替え部160において各フレームごとにそれぞれの入力サンプルに対する予測誤差信号サンプルSpe（振幅ビット列）の対応ビット（桁）が図４Ａで説明したように時間方向に配列される。並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータ毎に必要に応じて、可逆符号化部150により可逆圧縮符号化され、ヘッダ付与部320により、復号時に分割された伝送記録単位データを１つのフレームとして再構成可能なようにヘッダが取付けられ、パケットとして出力端子170に出力される。
【００７６】
補助情報符号化部350からのスペクトル包絡のパラメータＬＰＣの符号化情報（補助情報）はヘッダ付与部320から１つのパケットとして、又は最も優先度のパケット内に格納されて出力される。
復号器２０においては入力端子200からのパケット３０は分離部440において、補助情報と、伝送記録単位データ（極性符号列を含む）とに分離され、補助情報は補助情報復号部450へ供給される。伝送記録単位データはそれが可逆圧縮されている場合は可逆復号化部210へ供給され、ここで可逆復号された後、各伝送記録単位データは伝送記録単位統合部410へ供給される。伝送記録単位統合部440ではパケット番号に基づき、複数のパケットより１フレーム分の伝送記録単位データを統合する。この統合されたデータは並び替え部220で等位ビット列を振幅ビット列の１フレーム分、つまり予測誤差波形に変換される。
【００７７】
なお、伝送記録単位データが、２の補数表現された振幅ビット列から等位ビット列に直接並び替えたものに基づくものである場合は、図２１中に破線で示すようにビット配列逆変換部221からの振幅ビット列はそのまま復号サンプルとして欠落補正部430を迂回して合成フィルタ470へ供給される。パケット欠落が生じていなければ、並び替え部220から、符号器１０の並び替え部160に入力された予測誤差信号サンプルSpeと完全に同一の予測誤差信号Speが得られる。合成フィルタ470では、符号器１０における予測誤差生成部370の処理と逆の処理が行われる。つまりレジスタ471から予め決められた一定数の直前の復号サンプルが線形予測部472に入力され、線形予測部472に各サンプルに対して、補助情報復号部450で復号された線形予測係数PLCがそれぞれ乗算され、その乗算結果の和が現在の復号サンプルの予測値として求められる。この予測値は整数化部463で整数値とされ、この整数化された予測値と並び替え部220からの現在の予測誤差信号との和が加算部474でとられて、合成フィルタ470のフィルタ出力とされ、フレーム合成部250へ供給されると共にレジスタ471へ供給される。よって、合成フィルタ470でディジタル信号が合成され、これがフレーム合成部250で互いにつなぎ合わされて、符号器１０の入力端子100に入力された信号が再生されて出力端子260に出力される。
【００７８】
入力されたパケットのパケット番号からパケット欠落が生じている場合は、欠落検出部420でこれが検出され、並び替え部220からの振幅ビット列は合成フィルタ470へ直接供給されることなく、欠落補正部430へ供給され、欠落情報に対する補正が振幅ビット列（予測誤差信号）に対し行われて、合成フィルタ470へ供給される。
欠落情報補正
欠落補正部430における欠落した情報を補正した予測誤差波形を得る処理手順と構成を図２２及び図２３を参照して以下に説明する。
【００７９】
欠落予測誤差波形（並び替え部220からの１フレーム分のサンプル列出力）が暫定波形生成部431に入力され、まず確定しているビットのみを使ってフレーム内の暫定予測誤差波形を生成する（Ｓ１）。この際欠落しているビットは例えば０に固定するか、欠落情報のとり得る範囲の中間値とする。
次にこの暫定予測誤差波形のスペクトル包絡をスペクトル包絡算出部432で計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定予測誤差波形に対して行えばスペクトル包絡を推定できる。符号器１０の予測誤差生成部370で生成される予測誤差波形のスペクトル包絡はほぼ平坦となるので、この推定したスペクトル包絡は、暫定予測誤差波形が符号器１０の予測誤差生成部370で得られた原予測誤差信号波形と同一であれば平坦であることが、期待される。しかしこの暫定予測誤差波形が原予測誤差信号波形と異なればスペクトル包絡は平坦なものにならない。この平坦度が許容範囲内であるか否かの判定を平坦度判定部433Fで行う（Ｓ３）。この平坦度が許容範囲であればその暫定予測誤差波形をそのまま合成フィルタ470へ出力する。
【００８０】
この平坦度の判定は例えば、スペクトル包絡算出部432でスペクトル包絡のパラメータとして求めた線形予測係数c1, c2, …, cM の相加平均を相乗平均で割算した値が0dBであれば、完全な平坦であり、例えば3dB以下であればほぼ平坦な状態であると判定する。あるいは、前記スペクトル包絡のパラメータとしてLPCケプストラム係数を求め、この係数の自乗和が一定値以下であれば、ほぼ平坦な状態と判定する。
スペクトル包絡形状が平坦な状態から大きく異なると判定されると、まず推定したスペクトル包絡の逆特性を暫定予測誤差波形に与える（Ｓ４）。具体的には例えば全極型の線形予測の逆フィルタ（全零型）434に暫定予測誤差波形を通過させることで、そのスペクトルを平坦化する。このとき、完全に平坦化するのではなく、スペクトル包絡特性のバンド幅を拡大した、つまりスペクトル包絡をなまらせた予測係数で平坦化してもよい。
【００８１】
ただしこの平坦化された補正波形は正常に受信されたパケットから得られた確定している振幅のビットと矛盾する可能性があるので、正しい値に修正部436で修正する（Ｓ５）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各振幅ビット列（予測誤差信号）のとり得る値には１６の範囲の不確定があるが、スペクトル補正波形中にこの範囲と外れた振幅ビット列があれば、最も近い値、つまりこの例で下位４ビットが最大値の１５の振幅ビット列に修正する。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原予測誤差信号に近い波形が再生される。必要に応じてこの修正波形を暫定予測誤差波形としてステップＳ１に戻って補正を繰り返す。
【００８２】
なお補正予測誤差（暫定予測誤差）波形は整数値が前提であるが、フィルタ計算では実数扱いとなり、フィルタの出力値の整数化が必要になる。合成フィルタ470の場合には振幅ビット列ごと(サンプルごと)に整数化するか、フレーム毎にあとで一括して整数化するかで結果は異なるが、どちらも可能である。
前述したように欠落ビットのとり得る値の総ての組み合せを用いて補正サンプル列の候補を作る場合は、欠落ビットが多くなると、補正振幅ビット列（波形）候補が著しく多くなり、処理量が非現実的になるおそれがある。このような問題がないようにする欠落補正部430の処理、及びその機能構成について以下に説明する。
【００８３】
図２４にその処理手順の一例を、図２５に機能構成の一例をそれぞれ示す。まず暫定波形生成部431に並び替え部220から入力された確定しているビットのみを使ってフレーム内の暫定予測誤差波形（暫定的な振幅ビット列）を再生する（Ｓ１）。この暫定予測誤差波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、０〜１５までのレベルのどれかが正しい値であるが、仮に８または７に設定する。
【００８４】
次に、受信した補助情報から復号したスペクトル包絡の予測係数LPCを合成フィルタ435に設定し、この暫定予測誤差波形を合成フィルタ435に通して符号器１０への原入力信号波形を線形予測合成する（Ｓ２）。この合成波形のスペクトル包絡をスペクトル包絡算出部432で計算する（Ｓ３）。誤差計算部437で、この計算したスペクトル包絡と、補助情報として受信された原音(原入力信号)のスペクトル包絡、つまり補助情報復号部４５０で復号されたスペクトル包絡とを、比較して誤差が許容範囲内であれば暫定予測誤差波形を補正された予測誤差波形（補正振幅ビット列）として合成フィルタ470へ出力する（Ｓ４）。
【００８５】
ステップＳ４において、暫定予測誤差波形のスペクトル包絡と補助情報から復号したスペクトル包絡形状が大きく異なるとき、つまり暫定予測誤差が不完全な場合はまず計算したスペクトル包絡の逆特性を暫定予測誤差波形に与える（Ｓ５）。具体的にはステップＳ３で求めたスペクトル包絡を表すパラメータを設定した全極型の線形予測の逆フィルタ（全零型）４３４に暫定予測誤差波形を通過させることでスペクトルを平坦化する。この場合も完全に平坦化するのではなく、スペクトル包絡特性の帯域幅を拡大した、つまりなまらせた予測係数を用いてもよい。
【００８６】
次にこの平坦化信号に対して復号スペクトル包絡の特性を与える（Ｓ６）。即ち、補助情報から復号したスペクトル包絡を表わすパラメータLPCを設定した全極型の合成フィルタ435に逆フィルタ434の出力を通して暫定予測誤差波形の補正予測誤差波形を作る。この結果の補正予測誤差波形は原予測誤差波形（信号）に近いものになる。
図２２に示した場合と同様にこの補正予測誤差波形はすでにわかっている振幅のビットと矛盾する可能性があるので、正しい値に修正部436で修正する（Ｓ７）。
【００８７】
この修正予測誤差波形をステップＳ１の暫定予測誤差波形としてステップＳ２以後の処理を繰り返す。図２４、図２５中に破線で示すように、ステップＳ４の次に暫定予測誤差波形を復号スペクトル包絡パラメータを用いて波形合成し（合成フィルタ435"を通し）（Ｓ５′）、その合成波形に対し、計算したスペクトル包絡の逆特性を与え（逆フィルタ434'を通し）（Ｓ６′）てもよい。なおバンド幅を拡大した係数を使わない場合は予測係数を求めるために合成した波形、つまり合成フィルタ502の出力波形を逆フィルタ434に供給してもよい。
【００８８】
次に復号スペクトル包絡を用いた欠落情報補正処理の他の例を図２６を参照して説明する。
ステップＳ１〜Ｓ４、Ｓ７は図２４に示した処理中のステップＳ１〜Ｓ４、Ｓ７とそれぞれ同一処理である。この例ではステップＳ４の後、ステップＳ３において計算したスペクトル包絡の逆フィルタ434と復号スペクトル包絡の合成フィルタ435とを合わせたひとつの合成フィルタ部435'のフィルタ係数を計算し（Ｓ５）、ステップＳ６でこの合成フィルタ部435'に暫定予測誤差波形を通して補正予測誤差波形を合成する。
【００８９】
図２６に示した処理の機能構成は、図２５中に破線で示すように、補助情報復号部450からの復号スペクトル包絡パラメータLPCとスペクトル包絡算出部432からの推定スペクトル包絡パラメータαとから、逆フィルタ434と合成フィルタ438を組み合せたひとつの合成フィルタ部435'のフィルタ特性が合成スペクトル包絡計算部437で計算され、そのフィルタ係数が合成フィルタ438に設定され、この合成フィルタ部435'に暫定予測誤差波形が通される。
この合成フィルタ438のフィルタ係数の計算は例えば図１０で説明したように、暫定予測誤差波形の線形予測係数を係数変換部437aで線形予測ケプストラム係数Caに変換し、また復号スペクトル包絡の線形予測係数を係数変換部437bで線形予測ケプストラム係数Cbに変換し、これら係数Ca，Cbを減算部437cで減算してCb-Caを求め、このCb-Caを逆変換部437dで線形予測係数に逆変換し、この線形予測係数を合成フィルタ部435'のフィルタ係数に用いればよい。
【００９０】
図２２に示したフローチャート中の繰り返し処理で予測誤差波形が発散しないようにするため、図２２、図２４、図２６に示した例では逆フィルタ434の線形予測係数αkと図２４、図２６に示した例では合成フィルタ435，438の線形予測係数βk, βk'ともに１未満の定数γのｋ乗をかける方法がある（ｋはパラメータの次数）。図１０に示した場合には線形予測ケプストラム係数のすべてに１未満の定数をかければよい。また図２２、図２４及び図２６において繰り返し処理の場合でも、繰り返しの最初はγを１に近い値に設定し、収束するにつれて、γの値を小さくして推定誤差を小さくすることも可能である。
【００９１】
図２２でステップＳ３、図２４及び図２６において、ステップＳ４を省略し、図２２ではステップＳ１，Ｓ２，Ｓ４，Ｓ５を１回だけ、図２４及び図２６ではステップＳ１，Ｓ２，Ｓ３，Ｓ５，Ｓ６，Ｓ７を１回だけ、あるいは決められた回数だけ繰り返して、修正予測誤差波形（振幅ビット列）を出力してもよい。また図中に示すように、図２２のステップＳ３、図２４及び図２６のステップＳ４において繰り返しが規定回数以上になると、その最終に得られた修正予測誤差波形を出力してもよい。図２２、図２４、図２６に示した処理は周波数領域に変換して行ってもよい。この場合は例えば逆フィルタ処理は、正規化処理となる。
【００９２】
予測誤差信号Speは振幅が小さくなっている場合が多い。このため予測誤差信号Speを極性と絶対値の２進数で表現すると、例えば図１５Ａ及び図１５Ｂで説明したと同様に、各予測誤差信号Spe（振幅ビット列）の上位の桁はフレームの全体で全て"0"となる場合が多い。従って１フレーム内において絶対値の最大値を表現する桁数を有効桁数として求め、つまり"1"を含む最大の桁数を有効桁数Feを、図２１中の符号器１０内の有効桁数検出部163で検出し、この有効桁数Feも補助情報符号化部352で符号化してスペクトル包絡のパラメータLPCと共に出力し、並び替え部160で有効桁数Feの範囲４１内のビットと極性符号のみを等位ビット列に変換して伝送記録単位分割部310へ出力する。
【００９３】
復号器２０においては入力されたパケットより、並び替え部２２０からの振幅ビット列又は欠落補正部430からの補正（修正）振幅ビット列よりなる再生予測誤差波形に対し、補助情報復号部450で復号した有効桁数Feによる桁合せを桁合せ部460で行う。桁合せ部460に入力される再生予測誤差波形（振幅ビット列）が例えば図１５Ｂの右側における桁数Feの振幅ビット列のようになった場合に、その各振幅ビット列（２の補数表現）に対し、図１５Ｂの左側に示すように極性符号が正（"0"）のものには、本来の振幅ビット列のビット幅（符号器１０の並び替え部160の入力予測誤差サンプルSpeのビット幅）ｍから有効桁数Feを引いた数だけ、"0"を上位に付け加え、極性符号が負（"1"）のものには"1"を同じ数ｍ-Feだけ、上位に付け加える。
【００９４】
このように桁合せされた再生予測誤差波形が合成フィルタ470へ供給される。このように有効桁数を補助情報に加えることにより、符号化効率を向上させることができる。なお符号器１０の並び替え部160で、予測誤差信号を（振幅ビット列）を極性符号と絶対値の２進数値とに変換することなく２の補数表現の振幅ビット列に対しても、有効桁数Ｆｅを補助情報として出力するようにしてもよい。この場合も、図１５Ｂの左側に示したようにフレーム内において何れの振幅ビット列においても同一上位桁数では"0"のみ又は"1"のみとなる範囲より下位桁の数が有効桁数Feであり、その有効桁数Feの最下位ビットを極性符号として用いればよい。
【００９５】
有効桁数Feを利用する場合において、復号器２０の欠落補正部430（図２５）内のスペクトル包絡算出部432、逆フィルタ434、合成フィルタ435、合成フィルタ502、合成フィルタ435'において、その分析処理やフィルタ処理のために一つ前のフレームの再生予測誤差信号を必要とする場合は、一つ前のフレームの有効桁数Feと現在のフレームの有効桁数とを合せて処理する必要がある。例えば現在のフレームの有効桁数が一つ前のフレームの有効桁数よりＭビット（桁）大きい時は、例えば一つ前のフレームの振幅ビット列を下位にＭビットシフトして過去のフレームの振幅ビット列の振幅値を縮小して、一つ前の過去のフレームの有効桁数を現在のフレームの有効桁数にそろえたうえで補正処理を行う。現在のフレームの有効桁数が一つ前のフレームの有効桁数よりＮビット（桁）小さい時は、例えば一つ前のフレームの振幅ビット列を例えば浮動小数点としてＮビット上位にシフトして一つ前のフレームの振幅ビット列の振幅値を拡大して、一つ前のフレームの有効桁数と現在の有効桁数をそろえたうえで上記各フィルタによる処理を行う、あるいは一つ前のフレームを無視して処理を行う。
【００９６】
このような有効桁数をそろえる場合は、図２２におけるステップＳ２，Ｓ４の各直前、図２４におけるステップＳ２，Ｓ３，Ｓ５，Ｓ６の各直前、図２６におけるステップＳ２，Ｓ３，Ｓ６の各直前に破線で示すように、必要とする一つ前のフレームの振幅ビット列に対し、有効桁数をそろえる有効桁数補正を行えばよい。図２３及び図２５の欠落補正部430において、有効桁数をそろえることが必要な各部において、一つ前のフレームの振幅ビット列に対して有効桁数をそろえる処理を行えばよい。なお図２１中の復号器２０内に示すように、並び替え部220より振幅ビット列に対し、桁合せ部460により桁合せを行ってもよく、この場合は、前述した有効桁数補正の必要はなくなる。
第７実施例
ところで、従来、音響信号の高圧縮符号化は、圧縮効率を高める点から聴覚特性を考慮し、聴感歪を最小化するようにするのが一般的である。これは聴覚最適化を利用した符号化であって、与えられたビット数のもとに周波数マスキングを用いて、聴覚的な量子化歪を最小化するものである。波形歪最小という規範では、聴覚とは無関係に量子化歪のエネルギーを最小化するために、原音のスペクトルの大きさに無関係に量子化歪を配分するものである。
【００９７】
聴覚最適化では、原音の大きなスペクトル成分の周辺の量子化歪は原音の成分にマスクされて聞こえないので、原音のスペクトル成分の大きいところに大きな歪を許容し、反対に原音のスペクトル成分の小さいところには量子化歪を小さくする。
例えば、前述した図１1の実施例のように高圧縮率の非可逆符号化と、可逆符号化との組合せにおいて、非可逆符号化に聴覚特性が考慮されていると、その局部復号信号(図１1では逆量子化部130の出力)の波形は、特に比較的大きなスペクトル成分の部分で歪みが大きい。このためこの局部復号信号と原音の入力音響信号との誤差信号はその振幅の変動が比較的大きく、そのため、前述した並び替えを行って可逆圧縮符号化を行ってもその符号化効率を十分大きくすることができない。この点を改善した実施例を、図２７を参照して以下に説明する。
【００９８】
符号化装置１０において、入力端子100に入力された音響信号のサンプル系列はフレーム分割部110で例えば1024個のサンプルごとのフレーム単位に分割され、これら各フレーム単位の音響信号は聴覚特性を考慮した非可逆圧縮符号化が、聴感最適化符号化部１３で行われる。この聴感最適化符号化は聴感歪が最小化するように圧縮符号化するもので例えばMPEG符号化を利用できる。この聴感最適化符号化部１３からは非可逆符号である聴感最適化符号Inaが出力される。
この聴感最適化符号Inaは局部復号部１４で局部復号され、局部復号信号が作られる。符号Inaの局部復号信号は聴感最適化符号化部１３において分析合成符号化法により生成することができる。この局部復号信号は変形部１５において、フレーム分割部110の出力音響信号との誤差が小さくなるように変形される。つまり変形部１５で変形された局部復号信号（変形局部信号）とフレーム分割部110の出力である音響信号との誤差が誤差算出部１６で算出され、その誤差信号のエネルギーが望ましくは最小になるように、局部復号信号は変形部１５で変形される。
【００９９】
この変形は、変形パラメータ生成部１７で生成された変形パラメータを局部復号信号に乗算し、または局部復号信号に対する複数サンプルの重み付き加算により行われる。変形パラメータの生成は例えば次のように行われる。
ｐ次の変形パラメータＡ(１×ｐ)、ｎ個のサンプルから成る入力音響信号Ｘ(１×ｎ）、局部復号信号行列Ｙ(ｐ×ｎ)を以下のようにおく。
Ａ＝(a0 ，a1 ，…，a(p-1))T
Ｘ＝(x0 ，x1 ，…，x(n-1))T
【数１】
誤差信号のエネルギーｄは下記となる。
ｄ＝(Ｘ−ＹＡ)T(Ｘ−ＹＡ) (2)
ｄを最小とする変形パラメータＡは下記となる。
【０１００】
Ａ＝(ＹTＹ)-1ＹTＸ (3)
（ＹTＹ)は自己相関行列、ＹTＸは相互相関ベクトルと近似でき、ｐ＝１の時の変形パラメータa0 はＸとＹの相互相関係数をＹのエネルギーで正規化したものとなる。
またＵ（＝Ｘ−Ｙ）とＹとの相関係数ｂを求めて、
Ｚ＝Ｘ−Ｙ−ｂＹ (4)
のＺを誤差信号としてもよい。つまりＺ＝Ｘ−(１＋ｂ)Ｙ≡Ｘ−a0Ｙと置ける。
【０１０１】
つまり変形パラメータ生成部１７では例えば図２８Ａに示すように、入力音響信号Ｘと局部復号信号Ｙの転置行列との相互相関ベクトルが乗算部171で計算され、また乗算部172で自己相関行列ＹTＹが計算され、割算部173で乗算部172の計算結果で乗算部171の計算結果が割算されて変形パラメータＡが生成される。あるいは乗算部171でＸとＹの相互相関係数を計算し、乗算部172でＹのエネルギーを計算し、得られた相互相関係数をＹのエネルギーで割算することを割算部173で行って変形パラメータa0を求めてもよい。
【０１０２】
あるいは図２８Ｂに示すようにＸ−Ｙ＝Ｕを引算部174で計算し、ＵとＹの相互相関係数ｂを乗算部175で計算し、加算部176でｂに１を加算して変形パラメータa0 としてもよい。
変形パラメータＡ、a0 又はｂは符号化されて変形パラメータ符号Inmとして変形パラメータ生成部１７から出力される。このように変形パラメータは音響信号Ｘと局部復号信号Ｙとの相互相関成分を含むものであり、変形部１５では変形パラメータを局部復号信号Ｙに対し乗算し又は局部復号信号Ｙを変形パラメータＡで重み付き加算、乃至、畳み込み演算を行う。
【０１０３】
なお音響信号と局部復号信号との誤差信号のエネルギーが最小化されていれば、誤差信号と音響信号や局部復号信号とは無相関であるが、誤差信号のエネルギーが最小化されていなければ誤差信号と音響信号や局部復号信号と相関が生じる。この相関成分を求めて、その相関成分に応じて式(３)により局部復号信号Ｙを変形して、誤差信号のエネルギーを最小化するように式(２)変形パラメータＡが決められる。
変形パラメータＡの生成は、最初は適当な値を与え誤差信号Ｕの振幅又はエネルギーが小さくなるように、フレームごとに逐次修正するようにしてもよい。この場合は変形パラメータ符号Inmを出力する必要はない。
【０１０４】
誤差算出部１６からの誤差信号は可逆符号化部１８で可逆符号化され、可逆符号Pneとして出力される。可逆符号化は例えば図１及び図2で説明した特開2001-44847公報に示されているようにビット並び替えと、ハフマン符号化、算術符号化などのエントロピー符号化との組み合わせで実施できる。
変形部１５で局部復号信号が、音響信号との誤差が小さくなるように変形されるため、変形を行なわない局部復号信号と音響信号との誤差信号と比較して、誤差信号中の"0"ビットの数が多く、それだけ高効率的に可逆符号化することができる。
【０１０５】
聴感最適化符号Ina、可逆符号Ine、必要に応じて変形パラメータ符号Inmが結合部315で結合されて出力される。なお、図２８Ｂに示すように変形部１５で局部復号信号Ｙに変形パラメータｂを乗算して変更局部復号信号bＹを計算し、その変形局部復号信号bＹと、Ｕ＝Ｘ−Ｙとの誤差Ｕ−bＹを誤差算出部１６で計算して誤差信号を求めこれを可逆符号化してもよい。この誤差信号は誤差信号Δ＝Ｘ−a0Ｙと実質的には同一であるから、音響信号と変形局部信号との誤差信号を求めるということは、この両者の手法及びこれと等価な手法を意味する。変形パラメータ符号Inmはｂを符号化したものでもよいことは明らかである。
【０１０６】
復号器２０においては、入力端子200に入力されたフレームごとの符号の組は分離部440で聴感最適化符号Inaと可逆符号Ineとに、必要に応じて変形パラメータ符号Inmとに分離される。聴感最適化符号Inaは聴感最適化符号復号部２３で非可逆復号化されて復号信号が生成される。この復号化の手法は符号器１０中の局部復号部１４と同一とする。この復号信号は変形部２４で定数倍又は複数サンプルの重み付き加算などにより変形される。この変形も符号器１０中の変形部１５と同一処理とする。変形パラメータ生成部２５は変形パラメータ符号Inmが入力される場合はこの符号Inmを復号して変形パラメータＡ又はa0 又はｂを生成する。変形パラメータ符号Inmが入力されない場合は、復号信号Ｙと再生音響信号Ｘとを用いて符号化装置１０中の変形パラメータ生成部１４と同一手法により変形パラメータＡを逐次修正により求める。
【０１０７】
可逆符号Ineは可逆復号部２１により可逆復号され、誤差信号Δが再生される。この誤差信号Δと変形された復号信号aＹとが加算部２７で加算されて音響信号が再生される。この再生音響信号が切換部２８を通じてフレーム合成部250へ供給され、フレームごとの再生音響信号が順次連結されて出力される。欠落検出部４２０により補正可能な程度のパケットの欠落が検出された場合、情報補正部４８０により例えば図２３で前述したような補正が行われる。
可逆符号Ineが入力されなかった場合や、一部の欠落によりある程度以上の品質の誤差信号Δを得ることができない場合はこれが欠落検出部420で検出され、この検出出力により切換部２８が制御されて、聴感最適化符号復号部２３から復号信号が再生音響信号としてフレーム合成部250へ供給される。最終的な可逆符号化のためには量子化誤差エネルギーが小さいほうが圧縮効率が高いが、聴感最適化符号Inaのみの情報しか得られない場合は聴感歪を最小化する量子化結果を用いるほうが１ビットレートの割りに品質が高くなる。可逆復号部２６などを備えない復号化装置においても聴感最適化符号Inaを復号して再生ディジタル信号とすることができる。
第８実施例
図２９にこの発明の第８実施例を示し、図２７と対応する部分に同一参照番号を付けてある。符号器１０において図２７の実施例と異なる点は変形部１５である。即ちこの第２実施例では局部復号部１４からの局部復号信号Ｙと音響信号Ｘとの誤差信号が誤差算出部１５Ａで算出され、その誤差信号が誤差最小化符号化部１５Ｂで量子化誤差エネルギーが最小となるように非可逆圧縮符号化し、非可逆符号として誤差最小化符号Inpが出力される。
【０１０８】
この誤差最小化符号Inpは局部復号部１５Ｃで局部復号され、その局部復号信号と局部復号部１４からの局部復号信号とが加算部１５Ｄで加算され、この加算局部復号と音響信号との誤差が誤差算出部１６で算出され、誤差信号として可逆符号化部１８へ供給される。このように聴感最適化符号部１３と誤差最小化符号部１５Ｂとの２段階により音響信号が符号化されるため、その局部復号信号、つまり加算部１５Ｄからの加算局部復号信号はそれだけ音響信号に近いものとなり、誤差算出部１６からの誤差信号における"0"ビットの数が多くなる。結合部315では聴感最適化符号Inaと誤差最小化符号Inpと可逆符号Ineが結合されて出力される。
【０１０９】
復号器２０においては誤差最小化符号Inpが誤差最小化符号復号部２４Ａで非可逆復号され、その復号信号と、聴感最適化符号復号部２３からの復号信号とが加算部２４Ｂで加算され、この加算された復号信号が切換部２８を通じて加算部２７へ供給され、可逆復号部２６からの再生誤差信号と加算される。可逆符号Ineが入力されない場合や誤差信号を再生するための十分な情報が得られない場合は切換部２８は加算部２４Ｂからの加算復号信号にかえて、聴感最適化符号Inaの復号信号が再生音響信号としてフレーム合成部２５０へ供給する。誤差最小化符号復号部４５及び加算部２４Ｂは変形部２４を構成している。
第９実施例
図３０にこの発明の第９実施例を示す。第９実施例は図２７の第７実施例とは符号化装置１０における変形部１５の構成が異なり、また誤差最小化符号化部１９を設けた点が異なり、これに伴って復号器２０においても変更されている。
【０１１０】
符号器１０においてフレームごとの音響信号は誤差最小化符号化部１９により量子化誤差エネルギーを最小化するように非可逆圧縮符号化され、その非可逆符号として誤差最小化符号Inpが出力される。この誤差最小化符号Inpは局部復号部１５Ｅで局部復号され、その局部復号信号と局部復号部１４からの局部復号信号とが荷重平均部１５Ｆで前者を重視して荷重平均される。この荷重平均局部復号信号と音響信号との誤差が誤差算出部１６で算出され、その誤差信号が可逆符号化部１８へ供給される。
【０１１１】
荷重平均部１５Ｆでの重みは誤差算出部１６からの誤差が小さくなるような統計的に予め求めた固定値であり、例えば誤差最小化符号Inpの局部復号信号に対しては0.8〜0.9程度、聴感最適化符号の局部復号信号に対しては0.1〜0.2程度の値とする。あるいは変形パラメータ生成部１７において、両局部復号信号と、音響信号とを入力して、誤差算出部１６からの誤差信号が最小になるように連立方程式を解いて両重みを決定してもよい。この場合はその両重みを符号化し重み符号Inwを出力する。局部復号部１５Ｅ、荷重平均部１５Ｆは変形部１５を構成している。
【０１１２】
結合部315は聴感最適化符号Inaと、誤差最小化符号Inpと可逆符号Ineとを結合して出力し、変形パラメータ生成部１７を用いる場合は重み符号Inwも結合する。聴感最適符号化部１３と誤差最小化符号化部１９とはスペクトル包絡やパワーなどのパラメータを共に用いる場合がある。このような場合は破線で示すように両者に共通のパラメータを符号化する共通符号化部１３Ａを一方の符号化部、図３０では聴感最適化符号化部１３内に設けてその共通符号Incとして出力すると共に抽出した共通に用いるパラメータを必要に応じて他方の符号化部、この例では誤差最小化符号化部１９へ供給する。更に、聴感最適化符号化部１３内の符号化部１３Ｂで入力音響信号の波形情報などを聴覚特性を考慮したベクトル量子化するなどして符号化し、符号Inarを出力し、誤差最小化符号化部１９内の符号化部１９Ａで同様に音響信号の波形情報などを量子化誤差エネルギーを最小化するようにベクトル量子化するなどによって符号化して符号Inprを出力するようにしてもよい。
【０１１３】
復号器２０においては分離部440で分離された誤差最小化符号Inpは誤差最小化符号復号部２４Ａで非可逆復号され、その復号信号は荷重平均部２４Ｃで聴感最適化符号復号部２３からの復号信号と、前者に偏った荷重加算が行われ、その荷重加算復号信号が加算部２７で可逆復号部２１からの再生誤差信号と加算されて切換部２８を通してフレーム合成部250へ供給される。荷重平均部24Cにおける荷重は、符号化装置１０の荷重平均部１５Ｆにおける荷重と同一とされる。符号化装置１０で変形パラメータ生成部１７により重み（荷重）が決定される場合は、分離部440で分離されたその重み符号Inwが重み復号部２９で復号され、その復号された重みが荷重平均部２４Ｃへ供給される。
【０１１４】
聴感最適化符号Inaの復号信号と、誤差最小化符号Inpの復号信号はもう１つの荷重平均部２６にも供給され、ここで前者（Ina復号信号）に偏った荷重平均が行われる。この荷重平均における重みは例えば、符号Inaの復号信号に対し0.8〜0.9程度が符号Inpの復号信号に対し0.2〜0.9程度が固定的に与えられる。あるいは重み復号部２９で復号された重みを、荷重平均部２４Ｃによる重み付けとは逆の関係で荷重平均部２６に対し与えてもよい。
可逆符号Ineが入力されない場合や可逆復号部２１で誤差信号を再生するための十分な情報が得られない場合は荷重平均部２６からの平均化復号信号が切換部２８を通じて再生音響信号としてフレーム合成部250へ供給される。分離部440で共通符号Inwが分離される場合は、共通符号Inwは共通復号部２２で復号され、これら共通復号信号は聴感最適化符号復号部２３及び誤差最小化符号復号部２４Ａへ供給される。これら復号部２３，２４Ａにはそれぞれ符号Inar，Inprが供給され、それぞれ所望の復号信号が得られるようにされる。誤差最小化符号復号部２４Ａ及び荷重平均部２４Ｃは変形部２４を構成している。
第１０実施例
図３１に第１０実施例を図３０と対応する部分に同一参照番号を付けて示す。この第１０実施例では符号器１０において誤差最小化符号Inpの局部復号信号が局部復号部１５Ｅから誤差算出部１６へ直接供給される。従って、聴感最適化符号Inaに対しては局部復号は行わず、誤差最小化符号Inpに対する局部復号結果が誤差算出部１６での誤差算出に利用される。この第１０実施例においても第９実施例と同様に聴感最適化符号化部１３と誤差最小化符号化部１９とで共通のパラメータを一方で抽出して両者の符号化に利用すると共に共通符号Inwと、それぞれの部分符号Inar，Inprを出力するようにしてもよい。
【０１１５】
復号器２０においては誤差最小化符号復号部２４Ａからの復号信号が加算部２７へ直接供給されて、可逆復号部２１からの再生誤差信号と加算される。切換部２８は聴感最適化符号復号部２３の復号信号と、加算部２７の加算信号とが切換えられて再生音響信号としてフレーム合成部250へ供給される。また共通符号Incが分離部440で分離される場合の動作は図３０で説明した場合と同様である。
第１１実施例
図３２にこの発明の第１１実施例を図３０と対応する部分に同一参照番号を付けて示す。この第１１実施例の符号器１０においては図３０の第３実施例における聴感最適化符号化部１３が誤差算出部１６の出力側に接続され、局部復号部１５Ｅからの、誤差最小化符号Inpに対する局部復号信号と音響信号との誤差が誤差算出部１６で算出され、その誤差信号が聴感最適化符号化部１３で聴感歪を最小化するように非可逆圧縮符号化され、この非可逆符号が聴感最適化符号Inaとして出力される。結合部315では誤差最小化符号Inpと聴感最適化符号Inaと可逆符号Ineが結合されて出力される。
【０１１６】
復号器２０では分離された聴感最適化符号Inaは聴感最適化符号復号部２３で非可逆復号化され、その復号信号と、誤差最小化符号復号部２４Ａによる誤差最小化符号Inpの復号信号とが加算部２４Ｂで加算される。誤差最小化符号Inpの復号信号と可逆符号Ineの可逆復号信号、つまり再生誤差信号とが加算部２７で加算されて再生音響信号として切換部２８を通じてフレーム合成部250へ供給される。可逆復号部２１により誤差信号が再生されない場合は加算部２４Ｂからの加算復号信号が切換部２８を通じてフレーム合成部250へ再生音響信号として供給される。
【０１１７】
この場合も可逆符号化部１８による可逆圧縮符号化に量子化誤差エネルギーを最小化する量子化系列を使い、非可逆圧縮符号化のみの情報しか得られない場合には聴感歪を最小化する量子化結果を用いる点は第８〜第１０実施例と同様である。しかし、この場合は誤差最小化符号化部１９により誤差最小化符号化した後に、その局部復号信号に対し更に聴感最適化符号化部１３により聴感歪最小化の量子化を行っており、つまり多段に量子化しているため、全体としての符号化ビット数は多くなるが、それだけ聴感的改善がなされ、歪エネルギーの最適化でも、第１段階の局部復号信号、つまり局部復号部１５Ｅからの誤差最小化符号Inpの局部復号信号よりも効率がよいことがある。つまり歪エネルギーの最適化には効率のよい方を用いるとよい。
【０１１８】
この場合の手法を、図３２中に示す破線の構成により説明する。聴感最適化符号化部１３からの符号Inaは局部復号部１４で局部復号され、その局部復号信号は加算部３１で局部復号部１５Ｅからの符号Inpの局部復号信号と加算され、この加算局部復号信号と音響信号との誤差が誤差算出部３２で算出され、この誤差信号と、誤差算出部１６からの誤差信号との大小が大小比較部３３で比較され、小さい方が選択部３４で選択されて可逆符号化部１８へ供給される。この際、いずれの誤差信号を選択したかを示す選択符号Insが出力される。
【０１１９】
復号器２０では分離部440で分離された選択符号Insにより選択部４１が制御され、符号化装置１０で誤差算出部１６からの誤差信号が選択された場合は誤差最小化符号復号部２４Ａからの復号信号が選択されて加算部２７へ供給され、符号器１０において誤差算出部３２からの誤差信号が選択された場合は、加算部２４Ｂからの加算復号信号が選択されて加算部２７へ供給される。
図２７〜３２中の可逆符号化部１８の具体例を図３３に示す。この構成は図１４における並び替え部160、伝送記録単位分割部310、可逆符号化部150、補助情報生成部350による構成とほとんど同じである。誤差信号１６からの誤差信号は並び替え部160と補助情報生成部350とに供給される。補助情報生成部350内の有効桁数検出部353でフレームごとに誤差信号の絶対値の最大値を表現する桁数が有効桁数Feとして検出される。また誤差信号はその有効桁数以内の部分のみが図１５Ａ，１５Ｂを参照して説明したように並び替え部160により各サンプル（振幅ビット列）における同一ビット位置のビットが、フレームにわたって配列され、等位ビット列とされる。
【０１２０】
並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆圧縮符号化され、誤差符号Ineとして出力される。
一方、有効桁数検出部353で検出した有効桁数Feが補助情報符号化部352に与えられる。この例では更に、フレームごとに誤差信号サンプル列はスペクトル包絡算出部351で例えば線形予測分析され、スペクトル包絡を表現するパラメータLPCが線形予測係数として求められる。またパワー算出部354でフレームごとの誤差信号の平均パワーが算出される。あるいはスペクトル包絡算出部351で求めた線形予測係数に基づき構成した逆フィルタ355に誤差信号を入力してスペクトル包絡を平坦化処理し、その平坦化された信号の平均パワーがパワー算出部356で求められる。これら有効桁数Fe、線形予測係数LPC及び平均パワーが補助情報符号化部352により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報Inxとされる。この有効桁数、スペクトル包絡のパラメータ、平均パワーを符号化した補助情報Inxは結合部315（図２７、２９〜３２）へ供給され、各フレームの代表パケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。
【０１２１】
図２７〜３２における復号器２０の可逆復号部２１の具体例を情報補正部480と共に図３４に示す。入力されたパケットPeから分離部440において補助情報Inxと誤差符号Ineが分離され、誤差符号Ineは可逆復号化部210へ供給され、補助情報Inxは補助情報復号部450へ供給される。補助情報復号部450は当該フレームの有効桁数Fe、スペクトル包絡を表すパラメータLPC及び平均パワーを復号し、有効桁数Feを桁合せ部460へ供給し、スペクトル包絡パラメータ及び平均パワーを欠落補正部430へ供給する。これらの各部の動作については図１４の実施例で既に詳細に説明したのでここでは説明を省略する。
【０１２２】
図２７〜３２の各実施例における符号器１０の可逆符号化部１８は、誤差信号に対し更に予測処理を行うように構成してもよい。その構成例を図３５Ａに示す。誤差信号はスペクトル包絡算出部351に与えられてそのスペクトル包絡を表す線形予測係数LPCが求められる。一方、誤差信号は予測誤差生成部370に与えられ予測誤差信号Speが生成される。例えば誤差算出部１６からの直前の複数の誤差信号サンプルがレジスタ371から線形予測部372へ供給され、これらサンプルに対し、スペクトル包絡算出部371からのスペクトル包絡を表わす線形予測係数LPCが乗算され、それら乗算結果が加算されて線形予測値が求められる。この線形予測値は整数化部373で整数値とされ、整数の予測値と誤差算出部１６からの誤差信号の現サンプルとの差が差回路374で求められて、予測誤差信号Speが得られる。この予測誤差信号Speは並び替え部160に入力される。
【０１２３】
符号器１０の可逆符号化部１８に図３５Ａの構成を適用した場合の復号器２０における可逆復号部２１の構成例を図３５Ｂに示す。この構成は図２１における復号器２０の並び替え部220、欠落補正部430、補助情報復号部450、合成フィルタ470による構成と同じである。情報補正部480からの再生された予測誤差信号Speは合成フィルタ470で図３５Ａにおける可逆符号化部１８の予測誤差生成部370の処理と逆の処理が行われる。つまりレジスタ471から予め決められた一定数の直前の復号サンプルが線形予測部472に入力され、それらのサンプルに対して、補助情報復号部450で復号された線形予測係数LPCに基づく重みがそれぞれ乗算され、その乗算結果の和が現在の復号サンプルの予測値として求められる。この予測値は整数化部473で整数値とされ、この整数化された予測値と情報補正部480からの現在の予測誤差信号との和が加算部474でとられて、合成フィルタ470のフィルタ出力、つまり再生誤差信号とされる。
第１２実施例
ところで上述した各実施例は、１つのチャネルの入力ディジタル信号に対する符号器及び復号器の場合であったが、それらの実施例をマルチチャネル信号に適用した実施例を以下に示す。マルチチャネル信号を対象とした圧縮符号化はAC-3(Dolby社のAudio Coding)やAAC(Dolby社のAdvanced Audio Coding)などいくつか開発されており、聴感的には劣化がわずかとすることができるが、波形は原音とかなり異なってしまう。マルチチャネルの信号をそのままＰＣＭ(Pulse Code Modulation)として伝送すると、完全に原音が再現されるが、多くの情報量を必要とする。またその符号化列の一部だけから音を再生することはできないし、このためＰＣＭとした信号をパケット伝送を行った場合はパケット消失は大きな影響を受ける。
【０１２４】
マルチチャネル信号を混合してチャネル数が減少して符号化することにより符号化効率を上げることが考えられる。しかしこの場合、原マルチチャネル信号を正しく再生することはできない。
この第１２実施例では、複数のディジタル信号を混合して、これより少ない数のディジタル信号として符号化し、符号化効率を向上させ、かつ必要に応じて、原複数のディジタル信号を忠実に再生することも可能とし、広い範囲のビットレートの選択、広い範囲のチャネル数の選択を可能とする多チャネル信号符号化方法、復号化方法、符号化器、復号化器を提供する。
【０１２５】
図３６はこの発明による符号器と復号器の第１２実施例を示す。符号器１０においてはＭを２以上の整数とすると、Ｍチャネルのディジタル信号が端子1001 〜100M よりフレーム分割部110に入力され、それぞれフレーム単位例えば1024サンプルごとに分割される。各分割されたディジタル信号はチャネル混合部３０でＭより少ないＮチャネルのディジタル信号に混合される。Ｎは１以上の整数であり、Ｎ＜Ｍである。この混合されたＮチャネルの信号は符号化部120で非可逆又は可逆圧縮符号化され、主符号Imとして出力される。この符号化は高圧縮符号化とすることが望ましい。主符号Imは局部符号化部１３０で復号され局部復号信号が作られる。この局部復号信号はチャネル拡大部４０で元のＭチャネルの局部復号信号にチャネル数が増加される。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。
【０１２６】
なおチャネル混合は例えば８チャネルの信号のうち最初の４チャネルの平均を左チャネル信号とし後の４チャネルの平均を右チャネル信号としてもよい。あるいは２チャネルステレオ信号の平均を１チャネルモノラル信号としてもよい。
チャネル拡大は前記チャネル混合と逆に対応する数のチャネル数の信号にする。ここでチャネル数が拡大された局部符号信号は前記チャネル混合によるチャネル数の減少によって入力ディジタル信号に対して情報が失われている。その失われた信号を誤差信号として、フレーム分割部110から分岐したＭチャネルディジタル信号とＭチャネル局部復号信号とが誤差算出部140に入力されて算出される。この誤差信号は配列変換部５０に供給されて、ビット列の並び替えと圧縮符号化がそれぞれ行われ、誤差符号Ineとして補助情報符号Inxと共に出力される。配列変化部５０の具体的構成及び処理については後で述べるが、図４Ａ及び図１５Ａ，１５Ｂで述べた等位ビット列への変換を行う並び替え部160を少なくとも備えている。配列変換部５０よりの誤差符号Ine、補助情報Inx、及び符号化部120からの主符号Imは、結合部315で結合されて出力され、パケットPeで送出する場合は図４Ｂで説明したヘッダ３１をつけて送出される。
【０１２７】
復号器２０においては、入力されたパケットPeが分離部440でこの場合主符号Imと、誤差符号Ineと、補助情報Inxとに分離される。主符号Imは復号化部６０で、符号器１０における符号化部120の符号化手法と対応した復号化手法により復号され、復号信号が作られる。この復号信号はチャネル拡大部８０によりＮチャネルの復号信号からＭチャネルの復号信号にチャネル拡大される。
分離された誤差符号Ineは配列逆変換部７０で処理されてＭチャネルの誤差信号が再生される。配列逆変換部７０の具体的構成及び処理については後で述べるが、少なくとも図４Ａ，１５Ａ，１５Ｂで述べた並び替え部220を備え、振幅ビット列よりなる誤差信号を再生する。また、補助情報Inxは情報補正部480で復号され、欠落検出部420によりパケットの欠落が検出された場合に補助情報に基づいて情報補正部480において再生誤差信号が補正される。
【０１２８】
再生されたＭチャネルの誤差信号とチャネル拡大されたＭチャネルの復号信号とが対応するチャネルごとに加算部240で加算されてＭチャネルの再生ディジタル信号としてフレーム合成部250へ供給され、これより各チャネルごとにフレーム連結されてディジタル信号がそれぞれ出力される。
この構成によれば復号器２０に主符号Im及び誤差符号Ineと補助情報Inxがそれぞれ再生復号信号及び復号誤差信号を得るに十分な程度に少ない欠落で入力されれば、原Ｍチャネルディジタル信号を忠実に再生することができる。必要に応じてチャネル混合部３０における減少するチャネル数の選択により符号化効率を変更することができる。またパケットが入力されなかったり誤差信号を再生するための十分な情報が得られなかったりした場合にチャネル拡大部８０よりのＭチャネル復号信号を再生ディジタル信号としてフレーム合成部250へ供給することによりかなりの品質を持つ信号を得ることができる。
【０１２９】
図３６の実施例において、チャネル混合を複数段階で行って復号化してもよい。その例を図３７を参照して説明する。図３７において図３６と対応する部分に同一参照符号をつけてある。符号器１０においてはこの例ではチャネル混合をチャネル混合部３０とチャネル混合部４１との２段で行う。例えばＭ＝８チャネルステレオの原ディジタル信号をＮ＝２チャネル又はＮ＝４チャネルのステレオディジタル信号にチャネル混合し、更にそのステレオディジタル信号をＬ＝１チャネルのモノラルディジタル信号にチャネル混合する。このチャネル混合部４１よりのチャネル混合信号を符号化部120で符号化し、主符号Imを出力する。
【０１３０】
この主符号Imを局部復号部130で復号し、その局部復号信号をチャネル拡大部４２でチャネル拡大してＬチャネルからＮチャネルにする。このＮチャネル局部復号信号とチャネル混合部３０よりのＮチャネルディジタル信号との誤差信号を誤差算出部４３で算出し、この誤差信号を符号化部４４で非可逆又は可逆の好ましくは高圧縮符号化して従符号Ieとして出力する。
従符号Ieを局部復号部４５で復号してＮチャネルの局部復号信号を作り、これとチャネル拡大部４２よりのＮチャネルの局部復号信号とを加算部４６で加算し、この加算したＮチャネルの局部復号信号をチャネル拡大部４０でチャネル拡大してＭチャネルの加算局部復号信号とする。このＭチャネル加算局部復号信号とフレーム分割部１１０よりのＭチャネルディジタル信号との誤差信号を誤差算出部140で算出し、この誤差信号を配列変換部５０へ供給する。配列変換部５０よりの誤差符号Ine、補助情報Inx、主符号Im及び従符号Ieを結合部315で結合し、パケット化して出力する。
【０１３１】
復号器２０では分離部440で分離された主符号Imと従符号Ieを復号化部６０と６１でそれぞれ復号し、誤差符号Ineを配列逆変換部７０で並び返して誤差信号を再生する。復号化部６０よりのＬチャネルの復号信号はチャネル拡大部８０でＮチャネルの復号信号に拡大されこのＮチャネルの復号信号と復号部６１よりのＮチャネルの復号信号とが加算部６２で加算される。このＮチャネルの加算復号信号はチャネル拡大部６３でＭチャネルの復号信号にチャネル拡大され、このＭチャネルの復号信号と配列逆変換部７０のＭチャネルの誤差信号とが加算部240で加算されて再生ディジタル信号としてフレーム合成部250へ供給される。
【０１３２】
この場合例えばビットレートの範囲を8kbit/sから5Mbit/sまで６０倍くらいの範囲が選択できる。
図３６及び図３７において結合部315でパケットPeを生成する場合は、主符号Imを含むパケットの優先度を最も高いものとするのが好ましい。また従符号Ieを含むパケットは、主符号Imを含むパケットの次に高い優先度とする。
上述した図３６、３７の各実施例で用いられる配列変換部５０の具体例としては、例えば図３３で説明した可逆符号化部１８の構成をそのまま使用することができる。その場合、図３６、３７の各実施例の復号器２０で用いられる配列逆変換部７０の具体例としては、例えば図３４で説明した可逆復号部２１の構成をそのまま使用することができる。
【０１３３】
あるいは、図３６、３７の各実施例に用いられる配列変換部５０の他の具体例として、例えば図３５Ａで説明した可逆符号化部１８の構成をそのまま使用してもよい。その場合、図３６、３７における配列逆変換部７０の具体的構成としては、図３５Ｂの可逆復号部２１の構成をそのまま使用することができる。
第１３実施例
マルチチャネルの信号をそのままＰＣＭとして伝送すると、完全に原音が再現されるが、多くの情報量を必要とする。またその符号化列の一部だけから音を再生することはできないし、このためＰＣＭとした信号をパケット伝送した場合はパケット消失は大きな影響を受ける。
【０１３４】
この第１３実施例では、多チャネルディジタル信号を、情報欠落の影響を受け難い、また情報圧縮の程度を比較的広い範囲で選択可能とする符号化方法、復号化方法、符号器、復号器、を提供する。
図３８を参照して第１３実施例の符号器１０と復号器２０を説明する。
符号器１０において、Ｍ個（Ｍは２以上の整数）のディジタル信号が入力端子1001〜100Mを通じてフレーム分割部110に入力され、例えばそれぞれ1024個のディジタル信号からなるフレーム単位に順次分割される。これら各Ｍ個のフレームごとのディジタル信号はチャネル間直交変換部190で、チャネル間直交変換されて直交変換信号が出力される。つまりＭ個のディジタル信号の同一時刻のサンプルが直交変換される。ここでチャネル間直交変換に整数値を用いる可逆変換を使用すると全体として可逆な符号化を行うことができる。
【０１３５】
この直交変換信号は並び替え部160に入力される。並び替え部160において各フレームごとに直交変換信号の各成分（例えばＬ＋ＲとＬ−Ｒ）ごとに各サンプル（振幅ビット列）における、振幅を表わす同一ビット位置（桁）がフレームにわたって時間軸方向に配列され、等位ビット列とされる。
並び替え部160からの等位ビット列は伝送記録単位分割部310で伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは必要に応じて、可逆符号化部150により可逆符号化され、結合部315により、復号時に分割された伝送記録単位データを１つのフレームとして再構成可能なようにヘッダが取付けられ、パケットPeとして出力端子170に出力される。なお可逆符号化部150の符号化は従来技術の可逆符号化と同様なものである。パケットPeに優先順位をつける場合は、直交変換信号の各成分中のエネルギーの大きなものから順に、例えばＬ＋Ｒを第１優先とし、その中で極性符号、ＭＳＢ側に対応伝送記録単位データを含むものに高い優先度を与える。
【０１３６】
復号化器２０においては入力端子200からのパケット３７は、後で述べるように、補助情報を含む場合は分離部440で補助情報と、伝送記録単位データ（極性符号列を含む）とに分離される。伝送記録単位データはそれが可逆符号化されている場合は可逆復号化部210へ供給され、ここで可逆復号された後、各伝送記録単位データは伝送記録単位統合部410へ供給される。伝送記録単位統合部410ではパケット番号に基づき、１つ又は複数のパケットより１フレーム分の伝送記録単位データを統合し、直交変換信号の各成分ごとに統合する。この統合されたデータは並び替え部220で等位ビット列を振幅ビット列の１フレーム分、つまり直交変換信号の１成分のサンプル列（波形）に変換される。並び替え部160、220の動作については図４Ａ，１５Ａ，１５Ｂを参照して詳しく説明したのでここでは説明しない。パケット欠落が生じていなければ、並び替え部220から、符号器１０の並び替え部160に入力された直交変換信号と完全に同一の直交変換信号が得られる。
【０１３７】
チャネル間直交逆変換部290では、その入力された再生直交変換信号の各成分を、チャネル間直交変換部190での直交変換と逆の変換を行ってＭチャネルディジタル信号を再生する。このようにフレームごとに再生されたＭチャネルディジタル信号はフレーム合成部250で各チャネルごとにフレームの順に連結された出力端子2601〜260Mからそれぞれ出力される。
このようにして、Ｍチャネルディジタル信号をチャネル間直交変換して伝送や記録を行うことができ、その際、伝送記録単位でパケット化することにより、エネルギーの大きいもの程、またそのＭＳＢに近いもの程、優先度を高くすることにより、伝送容量や記録容量が小さい場合に、優先度が高いパケットのみを用いることにより、比較的品質の高い再生信号を得ることができる。また後で述べるように、パケット欠落時に、失なわれた情報を補うことにより、よりよい品質の多チャネルディジタル信号を再生することができる。
【０１３８】
上述において、可逆符号化部150、可逆復号化部210を省略してもよい。
第１４実施例
チャネル間直交変換にＤＦＴやＤＣＴのような実数の変換を用いると、この直交変換信号をチャネル間直交逆変換しても、再生ディジタル信号は原ディジタル信号と一致しない。また直交変換係数の一部だけ、つまりエネルギーの大きい成分だけ、例えばＬ＋Ｒのみをパケットとして出力することが要求されることがある。これらに対応した発明の実施例が以下に述べる第１４実施例である。
【０１３９】
この第１４実施例を図３９を参照して説明する。
図３９において図３８と異なる点は、チャネル間直交変換部190からの直交変換信号の全成分或は一部の成分、つまりパワーの大きな成分を符号化部120で可逆符号化し、主符号Imを出力する。符号化部120からの符号を局部復号部１３０で復号して局部復号信号を作り、その局部復号信号をチャネル間直交逆変換部180でチャネル間直交変換部190の変換と逆変換を行って複数のチャネルのディジタル局部復号信号を生成する。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。これら各チャネルの局部復号信号とフレーム分割部110からの各ディジタル信号の対応するチャネル間における誤差信号を誤差算出部140で算出する。この算出した各誤差信号を配列変換部５０で図３８中の並び替え部160、伝送記録単位分割部310、可逆符号化部150の処理を行う。
【０１４０】
符号化部120からの主符号Imが伝送記録単位分割部310で伝送記録単位に分割され、これと配列変換部部５０からの誤差符号Ineが結合部315で結合され、必要に応じてパケットPeとして出力される。なお配列変換部50は少なくとも図３８中の並び替え部160を備えていればよく、図３８中の伝送記録単位分割部310及び可逆符号化部150の処理は行わなくてもよい。この場合は主符号Imも伝送記録単位分割部330の処理を行わない。結合部315で主符号Imと誤差符号Ineをパケットとする場合は主符号Imを含むパケットに最も高い優先度を与える。
【０１４１】
復号器２０においては分離部440で主符号Imと誤差符号Ineが分離され、前者は復号化部６０で可逆復号化され、その復号信号はチャネル間直交逆変換部290で符号器１０のチャネル間直交逆変換部180と同様の処理によりチャネル間直交逆変換される。
一方、誤差符号Ineは配列逆変換部７０に入力され、図３８中の復号器２０の可逆復号化部210、伝送記録単位統合部410、並び替え部220、情報補正部480の処理が行われ、誤差信号サンプル列が再生される。ただし、少なくとも並び替え部220における処理が行われればよく、符号器１０側に対応して可逆復号化部210、伝送記録単位統合部410の処理は行わないでもよい。
【０１４２】
これら各再生された誤差信号と、チャネル間直交逆変換部３０からの逆変換信号と対応するチャネルについて、加算部240でそれぞれ加算され、各チャネルの再生ディジタル信号が得られ、これらがフレーム合成部250へ供給される。
直交変換成分の一部を省略し、符号化ビット数を少くし、効率良い符号化としてもこの第１４実施例により原ディジタル信号を再生することができる。また誤差信号成分が送られなかったり、再生に必要とする十分な情報が得られなくてもチャネル間直交逆変換部３０からの逆変換処理された各信号をディジタル再生信号として用いることによりある程度の品質の再生信号を得ることができる。符号器１０の配列変換部５０において、各種の処理を省略できるが、これに応じて配列逆変換部７０における処理も省略される。また符号化部120で可逆符号化する場合に限らず、いわゆる非可逆の高圧縮符号化を行ってもよい。その場合はこれに応じて復号化器２０の復号部６０も非可逆復号化を行う。この高圧縮符号化方法は従来技術の項で述べたものなどを用いることができる。
第１５実施例
図４０に図３９と対応する部分に同一参照符号を付けてこの発明の第１５実施例を示す。第２実施例と異なる部分のみを説明する。
【０１４３】
符号器１０においては、チャネル間直交変換部190によりＭチャネルディジタル信号がチャネル間直交変換された信号は符号化部120で符号化されて主符号Imとして出力されると共に、その主符号Imは局部復号部130で局部復号されて局部信号とされる。符号Imの局部復号信号は、符号化部120において分析合成符号化法により生成することができる。その局部信号に対し、ここではチャネル間直交逆変換は行わず、チャネル間直交変換部190からのチャネル間直交変換信号との対応する成分の各誤差信号が誤差算出部140で算出される。この誤差信号が配列変換部５０に供給される。以下第１４実施例の符号器と同様に処理される。
【０１４４】
復号化器２０においては第１４実施例との相異に基づき復号部６０で復号された主符号Imの主信号と、配列逆変換部７０で再生された誤差信号とが加算部240で各対応する成分について加算され、これら加算された各成分の信号がチャネル間直交逆変換部290で符号器１０のチャネル間直交変換部190と対応した逆変換が行われ、各チャネルの再生ディジタル信号としてフレーム合成部250へ供給される。
この場合も誤差信号を正しく再生できれば多チャネルディジタル信号を正しく再現できる。また第１４実施例と同様、符号化部120ではチャネル間直交変換信号中のパワーの大きい成分だけを選択するか、予め平均的にパワーが大きい成分を決めておき、この成分だけを符号化して符号化効率を向上させることも可能である。符号化部120は非可逆の高圧縮符号化でも可逆の圧縮符号化でもよい。
【０１４５】
図３９、図４０中の配列変換部５０の具体的構成例としては、例えば図３３に示す可逆符号化部１８の構成をそのまま使用することができる。この配列変換部５０と対応する配列逆変換部７０の具体的構成例としては、図３４に示す可逆復号部２１の構成をそのまま使用することができる。
あるいは、配列変換部５０の具体的構成例として図３５Ａに示す可逆符号化部１８を使用し、それに対応して配列逆変換部７０の具体的構成例として図３５Ｂに示す可逆復号部２１を使用してもよい。
第１６実施例
上述したような、非可逆圧縮符号と、その誤差信号の可逆符号とを用いて、可逆符号化を実現しようとする符号化／復号化方法によっても、非可逆圧縮符号を再生する復号化器や計算機の環境によって、その非可逆圧縮符号の再生信号にはわずかな誤差が含まれることがある。そのような場合、復号化器で、非可逆圧縮符号の復号信号と、可逆符号を復号した誤差信号とを組合わせても、再生ディジタル信号が原ディジタル信号とは完全には一致しない。
【０１４６】
この第１６実施例は、非可逆圧縮符号化とその誤差信号の可逆符号化を用い、復号化器や計算機の環境にかかわらず、理論的には、原ディジタル信号と完全に一致する再生ディジタル信号を得ることを可能とする符号化方法、復号化方法、符号器、復号器を提供するものであり、以下に図４１を参照して説明する。
図４１において、符号器１０においては入力端子100からのディジタル信号はフレーム分割部110でフレーム単位、例えば1024サンプルごとに分割されそのフレームごとにディジタル信号は非可逆符号化部120で符号化され、主符号Imとして出力される。その主符号Imは局部復号部１４で復号され局部復号信号が作られ、その局部復号信号は変動最大桁数検出部５５及び切捨部５６に供給される。符号Imの局部復号信号は、非可逆符号化部120において分析合成符号化法により生成することができる。変動最大桁数検出部５５においてはフレーム又はフレーム内の１サブフレーム以上において主符号Imが復号器で復号された際の復号信号の保証される確かな桁数、つまり復号化器の復号精度に基づいて変動し得る桁数の最大を検出する。
【０１４７】
例えばMPEG-4オーディオ準拠の復号化器では環境によらず、その再生信号の各サンプル値は基準再生信号から±１の範囲内に収まることが保証されている。従って局部復号部１４を考慮すると種々の復号器の再生信号の振幅には±２の誤差が含まれる可能性がある。局部復号信号の振幅も値によっては上記±１の誤差により上位の桁数まで２進数表現の値が変わる場合がある。
例えば局部復号信号の振幅が、
8192（２進で0010000000000000）
の場合、基準復号値は
8191（２進で0001111111111111）
または
8193（２進で0010000000000001）
であることが考えられる。
【０１４８】
従って別の復号化器では
8190（２進で0001111111111110）
から
8194（２進で0010000000000010）
までとなることが考えられる。この場合、環境が変わっても復号値が保証されるのは上位２桁のみとなる。
ここでフレーム又は１以上のサブフレーム内で異なる環境の復号化器でも指定された桁数までは再生（復号）波形の振幅の２進表現が一致する桁数を、精度の最小値と定義し、変動し得る桁数の最大値と呼ぶ。上記の数8192が含まれるときの最大の桁数は１４となる。前記数値例では精度の最小値は上位２桁である。負の数の場合は絶対値に対して同様の処理を行う。また復号振幅が−２，−１，０，１，２のいずれかの場合は極性が反転しないようにすべて０とするものと決めておく。変動最大桁数検出部５５ではフレーム又は１以上のサブフレームごとに各局部復号信号の各サンプルについて保証される精度を計算し、つまり復号保証される振幅値を計算し、そのフレーム又は１以上のサブフレームごとに保証される精度の最小値、つまり変動し得る桁数の最大値を図４２に示すように求める。
【０１４９】
変動最大桁数検出部５５では局部復号信号の各サンプルについてこのように環境によって変動し得る桁数を計算し、フレーム又はフレーム内の１サブフレーム以上ごとのその変動し得る桁数の最大値を検出してこれを桁数符号Igとして出力すると共に、切捨部５６において局部復号信号を前記変動の桁数の最大値の桁の数値以下を切り捨てて保証局部復号信号を生成する。保証局部復号信号は図４２中の斜線の下側の線１１となる。
この保証局部復号信号とフレーム分割部110からのディジタル信号との誤差信号を誤差算出部１６で算出する。この誤差信号はフレーム分割部110からのディジタル信号中の図５３における保証局部復号信号線１１以下の部分の信号となる。この誤差信号を可逆符号化部１８で可逆符号化して誤差符号Ineとして出力する。主符号Im、誤差符号Ine、桁数符号Igを結合部315で結合して出力端子１７０から出力する。
【０１５０】
復号器２０では入力端子200からの入力符号は分離部440でフレームごとに主符号Im、桁数符号Ig、誤差符号Ineに分離される。主符号Imは非可逆復号部６０で非可逆復号化されて復号信号が作られる。桁数符号Igは桁数復号部８１で復号され、変動の最大桁数が得られる。切捨部８２において非可逆復号部６０からの復号信号の前記変動の最大桁数以下の部分が切捨てられ保証復号信号として出力される。
誤差符号Ineは可逆復号部２１で可逆復号され、誤差信号が再生される。この誤差信号と切捨部８２からの保証復号信号とが加算部240で加算され再生ディジタル信号としてフレーム合成部250へ供給される。フレーム合成部250はフレームごとの再生信号を順次結合して出力端子260へ出力する。
【０１５１】
このように符号化器１０で作られた保証局部信号は局部復号部１４及び復号化器２０で発生する誤りの最悪の合計値に影響されないものとされてあり、復号化器２０で作成される保証復号信号は復号化器の保証局部復号信号と理論的には完全に一致したものとなり、従ってその誤差信号が正しく再生されれば理想的には完全に原ディジタル信号と一致した再生ディジタル信号を得ることができる。
第１６実施例において桁数符号Igは精度の最小値を符号化したものでもよい。
第１７実施例
変動最大桁数検出部５５で検出される変動の最大桁数は例えば１サンプルを１６ビット表現の場合、３又は４ビット程度となることが多いが、前述した数値例のように、復号保証精度が上位２桁しかないサンプルがあれば、精度の最小値、つまり変動の最大桁数が大きなものとなり、誤差信号の振幅が大きくなり、可逆符号化部１８より出力される誤差符号Ineのビット数が多くなり、符号化効率が悪くなる。しかし、このようになるのは前記数値例のように、局部復号信号のサンプル値が上位桁において１か所のみ１で他の桁は全て０となる場合であり、このようなことは少ない。つまりそのような例外のサンプルを除くと、例えば図４３Ａに示すように精度の最小値は１２又は１３ビット程度となる。
【０１５２】
この第２３実施例ではフレーム又は１以上のサブフレームごとに例外のサンプルを除いた精度の最小値、つまり変動し得る最大の桁数と、その例外サンプルの位置（フレーム又はサブフレーム内の）情報と、その復号保証精度、つまり変動の最大桁数をそれぞれ符号化し、図４３Ａに示す保証局部復号信号を作る。
例えば図４４に図４１に対応する部分に同一参照番号を付けて示すように、符号器１０では、局部復号部１４からの局部復号信号は例外検出部５７へ供給され、例外的に大きな変動し得る桁数（例外的に小さい保証精度）を検出し、その桁数（又は精度）とサンプル位置情報とを変動最大桁数検出部５５と切捨部５６へ供給すると共に、その変動し得る桁数（又は精度）とサンプル位置情報を符号化して例外符号Igeとして出力する。
【０１５３】
変動最大桁数検出部５５では局部復号信号中から例外サンプルを除去し、その除去された局部復号信号の変動し得る最大の桁数（又は精度最小値）を検出し、これを切捨部５６へ供給すると共に符号化して桁数符号Igとして出力する。切捨部５６では局部復号信号から、例外サンプルについてはその変動し得る桁数の数値以下を切捨て、その他の部分は変動し得る最大桁数以下を切捨てて保証局部復号信号とする。この保証局部復号信号を誤差算出部１６へ供給する。また結合部315では主符号Im、誤差符号Ine、桁数符号Igの他、例外符号Igeも合成して出力する。その他は図４１の実施例と同様である。
【０１５４】
例外サンプルとしては、大部分のサンプルに対し予め決めたビット数だけ精度が小さい（変動し得る桁数が大きい）ものの全て、又は予め決めた数までその精度が小さい（変動し得る桁数が大きい）順に選択し、結合部315で、例えば図４３Ｂに示すようにフレーム（又はサブフレーム）ごとに、例外サンプルの数を示す符号、次に例外サンプルの位置情報及びその変動し得る桁数（精度）を表わす例外符号Igeを順次配列し、最後に桁数符号Igを付けた一塊として出力する。
復号化器２０では、分離された例外符号Igeは例外復号部８３で復号され、サンプル位置情報と変動し得る桁数が得られる。切捨部８２においては、非可逆復号部６０からの復号信号中の、例外復号部８３からのサンプル位置情報が示すサンプルはその変動最大桁数以下が切り捨てられ、その他のサンプルは、桁数復号部８１からの変動し得る最大の桁数以下が切捨てられて、保証局部信号が生成される。その他の処理は図４１の実施例と同様である。
【０１５５】
この第１７実施例によれば、符号器１０における誤差信号の情報量が少なくなり、それだけ可逆符号化部１８における符号化効率が向上する。
上述の図４１及び４４における可逆符号化部１８の具体的構成例としては、例えば前述と同様に図３３で示した可逆符号化部１８の構成をそのまま使用することができる。またその場合の復号器２０における可逆復号化部２１の構成は図３４に示した可逆復号化部２１の構成をそのまま使用できる。あるいは、可逆符号化部１８の構成として図３５Ａに示した可逆符号化部１８の構成を使用してもよい。その場合の可逆復号化部２１の構成としては図３５Ｂに示す構成をそのまま使用できる。、
前述したこの発明による各実施例の符号化方法及び復号化方法は、いずれもコンピュータで実施可能なプログラムとして記憶媒体に記述し、必要に応じてこれを読み出してコンピュータで実行することができる。
【０１５６】
【発明の効果】
以上説明したように、この発明の第１の観点による符号化方法及び復号方法によれば、フレーム毎に一連のサンプルの対応するビットを連結して等位ビット列を生成し、パケットとして出力するので、伝送路でのパケットの欠落が生じても復号されたフレームのサンプル列の対応するビットの欠落はそれ程大きな品質劣化をもたらさない。
この発明の第２の観点による符号化方法及び復号方法によれば、復号器が保証する復号信号の精度に応じて、フレーム又はサブフレーム毎に復号器の精度に基づき変動する最大の桁数を検出し、局部復号信号中の変動の最大桁数以下を切り捨てて保証局部信号とし、これと原ディジタル信号との誤差信号を可逆符号化しているため、復号において非可逆符号の復号信号から復号した変動の最大桁数以下を切り捨てることにより、符号器の保証局部信号と論理的に一致した保証復号信号を得ることができる。
【０１５７】
以上説明したように、この発明による符号化方法、復号化方法、符号器及び復号器は以下の観点のように表すことができる。
符号化方法
第１の観点による方法：複数のサンプルを含む各フレームごとにディジタル信号を符号化する符号化方法は、以下のステップを含む。
(a) フレームごとのディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成し、
(b) 上記データの組を符号で出力する。
【０１５８】
第２の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は可逆符号化する前に予め各サンプルの振幅を極性符号と絶対値の２進表現に変換するステップを含むことを特徴とする符号化方法。
第３の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(b)は上記可逆符号を格納し、上記ヘッダ情報がつけられたパケットを生成し出力するステップを含む。
第４の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(b)は上記ビット列に極性符号および絶対値に降順に高い優先度をつけるステップを含む。
【０１５９】
第５の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は、
(a-1) 原信号を非可逆符号化して非可逆圧縮情報と局部復号信号を生成するステップと、
(a-2）上記局部復号信号と上記原信号との誤差信号を上記ディジタル信号として非可逆符号化するステップ、
とを含み、
上記ステップ(b)は、上記可逆符号と共に上記非可逆圧縮情報を出力する。
【０１６０】
第６の観点の符号化方法：第１の観点記載の符号化方法において、上記ディジタル信号のスペクトル包絡を表現するパラメータを求め、そのパラメータを符号化して生成した符号を補助情報として上記可逆符号と共に出力するステップを含む。
第７の観点の符号化方法：第１の観点記載の符号化方法において、上記ステップ(a) は、
(a-1) 各フレーム内のディジタル信号の振幅の絶対値の最大値を表現する桁数を有効桁数として決定するステップと、
(a-2) フレームごとにその有効桁数以内の部分についてそれぞれのサンプルの上記対応する少なくとも１桁のビットをそのフレームにわたって時間方向に並んだ少なくともひとつの上記ビット列を上記可逆符号の一部の伝送記録単位データとして生成するステップ、
とを含み、
上記ステップ(b) は、フレームごとに上記有効桁数を上記可逆符号と共に出力するステップを含む。
【０１６１】
第８の観点の符号化方法：第７の観点記載の符号化方法において、上記ステップ(b) は、上記有効桁数を補助情報として又はそのフレームの何れかのパケット内に格納して出力するステップを含む。
第９の観点の符号化方法：第６の観点記載の符号化方法において、上記ステップ(a) 、
(a-1)上記パラメータとして線形予測係数と現在の予測値を過去のディジタル信号から求めるステップと、
(a-2) その予測値を現在のサンプルから差し引いて予測誤差を求めるステップ、
とを含み、
上記ステップ(b) は、上記線形予測係数を符号化して補助情報として上記可逆符号と共に出力する。
【０１６２】
第１０の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に聴覚特性を考慮した非可逆符号化して非可逆符号を生成し局部復号信号を生成するステップと、
(0-2) その局部復号信号を、上記入力信号との誤差が小さくなるように変形して変形局部復号信号を生成するステップと、
(0-3) 上記入力信号と上記変形局部復号信号との誤差信号を上記ディジタル信号として生成するステップとを含む。
【０１６３】
第１１の観点の符号化方法：第１０の観点記載の符号化方法において、
上記ステップ(0-2) は、上記ディジタル信号と上記局部復号信号との相互相関成分を含む変形パラメータを計算し、その変形パラメータ符号を出力するステップと、
上記変形パラメータを上記局部復号信号に対し、乗算又は畳み込み上記変形局部復号信号を作るステップとを含む。
第１２の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記局部復号信号に対し変形パラメータを乗算し、又は複数サンプルを変形パラメータで結合して上記変形局部復号信号を作るステップと、
(0-2-2) その上記誤差信号のエネルギーが小さくなるように、上記変形パラメータをフレームごとに生成するステップとを含む。
【０１６４】
第１３の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記局部復号信号の上記ディジタル信号に対する誤差を算出して誤差信号を求めるステップと、
(0-2-2) その誤差信号を、量子化誤差が最小になるように符号化して誤差最小化符号を生成し、その誤差最小化符号に対する第２局部復号信号を生成するステップと、
(0-2-3) その第２局部復号信号と上記局部復号信号を加算して上記変形局部信号を得るステップとを含む。
【０１６５】
第１４の観点の符号化方法：第１０の観点記載の符号化方法において、上記ステップ(0-2) は、
(0-2-1) 上記ディジタル信号を、量子化誤差が最小になるように符号化してその誤差最小化符号を生成し、その誤差最小化符号にたいする第２局部信号を生成するステップと、
(0-2-2) その第２局部信号と上記局部信号とを前者を重視した荷重平均をとって、上記変形局部信号を求めるステップとを含む.
第１５の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に、聴覚特性を考慮した非可逆圧縮符号化して第１非可逆符号を出力するステップと、
(0-2) 上記ディジタル信号を非可逆圧縮符号化して第２非可逆符号を生成しその第２非可逆符号に対する局部信号を生成するステップと、
(0-3) その局部信号と上記ディジタル信号との誤差信号を上記ディジタル信号として求めるステップ、
とを含む。
【０１６６】
第１６の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) 入力信号をフレーム毎に量子化誤差が最小となるように圧縮符号化して誤差最小化符号を生成し、その誤差最小化符号に対する第１局部信号を生成するステップと、
(0-2) その第１局部信号の上記入力信号に対する誤差信号を上記ディジタル信号として生成するステップと、
(0-3) 上記誤差信号を聴覚特性を考慮した非可逆圧縮符号化して可逆符号を生成するステップとを含む。
【０１６７】
第１７の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をＮチャネルの信号に混合するステップと、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、その主符号に対するＮチャネルの局部復号信号を生成するステップと、
(0-2) このＮチャネルの混合信号を符号化して主符号を生成し、
(0-3) このＮチャネル局部復号信号をＭチャネルの局部復号信号にチャネル拡大するステップと、
(0-4) 各上記Ｍチャネル局部復号信号とそれに対応する上記Ｍチャネル入力信号との誤差信号を上記ディジタル信号として求めるステップ、
とを含み、
上記ステップ(b) は、上記主符号を上記可逆符号と共に出力するステップを含む。
【０１６８】
第１８の観点の符号化方法：第１６の観点記載の符号化方法は更に、
(0-1) 上記Ｎチャネルの混合信号をＮより少ない１以上のＬチャネルの混合信号に混合するステップと、
(0-2) そのＬチャネルの混合信号を符号化して主符号を生成しその主符号に対するチャネル局部信号を生成するステップと、
(0-3) そのＬチャネル局部復号信号をＮチャネルの局部復号信号にチャネル拡大するステップと、
(0-4) そのＮチャネルの局部復号信号と上記Ｎチャネルの混合信号との差を第1誤差信号として生成するステップと、
(0-5) 上記第1誤差信号を符号化して、従符号を生成し、その従符号に対するＮチャネルの局部誤差信号を生成するステップと、
(0-6) そのＮチャネルの局部復号信号と上記Ｎチャネルの局部復号誤差信号とを加算してＮチャネル加算局部信号を生成するステップと、
(0-7) このＮチャネル加算局部復号信号をチャネル拡大して、Ｍチャネルの加算局部信号を生成するステップと、
(0-8) このＭチャネル加算局部信号と上記Ｍチャネルディジタル信号との差を第２誤差信号として生成するステップ、
とを含み、
上記ステップ(b) は、上記主符号と共に、上記従符号を出力する。
【０１６９】
第１９の観点の符号化方法：第１の観点記載の符号化方法は更に、
Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を上記ディジタル信号として含み、Ｍは２以上の整数であり、上記Ｍチャネルのそれぞれに対して上記ステップ(a)、(b)を実行する。
第２０の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を生成するステップと、Ｍは２以上の整数であり、
(0-2) その直交変換信号の少なくとも一部の信号を符号化して、主符号を生成し、その主符号に対する局部復号信号を生成するステップと、
(0-3) その局部復号信号をチャネル間直交逆変換して、Ｍチャネル局部復号信号を生成するステップと、
(0-4) 各上記Ｍチャネル局部復号信号とそれに対応する上記Ｍチャネル入力信号との誤差信号を上記ディジタル信号としてを求めるステップ、
とを含み、
上記ステップ(b) は、上記従符号を上記主符号と共に出力する。
【０１７０】
第２１の観点の符号化方法：第１の観点記載の符号化方法は更に、
(0-1) Ｍチャネルの入力信号をチャネル間直交変換して直交変換信号を生成するステップと、Ｍは２以上の整数であり、
(0-2) その直交変換信号の少なくとも一部の信号を符号化して、主符号を生成し、その主符号に対する局部復号信号を生成するステップと、
(0-3) その各局部復号信号とそれに対応する上記直交変換信号との差を誤差信号として求めるステップ、
とを含み、
上記ステップ(b) は上記主符号を上記可逆符号と共に出力する。
【０１７１】
第２２の観点の符号化方法：第１の観点記載の符号化方法において、更に、
(a-1)ディジタル信号を非可逆符号化して、非可逆符号を生成し、その非可逆符号に対する局部復号信号を生成し、
(a-2)フレーム又はフレーム内の1以上のサブフレームごとに上記非可逆符号に対する復号信号が変動し得る最大の桁数を上記復号信号から検出し、その変動の最大桁数を示す桁数符号を出力し、
(a-3)上記局部復号信号をディジタル表現における上記変動の最大桁数以下のアブ文を切り捨てて精度保証局部復号信号を生成し、
(a-4)その精度保証局部復号信号と上記ディジタル信号との誤差信号を作成し、
(a-5)その誤差信号を可逆符号化して可逆符号を出力する。
復号化方法
第２３の観点の復号化方法：フレームごとにディジタル信号のサンプルを再生する復号化方法であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
(b) 上記複数の組のデータに基づいてディジタル信号を再生するステップ、
とを含む。
【０１７２】
第２４の観点の復号化方法：第２３の観点記載の復号化方法において、
上記ステップ(b) は、上記サンプル列を、極性符号と絶対値の２進表現から２の補数表現に変換するステップを含む。
第２５の観点の復号化方法：第２３の観点記載の復号化方法において、
上記ステップ(b) は、上記ディジタル信号を平滑化して上記ディジタル信号するステップを含む。
第２６の観点の復号化方法：第２３の観点の復号化方法において、上記ステップ(b) は、補助情報を復号してスペクトル包絡を求め、上記ディジタル信号のスペクトル包絡が上記復号スペクトル包絡に近づくように、上記ディジタル信号を補正するステップを含む。
【０１７３】
第２７の観点の復号化方法：第２６の観点の復号化方法において、上記ステップ(b) は、
(b-1) 上記欠落又は誤りビットに対し暫定サンプルを代入するステップと、
(b-2) 上記暫定サンプルのスペクトル包絡を計算するステップと、
(b-3) 上記計算したスペクトル包絡又はその変形スペクトル包絡の特性により上記暫定的なサンプルのスペクトル包絡を平坦化するステップと、
(b-4) 上記平坦化されたスペクトル包絡に対し、上記復号スペクトル包絡又はその変形スペクトル包絡を使ってサンプルを再構成するステップ、
とを含む。
【０１７４】
第２８の観点の復号化方法：第２６の観点の復号化方法において、上記ステップ(b) は、
(b-1) 上記欠落又は誤りビットに対し暫定的なサンプルを代入するステップと、
(b-2) 上記暫定サンプルのスペクトル包絡を計算するステップと、
(b-3) 上記計算したスペクトル包絡またはその変形スペクトル包絡の逆特性により上記復号スペクトル包絡またはその変形スペクトル包絡を組み合わせたひとつのスペクトル包絡を計算するステップと、
(b-4) 上記ひとつのスペクトル包絡を用いて上記暫定的なサンプル列を再構成するステップと、
(b-5) 上記再構成されたサンプル列中の誤った補正を修正するステップ、
とを含むことを特徴とする復号化方法。
【０１７５】
第２９の観点の復号化方法：第２７の観点記載の復号化方法において、上記ステップ(b-3) は、計算したスペクトル包絡を線形予測ケプストラム係数Caに変換し、上記復号スペクトル包絡を線形予測ケプストラム係数Cbに変換し、又は上記補助情報に対する復号スペクトル包絡を使って、これら線形予測ケプストラム係数の差Cb-Caを求めて、上記ひとつのスペクトル包絡を得るステップを含む。
第３０の観点の復号化方法： 第２７、２８又は２９の観点記載のいずれかの復号化方法において、更に、
(b-5) 上記暫定的なサンプルのスペクトル包絡と上記復号スペクトル包絡との誤差が所定値以内か否かを調べ、所定値以内であれば、その時の暫定的なサンプルを補正されたサンプルとし、所定値以内でなければ、上記ステップ(b-2)、(b-3)、(b-4) を繰り返す。
【０１７６】
第３１の観点の復号化方法：第２３の観点記載の復号化方法において、上記ステップ(a) は、入力された非可逆符号化情報を非可逆復号化し、その非可逆復号化信号に上記ディジタル信号を加算するステップを含む。
第３２の観点の復号化方法：第２３の観点記載の復号化方法において、上記ステップ(a) は、上記可逆符号の伝送記録単位データを復号し、ヘッダ情報に基づき上記1フレームの少なくとも１つのビット位置の少なくとも１つの復号ビット列を生成するステップを含み、上記ステップ(b) は、上記伝送記録単位データ中の欠落又は誤りビットを検出し、各フレーム毎に上記サンプル列に対し、入力された有効桁数に応じた桁合せを行うステップを含む。
【０１７７】
第３３の観点の復号化方法：第３２の観点記載の復号化方法において、上記ステップ(b) は、現在のフレームの復号有効桁数が一つ前のフレームの復号有効桁数より大きければ、一つ前のフレームのサンプルの振幅値を縮小して、一つ前のフレームの有効桁数を現在のフレームの有効桁数にそろえた後、補正処理を行い、
現在のフレームの有効桁数が一つ前のフレームの有効桁数より小さければ、一つ前のフレームのサンプルの振幅値を拡大して、一つ前のフレームの有効桁数を現在のフレームの有効桁数にそろえた後、補正処理を行う。
【０１７８】
第３４の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルは予測誤差信号のサンプルであり、更に
(c) 欠落又は誤りデータに対し、予測誤差信号のスペクトル包絡に基づき、上記予測誤差信号を補正するステップ、
(d) 入力補助情報を復号して線形予測情報を得るステップと、
(e) 上記線形予測に基づいて再生原信号を上記予測誤差信号信号と上記再生原信号の過去のサンプルとから合成するステップ、
とを含む。
【０１７９】
第３５の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルのスペクトル包絡を形質するステップと、
(c-3) 上記スペクトル包絡の平坦度を求め、その平坦度が所定値以内であれば、上記暫定サンプルを上記補正した予測誤差信号とするステップと、
(c-4) 上記平坦度が所定値以内でなければ、上記暫定サンプルを、上記スペクトル包絡又はその変形スペクトル包絡により規格化して平坦化信号を得るステップと、
(c-5) 上記規格化した信号を上記暫定サンプルとして使用して上記ステップ(c-1) 〜(c-4) を繰り返す。
【０１８０】
第３６の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルに対し、上記復号線形予測係数を用いてフィルタ処理し合成信号を生成するステップと、
(c-3) 上記合成信号のスペクトル包絡を計算するステップと、
(c-4) 上記計算したスペクトル包絡又はその変形スペクトル包絡により上記暫定誤差信号を規格化してスペクトルが平坦化された信号を作るステップと、
(c-5) 上記スペクトルが平坦化された信号に対し、上記復号線形予測係数を用いてフィルタ処理して予測誤差波形を再構成するステップ、
とを含む。
【０１８１】
第３７の観点の復号化方法：第３４の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記欠落又は誤りビットに暫定サンプルを代入するステップと、
(c-2) 上記暫定サンプルに対し、上記復号線形予測係数を用いてフィルタ処理し合成信号を生成するステップと、
(c-3) 上記合成信号の線形予測係数を計算するステップと、
(c-4) 上記計算した線形予測係数またはその帯域を拡大した線形予測係数の逆特性と、上記復号線形予測係数またはその帯域を拡大した線形予測係数を組み合わせた線形予測係数を計算するステップと、
(c-5) 上記組み合わせた線形予測係数を用いて上記暫定サンプルをフィルタ処理して予測誤差信号を生成するステップ、
とを含む。
【０１８２】
第３８の観点の復号化方法：第３６または３７の観点記載の復号化方法において、更に上記計算した線形予測係数と上記復号線形予測係数との誤差が所定値以内か否かを調べ、所定値以内であれば、その時の暫定サンプルを補正された予測誤差波形とし、所定値以内でなければ、上記合成信号を上記暫定サンプルとして使用して上記ステップ(c-1) 〜(c-5) を繰り返す。
第３９の観点の復号化方法：第３１の観点記載の復号化方法において、更に以下のステップを含む：
(c) 上記局部復号信号と上記ディジタル信号との誤差が小さくなるように上記局部復号信号を変形して変形信号を生成するステップと、
(d) その変形信号と上記誤差信号とを合成して、上記再生信号を更新するステップ、
とを含む
第４０の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 変形パラメータ符号を復号して変形パラメータを得るステップと、
(c-2) その復号された変形パラメータを上記復号信号に対し乗算又は畳み込みを行って上記変形復号信号を得るステップ、
とを含む。
【０１８３】
第４１の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 上記局部復号信号に対し、少なくとも１つの変形パラメータで乗算又は畳み込み演算して上記変形信号を生成するステップと、
(c-2) その変形信号と上記再生信号との誤差信号のエネルギーが小さくなるように、上記変形パラメータを生成するステップ、
とを含む。
【０１８４】
第４２の観点の復号化方法：第２３の観点記載の復号化方法において、更に、
(c) 入力誤差最小化符号を非可逆復号して第１局部復号信号を再生するステップと、
(d) 上記ディジタル信号と上記第１局部復号信号を加算して第１ディジタル信号を再生するステップと、
(e) 聴覚特性が考慮された第２非可逆符号を非可逆復号して第２局部復号信号を再生するステップと、
(f) 上記第１ディジタル信号又は上記第２ディジタルを出力するステップ、
とを含む。
【０１８５】
第４３の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 誤差最小化符号を復号して第２局部復号信号を得るステップと、
(c-2)その第２局部復号信号を上記局部復号信号に加算して上記変形信号を生成するステップ、
とを含む。
第４４の観点の復号化方法：第３９の観点記載の復号化方法において、上記ステップ(c) は、
(c-1) 誤差最小化符号を復号して第２局部復号信号を作るステップと、
(c-2) その第２局部復号信号と上記局部復号信号とを前者に重視して荷重平均を行って上記変形復号信号を作るステップ、
とを含む。
【０１８６】
第４５の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号してＮチャネルの復号信号を求めるステップと、ＮはＭより小さい１以上の整数であり、、
(d) そのＮチャネル復号信号をＭチャネルの復号信号にチャネル拡大するステップと、
(e) 上記Ｍチャネル誤差信号と上記Ｍチャネル復号信号とを加算してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１８７】
第４６の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号してＬチャネルの復号信号を得るステップと、Ｌは１以上の整数であり、
(d) そのＬチャネル復号信号をチャネル拡大してＮチャネルの復号主信号を生成するステップと、ＮはＬより大きくＭより小さい整数であり、
(e) 従符号を復号してＮチャネル復号従信号を得るステップと、
(f) このＮチャネル復号主信号と上記Ｎチャネル復号従信号とを加算してＮチャネル加算信号を生成するステップと、
(h) そのＮチャネル加算信号をチャネル拡大してＭチャネルの加算信号を生成するステップと、
(i) 上記Ｍチャネルの誤差信号と上記Ｍチャネル加算信号とを加算してＭチャネルの再生ディジタル信号を得るステップ、
とを含む。
【０１８８】
第４７の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルは複数チャネルのサンプルであり、上記復号化方法は更に
(c) 上記複数チャネルのサンプル列に対しチャネル間直交逆変換を行って複数チャネルのディジタル信号を再生するステップ、
を含む。
第４８の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に、
(c) 入力主符号を復号化して局部復号信号を得るステップと、
(d) 上記Ｍチャネルの局部復号信号にチャネル間直交逆変換を施してＭチャネル復号信号を求めるステップと、
(e) このＭチャネル復号信号と上記Ｍチャネル誤差信号とを加算してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１８９】
第４９の観点の復号化方法：第２３の観点記載の復号化方法において、上記サンプルはＭチャネルの誤差信号のサンプルであり、Ｍは２以上の整数であり、上記復号化方法は更に
(c) 入力主符号を復号化してＭチャネルの局部復号信号を求めるステップと、
(d) 上記Ｍチャネルの局部復号信号と上記Ｍチャネルの誤差信号を加算してＭチャネルの加算信号を得るステップと、
(e) 上記Ｍチャネルの加算信号に対しチャネル間直交逆変換を施してＭチャネルディジタル信号を再生するステップ、
とを含む。
【０１９０】
第５０の観点の復号化方法：第２３の観点記載の復号化方法において、更に以下のステップを含む：
(c) 非可逆符号を非可逆復号して局部復号信号を生成し、
(d) 最大桁数符号を復号して変動の最大桁数を得、
(e) 上記復号信号を、ディジタル表現において上記変動の最大桁数以下を切り捨てて精度保証信号を生成し、
(f) 上記ディジタル信号と上記精度保証信号を加算して再生信号を生成する。、
第５１の観点の復号化方法：第５０の観点記載の復号化方法において、上記ステップ(d) は、例外符号を復号して、その例外値とサンプル位置情報を得て、上記精度保証信号のサンプル位置に上記例外値を割り当てるステップを含む、
符号器
第５２の観点の符号器：複数のサンプルからなる各フレームごとにディジタル信号を符号化する符号化器であり、
フレーム毎に上記ディジタル信号のサンプルを，それらの各ビット位置で跨いだビット列の可逆データの複数の組，又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成する手段と、
上記データの組を符号瀬出力する出力手段、
とを含む。
【０１９１】
第５３の観点の符号器：第５２の観点記載の符号器において、各サンプルの振幅を極性と絶対値の２進表現に変換し、その変換されたサンプルを上記並び替え部へ供給する極性絶対値変換部を含む。
第５４の観点の符号器：第５３の観点記載の符号器において、上記結合部は上記ビット列に対し、極性、絶対値の大きさ順にパケットの優先順位を付ける。
第５５の観点の符号器：第５２又は５３の観点記載の符号器において、原信号を非可逆符号化して、上記非可逆符号化情報と局部復号信号を出力する非可逆符号器と、上記局部復号信号と上記原信号との誤差信号を上記ディジタル信号として求めて出力する差分器とを含む。
【０１９２】
第５６の観点の符号器：第５２、５３又は５４のいずれかの観点記載の符号器において、上記ディジタル信号のスペクトル包絡を表現するパラメータを符号化して補助情報として上記パケットと共に出力する補助情報生成部を有している。
第５７の観点の符号器：第５２の観点記載の符号器は、更に上記分割されたフレームごとに、そのディジタル信号の絶対値の最大値を表現する桁数を有効桁数として求めて出力する補助情報生成部を有し、上記並び替え部は、上記フレームごとに、上記有効桁数以内のみについて、上記等位ビット列を生成する。
【０１９３】
第５８の観点の符号器：第５２の観点記載の符号器は更に、
各フレームごとに入力ディジタル信号のスペクトル包絡を表わす線形予測係数を求めるスペクトル包絡算出部と、
上記線形予測係数を符号化して補助情報とする補助情報生成部と、
フレームごとに過去のディジタル信号と線形予測係数から現在の入力信号の整数化された予測値を求める予測部と、
上記予測値を現在の入力ディジタル信号から差し引いて予測誤差信号を求める予測誤差生成部、
とを含む。
【０１９４】
第５９の観点の符号器：第５８の観点記載の符号器は更に、各フレームごとに上記振幅ビット列の絶対値の最大値を表現する桁数を有効桁数として求める有効桁数検出部と、上記有効桁数を符号化して上記補助情報に加える手段とを有し、上記並び替え部は上記有効桁数の範囲内でのみ上記サンプル列の振幅ビット列を等位ビット列へ並び替えを行う。
第６０の観点の符号器：第５２の観点記載の符号器は更に、
入力ディジタル信号をフレーム毎に聴覚特性を考慮した非可逆符号化して非可逆符号を生成し局部復号信号を生成する非可逆符号化部と、
上記局部復号信号が入力され、局部復号信号を、上記入力信号との誤差が小さくなるように変形して変形局部復号信号を生成する変形部と、
上記入力信号と上記変形局部信号が入力され、これら間の誤差信号を上記ディジタル信号として生成する誤差算出部、
とを含む。
【０１９５】
第６１の観点の符号器：第５２の観点記載の符号器において、上記ディジタル信号はＭチャネルのディジタル信号であり、Ｍは２以上の整数であり、上記符号器は更に、
フレームごとにＭチャネルのディジタル信号が入力され、これらＭチャネルのディジタル信号を混合してＮチャネルの混合信号を出力するチャネル混合部と、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、
上記Ｎチャネルの混合信号が入力され、これらを符号化して主符号とその主符号に対するＮチャネル局部信号を生成する符号化部と、
上記Ｎチャネル局部復号信号が入力され、これらをチャネル拡大してＭチャネルの局部復号信号を出力するチャネル拡大部と、
上記Ｍチャネル局部復号信号と、上記Ｍチャネルディジタル信号との間の誤差信号を上記ディジタル信号として計算する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９６】
第６２の観点の符号器：第５２の観点記載の符号器は更に、
Ｍチャネルの入力信号に対してチャネル間直交変換を行って直交変換信号を出力するチャネル間直交変換部と、Ｍは２以上の整数であり、
上記直交変換信号の少なくとも一部の信号を符号化して主符号を生成し、その主符号に対する局部復号信号を生成する符号化部と、
上記局部復号信号に対しチャネル間直交逆変換してＭチャネル局部復号信号を生成するチャネル間直交逆変換部と、
各上記Ｍチャネル局部復号信号と、対応する１つの上記Ｍチャネルディジタル信号との間の誤差信号を上記ディジタル信号として生成する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９７】
第６３の観点の符号器：第５２の観点記載の符号器において、Ｍは２以上の整数であり、上記符号器は更に、
Ｍチャネルの入力信号に対してチャネル間直交変換を行って直交変換信号を生成するチャネル間直交変換部と、Ｍは２以上の整数であり、
上記直交変換信号の少なくとも一部を符号化して主符号を生成しその主符号に対する局部復号信号を生成する符号化部と、
各上記局部復号信号と、それに対応する上記直交変換信号との間の誤差信号を上記ディジタル信号として算出する誤差算出部、
とを含み、上記出力手段は上記主符号を上記可逆符号と共に出力する。
【０１９８】
第６４の観点の符号器：第５２の観点記載の符号器において、更に、
入力信号を非可逆符号化して非可逆符号を出力する非可逆符号化部と、
上記非可逆符号を復号して局部復号信号を出力する局部復号部と、
フレーム又はフレーム内の１以上のサブフレームごとに上記非可逆符号に対する復号信号が環境によって変動し得る最大桁数を上記局部復号信号から検出し、その変動の最大桁数を示す桁数符号を出力する変動最大桁数検出部と、
上記局部復号信号を、上記変動の最大桁数以下の部分を切り捨てて保証局部復号信号を生成する切捨部と、
上記保証局部復号信号と上記ディジタル信号との誤差信号を作成する誤差算出部と、
上記誤差信号を可逆符号化して、可逆符号を出力する可逆符号化部、
とを含む。
復号器
第６５の観点の復号器：複数のサンプルから成る各フレーム毎にディジタル信号のサンプルを再生する復号器であり、
入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだビット列の可逆データの復数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するデータ生成手段と、
上記データの組からディジタル信号を再生する手段、
とを含む。
【０１９９】
第６６の観点の復号器：第６５の観点の復号器において、各上記サンプルを、極性符号と絶対値の２進表現から２の補数表現に変換して上記サンプルとする２の補数変換部を有する。
第６７の観点の復号器：第６５又は６６の観点の復号器において、更に既知の情報から欠落ビット列を推定し、上記サンプル列を修正する欠落補正部を含む。
第６８の観点の復号器：第６７の観点の復号器において、上記欠落補正部はその入力を平滑化する低域通過フィルタである。
【０２００】
第６９の観点の復号器：第６７の観点の復号器は更に、
入力された補助情報を復号してスペクトル包絡を求める補助情報復号部を含み、上記欠落補正部は上記補正されたサンプル列のスペクトル包絡が上記復号されたスペクトル包絡に近づくように、上記サンプル列を補正するものである。
第７０の観点の復号器：第６９の観点の復号器において、上記欠落補正部は、上記欠落又は誤りビットをサンプルにまたがって置き換えた暫定的なサンプル列を生成する暫定サンプル生成部と、
上記暫定的なサンプル列のスペクトル包絡を計算するスペクトル包絡算出部と、
上記復号したスペクトル包絡又はその変形スペクトル包絡で上記暫定的なサンプル列のスペクトル包絡を規格化する逆フィルタと、
上記平坦化されたスペクトル包絡に対し、上記復号スペクトル包絡又はその変形スペクトル包絡及び上記平坦化スペクトル包絡を使って補正サンプル列を再構成する合成フィルタ、
とを含む。
【０２０１】
第７１の観点の復号器：第６９の観点の復号器において、上記欠落補正部は、上記欠落又は誤りビットに対し適当な値を代入した暫定的なサンプル列を再生する暫定波形生成部と、
上記暫定的なサンプルのスペクトル包絡を計算するスペクトル包絡算出部と、上記計算したスペクトル包絡またはその変形スペクトル包絡の逆特性と、上記復号スペクトル包絡またはその変形スペクトル包絡を合成した１つのスペクトル包絡線形予測係数を計算する合成スペクトル包絡計算部と、
上記１つの合成スペクトル包絡を用いて、上記暫定的なサンプル列を再構成する合成フィルタ、
とを含む。
【０２０２】
第７２の観点の復号器：第７１の観点の復号器において、上記合成スペクトル包絡計算部は、上記計算したスペクトル包絡を線形予測ケプストラム係数Caに変換する第１係数変換部と、上記復号スペクトル包絡を線形予測ケプストラム係数Cbに変換する第２係数変換部と、上記線形予測ケプストラム係数の差Cb-Caを求める減算部と、上記差Cb-Caを線形予測係数に逆変換して、上記合成スペクトル包絡の線形予測係数を得る逆変換部とを含む。
第７３の観点の復号器：第７０又は７１の観点の復号器において、また上記暫定的なサンプル列又は上記修正されたサンプル列のスペクトル包絡と上記復号スペクトル包絡との誤差を求め、その誤差が所定値以内であれば、その時の暫定的な又は修正されたサンプル列を補正されたサンプル列とし、所定値以内でなければ、上記暫定的な又は上記修正されたサンプル列を上記逆フィルタあるいは上記合成フィルタへ供給する誤差計算部を含む。
【０２０３】
第７４の観点の復号器：第７３の観点の復号器において、入力された非可逆符号化を非可逆復号化して局部復号信号を生成する非可逆復号部と、上記局部復号信号に上記ディジタル信号を加算し、その加算されたサンプル列を、上記欠落補正部へ供給する加算部とを含む。
第７５の観点の復号器：第６５の観点の復号器は更に、
入力された補助情報を復号してそのフレームの有効桁数を得る補助情報復号部と、
上記フレームのサンプル又は上記補正されたサンプルに対し、上記復号有効桁数に応じた桁合せを行う桁合せ部、
とを含む。
【０２０４】
第７６の観点の復号器：第７５の観点の復号器において、上記補助情報復号部は平均パワーも復号するものであり、上記欠落補正部は、上記復号平均パワーを用いて上記サンプルの振幅も補正するものである。
第７７の観点の復号器：第６５の観点の復号器において、上記サンプルの線形予測係数は予測誤差信号の線形予測係数であり、上記復号器は更に、入力された補助情報を復号して線形予測係数を得る補助情報復号部と、
上記線形予測係数を使って上記予測誤差信号と、復号原信号の過去のサンプルとから復号原信号を合成し、予測誤差信号のスペクトル包絡に基づき、予測誤差信号の誤り又は欠落データを補正する欠落補正部、
とを含む。
【０２０５】
第７８の観点の復号器：第７７の観点の復号器において、上記欠落補正部は、上記欠落または誤りビットと置き換える暫定サンプルを再生する暫定波形生成部と、
上記暫定サンプルのスペクトル包絡を求めるスペクトル包絡算出部と、
上記スペクトル包絡の平坦度を求め、その平坦度が所定値以内か否かを判定し、所定値以内であれば上記暫定サンプルを上記予測誤差信号とする平坦度判定部と、
上記平坦度が所定値以内でなければ、上記暫定サンプルに対し、上記スペクトル包絡又はその変形スペクトル包絡により規格化して規格化信号を得る逆フィルタ、
とを含む。
【０２０６】
第７９の観点の復号器：第７７の観点の復号器において、上記欠落補正部は、
上記欠落または誤りビットに暫定サンプルを代入する暫定波形生成部と、
上記復号線形予測係数を用いて上記暫定サンプルをフィルタ処理し、合成信号を生成する第１合成フィルタと、
上記合成信号のスペクトル包絡を計算するスペクトル包絡算出部と、
上記計算した線形予測係数またはその帯域を拡大した線形予測係数の逆特性と、上記復号線形予測係数またはその帯域を拡大した線形予測係数を組み合わせたひとつの線形予測係数を計算する合成スペクトル包絡計算部と、
上記組み合わせた線形予測係数を用いて、上記暫定サンプルをフィルタ処理して予測誤差信号を生成する合成第２フィルタ、
とを含む。
【０２０７】
第８０の観点の復号器：第６５の観点の復号器において、更に、
上記局部復号信号が入力され、上記局部復号信号と上記ディジタル信号との誤差が小さくなるように、その局部復号信号を変形して変形信号を生成する変形部と、
上記変形信号と上記誤差信号を合成して上記再生信号を更新する加算部、
とを含む。
第８１の観点の復号器：第６５の観点の復号器において、更に、
主符号を復号してＮチャネルの復号信号を出力する復号部と、Ｍは２以上の整数であり、ＮはＭより小さい１以上の整数であり、
上記Ｎチャネルの復号信号をＭチャネル復号信号にチャネル拡大するチャネル拡大部と、
欠落ビットを検出し、欠落信号を出力する欠落検出部と、上記情報補正部は、上記欠落検出部により検出された欠落ビットに対応する上記誤差信号に欠落情報を付加する欠落情報補正部を有しており、
上記Ｍチャネル誤差信号又は補正誤差信号と上記Ｍチャネル復号信号を加算してＭチャネルディジタル信号を出力する加算部、
とを含む。
【０２０８】
第８２の観点の復号器：第６５の観点の復号器において、上記並び替え部はＭ個設けられ、Ｍチャネルの誤差信号を出力し、Ｍは２以上の整数であり、上記復号器は更に、
主符号を復号して局部復号主信号を出力する復号部と、
上記局部復号主信号に対しチャネル間直交逆変換を行ってＭチャネル復号信号を生成するチャネル間直交逆変換部と、
上記Ｍチャネル復号信号と上記Ｍチャネル誤差信号を加算して再生Ｍチャネルディジタル信号を出力する加算部、
とを含む。
【０２０９】
第８３の観点の復号器：第６５の観点の復号器において、更に、
入力主信号を復号して復号主信号を出力する復号部と、
上記復号主信号と上記Ｍチャネル誤差信号を加算してＭチャネル加算信号を出力する加算器と、
上記Ｍチャネル加算信号が入力され、それらのチャネル間直行逆変換を行いＭチャネル復号信号を出力するチャネル間直行逆変換部、
とを含む。
【０２１０】
第８４の観点の復号器：第６５の観点の復号器において、更に、
非可逆符号を非可逆復号して局部復号信号を生成する非可逆復号部と、
最大桁数符号を復号して変動の最大桁数を出力する桁数復号部と、
上記局部復号信号の上記変動の最大桁数以下の部分を切り捨てて精度保証信号を出力する切捨て部と、
入力可逆符号を可逆復号して誤差信号を再生する可逆復号部と、
上記ディジタル信号と上記精度保証信号とを加算して再生ディジタル信号を出力する加算部、
とを含む。
【０２１１】
第８５の観点の符号化プログラム：第１乃至第２２の観点の符号化方法をコンピュータで実行するための符号化プログラム。
第８６の観点の復号化プログラム：第２３乃至第５１の観点の復号化方法をコンピュータで実行するための復号化プログラム。
【図面の簡単な説明】
【図１】従来の非可逆量子化を組み合わせた符号器及び復号器の機能構成を示す図。
【図２】図１中の並び替え部160の処理を説明するための図。
【図３】この発明の符号器及び復号器の各実施例１の機能構成を示す図。
【図４】Ａは並び替え部160の処理例を示す図、Ｂはパケットのフォーマットの例を示す図。
【図５】欠落補正部430の処理と関連して、原音と歪み成分のスペクトル包絡の比較例を示す図。
【図６】この発明の符号器及び復号器の各第２実施例の機能構成を示す図。
【図７】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図８】欠落補正部430の図５と対応した機能構成例を示す図。
【図９】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図１０】合成スペクトル包絡計算部437の具体例の機能構成を示す図。
【図１１】この発明による原音分析合成後補正の符号器及び復号器の各第３実施例の機能構成を示す図。
【図１２】この発明による誤差分析、合成前補正の復号器の第３実施例の変形の機能構成を示す図。
【図１３】この発明の効果を説明するための計算機シミュレーションの結果を示す図。
【図１４】この発明の符号器及び復号器の各第４実施例の機能構成を示す図。
【図１５】Ａは並び替え部160の処理例を示す図、Ｂは２の補数値に対する並び替え部160の処理例を示す図。
【図１６】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図１７】欠落補正部430の図１６と対応した機能構成例を示す図。
【図１８】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図１９】この発明による原音分析合成後補正の符号器及び復号器の各第５実施例の機能構成を示す図。
【図２０】この発明による誤差分析、合成前補正の復号器の第５実施例の変形の機能構成を示す図。
【図２１】この発明の符号器及び復号器の各第６実施例の機能構成を示す図。
【図２２】欠落補正部430における補助情報を用いない処理手順の例を示す流れ図。
【図２３】欠落補正部430の図２２と対応した機能構成例を示す図。
【図２４】欠落補正部430における補助情報を用いる処理手順の例を示す流れ図。
【図２５】欠落補正部430の図２４と対応した機能構成例を示す図。
【図２６】欠落補正部430における補助情報を用いる処理手順の他の例を示す流れ図。
【図２７】この発明の第１実施例の機能構成例を示す図。
【図２８】Ａは図２７中の変形パラメータ生成部１７の具体例を示す図、Ｂは図２７中の変形パラメータ生成部１７の他の具体例を示す図。
【図２９】この発明の第２実施例の機能構成例を示す図。
【図３０】この発明の第３実施例の機能構成例を示す図。
【図３１】この発明の第４実施例の機能構成例を示す図。
【図３２】この発明の第５実施例の機能構成例を示す図。
【図３３】可逆符号化部１８の機能構成例を示す図。
【図３４】可逆復号部２１の機能構成例を示す図。
【図３５】Ａは予測誤差生成部の機能構成例を示す図、Ｂは予測合成フィルタの機能構成例を示す図である。
【図３６】この発明の第１２実施例の機能構成例を示す図。
【図３７】この発明の第１２実施例の変形例の機能構成例を示す図。
【図３８】この発明の第１３実施例の機能構成例を示す図。
【図３９】この発明の第１４実施例の機能構成例を示す図。
【図４０】この発明の第１５実施例の機能構成例を示す図。
【図４１】この発明の第１６実施例の機能構成例を示す図。
【図４２】保証局部復号信号１１の例を示す図。
【図４３】Ａは保証局部復号信号１１の他の例を示す図、Ｂは例外符号Ige、桁数符号Igの符号群の例を示す図である。
【図４４】この発明の第１７実施例の機能構成例を示す図。
Claims (15)
- 複数のサンプルを含む各フレームごとにディジタル信号を符号化する符号化方法であり、
( Ａ ) 各フレーム内のディジタル信号の振幅の絶対値の最大値を表現する桁数を有効桁数として決定するステップと、
( Ｂ ) フレームごとのディジタル信号のサンプルをその有効桁数以内の範囲の各ビット位置で跨いだ少なくともひとつのビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
( Ｃ ) 上記データの組を符号で出力すると共に上記有効桁数を出力するステップ、
とを含むことを特徴とする符号化方法。 - 請求項１記載の符号化方法において更に、上記ディジタル信号のスペクトル包絡を表現するパラメータと上記ディジタル信号の平均パワーを求め、そのパラメータと平均パワーを示す符号を補助情報として上記可逆符号と上記有効桁数と共に出力するステップを含むことを特徴とする符号化方法。
- フレームごとにディジタル信号のサンプルを再生する復号化方法であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだ少なくともひとつのビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するステップと、
(b) 上記データの組からフレーム内の各サンプルの振幅ビットの列を生成するステップと、
(c) 上記生成したフレーム内の各サンプルの振幅ビットの列に対し、入力された有効桁数に応じた桁合せを行って、フレーム内のディジタル信号を再生するステップ、
とを含むことを特徴とする復号化方法。 - 上記ステップ (c) で再生された信号を暫定ディジタル信号とし、この暫定ディジタル信号を補正して復号ディジタル信号を得るステップ (d) をさらに有する請求項３記載の復号化方法であって、
このステップ (d) は、
(d-1) 入力された補助情報から復号スペクトル包絡と復号平均パワーとを復号して求めるステップと、
(d-2) 上記暫定ディジタル信号のスペクトル包絡を求めるステップと、
(d-3) 上記暫定ディジタル信号に、ステップ（ d-2 ）で求めたスペクトル包絡の逆特性を与えて平坦化信号を求め、
この平坦化信号の平均パワーと上記復号平均パワーとを用いて、上記暫定ディジタル信号のパワーを上記復号平均パワーに合わせる振幅補正を行い、
この振幅補正された平坦化信号に、上記復号スペクトル包絡の特性を与えて復号ディジタル信号を得るステップ、
から成ることを特徴とする復号化方法。 - 請求項４記載の復号化方法であって、
ステップ (d-3) は、 上記暫定ディジタル信号に、ステップ（ d-2 ）で求めたスペクトル包絡の逆特性を与えて平坦化信号を求め、
この平坦化信号に、上記復号スペクトル包絡の特性を与え、
この上記復号スペクトル包絡の特性が与えられた信号の平均パワーと上記復号平均パワーとを用いて、この上記復号スペクトル包絡の特性が与えられた信号の平均パワーを上記復号平均パワーに合わせる振幅補正を行って復号ディジタル信号を得るステップ
であることを特徴とする復号化方法。 - 請求項４又は５記載の復号化方法において更に、
(d-4) 上記復号ディジタル信号中のビットが上記データの組から再生されたディジタル信号のビットと異なる場合は、上記復号ディジタル信号中のビットを上記データの組から再生されたディジタル信号のビットに置き換えるステップを含むことを特徴とする復号化 方法。 - 複数のサンプルからなる各フレームごとにディジタル信号を符号化する符号器であり、
上記分割されたフレームごとに、そのディジタル信号の絶対値の最大値を表現する桁数を有効桁数として求めて出力する補助情報生成部と、
フレーム毎に上記ディジタル信号のサンプルをその有効桁数以内の範囲の各ビット位置で跨いだ少なくともひとつのビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成する並び替え部と、
上記データの組を符号で出力する出力手段、
とを含むことを特徴とする符号器。 - 請求項７記載の符号器において、上記補助情報生成部は、上記ディジタル信号のスペクトル包絡を表現するパラメータと上記ディジタル信号の平均パワーを符号化して補助情報として上記パケットと共に出力することも行うものであることを特徴とする符号器。
- 複数のサンプルから成る各フレーム毎にディジタル信号のサンプルを再生する復号器であり、
(a) 入力符号を復号してディジタル信号のサンプルをそれらの各ビット位置で跨いだ少なくともひとつのビット列の可逆データの複数の組、又は非可逆データとその非可逆データに由来する誤差信号の可逆データの組を生成するデータ生成手段と、
(b) 上記データの組からフレーム内の各サンプルの振幅ビットの列を生成する手段と、
(c) 上記生成したフレーム内の各サンプルの振幅ビットの列に対し、入力された有効桁数に応じた桁合せを行って、フレーム内のディジタル信号を再生する手段、
とを含むことを特徴とする復号器。 - 上記手段 (c) で再生された信号を暫定ディジタル信号とし、この暫定ディジタル信号を補正して復号ディジタル信号を得る手段 (d) をさらに有する請求項９記載の符号器であって、
この手段 (d) は、
(d-1) 入力された補助情報から復号スペクトル包絡と復号平均パワーとを復号して求める補助情報復号部と、
(d-2) 上記暫定ディジタル信号のスペクトル包絡を求めるスペクトル包絡算出部と、
(d-3) 上記暫定ディジタル信号に、上記暫定ディジタル信号のスペクトル包絡の逆特性を与えて平坦化信号を求め、
この平坦化信号の平均パワーと上記復号平均パワーとを用いて、上記ディジタル信号のパワーを上記復号平均パワーに合わせる振幅補正を行い、
この振幅補正された平坦化信号に、上記復号スペクトル包絡の特性を与えて復号ディジタル信号を得る手段、
から成ることを特徴とする復号器。 - 請求項１０記載の復号器であって、
上記復号ディジタル信号を得る手段は、 上記暫定ディジタル信号に、上記暫定ディジタル信号のスペクトル包絡の逆特性を与えて平坦化信号を求め、
この平坦化信号に、上記復号スペクトル包絡の特性を与え、
この上記復号スペクトル包絡の特性が与えられた信号の平均パワーと、上記復号平均パワーとを用いて、この上記復号スペクトル包絡の特性が与えられた信号の平均パワーを上記復号平均パワーに合わせる振幅補正を行って復号ディジタル信号を得る手段、
であることを特徴とする復号器。 - 請求項１０又は１１記載の復号器において更に、
(d-4) 上記復号ディジタル信号中のビットが上記データの組から再生されたディジタル信号のビットと異なる場合は、上記復号ディジタル信号中のビットを上記データの組から再生されたディジタル信号のビットに置き換える修正部を含むことを特徴とする復号器。 - 請求項１又は２記載の符号化方法の各処理をコンピュータに実行さ せるための符号化プログラム。
- 請求項３〜６の何れかに記載の復号化方法の各処理をコンピュータに実行させるための復号化プログラム。
- 請求項１３又は１４記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244408A JP3811110B2 (ja) | 2001-08-23 | 2002-08-23 | ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 |
Applications Claiming Priority (17)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001252475 | 2001-08-23 | ||
| JP2001-252475 | 2001-08-23 | ||
| JP2001366806 | 2001-11-30 | ||
| JP2001-366734 | 2001-11-30 | ||
| JP2001366734 | 2001-11-30 | ||
| JP2001-366806 | 2001-11-30 | ||
| JP2001368759 | 2001-12-03 | ||
| JP2001-368759 | 2001-12-03 | ||
| JP2002-52905 | 2002-02-28 | ||
| JP2002052905 | 2002-02-28 | ||
| JP2002-58448 | 2002-03-05 | ||
| JP2002-58521 | 2002-03-05 | ||
| JP2002058521 | 2002-03-05 | ||
| JP2002058448 | 2002-03-05 | ||
| JP2002064037 | 2002-03-08 | ||
| JP2002-64037 | 2002-03-08 | ||
| JP2002244408A JP3811110B2 (ja) | 2001-08-23 | 2002-08-23 | ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006106021A Division JP4351684B2 (ja) | 2001-08-23 | 2006-04-07 | ディジタル信号復号化方法、装置、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003332914A JP2003332914A (ja) | 2003-11-21 |
| JP3811110B2 true JP3811110B2 (ja) | 2006-08-16 |
Family
ID=29716432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002244408A Expired - Lifetime JP3811110B2 (ja) | 2001-08-23 | 2002-08-23 | ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3811110B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1762099B (zh) | 2003-04-28 | 2010-10-13 | 日本电信电话株式会社 | 浮点数字信号的可逆编码方法、解码方法及其装置 |
| JP4049792B2 (ja) | 2003-06-20 | 2008-02-20 | 日本電信電話株式会社 | 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム |
| CN101494460B (zh) | 2003-09-02 | 2012-07-11 | 日本电信电话株式会社 | 浮点信号的编码方法、解码方法及其编码器、解码器 |
| US8255213B2 (en) | 2006-07-12 | 2012-08-28 | Panasonic Corporation | Speech decoding apparatus, speech encoding apparatus, and lost frame concealment method |
| WO2008072524A1 (ja) * | 2006-12-13 | 2008-06-19 | Panasonic Corporation | オーディオ信号符号化方法及び復号化方法 |
| US8665945B2 (en) | 2009-03-10 | 2014-03-04 | Nippon Telegraph And Telephone Corporation | Encoding method, decoding method, encoding device, decoding device, program, and recording medium |
| JP4705685B2 (ja) * | 2009-06-12 | 2011-06-22 | 日本電信電話株式会社 | 信号の符号化装置、復号化装置、方法、プログラム、および記録媒体 |
| JP6021498B2 (ja) * | 2012-08-01 | 2016-11-09 | 任天堂株式会社 | データ圧縮装置、データ圧縮プログラム、データ圧縮システム、データ圧縮方法、データ伸張装置、データ圧縮伸張システム、および圧縮データのデータ構造 |
| EP2757559A1 (en) | 2013-01-22 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
| JP7286894B2 (ja) * | 2019-02-07 | 2023-06-06 | 国立大学法人山梨大学 | 信号変換システム、機械学習システムおよび信号変換プログラム |
-
2002
- 2002-08-23 JP JP2002244408A patent/JP3811110B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003332914A (ja) | 2003-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7337112B2 (en) | Digital signal coding and decoding methods and apparatuses and programs therefor | |
| US11315579B2 (en) | Metadata driven dynamic range control | |
| US8311815B2 (en) | Method, apparatus, and program for encoding digital signal, and method, apparatus, and program for decoding digital signal | |
| JP5027799B2 (ja) | 符号化効率向上のためのパラメータの適応グループ化 | |
| US7617110B2 (en) | Lossless audio decoding/encoding method, medium, and apparatus | |
| US6675148B2 (en) | Lossless audio coder | |
| TWI515720B (zh) | 壓縮數位化音訊信號之方法、解碼已編碼壓縮數位化音訊信號之方法、及機器可讀儲存媒體 | |
| US7848931B2 (en) | Audio encoder | |
| KR100518640B1 (ko) | 라이스인코더/디코더를사용한데이터압축/복원장치및방법 | |
| KR100717600B1 (ko) | 오디오 파일 포맷 변환 | |
| WO1996037048A2 (en) | Lossless coding method for waveform data | |
| EA001087B1 (ru) | Многоканальный прогнозирующий кодировщик поддиапазона, использующий психоакустическое адаптивное распределение бит | |
| JP4800379B2 (ja) | 最大ビットレートを保証する情報の無損失符号化 | |
| JP3960932B2 (ja) | ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム | |
| KR20060135699A (ko) | 신호 복호화 장치 및 신호 복호화 방법 | |
| WO2005098822A2 (en) | Scalable lossless audio codec and authoring tool | |
| JP3811110B2 (ja) | ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 | |
| WO2014096236A2 (en) | Signal adaptive fir/iir predictors for minimizing entropy | |
| Yang et al. | A lossless audio compression scheme with random access property | |
| JP4351684B2 (ja) | ディジタル信号復号化方法、装置、プログラム及び記録媒体 | |
| US5812982A (en) | Digital data encoding apparatus and method thereof | |
| JPH1020897A (ja) | 適応変換符号化方式および適応変換復号方式 | |
| JP4195598B2 (ja) | 符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、復号化プログラム | |
| JP2853824B2 (ja) | 音声のパラメータ情報符号化法 | |
| Dai Yang et al. | A lossless audio compression scheme with random access property |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040716 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3811110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090602 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140602 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |