JP4507046B2 - データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4507046B2 JP4507046B2 JP2001016869A JP2001016869A JP4507046B2 JP 4507046 B2 JP4507046 B2 JP 4507046B2 JP 2001016869 A JP2001016869 A JP 2001016869A JP 2001016869 A JP2001016869 A JP 2001016869A JP 4507046 B2 JP4507046 B2 JP 4507046B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- tap
- prediction
- decoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画質の良い画像や、音質の良い音声等を復号することができるようにするデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、画像の画質や音声の音質を向上させる方法として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、例えば、いま、画像を対象とすると、適応処理では、例えば、低画質の画像の画素値と、所定のタップ係数との線形結合により、高画質の画像の画素値の予測値を求めることで、低画質の画像が、高画質の画像に変換される。
【０００５】
具体的には、例えば、いま、ある高画質の画像を教師データとするとともに、その高画質の画像を、例えば、JPEG(Joint Photographic Experts Group)方式やMPEG(Moving Picture Experts Group)方式等によって符号化し、さらに、その符号化データを復号して得られる、画質の低下した復号画像を生徒データとして、教師データである高画質の画素値ｙの予測値Ｅ［ｙ］を、生徒データである低画質の画素値の幾つかｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０００７】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０００９】
式（２）の観測方程式に最小自乗法を適用して、画質の良い画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００１１】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００１２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１３】
【数４】
・・・（４）
【００１４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
・・・（５）
【００１６】
式（４）および（５）より、式（６）が得られる。
【数６】
・・・（６）
【００１７】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１８】
【数７】
・・・（７）
【００１９】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００２０】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、統計的な予測誤差を最小にするタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２１】
以上のようにして、統計的な予測誤差を最小にするタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、高画質の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２２】
なお、例えば、教師データとして、符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データを符号化し、さらに復号して得られる復号画像を用いた場合、タップ係数としては、符号化された画像データを、元の画像データに復号するのに、予測誤差が統計的に最小となるものが得られることになる。
【００２３】
また、例えば、教師データとして、符号化する画像よりも高解像度の画像を用いるとともに、生徒データとして、その教師データの解像度を、符号化する画像と同一画質に劣化させ、それを符号化して復号することにより得られる復号画像を用いた場合、タップ係数としては、符号化された画像データを、高解像度の画像データに復号するのに、予測誤差が統計的に最小となるものが得られることになる。
【００２４】
従って、この場合、適応処理によれば、教師データまたは生徒データとなる画像を変えることで、復号画像の画質を任意に調整することの可能なタップ係数を得ることができる。
【００２５】
なお、適応処理は、学習によって、予測誤差が統計的に最小になるタップ係数が用いられる点、およびそのようなタップ係数を用いることにより、符号化される画像には含まれていない高周波数成分が再現されることがある点等において、フィルタによる単なるフィルタリングとは大きく異なる。
【００２６】
【発明が解決しようとする課題】
以上から、符号化データを復号した復号画像を対象に、クラス分類適応処理を行った場合には、画質を向上させた復号画像を得ることができる。
【００２７】
しかしながら、符号化データを復号した復号画像の画質が、例えば、符号化データを伝送する伝送路の状態や、画像データの符号化時における圧縮率等に起因して大きく劣化している場合には、復号画像だけを用いてクラス分類適応処理を行っても、その画質を十分に改善することが困難なことがあった。
【００２８】
本発明は、このような状況に鑑みてなされたものであり、品質が十分に改善されたデータを得ることができるようにするものである。
【００２９】
【課題を解決するための手段】
本発明のデータ処理装置は、符号化データを復号し、復号データを出力する復号手段と、復号データを符号化し、再符号化データを出力する再符号化手段と、再符号化データを復号し、再復号データを出力する再復号手段と、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成手段と、タップ係数を取得するタップ係数取得手段と、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測手段とを備えることを特徴とする。
【００３０】
本発明のデータ処理方法は、符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを備えることを特徴とする。
【００３１】
本発明のプログラムは、コンピュータに、データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを含む処理を実行させることを特徴とする。
【００３２】
本発明の記録媒体は、コンピュータに、データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを含む処理を実行させるためのプログラムが記録されていることを特徴とする。
【００４１】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体においては、符号化データが復号され、その結果得られる復号データが符号化され、その結果得られる再符号化データが復号され、再復号データが出力される。そして、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップが、復号データと再復号データとから生成され、タップ係数が取得され、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値が求められる。
【００４４】
【発明の実施の形態】
図１は、本発明を適用したデータ伝送システムの一実施の形態の構成例を示している。
【００４５】
伝送すべきデータは、エンコーダ１に供給されるようになっており、エンコーダ１は、そこに供給されるデータを、例えば、所定の符号化方式にしたがって符号化し、符号化データとする。この符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体４を介して伝送される。
【００４６】
デコーダ２は、記録媒体３または伝送媒体４を介して提供される符号化データを受信して復号し、その結果得られる復号データを出力する。復号データが、例えば、画像データである場合には、その画像データは、例えば、図示せぬディスプレイに供給されて表示される。また、符号化データが、例えば、音声データである場合には、その音声データは、例えば、図示せぬスピーカに供給されて出力される。
【００４７】
次に、図２は、図１のデコーダ２の構成例を示している。
【００４８】
符号化データは、復号部２１に供給されるようになっており、復号部２１は、例えば、エンコーダ１における符号化方式に対応する復号方式にしたがって、符号化データを復号し、その結果得られる復号データを、符号化部２２とクラス分類適応処理回路２４に供給する。さらに、復号部２１は、符号化データを復号する過程において得られる情報を、付加情報として、クラス分類適応処理回路２４に供給する。
【００４９】
符号化部２２は、復号部２１から供給される復号データを、例えば、図１のエンコーダ１におけるのと同一の符号化方式にしたがって符号化（再符号化）し、再符号化データを得る。この再符号化データは、符号化部２２から復号部２３に供給される。
【００５０】
復号部２３は、例えば、復号部２１と同様にして、符号化部２２からの再符号化データを復号し、その結果得られる復号データを、クラス分類適応処理回路２４に供給する。さらに、復号部２３は、再符号化データを復号する過程において得られる情報を、付加情報として、クラス分類適応処理回路２４に供給する。
【００５１】
ここで、以下、適宜、最初の復号を行う復号部２１が出力する復号データを第１復号データと、２番目の復号を行う復号部２３が出力する復号データを第２復号データと、それぞれ記述する。同様に、以下、適宜、最初の復号を行う復号部２１が出力する付加情報を第１付加情報と、２番目の復号を行う復号部２３が出力する付加情報を第２付加情報と、それぞれ記述する。また、以下、適宜、第１復号データと第２復号データをまとめて、単に、復号データとも記述する。同様に、以下、適宜、第１付加情報と第２付加情報をまとめて、単に、付加情報とも記述する。
【００５２】
クラス分類適応処理回路２４は、復号部２１から供給される第１復号データと第１付加情報、さらには、復号部２３から供給される第２復号データと第２付加情報を用いて、クラス分類適応処理を行い、符号化データの最終的な復号結果としての復号データ（以下、適宜、最終的な復号データという）を出力する。
【００５３】
従って、クラス分類適応処理回路２４では、符号化データを復号して得られる第１復号データの他、その復号過程で得られる第１付加情報、さらには、第１復号データを再符号化し、その再符号化データを復号した第２復号データ、および再符号化データを復号する過程で得られる第２付加情報を用いて、クラス分類適応処理が行われるので、第１復号データの品質が大きく劣化している場合であっても、最終的な復号データとして、十分に品質が改善されたものを得ることが可能となる。
【００５４】
なお、復号部２３の後段には、符号化部２２と復号部２３のセットと同様のセットを、１以上設けることができ、これにより、クラス分類適応処理回路２４には、第２復号データを符号化し、その結果得られる符号化データを復号した第３復号データや、その復号過程で得られる第３付加情報を供給して、クラス分類適応処理を行わせることが可能である。
【００５５】
次に、図３は、図２のクラス分類適応処理回路２４の構成例を示している。
【００５６】
第１復号データ、第１付加情報、第２復号データ、および第２付加情報は、タップ生成部３１と３２に供給される。
【００５７】
タップ生成部３１は、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、後述する予測部３５における予測演算に用いられる予測タップとなるものを生成する。即ち、タップ生成部３１は、例えば、品質を改善しようとして注目している注目データに対して、時間的または空間的に近い位置にある第１復号データと第２復号データを抽出するととともに、その第１復号データと第２復号データの復号にそれぞれ用いられた第１付加情報と第２付加情報を抽出し、その抽出したデータ（情報）を、予測タップとして、予測部３５に供給する。
【００５８】
タップ生成部３２は、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、後述するクラス分類部３３におけるクラス分類に用いられるクラスタップとなるものを生成する。即ち、タップ生成部３２は、例えば、注目データについて、タップ生成部３１で生成される予測タップと同一構成のクラスタップを生成し、クラス分類部３５に供給する。
【００５９】
なお、ここでは、説明を簡単にするために、同一のクラスタップおよび予測タップを構成するようにしたが、クラスタップと予測タップとは、異なる構成とすること、即ち、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、異なるデータを抽出して生成することが可能である。
【００６０】
クラス分類部３３は、タップ生成部３２からのクラスタップに基づき、注目データについてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数メモリ３４に出力する。
【００６１】
係数メモリ３４は、後述する図６の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部３３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部３５に出力する。
【００６２】
予測部３５は、タップ生成部３１が出力する予測タップと、係数メモリ３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、注目データについて品質を改善したデータ、即ち、注目データを高品質にしたものの予測値を求めて出力する。
【００６３】
次に、図４は、図３のクラス分類部３３の構成例を示している。
【００６４】
クラス分類部３３は、例えば、図４（Ａ）に示すように、ADRC(Adaptive Dynamic Range Coding)回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃで構成することができる。
【００６５】
この場合、ADRC回路４１Ａと４１Ｂは、クラスタップを構成する復号データと付加情報をそれぞれKビットADRC処理し、その結果得られるADRCコードを、合成回路４１Ｃに出力する。
【００６６】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する情報の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する情報がKビットに再量子化される。即ち、クラスタップを構成する各情報から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各情報のKビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００６７】
合成回路４１Ｃは、ADRC回路４１Ａが出力する復号データのADRCコードと、ADRC回路４１Ｂが出力する付加情報のADRCコードとを、１つのコードに合成し、クラスコードとして出力する。
【００６８】
ここで、後述するように、クラスタップを構成する付加情報は、１種類とは限らないが、付加情報が複数種類存在する場合には、ADRC回路４１Ｂでは、その複数種類の付加情報それぞれについて、ADRC処理が行われ、複数のADRCコードが出力される。そして、合成回路４１Ｃでは、その複数のADRCコードから、１つのコードが生成される。後述する図４（Ｂ）乃至図４（Ｃ）それぞれに示すクラス分類部３３においても同様である。
【００６９】
次に、クラス分類部３３は、例えば、図４（Ｂ）に示すように、演算器４２Ａおよび４２Ｂと、図４（Ａ）に示したADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃとから構成することもできる。
【００７０】
即ち、この場合、演算器４２Ａは、クラスタップを構成する第１復号データと、その第１復号データに対応する第２復号データとの差分を演算し、その差分値を、ADRC回路４１Ａに供給する。演算器４２Ｂは、クラスタップを構成する第１付加情報と、その第１付加情報に対応する第２付加情報との差分を演算し、その差分値を、ADRC回路４１Ｂに出力する。
【００７１】
ここで、第１復号データに対応する第２復号データとは、例えば、復号データが画像である場合には、第１復号データとして得られた復号画素と同一の、第２復号データとして得られた復号画素を意味する。即ち、あるフレームｆにおける位置（ｘ，ｙ）における第１復号データと第２復号データとしての復号画素を、それぞれ、ｐ１（ｆ，ｘ，ｙ）とｐ２（ｆ，ｘ，ｙ）と表すこととすると、第１復号データｐ１（ｆ，ｘ，ｙ）に対応する第２復号データとは、ｐ２（ｆ，ｘ，ｙ）を意味する。
【００７２】
また、第１付加情報に対応する第２付加情報とは、例えば、復号データが後述するCELP(Code Excited Liner Prediction coding)方式で復号された音声データであり、かつ、付加情報が、その復号の過程で得られる線形予測係数である場合には、第１付加情報として得られた線形予測係数と同一次数の、第２付加情報として得られた線形予測係数を意味する。即ち、あるフレーム（またはサブフレーム）ｆにおける第１復号データと第２復号データとしての音声の復号に用いられる第ｐ次の線形予測係数を、それぞれ、α１（ｆ，ｐ）とα２（ｆ，ｐ）と表すこととすると、第１付加情報α１（ｆ，ｐ）に対応する第２付加情報とは、α２（ｆ，ｐ）を意味する。さらに、例えば、復号データが、後述するJPEG方式で復号された画像データであり、かつ付加情報が、その復号の過程で得られるDCT係数である場合には、第１付加情報に対応する第２付加情報とは、第１付加情報として得られたDCT係数と同一空間周波数成分の、第２付加情報として得られたDCT係数を意味する。即ち、あるフレームｆの、ある８×８のブロックｂにおける位置（ｘ，ｙ）の第１付加情報と第２付加情報としてのDCT係数を、それぞれ、ｄ１（ｆ，ｂ，ｘ，ｙ）とｄ２（ｆ，ｂ，ｘ，ｙ）と表すこととすると、第１付加情報ｄ１（ｆ，ｂ，ｘ，ｙ）に対応する第２付加情報とは、ｄ２（ｆ，ｂ，ｘ，ｙ）を意味する。
【００７３】
以下、第１復号データと第２復号データの差分値、および第１付加情報と第２付加情報との差分値について、図４（Ａ）における場合と同様の処理が行われ、クラスコードが求められる。
【００７４】
さらに、クラス分類回路３３は、例えば、図４（Ｃ）に示すように構成することも可能である。
【００７５】
この場合も、図４（Ｂ）における場合と同様に、演算器４２Ａにおいて、第１復号データと第２復号データとの差分値が求められるとともに、演算器４２Ｂにおいて、第１付加情報と第２付加情報との差分値が求められる。
【００７６】
第１復号データと第２復号データとの差分値は、演算器４２Ａから極性判別回路４３Ｃに供給され、極性判別回路４３Ｃは、第１復号データと第２復号データとの差分値の極性（符号）を判別し、その極性に応じて、０または１を、合成回路４３Ｅに出力する。
【００７７】
また、第１付加情報と第２付加情報との差分値は、演算器４２Ｂから極性判別回路４３Ｄに供給され、極性判別回路４３Ｄは、第１付加情報と第２付加情報との差分値の極性を判別し、やはり、その極性に応じて、０または１を、合成回路４３Ｅに出力する。
【００７８】
合成回路４３Ｅは、極性判別回路４３Ｃと４４Ｃそれぞれからの、極性に対応する０または１の系列を、１つのコードに合成し、クラスコードとして出力する。
【００７９】
さらに、クラス分類部３３は、図４（Ｄ）に示すように、遅延回路４４Ａおよび４４Ｂ、並びに演算器４４Ｃおよび４４Ｄと、図４（Ａ）に示したADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃとから構成することも可能である。
【００８０】
この場合、遅延回路４４Ａは、クラスタップを構成する復号データを、例えば、１サンプル分の時間だけ遅延して、演算器４４Ｃに供給する。演算器４４Ｃは、クラスタップを構成する復号データと、遅延回路４４Ａからの、その復号データを遅延したものとの差分を演算し、その差分値を、ADRC回路４１Ａに供給する。
【００８１】
一方、遅延回路４４Ｂは、クラスタップを構成する付加情報を、例えば、１サンプル分の時間だけ遅延して、演算器４４Ｄに供給する。演算器４４Ｄは、クラスタップを構成する付加情報と、遅延回路４４Ｂからの、その付加情報を遅延したものとの差分を演算し、その差分値を、ADRC回路４１Ｂに供給する。
【００８２】
以下、ADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃでは、上述の差分値を対象に、図４（Ａ）における場合と同様の処理が行われ、クラスコードが出力される。
【００８３】
なお、クラス分類部３３は、その他、例えば、図４（Ａ）乃至図４（Ｄ）に示した回路のうちの任意の２以上の出力を１つのコードに合成して出力する回路によって構成することも可能である。
【００８４】
さらに、クラス分類部３３は、図４に示した回路以外の回路によって構成することも可能である。即ち、例えば、符号化データが、JPEGやMPEG符号化されたもののような、その復号過程において、直交変換係数の１つであるDCT(Discrete Cosine Transform)係数が得られるものであり、クラスタップを構成する付加情報に、そのようなDCT係数が含まれる場合には、クラス分類部３３は、８×８のブロックのDCT係数から得られる画像のアクティビティに基づくクラスコードを出力したり、注目している画素のブロック内の位置に基づくクラスコードを出力したりするように構成することが可能である。また、クラス分類部３３は、例えば、クラスタップを構成する復号データや付加情報のベクトル量子化結果を、クラスコードとして出力するように構成すること等も可能である。
【００８５】
次に、図５のフローチャートを参照して、図２のデコーダ２の処理（復号処理）について説明する。
【００８６】
復号部２１は、エンコーダ１における符号化方式に対応する復号方式にしたがって、符号化データを復号し、その結果得られる第１復号データを、符号化部２２とクラス分類適応処理回路２４に供給する。さらに、復号部２１は、符号化データを復号する過程において得られる情報を、第１付加情報として、クラス分類適応処理回路２４に供給する。符号化部２２は、復号部２１から供給される符号化データを再符号化し、その結果得られる再符号化データを、復号部２３に供給する。復号部２３は、復号部２１と同様にして、符号化部２２からの再符号化データを復号し、その結果得られる第２復号データを、クラス分類適応処理回路２４に供給する。さらに、復号部２３は、再符号化データを復号する過程において得られる情報を、第２付加情報として、クラス分類適応処理回路２４に供給する。
【００８７】
クラス分類適応処理回路２４（図３）では、ステップＳ１において、タップ生成部３１が、そこに供給される第１復号データを、順次、注目データとし、例えば、その注目データに対して、時間的または空間的に近い位置にある第１復号データ、注目データに対応する第２復号データに対して、時間的または空間的に近い位置にある第２復号データ、注目データの復号過程で得られた第１付加情報、注目データに対応する第２復号データの復号過程で得られた第２付加情報から、注目データについての予測タップを生成し、予測部３５に出力する。さらに、ステップＳ１では、タップ生成部３２が、例えば、タップ生成部３１と同様にして、注目データについてのクラスタップを生成し、クラス分類部３３に出力する。
【００８８】
そして、ステップＳ２に進み、クラス分類部３３は、タップ生成部３２から供給されるクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、係数メモリ３４に供給して、ステップＳ３に進む。
【００８９】
ステップＳ３では、係数メモリ３４は、クラス分類部３３から供給されるクラスコードに対応するアドレスから、タップ係数を読み出し、予測部３５に供給する。
【００９０】
そして、ステップＳ４に進み、予測部３５は、係数メモリ３４が出力するタップ係数を取得し、そのタップ係数と、タップ生成部３１からの予測タップとを用いて、式（１）に示した積和演算を行い、注目データを高品質にしたデータ（の予測値）を得て、ステップＳ５に進む。
【００９１】
ステップＳ５では、まだ、注目データとして処理すべき第１復号データがあるかどうかが判定され、あると判定された場合、ステップＳ１に戻り、次に注目データとすべき第１復号データを、新たに注目データとして、以下、同様の処理を繰り返す。また、ステップＳ５において、注目データとして処理すべきデータがないと判定された場合、処理を終了する。
【００９２】
次に、図６は、図３の係数メモリ３４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【００９３】
学習装置には、図１のエンコーダ１において符号化の対象とされるデータの、例えば、高品質のものが、学習用データとして供給される。この学習用データは、学習の教師となる教師データとして、生徒データ生成部５１と正規方程式加算回路６０に供給される。
【００９４】
生徒データ生成部５１は、そこに供給される教師データから、学習の生徒となる生徒データを生成する。
【００９５】
即ち、生徒データ生成部５１は、符号化部５２、媒体特性反映部５３、復号部５４、符号化部５５、および復号部５６から構成される。
【００９６】
符号化部５２は、教師データを、図１のエンコーダ１と同様にして符号化し、その結果得られる符号化データを、媒体特性反映部５３に供給する。媒体特性反映部５３は、図１の記録媒体３または伝送媒体４を介することによって信号に付加される雑音等を、符号化部５２からの符号化データに付加し（反映し）、復号部５４に供給する。
【００９７】
復号部５４、符号化部５５、復号部５６は、図２に示したデコーダ２の復号部２１、符号化部２２、復号部２３とそれぞれ同様に構成される。従って、復号部５４、符号化部５５、復号部５６では、媒体特性反映部５３が出力する符号化データが、図２の復号部２１、符号化部２２、復号部２３それぞれにおける場合と同様に処理され、その結果、復号部５４は、第１復号データおよび第１付加情報を、復号部５６は、第２復号データおよび第２付加情報を、それぞれ、生徒データとして出力する。この生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報は、タップ生成部５７および５８に供給される。
【００９８】
なお、図２のデコーダ２は、上述したように、復号部２３の後段に、符号化部２２と復号部２３のセットと同様のセットを、１以上設けて構成することができるが、この場合、図６の学習装置の生徒データ生成部５１は、デコーダ２と同様に、復号部５４の後段に、符号化部５５と復号部５６のセットと同様のセットを、１以上設けて構成する必要がある。
【００９９】
タップ生成部５７は、図３のクラス分類適応処理回路２４のタップ生成部３１と同様に構成され、そこに供給される生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報から、タップ生成部３１における場合と同様にして、予測タップを生成し、正規方程式加算回路６０に供給する。
【０１００】
タップ生成部５８は、図３のクラス分類適応処理回路２４のタップ生成部３２と同様に構成され、そこに供給される生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報から、タップ生成部３２における場合と同様にして、クラスタップを生成し、クラス分類部５９に供給する。
【０１０１】
クラス分類部５９は、タップ生成部５８から供給されるクラスタップに基づいて、図３のクラス分類適応処理回路２４のクラス分類部３３における場合と同様のクラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路６０に供給する。
【０１０２】
正規方程式加算回路６０は、そこに供給される教師データを、順次、注目教師データとして、タップ生成部５７から供給される、注目教師データについて生成された予測タップと、注目教師データを対象とした足し込みを、クラス分類部５９から供給されるクラスコードが表すクラスごとに行う。
【０１０３】
即ち、正規方程式加算回路６０は、クラス分類部５９から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１０４】
さらに、正規方程式加算回路６０は、やはり、クラス分類部５９から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目教師データを用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと注目教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１０５】
正規方程式加算回路６０は、以上の足し込みを、そこに供給される教師データすべてを注目教師データとして行い、これにより、各クラスについて、式（８）に示した正規方程式をたてる。
【０１０６】
タップ係数決定回路６１は、正規方程式加算回路６０においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ６２の、各クラスに対応するアドレスに供給する。
【０１０７】
なお、学習用データの量や内容等によっては、正規方程式加算回路６０において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６１は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１０８】
係数メモリ６２は、タップ係数決定回路６１から供給されるクラスごとのタップ係数を記憶する。
【０１０９】
次に、図７のフローチャートを参照して、図６の学習装置の処理（学習処理）について説明する。
【０１１０】
学習装置には、学習用データが供給され、この学習用データは、教師データとして、生徒データ生成部５１と正規方程式加算回路６０に供給される。そして、ステップＳ１１において、生徒データ生成部５１は、教師データから、生徒データを生成する。
【０１１１】
即ち、ステップＳ１１では、符号化部５２が、教師データを、図１のエンコーダ１と同様に符号化し、その結果得られる符号化データを、媒体特性反映部５３を介して、復号部５４に供給する。復号部５４は、そこに供給される符号化データを復号し、その結果得られる第１復号データを、符号化部５５に供給するとともに、生徒データとして、タップ生成部５７および５８に供給する。また、復号部５４は、符号化データを第１復号データに復号する過程において得られる第１付加情報も、生徒データとして、タップ生成部５７および５８に供給する。
【０１１２】
さらに、ステップＳ１１では、符号化部５５が、復号部５４からの第１復号データを再符号化し、その結果得られる再符号化データを、復号部５６に供給する。復号部５６は、符号化部５５からの再符号化データを復号し、その結果得られる第２復号データと、再符号化データを第２復号データに復号する過程において得られる第２付加情報を、生徒データとして、タップ生成部５７および５８に供給する。
【０１１３】
その後、正規方程式加算回路６０において、そこに供給される教師データが注目教師データとされ、ステップＳ１２に進み、タップ生成部５７と５８が、そこに供給される生徒データから、注目教師データについて、予測タップとクラスタップを、それぞれ生成する。タップ生成部５７で生成された予測タップは、正規方程式加算回路６１に供給され、タップ生成部５８で生成されたクラスタップは、クラス分類部５９に供給される。
【０１１４】
そして、ステップＳ１３に進み、クラス分類部５９が、タップ生成部５８からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路６０に供給して、ステップＳ１４に進む。
【０１１５】
ステップＳ１４では、正規方程式加算回路６０は、クラス分類部５９から供給されるクラスコードが表すクラスについて、そこに供給される注目教師データと、タップ生成部５７から供給される予測タップを構成する生徒データを対象とした、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行い、ステップＳ１５に進む。
【０１１６】
ステップＳ１５では、まだ、注目教師データとして処理すべき教師データがあるかどうかが判定され、あると判定された場合、ステップＳ１１に戻り、例えば、次に供給される教師データを新たに注目教師データとして、以下、同様の処理が繰り返される。
【０１１７】
また、ステップＳ１５において、注目教師データとして処理すべき教師データがないと判定された場合、即ち、例えば、正規方程式加算回路６０において、各クラスについて、正規方程式が得られた場合、ステップＳ１６に進み、タップ係数決定回路６１は、各クラスごとに生成された正規方程式を解くことにより、各クラスごとのタップ係数を求め、係数メモリ６２の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１１８】
以上のようにして、係数メモリ６２に記憶された各クラスごとのタップ係数が、図３の係数メモリ３４に記憶されている。
【０１１９】
従って、図３の係数メモリ３４に記憶されたタップ係数は、線形予測演算を行うことにより得られる、学習用データと同様の品質のデータの予測値について、その予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図３の予測部３５が出力する最終的な復号データは、学習用データと同様の品質のものとなる。
【０１２０】
次に、図８は、図１のデータ伝送システムが、音声信号（音声データ）をCELP（例えば、VSELP(Vector Sum Excited Liner Prediction)，PSI-CELP(Pitch Synchronous Innovation CELP)，CS-ACELP(Conjugate Structure Algebraic CELP)等の各種のCELPを含む）方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、上述したことから、図１のエンコーダ１が図８に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図８に示したのと同様に構成される。
【０１２１】
符号化の対象となる音声信号（人の発話の他、曲等の信号も含む）は、例えば、アナログの音声信号を、８ｋＨｚ等のサンプリング周波数でサンプリングすることにより、ディジタルの音声信号にＡ／Ｄ変換し、さらに、所定のビット数で量子化を行って得られたもので、演算器７１とＬＰＣ(Liner Prediction Coefficient)分析部７２に供給される。
【０１２２】
ＬＰＣ分析部７２は、そこに供給される符号化対象の音声信号を、例えば、１６０サンプル分の長さのフレームごとにＬＰＣ分析し、Ｐ次の線形予測係数α1，α2，・・・，αPを求める。そして、ＬＰＣ分析部７２は、このＰ次の線形予測係数αp（ｐ＝１，２，・・・，Ｐ）を要素とするベクトルを、音声の特徴ベクトルとして、ベクトル量子化部７３に供給する。
【０１２３】
ベクトル量子化部７３は、線形予測係数を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、ＬＰＣ分析部７２からの特徴ベクトルαをベクトル量子化し、そのベクトル量子化の結果得られるコード（以下、適宜、Ａコード(A_code)という）を、コード決定部８３に供給する。
【０１２４】
さらに、ベクトル量子化部７３は、Ａコードに対応するコードベクトルα’を構成する要素となっている線形予測係数α1’，α2’，・・・，αP’を、音声合成フィルタ７４に供給する。
【０１２５】
音声合成フィルタ７４は、例えば、ＩＩＲ(Infinite Impulse Response)型のディジタルフィルタで、ベクトル量子化部７３からの線形予測係数αp’（ｐ＝１，２，・・・，Ｐ）をＩＩＲフィルタのタップ係数とするとともに、演算器８２から供給される残差信号ｅを入力信号として、音声合成を行う。
【０１２６】
即ち、ＬＰＣ分析部７２で行われるＬＰＣ分析は、現在時刻ｎの音声信号（のサンプル値）ｓn、およびこれに隣接する過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pに、式
ｓn＋α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P＝en
・・・（９）
で示す線形１次結合が成立すると仮定し、現在時刻ｎのサンプル値ｓnの予測値（線形予測値）ｓn’を、過去のＰ個の標本値ｓn-1，ｓn-2，・・・，ｓn-Pを用いて、式
ｓn’＝−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１０）
によって線形予測したときに、実際のサンプル値ｓnと線形予測値ｓn’との間の自乗誤差を最小にする線形予測係数αpを求めるものである。
【０１２７】
ここで、式（９）において、｛en｝（・・・，en-1，en，en+1，・・・）は、平均値が０で、分散が所定値σ2の互いに無相関な確率変数である。
【０１２８】
式（９）から、サンプル値ｓnは、式
ｓn＝en−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１１）
で表すことができ、これを、Ｚ変換すると、次式が成立する。
【０１２９】
Ｓ＝Ｅ／（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）
・・・（１２）
但し、式（１２）において、ＳとＥは、式（１１）におけるｓnとｅnのＺ変換を、それぞれ表す。
【０１３０】
ここで、式（９）および（１０）から、ｅnは、式
ｅn＝ｓn−ｓn’
・・・（１３）
で表すことができ、実際のサンプル値ｓnと線形予測値ｓn’との間の残差信号と呼ばれる。
【０１３１】
従って、式（１２）から、線形予測係数αpをＩＩＲフィルタのタップ係数とするとともに、残差信号ｅnをＩＩＲフィルタの入力信号とすることにより、音声信号ｓnを求めることができる。
【０１３２】
そこで、音声合成フィルタ７４は、上述したように、ベクトル量子化部７３からの線形予測係数αp’をタップ係数とするとともに、演算器８２から供給される残差信号ｅを入力信号として、式（１２）を演算し、音声信号（合成音信号）ｓｓを求める。
【０１３３】
なお、音声合成フィルタ７４では、ＬＰＣ分析部７２によるＬＰＣ分析の結果得られる線形予測係数αpではなく、そのベクトル量子化の結果得られるコードに対応するコードベクトルとしての線形予測係数αp’が用いられるため、音声合成フィルタ７４が出力する合成音信号は、LPC分析前の音声信号とは、基本的に同一にはならない。
【０１３４】
音声合成フィルタ７４が出力する合成音信号ｓｓは、演算器７１に供給される。演算器７１は、音声合成フィルタ７４からの合成音信号ｓｓから、元の音声信号ｓを減算し、その減算値を、自乗誤差演算部７５に供給する。自乗誤差演算部７５は、演算器７１からの減算値の自乗和（第ｋフレームのサンプル値についての自乗和）を演算し、その結果得られる自乗誤差を、自乗誤差最小判定部７６に供給する。
【０１３５】
自乗誤差最小判定部７６は、自乗誤差演算部７５が出力する自乗誤差に対応付けて、ラグを表すコードとしてのＬコード(L_code)、ゲインを表すコードとしてのＧコード(G_code)、および符号語（励起コードブック）を表すコードとしてのＩコード(I_code)を記憶しており、自乗誤差演算部７５が出力する自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力する。Ｌコードは、適応コードブック記憶部７７に、Ｇコードは、ゲイン復号器７８に、Ｉコードは、励起コードブック記憶部７９に、それぞれ供給される。さらに、Ｌコード、Ｇコード、およびＩコードは、コード決定部８３にも供給される。
【０１３６】
適応コードブック記憶部７７は、例えば７ビットのＬコードと、所定の遅延時間（ラグ）とを対応付けた適応コードブックを記憶しており、演算器８２から供給される残差信号ｅを、自乗誤差最小判定部７６から供給されるＬコードに対応付けられた遅延時間だけ遅延して、演算器８０に出力する。
【０１３７】
ここで、適応コードブック記憶部７７は、残差信号ｅを、Ｌコードに対応する時間だけ遅延して出力することから、その出力信号は、その遅延時間を周期とする周期信号に近い信号となる。この信号は、線形予測係数を用いた音声合成において、主として、有声音の合成音を生成するための駆動信号となる。
【０１３８】
ゲイン復号器７８は、Ｇコードと、所定のゲインβおよびγとを対応付けたテーブルを記憶しており、自乗誤差最小判定部７６から供給されるＧコードに対応付けられたゲインβおよびγを出力する。ゲインβとγは、演算器８０と８１に、それぞれ供給される。ここで、ゲインβは、長期フィルタ状態出力ゲインと呼ばれるものであり、また、ゲインγは、励起コードブックゲインと呼ばれるものである。
【０１３９】
励起コードブック記憶部７９は、例えば９ビットのＩコードと、所定の励起信号とを対応付けた励起コードブックを記憶しており、自乗誤差最小判定部７６から供給されるＩコードに対応付けられた励起信号を、演算器８１に出力する。
【０１４０】
ここで、励起コードブックに記憶されている励起信号は、例えば、ホワイトノイズ等に近い信号であり、線形予測係数を用いた音声合成において、主として、無声音の合成音を生成するための駆動信号となる。
【０１４１】
演算器８０は、適応コードブック記憶部７７の出力信号と、ゲイン復号器７８が出力するゲインβとを乗算し、その乗算値ｌを、演算器８２に供給する。演算器８１は、励起コードブック記憶部７９の出力信号と、ゲイン復号器７８が出力するゲインγとを乗算し、その乗算値ｎを、演算器８２に供給する。演算器８２は、演算器８０からの乗算値ｌと、演算器８１からの乗算値ｎとを加算し、その加算値を、残差信号ｅとして、音声合成フィルタ７４と適応コードブック記憶部７７に供給する。
【０１４２】
音声合成フィルタ７４では、以上のようにして、演算器８２から供給される残差信号ｅが、ベクトル量子化部７３から供給される線形予測係数αp’をタップ係数とするＩＩＲフィルタでフィルタリングされ、その結果得られる合成音信号が、演算器７１に供給される。そして、演算器７１および自乗誤差演算部７５において、上述の場合と同様の処理が行われ、その結果得られる自乗誤差が、自乗誤差最小判定部７６に供給される。
【０１４３】
自乗誤差最小判定部７６は、自乗誤差演算部７５からの自乗誤差が最小（極小）になったかどうかを判定する。そして、自乗誤差最小判定部７６は、自乗誤差が最小になっていないと判定した場合、上述のように、その自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力し、以下、同様の処理が繰り返される。
【０１４４】
一方、自乗誤差最小判定部７６は、自乗誤差が最小になったと判定した場合、確定信号を、コード決定部８３に出力する。コード決定部８３は、ベクトル量子化部７３から供給されるＡコードをラッチするとともに、自乗誤差最小判定部７６から供給されるＬコード、Ｇコード、およびＩコードを順次ラッチするようになっており、自乗誤差最小判定部７６から確定信号を受信すると、そのときラッチしているＡコード、Ｌコード、Ｇコード、およびＩコードを、チャネルエンコーダ８４に供給する。チャネルエンコーダ８４は、コード決定部８３からのＡコード、Ｌコード、Ｇコード、およびＩコードを多重化し、その多重化結果であるコードデータを、符号化データとして出力する。
【０１４５】
なお、以下では、説明を簡単にするため、Ａコード、Ｌコード、Ｇコード、およびＩコードは、フレームごとに求められるものとする。但し、例えば、１フレームを、４つのサブフレームに分割し、Ｌコード、Ｇコード、およびＩコードは、サブフレームごとに求めるようにすること等が可能である。
【０１４６】
ここで、図８（後述する図９においても同様）では、各変数に、[k]が付され、配列変数とされている。このkは、フレーム数を表すが、明細書中では、その記述は、適宜省略する。
【０１４７】
次に、図９は、図１のエンコーダ１が図８に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、上述したことから、図２の復号部２１が図９に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図９に示したのと同様に構成される。
【０１４８】
図８のエンコーダ１が出力する符号化データとしてのコードデータは、チャネルデコーダ９１で受信される。チャネルデコーダ９１は、コードデータから、Ｌコード、Ｇコード、Ｉコード、Ａコードを分離し、それぞれを、適応コードブック記憶部９２、ゲイン復号器９３、励起コードブック記憶部９４、フィルタ係数復号器９５に供給する。
【０１４９】
適応コードブック記憶部９２、ゲイン復号器９３、励起コードブック記憶部９４、演算器９６乃至９８は、図８の適応コードブック記憶部７７、ゲイン復号器７８、励起コードブック記憶部７９、演算器８０乃至８２とそれぞれ同様に構成されるもので、図８で説明した場合と同様の処理が行われることにより、Ｌコード、Ｇコード、およびＩコードが、残差信号ｅに復号される。この残差信号ｅは、音声合成フィルタ９９に対して、入力信号として与えられるとともに、適応コードブック記憶部９２に供給される。
【０１５０】
フィルタ係数復号器９５は、図８のベクトル量子化部７３が記憶しているのと同一のコードブックを記憶しており、Ａコードを、線形予測係数αp’に復号し、音声合成フィルタ９９に供給する。
【０１５１】
音声合成フィルタ９９は、図８の音声合成フィルタ７４と同様に構成されており、フィルタ係数復号器９５からの線形予測係数αp’をタップ係数とするとともに、演算器９８から供給される残差信号ｅを入力信号として、式（１２）を演算し、これにより、図８の自乗誤差最小判定部７６において自乗誤差が最小と判定されたときの合成音信号を生成する。この合成音信号は、符号化データの復号結果（復号データ）として出力される。
【０１５２】
一方、付加情報出力部１００は、上述のように、符号化データを、復号データとしての合成音信号に復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１５３】
即ち、付加情報出力部１００には、チャネルデコーダ９１が出力するＬコード、Ｇコード、Ｉコード、およびＡコードや、ゲイン復号器９３が出力するゲインβおよびγ、フィルタ係数復号器９５が出力する線形予測係数αp、演算器９６が出力する演算結果l、演算器９７が出力する演算結果γ、演算器９８が出力する残差信号e等が供給されるようになっており、付加情報出力部１００は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１５４】
次に、図１０は、図１のデータ伝送システムが、静止画の画像データをJPEG方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、図１のエンコーダ１が図１０に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図１０に示したのと同様に構成される。
【０１５５】
符号化対象の画像データは、ブロック化回路１１１に入力され、ブロック化回路１１１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１１１で得られる各ブロックは、ＤＣＴ回路１１２に供給される。ＤＣＴ回路１１２は、ブロック化回路１１１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路１１２から量子化回路１１３に供給される。
【０１５６】
量子化回路１１３は、所定の量子化テーブルにしたがって、ＤＣＴ回路１１２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路１１４に供給する。
【０１５７】
ここで、量子化回路１１３において用いられる量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０１５８】
また、ＪＰＥＧ符号化において、どのような量子化テーブルを用いるかは、例えば、ユーザが設定する圧縮率等に基づいて決定される。
【０１５９】
エントロピー符号化回路１１４は、量子化回路１１３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路１１３からの量子化テーブルを付加し、その結果得られる符号化データを出力する。
【０１６０】
次に、図１１は、図１のエンコーダ１が図１０に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、図２の復号部２１が図１１に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図１１に示したのと同様に構成される。
【０１６１】
符号化データは、エントロピー復号回路１２１に入力され、エントロピー復号回路１２１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１２１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２２に供給する。逆量子化回路１２２は、エントロピー復号回路１２１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１２１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１２３に供給する。逆ＤＣＴ回路１２３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果得られる８×８画素の復号ブロックを、ブロック分解回路１２４に供給する。ブロック分解回路１２４は、逆ＤＣＴ回路１２３からの復号ブロックのブロック化を解くことで、復号画像データを得て出力する。
【０１６２】
一方、付加情報出力部１２５は、上述のように、符号化データを、復号画像データに復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１６３】
即ち、付加情報出力部１２５には、エントロピー復号回路１２１が出力する量子化テーブルおよび量子化ＤＣＴ係数や、逆量子化回路１２２が出力するＤＣＴ係数等が供給されるようになっており、付加情報出力部１２５は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１６４】
次に、図１２は、図１のデータ伝送システムが、動画の画像データをMPEG2方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、図１のエンコーダ１が図１２に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図１２に示したのと同様に構成される。
【０１６５】
ＭＰＥＧ符号化の対象である動画を構成するフレーム（またはフィールド）は、順次、動き検出回路１３１と演算器１３２に供給される。
【０１６６】
動き検出回路１３１は、そこに供給されるフレームについて、マクロブロック単位で、動きベクトルを検出し、エントロピー符号化回路１３６および動き補償回路１４０に供給する。
【０１６７】
演算器１３２は、そこに供給される画像が、Ｉ(Intra)ピクチャであれば、そのままブロック化回路１３３に供給し、Ｐ(Predictive)またはＢ(Bidirectionally predictive)ピクチャであれば、動き補償回路１４０から供給される参照画像との差分を演算して、その差分値を、ブロック化回路１３３に供給する。
【０１６８】
ブロック化回路１３３は、演算器１３２の出力を、８×８画素の画素ブロックにブロック化し、ＤＣＴ回路１３４に供給する。ＤＣＴ回路１３４は、ブロック化回路１３３からの画素ブロックをＤＣＴ処理し、その結果得られるＤＣＴ係数を、量子化回路１３５に供給する。量子化回路１３５は、ＤＣＴ回路１３３からのブロック単位のＤＣＴ係数を所定の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数を、用いた量子化テーブルとともに、エントロピー符号化回路１３６に供給する。エントロピー符号化回路１３６は、量子化回路１３５からの量子化ＤＣＴ係数をエントロピー符号化し、動き検出回路１３１からの動きベクトルや、量子化回路１３５からの量子化テーブル、その他の必要な情報（例えば、MPEGストリームの各レイヤのヘッダとなる情報など）を付加して、その結果得られる符号化データを、ＭＰＥＧ符号化結果として出力する。
【０１６９】
量子化回路１３５が出力する量子化ＤＣＴ係数のうち、ＩピクチャおよびＰピクチャは、後で符号化されるＰピクチャやＢピクチャの参照画像として用いるのにローカルデコードする必要があるため、エントロピー符号化回路１３６の他、逆量子化回路１３７にも供給される。また、逆量子化回路１３７には、量子化回路１３５で用いられた量子化テーブルも供給される。
【０１７０】
逆量子化回路１３７は、量子化回路１３５からの量子化ＤＣＴ係数を、同じく量子化回路１３５からの量子化テーブルにしたがって逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１３８に供給する。逆ＤＣＴ回路１３８は、逆量子化回路１３７からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１３９に出力する。演算器１３９には、逆ＤＣＴ回路１３８の出力の他、動き補償回路１４０が出力する参照画像も供給されるようになっており、演算器１３９は、逆ＤＣＴ回路１３８の出力が、Ｐピクチャのものである場合には、その出力と、動き補償回路１４０の出力とを加算することで、元の画像を復号し、動き補償回路１４０に供給する。また、演算器１３９は、逆ＤＣＴ回路１３８の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、動き補償回路１４０に供給する。
【０１７１】
動き補償回路１４０は、演算器１３９から供給される、ローカルデコードされた画像に対して、動き検出回路１３１からの動きベクトルにしたがった動き補償を施し、その動き補償後の画像を、参照画像として、演算器１３２および９９に供給する。
【０１７２】
次に、図１３は、図１のエンコーダ１が図１２に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、図２の復号部２１が図１３に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図１３に示したのと同様に構成される。
【０１７３】
符号化データは、エントロピー復号回路１５１に供給され、エントロピー復号回路１５１は、符号化データをエントロピー復号し、量子化ＤＣＴ係数を得るとともに、その符号化データに含まれる動きベクトル、量子化テーブル、その他の必要な情報を分離する。そして、量子化ＤＣＴ係数および量子化テーブルは、逆量子化回路１５２に供給され、動きベクトルは、動き補償回路１５６に供給される。
【０１７４】
逆量子化回路１５２は、エントロピー復号回路１５１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１５３に供給する。逆ＤＣＴ回路１５３は、逆量子化回路１５２からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１５４に出力する。演算器１５４には、逆量子化回路１５３の出力の他、動き補償回路１５６が出力する、既に復号されたＩピクチャまたはＰピクチャを、エントロピー復号回路１５１からの動きベクトルにしたがって動き補償したものが参照画像として供給されるようになっており、演算器１５４は、逆ＤＣＴ回路１５３の出力が、ＰまたはＢピクチャのものである場合には、その出力と、動き補償回路１５６の出力とを加算することで、元の画像を復号し、ブロック分解回路１５５に供給する。また、演算器１５４は、逆ＤＣＴ回路１５３の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、ブロック分解回路１５５に供給する。
【０１７５】
ブロック分解回路１５５は、演算器１５４から画素ブロック単位で供給される復号画像のブロック化を解くことで、復号画像データを得て出力する。
【０１７６】
また、動き補償回路１５６は、演算器１５４が出力する復号画像のうちのＩピクチャとＰピクチャを受信し、エントロピー復号回路１５１からの動きベクトルにしたがった動き補償を施す。そして、動き補償回路１５６は、その動き補償後の画像を、参照画像として、演算器１５４に供給する。
【０１７７】
一方、付加情報出力部１５７は、上述のように、符号化データを、復号画像データに復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１７８】
即ち、付加情報出力部１５７には、エントロピー復号回路１５１が出力する量子化テーブル、量子化ＤＣＴ係数、および動きベクトルや、逆量子化回路１２２が出力するＤＣＴ係数が供給されるようになっている。さらに、付加情報出力部１５７には、エントロピー復号回路１５１が符号化データをエントロピー復号することにより得られるMPEGストリームの各レイヤに配置された情報（例えば、ピクチャタイプや、ブロックの位置情報、フレームＤＣＴモード／フィールドＤＣＴモードの別など）も供給されるようになっている。付加情報出力部１５７は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８０】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１８２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８７】
なお、本発明は、特定の符号化／復号方式に限定されることなく適用可能である。即ち、本実施の形態においては、CELP方式、JPEG方式、MPEG2方式について説明したが、本発明は、その他、例えば、M-JPEG(Motion JPEG)方式や、MPEG1,4，MP3(MPEG-1 Audio Layer 3)方式、ATRAC（Adaptive TRansform Acoustic Coding)方式等の種々の符号化／復号方式に適用可能である。
【０１８８】
また、本実施の形態では、符号化データを、その符号化方式に対応した復号方式によって復号するようにしたが、符号化データの復号は、クラス分類適応処理によって行うことが可能である。クラス分類適応処理による符号化データの復号は、符号化の対象とするデータを教師データとするとともに、そのデータを符号化した符号化データを生徒データとして学習を行うことによって得られるタップ係数を用いることで行うことが可能である。
【０１８９】
さらに、本実施の形態では、タップ係数を用いた線形１次予測演算によって、高品質のデータの予測値を求めるようにしたが、この予測値は、その他、２次以上の高次の予測演算によって求めることも可能である。
【０１９０】
また、本実施の形態では、デコーダ２のクラス分類適応処理回路２４において、品質を向上させるためのタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２に提供するようにすることが可能である。
【０１９１】
さらに、本実施の形態では、予測タップを、第１復号データおよび第２復号データの他、第１付加情報および第２付加情報から生成するようにしたが、予測タップは、その他、例えば、第１復号データおよび第２復号データだけから生成するようにすること等が可能である。クラスタップについても、同様である。
【０１９２】
【発明の効果】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体によれば、符号化データが復号され、その結果得られる復号データが符号化され、その結果得られる再符号化データが復号され、再復号データが出力される。そして、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップが、復号データと再復号データとから生成され、タップ係数が取得され、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値が求められる。従って、例えば、品質が十分に改善されたデータを得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したデータ伝送システムの一実施の形態の構成例を示す図である。
【図２】デコーダ２の構成例を示すブロック図である。
【図３】クラス分類適応処理回路２４の構成例を示すブロック図である。
【図４】クラス分類部３３および５９の構成例を示すブロック図である。
【図５】デコーダ２の処理を説明するフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】学習装置の処理を説明するフローチャートである。
【図８】エンコーダ１、符号化部２２，５２、および５５の第１の構成例を示すブロック図である。
【図９】復号部２１，２３，５４、および５６の第１の構成例を示すブロック図である。
【図１０】エンコーダ１、符号化部２２，５２、および５５の第２の構成例を示すブロック図である。
【図１１】復号部２１，２３，５４、および５６の第２の構成例を示すブロック図である。
【図１２】エンコーダ１、符号化部２２，５２、および５５の第３の構成例を示すブロック図である。
【図１３】復号部２１，２３，５４、および５６の第３の構成例を示すブロック図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ デコーダ， ３ 記録媒体， ４ 伝送媒体， ２１復号部， ２２ 符号化部， ２３ 復号部， ２４ クラス分類適応処理回路， ３１，３２ タップ生成部， ３３ クラス分類部， ３４ 係数メモリ， ３５ 予測部， ４１Ａ，４１Ｂ ADRC回路， ４１Ｃ 合成回路， ４２Ａ，４２Ｂ 演算器， ４３Ｃ，４３Ｄ 極性判別回路， ４３Ｅ 合成回路，４４Ａ，４４Ｂ 遅延回路， ４４Ｃ，４４Ｄ 演算器， ５１ 生徒データ生成部， ５２ 符号化部， ５３ 媒体特性反映部， ５４ 復号部， ５５符号化部， ５６ 復号部， ５７，５８ タップ生成部， ５９ クラス分類部， ６０ 正規方程式加算回路， ６１ タップ決定回路， ６２ 係数メモリ， ７１ 演算器， ７２ ＬＰＣ分析部， ７３ ベクトル量子化部， ７４ 音声合成フィルタ， ７５ 自乗誤差演算部， ７６ 自乗誤差最小判定部， ７７ 適応コードブック記憶部， ７８ ゲイン復号器， ７９ 励起コードブック記憶部， ８０乃至８２ 演算器， ８３ コード決定部， ８４ チャネルエンコーダ， ９１ チャンネルデコーダ， ９２ 適応コードブック記憶部， ９３ ゲイン復号器， ９４ 励起コードブック記憶部， ９５ フィルタ係数復号器， ９６乃至９８ 演算器， ９９ 音声合成フィルタ， １００ 付加情報出力部， １１１ ブロック化回路， １１２ ＤＣＴ回路， １１３ 量子化回路， １１４ エントロピー符号化部， １２１ エントロピー復号回路， １２２ 逆量子化回路， １２３ 逆ＤＣＴ回路， １２４ ブロック分解回路， １２５ 付加情報出力部， １３１ 動き検出回路， １３２ 演算器， １３３ ブロック化回路， １３４ ＤＣＴ回路， １３５ 量子化回路， １３６ エントロピー符号化回路， １３７ 逆量子化回路， １３８ 逆ＤＣＴ回路， １３９ 演算器， １４０ 動き補償回路， １５１ エントロピー復号回路， １５２ 逆量子化回路， １５３ 逆ＤＣＴ回路， １５４ 演算器， １５５ ブロック分解回路， １５６ 動き補償回路， １５７ 付加情報出力部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース，２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画質の良い画像や、音質の良い音声等を復号することができるようにするデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、画像の画質や音声の音質を向上させる方法として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、例えば、いま、画像を対象とすると、適応処理では、例えば、低画質の画像の画素値と、所定のタップ係数との線形結合により、高画質の画像の画素値の予測値を求めることで、低画質の画像が、高画質の画像に変換される。
【０００５】
具体的には、例えば、いま、ある高画質の画像を教師データとするとともに、その高画質の画像を、例えば、JPEG(Joint Photographic Experts Group)方式やMPEG(Moving Picture Experts Group)方式等によって符号化し、さらに、その符号化データを復号して得られる、画質の低下した復号画像を生徒データとして、教師データである高画質の画素値ｙの予測値Ｅ［ｙ］を、生徒データである低画質の画素値の幾つかｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０００７】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０００９】
式（２）の観測方程式に最小自乗法を適用して、画質の良い画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００１０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００１１】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
【００１２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１３】
【数４】
【００１４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
【００１６】
式（４）および（５）より、式（６）が得られる。
【数６】
【００１７】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１８】
【数７】
【００１９】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００２０】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、統計的な予測誤差を最小にするタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２１】
以上のようにして、統計的な予測誤差を最小にするタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、高画質の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２２】
なお、例えば、教師データとして、符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データを符号化し、さらに復号して得られる復号画像を用いた場合、タップ係数としては、符号化された画像データを、元の画像データに復号するのに、予測誤差が統計的に最小となるものが得られることになる。
【００２３】
また、例えば、教師データとして、符号化する画像よりも高解像度の画像を用いるとともに、生徒データとして、その教師データの解像度を、符号化する画像と同一画質に劣化させ、それを符号化して復号することにより得られる復号画像を用いた場合、タップ係数としては、符号化された画像データを、高解像度の画像データに復号するのに、予測誤差が統計的に最小となるものが得られることになる。
【００２４】
従って、この場合、適応処理によれば、教師データまたは生徒データとなる画像を変えることで、復号画像の画質を任意に調整することの可能なタップ係数を得ることができる。
【００２５】
なお、適応処理は、学習によって、予測誤差が統計的に最小になるタップ係数が用いられる点、およびそのようなタップ係数を用いることにより、符号化される画像には含まれていない高周波数成分が再現されることがある点等において、フィルタによる単なるフィルタリングとは大きく異なる。
【００２６】
【発明が解決しようとする課題】
以上から、符号化データを復号した復号画像を対象に、クラス分類適応処理を行った場合には、画質を向上させた復号画像を得ることができる。
【００２７】
しかしながら、符号化データを復号した復号画像の画質が、例えば、符号化データを伝送する伝送路の状態や、画像データの符号化時における圧縮率等に起因して大きく劣化している場合には、復号画像だけを用いてクラス分類適応処理を行っても、その画質を十分に改善することが困難なことがあった。
【００２８】
本発明は、このような状況に鑑みてなされたものであり、品質が十分に改善されたデータを得ることができるようにするものである。
【００２９】
【課題を解決するための手段】
本発明のデータ処理装置は、符号化データを復号し、復号データを出力する復号手段と、復号データを符号化し、再符号化データを出力する再符号化手段と、再符号化データを復号し、再復号データを出力する再復号手段と、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成手段と、タップ係数を取得するタップ係数取得手段と、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測手段とを備えることを特徴とする。
【００３０】
本発明のデータ処理方法は、符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを備えることを特徴とする。
【００３１】
本発明のプログラムは、コンピュータに、データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを含む処理を実行させることを特徴とする。
【００３２】
本発明の記録媒体は、コンピュータに、データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、復号データを符号化し、再符号化データを出力する再符号化ステップと、再符号化データを復号し、再復号データを出力する再復号ステップと、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、復号データと、再復号データとから生成する予測タップ生成ステップと、タップ係数を取得するタップ係数取得ステップと、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値を求める予測ステップとを含む処理を実行させるためのプログラムが記録されていることを特徴とする。
【００４１】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体においては、符号化データが復号され、その結果得られる復号データが符号化され、その結果得られる再符号化データが復号され、再復号データが出力される。そして、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップが、復号データと再復号データとから生成され、タップ係数が取得され、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値が求められる。
【００４４】
【発明の実施の形態】
図１は、本発明を適用したデータ伝送システムの一実施の形態の構成例を示している。
【００４５】
伝送すべきデータは、エンコーダ１に供給されるようになっており、エンコーダ１は、そこに供給されるデータを、例えば、所定の符号化方式にしたがって符号化し、符号化データとする。この符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体４を介して伝送される。
【００４６】
デコーダ２は、記録媒体３または伝送媒体４を介して提供される符号化データを受信して復号し、その結果得られる復号データを出力する。復号データが、例えば、画像データである場合には、その画像データは、例えば、図示せぬディスプレイに供給されて表示される。また、符号化データが、例えば、音声データである場合には、その音声データは、例えば、図示せぬスピーカに供給されて出力される。
【００４７】
次に、図２は、図１のデコーダ２の構成例を示している。
【００４８】
符号化データは、復号部２１に供給されるようになっており、復号部２１は、例えば、エンコーダ１における符号化方式に対応する復号方式にしたがって、符号化データを復号し、その結果得られる復号データを、符号化部２２とクラス分類適応処理回路２４に供給する。さらに、復号部２１は、符号化データを復号する過程において得られる情報を、付加情報として、クラス分類適応処理回路２４に供給する。
【００４９】
符号化部２２は、復号部２１から供給される復号データを、例えば、図１のエンコーダ１におけるのと同一の符号化方式にしたがって符号化（再符号化）し、再符号化データを得る。この再符号化データは、符号化部２２から復号部２３に供給される。
【００５０】
復号部２３は、例えば、復号部２１と同様にして、符号化部２２からの再符号化データを復号し、その結果得られる復号データを、クラス分類適応処理回路２４に供給する。さらに、復号部２３は、再符号化データを復号する過程において得られる情報を、付加情報として、クラス分類適応処理回路２４に供給する。
【００５１】
ここで、以下、適宜、最初の復号を行う復号部２１が出力する復号データを第１復号データと、２番目の復号を行う復号部２３が出力する復号データを第２復号データと、それぞれ記述する。同様に、以下、適宜、最初の復号を行う復号部２１が出力する付加情報を第１付加情報と、２番目の復号を行う復号部２３が出力する付加情報を第２付加情報と、それぞれ記述する。また、以下、適宜、第１復号データと第２復号データをまとめて、単に、復号データとも記述する。同様に、以下、適宜、第１付加情報と第２付加情報をまとめて、単に、付加情報とも記述する。
【００５２】
クラス分類適応処理回路２４は、復号部２１から供給される第１復号データと第１付加情報、さらには、復号部２３から供給される第２復号データと第２付加情報を用いて、クラス分類適応処理を行い、符号化データの最終的な復号結果としての復号データ（以下、適宜、最終的な復号データという）を出力する。
【００５３】
従って、クラス分類適応処理回路２４では、符号化データを復号して得られる第１復号データの他、その復号過程で得られる第１付加情報、さらには、第１復号データを再符号化し、その再符号化データを復号した第２復号データ、および再符号化データを復号する過程で得られる第２付加情報を用いて、クラス分類適応処理が行われるので、第１復号データの品質が大きく劣化している場合であっても、最終的な復号データとして、十分に品質が改善されたものを得ることが可能となる。
【００５４】
なお、復号部２３の後段には、符号化部２２と復号部２３のセットと同様のセットを、１以上設けることができ、これにより、クラス分類適応処理回路２４には、第２復号データを符号化し、その結果得られる符号化データを復号した第３復号データや、その復号過程で得られる第３付加情報を供給して、クラス分類適応処理を行わせることが可能である。
【００５５】
次に、図３は、図２のクラス分類適応処理回路２４の構成例を示している。
【００５６】
第１復号データ、第１付加情報、第２復号データ、および第２付加情報は、タップ生成部３１と３２に供給される。
【００５７】
タップ生成部３１は、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、後述する予測部３５における予測演算に用いられる予測タップとなるものを生成する。即ち、タップ生成部３１は、例えば、品質を改善しようとして注目している注目データに対して、時間的または空間的に近い位置にある第１復号データと第２復号データを抽出するととともに、その第１復号データと第２復号データの復号にそれぞれ用いられた第１付加情報と第２付加情報を抽出し、その抽出したデータ（情報）を、予測タップとして、予測部３５に供給する。
【００５８】
タップ生成部３２は、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、後述するクラス分類部３３におけるクラス分類に用いられるクラスタップとなるものを生成する。即ち、タップ生成部３２は、例えば、注目データについて、タップ生成部３１で生成される予測タップと同一構成のクラスタップを生成し、クラス分類部３５に供給する。
【００５９】
なお、ここでは、説明を簡単にするために、同一のクラスタップおよび予測タップを構成するようにしたが、クラスタップと予測タップとは、異なる構成とすること、即ち、第１復号データ、第１付加情報、第２復号データ、および第２付加情報から、異なるデータを抽出して生成することが可能である。
【００６０】
クラス分類部３３は、タップ生成部３２からのクラスタップに基づき、注目データについてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数メモリ３４に出力する。
【００６１】
係数メモリ３４は、後述する図６の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部３３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部３５に出力する。
【００６２】
予測部３５は、タップ生成部３１が出力する予測タップと、係数メモリ３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、注目データについて品質を改善したデータ、即ち、注目データを高品質にしたものの予測値を求めて出力する。
【００６３】
次に、図４は、図３のクラス分類部３３の構成例を示している。
【００６４】
クラス分類部３３は、例えば、図４（Ａ）に示すように、ADRC(Adaptive Dynamic Range Coding)回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃで構成することができる。
【００６５】
この場合、ADRC回路４１Ａと４１Ｂは、クラスタップを構成する復号データと付加情報をそれぞれKビットADRC処理し、その結果得られるADRCコードを、合成回路４１Ｃに出力する。
【００６６】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する情報の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する情報がKビットに再量子化される。即ち、クラスタップを構成する各情報から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各情報のKビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００６７】
合成回路４１Ｃは、ADRC回路４１Ａが出力する復号データのADRCコードと、ADRC回路４１Ｂが出力する付加情報のADRCコードとを、１つのコードに合成し、クラスコードとして出力する。
【００６８】
ここで、後述するように、クラスタップを構成する付加情報は、１種類とは限らないが、付加情報が複数種類存在する場合には、ADRC回路４１Ｂでは、その複数種類の付加情報それぞれについて、ADRC処理が行われ、複数のADRCコードが出力される。そして、合成回路４１Ｃでは、その複数のADRCコードから、１つのコードが生成される。後述する図４（Ｂ）乃至図４（Ｃ）それぞれに示すクラス分類部３３においても同様である。
【００６９】
次に、クラス分類部３３は、例えば、図４（Ｂ）に示すように、演算器４２Ａおよび４２Ｂと、図４（Ａ）に示したADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃとから構成することもできる。
【００７０】
即ち、この場合、演算器４２Ａは、クラスタップを構成する第１復号データと、その第１復号データに対応する第２復号データとの差分を演算し、その差分値を、ADRC回路４１Ａに供給する。演算器４２Ｂは、クラスタップを構成する第１付加情報と、その第１付加情報に対応する第２付加情報との差分を演算し、その差分値を、ADRC回路４１Ｂに出力する。
【００７１】
ここで、第１復号データに対応する第２復号データとは、例えば、復号データが画像である場合には、第１復号データとして得られた復号画素と同一の、第２復号データとして得られた復号画素を意味する。即ち、あるフレームｆにおける位置（ｘ，ｙ）における第１復号データと第２復号データとしての復号画素を、それぞれ、ｐ１（ｆ，ｘ，ｙ）とｐ２（ｆ，ｘ，ｙ）と表すこととすると、第１復号データｐ１（ｆ，ｘ，ｙ）に対応する第２復号データとは、ｐ２（ｆ，ｘ，ｙ）を意味する。
【００７２】
また、第１付加情報に対応する第２付加情報とは、例えば、復号データが後述するCELP(Code Excited Liner Prediction coding)方式で復号された音声データであり、かつ、付加情報が、その復号の過程で得られる線形予測係数である場合には、第１付加情報として得られた線形予測係数と同一次数の、第２付加情報として得られた線形予測係数を意味する。即ち、あるフレーム（またはサブフレーム）ｆにおける第１復号データと第２復号データとしての音声の復号に用いられる第ｐ次の線形予測係数を、それぞれ、α１（ｆ，ｐ）とα２（ｆ，ｐ）と表すこととすると、第１付加情報α１（ｆ，ｐ）に対応する第２付加情報とは、α２（ｆ，ｐ）を意味する。さらに、例えば、復号データが、後述するJPEG方式で復号された画像データであり、かつ付加情報が、その復号の過程で得られるDCT係数である場合には、第１付加情報に対応する第２付加情報とは、第１付加情報として得られたDCT係数と同一空間周波数成分の、第２付加情報として得られたDCT係数を意味する。即ち、あるフレームｆの、ある８×８のブロックｂにおける位置（ｘ，ｙ）の第１付加情報と第２付加情報としてのDCT係数を、それぞれ、ｄ１（ｆ，ｂ，ｘ，ｙ）とｄ２（ｆ，ｂ，ｘ，ｙ）と表すこととすると、第１付加情報ｄ１（ｆ，ｂ，ｘ，ｙ）に対応する第２付加情報とは、ｄ２（ｆ，ｂ，ｘ，ｙ）を意味する。
【００７３】
以下、第１復号データと第２復号データの差分値、および第１付加情報と第２付加情報との差分値について、図４（Ａ）における場合と同様の処理が行われ、クラスコードが求められる。
【００７４】
さらに、クラス分類回路３３は、例えば、図４（Ｃ）に示すように構成することも可能である。
【００７５】
この場合も、図４（Ｂ）における場合と同様に、演算器４２Ａにおいて、第１復号データと第２復号データとの差分値が求められるとともに、演算器４２Ｂにおいて、第１付加情報と第２付加情報との差分値が求められる。
【００７６】
第１復号データと第２復号データとの差分値は、演算器４２Ａから極性判別回路４３Ｃに供給され、極性判別回路４３Ｃは、第１復号データと第２復号データとの差分値の極性（符号）を判別し、その極性に応じて、０または１を、合成回路４３Ｅに出力する。
【００７７】
また、第１付加情報と第２付加情報との差分値は、演算器４２Ｂから極性判別回路４３Ｄに供給され、極性判別回路４３Ｄは、第１付加情報と第２付加情報との差分値の極性を判別し、やはり、その極性に応じて、０または１を、合成回路４３Ｅに出力する。
【００７８】
合成回路４３Ｅは、極性判別回路４３Ｃと４４Ｃそれぞれからの、極性に対応する０または１の系列を、１つのコードに合成し、クラスコードとして出力する。
【００７９】
さらに、クラス分類部３３は、図４（Ｄ）に示すように、遅延回路４４Ａおよび４４Ｂ、並びに演算器４４Ｃおよび４４Ｄと、図４（Ａ）に示したADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃとから構成することも可能である。
【００８０】
この場合、遅延回路４４Ａは、クラスタップを構成する復号データを、例えば、１サンプル分の時間だけ遅延して、演算器４４Ｃに供給する。演算器４４Ｃは、クラスタップを構成する復号データと、遅延回路４４Ａからの、その復号データを遅延したものとの差分を演算し、その差分値を、ADRC回路４１Ａに供給する。
【００８１】
一方、遅延回路４４Ｂは、クラスタップを構成する付加情報を、例えば、１サンプル分の時間だけ遅延して、演算器４４Ｄに供給する。演算器４４Ｄは、クラスタップを構成する付加情報と、遅延回路４４Ｂからの、その付加情報を遅延したものとの差分を演算し、その差分値を、ADRC回路４１Ｂに供給する。
【００８２】
以下、ADRC回路４１Ａおよび４１Ｂ、並びに合成回路４１Ｃでは、上述の差分値を対象に、図４（Ａ）における場合と同様の処理が行われ、クラスコードが出力される。
【００８３】
なお、クラス分類部３３は、その他、例えば、図４（Ａ）乃至図４（Ｄ）に示した回路のうちの任意の２以上の出力を１つのコードに合成して出力する回路によって構成することも可能である。
【００８４】
さらに、クラス分類部３３は、図４に示した回路以外の回路によって構成することも可能である。即ち、例えば、符号化データが、JPEGやMPEG符号化されたもののような、その復号過程において、直交変換係数の１つであるDCT(Discrete Cosine Transform)係数が得られるものであり、クラスタップを構成する付加情報に、そのようなDCT係数が含まれる場合には、クラス分類部３３は、８×８のブロックのDCT係数から得られる画像のアクティビティに基づくクラスコードを出力したり、注目している画素のブロック内の位置に基づくクラスコードを出力したりするように構成することが可能である。また、クラス分類部３３は、例えば、クラスタップを構成する復号データや付加情報のベクトル量子化結果を、クラスコードとして出力するように構成すること等も可能である。
【００８５】
次に、図５のフローチャートを参照して、図２のデコーダ２の処理（復号処理）について説明する。
【００８６】
復号部２１は、エンコーダ１における符号化方式に対応する復号方式にしたがって、符号化データを復号し、その結果得られる第１復号データを、符号化部２２とクラス分類適応処理回路２４に供給する。さらに、復号部２１は、符号化データを復号する過程において得られる情報を、第１付加情報として、クラス分類適応処理回路２４に供給する。符号化部２２は、復号部２１から供給される符号化データを再符号化し、その結果得られる再符号化データを、復号部２３に供給する。復号部２３は、復号部２１と同様にして、符号化部２２からの再符号化データを復号し、その結果得られる第２復号データを、クラス分類適応処理回路２４に供給する。さらに、復号部２３は、再符号化データを復号する過程において得られる情報を、第２付加情報として、クラス分類適応処理回路２４に供給する。
【００８７】
クラス分類適応処理回路２４（図３）では、ステップＳ１において、タップ生成部３１が、そこに供給される第１復号データを、順次、注目データとし、例えば、その注目データに対して、時間的または空間的に近い位置にある第１復号データ、注目データに対応する第２復号データに対して、時間的または空間的に近い位置にある第２復号データ、注目データの復号過程で得られた第１付加情報、注目データに対応する第２復号データの復号過程で得られた第２付加情報から、注目データについての予測タップを生成し、予測部３５に出力する。さらに、ステップＳ１では、タップ生成部３２が、例えば、タップ生成部３１と同様にして、注目データについてのクラスタップを生成し、クラス分類部３３に出力する。
【００８８】
そして、ステップＳ２に進み、クラス分類部３３は、タップ生成部３２から供給されるクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、係数メモリ３４に供給して、ステップＳ３に進む。
【００８９】
ステップＳ３では、係数メモリ３４は、クラス分類部３３から供給されるクラスコードに対応するアドレスから、タップ係数を読み出し、予測部３５に供給する。
【００９０】
そして、ステップＳ４に進み、予測部３５は、係数メモリ３４が出力するタップ係数を取得し、そのタップ係数と、タップ生成部３１からの予測タップとを用いて、式（１）に示した積和演算を行い、注目データを高品質にしたデータ（の予測値）を得て、ステップＳ５に進む。
【００９１】
ステップＳ５では、まだ、注目データとして処理すべき第１復号データがあるかどうかが判定され、あると判定された場合、ステップＳ１に戻り、次に注目データとすべき第１復号データを、新たに注目データとして、以下、同様の処理を繰り返す。また、ステップＳ５において、注目データとして処理すべきデータがないと判定された場合、処理を終了する。
【００９２】
次に、図６は、図３の係数メモリ３４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【００９３】
学習装置には、図１のエンコーダ１において符号化の対象とされるデータの、例えば、高品質のものが、学習用データとして供給される。この学習用データは、学習の教師となる教師データとして、生徒データ生成部５１と正規方程式加算回路６０に供給される。
【００９４】
生徒データ生成部５１は、そこに供給される教師データから、学習の生徒となる生徒データを生成する。
【００９５】
即ち、生徒データ生成部５１は、符号化部５２、媒体特性反映部５３、復号部５４、符号化部５５、および復号部５６から構成される。
【００９６】
符号化部５２は、教師データを、図１のエンコーダ１と同様にして符号化し、その結果得られる符号化データを、媒体特性反映部５３に供給する。媒体特性反映部５３は、図１の記録媒体３または伝送媒体４を介することによって信号に付加される雑音等を、符号化部５２からの符号化データに付加し（反映し）、復号部５４に供給する。
【００９７】
復号部５４、符号化部５５、復号部５６は、図２に示したデコーダ２の復号部２１、符号化部２２、復号部２３とそれぞれ同様に構成される。従って、復号部５４、符号化部５５、復号部５６では、媒体特性反映部５３が出力する符号化データが、図２の復号部２１、符号化部２２、復号部２３それぞれにおける場合と同様に処理され、その結果、復号部５４は、第１復号データおよび第１付加情報を、復号部５６は、第２復号データおよび第２付加情報を、それぞれ、生徒データとして出力する。この生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報は、タップ生成部５７および５８に供給される。
【００９８】
なお、図２のデコーダ２は、上述したように、復号部２３の後段に、符号化部２２と復号部２３のセットと同様のセットを、１以上設けて構成することができるが、この場合、図６の学習装置の生徒データ生成部５１は、デコーダ２と同様に、復号部５４の後段に、符号化部５５と復号部５６のセットと同様のセットを、１以上設けて構成する必要がある。
【００９９】
タップ生成部５７は、図３のクラス分類適応処理回路２４のタップ生成部３１と同様に構成され、そこに供給される生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報から、タップ生成部３１における場合と同様にして、予測タップを生成し、正規方程式加算回路６０に供給する。
【０１００】
タップ生成部５８は、図３のクラス分類適応処理回路２４のタップ生成部３２と同様に構成され、そこに供給される生徒データとしての第１復号データおよび第１付加情報、並びに第２復号データおよび第２付加情報から、タップ生成部３２における場合と同様にして、クラスタップを生成し、クラス分類部５９に供給する。
【０１０１】
クラス分類部５９は、タップ生成部５８から供給されるクラスタップに基づいて、図３のクラス分類適応処理回路２４のクラス分類部３３における場合と同様のクラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路６０に供給する。
【０１０２】
正規方程式加算回路６０は、そこに供給される教師データを、順次、注目教師データとして、タップ生成部５７から供給される、注目教師データについて生成された予測タップと、注目教師データを対象とした足し込みを、クラス分類部５９から供給されるクラスコードが表すクラスごとに行う。
【０１０３】
即ち、正規方程式加算回路６０は、クラス分類部５９から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１０４】
さらに、正規方程式加算回路６０は、やはり、クラス分類部５９から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目教師データを用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと注目教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１０５】
正規方程式加算回路６０は、以上の足し込みを、そこに供給される教師データすべてを注目教師データとして行い、これにより、各クラスについて、式（８）に示した正規方程式をたてる。
【０１０６】
タップ係数決定回路６１は、正規方程式加算回路６０においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ６２の、各クラスに対応するアドレスに供給する。
【０１０７】
なお、学習用データの量や内容等によっては、正規方程式加算回路６０において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６１は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１０８】
係数メモリ６２は、タップ係数決定回路６１から供給されるクラスごとのタップ係数を記憶する。
【０１０９】
次に、図７のフローチャートを参照して、図６の学習装置の処理（学習処理）について説明する。
【０１１０】
学習装置には、学習用データが供給され、この学習用データは、教師データとして、生徒データ生成部５１と正規方程式加算回路６０に供給される。そして、ステップＳ１１において、生徒データ生成部５１は、教師データから、生徒データを生成する。
【０１１１】
即ち、ステップＳ１１では、符号化部５２が、教師データを、図１のエンコーダ１と同様に符号化し、その結果得られる符号化データを、媒体特性反映部５３を介して、復号部５４に供給する。復号部５４は、そこに供給される符号化データを復号し、その結果得られる第１復号データを、符号化部５５に供給するとともに、生徒データとして、タップ生成部５７および５８に供給する。また、復号部５４は、符号化データを第１復号データに復号する過程において得られる第１付加情報も、生徒データとして、タップ生成部５７および５８に供給する。
【０１１２】
さらに、ステップＳ１１では、符号化部５５が、復号部５４からの第１復号データを再符号化し、その結果得られる再符号化データを、復号部５６に供給する。復号部５６は、符号化部５５からの再符号化データを復号し、その結果得られる第２復号データと、再符号化データを第２復号データに復号する過程において得られる第２付加情報を、生徒データとして、タップ生成部５７および５８に供給する。
【０１１３】
その後、正規方程式加算回路６０において、そこに供給される教師データが注目教師データとされ、ステップＳ１２に進み、タップ生成部５７と５８が、そこに供給される生徒データから、注目教師データについて、予測タップとクラスタップを、それぞれ生成する。タップ生成部５７で生成された予測タップは、正規方程式加算回路６１に供給され、タップ生成部５８で生成されたクラスタップは、クラス分類部５９に供給される。
【０１１４】
そして、ステップＳ１３に進み、クラス分類部５９が、タップ生成部５８からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路６０に供給して、ステップＳ１４に進む。
【０１１５】
ステップＳ１４では、正規方程式加算回路６０は、クラス分類部５９から供給されるクラスコードが表すクラスについて、そこに供給される注目教師データと、タップ生成部５７から供給される予測タップを構成する生徒データを対象とした、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行い、ステップＳ１５に進む。
【０１１６】
ステップＳ１５では、まだ、注目教師データとして処理すべき教師データがあるかどうかが判定され、あると判定された場合、ステップＳ１１に戻り、例えば、次に供給される教師データを新たに注目教師データとして、以下、同様の処理が繰り返される。
【０１１７】
また、ステップＳ１５において、注目教師データとして処理すべき教師データがないと判定された場合、即ち、例えば、正規方程式加算回路６０において、各クラスについて、正規方程式が得られた場合、ステップＳ１６に進み、タップ係数決定回路６１は、各クラスごとに生成された正規方程式を解くことにより、各クラスごとのタップ係数を求め、係数メモリ６２の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１１８】
以上のようにして、係数メモリ６２に記憶された各クラスごとのタップ係数が、図３の係数メモリ３４に記憶されている。
【０１１９】
従って、図３の係数メモリ３４に記憶されたタップ係数は、線形予測演算を行うことにより得られる、学習用データと同様の品質のデータの予測値について、その予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図３の予測部３５が出力する最終的な復号データは、学習用データと同様の品質のものとなる。
【０１２０】
次に、図８は、図１のデータ伝送システムが、音声信号（音声データ）をCELP（例えば、VSELP(Vector Sum Excited Liner Prediction)，PSI-CELP(Pitch Synchronous Innovation CELP)，CS-ACELP(Conjugate Structure Algebraic CELP)等の各種のCELPを含む）方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、上述したことから、図１のエンコーダ１が図８に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図８に示したのと同様に構成される。
【０１２１】
符号化の対象となる音声信号（人の発話の他、曲等の信号も含む）は、例えば、アナログの音声信号を、８ｋＨｚ等のサンプリング周波数でサンプリングすることにより、ディジタルの音声信号にＡ／Ｄ変換し、さらに、所定のビット数で量子化を行って得られたもので、演算器７１とＬＰＣ(Liner Prediction Coefficient)分析部７２に供給される。
【０１２２】
ＬＰＣ分析部７２は、そこに供給される符号化対象の音声信号を、例えば、１６０サンプル分の長さのフレームごとにＬＰＣ分析し、Ｐ次の線形予測係数α1，α2，・・・，αPを求める。そして、ＬＰＣ分析部７２は、このＰ次の線形予測係数αp（ｐ＝１，２，・・・，Ｐ）を要素とするベクトルを、音声の特徴ベクトルとして、ベクトル量子化部７３に供給する。
【０１２３】
ベクトル量子化部７３は、線形予測係数を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、ＬＰＣ分析部７２からの特徴ベクトルαをベクトル量子化し、そのベクトル量子化の結果得られるコード（以下、適宜、Ａコード(A_code)という）を、コード決定部８３に供給する。
【０１２４】
さらに、ベクトル量子化部７３は、Ａコードに対応するコードベクトルα’を構成する要素となっている線形予測係数α1’，α2’，・・・，αP’を、音声合成フィルタ７４に供給する。
【０１２５】
音声合成フィルタ７４は、例えば、ＩＩＲ(Infinite Impulse Response)型のディジタルフィルタで、ベクトル量子化部７３からの線形予測係数αp’（ｐ＝１，２，・・・，Ｐ）をＩＩＲフィルタのタップ係数とするとともに、演算器８２から供給される残差信号ｅを入力信号として、音声合成を行う。
【０１２６】
即ち、ＬＰＣ分析部７２で行われるＬＰＣ分析は、現在時刻ｎの音声信号（のサンプル値）ｓn、およびこれに隣接する過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pに、式
ｓn＋α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P＝en
・・・（９）
で示す線形１次結合が成立すると仮定し、現在時刻ｎのサンプル値ｓnの予測値（線形予測値）ｓn’を、過去のＰ個の標本値ｓn-1，ｓn-2，・・・，ｓn-Pを用いて、式
ｓn’＝−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１０）
によって線形予測したときに、実際のサンプル値ｓnと線形予測値ｓn’との間の自乗誤差を最小にする線形予測係数αpを求めるものである。
【０１２７】
ここで、式（９）において、｛en｝（・・・，en-1，en，en+1，・・・）は、平均値が０で、分散が所定値σ2の互いに無相関な確率変数である。
【０１２８】
式（９）から、サンプル値ｓnは、式
ｓn＝en−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１１）
で表すことができ、これを、Ｚ変換すると、次式が成立する。
【０１２９】
Ｓ＝Ｅ／（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）
・・・（１２）
但し、式（１２）において、ＳとＥは、式（１１）におけるｓnとｅnのＺ変換を、それぞれ表す。
【０１３０】
ここで、式（９）および（１０）から、ｅnは、式
ｅn＝ｓn−ｓn’
・・・（１３）
で表すことができ、実際のサンプル値ｓnと線形予測値ｓn’との間の残差信号と呼ばれる。
【０１３１】
従って、式（１２）から、線形予測係数αpをＩＩＲフィルタのタップ係数とするとともに、残差信号ｅnをＩＩＲフィルタの入力信号とすることにより、音声信号ｓnを求めることができる。
【０１３２】
そこで、音声合成フィルタ７４は、上述したように、ベクトル量子化部７３からの線形予測係数αp’をタップ係数とするとともに、演算器８２から供給される残差信号ｅを入力信号として、式（１２）を演算し、音声信号（合成音信号）ｓｓを求める。
【０１３３】
なお、音声合成フィルタ７４では、ＬＰＣ分析部７２によるＬＰＣ分析の結果得られる線形予測係数αpではなく、そのベクトル量子化の結果得られるコードに対応するコードベクトルとしての線形予測係数αp’が用いられるため、音声合成フィルタ７４が出力する合成音信号は、LPC分析前の音声信号とは、基本的に同一にはならない。
【０１３４】
音声合成フィルタ７４が出力する合成音信号ｓｓは、演算器７１に供給される。演算器７１は、音声合成フィルタ７４からの合成音信号ｓｓから、元の音声信号ｓを減算し、その減算値を、自乗誤差演算部７５に供給する。自乗誤差演算部７５は、演算器７１からの減算値の自乗和（第ｋフレームのサンプル値についての自乗和）を演算し、その結果得られる自乗誤差を、自乗誤差最小判定部７６に供給する。
【０１３５】
自乗誤差最小判定部７６は、自乗誤差演算部７５が出力する自乗誤差に対応付けて、ラグを表すコードとしてのＬコード(L_code)、ゲインを表すコードとしてのＧコード(G_code)、および符号語（励起コードブック）を表すコードとしてのＩコード(I_code)を記憶しており、自乗誤差演算部７５が出力する自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力する。Ｌコードは、適応コードブック記憶部７７に、Ｇコードは、ゲイン復号器７８に、Ｉコードは、励起コードブック記憶部７９に、それぞれ供給される。さらに、Ｌコード、Ｇコード、およびＩコードは、コード決定部８３にも供給される。
【０１３６】
適応コードブック記憶部７７は、例えば７ビットのＬコードと、所定の遅延時間（ラグ）とを対応付けた適応コードブックを記憶しており、演算器８２から供給される残差信号ｅを、自乗誤差最小判定部７６から供給されるＬコードに対応付けられた遅延時間だけ遅延して、演算器８０に出力する。
【０１３７】
ここで、適応コードブック記憶部７７は、残差信号ｅを、Ｌコードに対応する時間だけ遅延して出力することから、その出力信号は、その遅延時間を周期とする周期信号に近い信号となる。この信号は、線形予測係数を用いた音声合成において、主として、有声音の合成音を生成するための駆動信号となる。
【０１３８】
ゲイン復号器７８は、Ｇコードと、所定のゲインβおよびγとを対応付けたテーブルを記憶しており、自乗誤差最小判定部７６から供給されるＧコードに対応付けられたゲインβおよびγを出力する。ゲインβとγは、演算器８０と８１に、それぞれ供給される。ここで、ゲインβは、長期フィルタ状態出力ゲインと呼ばれるものであり、また、ゲインγは、励起コードブックゲインと呼ばれるものである。
【０１３９】
励起コードブック記憶部７９は、例えば９ビットのＩコードと、所定の励起信号とを対応付けた励起コードブックを記憶しており、自乗誤差最小判定部７６から供給されるＩコードに対応付けられた励起信号を、演算器８１に出力する。
【０１４０】
ここで、励起コードブックに記憶されている励起信号は、例えば、ホワイトノイズ等に近い信号であり、線形予測係数を用いた音声合成において、主として、無声音の合成音を生成するための駆動信号となる。
【０１４１】
演算器８０は、適応コードブック記憶部７７の出力信号と、ゲイン復号器７８が出力するゲインβとを乗算し、その乗算値ｌを、演算器８２に供給する。演算器８１は、励起コードブック記憶部７９の出力信号と、ゲイン復号器７８が出力するゲインγとを乗算し、その乗算値ｎを、演算器８２に供給する。演算器８２は、演算器８０からの乗算値ｌと、演算器８１からの乗算値ｎとを加算し、その加算値を、残差信号ｅとして、音声合成フィルタ７４と適応コードブック記憶部７７に供給する。
【０１４２】
音声合成フィルタ７４では、以上のようにして、演算器８２から供給される残差信号ｅが、ベクトル量子化部７３から供給される線形予測係数αp’をタップ係数とするＩＩＲフィルタでフィルタリングされ、その結果得られる合成音信号が、演算器７１に供給される。そして、演算器７１および自乗誤差演算部７５において、上述の場合と同様の処理が行われ、その結果得られる自乗誤差が、自乗誤差最小判定部７６に供給される。
【０１４３】
自乗誤差最小判定部７６は、自乗誤差演算部７５からの自乗誤差が最小（極小）になったかどうかを判定する。そして、自乗誤差最小判定部７６は、自乗誤差が最小になっていないと判定した場合、上述のように、その自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力し、以下、同様の処理が繰り返される。
【０１４４】
一方、自乗誤差最小判定部７６は、自乗誤差が最小になったと判定した場合、確定信号を、コード決定部８３に出力する。コード決定部８３は、ベクトル量子化部７３から供給されるＡコードをラッチするとともに、自乗誤差最小判定部７６から供給されるＬコード、Ｇコード、およびＩコードを順次ラッチするようになっており、自乗誤差最小判定部７６から確定信号を受信すると、そのときラッチしているＡコード、Ｌコード、Ｇコード、およびＩコードを、チャネルエンコーダ８４に供給する。チャネルエンコーダ８４は、コード決定部８３からのＡコード、Ｌコード、Ｇコード、およびＩコードを多重化し、その多重化結果であるコードデータを、符号化データとして出力する。
【０１４５】
なお、以下では、説明を簡単にするため、Ａコード、Ｌコード、Ｇコード、およびＩコードは、フレームごとに求められるものとする。但し、例えば、１フレームを、４つのサブフレームに分割し、Ｌコード、Ｇコード、およびＩコードは、サブフレームごとに求めるようにすること等が可能である。
【０１４６】
ここで、図８（後述する図９においても同様）では、各変数に、[k]が付され、配列変数とされている。このkは、フレーム数を表すが、明細書中では、その記述は、適宜省略する。
【０１４７】
次に、図９は、図１のエンコーダ１が図８に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、上述したことから、図２の復号部２１が図９に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図９に示したのと同様に構成される。
【０１４８】
図８のエンコーダ１が出力する符号化データとしてのコードデータは、チャネルデコーダ９１で受信される。チャネルデコーダ９１は、コードデータから、Ｌコード、Ｇコード、Ｉコード、Ａコードを分離し、それぞれを、適応コードブック記憶部９２、ゲイン復号器９３、励起コードブック記憶部９４、フィルタ係数復号器９５に供給する。
【０１４９】
適応コードブック記憶部９２、ゲイン復号器９３、励起コードブック記憶部９４、演算器９６乃至９８は、図８の適応コードブック記憶部７７、ゲイン復号器７８、励起コードブック記憶部７９、演算器８０乃至８２とそれぞれ同様に構成されるもので、図８で説明した場合と同様の処理が行われることにより、Ｌコード、Ｇコード、およびＩコードが、残差信号ｅに復号される。この残差信号ｅは、音声合成フィルタ９９に対して、入力信号として与えられるとともに、適応コードブック記憶部９２に供給される。
【０１５０】
フィルタ係数復号器９５は、図８のベクトル量子化部７３が記憶しているのと同一のコードブックを記憶しており、Ａコードを、線形予測係数αp’に復号し、音声合成フィルタ９９に供給する。
【０１５１】
音声合成フィルタ９９は、図８の音声合成フィルタ７４と同様に構成されており、フィルタ係数復号器９５からの線形予測係数αp’をタップ係数とするとともに、演算器９８から供給される残差信号ｅを入力信号として、式（１２）を演算し、これにより、図８の自乗誤差最小判定部７６において自乗誤差が最小と判定されたときの合成音信号を生成する。この合成音信号は、符号化データの復号結果（復号データ）として出力される。
【０１５２】
一方、付加情報出力部１００は、上述のように、符号化データを、復号データとしての合成音信号に復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１５３】
即ち、付加情報出力部１００には、チャネルデコーダ９１が出力するＬコード、Ｇコード、Ｉコード、およびＡコードや、ゲイン復号器９３が出力するゲインβおよびγ、フィルタ係数復号器９５が出力する線形予測係数αp、演算器９６が出力する演算結果l、演算器９７が出力する演算結果γ、演算器９８が出力する残差信号e等が供給されるようになっており、付加情報出力部１００は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１５４】
次に、図１０は、図１のデータ伝送システムが、静止画の画像データをJPEG方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、図１のエンコーダ１が図１０に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図１０に示したのと同様に構成される。
【０１５５】
符号化対象の画像データは、ブロック化回路１１１に入力され、ブロック化回路１１１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１１１で得られる各ブロックは、ＤＣＴ回路１１２に供給される。ＤＣＴ回路１１２は、ブロック化回路１１１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路１１２から量子化回路１１３に供給される。
【０１５６】
量子化回路１１３は、所定の量子化テーブルにしたがって、ＤＣＴ回路１１２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路１１４に供給する。
【０１５７】
ここで、量子化回路１１３において用いられる量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０１５８】
また、ＪＰＥＧ符号化において、どのような量子化テーブルを用いるかは、例えば、ユーザが設定する圧縮率等に基づいて決定される。
【０１５９】
エントロピー符号化回路１１４は、量子化回路１１３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路１１３からの量子化テーブルを付加し、その結果得られる符号化データを出力する。
【０１６０】
次に、図１１は、図１のエンコーダ１が図１０に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、図２の復号部２１が図１１に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図１１に示したのと同様に構成される。
【０１６１】
符号化データは、エントロピー復号回路１２１に入力され、エントロピー復号回路１２１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１２１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２２に供給する。逆量子化回路１２２は、エントロピー復号回路１２１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１２１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１２３に供給する。逆ＤＣＴ回路１２３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果得られる８×８画素の復号ブロックを、ブロック分解回路１２４に供給する。ブロック分解回路１２４は、逆ＤＣＴ回路１２３からの復号ブロックのブロック化を解くことで、復号画像データを得て出力する。
【０１６２】
一方、付加情報出力部１２５は、上述のように、符号化データを、復号画像データに復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１６３】
即ち、付加情報出力部１２５には、エントロピー復号回路１２１が出力する量子化テーブルおよび量子化ＤＣＴ係数や、逆量子化回路１２２が出力するＤＣＴ係数等が供給されるようになっており、付加情報出力部１２５は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１６４】
次に、図１２は、図１のデータ伝送システムが、動画の画像データをMPEG2方式で符号化して伝送する場合の、図１のエンコーダ１の構成例を示している。なお、図１のエンコーダ１が図１２に示すように構成される場合は、図２の符号化部２２並びに図６の符号化部５２および５５も、図１２に示したのと同様に構成される。
【０１６５】
ＭＰＥＧ符号化の対象である動画を構成するフレーム（またはフィールド）は、順次、動き検出回路１３１と演算器１３２に供給される。
【０１６６】
動き検出回路１３１は、そこに供給されるフレームについて、マクロブロック単位で、動きベクトルを検出し、エントロピー符号化回路１３６および動き補償回路１４０に供給する。
【０１６７】
演算器１３２は、そこに供給される画像が、Ｉ(Intra)ピクチャであれば、そのままブロック化回路１３３に供給し、Ｐ(Predictive)またはＢ(Bidirectionally predictive)ピクチャであれば、動き補償回路１４０から供給される参照画像との差分を演算して、その差分値を、ブロック化回路１３３に供給する。
【０１６８】
ブロック化回路１３３は、演算器１３２の出力を、８×８画素の画素ブロックにブロック化し、ＤＣＴ回路１３４に供給する。ＤＣＴ回路１３４は、ブロック化回路１３３からの画素ブロックをＤＣＴ処理し、その結果得られるＤＣＴ係数を、量子化回路１３５に供給する。量子化回路１３５は、ＤＣＴ回路１３３からのブロック単位のＤＣＴ係数を所定の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数を、用いた量子化テーブルとともに、エントロピー符号化回路１３６に供給する。エントロピー符号化回路１３６は、量子化回路１３５からの量子化ＤＣＴ係数をエントロピー符号化し、動き検出回路１３１からの動きベクトルや、量子化回路１３５からの量子化テーブル、その他の必要な情報（例えば、MPEGストリームの各レイヤのヘッダとなる情報など）を付加して、その結果得られる符号化データを、ＭＰＥＧ符号化結果として出力する。
【０１６９】
量子化回路１３５が出力する量子化ＤＣＴ係数のうち、ＩピクチャおよびＰピクチャは、後で符号化されるＰピクチャやＢピクチャの参照画像として用いるのにローカルデコードする必要があるため、エントロピー符号化回路１３６の他、逆量子化回路１３７にも供給される。また、逆量子化回路１３７には、量子化回路１３５で用いられた量子化テーブルも供給される。
【０１７０】
逆量子化回路１３７は、量子化回路１３５からの量子化ＤＣＴ係数を、同じく量子化回路１３５からの量子化テーブルにしたがって逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１３８に供給する。逆ＤＣＴ回路１３８は、逆量子化回路１３７からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１３９に出力する。演算器１３９には、逆ＤＣＴ回路１３８の出力の他、動き補償回路１４０が出力する参照画像も供給されるようになっており、演算器１３９は、逆ＤＣＴ回路１３８の出力が、Ｐピクチャのものである場合には、その出力と、動き補償回路１４０の出力とを加算することで、元の画像を復号し、動き補償回路１４０に供給する。また、演算器１３９は、逆ＤＣＴ回路１３８の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、動き補償回路１４０に供給する。
【０１７１】
動き補償回路１４０は、演算器１３９から供給される、ローカルデコードされた画像に対して、動き検出回路１３１からの動きベクトルにしたがった動き補償を施し、その動き補償後の画像を、参照画像として、演算器１３２および９９に供給する。
【０１７２】
次に、図１３は、図１のエンコーダ１が図１２に示したように構成される場合の、図２の復号部２１の構成例を示している。なお、図２の復号部２１が図１３に示すように構成される場合は、図２の復号部２３、並びに図６の復号部５４および５６も、図１３に示したのと同様に構成される。
【０１７３】
符号化データは、エントロピー復号回路１５１に供給され、エントロピー復号回路１５１は、符号化データをエントロピー復号し、量子化ＤＣＴ係数を得るとともに、その符号化データに含まれる動きベクトル、量子化テーブル、その他の必要な情報を分離する。そして、量子化ＤＣＴ係数および量子化テーブルは、逆量子化回路１５２に供給され、動きベクトルは、動き補償回路１５６に供給される。
【０１７４】
逆量子化回路１５２は、エントロピー復号回路１５１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１５３に供給する。逆ＤＣＴ回路１５３は、逆量子化回路１５２からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１５４に出力する。演算器１５４には、逆量子化回路１５３の出力の他、動き補償回路１５６が出力する、既に復号されたＩピクチャまたはＰピクチャを、エントロピー復号回路１５１からの動きベクトルにしたがって動き補償したものが参照画像として供給されるようになっており、演算器１５４は、逆ＤＣＴ回路１５３の出力が、ＰまたはＢピクチャのものである場合には、その出力と、動き補償回路１５６の出力とを加算することで、元の画像を復号し、ブロック分解回路１５５に供給する。また、演算器１５４は、逆ＤＣＴ回路１５３の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、ブロック分解回路１５５に供給する。
【０１７５】
ブロック分解回路１５５は、演算器１５４から画素ブロック単位で供給される復号画像のブロック化を解くことで、復号画像データを得て出力する。
【０１７６】
また、動き補償回路１５６は、演算器１５４が出力する復号画像のうちのＩピクチャとＰピクチャを受信し、エントロピー復号回路１５１からの動きベクトルにしたがった動き補償を施す。そして、動き補償回路１５６は、その動き補償後の画像を、参照画像として、演算器１５４に供給する。
【０１７７】
一方、付加情報出力部１５７は、上述のように、符号化データを、復号画像データに復号する過程において得られる情報を取得し、その情報のうちの一部または全部を、付加情報として出力する。
【０１７８】
即ち、付加情報出力部１５７には、エントロピー復号回路１５１が出力する量子化テーブル、量子化ＤＣＴ係数、および動きベクトルや、逆量子化回路１２２が出力するＤＣＴ係数が供給されるようになっている。さらに、付加情報出力部１５７には、エントロピー復号回路１５１が符号化データをエントロピー復号することにより得られるMPEGストリームの各レイヤに配置された情報（例えば、ピクチャタイプや、ブロックの位置情報、フレームＤＣＴモード／フィールドＤＣＴモードの別など）も供給されるようになっている。付加情報出力部１５７は、これらの情報のうちの一部または全部を、付加情報として出力する。
【０１７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８０】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１８２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８７】
なお、本発明は、特定の符号化／復号方式に限定されることなく適用可能である。即ち、本実施の形態においては、CELP方式、JPEG方式、MPEG2方式について説明したが、本発明は、その他、例えば、M-JPEG(Motion JPEG)方式や、MPEG1,4，MP3(MPEG-1 Audio Layer 3)方式、ATRAC（Adaptive TRansform Acoustic Coding)方式等の種々の符号化／復号方式に適用可能である。
【０１８８】
また、本実施の形態では、符号化データを、その符号化方式に対応した復号方式によって復号するようにしたが、符号化データの復号は、クラス分類適応処理によって行うことが可能である。クラス分類適応処理による符号化データの復号は、符号化の対象とするデータを教師データとするとともに、そのデータを符号化した符号化データを生徒データとして学習を行うことによって得られるタップ係数を用いることで行うことが可能である。
【０１８９】
さらに、本実施の形態では、タップ係数を用いた線形１次予測演算によって、高品質のデータの予測値を求めるようにしたが、この予測値は、その他、２次以上の高次の予測演算によって求めることも可能である。
【０１９０】
また、本実施の形態では、デコーダ２のクラス分類適応処理回路２４において、品質を向上させるためのタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２に提供するようにすることが可能である。
【０１９１】
さらに、本実施の形態では、予測タップを、第１復号データおよび第２復号データの他、第１付加情報および第２付加情報から生成するようにしたが、予測タップは、その他、例えば、第１復号データおよび第２復号データだけから生成するようにすること等が可能である。クラスタップについても、同様である。
【０１９２】
【発明の効果】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体によれば、符号化データが復号され、その結果得られる復号データが符号化され、その結果得られる再符号化データが復号され、再復号データが出力される。そして、学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップが、復号データと再復号データとから生成され、タップ係数が取得され、予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、学習において教師として用いられた教師データに対応する予測値が求められる。従って、例えば、品質が十分に改善されたデータを得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したデータ伝送システムの一実施の形態の構成例を示す図である。
【図２】デコーダ２の構成例を示すブロック図である。
【図３】クラス分類適応処理回路２４の構成例を示すブロック図である。
【図４】クラス分類部３３および５９の構成例を示すブロック図である。
【図５】デコーダ２の処理を説明するフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】学習装置の処理を説明するフローチャートである。
【図８】エンコーダ１、符号化部２２，５２、および５５の第１の構成例を示すブロック図である。
【図９】復号部２１，２３，５４、および５６の第１の構成例を示すブロック図である。
【図１０】エンコーダ１、符号化部２２，５２、および５５の第２の構成例を示すブロック図である。
【図１１】復号部２１，２３，５４、および５６の第２の構成例を示すブロック図である。
【図１２】エンコーダ１、符号化部２２，５２、および５５の第３の構成例を示すブロック図である。
【図１３】復号部２１，２３，５４、および５６の第３の構成例を示すブロック図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ デコーダ， ３ 記録媒体， ４ 伝送媒体， ２１復号部， ２２ 符号化部， ２３ 復号部， ２４ クラス分類適応処理回路， ３１，３２ タップ生成部， ３３ クラス分類部， ３４ 係数メモリ， ３５ 予測部， ４１Ａ，４１Ｂ ADRC回路， ４１Ｃ 合成回路， ４２Ａ，４２Ｂ 演算器， ４３Ｃ，４３Ｄ 極性判別回路， ４３Ｅ 合成回路，４４Ａ，４４Ｂ 遅延回路， ４４Ｃ，４４Ｄ 演算器， ５１ 生徒データ生成部， ５２ 符号化部， ５３ 媒体特性反映部， ５４ 復号部， ５５符号化部， ５６ 復号部， ５７，５８ タップ生成部， ５９ クラス分類部， ６０ 正規方程式加算回路， ６１ タップ決定回路， ６２ 係数メモリ， ７１ 演算器， ７２ ＬＰＣ分析部， ７３ ベクトル量子化部， ７４ 音声合成フィルタ， ７５ 自乗誤差演算部， ７６ 自乗誤差最小判定部， ７７ 適応コードブック記憶部， ７８ ゲイン復号器， ７９ 励起コードブック記憶部， ８０乃至８２ 演算器， ８３ コード決定部， ８４ チャネルエンコーダ， ９１ チャンネルデコーダ， ９２ 適応コードブック記憶部， ９３ ゲイン復号器， ９４ 励起コードブック記憶部， ９５ フィルタ係数復号器， ９６乃至９８ 演算器， ９９ 音声合成フィルタ， １００ 付加情報出力部， １１１ ブロック化回路， １１２ ＤＣＴ回路， １１３ 量子化回路， １１４ エントロピー符号化部， １２１ エントロピー復号回路， １２２ 逆量子化回路， １２３ 逆ＤＣＴ回路， １２４ ブロック分解回路， １２５ 付加情報出力部， １３１ 動き検出回路， １３２ 演算器， １３３ ブロック化回路， １３４ ＤＣＴ回路， １３５ 量子化回路， １３６ エントロピー符号化回路， １３７ 逆量子化回路， １３８ 逆ＤＣＴ回路， １３９ 演算器， １４０ 動き補償回路， １５１ エントロピー復号回路， １５２ 逆量子化回路， １５３ 逆ＤＣＴ回路， １５４ 演算器， １５５ ブロック分解回路， １５６ 動き補償回路， １５７ 付加情報出力部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース，２１１ リムーバブル記録媒体
Claims (10)
- データを符号化して得られる符号化データを処理するデータ処理装置であって、
前記符号化データを復号し、復号データを出力する復号手段と、
前記復号データを符号化し、再符号化データを出力する再符号化手段と、
前記再符号化データを復号し、再復号データを出力する再復号手段と、
学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、前記復号データと、前記再復号データとから生成する予測タップ生成手段と、
前記タップ係数を取得するタップ係数取得手段と、
前記予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、前記学習において教師として用いられた教師データに対応する予測値を求める予測手段と
を備えることを特徴とするデータ処理装置。 - 前記予測手段は、前記予測タップとタップ係数とを用いて、線形１次予測演算を行うことにより、前記予測値を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記復号手段は、前記符号化データを復号する過程において得られる情報を、付加情報として出力し、
前記予測タップ生成手段は、前記付加情報からも、前記予測タップを生成する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記再復号手段は、前記再符号化データを復号する過程において得られる情報を、付加情報として出力し、
前記予測タップ生成手段は、前記付加情報からも、前記予測タップを生成する
ことを特徴とする請求項３に記載のデータ処理装置。 - 情報をクラス分けするクラス分類を行うのに用いられるクラスタップを、前記復号データと、前記再復号データとから生成するクラスタップ生成手段と、
前記クラスタップに基づいて、クラス分類を行うクラス分類手段と
をさらに備え、
前記タップ係数取得手段は、前記クラス分類手段が出力するクラスに対応する前記タップ係数を取得し、
前記予測手段は、前記クラス分類手段が出力するクラスに対応する前記タップ係数を用いて、前記予測値を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記復号手段は、前記符号化データを復号する過程において得られる情報を、付加情報として出力し、
前記クラスタップ生成手段は、前記付加情報からも、前記クラスタップを生成する
ことを特徴とする請求項５に記載のデータ処理装置。 - 前記再復号手段は、前記再符号化データを復号する過程において得られる情報を、付加情報として出力し、
前記クラスタップ生成手段は、前記付加情報からも、前記クラスタップを生成する
ことを特徴とする請求項６に記載のデータ処理装置。 - データを符号化して得られる符号化データを処理するデータ処理方法であって、
前記符号化データを復号し、復号データを出力する復号ステップと、
前記復号データを符号化し、再符号化データを出力する再符号化ステップと、
前記再符号化データを復号し、再復号データを出力する再復号ステップと、
学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、前記復号データと、前記再復号データとから生成する予測タップ生成ステップと、
前記タップ係数を取得するタップ係数取得ステップと、
前記予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、前記学習において教師として用いられた教師データに対応する予測値を求める予測ステップと
を備えることを特徴とするデータ処理方法。 - コンピュータに、
データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、
前記復号データを符号化し、再符号化データを出力する再符号化ステップと、
前記再符号化データを復号し、再復号データを出力する再復号ステップと、
学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、前記復号データと、前記再復号データとから生成する予測タップ生成ステップと、
前記タップ係数を取得するタップ係数取得ステップと、
前記予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、前記学習において教師として用いられた教師データに対応する予測値を求める予測ステップと
を含む処理を実行させることを特徴とするプログラム。 - コンピュータに、
データを符号化して得られる符号化データを復号し、復号データを出力する復号ステップと、
前記復号データを符号化し、再符号化データを出力する再符号化ステップと、
前記再符号化データを復号し、再復号データを出力する再復号ステップと、
学習を行うことにより求められたタップ係数との所定の予測演算を行う予測タップを、前記復号データと、前記再復号データとから生成する予測タップ生成ステップと、
前記タップ係数を取得するタップ係数取得ステップと、
前記予測タップとタップ係数とを用いて、所定の予測演算を行うことにより、前記学習において教師として用いられた教師データに対応する予測値を求める予測ステップと
を含む処理を実行させるためのプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016869A JP4507046B2 (ja) | 2001-01-25 | 2001-01-25 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
| CNB028005414A CN1269314C (zh) | 2001-01-25 | 2002-01-24 | 数据处理装置 |
| EP02716352A EP1355428B1 (en) | 2001-01-25 | 2002-01-24 | Data processing apparatus |
| DE2002611854 DE60211854T2 (de) | 2001-01-25 | 2002-01-24 | Vorrichtung zur datenverarbeitung |
| US10/239,805 US7082220B2 (en) | 2001-01-25 | 2002-01-24 | Data processing apparatus |
| PCT/JP2002/000490 WO2002060069A1 (en) | 2001-01-25 | 2002-01-24 | Data processing apparatus |
| KR20027012587A KR100847179B1 (ko) | 2001-01-25 | 2002-01-24 | 데이터 처리 장치, 방법 및 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001016869A JP4507046B2 (ja) | 2001-01-25 | 2001-01-25 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002223167A JP2002223167A (ja) | 2002-08-09 |
| JP2002223167A5 JP2002223167A5 (ja) | 2008-03-06 |
| JP4507046B2 true JP4507046B2 (ja) | 2010-07-21 |
Family
ID=18883164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001016869A Expired - Fee Related JP4507046B2 (ja) | 2001-01-25 | 2001-01-25 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1355428B1 (ja) |
| JP (1) | JP4507046B2 (ja) |
| KR (1) | KR100847179B1 (ja) |
| CN (1) | CN1269314C (ja) |
| DE (1) | DE60211854T2 (ja) |
| WO (1) | WO2002060069A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| US8140849B2 (en) | 2004-07-02 | 2012-03-20 | Microsoft Corporation | Security for network coding file distribution |
| US7756051B2 (en) | 2004-07-02 | 2010-07-13 | Microsoft Corporation | Content distribution using network coding |
| JP2008178075A (ja) | 2006-12-18 | 2008-07-31 | Sony Corp | 表示制御装置、表示制御方法、及びプログラム |
| TW200834537A (en) | 2006-12-18 | 2008-08-16 | Sony Corp | Dynamic image signal processing device |
| TWI384437B (zh) | 2006-12-18 | 2013-02-01 | Sony Corp | An image signal processing device, an image signal processing method, and a computer program product |
| JP4656452B2 (ja) * | 2008-05-20 | 2011-03-23 | ソニー株式会社 | 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム |
| JP5326465B2 (ja) * | 2008-09-26 | 2013-10-30 | 富士通株式会社 | オーディオ復号方法、装置、及びプログラム |
| JP5309944B2 (ja) * | 2008-12-11 | 2013-10-09 | 富士通株式会社 | オーディオ復号装置、方法、及びプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06152432A (ja) * | 1992-11-13 | 1994-05-31 | Sony Corp | 高能率符号化及び／又は復号化装置 |
| JPH08307835A (ja) * | 1995-05-10 | 1996-11-22 | Sony Corp | クラス分類適応処理装置および方法 |
| JPH08322041A (ja) * | 1995-05-25 | 1996-12-03 | Sony Corp | ブロック歪み除去装置 |
| JPH09186608A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 量子化ビット数変換装置および方法 |
| JPH1155630A (ja) * | 1997-07-31 | 1999-02-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2001008056A (ja) * | 1999-06-21 | 2001-01-12 | Sony Corp | データ処理装置およびデータ処理方法、並びに媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3946812B2 (ja) * | 1997-05-12 | 2007-07-18 | ソニー株式会社 | オーディオ信号変換装置及びオーディオ信号変換方法 |
-
2001
- 2001-01-25 JP JP2001016869A patent/JP4507046B2/ja not_active Expired - Fee Related
-
2002
- 2002-01-24 DE DE2002611854 patent/DE60211854T2/de not_active Expired - Lifetime
- 2002-01-24 KR KR20027012587A patent/KR100847179B1/ko not_active IP Right Cessation
- 2002-01-24 CN CNB028005414A patent/CN1269314C/zh not_active Expired - Fee Related
- 2002-01-24 EP EP02716352A patent/EP1355428B1/en not_active Expired - Lifetime
- 2002-01-24 WO PCT/JP2002/000490 patent/WO2002060069A1/ja active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06152432A (ja) * | 1992-11-13 | 1994-05-31 | Sony Corp | 高能率符号化及び／又は復号化装置 |
| JPH08307835A (ja) * | 1995-05-10 | 1996-11-22 | Sony Corp | クラス分類適応処理装置および方法 |
| JPH08322041A (ja) * | 1995-05-25 | 1996-12-03 | Sony Corp | ブロック歪み除去装置 |
| JPH09186608A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 量子化ビット数変換装置および方法 |
| JPH1155630A (ja) * | 1997-07-31 | 1999-02-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2001008056A (ja) * | 1999-06-21 | 2001-01-12 | Sony Corp | データ処理装置およびデータ処理方法、並びに媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1269314C (zh) | 2006-08-09 |
| EP1355428A1 (en) | 2003-10-22 |
| KR100847179B1 (ko) | 2008-07-17 |
| KR20030062230A (ko) | 2003-07-23 |
| WO2002060069A1 (en) | 2002-08-01 |
| JP2002223167A (ja) | 2002-08-09 |
| DE60211854D1 (de) | 2006-07-06 |
| EP1355428A4 (en) | 2005-09-07 |
| DE60211854T2 (de) | 2007-05-24 |
| EP1355428B1 (en) | 2006-05-31 |
| CN1457552A (zh) | 2003-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7082220B2 (en) | Data processing apparatus | |
| JP4507046B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JPH09152896A (ja) | 声道予測係数符号化・復号化回路、声道予測係数符号化回路、声道予測係数復号化回路、音声符号化装置及び音声復号化装置 | |
| JP2006133423A (ja) | ベクトル変換装置及びベクトル変換方法 | |
| JP4857468B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JPH09127995A (ja) | 信号復号化方法及び信号復号化装置 | |
| JP4748113B2 (ja) | 学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2016536859A (ja) | メディア信号のエンコード及びデコード方法並びにそれを用いる装置 | |
| JP4000589B2 (ja) | 復号装置および復号方法、並びにプログラムおよび記録媒体 | |
| JP4857467B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP4517448B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4752088B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4218271B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| Yang et al. | Multi-stage encoding scheme for multiple audio objects using compressed sensing | |
| JP4438655B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
| Werner et al. | An enhanced SBR tool for low-delay applications | |
| JP4505729B2 (ja) | 画像処理装置、画像処理方法、プログラム、および記録媒体 | |
| JP4678454B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4538698B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| WO2011087333A2 (ko) | 오디오 신호 처리 방법 및 장치 | |
| JP4736266B2 (ja) | 音声処理装置および音声処理方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4517262B2 (ja) | 音声処理装置および音声処理方法、学習装置および学習方法、並びに記録媒体 | |
| JP4538699B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| KR20230023560A (ko) | 부호화 방법 및 복호화 방법, 상기 방법을 수행하는 부호화기 및 복호화기 | |
| JP3714786B2 (ja) | 音声符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100421 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |