JP4028900B2 - 動画像符号化装置及び動画像復号化装置 - Google Patents
動画像符号化装置及び動画像復号化装置 Download PDFInfo
- Publication number
- JP4028900B2 JP4028900B2 JP00342396A JP342396A JP4028900B2 JP 4028900 B2 JP4028900 B2 JP 4028900B2 JP 00342396 A JP00342396 A JP 00342396A JP 342396 A JP342396 A JP 342396A JP 4028900 B2 JP4028900 B2 JP 4028900B2
- Authority
- JP
- Japan
- Prior art keywords
- error signal
- image
- prediction error
- amplitude
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Description
【０００２】
【発明の属する技術分野】
本発明は、動画像情報を圧縮して伝送する際に用いて好適な、動画像符号化装置及び動画像復号化装置に関する。
【０００３】
【従来の技術】
一般的に、ディジタル画像データは、音声データ等に比して膨大な情報を有しており、このディジタル画像データを伝送する場合には、データ圧縮技術を用いることにより、より少ない情報量で、且つ視覚的な歪みをより少なくする形で伝送することが要求されている。
【０００４】
近年においては、上述のような要求に応えるべく、データ圧縮のための画像符号化技術や、データ再生のための動画像復号化技術に関する研究が広く行なわれており、例えば、Ｈ．２６１，ＭＰＥＧ−１／２(Motion Picture Image Coding Experts Group）等が、上述のディジタル画像符号化方式の標準化方式として広く用いられている。
【０００５】
図９は上述の標準化方式に基づく動画像符号化装置を示すブロック図であり、この図９に示す動画像符号化装置１００において、１０１は予測誤差信号生成部であり、この予測誤差信号生成部１０１は、予測誤差信号生成部１０１において、入力画像と過去の入力画像から生成された予測画像との差分を、Ｎ×Ｎ（例えばＮ＝８）のブロック毎に計算して、予測誤差信号を生成するものである。
【０００６】
また、１０２は変換部であり、この変換部１０２は、画素間の相関性を取り除く変換として、予測誤差信号生成部１０１からの予測誤差信号について、例えば二次元ＤＣＴ(Discrete Cosine Transform，離散コサイン変換）等の直交変換を施すものである。
さらに、１０３は変換部１０２からの変換係数について量子化する量子化器であり、１０４は量子化器１０３からの量子化された変換係数について逆量子化する逆量子化器であり、１０５は逆量子化器１０４からの変換係数について逆変換を施し、変換前の予測誤差信号を再生する逆変換部である。
【０００７】
また、１０６は逆変換部１０５からの予測誤差信号と過去の入力画像から生成された予測画像を加算して復号画像を生成する復号画像生成部であり、１０７は、復号画像生成部１０６からの復号画像を次以降の予測画像を生成するための画像情報として記憶する記憶部である。
さらに、１０８は予測パラメータ計算部であり、この予測パラメータ計算部１０８は、入力画像と復号画像記憶部１０７からの画像情報とに基づいて、上述の予測画像を生成するためのパラメータを計算するものである。
【０００８】
また、１０９は予測画像生成部であり、この予測画像生成部１０９は、復号画像記憶部１０７からの画像情報と、予測パラメータ計算部１０８からの予測パラメータとに基づいて、上述の予測画像を生成するものである。
さらに、１１０は通信路符号化部であり、この通信路符号化部１１０は、上述の量子化部１０３からの量子化変換係数とともに、量子化に関する情報や予測パラメータ計算部１０８にて計算された予測パラメータ等の制御情報を通信路符号化し、動画像符号化情報として出力するものである。
【０００９】
また、図１０は上述の標準化方式に基づく動画像復号化装置を示すブロック図である。この図１０に示す動画像復号化装置１１７において、１１１は通信路符号復号化部であり、この通信路符号復号化部１１１は、動画像符号化装置からの動画像符号化情報について復号化し、例えば上述の動画像符号化装置１００における通信路符号化部１１０からの量子化変換係数とともに、量子化に関する情報や予測パラメータ等の制御情報を復号化するものである。
【００１０】
１１２は通信路符号復号化部１１１からの量子化された変換係数について、復号化された量子化に関する情報に基づいて逆量子化する逆量子化器であり、１１３は逆量子化器１０４からの変換係数について逆変換を施し、変換前の予測誤差信号を再生する逆変換部である。
また、１１４は逆変換部１１３からの予測誤差信号と過去の入力画像から生成された予測画像を加算して復号画像を生成する復号画像生成部であり、１１５は復号画像生成部１１４からの復号画像を次以降の予測画像を生成するための画像情報として記憶する記憶部である。
【００１１】
さらに、１１６は予測画像生成部であり、この予測画像生成部１１６は、復号画像記憶部１１５からの画像情報と、通信路符号復号化部１１１にて復号化された予測パラメータとに基づいて、上述の予測画像を生成するものである。
このような構成により、図９に示す符号化装置では、予測誤差信号生成部１０１において、予測画像生成部１０９にて生成された予測画像に基づき、入力画像に対する予測誤差をＮ×Ｎのブロック毎に計算する。
【００１２】
続いて、変換部１０２において、計算されたＮ×Ｎのブロック毎の予測誤差について直交変換である離散コサイン変換を施し、変換結果に対して量子化器１０３にて量子化する。量子化部１０３からの出力は、通信路符号化部１１０にて符号化されて出力される一方、逆量子化部１０４に出力されて、次段の入力画像の予測画像を生成するための信号として用いられる。
【００１３】
即ち、逆量子化部１０４では、量子化部１０３からの量子化係数を逆量子化し、逆変換部１０５にて変換係数を逆離散コサイン変換する。
復号画像生成部１０６では、逆変換部１０５からの変換後の予測誤差信号について、予測画像生成部１０９にて生成された予測画像と加算して復号画像を生成する。復号画像記憶部１１５では、復号画像生成部１１４にて生成された復号画像を、次段の予測画像を生成するために記憶しておく。
【００１４】
なお、予測画像生成部１０９では、復号画像記憶部１０７からの復号画像と、予測パラメータ計算部１０８にて計算された予測パラメータとに基づいて上述の予測画像を生成する。
また、図１０に示す復号装置では、通信路符号復号化部１１１にて入力された通信路符号を復号して、量子化された変換係数とともに量子化に関する情報や予測パラメータ等の制御情報を求める。その後、逆量子化部１１２にて量子化係数を逆量子化し、逆変換部１１３にて変換係数を逆離散コサイン変換する。
【００１５】
復号画像生成部１１４では、逆変換部１１３からの変換後の予測誤差信号について、予測画像生成部１１６にて生成された予測画像と加算して復号画像を生成する。なお、復号画像生成部１１４にて生成された復号画像は、次段の予測誤差信号に基づいて復号画像を生成するために、復号画像記憶部１１５に記憶しておく。
【００１６】
【発明が解決しようとする課題】
ところが、上述の図９に示す動画像符号化装置１００においては、量子化部１０３における量子化は変換部１０２にて直交変換（離散コサイン変換）された係数に対して行なわれる。
ところで、変換部１０２における変換結果としての係数は、対応ブロックの画像の周波数にほぼ対応している。従って、ある係数を量子化した時に生じる量子化誤差は、逆直交変換（逆離散コサイン変換）を施したときに、ブロック内の全ての画素に、大局的にほぼ一定のパワーで符号化誤差が付加され、この誤差により、人間の視覚特性上、しばしば視覚的に目立つ誤差を引き起こす。
【００１７】
即ち、符号化しようとしているブロック内に、比較的平坦な領域と複雑な領域、あるいは輝度の段差が存在する場合、本来、高周波成分の存在しない平坦部分に印加された、高周波成分の量子化により生じた高周波符号化ノイズ（モスキートノイズ）は、複雑な領域に印加された同様の性質の符号化ノイズよりもはるかに目立ちやすくなるのである。
【００１８】
具体的には、図１１（ａ）の実線に示すように、予測誤差信号生成部１０１にて生成された、あるブロックにおける予測誤差信号が、比較的平坦な領域（低周波領域）と複雑な領域（高周波領域）が存在する場合において、直交変換及び量子化処理が施されると、予測誤差信号には、図１１（ｂ）の点線に示すような誤差が生ずる。
【００１９】
これにより、上述の直交変換及び量子化処理が施された予測誤差信号について復号すると、図１１の（ｃ）示すように、平坦な領域及び複雑な領域に一様に誤差が生ずる。即ち、高周波成分の存在しない平坦部分においても、高周波成分の量子化により高周波符号化ノイズ（モスキートノイズ）が生じる。この高周波符号化ノイズは、人間の視覚特性上、複雑な領域に印加された同様の性質の符号化ノイズよりもはるかに目立ちやすくなるのである。
【００２０】
ところで、特開昭６２−９１０９０号公報においては、分割された画像信号のブロックに対し、変換符号化の前段でブロックの境界部分を強調する処理を行なうことにより、ブロック境界部分においてボケの少ない変換符号化を行なうことができる技術が開示されている。
しかしながら、上述の特開昭６２−９１０９０号公報にて開示された技術は、単にブロック境界部分の誤差のみを軽減するものであり、ブロック内の平坦部分等、ブロック全体にわたって視覚的に目立つ誤差を軽減することができないという課題がある。
【００２１】
本発明は、このような課題に鑑み創案されたもので、動画像を符号化，復号化する際に、ブロック全体にわたり、視覚的に目立つ誤差を軽減するようにした、動画像符号化装置及び動画像復号化装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
図１は本発明の原理ブロック図であり、この図１に示す動画像符号化装置２０Ａは、予測誤差信号生成手段１，振幅変調手段２，変換手段３，量子化手段４，逆量子化手段５，逆変換手段６，振幅復調手段７，復号画像生成手段８，復号画像記憶手段９，予測パラメータ計算手段１０，予測画像生成手段１１及び通信路符号化手段１２をそなえている。
【００２３】
ここで、予測誤差信号生成手段１は、入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成するものである。
また、振幅変調手段２は、予測誤差信号生成手段１にて生成された予測誤差信号の各画素における振幅を振幅変調するものであり、変換手段３は、振幅変調手段２において振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成するものであり、量子化手段４は、変換手段３からの変換係数を量子化するものである。
【００２４】
さらに、逆量子化手段５は、量子化手段４からの量子化変換係数を逆量子化し、変換係数を再生するものであり、逆変換手段６は、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生するものであり、振幅復調手段７は、逆変換手段６からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生するものである。
【００２５】
また、復号画像生成手段８は、振幅復調手段７にて再生された予測誤差信号と予測画像とを加算し、復号画像を生成するものであり、復号画像記憶手段９は、復号画像生成手段８からの復号画像を、過去に復号した復号画像として記憶するものである。
さらに、予測パラメータ計算手段１０は、復号画像記憶手段９に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータである動きベクトルを計算するものであり、予測画像生成手段１１は、予測パラメータ計算手段１０にて計算された動きベクトルと、復号画像記憶手段９に記憶された復号画像とから、予測画像を生成するものである。
【００２６】
また、通信路符号化手段１２は、量子化手段４からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力するものである。
さらに、振幅変調手段２が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、振幅変調手段２における予測誤差信号の変調度を設定する変調度設定手段をそなえ、振幅復調手段７は、変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なう。
【００２９】
図２についても本発明の原理ブロック図であり、この図２に示す動画像復号化装置２０Ｂは、通信路符号復号化手段１３，逆量子化手段１４，逆変換手段１５，振幅復調手段１６，復号画像生成手段１７，復号画像記憶手段１８及び予測画像生成手段１９をそなえている。
【００３０】
ここで、通信路符号復号化手段１３は、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生するものである。
また、逆量子化手段１４は、通信路符号復号化手段１３にて再生された量子化変換係数を逆量子化し、変換係数を再生するものであり、逆変換手段１５は、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生するものであり、振幅復調手段１６は、逆変換手段１５からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生するものである。
【００３１】
さらに、復号画像生成手段１７は、振幅復調手段１６にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成するものである。
また、復号画像記憶手段１８は、復号画像生成手段１７からの復号画像を、過去に復号した復号画像として記憶するものであり、予測画像生成手段１９は、通信路符号復号化手段１３において再生された量子化情報または動きベクトルを含む符号化制御情報と、復号画像記憶手段１８に記憶された復号画像とから、予測画像を生成するものである。
かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえて構成されている。
【００３５】
上述の本発明の動画像復号化装置２０Ｂでは、通信路符号復号化手段１３で、動画像符号化装置からの振幅変調された動画像符号化情報を構成する量子化変換係数及び符号化制御情報について復号して再生する。
また、逆量子化手段１４で、再生された量子化変換係数を逆量子化して変換係数を再生し、逆変換手段１５で、再生された変換係数に基づいて、変調予測誤差信号を再生し、振幅復調手段１６で、予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する。
【００３６】
また、本発明の動画像符号化装置は、入力画像を複数画素よりなるブロックに分割し、該ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、該予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を変調度で振幅変調する振幅変調手段と、該予測誤差信号生成手段からの予測誤差信号か又は該振幅変調手段にて振幅変調された予測誤差信号のうちのいずれか一方を選択的に切り替えて出力する第１の切替手段と、該第１の切替手段からの予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、該変換手段からの変換係数を量子化する量子化手段と、該量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、該再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、該逆変換手段からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、該逆変換手段にて再生された予測誤差信号か又は該振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて該復号画像生成手段に出力するか又は該復号画像生成手段に選択的に切り替えて出力する第２の切替手段と、該第２の切替手段からの予測誤差信号と該予測画像とを加算し、復号画像を生成する復号画像生成手段と、該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、該復号画像記憶手段に記憶された復号画像から、該復号画像に続いて入力される入力画像との誤差が小さくなるような該予測画像を生成するための予測パラメータである動きベクトルを計算する予測パラメータ計算手段と、該予測パラメータ計算手段にて計算された動きベクトルと、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段と、該量子化手段からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段と、該予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、該予測誤差信号生成手段及び該復号画像生成手段に出力する第３の切替手段と、該ブロックに応じて、上記の各切替手段を切替制御する第１の制御手段とをそなえ、かつ、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえ、該振幅復調手段が、該変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なうことを特徴としている。
【００３７】
さらに、本発明の動画像復号化装置は、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び量子化情報または動きベクトルを含む符号化制御情報について復号して再生する通信路符号復号化手段と、通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、予測誤差信号を再生する逆変換手段と、逆変換手段からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、逆変換手段にて再生された予測誤差信号か又は、振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて、復号画像生成手段に出力する第４の切替手段と、第４の切替手段からの予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、通信路符号復号化手段において再生された制御情報と、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段と、予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、復号画像生成手段に出力する第５の切替手段と、ブロックに応じて、上記の各切替手段を切替制御する第２の制御手段とをそなえ、かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえたことを特徴としている。
【００３８】
この場合においては、通信路符号復号化手段において再生された制御情報を、動きベクトルにより構成する一方、第２の制御手段を、動きベクトルに基づいて、上記の第４の切替手段及び第５の切替手段を切替制御するように構成することができる。
ところで、本発明の関連発明にかかる動画像符号化復号化装置は、上述の図１に示す動画像符号化装置２０Ａとしての機能を有する動画像符号化部と、図２に示す動画像復号化装置２０Ｂとしての機能を有する動画像復号化部とをそなえて構成されている。
【００３９】
即ち、本発明の関連発明にかかる動画像符号化復号化装置は、入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を、所定の変調度で振幅変調する振幅変調手段と、振幅変調手段において振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、変換手段からの変換係数を量子化する量子化手段と、量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、逆変換手段からの予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生する振幅復調手段と、振幅復調手段にて再生された予測誤差信号と予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、復号画像記憶手段に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータを計算する予測パラメータ計算手段と、予測パラメータ計算手段にて計算された予測パラメータと、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段と、量子化手段からの量子化変換係数とともに制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段とをそなえてなる動画像符号化部をそなえるとともに、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する通信路符号復号化手段と、通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、逆変換手段からの変調予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生する振幅復調手段と、振幅復調手段にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、通信路符号復号化手段において再生された制御情報と、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段とをそなえてなる動画像復号化部をそなえたことを特徴としている。
【００４０】
【発明の実施の形態】
（ａ）動画像符号化装置の説明
図３は本発明の一実施形態にかかる動画像符号化装置を示すブロック図であり、この図３に示す動画像符号化装置３６は、ディジタル動画像データを、データ圧縮技術を用いて、原画像データよりも少ないデータ量を少なくして伝送するものである。
【００４１】
ここで、２１は減算器であり、この減算器２１は、入力画像と過去（例えば１フレーム前の）の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段としての機能を有するものである。
また、２２は振幅変調乗算器であり、この振幅変調乗算器２２は、減算器２１にて計算された予測誤差信号の各画素における振幅を、後述の振幅変調倍率変成器３３にて設定された所定の変調度としての倍率で乗算することにより、振幅変調する振幅変調手段としての機能を有している。
【００４２】
３２−１は第１の切替手段としての選択器であり、この選択器３２−１は、減算器２１からの予測誤差信号か又は振幅変調乗算器２２からの振幅変調された予測誤差信号のいずれか一方を選択的に切り替えて出力するものである。
また、２３は離散コサイン変換部（ＤＣＴ，Discrete Cosine Transform ）であり、この離散コサイン変換部２３は、選択器３２−１からの予測誤差信号について、画素間の相関性を取り除く直交変換を施し、変換係数を生成する変換手段としての機能を有している。
【００４３】
さらに、２４は離散コサイン変換部２３からの変換係数としてのＤＣＴ係数を量子化する量子化手段としての量子化器、２５は量子化器２４からの量子化変換係数を逆量子化し変換係数を再生する逆量子化手段としての逆量子化器、２６は再生された変換係数に基づいて振幅変調された予測誤差信号を再生する逆変換手段としての逆離散コサイン変換部（逆ＤＣＴ）である。
【００４４】
換言すれば、逆離散コサイン変換部２６は、逆量子化器２５にて再生された変換係数について、離散コサイン変換部２３と逆の変換を施すことにより、予測誤差信号を再生するものである。
さらに、２７は振幅復調乗算器であり、この振幅復調乗算器２７は、逆離散コサイン変換部２６からの予測誤差信号の各画素における振幅を、後述の振幅変調倍率変成器３３及び逆数計算器３４にて計算された所定の復調度で復調し、予測誤差信号を再生する振幅復調手段としての機能を有するものである。
【００４５】
３２−２は第２の切替手段としての選択器であり、この選択器３２−２は、逆離散コサイン変換部２６にて再生された予測誤差信号か又は振幅復調乗算器２７にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて加算器２８に出力するものである。
さらに、加算器２８は、選択器３２−２からの予測誤差信号と後述の予測画像生成部３１にて生成された予測画像とを加算し、復号画像を生成する復号画像生成手段としての機能を有するものである。
【００４６】
２９は加算器２８からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段としてのフレームメモリであり、このフレームメモリ２９は過去の復号画像を例えば１フレーム又は複数フレーム分記憶するようになっている。
また、３０は予測パラメータ計算手段としての動きベクトル予測部であり、この動きベクトル予測部３０は、フレームメモリ２９に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータとしての動きベクトルを計算するものである。
【００４７】
換言すれば、予測パラメータ計算手段３０は、原画像に対する１枚過去又は複数枚過去の画像に対する動きベクトルを算出するものであって、予測画像生成部３１では、この動きベクトルを予測パラメータとして予測画像を生成するようになっている。
さらに、予測画像生成部３１は、予測パラメータ計算手段にて計算された予測パラメータと、フレームメモリ２９に記憶された復号画像とから、予測画像を生成する予測画像生成手段としての機能を有するものである。
【００４８】
また、３２−３は第３の切替手段としての選択器であり、この選択器３２−３は、予測画像生成部３１にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、上述の予測誤差信号生成部２１，加算器２８及び振幅変調倍率生成器３３に出力するものである。
ところで、動きベクトル予測部３０は、ブロック毎の予測パラメータの計算結果に応じて、対象ブロックにおいて予測誤差信号の振幅変調・復調を行なうべきか否かを判定し、判定結果〔フレーム内符号化（Intra)／フレーム間符号化（Inter)の判定情報〕に基づいて、選択器３２−１〜３２−３を切替制御するようになっている。
【００４９】
具体的には、動きベクトル予測部３０は、上述の予測パラメータの計算結果に応じて、ブロックがIntra （フレーム内符号化）モードであったり、予測画像と原画像との相関が低く、予測画像から適切な振幅変調関数が求められない場合等においては、対象ブロックで予測誤差信号の振幅変調・復調を行なわない（Intra)と判定する。
【００５０】
この場合においては、動きベクトル予測部３０は、減算器２１からの予測誤差信号が離散コサイン変換部２３に入力されるように選択器３２−１を制御し、逆離散コサイン変換部２６からの予測誤差信号が加算器３２−２に入力されるように選択器３２−２を制御するとともに、予測画像無しを示す信号が減算器２１及び加算器２８に入力されるように選択器３２−３を制御するようになっている。
【００５１】
また、この動きベクトル予測部３０において、ブロックがInter(フレーム間符号化）モードであり、予測誤差の振幅変調・復調を行なうべきと判定された場合には、振幅変調乗算器２２からの予測誤差信号が離散コサイン変換部２３に入力されるように選択器３２−１を制御し、振幅復調乗算器２７からの予測誤差信号が加算器３２−２に入力されるように選択器３２−２を制御するとともに、予測画像生成部３１にて生成された予測画像が減算器２１及び加算器２８に入力されるように選択器３２−３を制御するようになっている。
【００５２】
従って、上述の動きベクトル予測部３０は、ブロックに応じて、上述の各選択器３２−１〜３２−３を切替制御することにより、フレーム間符号化又はフレーウ内符号化を適応的に切替制御する第１の制御手段としての機能をも有している。
また、上述の予測誤差の振幅変調・復調を行なうべきか否かの判定結果は、制御情報として動画像復号装置に伝送することができ、これにより、復号装置側においても上述の判定結果に基づいて予測誤差信号の振幅復調のオンオフを行なうことができる。
【００５３】
さらに、３５は通信路符号化手段としての可変長符号化部であり、この可変長符号化部３５は、量子化器２４からの量子化変換係数及び動画像復号化装置側における復号の際に必要な制御情報に、例えばハフマン符号等の符号を割り当てて、圧縮された動画像符号化情報として出力するものである。
なお、上述の制御情報としては、例えば量子化器２４による量子化に関する情報，動きベクトル予測部３０にて計算された予測パラメータ（予測誤差信号の変調・復調を行なうか否かの情報を含む）又は後述の振幅変調倍率生成器３３にて生成される振幅変調乗算器２２の変調方法に関する情報若しくはこれらの情報の任意の組み合わせにより構成されるようになっている。
【００５４】
また、振幅変調倍率生成器３３は、選択器３２−３から入力された予測画像に関する情報（予測画像無しを示す信号を含む）に基づいて、振幅変調乗算器２２における変調度を設定するものである。
即ち、振幅変調倍率生成器３３は変調度設定手段としての機能を有しており、ブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、相対的に大きい倍率を振幅変調乗算器２２の変調度として設定する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、相対的に小さい倍率を振幅変調乗算器２２の変調度として設定するようになっている。
【００５５】
ところで、この振幅変調倍率生成器３３における予測誤差信号の変調度の設定態様としては、ブロック内の画像において、人間の視覚特性を反映する尺度（画像のその画素付近に誤差が印加されたときその誤差が人間にとってどれだけ目立ちやすいかを示す尺度）を用いて、予測誤差信号の振幅を変換する関数を設定することにより、変調度を設定することができる。
【００５６】
換言すれば、振幅変調倍率変成器３３においては、振幅変調乗算器２２における予測誤差信号の変調度を、上述の尺度で誤差が見えやすいと判断された画素ほど、予測誤差信号の値を相対的に大きい倍率に設定する一方、上述の尺度で誤差が見えにくいと判断された画素ほど、予測誤差信号の値を相対的に小さい倍率に設定することができるのである。
【００５７】
なお、上述の誤差が目立ちやすいかの尺度としては、例えば、ローカルな画像の分散，画像のPotential Visibility Function （潜在的誤差認知度）等の関数又は誤差の認知のしやすさにおける輝度との関係等を利用することができる。
さらに、振幅変調倍率生成器３３においては、予測画像生成部３１からの予測画像に基づいて、上述の人間の視覚特性を反映する尺度を求めることができる。
【００５８】
即ち、動画像符号化を行なう際の予測画像は、符号化画像との相関が非常に高く、この誤差認知度の尺度として、符号化装置及び復号装置の双方において、同様のアルゴリズムにより、予測画像を誤差認知度の尺度として用いれば、振幅変調倍率生成器３３では、予測誤差信号の振幅を変換する関数を適応的に決定することもできるのである。
【００５９】
この場合においては、送受で共通の情報を用いて共通のアルゴリズムで各画素の振幅を変換する関数を決定することができ、この関数決定に関する情報を一切伝送する必要がなくなる。
ところで、上述の振幅変調倍率生成器３３において決定される予測誤差信号の振幅を変換する関数は、具体的には以下に示すように、アクティビティ（画像の複雑さ）及び背景画像の輝度に基づいて決定することができる。
【００６０】
まず、アクティビティに基づいて予測誤差信号の振幅を変換する関数は、以下に示すように求めることができる。
例えば図４（ａ）に示すように、符号化対象となるブロックが８×８の画素Ｘ1 〜Ｘ64により構成される場合において、ある画素Ｘi における局所的なアクティビティは以下のように求められる。なお、文中、変数の表記が数式と異なる場合がある。
【００６１】
まず、図４（ｂ）に示すように、画素Ｘi の近傍における８画素を、対象画素の上下左右の２画素ずつと定め、これらの対象画素及び近傍の画素をＸi1〜Ｘi9とするとともに、それぞれの画素値をｘijとすると、画素Ｘi の分散σi 2 は、以下に示す式（１）のように定義される。
なお、対象画素がブロック境界に隣接する場合には、当該ブロックを外れる近傍画素の画素値は、図４（ｃ）に示すように、ブロック境界を軸にして、ブロック境界内の画素と線対称となるように画素値を設定するようになっている。
【００６２】
例えば、図４（ｂ）において、対象画素Ｘi1がブロックの左端部にある場合には、ブロックから外れるＸi4，Ｘi5の画素値ｘi4，ｘi5を、それぞれ、対象画素Ｘi1の画素値ｘi1〔図４（ｃ）では‘ａ’〕，画素Ｘi6の画素値ｘi6〔図４（ｃ）では‘ｂ’〕と設定するのである。
【００６３】
【数１】
【００６４】
従って、画素Ｘi のアクティビティＡi を、値が０よりも大きくなるように定数Ｃを用いて次式（２）に示すように定義する。
【００６５】
【数２】
【００６６】
また、ブロック内の平均のアクティビティＡを、式（３）に示すように定義する。
【００６７】
【数３】
【００６８】
これにより、画像の複雑さに依存するブロック内の画素Ｘi の振幅変調の倍率Ｋi を次式（４）に示すように定義する。
【００６９】
【数４】
【００７０】
続いて、背景画像の輝度による、印加された誤差の認知度に基づく振幅変調の倍率は、以下に示すように求めることができる。
ここで、背景の輝度に対する、誤差の認知の度合いは、例えば図５に示すような特性ｖ＝ｆ（ｘ）（ｖ：誤差認知，ｘ：背景の輝度）を有している。
【００７１】
まず、図６（ａ）に示すように、対象画素Ｘi の近傍における８画素を、対象画素の周囲の８画素と定め、これらの対象画素及び近傍の画素をＸi1〜Ｘi9とするとともに、それぞれの画素値をｘijとすると、画素ｉの誤差認知度（Error Visibility）Ｖi は、以下の式（５）に示すようになる。
なお、例えば図６（ｃ）に示すように、対象画素Ｘi の近傍画素がブロックから外れる場合には、当該ブロックから外れる画素の画素値を、隣接するブロック内の画素の画素値（この場合においては‘ａ’）と設定することができる。
【００７２】
【数５】
【００７３】
これにより、画像の背景の輝度に依存する、ブロック内の画素Ｘi の振幅変調の倍率Ｌi は、適当な定数Ｄを用いることにより、次式（６）に示すように定義する。
【００７４】
【数６】
【００７５】
従って、画像の複雑さに依存する、ブロック内の画素ｉの振幅変調の倍率Ｋi と、画像の輝度に依存するブロック内の画素ｉの振幅変調の倍率Ｌi を用いて、画像の複雑さ及び輝度に依存する対象ブロックの画素ｉにおける予測誤差の振幅変調のための倍率Ｍi は、次式（７）に示すように決定することができる。
【００７６】
【数７】
【００７７】
即ち、振幅変調倍率生成器３３では、上述の式（７）に示すような倍率Ｍi を、対象ブロックの画素ｉにおける変調度を決定するための関数としている。
ところで、逆数計算器３４は、振幅復調乗算器２７における復調度を、振幅変調乗算器２２における変調前の予測誤差信号を最適に再生できるように設定する復調度設定手段としての機能を有するものであって、この逆数計算器３４は、振幅変調倍率生成器３３にて設定された振幅変調乗算器２２の変調度に基づいて、復調度を設定するようになっている。
【００７８】
具体的には、逆数計算器３４は、振幅変調倍率生成器３３にて設定される振幅変調乗算器２２の変調度としての関数（上述の式（７）参照）の逆関数を計算し、計算された逆関数または逆関数に近い特性を有する関数を振幅復調乗算器２７における復調度として設定しているのである。
上述の構成により、本発明の一実施形態にかかる動画像符号化装置は、以下に示すように動作する。
【００７９】
即ち、動きベクトル予測部３０において、ブロック毎の予測パラメータの計算結果に応じて、動作モードとしてフレーム内符号化（Intra)／フレーム間符号化（Inter)を判定し、この判定結果に基づいて選択器３２−１〜３２−３を切替制御する。
特に、フレーム間符号化と判定されたブロックにおいては、減算器２１では、入力画像のブロックを入力されるとともに、予測画像生成部３１にて生成された予測画像を選択器３２−３を介して入力され、これらの入力画像と予測画像との差を演算することにより予測誤差信号を生成する。
【００８０】
また、振幅変調乗算器２２では、減算器２１からの予測誤差信号の各画素における振幅を振幅変調倍率生成器３３にて設定された所定の変調度で振幅変調し、変調された予測誤差信号を選択器３２−１を介して離散コサイン変換部２３に出力する。
離散コサイン変換部２３では振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施して変換係数を生成して、量子化器２４において生成された変換係数を量子化する。
【００８１】
これにより、可変長符号化部３５では、量子化器２４にて量子化された変換係数とともに、動画像復号化装置側における復号のための制御情報に符号を割り当てて、動画像符号化情報として出力している。
なお、予測画像を生成する際には、加算器２８において、逆量子化器２５，逆離散コサイン変換部２６，振幅復調乗算器２７及び選択器３２−２を介して再生された予測誤差信号と、予測画像生成部３１及び選択器３２−３を介して入力される予測画像とを加算し、入力画像を復号する。
【００８２】
これにより、予測画像生成部３１では、フレームメモリ２９からの復号画像と動きベクトル予測部３０にて計算された予測パラメータに基づいて、予測画像を生成する。
また、上述の振幅変調乗算器２２において、量子化の前段において予測誤差信号を変調する一方、振幅復調乗算器２７において、逆離散コサイン変換の結果について振幅復調することにより、具体的には以下に示すように視覚的に目立つ誤差を軽減することができる。
【００８３】
即ち、図７（ａ）に示すような、減算器２１において平坦部分と複雑な部分を含むブロックにおいて生成された予測誤差信号を、図７（ｂ）のような、ブロック内の画素毎に異なるような変調度で変調するようになっている。
ところで、平坦部分〔図７（ａ）における波形変動のない領域参照〕については、人間の視覚特性から複雑な部分よりも誤差が目立ち易く、符号化の結果として生じる誤差を小さくすることが必要である。また、複雑な部分〔図７（ａ）における波形変動のある領域参照〕については平坦部分よりも誤差は目立ちにくく、平坦部分ほど誤差を小さくすることは必要ではない。
【００８４】
従って、振幅変調倍率生成器３３においては、振幅変調乗算器２２による変調度として、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）を設定する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）を設定するようになっている。これにより、振幅変調乗算器２２における変調結果としての予測誤差信号は、図７（ｃ）に示すように、複雑な部分におけるレベル変動が小さくなる。
【００８５】
これにより、離散コサイン変換部２３，量子化器２４，逆量子化器２５及び逆離散コサイン変換部２６を介することにより、一旦直交変換及び量子化された予測誤差信号が復号・再生されると、この再生された予測誤差信号には、図７（ｄ）に示すように、大局的にほぼ一定の大きさの符号化ノイズが付加されている。換言すれば、図７（ｄ）に示す再生された予測誤差信号には、平坦部分から複雑な部分にわたり、図７（ｅ）に示すような大局的には一様な符号化ノイズが付加されているのである。
【００８６】
ここで、振幅復調乗算器２７において、図７（ｄ）に示すような再生された予測誤差信号について、図７（ｆ）に示すような、上述の振幅変調乗算器２２にて施された変調処理の逆特性の復調処理を施すことにより、図７（ｇ）に示すような予測誤差信号が得られる。
換言すれば、逆数計算部３４にて設定される振幅復調乗算器２７による復調度としては、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）を設定する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）を設定するようになっている。これにより、振幅復調乗算器２７における復調結果としての予測誤差信号は、図７（ｇ）に示すように、複雑な部分におけるレベル変動が小さくなるのである。
【００８７】
また、図７（ｅ）に示すように、平坦部分から複雑な部分にわたり、大局的に一様な符号化ノイズが付加されている予測誤差信号が、図７（ｇ）に示すように復調されることにより、図７（ｈ）に示すように、人間の視覚特性上目立ちやすい平坦部分の符号化ノイズ（モスキートノイズ）を小さくすることができる。
なお、動きベクトル予測部３０において、ブロックがフレーム内符号化を行なうべきと判定された場合には、減算器２１では予測画像なしを示す信号が入力されるようになっているほか、減算器２１からの予測誤差信号は変調されずに直交変換され、逆離散コサイン変換部２６からの予測誤差信号は復調されずに加算器２８に出力される。
【００８８】
このように、本発明の一実施形態にかかる動画像符号化装置によれば、振幅変調乗算器２２において、減算器２１にて生成された予測誤差信号の各画素における振幅を所定の変調度で振幅変調するとともに、振幅復調乗算器２７において、逆離散コサイン変換部２６からの予測誤差信号の各画素における振幅を所定の復調度で復調し予測誤差信号を再生しているので、動画像を再生する際に、ブロック全体にわたり視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できるので動画像符号化装置の性能向上に寄与することができる利点がある。
【００８９】
また、振幅変調倍率生成器３３により、符号化の結果として生じる誤差を小さくしたい画素か又は、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素かに応じて、適応的に振幅変調乗算器２２の変調度としての倍率を設定することができるので、圧縮効率を維持しながら、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【００９０】
さらに、振幅変調倍率生成器３３にて設定される予測誤差信号の変調度を、ブロック内の画像において、人間の視覚特性を反映する尺度に基づいて決定することができるので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくい圧縮符号化を行なうことができる利点がある。
また、振幅変調倍率生成器３３及び逆数計算器３４により、振幅復調乗算器２７における復調度を、変調された予測誤差信号を最適に再生できるように設定することができるので、正確な予測画像を生成することができ、予測符号化の精度を向上させることができる。
【００９１】
さらに、選択器３２−１〜３２−３及び動きベクトル予測部３０により、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
（ｂ）動画像復号化装置の説明
図８は本発明の一実施形態にかかる動画像復号化装置を示すブロック図であり、この図３に示す動画像復号化装置５１は、前述の図３に示す動画像符号化装置３６からの動画像符号化情報を、伸長して原画像を再生するものである。
【００９２】
本実施形態にかかる動画像復号化装置５１は、前述の図３に示す動画像符号化装置３６におけるもの（符号２５〜２９，３１，３３，３４参照）と同様の機能を有する逆量子化部４２，逆離散コサイン変換部（逆ＤＣＴ）４３，振幅復調乗算器４４，加算器４５，フレームメモリ４６，予測画像生成部４７，振幅変調倍率生成器４８及び逆数計算器４９をそなえるとともに、可変長符号器４１及び選択器５０−１，５０−２をそなえている。
【００９３】
ここで、可変長復号器４１は、動画像符号化装置３６からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する通信路符号復号化手段としての機能を有するものである。
なお、上述の動画像符号化装置３６からの制御情報としては、例えば量子化に関する情報，予測パラメータ（予測誤差信号の変調・復調を行なうか否かの情報を含む）又は変調方法に関する情報及び他のパラメータ情報等により構成されている。
【００９４】
また、可変長復号器４１にて復号された量子化変換係数とともに、制御情報としての量子化に関する情報は逆量子化器４２に出力される一方、制御情報としての予測パラメータ（動きベクトル）は予測画像生成部４７に出力されるようになっている。
さらに、可変長復号器４１にて復号された制御情報を構成する予測パラメータにおける、予測誤差信号の変調・復調を行なうか否かの情報は、動作モード情報（フレーム内予測／フレーム間予測）として選択器５０−１，５０−２に出力されるようになっており、この判定情報に基づいて、選択器５０−１，５０−２が切替制御されるようになっている。
【００９５】
換言すれば、可変長復号器４１は、ブロックに応じて選択器５０−１，５０−２を切替制御する第２の制御手段としての機能をも有している。
また、逆量子化手段としての逆量子化部４２は、動画像符号化装置３６から入力される量子化に関する情報に基づいて、可変長復号器４１にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段としての機能を有している。
【００９６】
さらに、逆変換手段としての逆離散コサイン変換部４３は、前述の動画像符号化装置３６の離散コサイン変換部２３に対する逆変換を行なうことにより、再生された変換係数に基づいて、予測誤差信号を再生するものである。
さらに、振幅復調乗算器４４は、離散コサイン変換部４３からの変調予測誤差信号の各画素における振幅を、振幅変調倍率生成器４８及び逆数計算器４９により設定された所定の復調度で復調し、予測誤差信号を再生する振幅復調手段としての機能を有している。
【００９７】
また、第４の切替手段としての選択器５０−１は、逆離散コサイン変換部５０−１にて再生された予測誤差信号か又は、振幅復調乗算器４４にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて、加算器４５に出力するものである。
さらに、加算器４５は、振幅復調乗算器４４にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段としての機能を有するものである。
【００９８】
また、復号画像記憶手段としてのフレームメモリ４６は、加算器４５からの復号画像を過去に復号した復号画像として、１フレーム分又は複数フレーム分記憶するものであり、予測画像生成部４７は、可変長復号器４１において再生された制御情報と、フレームメモリ４６に記憶された復号画像とから、予測画像を生成する予測画像生成手段としての機能を有する。
【００９９】
また、選択器５０−２は、予測画像生成部４７にて生成された予測画像か又は予測画像無しを示す信号（‘０’）のうちのいずれか一方を選択的に切り替えて、加算器４５に出力する第５の切替手段としての機能を有している。
また、振幅変調倍率生成器４８は、前述の動画像符号化装置３６におけるもの（符号３３参照）と同様に振幅変調倍率（振幅変調関数）を生成するものである。
【０１００】
さらに、逆数計算器４９は動画像符号化装置３６におけるもの（符号３４参照）と同様に、振幅変調倍率生成器４８からの振幅変調倍率の逆数を演算することにより、振幅復調乗算器４４の復調度を生成するものである。
換言すれば、上述の振幅変調倍率生成器４８及び逆数計算器４９により、振幅復調乗算器４４における復調度を、変調前の予測誤差信号を最適に再生できるように設定する復調度設定手段としての機能を有している。
【０１０１】
具体的には、振幅変調倍率生成器４８及び逆数計算器４９では、ブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、変調予測誤差信号の値を相対的に小さくする倍率を復調度として設定する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、変調予測誤差信号の値を相対的に大きくする倍率を復調度として設定するようになっている。
【０１０２】
また、上述の振幅変調倍率生成器４８及び逆数計算器４９にて設定される予測誤差信号の復調度を、予測画像生成部４７からの予測画像に基づき、ブロック内の画像において、人間の視覚特性を反映する尺度（画像のその画素付近に誤差が印加されたときその誤差が人間にとってどれだけ目立ちやすいかを示す尺度）に基づいて決定するようになっている。
【０１０３】
即ち、振幅変調倍率生成器４８及び逆数計算器４９では、上述の尺度で誤差が見えやすいと判断された画素ほど、予測誤差信号の値を相対的に小さくする倍率を復調度として設定する一方、上述の尺度で誤差が見えにくいと判断された画素ほど、予測誤差信号の値を相対的に大きくする倍率を復調度として設定するようになっているのである。
【０１０４】
なお、上述の誤差が目立ちやすいかの尺度としては、上述の動画像符号化装置３６と同様、例えば、ローカルな画像の分散，画像のPotential Visibility Function （潜在的誤差認知度）等の関数又は誤差の認知のしやすさにおける輝度との関係等を利用することができる。
さらに、振幅変変調率生成器４６においては、予測画像生成部３１からの予測画像に基づいて、上述の人間の視覚特性を反映する尺度を求めることができる。
【０１０５】
即ち、動画像符号化を行なう際の予測画像は、符号化画像との相関が非常に高く、この誤差認知度の尺度として、復号装置の双方において、同様のアルゴリズムにより、予測画像を誤差認知度の尺度として用いれば、振幅変調倍率生成器３４８は、前述の動画像符号化装置３６におけるもの（符号３３参照）と同様に、予測誤差信号の振幅を変換する関数を適応的に決定することもできるのである（図４〜図７参照）。
【０１０６】
上述の構成により、本発明の一実施形態にかかる動画像復号化装置では、以下に示すように動画像符号化装置３６からの動画像符号化情報を再生している。
まず、可変長復号器４１において、動画像符号化装置３６からの、ブロック毎の予測パラメータの計算結果に応じた、動作モード情報（フレーム内符号化／フレーム間符号化）を入力され、この動作モード情報に基づいて選択器３２−１〜３２−３を切替制御する。
【０１０７】
ここで、フレーム間符号化と判定されたブロックにおいては、可変長復号器４１において、動画像符号化装置３６からの振幅変調された動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する。
続いて、逆量子化器４２において、再生された量子化変換係数を、動画像符号化装置３６からの制御情報としての量子化に関する情報に基づいて逆量子化して変換係数を再生する。
【０１０８】
さらに、逆離散コサイン変換部４３において、再生された変換係数に基づいて、変調予測誤差信号を再生し、その後、振幅復調乗算器４４において、振幅変調倍率生成器４８及び逆数計算器４９にて計算された復調度で、振幅変調された予測誤差信号の各画素における振幅を復調することにより予測誤差信号を再生する。
【０１０９】
なお、振幅変調倍率生成器４８及び逆数計算器４９では、前述の動画像符号化装置３６におけるもの（符号３３及び３４参照）と同様に、人間の視覚特性を反映する尺度を用いることにより、復調度としての、予測誤差信号の振幅を変換する関数を適応的に決定している。
加算器４５では、再生された予測誤差信号と、予測画像生成部４７にて過去の入力画像から生成された予測画像とを加算することにより復号画像を生成して出力する。
【０１１０】
ところで、フレームメモリ４６では、加算器４５にて復号された復号画像を、次段の動画像符号化情報の復号化の際に用いる過去の入力画像として保持しておく。
これにより、予測画像生成部４７において、前述の動画像符号化装置３６における予測画像生成部３１の場合と同様に、フレームメモリ４６からの過去の入力画像と可変長復号器４１からの予測パラメータとしての動きベクトルに基づいて、予測画像を生成することができる。
【０１１１】
なお、振幅復調乗算器４４において、逆離散コサイン変換の結果について振幅復調することにより、具体的には前述の図７（ａ）〜（ｈ）に示すように、視覚的に目立つ誤差を軽減することができる。
また、可変長復号器４１では、intra(フレーム内符号化）と判断されたブロックについては、選択器５０−１，５０−２を切替制御することにより、予測誤差信号の振幅復調は行なわなれない。
【０１１２】
このように、本発明の一実施形態にかかる動画像復号化装置によれば、振幅復調乗算器４４により、逆離散コサイン変換部４３からの変調予測誤差信号の各画素における振幅を、所定の復調度で復調することができるので、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができるので、装置の性能向上に寄与することができる利点がある。
【０１１３】
さらに、振幅変調倍率生成器４８及び逆数計算器４９により、振幅復調乗算器４４の復調度を、変調前の予測誤差信号を最適に再生できるように生成することができるので、再生された予測誤差信号により高精度な復号画像を生成することができ、予測符号化された画像における復号化の精度を向上させることができる利点がある。
【０１１４】
また、振幅変調倍率生成器４８及び逆数計算器４９により、符号化の結果として生じる誤差を小さくしたい画素か又は、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素かに応じて、適応的に振幅復調乗算器４４の復調度としての倍率を設定することができるので、圧縮効率を維持しながら、画像を復号化して再生する際に、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる。
【０１１５】
さらに、振幅変調倍率生成器４８及び逆数計算器４９により設定される予測誤差信号の復調度を、ブロック内の画像において、人間の視覚特性を反映する尺度に基づいて決定することができるので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくいような画像を再生することができる利点がある。
【０１１６】
また、選択器５０−１，５０−２及び可変長符号器４１により、制御情報としての予測パラメータに基づいて、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
なお、本発明によれば、少なくとも入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成し、予測誤差信号の各画素における振幅を、所定の変調度で振幅変調し、振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施して変換係数を生成し、生成された変換係数を量子化し、量子化された変換係数に符号を割り当てて出力することにより、動画像を再生する際に、ブロック全体にわたり、視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できる利点がある。
【０１１７】
また、本発明によれば、少なくともブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、予測誤差信号の値を相対的に大きい倍率で変調する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、予測誤差信号の値を相対的に小さい倍率で変調することにより、圧縮効率を維持しながら、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【０１１８】
さらに、本発明によれば、少なくとも動画像符号化装置からの振幅変調された動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生し、再生された量子化変換係数を逆量子化して変換係数を再生し、再生された変換係数に基づいて、変調予測誤差信号を再生し、振幅変調された予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生し、再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成することにより、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができる。
【０１１９】
また、本発明によれば、少なくともブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、変調予測誤差信号の値を相対的に小さい倍率で復調する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、変調予測誤差信号の値を相対的に大きい倍率で復調することにより、圧縮効率を維持しながら、画像を復号化して再生する際に、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【０１２０】
（ｃ）その他
なお、上述の本実施形態においては、動画像符号化装置３６及び動画像復号化装置５１について詳述したが、これらの動画像符号化装置３６及び動画像復号化装置５１を一体化することにより、上述したような符号化装置及び復号化装置の２つの機能を有する動画像符号化復号化装置を構成することもできる。
【０１２１】
また、上述の本実施形態においては、振幅変調乗算器２２における変調度や、振幅復調乗算器２７，４４の復調度を、振幅変調倍率生成器３３，４８及び逆数計算器３４，４９にて設定しているが、本発明によれば、上述の手法以外の、誤差を小さくしたい画素又は誤差が大きくても許容できるような画素に応じた変調度，復調度の設定を行なうこともできる。
【０１２２】
さらに、上述の本実施形態では、誤差の認知のし易さの尺度として、画像の複雑さ及び輝度を用いたが、これに限定されず、基本的には、画素の局所的な誤差認知度を表す尺度であれば上述したもの以外のものを用いることができる。
【０１２３】
【発明の効果】
以上詳述したように、本発明によれば、振幅変調手段において、予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を、変調度設定手段で設定された変調度で振幅変調するとともに、振幅復調手段において、逆変換手段からの予測誤差信号の各画素における振幅を、復調度設定手段で設定された復調度で復調し、予測誤差信号を再生することにより、動画像を再生する際に、ブロック全体にわたり、視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できるので動画像符号化装置の性能向上に寄与することができる利点がある。
【０１２５】
さらに、本発明によれば、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえているので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくい圧縮符号化を行なうことができる利点がある。
【０１２６】
さらに、本発明によれば、第１の切替手段，第２の切替手段，第３の切替手段及び第１の制御手段をそなえたことにより、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
【０１２７】
また、本発明によれば、振幅復調手段により、逆変換手段からの変調予測誤差信号の各画素における振幅を、復調度設定手段で設定された復調度で復調することができるので、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができるので、装置の性能向上に寄与することができる利点がある。
【０１３０】
さらに、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえているので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくいような画像を再生することができる利点がある。
【０１３１】
また、本発明によれば、第４の切替手段，第５及び第２の制御手段をそなえ、制御情報としての予測パラメータに基づいて、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】本発明の原理ブロック図である。
【図３】本発明の一実施形態にかかる動画像符号化装置を示すブロック図である。
【図４】（ａ）〜（ｃ）はいずれも本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図５】本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図６】（ａ）〜（ｃ）はいずれも本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図７】（ａ）〜（ｈ）はいずれも本実施形態にかかる動画像符号化装置及び動画像復号化装置の動作を説明するための図である。
【図８】本発明の一実施形態にかかる動画像復号化装置を示すブロック図である。
【図９】標準化方式に基づく動画像符号化装置を示すブロック図である。
【図１０】標準化方式に基づく動画像復号化装置を示すブロック図である。
【図１１】（ａ）〜（ｃ）はいずれも標準化方式に基づく動画像符号化装置及び動画像復号化装置の動作を説明するための図である。
【符号の説明】
１ 予測誤差信号生成手段
２ 振幅変調手段
３ 変換手段
４ 量子化手段
５ 逆量子化手段
６ 逆変換手段
７ 振幅復調手段
８ 復号画像生成手段
９ 復号画像記憶手段
１０ 予測パラメータ計算手段
１１ 予測画像生成手段
１２ 通信路符号化手段
１３ 通信路符号復号化手段
１４ 逆量子化手段
１５ 逆変換手段
１６ 振幅復調手段
１７ 復号画像生成手段
１８ 復号画像記憶手段
１９ 予測画像生成手段
２０Ａ 動画像符号化装置
２０Ｂ 動画像復号化装置
２１ 減算器（予測誤差信号生成手段）
２２ 振幅変調乗算器（振幅復調手段）
２３ 離散コサイン変換部（変換手段）
２４ 量子化器（量子化手段）
２５ 逆量子化器（逆量子化手段）
２６ 逆離散コサイン変換部（逆変換手段）
２７ 振幅復調乗算器（振幅復調手段）
２８ 加算器（復号画像生成手段）
２９ フレームメモリ（復号画像記憶手段）
３０ 動きベクトル予測部（予測パラメータ計算手段，第１の制御手段）
３１ 予測画像生成部（予測画像生成手段）
３２−１〜３２−３ 選択器（切替手段）
３３ 振幅変調倍率生成器（変調度設定手段）
３４ 逆数計算器（復調度設定手段）
３５ 通信路符号化部（通信路符号化手段）
３６ 動画像符号化装置
４１ 可変長復号器（通信路符号復号化手段，第２の制御手段）
４２ 逆量子化器（逆量子化手段）
４３ 逆離散コサイン変換部（逆変換手段）
４４ 振幅復調乗算器（振幅復調手段）
４５ 加算器（復号画像生成手段）
４６ フレームメモリ（復号画像記憶手段）
４７ 予測画像生成部（予測画像生成手段）
４８ 振幅変調倍率生成器（変調度設定手段）
４９ 逆数計算器（復調度設定手段）
５０−１，５０−２ 選択器（切替手段）
５１ 動画像復号化装置
１００ 動画像符号化装置
１０１ 予測誤差信号生成部
１０２ 変換部
１０３ 量子化部
１０４ 逆量子化部
１０５ 逆変換部
１０６ 復号画像生成部
１０７ 復号画像記憶部
１０８ 予測パラメータ計算部
１０９ 予測画像生成部
１１１ 通信路符号復号化部
１１２ 逆量子化部
１１３ 逆変換部
１１４ 復号画像生成部
１１５ 復号画像記憶部
１１６ 予測画像生成部
【発明の属する技術分野】
本発明は、動画像情報を圧縮して伝送する際に用いて好適な、動画像符号化装置及び動画像復号化装置に関する。
【０００３】
【従来の技術】
一般的に、ディジタル画像データは、音声データ等に比して膨大な情報を有しており、このディジタル画像データを伝送する場合には、データ圧縮技術を用いることにより、より少ない情報量で、且つ視覚的な歪みをより少なくする形で伝送することが要求されている。
【０００４】
近年においては、上述のような要求に応えるべく、データ圧縮のための画像符号化技術や、データ再生のための動画像復号化技術に関する研究が広く行なわれており、例えば、Ｈ．２６１，ＭＰＥＧ−１／２(Motion Picture Image Coding Experts Group）等が、上述のディジタル画像符号化方式の標準化方式として広く用いられている。
【０００５】
図９は上述の標準化方式に基づく動画像符号化装置を示すブロック図であり、この図９に示す動画像符号化装置１００において、１０１は予測誤差信号生成部であり、この予測誤差信号生成部１０１は、予測誤差信号生成部１０１において、入力画像と過去の入力画像から生成された予測画像との差分を、Ｎ×Ｎ（例えばＮ＝８）のブロック毎に計算して、予測誤差信号を生成するものである。
【０００６】
また、１０２は変換部であり、この変換部１０２は、画素間の相関性を取り除く変換として、予測誤差信号生成部１０１からの予測誤差信号について、例えば二次元ＤＣＴ(Discrete Cosine Transform，離散コサイン変換）等の直交変換を施すものである。
さらに、１０３は変換部１０２からの変換係数について量子化する量子化器であり、１０４は量子化器１０３からの量子化された変換係数について逆量子化する逆量子化器であり、１０５は逆量子化器１０４からの変換係数について逆変換を施し、変換前の予測誤差信号を再生する逆変換部である。
【０００７】
また、１０６は逆変換部１０５からの予測誤差信号と過去の入力画像から生成された予測画像を加算して復号画像を生成する復号画像生成部であり、１０７は、復号画像生成部１０６からの復号画像を次以降の予測画像を生成するための画像情報として記憶する記憶部である。
さらに、１０８は予測パラメータ計算部であり、この予測パラメータ計算部１０８は、入力画像と復号画像記憶部１０７からの画像情報とに基づいて、上述の予測画像を生成するためのパラメータを計算するものである。
【０００８】
また、１０９は予測画像生成部であり、この予測画像生成部１０９は、復号画像記憶部１０７からの画像情報と、予測パラメータ計算部１０８からの予測パラメータとに基づいて、上述の予測画像を生成するものである。
さらに、１１０は通信路符号化部であり、この通信路符号化部１１０は、上述の量子化部１０３からの量子化変換係数とともに、量子化に関する情報や予測パラメータ計算部１０８にて計算された予測パラメータ等の制御情報を通信路符号化し、動画像符号化情報として出力するものである。
【０００９】
また、図１０は上述の標準化方式に基づく動画像復号化装置を示すブロック図である。この図１０に示す動画像復号化装置１１７において、１１１は通信路符号復号化部であり、この通信路符号復号化部１１１は、動画像符号化装置からの動画像符号化情報について復号化し、例えば上述の動画像符号化装置１００における通信路符号化部１１０からの量子化変換係数とともに、量子化に関する情報や予測パラメータ等の制御情報を復号化するものである。
【００１０】
１１２は通信路符号復号化部１１１からの量子化された変換係数について、復号化された量子化に関する情報に基づいて逆量子化する逆量子化器であり、１１３は逆量子化器１０４からの変換係数について逆変換を施し、変換前の予測誤差信号を再生する逆変換部である。
また、１１４は逆変換部１１３からの予測誤差信号と過去の入力画像から生成された予測画像を加算して復号画像を生成する復号画像生成部であり、１１５は復号画像生成部１１４からの復号画像を次以降の予測画像を生成するための画像情報として記憶する記憶部である。
【００１１】
さらに、１１６は予測画像生成部であり、この予測画像生成部１１６は、復号画像記憶部１１５からの画像情報と、通信路符号復号化部１１１にて復号化された予測パラメータとに基づいて、上述の予測画像を生成するものである。
このような構成により、図９に示す符号化装置では、予測誤差信号生成部１０１において、予測画像生成部１０９にて生成された予測画像に基づき、入力画像に対する予測誤差をＮ×Ｎのブロック毎に計算する。
【００１２】
続いて、変換部１０２において、計算されたＮ×Ｎのブロック毎の予測誤差について直交変換である離散コサイン変換を施し、変換結果に対して量子化器１０３にて量子化する。量子化部１０３からの出力は、通信路符号化部１１０にて符号化されて出力される一方、逆量子化部１０４に出力されて、次段の入力画像の予測画像を生成するための信号として用いられる。
【００１３】
即ち、逆量子化部１０４では、量子化部１０３からの量子化係数を逆量子化し、逆変換部１０５にて変換係数を逆離散コサイン変換する。
復号画像生成部１０６では、逆変換部１０５からの変換後の予測誤差信号について、予測画像生成部１０９にて生成された予測画像と加算して復号画像を生成する。復号画像記憶部１１５では、復号画像生成部１１４にて生成された復号画像を、次段の予測画像を生成するために記憶しておく。
【００１４】
なお、予測画像生成部１０９では、復号画像記憶部１０７からの復号画像と、予測パラメータ計算部１０８にて計算された予測パラメータとに基づいて上述の予測画像を生成する。
また、図１０に示す復号装置では、通信路符号復号化部１１１にて入力された通信路符号を復号して、量子化された変換係数とともに量子化に関する情報や予測パラメータ等の制御情報を求める。その後、逆量子化部１１２にて量子化係数を逆量子化し、逆変換部１１３にて変換係数を逆離散コサイン変換する。
【００１５】
復号画像生成部１１４では、逆変換部１１３からの変換後の予測誤差信号について、予測画像生成部１１６にて生成された予測画像と加算して復号画像を生成する。なお、復号画像生成部１１４にて生成された復号画像は、次段の予測誤差信号に基づいて復号画像を生成するために、復号画像記憶部１１５に記憶しておく。
【００１６】
【発明が解決しようとする課題】
ところが、上述の図９に示す動画像符号化装置１００においては、量子化部１０３における量子化は変換部１０２にて直交変換（離散コサイン変換）された係数に対して行なわれる。
ところで、変換部１０２における変換結果としての係数は、対応ブロックの画像の周波数にほぼ対応している。従って、ある係数を量子化した時に生じる量子化誤差は、逆直交変換（逆離散コサイン変換）を施したときに、ブロック内の全ての画素に、大局的にほぼ一定のパワーで符号化誤差が付加され、この誤差により、人間の視覚特性上、しばしば視覚的に目立つ誤差を引き起こす。
【００１７】
即ち、符号化しようとしているブロック内に、比較的平坦な領域と複雑な領域、あるいは輝度の段差が存在する場合、本来、高周波成分の存在しない平坦部分に印加された、高周波成分の量子化により生じた高周波符号化ノイズ（モスキートノイズ）は、複雑な領域に印加された同様の性質の符号化ノイズよりもはるかに目立ちやすくなるのである。
【００１８】
具体的には、図１１（ａ）の実線に示すように、予測誤差信号生成部１０１にて生成された、あるブロックにおける予測誤差信号が、比較的平坦な領域（低周波領域）と複雑な領域（高周波領域）が存在する場合において、直交変換及び量子化処理が施されると、予測誤差信号には、図１１（ｂ）の点線に示すような誤差が生ずる。
【００１９】
これにより、上述の直交変換及び量子化処理が施された予測誤差信号について復号すると、図１１の（ｃ）示すように、平坦な領域及び複雑な領域に一様に誤差が生ずる。即ち、高周波成分の存在しない平坦部分においても、高周波成分の量子化により高周波符号化ノイズ（モスキートノイズ）が生じる。この高周波符号化ノイズは、人間の視覚特性上、複雑な領域に印加された同様の性質の符号化ノイズよりもはるかに目立ちやすくなるのである。
【００２０】
ところで、特開昭６２−９１０９０号公報においては、分割された画像信号のブロックに対し、変換符号化の前段でブロックの境界部分を強調する処理を行なうことにより、ブロック境界部分においてボケの少ない変換符号化を行なうことができる技術が開示されている。
しかしながら、上述の特開昭６２−９１０９０号公報にて開示された技術は、単にブロック境界部分の誤差のみを軽減するものであり、ブロック内の平坦部分等、ブロック全体にわたって視覚的に目立つ誤差を軽減することができないという課題がある。
【００２１】
本発明は、このような課題に鑑み創案されたもので、動画像を符号化，復号化する際に、ブロック全体にわたり、視覚的に目立つ誤差を軽減するようにした、動画像符号化装置及び動画像復号化装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
図１は本発明の原理ブロック図であり、この図１に示す動画像符号化装置２０Ａは、予測誤差信号生成手段１，振幅変調手段２，変換手段３，量子化手段４，逆量子化手段５，逆変換手段６，振幅復調手段７，復号画像生成手段８，復号画像記憶手段９，予測パラメータ計算手段１０，予測画像生成手段１１及び通信路符号化手段１２をそなえている。
【００２３】
ここで、予測誤差信号生成手段１は、入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成するものである。
また、振幅変調手段２は、予測誤差信号生成手段１にて生成された予測誤差信号の各画素における振幅を振幅変調するものであり、変換手段３は、振幅変調手段２において振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成するものであり、量子化手段４は、変換手段３からの変換係数を量子化するものである。
【００２４】
さらに、逆量子化手段５は、量子化手段４からの量子化変換係数を逆量子化し、変換係数を再生するものであり、逆変換手段６は、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生するものであり、振幅復調手段７は、逆変換手段６からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生するものである。
【００２５】
また、復号画像生成手段８は、振幅復調手段７にて再生された予測誤差信号と予測画像とを加算し、復号画像を生成するものであり、復号画像記憶手段９は、復号画像生成手段８からの復号画像を、過去に復号した復号画像として記憶するものである。
さらに、予測パラメータ計算手段１０は、復号画像記憶手段９に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータである動きベクトルを計算するものであり、予測画像生成手段１１は、予測パラメータ計算手段１０にて計算された動きベクトルと、復号画像記憶手段９に記憶された復号画像とから、予測画像を生成するものである。
【００２６】
また、通信路符号化手段１２は、量子化手段４からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力するものである。
さらに、振幅変調手段２が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、振幅変調手段２における予測誤差信号の変調度を設定する変調度設定手段をそなえ、振幅復調手段７は、変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なう。
【００２９】
図２についても本発明の原理ブロック図であり、この図２に示す動画像復号化装置２０Ｂは、通信路符号復号化手段１３，逆量子化手段１４，逆変換手段１５，振幅復調手段１６，復号画像生成手段１７，復号画像記憶手段１８及び予測画像生成手段１９をそなえている。
【００３０】
ここで、通信路符号復号化手段１３は、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生するものである。
また、逆量子化手段１４は、通信路符号復号化手段１３にて再生された量子化変換係数を逆量子化し、変換係数を再生するものであり、逆変換手段１５は、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生するものであり、振幅復調手段１６は、逆変換手段１５からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生するものである。
【００３１】
さらに、復号画像生成手段１７は、振幅復調手段１６にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成するものである。
また、復号画像記憶手段１８は、復号画像生成手段１７からの復号画像を、過去に復号した復号画像として記憶するものであり、予測画像生成手段１９は、通信路符号復号化手段１３において再生された量子化情報または動きベクトルを含む符号化制御情報と、復号画像記憶手段１８に記憶された復号画像とから、予測画像を生成するものである。
かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえて構成されている。
【００３５】
上述の本発明の動画像復号化装置２０Ｂでは、通信路符号復号化手段１３で、動画像符号化装置からの振幅変調された動画像符号化情報を構成する量子化変換係数及び符号化制御情報について復号して再生する。
また、逆量子化手段１４で、再生された量子化変換係数を逆量子化して変換係数を再生し、逆変換手段１５で、再生された変換係数に基づいて、変調予測誤差信号を再生し、振幅復調手段１６で、予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する。
【００３６】
また、本発明の動画像符号化装置は、入力画像を複数画素よりなるブロックに分割し、該ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、該予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を変調度で振幅変調する振幅変調手段と、該予測誤差信号生成手段からの予測誤差信号か又は該振幅変調手段にて振幅変調された予測誤差信号のうちのいずれか一方を選択的に切り替えて出力する第１の切替手段と、該第１の切替手段からの予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、該変換手段からの変換係数を量子化する量子化手段と、該量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、該再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、該逆変換手段からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、該逆変換手段にて再生された予測誤差信号か又は該振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて該復号画像生成手段に出力するか又は該復号画像生成手段に選択的に切り替えて出力する第２の切替手段と、該第２の切替手段からの予測誤差信号と該予測画像とを加算し、復号画像を生成する復号画像生成手段と、該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、該復号画像記憶手段に記憶された復号画像から、該復号画像に続いて入力される入力画像との誤差が小さくなるような該予測画像を生成するための予測パラメータである動きベクトルを計算する予測パラメータ計算手段と、該予測パラメータ計算手段にて計算された動きベクトルと、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段と、該量子化手段からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段と、該予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、該予測誤差信号生成手段及び該復号画像生成手段に出力する第３の切替手段と、該ブロックに応じて、上記の各切替手段を切替制御する第１の制御手段とをそなえ、かつ、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえ、該振幅復調手段が、該変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なうことを特徴としている。
【００３７】
さらに、本発明の動画像復号化装置は、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び量子化情報または動きベクトルを含む符号化制御情報について復号して再生する通信路符号復号化手段と、通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、予測誤差信号を再生する逆変換手段と、逆変換手段からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、逆変換手段にて再生された予測誤差信号か又は、振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて、復号画像生成手段に出力する第４の切替手段と、第４の切替手段からの予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、通信路符号復号化手段において再生された制御情報と、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段と、予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、復号画像生成手段に出力する第５の切替手段と、ブロックに応じて、上記の各切替手段を切替制御する第２の制御手段とをそなえ、かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえたことを特徴としている。
【００３８】
この場合においては、通信路符号復号化手段において再生された制御情報を、動きベクトルにより構成する一方、第２の制御手段を、動きベクトルに基づいて、上記の第４の切替手段及び第５の切替手段を切替制御するように構成することができる。
ところで、本発明の関連発明にかかる動画像符号化復号化装置は、上述の図１に示す動画像符号化装置２０Ａとしての機能を有する動画像符号化部と、図２に示す動画像復号化装置２０Ｂとしての機能を有する動画像復号化部とをそなえて構成されている。
【００３９】
即ち、本発明の関連発明にかかる動画像符号化復号化装置は、入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を、所定の変調度で振幅変調する振幅変調手段と、振幅変調手段において振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、変換手段からの変換係数を量子化する量子化手段と、量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、逆変換手段からの予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生する振幅復調手段と、振幅復調手段にて再生された予測誤差信号と予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、復号画像記憶手段に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータを計算する予測パラメータ計算手段と、予測パラメータ計算手段にて計算された予測パラメータと、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段と、量子化手段からの量子化変換係数とともに制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段とをそなえてなる動画像符号化部をそなえるとともに、動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する通信路符号復号化手段と、通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、逆変換手段からの変調予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生する振幅復調手段と、振幅復調手段にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、通信路符号復号化手段において再生された制御情報と、復号画像記憶手段に記憶された復号画像とから、予測画像を生成する予測画像生成手段とをそなえてなる動画像復号化部をそなえたことを特徴としている。
【００４０】
【発明の実施の形態】
（ａ）動画像符号化装置の説明
図３は本発明の一実施形態にかかる動画像符号化装置を示すブロック図であり、この図３に示す動画像符号化装置３６は、ディジタル動画像データを、データ圧縮技術を用いて、原画像データよりも少ないデータ量を少なくして伝送するものである。
【００４１】
ここで、２１は減算器であり、この減算器２１は、入力画像と過去（例えば１フレーム前の）の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段としての機能を有するものである。
また、２２は振幅変調乗算器であり、この振幅変調乗算器２２は、減算器２１にて計算された予測誤差信号の各画素における振幅を、後述の振幅変調倍率変成器３３にて設定された所定の変調度としての倍率で乗算することにより、振幅変調する振幅変調手段としての機能を有している。
【００４２】
３２−１は第１の切替手段としての選択器であり、この選択器３２−１は、減算器２１からの予測誤差信号か又は振幅変調乗算器２２からの振幅変調された予測誤差信号のいずれか一方を選択的に切り替えて出力するものである。
また、２３は離散コサイン変換部（ＤＣＴ，Discrete Cosine Transform ）であり、この離散コサイン変換部２３は、選択器３２−１からの予測誤差信号について、画素間の相関性を取り除く直交変換を施し、変換係数を生成する変換手段としての機能を有している。
【００４３】
さらに、２４は離散コサイン変換部２３からの変換係数としてのＤＣＴ係数を量子化する量子化手段としての量子化器、２５は量子化器２４からの量子化変換係数を逆量子化し変換係数を再生する逆量子化手段としての逆量子化器、２６は再生された変換係数に基づいて振幅変調された予測誤差信号を再生する逆変換手段としての逆離散コサイン変換部（逆ＤＣＴ）である。
【００４４】
換言すれば、逆離散コサイン変換部２６は、逆量子化器２５にて再生された変換係数について、離散コサイン変換部２３と逆の変換を施すことにより、予測誤差信号を再生するものである。
さらに、２７は振幅復調乗算器であり、この振幅復調乗算器２７は、逆離散コサイン変換部２６からの予測誤差信号の各画素における振幅を、後述の振幅変調倍率変成器３３及び逆数計算器３４にて計算された所定の復調度で復調し、予測誤差信号を再生する振幅復調手段としての機能を有するものである。
【００４５】
３２−２は第２の切替手段としての選択器であり、この選択器３２−２は、逆離散コサイン変換部２６にて再生された予測誤差信号か又は振幅復調乗算器２７にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて加算器２８に出力するものである。
さらに、加算器２８は、選択器３２−２からの予測誤差信号と後述の予測画像生成部３１にて生成された予測画像とを加算し、復号画像を生成する復号画像生成手段としての機能を有するものである。
【００４６】
２９は加算器２８からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段としてのフレームメモリであり、このフレームメモリ２９は過去の復号画像を例えば１フレーム又は複数フレーム分記憶するようになっている。
また、３０は予測パラメータ計算手段としての動きベクトル予測部であり、この動きベクトル予測部３０は、フレームメモリ２９に記憶された復号画像から、復号画像に続いて入力される入力画像との誤差が小さくなるような予測画像を生成するための予測パラメータとしての動きベクトルを計算するものである。
【００４７】
換言すれば、予測パラメータ計算手段３０は、原画像に対する１枚過去又は複数枚過去の画像に対する動きベクトルを算出するものであって、予測画像生成部３１では、この動きベクトルを予測パラメータとして予測画像を生成するようになっている。
さらに、予測画像生成部３１は、予測パラメータ計算手段にて計算された予測パラメータと、フレームメモリ２９に記憶された復号画像とから、予測画像を生成する予測画像生成手段としての機能を有するものである。
【００４８】
また、３２−３は第３の切替手段としての選択器であり、この選択器３２−３は、予測画像生成部３１にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、上述の予測誤差信号生成部２１，加算器２８及び振幅変調倍率生成器３３に出力するものである。
ところで、動きベクトル予測部３０は、ブロック毎の予測パラメータの計算結果に応じて、対象ブロックにおいて予測誤差信号の振幅変調・復調を行なうべきか否かを判定し、判定結果〔フレーム内符号化（Intra)／フレーム間符号化（Inter)の判定情報〕に基づいて、選択器３２−１〜３２−３を切替制御するようになっている。
【００４９】
具体的には、動きベクトル予測部３０は、上述の予測パラメータの計算結果に応じて、ブロックがIntra （フレーム内符号化）モードであったり、予測画像と原画像との相関が低く、予測画像から適切な振幅変調関数が求められない場合等においては、対象ブロックで予測誤差信号の振幅変調・復調を行なわない（Intra)と判定する。
【００５０】
この場合においては、動きベクトル予測部３０は、減算器２１からの予測誤差信号が離散コサイン変換部２３に入力されるように選択器３２−１を制御し、逆離散コサイン変換部２６からの予測誤差信号が加算器３２−２に入力されるように選択器３２−２を制御するとともに、予測画像無しを示す信号が減算器２１及び加算器２８に入力されるように選択器３２−３を制御するようになっている。
【００５１】
また、この動きベクトル予測部３０において、ブロックがInter(フレーム間符号化）モードであり、予測誤差の振幅変調・復調を行なうべきと判定された場合には、振幅変調乗算器２２からの予測誤差信号が離散コサイン変換部２３に入力されるように選択器３２−１を制御し、振幅復調乗算器２７からの予測誤差信号が加算器３２−２に入力されるように選択器３２−２を制御するとともに、予測画像生成部３１にて生成された予測画像が減算器２１及び加算器２８に入力されるように選択器３２−３を制御するようになっている。
【００５２】
従って、上述の動きベクトル予測部３０は、ブロックに応じて、上述の各選択器３２−１〜３２−３を切替制御することにより、フレーム間符号化又はフレーウ内符号化を適応的に切替制御する第１の制御手段としての機能をも有している。
また、上述の予測誤差の振幅変調・復調を行なうべきか否かの判定結果は、制御情報として動画像復号装置に伝送することができ、これにより、復号装置側においても上述の判定結果に基づいて予測誤差信号の振幅復調のオンオフを行なうことができる。
【００５３】
さらに、３５は通信路符号化手段としての可変長符号化部であり、この可変長符号化部３５は、量子化器２４からの量子化変換係数及び動画像復号化装置側における復号の際に必要な制御情報に、例えばハフマン符号等の符号を割り当てて、圧縮された動画像符号化情報として出力するものである。
なお、上述の制御情報としては、例えば量子化器２４による量子化に関する情報，動きベクトル予測部３０にて計算された予測パラメータ（予測誤差信号の変調・復調を行なうか否かの情報を含む）又は後述の振幅変調倍率生成器３３にて生成される振幅変調乗算器２２の変調方法に関する情報若しくはこれらの情報の任意の組み合わせにより構成されるようになっている。
【００５４】
また、振幅変調倍率生成器３３は、選択器３２−３から入力された予測画像に関する情報（予測画像無しを示す信号を含む）に基づいて、振幅変調乗算器２２における変調度を設定するものである。
即ち、振幅変調倍率生成器３３は変調度設定手段としての機能を有しており、ブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、相対的に大きい倍率を振幅変調乗算器２２の変調度として設定する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、相対的に小さい倍率を振幅変調乗算器２２の変調度として設定するようになっている。
【００５５】
ところで、この振幅変調倍率生成器３３における予測誤差信号の変調度の設定態様としては、ブロック内の画像において、人間の視覚特性を反映する尺度（画像のその画素付近に誤差が印加されたときその誤差が人間にとってどれだけ目立ちやすいかを示す尺度）を用いて、予測誤差信号の振幅を変換する関数を設定することにより、変調度を設定することができる。
【００５６】
換言すれば、振幅変調倍率変成器３３においては、振幅変調乗算器２２における予測誤差信号の変調度を、上述の尺度で誤差が見えやすいと判断された画素ほど、予測誤差信号の値を相対的に大きい倍率に設定する一方、上述の尺度で誤差が見えにくいと判断された画素ほど、予測誤差信号の値を相対的に小さい倍率に設定することができるのである。
【００５７】
なお、上述の誤差が目立ちやすいかの尺度としては、例えば、ローカルな画像の分散，画像のPotential Visibility Function （潜在的誤差認知度）等の関数又は誤差の認知のしやすさにおける輝度との関係等を利用することができる。
さらに、振幅変調倍率生成器３３においては、予測画像生成部３１からの予測画像に基づいて、上述の人間の視覚特性を反映する尺度を求めることができる。
【００５８】
即ち、動画像符号化を行なう際の予測画像は、符号化画像との相関が非常に高く、この誤差認知度の尺度として、符号化装置及び復号装置の双方において、同様のアルゴリズムにより、予測画像を誤差認知度の尺度として用いれば、振幅変調倍率生成器３３では、予測誤差信号の振幅を変換する関数を適応的に決定することもできるのである。
【００５９】
この場合においては、送受で共通の情報を用いて共通のアルゴリズムで各画素の振幅を変換する関数を決定することができ、この関数決定に関する情報を一切伝送する必要がなくなる。
ところで、上述の振幅変調倍率生成器３３において決定される予測誤差信号の振幅を変換する関数は、具体的には以下に示すように、アクティビティ（画像の複雑さ）及び背景画像の輝度に基づいて決定することができる。
【００６０】
まず、アクティビティに基づいて予測誤差信号の振幅を変換する関数は、以下に示すように求めることができる。
例えば図４（ａ）に示すように、符号化対象となるブロックが８×８の画素Ｘ1 〜Ｘ64により構成される場合において、ある画素Ｘi における局所的なアクティビティは以下のように求められる。なお、文中、変数の表記が数式と異なる場合がある。
【００６１】
まず、図４（ｂ）に示すように、画素Ｘi の近傍における８画素を、対象画素の上下左右の２画素ずつと定め、これらの対象画素及び近傍の画素をＸi1〜Ｘi9とするとともに、それぞれの画素値をｘijとすると、画素Ｘi の分散σi 2 は、以下に示す式（１）のように定義される。
なお、対象画素がブロック境界に隣接する場合には、当該ブロックを外れる近傍画素の画素値は、図４（ｃ）に示すように、ブロック境界を軸にして、ブロック境界内の画素と線対称となるように画素値を設定するようになっている。
【００６２】
例えば、図４（ｂ）において、対象画素Ｘi1がブロックの左端部にある場合には、ブロックから外れるＸi4，Ｘi5の画素値ｘi4，ｘi5を、それぞれ、対象画素Ｘi1の画素値ｘi1〔図４（ｃ）では‘ａ’〕，画素Ｘi6の画素値ｘi6〔図４（ｃ）では‘ｂ’〕と設定するのである。
【００６３】
【数１】
従って、画素Ｘi のアクティビティＡi を、値が０よりも大きくなるように定数Ｃを用いて次式（２）に示すように定義する。
【００６５】
【数２】
また、ブロック内の平均のアクティビティＡを、式（３）に示すように定義する。
【００６７】
【数３】
これにより、画像の複雑さに依存するブロック内の画素Ｘi の振幅変調の倍率Ｋi を次式（４）に示すように定義する。
【００６９】
【数４】
続いて、背景画像の輝度による、印加された誤差の認知度に基づく振幅変調の倍率は、以下に示すように求めることができる。
ここで、背景の輝度に対する、誤差の認知の度合いは、例えば図５に示すような特性ｖ＝ｆ（ｘ）（ｖ：誤差認知，ｘ：背景の輝度）を有している。
【００７１】
まず、図６（ａ）に示すように、対象画素Ｘi の近傍における８画素を、対象画素の周囲の８画素と定め、これらの対象画素及び近傍の画素をＸi1〜Ｘi9とするとともに、それぞれの画素値をｘijとすると、画素ｉの誤差認知度（Error Visibility）Ｖi は、以下の式（５）に示すようになる。
なお、例えば図６（ｃ）に示すように、対象画素Ｘi の近傍画素がブロックから外れる場合には、当該ブロックから外れる画素の画素値を、隣接するブロック内の画素の画素値（この場合においては‘ａ’）と設定することができる。
【００７２】
【数５】
これにより、画像の背景の輝度に依存する、ブロック内の画素Ｘi の振幅変調の倍率Ｌi は、適当な定数Ｄを用いることにより、次式（６）に示すように定義する。
【００７４】
【数６】
従って、画像の複雑さに依存する、ブロック内の画素ｉの振幅変調の倍率Ｋi と、画像の輝度に依存するブロック内の画素ｉの振幅変調の倍率Ｌi を用いて、画像の複雑さ及び輝度に依存する対象ブロックの画素ｉにおける予測誤差の振幅変調のための倍率Ｍi は、次式（７）に示すように決定することができる。
【００７６】
【数７】
即ち、振幅変調倍率生成器３３では、上述の式（７）に示すような倍率Ｍi を、対象ブロックの画素ｉにおける変調度を決定するための関数としている。
ところで、逆数計算器３４は、振幅復調乗算器２７における復調度を、振幅変調乗算器２２における変調前の予測誤差信号を最適に再生できるように設定する復調度設定手段としての機能を有するものであって、この逆数計算器３４は、振幅変調倍率生成器３３にて設定された振幅変調乗算器２２の変調度に基づいて、復調度を設定するようになっている。
【００７８】
具体的には、逆数計算器３４は、振幅変調倍率生成器３３にて設定される振幅変調乗算器２２の変調度としての関数（上述の式（７）参照）の逆関数を計算し、計算された逆関数または逆関数に近い特性を有する関数を振幅復調乗算器２７における復調度として設定しているのである。
上述の構成により、本発明の一実施形態にかかる動画像符号化装置は、以下に示すように動作する。
【００７９】
即ち、動きベクトル予測部３０において、ブロック毎の予測パラメータの計算結果に応じて、動作モードとしてフレーム内符号化（Intra)／フレーム間符号化（Inter)を判定し、この判定結果に基づいて選択器３２−１〜３２−３を切替制御する。
特に、フレーム間符号化と判定されたブロックにおいては、減算器２１では、入力画像のブロックを入力されるとともに、予測画像生成部３１にて生成された予測画像を選択器３２−３を介して入力され、これらの入力画像と予測画像との差を演算することにより予測誤差信号を生成する。
【００８０】
また、振幅変調乗算器２２では、減算器２１からの予測誤差信号の各画素における振幅を振幅変調倍率生成器３３にて設定された所定の変調度で振幅変調し、変調された予測誤差信号を選択器３２−１を介して離散コサイン変換部２３に出力する。
離散コサイン変換部２３では振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施して変換係数を生成して、量子化器２４において生成された変換係数を量子化する。
【００８１】
これにより、可変長符号化部３５では、量子化器２４にて量子化された変換係数とともに、動画像復号化装置側における復号のための制御情報に符号を割り当てて、動画像符号化情報として出力している。
なお、予測画像を生成する際には、加算器２８において、逆量子化器２５，逆離散コサイン変換部２６，振幅復調乗算器２７及び選択器３２−２を介して再生された予測誤差信号と、予測画像生成部３１及び選択器３２−３を介して入力される予測画像とを加算し、入力画像を復号する。
【００８２】
これにより、予測画像生成部３１では、フレームメモリ２９からの復号画像と動きベクトル予測部３０にて計算された予測パラメータに基づいて、予測画像を生成する。
また、上述の振幅変調乗算器２２において、量子化の前段において予測誤差信号を変調する一方、振幅復調乗算器２７において、逆離散コサイン変換の結果について振幅復調することにより、具体的には以下に示すように視覚的に目立つ誤差を軽減することができる。
【００８３】
即ち、図７（ａ）に示すような、減算器２１において平坦部分と複雑な部分を含むブロックにおいて生成された予測誤差信号を、図７（ｂ）のような、ブロック内の画素毎に異なるような変調度で変調するようになっている。
ところで、平坦部分〔図７（ａ）における波形変動のない領域参照〕については、人間の視覚特性から複雑な部分よりも誤差が目立ち易く、符号化の結果として生じる誤差を小さくすることが必要である。また、複雑な部分〔図７（ａ）における波形変動のある領域参照〕については平坦部分よりも誤差は目立ちにくく、平坦部分ほど誤差を小さくすることは必要ではない。
【００８４】
従って、振幅変調倍率生成器３３においては、振幅変調乗算器２２による変調度として、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）を設定する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）を設定するようになっている。これにより、振幅変調乗算器２２における変調結果としての予測誤差信号は、図７（ｃ）に示すように、複雑な部分におけるレベル変動が小さくなる。
【００８５】
これにより、離散コサイン変換部２３，量子化器２４，逆量子化器２５及び逆離散コサイン変換部２６を介することにより、一旦直交変換及び量子化された予測誤差信号が復号・再生されると、この再生された予測誤差信号には、図７（ｄ）に示すように、大局的にほぼ一定の大きさの符号化ノイズが付加されている。換言すれば、図７（ｄ）に示す再生された予測誤差信号には、平坦部分から複雑な部分にわたり、図７（ｅ）に示すような大局的には一様な符号化ノイズが付加されているのである。
【００８６】
ここで、振幅復調乗算器２７において、図７（ｄ）に示すような再生された予測誤差信号について、図７（ｆ）に示すような、上述の振幅変調乗算器２２にて施された変調処理の逆特性の復調処理を施すことにより、図７（ｇ）に示すような予測誤差信号が得られる。
換言すれば、逆数計算部３４にて設定される振幅復調乗算器２７による復調度としては、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）を設定する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）を設定するようになっている。これにより、振幅復調乗算器２７における復調結果としての予測誤差信号は、図７（ｇ）に示すように、複雑な部分におけるレベル変動が小さくなるのである。
【００８７】
また、図７（ｅ）に示すように、平坦部分から複雑な部分にわたり、大局的に一様な符号化ノイズが付加されている予測誤差信号が、図７（ｇ）に示すように復調されることにより、図７（ｈ）に示すように、人間の視覚特性上目立ちやすい平坦部分の符号化ノイズ（モスキートノイズ）を小さくすることができる。
なお、動きベクトル予測部３０において、ブロックがフレーム内符号化を行なうべきと判定された場合には、減算器２１では予測画像なしを示す信号が入力されるようになっているほか、減算器２１からの予測誤差信号は変調されずに直交変換され、逆離散コサイン変換部２６からの予測誤差信号は復調されずに加算器２８に出力される。
【００８８】
このように、本発明の一実施形態にかかる動画像符号化装置によれば、振幅変調乗算器２２において、減算器２１にて生成された予測誤差信号の各画素における振幅を所定の変調度で振幅変調するとともに、振幅復調乗算器２７において、逆離散コサイン変換部２６からの予測誤差信号の各画素における振幅を所定の復調度で復調し予測誤差信号を再生しているので、動画像を再生する際に、ブロック全体にわたり視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できるので動画像符号化装置の性能向上に寄与することができる利点がある。
【００８９】
また、振幅変調倍率生成器３３により、符号化の結果として生じる誤差を小さくしたい画素か又は、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素かに応じて、適応的に振幅変調乗算器２２の変調度としての倍率を設定することができるので、圧縮効率を維持しながら、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【００９０】
さらに、振幅変調倍率生成器３３にて設定される予測誤差信号の変調度を、ブロック内の画像において、人間の視覚特性を反映する尺度に基づいて決定することができるので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくい圧縮符号化を行なうことができる利点がある。
また、振幅変調倍率生成器３３及び逆数計算器３４により、振幅復調乗算器２７における復調度を、変調された予測誤差信号を最適に再生できるように設定することができるので、正確な予測画像を生成することができ、予測符号化の精度を向上させることができる。
【００９１】
さらに、選択器３２−１〜３２−３及び動きベクトル予測部３０により、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
（ｂ）動画像復号化装置の説明
図８は本発明の一実施形態にかかる動画像復号化装置を示すブロック図であり、この図３に示す動画像復号化装置５１は、前述の図３に示す動画像符号化装置３６からの動画像符号化情報を、伸長して原画像を再生するものである。
【００９２】
本実施形態にかかる動画像復号化装置５１は、前述の図３に示す動画像符号化装置３６におけるもの（符号２５〜２９，３１，３３，３４参照）と同様の機能を有する逆量子化部４２，逆離散コサイン変換部（逆ＤＣＴ）４３，振幅復調乗算器４４，加算器４５，フレームメモリ４６，予測画像生成部４７，振幅変調倍率生成器４８及び逆数計算器４９をそなえるとともに、可変長符号器４１及び選択器５０−１，５０−２をそなえている。
【００９３】
ここで、可変長復号器４１は、動画像符号化装置３６からの動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する通信路符号復号化手段としての機能を有するものである。
なお、上述の動画像符号化装置３６からの制御情報としては、例えば量子化に関する情報，予測パラメータ（予測誤差信号の変調・復調を行なうか否かの情報を含む）又は変調方法に関する情報及び他のパラメータ情報等により構成されている。
【００９４】
また、可変長復号器４１にて復号された量子化変換係数とともに、制御情報としての量子化に関する情報は逆量子化器４２に出力される一方、制御情報としての予測パラメータ（動きベクトル）は予測画像生成部４７に出力されるようになっている。
さらに、可変長復号器４１にて復号された制御情報を構成する予測パラメータにおける、予測誤差信号の変調・復調を行なうか否かの情報は、動作モード情報（フレーム内予測／フレーム間予測）として選択器５０−１，５０−２に出力されるようになっており、この判定情報に基づいて、選択器５０−１，５０−２が切替制御されるようになっている。
【００９５】
換言すれば、可変長復号器４１は、ブロックに応じて選択器５０−１，５０−２を切替制御する第２の制御手段としての機能をも有している。
また、逆量子化手段としての逆量子化部４２は、動画像符号化装置３６から入力される量子化に関する情報に基づいて、可変長復号器４１にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段としての機能を有している。
【００９６】
さらに、逆変換手段としての逆離散コサイン変換部４３は、前述の動画像符号化装置３６の離散コサイン変換部２３に対する逆変換を行なうことにより、再生された変換係数に基づいて、予測誤差信号を再生するものである。
さらに、振幅復調乗算器４４は、離散コサイン変換部４３からの変調予測誤差信号の各画素における振幅を、振幅変調倍率生成器４８及び逆数計算器４９により設定された所定の復調度で復調し、予測誤差信号を再生する振幅復調手段としての機能を有している。
【００９７】
また、第４の切替手段としての選択器５０−１は、逆離散コサイン変換部５０−１にて再生された予測誤差信号か又は、振幅復調乗算器４４にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて、加算器４５に出力するものである。
さらに、加算器４５は、振幅復調乗算器４４にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段としての機能を有するものである。
【００９８】
また、復号画像記憶手段としてのフレームメモリ４６は、加算器４５からの復号画像を過去に復号した復号画像として、１フレーム分又は複数フレーム分記憶するものであり、予測画像生成部４７は、可変長復号器４１において再生された制御情報と、フレームメモリ４６に記憶された復号画像とから、予測画像を生成する予測画像生成手段としての機能を有する。
【００９９】
また、選択器５０−２は、予測画像生成部４７にて生成された予測画像か又は予測画像無しを示す信号（‘０’）のうちのいずれか一方を選択的に切り替えて、加算器４５に出力する第５の切替手段としての機能を有している。
また、振幅変調倍率生成器４８は、前述の動画像符号化装置３６におけるもの（符号３３参照）と同様に振幅変調倍率（振幅変調関数）を生成するものである。
【０１００】
さらに、逆数計算器４９は動画像符号化装置３６におけるもの（符号３４参照）と同様に、振幅変調倍率生成器４８からの振幅変調倍率の逆数を演算することにより、振幅復調乗算器４４の復調度を生成するものである。
換言すれば、上述の振幅変調倍率生成器４８及び逆数計算器４９により、振幅復調乗算器４４における復調度を、変調前の予測誤差信号を最適に再生できるように設定する復調度設定手段としての機能を有している。
【０１０１】
具体的には、振幅変調倍率生成器４８及び逆数計算器４９では、ブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、変調予測誤差信号の値を相対的に小さくする倍率を復調度として設定する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、変調予測誤差信号の値を相対的に大きくする倍率を復調度として設定するようになっている。
【０１０２】
また、上述の振幅変調倍率生成器４８及び逆数計算器４９にて設定される予測誤差信号の復調度を、予測画像生成部４７からの予測画像に基づき、ブロック内の画像において、人間の視覚特性を反映する尺度（画像のその画素付近に誤差が印加されたときその誤差が人間にとってどれだけ目立ちやすいかを示す尺度）に基づいて決定するようになっている。
【０１０３】
即ち、振幅変調倍率生成器４８及び逆数計算器４９では、上述の尺度で誤差が見えやすいと判断された画素ほど、予測誤差信号の値を相対的に小さくする倍率を復調度として設定する一方、上述の尺度で誤差が見えにくいと判断された画素ほど、予測誤差信号の値を相対的に大きくする倍率を復調度として設定するようになっているのである。
【０１０４】
なお、上述の誤差が目立ちやすいかの尺度としては、上述の動画像符号化装置３６と同様、例えば、ローカルな画像の分散，画像のPotential Visibility Function （潜在的誤差認知度）等の関数又は誤差の認知のしやすさにおける輝度との関係等を利用することができる。
さらに、振幅変変調率生成器４６においては、予測画像生成部３１からの予測画像に基づいて、上述の人間の視覚特性を反映する尺度を求めることができる。
【０１０５】
即ち、動画像符号化を行なう際の予測画像は、符号化画像との相関が非常に高く、この誤差認知度の尺度として、復号装置の双方において、同様のアルゴリズムにより、予測画像を誤差認知度の尺度として用いれば、振幅変調倍率生成器３４８は、前述の動画像符号化装置３６におけるもの（符号３３参照）と同様に、予測誤差信号の振幅を変換する関数を適応的に決定することもできるのである（図４〜図７参照）。
【０１０６】
上述の構成により、本発明の一実施形態にかかる動画像復号化装置では、以下に示すように動画像符号化装置３６からの動画像符号化情報を再生している。
まず、可変長復号器４１において、動画像符号化装置３６からの、ブロック毎の予測パラメータの計算結果に応じた、動作モード情報（フレーム内符号化／フレーム間符号化）を入力され、この動作モード情報に基づいて選択器３２−１〜３２−３を切替制御する。
【０１０７】
ここで、フレーム間符号化と判定されたブロックにおいては、可変長復号器４１において、動画像符号化装置３６からの振幅変調された動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生する。
続いて、逆量子化器４２において、再生された量子化変換係数を、動画像符号化装置３６からの制御情報としての量子化に関する情報に基づいて逆量子化して変換係数を再生する。
【０１０８】
さらに、逆離散コサイン変換部４３において、再生された変換係数に基づいて、変調予測誤差信号を再生し、その後、振幅復調乗算器４４において、振幅変調倍率生成器４８及び逆数計算器４９にて計算された復調度で、振幅変調された予測誤差信号の各画素における振幅を復調することにより予測誤差信号を再生する。
【０１０９】
なお、振幅変調倍率生成器４８及び逆数計算器４９では、前述の動画像符号化装置３６におけるもの（符号３３及び３４参照）と同様に、人間の視覚特性を反映する尺度を用いることにより、復調度としての、予測誤差信号の振幅を変換する関数を適応的に決定している。
加算器４５では、再生された予測誤差信号と、予測画像生成部４７にて過去の入力画像から生成された予測画像とを加算することにより復号画像を生成して出力する。
【０１１０】
ところで、フレームメモリ４６では、加算器４５にて復号された復号画像を、次段の動画像符号化情報の復号化の際に用いる過去の入力画像として保持しておく。
これにより、予測画像生成部４７において、前述の動画像符号化装置３６における予測画像生成部３１の場合と同様に、フレームメモリ４６からの過去の入力画像と可変長復号器４１からの予測パラメータとしての動きベクトルに基づいて、予測画像を生成することができる。
【０１１１】
なお、振幅復調乗算器４４において、逆離散コサイン変換の結果について振幅復調することにより、具体的には前述の図７（ａ）〜（ｈ）に示すように、視覚的に目立つ誤差を軽減することができる。
また、可変長復号器４１では、intra(フレーム内符号化）と判断されたブロックについては、選択器５０−１，５０−２を切替制御することにより、予測誤差信号の振幅復調は行なわなれない。
【０１１２】
このように、本発明の一実施形態にかかる動画像復号化装置によれば、振幅復調乗算器４４により、逆離散コサイン変換部４３からの変調予測誤差信号の各画素における振幅を、所定の復調度で復調することができるので、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができるので、装置の性能向上に寄与することができる利点がある。
【０１１３】
さらに、振幅変調倍率生成器４８及び逆数計算器４９により、振幅復調乗算器４４の復調度を、変調前の予測誤差信号を最適に再生できるように生成することができるので、再生された予測誤差信号により高精度な復号画像を生成することができ、予測符号化された画像における復号化の精度を向上させることができる利点がある。
【０１１４】
また、振幅変調倍率生成器４８及び逆数計算器４９により、符号化の結果として生じる誤差を小さくしたい画素か又は、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素かに応じて、適応的に振幅復調乗算器４４の復調度としての倍率を設定することができるので、圧縮効率を維持しながら、画像を復号化して再生する際に、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる。
【０１１５】
さらに、振幅変調倍率生成器４８及び逆数計算器４９により設定される予測誤差信号の復調度を、ブロック内の画像において、人間の視覚特性を反映する尺度に基づいて決定することができるので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくいような画像を再生することができる利点がある。
【０１１６】
また、選択器５０−１，５０−２及び可変長符号器４１により、制御情報としての予測パラメータに基づいて、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
なお、本発明によれば、少なくとも入力画像を複数画素よりなるブロックに分割し、ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成し、予測誤差信号の各画素における振幅を、所定の変調度で振幅変調し、振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施して変換係数を生成し、生成された変換係数を量子化し、量子化された変換係数に符号を割り当てて出力することにより、動画像を再生する際に、ブロック全体にわたり、視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できる利点がある。
【０１１７】
また、本発明によれば、少なくともブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、予測誤差信号の値を相対的に大きい倍率で変調する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、予測誤差信号の値を相対的に小さい倍率で変調することにより、圧縮効率を維持しながら、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【０１１８】
さらに、本発明によれば、少なくとも動画像符号化装置からの振幅変調された動画像符号化情報を構成する量子化変換係数及び制御情報について復号して再生し、再生された量子化変換係数を逆量子化して変換係数を再生し、再生された変換係数に基づいて、変調予測誤差信号を再生し、振幅変調された予測誤差信号の各画素における振幅を、所定の復調度で復調し、予測誤差信号を再生し、再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成することにより、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができる。
【０１１９】
また、本発明によれば、少なくともブロックにおける符号化の結果として生じる誤差を小さくしたい画素に対しては、変調予測誤差信号の値を相対的に小さい倍率で復調する一方、ブロックの符号化の結果として生じる誤差が大きくても許容できるような画素に対しては、変調予測誤差信号の値を相対的に大きい倍率で復調することにより、圧縮効率を維持しながら、画像を復号化して再生する際に、視覚的に誤差が目立つ部分を適応的に判断して、その部分の符号化誤差を抑えることができる利点がある。
【０１２０】
（ｃ）その他
なお、上述の本実施形態においては、動画像符号化装置３６及び動画像復号化装置５１について詳述したが、これらの動画像符号化装置３６及び動画像復号化装置５１を一体化することにより、上述したような符号化装置及び復号化装置の２つの機能を有する動画像符号化復号化装置を構成することもできる。
【０１２１】
また、上述の本実施形態においては、振幅変調乗算器２２における変調度や、振幅復調乗算器２７，４４の復調度を、振幅変調倍率生成器３３，４８及び逆数計算器３４，４９にて設定しているが、本発明によれば、上述の手法以外の、誤差を小さくしたい画素又は誤差が大きくても許容できるような画素に応じた変調度，復調度の設定を行なうこともできる。
【０１２２】
さらに、上述の本実施形態では、誤差の認知のし易さの尺度として、画像の複雑さ及び輝度を用いたが、これに限定されず、基本的には、画素の局所的な誤差認知度を表す尺度であれば上述したもの以外のものを用いることができる。
【０１２３】
【発明の効果】
以上詳述したように、本発明によれば、振幅変調手段において、予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を、変調度設定手段で設定された変調度で振幅変調するとともに、振幅復調手段において、逆変換手段からの予測誤差信号の各画素における振幅を、復調度設定手段で設定された復調度で復調し、予測誤差信号を再生することにより、動画像を再生する際に、ブロック全体にわたり、視覚的に目立つ部分の誤差を軽減できるような符号化処理を行なうことができ、ひいては視覚的に良好な画像を伝送できるので動画像符号化装置の性能向上に寄与することができる利点がある。
【０１２５】
さらに、本発明によれば、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえているので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくい圧縮符号化を行なうことができる利点がある。
【０１２６】
さらに、本発明によれば、第１の切替手段，第２の切替手段，第３の切替手段及び第１の制御手段をそなえたことにより、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
【０１２７】
また、本発明によれば、振幅復調手段により、逆変換手段からの変調予測誤差信号の各画素における振幅を、復調度設定手段で設定された復調度で復調することができるので、符号化の際に変調された動画像を受信した場合において、ブロック全体にわたり、視覚的に目立つ誤差が軽減された良好な画像を再生することができるので、装置の性能向上に寄与することができる利点がある。
【０１３０】
さらに、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえているので、人間が誤差に見えやすいような画素を適応的に判断して、人間が誤差と判断しにくいような画像を再生することができる利点がある。
【０１３１】
また、本発明によれば、第４の切替手段，第５及び第２の制御手段をそなえ、制御情報としての予測パラメータに基づいて、フレーム内符号化か又はフレーム間符号化のいずれかのモードを、ブロックに応じて適応的に選択することができるので、ブロックに応じた効率的な圧縮符号化を行なうことができる利点がある。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】本発明の原理ブロック図である。
【図３】本発明の一実施形態にかかる動画像符号化装置を示すブロック図である。
【図４】（ａ）〜（ｃ）はいずれも本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図５】本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図６】（ａ）〜（ｃ）はいずれも本実施形態にかかる予測誤差信号の変復調度の算出手法を説明するための図である。
【図７】（ａ）〜（ｈ）はいずれも本実施形態にかかる動画像符号化装置及び動画像復号化装置の動作を説明するための図である。
【図８】本発明の一実施形態にかかる動画像復号化装置を示すブロック図である。
【図９】標準化方式に基づく動画像符号化装置を示すブロック図である。
【図１０】標準化方式に基づく動画像復号化装置を示すブロック図である。
【図１１】（ａ）〜（ｃ）はいずれも標準化方式に基づく動画像符号化装置及び動画像復号化装置の動作を説明するための図である。
【符号の説明】
１ 予測誤差信号生成手段
２ 振幅変調手段
３ 変換手段
４ 量子化手段
５ 逆量子化手段
６ 逆変換手段
７ 振幅復調手段
８ 復号画像生成手段
９ 復号画像記憶手段
１０ 予測パラメータ計算手段
１１ 予測画像生成手段
１２ 通信路符号化手段
１３ 通信路符号復号化手段
１４ 逆量子化手段
１５ 逆変換手段
１６ 振幅復調手段
１７ 復号画像生成手段
１８ 復号画像記憶手段
１９ 予測画像生成手段
２０Ａ 動画像符号化装置
２０Ｂ 動画像復号化装置
２１ 減算器（予測誤差信号生成手段）
２２ 振幅変調乗算器（振幅復調手段）
２３ 離散コサイン変換部（変換手段）
２４ 量子化器（量子化手段）
２５ 逆量子化器（逆量子化手段）
２６ 逆離散コサイン変換部（逆変換手段）
２７ 振幅復調乗算器（振幅復調手段）
２８ 加算器（復号画像生成手段）
２９ フレームメモリ（復号画像記憶手段）
３０ 動きベクトル予測部（予測パラメータ計算手段，第１の制御手段）
３１ 予測画像生成部（予測画像生成手段）
３２−１〜３２−３ 選択器（切替手段）
３３ 振幅変調倍率生成器（変調度設定手段）
３４ 逆数計算器（復調度設定手段）
３５ 通信路符号化部（通信路符号化手段）
３６ 動画像符号化装置
４１ 可変長復号器（通信路符号復号化手段，第２の制御手段）
４２ 逆量子化器（逆量子化手段）
４３ 逆離散コサイン変換部（逆変換手段）
４４ 振幅復調乗算器（振幅復調手段）
４５ 加算器（復号画像生成手段）
４６ フレームメモリ（復号画像記憶手段）
４７ 予測画像生成部（予測画像生成手段）
４８ 振幅変調倍率生成器（変調度設定手段）
４９ 逆数計算器（復調度設定手段）
５０−１，５０−２ 選択器（切替手段）
５１ 動画像復号化装置
１００ 動画像符号化装置
１０１ 予測誤差信号生成部
１０２ 変換部
１０３ 量子化部
１０４ 逆量子化部
１０５ 逆変換部
１０６ 復号画像生成部
１０７ 復号画像記憶部
１０８ 予測パラメータ計算部
１０９ 予測画像生成部
１１１ 通信路符号復号化部
１１２ 逆量子化部
１１３ 逆変換部
１１４ 復号画像生成部
１１５ 復号画像記憶部
１１６ 予測画像生成部
Claims (4)
- 入力画像を複数画素よりなるブロックに分割し、該ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、
該予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を振幅変調する振幅変調手段と、
該振幅変調手段において振幅変調された予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、
該変換手段からの変換係数を量子化する量子化手段と、
該量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、
該再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、
該逆変換手段からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、
該振幅復調手段にて再生された予測誤差信号と該予測画像とを加算し、復号画像を生成する復号画像生成手段と、
該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、
該復号画像記憶手段に記憶された復号画像から、該復号画像に続いて入力される入力画像との誤差が小さくなるような該予測画像を生成するための予測パラメータである動きベクトルを計算する予測パラメータ計算手段と、
該予測パラメータ計算手段にて計算された予測パラメータである動きベクトルと、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段と、
該量子化手段からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段とをそなえ、
かつ、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえ、
該振幅復調手段は、該変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なうことを特徴とする、動画像符号化装置。 - 入力画像を複数画素よりなるブロックに分割し、該ブロック毎に、過去の入力画像から生成された予測画像との差を演算し予測誤差信号を生成する予測誤差信号生成手段と、
該予測誤差信号生成手段にて生成された予測誤差信号の各画素における振幅を振幅変調する振幅変調手段と、
該予測誤差信号生成手段からの予測誤差信号か又は該振幅変調手段にて振幅変調された予測誤差信号のうちのいずれか一方を選択的に切り替えて出力する第１の切替手段と、
該第１の切替手段からの予測誤差信号について、画素間の相関性を取り除く変換を施し、変換係数を生成する変換手段と、
該変換手段からの変換係数を量子化する量子化手段と、
該量子化手段からの量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、
該再生された変換係数に基づいて、振幅変調された予測誤差信号を再生する逆変換手段と、
該逆変換手段からの予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、
該逆変換手段にて再生された予測誤差信号か又は該振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて出力する第２の切替手段と、
該第２の切替手段からの予測誤差信号と該予測画像とを加算し、復号画像を生成する復号画像生成手段と、
該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、
該復号画像記憶手段に記憶された復号画像から、該復号画像に続いて入力される入力画像との誤差が小さくなるような該予測画像を生成するための予測パラメータである動きベクトルを計算する予測パラメータ計算手段と、
該予測パラメータ計算手段にて計算された予測パラメータである動きベクトルと、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段と、
該量子化手段からの量子化変換係数とともに量子化情報または動きベクトルを含む符号化制御情報に符号を割り当てて、動画像符号化情報として出力する通信路符号化手段と、
該予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、該予測誤差信号生成手段及び該復号画像生成手段に出力する第３の切替手段と、
該ブロックに応じて、上記の各切替手段を切替制御する第１の制御手段とをそなえ、
かつ、該振幅変調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を変調する一方、複雑な部分の画素については、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を変調するように、該振幅変調手段における予測誤差信号の変調度を設定する変調度設定手段をそなえ、
該振幅復調手段は、該変調度設定手段で設定される変調度の逆特性から求められる復調度で前記復調を行なうことを特徴とする、動画像符号化装置。 - 動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び量子化情報または動きベクトルを含む符号化制御情報について復号して再生する通信路符号復号化手段と、
該通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、
該再生された変換係数に基づいて、予測誤差信号を再生する逆変換手段と、
該逆変換手段からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、
該振幅復調手段にて再生された予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、
該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、
該通信路符号復号化手段において再生された制御情報と、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段とをそなえ、
かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえて構成されたことを特徴とする、動画像復号化装置。 - 動画像符号化装置からの動画像符号化情報を構成する量子化変換係数及び量子化情報または動きベクトルを含む符号化制御情報について復号して再生する通信路符号復号化手段と、
該通信路符号復号化手段にて再生された量子化変換係数を逆量子化し、変換係数を再生する逆量子化手段と、
該再生された変換係数に基づいて、予測誤差信号を再生する逆変換手段と、
該逆変換手段からの変調予測誤差信号の各画素における振幅を復調し、予測誤差信号を再生する振幅復調手段と、
該逆変換手段にて再生された予測誤差信号か又は、該振幅復調手段にて振幅復調された予測誤差信号のうちのいずれか一方を選択的に切り替えて出力する第４の切替手段と、
該第４の切替手段からの予測誤差信号と過去の入力画像から生成された予測画像とを加算し、復号画像を生成する復号画像生成手段と、
該復号画像生成手段からの復号画像を、過去に復号した復号画像として記憶する復号画像記憶手段と、
該通信路符号復号化手段において再生された制御情報と、該復号画像記憶手段に記憶された復号画像とから、該予測画像を生成する予測画像生成手段と、
該予測画像生成手段にて生成された予測画像か又は予測画像無しを示す信号のうちのいずれか一方を選択的に切り替えて、該復号画像生成手段に出力する第５の切替手段と、
該ブロックに応じて、上記の各切替手段を切替制御する第２の制御手段とをそなえ、
かつ、該振幅復調手段が、予測画像の画素毎のアクティビティを用いて、平坦部分の画素においては、相対的に小さい倍率（１よりも小さい値）で予測誤差信号を復調する一方、複雑な部分の画素については、相対的に大きい倍率（１よりも大きい値）で予測誤差信号を復調するように、該振幅復調手段における復調度を設定する復調度設定手段をそなえて構成されたことを特徴とする、動画像復号化装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00342396A JP4028900B2 (ja) | 1996-01-11 | 1996-01-11 | 動画像符号化装置及び動画像復号化装置 |
| US08/729,303 US5838378A (en) | 1996-01-11 | 1996-10-10 | Moving image coding apparatus moving image decoding apparatus and moving coding-decoding apparatus |
| DE1996636273 DE69636273T2 (de) | 1996-01-11 | 1996-10-24 | Bewegtbildcodiervorrichtung, Bewegtbilddecodiervorrichtung und Bewegtbildcodier-/-Decodiervorrichtung |
| EP19960402262 EP0784408B1 (en) | 1996-01-11 | 1996-10-24 | Video encoder and decoder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00342396A JP4028900B2 (ja) | 1996-01-11 | 1996-01-11 | 動画像符号化装置及び動画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09200766A JPH09200766A (ja) | 1997-07-31 |
| JP4028900B2 true JP4028900B2 (ja) | 2007-12-26 |
Family
ID=11556975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00342396A Expired - Fee Related JP4028900B2 (ja) | 1996-01-11 | 1996-01-11 | 動画像符号化装置及び動画像復号化装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5838378A (ja) |
| EP (1) | EP0784408B1 (ja) |
| JP (1) | JP4028900B2 (ja) |
| DE (1) | DE69636273T2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3209171B2 (ja) | 1998-01-08 | 2001-09-17 | 日本電気株式会社 | 動画像符号化装置 |
| WO2002039951A2 (en) * | 2000-11-15 | 2002-05-23 | Globe Immune, Inc. | Yeast-dentritic cell vaccines and uses thereof |
| JP4528529B2 (ja) * | 2004-01-20 | 2010-08-18 | 株式会社東芝 | 超音波診断装置及び超音波画像データ処理方法 |
| JP2005217532A (ja) * | 2004-01-27 | 2005-08-11 | Canon Inc | 解像度変換方法及び解像度変換装置 |
| JP5102122B2 (ja) * | 2008-06-11 | 2012-12-19 | キヤノン株式会社 | 復号化装置及び復号化方法 |
| JP5146388B2 (ja) * | 2009-04-03 | 2013-02-20 | 沖電気工業株式会社 | 映像圧縮符号化データの復号装置 |
| JP5299328B2 (ja) * | 2010-03-17 | 2013-09-25 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| CN107295346B (zh) * | 2010-04-01 | 2020-11-10 | 索尼公司 | 图像处理设备和方法 |
| JP5741076B2 (ja) * | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP6157114B2 (ja) | 2012-12-28 | 2017-07-05 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4224678A (en) * | 1976-04-05 | 1980-09-23 | Northrop Corporation | Method and apparatus for implementing a processor based on the rationalized Haar transform for the purpose of real time compression of video data |
| EP0244001B1 (de) * | 1986-04-19 | 1994-01-05 | Philips Patentverwaltung GmbH | Hybrid-Codierer für Videosignale |
| US5005082A (en) * | 1989-10-03 | 1991-04-02 | General Electric Company | Video signal compander adaptively responsive to predictions of the video signal processed |
| US5313298A (en) * | 1992-03-05 | 1994-05-17 | Rubin, Bednarek And Associates, Inc. | Video companding method and system |
| PL175445B1 (pl) * | 1993-11-08 | 1998-12-31 | Sony Corp | Sposób i urządzenie do kodowania sygnału wizyjnego |
-
1996
- 1996-01-11 JP JP00342396A patent/JP4028900B2/ja not_active Expired - Fee Related
- 1996-10-10 US US08/729,303 patent/US5838378A/en not_active Expired - Lifetime
- 1996-10-24 DE DE1996636273 patent/DE69636273T2/de not_active Expired - Lifetime
- 1996-10-24 EP EP19960402262 patent/EP0784408B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09200766A (ja) | 1997-07-31 |
| EP0784408A2 (en) | 1997-07-16 |
| DE69636273T2 (de) | 2006-11-09 |
| US5838378A (en) | 1998-11-17 |
| EP0784408A3 (en) | 2000-08-16 |
| DE69636273D1 (de) | 2006-08-03 |
| EP0784408B1 (en) | 2006-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3149418B2 (ja) | 画像予測復号化方法及び装置 | |
| JP2618083B2 (ja) | イメージ回復方法及び装置 | |
| KR0134343B1 (ko) | 양자화레벨을 이용한 부호화방법 및 그 장치 | |
| JPH1093966A (ja) | 画像符号化装置 | |
| JP2007503784A (ja) | ハイブリッドビデオ圧縮法 | |
| EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
| EP0840516B1 (en) | Apparatus and method for predictive coding and decoding | |
| JP4028900B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH04219074A (ja) | 画像符号化装置 | |
| JP4561508B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| JP4747494B2 (ja) | データ処理装置およびその方法と符号化装置 | |
| US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
| JPH07203456A (ja) | 符号化装置と復号化装置と映像記録装置 | |
| JP2901656B2 (ja) | 画像符号化装置 | |
| EP1889487A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
| JP2891251B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| KR20160053848A (ko) | 영상의 인트라 예측 부호화/복호화 방법 및 그 장치 | |
| JP2710135B2 (ja) | フレーム間／フレーム内適応符号化方式 | |
| WO2005062623A1 (ja) | 動画像再生方法及び装置並びにプログラム | |
| JPH10164594A (ja) | 動画像の圧縮符号化方法およびその装置 | |
| JP2002335532A (ja) | 画像予測復号化方法及び画像予測符号化装置 | |
| JPH10164578A (ja) | 画像符号化復号化装置 | |
| JP2860016B2 (ja) | 画像信号のフレーム間符号化方式 | |
| KR100923029B1 (ko) | 비디오 프레임의 재압축 방법 | |
| JP3175906B2 (ja) | 画像符号化・復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051031 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |