JPH09200766A - 動画像符号化装置,動画像復号化装置及び動画像符号化復号化装置 - Google Patents

動画像符号化装置,動画像復号化装置及び動画像符号化復号化装置

Info

Publication number
JPH09200766A
JPH09200766A JP342396A JP342396A JPH09200766A JP H09200766 A JPH09200766 A JP H09200766A JP 342396 A JP342396 A JP 342396A JP 342396 A JP342396 A JP 342396A JP H09200766 A JPH09200766 A JP H09200766A
Authority
JP
Japan
Prior art keywords
error signal
amplitude
image
prediction error
decoded image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP342396A
Other languages
English (en)
Other versions
JP4028900B2 (ja
Inventor
Akira Nakagawa
章 中川
Kimihiko Kazui
君彦 数井
Eiji Morimatsu
映史 森松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP00342396A priority Critical patent/JP4028900B2/ja
Priority to US08/729,303 priority patent/US5838378A/en
Priority to EP19960402262 priority patent/EP0784408B1/en
Priority to DE1996636273 priority patent/DE69636273T2/de
Publication of JPH09200766A publication Critical patent/JPH09200766A/ja
Application granted granted Critical
Publication of JP4028900B2 publication Critical patent/JP4028900B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 動画像情報を圧縮して伝送する際に用いて好
適な、動画像符号化装置,動画像復号化装置及び動画像
符号化復号化装置において、動画像を符号化,復号化す
る際に、ブロック全体にわたり、視覚的に目立つ誤差を
軽減できるようにする。 【解決手段】 予測誤差信号生成手段1で、入力画像を
複数画素よりなるブロックに分割し該ブロック毎に、過
去の入力画像から生成された予測画像との差を演算し予
測誤差信号を生成し、振幅変調手段2で、予測誤差信号
の各画素における振幅を、所定の変調度で振幅変調し、
変換手段3で、振幅変調された予測誤差信号について、
画素間の相関性を取り除く変換を施して変換係数を生成
し、量子化手段4で、生成された変換係数を量子化し、
通信路符号化手段5で、量子化された変換係数に符号を
割り当てて出力するように構成する。

Description

【発明の詳細な説明】
【0001】(目次) 発明の属する技術分野 従来の技術(図9,図10) 発明が解決しようとする課題(図11) 課題を解決するための手段(図1,図2) 発明の実施の形態(図3〜図8) ・動画像符号化装置の説明 ・動画像復号化装置の説明 ・その他 発明の効果
【0002】
【発明の属する技術分野】本発明は、動画像情報を圧縮
して伝送する際に用いて好適な、動画像符号化装置,動
画像復号化装置及び動画像符号化復号化装置に関する。
【0003】
【従来の技術】一般的に、ディジタル画像データは、音
声データ等に比して膨大な情報を有しており、このディ
ジタル画像データを伝送する場合には、データ圧縮技術
を用いることにより、より少ない情報量で、且つ視覚的
な歪みをより少なくする形で伝送することが要求されて
いる。
【0004】近年においては、上述のような要求に応え
るべく、データ圧縮のための画像符号化技術や、データ
再生のための動画像復号化技術に関する研究が広く行な
われており、例えば、H.261,MPEG−1/2(M
otion Picture Image CodingExperts Group)等が、上
述のディジタル画像符号化方式の標準化方式として広く
用いられている。
【0005】図9は上述の標準化方式に基づく動画像符
号化装置を示すブロック図であり、この図9に示す動画
像符号化装置100において、101は予測誤差信号生
成部であり、この予測誤差信号生成部101は、予測誤
差信号生成部101において、入力画像と過去の入力画
像から生成された予測画像との差分を、N×N(例えば
N=8)のブロック毎に計算して、予測誤差信号を生成
するものである。
【0006】また、102は変換部であり、この変換部
102は、画素間の相関性を取り除く変換として、予測
誤差信号生成部101からの予測誤差信号について、例
えば二次元DCT(Discrete Cosine Transform,離散コ
サイン変換)等の直交変換を施すものである。さらに、
103は変換部102からの変換係数について量子化す
る量子化器であり、104は量子化器103からの量子
化された変換係数について逆量子化する逆量子化器であ
り、105は逆量子化器104からの変換係数について
逆変換を施し、変換前の予測誤差信号を再生する逆変換
部である。
【0007】また、106は逆変換部105からの予測
誤差信号と過去の入力画像から生成された予測画像を加
算して復号画像を生成する復号画像生成部であり、10
7は、復号画像生成部106からの復号画像を次以降の
予測画像を生成するための画像情報として記憶する記憶
部である。さらに、108は予測パラメータ計算部であ
り、この予測パラメータ計算部108は、入力画像と復
号画像記憶部107からの画像情報とに基づいて、上述
の予測画像を生成するためのパラメータを計算するもの
である。
【0008】また、109は予測画像生成部であり、こ
の予測画像生成部109は、復号画像記憶部107から
の画像情報と、予測パラメータ計算部108からの予測
パラメータとに基づいて、上述の予測画像を生成するも
のである。さらに、110は通信路符号化部であり、こ
の通信路符号化部110は、上述の量子化部103から
の量子化変換係数とともに、量子化に関する情報や予測
パラメータ計算部108にて計算された予測パラメータ
等の制御情報を通信路符号化し、動画像符号化情報とし
て出力するものである。
【0009】また、図10は上述の標準化方式に基づく
動画像復号化装置を示すブロック図である。この図10
に示す動画像復号化装置117において、111は通信
路符号復号化部であり、この通信路符号復号化部111
は、動画像符号化装置からの動画像符号化情報について
復号化し、例えば上述の動画像符号化装置100におけ
る通信路符号化部110からの量子化変換係数ととも
に、量子化に関する情報や予測パラメータ等の制御情報
を復号化するものである。
【0010】112は通信路符号復号化部111からの
量子化された変換係数について、復号化された量子化に
関する情報に基づいて逆量子化する逆量子化器であり、
113は逆量子化器104からの変換係数について逆変
換を施し、変換前の予測誤差信号を再生する逆変換部で
ある。また、114は逆変換部113からの予測誤差信
号と過去の入力画像から生成された予測画像を加算して
復号画像を生成する復号画像生成部であり、115は復
号画像生成部114からの復号画像を次以降の予測画像
を生成するための画像情報として記憶する記憶部であ
る。
【0011】さらに、116は予測画像生成部であり、
この予測画像生成部116は、復号画像記憶部115か
らの画像情報と、通信路符号復号化部111にて復号化
された予測パラメータとに基づいて、上述の予測画像を
生成するものである。このような構成により、図9に示
す符号化装置では、予測誤差信号生成部101におい
て、予測画像生成部109にて生成された予測画像に基
づき、入力画像に対する予測誤差をN×Nのブロック毎
に計算する。
【0012】続いて、変換部102において、計算され
たN×Nのブロック毎の予測誤差について直交変換であ
る離散コサイン変換を施し、変換結果に対して量子化器
103にて量子化する。量子化部103からの出力は、
通信路符号化部110にて符号化されて出力される一
方、逆量子化部104に出力されて、次段の入力画像の
予測画像を生成するための信号として用いられる。
【0013】即ち、逆量子化部104では、量子化部1
03からの量子化係数を逆量子化し、逆変換部105に
て変換係数を逆離散コサイン変換する。復号画像生成部
106では、逆変換部105からの変換後の予測誤差信
号について、予測画像生成部109にて生成された予測
画像と加算して復号画像を生成する。復号画像記憶部1
15では、復号画像生成部114にて生成された復号画
像を、次段の予測画像を生成するために記憶しておく。
【0014】なお、予測画像生成部109では、復号画
像記憶部107からの復号画像と、予測パラメータ計算
部108にて計算された予測パラメータとに基づいて上
述の予測画像を生成する。また、図10に示す復号装置
では、通信路符号復号化部111にて入力された通信路
符号を復号して、量子化された変換係数とともに量子化
に関する情報や予測パラメータ等の制御情報を求める。
その後、逆量子化部112にて量子化係数を逆量子化
し、逆変換部113にて変換係数を逆離散コサイン変換
する。
【0015】復号画像生成部114では、逆変換部11
3からの変換後の予測誤差信号について、予測画像生成
部116にて生成された予測画像と加算して復号画像を
生成する。なお、復号画像生成部114にて生成された
復号画像は、次段の予測誤差信号に基づいて復号画像を
生成するために、復号画像記憶部115に記憶してお
く。
【0016】
【発明が解決しようとする課題】ところが、上述の図9
に示す動画像符号化装置100においては、量子化部1
03における量子化は変換部102にて直交変換(離散
コサイン変換)された係数に対して行なわれる。ところ
で、変換部102における変換結果としての係数は、対
応ブロックの画像の周波数にほぼ対応している。従っ
て、ある係数を量子化した時に生じる量子化誤差は、逆
直交変換(逆離散コサイン変換)を施したときに、ブロ
ック内の全ての画素に、大局的にほぼ一定のパワーで符
号化誤差が付加され、この誤差により、人間の視覚特性
上、しばしば視覚的に目立つ誤差を引き起こす。
【0017】即ち、符号化しようとしているブロック内
に、比較的平坦な領域と複雑な領域、あるいは輝度の段
差が存在する場合、本来、高周波成分の存在しない平坦
部分に印加された、高周波成分の量子化により生じた高
周波符号化ノイズ(モスキートノイズ)は、複雑な領域
に印加された同様の性質の符号化ノイズよりもはるかに
目立ちやすくなるのである。
【0018】具体的には、図11(a)の実線に示すよ
うに、予測誤差信号生成部101にて生成された、ある
ブロックにおける予測誤差信号が、比較的平坦な領域
(低周波領域)と複雑な領域(高周波領域)が存在する
場合において、直交変換及び量子化処理が施されると、
予測誤差信号には、図11(b)の点線に示すような誤
差が生ずる。
【0019】これにより、上述の直交変換及び量子化処
理が施された予測誤差信号について復号すると、図11
の(c)示すように、平坦な領域及び複雑な領域に一様
に誤差が生ずる。即ち、高周波成分の存在しない平坦部
分においても、高周波成分の量子化により高周波符号化
ノイズ(モスキートノイズ)が生じる。この高周波符号
化ノイズは、人間の視覚特性上、複雑な領域に印加され
た同様の性質の符号化ノイズよりもはるかに目立ちやす
くなるのである。
【0020】ところで、特開昭62−91090号公報
においては、分割された画像信号のブロックに対し、変
換符号化の前段でブロックの境界部分を強調する処理を
行なうことにより、ブロック境界部分においてボケの少
ない変換符号化を行なうことができる技術が開示されて
いる。しかしながら、上述の特開昭62−91090号
公報にて開示された技術は、単にブロック境界部分の誤
差のみを軽減するものであり、ブロック内の平坦部分
等、ブロック全体にわたって視覚的に目立つ誤差を軽減
することができないという課題がある。
【0021】本発明は、このような課題に鑑み創案され
たもので、動画像を符号化,復号化する際に、ブロック
全体にわたり、視覚的に目立つ誤差を軽減するようにし
た、動画像符号化装置,動画像復号化装置及び動画像符
号化復号化装置を提供することを目的とする。
【0022】
【課題を解決するための手段】図1は本発明の原理ブロ
ック図であり、この図1に示す動画像符号化装置20A
は、予測誤差信号生成手段1,振幅変調手段2,変換手
段3,量子化手段4,逆量子化手段5,逆変換手段6,
振幅復調手段7,復号画像生成手段8,復号画像記憶手
段9,予測パラメータ計算手段10,予測画像生成手段
11及び通信路符号化手段12をそなえている。
【0023】ここで、予測誤差信号生成手段1は、入力
画像を複数画素よりなるブロックに分割し、ブロック毎
に、過去の入力画像から生成された予測画像との差を演
算し予測誤差信号を生成するものである。また、振幅変
調手段2は、予測誤差信号生成手段1にて生成された予
測誤差信号の各画素における振幅を、所定の変調度で振
幅変調するものであり、変換手段3は、振幅変調手段2
において振幅変調された予測誤差信号について、画素間
の相関性を取り除く変換を施し、変換係数を生成するも
のであり、量子化手段4は、変換手段3からの変換係数
を量子化するものである。
【0024】さらに、逆量子化手段5は、量子化手段4
からの量子化変換係数を逆量子化し、変換係数を再生す
るものであり、逆変換手段6は、再生された変換係数に
基づいて、振幅変調された予測誤差信号を再生するもの
であり、振幅復調手段7は、逆変換手段6からの予測誤
差信号の各画素における振幅を、所定の復調度で復調
し、予測誤差信号を再生するものである。
【0025】また、復号画像生成手段8は、振幅復調手
段7にて再生された予測誤差信号と予測画像とを加算
し、復号画像を生成するものであり、復号画像記憶手段
9は、復号画像生成手段8からの復号画像を、過去に復
号した復号画像として記憶するものである。さらに、予
測パラメータ計算手段10は、復号画像記憶手段9に記
憶された復号画像から、復号画像に続いて入力される入
力画像との誤差が小さくなるような予測画像を生成する
ための予測パラメータを計算するものであり、予測画像
生成手段11は、予測パラメータ計算手段10にて計算
された予測パラメータと、復号画像記憶手段9に記憶さ
れた復号画像とから、予測画像を生成するものである。
【0026】また、通信路符号化手段12は、量子化手
段4からの量子化変換係数とともに制御情報に符号を割
り当てて、動画像符号化情報として出力するものである
(請求項1)。また、ブロックにおける符号化の結果と
して生じる誤差を小さくしたい画素に対しては、予測誤
差信号を相対的に大きくするような倍率を振幅変調手段
2の変調度として設定する一方、ブロックの符号化の結
果として生じる誤差が大きくても許容できるような画素
に対しては、予測誤差信号を相対的に小さくするような
倍率を振幅変調手段2の変調度として設定する変調度設
定手段をそなえることもできる(請求項2)。
【0027】この場合においては、変調度設定手段にて
設定される予測誤差信号の変調度を、ブロック内の画像
において、人間の視覚特性を反映する尺度に基づいて決
定することができる(請求項3)。具体的には、変調度
設定手段では、振幅変調手段2における予測誤差信号の
変調度を、尺度で誤差が見えやすいと判断された画素ほ
ど、予測誤差信号の値を相対的に大きい倍率に設定し、
尺度で誤差が見えにくいと判断された画素ほど、予測誤
差信号の値を相対的に小さい倍率に設定することができ
る(請求項4)。
【0028】また、変調度設定手段が、予測画像生成手
段11からの予測画像に基づいて、尺度を求めることも
できる(請求項5)。さらに、振幅復調手段7における
復調度を、振幅変調手段2における変調前の予測誤差信
号を最適に再生できるように設定する復調度設定手段を
そなえることもでき(請求項6)、この場合において
は、復調度設定手段を、変調度設定手段にて設定された
振幅変調手段2の変調度に基づいて、復調度を設定する
ように構成することもできる(請求項7)。
【0029】なお、上述の制御情報を、量子化に関する
情報,予測パラメータ又は振幅変調手段2による変調に
関する情報のうちの少なくとも1つの情報をそなえて構
成することもできる(請求項8)。図2についても本発
明の原理ブロック図であり、この図2に示す動画像復号
化装置20Bは、通信路符号復号化手段13,逆量子化
手段14,逆変換手段15,振幅復調手段16,復号画
像生成手段17,復号画像記憶手段18及び予測画像生
成手段19をそなえている。
【0030】ここで、通信路符号復号化手段13は、動
画像符号化装置からの動画像符号化情報を構成する量子
化変換係数及び制御情報について復号して再生するもの
である。また、逆量子化手段14は、通信路符号復号化
手段13にて再生された量子化変換係数を逆量子化し、
変換係数を再生するものであり、逆変換手段15は、再
生された変換係数に基づいて、振幅変調された予測誤差
信号を再生するものであり、振幅復調手段16は、逆変
換手段15からの変調予測誤差信号の各画素における振
幅を、所定の復調度で復調し、予測誤差信号を再生する
ものである。
【0031】さらに、復号画像生成手段17は、振幅復
調手段16にて再生された予測誤差信号と過去の入力画
像から生成された予測画像とを加算し、復号画像を生成
するものである。また、復号画像記憶手段18は、復号
画像生成手段17からの復号画像を、過去に復号した復
号画像として記憶するものであり、予測画像生成手段1
9は、通信路符号復号化手段13において再生された制
御情報と、復号画像記憶手段18に記憶された復号画像
とから、予測画像を生成するものである(請求項1
1)。
【0032】さらに、振幅復調手段16における復調度
を、変調前の予測誤差信号を最適に再生できるように設
定する復調度設定手段をそなえることができる(請求項
12)。また、復調度設定手段を、ブロックにおける符
号化の結果として生じる誤差を小さくしたい画素に対し
ては、変調予測誤差信号の値を相対的に小さくする倍率
を復調度として設定する一方、ブロックの符号化の結果
として生じる誤差が大きくても許容できるような画素に
対しては、変調予測誤差信号の値を相対的に大きくする
倍率を復調度として設定するように構成することもでき
る(請求項13)。
【0033】この場合においては、復調度設定手段にて
設定される予測誤差信号の復調度を、ブロック内の画像
において、人間の視覚特性を反映する尺度に基づいて決
定することができ(請求項14)、さらに、復調度設定
手段が、尺度で誤差が見えやすいと判断された画素ほ
ど、予測誤差信号の値を相対的に小さくする倍率を復調
度として設定する一方、尺度で誤差が見えにくいと判断
された画素ほど、予測誤差信号の値を相対的に大きくす
る倍率を復調度として設定することもできる(請求項1
5)。
【0034】さらに、復調度設定手段を、予測画像生成
手段19からの予測画像に基づいて、尺度を求めるよう
に構成することもできる(請求項16)。なお、上述の
動画像符号化装置からの制御情報を、量子化に関する情
報,予測パラメータ又は変調に関する情報のうちの少な
くとも1つの情報をそなえて構成することができる(請
求項17)。
【0035】上述の本発明の動画像復号化装置20Bで
は、通信路符号復号化手段13で、動画像符号化装置か
らの振幅変調された動画像符号化情報を構成する量子化
変換係数及び制御情報について復号して再生する。ま
た、逆量子化手段14で、再生された量子化変換係数を
逆量子化して変換係数を再生し、逆変換手段15で、再
生された変換係数に基づいて、変調予測誤差信号を再生
し、振幅復調手段16で、振幅変調された予測誤差信号
の各画素における振幅を、所定の復調度で復調し、予測
誤差信号を再生する。
【0036】また、本発明の動画像符号化装置は、入力
画像を複数画素よりなるブロックに分割し、該ブロック
毎に、過去の入力画像から生成された予測画像との差を
演算し予測誤差信号を生成する予測誤差信号生成手段
と、該予測誤差信号生成手段にて生成された予測誤差信
号の各画素における振幅を、所定の変調度で振幅変調す
る振幅変調手段と、該予測誤差信号生成手段からの予測
誤差信号か又は該振幅変調手段にて振幅変調された予測
誤差信号のうちのいずれか一方を選択的に切り替えて出
力する第1の切替手段と、該第1の切替手段からの予測
誤差信号について、画素間の相関性を取り除く変換を施
し、変換係数を生成する変換手段と、該変換手段からの
変換係数を量子化する量子化手段と、該量子化手段から
の量子化変換係数を逆量子化し、変換係数を再生する逆
量子化手段と、該再生された変換係数に基づいて、振幅
変調された予測誤差信号を再生する逆変換手段と、該逆
変換手段からの予測誤差信号の各画素における振幅を、
所定の復調度で復調し、予測誤差信号を再生する振幅復
調手段と、該逆変換手段にて再生された予測誤差信号か
又は該振幅復調手段にて振幅復調された予測誤差信号の
うちのいずれか一方を選択的に切り替えて該復号画像生
成手段に出力するか又は該復号画像生成手段に選択的に
切り替えて出力する第2の切替手段と、該第2の切替手
段からの予測誤差信号と該予測画像とを加算し、復号画
像を生成する復号画像生成手段と、該復号画像生成手段
からの復号画像を、過去に復号した復号画像として記憶
する復号画像記憶手段と、該復号画像記憶手段に記憶さ
れた復号画像から、該復号画像に続いて入力される入力
画像との誤差が小さくなるような該予測画像を生成する
ための予測パラメータを計算する予測パラメータ計算手
段と、該予測パラメータ計算手段にて計算された予測パ
ラメータと、該復号画像記憶手段に記憶された復号画像
とから、該予測画像を生成する予測画像生成手段と、該
量子化手段からの量子化変換係数とともに制御情報に符
号を割り当てて、動画像符号化情報として出力する通信
路符号化手段と、該予測画像生成手段にて生成された予
測画像か又は予測画像無しを示す信号のうちのいずれか
一方を選択的に切り替えて、該予測誤差信号生成手段及
び該復号画像生成手段に出力する第3の切替手段と、該
ブロックに応じて、上記の各切替手段を切替制御する第
1の制御手段とをそなえたことを特徴としている(請求
項9)。
【0037】この場合においては、制御手段を、予測パ
ラメータ計算手段にて計算された予測パラメータに基づ
いて、各切替手段を切替制御するように構成することも
できる(請求項10)。さらに、本発明の動画像復号化
装置は、動画像符号化装置からの動画像符号化情報を構
成する量子化変換係数及び制御情報について復号して再
生する通信路符号復号化手段と、通信路符号復号化手段
にて再生された量子化変換係数を逆量子化し、変換係数
を再生する逆量子化手段と、再生された変換係数に基づ
いて、振幅変調された予測誤差信号を再生する逆変換手
段と、逆変換手段からの変調予測誤差信号の各画素にお
ける振幅を、所定の復調度で復調し、予測誤差信号を再
生する振幅復調手段と、逆変換手段にて再生された予測
誤差信号か又は、振幅復調手段にて振幅復調された予測
誤差信号のうちのいずれか一方を選択的に切り替えて、
復号画像生成手段に出力する第4の切替手段と、第4の
切替手段からの予測誤差信号と過去の入力画像から生成
された予測画像とを加算し、復号画像を生成する復号画
像生成手段と、復号画像生成手段からの復号画像を、過
去に復号した復号画像として記憶する復号画像記憶手段
と、通信路符号復号化手段において再生された制御情報
と、復号画像記憶手段に記憶された復号画像とから、予
測画像を生成する予測画像生成手段と、予測画像生成手
段にて生成された予測画像か又は予測画像無しを示す信
号のうちのいずれか一方を選択的に切り替えて、復号画
像生成手段に出力する第5の切替手段と、ブロックに応
じて、上記の各切替手段を切替制御する第2の制御手段
とをそなえたことを特徴としている(請求項18)。
【0038】この場合においては、通信路符号復号化手
段において再生された制御情報を、予測パラメータによ
り構成する一方、第2の制御手段を、予測パラメータに
基づいて、上記の第4の切替手段及び第5の切替手段を
切替制御するように構成することができる(請求項1
9)。ところで、本発明の動画像符号化復号化装置は、
上述の図1に示す動画像符号化装置20Aとしての機能
を有する動画像符号化部と、図2に示す動画像復号化装
置20Bとしての機能を有する動画像復号化部とをそな
えて構成されている。
【0039】即ち、本発明の動画像符号化復号化装置
は、入力画像を複数画素よりなるブロックに分割し、ブ
ロック毎に、過去の入力画像から生成された予測画像と
の差を演算し予測誤差信号を生成する予測誤差信号生成
手段と、予測誤差信号生成手段にて生成された予測誤差
信号の各画素における振幅を、所定の変調度で振幅変調
する振幅変調手段と、振幅変調手段において振幅変調さ
れた予測誤差信号について、画素間の相関性を取り除く
変換を施し、変換係数を生成する変換手段と、変換手段
からの変換係数を量子化する量子化手段と、量子化手段
からの量子化変換係数を逆量子化し、変換係数を再生す
る逆量子化手段と、再生された変換係数に基づいて、振
幅変調された予測誤差信号を再生する逆変換手段と、逆
変換手段からの予測誤差信号の各画素における振幅を、
所定の復調度で復調し、予測誤差信号を再生する振幅復
調手段と、振幅復調手段にて再生された予測誤差信号と
予測画像とを加算し、復号画像を生成する復号画像生成
手段と、復号画像生成手段からの復号画像を、過去に復
号した復号画像として記憶する復号画像記憶手段と、復
号画像記憶手段に記憶された復号画像から、復号画像に
続いて入力される入力画像との誤差が小さくなるような
予測画像を生成するための予測パラメータを計算する予
測パラメータ計算手段と、予測パラメータ計算手段にて
計算された予測パラメータと、復号画像記憶手段に記憶
された復号画像とから、予測画像を生成する予測画像生
成手段と、量子化手段からの量子化変換係数とともに制
御情報に符号を割り当てて、動画像符号化情報として出
力する通信路符号化手段とをそなえてなる動画像符号化
部をそなえるとともに、動画像符号化装置からの動画像
符号化情報を構成する量子化変換係数及び制御情報につ
いて復号して再生する通信路符号復号化手段と、通信路
符号復号化手段にて再生された量子化変換係数を逆量子
化し、変換係数を再生する逆量子化手段と、再生された
変換係数に基づいて、振幅変調された予測誤差信号を再
生する逆変換手段と、逆変換手段からの変調予測誤差信
号の各画素における振幅を、所定の復調度で復調し、予
測誤差信号を再生する振幅復調手段と、振幅復調手段に
て再生された予測誤差信号と過去の入力画像から生成さ
れた予測画像とを加算し、復号画像を生成する復号画像
生成手段と、復号画像生成手段からの復号画像を、過去
に復号した復号画像として記憶する復号画像記憶手段
と、通信路符号復号化手段において再生された制御情報
と、復号画像記憶手段に記憶された復号画像とから、予
測画像を生成する予測画像生成手段とをそなえてなる動
画像復号化部をそなえたことを特徴としている(請求項
20)。
【0040】
【発明の実施の形態】
(a)動画像符号化装置の説明 図3は本発明の一実施形態にかかる動画像符号化装置を
示すブロック図であり、この図3に示す動画像符号化装
置36は、ディジタル動画像データを、データ圧縮技術
を用いて、原画像データよりも少ないデータ量を少なく
して伝送するものである。
【0041】ここで、21は減算器であり、この減算器
21は、入力画像と過去(例えば1フレーム前の)の入
力画像から生成された予測画像との差を演算し予測誤差
信号を生成する予測誤差信号生成手段としての機能を有
するものである。また、22は振幅変調乗算器であり、
この振幅変調乗算器22は、減算器21にて計算された
予測誤差信号の各画素における振幅を、後述の振幅変調
倍率変成器33にて設定された所定の変調度としての倍
率で乗算することにより、振幅変調する振幅変調手段と
しての機能を有している。
【0042】32−1は第1の切替手段としての選択器
であり、この選択器32−1は、減算器21からの予測
誤差信号か又は振幅変調乗算器22からの振幅変調され
た予測誤差信号のいずれか一方を選択的に切り替えて出
力するものである。また、23は離散コサイン変換部
(DCT,Discrete Cosine Transform )であり、この
離散コサイン変換部23は、選択器32−1からの予測
誤差信号について、画素間の相関性を取り除く直交変換
を施し、変換係数を生成する変換手段としての機能を有
している。
【0043】さらに、24は離散コサイン変換部23か
らの変換係数としてのDCT係数を量子化する量子化手
段としての量子化器、25は量子化器24からの量子化
変換係数を逆量子化し変換係数を再生する逆量子化手段
としての逆量子化器、26は再生された変換係数に基づ
いて振幅変調された予測誤差信号を再生する逆変換手段
としての逆離散コサイン変換部(逆DCT)である。
【0044】換言すれば、逆離散コサイン変換部26
は、逆量子化器25にて再生された変換係数について、
離散コサイン変換部23と逆の変換を施すことにより、
予測誤差信号を再生するものである。さらに、27は振
幅復調乗算器であり、この振幅復調乗算器27は、逆離
散コサイン変換部26からの予測誤差信号の各画素にお
ける振幅を、後述の振幅変調倍率変成器33及び逆数計
算器34にて計算された所定の復調度で復調し、予測誤
差信号を再生する振幅復調手段としての機能を有するも
のである。
【0045】32−2は第2の切替手段としての選択器
であり、この選択器32−2は、逆離散コサイン変換部
26にて再生された予測誤差信号か又は振幅復調乗算器
27にて振幅復調された予測誤差信号のうちのいずれか
一方を選択的に切り替えて加算器28に出力するもので
ある。さらに、加算器28は、選択器32−2からの予
測誤差信号と後述の予測画像生成部31にて生成された
予測画像とを加算し、復号画像を生成する復号画像生成
手段としての機能を有するものである。
【0046】29は加算器28からの復号画像を、過去
に復号した復号画像として記憶する復号画像記憶手段と
してのフレームメモリであり、このフレームメモリ29
は過去の復号画像を例えば1フレーム又は複数フレーム
分記憶するようになっている。また、30は予測パラメ
ータ計算手段としての動きベクトル予測部であり、この
動きベクトル予測部30は、フレームメモリ29に記憶
された復号画像から、復号画像に続いて入力される入力
画像との誤差が小さくなるような予測画像を生成するた
めの予測パラメータとしての動きベクトルを計算するも
のである。
【0047】換言すれば、予測パラメータ計算手段30
は、原画像に対する1枚過去又は複数枚過去の画像に対
する動きベクトルを算出するものであって、予測画像生
成部31では、この動きベクトルを予測パラメータとし
て予測画像を生成するようになっている。さらに、予測
画像生成部31は、予測パラメータ計算手段にて計算さ
れた予測パラメータと、フレームメモリ29に記憶され
た復号画像とから、予測画像を生成する予測画像生成手
段としての機能を有するものである。
【0048】また、32−3は第3の切替手段としての
選択器であり、この選択器32−3は、予測画像生成部
31にて生成された予測画像か又は予測画像無しを示す
信号のうちのいずれか一方を選択的に切り替えて、上述
の予測誤差信号生成部21,加算器28及び振幅変調倍
率生成器33に出力するものである。ところで、動きベ
クトル予測部30は、ブロック毎の予測パラメータの計
算結果に応じて、対象ブロックにおいて予測誤差信号の
振幅変調・復調を行なうべきか否かを判定し、判定結果
〔フレーム内符号化(Intra)/フレーム間符号化(Inte
r)の判定情報〕に基づいて、選択器32−1〜32−3
を切替制御するようになっている。
【0049】具体的には、動きベクトル予測部30は、
上述の予測パラメータの計算結果に応じて、ブロックが
Intra (フレーム内符号化)モードであったり、予測画
像と原画像との相関が低く、予測画像から適切な振幅変
調関数が求められない場合等においては、対象ブロック
で予測誤差信号の振幅変調・復調を行なわない(Intra)
と判定する。
【0050】この場合においては、動きベクトル予測部
30は、減算器21からの予測誤差信号が離散コサイン
変換部23に入力されるように選択器32−1を制御
し、逆離散コサイン変換部26からの予測誤差信号が加
算器32−2に入力されるように選択器32−2を制御
するとともに、予測画像無しを示す信号が減算器21及
び加算器28に入力されるように選択器32−3を制御
するようになっている。
【0051】また、この動きベクトル予測部30におい
て、ブロックがInter(フレーム間符号化)モードであ
り、予測誤差の振幅変調・復調を行なうべきと判定され
た場合には、振幅変調乗算器22からの予測誤差信号が
離散コサイン変換部23に入力されるように選択器32
−1を制御し、振幅復調乗算器27からの予測誤差信号
が加算器32−2に入力されるように選択器32−2を
制御するとともに、予測画像生成部31にて生成された
予測画像が減算器21及び加算器28に入力されるよう
に選択器32−3を制御するようになっている。
【0052】従って、上述の動きベクトル予測部30
は、ブロックに応じて、上述の各選択器32−1〜32
−3を切替制御することにより、フレーム間符号化又は
フレーウ内符号化を適応的に切替制御する第1の制御手
段としての機能をも有している。また、上述の予測誤差
の振幅変調・復調を行なうべきか否かの判定結果は、制
御情報として動画像復号装置に伝送することができ、こ
れにより、復号装置側においても上述の判定結果に基づ
いて予測誤差信号の振幅復調のオンオフを行なうことが
できる。
【0053】さらに、35は通信路符号化手段としての
可変長符号化部であり、この可変長符号化部35は、量
子化器24からの量子化変換係数及び動画像復号化装置
側における復号の際に必要な制御情報に、例えばハフマ
ン符号等の符号を割り当てて、圧縮された動画像符号化
情報として出力するものである。なお、上述の制御情報
としては、例えば量子化器24による量子化に関する情
報,動きベクトル予測部30にて計算された予測パラメ
ータ(予測誤差信号の変調・復調を行なうか否かの情報
を含む)又は後述の振幅変調倍率生成器33にて生成さ
れる振幅変調乗算器22の変調方法に関する情報若しく
はこれらの情報の任意の組み合わせにより構成されるよ
うになっている。
【0054】また、振幅変調倍率生成器33は、選択器
32−3から入力された予測画像に関する情報(予測画
像無しを示す信号を含む)に基づいて、振幅変調乗算器
22における変調度を設定するものである。即ち、振幅
変調倍率生成器33は変調度設定手段としての機能を有
しており、ブロックにおける符号化の結果として生じる
誤差を小さくしたい画素に対しては、相対的に大きい倍
率を振幅変調乗算器22の変調度として設定する一方、
ブロックの符号化の結果として生じる誤差が大きくても
許容できるような画素に対しては、相対的に小さい倍率
を振幅変調乗算器22の変調度として設定するようにな
っている。
【0055】ところで、この振幅変調倍率生成器33に
おける予測誤差信号の変調度の設定態様としては、ブロ
ック内の画像において、人間の視覚特性を反映する尺度
(画像のその画素付近に誤差が印加されたときその誤差
が人間にとってどれだけ目立ちやすいかを示す尺度)を
用いて、予測誤差信号の振幅を変換する関数を設定する
ことにより、変調度を設定することができる。
【0056】換言すれば、振幅変調倍率変成器33にお
いては、振幅変調乗算器22における予測誤差信号の変
調度を、上述の尺度で誤差が見えやすいと判断された画
素ほど、予測誤差信号の値を相対的に大きい倍率に設定
する一方、上述の尺度で誤差が見えにくいと判断された
画素ほど、予測誤差信号の値を相対的に小さい倍率に設
定することができるのである。
【0057】なお、上述の誤差が目立ちやすいかの尺度
としては、例えば、ローカルな画像の分散,画像のPote
ntial Visibility Function (潜在的誤差認知度)等の
関数又は誤差の認知のしやすさにおける輝度との関係等
を利用することができる。さらに、振幅変調倍率生成器
33においては、予測画像生成部31からの予測画像に
基づいて、上述の人間の視覚特性を反映する尺度を求め
ることができる。
【0058】即ち、動画像符号化を行なう際の予測画像
は、符号化画像との相関が非常に高く、この誤差認知度
の尺度として、符号化装置及び復号装置の双方におい
て、同様のアルゴリズムにより、予測画像を誤差認知度
の尺度として用いれば、振幅変調倍率生成器33では、
予測誤差信号の振幅を変換する関数を適応的に決定する
こともできるのである。
【0059】この場合においては、送受で共通の情報を
用いて共通のアルゴリズムで各画素の振幅を変換する関
数を決定することができ、この関数決定に関する情報を
一切伝送する必要がなくなる。ところで、上述の振幅変
調倍率生成器33において決定される予測誤差信号の振
幅を変換する関数は、具体的には以下に示すように、ア
クティビティ(画像の複雑さ)及び背景画像の輝度に基
づいて決定することができる。
【0060】まず、アクティビティに基づいて予測誤差
信号の振幅を変換する関数は、以下に示すように求める
ことができる。例えば図4(a)に示すように、符号化
対象となるブロックが8×8の画素X 1 〜X64により構
成される場合において、ある画素Xi における局所的な
アクティビティは以下のように求められる。なお、文
中、変数の表記が数式と異なる場合がある。
【0061】まず、図4(b)に示すように、画素Xi
の近傍における8画素を、対象画素の上下左右の2画素
ずつと定め、これらの対象画素及び近傍の画素をXi1
i9とするとともに、それぞれの画素値をxijとする
と、画素Xi の分散σi 2 は、以下に示す式(1)のよ
うに定義される。なお、対象画素がブロック境界に隣接
する場合には、当該ブロックを外れる近傍画素の画素値
は、図4(c)に示すように、ブロック境界を軸にし
て、ブロック境界内の画素と線対称となるように画素値
を設定するようになっている。
【0062】例えば、図4(b)において、対象画素X
i1がブロックの左端部にある場合には、ブロックから外
れるXi4,Xi5の画素値xi4,xi5を、それぞれ、対象
画素Xi1の画素値xi1〔図4(c)では‘a’〕,画素
i6の画素値xi6〔図4(c)では‘b’〕と設定する
のである。
【0063】
【数1】
【0064】従って、画素Xi のアクティビティA
i を、値が0よりも大きくなるように定数Cを用いて次
式(2)に示すように定義する。
【0065】
【数2】
【0066】また、ブロック内の平均のアクティビティ
Aを、式(3)に示すように定義する。
【0067】
【数3】
【0068】これにより、画像の複雑さに依存するブロ
ック内の画素Xi の振幅変調の倍率Ki を次式(4)に
示すように定義する。
【0069】
【数4】
【0070】続いて、背景画像の輝度による、印加され
た誤差の認知度に基づく振幅変調の倍率は、以下に示す
ように求めることができる。ここで、背景の輝度に対す
る、誤差の認知の度合いは、例えば図5に示すような特
性v=f(x)(v:誤差認知,x:背景の輝度)を有
している。
【0071】まず、図6(a)に示すように、対象画素
i の近傍における8画素を、対象画素の周囲の8画素
と定め、これらの対象画素及び近傍の画素をXi1〜Xi9
とするとともに、それぞれの画素値をxijとすると、画
素iの誤差認知度(Error Visibility)Vi は、以下の
式(5)に示すようになる。なお、例えば図6(c)に
示すように、対象画素Xi の近傍画素がブロックから外
れる場合には、当該ブロックから外れる画素の画素値
を、隣接するブロック内の画素の画素値(この場合にお
いては‘a’)と設定することができる。
【0072】
【数5】
【0073】これにより、画像の背景の輝度に依存す
る、ブロック内の画素Xi の振幅変調の倍率Li は、適
当な定数Dを用いることにより、次式(6)に示すよう
に定義する。
【0074】
【数6】
【0075】従って、画像の複雑さに依存する、ブロッ
ク内の画素iの振幅変調の倍率Kiと、画像の輝度に依
存するブロック内の画素iの振幅変調の倍率Li を用い
て、画像の複雑さ及び輝度に依存する対象ブロックの画
素iにおける予測誤差の振幅変調のための倍率Mi は、
次式(7)に示すように決定することができる。
【0076】
【数7】
【0077】即ち、振幅変調倍率生成器33では、上述
の式(7)に示すような倍率Mi を、対象ブロックの画
素iにおける変調度を決定するための関数としている。
ところで、逆数計算器34は、振幅復調乗算器27にお
ける復調度を、振幅変調乗算器22における変調前の予
測誤差信号を最適に再生できるように設定する復調度設
定手段としての機能を有するものであって、この逆数計
算器34は、振幅変調倍率生成器33にて設定された振
幅変調乗算器22の変調度に基づいて、復調度を設定す
るようになっている。
【0078】具体的には、逆数計算器34は、振幅変調
倍率生成器33にて設定される振幅変調乗算器22の変
調度としての関数(上述の式(7)参照)の逆関数を計
算し、計算された逆関数または逆関数に近い特性を有す
る関数を振幅復調乗算器27における復調度として設定
しているのである。上述の構成により、本発明の一実施
形態にかかる動画像符号化装置は、以下に示すように動
作する。
【0079】即ち、動きベクトル予測部30において、
ブロック毎の予測パラメータの計算結果に応じて、動作
モードとしてフレーム内符号化(Intra)/フレーム間符
号化(Inter)を判定し、この判定結果に基づいて選択器
32−1〜32−3を切替制御する。特に、フレーム間
符号化と判定されたブロックにおいては、減算器21で
は、入力画像のブロックを入力されるとともに、予測画
像生成部31にて生成された予測画像を選択器32−3
を介して入力され、これらの入力画像と予測画像との差
を演算することにより予測誤差信号を生成する。
【0080】また、振幅変調乗算器22では、減算器2
1からの予測誤差信号の各画素における振幅を振幅変調
倍率生成器33にて設定された所定の変調度で振幅変調
し、変調された予測誤差信号を選択器32−1を介して
離散コサイン変換部23に出力する。離散コサイン変換
部23では振幅変調された予測誤差信号について、画素
間の相関性を取り除く変換を施して変換係数を生成し
て、量子化器24において生成された変換係数を量子化
する。
【0081】これにより、可変長符号化部35では、量
子化器24にて量子化された変換係数とともに、動画像
復号化装置側における復号のための制御情報に符号を割
り当てて、動画像符号化情報として出力している。な
お、予測画像を生成する際には、加算器28において、
逆量子化器25,逆離散コサイン変換部26,振幅復調
乗算器27及び選択器32−2を介して再生された予測
誤差信号と、予測画像生成部31及び選択器32−3を
介して入力される予測画像とを加算し、入力画像を復号
する。
【0082】これにより、予測画像生成部31では、フ
レームメモリ29からの復号画像と動きベクトル予測部
30にて計算された予測パラメータに基づいて、予測画
像を生成する。また、上述の振幅変調乗算器22におい
て、量子化の前段において予測誤差信号を変調する一
方、振幅復調乗算器27において、逆離散コサイン変換
の結果について振幅復調することにより、具体的には以
下に示すように視覚的に目立つ誤差を軽減することがで
きる。
【0083】即ち、図7(a)に示すような、減算器2
1において平坦部分と複雑な部分を含むブロックにおい
て生成された予測誤差信号を、図7(b)のような、ブ
ロック内の画素毎に異なるような変調度で変調するよう
になっている。ところで、平坦部分〔図7(a)におけ
る波形変動のない領域参照〕については、人間の視覚特
性から複雑な部分よりも誤差が目立ち易く、符号化の結
果として生じる誤差を小さくすることが必要である。ま
た、複雑な部分〔図7(a)における波形変動のある領
域参照〕については平坦部分よりも誤差は目立ちにく
く、平坦部分ほど誤差を小さくすることは必要ではな
い。
【0084】従って、振幅変調倍率生成器33において
は、振幅変調乗算器22による変調度として、平坦部分
の画素においては、相対的に大きい倍率(1よりも大き
い値)を設定する一方、複雑な部分の画素については、
相対的に小さい倍率(1よりも小さい値)を設定するよ
うになっている。これにより、振幅変調乗算器22にお
ける変調結果としての予測誤差信号は、図7(c)に示
すように、複雑な部分におけるレベル変動が小さくな
る。
【0085】これにより、離散コサイン変換部23,量
子化器24,逆量子化器25及び逆離散コサイン変換部
26を介することにより、一旦直交変換及び量子化され
た予測誤差信号が復号・再生されると、この再生された
予測誤差信号には、図7(d)に示すように、大局的に
ほぼ一定の大きさの符号化ノイズが付加されている。換
言すれば、図7(d)に示す再生された予測誤差信号に
は、平坦部分から複雑な部分にわたり、図7(e)に示
すような大局的には一様な符号化ノイズが付加されてい
るのである。
【0086】ここで、振幅復調乗算器27において、図
7(d)に示すような再生された予測誤差信号につい
て、図7(f)に示すような、上述の振幅変調乗算器2
2にて施された変調処理の逆特性の復調処理を施すこと
により、図7(g)に示すような予測誤差信号が得られ
る。換言すれば、逆数計算部34にて設定される振幅復
調乗算器27による復調度としては、平坦部分の画素に
おいては、相対的に小さい倍率(1よりも小さい値)を
設定する一方、複雑な部分の画素については、相対的に
小さい倍率(1よりも小さい値)を設定するようになっ
ている。これにより、振幅復調乗算器27における復調
結果としての予測誤差信号は、図7(g)に示すよう
に、複雑な部分におけるレベル変動が小さくなるのであ
る。
【0087】また、図7(e)に示すように、平坦部分
から複雑な部分にわたり、大局的に一様な符号化ノイズ
が付加されている予測誤差信号が、図7(g)に示すよ
うに復調されることにより、図7(h)に示すように、
人間の視覚特性上目立ちやすい平坦部分の符号化ノイズ
(モスキートノイズ)を小さくすることができる。な
お、動きベクトル予測部30において、ブロックがフレ
ーム内符号化を行なうべきと判定された場合には、減算
器21では予測画像なしを示す信号が入力されるように
なっているほか、減算器21からの予測誤差信号は変調
されずに直交変換され、逆離散コサイン変換部26から
の予測誤差信号は復調されずに加算器28に出力され
る。
【0088】このように、本発明の一実施形態にかかる
動画像符号化装置によれば、振幅変調乗算器22におい
て、減算器21にて生成された予測誤差信号の各画素に
おける振幅を所定の変調度で振幅変調するとともに、振
幅復調乗算器27において、逆離散コサイン変換部26
からの予測誤差信号の各画素における振幅を所定の復調
度で復調し予測誤差信号を再生しているので、動画像を
再生する際に、ブロック全体にわたり視覚的に目立つ部
分の誤差を軽減できるような符号化処理を行なうことが
でき、ひいては視覚的に良好な画像を伝送できるので動
画像符号化装置の性能向上に寄与することができる利点
がある。
【0089】また、振幅変調倍率生成器33により、符
号化の結果として生じる誤差を小さくしたい画素か又
は、ブロックの符号化の結果として生じる誤差が大きく
ても許容できるような画素かに応じて、適応的に振幅変
調乗算器22の変調度としての倍率を設定することがで
きるので、圧縮効率を維持しながら、視覚的に誤差が目
立つ部分を適応的に判断して、その部分の符号化誤差を
抑えることができる利点がある。
【0090】さらに、振幅変調倍率生成器33にて設定
される予測誤差信号の変調度を、ブロック内の画像にお
いて、人間の視覚特性を反映する尺度に基づいて決定す
ることができるので、人間が誤差に見えやすいような画
素を適応的に判断して、人間が誤差と判断しにくい圧縮
符号化を行なうことができる利点がある。また、振幅変
調倍率生成器33及び逆数計算器34により、振幅復調
乗算器27における復調度を、変調された予測誤差信号
を最適に再生できるように設定することができるので、
正確な予測画像を生成することができ、予測符号化の精
度を向上させることができる。
【0091】さらに、選択器32−1〜32−3及び動
きベクトル予測部30により、フレーム内符号化か又は
フレーム間符号化のいずれかのモードを、ブロックに応
じて適応的に選択することができるので、ブロックに応
じた効率的な圧縮符号化を行なうことができる利点があ
る。 (b)動画像復号化装置の説明 図8は本発明の一実施形態にかかる動画像復号化装置を
示すブロック図であり、この図3に示す動画像復号化装
置51は、前述の図3に示す動画像符号化装置36から
の動画像符号化情報を、伸長して原画像を再生するもの
である。
【0092】本実施形態にかかる動画像復号化装置51
は、前述の図3に示す動画像符号化装置36におけるも
の(符号25〜29,31,33,34参照)と同様の
機能を有する逆量子化部42,逆離散コサイン変換部
(逆DCT)43,振幅復調乗算器44,加算器45,
フレームメモリ46,予測画像生成部47,振幅変調倍
率生成器48及び逆数計算器49をそなえるとともに、
可変長符号器41及び選択器50−1,50−2をそな
えている。
【0093】ここで、可変長復号器41は、動画像符号
化装置36からの動画像符号化情報を構成する量子化変
換係数及び制御情報について復号して再生する通信路符
号復号化手段としての機能を有するものである。なお、
上述の動画像符号化装置36からの制御情報としては、
例えば量子化に関する情報,予測パラメータ(予測誤差
信号の変調・復調を行なうか否かの情報を含む)又は変
調方法に関する情報及び他のパラメータ情報等により構
成されている。
【0094】また、可変長復号器41にて復号された量
子化変換係数とともに、制御情報としての量子化に関す
る情報は逆量子化器42に出力される一方、制御情報と
しての予測パラメータ(動きベクトル)は予測画像生成
部47に出力されるようになっている。さらに、可変長
復号器41にて復号された制御情報を構成する予測パラ
メータにおける、予測誤差信号の変調・復調を行なうか
否かの情報は、動作モード情報(フレーム内予測/フレ
ーム間予測)として選択器50−1,50−2に出力さ
れるようになっており、この判定情報に基づいて、選択
器50−1,50−2が切替制御されるようになってい
る。
【0095】換言すれば、可変長復号器41は、ブロッ
クに応じて選択器50−1,50−2を切替制御する第
2の制御手段としての機能をも有している。また、逆量
子化手段としての逆量子化部42は、動画像符号化装置
36から入力される量子化に関する情報に基づいて、可
変長復号器41にて再生された量子化変換係数を逆量子
化し、変換係数を再生する逆量子化手段としての機能を
有している。
【0096】さらに、逆変換手段としての逆離散コサイ
ン変換部43は、前述の動画像符号化装置36の離散コ
サイン変換部23に対する逆変換を行なうことにより、
再生された変換係数に基づいて、予測誤差信号を再生す
るものである。さらに、振幅復調乗算器44は、離散コ
サイン変換部43からの変調予測誤差信号の各画素にお
ける振幅を、振幅変調倍率生成器48及び逆数計算器4
9により設定された所定の復調度で復調し、予測誤差信
号を再生する振幅復調手段としての機能を有している。
【0097】また、第4の切替手段としての選択器50
−1は、逆離散コサイン変換部50−1にて再生された
予測誤差信号か又は、振幅復調乗算器44にて振幅復調
された予測誤差信号のうちのいずれか一方を選択的に切
り替えて、加算器45に出力するものである。さらに、
加算器45は、振幅復調乗算器44にて再生された予測
誤差信号と過去の入力画像から生成された予測画像とを
加算し、復号画像を生成する復号画像生成手段としての
機能を有するものである。
【0098】また、復号画像記憶手段としてのフレーム
メモリ46は、加算器45からの復号画像を過去に復号
した復号画像として、1フレーム分又は複数フレーム分
記憶するものであり、予測画像生成部47は、可変長復
号器41において再生された制御情報と、フレームメモ
リ46に記憶された復号画像とから、予測画像を生成す
る予測画像生成手段としての機能を有する。
【0099】また、選択器50−2は、予測画像生成部
47にて生成された予測画像か又は予測画像無しを示す
信号(‘0’)のうちのいずれか一方を選択的に切り替
えて、加算器45に出力する第5の切替手段としての機
能を有している。また、振幅変調倍率生成器48は、前
述の動画像符号化装置36におけるもの(符号33参
照)と同様に振幅変調倍率(振幅変調関数)を生成する
ものである。
【0100】さらに、逆数計算器49は動画像符号化装
置36におけるもの(符号34参照)と同様に、振幅変
調倍率生成器48からの振幅変調倍率の逆数を演算する
ことにより、振幅復調乗算器44の復調度を生成するも
のである。換言すれば、上述の振幅変調倍率生成器48
及び逆数計算器49により、振幅復調乗算器44におけ
る復調度を、変調前の予測誤差信号を最適に再生できる
ように設定する復調度設定手段としての機能を有してい
る。
【0101】具体的には、振幅変調倍率生成器48及び
逆数計算器49では、ブロックにおける符号化の結果と
して生じる誤差を小さくしたい画素に対しては、変調予
測誤差信号の値を相対的に小さくする倍率を復調度とし
て設定する一方、ブロックの符号化の結果として生じる
誤差が大きくても許容できるような画素に対しては、変
調予測誤差信号の値を相対的に大きくする倍率を復調度
として設定するようになっている。
【0102】また、上述の振幅変調倍率生成器48及び
逆数計算器49にて設定される予測誤差信号の復調度
を、予測画像生成部47からの予測画像に基づき、ブロ
ック内の画像において、人間の視覚特性を反映する尺度
(画像のその画素付近に誤差が印加されたときその誤差
が人間にとってどれだけ目立ちやすいかを示す尺度)に
基づいて決定するようになっている。
【0103】即ち、振幅変調倍率生成器48及び逆数計
算器49では、上述の尺度で誤差が見えやすいと判断さ
れた画素ほど、予測誤差信号の値を相対的に小さくする
倍率を復調度として設定する一方、上述の尺度で誤差が
見えにくいと判断された画素ほど、予測誤差信号の値を
相対的に大きくする倍率を復調度として設定するように
なっているのである。
【0104】なお、上述の誤差が目立ちやすいかの尺度
としては、上述の動画像符号化装置36と同様、例え
ば、ローカルな画像の分散,画像のPotential Visibili
ty Function (潜在的誤差認知度)等の関数又は誤差の
認知のしやすさにおける輝度との関係等を利用すること
ができる。さらに、振幅変変調率生成器46において
は、予測画像生成部31からの予測画像に基づいて、上
述の人間の視覚特性を反映する尺度を求めることができ
る。
【0105】即ち、動画像符号化を行なう際の予測画像
は、符号化画像との相関が非常に高く、この誤差認知度
の尺度として、復号装置の双方において、同様のアルゴ
リズムにより、予測画像を誤差認知度の尺度として用い
れば、振幅変調倍率生成器348は、前述の動画像符号
化装置36におけるもの(符号33参照)と同様に、予
測誤差信号の振幅を変換する関数を適応的に決定するこ
ともできるのである(図4〜図7参照)。
【0106】上述の構成により、本発明の一実施形態に
かかる動画像復号化装置では、以下に示すように動画像
符号化装置36からの動画像符号化情報を再生してい
る。まず、可変長復号器41において、動画像符号化装
置36からの、ブロック毎の予測パラメータの計算結果
に応じた、動作モード情報(フレーム内符号化/フレー
ム間符号化)を入力され、この動作モード情報に基づい
て選択器32−1〜32−3を切替制御する。
【0107】ここで、フレーム間符号化と判定されたブ
ロックにおいては、可変長復号器41において、動画像
符号化装置36からの振幅変調された動画像符号化情報
を構成する量子化変換係数及び制御情報について復号し
て再生する。続いて、逆量子化器42において、再生さ
れた量子化変換係数を、動画像符号化装置36からの制
御情報としての量子化に関する情報に基づいて逆量子化
して変換係数を再生する。
【0108】さらに、逆離散コサイン変換部43におい
て、再生された変換係数に基づいて、変調予測誤差信号
を再生し、その後、振幅復調乗算器44において、振幅
変調倍率生成器48及び逆数計算器49にて計算された
復調度で、振幅変調された予測誤差信号の各画素におけ
る振幅を復調することにより予測誤差信号を再生する。
【0109】なお、振幅変調倍率生成器48及び逆数計
算器49では、前述の動画像符号化装置36におけるも
の(符号33及び34参照)と同様に、人間の視覚特性
を反映する尺度を用いることにより、復調度としての、
予測誤差信号の振幅を変換する関数を適応的に決定して
いる。加算器45では、再生された予測誤差信号と、予
測画像生成部47にて過去の入力画像から生成された予
測画像とを加算することにより復号画像を生成して出力
する。
【0110】ところで、フレームメモリ46では、加算
器45にて復号された復号画像を、次段の動画像符号化
情報の復号化の際に用いる過去の入力画像として保持し
ておく。これにより、予測画像生成部47において、前
述の動画像符号化装置36における予測画像生成部31
の場合と同様に、フレームメモリ46からの過去の入力
画像と可変長復号器41からの予測パラメータとしての
動きベクトルに基づいて、予測画像を生成することがで
きる。
【0111】なお、振幅復調乗算器44において、逆離
散コサイン変換の結果について振幅復調することによ
り、具体的には前述の図7(a)〜(h)に示すよう
に、視覚的に目立つ誤差を軽減することができる。ま
た、可変長復号器41では、intra(フレーム内符号化)
と判断されたブロックについては、選択器50−1,5
0−2を切替制御することにより、予測誤差信号の振幅
復調は行なわなれない。
【0112】このように、本発明の一実施形態にかかる
動画像復号化装置によれば、振幅復調乗算器44によ
り、逆離散コサイン変換部43からの変調予測誤差信号
の各画素における振幅を、所定の復調度で復調すること
ができるので、符号化の際に変調された動画像を受信し
た場合において、ブロック全体にわたり、視覚的に目立
つ誤差が軽減された良好な画像を再生することができる
ので、装置の性能向上に寄与することができる利点があ
る。
【0113】さらに、振幅変調倍率生成器48及び逆数
計算器49により、振幅復調乗算器44の復調度を、変
調前の予測誤差信号を最適に再生できるように生成する
ことができるので、再生された予測誤差信号により高精
度な復号画像を生成することができ、予測符号化された
画像における復号化の精度を向上させることができる利
点がある。
【0114】また、振幅変調倍率生成器48及び逆数計
算器49により、符号化の結果として生じる誤差を小さ
くしたい画素か又は、ブロックの符号化の結果として生
じる誤差が大きくても許容できるような画素かに応じ
て、適応的に振幅復調乗算器44の復調度としての倍率
を設定することができるので、圧縮効率を維持しなが
ら、画像を復号化して再生する際に、視覚的に誤差が目
立つ部分を適応的に判断して、その部分の符号化誤差を
抑えることができる。
【0115】さらに、振幅変調倍率生成器48及び逆数
計算器49により設定される予測誤差信号の復調度を、
ブロック内の画像において、人間の視覚特性を反映する
尺度に基づいて決定することができるので、人間が誤差
に見えやすいような画素を適応的に判断して、人間が誤
差と判断しにくいような画像を再生することができる利
点がある。
【0116】また、選択器50−1,50−2及び可変
長符号器41により、制御情報としての予測パラメータ
に基づいて、フレーム内符号化か又はフレーム間符号化
のいずれかのモードを、ブロックに応じて適応的に選択
することができるので、ブロックに応じた効率的な圧縮
符号化を行なうことができる利点がある。なお、本発明
によれば、少なくとも入力画像を複数画素よりなるブロ
ックに分割し、ブロック毎に、過去の入力画像から生成
された予測画像との差を演算し予測誤差信号を生成し、
予測誤差信号の各画素における振幅を、所定の変調度で
振幅変調し、振幅変調された予測誤差信号について、画
素間の相関性を取り除く変換を施して変換係数を生成
し、生成された変換係数を量子化し、量子化された変換
係数に符号を割り当てて出力することにより、動画像を
再生する際に、ブロック全体にわたり、視覚的に目立つ
部分の誤差を軽減できるような符号化処理を行なうこと
ができ、ひいては視覚的に良好な画像を伝送できる利点
がある。
【0117】また、本発明によれば、少なくともブロッ
クにおける符号化の結果として生じる誤差を小さくした
い画素に対しては、予測誤差信号の値を相対的に大きい
倍率で変調する一方、ブロックの符号化の結果として生
じる誤差が大きくても許容できるような画素に対して
は、予測誤差信号の値を相対的に小さい倍率で変調する
ことにより、圧縮効率を維持しながら、視覚的に誤差が
目立つ部分を適応的に判断して、その部分の符号化誤差
を抑えることができる利点がある。
【0118】さらに、本発明によれば、少なくとも動画
像符号化装置からの振幅変調された動画像符号化情報を
構成する量子化変換係数及び制御情報について復号して
再生し、再生された量子化変換係数を逆量子化して変換
係数を再生し、再生された変換係数に基づいて、変調予
測誤差信号を再生し、振幅変調された予測誤差信号の各
画素における振幅を、所定の復調度で復調し、予測誤差
信号を再生し、再生された予測誤差信号と過去の入力画
像から生成された予測画像とを加算し、復号画像を生成
することにより、符号化の際に変調された動画像を受信
した場合において、ブロック全体にわたり、視覚的に目
立つ誤差が軽減された良好な画像を再生することができ
る。
【0119】また、本発明によれば、少なくともブロッ
クにおける符号化の結果として生じる誤差を小さくした
い画素に対しては、変調予測誤差信号の値を相対的に小
さい倍率で復調する一方、ブロックの符号化の結果とし
て生じる誤差が大きくても許容できるような画素に対し
ては、変調予測誤差信号の値を相対的に大きい倍率で復
調することにより、圧縮効率を維持しながら、画像を復
号化して再生する際に、視覚的に誤差が目立つ部分を適
応的に判断して、その部分の符号化誤差を抑えることが
できる利点がある。
【0120】(c)その他 なお、上述の本実施形態においては、動画像符号化装置
36及び動画像復号化装置51について詳述したが、こ
れらの動画像符号化装置36及び動画像復号化装置51
を一体化することにより、上述したような符号化装置及
び復号化装置の2つの機能を有する動画像符号化復号化
装置を構成することもできる。
【0121】また、上述の本実施形態においては、振幅
変調乗算器22における変調度や、振幅復調乗算器2
7,44の復調度を、振幅変調倍率生成器33,48及
び逆数計算器34,49にて設定しているが、本発明に
よれば、上述の手法以外の、誤差を小さくしたい画素又
は誤差が大きくても許容できるような画素に応じた変調
度,復調度の設定を行なうこともできる。
【0122】さらに、上述の本実施形態では、誤差の認
知のし易さの尺度として、画像の複雑さ及び輝度を用い
たが、これに限定されず、基本的には、画素の局所的な
誤差認知度を表す尺度であれば上述したもの以外のもの
を用いることができる。
【0123】
【発明の効果】以上詳述したように、請求項1〜10,
20記載の本発明によれば、振幅変調手段において、予
測誤差信号生成手段にて生成された予測誤差信号の各画
素における振幅を、所定の変調度で振幅変調するととも
に、振幅復調手段において、逆変換手段からの予測誤差
信号の各画素における振幅を、所定の復調度で復調し、
予測誤差信号を再生することにより、動画像を再生する
際に、ブロック全体にわたり、視覚的に目立つ部分の誤
差を軽減できるような符号化処理を行なうことができ、
ひいては視覚的に良好な画像を伝送できるので動画像符
号化装置の性能向上に寄与することができる利点があ
る。
【0124】また、請求項2記載の本発明によれば、変
調度設定手段により、符号化の結果として生じる誤差を
小さくしたい画素か又は、ブロックの符号化の結果とし
て生じる誤差が大きくても許容できるような画素かに応
じて、適応的に振幅変調手段の変調度としての倍率を設
定することができるので、圧縮効率を維持しながら、視
覚的に誤差が目立つ部分を適応的に判断して、その部分
の符号化誤差を抑えることができる利点がある。
【0125】さらに、請求項3〜5記載の本発明によれ
ば、変調度設定手段にて設定される予測誤差信号の変調
度を、ブロック内の画像において、人間の視覚特性を反
映する尺度に基づいて決定することができるので、人間
が誤差に見えやすいような画素を適応的に判断して、人
間が誤差と判断しにくい圧縮符号化を行なうことができ
る利点がある。
【0126】また、請求項6,7記載の本発明によれ
ば、復調度設定手段により、振幅復調手段における復調
度を、変調された予測誤差信号を最適に再生できるよう
に設定することができるので、正確な予測画像を生成す
ることができ、予測符号化の精度を向上させることがで
きる。さらに、請求項9,10記載の本発明によれば、
第1の切替手段,第2の切替手段,第3の切替手段及び
第1の制御手段をそなえたことにより、フレーム内符号
化か又はフレーム間符号化のいずれかのモードを、ブロ
ックに応じて適応的に選択することができるので、ブロ
ックに応じた効率的な圧縮符号化を行なうことができる
利点がある。
【0127】また、請求項11〜20記載の本発明によ
れば、振幅復調手段により、逆変換手段からの変調予測
誤差信号の各画素における振幅を、所定の復調度で復調
することができるので、符号化の際に変調された動画像
を受信した場合において、ブロック全体にわたり、視覚
的に目立つ誤差が軽減された良好な画像を再生すること
ができるので、装置の性能向上に寄与することができる
利点がある。
【0128】さらに、請求項12記載の本発明によれ
ば、復調度設定手段により、振幅復調手段の復調度を、
変調前の予測誤差信号を最適に再生できるように生成す
ることができるので、再生された予測誤差信号により高
精度な復号画像を生成することができ、予測符号化され
た画像における復号化の精度を向上させることができる
利点がある。
【0129】また、請求項13記載の本発明によれば、
復調度設定手段により、符号化の結果として生じる誤差
を小さくしたい画素か又は、ブロックの符号化の結果と
して生じる誤差が大きくても許容できるような画素かに
応じて、適応的に振幅復調手段の復調度としての倍率を
設定することができるので、圧縮効率を維持しながら、
画像を復号化して再生する際に、視覚的に誤差が目立つ
部分を適応的に判断して、その部分の符号化誤差を抑え
ることができる利点がある。
【0130】さらに、請求項14〜16記載の本発明に
よれば、復調度設定手段にて設定される予測誤差信号の
復調度を、ブロック内の画像において、人間の視覚特性
を反映する尺度に基づいて決定することができるので、
人間が誤差に見えやすいような画素を適応的に判断し
て、人間が誤差と判断しにくいような画像を再生するこ
とができる利点がある。
【0131】また、請求項18,19記載の本発明によ
れば、第4の切替手段,第5及び第2の制御手段をそな
え、制御情報としての予測パラメータに基づいて、フレ
ーム内符号化か又はフレーム間符号化のいずれかのモー
ドを、ブロックに応じて適応的に選択することができる
ので、ブロックに応じた効率的な圧縮符号化を行なうこ
とができる利点がある。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】本発明の原理ブロック図である。
【図3】本発明の一実施形態にかかる動画像符号化装置
を示すブロック図である。
【図4】(a)〜(c)はいずれも本実施形態にかかる
予測誤差信号の変復調度の算出手法を説明するための図
である。
【図5】本実施形態にかかる予測誤差信号の変復調度の
算出手法を説明するための図である。
【図6】(a)〜(c)はいずれも本実施形態にかかる
予測誤差信号の変復調度の算出手法を説明するための図
である。
【図7】(a)〜(h)はいずれも本実施形態にかかる
動画像符号化装置及び動画像復号化装置の動作を説明す
るための図である。
【図8】本発明の一実施形態にかかる動画像復号化装置
を示すブロック図である。
【図9】標準化方式に基づく動画像符号化装置を示すブ
ロック図である。
【図10】標準化方式に基づく動画像復号化装置を示す
ブロック図である。
【図11】(a)〜(c)はいずれも標準化方式に基づ
く動画像符号化装置及び動画像復号化装置の動作を説明
するための図である。
【符号の説明】
1 予測誤差信号生成手段 2 振幅変調手段 3 変換手段 4 量子化手段 5 逆量子化手段 6 逆変換手段 7 振幅復調手段 8 復号画像生成手段 9 復号画像記憶手段 10 予測パラメータ計算手段 11 予測画像生成手段 12 通信路符号化手段 13 通信路符号復号化手段 14 逆量子化手段 15 逆変換手段 16 振幅復調手段 17 復号画像生成手段 18 復号画像記憶手段 19 予測画像生成手段 20A 動画像符号化装置 20B 動画像復号化装置 21 減算器(予測誤差信号生成手段) 22 振幅変調乗算器(振幅復調手段) 23 離散コサイン変換部(変換手段) 24 量子化器(量子化手段) 25 逆量子化器(逆量子化手段) 26 逆離散コサイン変換部(逆変換手段) 27 振幅復調乗算器(振幅復調手段) 28 加算器(復号画像生成手段) 29 フレームメモリ(復号画像記憶手段) 30 動きベクトル予測部(予測パラメータ計算手段) 31 予測画像生成部(予測画像生成手段,第1の制御
手段) 32−1〜32−3 選択器(切替手段) 33 振幅変調倍率生成器(変調度設定手段) 34 逆数計算器(復調度設定手段) 35 通信路符号化部(通信路符号化手段) 36 動画像符号化装置 41 可変長復号器(通信路符号復号化手段,第2の制
御手段) 42 逆量子化器(逆量子化手段) 43 逆離散コサイン変換部(逆変換手段) 44 振幅復調乗算器(振幅復調手段) 45 加算器(復号画像生成手段) 46 フレームメモリ(復号画像記憶手段) 47 予測画像生成部(予測画像生成手段) 48 振幅変調倍率生成器(変調度設定手段) 49 逆数計算器(復調度設定手段) 50−1,50−2 選択器(切替手段) 51 動画像復号化装置 100 動画像符号化装置 101 予測誤差信号生成部 102 変換部 103 量子化部 104 逆量子化部 105 逆変換部 106 復号画像生成部 107 復号画像記憶部 108 予測パラメータ計算部 109 予測画像生成部 111 通信路符号復号化部 112 逆量子化部 113 逆変換部 114 復号画像生成部 115 復号画像記憶部 116 予測画像生成部

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 入力画像を複数画素よりなるブロックに
    分割し、該ブロック毎に、過去の入力画像から生成され
    た予測画像との差を演算し予測誤差信号を生成する予測
    誤差信号生成手段と、 該予測誤差信号生成手段にて生成された予測誤差信号の
    各画素における振幅を、所定の変調度で振幅変調する振
    幅変調手段と、 該振幅変調手段において振幅変調された予測誤差信号に
    ついて、画素間の相関性を取り除く変換を施し、変換係
    数を生成する変換手段と、 該変換手段からの変換係数を量子化する量子化手段と、 該量子化手段からの量子化変換係数を逆量子化し、変換
    係数を再生する逆量子化手段と、 該再生された変換係数に基づいて、振幅変調された予測
    誤差信号を再生する逆変換手段と、 該逆変換手段からの予測誤差信号の各画素における振幅
    を、所定の復調度で復調し、予測誤差信号を再生する振
    幅復調手段と、 該振幅復調手段にて再生された予測誤差信号と該予測画
    像とを加算し、復号画像を生成する復号画像生成手段
    と、 該復号画像生成手段からの復号画像を、過去に復号した
    復号画像として記憶する復号画像記憶手段と、 該復号画像記憶手段に記憶された復号画像から、該復号
    画像に続いて入力される入力画像との誤差が小さくなる
    ような該予測画像を生成するための予測パラメータを計
    算する予測パラメータ計算手段と、 該予測パラメータ計算手段にて計算された予測パラメー
    タと、該復号画像記憶手段に記憶された復号画像とか
    ら、該予測画像を生成する予測画像生成手段と、 該量子化手段からの量子化変換係数とともに制御情報に
    符号を割り当てて、動画像符号化情報として出力する通
    信路符号化手段とをそなえたことを特徴とする、動画像
    符号化装置。
  2. 【請求項2】 該ブロックにおける符号化の結果として
    生じる誤差を小さくしたい画素に対しては、該予測誤差
    信号の値を相対的に大きくする倍率を該振幅変調手段の
    変調度として設定する一方、該ブロックの符号化の結果
    として生じる誤差が大きくても許容できるような画素に
    対しては、該予測誤差信号を相対的に小さくする倍率を
    該振幅変調手段の変調度として設定する変調度設定手段
    をそなえたことを特徴とする、請求項1記載の動画像符
    号化装置。
  3. 【請求項3】 該変調度設定手段にて設定される予測誤
    差信号の変調度を、該ブロック内の画像において、人間
    の視覚特性を反映する尺度に基づいて決定することを特
    徴とする、請求項2記載の動画像符号化装置。
  4. 【請求項4】 該変調度設定手段が、該振幅変調手段に
    おける予測誤差信号の変調度を、該尺度で誤差が見えや
    すいと判断された画素ほど、該予測誤差信号の値を相対
    的に大きい倍率に設定する一方、該尺度で誤差が見えに
    くいと判断された画素ほど、該予測誤差信号の値を相対
    的に小さい倍率に設定するように構成されたことを特徴
    とする、請求項3記載の動画像符号化装置。
  5. 【請求項5】 該変調度設定手段が、該予測画像生成手
    段からの予測画像に基づいて、該尺度を求めるように構
    成されたことを特徴とする、請求項3記載の動画像符号
    化装置。
  6. 【請求項6】 該振幅復調手段における復調度を、該振
    幅変調手段における変調前の予測誤差信号を最適に再生
    できるように設定する復調度設定手段をそなえたことを
    特徴とする、請求項1記載の動画像符号化装置。
  7. 【請求項7】 該復調度設定手段が、該変調度設定手段
    にて設定された該振幅変調手段の変調度に基づいて、該
    復調度を設定するように構成されたことを特徴とする、
    請求項6記載の動画像符号化装置。
  8. 【請求項8】 該制御情報が、量子化に関する情報,予
    測パラメータ又は振幅変調手段による変調に関する情報
    のうちの少なくとも1つの情報をそなえて構成されたこ
    とを特徴とする、請求項1記載の動画像符号化装置。
  9. 【請求項9】 入力画像を複数画素よりなるブロックに
    分割し、該ブロック毎に、過去の入力画像から生成され
    た予測画像との差を演算し予測誤差信号を生成する予測
    誤差信号生成手段と、 該予測誤差信号生成手段にて生成された予測誤差信号の
    各画素における振幅を、所定の変調度で振幅変調する振
    幅変調手段と、 該予測誤差信号生成手段からの予測誤差信号か又は該振
    幅変調手段にて振幅変調された予測誤差信号のうちのい
    ずれか一方を選択的に切り替えて出力する第1の切替手
    段と、 該第1の切替手段からの予測誤差信号について、画素間
    の相関性を取り除く変換を施し、変換係数を生成する変
    換手段と、 該変換手段からの変換係数を量子化する量子化手段と、 該量子化手段からの量子化変換係数を逆量子化し、変換
    係数を再生する逆量子化手段と、 該再生された変換係数に基づいて、振幅変調された予測
    誤差信号を再生する逆変換手段と、 該逆変換手段からの予測誤差信号の各画素における振幅
    を、所定の復調度で復調し、予測誤差信号を再生する振
    幅復調手段と、 該逆変換手段にて再生された予測誤差信号か又は該振幅
    復調手段にて振幅復調された予測誤差信号のうちのいず
    れか一方を選択的に切り替えて出力する第2の切替手段
    と、 該第2の切替手段からの予測誤差信号と該予測画像とを
    加算し、復号画像を生成する復号画像生成手段と、 該復号画像生成手段からの復号画像を、過去に復号した
    復号画像として記憶する復号画像記憶手段と、 該復号画像記憶手段に記憶された復号画像から、該復号
    画像に続いて入力される入力画像との誤差が小さくなる
    ような該予測画像を生成するための予測パラメータを計
    算する予測パラメータ計算手段と、 該予測パラメータ計算手段にて計算された予測パラメー
    タと、該復号画像記憶手段に記憶された復号画像とか
    ら、該予測画像を生成する予測画像生成手段と、 該量子化手段からの量子化変換係数とともに制御情報に
    符号を割り当てて、動画像符号化情報として出力する通
    信路符号化手段と、 該予測画像生成手段にて生成された予測画像か又は予測
    画像無しを示す信号のうちのいずれか一方を選択的に切
    り替えて、該予測誤差信号生成手段及び該復号画像生成
    手段に出力する第3の切替手段と、 該ブロックに応じて、上記の各切替手段を切替制御する
    第1の制御手段とをそなえたことを特徴とする、請求項
    1記載の動画像符号化装置。
  10. 【請求項10】 該第1の制御手段が、該予測パラメー
    タ計算手段にて計算された予測パラメータに基づいて、
    上記の各切替手段を切替制御するように構成されたこと
    を特徴とする、請求項9記載の動画像符号化装置。
  11. 【請求項11】 動画像符号化装置からの動画像符号化
    情報を構成する量子化変換係数及び制御情報について復
    号して再生する通信路符号復号化手段と、 該通信路符号復号化手段にて再生された量子化変換係数
    を逆量子化し、変換係数を再生する逆量子化手段と、 該再生された変換係数に基づいて、振幅変調された予測
    誤差信号を再生する逆変換手段と、 該逆変換手段からの変調予測誤差信号の各画素における
    振幅を、所定の復調度で復調し、予測誤差信号を再生す
    る振幅復調手段と、 該振幅復調手段にて再生された予測誤差信号と過去の入
    力画像から生成された予測画像とを加算し、復号画像を
    生成する復号画像生成手段と、 該復号画像生成手段からの復号画像を、過去に復号した
    復号画像として記憶する復号画像記憶手段と、 該通信路符号復号化手段において再生された制御情報
    と、該復号画像記憶手段に記憶された復号画像とから、
    該予測画像を生成する予測画像生成手段とをそなえたこ
    とを特徴とする、動画像復号化装置。
  12. 【請求項12】 該振幅復調手段における復調度を、変
    調前の予測誤差信号を最適に再生できるように設定する
    復調度設定手段をそなえたことを特徴とする、請求項1
    1記載の動画像復号化装置。
  13. 【請求項13】 該復調度設定手段が、該ブロックにお
    ける符号化の結果として生じる誤差を小さくしたい画素
    に対しては、該変調予測誤差信号の値を相対的に小さく
    する倍率を復調度として設定する一方、該ブロックの符
    号化の結果として生じる誤差が大きくても許容できるよ
    うな画素に対しては、該変調予測誤差信号の値を相対的
    に大きくする倍率を復調度として設定するように構成さ
    れたことを特徴とする、請求項12記載の動画像復号化
    装置。
  14. 【請求項14】 該復調度設定手段にて設定される予測
    誤差信号の復調度を、該ブロック内の画像において、人
    間の視覚特性を反映する尺度に基づいて決定することを
    特徴とする、請求項13記載の動画像復号化装置。
  15. 【請求項15】 該復調度設定手段が、該尺度で誤差が
    見えやすいと判断された画素ほど、該予測誤差信号の値
    を相対的に小さくする倍率を該復調度として設定する一
    方、該尺度で誤差が見えにくいと判断された画素ほど、
    該予測誤差信号の値を相対的に大きくする倍率を該復調
    度として設定するように構成されたことを特徴とする、
    請求項14記載の動画像復号化装置。
  16. 【請求項16】 該復調度設定手段が、該予測画像生成
    手段からの予測画像に基づいて、該尺度を求めるように
    構成されたことを特徴とする、請求項14記載の動画像
    復号化装置。
  17. 【請求項17】 該動画像符号化装置からの制御情報
    が、量子化に関する情報,予測パラメータ又は変調に関
    する情報のうちの少なくとも1つの情報をそなえて構成
    されたことを特徴とする、請求項11記載の動画像復号
    化装置。
  18. 【請求項18】 動画像符号化装置からの動画像符号化
    情報を構成する量子化変換係数及び制御情報について復
    号して再生する通信路符号復号化手段と、 該通信路符号復号化手段にて再生された量子化変換係数
    を逆量子化し、変換係数を再生する逆量子化手段と、 該再生された変換係数に基づいて、振幅変調された予測
    誤差信号を再生する逆変換手段と、 該逆変換手段からの変調予測誤差信号の各画素における
    振幅を、所定の復調度で復調し、予測誤差信号を再生す
    る振幅復調手段と、 該逆変換手段にて再生された予測誤差信号か又は、該振
    幅復調手段にて振幅復調された予測誤差信号のうちのい
    ずれか一方を選択的に切り替えて、該復号画像生成手段
    に出力する第4の切替手段と、 該第4の切替手段からの予測誤差信号と過去の入力画像
    から生成された予測画像とを加算し、復号画像を生成す
    る復号画像生成手段と、 該復号画像生成手段からの復号画像を、過去に復号した
    復号画像として記憶する復号画像記憶手段と、 該通信路符号復号化手段において再生された制御情報
    と、該復号画像記憶手段に記憶された復号画像とから、
    該予測画像を生成する予測画像生成手段と、 該予測画像生成手段にて生成された予測画像か又は予測
    画像無しを示す信号のうちのいずれか一方を選択的に切
    り替えて、該復号画像生成手段に出力する第5の切替手
    段と、 該ブロックに応じて、上記の各切替手段を切替制御する
    第2の制御手段とをそなえたことを特徴とする、動画像
    復号化装置。
  19. 【請求項19】 該通信路符号復号化手段において再生
    された制御情報が、予測パラメータにより構成される一
    方、該第2の制御手段が、該予測パラメータに基づい
    て、上記の第4の切替手段及び第5の切替手段を切替制
    御するように構成されたことを特徴とする、請求項18
    記載の動画像復号化装置。
  20. 【請求項20】 入力画像を複数画素よりなるブロック
    に分割し、該ブロック毎に、過去の入力画像から生成さ
    れた予測画像との差を演算し予測誤差信号を生成する予
    測誤差信号生成手段と、該予測誤差信号生成手段にて生
    成された予測誤差信号の各画素における振幅を、所定の
    変調度で振幅変調する振幅変調手段と、該振幅変調手段
    において振幅変調された予測誤差信号について、画素間
    の相関性を取り除く変換を施し、変換係数を生成する変
    換手段と、該変換手段からの変換係数を量子化する量子
    化手段と、該量子化手段からの量子化変換係数を逆量子
    化し、変換係数を再生する逆量子化手段と、該再生され
    た変換係数に基づいて、振幅変調された予測誤差信号を
    再生する逆変換手段と、該逆変換手段からの予測誤差信
    号の各画素における振幅を、所定の復調度で復調し、予
    測誤差信号を再生する振幅復調手段と、該振幅復調手段
    にて再生された予測誤差信号と該予測画像とを加算し、
    復号画像を生成する復号画像生成手段と、該復号画像生
    成手段からの復号画像を、過去に復号した復号画像とし
    て記憶する復号画像記憶手段と、該復号画像記憶手段に
    記憶された復号画像から、該復号画像に続いて入力され
    る入力画像との誤差が小さくなるような該予測画像を生
    成するための予測パラメータを計算する予測パラメータ
    計算手段と、該予測パラメータ計算手段にて計算された
    予測パラメータと、該復号画像記憶手段に記憶された復
    号画像とから、該予測画像を生成する予測画像生成手段
    と、該量子化手段からの量子化変換係数とともに制御情
    報に符号を割り当てて、動画像符号化情報として出力す
    る通信路符号化手段とをそなえてなる動画像符号化部を
    そなえるとともに、 動画像符号化装置からの動画像符号化情報を構成する量
    子化変換係数及び制御情報について復号して再生する通
    信路符号復号化手段と、該通信路符号復号化手段にて再
    生された量子化変換係数を逆量子化し、変換係数を再生
    する逆量子化手段と、該再生された変換係数に基づい
    て、振幅変調された予測誤差信号を再生する逆変換手段
    と、該逆変換手段からの変調予測誤差信号の各画素にお
    ける振幅を、所定の復調度で復調し、予測誤差信号を再
    生する振幅復調手段と、該振幅復調手段にて再生された
    予測誤差信号と過去の入力画像から生成された予測画像
    とを加算し、復号画像を生成する復号画像生成手段と、
    該復号画像生成手段からの復号画像を、過去に復号した
    復号画像として記憶する復号画像記憶手段と、該通信路
    符号復号化手段において再生された制御情報と、該復号
    画像記憶手段に記憶された復号画像とから、該予測画像
    を生成する予測画像生成手段とをそなえてなる動画像復
    号化部をそなえたことを特徴とする、動画像符号化復号
    化装置。
JP00342396A 1996-01-11 1996-01-11 動画像符号化装置及び動画像復号化装置 Expired - Fee Related JP4028900B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP00342396A JP4028900B2 (ja) 1996-01-11 1996-01-11 動画像符号化装置及び動画像復号化装置
US08/729,303 US5838378A (en) 1996-01-11 1996-10-10 Moving image coding apparatus moving image decoding apparatus and moving coding-decoding apparatus
EP19960402262 EP0784408B1 (en) 1996-01-11 1996-10-24 Video encoder and decoder
DE1996636273 DE69636273T2 (de) 1996-01-11 1996-10-24 Bewegtbildcodiervorrichtung, Bewegtbilddecodiervorrichtung und Bewegtbildcodier-/-Decodiervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00342396A JP4028900B2 (ja) 1996-01-11 1996-01-11 動画像符号化装置及び動画像復号化装置

Publications (2)

Publication Number Publication Date
JPH09200766A true JPH09200766A (ja) 1997-07-31
JP4028900B2 JP4028900B2 (ja) 2007-12-26

Family

ID=11556975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00342396A Expired - Fee Related JP4028900B2 (ja) 1996-01-11 1996-01-11 動画像符号化装置及び動画像復号化装置

Country Status (4)

Country Link
US (1) US5838378A (ja)
EP (1) EP0784408B1 (ja)
JP (1) JP4028900B2 (ja)
DE (1) DE69636273T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512792B1 (en) 1998-01-08 2003-01-28 Nec Corporation Moving image encoding apparatus with a quantization step size different from the dequantization step size
JP2011199433A (ja) * 2010-03-17 2011-10-06 Fujitsu Ltd 画像処理装置および画像処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002225681A1 (en) * 2000-11-15 2002-05-27 Globe Immune, Inc. Yeast-dentritic cell vaccines and uses thereof
JP4528529B2 (ja) * 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
JP2005217532A (ja) * 2004-01-27 2005-08-11 Canon Inc 解像度変換方法及び解像度変換装置
JP5102122B2 (ja) * 2008-06-11 2012-12-19 キヤノン株式会社 復号化装置及び復号化方法
JP5146388B2 (ja) * 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
KR101702822B1 (ko) * 2010-04-01 2017-02-06 소니 주식회사 화상 처리 장치 및 방법
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP6157114B2 (ja) * 2012-12-28 2017-07-05 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4224678A (en) * 1976-04-05 1980-09-23 Northrop Corporation Method and apparatus for implementing a processor based on the rationalized Haar transform for the purpose of real time compression of video data
DE3788674D1 (de) * 1986-04-19 1994-02-17 Philips Patentverwaltung Hybrid-Codierer für Videosignale.
US5005082A (en) * 1989-10-03 1991-04-02 General Electric Company Video signal compander adaptively responsive to predictions of the video signal processed
US5313298A (en) * 1992-03-05 1994-05-17 Rubin, Bednarek And Associates, Inc. Video companding method and system
KR960700609A (ko) * 1993-11-08 1996-01-20 오오가 노리오 동화상 부호화 방법, 동화상 복호화 방법, 동화상 기록 매체 및 동화상 부호화 장치(Animation encoding method, animation decoding method, animation recording medium and animation encoder)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512792B1 (en) 1998-01-08 2003-01-28 Nec Corporation Moving image encoding apparatus with a quantization step size different from the dequantization step size
JP2011199433A (ja) * 2010-03-17 2011-10-06 Fujitsu Ltd 画像処理装置および画像処理方法
US9071836B2 (en) 2010-03-17 2015-06-30 Fujitsu Limited Image processing apparatus and image processing method

Also Published As

Publication number Publication date
EP0784408A2 (en) 1997-07-16
US5838378A (en) 1998-11-17
EP0784408B1 (en) 2006-06-21
DE69636273T2 (de) 2006-11-09
DE69636273D1 (de) 2006-08-03
JP4028900B2 (ja) 2007-12-26
EP0784408A3 (en) 2000-08-16

Similar Documents

Publication Publication Date Title
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
RU2414093C2 (ru) Способ и устройство, и программа кодирования/декодирования видео
US6445739B1 (en) Quantization matrix for still and moving picture coding
JP4633417B2 (ja) ビットストリーム制御後処理フィルタリング
US20100086028A1 (en) Video encoding and decoding method and apparatus
KR0134343B1 (ko) 양자화레벨을 이용한 부호화방법 및 그 장치
JPH03139988A (ja) イメージ回復方法及び装置
GB2322991A (en) Motion estimation method for video data compression system
KR20040015477A (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
JP2012151894A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
JPH10136376A (ja) ブロック間予測符号化復号化装置及びその方法
JP4028900B2 (ja) 動画像符号化装置及び動画像復号化装置
KR20080086766A (ko) 픽셀 단위의 컨텍스트 모델을 이용한 영상의 부호화,복호화 방법 및 장치
JP3429429B2 (ja) 視感誤差処理方法及びこの方法を用いた画像符号化装置
JP4561508B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP2005318296A (ja) 動画像符号化方法と装置及びプログラム
KR100571920B1 (ko) 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
KR100571814B1 (ko) 색상의 공간 예측 부호화를 이용한 영상 부호화 및 복호화방법 및 장치
JP4747494B2 (ja) データ処理装置およびその方法と符号化装置
KR20100012149A (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
US5614953A (en) Image signal decoding apparatus having an encoding error compensation
JP2901656B2 (ja) 画像符号化装置
JP4956527B2 (ja) 量子化誤差を低減する方法および装置
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050930

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051031

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees