JPH08154248A

JPH08154248A - 動画像符号化装置と動画像復号化装置

Info

Publication number: JPH08154248A
Application number: JP29295694A
Authority: JP
Inventors: Hiroshi Arakawa; 博荒川; Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-11-28
Filing date: 1994-11-28
Publication date: 1996-06-11

Abstract

(57)【要約】【目的】超低ビットレート動画像符号化において、主
観的な画質評価で良い画像を得ることを目的とする。【構成】動き推定器114 は入力画像と前回の入力画像
を用い動きベクトルａを算出し、動き推定器115 は入力
画像と、画像メモリ111 の再生画像を用い動きベクトル
ｂを算出し、さらに、それぞれの動き推定器114，115
は、出力した動きベクトルを与える時の部分領域での輝
度差絶対値の総和(ＳＡＤ_a, ＳＡＤ_b)を出力し、判断
器116 は、ＳＡＤ_a, ＳＡＤ_bを用いＤ＝（ＳＡＤ_a−
ＳＡＤ_b）／ＳＡＤ_b のＤがＤ＜０．２の時、より物
体の動きに近い動きベクトルａを、それ以外の時動きベ
クトルｂを出力することで、輝度差をまったく送らない
場合にも主観的な画質評価で良い画像が得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を少ない符号化量
で伝送蓄積する画像符号化装置と動画像復号化装置に関
する。

【０００２】

【従来の技術】従来の画像符号化復号化装置としては、
例えば、CCITT 勧告 H.261にて開示されたものがある。
なお、H.261 の扱う画像サイズは、縦横１４４×１７６
画素、符号化量は、毎秒３２キロビット以下である。図
８，図９を用い、従来の画像符号化装置の説明を行う。

【０００３】図９は入力画像（横176画素、縦144画素）
1101を格子状の横１１個、縦９個、合計９９個に分解し
た場合の模式図であって、1102は縦横それぞれ16画素の
正方形から成るマクロブロック、1103はマクロブロック
1102をさらに４つに分けた縦横それぞれ8画素の正方形
であり、以後これをブロック呼ぶ。

【０００４】図８は画像符号化装置の構成図であって、
1001は画像の入力端子、1002は端子ａ，ｂへのマクロブ
ロックごとの画像をもとに画素の差ａ−ｂを計算し出力
する減算器、1003は画像信号の直交変換を計算する画像
変換器であって、H.261 ではＤＣＴ（離散コサイン変
換）である。1004は量子化パラメタＱＰと（数１）によ
り決まる値を出力する量子化器である。

【０００５】

【数１】

【０００６】1005 は入力画像と再生画像をもとに入力
を伝送する(INTRA)か、それとも再生画像と入力画像の
輝度差を伝送する(INTER)かを決定する判定部、1006 は
入力画像と再生画像より、マクロブロックごとの動きベ
クトルを計算する動き推定器、1007は再生画像を記憶す
るための画像メモリ、1008は動きベクトルと再生画像を
基に、動き補償予測画像を生成する動き補償器、1009は
量子化パラメタＱＰと（数２）より決まる値を出力する
逆量子化器である。

【０００７】

【数２】

【０００８】1010は画像変換器1003と対になる画像逆変
換器、1011は入力端子ａ，ｂの画像の画素値の和を計算
する加算器、1012はマクロブロックごとに入力される３
種類の信号を一本の信号線に出力するためのマルチプレ
クサ、1013はバッファ、1014は出力端子である。以上
が、符号化装置の構成要素である。次に動作を説明す
る。

【０００９】入力端子には、入力画像の画素データがマ
クロブロック単位に入力される。マクロブロックの入力
順序は、図９に示す番号１，２，３......の順である。
入力されたマクロブロックは、動き推定部1006、判定部
1005、減算器1002に入る。まず、動き推定器1006は、マ
クロブロックの画素データと画像メモリ1007のデータを
基に、マッチング法により動きベクトルを算出する。マ
ッチング法は”ＴＶ画像の多次元信号処理”,吹抜著,p2
03 6.3.2節に詳しい説明がある。これは、画素値の輝度
差絶対値の総和(ＳＡＤ)を最小にする変位を動きベクト
ルとして算出するものである。動き推定器1006は上記手
法によって、動きベクトルとこれを与えるＳＡＤを出力
する。判定部1005は、入力画像の画素データとＳＡＤを
もとにＡ＜（ＳＡＤ−５００）の時 INTRA、それ以外の
時 INTERと判定する。ここで、Ａは（数３）より求め
る。

【００１０】

【数３】

【００１１】また、動き補償器1008は、動きベクトルを
もとに、ＳＡＤが最小となるように、現在のマクロブロ
ック位置に対応する動き補償予測画像（これは縦横それ
ぞれ１６画素の小領域）を生成し、これを出力する。次
に減算器1002は、判定器1005が INTRAを指示した場合、
端子ａのマクロブロックを、INTER を指示した場合、端
子ａと端子ｂの差を画素ごとに計算し出力する。この計
算結果は、マルチプレクサ1012と逆量子化器1009に送ら
れる。

【００１２】逆量子化器1009、画像逆変換器1010を通っ
たデータは加算器1011に入る。加算器1011では、判定部
1005の出力が INTRAの時、端子ａを出力し、INTER の
時、端子ａと端子ｂの和を画素ごとに計算し出力する。
この出力は、画像メモリ1007 にて対応するマクロブロ
ック位置に記憶される。

【００１３】以上の動作をマクロブロックごとに繰り返
すことで入力端子から入ってくる１枚の入力画像に対す
る処理を完了する。このとき、画像メモリには動画像復
号化装置にて再生される画像が蓄えられたことになる。
これは、一般にローカルデコード画像と呼ばれる。

【００１４】尚、量子化器1004の出力は、マルチプレク
サ1012にも送られ、動きベクトル、及び INTRA/INTERの
情報と一緒にまとめられて、バッファ1013に送り出され
る。バッファ1013は端子1014より一定の伝送速度（ビッ
トレート）にてデータを出力する。また、バッファ1013
から量子化器1004、逆量子化器1009へ伸びた点線は、量
子化パラメタＱＰを変更するためのものである。これ
は、バッファの現在の容量が大きくなると、ＱＰを大き
く、また、バッファのそれが小さくなるとＱＰを小さく
するものである。この処理は、バッファのオーバフロー
を防ぐためであって、ＱＰを大きくすることで、量子化
器の発生する情報を減らすことでオーバフローを防いで
いる（詳細は、CCITT SG15 のドキュメント Video Code
c Test Model, TMN2 を参照のこと）。以上が従来例の
動画像符号化装置の動作である。

【００１５】図１０を用い、従来例の画像復号化装置の
説明を行う。1201は入力端子、1202はバッファ、1203は
デマルチプレクサである。また、逆量子化器1204、画像
逆変換器1205、加算器1206、画像メモリ1207、動き補償
器1208は、画像符号化装置にて用いたものと同じであ
る。

【００１６】1209は復号化した画像を出力するための端
子である。動画像符号化装置から一本の信号線で送られ
る符号化情報は、一旦バッファ1202に蓄えられ、マクロ
ブロックごとに取り出され、デマルチプレクサ1203にて
３種の情報に分割される。これら情報は、それぞれ、量
子化情報は逆量子化器1204へ、INTRA/INTER 情報は加算
器1206へ、動きベクトルは動き補償器1208へ送られる。

【００１７】以後の動作は、画像符号化器での動作と同
じであり、加算器の出力を端子1209より取り出すこと
で、画像の復号化結果をマクロブロック単位に取り出す
ことができる。以上が、動画像復号化装置の動作であ
る。

【００１８】

【発明が解決しようとする課題】しかしながら、前記し
た従来技術を用いても以下の課題（Ｂ１〜４）が存在す
る。従来例１を、より符号化量の少ない場合（以後、こ
れを超低ビットレートと呼ぶ）に適用する場合を考え
る。符号量を少なくするため量子化パラメタＱＰが大き
くすることになり、その結果、入力画像と動き補償画像
との輝度差がすべて０のブロックが発生する。このブロ
ックでは、動きベクトルと前回の再生画像をもとに、動
き補償画像を生成することになる。この時、下記の課題
が生じる。（Ｂ１）入力画像は全ての周波数成分を持つが、動き補
償画像は低周波成分のみを持つ。この２つの画像のＳＡ
Ｄを最小にするように動きベクトルを求めると、輝度差
の内の高周波成分が影響を及ぼし、真の動きベクトルと
異なる動きベクトルを生じる場合がある。これは、結
局、おかしな再生画像を生成する。（Ｂ１’）また、一般にＳＡＤ最小となる動きベクト
ルは、入力画像のノイズに弱く、しばしば間違った動き
ベクトルを生じるため、おかしな再生画像を生成するこ
とになる。（Ｂ２）画像符号化の基本的な問題として、同じ符号化
量でさらに画質を上げたい。（Ｂ３）超低ビットレートにおいて、１秒あたり送れる
枚数が減るため、再生画像がコマ送り画像のようにな
る。（Ｂ４）上記課題を解決するために用いる正則化動きベ
クトル（後述）を用いた場合、動きベクトルの情報が増
えるため、低ビットレート化を実現しにくい。

【００１９】

【課題を解決するための手段】第１の発明は、課題Ｂ１
に対して、入力画像と再生画像を用い動きベクトルを算
出する第１の動きベクトル検出手段と、入力画像と前回
の入力画像を用い動きベクトルを算出する第２の動きベ
クトル検出手段と、前記第１の動きベクトル検出手段と
前記第２の動きベクトル検出手段の出力する動きベクト
ルのうち、どちらかを出力する選択手段と、前記選択手
段の出力する動きベクトルを用い動き補償を行う予測画
像符号化手段を備え、入力画像と前回の入力画像から求
まる動きベクトルを選択的に用いる構成である。

【００２０】第２の発明は、課題Ｂ１に対して、時間的
に前後する２枚の画像の部分領域間の輝度差を最小とす
る動きベクトルを算出する第１の動きベクトル検出手段
と、前記部分領域に隣接する部分領域の動きベクトルを
用い、近傍での滑らかさ制約から成る正則化を行った第
２の動きベクトル検出手段と、前記第１の動きベクトル
検出手段と前記第２の動きベクトル検出手段の出力する
動きベクトルのうちどちらかを出力する選択手段と、前
記選択手段の出力する動きベクトルを用い動き補償を行
う予測画像符号化手段を備え、近傍での滑らかさ制約か
ら成る正則化による動きベクトルを選択的に用いる構成
である。

【００２１】第３の発明は、課題Ｂ２に対して、入力画
像と再生画像を用い、部分領域間の輝度差を最小とする
動きベクトルを算出する第１の動きベクトル検出手段
と、入力画像系列中の部分領域の動きベクトルを、前記
第１の動きベクトル検出手段とは異なり、少なくとも前
後する入力画像を用いるかまたは動きベクトルの時空間
連続の制約を加えることにより、動きベクトルを算出す
る第２の動きベクトル検出手段と、前記第１、第２の動
きベクトル検出手段の出力する動きベクトルのうち、ど
れか一つを出力する選択手段と、前記選択手段の出力す
る動きベクトルを用い動き補償を行う予測画像符号化手
段と、前記予測画像符号化手段にて入力画像と動き補償
画像との輝度差を計算し、また、外部からの指示により
その出力を零にする減算手段を備え、前記第２の動きベ
クトル検出手段の出力する動きベクトルを用いると選択
した場合に前記減算手段の出力を強制的に零にする構成
である。

【００２２】第４の発明は、課題Ｂ３に対して、時間的
に前後する２枚の画像の部分領域間の輝度差を最小とす
る第１の動きベクトルと、前記部分領域に隣接する部分
領域の動きベクトルを用い近傍での滑らかさ制約から成
る正則化を行った第２の動きベクトルのうちどちらか
を、入力フレームごとに切り替えて出力した動きベクト
ルを用い動き補償を行って予測画像符号化を施し伝送し
た伝送符号を復号化し、再生画像を生成する予測画像復
号化手段と、時間的に前後する再生画像と復号化された
動きベクトルをもとに続けて伝送されたフレームの間の
フレームを生成する画像補間手段と、前記予測画像復号
化手段と前記画像補間手段の出力する画像を切り替えて
出力する切替手段を備え、前記第２の動きベクトルを用
いた場合に前記切替手段が前記画像補間手段の計算した
画像を出力する構成である。

【００２３】第５の発明は、課題Ｂ４に対して、時間的
に前後する２枚の画像の部分領域の対応を、輝度差及び
近傍の部分領域で得られる動きベクトルの滑らかさを尺
度に用い評価することで、動きベクトルを算出する動き
ベクトル検出手段と、前記動きベクトル検出手段の出力
である動きベクトルを用いて動き補償を行なう予測画像
符号化手段と、前記予測画像符号化手段の出力する伝送
符号を蓄える蓄積手段を備え、前記蓄積手段の現在の量
をもとに前記動きベクトル検出手段の滑らかさ評価のパ
ラメタを変更する構成である。

【００２４】

【作用】第１の発明では、第２の動きベクトル検出手段
が入力画像と前回の入力画像を用いるため、これの求め
た動きベクトルは画像中での物体の動きにより近いもの
となる。また、第１の動きベクトル検出手段は入力画像
と再生画像とを用いるため、これの求めた動きベクトル
は画像中での動きとは異なる場合がある。ところで、超
低ビットレートにおいては、輝度差が送れない場合がし
ばしば発生する。第１の動きベクトルを用いた場合に輝
度差を送らないと主観的におかしな画像を生成するが、
第２の動きベクトルを用いることで輝度差をまったく送
らない場合にも主観的な画質評価で良い画像を得る。

【００２５】第２の発明では、近傍での滑らかさ制約か
ら成る正則化により画像中での物体の動きベクトルをよ
り正確に検出できる。この動きベクトルを選択的に用い
ることにより超低ビットレートにて輝度差を送れない場
合にも主観的な画質評価で良い画像を得る。

【００２６】第３の発明では、第２の動きベクトル検出
手段の出力する動きベクトルを用いる場合に減算手段の
出力を零にすることによって、主観的な画質を劣化させ
ることなくこの部分領域での輝度差に関する伝送量を削
減できる。この結果、他の部分領域での輝度差伝送によ
り多くの伝送量を用い、画質を向上する。

【００２７】第４の発明では、第２の動きベクトルを用
いるフレームでは画像補間手段の出力結果が切替手段に
より動画像復号化装置自体の出力となる。画像補間手段
は、続けて伝送されたフレーム間のフレームを生成する
ので、この結果、１秒あたりのフレーム枚数を増やすこ
とができ、動きのある画像を生成する。

【００２８】第５の発明では、蓄積手段のバッファ量が
大きくなった時に、滑らかさ評価のパラメタを変更して
生成される動きベクトルを滑らかにする。この結果、動
きベクトルに要する伝送符号量を削減でき、より低いビ
ットレートにて主観的な画質劣化のない画像を得る。

【００２９】

【実施例】以下、本発明の第１の実施例を図１を用いて
説明する。なお、本実施例では復号化装置は従来例と同
じものでよい。

【００３０】図１は、第１の実施例の構成図であって、
101 は入力端子、102 は減算器、103 は画像変換器、10
4 は量子化器、105 はマルチプレクサ、106 はバッフ
ァ、107 は出力端子、108 は逆量子化器、109 は画像逆
変換器、110 は加算器、111 は画像メモリ、112 は動き
補償器、114,115 は動き推定器であり、以上は従来例で
説明した構成要素と同じものである。また、113 は画像
メモリであって一つ前の入力画像を記憶するためのも
の、116 は動きベクトルを選択するための判断器であ
る。このような構成要素から成る第１の実施例について
以下にその処理手順を説明する。

【００３１】まず、入力端子101 から、入力画像がマク
ロブロック単位に入力される。画像メモリ113 はこの入
力を蓄え、また、蓄えて置いた前回の入力画像のデータ
を出力する。動き推定器114 は、入力端子101 のマクロ
ブロックデータと、画像メモリ113 の蓄える前回の入力
画像をもとに動きベクトルを算出する。また、動き推定
器115 は入力端子101 のマクロブロックデータと、画像
メモリ111 の蓄える再生画像をもとに動きベクトルを算
出する。そして、動き推定器114,115 は、動きベクトル
とそれを与える最小のＳＡＤ(画素値の輝度差絶対値の
総和)を判断器116に出力する。判断器は、端子a からの
ＳＡＤ_a と端子ｂからのＳＡＤ_bと下式より、Ｄ＜
０．２の時、端子ａの動きベクトルを出力し、それ以外
の時、端子ｂの動きベクトルを出力する。Ｄ＝（ＳＡＤ_a −ＳＡＤ_b）／ＳＡＤ_b 以後、この動きベクトルをもとに動き補償器112 が動き
補償予測画像を出力し、減算器102 にて画素値ごとの引
き算が行われるが、これら動作と以降の動作は、従来例
の動作と同じなので説明を省略する。以上の動作によ
り、出力端子107よりマルチプレクスされた符号化情報
が出力され、動画像の符号化が実現できる。

【００３２】本実施例では、動き推定の結果求まるＳＡ
Ｄを用い、前回の入力画像から求めたＳＡＤが再生画
像から求めたＳＡＤに近い場合には、前回の入力画像か
ら求めた動きベクトルを用いている。前回の入力画像に
は入力画像と同じ高周波成分が含まれているため、この
画像から求めた動きベクトルは、再生画像から求めたも
のに比べてより正確である可能性が高い。この結果、真
の動きベクトルを用いる可能性が高くなり、課題（Ｂ
１）で述べたおかしな再生画像を生成する可能性が減少
させることができる。

【００３３】尚、本実施例では、従来の判定部1005を図
１より省いているが、判断器116 の出力する動きベクト
ルをもとにINTRA/INTER を決定し、減算器102 加算器11
0 に出力する必要がある。また、判断器116 の判断方法
であるが、相関係数を用いる物でもよい。以下に、その
場合の変更点を述べる。

【００３４】動き推定器 114, 115 は、動きベクトルを
求めると共に、その動きベクトルで補償されたマクロブ
ロックを生成し、これをＰrev(i,j)とする。また、入力
されたマクロブロックをＣurr(i,j) とし、（数４）よ
り、相関係数CORR を求める。

【００３５】

【数４】

【００３６】ここで、動き推定器114 の出力する相関係
数をCORR_a、動き推定器115 の出力する相関係数を COR
R_b とする。判断器116 はＳＡＤ_a, ＳＡＤ_b の替わ
りに、CORR_aの絶対値, CORR_bの絶対値を用いること
で、出力すべき動きベクトルを選択する。

【００３７】次に、本発明の第２の実施例を図２を用い
説明する。本実施例は、第１の実施例の動き推定器114
を変更したものであって、その構成を図２に示す。201
は前回の入力画像のマクロブロックデータが入ってくる
入力端子、202 は今回の入力画像のマクロブロックデー
タが入ってくる入力端子、205 は相関値計算器、206 は
マクロブロックごとの動きベクトル（a,b）での相関値
Ｅ（a,b）を記録する相関値テーブル、207 は微分値計
算器、208 はマクロブロックごとの動きベクトル（a,
b）での微分値を記録する微分値テーブル、209 は動き
ベクトル計算器、210 はマクロブロックごとの動きベク
トルを記録するメモリ、211 は近傍の動きベクトル平均
値を求める平均値計算器、212 はマクロブロックごとの
動きベクトル平均値を記録するメモリ、213 は出力端子
である。

【００３８】以上のように構成された第２の実施例につ
いて動作を説明する。まず、入力端子201,202 から入っ
てくるマクロブロックデータ(prev(i,j), curr(i,j))を
もとに相関値計算器205 は、（数５）より動きベクトル
(a,b) ごとの相関値 E(a,b)を求める。

【００３９】

【数５】

【００４０】この処理は、マクロブロックごとに行わ
れ、この結果は、マクロブロックごと、動きベクトル
(a,b) ごとに相関値テーブル206に記録される。この様
子を図３に示す。微分値計算器は、マクロブロックご
とに、相関値テーブル206 の E(a,b) を基に、（数６）
（数７）（数８）（数９）（数１０）により各微分値を
計算する。

【００４１】

【数６】

【００４２】

【数７】

【００４３】

【数８】

【００４４】

【数９】

【００４５】

【数１０】

【００４６】この結果は、マクロブロックごと、動きベ
クトル(a,b) ごとに相関値テーブル208 に記録される。
つまり、相関値テーブル208 は図３に示したようなテー
ブルを５個持ち、それぞれのテーブルには（数６〜数１
０）に対応する微分値が記録される。この微分値をもと
に動きベクトル計算器209 は（数１１）により動きベク
トルを計算する。

【００４７】

【数１１】

【００４８】求めた動きベクトルは、マクロブロックご
とにメモリ210 に記録される。この結果を基に、平均値
計算器211 は（数１２）に基づき近傍での平均動きベク
トルを算出する。

【００４９】

【数１２】

【００５０】ここで、添え字 (p,q) は図９に示すよう
にマクロブロックを指定するためのものである。この結
果は、マクロブロック(p,q) ごとにメモリ212 に記録さ
れる。以上の動きベクトル209、メモリ210、平均値計算
器211、メモリ212の実行は、平均動きベクトル（数１
２）が動きベクトル計算（数１１）にて利用されている
ことにより、ループ構造をなす。このループを１０回実
行した結果求まる動きベクトルを、動き推定器114 の出
力として出力端子213 から出力する。

【００５１】以上が本実施例の動き推定器の動作であ
り、その他の構成要素は実施例１と同じものでよい。復
号化装置は従来例と同じものでよい。

【００５２】なお、本実施例で求まる動きベクトルは正
則化動きベクトルと呼ばれる。ここで、この動きベクト
ルを計算するための各式の意味を説明する。

【００５３】本実施例は、内部エネルギー（数１３）と
外部エネルギー（数５）のマクロブロックごとの総和
（数１４）を最小とする動きベクトルを計算するもので
ある。

【００５４】

【数１３】

【００５５】

【数１４】

【００５６】この（数１４）の停留点を与える (u,v)
が動きベクトルとなる。これの計算は、上記の（数１
１）（数１２）の繰り返しとして、実行される。

【００５７】次に、本発明の第３の実施例を、図４を用
い説明する。入力端子101 、画像変換器103 、量子化器
104 、マルチプレクサ105 、バッファ106 、出力端子10
7 、逆量子化器108 、画像逆変換器109 、加算器110 、
画像メモリ111 、動き補償器112 、画像メモリ113 、動
き推定器115 は第１の実施例と同じ構成要素である。

【００５８】動き推定器114 には第２の実施例で説明し
た正則化動きベクトルを算出するものを用いる。また、
416 は第１の実施例の判断器116 に、端子ａからの動き
ベクトルを選択した場合に値１を出力し、端子ｂからの
動きベクトルを選択した場合に値０を出力する機能を付
加したものである。402 は第１の実施例の減算器102
に、判断器416 から値１を受け取った場合に出力を零と
する機能を付加したものである。なお、本実施例の画像
符号化装置に対応する画像復号化装置は、従来例のもの
でよい。

【００５９】次に第３の実施例の動作のうち、第１の実
施例と異なるところのみ説明する。動き推定器114 の出
力する正則化動きベクトルが、判断器416 により選択さ
れると、値１が減算器402 に出力される。この結果、減
算器402 の出力は零となる。以上が、本実施例の動作で
ある。

【００６０】以上の構成により、正則化動きベクトルを
用いる場合に強制的に輝度差を零にでき、このブロック
では、真の動きベクトルにより極端な画質劣化を生じる
ことなく画像を再生できる。また、このブロックの輝度
差情報が零のためビット量を削減できる。この結果、別
の輝度差を送るブロックでの輝度差情報に、よりおおく
のビットを用いることができ、画質を上げることができ
る。このようにして課題（Ｂ２）を解決することができ
る。

【００６１】なお、本実施例のままでは、マクロブロッ
ク境界にブロック歪が生じるという問題が生じる。しか
しこの問題は、オーバラップ動き補償を用いることで解
決できる。オーバラップ動き補償は、文献「オーバーラ
ップブロックモーションコンペンセーション」（"O
verlap Block Motion Compensation", Cheung Auyeund,
James Kosmach, Visual Communication and Image Proc
essing, Vol.1818,'92, pp.561--572 ）参照のこと。

【００６２】次に、本発明の第４の実施例を、図５、図
６を用い説明する。まず、動画像符号化装置の構成を図
５に示す。

【００６３】入力端子101 、差分器102 、画像変換器10
3 、量子化器104 、バッファ106 、出力端子107 、逆量
子化器108 、画像逆変換器109 、加算器110 、画像メモ
リ111 、動き補償器112 、画像メモリ113 、動き推定器
114 、動き推定器115 は、第１の実施例と同じものであ
る。

【００６４】また、動き推定器114 は第２の実施例で説
明した正則化動きベクトルを計算するものである。516
は判断器であって、フレーム単位に端子a,b の入力を切
り替え出力し、また、端子ａを選択した場合に値１、端
子ｂを選択した場合に値０、も出力する。505 はマルチ
プレクサであって、判断器116 の出力する１／０情報も
含めて一本の線に出力するものである。また、517 は画
像メモリ、518,519 はマクロブロックごとの動きベクト
ルとその時のＳＡＤを蓄えるＭＶテーブルである。

【００６５】次に、第４の実施例の動画像符号化装置の
動作を説明する。まず、入力端子101 からのマクロブロ
ックデータは、画像メモリ517 に蓄えられると共に画像
メモリ113 、動き推定器114,115に入力される。画像メ
モリ113 、動き推定器114,115の動作は、第１の実施例
と同じ動作であり、マクロブロックごとの動きベクトル
とその時のＳＡＤが出力される。この結果は、それぞれ
ＭＶテーブル518,519 に記録される。判断器516 は、す
べてのマクロブロックのＳＡＤの総和を求める。この結
果を入力端子別にＳＡＤ_a, ＳＡＤ_b とし、下式によ
り、Ｄ＜０．２の時端子ａの動きベクトルを、それ以外
の時、端子ｂの動きベクトルを、画像メモリ517 が出力
するマクロブロックと同期して出力する。Ｄ＝（ＳＡＤ_a −ＳＡＤ_b）／ＳＡＤ_b つまり、判断器516 が判断を終えると、画像メモリ517
は蓄えておいたマクロブロックデータを入力順に出力す
る。そして、画像メモリ517 が出力するマクロブロック
に対応する動きベクトルをＭＶテーブルから読みだし出
力する。以後の差分器102 からの動作は、マルチプレク
サ505 を除き実施例１と同じであるので説明を省略す
る。

【００６６】マルチプレクサ505 は、量子化器104 の出
力する輝度差の量子化結果と、判断器516 の出力する動
きベクトルおよびフレームごとの動きベクトル選択結果
を表す１／０情報を一本の線で伝送できるようにマルチ
プレクスする。以上が、第４の実施例の動画像符号化装
置の動作である。

【００６７】次に、動画像復号化装置の構成を図６に示
す。入力端子1201、バッファ1202、逆量子化器1204、画
像逆変換器1205、加算器1206、画像メモリ1207、動き補
償器1208、出力端子1209は従来例で用いたものと同じで
ある。

【００６８】デマルチプレクサ603 は、輝度差と動きベ
クトルに加えてフレームごとの動きベクトル選択結果
（1/0）を含む信号を、分解する。610,611,612 は復号
化画像を蓄える画像メモリ、613 は２枚の画像と動きベ
クトルをもとに異なる時間の画像を生成する画像補間
器、614 はデマルチプレクサからの動きベクトル選択
結果（1/0）をもとに出力を選択する選択器である。615
はマクロブロックごとの動きベクトルを記録する tabl
eである。

【００６９】次に、動画像復号化装置の動作のうち、従
来例と異なる箇所のみ説明する。加算器1206が出力する
マクロブロックごとの復号化画像は、画像メモリ610, 6
11に蓄える。また、画像メモリ611 はマクロブロックの
復号化画像を記録するとともに、それまで蓄えていた復
号化画像を画像メモリ612 に出力し、画像メモリ612は
これを蓄える。以上の動作により、画像メモリ611 には
現在の復号化画像が、画像メモリ612 には前回の復号化
画像が蓄えられる。

【００７０】次に、選択器614 の動作を説明する。今、
入力端子1201から入ってきた符号化された動画像は、一
秒あたり１０フレーム、つまり３枚ごとにサンプリング
されているとする。動きベクトル選択結果が０、つま
り、再生画像から求めた動きベクトルを用いている場合
には、選択器614 は画像メモリ610 の画像を３フレーム
の間、出力する。また、動きベクトル選択結果が１、つ
まり正則化動きベクトルにを用いている場合には、画像
補間器613 の出力する画像を選択して出力する。以上
が、第４の実施例の動画像復号化装置の動作である。

【００７１】以上の構成により、動画像復号化装置に
て、正則化動きベクトルと前後の再生画像を用い、実際
には送られていないフレームの画像を補間し生成でき
る。この結果、一秒あたりのフレーム枚数を増やすこと
ができ、課題（Ｂ３）を解決し、動きのある画像を生成
することができる。なお、動画像復号化装置の構成を示
す図６では、intra/inter の判断に必要な結線を省略し
た。

【００７２】画像補間器613 には、morphing, image wa
rping と呼ばれる手法を利用することができ、さらに、
MPEG２のＢ-Pictureの概念も利用可能である。また、も
っとも簡単な構成は、動きベクトルを補間するフレーム
枚数で割り、その動きベクトル分だけ画像を移動させ、
またブロック歪を発生させないためにオーバラップ動き
補償を組み合わせればよい。

【００７３】次に、本発明の第５の実施例を図７を用い
説明する。図７は、動画像符号化装置の構成図であっ
て、第１の実施例の説明に用いた図１とほとんど同じで
あり、異なるのは、バッファ706 と動き推定器714 だけ
である。以下第５の実施例の動作を説明する。

【００７４】バッファ706 は現在のバッファ量Ｂを動き
推定器714 に出力する。動き推定器714 は第２の実施例
で説明した動き推定器に、Ｂとバッファの大きさＢ_0と
を用い（数１５）によりλを変更する機能を追加したも
のである。

【００７５】

【数１５】

【００７６】以上が動画像符号化装置の動作である。動
画像復号化装置には、従来例にて説明したものを用いれ
ば良い。

【００７７】以上の構成により、（数１５）により現在
のマクロブロックでの伝送量より多い伝送量がバッファ
にある場合に、λを増やすことで（数１４）よりE_in
t() がより小さくなることを要求する。これは、（数１
３）より、滑らかさ条件をより強くすることにつなが
り、結果として近傍の動きベクトルが近い値を持つよう
になる。この結果、動きベクトル伝送時に良く用いられ
る、隣のマクロブロックとの差分伝送において、差分値
が小さくなり、それだけ、動きベクトルに消費する伝送
量を削減することができる。

【００７８】

【発明の効果】以上のように第１、２、３の発明の動画
像符号化装置を用いれば、超低ビットレートにて輝度差
をまったく送らない場合にも主観的な画質評価で良い画
像を得ることができる。

【００７９】また、第４の動画像符号化装置及び復号化
装置を用いれば、動画像復号化装置にて１秒あたりのフ
レーム枚数を増やすことで動きのある再生画像を得るこ
とができる。

【００８０】第５の動画像符号化装置を用いれば、動き
ベクトルに要する伝送符号量を削減でき、より低いビッ
トレートにて主観的な画質劣化のない画像を得ることが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動画像符号化装
置の構成を示すブロック図

【図２】本発明の第２の実施例における動画像符号化装
置の構成を示すブロック図

【図３】相関値テーブルを示す図

【図４】本発明の第３の実施例における動画像符号化装
置の構成を示すブロック図

【図５】本発明の第４の実施例における動画像符号化装
置の構成を示すブロック図

【図６】本発明の第４の実施例における動画像復号化装
置の構成を示すブロック図

【図７】本発明の第５の実施例における動画像符号化装
置の構成を示すブロック図

【図８】従来の動画像符号化装置の構成を示すブロック
図

【図９】入力画像の分割方法を示す図

【図１０】従来の動画像復号化装置の構成を示すブロッ
ク図

【符号の説明】

１０２減算器１０３画像変換器１０４量子化器１０５マルチプレクサ１０６バッファ１０８逆量子化器１０９画像逆変換器１１０加算器１１１画像メモリ１１２動き補償器１１３画像メモリ１１４動き推定器１１５動き推定器１１６判断器

Claims

【特許請求の範囲】

【請求項１】入力画像と再生画像を用い動きベクトルを
算出する第１の動きベクトル検出手段と、入力画像と前
回の入力画像を用い動きベクトルを算出する第２の動き
ベクトル検出手段と、前記第１の動きベクトル検出手段
と前記第２の動きベクトル検出手段の出力する動きベク
トルのうち、どちらかを出力する選択手段と、前記選択
手段の出力する動きベクトルを用い動き補償を行う予測
画像符号化手段を備え、入力画像と前回の入力画像から
求まる動きベクトルを選択的に用いることを特徴とする
動画像符号化装置。
【請求項２】時間的に前後する２枚の画像の、部分領域
間の輝度差を最小とする動きベクトルを算出する第１の
動きベクトル検出手段と、前記部分領域に隣接する部分
領域の動きベクトルを用い、近傍での滑らかさ制約から
成る正則化を行った第２の動きベクトル検出手段と、前
記第１の動きベクトル検出手段と前記第２の動きベクト
ル検出手段の出力する動きベクトルのうちどちらかを出
力する選択手段と、前記選択手段の出力する動きベクト
ルを用い動き補償を行う予測画像符号化手段を備え、近
傍での滑らかさ制約から成る正則化による動きベクトル
を選択的に用いることを特徴とする動画像符号化装置。
【請求項３】入力画像と再生画像を用い、部分領域間の
輝度差を最小とする動きベクトルを算出する第１の動き
ベクトル検出手段と、入力画像系列中の部分領域の動き
ベクトルを、前記第１の動きベクトル検出手段とは異な
り、少なくとも前後する入力画像を用いるかまたは動き
ベクトルの時空間連続の制約を加えることにより、動き
ベクトルを算出する第 2の動きベクトル検出手段と、前
記第１、第２の動きベクトル検出手段の出力する動きベ
クトルのうち、どれか一つを出力する選択手段と、前記
選択手段の出力する動きベクトルを用い動き補償を行う
予測画像符号化手段と、前記予測画像符号化手段にて入
力画像と動き補償画像との輝度差を計算し、また、外部
からの指示によりその出力を零にする減算手段を備え、
前記第２の動きベクトル検出手段の出力する動きベクト
ルを用いると選択した場合に前記減算手段の出力を強制
的に零にすることを特徴とする動画像符号化装置。
【請求項４】時間的に前後する２枚の画像の部分領域間
の輝度差を最小とする第１の動きベクトルと、前記部分
領域に隣接する部分領域の動きベクトルを用い近傍での
滑らかさ制約から成る正則化を行った第２の動きベクト
ルのうちどちらかを、入力フレームごとに切り替えて出
力した動きベクトルを用い動き補償を行って予測画像符
号化を施し伝送した伝送符号を復号化し、再生画像を生
成する予測画像復号化手段と、時間的に前後する再生画
像と復号化された動きベクトルをもとに続けて伝送され
たフレームの間のフレームを生成する画像補間手段と、
前記予測画像復号化手段と前記画像補間手段の出力する
画像を切り替えて出力する切替手段を備え、前記第２の
動きベクトルを用いた場合に前記切替手段が前記画像補
間手段の計算した画像を出力することを特徴とする動画
像復号化装置。
【請求項５】時間的に前後する２枚の画像の部分領域の
対応を、輝度差及び近傍の部分領域で得られる動きベク
トルの滑らかさを尺度に用い評価することで、動きベク
トルを算出する動きベクトル検出手段と、前記動きベク
トル検出手段の出力である動きベクトルを用いて動き補
償を行なう予測画像符号化手段と、前記予測画像符号化
手段の出力する伝送符号を蓄える蓄積手段を備え、前記
蓄積手段の現在の量をもとに前記動きベクトル検出手段
の滑らかさ評価のパラメタを変更することを特徴とする
動画像符号化装置。