JPH09307909A - 動き補償装置 - Google Patents

Abstract

(57)【要約】 【課題】 高精度な動き補償を行うことができる動き補
償装置を提供する。 【解決手段】 参照領域マップ１７は動きベクトル検出
手段からの参照領域マップから、参照位置生成手段１０
からの参照画素位置に対応する領域の領域ナンバーを選
択してＭＶ取得手段１１に供給し、ＭＶ取得手段１１は
動きベクトル検出手段からの各領域毎に供給される動き
ベクトルから領域ナンバーに対応するものを選択して参
照位置再計算手段１２に供給する。参照位置再計算手段
１２は供給された動きベクトルから参照位置を再計算
し、参照画素取得手段１３は再計算された参照位置に対
応する画素値を参照フレームメモリ１４から取得して予
測フレーム作成手段１５に供給する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像伝送装置、画
像処理装置等において動画像の予測符号化、復号化を行
う際に、予測画像を動き補償する動き補償装置に関する
ものである。

【０００２】

【従来の技術】従来より、動画像の伝送、蓄積あるいは
画像処理を行う画像伝送装置、画像記録装置、画像処理
装置等では、動画像を圧縮して高能率に符号化するため
に、動き予測を行って動き補償符号化を行うようになっ
ている。

【０００３】例えば文献「最新ＭＰＥＧ教科書（藤原洋
監修、アスキー出版局）」の７４〜７６頁、１０７〜１
０８頁には、注目画像と予測画像の差分画像を符号化す
る動画像符号化装置の一部として用いられる動き補償符
号化装置についての記述がある。この動き補償符号化装
置では、参照画像と注目画像の間でブロックマッチング
法により検出されたフレーム間動きベクトルに従って、
動き補償した画像（予測画像）を作成するようになって
いる。

【０００４】図２は、このような動き補償符号化装置に
おいて検出された動きベクトルに従って予測画像を動き
補償する動き補償部に相当するブロック図である。この
動き補償部は、注目画像上の予測画素位置を生成する動
き生成手段２０と、予測座標での動きベクトルを読み出
すＭＶ取得手段２１と、動きベクトルから参照画像上の
参照すべき位置を計算する参照位置計算手段２２と、参
照フレームの画素値を保持する参照フレームメモリ２４
と、参照座標の画素値を取得する参照画素値取得手段２
３とを備えている。

【０００５】予測位置生成手段２０の出力ｓ２０はＭＶ
取得手段２１と参照位置計算手段２２に供給されてお
り、動きベクトル検出部からの領域毎動きベクトル信号
ｓ２−１はＭＶ取得手段２１に供給されており、ＭＶ取
得手段２１の出力ｓ２１は参照位置計算手段２２に供給
されており、参照位置計算手段２２の出力ｓ２２は参照
画素値取得手段２３に供給されている。また、参照画素
値取得手段２３の出力ｓ２３−１は参照フレームメモリ
２４に供給されており、外部から入力される参照フレー
ム画素値信号ｓ２−２は参照フレームメモリ２４に供給
されており、参照フレームメモリ２４の出力ｓ２４は参
照画素値取得手段２３に供給されており、参照画素値取
得手段２３の出力ｓ２３−２は外部端子に供給されてい
る。

【０００６】以下、「画素位置」は画像上の画素（輝度
データ）が存在する位置の座標を示し、「位置」は画像
上の任意の位置を示すものとして説明する。従って、
「位置」は「画素位置」と「画素位置」の間で画素が存
在しない座標も示すことができる。

【０００７】図２に示す動き補償部において、予測位置
生成手段２０は、注目画像上で取りうる全ての画素位置
を予め決められた順番で逐次生成し、予測画素位置ｓ２
０として出力する。

【０００８】ＭＶ取得手段２１は、外部より１フレーム
毎に入力される領域（ブロック）毎動きベクトル信号ｓ
２を保持し、入力される画素位置ｓ２０に対応する動き
ベクトルｓ２１を出力する。このような動き補償におい
ては、領域（ブロック）の形状と位置が予め固定されて
いるので、座標の属する領域は一意に特定でき、該領域
の動きベクトルを選択できる。また、動きベクトルは実
数精度をとりうる。

【０００９】参照位置計算手段２２は、注目画像上の画
素位置ｓ２０に動きベクトルｓ２１を足した参照画像上
の位置を求め、参照位置ｓ２２として出力する。参照フ
レームメモリ２４は、外部より１フレーム毎に入力され
る参照フレーム画素値信号ｓ２−２を内蔵するメモリに
保持し、入力される画素位置ｓ２３−１の画素値ｓ２４
を出力する。

【００１０】参照画素値取得手段２３は、参照位置ｓ２
２の画素値を参照フレームメモリ２４から読み出し、予
測画素値ｓ２３−２として出力する。ここで、参照位置
ｓ２２が画素が存在する（整数精度の）位置であれば、
参照画素値取得手段２３は、参照位置ｓ２２を画素位置
ｓ２３−１としてそのまま出力して、参照フレーム２４
から参照位置ｓ２２の画素値ｓ２４を読み出し、この画
素値を参照位置ｓ２２における予測画素値ｓ２３−２と
して出力する。また、参照位置ｓ２２が画素が存在しな
い位置であれば、直接に参照フレームに参照位置ｓ２２
の画素値が存在しないため、参照画素値取得手段２３
は、予め決められた方法で参照位置ｓ２２の近傍の画素
が存在する（整数精度の）参照画素位置を複数求め、そ
れら参照画素位置を逐次画素位置ｓ２３−１として出力
して参照フレーム２４から画素位置ｓ２３−１の位置の
画素値ｓ２４を逐次読み出し、読み出した画素値ｓ２４
の平均値を参照位置ｓ２２における予測画素値ｓ２３−
２として出力する。

【００１１】このように動き補償された予測画素値は、
予測画像として上述の動き補償符号化装置に供給され、
この動き補償符号化装置において注目画像との差分画像
が求められ、この差分画像が例えばＤＣＴ変換された後
量子化され、この量子化された差分画像と上述の動きベ
クトルｓ２１等が符号化されて出力される。

【００１２】

【発明が解決しようとする課題】従来の動き補償符号化
装置では、注目画像に対する予測画像を作成するとき
に、符号装置側で動きの単位となる領域が注目画像上に
設定されるため、符号化装置側で設定した領域形状とそ
の位置を復号化装置側に伝送あるいは通知（以下、単に
伝送という。）する必要がある。

【００１３】このため、従来は上述の動き補償のように
ブロックの形状と位置を固定とし、符号化装置側から復
号化装置側に領域形状と位置を伝送する必要が無いよう
にすることが一般的であった。

【００１４】この場合、符号化の際に用いた動きの単位
となる領域の形状及び位置と実際の動領域の形状及び位
置が異なることになり、１つの単位領域の中に２つ以上
の実際の動領域が含まれてしまい、それらが同じ動きに
従って動き補償されてしまうという問題がある。

【００１５】また、参照画像上での実際の動領域の形状
を検出せずにブロック単位で動き補償を行っているた
め、特に動領域の境界付近の位置の画素値を参照しよう
とする際に、別の動領域に属する画素値を同時に取得し
て、これらの画素値を用いて誤った画素値の補間等を行
ってしまう虞があり、特に動領域の境界で画素値が大き
く変化する位置で予測画像の精度が劣化する問題があ
る。

【００１６】このような問題を回避するために、注目画
像上の動領域の形状と位置を符号化装置で検出し、復号
化装置側へこれを伝送する方法が考えられるが、この場
合、動領域の形状と位置を示すデータを伝送する必要が
生じ、特に伝送路のビットレートが遅い場合等には、全
伝送データに占める動領域の形状と位置を示すデータの
比率が突出してしまうため、これに応じて伝送する画像
データのデータ量を低減させる必要が生じ、高効率な符
号化が行えなくなる問題がある。

【００１７】本発明は、上述のような問題点に鑑みてな
されたものであり、高精度な動き補償を行うことができ
る動き補償装置を提供することを目的とする。

【００１８】

【課題を解決するための手段】本発明に係る動き補償装
置は、外部から供給される参照画像上の参照位置を生成
する参照位置生成手段と、参照画像上の動領域の形状を
示す情報を保持する参照領域形状保持手段と、参照画像
上の動領域毎に外部から供給される動き指標から参照位
置生成手段からの参照位置に対応する動き指標を取得す
る動き指標取得手段と、動き指標取得手段により取得さ
れた動き指標から動領域の移動先の位置を求め、参照位
置を再計算する参照位置再計算手段と、参照画像上の参
照位置再計算手段により再計算された参照位置の画素値
を取得する参照画素値取得手段と、参照画素値取得手段
により取得された画素値に基づいて予測画像を作成する
予測画像作成手段とを備えている。

【００１９】また、参照画像上の動領域毎に供給される
動き指標が動きベクトルからなる場合には、参照位置再
計算手段が参照画像上の画素位置を外部から供給される
注目画像上の位置に対応させる動きベクトルを使って注
目画像上の画素位置を参照画像上の位置に対応させる動
きベクトルを近似的に求めることにより参照位置の再計
算を行う構成としてもよい。

【００２０】あるいは、参照画像上の動領域毎に供給さ
れる動き指標がアフィン変換で表されるアフィン動きか
らなる場合には、動き指標取得手段が外部から供給され
るアフィン動きから参照位置に対応するアフィン動きを
取得し、参照位置再計算手段が動き指標取得手段により
取得されたアフィン動きから動領域の移動先の位置を求
め、参照位置を再計算する構成としてもよい。また、こ
の場合は、参照位置再計算手段が参照画像上の単位領域
をアフィン動きに基づいてアフィン変換したときの注目
画像上の領域を求め、注目画像上の領域内の画素位置に
アフィン変換に対応する逆アフィン変換を施して得られ
る参照画像上の位置を求め、注目画像上の画素位置を参
照画像上の位置に対応させるアフィン動きを得ることに
より参照位置の再計算を行う構成としてもよい。

【００２１】また、参照画素値取得手段が参照位置再計
算手段により再計算された参照位置に直接対応する画素
値が存在しない場合に、参照位置の周囲の画素位置を
得、参照領域形状保持手段を参照して参照位置の周囲の
画素位置の画素が動領域に属するか否かを判定し、動領
域に属する画素の画素値のみを補間して参照位置の画素
値を取得する構成としてもよい。

【００２２】

【発明の実施の形態】図１は本発明の第１の実施形態に
係る動き補償符号化装置の要部の構成を示すブロック図
である。この動き補償符号化装置は、画像伝送装置、画
像記録装置あるいは画像処理装置等に用いられ、動画像
の（高能率）符号化を行うものである。

【００２３】この動き補償符号化装置は、図１に示すよ
うに、スイッチＳＷ１を介して供給されるブロック化さ
れた画像データを例えばＤＣＴ変換（離散コサイン変
換）する変換器１と、変換器１によりＤＣＴ変換された
画像データを量子化する量子化器２と、量子化器２によ
り量子化された画像データを逆量子化する逆量子化器３
と、変換器１と逆の変換、例えば逆ＤＣＴ変換を行う逆
変換器４と、この逆変換器４から加算部５を介して供給
される画像データを保持するフレームメモリ６と、外部
から供給された画像データとフレームメモリ６に記憶さ
れた画像データとから動領域の形状と動きベクトルを検
出する動きベクトル検出部７と、動きベクトル検出部７
により検出された動領域の形状と動きベクトルに基づい
てフレームメモリ６に記憶されている画像データに動き
補償を施す動き補償部８と、動き補償された画像データ
を加算部５に供給するか否かを選択するスイッチＳＷ２
と、外部から供給される画像データと動き補償部８から
の画像データとの差を求める減算部９と、スイッチＳＷ
１、２による切り換え、量子化器２の量子化ステップ等
を制御する符号化制御部Ｃｎｔｌとを備えている。

【００２４】以下、「画素位置」は画像上の画素（輝度
データ）が存在する座標を示し、「位置」は画像上の任
意の座標を示すものとして説明する。従って、「位置」
は「画素位置」と「画素位置」の間で画素が存在しない
座標も示すことができる。

【００２５】動き補償部８は、さらに詳細には、図３に
示すように、参照画像上の参照位置を生成する参照位置
生成手段１０と、参照画像上の動領域の形状を保持する
参照領域マップメモリ１７と、参照位置での動きベクト
ルを読み出すＭＶ取得手段１１と、動きベクトルから移
動先の位置を求め、参照位置を再計算する参照位置再計
算手段１２と、参照フレームの画素値を保持する参照フ
レームメモリ１４（図１中のフレームメモリ６に相当）
と、参照位置の画素値を取得する参照画素値取得手段１
３と、予測フレームを作成する予測フレーム作成手段１
５と、予測フレームの画素値を格納する予測フレームメ
モリ１６とを備えている。

【００２６】参照位置生成手段１０の出力ｓ１０は参照
領域マップメモリ１７と参照位置再計算手段１２に供給
されており、参照領域マップメモリ１７の出力ｓ１７−
１はＭＶ取得手段１１と参照画素値取得手段１３に供給
されている。また、動きベクトル検出部７から供給され
る参照画像上の動領域の形状を示す参照領域マップ信号
ｓ１−３、領域毎動きベクトル信号ｓ１−１はそれぞれ
参照領域マップメモリ１７、ＭＶ取得手段１１に供給さ
れており、ＭＶ取得手段１１の出力ｓ１１は参照位置再
計算手段１２に供給されている。この参照位置再計算手
段１２の出力ｓ１２−１は参照画素値取得手段１３に供
給されており、他の出力ｓ１２−２は予測フレーム作成
手段１５に供給されている。参照画素値取得手段１３の
出力ｓ１３−１は参照フレームメモリ１４と参照領域マ
ップメモリ１７に供給されており、参照領域マップメモ
リ１７の出力ｓ１７−２は参照画素値取得手段１３に供
給されており、上述の図１に示す加算部５から供給され
る参照フレーム画素値信号ｓ１−２は参照フレームメモ
リ１４に供給されている。この参照フレームメモリ１４
の出力ｓ１４は参照画素値取得手段１３に供給されてお
り、参照画素値取得手段１３の出力ｓ１３−２は予測フ
レーム作成手段１５に供給されており、予測フレーム作
成手段１５の出力ｓ１６は予測フレームメモリ１６を介
して上述の図１に示す減算部９に供給されている。

【００２７】このような構成の動き補償符号化装置で
は、フレーム間の動き補償を行わず、同一の画像フレー
ム内で符号化を行う場合には、符号化制御部Ｃｎｔｌは
図１中の各スイッチＳＷ１、ＳＷ２の上側の被選択端子
が選択されるようにスイッチＳＷ１、ＳＷ２による切り
換えを制御する。この場合、外部の機器から供給された
画像データは直接変換器１に供給され、変換器１により
ＤＣＴ変換された後、量子化器２により量子化されて符
号化部等に供給される。

【００２８】また、フレーム間の動き補償を行って動き
補償符号化を行う場合には、符号化制御部Ｃｎｔｌは図
１中の各スイッチＳＷ１、ＳＷ２の下側の被選択端子が
選択されるようにスイッチＳＷ１、ＳＷ２による切り換
えを制御する。

【００２９】この場合、外部から画像データが供給され
ると、動きベクトル検出部７は供給された画像データと
フレームメモリ６に記憶された前フレームの画像データ
とから動領域の形状と各動領域の動きベクトルを検出し
て動き補償部８に供給する。この動きベクトル検出部７
が検出する動きベクトルは、従来の動き補償に用いられ
る動きベクトルと時間的に逆方向で、例えばフレームメ
モリ６に記憶された前フレームの画像データ（参照画
像）上で動きベクトル検出部７が同時に検出する領域に
最もマッチする領域を外部から供給された現フレームの
画像データ（注目画像）上を走査して検出されている。

【００３０】動き補償部８は動きベクトル検出部７から
動領域の形状と動きベクトルが供給されると、この動領
域の形状と動きベクトルに従ってフレームメモリ６に記
憶されている前フレームの画像データに動き補償を施し
て減算部９及びスイッチＳＷ２に供給する。

【００３１】減算部９は、動き補償部９から供給される
動き補償された予測画像（参照画像）とバッファあるい
は遅延手段等を介して供給された現フレームの画像デー
タとの差を求め、この差の画像データをスイッチＳＷ１
を介して変換器１に供給する。この差の画像データは、
変換器１により、例えばＤＣＴ変換され、量子化器２に
より量子化されて符号化部等に出力される。また、この
量子化器２により量子化された画像データは、逆量子化
器３で逆量子化され、逆変換器４で逆ＤＣＴ変換されて
加算部５に供給される。

【００３２】上述のように動き補償部８で動き補償され
た画像データはスイッチＳＷ２を介して加算部５にも供
給され、逆変換器４で逆ＤＣＴ変換された画像データと
加算されて再度フレームメモリ６に格納される。この画
像データは次のフレームの画像データが供給された際
に、動きベクトル検出部７による動きベクトルの検出、
動き補償部８による動き補償等に使用される。

【００３３】ここで、上述の動き補償部８による動き補
償動作をさらに詳細に説明する。図３に示す参照位置生
成手段１０は、参照画像上で取りうる全ての画素位置を
所定の順序で逐次生成し、参照画素位置ｓ１０として出
力する。

【００３４】参照領域マップメモリ１７は上述の図１に
示す動きベクトル検出部７から１フレーム毎に入力され
る参照領域マップ信号ｓ１−３を保持する。参照領域マ
ップメモリ１７に記憶される参照マップは参照画像中の
動領域の形状と配置を表すものであり、参照画像上の画
素位置ごとに付与された当該画素が所属する領域を一意
に特定する領域ナンバーからなる。

【００３５】参照領域マップメモリ１７は参照画素位置
ｓ１０が入力されると、この参照画素位置ｓ１０に対応
する領域ナンバーｓ１７−１を出力し、参照画素位置ｓ
１３−１が入力されると、この参照画素位置ｓ１３−１
に対応する領域ナンバーｓ１７−２を出力する。

【００３６】ＭＶ取得手段１１は、図１に示す動きベク
トル検出手段７から１フレーム毎に入力される領域毎動
きベクトル信号ｓ１−１を保持し、この領域毎動きベク
トル信号ｓ１−１中から参照マップメモリ１７から供給
される領域ナンバーｓ１７−１によって特定される領域
の動きベクトルｓ１１を選択して出力する。

【００３７】参照座標再計算手段１２は、図４に示すよ
うに、まず参照画像上の画素位置ｓ１０に動きベクトル
ｓ１１を加えた注目画像上の位置ｐを求め、位置ｐを代
表する画素位置として、ｐの最近傍の画素位置ｓ１２−
２を求めて出力する。同時に、予測画素位置ｓ１２−２
に動きベクトルｓ１１を減じた参照画像上の位置ｓ１２
−１を求めて出力する。動きベクトルを使った動き補償
では動領域は形状を変えずに移動するので、参照画像上
の任意の位置がその最近傍の画素位置の属する領域に属
すると考えた場合、動領域の移動後の画素位置ｓ１２−
２と位置ｐは同じ領域に属している。従って、参照画像
上の画素位置ｓ１０を動きベクトルｓ１１により位置ｐ
へ移動する事を参照画像上の位置ｓ１２−１を動きベク
トルｓ１１により位置ｓ１２−２へ移動する事で近似す
る。

【００３８】参照フレームメモリ１４（フレームメモリ
６）は、上述の図１に示す加算部５から１フレーム毎に
入力される参照フレーム画素値信号ｓ１−２（画像デー
タ）を保持し、参照画素値取得手段１３から供給される
画素位置ｓ１３−１の画素値ｓ１４を出力する。

【００３９】参照画素値取得手段１３は、参照位置ｓ１
２−１の画素値を参照フレームメモリ１４から読み出
し、予測画素値ｓ１３−２として出力する。参照位置ｓ
１２−１が画素の存在する画素位置であれば、参照位置
ｓ１２−１を参照画素位置ｓ１３−１としてそのまま出
力して参照フレーム１４から画素値ｓ１４を読み出し、
この画素値をｓ１２−１における予測画素値ｓ１３−２
として出力する。参照位置ｓ１２−１が画素の存在しな
い位置であれば、直接に参照フレームに参照位置ｓ１２
−１の画素値が存在しないため、予め決められた方法で
参照位置ｓ１２−１の近傍の画素位置を複数求め、求め
た画素位置を逐次参照画素位置ｓ１３−１として出力
し、参照画素位置ｓ１３−１の属する領域の領域ナンバ
ーｓ１７−２を参照マップメモリ１７から、参照画素位
置ｓ１３−１の画素値を逐次読み出す。

【００４０】このようにして複数の参照画素位置ｓ１３
−１と、これらの参照画素位置ｓ１３−１に対応する領
域ナンバーｓ１７−２と画素値ｓ１４とからなる組み合
わせの内、領域ナンバーｓ１７−２が領域ナンバーｓ１
７−１と異なる組み合わせを除外し、除外されなかった
組み合せの画素値ｓ１４の平均値を求める。この平均値
は、例えば予め定められた方法により、各組み合わせの
画素値の重み付けを行って平均値を求める。このように
求められた平均値を参照位置ｓ１２−１における予測画
素値ｓ１３−２として出力する。

【００４１】この予測画素値ｓ１３−２を求める重み付
け平均値の計算方法では、図５に示すように、画素位置
ｓ１０が参照座標再計算手段１２により画素の存在しな
い参照位置ｓ１２−１に再計算されたときの、参照位置
ｓ１２−１の近傍の画素位置ｓ１３−１、例えば図５中
のＡ、Ｂ、Ｃ、Ｄの４点の画素位置における画素値を用
いて平均値を求めるようになっている。

【００４２】このとき、参照画素値取得手段は、各点
Ａ、Ｂ、Ｃ、Ｄの画素位置に対応する領域ナンバーＳ１
７−２を参照領域マップメモリ１７から読み出して各点
が属する領域を検出し、画素位置ｓ１０と同一の領域に
属する点のみを選択する。例えば上述の図５に示す場合
では、点Ａ、点Ｂは領域ｘに属し、点Ｃ、点Ｄは領域ｏ
に属しており、画素位置ｓ１０の属する領域ｏと同じ点
Ｃ、点Ｄの２点に対する参照画素値ｓ１４のみを選択す
る。

【００４３】選択された点の画素値の平均を求める方法
としては、例えば参照位置ｓ１２−１と各画素位置ｓ１
３−１の距離に反比例する重みを各画素位置に対応する
参照画素値ｓ１４へかけて予測画素値ｓ１３−２を求め
る方法がある。

【００４４】具体的には、図５に示す場合では、位置ｓ
１２−１と点Ｃの距離をＤｉｓ（Ｃ）、位置ｓ１２−１
と点Ｄの距離をＤｉｓ（Ｄ）、点Ｃの参照画素値ｓ１４
をＰｅｌ（Ｃ）、点Ｄの参照画素値ｓ１４をＰｅｌ
（Ｄ）とすると、予測画素値Ｐｅｌ（予画素値ｓ１３−
２）は、次式で表される。

【００４５】

【数１】 ところで、予測フレームメモリ１６は、注目画像（外部
から供給された現フレームの画像データ）と同サイズの
記憶領域を備えており、予測フレーム作成手段１５は、
１フレーム分の予測フレーム作成を開始する前に、予測
フレームメモリ１６上の全ての画素位置の画素値を画素
値としての定義域外の定数ＮＵＬＬ（空白を示す値）に
リセットしておく。

【００４６】そして、注目画像上の画素位置ｓ１２−２
と、この画素位置ｓ１２−２に対応する予測画素値ｓ１
３−２の値が供給されると、予測フレーム生成手段１５
は、供給された画素位置ｓ１２−２に対応する予測フレ
ームメモリ１６上の画素値ｒを読み出す。予測フレーム
生成手段１５は、この画素値ｒがＮＵＬＬである場合に
は、この画素値ｒを読み出した予測フレームメモリ１６
上の画素位置に上述のように求めた予測画素値ｓ１３−
２を記録し、画素値ｒがＮＵＬＬでない場合には予測画
素値ｓ１３−２と画素値ｒの平均値を記録する。

【００４７】１フレーム分の予測フレーム作成が終了す
ると、予測フレーム作成手段１５は、所定の順序で予測
フレームメモリ１６上の画素値が読み出され、予測フレ
ーム信号ｓ１６として出力されるように予測フレームメ
モリ１６からの読み出しを制御する。

【００４８】ここで、上述のような１フレーム分の予測
フレームの作成が終了した時に、画素値としてＮＵＬＬ
が記録された画素位置は、予測画素値が得られなかった
画素位置であり、例えば動物体の背面に隠れていた領域
が時間の経過により現れた場合や、パン、ティルト等の
画面全体の移動により画面端から新たに現れた領域等の
予測不能の画像データが存在する画素位置であるとみな
すことができる。従って、このような画素位置の予測画
素値を作成せず、符号化時にフレーム内符号化を行った
り、あるいはこのような画素位置の周辺の位置で予測画
素値が得られた位置の画素値を用いて画素値の補間によ
り予測画素値を求める等といった処理を行う。

【００４９】以上説明したように、この第１の実施形態
に係る動き補償符号化装置では、動き補償部８において
参照マップメモリ１７に保持されている参照領域マップ
に従って動き補償を行っているため、動きベクトル検出
部７等によって検出された実際の動領域を動き補償の単
位とすることができる。従って、例えば動領域の形状を
矩形状の領域により近似した場合等のように、２つ以上
の動領域が同じ動きに従って動き補償されることを回避
でき、高精度な動き補償を行うことができ、効率的な符
号化を行うことができる。

【００５０】また、上述のような構成の動き補償部と、
上述のようにフレームメモリ６に記憶されている画像デ
ータ（参照画像）と外部から供給された画像データ（注
目画像）間で動領域の形状と動きベクトルを検出する上
述の動きベクトル検出部７を画像データの符号化を行う
符号化装置と画像データの復号化を行う復号化装置の両
方に備える構成とすれば、復号装置側において、供給さ
れた画像データ（参照画像及び注目画像）のみを用いて
動領域の形状を示す上述の参照領域マップ信号を作成す
ることができるため、動領域の形状等を示すデータを伝
送する必要がなくなる。従って、データ伝送量を増加さ
せずに、上述のような動領域の形状に合わせた高精度の
動き補償を行うことができる。

【００５１】また、この動き補償部では、上述のように
参照画素値取得手段１３が複数の画素の画素値を用いて
動き補償を行った予測画素値を求める際に、参照領域マ
ップを参照して、当該複数の画素の各々が当該動き補償
に係る動領域に属するか否かを判定し、当該動領域に属
する画素の画素値のみを用いて予測画素値を求めている
ため、１つの予測画素値を得るために別の動領域に属す
る画素値を用いて画素値を補間することを抑止すること
ができる。従って、予測画像の乱れを防止することがで
きる。

【００５２】本発明の第２の実施形態に係る動き補償符
号化装置は、図１に示す動き補償装置と同様に構成され
ている。この動き補償符号化装置は、上述の図３に示す
動き補償部８の代わりに、図６に示す構成の動き補償部
８’を備えている。この図６では、上述の図３に示す動
き補償部８と同様な構成要素は同一の符号で示されてい
る。

【００５３】また、この第２の実施例に係る動き補償符
号化装置では、図１に示す動きベクトル検出手段７に相
当する動きベクトル検出手段（以下、単に動きベクトル
検出手段７’という。）がフレームメモリ６に記憶され
た画像データ（参照画像）と外部から供給される画像デ
ータ（注目画像）とから動領域の形状及びアフィン動き
を検出するようになっている。

【００５４】動き補償部８’は、図３に示すＭＶ取得手
段１１に代えて、参照画像上の参照位置でのアフィン動
き（写像の一種であるアフィン変換によって表される動
き）を読み出すアフィン動き取得手段３１を備え、参照
位置再計算手段１２に代えて、アフィン動きから移動先
の位置を求め、参照位置を再計算する参照位置再計算手
段３２を備えている。

【００５５】参照位置生成手段１０の出力ｓ１０は参照
領域マップメモリ１７と参照位置再計算手段３２に供給
されており、参照領域マップメモリ１７の出力ｓ１７−
１はアフィン動き取得手段３１と参照画素値取得手段１
３に供給されている。また、動きベクトル検出手段７’
からの参照領域マップ信号ｓ１−３、アフィン動き信号
ｓ３−１はそれぞれ参照領域マップメモリ１７、アフィ
ン動き取得手段３１に供給されている。このアフィン動
き取得手段３１の出力ｓ３１は参照位置再計算手段３２
に供給されており、この参照位置再計算手段３２の出力
ｓ１２−１は参照画素値取得手段１３に供給されてお
り、参照位置再計算手段３２の出力ｓ１２−２は予測フ
レーム作成手段１５に供給されている。参照画素値取得
手段１３の出力ｓ１３−１は参照フレームメモリ１４と
参照領域マップメモリ１７に供給されており、参照領域
マップメモリ１７の出力ｓ１７−２は参照画素値取得手
段１３に供給されており、上述の図１に示す加算部５か
ら供給される参照フレーム画素値信号ｓ１−２は参照フ
レームメモリ１４に供給されており、参照フレームメモ
リ１４の出力ｓ１４は参照画素値取得手段１３に供給さ
れており、参照画素値取得手段１３の出力ｓ１３−２
が、予測フレーム作成手段１５に供給されており、予測
フレーム作成手段１５の出力ｓ１６は予測フレームメモ
リ１６を介して上述の図１に示す減算部９に供給されて
いる。

【００５６】このように構成された動き補償符号化装置
では、動きベクトル検出部７’は、フレームメモリ６に
記憶された画像データと外部から供給された画像データ
とからアフィン動き及び動領域を検出し、検出したアフ
ィン動きを示すアフィン動き信号と動領域の形状を示す
参照領域マップ信号を動き補償部８’に供給する。

【００５７】動き補償部８’は、動きベクトル検出部７
から供給されたアフィン動き信号と参照領域マップ信号
に基づいてフレームメモリ６（参照フレームメモリ１
４）に保持されている参照画像に動き補償を施して出力
する。

【００５８】具体的には、動き補償部８’のアフィン動
き取得手段３１は、動きベクトル検出部７’から１フレ
ーム毎に供給される領域毎アフィン動き信号ｓ３−１を
保持し、参照位置生成手段１０から供給される参照画素
位置ｓ１０に基づいて参照領域マップメモリ１７から供
給される領域ナンバーｓ１７−１によって特定される動
領域のアフィン動きｓ３１を保持した領域毎アフィン動
き信号ｓ３−１から選択して参照位置再計算手段３２に
供給する。

【００５９】ここで、動きベクトル７’から供給される
上述の領域毎アフィン動き信号ｓ３−１は、ある動領域
の移動を並行移動モデル上で表現していている従来の動
きベクトルと異なり、動領域の移動を並行移動、回転、
歪み、縮小・拡大で表現できるアフィン動きモデル上の
動きを示す信号である。アフィン動きは、例えば６つの
パラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）による次式によ
り表される。

【００６０】

【数２】 この（２）式は位置（ｘ、ｙ）を（ｘ＋Ｖｘ、ｙ＋Ｖ
ｙ）へ移動させるものであり、ある動領域内の任意の位
置のアフィン動きは（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）の６つ
のパラメータにより一意に決定することができる。動き
ベクトル検出部７’から供給されるアフィン動き信号ｓ
３−１は、この６つのパラメータ（６自由度）に相当す
る情報を持つもの、あるいは自由度を限定して６つのパ
ラメータのいくつかを省略したものである。これには、
いくつかのパラメータがある変数（他のパラメータであ
る場合も含む）の関数となっている場合も含まれる。

【００６１】参照座標再計算手段３２は、参照画像上の
参照画素位置ｓ１０が代表する部分動領域ｐがアフィン
動きｓ３１により移動された注目画像上の部分動領域
ｐ’を求める。具体的には、参照座標再計算手段３２
は、まず、図７に示す参照画素位置ｓ１０を（ｘ、ｙ）
としたときの４つの点ａ（ｘ−０．５、ｙ−０．５）、
ｂ（ｘ＋０．５、ｙ−０．５）、ｃ（ｘ−０．５、ｙ＋
０．５）、ｄ（ｘ＋０．５、ｙ＋０．５）を求め、これ
らの４つの点ａ、ｂ、ｃ、ｄをアフィン動きｓ３１によ
って移動した４つの点ａ’、ｂ’、ｃ’、ｄ’を求め
る。

【００６２】部分動領域ｐ’は４つの点ａ、ｂ、ｃ、ｄ
を頂点に持つ矩形であり、部分動領域ｐ’は４つの点
ａ’、ｂ’、ｃ’、ｄ’を頂点に持つ４辺形となる。部
分動領域ｐに属する任意の位置の点は必ず部分動領域
ｐ’の中に移動するので、参照位置再計算手段３２は部
分動領域ｐ’に属する全ての画素位置をａ’、ｂ’、
ｃ’、ｄ’を使って求め、これらの画素位置を部分動領
域ｐ’を代表する予測画素位置ｓ１２−２として出力す
る。

【００６３】図７に示す場合では、画素位置ｌとｍとｎ
がそれぞれ予測画素位置ｓ１２−２となる。また、計算
の結果予測画像位置ｓ１２−２となる画素位置が存在し
ない場合（例えば部分動領域ｐが画素間の間隔以下程度
に縮小された場合等）には、参照位置再計算手段３２は
予測画素位置ｓ１２−２、後述の位置ｓ１２−１として
何も出力せずに処理を終了する。

【００６４】最後に、参照位置再計算手段３２は予測画
素位置ｓ１２−２を後述するアフィン動きｓ３１と逆方
向のアフィン動きｓ３１’によって移動した参照画像上
の位置ｓ１２−１を求めて参照画素値取得手段１３に供
給する。

【００６５】参照位置再計算手段３２は、参照位置生成
手段１０から供給された参照画素位置ｓ１０毎に、上述
のような動作を繰り返し、求めた位置ｓ１２−１を順
次、参照画素値取得手段１３に供給する。

【００６６】参照画素値取得手段１３は上述の第１の実
施形態と同様に参照位置再計算手段３２から供給された
位置に対応する画素値を参照フレームメモリ１４から読
み出し、予測画素値ｓ１３−２として出力する。

【００６７】特異なアフィン動きを除き、任意のアフィ
ン動きｓ３１は正負逆向きのアフィン動きｓ３１’を持
ち、位置ｘがｓ３１により位置ｘ’へ移動する時、位置
ｘ’は逆アフィン動きｓ３１’によりｘへ移動する。特
異なアフィン動きｓ３１を持つ動領域を動き補償するこ
とは不可能なので不定領域とみなし、特異なアフィン動
きｓ３１による参照位置ｓ１０の再計算を中断する。例
えば、アフィン動きｓ３１が、（１）式、（２）式の表
現の６パラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）に相当す
る情報を持つものであるとき、（３）式が成り立てば特
異なアフィン動きであると判定でき、また、アフィン動
きｓ３１’は（４）式にある（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、
Ｆ）に相当する情報を持つものとして定義できる。

【００６８】

【数３】

【数４】 上述のように参照画素値取得手段１３から予測画素値ｓ
１３−２が供給されると、予測フレーム作成手段１５
は、上述の第１の実施形態と同様に予測フレームメモリ
１６上の画素位置ｓ１２−２に上述のように求めた予測
画素値ｓ１３−２を記録し、１フレーム分の予測フレー
ム作成が終了すると、所定の順序で予測フレームメモリ
１６上の画素値が読み出され、予測フレーム信号（予測
画像）ｓ１６として出力されるように予測フレームメモ
リ１６からの読み出しを制御する。このように読み出さ
れた予測画像は上述の図１に示す減算部９に供給されて
外部から供給された画像データとの差分を求めるために
使用される。

【００６９】ところで、上述の第１の実施形態のよう
に、注目画像上の動領域の形状と位置を符号化装置で検
出し、このような動画像の形状と位置に従って、動き補
償する領域の形状を実際の動領域に一致させるようにし
ても、動領域の画像データを領域毎動きベクトルで動き
補償しただけでは、各動領域が平行移動した予測画像し
か作成することができないため、このような動き補償で
は拡大・縮小や回転等を伴うような動きに適応した予測
画像を生成することはできず、精度の良い予測画像が得
られない。

【００７０】この第２の実施形態に係る符号化装置で
は、第１の実施形態で示した効果に加えて、動き補償部
８’において動領域の歪み、拡大・縮小等の動きを表現
することができるアフィン動きに基づいて動き補償を行
うことができるため、精度の高い予測画像を生成するこ
とができる。従って、このような精度の高い予測画像を
用いて予測符号化を行うことにより、生成される符号量
を低減させることができる。

【００７１】また、上述のような構成を動き補償部を、
上述の動きベクトル検出手段７’のようにアフィン動き
モデル上での動きを検出できる動き検出装置を符号化装
置、復号化装置に共に設けることにより、アフィン動き
及び動領域を示すデータを伝送しなくてもこれらを復号
化装置側で検出して画像データの再生を行うことができ
るため、符号化装置から復号化装置に伝送すべきデータ
を減少させることができる。

【００７２】なお、上述の実施形態では本発明に係る動
き補償装置を動画像の符号化を行う動き補償符号化装置
に適用した場合について説明したが、本発明に係る動き
補償装置を上述のような符号化器により符号化された画
像データを復号化する動き補償復号化装置おいて動き補
償を行う動き補償復号化にも適用することができる。

【００７３】

【発明の効果】本発明に係る動き補償装置では、動き指
標取得手段が参照画像上の動領域毎に外部から供給され
る動き指標の中から、参照位置生成手段からの参照位置
に対応する動き指標を取得し、参照位置再計算手段が、
動き指標取得手段により取得された動き指標から動領域
の移動先の位置を求めて参照位置を再計算し、参照画素
値取得手段が参照画像保持手段から参照位置再計算手段
により再計算された参照位置の画素値を取得し、さら
に、予測画像作成手段が参照画素値取得手段により取得
された画素値に基づいて予測画像を作成することによ
り、実際の動領域の形状に応じて動き補償を行うことが
でき、動き補償の精度を向上させることができる。この
ため、このような動き補償を行って符号化を行うことに
より効率的な符号化を行うことができる。

【００７４】また、参照画像上の動領域毎に供給される
動き指標が動きベクトルからなる場合に、参照位置再計
算手段が参照画像上の画素位置を外部から供給される注
目画像上の位置に対応させる動きベクトルを使って注目
画像上の画素位置を参照画像上の位置に対応させる動き
ベクトルを近似的に求めることにより参照位置の再計算
を行う構成とすることにより、参照位置の再計算を容易
に行うことができる。

【００７５】また、参照画像上の動領域毎に供給される
動き指標がアフィン変換で表されるアフィン動きからな
る場合には、動き指標取得手段が外部から供給されるア
フィン動きから、参照位置生成手段からの参照位置に対
応するアフィン動きを取得し、参照位置再計算手段が動
き指標取得手段により取得されたアフィン動きから動領
域の移動先の位置を求め、参照位置を再計算する構成と
することにより、拡大・縮小や回転等を伴うような動き
に適応した動き補償を行うことができる。従って、この
ような動き補償により精度の高い予測画像を生成するこ
とができ、このような精度の高い予測画像を用いて予測
符号化を行うことにより、生成される符号量を低減する
ことができる。

【００７６】また、この場合に、参照位置再計算手段が
参照画像上の単位領域をアフィン動きに基づいてアフィ
ン変換したときの注目画像上の領域を求め、注目画像上
の領域内の画素位置にアフィン変換に対応する逆アフィ
ン変換を施して得られる参照画像上の位置を求め、注目
画像上の画素位置を参照画像上の位置に対応させるアフ
ィン動きを得ることにより参照位置の再計算を行う構成
とすれば、参照位置の計算を容易に行うことができる。

【００７７】また、参照画素値取得手段が参照位置再計
算手段により再計算された参照位置に直接対応する画素
値が存在しない場合に、参照位置の周囲の画素位置を
得、参照領域形状保持手段を参照して参照位置の周囲の
画素位置の画素が動領域に属するか否かを判定し、動領
域に属する画素の画素値のみを補間して参照位置の画素
値を取得する構成とすることにより、他の動領域に属す
る画素値を用いて画素値を補間することを防止すること
ができ、予測画像の乱れを防止することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態に係る動き補償符号
化装置の要部の構成を示すブロック図である。

【図２】 従来の動き補償符号化装置を構成する動き補
償部の詳細な構成を示すブロック図である。

【図３】 上記本発明の第１の実施形態に係る動き補償
符号化装置を構成する動き補償部の詳細な構成を示すブ
ロック図である。

【図４】 上記動き補償部による動き補償動作を示す図
である。

【図５】 上記動き補償部による動領域の検出を示す図
である。

【図６】 本発明の第２の実施形態に係る動き補償符号
化装置を構成する動き補償部の詳細な構成を示すブロッ
ク図である。

【図７】 上記動き補償部による動き補償動作を示す図
である。

【符号の説明】

１ 変換器、２ 量子化器、３ 逆量子化器、４ 逆変
換器、５ 加算部、６フレームメモリ、７ 動きベクト
ル検出部、８ 動き補償部、９ 減算部、１０参照位置
生成手段、１１ 動きベクトル（ＭＶ）取得手段、１２
参照位置再計算手段、１３ 参照画素値取得手段、１
４ 参照フレームメモリ（フレームメモリ６）、１５
予測フレーム作成手段、１６ 予測フレームメモリ、１
７ 参照領域マップメモリ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 外部から供給される参照画像上の参照位
   置を生成する参照位置生成手段と、 上記参照画像上の動領域の形状を示す情報を保持する参
   照領域形状保持手段と、 上記参照画像上の動領域毎に外部から供給される動き指
   標から上記参照位置生成手段からの参照位置に対応する
   動き指標を取得する動き指標取得手段と、 該動き指標取得手段により取得された動き指標から上記
   動領域の移動先の位置を求め、参照位置を再計算する参
   照位置再計算手段と、 上記参照画像上の上記参照位置再計算手段により再計算
   された参照位置の画素値を取得する参照画素値取得手段
   と、 該参照画素値取得手段により取得された画素値に基づい
   て予測画像を作成する予測画像作成手段とを備えること
   を特徴とする動き補償装置。
2. 【請求項２】 上記参照画像上の動領域毎に供給される
   動き指標が動きベクトルからなり、 上記参照位置再計算手段は、上記参照画像上の画素位置
   を外部から供給される注目画像上の位置に対応させる上
   記動きベクトルを使って注目画像上の画素位置を参照画
   像上の位置に対応させる動きベクトルを近似的に求める
   ことにより上記参照位置の再計算を行うことを特徴とす
   る請求項１に記載の動き補償装置。
3. 【請求項３】 上記参照画像上の動領域毎に供給される
   動き指標がアフィン変換で表されるアフィン動きからな
   り、 上記動き指標取得手段は、外部から供給されるアフィン
   動きから上記参照位置生成手段からの参照位置に対応す
   るアフィン動きを取得し、 上記参照位置再計算手段は、上記動き指標取得手段によ
   り取得されたアフィン動きから上記動領域の移動先の位
   置を求め、参照位置を再計算することを特徴とする請求
   項１に記載の動き補償装置。
4. 【請求項４】 上記参照位置再計算手段は、上記参照画
   像上の単位領域を上記アフィン動きに基づいてアフィン
   変換したときの注目画像上の領域を求め、該注目画像上
   の領域内の画素位置に上記アフィン変換に対応する逆ア
   フィン変換を施して得られる参照画像上の位置を求め、
   注目画像上の画素位置を参照画像上の位置に対応させる
   アフィン動きを得ることにより上記参照位置の再計算を
   行うことを特徴とする請求項３に記載の動き補償装置。
5. 【請求項５】 上記参照画素値取得手段は、上記参照位
   置再計算手段により再計算された参照位置に直接対応す
   る画素値が存在しない場合に、 上記参照位置の周囲の画素位置を得、 上記参照領域形状保持手段を参照して上記参照位置の周
   囲の画素位置の画素が動領域に属するか否かを判定し、 該動領域に属する画素の画素値のみを補間して上記参照
   位置の画素値を取得することを特徴とする請求項１乃至
   請求項４のいずれか１項に記載の動き補償装置。