JPH08140098A

JPH08140098A - 動き補償符号化装置

Info

Publication number: JPH08140098A
Application number: JP27644694A
Authority: JP
Inventors: Kenjiro Tsuda; 賢治郎津田; Shinya Sumino; 眞也角野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-11-10
Filing date: 1994-11-10
Publication date: 1996-05-31

Abstract

(57)【要約】【目的】本発明は、被符号化画面内の動きの相関性を
考慮して、動き補償手段を選択することにより、符号化
に必要な動きベクトルの符号量を低減し、符号化効率を
向上できる動き補償符号化装置を提供する。【構成】ローカル動きベクトル検出手段４で検出した
ブロック毎のローカル動きベクトルに基づいてローカル
動き補償手段６で生成した動き補償画面と、グローバル
動き検出手段１０１で検出した画面全体の動きパラメー
タに基づいてグローバル動き補償手段１０３で生成した
動き補償画面とから、動き補償選択手段１０５により所
定の条件に基づいて選択する。選択された動き補償画面
を用いて符号化手段８により符号化され、符号化された
信号を復号化して次画面の符号化に用いるためのメモリ
１１に記憶される構成となっている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号を蓄積、伝送
する際に、データ量を高能率に符号化する動き補償符号
化装置に関するものである。

【０００２】

【従来の技術】近年、動画像符号化において、動き補償
を用いた符号化技術が主流となっている。従来の動き補
償符号化装置のブロック図を図９に示す。図中におい
て、１は入力信号である被符号化画面、２はブロック化
手段、３はブロック化された被符号化画面、４はローカ
ル動きベクトル検出手段、５は動きベクトル、６はロー
カル動き補償手段、７はローカル動き補償画面、８は符
号化手段、９は符号化された出力信号、１０は符号化さ
れた信号を復号化した画面、１１はメモリ、１２は前画
面復号化参照画面である。

【０００３】以上のように構成された、従来の動き補償
符号化装置の動作を以下で説明する。ブロック化手段２
では、被符号化画面１を、動きベクトルを検出する最小
の単位のブロックに分割する。通常は、一定サイズの矩
形ブロックである。ローカル動きベクトル検出手段４で
は、ブロック化された被符号化画面３と対応する前画面
復号化参照画面１２とを比較することにより、ブロック
毎の動きベクトルを検出する。具体的には、ブロック化
された被符号化画面３と前画面復号化参照画面１２とで
ブロック毎にマッチングを行い、マッチング誤差が最小
となる相対位置を動きベクトル５として検出する。ロー
カル動き補償手段６では、動きベクトル５に基づいて前
画面復号化参照画面を移動してローカル動き補償画面７
を生成する。符号化手段８では、被符号化画面１とロー
カル動き補償画面７との差が所定値より小さいときはそ
の差を符号化し、差が所定値より大きいときは被符号化
画面１を直接符号化し、符号化された出力信号９として
出力する。また、符号化手段８は、符号化された信号を
復号化した画面１０を出力し、メモリ１１に記憶され、
次の符号化に用いられる。

【０００４】

【発明が解決しようとする課題】しかし、上記のような
構成では、常にブロック単位で独立に動きベクトルを検
出するので、被符号化画面がカメラの動きに起因するパ
ン・ズーム等の画面全体の動きを含む場合でも、画面全
体の動きの相関性を用いた動き補償ができず、また、ブ
ロックサイズが一定なので、必ずブロックの数だけ動き
ベクトルを符号化する必要があるため、動きベクトルの
符号量が削減できず符号化効率が低下する。また、上記
のような構成では、被符号化画面と前画面復号化画面の
マッチング誤差を最小にするベクトルとしてブロック毎
に動きベクトルを求めているため、画面内の移動物体の
正確な動きとは一致しない。通常、同じ物体内の隣接す
るブロック間では動きの相関性が存在するが、マッチン
グによる動きベクトル検出はブロック毎に独立に行われ
るため、物体内での動きの相関性を用いた正確な動きベ
クトル検出ができず符号化効率が低下する。

【０００５】かかる点に鑑み、本発明では、被符号化画
面内の動きの相関性および動き検出のブロックサイズを
考慮して、符号化に必要な動きベクトルの符号量を低減
することにより、動画像符号化効率を向上させた動き補
償符号化装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明における動き補償符号化装置は、入力信
号である被符号化画面をブロックに分割するブロック化
手段と、前記被符号化画面と復号化画面である参照画面
とを比較し、前記ブロック毎に動きベクトルを検出する
ローカル動きベクトル検出手段と、前記ローカル動きベ
クトル検出手段で検出した動きベクトルと前記参照画面
とを用いて前記被符号化画面を動き補償するローカル動
き補償手段と、前記被符号化画面と前記参照画面とを比
較し画面全体の動きパラメータを検出するグローバル動
き検出手段と、前記動きパラメータと前記参照画面とを
用いて前記被符号化画面を動き補償するグローバル動き
補償手段と、前記ローカル動き補償手段と前記グローバ
ル動き補償手段とを所定の条件に基づいて選択する動き
補償選択手段と、前記動き補償選択手段により選択され
た動き補償方式で動き補償された画面を符号化した符号
化信号を出力し、前記符号化信号を復号化した復号化信
号を出力する符号化手段と、前記復号化信号を記憶し前
記参照画面として出力するメモリとから構成される。

【０００７】また、第２の発明の動き補償符号化装置
は、入力信号である被符号化画面をブロックに分割する
ブロック化手段と、前記被符号化画面と復号化画面であ
る参照画面とを比較し、前記ブロック毎に動きベクトル
を検出するローカル動きベクトル検出手段と、前記ロー
カル動きベクトル検出手段で検出した動きベクトルと前
記参照画面とを用いて前記被符号化画面を動き補償する
ローカル動き補償手段と、前記被符号化画面と前記参照
画面とを比較し画面全体の動きパラメータを検出するグ
ローバル動き検出手段と、前記動きパラメータと前記参
照画面とを用いて前記被符号化画面を動き補償するグロ
ーバル動き補償手段と、前記ローカル動き補償手段と前
記グローバル動き補償手段とを所定の条件に基づいて選
択する動き補償選択手段と、前記動き補償選択手段によ
り選択された動き補償方式で動き補償された画面を符号
化した符号化信号を出力し、前記符号化信号を復号化し
た復号化信号を出力する符号化手段と、前記符号化手段
で出力される符号化画面の符号量と所定値とを比較して
導かれる条件に基づき、前記動き補償選択手段に制御信
号を出力し動き補償選択条件を変化させる符号量制御手
段と、前記復号化信号を記憶し前記参照画面として出力
するメモリとから構成される。

【０００８】また、第３の発明の動き補償符号化装置
は、入力信号である被符号化画面を所定の条件に基づい
て領域に分割する領域分割手段と、前記被符号化画面と
復号化画面である参照画面とを比較し、前記領域分割手
段により分割した領域毎の動きパラメータを検出するグ
ローバル動き検出手段と、前記領域毎の動きパラメータ
の中から所定の条件に基づいて１つの動きパラメータを
選択する動きパラメータ選択手段と、前記動きパラメー
タ選択手段により選択した動きパラメータと前記参照画
面とを用いて前記被符号化画面を動き補償するグローバ
ル動き補償手段と、前記グローバル動き補償手段で動き
補償された画面を符号化した符号化信号を出力し、前記
符号化信号を復号化した復号化信号を出力する符号化手
段と、前記復号化信号を記憶し前記参照画面として出力
するメモリとから構成される。

【０００９】また、第４の発明の動き補償符号化装置
は、入力信号である被符号化画面をブロックに分割する
ブロック化手段と、前記被符号化画面と復号化画面であ
る参照画面とを比較し、前記ブロック毎に動きベクトル
を検出するローカル動きベクトル検出手段と、前記ロー
カル動きベクトル検出手段で検出した動きベクトルと前
記参照画面とを用いて前記被符号化画面を動き補償する
ローカル動き補償手段と、前記被符号化画面を所定の条
件に基づいて領域に分割する領域分割手段と、前記被符
号化画面と前記参照画面とを比較し、前記領域分割手段
により分割した領域毎の動きパラメータを検出するグロ
ーバル動き検出手段と、前記領域毎の動きパラメータの
中から所定の条件に基づいて１つの動きパラメータを選
択する動きパラメータ選択手段と、前記動きパラメータ
選択手段により選択した動きパラメータと前記参照画面
とを用いて前記被符号化画面を動き補償するグローバル
動き補償手段と、前記ローカル動き補償手段と前記グロ
ーバル動き補償手段とを所定の条件に基づいて選択する
動き補償選択手段と、前記動き補償選択手段により選択
された動き補償方式で動き補償された画面を符号化した
符号化信号を出力し、前記符号化信号を復号化した復号
化信号を出力する符号化手段と、前記復号化信号を記憶
し前記参照画面として出力するメモリとから構成され
る。

【００１０】また、第５の発明の動き補償符号化装置
は、入力信号である被符号化画面をブロックに分割する
第１のブロック化手段と、前記第１のブロック化手段に
より分割したブロック毎に、前記被符号化画面と復号化
画面である参照画面とを比較し動きベクトルを検出する
第１のローカル動きベクトル検出手段と、前記第１のロ
ーカル動きベクトル検出手段で検出した動きベクトルと
前記参照画面とを用いて前記被符号化画面を動き補償す
る第１のローカル動き補償手段と、前記被符号化画面を
ブロックに分割する第２のブロック化手段と、前記第２
のブロック化手段により分割したブロック毎に、前記被
符号化画面と前記参照画面とを比較し動きベクトルを検
出する第２のローカル動きベクトル検出手段と、前記第
２のローカル動きベクトル検出手段で検出した動きベク
トルと前記参照画面とを用いて前記被符号化画面を動き
補償する第２のローカル動き補償手段と、前記第１のロ
ーカル動き補償手段と前記第２のローカル動き補償手段
とを所定の条件に基づいて選択する動き補償選択手段
と、前記動き補償選択手段により選択された動き補償方
式で動き補償された画面を符号化した符号化信号を出力
し、前記符号化信号を復号化した復号化信号を出力する
符号化手段と、前記復号化信号を記憶し前記参照画面と
して出力するメモリとから構成され、前記第１のブロッ
ク化手段と前記第２のブロック化手段、または前記第１
のローカル動きベクトル検出手段と前記第２のローカル
動きベクトル検出手段、または前記第１のローカル動き
補償手段と前記第２のローカル動き補償手段のうち、少
なくとも１つが異なる構成である。

【００１１】また、第６の発明の動き補償符号化装置
は、入力信号である被符号化画面をブロックサイズ決定
手段の制御信号によって決定されたサイズでブロックに
分割する第１のブロック化手段と、前記第１のブロック
化手段により分割したブロック毎に、前記被符号化画面
と復号化画面である参照画面とを比較し動きベクトルを
検出するローカル動きベクトル検出手段と、前記第１の
ローカル動きベクトル検出手段で検出した動きベクトル
と前記参照画面とを用いて前記被符号化画面を動き補償
する第１のローカル動き補償手段と、前記被符号化画面
を前記ブロックサイズ決定手段の制御信号によって決定
されたサイズで前記第１のブロック化手段とは異なるサ
イズのブロックに分割する第２のブロック化手段と、前
記第２のブロック化手段により分割したブロック毎に、
前記被符号化画面と前記参照画面とを比較し動きベクト
ルを検出する第２のローカル動きベクトル検出手段と、
前記第２のローカル動きベクトル検出手段で検出した動
きベクトルと前記参照画面とを用いて前記被符号化画面
を動き補償する第２のローカル動き補償手段と、前記第
１のローカル動き補償手段と前記第２のローカル動き補
償手段とを所定の条件に基づいて選択する動き補償選択
手段と、前記動き補償選択手段により選択された動き補
償方式で動き補償された画面を符号化した符号化信号を
出力し、前記符号化信号を復号化した復号化信号を出力
する符号化手段と、前記動き補償選択手段により選択さ
れた動き補償方式の選択状況に基づいて、前記第１のブ
ロック化手段と前記第２のブロック化手段との、各々の
ブロックサイズを決定して制御信号を出力するブロック
サイズ決定手段と、前記復号化信号を記憶し前記参照画
面として出力するメモリとから構成される。

【００１２】

【作用】第１の発明の動き補償符号化装置においては、
ローカル動きベクトル検出手段によって、入力信号であ
る被符号化画面と復号化画面である参照画面とを比較
し、ブロック化手段により分割したブロック毎にローカ
ル動きベクトルを検出する。続いて、ローカル動き補償
手段によって、前記動きベクトルと前記参照画面とを用
いて前記被符号化画面を動き補償する。一方、グローバ
ル動き検出手段によって、前記被符号化画面と前記参照
画面とを比較し画面全体の動きパラメータを検出する。
続いて、グローバル動き補償手段によって、前記画面全
体の動きパラメータと前記参照画面とを用いて前記被符
号化画面を動き補償する。さらに、動き補償選択手段に
より、前記ローカル動き補償手段と前記グローバル動き
補償手段とから所定の条件に基づいて選択する。画面内
で局所的な動きが多く含まれ、動きの相関性が低い場合
は予測誤差を最小にするブロック単位のローカル動き補
償手段を選択すればよいが、被符号化画面がカメラの動
きに起因するパン・ズーム等による画面全体の動きを含
む場合は、画面全体の動きを１組の動きパラメータで記
述するグローバル動き補償手段を選択すれば、符号化す
べき動きパラメータは１組ですむため、ローカル動き補
償を選択してブロックの数と同数の動きベクトルを符号
化するよりも動きベクトルの符号量を大幅に低減でき
る。このように動き補償手段を適応的に切り替えること
により、効率の高い符号化を実現する。

【００１３】第２の発明の動き補償符号化装置において
は、符号量制御手段によって、符号化画面の符号量と所
定値とを比較して、その結果に基づき、動き補償手段の
選択を制御する点が第１の発明との差異である。この結
果、所定の符号量を維持できるように動き補償手段を選
択することが可能である。

【００１４】第３の発明の動き補償符号化装置において
は、領域分割手段により入力信号である被符号化画面を
所定の条件に基づいて領域に分割し、グローバル動き検
出手段により前記被符号化画面と復号化画面である参照
画面とを比較して領域毎の動きパラメータを検出する。
領域毎の動きパラメータを検出することにより、被符号
化画面がカメラの動きに起因するパン・ズーム等による
画面全体の動きを含みかつ画面内に複数の移動物体が存
在する場合でも、画面内に含まれる複数の移動物体の動
きの影響を受けず、正確で動き補償精度の高い動きパラ
メータを検出できる。さらに、動きパラメータ選択手段
により、前記グローバル動き検出手段により検出した領
域毎の動きパラメータの中から所定の条件に基づいて１
組の動きパラメータを選択し、グローバル動き補償手段
において、前記動きパラメータ選択手段により選択した
動きパラメータと前記参照画面とを用いて前記被符号化
画面を動き補償する。このように、領域毎の動きパラメ
ータの中から動き補償符号化効率の最も高い動きパラメ
ータを１組だけ選択してグローバル動き補償することに
より、領域分割に伴う付加情報を符号化する必要がな
く、効率の高い符号化が実現できる。

【００１５】第４の発明の動き補償符号化装置において
は、第３の発明にある領域分割を伴ったグローバル動き
補償手段と、ブロック単位のローカル動き補償手段との
間で動き補償選択手段により選択し、選択された動き補
償手段により動き補償された復号化参照画面を動き補償
した後符号化手段で符号化する点が、第３の発明との差
異である。画面内で局所的な動きが多く含まれ、相関性
が少ない場合は、予測誤差を最小にするブロック単位の
ローカル動き補償手段を選択すればよいが、被符号化画
面がカメラの動きに起因するパン・ズーム等による画面
全体の動きを含み、かつ画面内に複数の移動物体が存在
する場合は、第３の発明にある領域分割を伴ったグロー
バル動き補償手段を選択することにより、画面内の移動
物体の動きに相互に影響されず、なおかつ動きパラメー
タを１組だけ符号化すればよいので動きベクトルの符号
量を大幅に削減でき、効率の高い符号化が可能である。
このように動き補償手段を選択することにより、被符号
化画面の性質に応じた動き補償符号化が可能となる。

【００１６】第５の発明の動き補償符号化装置において
は、異なる２種類のブロック単位ローカル動き補償手段
から、動き補償選択手段により所定の条件に基づいて１
種類のローカル動き補償手段を選択する。２種類のロー
カル動き補償手段とは、ブロック化手段あるいはローカ
ル動き検出手段あるいはローカル動き補償手段の少なく
とも１つが異なるということである。動き補償選択手段
において、最も符号量を少なくするローカル動き補償方
式を選択するという条件を用いれば、画面によって符号
化効率が高くなる。

【００１７】第６の発明の動き補償符号化装置において
は、ブロックサイズ決定手段により動き補償選択手段に
より選択された動き補償手段に応じて、次画面の符号化
の際のブロックのとりうる大きさを決定し、２種類のブ
ロック化手段に制御信号を出力し、各々のブロック化手
段においてブロックサイズを変更する点が、第５の発明
との差異である。この結果、動き補償手段を実行するに
あたって最適なブロックサイズを選択でき、さらに、ブ
ロックサイズを大きくすることにより、同一面積の被符
号化画面内でのブロック数が減少するため、符号化すべ
き動きベクトルが削減できる。

【００１８】

【実施例】図１に第１の発明の一実施例における動き補
償符号化装置のブロック図を示す。図中で、１は入力信
号である被符号化画面、２はブロック化手段、３はブロ
ック化された被符号化画面、４はローカル動きベクトル
検出手段、５は動きベクトル、６はローカル動き補償手
段、７はローカル動き補償画面、１０１はグローバル動
き検出手段、１０２はグローバル動きパラメータ、１０
３はグローバル動き補償手段、１０４はグローバル動き
補償画面、１０５は動き補償選択手段、１０６は選択さ
れた動き補償画面、８は符号化手段、９は符号化された
出力信号、１０は符号化された信号を復号化した画面、
１１はメモリ、１２は前画面復号化参照画面である。

【００１９】以上のように構成された、本実施例の動き
補償符号化装置の動作を以下で説明する。ブロック化手
段２では、被符号化画面１を、動きベクトルを検出する
最小の単位のブロックに分割する。通常は、一定サイズ
の矩形ブロックである。ローカル動きベクトル検出手段
４では、ブロック化された被符号化画面３のブロック毎
に、対応する前画面復号化参照画面１２と比較すること
によりブロック毎の動きベクトルを検出する。例えば、
被符号化画面３と前画面復号化参照画面１２でブロック
毎にマッチングを行い、マッチング誤差が最小となる相
対位置を動きベクトル５として検出する。ローカル動き
補償手段６では、動きベクトル５に基づいて前画面復号
化参照画面１２を参照して、ローカル動き補償画面７を
生成する。グローバル動き検出手段１０１は、画面全体
のグローバル動きパラメータ１０２を検出する。検出さ
れた動きパラメータ１０２に基づいて前画面復号化参照
画面１２を参照して、グローバル動き補償画面１０４を
生成する。

【００２０】被符号化画面１がカメラの動きに起因する
パン・ズーム等による画面全体の動きを含む場合には、
このグローバル動き補償により画面内の動きを平行移
動、拡大・縮小、回転などを表す、１組のグローバル動
きパラメータとして表現でき、これにより、符号化すべ
き動きベクトル量を大幅に削減できる。また、局所的な
動きを多く含む場合は、グローバル動き補償を行うより
もマッチング誤差を最小にするローカル動き補償の方が
符号化効率が高い。そこで、動き補償選択手段１０５に
て、符号化効率の高い動き補償画面を、ローカル動き補
償画面７とグローバル動き補償画面１０４とから選択し
て、動き補償画面１０６として出力する。

【００２１】符号化手段８では、被符号化画面１と動き
補償画面１０６との差が所定値より小さいときはその差
を符号化し、差が所定値より大きいときは被符号化画面
１を符号化し、符号化された出力信号９として出力す
る。符号化手段８は、符号化された信号を復号化した画
面１０を出力し、メモリ１１に記憶され、次の符号化に
用いられる。

【００２２】以上のように本実施例によれば、グローバ
ル動き補償とローカル動き補償とを適応的に選択するこ
とにより、被符号化画面１の性質、すなわち画面内の動
きの相関性に適応した効率の高い動き補償符号化を実現
できる。

【００２３】図２に第２の発明の一実施例における動き
補償符号化装置のブロック図を示す。本実施例は、第１
の発明の実施例に、符号量制御手段２０１、動き補償選
択制御信号２０２の構成を付加したものである。

【００２４】以上のように構成された本実施例である動
き補償符号化装置の動作について、図１と共通構成部分
は同様に動作するので、第１の実施例に対して付加され
た部分についてのみ、以下に説明する。符号量制御手段
２０１は、符号化された出力信号９の符号量と所定値と
を比較し、ローカル動き補償とグローバル動き補償の選
択手法を変更し、動き補償選択制御信号２０２を動き補
償選択手段１０５に出力する。この符号量制御を用いて
動き補償選択手段を制御することにより、符号量を削減
する必要がある場合にはグローバル動き補償を選択しや
すくすることにより、動きベクトル量を抑えることが可
能となる。符号量制御手段２０１にて比較する所定値と
しては、例えば、符号化用途に応じた、目標とする符号
量などを用いることができる。

【００２５】以上のように本実施例によれば、グローバ
ル動き補償とローカル動き補償とを符号量に基づいて選
択することにより、第１の発明の実施例の長所に加え、
出力される符号化量を一定に保つことが可能となる。

【００２６】図３に第３の発明の一実施例における動き
補償符号化装置のブロック図を示す。図中で、１は入力
信号である被符号化画面、４０１は領域分割手段、４０
２は領域分割された被符号化画面、４０３はグローバル
動き検出手段、４０４はグローバル動きパラメータ、４
０５は動きパラメータ選択手段、４０６は選択されたグ
ローバル動きパラメータ、４０７はグローバル動き補償
手段、４０８はグローバル動き補償画面、８は符号化手
段、９は符号化された出力信号、１０は符号化された信
号を復号化した画面、１１はメモリ、１２は前画面復号
化参照画面である。

【００２７】以上のように構成された、本実施例の動き
補償符号化装置の動作を以下に説明する。領域分割手段
４０１では、被符号化画面１を動き毎の領域に分割す
る。領域の分割については、例えば、領域分割手段４０
１において、領域分割のための動きベクトル検出を行
い、画面内で動きの相関が高い部分を１つの領域として
まとめることにより、動き毎の領域を求めることができ
る。領域分割された被符号化画面４０２の領域毎に、対
応する前画面復号化参照画面１２と比較することによ
り、領域毎の動きパラメータ４０４をグローバル動き検
出手段４０３で検出する。

【００２８】被符号化画面がカメラの動きに起因するパ
ン・ズーム等による画面全体の動きを含み、かつ画面内
に複数の移動物体が存在する場合は、画面全体の動きパ
ラメータを求めても、移動物体の動きの影響を受けて正
確なグローバル動きパラメータが検出できず、動き補償
効率が低下する。そこで画面を移動物体毎に領域分割す
ることにより、正確なグローバル動きパラメータが検出
できる。

【００２９】続いて、領域毎の動きパラメータ４０４の
中から動き補償差分信号を最も小さくする動きパラメー
タ４０６を１組だけ、動きパラメータ選択手段４０５で
選択する。領域毎の全ての動きパラメータを用いて動き
補償を行えば、非常に効率の高い動き補償が可能である
が、そのためには領域分割に関する付加情報を全て符号
化する必要があり、符号化効率が大幅に低下する。そこ
で動き補償差分信号を最も小さくする動きパラメータを
１組だけ選択することにより、領域付加情報を送らずに
すむので効率の良い動き補償符号化が実現できる。ま
た、画面内の移動物体の領域面積が広い場合には、画面
全体のグローバル動きパラメータ、すなわち背景部分の
動きバラメータを選択するよりも、移動物体の動きパラ
メータを選択した方が動き補償符号化効率が高くなる。

【００３０】グローバル動き補償手段４０７は、選択さ
れた動きパラメータ４０６に基づいて前画面復号化参照
画面１２を参照して、グローバル動き補償画面４０８を
生成する。符号化手段８では、被符号化画面１とグロー
バル動き補償画面４０８との差が小さいときは、その差
を符号化し、差が大きいときは、被符号化画面１を符号
化し、符号化された出力信号９として出力する。符号化
手段８は、符号化された信号を復号化した画面１０を出
力し、メモリ１１に記憶され、次の符号化に用いられ
る。

【００３１】以上のように本実施例によれば、被符号化
画面がカメラの動きに起因するパン・ズーム等による画
面全体の動きを含み、かつ画面内に複数の移動物体が存
在する場合でも、移動物体の影響を受けず高精度にグロ
ーバル動き補償を行い、符号化に必要な動きベクトル量
を削減し符号化効率を高めることが可能である。

【００３２】図４に第４の発明の一実施例における動き
補償符号化装置のブロック図を示す。本実施例は、第３
の発明の実施例に、ブロック化手段、ローカル動き検出
手段、ローカル動き補償手段、動き補償選択手段を追加
した構成になっている。第３の発明の実施例との構成の
差異に関して、２はブロック化手段、３はブロック化さ
れた被符号化画面、４はローカル動きベクトル検出手
段、５は動きベクトル、６はローカル動き補償手段、７
はローカル動き補償画面、１０５は動き補償選択手段、
１０６は選択された動き補償画面である。

【００３３】以上のように構成された、本実施例の動き
補償符号化装置の動作について、図３と共通構成部分は
動作が同一なので、第３の発明の実施例と異なる部分に
ついてのみ、以下に説明する。ブロック化手段２では、
被符号化画面１を、動きベクトルを検出する最小の単位
のブロックに分割する。通常は、同一サイズの矩形ブロ
ックである。ローカル動きベクトル検出手段４では、ブ
ロック化された被符号化画面３のブロック毎に、対応す
る前画面復号化参照画面１２と比較することによりブロ
ック毎の動きベクトルを検出する。ローカル動き補償手
段６では、動きベクトル５に基づいて前画面復号化参照
画面１２を参照して、ローカル動き補償画面７を生成す
る。

【００３４】本実施例は、第３の発明の実施例の領域分
割に基づくグローバル動き補償手段４０７から出力され
るグローバル動き補償画面４０８と、ローカル動き補償
手段６から出力されるローカル動き補償画面７とを、符
号化効率が高くなる条件で動き補償選択手段１０５によ
り選択し、選択された動き補償画面１０６を符号化手段
８に出力する。符号化効率が高くなる条件としては、例
えば、画面内で一定面積以上の物体が移動している場合
は、領域分割に基づくグローバル動き補償、それ以外の
場合はローカル動き補償を選択するという条件等が考え
られる。符号化手段８では、被符号化画面１と選択され
た動き補償画面１０６との差が所定値より小さいときは
その差を符号化し、差が所定値より大きいときは被符号
化画面１を符号化し、符号化された出力信号９として出
力する。符号化手段８は、符号化された信号を復号化し
た画面１０を出力し、メモリ１１に記憶され、次の符号
化に用いられる。

【００３５】動き補償選択手段１０５の導入により、局
所的な動きを多く含み、グローバル動き補償では十分な
動き補償ができない場合でも、予測誤差を最小にするロ
ーカル動き補償を選択することにより、符号化効率の低
下を抑制できる。

【００３６】また、図５のように図４と構成手段が同じ
で、ローカル動き検出手段４から出力される動きベクト
ル５を領域分割の条件の１つに含めることにより、特別
なハードウェアを付加することなく、ローカル動きベク
トルを参照した効率のよい領域分割が可能となる。

【００３７】一方、動画像において、画面全体が動く場
合および画面内で物体が移動する場合には、新たに出現
する領域が生ずる。図６（ａ）に画面全体が動く場合の
新規出現領域の説明図を示す。図中ではカメラのパンに
よる画面全体の平行移動について示している。このよう
に、カメラのパン・ズーム等で画面全体が動く場合、画
面端は画面全体の動きに伴って新たに出現する領域が生
ずる。また、画面端に限らず、移動物体が動いた後の背
景には必ず新たに出現する領域が生ずる。図６（ｂ）に
物体の移動に伴う新規出現領域の説明図を示す。このよ
うに、物体が移動した後には、前画面では隠されていた
背景が新たに出現する。こうした新規出現領域について
は、対応する部分が前画面の復号化参照画面に存在しな
いため、グローバル動き補償を行っても効果が少なく、
むしろ動き補償効率を低下させてしまう。そこで、領域
分割の際に、このような新たに出現する領域を分離して
動きパラメータを検出することにより、動き補償精度を
高めるとともに、新規出現領域では、優先的にローカル
動き補償を選択することにより、効率の高い符号化が実
現できる。

【００３８】以上のように本実施例によれば、動き補償
選択手段にて動き補償を選択することで、被符号化画面
内の動きの相関性に適応した動き補償符号化が可能で、
かつ被符号化画面に複数の移動物体が存在しても高精度
でグローバル動き補償が可能となり、符号化に必要な動
きベクトル量を最小限に抑えることができる。

【００３９】図７に第５の発明の一実施例における動き
補償符号化装置のブロック図を示す。図中で、１は入力
信号である被符号化画面、２はブロック化手段、３はブ
ロック化された被符号化画面、４はローカル動きベクト
ル検出手段、５は動きベクトル、６はローカル動き補償
手段、７はローカル動き補償画面、７０２はブロック化
手段、７０３はブロック化された被符号化画面、７０４
はローカル動きベクトル検出手段、７０５は動きベクト
ル、７０６はローカル動き補償手段、７０７はローカル
動き補償画面、７０８は動き補償選択手段、７０９は選
択された動き補償画面である。８は符号化手段、９は符
号化された出力信号、１０は符号化された信号を復号化
した画面、１１はメモリ、１２は前画面復号化参照画面
である。

【００４０】このとき、ブロック化手段２とブロック化
手段７０２、またはローカル動きベクトル検出手段４と
ローカル動きベクトル検出手段７０４、またはローカル
動き補償手段６とローカル動き補償手段７０６のうち、
少なくとも１つが異なっている。少なくとも１つが異な
るとは、例えば、ブロック化手段２とブロック化手段７
０２とでブロックのサイズ、形状が異なるとか、ローカ
ル動きベクトル検出手段４とローカル動きベクトル検出
手段７０４とで、動きベクトルの検出方法が異なる、と
いうことであるが、本実施例はこの差異例に限定される
ものではない。

【００４１】以上のように構成された、本実施例の動き
補償符号化装置の動作を以下に説明する。ブロック化手
段２では、被符号化画面１を、動きベクトルを検出する
最小の単位のブロックに分割する。ローカル動きベクト
ル検出手段４では、ブロック化された被符号化画面３と
対応する前画面復号化参照画面１２とを比較することに
より、ブロック毎の動きベクトル５を検出する。ローカ
ル動き補償手段６では、動きベクトル５に基づいて前画
面復号化参照画面１２を参照してローカル動き補償画面
７を生成する。一方、ブロック化手段７０２では、被符
号化画面１を、動きベクトルを検出する最小の単位のブ
ロックに分割する。ローカル動きベクトル検出手段７０
４では、ブロック化された被符号化画面７０３と対応す
る前画面復号化参照画面１２とを比較することにより、
ブロック毎の動きベクトル７０５を検出する。ローカル
動き補償手段７０６では、動きベクトル７０５に基づい
て前画面復号化参照画面１２を参照してローカル動き補
償画面７０７を生成する。

【００４２】動き補償選択手段７０８において、所定の
条件に基づいて、ローカル動き補償画面７とローカル動
き補償画面７０７とのいずれかを選択して動き補償画面
７０９として出力する。この選択条件として、画像の性
質に最適な、動き補償符号化効率が最も高いローカル動
き補償手段を選択することにすれば、動き補償符号化効
率を向上させることが可能である。その際、動きベクト
ルの符号量も考慮した選択を行えば、より符号化効率が
向上する。

【００４３】なお、動きベクトルは、隣り合うブロック
間でかなり強い相関をもち、同一物体の内部では、滑ら
かな動きベクトル分布を持っているので、ローカル動き
検出７０４において、例えば、動きベクトルの滑らかさ
を考慮した正則化条件を用いることにより、動きベクト
ル分布のばらつきをなくし、隣接する動きベクトルの差
分値が小さくなるように動きベクトルを検出することに
より、動きベクトルの符号化効率を高めることが可能で
ある。

【００４４】符号化手段８では、被符号化画面１と選択
された動き補償画面７０９との差が小さいときはその差
を符号化し、差が大きいときは被符号化画面１を符号化
し、符号化された出力信号９として出力する。符号化手
段８は、符号化された信号を復号化した画面１０を出力
し、メモリ１１に記憶され、次の符号化に用いられる。

【００４５】以上のように本実施例によれば、２種類の
ローカル動き補償手段から、動き補償効率の高いローカ
ル動き補償手段を選択することにより、符号化効率を向
上させることができる。また、隣接するブロック間の動
きベクトルの相関性を考慮したローカル動き補償手段を
導入することにより、動き補償効率を向上できる。

【００４６】図８に第６の発明の一実施例における動き
補償符号化装置のブロック図を示す。本実施例は、図７
の実施例のローカル動き補償選択符号化装置に、ブロッ
クサイズ決定手段が追加された構成になっており、図７
の構成と共通の部分には図７と同一の符号を付加する。
図７に追加された構成部分として、９０１は選択された
ローカル動き補償手段を示す信号、９０２はブロックサ
イズ決定手段、９０３は第１のブロック化手段２のブロ
ックサイズを制御する信号、９０４は第２のブロック化
手段７０２のブロックサイズを制御する信号である。

【００４７】以上のように構成された、本実施例の動き
補償符号化装置の動作を、図７と共通構成の部分の動作
は前述した通りなので、第５の発明の実施例との差異に
ついてのみ、以下で説明する。本実施例では、ローカル
動き補償手段６とローカル動き補償手段７０６とを動き
補償選択手段７０８において、所定の条件、例えば動き
補償誤差を最小にするなどの条件によって適応的に選択
し、このとき選択された動き補償手段を示す信号９０１
に応じて、次の符号化におけるブロック化手段２とブロ
ック化手段７０２それぞれのブロックサイズをブロック
サイズ決定手段９０２において決定し、制御信号９０３
をブロック化手段２へ、制御信号９０４をブロック化手
段７０２へ出力する。

【００４８】ブロックサイズの決定に関しては、ローカ
ル動き検出においてブロックサイズを小さくすると、動
きベクトル検出の精度が向上するが、ブロック毎に動き
ベクトルが存在するので符号化すべき動きベクトル数が
増大する。一方、ローカル動き検出手段においてブロッ
クサイズを大きくすると、符号化すべき動きベクトル数
が低減できる。そこで、前回選択されたローカル動き補
償手段に応じて、とりうるブロックサイズを制限するこ
とで、符号化すべき動きベクトル数を制御することがで
き、効率の高い動き補償符号化手段を選択することが可
能となる。

【００４９】また、ローカル動き検出手段７０４におい
て動きベクトルの滑らかさを考慮した正則化条件を用い
た場合、小さいブロックサイズで、大局的で正確な動き
ベクトル分布を検出できるので、動きベクトル分布のば
らつきをなくし動きベクトルの符号化効率を高めること
が可能である。また、局所的な動きを多く含む場合に
は、動きベクトル分布のばらつきを考慮したローカル動
き補償手段７０６を用いるより、従来のローカル動き補
償手段６を選択してブロックサイズを大きくすることに
より符号化すべき動きベクトル数を低減でき、効率の高
い動き補償符号化が可能となる。

【００５０】以上のように本実施例によれば、２つのロ
ーカル動き補償手段から選択した動き補償手段に応じ
て、それぞれのローカル動き補償において、とりうるブ
ロック化のサイズを制限することにより、符号化すべき
動きベクトル数を制御して、動きベクトルの符号量を低
減し、効率の高い符号化が実現できる。

【００５１】

【発明の効果】以上のように、本発明によれば、被符号
化画面内の大局的な動きと局所的な動きを考慮し、大局
的な動きを用いた符号化により必要な動きベクトルの符
号量を低減し、動画像符号化効率を向上できる点で実用
的効果が大きい。

【００５２】第１の発明の動き補償符号化装置は、動き
補償選択手段により、ローカル動き補償手段とグローバ
ル動き補償手段とから所定の条件に基づいて選択し、動
き補償手段を適応的に切り替えることにより、効率の高
い符号化を実現する。

【００５３】第２の発明の動き補償符号化装置は、符号
量制御手段によって、符号化画面の符号量と所定値とを
比較して、その結果に基づき、動き補償手段の選択を制
御することにより、所定の符号量を維持できるように動
き補償手段を選択することが可能である。

【００５４】第３の発明の動き補償符号化装置は、領域
分割手段により入力信号である被符号化画面を所定の条
件に基づいて領域に分割し、グローバル動き検出手段に
より被符号化画面と復号化画面である参照画面とを比較
して領域毎の動きパラメータを検出し、領域毎の動きパ
ラメータの中から動き補償符号化効率の最も高い動きパ
ラメータを１組だけを選択してグローバル動き補償する
ことにより、領域分割に伴う付加情報を符号化する必要
がなく、効率の高い符号化が実現できる。

【００５５】第４の発明の動き補償符号化装置は、第３
の発明にある領域分割を伴ったグローバル動き補償手段
と、ブロック単位のローカル動き補償手段との間で動き
補償選択手段により選択し、選択された動き補償手段に
より動き補償された復号化参照画面を動き補償した後符
号化手段で符号化することにより、画面内の移動物体の
動きに相互に影響されず、なおかつ動きパラメータを１
組だけ符号化すればよいので動きベクトルの符号量を大
幅に削減でき、効率の高い符号化が可能である。このよ
うに動き補償手段を選択することにより、被符号化画面
の性質に応じた動き補償符号化が可能となる。

【００５６】第５の発明の動き補償符号化装置は、異な
る２種類のブロック単位ローカル動き補償手段から、動
き補償選択手段により所定の条件に基づいて、最も符号
量を少なくするローカル動き補償手段を選択することに
より、画面によって符号化効率が高くなる。

【００５７】第６の発明の動き補償符号化装置は、ブロ
ックサイズ決定手段により動き補償選択手段により選択
された動き補償手段に応じて、次画面の符号化の際のブ
ロックのとりうる大きさを決定し、２種類のブロック化
手段に制御信号を出力し、各々のブロック化手段におい
てブロックサイズを変更することにより、動き補償手段
を実行するにあたって最適なブロックサイズを選択で
き、さらに、ブロックサイズを大きくすることにより、
同一面積の被符号化画面内でのブロック数が減少するた
め、符号化すべき動きベクトルが削減できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動き補償符号化
装置のブロック図

【図２】本発明の第２の実施例における動き補償符号化
装置のブロック図

【図３】本発明の第３の実施例における動き補償符号化
装置のブロック図

【図４】本発明の第４の実施例における動き補償符号化
装置のブロック図

【図５】本発明の第４の実施例を変形した動き補償符号
化装置のブロック図

【図６】（ａ）は動画像の画面全体の動きによって新し
く現れる領域についての説明図（ｂ）は動画像における物体の移動によって新しく現れ
る領域についての説明図

【図７】本発明の第５の実施例における動き補償符号化
装置のブロック図

【図８】本発明の第６の実施例における動き補償符号化
装置のブロック図

【図９】従来の動き補償符号化装置のブロック図

【符号の説明】

２ブロック化手段４ローカル動き検出手段６ローカル動き補償手段８符号化手段１１メモリ１０１グローバル動き検出手段１０３グローバル動き補償手段１０５動き補償選択手段２０１符号量制御手段４０１領域分割手段４０３グローバル動き検出手段４０５動きパラメータ選択手段４０７グローバル動き補償手段７０２ブロック化手段７０４ローカル動き検出手段７０６ローカル動き補償手段７０８動き補償選択手段９０２ブロックサイズ決定手段

Claims

【特許請求の範囲】

【請求項１】入力信号である被符号化画面をブロックに
分割するブロック化手段と、前記被符号化画面と復号化
画面である参照画面とを比較し、前記ブロック毎に動き
ベクトルを検出するローカル動きベクトル検出手段と、
前記ローカル動きベクトル検出手段で検出した動きベク
トルと前記参照画面とを用いて前記被符号化画面を動き
補償するローカル動き補償手段と、前記被符号化画面と
前記参照画面とを比較し画面全体の動きパラメータを検
出するグローバル動き検出手段と、前記動きパラメータ
と前記参照画面とを用いて前記被符号化画面を動き補償
するグローバル動き補償手段と、前記ローカル動き補償
手段と前記グローバル動き補償手段とを所定の条件に基
づいて選択する動き補償選択手段と、前記動き補償選択
手段により選択された動き補償方式で動き補償された画
面を符号化した符号化信号を出力し、前記符号化信号を
復号化した復号化信号を出力する符号化手段と、前記復
号化信号を記憶し前記参照画面として出力するメモリと
から構成される動き補償符号化装置。
【請求項２】入力信号である被符号化画面をブロックに
分割するブロック化手段と、前記被符号化画面と復号化
画面である参照画面とを比較し、前記ブロック毎に動き
ベクトルを検出するローカル動きベクトル検出手段と、
前記ローカル動きベクトル検出手段で検出した動きベク
トルと前記参照画面とを用いて前記被符号化画面を動き
補償するローカル動き補償手段と、前記被符号化画面と
前記参照画面とを比較し画面全体の動きパラメータを検
出するグローバル動き検出手段と、前記動きパラメータ
と前記参照画面とを用いて前記被符号化画面を動き補償
するグローバル動き補償手段と、前記ローカル動き補償
手段と前記グローバル動き補償手段とを所定の条件に基
づいて選択する動き補償選択手段と、前記動き補償選択
手段により選択された動き補償方式で動き補償された画
面を符号化した符号化信号を出力し、前記符号化信号を
復号化した復号化信号を出力する符号化手段と、前記符
号化手段で出力される符号化画面の符号量と所定値とを
比較して導かれる条件に基づき、前記動き補償選択手段
に制御信号を出力し動き補償選択条件を変化させる符号
量制御手段と、前記復号化信号を記憶し前記参照画面と
して出力するメモリとから構成される動き補償符号化装
置。
【請求項３】前記符号量制御手段において、符号量が所
定量より多い場合、グローバル動き補償を優先して選択
する制御信号を前記動き補償選択手段に出力する請求項
２記載の動き補償符号化装置。
【請求項４】入力信号である被符号化画面を所定の条件
に基づいて領域に分割する領域分割手段と、前記被符号
化画面と復号化画面である参照画面とを比較し、前記領
域分割手段により分割した領域毎の動きパラメータを検
出するグローバル動き検出手段と、前記領域毎の動きパ
ラメータの中から所定の条件に基づいて１つの動きパラ
メータを選択する動きパラメータ選択手段と、前記動き
パラメータ選択手段により選択した動きパラメータと前
記参照画面とを用いて前記被符号化画面を動き補償する
グローバル動き補償手段と、前記グローバル動き補償手
段で動き補償された画面を符号化した符号化信号を出力
し、前記符号化信号を復号化した復号化信号を出力する
符号化手段と、前記復号化信号を記憶し前記参照画面と
して出力するメモリとから構成される動き補償符号化装
置。
【請求項５】入力信号である被符号化画面をブロックに
分割するブロック化手段と、前記被符号化画面と復号化
画面である参照画面とを比較し、前記ブロック毎に動き
ベクトルを検出するローカル動きベクトル検出手段と、
前記ローカル動きベクトル検出手段で検出した動きベク
トルと前記参照画面とを用いて前記被符号化画面を動き
補償するローカル動き補償手段と、前記被符号化画面を
所定の条件に基づいて領域に分割する領域分割手段と、
前記被符号化画面と前記参照画面とを比較し、前記領域
分割手段により分割した領域毎の動きパラメータを検出
するグローバル動き検出手段と、前記領域毎の動きパラ
メータの中から所定の条件に基づいて１つの動きパラメ
ータを選択する動きパラメータ選択手段と、前記動きパ
ラメータ選択手段により選択した動きパラメータと前記
参照画面とを用いて前記被符号化画面を動き補償するグ
ローバル動き補償手段と、前記ローカル動き補償手段と
前記グローバル動き補償手段とを所定の条件に基づいて
選択する動き補償選択手段と、前記動き補償選択手段に
より選択された動き補償方式で動き補償された画面を符
号化した符号化信号を出力し、前記符号化信号を復号化
した復号化信号を出力する符号化手段と、前記復号化信
号を記憶し前記参照画面として出力するメモリとから構
成される動き補償符号化装置。
【請求項６】前記領域分割手段において、新規出現領域
を分離する機能を付加し、前記動き補償選択手段におい
て、前記新規出現領域は必ずローカル動き補償を選択す
る機能を付加した請求項５記載の動き補償符号化装置。
【請求項７】入力信号である被符号化画面をブロックに
分割する第１のブロック化手段と、前記第１のブロック
化手段により分割したブロック毎に、前記被符号化画面
と復号化画面である参照画面とを比較し動きベクトルを
検出する第１のローカル動きベクトル検出手段と、前記
第１のローカル動きベクトル検出手段で検出した動きベ
クトルと前記参照画面とを用いて前記被符号化画面を動
き補償する第１のローカル動き補償手段と、前記被符号
化画面をブロックに分割する第２のブロック化手段と、
前記第２のブロック化手段により分割したブロック毎
に、前記被符号化画面と前記参照画面とを比較し動きベ
クトルを検出する第２のローカル動きベクトル検出手段
と、前記第２のローカル動きベクトル検出手段で検出し
た動きベクトルと前記参照画面とを用いて前記被符号化
画面を動き補償する第２のローカル動き補償手段と、前
記第１のローカル動き補償手段と前記第２のローカル動
き補償手段とを所定の条件に基づいて選択する動き補償
選択手段と、前記動き補償選択手段により選択された動
き補償方式で動き補償された画面を符号化した符号化信
号を出力し、前記符号化信号を復号化した復号化信号を
出力する符号化手段と、前記復号化信号を記憶し前記参
照画面として出力するメモリとから構成され、前記第１
のブロック化手段と前記第２のブロック化手段、または
前記第１のローカル動きベクトル検出手段と前記第２の
ローカル動きベクトル検出手段、または前記第１のロー
カル動き補償手段と前記第２のローカル動き補償手段の
うち、少なくとも１つが異なる動き補償符号化装置。
【請求項８】前記第２のローカル動きベクトル検出手段
において、近傍の動きが滑らかに変化する連続性を仮定
して動きベクトルを検出する機能を付加した、請求項７
記載の動き補償符号化装置。
【請求項９】入力信号である被符号化画面をブロックサ
イズ決定手段の制御信号によって決定されたサイズでブ
ロックに分割する第１のブロック化手段と、前記第１の
ブロック化手段により分割したブロック毎に、前記被符
号化画面と復号化画面である参照画面とを比較し動きベ
クトルを検出するローカル動きベクトル検出手段と、前
記第１のローカル動きベクトル検出手段で検出した動き
ベクトルと前記参照画面とを用いて前記被符号化画面を
動き補償する第１のローカル動き補償手段と、前記被符
号化画面を前記ブロックサイズ決定手段の制御信号によ
って決定されたサイズで前記第１のブロック化手段とは
異なるサイズのブロックに分割する第２のブロック化手
段と、前記第２のブロック化手段により分割したブロッ
ク毎に、前記被符号化画面と前記参照画面とを比較し動
きベクトルを検出する第２のローカル動きベクトル検出
手段と、前記第２のローカル動きベクトル検出手段で検
出した動きベクトルと前記参照画面とを用いて前記被符
号化画面を動き補償する第２のローカル動き補償手段
と、前記第１のローカル動き補償手段と前記第２のロー
カル動き補償手段とを所定の条件に基づいて選択する動
き補償選択手段と、前記動き補償選択手段により選択さ
れた動き補償方式で動き補償された画面を符号化した符
号化信号を出力し、前記符号化信号を復号化した復号化
信号を出力する符号化手段と、前記動き補償選択手段に
より選択された動き補償方式の選択状況に基づいて、前
記第１のブロック化手段と前記第２のブロック化手段と
の、各々のブロックサイズを決定して制御信号を出力す
るブロックサイズ決定手段と、前記復号化信号を記憶し
前記参照画面として出力するメモリとから構成される動
き補償符号化装置。
【請求項１０】前記第２のローカル動きベクトル検出手
段を前記グローバル動き検出手段に、前記第２のローカ
ル動き補償手段を前記グローバル動き補償手段に置き換
えた請求項９記載の動き補償符号化装置。