JPS62105587A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の技術分計〕 本発明は、代表点マツチング法において、動きを正確に
検出することのできる動きベクトル検出装置に関する。

〔発明の技術的背景とその問題点９ 画像情報を伝送する場合、その伝送コストの低減を目的
として帯域圧縮することが行われている。

この帯域玉網技術の１つとして、動画像のフレーム間の
画面全体の平行移動量を示を動きベクトルを求めること
によって、動き補償フレーム間符号化を行い、その符号
化王縮率を高めることや、フレーム間内挿処理を行なっ
てより高い解像度の動画像を再生することが行なわれて
いる。

このように動きベクトルを検出することは、動画像処理
において、重要な要素技術である。

従来からの動きベクトル検出方法の１つとして、代表点
マツチング法がある。

まず、この方法を説明する。各フレームを複数の小ブロ
ックに分割する。次に前フレームの各ブロックから代表
点を得る。次に前フレームの各プロックの代表点と対応
する現フレームの画意間で相関演算を行い、各個位毎に
累積加算して、画面全体の相関値を得る。ここで偏位と
は代表点を原点としたときの相対偏位である。最後に上
記相関値から動きベクトルを算出する。この代表点マッ
チンダ法を用いることにより、従来の全点マツチング法
に比べて、演算回数を大幅に域少させることができる。

しかし、逆に、代表点マツチング法は、平担な絵柄の部
分が多い場合や画像信号に大きな雑音が加わっている場
合には、全点マツチング法に比べて動きベクトルの検出
が誤検出となる可能性が高くなる。例えば、ノイズのま
ったく加わっていない青空が広がっている一様な絵柄を
含む静止画像を考える。一様な絵柄の部分に含まれる１
ブロツクに注目すると、このブロックにおける各偏位に
対す相関演算の結果は、例えば、相関演算が、代表点と
画素との差分絶対値であると、静止を表わす偏位に対し
て最小値となるだけでなく、他の偏位に対しても最小値
となる。この場合このブロックは、動きベクトルの情報
を一意的に反映していない。又、この画像にノイズの加
わった場合を考えると、静止を表わす偏位に対する相関
、演算値が、最小値にならずに他の偏位に対する相関演
算値が、最小値になる可能性が絵柄（７）細かい画像に
比べて高くなり、このブロックは、誤まった動きベクト
ルの情報を持つことになる。

よって、これらのブロックは、動きベクトルの検出する
のに無効なブロックである。現在の代表点マツチング法
では、多数のブロックを累積加算することにより、これ
らの無効なブロックの影斥を小さくはしているが、ブロ
ック数（分割数）が多くなると、代表点マツチング法の
利点が失われ、好ましくなかった。

〔発明の目的〕

本発明は、上述した欠点を改良したもので、絵柄の平担
な画像や雑音の大きな画像に対しても正確な動きベクト
ルを検出する動きベクトル検出装置を提供することを目
的とする。

〔発明の概要〕

本発明は、連続する２フレームの相関から３Ｘ７レーム
の動フレームの動きベクトルを求める代表点マツチング
法を用いた動きベクトル検出装置において、まず前フレ
ームを複数の小ブロックに分割し、この各ブロックより
代表点を得る際に、各ブロックから得られる代表点が、
動きベクトル検出に使用するのに有効であるか無効であ
るかを表わすブロック情報を算出する。次に各ブロック
毎にブロック情報によりそのプロ、りの代表点が、動き
ベクトル検出に使用するのに有効であるか無効であるか
を判定する。次に前フレームの代表点と現フレームの対
応するブロックの画素間の相関演算を行い、相関値を求
める際に、上記のように代表点が無効であると判定され
たブロックを使用せず有効であると判定されたブロック
からのみ相関値を求め、動きベクトルを検出するもので
ある。

ブロック情報としては、代表点と画素との差分絶対値の
分散、又は平均値を使用する。静止した連続するフレー
ムを考え、ある１つのブロックに注目した場合、そのブ
ロックが動きベクトル検出に対して無効なブロックであ
るとは、静止を表わす偏位の相関演算値が、相関演算を
代表点と画素との差分絶対値とすると、他の偏位の相関
演算値と近い値を取る可能性が高いということである。

言い換えれば、代表点から見たブロック内の画素との相
関が強いと言うことである。このことからブロックの代
表点の有効無効を表すブロック情報として、代表点から
見たブロック内の′＃Ｉ泰との相関の強さが良い。一般
に、画素間り差分（直の分布はラプラス分布となってい
て、その分散が、相関の強さを表わしていることは知ら
れているので、ブロック情報として、代表点と国産との
差分絶対値の分散を使用する。又分散を求めるには）・
−ドウエアの規模も大きくなるので、ハードウェアの規
模も小さすみ、分散を間接的に表わしているものとして
、代表点とブロック内の画素との差分絶対値の平均値が
ある。

〔発明の効果〕

本発明によれば、代表点マツチング法による４レリきベ
クトル検出装置において、絵柄に応じて、動きを反映し
ている部分のブロックだりを使用することにより、平担
な絵柄を含む画像や大きな雑音を持つ画像に対しても誤
検出をなくシ、正確に勅きベクトルを検出することがで
きる。

この結果、フレーム相関を利用した動き補償フレーム間
符号化においては、発生情報　を抑制することにより、
符号化効ギを高め、フレーム間内挿等の動画像処理にお
いては、画質向上を効率良く行うことができる。

〔発明の実施例〕

第１図に本発明による動きベクトル検出装置の原理的構
成を示し、これを用いて以下動作の概要について述べる
。端子１から人力した現フレームの画像信号は、代表点
ブロック情報算出回路２と相関演算回路４に入力される
。代表点ブロック情報回路２では、代表点を得ると共に
、その代表点の有効無効性を表すブロック情報を算出す
る。

代表点ブロック情報算出回路２で算出された代表点及び
、ブロック・清報は、代表点ブロック情報メモリ３に出
力されると共に、ブロック情報は、判定回路５にも出力
される。代表点ブロック情報メモリー３に入力された現
フレームのそれぞれの値は、次フレームとの相関演算に
使用される。判定回路５に入力された現フレームのブロ
ック情報は、次フレームとの相関演算の判定の制限値を
求めるのに使用される。相関演算回路４に入力された現
フレームの画像信号は、代表点ブロックｔ＃報メモリー
３に記憶された前フレームの代表点との間で相関演算が
なされる。この相関演算の結果は選択器６に出力される
。例えば、相関演算とし７ては、代表点と画素との差分
絶対値を取る場合などがある。この時、代表点ブロック
情盃メモリー３は、相関演算回路４に出力された前フレ
ームの代表点のブロック情報を判定回路５に出力する。

判定回路５に入力されたブロック情報は、予めブロック
情報より求められた制限値と比較され、制限値より大き
ければ、有効と判定され、選択器６がオンとなり相関演
算回路４から入力された演算結果を例えば溝算結果から
相関値を求める手段を各偏位に対するブロックごとの累
積加算とすれば、累積加算回路７に出力し、制限値より
小さければ、無効と判定され、選択器６が、オフとなり
、演算結果を出力しない。累積加算回路７では、有効と
判定されたブロックだけによる種々の偏位の相関値が得
られ、動きベクトル算出回路８に出力される。動きベク
トル算出回路８では、入力された相関値より前フレーム
と現フレームの動きベクトルが算出され、端子９に動き
ベクトルが出力される。

例えば、動きベクトル算出回路としては、相関演算値を
差分絶対値とすれば、相関値の最小値を求め、この最小
値を与える偏位を動きベクトルとすればよい。

次に第１図の中の代表点ブロック情報算出回路２につい
て第２図を使って詳細な動作の説明をする。本実施例で
は、ブロック情報として、代表点と画素との差分絶対値
の分散を求めている。

端子１０から供給された画像信号は、遅延素子１）と代
表点メモリ１３に入力する。ただし、この代表点メモリ
１３は、小なくとも水平方向の代表点数分のメモリ領域
を持ち、画像イ」号のうち、代表点たる信号のみが選択
記憶されるようにアドレスコントローラー１５によって
制御される。差分絶対器１２では、代表点メモリ１３か
ら読み出された代表点と遅延した画素との差分絶対値を
求める。

このデータは、累積加算器１４に出力される。この累積
加算器は少なくとも水平方向ブロック数分のメモリ領域
を持ち、アドレスコントローラー１５によって制御され
る。累積加算器１４では、水平方向全ブロックに対して
、各ブロックの全画素の差分絶対値の総和を求める。こ
の結果は、除算器１６では、ブロックの全画素数で除算
し、各ブロックの平均値を求める。このデータは、平均
値メモリ１７に出力される。平均値メモリ１７は、少な
くとも水平方向のブロック数分のメモリー領域を持ち、
アドレスコントローラー１８によって制御される。

平均値メモリー１７に記憶された各ブロックの平均値は
、分散の算出に使用される。

差分二乗演算器２０では、遅延素子２０では、遅延Ｓ子
１９によって遅延された差分絶対値演算器の出力と平均
値メモリー１７からの平均値との差分二乗値を求める。

この結果は、累積加算器２１に供給される。累積加算器
２１は少なくとモ）水平方向ブロック数分のメモリ領域
を持ち、アドレスコン）　ｏ　−ラー１８によって制御
される。

累積加算器２】では、水平方向各ブロックの差分二垂値
の総和を求め、演算器２２に出力する。演Ｗ器２２では
、ブロックの全画素数で除算を行い次に平方根を取るこ
とによって、分散を求め、ブロック情報として端子２４
に出力する。又、代表点メモリー１３は、代表点を端子
２３に出力する。

第３図は、第２図で説明した代表点、ブロック情報算出
回路のタイミングを説明したものである。

画面を水平方向■ブロック、垂直方向Ｊブロックに分割
する。１ブロツクは、水平方向に画素、垂直方向Ｌライ
ンであり、画紫数ＫＸＬ画素で構成される。代表点は各
ブロックの中心に選ぶ。

なお、代表点メモリ１３ではシリアルに供給される画像
信号からこの中心のものを愈択し、記憶している。差分
絶対値の分散を求めるには、まず代表点とブロック内の
画素との差分絶対値の平均値を求め、分散を求めなけれ
ばならない。入力画像信号は、走査線信号であるかｒ）
、差分絶対値・つ″）＜を算が始まるのは、水平方向の
初めのブロツカが・匁力ｔ、てか仁・である。水平方向
の全ブロックの平均値の算出には、期間２５を必要とす
る。分散のｍ’ｌ−７６が始まるのは、水平方向の始め
のブロックの平均値が算出されてからである。水平方向
全ブロックの分散の算出には、期間２６を必要とする。

次に第１図の中の判定回路５について、第４図を使って
詳細な動作の説明をする。本実施例Ｔは、予め決められ
たブロック数だけを有効とする様にブロック情報の頻度
を求め、この頻度分布から、フレーム毎に制限値を書き
変える。

端子２７から入力した現フレームのブロック情報は、数
値変換器２８に入力し、ブロック情報に応じてメモリー
３０上のアドレスに変換され、アドレスコントローラー
２９に出力される。アドレスコントローラー２９では、
メモリー３０上の入力したアドレスの値を＋１する。メ
モリー３０上にブロック↑１）＃報の伸度グラフを作成
が、終ると、アドレスコントローラー２９は、メモリー
３０上の頻度を累積加算器３１に出力し、累積加算した
頻度をメモリー３２に入力し、メモリー３２上に累積加
算頻度グラフを作成する。

比較器３３で−予め与えられたイｆ効ブロック数Ｘ。

とメモリ３２上の累積加算器グラフを比較して、予め与
えられた有効ブロック数ＸＯに最も近いブロック数を有
効とする（ＩＩ１）限値を、制限ｒａｘ１とする。

端子３４から人力ｌまた前フレームのブロック情報は、
制限値Ｘ１と比較器３５と比較され、制限値Ｘ１より大
きく有効であると判定されれば、有効であるという信号
を端子３６に制限値ｘ１より小さく無効であると判定さ
れれば、無効であるという（ｄ号を端子３６に出力する
。

〔発明の他の実施例〕

第２図の代表点ブロック情報算出回路の実施例では、代
表点とブロック内の画素の差分絶対値の分散をブロック
情報とした。しかし、分散を求めるには、ハードウェア
の規模も大きくなる。そこで分散とほぼ同様の効果を持
ち、ハードウェアの規模も小さくできるブロック情報と
して、代表点とブロック内の画素の差分絶対値の平均値
がある。

本実施例の詳細な動作の説明は、第２図の平均値算出ま
でと同様である。

第４図の判定回路の実施例では、制限値をブロック情報
の頻度グラフをメモリー上に作り、予め決められた有効
ブロック数だけを有効とする制限値を求めたが、本実施
例では、予め与えられた制限値の候補のそれぞれの有効
ブロック数を求め、このブロック数と予め与えられた有
効ブロック数とを比較し、このブロック数に最も近いブ
ロック数を与える制限値の候神とする。第５図に示した
本実施例の詳細な動作を説明する。この場合制限値の候
補の数を３暗とする。

端子３７から入力した現フレームのブロック情報は、予
め与えられた制限の値の候補ＸＯ，ＸＩ、Ｘ２とそれぞ
れ比較器３８．３９．４０で比較され、制限値の候補よ
り大きければ有効ブロックとし、それぞれの結果に応じ
てカウンター４１．４２．４３の値を＋１増加させ、３
賭の制限値の候補に対する有効ブロック数を求める。

比較器４４では、予め与えられた有効ブロックＩＸ３と
１ｉＳ較され、最も近い有効ブロック数を持つ、制御”
ｉ　１ｍ　１７＞候補がどれであるかを判定結果を選択
器４５）（Ｑ、１−（ｌ力ｆる。選択器４５では、判定
結果に基づいて邪ｉ限値の候補ＸＯ，ＸＩ、Ｘ２を制限
値と１．２、制御’Ｊ４値Ｘ４に出力する。端子４６か
ら入力した前フレ〜・ムのブロック情報は、比較器４７
で、制限値Ｘ４と比較され、判定結果を端子４８に出力
する。

【図面の簡単な説明】

第１図は、本発明の原理的な構成図、第２図は、ブロッ
ク情報算出回路の概略構成図、第３図は、第２図のブロ
ック情報算出回路の動作時間を説明するための図、第４
図は、判定回路の概略構成図、第５図は、判定回路の他
の概略構成図である。 １・・・画像信号入力端子、 ２・・・代表点・ブロック情報算出、回Ｊ５．　。 ３・・・代表点・ブロック情報メモリー、４・・・相関
、演算回路、 ５・・・判定回路１ ６・・・選択器、 ７・・・累積加算回路、 ８・・・動ぎベクトル算出回路、 ９・・・動きべ々トル出力端子。

Claims (1)

【特許請求の範囲】
1. （１）画面を複数の小ブロックに分割し、前フレームの
   画面の名ブロックより、代表点を得る手段と、前記前フ
   レームの代表点とこの代表点に対応する現フレームのブ
   ロックに含まれる画素間の相関演算を行い両面全体の相
   関値を得る手段と、この相関値から時間的に連続する２
   フレームの画面全体の平行移動を示す動きベクトルを算
   出する動きベクトル検出装置において、前フレームの各
   小ブロックより、代表点と代表点を含むブロック内の画
   素とから代表点の有効性を表すブロック情報を算出する
   手段と、前記ブロック情報により、ブロック毎に代表点
   の有効又は無効を判定する手段と、この判定に基づき、
   有効と判定されたブロックのみから相関値を求める手段
   とを具備することを特徴とする動きベクトル検出装置。