JPH0728406B2

JPH0728406B2 - 動きベクトル検出装置

Info

Publication number: JPH0728406B2
Application number: JP60042367A
Authority: JP
Inventors: 比呂志嵩; 文夫杉山; 佑一二宮; 吉道大塚; 吉則和泉; 清一合志
Original assignee: Toshiba Corp; Japan Broadcasting Corp
Current assignee: Toshiba Corp; Japan Broadcasting Corp
Priority date: 1985-03-04
Filing date: 1985-03-04
Publication date: 1995-03-29
Anticipated expiration: 2010-03-29
Also published as: JPS61201587A

Description

【発明の詳細な説明】〔発明の技術分野〕この発明は、画面内の画像全体の平行移動量（動きベク
トル）を検出する動きベクトル検出装置に関する。

〔発明の技術的背景とその問題点〕

一般に、テレビジョン画面のような画面内における画像
の動きは、画像中の物体の移動によるものと、カメラの
平行移動（パン）によるものとに大別される。前者は画
像の局部的な動きであるのに対し、後者は画像全体が相
互関係をほぼ維持したまま動く。後者の画像全体の平行
移動量（方向および大きさ）を動きベクトルと称する。
即ち、第７図において画面上の画像が（ａ）〜（ｂ）〜
（ｃ）の如く矢印の方向に平行移動したとき、動きベク
トルは第８図に示されるように横方向および縦方向の偏
移（ξ，η）で与えられる。この動きベクトルを検出
し、これを用いて例えば現フレームの画像に前フレーム
の画像をシフトして重ね合せれば、重ね合せて得られた
画像と前フレームの画像との間の実際の動きを小さくす
ることができ、ボケの少ない、より高品質の画像が得ら
れる。また、画像信号を符号化して伝送する場合、動き
ベクトルを用いて重ね合せられた画像の動きが小さくな
ることは、連続した２フレーム間の画像の時間相関性を
利用して予測符号化を行なう際の予測誤差が小さくなる
ということであり、それによって符号化効率の向上に寄
与することができる。

ところが、実際の画像の動きは画像全体の平行移動と、
画像中の物体の動き等が混在しているため、物体の動き
による動きベクトルの誤検出や、画像中の絵柄による検
出感度の低下といった画像に依存した問題がある。特
に、動きベクトルの検出は具体的には時間的に連続した
２フレームの画面間の画像情報の相関演算を行ない、そ
れによって得られた相関値のなかで相関性の比較的高い
相関値と、その相関値を与える２点間の偏移より動きベ
クトルを算出する方法がとられるため、背景にほとんど
変化の無い絵柄の平行移動では相関性が低くなって検出
が難しくなる。絵柄の変化の乏しい画像間の相関は、あ
らゆる偏移を与える２点間で相関性が高くなるため、こ
のような絵柄の変化の乏しい領域から画面全体の平行移
動量を割り出すのは難しいからである。例えば画面の上
部に空があって下部に物体のある絵柄が、左右方向に平
行移動する場合が良い例である。このような場合、平行
移動量を検出するのに有効なほぼ静止した画像の領域が
変化の少ない空であり、しかも左右の平行移動に対して
はその領域が画面の上部に存在したまま動かないからで
ある。逆に、このような絵柄の画像についても動きベク
トルを検出できるように検出感度を上げて、相関性の低
い２点間の偏移をも動きベクトルの算出に使用すると、
画像中の物体の動きによる動きベクトルの誤検出を招く
ことになり、好ましくない。

このように、時間的に連続する２フレームの画像情報間
の相関を画面全体について求めて動きベクトルを検出す
る方法では、画像中の絵柄によって、あるいは画像中の
物体の動きによって検出精度が大きく左右されるという
問題を有していた。

〔発明の目的〕

本発明の目的は、画像中の絵柄や物体の動き等に対し
て、動きベクトルを精度良く検出できる動きベクトル検
出装置を提供することにある。

〔発明の概要〕

本発明はこの目的を達成するため、各フレームの画面を
複数個に分割し、時間的に連続した２フレームの画像情
報間の相関演算をその各分割画面相互間についてそれぞ
れ独立して行ない、相関値の相関性が低い分割画像相互
間について得られた相関値はその相関性を無効と判定
し、画像全体の平行移動量としての動きベクトル算出か
ら除外することにより、検出精度を高めるようにしたも
のである。

即ち、本発明は時間的に連続する２フレームの画像情報
から、画像全体の平行移動量を示す動きベクトルを検出
する動きベクトル検出装置において、各フレームの画像
を複数の分割画面に分割し、時間的に連続する２フレー
ムの画面について互いに対応する分割画面の画像情報の
相関演算を行ない、各分割画面毎に複数の第１の相関値
を出力する第１の手段と、この第１の手段により得られ
た各分割画面毎の複数の第１の相関値のなかで最も相関
性の高い第２の相関値とその第２の相関値を与える２点
間の偏移を得る第２の手段と、この第２の手段により得
られた第２の相関値の相関性の有効・無効を前記各分割
画面毎の複数の第１の相関値を参照して判定する第３の
手段と、この第３の手段により第２の相関値が無効と判
定された分割画面を排した残りの分割画面について前記
第２の手段により得られた第２の相関値とそれに対応す
る偏移に基いて前記動きベクトルを算出する第４の手段
とを具備する。そして、前記第３の手段は、（ａ）各分
割画面毎の複数の第１の相関値の平均値が予め定められ
た設定値を下回るか、あるいは（ｂ）該平均値に定数を
乗じて得た設定値が第２の相関値を下回るか（第１の相
関値が小さいほど相関性が高い場合）または該設定値が
第２の相関値を上回るか（第１の相関値が大きいほど相
関値が高い場合）、あるいは（ｃ）各分割画面毎のの複
数の第１の相関値の最大値に対する最小値の比が所定の
閾値を上回るか、の３つの条件の少なくとも一つが成立
したとき第２の相関値の相関性を無効と判定し、これら
３つの条件がいずれも成立しないとき第２の相関値の相
関性を有効と判定することを特徴とする。

〔発明の効果〕

本発明によれば、画面内で変化の乏しい絵柄の領域のよ
うな、最も相関性の高い相関値の相関性が無効と判定さ
れた分割画面について得られた相関値と、それを与える
２点間の偏移は、動きベクトル算出に使用せず、それ以
外の領域の分割画面についての相関値および偏移から動
きベクトルを検出するため、動きベクトルの誤検出の影
響は高々分割画面内にとどまり、変化の乏しい絵柄を背
景に含むような画像の動きベクトルをも精度よく検出す
ることが可能となる。また、動きベクトル検出のために
検出感度を極端に上げる必要がなくなるので、画像中の
物体の動きに影響されることなく、正しい動きベクトル
検出を行なうことができる。

〔発明の実施例〕

第１図は本発明の一実施例に係る動きベクトル検出装置
の概略構成を示すブロック図である。入力端子１より入
力される画像情報は２分岐され、一方はフレームメモリ
２に前フレームの画像情報として導かれ、他方は相関器
３に現フレームの画像情報として導かれる。入力画像情
報は例えばテレビジョン画像情報のようなシリアルな走
査信号であり、一般的にディジタル化されているものと
する。フレームメモリ２はアドレスコントローラ４から
分割画面の画素アドレスを示す読出しアドレスデータ11
が与えられることによって、前フレームの画像情報のう
ち入力端子１からの画像情報の画素が属する分割画面内
の画素の情報を順次相関器３へ供給する。こうして相関
器３では、時間的に連続する２フレームの画像情報間の
相関演算を、１画面を複数個に分割した分割画面相互間
について実行することになる。

相関器３は例えば相対応する画像情報間の２乗誤差演算
や差分絶対値演算、あるいは相互相関演算等の公知の相
関演算を分割画面相互間について行なう。相関器３から
出力される相関値は累積加算器５に入力され、アドレス
コントローラ４から与えられるアドレスデータ12に従っ
て、対応する累積加算値に加算されてゆく。即ち、アド
レスコントローラ４からフレームメモリ２に供給される
読出しアドレスデータ11は、入力端子１に入力された現
フレームの画像情報の画素に対して、それと同一画素が
属する前フレームの分割画面内の各画素が持つ偏移に対
応しており、またアドレスコントローラ４から累積加算
器５に供給されるアドレスデータ12はこの読出しアドレ
スデータ11に対応しているので、累積加算器５では相関
器３から新たに入力されるある偏移に対応する相関値
が、それ以前までの同じ偏移に対応する累積加算値に加
算されることになる。

入力端子１に１フレーム分の画像情報が入力され、各分
割画面毎の相関演算と、相関値の累積加算が終了する
と、アドレスコントローラ４は累積加算器５へアドレス
データ12として、分割画面毎に累積加算された相関値を
順次読出すために、前記の各偏移に対応したアドレスデ
ータを供給し、それによって累積加算器５は複数の累積
加算相関値（第１の相関値）13を出力する。この累積加
算器５から出力される相関値13は、相関性探索回路６と
相関性有効・無効判定回路７に入力される。相関性探索
回路６は各分割画面内で最も相関性の高い相関値を探索
するとともに、その相関値を与える偏移をアドレスデー
タ12から算出し、これら最も相関性の高い第２の相関値
14およびその相関値を与える偏移15を判定回路８へ供給
する。

一方、相関性有効・無効判定回路７は累積加算器５から
出力された相関値13に基いて分割画面毎に最も相関性の
高い相関値14の相関性の有効・無効を判定し、判定回路
８へ判定信号16を出力する。判定回路８は３つの入力信
号に基き、動きベクトルを算出し出力端子９へ出力す
る。即ち、判定回路８は判定信号16に基き、相関性が最
も高い相関値の相関性が無効と判定された分割画面相互
間について得られた相関値は使用せず、残りの分割画面
相互間について得られた相関値およびそれに対応する偏
移より動きベクトルを算出するのである。

次に、相関性有効・無効判定回路７の具体例について説
明する。一般に、相関値のピークが明瞭に出るのは、絵
柄に変化があり、その変化が分割画面のほぼ全体にわた
っているときである。相関性有効・無効判定回路７はこ
のような相関値の性質に着目して、次のように種々の構
成をとることができる。

第２図は相関性有効・無効判定回路７の第１の具体例で
あり、第１図における累積加算器５からの相関値13が入
力され、アドレスコントローラ４からのアドレスデータ
12によって指示された分割画面での相関値の平均値が平
均値算出回路21で算出される。この平均値は比較回路22
に入力され、予め設定された設定値C₁と比較される。比
較回路22は平均値が設定値C₁を下回ると、相関値13の相
関性を無効と判定し、それ以外のとき有効と判定して判
定信号16を出力する。この例は相関性が低いときは相関
値の大きさが平均的に小さくなることに着目したもので
ある。この例は画像の絵柄に変化が乏しく、相関値が全
体的に小さい場合、特に有効である。

第３図は相関性有効・無効判定回路７の第２の具体例で
ある。平均値算出回路31でアドレスデータ12によって指
示された分割画面での相関値の平均値を算出するまでは
第２図と同様であるが、この例では算出された平均値が
平均値補正回路32により例えば定数倍された後、比較回
路33の一方の入力に与えられる。比較回路33の他方の入
力には、第１図における相関性探索回路６からの相関性
の最も高い相関値14が与えられている。ここで、第１図
における相関器３での相関演算が例えば連続する２フレ
ームの画像情報間の差分絶対値または２乗誤差の演算の
ように、相関値の小さいほど相関性が高くなるような演
算によって構成される場合は、算出された平均値が相関
性の最も高い相関値14を下回るとき、累積加算器５から
の相関値13の相関性を無効と判定し、それ以外のとき有
効と判定して判定信号16を出力する。一方、相関演算が
相互相関演算のように相関値が大きいほど相関性が高く
なるような演算によって構成される場合は、逆に算出さ
れた平均値が相関性の最も高い相関値14を上回るとき、
累積加算器５からの相関値13の相関性を無効と判定し、
それ以外のとき有効と判定する。即ち、この第３図の例
は相関値のピークがより深いものを有効と判定するた
め、画像の絵柄に変化はあるが、画像内に動物体がある
ようなとき特に有効である。

第４図は相関性有効・無効判定回路７の第３の具体例で
あり、アドレスデータ13によって指示された分割画面内
での相関値13の最小値および最大値が最小値探索回路41
および最大値探索回路42で求められ、比算出回路43にお
いて両者の比、即ち最小値／最大値が算出される。この
比は比較回路44において所定の閾値C₂（０≦C₂≦１）と
比較される。ここで、相関性の低い場合には最小値と最
大値は接近しているから、その比が閾値C₂を上回るとき
相関性が無効と判定され、それ以外のとき有効と判定さ
れて判定信号16が出力される。なお、この第４図の例に
おける最大値と最小値との比を算出することの代りに、
差を算出してもよい。

第５図は相関性有効・無効判定回路７の第４の具体例で
あり、以上説明した第２図〜第４図の例の複合形であ
る。即ち、平均値算出回路51は第２図，第３図における
21,31に、また比較回路52,53,58はそれぞれ第２図〜第
４図における22,33,44に、また補正回路53は第３図にお
ける32に、また最小値探索回路55,最大値探索回路56は
第４図における41,42にそれぞれ相当する。そして、こ
の例では３つの比較回路52,54,58の判定結果の論理和を
オア回路59で求め、その結果を判定信号16として出力す
る構成となっている。

この第５図の例によれば、第２図〜第４図でそれぞれ説
明した３つの条件のいずれか一つでも成立すると、相関
値13の相関性が無効と判定され、３つの条件のいずれも
成立しないとき有効と判定されるわけである。

次に、第６図を参照して本発明の他の実施例を説明す
る。この実施例は各フレームについて複数の動きベクト
ル検出領域と、該動きベクトル検出領域の少なくとも１
つをそれぞれ含む複数の代表点抽出領域を設定し、現フ
レームにおける各動きベクトル検出領域の各点の画像情
報と、前フレームにおける該動きベクトル検出領域が含
まれる代表点抽出領域から抽出された代表点の画像情報
との相関演算を行なうようにした動きベクトル検出装置
に本発明を適用した例である。

第６図において、入力端子１より入力される画像情報は
２分岐され、一方はラッチ回路17に前フレームの画像情
報として導かれ、他方は相関器３に現フレームの画像情
報として導かれる。ラッチ回路17は入力端子１に予め定
められた代表点の画像情報が入力されると、それを代表
点の画像情報の入力タイミングに合せて発生されるラッ
チパルス61によりラッチする。このラッチ回路17にラッ
チされた代表点の画像情報は、転送許可信号62により適
当なタイミングで代表点保存メモリ18に転送され、その
代表点について予め定められたアドレスに保存される。

代表点保存メモリ18は、第１図の実施例におけるフレー
ムメモリ２に代えて設けられたものであり、書込み／読
出しのモード切換信号63により制御され、書込みモード
時にはアドレスコントローラ４から発生される書込みア
ドレスデータ64が、また読出しモード時には分割画面の
画素アドレスを示す読出しアドレスデータ65がそれぞれ
アドレス切換回路20を介してアドレス入力として供給さ
れる。代表点保存メモリ18から読出される代表点の画像
情報はラッチ回路19にラッチされ、相関器３に導かれ
る。相関器３は入力端子１に入力された現フレームの画
像情報と、ラッチ回路19からの前フレームの代表点の画
像情報との相関演算を、先の実施例と同様に分割画面相
互間について行なう。ここで、ラッチ回路19は代表点保
存メモリ18から読出される代表点の画像情報がそれぞれ
代表点抽出領域内の１つの画素の画像情報を代表してお
り、それが各代表点抽出領域に含まれる動きベクトル検
出領域内の各画素の画像情報との相関演算のために複数
回使用される関係で、その複数回使用される期間中、代
表点保存メモリ18から読出された画像情報を保持するた
めに設けられている。また、ラッチ回路17は代表点保存
メモリ18が読出しモードにあるときに現フレームにおけ
る代表点の画像情報が到来しても、それを受付けられる
ようにするために設けられている。

相関器３は入力端子１に現フレームの各画素の画像情報
が入力される毎に、その画像情報とラッチ回路19から供
給される前フレームにおける代表点抽出領域の代表点の
画像情報との相関演算を行なう。この場合、ラッチ回路
19から相関器３に供給される画像情報は、入力端子１に
入力された画像情報の画素が属する動きベクトル検出領
域を含む代表点抽出領域の前フレームにおける代表点で
あって、かつ入力端子１に入力された画像情報の画素が
属する分割画面内の代表点の画像情報である。相関器３
以降の構成および動作は第１図の実施例と同様であるた
め、説明を省略する。

この第６図の実施例によれば、動きベクトル検出のため
に要する演算回数が１フレーム当り高々１フレームを構
成する画素の個数程度で済み、大幅に少なくなる利点が
ある。この程度の演算量であれば１フレームあるいは１
フィールド内での処理、即ち実時間処理が十分可能であ
り、またハードウェア、特に記憶手段として必要なもの
は１フレームの画素数より大幅に少なく、しかも１フレ
ーム分についての代表点の画像情報を保存するメモリ
と、相関値の累積加算用メモリのみであり、装置を実現
する上で大きなメリットとなる。

なお、本発明は上記実施例に限定されるものではなく、
その要旨を逸脱しない範囲で種々変形実施することが可
能である。

【図面の簡単な説明】

第１図は本発明の一実施例に係る動きベクトル検出装置
の構成を示すブロック図、第２図〜第５図は本発明に係
る動きベクトル検出装置における相関性有効・無効判定
回路の種々の具体例を示すブロック図、第６図は本発明
の他の実施例に係る動きベクトル検出装置の構成を示す
ブロック図、第７図および第８図は動きベクトルの概念
を説明するための図である。１……画像情報入力端子、２……フレームメモリ、３…
…相関器、４……アドレスコントローラ、５……累積加
算器、６……相関性探索回路、７……相関性有効・無効
判定回路、８……判定回路、９……動きベクトル出力端
子、17,19……ラッチ回路、18……代表点保存メモリ、2
0……アドレス切換回路、21,31,51……平均値算出回
路、22,33,44,52,54,58……比較回路、32……補正回
路、41,55……最小値探索回路、42,56……最大値探索回
路、43,57…比算出回路、59……オア回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者二宮佑一東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者大塚吉道東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者和泉吉則東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者合志清一東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内

Claims

【特許請求の範囲】

【請求項１】時間的に連続する２フレームの画像情報か
ら、画像全体の平行移動量を示す動きベクトルを検出す
る動きベクトル検出装置において、各フレームの画面を複数の分割画面に分割し、時間的に
連続する２フレームの画面について互いに対応する分割
画面の画像情報の相関演算を行ない、各分割画面毎に複
数の第１の相関値を出力する第１の手段と、この第１の手段により得られた各分割画面毎の複数の第
１の相関値のなかで最も相関性の高い第２の相関値とそ
の第２の相関値を与える２点間の偏移を得る第２の手段
と、この第２の手段により得られた第２の相関値の相関性の
有効・無効を前記各分割画面毎の複数の第１の相関値を
参照して判定する第３の手段と、この第３の手段により第２の相関値が無効と判定された
分割画面を排した残りの分割画面について前記第２の手
段により得られた第２の相関値とそれに対応する偏移に
基いて前記動きベクトルを算出する第４の手段とを具備
し、前記第３の手段は、（ａ）各分割画面毎の複数の第１の
相関値の平均値が予め定められた第１の設定値を下回る
か、あるいは（ｂ）第１の相関値が小さいほど相関性が
高い場合において該平均値に定数を乗じて得た第２の設
定値が第２の相関値を下回るか、または第１の相関値が
大きいほど相関性が高い場合において該第２の設定値が
第２の相関値を上回るか、あるいは（ｃ）各分割画面毎
の複数の第１の相関値の最大値に対する最小値の比が所
定の閾値を上回るか、の３つの条件の少なくとも一つが
成立したとき第２の相関値の相関性を無効と判定し、こ
れら３つの条件がいずれも成立しないとき第２の相関値
の相関性を有効と判定することを特徴とする動きベクト
ル検出装置。