JPS61201587A

JPS61201587A - 動きベクトル検出装置

Info

Publication number: JPS61201587A
Application number: JP60042367A
Authority: JP
Inventors: Hiroshi Kasa; 比呂志嵩; Fumio Sugiyama; 文夫杉山; Yuichi Ninomiya; 佑一二宮; Yoshimichi Otsuka; 吉道大塚; Yoshinori Izumi; 吉則和泉; Seiichi Goshi; 清一合志
Original assignee: Toshiba Corp; Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Toshiba Corp; Japan Broadcasting Corp
Priority date: 1985-03-04
Filing date: 1985-03-04
Publication date: 1986-09-06
Anticipated expiration: 2010-03-29
Also published as: JPH0728406B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の技術分野〕この発明は、画面内の画像全体の平行移動量（動きベク
トル）を検出する動きベクトル検出装置に関する。

〔発明の技術的背景とその問題点〕

一般に、テレビジョン画面のような画面内における画像
の動きは、画像中の物体の移動によるものと、カメラの
平行移動くパン）によるものとに大別される。前者は画
像の局部的な動きであるのに対し、後者は画像全体が相
互関係をほぼ維持したまま動く。後者の画像全体の平行
移動量（方向および大きさ）を動きベクトルと称する。

即ち、第７図において画面上の画像が（ａ）〜（ｂ）〜
（Ｃ）の如く矢印の方向に平行移動したとき、動きベク
トルは第８図に示されるように横方向および縦方向の偏
移（ξ、η）で与えられる。この動きベクトルを検出し
、これを用いて例えば現フレームの画像に前フレームの
画像をシフトして重ね合せれば、重ね合せて得られた画
像と前フレームの画像との間の実際の動きを小さくする
ことができ、ボケの少ない、より高品質の画像が得られ
る。

また、画像信号を符号化して伝送する場合、動きベクト
ルを用いて重ね合せられた画像の動きが小さくなること
は、連続した２フレ一ム間の画像の時間相関性を利用し
て予測符号化を行なう際の予測誤差が小さくなるという
ことであり、それによって符号化効率の向上に寄与する
ことができる。

ところが、実際の画像の動きは画像全体の平行移動と、
画像中の物体の動き等が混在しているため、物体の動き
による動きベクトルの誤検出や、画像中の絵柄による検
出感度の低下といった画像に依存した問題がある。特に
、動きベクトルの検出は具体的には時間的に連続した２
フレームの画面間の画像情報の相関演算を行ない、それ
によって得られた相関値のなかで相関性の比較的高い相
関値と、その相関値を与える２点間の偏移より動きベク
トルを算出する方法がとられるため、背景にほとんど変
化の無い絵柄の平行移動では相関性が低くなって検出が
難しくなる。絵柄の変化の乏しい画像間の相関は、あら
ゆる偏移を与える２点間で相関性が高くなるため、この
ような絵柄の変化の乏しい領域からｄ面全体の平行移動
量を割り出すのは難しいからである。例えば画面の上部
に空があって下部に物体のある絵柄が、左右方向に平行
移動する場合が良い例である。このような場合、平行移
動量を検出するのに有効なほぼ静止した画像の領域が変
化の少ない空であり、しかも左右の平行移動に対しては
その領域が画面の上部に存在したまま動かないからであ
る。逆に、このような絵柄の画像についても動きベクト
ルを検出できるように検出感度を上げて、相関性の低い
２点間の偏移をも動きベクトルの算出に使用すると、画
像中の物体の動きによる動きベクトルの誤検出を招くこ
とになり、好ましくない。

このように、時間的に連続する２フレームの画像情報間
の相関を画面全体について求めて動きベクトルを検出す
る方法では、画像中の絵柄によって、あるいは画像中の
物体の動きによって検出精度が大きく左右されるという
問題を有していた。

〔発明の目的〕

本発明の目的は、画像中の絵柄や物体の動き等に対して
、動きベクトルを精度良く検出できる動きベクトル検出
装置を提供することにある。

〔発明の概要〕

本発明はこの目的を達成するため、各フレームの画面を
複数個に分割し、時間的に連続した２フレームの画像情
報間の相関演算をその各分割画面相互間についてそれぞ
れ独立して行ない、相関値の相関性が低い分割画面相互
間について得られた相関値はその相関性を無効と判定し
、画像全体の平行移動量としての動きベクトル算出から
除外することにより、検出精度を＾めるようにしたもの
である。

即ち、本発明に係る動きベクトル検出装置は時間的に連
続する２フレームの画像情報から、画像全体の平行移動
量を示す動きベクトルを検出する装置において、各フレ
ームの画面を複数個に分割して時間的に連続する２フレ
ームの画面の互いに対応する分割画面相互間の画像情報
の相関演算を行なう第１の手段と、この第１の手段によ
り得られた互いに対応する分割画面相互間の画像情報の
相関値のなかで最も相関性の高い相関値とその相関値を
与える２点間の偏移を得る第２の手段と、この第２の手
段により得られた相関値の相関性の有効・無効を判定す
る第３の手段と、この第３の手段により最も相関性の高
い相関値の相関性が無効と判定された分割画面を排した
残りの分割画面について前記第２の手段より得られた相
関値とそれに対応する偏移に基いて前記動きベクトルを
算出する第４の手段とを具備することを特徴とする。

〔発明の効果〕

本発明によれば、画面内で変化の乏しい絵柄の領域のよ
うな、最も相関性の高い相関値の相関性が無効と判定さ
れた分割画面について得られた相関値と、それを与える
２点間の偏移は、動きベクトル算出に使用せず、それ以
外の領域の分割画面についての相関値および偏移から動
きベクトルを検出するため、動きベクトルの誤検出の影
響は高々分割画面内にとどまり、変化の乏しい絵柄を背
景に含むような画像の動きベクトルをも精度よく検出す
ることが可能となる。また、動きベクトル検出のために
検出感度を極端に上げる必要がなくなどので、画像中の
物体の動きに影響されることなく、正しい動きベクトル
検出を行なうことができる。

〔発明の実施例〕

第１図は本発明の一実施例に係る動きベクトル検出装置
の概略構成を示すブロック図である。入力端子１より入
力される画像情報は２分岐され、一方はフレームメモリ
２に前フレームの画像情報として導かれ、他方は相関器
３に現フレームの画像情報として導かれる。人力画像情
報は例えばテレビジョン画像情報のようなシリアルな走
査信号であり、一般的にディジタル化゛されているもの
とする。フレームメモリ２はアドレスコントローラ４か
ら分割“画面の画素アドレスを示す読出しアドレスデー
タ１１が与えられることによって、前フレームの画像情
報のうち入力端子１からの画像情報の画素が属する分割
画面内の画素の情報を順次相関器３へ供給する。こうし
て相関器３では、時間的に連続する２フレームの画像情
報間の相関演算を、１画面を複数個に分割した分割画面
相互間について実行することになる。

相関器３は例えば相対応する画像情報間の２乗誤差演算
や差分絶対値演算、あるいは相互相関演算等の公知の相
関演算を分割画面相互間について行なう。相関器３から
出力される相関値は累積加算器５に入力され、アドレス
コントローラ４から与えられるアドレスデータ１２に従
って、対応する累積加算値に加算されてゆく。即ち、ア
ドレスコントローラ４からフレームメモリ２に供給され
る読出しアドレスデータ１１は、入力端子１に入力され
た現フレームの画像情報の画素に対して、それと同一画
素が属する前フレームの分割画面内の各画素が持つ偏移
に対応しており、またアドレスコントローラ４から累積
加算器５に供給されるアドレスデータ１２はこの読出し
アドレスデータ１１に対応しているので、累積加算器５
では相関器３から新たに入力されるある偏移に対応する
相関値が、それ以前までの同じ偏移に対応する累積加算
値に加算されることになる。

入力端子１に１フレ一ム分の画像情報が入力され、各分
割画面毎の相関演算と、相関値の累積加算が終了すると
、アドレスコントローラ４は累積加算器５ヘアドレスデ
ータ１２として、分割画面毎に累積加算された相関値を
順次読出すために、前記の各偏移に対応したアドレスデ
ータを供給し、それによって累積加算器５は累積加算相
関値１３を出力する。この累積加算器５から出力される
相関値１３は、相関性探索回路６と相関性有効・無効判
定回路７に入力される。相関性探索回路６は各分割画面
内で最も相関性の高い相関値を探索するとともに、その
相関値を与える偏移をアドレスデータ１２から算出し、
これら最も相関性の高い相関値１４およびその相関値を
与える偏移１５を判定回路８へ供給する。

一方、相関性有効・無効判定回路７は累積加算器５から
出力された相関値１３に基いて分割画面毎に最も相関性
の高い相関値の相関性の有効°無効を判定し、判定回路
８へ判定信号１６を出力する。判定回路８は３つの入力
信号に基き、動きベクトルを算出し出力端子９へ出力す
る。即ち、判定回路８は判定信号１６に基き、相関性が
最も高い相関値の相関性が無効と判定された分割画面相
互間について得′られた相関値は使用せず、残りの分割
画面相互間について得られた相関値およびそれに対応す
る偏移より動きベクトルを算出するのである。

次に、相関性有効・無効判定回路７の具体例について説
明する。一般に、相関値のピークが明瞭に出るのは、絵
柄のに変化があり、その変化が全体にわたっているとき
である。相関性有効・無効判定回路７はこのような相関
値の性質に着目して、次のように種々の構成をとること
ができる。

第２図は相関性有効・無効判定回路７の男１の具体例で
あり、第１図における累積加算器５からの相関値１３が
入力され、アドレスコントローラ４からのアドレスデー
タ１２によって指示された分割画面での相関値の平均値
が平均値算出回路２１で算出される。この平均値は比較
回路２２に入力され、予め設定された設定値Ｃ１と比較
される。比較回路２２は平均値が設定値Ｃ１を下回ると
、相関１１［１３の相関性を無効と判定し、それ以外の
とき有効と判定して判定信号１６を出力する。

この例は相関性が低いときは相関値の大きさが平均的に
小さくなることに着目したものである。この例は画像の
絵柄に変化が乏しく、相関値が全体的に小さい場合、特
に有効である。

第３図は相関性有効・無効判定回路７の第２の具体例で
ある。平均値算出回路３１でアドレスデータ１２によっ
て指示された分割画面での相関値の平均値を算出するま
では第２図と同様であるが、この例では算出された平均
値が平均値補正回路３２により例えば定数倍された後、
比較回路３３の一方の入力に与えられる。比較回路３３
の他方の入力には、第１図における相関性探索回路６か
らの相関性の最も高い相関値１４が与えられている。こ
こで、第１図における相関器３での相関演算が例えば連
続する２フレームの画像情報間の差分絶対値または２乗
誤差の演算のように、相関値の小さいほど相関性が高く
なるような演算によって構成される場合はご算出された
平均値が相関性の最も高い相関値１４を下回るとき、累
積加算器５からの相関値１３の相関性を無効と判定し、
それ以外のとき有効と判定して判定信号１６を出力する
。一方、相関演算が相互相関演算のように相関値が大き
いほど相関性が高くなるような演算によって構成される
場合は、逆に算出された平均値が相関性９最も高い相関
値１４を上回るとき、累積加算器５からの相関値１３の
相関性を無効と判定し、それ以外のとき有効と判定する
。即ち、この第３図の例は相関値のピークがより深いも
のを有効と判定するため、画像の絵柄に変化はあるが、
画像内に動物体があるようなとき特に有効である。

第４図は相関性有効・無効判定回路７の第３の具体例で
あり、アドレスデータ１３によって指示された分割画面
内での相関１［１３の最小値および最大値が最小値探索
回路４１および最大値探索回路４２で求められ、比算出
回路４３において両者の比、即ち最小値／最大値が算出
される。この比は比較回路４４において所定の閾値Ｃ２
（Ｏ≦Ｃ２≦１）と比較される。ここで、相関性の低い
場合には最小値と最大値は接近しているから、その比が
閾値Ｃ２を上回るとき相関性が無効と判定され、それ以
外のとき有効と判定されて判定信号１６が出力される。

なお、この第４図の例における最大値と最小値との比を
算出することの代りに、差を算出してもよい。

第５図は相関性有効・無効判定回路７の第４の具体例で
あり、以上説明した第２図〜第４図の例の複合形である
。即ち、平均値算出回路５１は第２図、第３図における
２１．３１に、また比較回路５２，５３．５８はそれぞ
れ第２図〜第４図における２２．３３．４４に、また補
正回路５３は第３図における３２に、また最小値探索回
路５５゜最大値探索回路５６は第４図における４１．４
２にそれぞれ相当する。そして、この例では３つの比較
回路５２，５４．５８の判定結果の論理和をオア回路５
９で求め、その結果を判定信号１６として出力する構成
となっている。

この第５図の例によれば、第２図〜第４図でそれぞれ説
明した３つの条件のいずれか一つでも成立すると、相関
値１３の相関性が無効と判定され、３つの条件のいずれ
も成立しないとき有効と判定されるわけである。

次に、第６図を参照して本発明の他の実施例を説明する
。この実施例は各フレームについて複数の動きベクトル
検出領域と、該動きベクトル検出領域の少なくとも１つ
をそれぞれ含む複数の代表点抽出領域を設定し、現フレ
ームにおける各動きベクトル検出領域の各点の画像情報
と、前フレームにおける該動きベクトル検出領域が含ま
れる代表点抽出領域から抽出された代表点の画像情報と
の相関演算を行なうようにした動きベクトル検出装置に
本発明を適用した例である。

第６図において、入力端子１より入力される画像情報は
２分岐され、一方はラッチ回路１７に前フレームの画像
情報として導かれ、他方は相関器３に現フレームの画像
情報として導かれる。ラッチ回路１７は入力端子１に予
め定められた代表点の画像情報が入力されると、それを
代表点の画像情報の入力タイミングに合せて発生される
ラッチパルス６１によりラッチする。このラッチ回路１
７にラッチされた代表点の画像情報は、転送許可信号６
２により適当なタイミングで代表点保存メモリ１８に転
送され、その代表点について予め定められたアドレスに
保存される。

代表点保存メモリ１８は、第１図の実施例におけるフレ
ームメモリ２に代えて設けられたものであり、書込み／
読出しのモード切換信号６３により制御され、書込みモ
ード時にはアドレスコントローラ４から発生される書込
みアドレスデータ６４が、また読出しモード時には分割
画面の画素アドレスを示す読出しアドレスデータ６５が
それぞれアドレス切換回路２０を介してアドレス入力と
して供給される。代表点保存メモリ１８から読出される
代表点の画像情報はラッチ回路１９にラッチされ、相関
器３に導かれる。相関器３は入力端子１に入力された現
フレームの画像情報と、ラッチ回路１９からの前フレー
ムの代表点の画像情報との相関演算を、先の実施例と同
様に分割画面相互間について行なう。ここで、ラッチ回
路１９は代表点保存メモリ１８から読出される代表点の
画像情報がそれぞれ代表点抽出領域内の１つの画素の画
像情報を代表しており、それが各代表点抽出領域に含ま
れる動きベクトル検出領域内の各画素の画像情報との相
関演算のために複数回使用さ１″６関係１・そ７複数回
使用さ″−６期間中・代表点保存メモリ１８から読出さ
れた画像情報を保持するために設けられている。また、
ラッチ回路１７は代表点保存メモリ１８が読出しモード
にあるときに現フレームにおける代表点の画像情報が到
来しても、−すれを受付けられるようにするために設け
られている。

相関器３は入力端子１に現フレームの各画素の画像情報
が入力される毎に、その画像情報とラッチ回路１つから
供給される前フレームにおける代表点抽出領域の代表点
の画像情報との相関演算をイラなう。この場合、ラッチ
回路１９から相関器３に供給される画像情報は、入力端
子１に入力された画像情報の画素が属する動きベクトル
検出領域を含む代表点抽出領域の前フレームにおける代
表点であって、かつ入力端子１に入力された画像情報の
画素が属する分割画面内の代表点の画像情報である。相
関器３以降の構成および動作は第１図の実施例と同様で
あるため、説明を省略する。

この第６図の実施例によれば、動きベクトル検出のため
に要する演算回数が１フレーム当り高々１フレームを構
成する画素の個数程度で済み、大幅に少なくなる利点が
ある。この程度の演算量であれば１フレームあるいは１
フイールド内での処理、即ち実時間処理が十分可能であ
り、またハードウェア、特に記憶手段として必要なもの
は１フレームの画素数より大幅に少なく、しかも１フレ
一ム分についての代表点の画像情報を保存するメモリと
、相関値の累積加算用メモリのみであり、装置を実現す
る上で大きなメリットとなる。

なお、本発明は上記実施例に限定されるものではなく、
その要旨を逸脱しない範囲で種々変形実施することが可
能である。

【図面の簡単な説明】

第１図は本発明の一実施例に係る動きベクトル検出装置
の構成を示すブロック図、第２図〜第５図は本発明に係
る動きベクトル検出装置における相関性有効・無効判定
回路の種々の具体例を示すブロック図、第６図は本発明
の他の実施例に係る動きベクトル検出装置の構成を示す
ブロック図、第７図および第８図は動きベクトルの概念
を説明するための図である。１・・・画像情報入力端子、２・・・フレームメモリ、
３・・・相関器、４・・・アドレスコントローラ、５・
・・累積加算器、６・・・相関性探索回路、７・・・相
関性有効・無効判定回路、８・・・判定回路、９・・・
動きベクトル出力端子、１７．１９・・・ラッチ回路、
１８・・・代表点保存メモリ、２０・・・アドレス切換
回路、２１゜３１．５１・・・平均値算出回路、２２．
３３．４４゜５２．５４．５８・・・比較回路、３２・
・・補正回路、４１．５５・・・最小値探索回路、４２
．５６・・・最大値探索回路−１４３，５７・・・比算
出回路、５９・・・オア回路。出願人代理人　弁理士　鈴江武彦第４図第５図１ｍｐ”）第７図（ａ）　　　　　　　　　　　　　（ｂ）（ｃ）第８図

Claims

【特許請求の範囲】

（１）時間的に連続する２フレームの画像情報から、画
像全体の平行移動量を示す動きベクトルを検出する装置
において、各フレームの画面を複数個に分割して時間的
に連続する２フレームの画面の互いに対応する分割画面
相互間の画像情報の相関演算を行なう第１の手段と、こ
の第１の手段により得られた互いに対応する分割画面相
互間の画像情報の相関値のなかで最も相関性の高い相関
値とその相関値を与える２点間の偏移を得る第２の手段
と、この第２の手段により得られた相関値の相関性の有
効・無効を判定する第３の手段と、この第３の手段によ
り最も相関性の高い相関値の相関性が無効と判定された
分割画面を排した残りの分割画面について前記第２の手
段より得られた相関値とそれに対応する偏移に基いて前
記動きベクトルを算出する第４の手段とを具備すること
を特徴とする動きベクトル検出装置。
（２）第３の手段は各分割画面相互間の画像情報の相関
値の平均値を算出し、この平均値と予め定められた設定
値とを比較して、平均値が設定値を下回るとき第２の手
段により得られた相関性の最も高い相関値の相関性を無
効と判定し、それ以外のとき有効と判定することを特徴
とする特許請求の範囲第１項記載の動きベクトル検出装
置。
（３）第３の手段は各分割画面相互間の画像情報の相関
値の平均値を算出し、この平均値に定数を乗じて得た設
定値と第２の手段により得られた最も相関性の高い相関
値とを比較して、設定値が最も相関性の高い相関値を下
回るとき（第１の手段における相関演算が相関値の小さ
いほど相関性が高い場合）、または設定値が最も相関性
の高い相関値を上回るとき（第１の手段における相関演
算が相関値の大きいほど相関性が高い場合）第２の手段
により得られた相関性の最も高い相関値の相関性を無効
と判定し、それ以外のとき有効と判定することを特徴と
する特許請求の範囲第１項記載の動きベクトル検出装置
。
（４）第３の手段は各分割画面相互間の画像情報の相関
値の最大値および最小値を求め、これら最大値および最
小値の比を所定閾値と比較して、最大値および最小値の
比が閾値を上回るとき第２の手段により得られた相関性
の最も高い相関値の相関性を無効と判定し、それ以外の
とき有効と判定することを特徴とする特許請求の範囲第
１項記載の動きベクトル検出装置。
（５）第３の手段は各分割画面相互間の画像情報の相関
値の平均値が予め定められた設定値を下回るか、あるい
は平均値に定数を乗じて得た設定値が最も相関性の高い
相関値を下回るか（第１の手段における相関演算が相関
値の小さいほど相関性が高い場合）または設定値が最も
相関性の高い相関値を上回るか（第１の手段における相
関演算が相関値の大きいほど相関性が高い場合）、ある
いは各分割画面相互間の画像情報の相関値の最大値およ
び最小値の比が所定の閾値を上回るかの３つの条件のい
ずれかが成立したとき第２の手段により得られた相関性
の最も高い相関値の相関性を無効と判定し、これら３つ
の条件がいずれも成立しないとき有効と判定することを
特徴とする特許請求の範囲第１項記載の動きベクトル検
出装置。