JPS61201588A

JPS61201588A - 動きベクトル検出装置

Info

Publication number: JPS61201588A
Application number: JP60042368A
Authority: JP
Inventors: Hiroshi Kasa; 比呂志嵩; Fumio Sugiyama; 文夫杉山; Yuichi Ninomiya; 佑一二宮; Yoshimichi Otsuka; 吉道大塚; Yoshinori Izumi; 吉則和泉; Seiichi Goshi; 清一合志
Original assignee: Toshiba Corp; Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Toshiba Corp; Japan Broadcasting Corp
Priority date: 1985-03-04
Filing date: 1985-03-04
Publication date: 1986-09-06
Anticipated expiration: 2009-03-16
Also published as: JPH0620305B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の技術分野〕この発明は、画面内の画像全体の平行移動ｌ（動きベク
トル）を検出する動きベクトル検出装置に関する。

〔発明の技術的背景とその問題点〕

一般に、テレビジョン画面のような画面内における画像
の動きは、画像中の物体の移動によるものと、カメラの
平行移動くパン）によるものとに大別される。前者は画
像の局部的な動きであるのに対し、後者は画像全体が相
互関係をほぼ維持したまま動く。後者の画像全体の平行
移動量（方向および大きさ）を動きベクトルと称する。

即ち、第８図において画面上の画像が（ａ）〜（ｂ）〜
（Ｃ）の如く矢印の方向に平行移動したとき、動きベク
トルは第３図に示されるように横方向および縦方向の偏
移（ξ、η）で与えられる。この動きベクトルを検出し
、これを用いて例えば現フレームの画像に前フレームの
画像をシフトして重ね合せれば、重ね合せて得られた画
像と前フレームの画像との間の実際の動きを小さくする
ことができ、ボケの少ない、より高品質の画像が得られ
る。

また、画像信号を符号化して伝送する場合、動きベクト
ルを用いて重ね合せられた画像の動きが小さくなること
は、連続した２フレ一ム間の画像の時間相関性を利用し
て予測符号化を行なう際の予測誤差が小さくなるという
ことであり、それによって符号化効率の向上に寄与する
ことができる′０ところが、実際の画像の動きは画像全
体の平行移動と、画像中の物体の動き等が混在している
ため、物体の動きによる動きベクトルの誤検出が生じや
すいという問題がある。即ち、従来の動きベクトル検出
方法は具体的には時間的に連続した２フレームの画面間
の画像情報の相関演算を行ない、それによって得られた
相関値のなかで相関性の比較的高い相関値と、その相関
値を与える２点間の偏移より動きベクトルを算出する方
法がとられている。この方法では、予め定められた動き
ベクトル検出範囲より相関性の最も高い相関値を与える
偏移を動きベクトルとして検出するため、得られた動き
ベクトルの確度を判断する手段はない。一般に、画像が
静止画か、またはそれに近いときは、動きベクトルは零
として検出される。しかしながら、カメラの平行移動が
なくとも、画像中の物体の動きの画面に占める割合いが
大きくなると、零ではない偏移で相関性が高くなる可能
性があり、このような偏移をも動きベクトルとすると誤
検出となるわけである。

〔発明の目的〕

本発明の目的は、画像中の物体の動き等による動きベク
トルの誤検出を少なくすることができる動きベクトル検
出装置を提供することにある。

〔発明の概要〕

本発明はこの目的を達成するため、時間的に連続する２
フレームの画像情報から、画像全体の平行移動量を示す
動きベクトルを検出する装置において、時間的に連続す
る２フレームの画面間の画像情報の相関演算を行ない相
関値を出力する第１の手段と、この第１の手段により得
られた相関値のなかで最も相関性の高い相関値とそれを
与える偏移とを探索する第２の手段と、この第２の手段
により得られた最も相関性の高い相関値の相関性の有無
を判定する第３の手段と、この第３の手段により最も相
関性の高い相関値の相関性が無効と′判定されたときに
は動きベクトル検出出力を零とし、第３の手段により最
も相関性の高い相関値の相関性が有効と判定されたとき
には第２の手段により得られた偏移を動きベクトル検出
出力とする第４の手段とを具備することを特徴とする。

〔発明の効果〕

本発明によれば、画面内での物体の動き等に起因するよ
う局部的な画像の動きに対しては、第２の手段により得
られた最も相関性の高い相関値が無効と判定され、動き
ベクトル検出出力が零とされることによって、物体の動
き等による動きベクトルの誤検出を効果的に減少させる
ことができる〔発明の実施例〕第１図は本発明の一実施例に係る動きベクトル検出装置
の概略構成を示すブロック図である。入力端子１より入
力される画像情報は２分岐され、一方はフレームメモリ
２に前フレームの画像情報として導かれ、他方は相関器
３に現フレームの画像情報として導かれる。入力画像情
報は例えばテレビジョン画像情報のようなシリアルな走
査信号であり、一般的にディジタル化されているものと
する。フレームメモリ２はアドレスコントローラ４から
読出しアドレスデータ１１が与えられることによって、
前フレームの画像情報のうち入力端子１からの画像情報
の画素と同一画素の画像情報を順次相関器３へ供給する
。こにより、相関器３では時間的に連続する２フレーム
の画像情報間について、例えば相対応する画像情報間の
２乗誤差演算や差分絶対値演算、あるいは相互相関演算
等の公知の相関演算を行なう。相関演算を行なうことに
なる。

相関器３から出力される相関値は累積加算器５に入力さ
れ、アドレスコントローラ４から与えられるアドレスデ
ータ１２に従って、対応する累積加算値に加算されてゆ
く。即ち、アドレスコントローラ４からフレームメモリ
２に供給される読出しアドレスデータ１１は、入力端子
１に入力された現フレームの画像情報の画素に対して、
前フレームの画素が持つ偏移に対応しており、またアド
レスコントローラ４から累積加算器５に供給されるアド
レスデータ１２はこの読出しアドレスデータ１１に対応
しているので、累積加算器５では相関器３から新たに入
力されるある偏移に対応する相関値が、それ以前までの
同じ偏移に対応する累積加算値に加算されることになる
。

入力端子１に１フレ一ム分の画像情報が入力され、相関
演算と相関値の累積加算が終了すると、。

アドレスコントローラ４は累積加算器５ヘアドレスデー
タ１２として、前記の各偏移に対応したアドレスデータ
を供給し、それによって累積加算器５は累積加算相関値
１３を出力する。この累積加算器５から出力される相関
値１３は、相関性有効・無効判定回路６と相関性探索回
路７に入力される。

相関性有効・無効判定回路６は累積加算器５からの相関
値１３のなかで最も相関性の高い相関値の有効・無効を
判定し、その判定結果１４を判定回路９へ出力する。ま
た、相関性探索回路７は相関値１３のなかから農も相関
性の高い相関値１５を探索して判定回路９に出力すると
ともに、アドレス保持回路８ヘアドレスデータ１２のう
ち相関値１５に対応するアドレスデータを保持する指示
信号１６を出力する。アドレス保持回路８はアドレスデ
ータ１２のうち指示信号１６によって指示されたアドレ
スデータを偏移に変換し、その偏移１７を判定回路９へ
出力する。

判定回路９は相関性有効・無効判定回路６からの判定結
果１４．相関性探索回路７からの相関値１５およびアド
レス保持回路８からの偏移１７という３つの入力を受け
、動きベクトルの有無を判定する。第６図は判定回路９
の具体例を示すもので、ゼロ発生器６１と選択回路６２
とにより構成されている。即ち、選択回路６２は相関性
有効・無効判定回路６からの判定結果１４を受け、判定
回路６により相関性が有効と判定されたときには、第１
図のアドレス保持回路８から供給される偏移１７を動き
ベクトル検出出力１８として出力端子１０へ出力し、ま
た判定回路で相関性が無効と判定判定されたときにはゼ
ロ発生器６１の出力を選択して、出力端子１０への動き
ベクトル検出出力を零とする。

次に、相関性有効・無効判定回路６の具体例を説明する
。第２図は相関性有効・無効判定回路６の第１の具体例
であり、第１図における累積加算器５からの相関１１１
３が入力され、その平均値が平均値算出回路２１で算出
される。この平均値は比較回路２２に入力され、予め設
定された設定値ＣＩと比較される。比較回路２２は平均
値が設定値ＣＩを下回ると、相関１ｉ１１３の相関性を
無効と判定し、それ以外のとき有効と判定して判定結果
１４を出力する。この例は相関性が低いときは相関値の
大きさが平均的に小さくなることに着目したものである
。この例は画像の絵柄に変化が乏しく、相関値が全体的
に小さい場合、特に有効である。

第３図は相関性有効・無効判定回路６の第２の具体例で
ある。平均値算出回路３１で相関値１３の平均値を算出
するまでは第２図と同様であるが、この例では算出され
た平均値が平均値補正回路３２により例えば定数倍され
た後、比較回路３３の一方の入力に与えられる。比較回
路３３の他方の入力には、第１図における相関性探索回
路７からの相関性の最も高い相関値１５が与えられてい
る。ここで、第１図における相関器３での相関演算が例
えば連続する２フレームの画像情報間の差分絶対値また
は２乗誤差の演算のように、相関値の小さいほど相関性
が高くなるような演算によって構成される場合は、算出
された平均値が相関性の最も高い相関値１５を下回ると
き、累積加算器５からの相関値１３の相関性を無効と判
定し、それ以外のとき有効と判定して判定結果１４を出
力する。一方、相関演算が相互相関演算のように相関値
が大きいほど相関性が高くなるような演算によって構成
される場合は、逆に算出された平均値が相関性の最も高
い相関値１５を上回るとき、累積加算器５からの相関値
１３の相関性を無効と判定し、それ以外のとき有効と判
定する。即ち、この第３図の例は相関値のピークがより
深いものを有効と判定するため、画像の絵柄に変化はあ
るが、画像内に動物体があるようなとき特に有効である
。

第４図は相関性有効・無効判定回路７の第３の具体例で
あり、相関値１３の最小値および最大値が最小値探索回
路４１および最大値探索回路４２で求められ、比算出回
路４３において両者の比、即ち最小値／最大値が算出さ
れる。この比は比較回路４４において所定の閾値Ｃ２（
０≦Ｃ２≦１と比較される。ここで、相関性の低い場合
には最小値と最大値は接近しているから、その比が閾値
Ｃ２を上回るとき相関性が無効と判定され、それ以外の
とき有効と判定されて判定結果１４が出力される。なお
、この第４図の例における最大値と最小値との比を算出
することの代りに、差を算出してもよい。

第５図は相関性有効・無効判定回路７の第４の具体例で
あり、以上説明した第２図〜第４図の例の複合形である
。即ち、平均値算出回路５１は第２図、第３図における
２１．３１に、また比較回路５２．５３．５８はそれぞ
れ第２図〜第４図における２２，３３．４４に、また補
正回路５３は第３図における３２に、また最小値探索回
路５５゜最大値探索回路５６は第４図における４１．４
２にそれぞれ相当する。そして、この例では３つの比較
回路５２．５４．５８の判定結果の論理和をオア回路５
９で求め、その結果を判定出力１４として出力する構成
となっている。

この第５図の例によれば、第２図〜第４図でそれぞれ説
明した３つの条件のいずれか一つでも成立すると、相関
値１３の相関性が無効と判定され、３つの条件のいずれ
も成立しないとき有効と判定されるわけである。

次に、第７図を参照して本発明の他の実施例を説明する
。この実施例は各フレームについて複数の動きベクトル
検出領域と、該動きベクトル検出領域の少なくとも１つ
をそれぞれ含む複数の代表点抽出領域を設定し、現フレ
ームにおける各動きベクトル検出領域の各点の画像情報
と、前フレームにおける該動きベクトル検出領域が含ま
れる代表点抽出領域から抽出−された代表点の画像情報
との相関演算を行なうようにした動きベクトル検出装置
に本発明を適用した例である。

第７図において、入力端子１より入力される画像情報は
２分岐され、一方はラッチ回路７１に前フレームの画像
情報として導かれ、他方は相関器３に現フレームの画像
情報として導かれる。ラッチ回路７１は入力端子１に予
め定められた代表点の画像情報が入力されると、それを
代表点の画像情報の入力タイミングに合せて発生される
ラッチパルス８１によりラッチする。このラッチ回路７
１にラッチされた代表点の画像情報は、転送許可信号８
２により適当なタイミングで代表点保存メモリ７２に転
送され、その代表点について予め定められたアドレスに
保存される。

代表点保存メモリ７２は、第１図の実施例におけるフレ
ームメモリ２に代えて設けられたものであり、書込み／
読出しのモード切換信号８３により制御され、書込みモ
ード時にはアドレスコントローラ４から発生される書込
みアドレスデータ８４が、また読出しモード時には読出
しアドレスデータ８５がそれぞれアドレス切換回路７４
を介してアドレス入力として供給される。代表点保存メ
モリ７２から読出される代表点の画像情報はラッチ回路
７３にラッチされ、相関器３に導かれる。

相関器３は入力端子１に入力された現フレームの画像情
報と、ラッチ回路７３からの前フレームの代表点の画像
情報との相関演算を行なう。ここＣ、ラッチ回路７３は
代表点保存メモリ７２から読出される代表点の画像情報
がそれぞれ代表点抽出領域内の１つの画素の画像情報を
代表しており、それが各代表点抽出領域に含まれる動き
ベクトル検出領域内の各画素の画像情報との相関演算の
ために複数回使用される関係で、その複数回使用される
期間中、代表点保存メモリ７２から読出された画像情報
を保持するために設けられている。また、ラッチ回路７
１は代表点保存メモリ７２が読出しモードにあるときに
現フレームにおける代表点の画像情報が到来しても、そ
れを受付けられるようにするために設けられている。

相関器３は入力端子１に現フレームの各画素の画像情報
が入力される毎に、その画像情報とラッチ回路７３から
供給される前フレームにおける代表点抽出領域の代表点
の画像情報との相関演算を行なう。この場合、ラッチ回
路７３から相関器３に供給される画像情報は、入力端子
１に入力された画像情報の画素が属する動きベクトル検
出領域を含む代表点抽出領域の前フレームにおける代表
点の画像情報である。相関器３以降の構成および動作は
第１図の実施例と同様であるため、説明を省略する。

この第７図の実施例によれば、動きベクトル検出のため
に要する演算回数が１フレーム当り高々１フレームを構
成する画素の個数程度で済み、大幅に少なくなる利点が
ある。この程度の演算量であれば１フレームあるいは１
フイールド内での処理、即ち実時間処理が十分可能であ
り、またハードウェア、特に記憶手段として必要なもの
は１フレームの画素数より大幅に少なく、しかも１フレ
一ム分についての代表点の画像情報を保存するメモリと
、相関値の累積加算用メモリのみであり、装置を実現す
る上で大きなメリットとなる。

なお、本発明は上記実施例に限定されるものではなく、
その要旨を逸脱しない範囲で種々変形実施することが可
能である。

【図面の簡単な説明】

第１図は本発明の一実施例に係る動きベクトル検出装置
の構成を示すブロック図、第２図〜第５図は本発明に係
る動きベクトル検出！Ｉｆにおける相関性有効・無効判
定回路の種々の具体例を示すブロック図、第６図は動き
ベクトル検出出力を得るための判定回路の具体例を示す
ブロック図、第７図は本発明の他の実施例に係る動きベ
クトル検出装置の構成を示すブロック図、第８図および
第９図は動きベクトルの概念を説明するための図である
。１・・・画像情報入力端子、２・・・フレームメモリ、
３・・・相関器、４・・・アドレスコントローラ、５・
・・累積加算器、６・・・相関性有効・無効判定回路、
７・・・相関性探索回路、８・・・アドレス保持回路、
９・・・判定回路、１０・・・動きベクトル出力端子、
２１．３１．５１・・・平均値算出回路、２２，３３゜
４４．５２，５４．５８・・・比較回路、３２．５３・
・・補正回路、４１．５５・・・最小値探索回路、４２
゜５−６・・・最大値探索回路、４３．５７・・・比算
出回路、と５つ・・・オア回路、６１・・・ゼロ発生器、６２・・
・選択回路、７１．７３・・・ラッチ回路、７２・・・
代表点保存メモリ、７４・・・アドレス切換回路。出願人代理人　弁理士　鈴江武彦ｔｎ２図第３１Ｉ第４１Ｉ第８図（ａ）　　　　　　　（ｂ）（Ｃ）第９！Ｉ

Claims

【特許請求の範囲】

（１）時間的に連続する２フレームの画像情報から、画
像全体の平行移動量を示す動きベクトルを検出する装置
において、時間的に連続する２フレームの画面間の画像
情報の相関演算を行ない相関値を出力する第１の手段と
、この第１の手段により得られた相関値のなかで最も相
関性の高い相関値とそれを与える偏移とを探索する第２
の手段と、この第２の手段により得られた最も相関性の
高い相関値の相関性の有無を判定する第３の手段と、こ
の第３の手段により最も相関性の高い相関値の相関性が
無効と判定されたときには前記動きベクトル検出出力を
零とし、前記第３の手段により最も相関性の高い相関値
の相関性が有効と判定されたときには前記第２の手段に
より得られた偏移を前記動きベクトル検出出力とする第
４の手段とを具備することを特徴とする動きベクトル検
出装置。
（２）第３の手段は、第１の手段により得られた相関値
の平均値を算出し、この平均値と予め定められた設定値
とを比較して、平均値が設定値を下回るとき第２の手段
により得られた相関性の最も高い相関値の相関性を無効
と判定し、それ以外のとき有効と判定することを特徴と
する特許請求の範囲第１項記載の動きベクトル検出装置
。
（３）第３の手段は、第１の手段により得られた相関値
の平均値を算出し、この平均値に定数を乗じて得た設定
値と第２の手段により得られた最も相関性の高い相関値
とを比較して、設定値が最も相関性の高い相関値を下回
るとき（第１の手段における相関演算が相関値の小さい
ほど相関性が高い場合）、または設定値が最も相関性の
高い相関値を上回るとき（第１の手段における相関演算
が相関値の大きいほど相関性が高い場合）第２の手段に
より得られた相関性の最も高い相関値の相関性を無効と
判定し、それ以外のとき有効と判定することを特徴とす
る特許請求の範囲第１項記載の動きベクトル検出装置。
（４）第３の手段は、画像情報の相関値の最大値および
最小値を求め、これら最大値および最小値の比を所定閾
値と比較して、最大値および最小値の比が閾値を上回る
とき第２の手段により得られた相関性の最も高い相関値
の相関性を無効と判定し、それ以外のとき有効と判定す
ることを特徴とする特許請求の範囲第１項記載の動きベ
クトル検出装置。
（５）第３の手段は、画像情報の相関値の平均値が予め
定められた設定値を下回るか、あるいは平均値に定数を
乗じて得た設定値が最も相関性の高い相関値を下回るか
（第１の手段における相関演算が相関値の小さいほど相
関性が高い場合）または平均値に定数を乗じて得た設定
値が最も相関性の高い相関値を上回るか（第１の手段に
おける相関演算が相関値の大きいほど相関性が高い場合
）、あるいは画像情報の相関値の最大値および最小値の
比が所定の閾値を上回るかの３つの条件のいずれかが成
立したとき第２の手段により得られた相関性の最も高い
相関値の相関性を無効と判定し、これら３つの条件がい
ずれも成立しないとき有効と判定することを特徴とする
特許請求の範囲第１項記載の動きベクトル検出装置。