JP2590999B2

JP2590999B2 - 画像信号の動ベクトル検出装置

Info

Publication number: JP2590999B2
Application number: JP33604487A
Authority: JP
Inventors: 智士野垣
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1987-12-29
Filing date: 1987-12-29
Publication date: 1997-03-19
Anticipated expiration: 2012-03-19
Also published as: JPH01176178A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は画像信号の動ベクトル検出技術に関するもの
である。

（従来の技術）まず、動ベクトルについて第７図を用いて説明する。
同図は、画像上を三角形が動いている場合を示してい
る。入力された画像信号の時間方向に異なるフレーム
間、例えば、現フレームと前フレームにおいて、その画
像上の動物体の移動方向および移動量が動ベクトルであ
る。

従来においては、供給された画像を定められた大きさ
のブロックに分割し、各ブロックについて、定められた
探査範囲の各ベクトルについて定められた方法で評価
値、例えばブロック内でのフレーム間差分値の絶対値和
や２乗和などを求め、その評価結果の最も良かったもの
を動ベクトルとする方法が普通に用いられている。

（発明が解決しようとする問題点）しかしながら、入力画像の動ベクトルを検出する際
に、探索対象となる各ベクトルについて定められた方法
で評価値を求め、その評価結果の最も良かったものを動
ベクトルとする従来の方法では、例えば比較的平坦な画
像の部分においては、画像信号に含まれる雑音の影響に
よって、必ずしも画像上の被写体の動きを正しく示すベ
クトルが検出されないという欠点があった。本発明の目
的は、雑音の影響や、画像の性質などによって正確な動
ベクトルが検出されにくい場合にも、信頼性の高い動ベ
クトルを検出することにある。

（問題を解決するための手段）本発明によれば、供給される画像信号から動ベクトル
を検出する際に、検出された動ベクトルの信頼性を判定
する手段と、画像を定められた大きさのブロックに分割
し、各ブロックについて動ベクトルを検出する手段と、
検出された動ベクトルが、前記信頼性を判定する手段に
より信頼性が高いと判定されなかったブロックに関して
は、そのブロックと周辺のブロックとを統合して新たな
ブロックを構成する手段とを備え、前記動ベクトルを検
出する手段は、あらためて新たなブロックに対して動ベ
クトル検出を行うことを特徴とする画像信号の動ベクト
ル検出装置が得られる。

（作用）供給される画像信号を定められた大きさのブロックに
分割して、各ブロックについて動ベクトルを検出する際
に、信頼性の高い動ベクトルが見つからなかったブロッ
クに関しては、そのブロックの大きさを大きくすること
によって、信頼性の高い動ベクトルを得ることが可能と
なる。

本発明の原理を第２図および第３図を用いて説明す
る。第２図、第３図は、ある大きさのブロックに画像を
分割し、ある１ブロックについて求めた各探索ベクトル
の評価値を示している。また、第２図と第３図では、第
３図の方がブロックが大きい。２本の横軸は探索ベクト
ルの画像に於ける水平方向、および垂直方向を示し、ま
た垂直軸はそのベクトルを用いた場合の評価値、ここで
はフレーム間予測誤差の２乗和を示している。すなわち
評価値が最も小さいベクトルが動ベクトルとして検出さ
れることになる。

通常、画像の輝度変化が比較的平坦な部分においてす
でに述べた手法により動ベクトルを検出するための評価
値を計算すると、画像信号に含まれている雑音の影響な
どによって、第２図のように大きく波打った状態とな
り、正しく動ベクトルの他にも評価値の小さくなってい
るベクトルが多数存在する。したがって評価値のもっと
も小さいベクトルが必ずしも画像上での被写体の動きを
正しく示すベクトルとなるとは限らない。一方、このブ
ロックの大きさを大きくしてやると、雑音は隣あった画
素間の相関がないために、そのエネルギーはブロックが
大きくなった比率には比例せず、相対的に雑音の影響は
小さくなる。その結果、探索ベクトルの評価値は第２図
のような波打った状態にはならずに、第３図に示すよう
に平坦になるため、画像上での被写体の動きを正しく示
す正確な動ベクトルを検出することが可能となる。

（実施例）以下、本発明の実施例を第１図、第４図、第５図、お
よび第６図を参照して詳細に説明する。本実施例におい
ては、ブロックの統合を２段階としているが、３段以上
の構成としてもよい。

供給された画像信号は線101を介して、フレームメモ
リ１に供給されるとともに、差分器４にも供給される。

フレームメモリ１においては、供給された画像信号が
記憶され、線102を介して可変遅延器２に供給される。

探索ベクトル発生回路３においては、定められた探索
範囲にしたがって、ベクトルを発生し、線301を介して
可変遅延器２に供給する。

可変遅延器２においては、フレームメモリ１より供給
される画像信号を探索ベクトル発生回路３より供給され
るベクトルにしたがって遅延させ、線201を介して差分
器４に供給する。

差分器４においては、供給される画像信号の差分値を
計算し、線401を介して評価値計算回路５に供給する。

評価値計算回路５においては、供給される予測誤差信
号から画像の各分割ブロックにおける各探索ベクトルに
対する評価値、例えば予測誤差の絶対値和や２乗和を計
算し、その結果を線501を介してメモリ６に供給する。

メモリ６においては、供給される画像の各分割ブロッ
クにおける各探索ベクトルに対する評価値を記憶し、線
601を介してベクトル検出回路７に供給する。

ベクトル検出回路７においては、メモリ６より供給さ
れる評価結果の最も良かったベクトルひとつ、あるいは
必要に応じて評価結果の最も良かったベクトルとともに
評価結果がそれに続くものを複数個検出して、線701に
介して信頼性判定回路８に供給する。

信頼性判定回路８においては、供給されたベクトルの
信頼性を判定し、信頼性が高いと判定されればそのベク
トルを、信頼性が低いと判定された場合はその情報を線
801を介して動ベクトル決定回路９の供給する。信頼性
を判定する方法としては、例えば評価結果の良かったベ
クトルを上位幾つか取り出して、それらが互いに近接し
ていれば信頼性が高いとする方法などを用いればよい。
また、その信頼性評価方法によっては、必要とする信号
をメモリ６、ベクトル検出回路７などから得る構成とす
ればよい。

動ベクトル決定回路９においては、供給された動ベク
トル検出結果を記録し、信頼性の低いベクトルしか見つ
からなかったブロックを統合して、そのブロックに対す
る動ベクトル再検出要求を線902を介してベクトル検出
回路７に供給する。

ブロックの統合の方法としては、例えば第４図に示す
ように縦横２倍の大きさに拡大することを基本として、
４つの小ブロックがすべて１段目で信頼性の高い動ベク
トルが検出した場合のみ、２段目を行わないというとい
うような方法が考えられる。同図（ａ）において、斜線
のかかっているブロックは１段目の動ベクトル検出で信
頼性の高いベクトルが見つかったブロックを示してい
る。また、同図（ｂ）において、斜線部分は１段目の動
ベクトル検出で信頼性の高いベクトルが見つかり、しか
も４つの小ブロックすべてがそうであったため、動ベク
トルが確定したブロックを示している。したがって、そ
れ以外の斜線のかかっていないブロックに対して改めて
ベクトル検出を行えばよい。

また、ブロックの統合の方法例として、第５図
（ａ），（ｂ）に示すような方法も考えられる。すなわ
ち、４つの小ブロックのうち、１つでも信頼性の高いベ
クトルが見つからなかったブロックがあれば、２段目の
動ベクトル検出を行う点は同様であるが、１段目で信頼
性の高いベクトルが見つかったブロックについては第５
図（ｂ）に示したようにそのベクトルに確定してしまう
点で異なる。この場合２段目の動ベクトル探索をどのよ
うなブロックに対して行うかは例えば２通りが考えられ
る。その方法を第６図を用いて説明する。同図（ａ）に
示すように、１段目の動ベクトル検出によって４つの小
ベクトルのうち１つが確定したとすると、同図（ｂ）に
示すように、２段目の動ベクトル検出は４つの小ブロッ
クを統合したブロックについて行い、１段目に確定した
小ブロックに対してのみ、１段目で検出されたベクトル
を与える方法と、同図（ｃ）に示すように、確定した小
ブロックを除いて統合ブロックを構成する方法である。
前者の方法は、装置の構成があまり複雑にならないとい
う特徴を持ち、後者の方法は、平坦な背景部分を物体が
通るような場合に物体のエッジ付近においても正確な動
ベクトルを見つけることができるという特徴がある。

また、ブロックの統合方法の例として、近接した小ブ
ロックを１つずつ統合し、順次大きくしていく方法など
も考えられる。

ベクトル検出回路７においては、動ベクトル決定回路
９より示された統合されたブロックに関して、メモリ６
より供給される評価結果にしたがって、動ベクトル検出
を行い、その結果を線701を介して信頼性判定回路８に
供給する。

信頼性判定回路８においては１段階目と同様、供給さ
れた動ベクトルの信頼性を判定し、信頼性が高いと判定
されれば、そのベクトルを、信頼性が低いと判定されれ
ばその情報を線801を介して動ベクトル決定回路９に供
給する。

動ベクトル決定回路９においては、以上の方法で得ら
れた動ベクトルを線901を介して出力する。２段目の動
ベクトル検出によっても信頼性の高い動ベクトルが検出
されなかったブロックに関しては、たとえばゼロベクト
ルを出力するか、信頼性の高いベクトルが見つからなか
ったことを示す情報を出力すればよい。

（発明の効果）入力された画像信号の動ベクトルを検出する際に、信
頼性の高い動ベクトルを検出することが可能になる。

【図面の簡単な説明】

第１図、第４図（ａ），（ｂ）、第５図（ａ），
（ｂ）、および第６図（ａ），（ｂ），（ｃ）は本発明
の実施例を説明するための図、第２図、第３図は本発明
の原理を説明するための図、第７図は動ベクトルを説明
するための図である。図において、１……フレームメモリ、２……可変遅延器、３……探索
ベクトル発生回路、４……差分器、５……評価値計算回
路、６……メモリ、７……動ベクトル検出回路、８……
信頼性判定回路、９……動ベクトル決定回路である。

Claims

(57)【特許請求の範囲】

【請求項１】供給される画像信号から動ベクトルを検出
する際に、検出された動ベクトルの信頼性を判定する手
段と、画像を定められた大きさのブロックに分割し、各
ブロックについて動ベクトルを検出する手段と、検出さ
れた動ベクトルが、前記信頼性を判定する手段により信
頼性が高いと判定されなかったブロックに関しては、そ
のブロックと周辺のブロックとを統合して新たなブロッ
クを構成する手段とを備え、前記動ベクトルを検出する
手段は、あらためて新たなブロックに対して動ベクトル
検出を行うことを特徴とする画像信号の動ベクトル検出
装置。