JPH03140070A

JPH03140070A - 動きベクトル検出装置

Info

Publication number: JPH03140070A
Application number: JP1279584A
Authority: JP
Inventors: Masayoshi Sekine; 正慶関根; Toshiaki Kondo; 俊明近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1989-10-26
Filing date: 1989-10-26
Publication date: 1991-06-14

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は動きベクトル検出装置に関し、より具体的には
、ＴＶカメラ、ビデオ・カメラ、電子スチル・カメラな
どの撮像装置の防振や、被写体追尾のために、画像信号
から動きベクトルを検出する装置に関する。

［従来の技術］画像信号処理による動きベクトル検出法とじては、昭和
６０年特許出願公告第４６８７８号や、テレビジョン学
会技術報告［反復勾配法による動き検出」などに記載さ
れる時空間勾配法がある。この時空間勾配法では、以下
の基本式に従って各点の動き量を算出する。即ち α＝Σ、　ｄ−ｓｆｇｎ（ｇ’ｓ）／Σｍ１ｇ’−β　
＝　Σ、　　ｄ−ｓｆｇｎ（ｇ′、）／Σｍ１ｇ’ｙ但
し、α、βは各々、Ｘ方向、Ｘ方向の動き量であり、ｄ
は時間的に連続する画像間の同じ場所における濃度差、
即ち時間勾配を示し、ｇ’−１ｇ’ｒは画像をｇで表わ
したときのＸ方向、Ｘ方向の空間勾配を示す。また、Σ
、は、ブロック内の総和演算を意味し、５１ｇｎ０はｇ
’−１ｇ’ｙの符号を出力する関数である。

Σ、におけるブロックの大きさ及び形状は一般的に一定
であるが、その大きさが大きい程検出レンジが広いこと
が知られている。これは、ブロックが大きいと、１つの
ブロックの中に様々な方向のエツジが含まれる可能性が
高くなり、ノイズに対して明瞭な信号が得られること、
及びベクトル合成のための精度が高いことによるもので
ある。

このことは、上記の文献及び信学技報ＩＥ７８−６７　
ｒ画像信号による動対象の移動量、速度の測定」に説明
されている。

［発明が解決しようとする課題］しかし上記従来例では、ブロックのサイズを大きくする
と、画面全体におけるブロック数が減少して検出できる
ベクトルの個数が減少し、従って細かいパターンの動き
を検出しにくくなるという欠点がある。

そこで本発明は、このような欠点を解消した動きベクト
ル検出装置を提示することを目的とする。

［課題を解決するための手段］本発明に係る動きベクトル検出装置は、画像を複数のブ
ロックに分割し、各ブロック毎に動きベクトルを検出す
る装置であって、画像の特徴を抽出する特徴抽出手段と
、当該特徴抽出手段により抽出された特徴に従い、当該
ブロックの大きさ及び形状を決定するブロック・サイズ
算出手段とを設けたことを特徴とする。

［作用］上記手段により、画像の特徴に応じた大きさ及び形状で
動きベクトルが検出される。従って、被写体の状態に応
じて高精度に、動きベクトルを検出できるようになる。

また、細かいパターンの画像に対しても、大きな検出レ
ンジを得ることができる。

［実施例］以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例の構成ブロック図を示す。３
０は画像信号（例えば、カラー信号の場合の輝度信号）
の入力端子、３１はローパスフィルタ（ＬＰＦ）　、３
２．３４は必要な時刻の画像信号を記憶するレジスタ、
３６．３８は減算器、４０は乗算器、４２は減算器３８
の出力データの符号（正、負又はゼロ）を示す信号を出
力する符号出力回路、４４は減算器３８の出力データの
絶対値を出力する絶対値回路、４６．４８は指定ブロッ
ク内のデータを累積加算する総和回路、５０は除算器、
５２は空間勾配方向の動き量を示す信号の出力端子であ
る。

５３は入力画像信号の特徴を抽出して、総和回路４６．
４８でのブロックの大きさ及び形状を決定する回路であ
り、ＬＰＦ３１の出力信号から特徴を抽出する特徴抽出
回路５４、特徴抽出回路５４の出力に従って最適なブロ
ックの大きさ及び形状、即ちブロック・サイズを算出す
るブロック・サイズ算出回路５６、及びブロック・サイ
ズ算出回路５６の出力をラッチし、総和回路４６．４８
の制御入力に印加するラッチ回路５８からなる。

なお、水平・垂直の２方向で動きベクトルを検出するた
めには、上記の回路３１〜５８が２系統必要になる。

第１図の動作を説明する。入力端子３０に人力した画像
信号はＬＰＦ３１に入力し、特定周波数成分を抽出され
る。特徴抽出回路５４はＬＰＦ３１の出力から入力画像
信号の特徴を抽出し、ブロック・サイズ算出回路５６は
特徴抽出回路５４により抽出された特徴に応じたブロッ
ク・サイズ（大きさ及び形状）を算出する。そして、ラ
ッチ回路５８が回路３２〜４４での回路処理時間との調
整及び同期調整のためにブロック・サイズ算出回路５６
の出力をラッチし、総和回路４６．４８に印加する。

時空間勾配計算のために、ＬＰＦ３１の出力ｇは２つに
分けられ、レジスタ３２及び減算器３６により、時間的
に連続する２つの画面間での濃度差、即ち時間勾配ｄが
算出され、また、レジスタ３４及び減算器３８により、
任意時刻の画像内の空間勾配ｇ′が算出される。符号出
力回路４２は空間勾配ｇ°が正のときには、＋１、ゼロ
のときには０、負のときには−１を出力し、乗算器４０
は時間勾配ｄ（減算器３６の出力）に符号出力回路４２
の出力を乗算する。そして、総和回路４６はラッチ回路
５８からのブロック・サイズ信号に従ったブロック・サ
イズで各ブロック毎に乗算器４０の出力の総和を計算す
る。また、絶対値回路４４は空間勾配ｇ’　　（減算器
３８の出力）の絶対値をとり、総和回路４８がラッチ回
路５８からのブロック・サイズ信号に従ったブロック・
サイズで各ブロック毎に絶対値回路４４の出力の総和を
計算する。

除算器５０は総和回路４６の出力を総和回路４８の出力
で除算する。除算器５０による除算結果は、入力画像信
号の特徴に応じたブロック・サイズでの各ブロックでの
空間勾配方向の動き量を示している。

回路５３の具体例を第２図、第３図及び第４図に示す。

第２図は、特徴抽出回路５４として、ＢＰＦ５４Ａを使
用した回路例を示す。ＢＰＦ５４Ａの中心周波数は、通
常のテレビジョン信号（例えば、ＮＴＳＣ信号）では１
〜４ＭＨｚ程度に設定される。ＬＰＦ３１から出力され
る画像信号ｇにこの周波数成分が少ないときには、その
画像は、コントラストが低く、シャープなエツジが少な
いことを示している。ブロック・サイズ算出回路５６は
比較回路５６Ａ及びその比較結果により実際にブロック
・サイズを算出する演算回路５６Ｂを具備し、比較回路
５６Ａは、ＢＰＦ５４Ａによる周波数成分を閾値ＴＲＩ
、ＴＨ２，・・・と比較し、演算回路５６Ｂはその比較
結果により、最適なブロック・サイズを算出する。演算
回路５６Ｂとしては通常のディジタル演算回路や、予め
データを記憶させたＲＯＭテーブルを使用する。また、
比較回路５６Ａの比較用閾値としては、１種類でも、第
２図に図示したように複数の閾値ＴＨＩ、ＴＨ２，・・
・を使用してもよい。ラッチ回路５８はブロック・サイ
ズ算出回路５６の出力をラッチし、テレビジョン同期信
号に合わせて出力する。

第５図は上記のようにして決定されたブロック・サイズ
による画面分割例を示す。最も簡単に本実施例の効果を
得るには、第５図（ａ）と同（ｂ）の画面分割を切り換
えて使用すればよく、入力画像信号の特徴に従い、画像
の中にエツジが多いときには第５図（ａ）を使用し、エ
ツジが少なくボケが多いときに第５図（ｂ）を使用する
。

また、一般には、画像の場所により、エツジの多い所、
少ない所があるので、第５図（Ｃ）のように、ブロック
の大きさ及び形状が画面位置で異なるような画面分割を
選択するのが望ましい。

更には、１方向に対して特にエツジが少ない場合、例え
ばカメラを水平方向にバンニングした場合には、第５図
（ｄ）に示すようなブロック・サイズを選択するのが望
ましい。

風景を中心にした画像では、画面に対して傾いた方向の
成分が少ないとされている。このような場合には、第５
図（ｅ）、（ｆ）に示すような分割が有効である。第５
図（ｅ）、（ｆ）では、１ブロツク当たり、傾き方向よ
りも水平・垂直方向の距離が長く、水平・垂直方向のエ
ツジを含む可能性が高い。各ブロックに同じ数のエツジ
を含むようにブロック・サイズを決定したとすれば、第
５図（ｅ）、　　（ｆ）は、第５図（ａ）　〜（ｄ）の
分割よりも、ブロック・サイズを小さく出来る。

第３図は特徴抽出回路５４として、エツジのシャープネ
スを検出する回路５４Ｂを使用した場合の構成例を示す
。ブロック・サイズ算出回路５６及びラッチ回路５８は
第２図の場合と同じである。

このような回路５４Ｂの具体的構成は、例えば昭和６２
年特許出願公開第１０３６１６号に記載されている。

ＢＰＦ５４Ａの場合には、画像の明るさやコントラスト
により出力値が左右されてしまうが、回路５４Ｂではエ
ツジのシャープネス（ボケ幅の逆数）で評価するので、
被写体の明るさ、コントラスト、大きさに影響されない
。この評価値が大きいとき、即ち急峻なエツジが存在す
るときには、第５図（ａ）のような小さいなブロックを
選択し、評価値が小さいとき、即ちエツジが無いか又は
大キくぼけているときには、第５図（ｂ）に示すような
大きなブロックを選択する。

第４図は特徴抽出回路５４として空間勾配検出回路５４
Ｃを用いた回路例を示す。ブロック・サイズ算出回路５
６及びラッチ回路５８は第２図の場合と同じである。こ
の場合、ＢＰＦ５４Ａの場合と同様に画像の明るさに左
右されるという問題があるが、レジスタ３４と一部部品
を共通化でき、回路全体を小型化できるという利点があ
る。

［発明の効果］以上の説明から容易に理解できるように、本発明によれ
ば、画像に応じて動きベクトルの演算ブロックのサイズ
を変更するので、大きな動きのある被写体に対しても精
度よく動きベクトルを検出できる。また、細かいパター
ンの被写体の動きの情報も高い空間分解能で検出できる
。

【図面の簡単な説明】

第１図は本発明の一実施例の構成ブロック図、第２図、
第３図及び第４図は回路５３の回路構成例、第５図は画
面分割の例である。３０：画像信号入力端子　３１：ＬＰＦ　　３２゜３４
＝レジスタ　３６，３８：減算器　４０：乗算器　４２
：符号出力回路　４４：絶対値回路４６．４８：総和回
路　５０：除算器　５２：出力端子　５４：特徴抽出回
路　５６：ブロック・サイズ算出回路　５８：ラッチ回
路

Claims

【特許請求の範囲】

画像を複数のブロックに分割し、各ブロック毎に動きベ
クトルを検出する装置であって、画像の特徴を抽出する
特徴抽出手段と、当該特徴抽出手段により抽出された特
徴に従い、当該ブロックの大きさ及び形状を決定するブ
ロック・サイズ算出手段とを設けたことを特徴とする動
きベクトル検出装置。