JPH03140068A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は動きベクトル検出装置に関し、より具体的には
、画像信号から動きベクトルを検出する装置に関する。

［従来の技術］ 画像信号処理による動きベクトル検出法としては、昭和
６０年特許出願公告第４６８７８号や、Ｊ、Ｏ，Ｌｉｍ
ｂ　ａｎｄ　Ｊ、Ａ、Ｍｕｒｐｈｙ　　”Ｍｅａｓｕｒ
ｉｎｇ　ｔｈｅ　５ｐｅｅｄ　ｏｆ　Ｍｏｖｉｎｇ　０
ｂｊｅｃｔｓ　ｆｒｏｍ　Ｔｅ１ｅｖｉｓｉｏｎ　Ｓｉ
ｇｎａｌｓ”、ＩＥＥＥ　Ｔｒａｎｓ、　Ｃｏｍ、、Ｃ
ｏｗ−２３，４，ｐｐ、４７４−４７８（＾ｐｒｉｌ　
＋９７５）等に記載されている時空間勾配法がある。こ
の時空間勾配法では、以下の基本式に従って各点の動き
量を算出する。即ち、 α＝Σ、　ｄ−ｓｉｇｎ（ｇ’り／Σ、１ｇ′、β＝Σ
、　ｄ−ｓｉｇｎ（ｇ’ｙ）／Σｍ１ｇ’ｙ但し、α、
βは各々、Ｘ方向、Ｘ方向の動き量であり、ｄは時間的
に連続する画像間の同じ場所に於ける濃度差、即ち時間
勾配を示し、ｇ’−１ｇ’ｙは画像をｇで表わしたとき
のＸ方向、Ｘ方向の空間勾配を示す。また、Σ、は、ブ
ロック内の総和演算を意味し、５１ｇｎ０はｇ′ア１ｇ
′、の符号を出力する関数である。

従来、時間勾配法を用いる場合には、前処理フィルタと
して、画像内の細かい情報を失わない程度の軽いローパ
スフィルタを用いている。これは、画像内のシャープな
エツジ部分を滑らかにすると共に、入力画像の雑音を低
減するためである。また、人力画像をブロックに分割す
る際のブロックの大きさ及び形状は、通常、一定してお
り、前処理フィルタとは独立に決定されている。

［発明が解決しようとする課題］ しかし上記従来例では、入力画像が持つ高い周波数成分
により検出レンジか狭くなり、大きい動きには適用しに
くいという欠点がある。この対策として、充分大きなマ
スクを持つローパスフィルタを用い、これに応じて様々
な方向の空間勾配を含む大きなブロックで画像を分割し
て、検出レンジの拡大を図る方法もあるが、このように
ブロックを大きくすると分解能が低くなってしまう。

そこで本発明は広い検出レンジと高い分解能をえること
のできる動きベクトル検出装置を提示することを目的と
する。

［課題を解決するための手段］ 本発明に係る動きベクトル検出装置は、第１の前処理フ
ィルタ手段を通過した信号により動きベクトルを算出し
て、目的の動きベクトルを得たい画像エリアを決定する
エリア決定手段と、当該エリア決定手段の制御下で、第
２の前処理フィルタ手段を通過した信号により、当該画
像エリアに関する動きベクトルを算出する動きベクトル
演算手段とからなることを特徴とする。

［作用］ 上記エリア決定手段では、検出レンジよりも空間分解能
を優先して上記画像エリアを決定する。

これにより、最終的な動きベクトルを得たい画面エリア
を精確に求めることができる。また、例えば画面揺れの
場合には、−様な方向に−様な大きさの動きベクトルに
なるので、上記動きベクトル演算手段では、空間分解能
よりも検出レンジを優先する。このように、検出レンジ
と空間分解能を個別に選定できるので、広い検出レンジ
と高い空間分解能とを両立させることができるようにな
る。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

第１図は、テレビジョン・カメラ、ビデオ・カメラ、電
子カメラなどの撮像装置における画像信号の画面揺れを
防止する装置に本発明を適用した場合の一実施例の構成
ブロック図を示す。１０は画像信号の入力端子、１２は
ローパスフィルタ（ＬＰＦ）　、１４は、詳細は後述す
るが、時空間勾配法により動きベクトルを求める動きベ
クトル演算回路、１６は入力画像において防振したい領
域（以下、防振エリアと呼ぶ）を判定する防振エリア判
定回路、１８はバンドパス・フィルタ（ＢＰＦ）、２０
は時空間勾配法により動きベクトルを求める動きベクト
ル演算回路、２２は画像の動き量を示す信号の出力端子
である。

入力端子１０に入力した画像信号は、防振エリア判定の
ための回路と、手振れなどによる画面揺れによる画面揺
れ量を検出するための回路の２系統に分けられる。防振
エリア判定のためには、必然的に、画像を多くのブロッ
クに分割して画像内の部分的な細かい動きを検出する必
要があるので、ＬＰＦ１２としては、画像内の細かい情
報を失わない程度の周波数特性のものを用いる。動きベ
クトル演算回路１４は、時空間勾配法によりＬＰＦ１２
の出力から各ブロック毎の動きベクトルを算出する。演
算回路１４でのブロックの大きさ及び形状は、固定され
ている。そして、防振エリア判定回路１６が、演算回路
１４の出ツノから防振エリアを判定する。

第２図を参照して、防振エリア判定の手順を説明する。

ＬＰＦ１２の出力画像（第２図（ａ））から動きベクト
ル演算回路１４が、入力画像を水平垂直で等分割した各
ブロックの動きベクトルを出力する。動きベクトルは、
例えば第２図（ｂ）のようになる。防振エリア判定回路
１６は、この動きベクトル情報に統計処理を施し、第２
図（Ｃ）に示すように防振エリアを決定する。

他方、手振れなどによる画面揺れを検出するために、入
力端子１０の入力画像信号はＢＰＦ１８に入力される。

ＢＰＦ１８の作用については、後で、第４図、第５図及
び第６図を参照して詳細に説明する。動きベクトル演算
回路２０は、防振エリア判定回路１６で決定された防振
エリアについて、時空間勾配法によりＢＰＦ１８の出力
から手振れなどによる画面揺れ量を演算し、出力する。

このときの動きベクトル演算回路２０でのブロックの大
きさ及び形状は、ＢＰＦ１８の出力信号のパターン周期
Ｔに依存する。時空間勾配法では本質的に、ブロック内
に様々な方向の勾配を含む必要があるので、当該周期Ｔ
に応じた充分な大きさのブロックを選択する。このよう
な大きなブロックを選択すると、空間解像度が著しく低
下するが、一般に、防振エリア内に発生している動きベ
クトルは被写体の動きではなく手振れ等によるものであ
るので、−様な方向に−様な大きさを持っており、空間
解像度の低下は問題にならない。

第３図は、時空間勾配法による動きベクトル演算回路の
回路構成例を示す。３０は第１図のＬＰＦ１２の出力に
相当する画像信号の入力端子、３２．３４は必要な時刻
の画像信号を記憶するレジスタ、３６．３８は減算器、
４０は乗算器、４２は減算器３８の出力データの符号（
正、負又はゼロ）を示す信号を出力する符号出力回路、
４４は減算器３８の出力データの絶対値を出力する絶対
値回路、４６．４８は指定ブロック内のデータを累積加
算する総和回路、５０は除算器、５２は空間勾配方向の
動き量を示す信号の出力端子である。

第３図の動作を説明する。入力端子３０に人力した画像
信号ｇは２つに分けられ、レジスタ３２及び減算器３６
により、時間的に連続する２つの画面間での濃度差、即
ち時間勾配ｄが算出され、また、レジスタ３４及び減算
器３８により、任意時刻の画像内の空間勾配ｇ°が算出
される。符号出力回路４２は空間勾配ｇ゛が正のときに
は、＋１、ゼロのときには０１負のときには−１を出力
し、乗算器４０は時間勾配ｄ（減算器３６の出力）に符
号出力回路４２の出力を乗算する。そして、総和回路４
６はブロック毎に乗算器４０の出力の総和を計算する。

また、絶対値回路４４は空間勾配ｇ’　　（減算器３８
の出力）の絶対値をとり、総和回路４８がブロック毎に
絶対値回路４４の出ツノの総和を計算する。

除算器５０は総和回路４６の出力を総和回路４８の出力
で除算する。除算器５０による除算結果は、各ブロック
での空間勾配方向の動き量を示しており、これが出力端
子５２から例えば第１図の防振エリア判定回路１６に供
給される。

次に、第４図、第５図及び第６図を参照してＢＰＦ１８
の作用を詳細に説明する。人力画像は、フーリエ変換に
より当該入力画像を構成する各周波数成分に分解できる
。人力画像のある断面における濃度変化を示す波形に１
次元フーリエ変換を施し、周波数１／Ｔの成分のみを抽
出して１次元逆フーリエ変換を施すと、第４図に示すよ
うに周期Ｔの正弦波を得ることが出来る。縦軸ｙは画像
の濃度値を、横軸Ｘは断面中の位置を、Ａは正弦波の振
幅を、Ｂは正弦波のバイアスを夫々示している。このパ
ターンに対し時空間勾配法を適用すると、以下のように
なる。但し、ｙｌは移動前の画像を示し、ｙ、はＸ方向
にαだけ移動した画像を表わしている。時間勾配をｄ（
ｘＬ空間勾配をｙ＋’（ｘ）とすると、 ｄ（ｘ）＝Ｙ＋−Ｙ鵞 ＝Ａ　（ｓｉｎｃＩＪｘ−ｓｉｎω（ｘ−ａ）　１ｙ＋
’（ｘ）＝ａｙ＋／ｃ）　ｘ ＝ＡωＣＯＳωＸ となる。但し、ω＝２π／Ｔである。

これにより、推測される移動量ｅ（α）は、前出の基本
式から、 ｅ（α）＝Σｓ　ｄ（ｘ）・ｓｉｇｎ（ｙ＋′）／Σａ
ｌｙ＋’１で与えられる。Σ、は、先の場合と同様にブ
ロック内の総和を表わしている。ブロックの大きさをパ
ターンの周期Ｔと等しくしたときの移動量ｅ（α）を推
定すると、 ｅ（ａ）＝　（２π／Ｔ）ｓｉｎωα ＝　（２π／Ｔ）　ｓｉｎ　（２ｙｒ　ａ／Ｔ）となる
。これを、横軸を画素単位の画面の動き量α、縦軸を画
素単位の推定結果として図示したのが、第５図である。

第５図から以下のことが分かる。第１に、推定結果は画
像のパターン周期Ｔと同じ周期を持ち、その形から正し
く推定できる動き量は、±Ｔ／４の範囲に限られる。第
２に、推定結果は画像のパターンの振幅Ａ及びバイアス
Ｂには依存せず、画像のパターン周期Ｔに応じた固有の
正弦波形になる。

以上のことから、検出レンジは、ＢＰＦ１８によって挿
出されるパターン周期Ｔによって決まることが分かる。

検出レンジ拡大の例を第６図に示す。第６図の縦軸及び
横軸は第５図の場合と同じである。第６図中、実線で示
す正弦波は、周期Ｔ＝８０画素のパターンに対する推定
結果であり、破線で示す正弦波は、周期Ｔ＝４０画素の
パターンに対する推定結果を示す。また、正弦波に接し
て原点から延びる直線は、理想的な出力結果を示す。

両推定結果から、画像パターンの周期Ｔにより、その動
き検出レンジを自由に選択できることが分かる。

そこで本実施例では、第１図に示すように、防振エリア
の判定のための前処理フィルタ、即ち１７ＰＦ１２とは
別に、最終的な動きベクトルを算出するための前処理フ
ィルタ、即ちＢＰＦ１８を設け、数値計算のみで動きベ
クトルを算出できる明快さ、高速性及び高い分解能と、
広い検出レンジとの両方を両立させている。本実施例で
は、ＢＰＦ１８により検出レンジの拡大を実現している
が、ＢＰＦ１８の代わりに、小さい周期のパターンをカ
ットするよう忙ローパスフィルタを用いても、同様の効
果を得ることができる。

第１図の実施例では、２個の前処理フィルタ１２．１８
を並列に配置したが、これを直接に配置してもよい。第
７図は、その変更実施例の回路構成ブロック図を示す。

６０は画像信号の入力端子、６２はＬＰＦ、６４は時空
間勾配法による動きベクトル演算回路、６６は防振エリ
ア判定回路、６０は動きベクトル演算回路６４及び防振
エリア判定回路６６による演算時間との調整用の遅延回
路、７０は、防振エリア判定回路６６の出力により開閉
制御されるアナログ・スイッチ、７２はＢ　Ｐ　Ｆ。

７４は時空間勾配法による動きベクトル演算回路、７６
は、最終的な動きベクトル量を示す信号の出力端子であ
る。

ＬＰＦ６２、動きベクトル演算回路６４及び防振エリア
判定回路６６からなる部分は、第１図のＬＰＦ１２、動
きベクトル演算回路１４及び防振エリア判定回路１６か
らなる部分と同じ作用をする。即ち、動きベクトル演算
回路６４は一定大きさのブロックに対して動きベクトル
の分布を計算し、防振エリア判定回路６６は、動きベク
トルの大きさ及び方向などが等しい防振エリアを検出し
、その防振エリアの内部だけ、アナログ・スイッチ７０
を閉成する。これにより、防振エリア内の画像信号がＢ
ＰＦ７２に入力する。

ＢＰＦ７２により、検出レンジ拡大のためのフィルタ処
理を行ない、その後、動きベクトル演算回路７４により
、ＢＰＦ７２の通過帯域に応じた大きさ及び形状のブロ
ックについて時空間勾配法に基づき動きベクトルを求め
る。ＢＰＦ７２のかわりにローパスフィルタでもよいこ
とはいうまでもない。　このようにして、出力端子７６
には目的とする画像動き量を示す信号が得られる。

［発明の効果］ 以上の説明から容易に理解できるように、本発明によれ
ば、動きベクトルの検出レンジの広さと空間解像度の高
さを両立させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成ブロック図、第２図は
防振エリア判定手順の説明図、第３図は時空間勾配演算
回路の構成回路例、第４図は周期Ｔの画像パターンの断
面図、第５図は周期Ｔのパターンに時空間勾配法を適用
して移動量を推定した場合の推定結果、第６図は周期Ｔ
による推定結果の比較図、第７図は本発明の別の実施例
の構成ブロック図である。 １０．６０：画像信号入力端子　１２．６２：ＬＰＦ　
　１４，２０，６４．７４＋時空間勾配演算回路　１６
，６６：防振エリア判定回路　１８゜７２：ＢＰＦ　　
２２，７６：出力端子　３０：入力端子　３２．３４：
レジスタ　３６．３８：減算器　４０：乗算器　４２：
符号出力回路　４４：絶対値回路　４６．４８：総和回
路　５０：除算器　５２：出力端子　６８：遅延回路　
７０：アナログ・スイッチ 第 １ 図 第 図 ｅ（α） 第５ 図 ｅ（α）

Claims (1)

【特許請求の範囲】
1. 第１の前処理フィルタ手段を通過した信号により動きベ
   クトルを算出して、目的の動きベクトルを得たい画像エ
   リアを決定するエリア決定手段と、当該エリア決定手段
   の制御下で、第２の前処理フィルタ手段を通過した信号
   により、当該画像エリアに関する動きベクトルを算出す
   る動きベクトル演算手段とからなることを特徴とする動
   きベクトル検出装置。