JP2507138B2 - 動きベクトル検出装置及び画像揺れ補正装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置、及び画像揺れ補正装置に関するものである。

従来の技術 筆者等が提案している従来の相関演算装置を用いた画
像の動きベクトル検出装置、例えば特開平１−68207号
公報に示される様なものがある。

第９図と第７図は、これの相関演算部分に差分絶対値
演算を採用したときの動きベクトル検出装置の概略図を
示したものであり、１はラッチＡ、２は代表点メモリ、
３はラッチＢ、４は減算器（加算器で代用できる）、５
はアドレスコントローラ、６は絶対値変換器、７は累積
加算器、８は最小値アドレス判定器、９は前記１から８
までが構成する動きベクトル検出装置Ａ、10はコアリン
グ器、11は積分器、12はコアリング値決定器Ａ、13はコ
アリング装置Ａである。

以上のように構成された従来の相関演算装置を用いた
画像の動きベクトル検出装置について説明する。

まず、画像の動きベクトルについて説明する。第11図
（ａ）は、ある時刻における画像を示している。そして
（ｂ）は１フィールドもしくは１フレーム後の画像を示
している。このように、撮像装置などの動きによって画
像が平行移動するとき、（ｃ）の矢印で示したように画
像が平行移動した量をベクトルで示したものを動きベク
トルと呼ぶ。

第８図はこのような画像の動きベクトルを検出する方
法の最も一般的な方法である代表点マッチング法におけ
る代表点とそのまわりの画素の様子を示したものであ
る。動きベクトル検出は、あるフィールドにおける代表
点の位置の画像データが次のフィールドでまわりの画像
のうちどこに移動したかを相関演算をもちいて行われ
る。

次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第７図、第８図を用いて説明する。

画面上の各代表点における画像データはタイミングパ
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ２のそれぞれの代表点に対応する
アドレスに書き込まれる。そして、次のフィールドもし
くは次のフレームにおいて、各代表点の位置のまわりの
動きベクトル検出領域における画像データと代表点メモ
リ２に保存された前フィールドの代表点の画像データと
の差分をとり、絶対値変換器６により絶対値を取り、累
積加算器７に入力する。累積加算器７は代表点を基準と
したときの座標の位置が同じ場所において絶対値差分を
とったデータ（絶対値変換器６の出力）を、それぞれ累
積加算する。そしてすべつの代表点まわりの累積加算が
終了したとき、最小値アドレス判定器８により累積加算
器７に保持された累積加算値の最小値を有する場所を判
定する。差分絶対値による相関性判断では相関の大きい
場所ほど小さい値をとるので、代表点の位置（アドレ
ス）を基準としたときの、この最小値を有する位置（ア
ドレス）が動きベクトルとなる。以上の動作は毎フィー
ルド（フレーム）行うため、相関演算を行いながら次の
フィールド（フレーム）の相関演算のための代表点にお
ける画動データを保存するためのラッチA1がある。ま
た、ラッチB3は、ある代表点の画像データと、その周辺
の画像データとの相関をとるときに代表点の画像データ
を保持する。また、第７図中破線部分、すなわち動きベ
クトルを求めるこの装置を動きベクトル検出装置A9とす
る。

次にコアリング処理装置A13について説明する。第10
図はコアリング回路10の入出力特性を示したものであ
る。このように、入力信号の微小成分すなわち第10図の
αの部分に対応する成分を０として出力する処理をコア
リング処理と呼んでいる。一般的に信号中の雑音成分の
レベルは小さいため、コアリング処理は微小雑音成分を
削除するのに用いられる。しかし、入力信号の微小変化
成分中には本来の信号成分も存在するので、第10図中の
コアリング量を大きくすると信号成分の変化が目立って
しまう恐れがある。しかしながら検出動きベクトルのゆ
らぎも問題であるため、ゆらぎを除去する必要がある。
特に入力信号が小さくなったときにゆらぎが目だつた
め、この条件を検出する。この条件の検出を動きベクト
ルvect_-x,vect_-yを積分器11により積分することにより
検出し、コアリング器10のコアリング特性をコアリング
値決定器A12により制御する。制御特性を第12図に示
す。

積分動きベクトルが増大するにつれてコアリング値を
減少させ、雑音成分による検出動きベクトルのゆらぎの
目立つ領域、すなわち積分動きベクトルの小さい領域に
おいては、コアリング量を大きくしてゆらぎの影響を低
減し、雑音成分による検出動きベクトルのゆらぎのあま
り目立たない領域、すなわち積分動きベクトルの大きい
領域において、コアリング量を小さくして検出動きベク
トルの誤差を小さくし、コアリング処理による信号成分
の削除を最小限に抑えている。

発明が解決しようとする課題 しかしながら上記のような構成では、入力画像信号で
一方向に相関の高い画像が入力されたとき、静止画入力
においても積分動きベクトルが大きな値を持つことがあ
り、コアリング処理が目的どうりに動作せず、入力画像
信号で一方向に相関の高い画像が入力された条件におい
て、動きベクトルのゆらぎが目だってしまうという問題
点を有していた。

本発明はかかる点に鑑み、静止画像が入力されている
条件を検出し、動きベクトルのゆらぎが目だたないよう
にコアリング値を制御し、静止画像以外が入力されてい
るときは、動きベクトルの値が小さくならないようにコ
アリング値を制御する、動きベクトル検出装置を提供す
ることを目的とする。

課題を解決するための手段 本発明は入力画像信号の動きベクトルを演算する動き
ベクトル演算部と、動きベクトルを積分する積分器と、
入力画像信号が静止していることを判定する静止判定部
と、積分回路と静止判定部の出力によりコアリング値を
決定するコアリング値決定器と、コアリング値決定器の
出力によりコアリングの値を制御し、動きベクトル演算
部の出力にコアリングを施すコアリング器を有すること
を特徴とした動きベクトル検出装置、及び本動きベクト
ル検出装置を用いた揺れ補正装置である。

作用 本発明は前記した構成により、検出された動きベクト
ルの大きさ、及び画像の静止判定の結果に応じて検出動
きベクトルにコアリングを施すことにより、大きな動き
ベクトルが検出されたときの検出精度を下げず、且つ画
像の相関が一方向に高いときにおいても動きベクトルの
ゆらぎを抑圧する。

実施例 第１図は本発明の第１の実施例における動きベクトル
検出装置の構成図であり、９は動きベクトル検出装置
Ａ、10はコアリング器、11は積分器、21はコアリング値
決定器Ｃ、20は静止判定部Ａである。以上のように構成
された動きベクトル検出装置の動作について以下説明す
る。

動きベクトル検出装置A9、コアリング器10、積分器11
は従来例と同様であるので同一の番号を付し、説明は省
略する。従来例と異なるのは静止判定部20と、コアリン
グ値決定器21である。静止判定部20Aの構成を第２図に
示す。同図において30は差分検波器、31はローパスフィ
ルタ、32は判定器である。

差分検波器30には最小値アドレス判定器８より得られ
る最小値がフィールド（フレーム）毎に入力される。入
力された最小値と１フレーム前の最小値の差の絶対値を
とる。そして高域成分を除去するLPF31により急激な変
動成分を取り除く。このようにして求めた値は、入力さ
れる画像信号が静止画の場合、最小値の変動が小さいた
め小さな値となり、画像が揺れ動いている場合には、最
小値の変動が大きくなるため、大きな値となる。この関
係をグラフにして第３図に示す。同図の横軸は画像の動
く速度（カメラの移動速度に対応）を１フィールド当り
の画素数で示したものである。縦軸はLPF31の出力値で
ある。グラフ中の縦軸は値の標準偏差を示したものであ
る。この値よりLPF31の出力が50以下であれば、入力さ
れた画像が静止しているといえる。判定器32ではLPF31
の出力が50以下の条件が連続して検出されたときに静止
していると判定し、コアリング値決定器C21に静止条件
である情報を送る。

コアリング値決定器C21では、この静止条件が成立し
たときは第４図に示すように、積分動きベクトルには関
係なくコアリング値を大きくする。このように静止条件
が成立したときのみ、積分動きベクトルには関係なくコ
アリング値を大きくするすることにより、画像内の相関
が一方向に高くなり、積分動きベクトルが多少大きくな
る条件においても、動きベクトルのゆらぎを圧縮して、
出力できる。

以上のように本実施例によれば、コアリング値決定回
路C21によりコアリング値を制御することにより、雑音
成分による検出動きベクトルのゆらぎの目立つ領域、す
なわち積分動きベクトルの小さい領域においては、雑音
除去を主に行ない、雑音成分による検出動きベクトルの
ゆらぎのあまり目立たない領域、すなわち積分動きベク
トルの大きい領域においては、検出動きベクトルの誤差
が小さくなるようにコアリング処理による信号成分の削
除を最小限に抑え、大きな動きベクトルが検出されたと
きの検出精度を下げず、小さな動きベクトルが検出され
たときの検出動きベクトルの微小ノイズ成分を抑圧し、
さらに静止条件が成立したときのみ、積分動きベクトル
には関係なくコアリング値を大きくするすることによ
り、画像内の相関が一方向に高くなり、積分動きベクト
ルが多少大きくなる条件においても、動きベクトルのゆ
らぎを圧縮して、動きベクトルを検出することができ
る。

第５図に本発明の第２の実施例における動きベクトル
を検出の静止判定部Ｂの構成図を示す。そのほかの動き
ベクトルを検出装置の構成は第１の実施例と同様であり
説明は省略する。第５図において33は画像信号の一部あ
るいは全部を蓄積するメモリ、34は減算器、35は絶対値
変換器、36は累積演算器、37はローパスフィルタＢ、38
は判定器Ｂである。以上のように構成された静止判定部
Ｂの動作を以下に説明する。

入力された画像信号はメモリ33に一旦蓄積され、フィ
ールド間あるいはフレーム間で差を減算器34で演算す
る。ここでの差の演算は入力された画像信号の全ての画
素について演算する必要はなく、数分の１に間引いたも
のや、低域の信号に帯域制限したもので数十分の１以上
に間引たものでも良い。このようにして求めた画像の差
分の絶対値を、絶対値変換器35でとり、累積加算を累積
演算器36により求める。このようにしてフィールド間
（フレーム間）の差を求める。静止画像の場合、求めた
差はノイズ成分だけであり、小さな値となる。画像が大
きく変化した場合や、パン、チルトした場合は大きな値
となる。急激な変化をローパスフィルタ37で減衰させ、
差分が大きいか小さいかにより、画像信号が静止画像か
否かの判定を、判定器B38で行う。

以上のようにして静止判定を行った後は、第１の実施
例と同様にコアリング値決定器C21へ静止条件の判定結
果を送る。静止条件が成立したときは第１の実施例と同
様にコアリング値を大きな値にし、動きベクトルの変動
成分を圧縮して出力する。

以上のように、本実施例によれば画像信号の差を直接
演算するため、パンやチルトが小さいときでも、静止画
かどうかを精度良く判定でき、動きベクトルの検出に悪
影響を及ぼさずに安定した動きベクトルを検出できる。

次に本発明の動きベクトル検出装置を用いた、第２の
本発明の画像揺れ補正装置の実施例について述べる。

第６図に本発明の画像揺れ補正装置の構成図を示す。
41は画像信号を蓄積し画素単位で任意の位置の画像信号
を読み出するメモリ、42は任意の位置の画像を補間計算
する補間器、50は本発明の動きベクトル検出装置、44は
動きベクトルの候補から画像の動きベクトルを決定する
ベクトル決定器、43は画像の動きベクトルをもとにして
メモリ41と補間器42を制御する出力制御器である。

以上のように構成された画像の揺れ補正装置の動作に
ついて説明する。

第６図において、動きベクトルを求める方法は前記し
た実施例と同様であり、その説明は省略する。動きベク
トル検出装置B50より入力された画像信号の動きベクト
ルの候補がが上下左右４分割された各領域から得られ、
ベクトル決定器44で、中間値を選択するメジアンフィル
タにより、入力された画像信号の動きベクトルを決定す
る。決定された動きベクトルを出力制御部43に入力す
る。出力制御部43は動きベクトルの正数部（動きベクト
ルを画像信号が記録されているメモリーのアドレスで表
現した場合）に対応して、メモリ41の信号読み出しのア
ドレスを決定する。また動きベクトルの小数部に対応し
て補間部42の制御を行う。補間は垂直水平とも距離の逆
数に対応した重みを掛ける線形補間とする。この様にし
て、動きベクトルに合わせて出力制御部43は画像を揺れ
と逆の方向にシフトし、画像の揺れをキャンセルする。
また出力制御部43は、出力する画像をもとの画像の１、
１から１、５倍程度に拡大し、メモリー41内部の画像を
左右上下にシフトして出力した場合“縁”が見えないよ
うにする。

このように本発明の動きベクトル検出装置を用い、画
像の揺れ補正装置を構成することにより、画像の中に相
関が一方向に高い条件で、従来の揺れ補正装置では動き
ベクトルのゆらぎが大きく、静止画像の入力にもかかわ
らず画像が揺られる場合においても、動きベクトルのゆ
らぎを小さく圧縮し、画像の揺れをなくし、安定した揺
れ補正を実現する画像の揺れ補正装置を実現することが
できる。

なお第４図のコアリング値の特性は一例であり、同図
中の破線の特性やその他の特性でもよい。

また静止判定方法も本実施例に限る必要はなく、たと
えば加速度センサー等を用いた静止判定方法でも良いの
は当然である。

さらに本実施例の揺れ補正装置では、メモリーを用い
て画像を拡大シフして、揺れを補正していたが、ccd等
の蓄積型の撮像素子の読みだし方法を制御して、メモリ
ーの代わりをさせても良いことは当然である。

発明の効果 本発明によれば、検出された動きベクトルの大きさも
しくは画像の静止条件に応じ、画像の相関が一方向に高
く、動きベクトルの揺らぎが大きくなる条件でも、検出
動きベクトルに適切な大きさのコアリング処理を施すこ
とにより、動きベクトルのゆらぎ（検出誤差となる微小
ノイズ成分）を最小限に抑圧しつつ、大きな動きベクト
ルに対してはベクトルの減少を最小限にして誤差を少な
くすることができ、その実用的効果は大きい。

また本発明によれば、揺れ補正装置として用いたと
き、動きベクトルの検出条件が悪く動きベクトルのゆら
ぎが大きく、静止画像の入力にもかかわらず画像が揺ら
れる場合においても、動きベクトルのゆらぎを小さく圧
縮し、画像の揺れをなくし、安定した揺れ補正を実現す
る画像の揺れ補正装置を実現することができる。

【図面の簡単な説明】

第１図は本発明における第１の実施例の動きベクトル検
出装置の構成図、第２図は静止判定部の詳細な構成図、
第３図は静止判定部の信号のレベルを示す図、第４図は
第１の実施例におけるコアリング値減衰特性を示す図、
第５図は本発明の第２の実施例の動きベクトル検出装置
の静止判定部Ｂの構成図、第６図は本発明の一実施例の
揺れ補正装置の構成図、第７図は従来の動きベクトル検
出装置の構成図、第８図は代表点マッチング法における
代表点とその周囲の画素の状態の説明図、第９図はコア
リング装置の構成図、第10図はコアリングの特性図、第
11図は画像の動きベクトルの説明図、第12図は従来の動
きベクトル検出装置のコアリング値減衰特性を示す図で
ある。 １……ラッチＡ、２……代表点保存メモリ、３……ラッ
チＢ、４……減算器、５……アドレスコントローラ、６
……絶対値変換器、７……累積加算器、８……最小値ア
ドレス判定器、９……動きベクトル検出装置Ａ、10……
コアリング器、11……積分器、20……静止判定部Ａ、21
……コアリング値決定器Ｃ。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】入力画像信号の動きベクトルを演算する動
   きベクトル演算部と、動きベクトルを積分する積分器
   と、入力画像信号が静止していることを判定する静止判
   定部と、積分器と静止判定部の出力によりコアリング値
   を決定するコアリング値決定器と、コアリング値決定器
   の出力によりコアリングの値を制御し動きベクトル演算
   部の出力にコアリングを施すコアリング器を有すること
   を特徴とする動きベクトル検出装置。
2. 【請求項２】静止判定部は動きベクトル演算部の最小値
   を用いて静止判定を行うことを特徴とする請求項１記載
   の動きベクトル検出装置。
3. 【請求項３】静止判定部は画像信号を用いて静止判定を
   行うことを特徴とする請求項１記載の動きベクトル検出
   装置。
4. 【請求項４】請求項１から３のいずれかに記載の動きベ
   クトル検出装置と、画面全体の動きベクトルを決定する
   動きベクトル判定器と、画像を拡大補間して任意の位置
   の画像を出力できる出力制御器を有することを特徴とす
   る画像揺れ補正装置。