JPH0429477A - 動きベクトル検出装置及び画像ゆれ補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装置
及び画像揺れ補正装置に関するものであも 従来の技術 従来の画像の動きベクトル検出装置の例として、例えば
特開昭６１−２６９４７５号公報に示される様なものが
あム 第７図（戴　これの概略図を示したものであり、■はラ
ッチＡ、　２は代表点メモリ、　３はラッチ艮４は減算
獣　５はアドレスコントローラ、　６は絶対値変換器　
７は累積加算器　８は相関性検索訊９は相関性有効無効
判定虱　１０は動きベクトル判定部Ａであム 以上のように構成された従来の相関演算装置を用いた画
像の動きベクトル検出装置について説明すも まず、画像の動きベクトルについて説明すム′ｓ８図（
ａ）ζよ　ある時刻における画像を示していも　そして
（ｂ）は１フイールドもしくは１フレーム後の画像を示
していも　このよう＆ミ　撮像装置などの動きによって
画像が平行移動するとき、（ｃ）の矢印で示したように
画像が平行移動した量をベクトルで示したものを動きベ
クトルと呼属第９図はこのような画像の動きベクトルを
検出する方法である１代表点マツチング法における代表
点とそのまわりの画素の様子を示したものであ４　動き
ベクトル検出は　あるフィールドにおける代表点の位置
の画像データが次のフィールドでまわりの画素のう板　
どこに移動したかを相関性を用いて検出することによっ
て行われも次＆ミ　従来の相関演算装置を用いた画像の
動きベクトル検出装置について第７医　を用いて説明す
も 画面上の各代表点における画像データはタイミングパル
スＬＰＩによりラッチＡ１に取り込まれタイミングをと
って代表点保存メモリ２のそれぞれの代表点に対応する
アドレスに書き込まれもそして、次のフィールドもしく
は次のフレーＬにおいて、各代表点の位置のまわりの動
きベクトル検出領域における画像データと２代表点メモ
リ２に保存された前フィールドの代表点の相関（ここで
は絶対値差分）をとり、累積加算器７に入力すも　累積
加算器７は代表点を基準としたときの座標の位置が同じ
場所において相関をとったデータを、それぞれ累積加算
すａ　そしてすべての代表点まわりの累積加算が終了し
たとき、相関性検索部８により累積加算器７に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定すも　つまり、代表点の位置を基準としたときへこ
の最も相関の高い値を有する位置（アドレス）が動きベ
クトルとなａ　第７図で示した構成では相関演算を、差
分絶対値の累積加算で行っているた数　累積加算器７に
ある相関が高い点のデータ値は　その他の点のデータ値
より低いレベルとなも　さら凶　代表点の回りの相関値
の分布（平均鑑　最小鑑　勾配など）をもとにして、相
関演算により得られた動きベクトルが有効か無効か判定
すム　判定の条件は平均値が低いとき、最小値が高いと
き、 そして相関値の最小点の回りの勾配が小さいとき、相関
演算により得られた動きベクトルを無効と判定すも　こ
の判定を無効判定部９により行う。

以上に説明した動作（よ　画面を複数個に分割した各領
域について行なわれも　そして、画面の各領域から得ら
れた動きベクトルとその無効判定情報により画面全体の
動きベクトルを判定器ＡＩＯにより判定すム ここまでの動作は毎フィールド（フレーム）行うた数　
相関演算を行いながら次のフィールド（フレーム）の相
関演算のための代表点における画像データを保存するた
めにラッチＡ１があム　また　ラッチ８３　ＣＬ　　あ
る代表点の画像データと、その周辺の画像データとの相
関をとるときに代表点の画像データを保持すム 第７の破線部分、すなわち相関演算により動きベクトル
を検出する部分を動きベクトル検出部Ａ２０とすム 発明が解決しようとする課題 しかしながら上記のような構成において、被写体の各位
置による相関が低く、撮像装置の動きによる画像がシフ
トした点だけが相関の高い点となれば良い方丈　被写体
に規則正しい相関があった場合、以下の問題が発生ずム
　被写体に規則正しい相関があった場合、相関の高い点
が多数得られこれを検出するために相関値の最小値の回
りの勾配を調るものである爪　勾配値による判定では全
ての条件において十分な検出ができず、各領域から得ら
れる動きベクトル力（画像内の相関の高い本来の動きベ
クトルとは関係のない点の位置となり、各領域における
動きベクトルは同じにならな（−その結果　各領域の動
きベクトルの平均等をとって画面全体の動きベクトルを
決定すると、画面全体の動きと異なる画像の相関の高い
点を示した領域の動きベクトルの候補点が原因となり、
画像全体の動きベクトルの検出を誤るという問題点を有
していた 本発明はかかる点に鑑へ　被写体に多くの相関があり、
得られる動きベクトルが激しく変化する条件を検出し　
この条件が検出された場合、各領域より求められた動き
ベクトルにたいして、その動きベクトルを抑圧すること
を目的とすム課題を解決するための手段 入力画像信号を複数の領域に分割し　それぞれの領域に
おける画像の動きベクトルを演算する動きベクトル検出
部と、検出された動きベクトルの特性を調べるベクトル
特徴検出部と、ベクトル特徴検出部の出力により検出さ
れた動きベクトルの大きさを制御するベクトル制御器を
有する動きベクトル検出装置を構成すも 作用 本発明は前記した構成により、被写体に多くの相関があ
り、得られる動きベクトルが激しく変化する条件をベク
トル特徴検出部により検出し　この条件が検出された場
合　各領域より求められた動きベクトルにたいし　その
動きベクトルを抑圧するものである。

実施例 第１図は本発明の第１の実施例における動きベクトル検
出装置の構成図であり、　１はラッチＡ、２は代表点メ
モリ、　３はラッチＢ、４は減算器５はアドレスコント
ローラ、　６は絶対値変換器７は累積加算器　８は相関
性検索ａ　９は相関性無効判定部であり、　１から９の
ブロックで構成された２０の動きベクトル検出部Ａ　？
、ｔ、　　従来の構成と同様であり、同一の番号を付す
。　１１は動きベクトル特徴検出部であり、　１２は動
きベクトル制御部であり、　１３は動きベクトル決定部
であも入力された信号へ　画面上の各代表点における画
像データは　タイミングパルスＬＰＩによりラッチＡ１
に取り込まれ　タイミングをとって代表点保存メモリ２
のそれぞれの代表点に対応するアドレスに書き込まれも
　そして、次のフィールドもしくは次のフレームにおい
て、各代表点の位置のまわりの動きベクトル検出領域に
おける画像データと　代表点メモリ２に保存された前フ
ィールドの代表点の相関をとり、累積加算器７に入力す
ム　ここでの相関演算は差分絶対値の累積加算で行う。

累積加算器７は代表点を基準としたときの座標の位置が
同じ場所において、相関をとったデータをそれぞれ累積
加算すａ　そしてすべての代表点まわりの累積加算が終
了したとき、相関性検索部８により累積加算器７に保持
された累積加算値のなかで最も相関の高い値を有する場
所を判定すも　つまり、代表点の位置を基準としたとき
へこの最も相関の高い値を有する位置（アドレス）が動
きベクトルとなａ 本発明の構成では相関演算を、差分絶対値の累積加算で
行っているたへ　累積加算器７にある相関が高い点のデ
ータ値（表　その他の点のデータ値より低いレベルとな
も　この点を相関性検索器８で求めも　さらに　代表点
の回りの相関値の分布（平均籠　最小仇　勾配など）を
もとにして、相関性検索部８により得られた動きベクト
ル候補が有効か無効かを判定すａ　この判定を無効判定
部９により行う。

さらにこの無効判定とは独立４Ｑ　　動きベクトルの特
徴を、動きベクトル特徴検出部１１で行う。

動きベクトル特徴検出部１１の構成を第２図に示す。同
図において２０は変化検出器　２１及び２４は絶対値変
換器　２２及び２４はローパスフィル久　２５は規格化
器である。以上のように構成された動きベクトル特徴検
出部１１の動作について以下に述べも 動きベクトル特徴検出部１１でＣヨ　　撮像装置を手に
持ったときや、車等から撮像したときの動きベクトルと
、画像内に規則正しい相関が多い被写体を撮像したとき
の動きベクトルの特徴を分離すも　これらの条件で得ら
れた代表的な動きベクトルの変化の様子を第３図に示す
。同図（ａ）は撮像装置を手に持ったときの水平方向の
動きベクトルであり、同図（ｂ）は車等から撮像したと
きの水平方向の動きベクトルであり、　（ｃ）、　（ｄ
）は画像内に規則正しい相関が多い被写体を撮像したと
きの水平方向の動きベクトルであム　第３図に示すよう
置　画像内に規則正しい相関が多い被写体を撮像したと
きは　得られる動きベクトルは変化が急激で、また変化
する回数も多い（周波数が高い）。これらの条件を分離
するため＆−入力された動きベクトルの変化した成分を
、変化検出器２０で検出すも　変化検出器２０で行う演
算は５ｉｘ−ｔ（ｎ）　−Ｖｘ−ｔ（ｎ−１）　−Ｖｘ
−ｔ（ｎ）Ｓ２ｘｊ（ｎ）　＝　５ｉｘ−ｔ（ｎ−１）
　−５ｉｘ−ｔ（ｎ）Ｓｌｙｊ（ｎ）　−Ｖｙ　ｔ（ｎ
−１）　−Ｖｙ−ｔ（ｎ）Ｓ２ｙ−ｔ（ｎ）　−５ｌｙ
−ｔ（ｎ−１）　−５ｌｙ−ｔ（ｎ）ここでＶは動きベ
クトルであり、添え字のｘ、ｙは水平方向及び垂直方向
を示す。またｔ　（ｎ）はベクトルが得られるフィール
ドを示す。またＳｌは演算の途中結果であり、Ｓ２がベ
クトルの変化成分であム　添え字は動きベクトルＶと同
じであも　このようにして求めた変化成分の絶対値を絶
対値変換器２１で求へ　急激な変化を減衰させるために
ローパスフィルタ（ＬＰＦ）２２を通し得られた特徴を
現わす信号ＣＨを規格化器２５に送る。

これと同時に規格化を行う信号ＲＦを、絶対値変換器２
３と、ＬＰＦ２４により求めも　規格化を行う信号ＲＦ
ハ　　動きベクトルの絶対値を求へ　急激な変化成分を
減衰させることにより行う。このようにして求めた規格
化の基準信号ＲＦにより、次式に示す規格化を行う。

Ｇｖ＝Ａ＊ＣＨ／　（ＲＦ＋○） ここでＡとＯは係数であり、各システムで最適値を選択
すも　このようにして規格化を行うことにより、第３図
（ｄ）のような動きベクトルの振幅の小さい条件におい
ても相対的にレベルを拡大することが可能となり、第３
図（ｄ）の条件を安定して分離することが可能となム 以上のようにして得られた制御信号Ｇｖを用（（動きベ
クトル制御器１２により、動きベクトルに乗する係数を
束数　動きベクトルに掛けも　動きベクトル制御器１２
の特性を第４図に示す。横軸は動きベクトル特徴検出部
の出力Ｇｖであり、縦軸は得られた動きベクトルに乗す
るゲインの値であム このようにして、動きベクトル特徴検出部の出力レベル
が高いとき、つまり撮像している画像内の規則正しい相
関が多いとき、正しくない動きベクトルが検出される条
件で、動きベクトルを零に圧縮することが可能となム ここまでの動作４１　　画面を複数個に分割した各領域
について行なう。ここまでの動作は毎フィールド（フレ
ーム）行うたべ　相関演算を行いながら次のフィールド
（フレーム）の相関演算のための代表点における画像デ
ータを保存するためにラッチＡ１があム　また　ラッチ
Ｂ３は　ある代表点の画像データと、その周辺の画像デ
ータとの相関をとるときに代表点の画像データを保持す
る。

この様にして、分割した各領域から動きベクトルの候補
を決定し　これらの候補ベクトルを動きベクトル決定部
１３によりメデイアンフィルタにかけて、入力信号の動
きベクトルとすも以上の様にして人力信号の動きベクト
ルを求めることにより、画像内で相関性の高い点が規則
正しく存在し　誤った動きベクトルを検出する条件では
　動きベクトルの大きさを零として、誤って検出された
動きベクトルを用いないようにすも従って、従来動きベ
クトルとして無効である方丈その判定が出来ず誤った動
きベクトルを検出した場合においてＬ　その値を零にす
る事ができ、誤った動きベクトルを出力することが無く
な４次に本発明の動きベクトル検出装置を用いた画像の
捕れ補正装置について記す。画像の捕れ補正装置の実施
例のブロック図を、第５図に示す。

同図において１８は画像信号を蓄積するメモリ、１６は
メモリの信号を補間する補間訊　１７は画像信号の出力
を制御する出力制御部であり、　５０は本発明の動きベ
クトル検出装置であり、第１図と同じ番号を付け、説明
は省略する。

以上のように構成された画像の捕れ補正装置の動作につ
いて説明すも 第５図において、動きベクトルを求める方法は前記した
実施例と同様であり、その説明は省略すも　動きベクト
ル検出装置５０より入力された画像信号の動きベクトル
が出力され　出力制御部１７に入力すム　出力制御部１
７はフィールド（フレーム）毎に入力される動きベクト
ルを積算し積算した動きベクトルの正数部（動きベクト
ルを画像信号が記録されているメモリーのアドレスで表
現した場合）に対応して、メモリ１８の信号読み出しの
アドレスを決定すａ　また動きベクトルの小数部に対応
して補間部１６の制御を行う。補間は垂直水平とも距離
の逆数に対応した重みを掛ける線形補間とすも　この様
にして、動きベクトルに合わせて出力制御部１７は画像
を揺れと逆の方向にシフトし　画像の揺れをキャンセル
すもまた出力制御部１７は　出力する画像をもとの画像
の１、１から１、５倍程度に拡大し　メモリ−１８内部
の画像を左右上下にシフトして出力した場合”縁”が見
えないようにすも このように本発明の動きベクトル検出装置を用（＼　画
像の捕れ補正装置を構成することにより、画像内で相関
性の高い点が規則正しく存在し　誤った動きベクトルを
検出する条件で＆よ　動きベクトルの大きさを零として
、揺れ補正に誤って検出された動きベクトルを用いない
ようにすることができも　従って、従来画像内で相関性
の高い点が規則正しく存在し　動きベクトルとして無効
である方丈　その判定が出来ず誤った動きベクトルを検
出し　誤った揺れ補正を行ってた場合において耘そのベ
クトルを零にする事ができ、誤った揺れ補正を行なわな
くする事が可能とな泡　画像の捕れ補正装置を実現する
ことができも 尚本発明の動きベクトル検出装置の実施例において、動
きベクトル特徴検出部１１の構成を、第２図のようにし
たが第６図のようにＨＰＦ３０を用いて変化検出器２０
の代わりをさせることが可能であ、Ｌ　　ＩＦＦのカッ
トオフ周波数は５Ｈｚから１５Ｈｚ程度が適当であａ 更に本発明の動きベクトル検出装置の実施例において、
動きベクトル特徴検出部１１の演算方法は本実施例の方
法に限る必要はなく、本発明の目的に合った類似の方法
でも良いのは当然であムまた本発明の動きベクトル検出
装置の実施例において、動きベクトル特徴検出部１１は
ベクトルの大きさにより規格化した力（規格化の方法は
本実施例以外でも良いのは当然である。また簡易に行う
には規格化を行わなくとも可能であ本発明の効果 本発明の動きベクトル検出装置によれは　画像内で相関
性の高い点が規則正しく存在し　従来誤った動きベクト
ルを検出する条件で（戴　動きベクトルの大きさを零と
して、誤って検出された動きベクトルを用いないように
すａ　従って、従来動きベクトルとして無効である方丈
　その判定が出来ず誤った動きベクトルを検出した場合
においてＬその値を零にする事ができ、誤った動きベク
トルを出力することが無くなも また本発明の動きベクトル検出装置を用（Ｘ、画像の捕
れ補正装置を構成することにより、画像内で相関性の高
い点が規則正しく存在し　従来誤った動きベクトルを検
出する条件で（よ　動きベクトルの大きさを零として、
揺れ補正に誤って検出された動きベクトルを用いないよ
うにすることができも　従って、従来画像内で相関性の
高い点が規則正しく存在し　動きベクトルとして無効で
ある力（その判定が出来ず誤った動きベクトルを検出し
　誤った揺れ補正を行ってた場合においてＬそのベクト
ルを零にする事ができ、誤った揺れ補正を行なわなくす
る事が可能とな４　画像の捕れ補正装置を実現すること
ができも

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック医　第２図は本発明の一実施例
における動きベクトル検出装置のベクトル特徴検出部の
構成を示すブロック医　第３図は本発明の一実施例にお
ける動きベクトル検出装置の検出ベクトルの状態を示す
波形医　第４図は動きベクトル制御器の特性を示すｅ　
　第５図は本発明の一実施例における画像捕れ補正装置
の構成を示すブロック医　第６図は本発明の一実施例に
おける動きベクトル検出装置の動きベクトル特徴検出部
の第２の実施例の構成を示すブロック医　第７図は従来
例の動きベクトル検出装置の構成を示すブロックは　第
８図及び第９図は従来例における動きベクトル検出装置
の動作状態説明図であも ２・・・代表点保存メモリ、　　７・・・累積加算器８
・・・相関性検索拡　　９・・・無効判定数　　１１・
・・動きベクトル特徴検出ム　　１２・・・動きベクト
ル制御仏　　１３・・・動きベクトル決定ａ　　１６・
・・補間賑　　１７・・・出力制弧　　５０・・・動き
ベクトル検出装置 代理人の氏名　弁理士　粟野重孝　はか１名鏡　（ 纂 図 （ＱＪ 第 図 第 図 朝−田力レベル 第 第 図 ｉ四ｐ ／

Claims (2)

【特許請求の範囲】
1. （１）入力画像信号を複数の領域に分割し、それぞれの
   領域における画像の動きベクトルを演算する動きベクト
   ル検出部と、検出された動きベクトルの特性を調べるベ
   クトル特徴検出部と、ベクトル特徴検出部の出力により
   検出された動きベクトルの大きさを制御するベクトル制
   御器を有することを特徴とする動きベクトル検出装置。
2. （２）入力画像信号を複数の領域に分割し、それぞれの
   領域における画像の動きベクトルを演算する動きベクト
   ル検出部と、検出された動きベクトルの特性を調べるベ
   クトル特徴検出部と、ベクトル特徴検出部の出力により
   検出された動きベクトルの大きさを制御するベクトル制
   御器と、各領域の動きベクトルの有効性を判断し画面全
   体の動きベクトルを決定する動きベクトル判定器と、画
   像を拡大補間して任意の位置の画像を出力できる出力制
   御器を有することを特徴とする画像揺れ補正装置。