JPH0426285A - 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装置
及び画像揺れ補正装置に関するものであム従来の技術 従来の画像の動きベクトル検出装置の例として、例えば
特開昭６１−２６９４７５号公報に示される様なものが
あム 第７図（よ　ごれの概略図を示したものであり、１はラ
ッチＡ、　２は代表点メモ大　３はラッチ＆４は減算麻
　５はアドレスコントローラ、　６は絶対値変換銖　７
は累積加算淋　８は相関性検索阻９は相関性有効無効判
定訊　１０は動きベクトル判定部Ａであム 以上のように構成された従来の相関演算装置を用いた画
像の動きベクトル検出装置について説明すも まず、画像の動きベクトルについて説明すも第８図（ａ
）４；Ｌ　　ある時刻における画像を示していも　そし
て（ｂ）は１フイールドもしくは１フレーム後の画像を
示していも　このように　撮像装置などの動きによって
画像が平行移動するとき、（Ｃ）の矢印で示したように
画像が平行移動した量をベクトルで示したものを動きベ
クトルと呼本第９図はこのような画像の動きベクトルを
検出する方法である１代表点マツチング法における代表
点とそのまわりの画素の様子を示したものであム　動き
ベクトル検出（よ　あるフィールドにおける代表点の位
置の画像データが次のフィールドでまわりの画素のう板
　どこに移動したかを相関性を用いて検出することによ
って行われる。

次低　従来の相関演算装置を用いた画像の動きベクトル
検出装置について第７阻　を用いて説明すも 画面上の各代表点における画像データはタイミングパル
スＬＰＩによりラッチＡ１に取り込まれタイミングをと
って代表点保存メモリ２のそれぞれの代表点に対応する
アドレスに書き込まれもそして、次のフィールドもしく
は次のフレームにおいて、各代表点の位置のまわりの動
きベクトル検出領域における画像データと　代表点メモ
リ２に保存された前フィールドの代表点の相関（ここで
は絶対値差分）をとり、累積加算器７に入力すム　累積
加算器７は代表点を基準としたときの座標の位置が同じ
場所において相関をとったデータを、それぞれ累積加算
すム　そしてすべての代表点まわりの累積加算が終了し
たとき、相関性検索部８により累積加算器７に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定すも　つまり、代表点の位置を基準としたときへこ
の最も相関の高い値を有する位置（アドレス）が動きベ
クトルとなる。第７図で示した構成では相関演算を、差
分絶対値の累積加算で行っているたべ　累積加算器７に
ある相関が高い点のデータ値ζよ　その他の点のデータ
値より低いし・ベルとなも　さらに　代表点の回りの相
関値の分布（平均値　最小鑑　勾配など）をもとにして
、相関演算により得られた動きベクトルが有効か無効か
判定すム　判定の条件は平均値が低いとき、最小値が高
いとき、そして相関値の最小点の回りの勾配が小さいと
き、相関演算により得られた動きベクトルを無効と判定
すム　この判定を無効判定部９により行う。

以上に説明した動作（よ　画面を複数個に分割した各領
域について行なわれも　そして、画面の各領域から得ら
れた動きベクトルとその無効判定情報により画面全体の
動きベクトルを判定器ＡＩＯにより判定すム ここまでの動作は毎フィールド（フレーム）行うた敢　
相関演算を行いながら次のフィールド（フレーム）の相
関演算のための代表点における画像データを保存するた
めにラッチＡ１があム　まｆ、　　ラッチＢ　３　Ｕ　
　ある代表点の画像データと、その周辺の画像データと
の相関をとるときに代表点の画像データを保持すａ 第７の破線部分、すなわち相関演算により動きベクトル
を検出する部分を動きベクトル検出部Ａ２０とする。

発明が解決しようとする課題 しかしながら上記のような構成において、被写体の各位
置による相関が低く、撮像装置の動きによる画像がシフ
トした点だけが相関の高い点となれば良い力丈　被写体
に規則正しい相関があった場合　以下の問題が発生ずム
　被写体に規則正しい相関があった場合、相関の高い点
が多数得られこれを検出するために相関値の最小値の回
りの勾配を調るものである力丈　勾配値を単純に一定値
と比較しただけでは十分な検出ができな（ｔ　特に画像
を撮像しているカメラが揺れていた場合、勾配値のばら
つきが大きくなり、値が変動し得られた動きベクトルが
正しいかどうかの検出が十分な確度で行えなくなる。

従って各領域から得られる動きベクトル力（画像内の相
関の高い本来の動きベクトルとは関係のない点の位置と
なり、各領域における動きベクトルは同じにならなしも
　その結果　各領域の動きべクトルの平均等をとって画
面全体の動きベクトルを決定すると、画面全体の動きと
異なる画像の相関の高い点を示した領域の動きベクトル
の候補点が原因となり、画像全体の動きベクトルの検出
を誤るという問題点を有していた 本発明はかかる点に鑑へ　被写体に多くの相関があった
場合、特に水平方向及び垂直方向に相関があった場合に
その相関を検出し　画面全体の動きベクトルの検出誤り
を抑圧することを目的とする。

課題を解決するための手段 入力画像信号を複数の領域に分割し　それぞれの領域に
おける画像の動きベクトルを演算する動きベクトル検出
部と、各領域における相関の高い点の状態を抽出する相
関特徴抽出部と、これらの情報より動きベクトルの有効
性を判断し　各領域のベクトルを決定する動きベクトル
判定部を有する動きベクトル検出装置を構成すム 作用 本発明は前記した構成により、各検圧領域の動きベクト
ルの有効性を、相関の高い点の勾配の比を用いて判断し
　画像全体の動きベクトルを求めるものであム 実施例 第１図は本発明の第１の実施例における動きベクトル検
出装置の構成図であり、　１はラッチＡ、２は代表点メ
モリ、　３はラッチ＆　４は減算像５はアドレスコント
ローラ、　６は絶対値変換器７は累積加算器　８は相関
性検索器　９は相関性無効判定部であり、　１から９の
ブロックで構成された２０の動きベクトル検出部Ａ（友
　従来の構成と同様である。　１１は相関特徴抽出部で
あり、　１２は動きベクトル判定部Ｂである。

入力された信号へ　画面上の各代表点における画像デー
タ（よ　タイミングパルスＬＰＩによりラッチＡ１に取
り込まれ　タイミングをとって代表点保存メモリ２のそ
れぞれの代表点に対応するアドレスに書き込まれる。そ
して、次のフィールドもしくは次のフレームにおいて、
各代表点の位置のまわりの動きベクトル検出領域におけ
る画像データと　代表点メモリ２に保存された前フィー
ルドの代表点の相関をとり、累積加算器７に入力すム　
ここでの相関演算は差分絶対値の累積加算で行う。累積
加算器７は代表点を基準としたときの座標の位置が同じ
場所において、相関をとったデータをそれぞれ累積加算
すム　そしてすべての代表点まわりの累積加算が終了し
たとき、相関性検索部８により累積加算器７に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定すム　つまり、代表点の位置を基準としたときへこ
の最も相関の高い値を有する位置（アドレス）が動きベ
クトルとなる。　　本発明の構成では相関演算を、差分
絶対値の累積加算で行っているた数累積加算器７にある
相関が高い点のデータ値はその他の点のデータ値より低
いレベルとなム般の画像信号の場合の累積加算した値の
一部を第２図に模式的に示す。ＸＸ″は水平方向を示し
ＹＹ’　は垂直方向を示す。ま九　濃度はデータのレベ
ルを示し　黒いほどレベルが低いものとすム第２図（ａ
）のＸＸ′の位置のデータレベルを同図（ｂ）に示す。

ここで一番レベルの低い点が相関の高い点であり、この
点を相関性検索器８で求めも　さら艮　代表点の回りの
相関値の分布（平均仇　最小仇　勾配など）をもとにし
て、相関性検索部８により得られた動きベクトル候補が
有効か無効かを判定すム　この判定を無効判定部９によ
り行う。

この無効判定と同時１ミ　一番相関の高い点（レベルの
一番低い点）の周囲のデータをもとにして水平（Ｈ）、
垂直（Ｖ）、斜め方向の勾配と、これらの勾配の比を計
算する。この勾配の比の計算は相関特徴抽出部１１によ
り行う。相関特徴抽出部１１の構成を第３図に示す。

同図において２１は相関値読み込み訊　２２は勾配演算
Ｒ，２３は勾配比演算部　２４はフィルタ一部であａ　
相関性検索部８により得られた動きベクトル候補点の周
囲の相関値を相関値読み込み部２１により読み取り、紘
　横そして斜め方向の勾配を勾配演算部２２で演算すも
　そしてこの勾配の比を勾配比演算部２３で演算すも　
勾配比の演算（上　勾配演算部２２で得られる勾配値を
直接演算するものと、フィルタ一部２４を通過させたも
のに演算をおこなう２種類の演算を行う。勾配値をＬＰ
Ｆを通すことにより、擾乱の少ない判定が可能になム　
勾配の比を取る組合せを第４図に示す。同図において１
つの四角は相関値を求める演算単位を示し　中央の黒く
示した四角は相関の最も高い（レベルは低い）位置を示
すものであム　同図（ａ）は縦横比の判定を行う方向を
示しくｂ）は斜め方向比の判定を行う方向を示すもので
あム　フィルタ（ＬＰＦ）２４を通した縦方向の勾配を
Ｇｖ、横方向の勾配をＧｈ、斜め方向の勾配をＧｏｌ、
Ｇａ４と表わすと、 Ｇ　ｖ　　　＝ｍａｘ（（Ｌｖｌ−ＬｓＯ）、（Ｌｖ２
−ＬｓＯ））Ｇ　ｈ　　　＝ｍａｘ（（Ｌｈｌ−ＬｓＯ
）、（Ｌｈ２−ＬｓＯ））Ｇ　ｏ　　１　＝ｍａｘ（（
Ｌｏｌ−８ｏｌ）、（Ｌｏ２−８ｏｌ））Ｇ　ｏ　２　
＝ｍａｘ（（Ｌｏ３−８ｏｌ）、（Ｌｏ４−８ｏｌ））
ここでＬＶＩ。

・・・（よ　第４図に示すＶｌ ・・・の相 闇値を示す。ｍａｘ（ａ、ｂ）はａまたはｂの最大値を
示す。勾配の比の判定は次式により判足すも ４＞Ｇｈ／Ｇｖ＞０．　８　　　　　　・　・　・　（
１）２＞Ｇｏｌ／Ｇｏ２＞０．　　５　　　　・　・　
　（２）以上の２式の条件が成立したときに　得られた
動きベクトルが有効であると判定すム　この演算は相関
特徴抽出部１１で行℃（判定は動きベクトル判定部Ｂ１
２で行う。

このように同じ条件で求めたデータの比を求めることに
より、画像の移動（カメラの揺れによる）によって勾配
値が変動した場合においてＬ　比を求めることにより変
動成分を打ち消すことが可能となム　従って勾配値の変
動による影響を少なくする事が可能となり、誤ベクトル
の発生確立が高くなる条件を安定して検出できるように
なる。誤ベクトルの発生確立が高くなる条件を、第５図
に模式的に示す。第５図は相関演算値を明暗で示し２次
元の位置は相関演算の偏移を示したものであり、相関の
高い（相関値は小さい値）点の偏移（黒く示した点）を
図の中心に示す。

第５図ａは水平方向に相関が強い場合の例であり、同図
すは垂直方向に相関が強い場合の例であり、いずれも１
式の条件が成立せず、誤ベクトルの発生確立が高くなる
条件を検出できる。

動きベクトル判定部Ｂ１２は勾配値をＬＰＦ２４に通し
た信号ＧＬＩ、　　フィルター２４を通さないで勾配比
を計算した信号ＧＲ＆　　動きベクトル判定部Ｂ１２に
入力すム　動きベクトル判定部Ｂ１２は上記のフィルタ
ー２４を通した勾配の比の判定とともへ　フィルター２
４を通さない勾配の比（信号ＧＲ）の判定も同時に行う
。更にフィルター２４を通した勾配値単独の判定もおこ
なう。

これはフィルター２４を通すことにより、判定に対する
擾乱は少なくなり安定した判定が行える力（応答時間が
長くなるた八　時間遅れが問題になる条件ではフィルタ
ー２４を通さないデータを優先させ、そうでないときは
フィルター２４を通したデータを優先させ、得られた動
きベクトルが画像の揺れ補正に用いて良いかどうかの判
定を行う。

第５図に示した例では　従来のように相関の勾配単独し
か用いない場合　これらの点を検出出来ず、誤った動き
ベクトルを検出することになる力＼本発明の場合この様
な場合においてＬ　誤検出を行うことはなしｌ ここまでの動作ζよ　画面を複数個に分割した各領域に
ついて行なう。ここまでの動作は毎フィールド（フレー
ム）行うた玖　相関演算を行いながら次のフィールド（
フレーム）の相関演算のための代表点における画像デー
タを保存するためにラッチＡ１がある。また　ラッチＢ
ａｆよ　ある代表点の画像データと、その周辺の画像デ
ータとの相関をとるときに代表点の画像データを保持す
る。

この様にして、分割した各領域から動きベクトルの候補
を決定し　これらの候補ベクトルをメデイアンフィルタ
にかけて、入力信号の動きベクトルとする。この様にし
て入力信号の動きベクトルを求めることにより、相関性
の高い点が水平方向または垂直方向もしくは斜め方向に
多く得られている条件で！よ　動きベクトル候補点を無
効として、動きベクトルに採用しな（ｌ　従って、従来
動きベクトルとして無効であるバ　その判定が出来ず誤
った動きベクトルを出力していた場合においてＬその判
定が可能となり誤ったベクトルを出力することが無くな
ム 次に本発明の動きベクトル検出装置を用いた画像の捕れ
補正装置について記す。画像の捕れ補正装置の実施例の
ブロック図を、第６図に示す。

同図において１５は画像信号を蓄積するメモリ、１６は
メモリの信号を補間する補間Ｋ　　１７は画像信号の出
力を制御する出力制御部であり、　５０は本発明の動き
ベクトル検出装置であり、第１図と同じ番号を付け、説
明は省略すも 以上のように構成された画像の捕れ補正装置の動作につ
いて説明する。

第６図において、動きベクトルを求める方法は前記した
実施例と同様であり、その説明は省略すも　動きベクト
ル検出装置Ｂ５０より入力された画像信号の動きベクト
ルが出力され　出力制御部１７に入力すム　出力制御部
１７は動きベクトルの正数部（動きベクトルを画像信号
が記録されているメモリーのアドレスで表現した場合）
に対応して、メモリ１５の信号読み出しのアドレスを決
定すム　また動きベクトルの小数部に対応して補間部１
６の制御を行う。補間は垂直水平とも距離の逆数に対応
した重みを掛ける線形補間とすムこの様にして、動きベ
クトルに合わせて出力制御部１７は画像を揺れと逆の方
向にシフトし　　画像の揺れをキャンセルする。また出
力制御部１７（よ出力する画像をもとの画像の１、１か
ら１、５倍程度に拡大し　メモリ−１５内部の画像を左
右上下にシフトして出力した場合”縁”が見えないよう
にすム このように本発明の動きベクトル検出装置を用１、Ｘ、
画像の捕れ補正装置を構成することにより、画像の中に
相関性の高い点が水平方向または垂直方向もしくは斜め
方向に多く得られる条件で、従来の捲れ補正装置では補
正を誤る場合において収誤る可能性のある候補ベクトル
を無効とし　安定な捕れ補正を実現すも　画像の樒れ補
正装置を実現することができも 尚動きベクトル検出装置の実施例において、相関値の勾
配の比は紘横及び斜め方向しか示さなかったバ　この方
向に限る必要はなし〜　また相関値の勾配の演算方法も
本実施例に限る必要はく、相関性の一番高い（相関値の
一番低い）点と勾配を求めたい方向の相関値の差の平均
でも良く、これに変わるその他の勾配を演算する方法で
も良いのは当然であム また勾配の比の判定は本実施例の値に限る必要はなく、
それぞれの応用条件に合わせて変更して良いのは当然で
あム 発明の効果 本発明によれば　画像の中で相関性の高い点が水平方向
または垂直方向もしくは斜め方向に多く得られる条件で
、動きベクトル候補点を無効として、動きベクトルに採
用しな（ｔ　このようにする事により、従来動きベクト
ルとして無効である力丈その判定が出来ず誤った動きベ
クトルを出力していた場合においてＬ　その判定が可能
となり、誤ったベクトルを出力することが無くなり、安
定した動きベクトルを検出できも　また揺れ補正装置に
応用した場合には　誤ったベクトルを採用することがな
く、安定した揺れ補正が実現できも

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図　第２図は本発明の一実施例
における動きベクトル検出装置の動作状態説明図　第３
図は本発明に用いる相関特徴抽出部の構成を示すブロッ
ク＠　第４図及び第５図は本発明の一実施例における動
きベクトル検出装置の動作状態説明図　第６図は本発明
の一実施例における画像捕れ補正装置の構成を示すブロ
ック図　第７図は従来例の動きベクトル検出装置の構成
を示すブロック図　第８図及び第９図は従来例における
動きベクトル検出装置の動作状態説明図であム ２・・・代表点保存メモ１夫　７・・・累積加算器　８
・・・相関性検索訊　９・・・無効判定訊　１１・・・
相関特徴抽出ｉ　　１２・・・動きベクトル判定部＆　
１５・・・メモリ、　１６・・・補間畝　１７・・・出
力制弧　５０・・・動きベクトル検出装置Ｂ０ 代理人の氏名　弁理士　粟野重孝　ほか１名第 図 （ａ−） Ｙ′ 位ｌ 第 図 ＩｆｋｖＩ丹躯１戊器 第 図 測曾〔横比判定 Ｌｂ）　　ｒｍめ方向比判定 第 図 （υ水平方向−：刑関が追い場合 （シ）ｔ［方向Ｃ；椙閉會ぐ５斂い■ 憾 嬉 図 第 図 べ褒只

Claims (2)

【特許請求の範囲】
1. （１）入力画像信号を複数の領域に分割し、それぞれの
   領域における画像の動きベクトルを演算する動きベクト
   ル検出部と、動きベクトル検出部のデータより相関の特
   徴をしらべる相関特徴検出部と、入力画像信号に水平方
   向及び垂直方向または斜め方向に相関が多い状態を判断
   し各領域の動きベクトルの有効性を判断し画面全体の動
   きベクトルを決定する動きベクトル判定部を有すること
   を特徴とする動きベクトル検出装置。
2. （２）入力画像信号を複数の領域に分割し、それぞれの
   領域における画像の動きベクトルを演算する動きベクト
   ル検出部と、動きベクトル検出部のデータより相関の特
   徴をしらべる相関特徴検出器と、入力画像信号に水平方
   向及び垂直方向または斜め方向にに相関が多い状態を判
   断し各領域の動きベクトルの有効性を判断し画面全体の
   動きベクトルを決定する動きベクトル判定器と、画像を
   拡大補間して任意の位置の画像を出力できる出力制御器
   を有することを特徴とする画像揺れ補正装置。