JPH03198489A

JPH03198489A - 動きベクトル検出装置及び画像搖れ補正装置

Info

Publication number: JPH03198489A
Application number: JP1339020A
Authority: JP
Inventors: Atsushi Morimura; 淳森村; Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1989-12-26
Filing date: 1989-12-26
Publication date: 1991-08-29
Anticipated expiration: 2013-10-22
Also published as: JP2813395B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は画像の動き量を検出する動きベクトル検出装置
及び画像揺れ補正装置に関するものである。

従来の技術従来の画像の動きベクトル検出装置の例として、例えば
特開昭６１−２６９４７５号公報に示される様なものが
ある。

第７図は、これの概略図を示したものであり、１はラッ
チＡ、２は代表点メモリ、３はラッチＢ、４は相関手段
、５はアドレスコントローラ、６はアドレス切り替え回
路、７は累積加算手段、８は相関性検索回路、９は相関
性有効無効判定回路、１０は動きベクトル判定回路であ
る。

以上のように構成された従来の相関演算装置を用いた画
像の動きベクトル検出装置について説明する。

まず、画像の動きベクトルについて説明する。

第８図（ａ）は、ある時刻における画像を示している。

そして（ｂ）はＩフィールドもしくはｌフレーム後の画
像を示している。このように、撮像装置などの動きによ
って画像が平行移動するとき、（ｃ）の矢印で示したよ
うに画像が平行移動した量をベクトルで示したものを動
きベクトルと呼ぶ。

第９図はこのような画像の動きベクトルを検出する方法
である９代表点マツチング法における代表点とそのまわ
りの画素の様子を示したものである。動きベクトル検出
は、あるフィールドにおける代表点の位置の画像データ
が次のフィールドでまわりの画素のうち、どこに移動し
たかを検出することによって行われる。

次に、従来の相関演算装置を用いた画像の動きベクトル
検出装置について第７図を用いて説明する。

画面上の各代表点における画像データはタイミングパル
ス■、ＰｌによりラッチＡＩに取り込まれ、タイミング
をとって代表点保存メモリ２のそれぞれの代表点に対応
するアドレスに書き込まれる。

そして、次のフィールドもしくは次のフレームにおい・
で、各代表点の位置のまわりの動きベクトル検出領域に
おける画像データと、代表点メモリ２に保存された前フ
ィールドの代表点の相関をとり、累積加算手段７に人力
する。累積加算手段７は代表点を基準としたときの座標
の位置が同じ場所において相関をとったデータを、それ
ぞれ累積加算する。そしてすべての代表点まわりの累積
加算が終了したとき、相関性検索回路８により累積加算
手段７に保持された累積加算値のなかで最も相関の高い
値を有する場所を判定する。つまり、代表点の位置を基
準としたときの、この最も相関の高い値を有する位置（
アドレス）が動きベクトルとなる。第７図で示した構成
では相関演算を、差分絶対値の累積加算で行っているた
め、累積加算手段７にある相関が高い点のデータ値は、
その他の点のデータ値より低いレベルとなる。さらに、
代表点の回りの相関値の分布（平均値、最小値、最大値
、勾配など）をもとにして、相関演算により得られた動
きベクトルが有効か無効か判定する。

この判定を無効判定回路９により行う。以上に説明した
動作は、画面を複数個に分割した各領域について行なわ
れる。

そして、画面の各領域から得られた動きベクトルとその
無効判定情報により画面全体の動きベクトルを判定手段
ＡＩＯにより判定する。

ここまでの動作は毎フィールド（フレーム）行うため、
相関演算を行いながら次のフィールド（フレーム）の相
関演算のための代表点における画像データを保存するた
めにラッチＡＩがある。

また、ラッチＢ３は、ある代表点の画像データと、その
周辺の画像データとの相関をとるときに代表点の画像デ
ータを保持する。

第７の破線手段外、すなわち相関演算により動きベクト
ルを検出する手段外を動きベクトル検出手段Ａ２０とす
る。

発明が解決しようとする課題しかしながら上記のような構成において、被写体の各位
置による相関が低く、撮像装置の動きによる画像がシフ
トした点だけが相関の高い点となれば良いが、被写体に
規則正しい相関があった場合、相関の高い点が多数得ら
れる。従フて各領域から得られる動きベクトルが相関の
高い多数の点の位置となり、各領域における動きベクト
ルは同じ（こならない。その結果、各領域の動きベクト
ルの平均環をとって画面全体の動きベクトルを決定する
と、画面全体の動きと異なる画像の相関の高い点を示し
た領域の動きベクトルの候補点が原因となり、画像全体
の動きベクトルの検出を誤るという問題点を有していた
。

本発明はかかる点に鑑み、被写体に多くの相関があった
場合に、その相間を検出し、画面全体の動きベクトルの
検出誤りを抑圧することが出来る動きベクトル検出装置
及び画像ゆれ補正装置を提供することを目的とする。

課題を解決するための手段請求項１の本発明は、入力画像信号を複数の領域に分割
し、それぞれの領域における画像の動きベクトルを演算
する動きベクトル検出手段と、その動きベクトル検出手
段の内部データから相関の特徴をしらべる相関特徴検出
手段と、その相関特徴検出手段による検出データと、前
記動きベクトル検出手段による動きベクトル候補の有効
無効判定データとに基づき、各領域の動きベクトルの有
効性を判断し画面全体の動きベクトルを決定する動きベ
クトル判定手段とを有することを特徴とする動きベクト
ル検出装置である。

請求項２の本発明は、入力画像信号を複数の領域に分割
し、それぞれの領域における画像の動きベクトルを演算
する動きベクトル検出手段と、その動きベクトル検出手
段の内部データから相関の特徴をしらべる相関特徴検出
手段と、その相聞特徴検出手段による検出データと、前
記動きベクトル検出手段による動きベクトル候補の有効
無効判定データとに基づき、各領域の動きベクトルの有
効性を判断し画面全体の動きベクトルを決定する動きベ
クトル判定手段と、前記入力画像信号を記憶するメモリ
と、動きベクトル判定手段による動きベクトルに基づき
、前記メモリの画像を拡大補間して揺れを補正した画像
を出力させることのできる出力制御手段とを有すること
を特徴とした画像捏れ補正装置である。

作用本発明は前記した構成により、各検出領域の動きベクト
ルの有効性を、相関の高い点の状態を用いて判断し、画
像全体の正しい動きベクトルを求める。

また、その求められた誤差の無い動きベクトルを利用し
て、画像の揺れを補正する。

実施例以下に本発明の実施例を図面を参照して説明する。

第１図は本発明の第１の実施例における動きベクトル検
出装置の構成を示すブロック図であり、ｌはラッチＡ、
２は代表点メモリ、３はラッチＢ、４は減算器、５はア
ドレスコントローラ、６は絶対値変換回路、７は累積加
算器、８は相関性検索回路、９は相関性無効判定回路で
あり、これら各手段ｌ〜９のブロックで構成された動き
ベクトル検出手段の一例としての動きベクトル検出部Ａ
２０は、従来の構成と同様である。１１は相関特徴抽出
手段の一例としての相関特徴抽出器であり、１２は動き
ベクトル判定手段の一例としての動きベクトル判定器Ｂ
である。

人力された信号の、画面上の各代表点における画像デー
タは、タイミングパルスＬＰＩによりラッチＡＩに取り
込まれ、タイミングをとって代表点保存メモリ２のそれ
ぞれの代表点に対応するアドレスに書き込まれる。そし
て、次のフィールドもしくは次のフレームにおいて、各
代表点の位置のまわりの動きベクトル検出領域における
画像データと、代表点メモリ２に保存された前フィール
ドの代表点の相関をとり、累積加算器７に人力する。こ
こでの相関演算は差分絶対値の累積加算で行う。累積加
算器７は代表点を基準としたときの座標の位置が同じ場
所において、相関をとったデータをそれぞれ累積加算す
る。そしてすべての代表点まわりの累積加算が終了した
とき、相関性検索回路８により累積加算器７に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定する。つまり、代表点の位置を基準としたときの、
この最も相関の高い１１αを有する位置（アドレス）が
動きベクトルとなる。本実施例の構成では相関演算を、
差分絶対値の累積加算で行っているため、累積加算器７
にある相関が高い点のデータ値は、その他の点のデータ
値より低いレベルとなる。一般の画像信号の場合の累積
加算した値の一部を第２図に模式的に示す。ＸＸ゛は水
平方向を示し、ＹＹ’は垂直方向を示す。また。濃度は
データのレベルを示し、黒いほどレベルが低いものとす
る。第２［ｍ（ａ）のＸＸ′の位置のデータレベルを同
図（ｂ）に示す。ここで一番レベルの低い点が相関値の
高い点であり、この点を相関性検索器８で求める。さら
に、代表点の回りの相開値の分布（平均値、最小値、最
大値、勾配など）をもとにして、相関性検索器８により
得られた動きベクトル候補が有効か無効かを判定する。

この判定を無効判定回路９により行う。

この無効判定と同時に、相関の高い点が累積加算した結
果に含まれているかどうかを、相関特徴抽出器１１によ
り調べる。相関特徴抽出器１１の構成を第３図に示す。

同図に於て２１はソーティング器、２２はデータアドレ
ス出力器、２３は周囲データ読出し器である。ソーティ
ング器２１は累積加算器７の演算結果を順次読出しなが
ら、データ値の小さい順番に並べ替える。データアドレ
ス出力器２２は並べ替えられたデータ値とその位置に対
応するアドレス値を動きベクトル判定器Ｂ１２に出力す
る。また周囲データ読出し器２３は、ソーティング器２
１で求めた最小値の周囲のデータを読出す。周囲の位置
は縦横方向にそれとれ±２だけ離れた点であり、第４図
にその位置を斜線で示す。この様にして読み出した周囲
データも、動きベクトル判定器［３１２に出力する。

動きベクトル判定器Ｂ１２においては、まず周囲データ
の中にレベルの低いもの（例えば最小レベルの１．２倍
以下）が有るかどうかを調べ、有る場合には無効判定器
９の判定が有効のときも、無効とする。この条件はある
方向に相関が強く、相関演算では動きベクトルが正しく
求まらない条件であり、第５図（ａ）にその−例を示す
、第５図は累積加算器７のデータ値を明暗で示したもの
であり、　（ａ）は一方向に相関が高い場合の例であり
、　（ｂ）は一定の繰り返しで相関が強い場合の例であ
る。

同時にデータアドレス出力器２２より送られたデータの
中にレベルの低いもの（例えば最小レベルの１．２倍以
下）がないかを調べる。レベルの低いものが有った場合
、そのアドレスが最小レベルのアドレスと、水平垂直方
向共に±２以上離れているかを調べる。離れていた場合
には、無効判定器９の判定が有効のときも、無効とする
。この条件はある間隔離れたところに相関が強く、相関
演算では動きベクトルが正しく求まらない条件であり、
その−例を第５図（ｂ）に示す。第４図で横線で示した
位置にレベルの低いデータが場合や、第５図に示した例
では、従来のようにデータの最小点しか用いない場合、
これらの点を検出出来ず、誤った動きベクトルを検出す
ることになるが、本発明の場合この様な場合においても
、誤検出を行うことはない。

ここまでの動作は、画面を複数個に分割した各領域につ
いて行なう。ここまでの動作は毎フィー゛ルドくフレー
ム）行うため、相関演算を行いながら次のフィールド（
フレーム）の相関演算のための代表点における画像デー
タを保存するためにラッチＡＩがある。また、ラッチＢ
３は、ある代表点の画像データと、その周辺の画像デー
タとの相関をとるときに代表点の画像データを保持する
。

この様にして、分割した各領域から動きベクトルの候補
を決定し、これらの候補ベクトルをメデイアンフィルタ
にかけて、人力信号の動きベクトルとする。この様にし
て人力信号の動きベクトルを求めることにより、相関性
の高い点が多く得られている条件では、動きベクトル候
補点を無効として、動きベクトルに採用しない。従って
、従来動きベクトルとして無効であるが、その判定が出
来ず誤った動きベクトルを出力していた場合においても
、その判定が可能となり誤ったベクトルを出力すること
が無くなる。

次に本発明の一実施例の動きベクトル検出装置を用いた
、画像の捲れ補正装置について説明する。

画像の捲れ補正装置の一実施例のブロック図を、第６図
に示す。同図において１５は画像信号を蓄積するメモリ
、１６はメモリの信号を補間する補間器、１７は画像信
号の出力を制御する出力制御手段の一例としての出力制
御器であり、５０は本発明の動きベクトル検出装置であ
り、第１図の実施例と同じ手段には同じ番号を付けその
説明は省略する。

以上のように構成された画像の捕れ補正装置の動作につ
いて説明する。

第５図において、動きベクトルを求める方法は前記した
実施例と同様である。動きベクトル検出装置Ｂ５０より
人力された画像信号の動きベクトルが出力され、出力制
御器１７に入力する。出力制御器１７は動きベクトルの
正数部に対応して、メモリ１５の信号読み出しのアドレ
スを決定する。

また動きベクトルの小数部に対応して補間器１６の制御
を行う。補間は垂直水平とも距離の逆数に対応した重み
を掛ける線形補間とする。この様にして、動きベクトル
に合わせて出力制御器１７は画像を揺れと逆の方向にシ
フトし、画像の撞れをキャンセルする。また出力制御器
１７は、出力する画像をもとの画像の１．１から１．５
倍程度に拡大し、左右上下のｌｌ　＆ｔ＋＋が見えない
ようにする。

このように本発明の動きベクトル検出装置を用い、画像
の捕れ補正装置を構成することにより、画像の中に相関
が多く、従来の捲れ補正装置では補正を誤る場合におい
ても、誤る可能性のある候補ベクトルを無効とし、安定
な捏れ補正を実現する画像の捕れ補正装置を実現するこ
とができる。

尚、動きベクトル検出装置の上記実施例において周囲デ
ータは最小点から±２の距離はなれた位置のものとした
が、±２の距離に限る必要はない。

また周辺のデータで、そのレベルが最小値の１．２倍以
下のときに、その動きベクトルの候補を無効としたが、
１．２倍に限る必要はなく、また固定値に限る必要もな
く、ある関数を用いた変数としてもよい。

またブロック図に示した各演算器は、ハード構成でなく
、マイコンとそのソフトにより演算しても良いのは当然
である。

発明の効果以上示したように、本発明によれば、画像の中で相関性
の高い点が多く得られている条件では、動きベクトル候
補点を無効として、動きベクトルに採用しない。このよ
うにする事により、従来動きベクトルとして無効である
が、その判定が出来ず誤った動きベクトルを出力してい
た場合においても、その判定が可能となり誤ったベクト
ルを出力することが無くなり、安定した動きベクトルを
検出できる。

また、その正しい動きベクトルを利用して画像揺れを補
正できるようになる。

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図、第２図は本発明の一実施例
における動きベクトル検出装置の動作状態図、第３図は
本発明に用いる相関特徴抽出手段の一実施例の構成を示
すブロック図、第４図及び第５図は本発明の一実施例に
おける動きベクトル検出装置の動作状態図、第６図は本
発明の一実施例における画像捕れ補正装置の構成を示す
ブロック図、第７図は従来例の動きベクトル検出装置の
構成を示すブロック図、第８図及び第９図は従来例にお
ける動きベクトル検出装置の動作状態図である。２・・・代表点保存メモリ、７・・・累積加算器、８・
・・相関性検索器、９・・・無効判定器、１１・・・相
関特徴抽出手段、１２・・・動きベクトル判定手段Ｂ、
１５・・・メモリ、１６・・・補間器、１７・・・出力
制御手段、２０・・・動きベクトル検出手段Ａ、５０・
・・動きベクトル検出装置Ｂ。

Claims

【特許請求の範囲】

（１）入力画像信号を複数の領域に分割し、それぞれの
領域における画像の動きベクトルを演算する動きベクト
ル検出手段と、その動きベクトル検出手段の内部データ
から相関の特徴をしらべる相関特徴検出手段と、その相
関特徴検出手段による検出データと、前記動きベクトル
検出手段による動きベクトル候補の有効無効判定データ
とに基づき、各領域の動きベクトルの有効性を判断し画
面全体の動きベクトルを決定する動きベクトル判定手段
とを有することを特徴とする動きベクトル検出装置。
（２）入力画像信号を複数の領域に分割し、それぞれの
領域における画像の動きベクトルを演算する動きベクト
ル検出手段と、その動きベクトル検出手段の内部データ
から相関の特徴をしらべる相関特徴検出手段と、その相
関特徴検出手段による検出データと、前記動きベクトル
検出手段による動きベクトル候補の有効無効判定データ
とに基づき、各領域の動きベクトルの有効性を判断し画
面全体の動きベクトルを決定する動きベクトル判定手段
と、前記入力画像信号を記憶するメモリと、動きベクト
ル判定手段による動きベクトルに基づき、前記メモリの
画像を拡大補間して揺れを補正した画像を出力させるこ
とのできる出力制御手段とを有することを特徴とした画
像揺れ補正装置。