JPH0426284A - 画像の動きベクトル検出装置および揺れ補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は　おもにビデオカメラの振動や揺れによる画面
全体の動きベクトルを画像信号より検出する装置　およ
びビデオカメラの振動や揺れによる画面全体の不要な揺
れを補正する装置に関するものである。

従来の技術 従来の画像の動きベクトル検出装置として（よ例えば特
開昭６１−２６９４７５公報に示されている。

第１２図はこの従来の動きベクトル検出装置を応用した
画像の揺れ補正装置のブロック図を示すものであり、　
４６は画像信号入力端子である。４７は各検出領域のベ
クトル検出回路である。　４８はベクトルの信頼性判定
手段および４９は動きベクトル決定手段である。５０は
揺れ補正手段であ以上のように構成された従来の画像の
動きベクトル検出装置において（友　まず入力端子４６
に少なくとも２フィールド以上の時間的に連続する画像
信号が入力される。各検出領域のベクトル検出回路４７
で（ま　予め第３図８．９、１０、１１に示すように画
面内に４つのベクトル検出領域が定められており、　２
フィールド間の各検出領域について、所定の範囲の量（
ｉ、　ｊ）：ｉｍ］、ｎ＜ｉ＜ｉｍａｘ、　ｊｍｉｎ＜
ｊ＜ｊｍａｘ偏移した位置の信号の差Σ１△Ｌ　ｌ　（
ｉ、ｊ）を相関値としてそれぞれ求、へ　その値の最小
値を与える偏移（ｉ’　、　ｊ’　）を検出し　これを
各検出領域のベクトルとする。またその相関値の最小籠
　平均鑑最大値を束数　ベクトルの値とともく　ベクト
ルの信頼性判定回路手段４８および動きベクトル決定手
段４９に出力する。ベクトルの信頼性判定手段４８およ
び動きベクトル決定手段４９で（よ　第１３図のフロー
チャートに示すように各検出領域の相関値の最小イ直　
平均仏　最大値よりベクトルの信頼性を判定しく信頼性
あり：　ｌ、信頼性なし：Ｏ）、信頼性ありと判定され
た検出領域のベクトルの大きさと方向性が一致すれば　
それらの平均の値を画面全体の動きベクトルと決定し出
力する。また一致しない場合は０ベクトルを出力する。

第１３図はステップ１２８より始まり、ステップ１２９
は第１２図４７ζへ　ステップ１３０は第１２図４８（
ミ　ステップ１３１は第１２図４９に対応し　ステップ
１３２で動きベクトルを出力する。

揺れ補正手段５０は］フィールド以上の画像信号記憶手
段を持板　ここからの信号の読みだし位置を制御するこ
とによって、第１４図５１、５２に示すようにゆれの大
きい画像が入力されるとき、第ｎ−１フイールド５１、
第ｎフィールド５２の入力画像信号について、動きベク
トル決定手段４９より入力された動きベクトル５３をも
とｌミ　その動きを補正する方向５４に画像の画面を５
６から５５に並行移動し　また補間等によって画面の拡
大等の操作をし　揺れの少ない１画面の大きさの画像信
号５７、５８を出力すム 以上説明したものζよ　相関値の最小低　平均低最大値
よりベクトルの信頼性を判定している力（この他相開催
の最小点とその周りの点の値の基つまり最小点の周りの
傾きよりベクトルの信頼性を判定するもＱ　また最小値
の値だけで判定するものなど相関値の状態から信頼性を
判定する方法はいろいろなものがある。また信頼性の判
定を重みで表わし　ベクトルをその重みで加重平均した
ものを画面全体の動きベクトルとして出力するものもあ
ム 発明が解決しようとする課題 しかしながら上記のような構成で（よ　動きベクトル検
出装置（よ　移動物が画面内に入り込んだ場合、移動物
の動きが加算されたベクトルが検出されることが多かっ
た　そして揺れ補正装置（１撮影者の意図する方向とは
異なる方向に画面が補正し誤動作する場合が多かっ九 以下図を用いて詳しく説明する。第３図に示すようにビ
デオカメラが静止している状態で移動物１２が画面を通
過する場合を考える。最初第３図区間（ａ）に示すよう
にある検出領域８の中に背景と移動物が両方存在してい
る時は　相関値１３の状態によって、その検出領域８は
信頼性なしと判定されている。−人　検出領域９の静止
背景は　信頼性判定手段によって信頼性ありとなること
が望まれる力（背景の映り具合いによって１よ相関値１
４のように信頼性なしと誤判定されることがある。

次に第３図区間（ｂ）に示すようにある検出領域８の大
部分を占めた場合、その検出領域からは移動物の動きを
表現した動きベクトルが検出されかつ相関値１３は所定
の値より小さな値１５を示し　信頼性判定手段によって
信頼性ありと判定されも　また　検出領域９の背景は依
然として信頼性なしと判定されており、その結果移動物
の動きが画面全体の動きベクトルとして採用され　これ
をもとに揺れ補正すると静止背景の方が動いて不自然な
映像となる。　（検出領域１０．１１の動作はこのとき
それぞれ８，９と同様なので説明は省略すも　） 第１５図はそのときの各検出領域のベクトルと画像全体
の動きベクトルを表している。ベクトル５９は第３図１
２の移動物のベクトルに　ベクトル６０は第３図８の検
出領域のベクトルに　ベクトル６１は第３図９の検出領
域のベクトルへ　ベクトル６２は画面全体の動きベクト
ル、ベクトル６３は背景のベクトルに対応している。ま
た第１５図区間（ａ）〜（ｅ）は第３図の区間（ａ）〜
（ｅ）に対応している。第３図の区間（ａ）〜（ｅ）の
時点で検出される動きベクトルは第１５図６２に示すよ
うになり、このベクトルをもとに揺れ補正を行なうと、
第１５図区間（ｂ）の状態で突然異常な補正が起こる。

さらに第１５図のベクトル全てにカメラの揺れによるベ
クトルが加算されることもある力丈　同様な理由により
異常な補正を起こすことがある。

また　上記のような構成で（よ　動きベクトル検出装置
０表　画面が揺れていてその補正が行われているときに
　映り具合いから突然信頼性判定手段の信頼性かなしと
なり、ベクトル決定手段から０ベクトルが出力されるこ
とが多かっ池　そして揺れ補正装置は動作せず、画面は
揺れた見にくい映像となる。

以下第１０図と第１６図で具体例に説明する。

第１０図はカメラの揺れを表した補正前の画面と検出領
域３５、３７とその相関値４０、検出領域３６、３８と
その相関値４１を示すものである。

（以下検出領域３７、３８の動作はそれぞれ３５．３６
と同様なので説明は省略する。）また３９は侵入物であ
る。まず最初第１Ｏ図区間（ａ）と区間（ｃ）にＬ　　
相関値４０、４１の状態によって、その検出領域３５、
３６は信頼性ありと判定され正常に揺れ補正を行うこと
ができも　しかし第１θ図区間（ｂ）は　相関値４０．
４１の状態によって、その検出領域３５、３６は突然信
頼性なしと判定され　ベクトル決定手段によって画面全
体の動きベクトルは０となり、揺れ補正は止まってしま
う。最後に第１０図区間（ｄ）に示すようにある検出領
域３５の中間　背景と移動物が両方存在している時は　
相関値４０の状態によって、その検出領域３５は信頼性
なしと判定される。−人検出領域３６の背景（よ　信頼
性判定手段によって信頼性ありとなっているので、背景
の動きが採用され　画面の揺れだけを補正した正常な動
作となる。

第１６図（よ　第１０図の区間の動きベクトルを示すも
のである。第１６図で６６はカメラの動きベクトルで０
ベクトルを中心に上下に揺れている。

６５は検出領域３５から検出されるベクトルで、カメラ
の揺れによる動きベクトル６６または第１Ｏ図移動物３
９の動きまたはそれ以外の誤ベクトルが検出されている
。６４は検出領域３６から検出されるベクトルでカメラ
の揺れによる動きベクトル６６か検出されている。ベク
トル６７は第１２図ベクトル決定手段４９から出力され
る画面全体の動きベクトルである。第１０図の区間（ａ
）〜（ｄ）は第１６図の区間（ａ）〜（ｄ）に対応して
いる。第１０図と同様に区間（ｂ）で各検出領域のベク
トル６４、６５は０となり、画面全体の動きベクトル６
７も０となる。その結果突然揺れ補正が行われなくなり
、画面の揺れた見にくい映像となる。

課題を解決するための手段 画面中に複数の検出領域を設置上　その各検出領域につ
いて、所定の偏移における相関値を求める手段と、その
相関値より各検出領域ごとに動きベクトルを求める手段
と、動きベクトルの値または相関値またはそれらの組合
せによりその検出領域の動きベクトルの信頼性を判定す
る信頼性判定手段と、各検出領域の動きベクトルの静止
状態を判定する静止判定手段と、前記静止判定手段と前
記信頼性判定手段から最終的な判定結果を導き出す判定
結果導出手段と、導出された判定結果をもとに各検出領
域の動きベクトルから画面全体の動きベクトルを決定す
る手段とを備えた画像の動きベクトル検出装置を構成す
る。

さら（′−，時系列順に導出される少なくとも２つ以上
の動きベクトル力（所定の範囲内に存在するときく　前
記動きベクトルは静止していると判定する静止判定手段
を備えた画像の動きベクトル検出装置を構成する。

さらに　画面中に複数の検出領域を設置す、その各検出
領域について、所定の偏移における相関値を求める手段
と、その相関値より各検出領域ごとに動きベクトルを求
める手段と、動きベクトルの値または相関値またはそれ
らの組合せによりその検出領域の動きベクトルの信頼性
を判定する信頼性判定手段と、各検出領域の動きベクト
ルの中で相対的に小さな値の動きベクトルを判定する最
小判定手段と、前記最小判定手段と前記信頼性判定手段
から最終的な判定結果を導き出す判定結果導出手段と、
導出された判定結果をもとに各検出領域の動きベクトル
から画面全体の動きベクトルを決定する手段とを備えた
画像の動きベクトル検出装置を構成する。

さらに　各検出領域の動きベクトルの中で、最小値を判
定する最小判定手段を備えた画像の動きベクトル検出装
置を構成する。

さら置　画面中に複数の検出領域を設け、その各検出領
域について、所定の偏移における相関値を求める手段と
、その相関値より各検出領域ごとに動きベクトルを求め
る手段と、動きベクトルの値または相関値またはそれら
の組合せによりその検出領域の動きベクトルの状態を判
定する判定手段と、各検出領域の動きベクトルの類似度
を判定する類似度判定手段と、前記類似度判定手段と前
記判定手段から最終的な判定結果を導き出す判定結果導
出手段と、導出された判定条件をもとに各検出領域の動
きベクトルから画面全体の動きベクトルを決定する手段
とを備えた画像の動きベクトル検出装置を構成する。

さらに　画面中に複数の検出領域を設け、その各検出領
域について、所定の偏移における相関値を求める手段と
、その相関値より各検出領域ごとに動きベクトルを求め
る手段と、動きベクトルの値または相関値またはそれら
の組合せによりその検出領域の動きベクトルの信頼性を
判定する信頼性判定手段と、前記信頼性判定手段と類似
度判定手段から最終的な判定結果を導き出す判定結果導
出手段とを備えた動きベクトル検出装置を構成すも 以上述べた画像の動きベクトル検出装置の中の一つと、
少なくとも１フィールド以上の画像信号記憶手段と、前
記画像の動きベクトル検出装置から検出される動きベク
トルをもとに　前記画像信号記憶手段の読みだし位置を
制御する手段を備えた画像の揺れ補正装置を構成する。

作用 本発明は上記した構成により、静止判定手段で各検出領
域の動きベクトルの中で静止している動きベクトルが存
在すると判定されたとき（上　その動きベクトルは静止
背景を表しているのて　信頼性判定結果にかかわらず静
止しているベクトルを用いて画面全体の動きベクトルを
決定する。

また　信頼性判定結果で少なくとも一つ以上の検出領域
で信頼性なしとなる場合、最小判定手段で判定された相
対的に小さな値の動きベクトルを静止背景とみなＬ　信
頼性判定結果に優先させて画面全体の動きベクトルとす
る。

また　類似度判定手段により各検出領域の動きベクトル
に類似性があると判断されたとき１よ　画面全体が同一
方向に揺れているので画振れ補正すべきであり、逆に類
似性がないときは侵入物が画面内に入っている可能性か
高く、その侵入物の存在する検出領域を補正に用いては
ならなＬ％実施例 第１図は本発明の第１の実施例における動きベクトル検
出装置を含む画像の揺れ補正装置のブロック図を示すも
のであり、　１は画像信号入力端子であも　２は各検出
領域のベクトル検出回路　３は静止判定手段、　４はベ
クトルの信頼性判定手段、５は判定結果導出手段、　６
は動きベクトル決定手段である。　７は揺れ補正手段で
あり、第１２図の揺れ補正手段５０と同様の機能を有す
ム以上のように構成された第１の実施例の画像の動きベ
クトル検出装置においては　まず入力端子１に少なくと
も２フィールド以上の時間的に連続する画像信号か入力
される。各検出領域のベクトル検出回路２で６表　第３
図８．　９．　１０．　１１に示すように画面内に４つ
のベクトル検出領域が定められており、　２フィールド
間の各検出領域について、所定の範囲の量（ｉ、　ｊ）
：１ｍ１ｎ＜ｉ＜ｊ、ｍａｘ、　ｊｍｉｎ＜Ｊ＜　ｊａ
＋ａｘ偏移した位置の信号の差Σ１△Ｌ　ｌ　（ｉ、ｊ
）を相関値としてそれぞれ求臥　その値の最小値を与え
る偏移（ｉ”、Ｊ′）を検出し　これを各検出領域のベ
クトルＶｋ（検出領域の数：　　ｋ＝１．２，３．４）
とする。各検出領域のベクトルは静止判定手段３に出力
される。

静止判定手段３は各検出領域のベクトルが静止している
かどうかを判定じ　その判定結果と各検出領域のベクト
ルを判定結果導出手段５に出力する。静止判定手段はた
とえ（：Ｌ Ｓｋ　−（Ｖｋ（ｔ）　＜　Ｃ１ｎ　［Ｖｋ（ｔ−１）
　＜　Ｃｌ　ｎ（Ｖｋ（ｔ−２）　＜　Ｃ）　ｎＶｋ（
ｔ−３）　＜　Ｃｎ（Ｖｋ（ｔ−４）　＜　Ｃ１ｎ　　
Ｖｋ（ｔ−５）　＜　Ｃ）　ｎ（Ｖｋ（ｔ−６）　＜　
Ｃｌ口　Ｖｋ（ｔ−７）　＜　Ｃ口（Ｖｋ（ｔ−８）　
＜　Ｃｌ口ｆＶｋ（ｔ−９）　＜　Ｃ８ｋ二判定結果（
真のとき１、偽のとき０）（ｋ＝１．２．３．４　） ｔ：時間 Ｃ：　定数 口：　論理積（かつ） ｖｋ：各検出領域のベクトル（ｋ＝１．２．３．４）の
よう（Ｑ　ベクトルＶｋが時系列順に連続１ｏ回あるい
は１回（ｎ：　　自然数）、定数Ｃ以内にあれば　その
検出領域のベクトルは静止したと判定する。静止条件と
して（表　このほかにｎ回中ｍ回（ｎ＞ｍ）（ｍ：　　
自然数）が定数Ｃ以内であればベクトルは静止したと判
定する方法も考えられる。

またベクトル検出回路２（よ　相関値の最小値、平均仇
　最大値を束数　ベクトルの値とともにベクトルの信頼
性判定回路手段４に出力する。べクトルの信頼性判定回
路手段４（友　各検出領域のベクトル検出回路２から入
力されたそれぞれの値より、各検出領域の信頼性を判定
し　その判定結果と各検出領域の動きベクトルを判定結
果導出手段５に出力する。判定結果導出手段５で（よ　
静止判定手段３からの判定結果が　４つのベクトル検出
領域の中で少なくとも一つ以上静止しているベクトルが
あると判定している場合はその判定結果と各検出領域の
ベクトルを動きベクトル決定手段に出力すム　また静止
しているベクトルが一つもない場合（よ　信頼性判定手
段の判定結果と各検出領域の動きベクトルを動きベクト
ル決定手段に出力する。動きベクトル決定手段６（友　
各検出領域の判定結果と各検出領域の動きベクトルより
画面全体の動きベクトルを決定すム 以上の動作をフローチャートで示すと第２図のようにな
る。ステップ１０１で始まり、ステップ１０２が第１図
２に　ステップ１０３が第１図４に　ステップ１０４が
第１図３に　ステップ１０５、１０６、１０７、が第１
図５＆ミ　ステップ１０８が第１図６に対応し　ステッ
プ１０９で動きベクトルを出力すム 第３皿　第４図は具体例を示す図である。第４図区間（
ａ）〜（ｅ）は第３図の区間（ａ）〜（ｅ）に対応して
いも　第３図は移動物１２が画面内に入り込んだ場合の
画面と各検出領域の相関値を示すものであり、第４図は
そのとき検出される動きベクトル１９を示すものであム
　第４図で２０はカメラの動きベクトルで０ベクトルと
する。

１６は移動物の動きベクトルでほぼ一定値となってる。

　１７．１８はそれぞれ検出領域８，９から検出される
ベクトルて　移動物の検出領域へのかかり方によって、
移動物の動きが加算されたベクトル１６またはそれ以外
の誤ベクトルが検出されている。　１９は動きベクトル
決定手段６から出力されるベクトルであも まず最初第３図区間（ａ）に示すようにある検出領域８
の中に　背景と移動物１２が両方存在している時（よ　
第３図区間（ａ）に示すように相関値１３の状態によっ
て、その検出領域は信頼性なしと判定されも　また　検
出領域９は信頼性ありとなることが望まれる力丈　背景
の映り具合いによっては第３図（ａ）〜（ｂ）のように
信頼性なしとなる。　（検出領域１．０．１１の動作は
このときそれぞれ８，９と同様なので説明は省略する。

）次に第３図区間（ｂ）に示すようにある検出領域８の
大部分または全部を占めた場合、その検出領域のベクト
ル１７は移動物１２の動きを加算した動きベクトルとな
り、かつ相関値１５の状態からは信頼性ありと判定され
も　さらにこのとき検出領域９は信頼性なしの状態にな
っていも　しかしながらここでは検出領域９は静止判定
手段３によりベクトルは静止していると判定されている
ので、判定結果導出手段５によりベクトル１７は無視さ
れ　検出領域９、１１のベクトルが最終的な動きベクト
ル決定に用いられる。さらに時間の経過にしたがって移
動物が移動すると、再び検出領域８の中に背景と移動物
１２が両方存在する状況（第３図中には示していないが
これを（Ｃ）とする）となり、次に第３図区間（ｄ）、
　　（ｅ）に示すような信頼性なしの状況となも　しか
し区間（Ｃ）、（ｄ）、　（ｅ）においても静止ベクト
ルは存在するので、第４図の区間（ａ）〜（ｅ）の時点
で検出される動きベクトルは第４図１９に示すようにな
り、被写体の動きに影響されなくなる。

以上のように本実施例によれば　静止ベクトル判定手段
によって静止していると判定されたベクトルか一つ以上
あるとき（表　静止判定結果を信頼性判定手段の判定結
果よりも優先させることにより、信頼性判定手段が誤判
定して舷　最終的には被写体の侵入などによる誤ベクト
ルを出力するのを回避することかできる。

また第１の実施例で、画面内のある検出領域で空や壁な
どのような明るさや、あるいは色の−様な映像があると
き（友　手ぶれなどで画面が揺れて叡　ベクトル検出回
路２より得られたその検出領域の動きベクトルは不定値
を出すことが多い。そのとき静止判定手段３が−様な映
像を静止している判定すると、手ぶれなどによる画面の
揺れが起こった場合補正できなくなる。そこで静止判定
手段３はさらに次のように改良することが可能であも　
第５図は画面の内容とそのときの相関値の平均値を示す
図であム　６８、６９．７０、７１は各検出領域であム
　第５図（ａ）は自然風景、　（Ｃ）はそのときの平均
ｔＬ　　（ｂ）は−様な映像の検出領域６９、７０が存
在する空の風景、　（ｄ）は検出領域６９、７０の平均
値であも　相関値の平均値は　２フィールド間の各検出
領域について、所定の範囲の量（ｉ、　ｊ　）：１ｍ１
ｎ＜ｉ＜ｉｍａｘ、　ｊｍｉｎ＜　ｊ＜ｊｍａｘ偏移し
た位置の信号の差Σ１△Ｌ　ｌ　（ｉ、ｊ）を相関値と
してそれぞれ束数　平均して求めることができも　一般
に画面が第５図（ａ）のように自然風景だと、各検出領
域の平均値は第５図（Ｃ）のように高い値を示す。しか
し第５図（ｂ）の検出領域６９、７０のように一様な画
面（４ｉｎ＋ｉｎ＜ｉ＜ｉｍａｘ。

ｊｍｉｎ＜ｊ＜ｊｍａｘのすべての範囲で相関値（信号
の差Σ△Ｌ　ｌ　（ｉ、ｊ））が小さくなり、第５図（
ｄ）のように第５図（ｃ）に比べて小さい値を示す。そ
こで平均値が所定の値Ｃ′より小さいときは検出領域６
９．７０は静止していないと判断できればよ静止判定手
段はたとえば ｓｋ　＝　（ｖｋ（ｔ）　＜　Ｃ１口［Ｖｋ（ｔ−１）
（Ｖｋ（ｔ−２）　　＜　　　Ｃ口　　（Ｖ　　ｋ（ｔ
−３）（Ｖｋ（ｔ−４）＜　　Ｃｎ　　（Ｖｋ（ｔ−５
＞（Ｖｋ（ｔ−６）　　＜　　　Ｃ口　　（Ｖ　ｋ（ｔ
−７）（Ｖｋ（ｔ−８）　　＜　　　Ｃ口　　（Ｖ　ｋ
（ｔ−９）（Ａｖｅｋ（ｔ）　＞　Ｃ’　）口 （Ａｖ　ｅｋ（ｔ−１）＞　　Ｃ’　　ｌ　　ｎ（Ａ　
ｖ　ｅ　ｋ（ｔ−２）　＞　Ｃ口（Ａ　ｖ　ｅ　ｋ（ｔ
−３）　＞　Ｃ’口Ａｖ　ｅｋ（ｔ−４）　＞　Ｃ’　
］口Ａ　ｖ　ｅ　ｋ（ｔ−５）　＞　Ｃ’口Ａ　ｖ　ｅ
　ｋ（ｔ−６）　＞　Ｃ’口Ａｖｅｋ（ｔ−７）＞Ｃ’
　　　ｎ Ａｖｅｋ（ｔ−８）＞Ｃ’　　　ｎ Ａ　ｖ　ｅ　ｋ（ｔ−９）＞　　Ｃ’ Ｓｋ：判定結果（真のとき１、 （ｋ＝１．２．３．４） 偽のとき０） ｔ：時間 Ｃ゛：　定数 ｎ：　論理積（かつ） ｖｋ：各検出領域のベクトル（ｋ−１，２，３，４）Ａ
　Ｖ　ｅ　ｋ：各検出領域の平均値（ｋ＝１．２．３．
４）Ｃ１ のよう鳳　ベクトルＶｋと平均値が時系列順に連続１０
回あるいはｎ回（ｎ：　　自然数）、所定の条件を満た
せば　その検出領域のベクトルは静止したと判定する。

以上のように本実施例によれば　ある検出領域で画面が
一様な映像が存在するときｃヨ　　その検出領域は静止
判定手段で静止していないと判定し一様でない映像の検
出領域をもとに補正を行うことにより、安定で見やすい
画面にすることができる。

第６図は本発明の第２の実施例における動きベクトル検
出装置を含む画像の揺れ補正装置のブロック図を示すも
のであり、　２１は画像信号入力端子である。２２は各
検出領域のベクトル検出同区２３は最小判定手段、　２
４はベクトルの信頼性判定手段、　２５は判定結果導出
手段　２６は動きベクトル決定手段、　２７は揺れ補正
手段である。

以上のように構成された第２の実施例の動きベクトル検
出回路２２、信頼性判定手段２４、ベクトル決定手段２
６、揺れ補正手段２７の動作はそれぞれ第１の実施例の
動きベクトル検出回路２、信頼性判定手段４、ベクトル
決定手段６、揺れ補正手段７と同様である。

最小判定手段２３は各検出領域のベクトルか静止してい
るかどうかを判定し　その判定結果と各検出領域の動き
ベクトルを判定結果導出手段２５に出力する。最小判定
ｆ！　　複数存在する各検圧領域のベクトルの中で最小
値となっている検出領域を判定するものである。

判定結果導出手段２５では　信頼性判定手段２４力文　
少なくとも一つ以上の検出領域で信頼性なしと判定して
いる場合（よ　最小判定手段の判定結果を採用し　動き
ベクトル決定手段２６に出力する。動きベクトル決定手
段２６では各検出領域のベクトルの中で最小値を画面全
体の動きベクトノ１とすも　まな　信頼性判定手段２４
力交　全ての朽出領域で信頼性ありと判定している場合
は　信頼性判定手段の判定結果を採用し　動きベクトル
υ足手段２６に出力する。動きベクトル決定手段２６は
　各検出領域の動きベクトルの平均値を画面全体の動き
ベクトルとする。

以上の動作をフローチャートで示すと第７図のようにな
も　ステップ１１０で始まり、ステップＩｌｌが第６図
２２に　ステップ１１２が第６図２４　ｔＱ　　ステッ
プ１１３が第６図２３？二　ステップ１】４、１１５、
１１６が第６図２５に　ステップ１１７が第６図２６に
対応し　ステップ１１８で動きベクトルを出力する。

第１の実施例と同様（ミ　第３＠　第４図で具体的な効
果を説明すも　まず最初第３図区間（ａ）に示すように
ある検出領域８の中ＪＱ　　背景と移動物１２が両方存
在している時（よ　第３図区間（ａに示すように相関値
１３の状態によって、その検出領域は信頼性なしと判定
される。また　検出領域９は信頼性ありとなることが望
まれる力（背景の映り具合いによっては第３図（’ａ）
〜（ｂ）のように信頼性なしとなる。そして判定結果導
出手段２５によって最小判定結果が採用されも　（検出
領域１０．１１の動作はこのときそれぞれ８゜９と同様
なので説明は省略する。）次に第３図区間（ｂ）に示す
ようにある検出領域８の大部分または全部を占めた場合
、その検出領域の第４図ベクトル１７は移動物１２の動
きを加算した動きベクトルとなり、かつ相関値１５の状
態から信頼性ありと判定されも　さらにこのとき検出領
域９は信頼性なしの状態になっている。しがしながらこ
こでは検出領域９は各検出領域の最小値なのてベクトル
１７は無視され　検出領域９、１１のベクトルが最終的
な動きベクトル決定に用いられる。

さらに時間の経過にしたがって移動物が移動すると、再
び検出領域８の中に背景と移動物１２が両方存在する状
況（第３図中には示していないがこれを（ｃ）とする）
となり、次に第３図区間（ｄ）（ｅ）に示すような信頼
性なしの状況となムしかし区間（ｃ）、　（ｄ）、　（
ｅ）においても最小ベクトルが採用され　第４図の区間
（ａ）〜（ｅ）の時点で検出される動きベクトルは第４
図１９に示すようになり、被写体の動きに影響されなく
なる。

以上のように本実施例によれば　信頼性判定手段によっ
て信頼性なしと判定されたベクトルが一つ以上あるとき
（よ　最小判定結果を信頼性判定手段の判定結果よりも
優先させることにより、信頼性判定手段が誤判定して叡
　最終的には誤ベクトルを出力するのを回避することが
できる。

また判定結果導出手段２５において、信頼性判定結果が
信頼性ありとなしが混在するときだけに最小判定結果を
用いても良し１゜すなわち各検出領域の信頼性判定が全
てないときは揺れ補正しないようにすることができる。

また最小判定手段２３１よ　各検出領域の動きベクトル
の中で、最も小さいものから順に選んだｎ個を最小であ
るという判定結果としてもよ（℃　ベクトル決定手段２
６１１！、ｎ個から画面全体の動きベクトルを決定す４ つぎに第８図は本発明の第３の実施例における動きベク
トル検出装置を含む画像の揺れ補正装置のブロック図を
示すものであり、　２８は画像信号入力端子である。　
２９は各検出領域のベクトル検出回路　３０は類似度判
定手段、　３１はベクトルの信頼性判定手段、　３２は
判定結果導出手段、　３３はベクトル決定手段、　３４
は揺れ補正手段である。

以上のように構成された第３の実施例の動きベクトル検
出回路２９、信頼性判定手段３１、ベクトル決定手段３
３、揺れ補正手段３４の動作はそれぞれ第１の実施例の
動きベクトル検出回路２、信頼性判定手段４、ベクトル
決定手段６、揺れ補正手段７と同様である。

類似度判定手段３０で（よ　類似度を算出する。

類似度は各検出領域のベクトル間の差の成分を計算すれ
ばよい。たとえば 類似度− （ｌ　　Ｖｌｌ　　−ｌ　　Ｖ２１　　］　　＋（ｌ　
　Ｖｌｌ−ｌ　　Ｖ３１　　）＋　　（ｌ　　Ｖｌｌ−
Ｉ　　Ｖ４１　）＋　　（Ｉ　　Ｖ２１−Ｉ　　Ｖ３１
　］十（ｌ　　　Ｖ２１　　−Ｉ　　　Ｖ４１　　　）
　　　＋　　　（ｌ　　　Ｖ３１　　−Ｉ　　　Ｖ４１
　　　）Ｖ　ｉ：　（ｉ＝１．２，３．４）各検出領域
のベクトル、ｉは各検出領域の数 のように表すことができも　類似度は小さいほど各検出
領域のベクトルは似ていることになム　ただし類似度判
定手段３０では　すべての検出領域のベクトルが類似し
ているとき（よ　すべてのベクトルについて判定結果を
真（１）とすム　また類似していないときは判定結果を
疑（０）とすムそして判定結果と類似度と各検出領域の
ベクトルを判定結果導出手段３２に出力する。

判定結果導出手段３２で（よ　類似度をもとに判定手段
を選択する。

類似度≦Ｃならば　類似度判定結果採用類似度〉Ｃなら
ば　信頼性判定結果採用Ｃ：　定数 以上の動作をフローチャートで示すと第９図のようにな
ム　ステップ１１９で始まり、ステップ１２０が第８図
２９へ　ステップ１２１が第８図３１は　ステップ１２
２が第８図３０に　ステップ１２３、１２４、１２５が
第８図３２へ　ステップ１２６が第８図３３に対応して
おり、ステップ１２７で動きベクトルを出力すム 第１０図と第１１図で具体例に説明すも　第１０図はカ
メラの揺れを起こしている補正前の画面と、検出領域３
５、３７とその相関値４０、検出領域３６、３８とその
相関値４１を示すものであム　（以下検出領域３７、３
８の動作はそれぞれ３５、３６と同様なので説明は省略
すも　）また３９は侵入物である。第１１図ζよ　第１
０図の間の動きベクトルと類似度を示すものであも　第
１１図で４４はカメラの動きベクトルでＯベクトルを中
心に上下に揺れていム　４３は検出領域３５から検出さ
れるベクトルで、カメラの揺れによる動きベクトル４４
または移動物３９の動きまたはそれ以外の誤ベクトルが
検出されていム　４２は検出領域３６から検出されるベ
クトルでカメラの揺れによる動きベクトル４４が検出さ
れていもベクトル４５はベクトル決定手段３３から出力
される画面全体の動きベクトルである。第１０図の区間
（ａ）〜（ｄ）は第１１図の区間（ａ）〜（ｄ）に対応
していも まず最初第１０図区間（ａ）〜（ｃ）Ｌ　　第１１図よ
り、 ＠測度≦Ｃ の状態なので類似度判定結果が採用される。そしてベク
トル決定手段３３によって各検出領域の全てのベクトル
の平均値が画面全体の動きベクトルとなも 特に第１０図区間（ｂ）では信頼性判定は背景の映り具
合いによって、全ての検出領域で突然信頼性なしとなっ
ており、この判定のみだと揺れ補正できなくなる力（第
１１図より、 類似度≦Ｃ の状態なので、類似度判定結果が採用される。次に第１
０図区間（ｄ）では　侵入物３９が入ってきたので、 類似度〉Ｃ の状態になり信頼性判定結果が採用されも　そして検出
領域３５の動きベクトルが採用されも　その結果　画面
全体の動きベクトルは第１１図４５のようになり、カメ
ラの揺れだけが補正されたベクトルとなム 以上のように本実施例によれば　類似度判定手段により
各検出領域の動きベクトルに類似性があると判断された
とき４表　画面全体が同一方向に揺れているので画振れ
補正すべきであム　そこで類似度をもとに判定結果導出
手段３２によってすべての検出領域のベクトルが採用さ
れ　ベクトル決定手段３３に出力されも　逆に類似性が
ないときは侵入物が画面内に入っている可能性が高く、
その侵入物の存在する検出領域を補正に用いてはならな
いので信頼性判定手段３１を用いも　このような構成に
すれは　カメラの揺れだけが補正された安定で見やすい
映像となる。

な耘　第１、第２および第３の実施例において、画面中
の検出領域の数は４つとした力（それ以外でもよｔ℃　
また各検出領域のベクトルの信頼性の判定方法を詳しく
述べた力（これは必ずしもこの通りである必要はなく、
判定においてその時点の相関値の状態やベクトルの値だ
けでなく、それ以前の相関値の状態やベクトルの値や判
定結果をともに用いるものを付加してもよし〜 また　動きベクトル検出装置に　静止判定手段、最小判
定手段および類似度判定手段をすべて用いてもよ（〜 発明の効果 本発明によれば　移動物が入ってきた場合で信頼性判定
が誤判定していてＬ　各検出領域の検出ベクトルの中か
ら選択的に静止している動きベクトルやビデオカメラの
揺れによる動きベクトルだけを画面全体の動きベクトル
として検出できるようになり、また移動物が入ってきた
場合にでＬ従来のものでは移動物の動きが加算されたベ
クトルが誤って検出されていたもの力文　検出が自動的
に中断され誤ベクトルの検出を防止できム

【図面の簡単な説明】

第１図は本発明における第１の実施例の動きベクトル検
出装置の動作を示すブロック医　第２図は画像の動きベ
クトル検出装置のフローチャート、第３図は本発明にお
ける第１、第２、第３の実施例の動きベクトル検出装置
の動作および画面中の各検出領域の配置を示す医　第４
図は動きベクトルの動作を説明するための線図　第５図
は画面の内容と平均値の関係を示す図　第６図は本発明
における第２の実施例の動きベクトル検出装置の動作を
示すブロック医　第７図は画像の動きベクトル検出装置
のフローチャート、第８図は本発明における第３の実施
例の動きベクトル検出装置の動作を示すブロックは　第
９図は画像の動きベクトル検出装置のフローチャート、
第１０図は類似度と動きベクトルの動作を説明するため
の線図　第１１図は動きベクトルと類似度の動作を示す
医第１２図は従来例の画像の動きベクトル検出装置を応
用した揺れ補正装置のブロック医　第１３図は従来例の
動きベクトル検出装置の動作を説明するためのフローチ
ャート、第１４図は揺れ補正の動作を説明するための医
　第１５図　第１６図は従来例の動きベクトル検出装置
の動作を説明するための線図であム １、　２１．　２８．　４６・・・画像信号入力端子、
２、　２２．　２９．　４７・・・各検出領域での相関
値演算およびベクトル検出手段、　　３・・・静止判定
手段４、　２４．　３１．　４８・・・信頼性判定平成
　　５゜２５．３２・・・判定結果導出手阪　　６，２
６，３３、４９・・・動きベクトル決定手！７，２７゜
３４．５０・・・揺れ補正手段、　　８．　９．　１０
．　１１、　３５．　３６．　３７．　３８．　６８．
　６９．　７０゜７］・・・ベクトル検出傾＠１２，３
９・・・移動轍１３、　１４．　１５．　４０．　４１
・・・各検出領域の相関（ｊＬ１６，５９・・・移動物
の動きペクトＡｖ。 １７、　１８．　４２．　６０．　６１．　６４・・・
各領域の検出ペクト／に２０．６３・・・ビデオカメラ
の動きベクトルｋ　　　１９．　４５．　５３．　６２
．　６７・・・画面全体の動きベクトル、　　２３・・
・最小判定手段、３０・・・類似度判定手段、　　４３
．６５・・・ビデオカメラの揺れによる動きベクトルに
移動物の動きが加算されたベクトル５４４．６６・・・
ビデオカメラの揺れによる動きペクト／に５１，５２、
　５５．　５６　　・・・入力画＠５４・・・補正する
方倣　　５７，５８・・・補正画ｉ 代理人の氏名　弁理士　粟野重孝　はか１名第 図 第 図 第 図 第 図 （Ｑ） （ｂ）（ｃン （ｄ） （ｅ） 第 図 Ｃｂ） 第 図 第 図 第 図 第 図 第１０図 第２図

Claims (7)

【特許請求の範囲】
1. （１）画面中に複数の検出領域を設け、その各検出領域
   について、所定の偏移における相関値を求める手段と、
   その相関値より各検出領域ごとに動きベクトルを求める
   手段と、動きベクトルの値または相関値またはそれらの
   組合せによりその検出領域の動きベクトルの信頼性を判
   定する信頼性判定手段と、各検出領域の動きベクトルの
   静止状態を判定する静止判定手段と、前記静止判定手段
   と前記信頼性判定手段から最終的な判定結果を導き出す
   判定結果導出手段と、導出された判定結果をもとに各検
   出領域の動きベクトルから画面全体の動きベクトルを決
   定する手段とを備えたことを特徴とする画像の動きベク
   トル検出装置。
2. （２）画面中に複数の検出領域を設け、その各検出領域
   について、所定の偏移における相関値を求める手段と、
   その相関値より各検出領域ごとに動きベクトルを求める
   手段と、動きベクトルの値または相関値またはそれらの
   組合せによりその検出領域の動きベクトルの信頼性を判
   定する信頼性判定手段と、各検出領域の動きベクトルの
   中で相対的に小さな値の動きベクトルを判定する最小判
   定手段と、前記最小判定手段と前記信頼性判定手段から
   最終的な判定結果を導き出す判定結果導出手段と、導出
   された判定結果をもとに各検出領域の動きベクトルから
   画面全体の動きベクトルを決定する手段とを備えたこと
   を特徴とする画像の動きベクトル検出装置。
3. （３）画面中に複数の検出領域を設け、その各検出領域
   について、所定の偏移における相関値を求める手段と、
   その相関値より各検出領域ごとに動きベクトルを求める
   手段と、動きベクトルの値または相関値またはそれらの
   組合せによりその検出領域の動きベクトルの状態を判定
   する状態判定手段と、各検出領域の動きベクトルの類似
   度を判定する類似度判定手段と、前記類似度判定手段と
   前記状態判定手段から最終的な判定結果を導き出す判定
   結果導出手段と、導出された判定条件をもとに各検出領
   域の動きベクトルから画面全体の動きベクトルを決定す
   る手段とを備えたことを特徴とする画像の動きベクトル
   検出装置。
4. （４）時系列順に導出される少なくとも２つ以上の動き
   ベクトルが、所定の範囲内に存在するときに、前記動き
   ベクトルは静止していると判定する静止判定手段を備え
   たことを特徴とする請求項１に記載の画像の動きベクト
   ル検出装置。
5. （５）各検出領域の動きベクトルの中で、最小値を判定
   する最小判定手段を備えたことを特徴とする請求項２に
   記載の画像の動きベクトル検出装置。
6. （６）画面中に複数の検出領域を設け、その各検出領域
   について、所定の偏移における相関値を求める手段と、
   その相関値より各検出領域ごとに動きベクトルを求める
   手段と、動きベクトルの値または相関値またはそれらの
   組合せによりその検出領域の動きベクトルの信頼性を判
   定する信頼性判定手段と、各検出領域の動きベクトルの
   類似度を判定する類似度判定手段と、前記信頼性判定手
   段と前記類似度判定手段から最終的な判定結果を導き出
   す判定結果導出手段とを備えたことを特徴とする請求項
   ３に記載のの動きベクトル検出装置。
7. （７）請求項１から６のいずれかに記載の画像の動きベ
   クトル検出装置の中の一つと、少なくとも１フィールド
   以上の画像信号記憶手段と、前記画像の動きベクトル検
   出装置から検出される動きベクトルをもとに、前記画像
   信号記憶手段の読みだし位置を制御する手段とを備えた
   ことを特徴とする画像の揺れ補正装置。