JPH02157980A - 画像の動きベクトル検出装置及び揺れ補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、おもにビデオカメラの振動や揺れによる画面
全体の動きベクトルを画像信号より検出する装置、およ
びビデオカメラの振動や揺れによる画面全体の不要な揺
れを補正する装置に関するものである。

従来の技術 従来の画像の動きベクトル検出装置としては、例えば特
開昭６１−２６９４７５公報に開示されたものがある。

第１３図はこの従来の動きベクトル検出装置を応用した
画像の揺れ補正装置のブロック図を示すものであり、１
は画像信号入力端子である。２は各検出領域のベクトル
検出回路である。３はベクトルの信頼性判定手段および
４は動きベクトル決定手段である。５は揺れ補正手段で
ある。

以上のように構成された従来の画像の動きベクトル検出
装置においては、まず入力端子１に少なくとも２フィー
ルド以上の時間的に連続する画像信号が入力される。各
検出領域のベクトル検出回路２では、予め第７図６．１
２．１７．１８に示すように画面内に４つのベクトル検
出領域が定められており、２フィールド間の各検出領域
について、所定の範囲の量（ｉ、　ｊ）　：１ｍ１ｎ＜
ｉ＜ｉｍａｘ、　ｊｍｉｎ＜ｊ＜ｊｌａＸ偏移した位置
の信号の差Σ１ΔＬ　ｌ　（ｉ、ｊ）を相関値としてそ
れぞれ求め、その値の最小値を与える偏移（ｉ’、ｊ’
）を検出し、これを各領域のベクトルとする。またその
相関値の最小値、平均値、最大値を求め、ベクトルの値
とともに、ベクトルの信頼性判定回路手段３および動き
ベクトル決定手段４に出力する。ベクトルの信頼性判定
手段３および動きベクトル決定手段４では、第１４図の
フローチャートに示すように各領域の相関値の最小値、
平均値、最大値よりベクトルの信頼性を判定し、信頼性
あつと判定された領域のベクトルの大きさと方向性が一
致すれば、それらの平均の値を画面全体の動きベクトル
と決定し出力する。また一致しない場合は０ベクトルを
出力する。揺れ補正手段５は１フィールド以上の画像信
号記憶手段を持ち、ここからの信号の読みだし位置を制
御することによって、第１７図１９．２０に示すように
ゆれの大きい画像が入力されるとき、第ｎ−１フイール
ド１９、第ｎフィールド２０の入力画像信号について、
動きベクトル決定手段４より入力された動きベクトル１
０をもとに、その動きを補正する方向２１に画像の画面
を２９から３０に並行移動し、また補間等によって画面
の拡大等の操作をし、揺れの少ない１画面の大きさの画
像信号２７．２８を出力する。

以上説明したものは、相関値の最小値、平均値、最大値
よりベクトルの信頼性を判定しているが、この他相関値
の最小点とその周りの点の値の差、つまり最小点の周り
の傾きよりベクトルの信頼性を判定するもの、また最小
値の値だけで判定するものなど相関値の状態から信頼性
を判定する方法はいろいろなものがある。

また信頼性の判定を重みで表わし、ベクトルをその重み
で加重平均したものを画面全体の動きベクトルとして出
力するものもある。

発明が解決しようとする課題 しかしながら上記のような構成では、動きベクトル検出
装置は、移動物が画面内に入り込んだ場合０ベクトルが
出力されたり、また移動物の動きが加算されたベクトル
が検出されることが多かった。したがって揺れ補正装置
は、補正が中断されたり、移動物の動きが加算されたベ
クトルが検出され撮影者の意図する方向とは異なる方向
に画面が補正され誤動作となることが多かった。

以下図を用いて詳しく説明する。まず第７図は、検出領
域と同程度かまたはそれ以上の大きさの移動物が画面を
通過する場合の、画面と各領域からの相関値の様子を示
すものである。最初移動物が入って来る時つまり第７図
（ａ）に示すようにある検出領域６の中に、背景と移動
物１３が両方存在している時は、図に示すようにその領
域の相関値７の状態（最小値の増大等）によって、その
領域は信頼性なしと判定されるが、次に第７図（ｂ）に
示すように移動物１３がある検出領域６の大部分または
全部を占めた場合、その検出領域６らはビデオカメラの
動きと移動物の動きを加算した動きベクトル１５が検出
され、かつ相関値７の状態からは信頼性ありと判定され
る。このときその他の領域１２からビデオカメラの動き
のベクトル８が検出されていると、これら２つのベクト
ルが一致しないため画面全体の動きベクトルとしては０
ベクトルが出力される。（領域１．７．１８はそれぞれ
領域６．１２と同じ状態になるため説明は省略する。）
そして次に移動物が移動するにしたがって、再び領域６
の中に背景と移動物１３が両方存在する状況（第７図中
には示していないがこれを＜ｃ）とする）となり、次に
第７図（ｄ）、（ｅ）に示すような状況となる。したが
って第７図の（ａ）〜（ｅ）の時点で検出される動きベ
クトルは第１５図の１０に示すようになる。第１５図で
８はカメラの揺れによる動きベクトルで０ベクトルを中
心にして上下に振れている。１５はそれに移動物の動き
が加算されたベクトルでほぼ一定値が加算されている。

９．１６はそれぞれ領域６゜１２から検出されるベクト
ルで、移動物の領域へのかかり方によって、それぞれカ
メラの揺れによる動きベクトル８または移動物の動きが
加算されたベクトル１５またはそれ以外の誤ベクトルが
検出されている。この出力の動きベクトル１０をもとに
揺れ補正を行なうと、（ｂ）の状態のとき揺れ補正は中
断されることとなる。こういったベクトル検出の中断は
画面中の検出領域の数を増やすことによっである程度改
善されるが、それは装置の回路規模の増加および複雑化
を招く、また数を増やすために各検出領域の大きさを小
さくすると各領域あたりの動きベクトル検出に必要な画
像の特徴量が減り、各領域で誤ベクトルを検出する確率
が多くなる。

また第９図に示すように画面全体の大部分または全体を
占めるほどの移動物１３が画面を通過する場合、上記の
場合と同様に最初第９図（ａ）に示すようにある検出領
域６の中に、背景と移動物が両方存在している時は、相
関値７の状態によって、その領域６は信頼性なしと判定
されるが、次に第９図（ｂ）に示すようにある検出領域
６の大部分または全部を占めた場合、その検出領域から
はビデオカメラの動きと移動物の動きを加算した動きベ
クトルが検出され、かつ相関値７の状態からは信頼性あ
つと判定される。そして第９図（ｃ）（ｄ）に示すよう
に移動物が画面の大部分または全部を占めた場合、ビデ
オカメラの動きと移動物の動きを加算した動きベクトル
が画面全体の動きベクトルとして出力される。したがっ
て第９図の（ａ）〜（ｅ）の時点で検出される動きベク
トルは第１６図１０に示すようになり、このベクトルを
もとに揺れ補正を行なうと、（ｂ）の状態で補正が中断
され、また（ｃ）、（ｄ）の状態で撮影者の意図する方
向とは異なる方向に画面が補正され誤動作となるという
問題がある。

課題を解決するための手段 上述の問題を解消するため、本発明の請求項１の発明は
画面中に複数の検出領域を設け、その各検出領域につい
て、所定の偏移における相関値を求める手段と、その相
関値より各検出領域ごとに動きベクトルを求める手段と
、各検出領域での相関値の状態と動きベクトルの値と、
それ以前の動きベクトルの信頼性の判定結果または動き
ベクトルの値または相関値またはそれらの組合せにより
その検出領域の動きベクトルの信頼性を判定する手段と
、信頼性の判定をもとに各領域の動きベクトルを用いて
画面全体の動きベクトルを決定する手段からなることを
特徴とする請求項２の発明は画面中に複数の検出領域を
それぞれ縦方向に並ばないように横方向にずらして設け
、またはそれぞれ横方向に並ばないように縦方向にずら
して設け、その各検出領域について、所定の偏移におけ
る相関値を求める手段と、その相関値より各検出領域ご
とに動きベクトルを求める手段と、このときの各検出領
域の動きベクトルの信頼性を判定する手段と、そこでの
信頼性の判定をもとに各領域の動きベクトルのみを用い
て画面全体の動きベクトルを決定する手段からなること
を特徴とし、望ましくは請求項１の発明において、検出
領域はそれぞれ縦方向に並ばないように横方向にずらし
て設け、またはそれぞれ横方向に並ばないように縦方向
にずらして設けることを特徴とする。

そして、上記の動きベクトル検出装置と画像の動きベク
トル検出装置と、少なくとも１フィールド以上の画像信
号記憶手段と、前記画像の動きベクトル検出装置から検
出される動きベクトルをもとに、前記画像信号記憶手段
の読みだし位置を制御する手段からなる画像の揺れ補正
装置を特徴とする。

作用 本発明は上記した構成により、各検出区域のベクトルの
信頼性を判定する際、そのときの各検出区域での相関値
の状態とベクトルの値だけでなく、その検出区域のそれ
以前のベクトルの信頼性の判定結果とベクトルの値も用
いて、判定を行なう。

これは上記課題が生じる場合、最初移動物が検出領域に
入って来る状態では、その領域は信頼性なしと判定され
、その後移動物が検出領域の大部分を占めるとき、その
検出領域からはビデオカメラの動きと移動物の動きを加
算した動きベクトルが検出され、かつ相関値の状態から
は信頼性ありと判定されるため、上記課題が生じること
に着目したもので、この最初の判定結果をそれ以降のフ
ィールドで判定を行なうときに用いることにより、上記
課題を解決できる。また言い替えるとある時点の相関値
の状態とベクトルの値だけでなく、それ以前の相関値の
状態とベクトルの値またベクトルの信頼性の判定結果を
用いて信頼性を判定することにより上記課題を解決でき
る。したがって検出領域と同程度かまたはそれ以上の大
きさの移動物が画面内に入り込んだ場合でもその他の領
域からビデオカメラの動きのベクトルが検出されていれ
ば、そのベクトルだけを検出可能である。また画面全体
の大部分または全体を占めるほどの移動物が画面を通過
する場合でもその時間揺れ補正は中断され撮影者の意図
する方向とは異なる方向に画面が補正されるような誤動
作は発生しない。

また画面中に複数の検出領域を設けるときそれぞれ上下
方向に一定に並ばないように横方向にずらして設けるこ
とにより、従来例のように縦方向に長い移動物が入って
きたときに、上下に並んだ領域から同時に誤ベクトルが
検出されることを防。

ぐことができる、したがって画面の動きベクトルの検出
の中断や誤ベクトルの検出を抑えることができる。

実施例 第２図は本発明の第１の実施例における動きベクトル検
出装置のブロック図を示すものであり、１は画像信号入
力端子である。２は各検出領域のベクトル検出回路であ
る。３はベクトルの信頼性判定手段、４は動きベクトル
決定手段である。

以上のように構成された第１の実施例の画像の動きベク
トル検出装置においては、まず入力端子１に少なくとも
３フィールド以上の時間的に連続する画像信号が入力さ
れる。各検出領域のベクトル検出回路２では、予め第７
図の６．１２．１７゜１８に示すように画面内に４つの
ベクトル検出領域が定められており、２フィールド間の
各検出領域について、所定の範囲の量（ｉ、Ｊ）：１ｍ
１ｎ（ｉ＜ｉ＋ａａｘ。

ｊｍｉｎ＜ｊ＜Ｊ■ａｘ偏移した位置の信号の差ΣＩΔ
Ｌ１（ｉ、　Ｊ）を相関値としてそれぞれ求め、その値
の最小値を与える偏移（ｉ’　、　ｊ’　）を検出し、
これを各領域のベクトルとする。またその相関値の最小
値、平均値、最大値を求め、ベクトルの値とともに、ベ
クトルの信頼性判定回路手段３とする。ベクトルの信頼
性判定回路手段３は、各検出領域のベクトル検出回路２
から入力されたそれぞれの値と、動きベクトル決定手段
４からフィードバックされる動きベクトルの値より各領
域の信頼性を判定し、その判定結果と各領域の動きベク
トルを動きベクトル決定手段４に出力する。動きベクト
ル決定手段４は、各領域の信頼性の判定結果と各領域の
動きベクトルより画面全体の動きベクトルを決定する。

第１図は画像の動きベクトル検出装置のベクトルの信頼
性判定手段３および動きベクトル決定手段４の動作、つ
まり時間的に連続して入力される画像信号について、各
検出領域のベクトル検出回路２から得られるその時点ま
でのベクトルの値と相関値の状態よりその時点の画面の
動きベクトルを決定するフローチャートである。第１図
を用いてこれらの動作を説明すると、まず各領域のべり
トルの信頼性判定手段３において、最初に相関値の状態
（最小値、平均値、最大値）により第１の信頼性の判定
が行なわれる０次に第２の判定では、第１の判定結果と
前フィールドの第３の判定結果（第３の判定はあとで説
明する）の論理積をとる（２つの判定結果がともに信頼
性ありとなったもののみ、第２の判定で信頼性あつと判
定する。）。

ただし最初のフィールドでは前フィールドの第３の判定
結果が得られていないので第２の判定は第１の判定と同
じとする。動きベクトル決定手段４は、第２の判定で信
頼性ありと判定された各領域のベクトルの中間値（大小
順番に並べたときの中間に位置する値、ただし偶数個の
場合は中間に近い位置の２つの値の平均値）を画面全体
の動きベクトルと決定し出力する。また動きベクトル決
定手段４は画面全体の動きベクトルを各領域のベクトル
の信頼性判定手段３の第３の判定にフィードバックする
。第３の判定では、フィードバックされたベクトルと領
域のベクトルが所定の範囲で一致し、かつ第１の判定結
果が信頼性あつとなる領域を信頼性あつと判定し、この
結果は次フィールドでの第２の判定に用いる。

ここで従来例の動きベクトル検出装置と異なる点は動き
ベクトル決定手段４で得られた結果のベクトルが各領域
のベクトルの信頼性判定手段３に送られ、再度ベクトル
の信頼性判定が行なわれ、その結果が１フィールド間記
憶され１次フィールドでの各領域のベクトルの信頼性判
定に用いられる点である。

以上のように本実施例によれば、各検出区域のベクトル
の信頼性を判定する際、そのときの各検出区域での相関
値の状態とベクトルの値だけでなく、その検出区域の過
去のベクトルの信頼性の判定結果とベクトルの値も用い
て判定を行なうので、検出領域と同程度かまたはそれ以
上の大きさの移動物が画面内に入り込んだ場合でもその
他の領域からビデオカメラの揺れによる動きベクトルが
検出されていれば、そのビデオカメラの揺れによる動き
ベクトルのみを検出することが可能である。

第７図、第８図はこれを説明するための図である。第７
図は検出領域と同程度の大きさの移動物１３が画面内に
入り込んだ場合の画面と各領域の相関値を示すものであ
り、第８図はそのとき検出される動きベクトル１０を示
すものである。第８図で８はカメラの揺れによる動きベ
クトルで０ベクトルを中心にして上下に振れている。１
５はそれに移動物の動きが加算されたベクトルでほぼ一
定値が加算されいいる。９．１６はそれぞれ領域６．１
２から検出されるベクトルで、移動物の領域へのかかり
方によって、それぞれカメラの揺れによる動きベクトル
８または移動物の動きが加算されたベクトル１５または
それ以外の誤ベクトルが検出されている。１０は動きベ
クトル決定手段４から出力されるベクトルである。まず
最初第７図（ａ）に示すようにある検出領域６の中に、
背景と移動物１３が両方存在している時は、第７図（ａ
）に示すように相関値７の状態によって、その領域は信
頼性なしと判定される（領域１７．１８の動作はこのと
きそえぞれ６，１２と同様なので説明は省略する。）５
次に第７図（ｂ）に示すようにある検出領域６の大部分
または全部を占めた場合、その検出領域のベクトル９は
ビデオカメラの揺れと移動物１３の動きを加算した動き
ベクトル１５が検出され、かつ相関値７の状態からは信
頼性あつと判定される（第１の判定）、シかしながらこ
こでは以前か・ら検出される動きベクトル１０、つまり
カメラの揺れによる動きベクトル８と領域６のベクトル
９が一致しないため第３の判定は信頼性なしとなり、し
たがって第２の判定で信頼性あつと判定されるのは移動
物が入っていない領域１２（および１８）だけである、
この領域からはビデオカメラの揺れによる動きベクトル
８が検出されているので、動きベクトル決定手段４から
はビデオカメラの揺れによる動きベクトル８が検出され
続ける。さらに時間の経過にしたがって移動物が郡動す
ると、再び領域６の中に背景と移動物１３が両方存在す
る状況（第７図中には示していないがこれを＜ｃ）とす
る）となり、次に第７［ｇ（ｄ）、（ｅ）に示すような
状況となる。

（ｃ）〜（ｅ）ではある領域の大部分を移動物が占める
といった状況はなく、移動物と背景が存在する領域は相
関値で信頼性なしと判定されるので（第１の判定）、第
２の判定で信頼性あつと判定される領域からはカメラの
揺れによる動きベクトル８のみが検出される。したがっ
て第７図の（ａ）〜（ｅ）の時点で検出される動きベク
トル１０は第８図に示すようになる。ここで出力ベクト
ル１０は、領域６．１２のそれぞれのベクトル９．１６
からビデオカメラの揺れによる動きベクトル８のみを検
出できる。

つぎに第３図は本発明の第２の実施例における揺れ補正
装置のブロック図を示すものであり、１は画像信号入力
端子である。２は各検出領域のベクトル検出回路である
。３はベクトルの信頼性判定手段、４は動きベクトル決
定手段である。５は揺れ補正手段である。

以上のように構成された第２の実施例の画像の動きベク
トル検出装置の部分については、その動作は第１の実施
例とほぼ同様である。ただしベクトルの信頼性判定手段
３および動きベクトル決定手段４において、第１の実施
例で説明したところの第２の判定で、信頼性あつと判定
された領域がない場合は、前フィールドと前々フィール
ドで出力される動きベクトルＭ　（ｎ−１＞、　Ｍ　（
ｎ−２）より現フィールドの動きベクトルＭ　（ｎ）を
次式のようにして求める。

ｎ＞２のとき Ｍ（ｎ）＝ａＸＭ（ｎ−１）＋　ｂＸ　　（Ｍ（ｎ−１
）−Ｍ（ロー２）） ただし、ａ、ｂ：Ｏ＜ａ≦１．０く ｂ≦　１ ｎ＝２のとき Ｍ　（ｎ）　＝　ａ　Ｘ　Ｍ　（ｎ−１＞ｎ＝１のとき Ｍ（ｎ）＝０ 揺れ補正手段５は第１７図の１９．２０に示すようにゆ
れの大きい画像が入力されるとき、第ｎ１フイールド１
９、第ｎフィールド２０の入力画像信号について、動き
ベクトル決定手段４より入力された動きベクトル１０を
もとに、その動きを補正する方向２１に画像の画面を２
９から３０に並行移動し、また補間等によって画面の拡
大等の操作をし、揺れの少ない１画面の大きさの画像信
号２７．２８を出力する。

以上のように本実施例によれば、各検出区域のベクトル
の信頼性を判定する際、そのときの各検出区域での相関
値の状態とベクトルの値だけでなく、その検出区域の過
去のベクトルの信頼性の判定結果とベクトルの値により
、判定を行なうので、まず第１の実施例で説明したよう
に検出領域と同程度かまたはそれ以上の大きさの移動物
が画面内に入り込んだ場合でもその他の領域からビデオ
カメラの動きのベクトルが検出されていれば補正可能で
ある。

また第２の実施例では画面全体の大部分または全体を占
めるほどの移動物が画面を通過する場合でも補正は中断
され撮影者の意図する方向とは異なる方向に画面が補正
されるような誤動作は発生しない、第９図、第１０図は
これを説明するための図である。第９図は画面と同程度
の大きさの移動物１３が画面を通過する場合の、画面と
各領域の相関値の様子を示すものであり、第１０図はそ
のとき検出される動きベクトル１０を示すものである。

最初第９図（ａ）、（ｂ）に示すようにある検出領域６
の中に、移動物１３が入っている時は、第７図の場合と
同様にしてその領域６は信頼性なしと判定される（第２
の判定）３次に第９図（ｃ）に示すようにその他の領域
１２にも移動物１３が入ってくるとその領域も信頼性な
しと判定され、全ての領域について信頼性なしと判定さ
れることとなる。この場合は上記式に示したようにした
ように前フィールドと前々フィールドでの動きベクトル
より算出される値を出力する。上記式は２次の減衰特性
をもっているので出力されるベクトルは第１０図の１０
の（ｃ）、（ｄ）の部分に示すようになめらかに減衰す
る。したがってこのときの揺れ補正もなめらかに中断さ
れる６次に第９図（ｄ）に示すように移動物１３が全て
の領域を占める場合、全ての検出領域６．１２からはビ
デオカメラの揺れと移動物の動きを加算した動きベクト
ル１５が検出され、かつ相関値の状態７゜１４からは信
頼性ありと判定される〈第１の判定）、しかしながらこ
れらのベクトル９．１６は一般に第７図の１５に示すよ
うに１方向におおきな値を持つので、出力のベクトル１
０と一致することはなくしたがって第２、第３の判定は
信頼性なしと判定されることとなる９次に第１０図（ｅ
）に示すようにある領域６を移動物が通過した後、再び
その検出領域６からはビデオカメラの揺れによる動きベ
クトル８が検出され、かつ相関値の状態からは信頼性あ
つと判定される（第１の判定）。

一般にビデオカメラの揺れによる動きベクトルは第１０
図の８に示すように０ベクトルを中心にして上下に振動
しているので、ある時点１１で出力ベクトル１０と一致
し、このとき第２、第３の判定が信頼性あつと判定され
、これ以降この領域６のベクトルが動きベクトル１０と
して出力され、中断されていた補正が再開されることに
なる。したがって第９図の（ａ）〜（ｅ）の時点で検出
される動きベクトルは第１０図の１０に示すように移動
物が入っていない領域があるときはビデオカメラの揺れ
による動きベクトル８が検出され、揺れ補正は正しい補
正が可能で、また全ての領域に移動物が入っているとき
はなめらかに補正が中断され、また移動物が通過した後
は、ビデオカメラの揺れによる動きベクトル８が出力ベ
クトル１０とある範囲で一致する時点１１から補正が再
開されることとなる。したがって従来例の動きベクトル
検出装置を用いた揺れ補正装置に比べ、正しい補正が可
能な区間が長く、さらに全ての領域に移動物が入ってい
るときにも誤動作が起きない。

なお、第１の実施例において、各領域のベクトルの信頼
性の判定方法を詳しく述べたが、これは必ずしもこの通
りである必要はなく、判定においてその時点の相関値の
状態やベクトルの値だけでなく、それ以前の相関値の状
態やベクトルの値や判定結果をともに用いるものであれ
ば同様の効果を得ることは簡単である。

たとえば第５図のフローチャートに示すような方法を用
いてもほぼ同様の効果が得られる。第５図を説明すると
、まずここでは領域の信頼性判定結果はフィールドが変
わってもリセットされないものとする。そして各領域の
信頼性判定結果の初期値はすべて信頼性ありかまたは信
頼性なしにセットされるものとする０手順としてまず各
領域のベクトルの値と相関値のデータが入力される。つ
ぎにこの相関値の状態を判定し、条件に合わないものは
判定結果を信頼性無しとする（判定１）。

ただしこの逆は行わない、つまり相関値の状態が条件に
合うものでも、この判定前の判定結果が信頼性無しであ
るならば、判定結果は変更されない。

次にこの時点で信頼性ありと判定されている領域のベク
トルから画面全体の動きベクトルを決定する。決定方法
は第２の実施例と同じでよい、この動きベクトルを出力
するとともに、次の判定２に用いる０判定２では、相関
値の状態が条件を満たし、かつ出力の動きベクトルと領
域のベクトルが一致するところの領域は判定結果を信頼
性あつとする。ただしその逆は行わない、この判定結果
は次のフィールドになってもリセットされずに残る。

このような方法を用いれば、移動物が画面内にはいった
場合、第１、第２の実施例とほぼ同様の動作をする。

またたとえばある時点で相関値の状態より信頼性なしと
判定された領域は、ある一定期間はその信頼性なしの判
定結果が持続するとしても効果が期待できる。

また第１の実施例において、判定結果は信頼性のあるな
しの２値としたが、その中間の値も考え信頼性を重みで
表わすようなものにも本発明は応用できる。また判定３
で各領域のベクトルと出力ベクトルの一致を調べたが、
これはある範囲をもたせた一致度を調べてもよい、また
この範囲はズーミング、バンニング等のカメラワークに
応じて変化させることも考えられる。

また第２の実施例では全ての領域が信頼性なしと判定さ
れたとき、上記式に示すように２次減衰の式により、そ
れ以前の動きベクトルより予測されるベクトル値を出力
させたが、これは１次減衰の式でもよいし、それ以外の
ものでもよい、または０ベクトルを出力させてもよい、
また第１、第２の実施例では画面中の検出領域の数は４
としたがこれはそれ以外でもよい。

つぎに本発明第３の実施例の動きベクトル検出装置につ
いて説明する。第３の実施例の動きベクトル検出装置の
構成は、従来例のものとほぼ同じで、従来例のブロック
図である第１３図で説明できる。ただし従来例と異なる
点は、第４図に示すように画面中の複数の検出領域６と
１７および１２と１８をそれぞれ上下方向に一定に並ば
ないように横方向にずらして設ける点である。信頼性判
定手段３では従来例と同じようにその時点の相関値の状
態のみから信頼性を判定する。また動きベクトル決定手
段４では、信頼性ありと判定された領域からのベクトル
の中間値を、画面の動きベクトルとして出力する。

以上のように本実施例によれば、画面中に複数の検出領
域を設けるときそれぞれ上下方向に一定に並ばないよう
に横方向にずらして設けることにより、従来例のように
縦方向に長い移動物が入りてきたときに、上下に並んだ
領域から同時に誤ベクトルが検出されることを防ぐこと
ができる。

このことを第１１図を用いて説明する。第１１図（ａ）
〜（ｅ）（（ｃ）は第７図と対応させるため図示してい
ない）では検出領域６．１２，１７．１８の相関値の状
態をそれぞれ７，１４．２２２３に示す、この図の（ａ
）〜（ｅ）の画像はそれぞれ第７図の（ａ）〜（ｅ）と
同じである。従来例ではこの（ｂ）状態のとき動きベク
トルの検出が不能となった。それに対し、本実施例では
まず（ａ）の状態のとき領域６に移動物が入ってきたと
き、そのときのその相関値７の状態で、領域６は信頼性
なしと判定される。そしてそれ以外の領域１２，１７．
１８ではカメラの揺れによる動きベクトル８が検出され
ているので、動きベクトル決定手段４からはカメラの揺
れによる動きベクトル８が出力される。次に（ｂ）の状
態のとき領域６は移動物が大部分を占めるので、移動物
の動きが加算されたベクトル１５が検出され、その相関
値７の状態からも信頼性あつと判定される。しかしこの
とき領域１７はその相関値２２より信頼性なしと判定さ
れ、領域１２．１８では動きベクトル８が検出され、信
頼性あつと判定でいる。したがって動きベクトル決定手
段４では、信頼性ありと判定された３領域のそれぞれ３
ベクトルの中間値をとるので、カメラの揺れによる動き
ベクトル８が出力される。さらに（ｄ）〜（ｅ）の状態
では移動物のかかっている領域では相関値の状態より信
頼性なしと判定され、それ以外の領域ではカメラの揺れ
による動きベクトル８が検出されているので、動きベク
トル決定手段４からはカメラの揺れによる動きベクトル
８が出力される。したがって（ａ）〜（ｅ）の状態にわ
たってカメラの揺れによる動きベクトル８が出力される
こととなる。これより本実施例により、従来例より移動
物に対しカメラの揺れによる動きベクトル８が検出でき
る範囲が広くなったことがわかる。またさらにこれに第
１の発明を応用することも当然可能である。

つぎに本発明第４の実施例の動きベクトル検出装置につ
いて説明する。第４の実施例の動きベクトル検出装置の
構成は、第１の実施例の動きベクトル検出装置および第
２の実施例で用いた動きベクトル検出装置のものとほぼ
同じで、第１の実施例のブロック図である第２図で説明
できる。ただしそれと異なる点は、第４図に示すように
画面中の複数の検出領域６と１７および１２と１８をそ
れぞれ上下方向に一定に並ばないように横方向にずらし
て設ける点である。

以上のように本実施例によれば、画面中に複数の検出領
域を設けるときそれぞれ上下方向に一定に並ばないよう
に横方向にずらして設けることにより、従来例または第
１、第２の実施例のように縦方向に長い移動物が入って
きたときに、上下に並んだ領域から同時に誤ベクトルが
検出されることを防ぐことができる。したがって第１、
第２の実施例に比べ以下のような効果が新たに生まれる
。

第１２図を用いてそれを説明する。まず第１、第２の実
施例では第１２図（ｂ）に示すように左右の領域の間隔
２６と同程度かそれよりやや大きい程度の大きさの移動
物が通過する場合まで、中断することなくカメラの揺れ
による動きベクトル８が検出できた。しかしこの間隔２
６を大きくとると、第１２図（ａ）に示したように画面
の中央にしか絵柄の特徴がないような画像の場合、動き
ベクトルの検出ができない。

それに対し本実施例では第１２図（ｄ）に示すように、
最も右にある領域と左にある領域の間隔２４と同程度か
それよりやや大きい程度の大きさの移動物が通過する場
合まで、中断することなくカメラの揺れによる動きベク
トル８が検出できる。

また同時に縦方向からみたときの領域が存在しない間隔
２５は、間隔２６に比べ狭くできるので第１２図（ｃ）
示すような場合でも動きベクトルの検出が可能である。

これより本実施例により、従来例はもとより第１、第２
の実施例よりもさらにカメラの揺れによる動きベクトル
８が検出できる範囲が広くなったことがわかる。

なお第３、第４の実施例では画面中の各検出領域をそれ
ぞれ間隔を持たせた４領域としたが、これは第６図（ａ
）、（ｂ）に示すように間隔をもたなくともよくまた互
いに重なりを持ってもよい。

また領域の数も第６図（ｃ）に示すように、横方向に並
ぶ領域をずらしてもよく、この場合縦方向からの移動物
が通過する場合に効果がある。また領域の数も第６図（
ｄ）、（ｅ）、（ｆ）に示すように４以外としてもよい
、また第１の実施例の動きベクトル検出装置を第２の実
施例の揺れ補正装置に応用したように、第３または第４
の実施例の動きベクトル検出装置を揺れ補正装置に応用
できる。

発明の効果 本発明によれば、各領域と同程度かそれ以上の移動物が
入ってきた場合にでも、従来のものではベクトル検出で
きなかったものが、各領域の検出ベクトルの中から選択
的にビデオカメラの揺れによる動きベクトルだけを画面
の動きベクトルとして検出できる。また画面と同程度か
それ以上の大きさの移動物が入ってきた場合にでも、従
来のものでは移動物の動きが加算されたベクトルが誤り
て検出されていたものが、検出が自動的に中断され誤ベ
クトルの検出を防止できる。そして本発明の揺れ補正装
置は、従来のものでは移動物に対し揺れ補正可能な範囲
が小さくかつそれを越えた場合に誤動作することが多く
実用に適さなかったものが、移動物に対し揺れ補正可能
な範囲が大きくかつそれを越えた場合にでも誤動作する
ことが非常に少なくなる。そしてさらに本発明は従来の
ものに比べ回路等の増加はほとんどなく容易に実現でき
、したがってその実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明における第１、第２の実施例の動きベク
トル検出装置のベクトルの信頼性判定手段および動きベ
クトル決定手段の動作を示すフローチャート、第２図は
本発明におけ第１の実施例の画像の動きベクトル検出装
置のブロック図、第３図は本発明における第２の実施例
の揺れ補正装置のブロック図、第４図は本発明における
第３、第４の実施例の画像の動きベクトル検出装置の画
面中の各検出領域の配置を示すｍ図、第５図は本発明の
請求項１の信頼性判定手段および動きベクトル決定手段
の動作例を示すフローチャート、第６図は本発明の請求
項２の画像の動きベクトル検出装置の画面中の各検出領
域の配置例を示す線図、第７図〜第１２図は実施例の動
きベクトル検出装置の動作を説明するための線図、第１
３図は従来例の画像の動きベクトル検出装置を応用した
揺れ補正装置のブロック図、第１４図は従来例の動きベ
クトル検出装置の動作を説明するためのフロ−チャート
２第１５図、第１６図は従来例の動きベクトル検出装置
の動作を説明するための線図、第１７図は揺れ補正の動
作を説明するための線図である。 １１１１画像信号入力端子、　　２．、、各領域での相
関値演算およびベクトル検出手段、　３．。 、各領域の信頼性判定手段、　　４．、、動きベクトル
決定手段、　　５．、、揺れ補正手段、　６゜１２．１
７．１８．、、ベクトル検出領域、　　１３１４．移動
物、　　７，１４，２２，２３．、。 各領域の相関値、　　８．、、ビデオカメラの揺れによ
る動きベクトル、　　　１５．、、ビデオカメラの揺れ
による動きベクトルに移動物の動きが加算されたベクト
ル　　９，１６．、、各領域の検出ベクトル、　　２４
，２５，２６．、、各検出領域の間隔、　　２７．２８
．、、補正画面、　　２つ。 ３０、、、画像情報の読み出し位置。 代理人の氏名　弁理士　粟野重孝　はか１名名 図 第 図 第 図 （α） （ｂ） Ｃ） （ｄ）　　（ｅＪ 第 因 ａ＠１０図 第１２図 第１３図 （旬 （ｂ） （Ｃ） （ｄ） （ｅ） 第１４図 第１５図 第１６図 １ζ （α］ （ｂ） （Ｃ） くｄノ （ｅ） １ζ （α） Ｃｂ） （Ｃ） ＜ｄ） （ｅ）

Claims (4)

【特許請求の範囲】
1. （１）画面中に複数の検出領域を設け、その各検出領域
   について、所定の偏移における相関値を求める手段と、
   その相関値より各検出領域ごとに動きベクトルを求める
   手段と、各検出領域での相関値の状態と動きベクトルの
   値と、それ以前の動きベクトルの信頼性の判定結果また
   は動きベクトルの値または相関値またはそれらの組合せ
   によりその検出領域の動きベクトルの信頼性を判定する
   手段と、信頼性の判定をもとに各領域の動きベクトルを
   用いて画面全体の動きベクトルを決定する手段からなる
   ことを特徴とする画像の動きベクトル検出装置。
2. （２）画面中に複数の検出領域をそれぞれ縦方向に並ば
   ないように横方向にずらして設け、またはそれぞれ横方
   向に並ばないように縦方向にずらして設け、その各検出
   領域について、所定の偏移における相関値を求める手段
   と、その相関値より各検出領域ごとに動きベクトルを求
   める手段と、このときの各検出領域の動きベクトルの信
   頼性を判定する手段と、そこでの信頼性の判定をもとに
   各領域の動きベクトルのみを用いて画面全体の動きベク
   トルを決定する手段からなることを特徴とする画像の動
   きベクトル検出装置。
3. （３）検出領域はそれぞれ縦方向に並ばないように横方
   向にずらして設け、またはそれぞれ横方向に並ばないよ
   うに縦方向にずらして設けることを特徴とした請求項１
   に記載の画像の動きベクトル検出装置。
4. （４）請求項１〜３のいずれかに記載された画像の動き
   ベクトル検出装置と、少なくとも１フィールド以上の画
   像信号記憶手段と、前記画像の動きベクトル検出装置か
   ら検出される動きベクトルをもとに、前記画像信号記憶
   手段の読みだし位置を制御する手段からなることを特徴
   とする画像の揺れ補正装置。