JP3213492B2 - 手振れ補正装置およびそれを用いたビデオカメラ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は手振れ補正装置および
それを用いたビデオカメラに関し、特にたとえば民生用
のカメラ一体型ＶＴＲなどに用いられる手振れ補正装置
およびそれを用いたビデオカメラに関する。

【０００２】

【従来の技術】従来より、撮像装置の手振れ成分を補正
するために、代表点マッチング法によって図１５に示す
ような４つの検出領域Ａ〜Ｄ毎に得られる部分動きベク
トルを用いる方法が提案されている。このように部分動
きベクトルを用いて手振れ補正を行う従来技術として
は、本願出願人によって提案された特願平５−１５６７
５２号の技術がある。

【０００３】この技術では、演算回路（図示せず）で、
各検出領域毎に最小相関値，平均相関値および位置デー
タが求められ、マイクロコンピュータに与えられる。マ
イクロコンピュータでは、最小相関値を示す画素の位置
データに基づいて、部分動きベクトルを求める。また、
マイクロコンピュータでは、平均相関値および最小相関
値に基づいて各検出領域の動きベクトルが手振れによる
ものかそれ以外の原因によるものかを検出し、その検出
領域が有効領域か無効領域かを判断する。その条件の１
つとして、平均相関値／最小相関値が所定値以下のとき
は検出領域内に進入物体があるものとしてその部分動き
ベクトルを無効とする。

【０００４】

【発明が解決しようとする課題】しかし、一旦進入した
物体が検出領域内にとどまっていると、その検出領域の
平均相関値／最小相関値の値が所定値より大きくなり、
最初無効と判断されていた検出領域が有効領域と判断さ
れてしまう。たとえば、図１６に示すように、検出領域
ＡおよびＣに左側から物体が進入し、検出領域Ａおよび
Ｃ内で止まった場合には、検出領域ＡおよびＣはともに
最初は無効領域だと判断されているが、数フィールド後
には有効領域であると判断される。そして、その後、進
入した物体がさらに検出領域ＡおよびＣ内で動いた場合
には、無効領域と判断しなければいけないのに、依然と
して有効領域と判断してしまうことがあった。

【０００５】さらに、上述の特願平５−１５９４６３号
の技術では、マイクロコンピュータ内で、４つの検出領
域Ａ〜Ｄ中の有効領域の個数に応じて異なる方法で全体
動きベクトルが検出される。したがって、検出領域Ａお
よびＣ内に物体がとどまることによって、検出領域が有
効か否かを誤判断しているときには、検出領域Ａまたは
Ｃのそれぞれの部分動きベクトルａまたはｃが全体動き
ベクトルの計算に影響を与え、その計算結果は真の手振
れ成分である検出領域ＢおよびＤのそれぞれの部分動き
ベクトルｂおよびｄとは異なる値になってしまう。その
結果、全体動きベクトルを正しく検出できないという問
題点があった。

【０００６】それゆえに、この発明の主たる目的は、よ
り精度よく全体動きベクトルを検出できる、手振れ補正
装置およびそれを用いたビデオカメラを提供することで
ある。

【０００７】

【課題を解決するための手段】第１の発明は、画面内に
形成された複数個の検出領域の各々の部分動きベクトル
を検出し、部分動きベクトルを用いて全体動きベクトル
を得る手振れ補正装置であって、複数個の検出領域は第
１検出領域と第２検出領域を含み、画面内にて第１検出
領域との相対距離が変化するように移動可能な第２検出
領域を設定する領域設定手段、第１検出領域および第２
検出領域の各々について信頼できる部分動きベクトルの
検出が可能な有効領域かそうでない無効領域かを判断す
る領域判断手段、および領域判断手段の領域判断結果に
応じて第２検出領域を画面内にて第１検出領域との相対
距離が変化するように移動させる移動手段を備え、第１
検出領域および第２検出領域の部分動きベクトルに基づ
いて全体動きベクトルを得る手振れ補正装置である。

【０００８】第２の発明は、上述の手振れ補正装置を用
いたビデオカメラである。

【０００９】

【作用】領域判断手段によって、第１検出領域および第
２検出領域の各々について有効領域か無効領域かが判断
される。領域設定手段によって設定された第２検出領域
は無効領域の位置とは逆の方向へ移動手段によって移動
される。たとえば、無効領域が第２検出領域の左側，右
側，上側または下側にあれば、それぞれ、第２検出領域
は右側，左側，下側または上側へ移動される。このよう
に第２検出領域は無効領域の位置に応じて移動し、移動
後の第２検出領域の部分動きベクトルと第１検出領域の
部分動きベクトルとに基づいて全体動きベクトルが求め
られる。

【００１０】そして、全ての第１検出領域および第２検
出領域が有効領域になれば、第２検出領域はその初期位
置へ戻る。このように、無効領域の位置に応じて移動す
る第２検出領域を設けることによって、有効領域の数を
増やすことができる。なお、この手振れ補正装置はビデ
オカメラに用いられ得る。

【００１１】

【発明の効果】この発明によれば、有効領域の数を増や
すことができるので、従来とは異なり、進入後検出領域
内に残って動く物体の影響を受けることなく、より高精
度に手振れ補正できる。この発明の上述の目的，その他
の目的，特徴および利点は、図面を参照して行う以下の
実施例の詳細な説明から一層明らかとなろう。

【００１２】

【実施例】図１に示すこの実施例のビデオカメラ１０
は、レンズ１４から入力される被写体（図示せず）から
の光信号を電気信号に変換するＣＣＤのような固体撮像
素子１２を含む。固体撮像素子１２からの電気信号はカ
メラ回路１６に入力される。カメラ回路１６は、周知の
ように、サンプルホールド回路を含み、固体撮像素子１
２からの電気信号をサンプルホールドする。サンプルホ
ールドされた電気信号のレベルがＡＧＣによって調整さ
れるとともに、さらに同期信号付加回路によって同期信
号が付加される。このようにして、カメラ回路１６は固
体撮像素子１２からのイメージ信号をアナログビデオ信
号に変換する。このアナログビデオ信号は、さらに、Ａ
／Ｄ変換器１８によってディジタルビデオ信号に変換さ
れる。ディジタルビデオ信号は、メモリ制御回路２０の
制御の下で、フィールド順次にフィールドメモリ２２に
書き込まれる。また、ディジタルビデオ信号は動き検出
回路２４に与えられる。

【００１３】動き検出回路２４は、たとえば周知の代表
点マッチング法を用いて、図３に示す４つの固定の各検
出領域Ａ，Ｂ，Ｃ，Ｄおよび移動可能な検出領域Ｅ毎
に、最小相関値（相関度は最も高い），平均相関値，お
よび最小相関値を有する１点の位置（以下、単に「最小
位置」という）を算出する。動き検出回路２４からの最
小相関値，平均相関値および最小位置は、マイクロコン
ピュータ２６に与えられる。なお、ここでは、検出領域
Ａ〜Ｅのサイズはそれぞれ等しく設定される。

【００１４】動き検出回路２４は、たとえば図２に示す
ように構成される。図２に示す動き検出回路２４は、検
出領域Ａ〜Ｄの処理を行うための回路２８ａのほかに、
検出領域Ｅの処理を行うための回路２８ｂを含む点に特
徴がある。動き検出回路２４は、Ａ／Ｄ変換器１８から
のディジタルビデオ信号を受ける入力端３０を含み、こ
の入力端３０から入力されたディジタルビデオ信号は、
フィルタ３２を通して回路２８ａに含まれる代表点保存
メモリ３４ａおよび減算回路３６ａ、ならびに回路２８
ｂに含まれる代表点保存メモリ３４ｂおよび減算回路３
６ｂに与えられる。フィルタ３２は、一種のディジタル
ローパスフィルタであり、Ｓ／Ｎ比を改善し、少ない代
表点で十分な検出精度を確保するために用いられる。代
表点メモリ３４ａは、図３に示す各検出領域Ａ〜Ｄの各
々の範囲内で複数の代表点を抽出（この実施例では、各
検出領域Ａ〜Ｄの各々を３０分割し、したがって、３０
個の代表点を抽出）し、その位置と輝度データとを記憶
する。代表点メモリ３４ｂも、同様に、図３に示す検出
領域Ｅの範囲内で複数（３０個）の代表点を抽出し、そ
の位置と輝度データとを記憶する。３０分割して形成さ
れた各検出エリア３７は、図４に示すように、たとえば
３２画素×１６行で構成される。

【００１５】減算回路３６ａおよび３６ｂは、それぞ
れ、代表点メモリ３４ａおよび３４ｂから与えられる前
フィールドの代表点の輝度データと入力端３０から与え
られる現フィールドの全ての画素の輝度データとを減算
し、その絶対値をとる。すなわち、現フィールドの輝度
データと前フィールドの輝度データとの間で輝度差を求
める。求めた輝度差を、それぞれ累積加算回路３８ａお
よび３８ｂに与える。累積加算回路３８ａおよび３８ｂ
では、それぞれ、同じ検出領域内の各検出エリア３７の
同じ位置の画素について求めた輝度差を累積加算（この
実施例では３０個）し、相関値を出力する。累積加算回
路３８ａおよび３８ｂからの相関値は、セレクタ４０を
介して最小位置検出回路４２に与えられる。セレクタ４
０には、マイコン２６からの制御信号がＣＰＵインタフ
ェース４４を介して与えられ、その選択動作が制御され
る。

【００１６】最小位置検出回路４２では、与えられた相
関値から最小相関値および最小位置を各検出領域Ａ〜Ｅ
毎に検出する。なお、部分動きベクトルの検出精度をよ
くするために、最小相関値を有する画素の周囲４画素の
相関値を用いて内挿補間し、最小位置を計算する。そし
て、得られた最小相関値および最小位置は、ＣＰＵイン
タフェース４４を介してマイクロコンピュータ２６に与
えられる。また、減算回路３６ａおよび３６ｂで求めら
れた輝度差は、それぞれ平均相関値検出回路４６ａおよ
び４６ｂに与えられる。平均相関値検出回路４６ａで
は、各検出領域Ａ〜Ｄ毎に平均相関値が求められ、平均
相関値検出回路４６ｂでは、検出領域Ｅの平均相関値が
求められる。これらの平均相関値はＣＰＵインタフェー
ス４４を介してマイクロコンピュータ２６に与えられ
る。

【００１７】ここで、代表点メモリ３４ａおよび３４ｂ
ならびに累積加算回路３８ａおよび３８ｂでの処理タイ
ミングは以下のようになる。まず、代表点メモリ３４ａ
での処理タイミングについて説明する。動き検出回路２
４に含まれる水平アドレスカウンタ４８および垂直アド
レスカウンタ５０は、それぞれ、外部より入力されたＨ
Ｄ（水平同期信号）およびＶＤ（垂直同期信号）によっ
てリセットされ、水平アドレスカウンタ４８および垂直
アドレスカウンタ５０の出力が、それぞれ水平アドレス
および垂直アドレスとなる。水平アドレスカウンタ４８
からの出力は水平デコーダ５２ａに与えられる。一方、
マイクロコンピュータ２６によってそのレジスタ５４に
設定された値（以下、単に「レジスタ設定値」という）
がＣＰＵインタフェース４４を介して水平デコーダ５２
ａに与えられる。

【００１８】水平デコーダ５２ａでは、与えられた水平
アドレスとレジスタ設定値とが一致するときパルスを水
平タイミング発生用カウンタ５６ａに出力する。このパ
ルスで水平タイミング発生用カウンタ５６ａがリセット
され、この水平タイミング発生用カウンタ５６ａの出力
が水平タイミング発生用デコーダ５８ａに与えられる。
水平タイミング発生用デコーダ５８ａでは、与えられた
カウンタ出力のうちの固定値をデコードする。

【００１９】図５および図６を参照して、検出領域Ａの
代表点位置の決定について説明する。まず、図５（Ａ）
に示すようなＨＤが出力されると、水平アドレスカウン
タ４８の出力は図５（Ｂ）に示すようになり、たとえば
レジスタ設定値を図６に示すようにＨＲ１＝２６１とす
ると水平デコーダ５２ａからは図５（Ｃ）に示すような
パルスが発生される。それに従って、水平タイミング発
生用カウンタ５６ａからは図５（Ｄ）に示すような出力
が発生され、それに基づいて水平タイミング発生用デコ
ーダ５８ａからは代表点をサンプリングできるように図
５（Ｅ）に示すような出力が発生される。

【００２０】以上は、水平タイミングについての説明で
あるが、垂直タイミングについても同様に処理される。
これは、後述する代表点メモリ３４ｂ，累積加算回路３
８ａおよび３８ｂの処理についても同様である。垂直タ
イミングについては、垂直アドレスカウンタ５０からの
出力およびマイコン２６でのレジスタ設定値が、垂直デ
コーダ６０ａに与えられ、垂直タイミング発生用カウン
タ６２ａおよび垂直タイミング発生用デコーダ６４ａに
よって上述と同様に処理される。なお、レジスタ設定値
は、ＶＲ１＝４４に設定される。

【００２１】そして、水平および垂直タイミング発生用
デコーダ５８ａおよび６４ａからのそれぞれの出力はＡ
ＮＤゲート６６ａに与えられ、その論理積が代表点メモ
リ３４ａのライトイネーブルに用いられる。このよう
に、レジスタ設定値に基づいて水平タイミング発生用カ
ウンタ５６ａおよび垂直タイミング発生用カウンタ６２
ａを動作させ、そのカウンタ出力のうちの固定値をデコ
ードするので、代表点メモリ３４ａに入力されるライト
イネーブルは、レジスタ設定値に基づいて変化させるこ
とができる。すなわち、代表点の位置は、ＶＲ１，ＶＲ
２，ＶＲ３およびＨＲ１，ＨＲ２，ＨＲ３によって決定
される。

【００２２】図６を参照して、検出領域Ｂ，ＣおよびＤ
のそれぞれのレジスタ設定値は、たとえば次のように設
定される。図６において、ＨＲ１およびＨＲ２は水平デ
コーダ５２ａに与えられるレジスタ設定値であり、ＶＲ
１およびＶＲ２は垂直デコーダ６０ａに与えられるレジ
スタ設定値である。

【００２３】検出領域Ｂでは、ＨＲ２＝ＨＲ１＋１９２
＋１９２＝６４５，ＶＲ１＝４４に、検出領域Ｃでは、
ＨＲ１＝２６１，ＶＲ２＝ＶＲ１＋８０＋４＝１２８
に、検出領域Ｄでは、ＨＲ２＝６４５，ＶＲ２＝１２８
に、それぞれ設定される。検出領域Ａ〜Ｄのレジスタ設
定値は、それぞれ固定的に設定される。次いで、累積加
算回路３８ａでの処理タイミングについて説明する。

【００２４】累積加算回路３８ａについても上述とほぼ
同様であり、水平デコーダ６８ａ，水平タイミング発生
用カウンタ７０ａ，水平発生タイミング用デコーダ７２
ａ，垂直デコーダ７４ａ，垂直タイミング発生用カウン
タ７６ａおよび垂直タイミング発生用デコーダ７８ａお
よびＡＮＤゲート８０ａによって、累積加算回路３８ａ
の累積加算タイミングすなわち検出領域の位置が設定さ
れる。

【００２５】図７および図８を参照して、検出領域Ａの
検出位置の決定について説明する。まず、図７（Ａ）に
示すようなＨＤが出力されると、水平アドレスカウンタ
４８の出力は図７（Ｂ）に示すようになり、たとえばレ
ジスタ設定値を図８に示すようにＨＫ１＝２５５とする
と水平デコーダ６８ａからは図７（Ｃ）に示すようなパ
ルスが発生される。それに従って、水平タイミング発生
用カウンタ７０ａからは図７（Ｄ）に示すような出力が
発生され、それに基づいて水平タイミング発生用デコー
ダ７２ａからは検出領域の全ての画素をサンプリングで
きるように図７（Ｅ）に示すような出力が発生される。

【００２６】以上は、水平タイミングについての説明で
あるが、垂直タイミングについても同様に処理される。
垂直タイミングについては、垂直アドレスカウンタ５０
からの出力およびマイクロコンピュータ２６でのレジス
タ設定値が、垂直デコーダ７４ａに与えられ、垂直タイ
ミング発生用カウンタ７６ａおよび垂直タイミング発生
用デコーダ７８ａによって上述と同様に処理される。な
お、垂直デコーダ７４ａに与えられるレジスタ設定値
は、ＶＫ１＝３６に設定される。このように与えられる
レジスタ設定値によって、累積加算器３８ａでの累積加
算タイミングすなわち検出領域の位置が設定される。

【００２７】図８を参照して、検出領域Ｂ，ＣおよびＤ
のそれぞれのレジスタ設定値は、たとえば次のように設
定される。図８において、ＨＫ１およびＨＫ２は水平デ
コーダ６８ａに与えられるレジスタ設定値であり、ＶＫ
１およびＶＫ２は垂直デコーダ７４ａに与えられるレジ
スタ設定値である。

【００２８】検出領域Ｂでは、ＨＫ２＝ＨＫ１＋１９２
＋１９２＝６２９，ＶＫ１＝３６に、検出領域Ｃでは、
ＶＫ１＝２４５，ＶＫ２＝ＶＫ１＋８０＋４＝１２０
に、検出領域Ｄでは、ＨＫ２＝６２９，ＶＫ２＝１２０
に、それぞれ設定される。検出領域Ａ〜Ｄのレジスタ設
定値は、それぞれ固定的に設定される。このように検出
領域の位置は、ＶＫ１，ＶＫ２，ＶＫ３およびＨＫ１，
ＨＫ２，ＨＫ３によって決定される。

【００２９】次いで、代表点メモリ３４ｂの処理タイミ
ングについて説明する。代表点メモリ３４ｂについて
は、代表点メモリ３４ａの場合とほぼ同様に処理される
ので、同一または類似の動作を行う回路の参照番号の
「ａ」を「ｂ」に置換することによって、その重複する
説明は省略する。ただし、水平デコーダ５２ｂおよび垂
直デコーダ６０ｂにそれぞれ与えられるレジスタ設定値
は固定値ではなく、無効領域の位置に応じて変更される
点に注目すべきである。

【００３０】図６および図９を参照して説明する。図６
に示される検出領域Ｅの位置は検出領域Ｅの通常の位置
であり、このとき、水平デコーダ５２ｂおよび垂直デコ
ーダ６０ｂにそれぞれ設定されるレジスタ設定値は、Ｈ
Ｒ３＝ＨＲ１＋１９２＝４５３，ＶＲ３＝ＶＲ１＋４２
＝８６に、それぞれ設定される。

【００３１】いま、検出領域Ｅを右側へ移動させると
き、ＶＲ３はそのままで、ＨＲ３に代えてＨＲ２（＝Ｈ
Ｒ１＋１９２＋１９２＝６４５）に設定し直すことによ
って、検出領域Ｅの代表点のサンプリング位置が検出領
域ＢおよびＤの間になる。また、検出領域Ｅを左側へ移
動させるときは、ＶＲ３はそのままで、ＨＲ３に代えて
ＨＲ１（＝２６１）に設定し直すことによって、検出領
域Ｅの位置は検出領域ＡおよびＣの間になる。また、検
出領域Ｅを下側へ移動させるときは、ＨＲ３はそのまま
で、ＶＲ３に代えてＶＲ２に設定し直すことによって、
検出領域Ｅの位置は検出領域ＣおよびＤの間になる。さ
らに、検出領域Ｅを上側へ移動させるときは、ＨＲ３は
そのままで、ＶＲ３に代えてＶＲ１（＝４４）に設定し
直すことによって、検出領域Ｅの代表点の位置は検出領
域ＡおよびＢの間になる。このように、水平デコーダ５
２ｂおよび垂直デコーダ６０ｂにそれぞれ与えられるレ
ジスタ設定値を変えることによって、検出領域Ｅの代表
点の位置を任意に移動させることができる。

【００３２】さらに、累積加算回路３８ｂの処理につい
ては、累積加算回路３８ａの場合とほぼ同様であるの
で、同一または類似の動作を行う回路の参照番号の
「ａ」を「ｂ」に置換することによって、その重複する
説明は省略する。ただし、ここでも、水平デコーダ６８
ｂおよび垂直デコーダ７４ｂにそれぞれ与えられるレジ
スタ設定値は固定値ではなく、無効領域の位置に応じて
変更される点に注目すべきである。

【００３３】図８および図１０を参照して説明する。図
８に示される検出領域Ｅの位置は検出領域Ｅの通常の位
置であり、レジスタ設定値は、ＨＫ３＝ＨＫ１＋１９２
＝４３７，ＶＫ２＝ＶＫ１＋８０＋４＝１２０に、それ
ぞれ設定される。このように、通常の位置は、他の４個
の検出領域Ａ〜Ｄのちょうど中間にくるように設定され
る。

【００３４】いま、検出領域Ｅを右側へ移動させると
き、ＶＫ３はそのままで、ＨＫ３に代えてＨＫ２（＝Ｈ
Ｋ１＋１９２＋１９２＝６２９）に設定し直すことによ
って、検出領域Ｅの位置は検出領域ＢとＤの間になる。
また、検出領域Ｅを左側へ移動させるときは、ＶＫ３は
そのままで、ＨＫ３に代えてＨＫ１（＝２４５）に設定
し直すことによって、検出領域Ｅの位置は検出領域Ａと
Ｃとの間になる。さらに、検出領域Ｅを下側へ移動させ
るときは、ＨＫ３はそのままで、ＶＲＫに代えてＶＫ２
（＝ＶＫ１＋８０＋４＝１２０）に設定し直すことによ
って、検出領域Ｅの位置は検出領域ＣとＤの間になる。
また、検出領域Ｅを上側へ移動させるときは、ＨＫ３は
そのままで、ＶＫ３に代えてＶＫ１（＝３６）に設定し
直すことによって、検出領域Ｅの位置は検出領域ＡとＤ
との間になる。

【００３５】このように、水平デコーダ６８ｂおよび垂
直デコーダ７４ｂにそれぞれ与えられるレジスタ設定値
を変えることによって、検出領域Ｅの位置を任意に移動
させることができる。このようにして、検出領域Ｅの代
表点の位置および検出領域Ｅの位置を毎フィールド更新
することによって、検出領域Ｅを移動可能としている。

【００３６】図１に戻って、マイクロコンピュータ２６
では、最小相関値，平均相関値および最小位置に基づい
て、画面すなわちイメージフィールド８２（図３）全体
の動きベクトル（以下、単に「全体動きベクトル」とい
う）を計算する。まず、最小位置に基づいて、最小相関
値を示す画素の、代表点に対する偏移を求め、その偏移
を部分動きベクトルとする。

【００３７】そして、マイクロコンピュータ２６は、平
均相関値を最小相関値で除算した値が一定の閾値より大
きいか否かを各検出領域Ａ〜Ｄ毎に検出し、各検出領域
Ａ〜Ｄからの部分動きベクトルが手振れ以外の動く物体
等によって検出されることなく信頼できるか否かすなわ
ち各検出領域Ａ〜Ｄが有効領域か否かを判断する。平均
相関値を最小相関値で除算した値が一定の閾値より大き
ければ、その検出領域は有効領域と判断される。具体的
には、有効領域か否かは以下のように判断される。

【００３８】検出領域内に動く物体があるとき、動く物
体の占める部分と占めない部分とで相関値が異なり、か
つ動く物体の占める部分は様々な相関値をとり、その相
関値は一般的に大きな値となる（相関度は低い）。した
がって、検出領域内に動く物体があるときには、最小相
関値が大きくなる可能性が高く、検出領域内の部分動き
ベクトルを誤検出する恐れがある。部分動きベクトルを
誤検出すると、全体動きベクトルを誤検出してしまう。
しかし、平均相関値が大きいときには最小相関値が或る
程度大きくても信頼できる。一方、平均相関値が小さい
ときには最小相関値はより小さくなければ信頼できな
い。したがって、具体的には、（平均相関値）／（最小
相関値）＞７のときに有効と判断し、この条件を満たさ
ない検出領域の部分動きベクトルを用いないようにし
て、上述の誤検出による弊害を防止する。

【００３９】そして、有効領域の部分動きベクトルおよ
び発散度に基づいて、後述するようにフィールド間の動
き量すなわち全体動きベクトルを求める。全体動きベク
トルはフィールド間の動き量とその向きを表す。マイク
ロコンピュータ２６では、得られた全体動きベクトルに
基づいて積分ベクトルが求められる。積分ベクトルは、
イメージフィールド８２のセンタからの抽出エリア８４
のずれ量すなわち補正量とその向きを表す。

【００４０】求められた積分ベクトルはメモリ制御回路
２０に与えられ、メモリ制御回路２０では、それに基づ
いてフィールドメモリ２２の読出開始アドレスを決定
し、そのアドレスからフィールドメモリ２２に蓄えられ
たディジタルビデオ信号を読み出す。すなわち、メモリ
制御回路２０は、マイクロコンピュータ２６によって計
算された積分ベクトルに従って、フィールドメモリ２２
のディジタルビデオ信号によって形成される抽出エリア
８４を移動する。

【００４１】ただし、フィールドメモリ２２から読み出
されたディジタルビデオ信号そのままでは抽出エリア８
４を移動できないので、電子ズーム回路８６を用いる。
図１１を参照して、電子ズーム回路８６（図１）は、イ
メージフィールド８２の大きさに対して、ズーム倍率に
従って画像が拡大された抽出エリア８４を設定する。こ
の抽出エリア８４の位置は、イメージフィールド８２の
範囲内では、フィールドメモリ２２の読出開始アドレス
を変更することによって、自由に移動できる。そして、
ディジタルビデオ信号に基づいてイメージフィールド８
２全体のビデオ信号を得るために、フィールドメモリ２
２から読み出したディジタルビデオ信号に基づいて内挿
補間法を用いて画像を拡大する。

【００４２】このようにして、イメージフィールド８２
内の任意の抽出エリア８４のイメージを電子ズーム回路
８６で電子的にズームすることによって、イメージフィ
ールド８２と抽出エリア８４との差に相当する補正可能
範囲８８が形成され得る。ビデオカメラ１０を操作する
人の手の振動に応じて、図１２に示すようにビデオカメ
ラ１０に手振れが生じると、そのビデオカメラ１０から
の画像にぶれを生じ、結果的に、イメージフィールド８
２内の左下方に目的の人物が存在する場合（図１２上）
や、イメージフィールド８２内の右上方に目的の人物が
存在する場合（図１２下）などが生じる。したがって、
各フィールド毎に抽出エリア８４をマイクロコンピュー
タ２６によって計算した積分ベクトルに応じて移動させ
ることによって、図１２右に示すように抽出エリア８４
には目的の人物がちょうど収まることになる。

【００４３】このようにして電子ズーム回路８６から出
力されるディジタルビデオ信号をＤ／Ａ変換器９０によ
ってアナログ信号に変換して出力端子９２から出力す
る。このようなビデオカメラ１０は、図１３に示すよう
に動作する。説明の便宜上、まず、ステップＳ１におい
て、検出領域ＡおよびＢについて判断する場合を取り上
げて、以下説明を進める。これは、イメージフィールド
８２の上側から動体が進入してきた場合である。

【００４４】まず、ステップＳ１において、検出領域Ａ
〜Ｄのうち、隣合う２つの検出領域ＡおよびＢの平均相
関値／最小相関値がともに所定値以下か否かが判断され
る。ステップＳ１が“ＮＯ”であれば、ステップＳ３に
おいて、５つの検出領域Ａ〜Ｅの各部分動きベクトルに
基づいて全体動きベクトルが計算される。この実施例に
おいて、全体動きベクトルは次のようにして求められ
る。

【００４５】まず、有効領域について、水平方向および
垂直方向のそれぞれの部分動きベクトルについて相加平
均を求める。次いで、求めた平均値を用いて、各検出領
域毎に水平方向の絶対値および垂直方向の絶対値を求
め、各検出領域毎に水平方向の絶対値と垂直方向の絶対
値とをそれぞれ加算して発散度を求める。水平方向の絶
対値は、各検出領域の水平方向の部分動きベクトルと有
効領域の水平方向の部分動きベクトルの平均値との差の
絶対値である。また、垂直方向の絶対値は、各検出領域
の垂直方向の部分動きベクトルと有効領域の垂直方向の
部分動きベクトルの平均値との差の絶対値である。そし
て、各検出領域毎に加算して得られた発散度を小さいも
のから順に並べ、小さい方から２つの発散度を選び出
し、それらに対応する検出領域の部分動きベクトルの相
加平均を求める。そしてその相加平均を全体動きベクト
ルとする。

【００４６】このような全体動きベクトルの計算方法
は、後述するステップＳ７，Ｓ１３およびＳ１７におい
ても用いられる。ステップＳ３の処理後、ステップＳ１
に戻る。ステップＳ１が“ＹＥＳ”であれば、ステップ
Ｓ５において、検出領域Ｅが移動される。すなわち、検
出領域Ｅは、検出領域ＡおよびＢが無効領域であれば下
側へ移動される。その後、ステップＳ７において、検出
領域Ｅを含む有効な３つの検出領域の部分動きベクトル
に基づいて全体動きベクトルが計算される。次いで、ス
テップＳ９において、１度無効になった検出領域Ａおよ
びＢの平均相関値／最小相関値がともに所定値より大き
いか否かが判断される。“ＮＯ”であればステップＳ７
に戻る。ステップＳ９が“ＹＥＳ”であればステップＳ
１１に進む。

【００４７】ステップＳ１１において、無効になってい
ない検出領域Ｃ，ＤおよびＥの平均相関値／最小相関値
が全て所定値以下か否かが判断される。ステップＳ１１
が“ＹＥＳ”であれば、ステップＳ１３に進む。ステッ
プＳ１３において、検出領域Ｅが上側へ移動される。そ
して、検出領域Ｅを含む有効な３つの検出領域の部分動
きベクトルに基づいて、全体動きベクトルが計算され
る。そして、ステップＳ１５において、検出領域Ａ〜Ｅ
の平均相関値／最小相関値が全て数フィールド、たとえ
ば３０フィールド連続して所定値より大きくなれば、検
出領域Ｅを初期位置に復帰させる。

【００４８】一方、ステップＳ１１が“ＮＯ”であれ
ば、ステップＳ１７に進む。ステップＳ１７において、
検出領域Ｅはそのまま移動せず、５つの検出領域の部分
動きベクトルに基づいて全体動きベクトルが計算され
る。そして、ステップＳ１５に進む。以上、ステップＳ
１において検出領域ＡおよびＢについて判断する場合を
取り上げて説明したが、ステップＳ１において、検出領
域ＡおよびＣについて判断する場合（イメージフィール
ド８２の左側から動体が進入してきた場合）、検出領域
ＢおよびＤについて判断する場合（イメージフィールド
８２の右側から動体が進入してきた場合）、および検出
領域ＣおよびＤについて判断する場合（イメージフィー
ルド８２の下側から動体が進入してきた場合）について
も同様に処理される。

【００４９】すなわち、ステップＳ１において、検出領
域ＡおよびＣについて判断されるときは、ステップＳ５
では検出領域Ｅが右側へ移動され、ステップＳ９では検
出領域ＡおよびＣについて判断され、ステップＳ１１で
は検出領域Ｂ，ＤおよびＥについて判断され、ステップ
Ｓ１３では検出領域Ｅが右側へ移動される。また、ステ
ップＳ１において、検出領域ＢおよびＤについて判断さ
れるときは、ステップＳ５では検出領域Ｅが左側へ移動
され、ステップＳ９では検出領域ＢおよびＤについて判
断され、ステップＳ１１では検出領域Ａ，ＣおよびＥに
ついて判断され、ステップＳ１３については検出領域Ｅ
が左側へ移動される。

【００５０】さらに、ステップＳ１ において検出領域
ＣおよびＤについて判断されるときは、ステップＳ５で
は検出領域Ｅが上側へ移動され、ステップＳ９では検出
領域ＣおよびＤについて判断され、ステップＳ１１では
検出領域Ａ，ＢおよびＥについて判断され、ステップＳ
１３では検出領域Ｅが下側へ移動される。このように、
動く物体の進入方向に応じて、検出領域Ｅを移動させる
ことができる。

【００５１】次いで、図１４を参照して、イメージフィ
ールド８２の左側から動く物体が進入してきた場合につ
いて、具体的に説明する。まず、図１４（Ａ）に示すよ
うにイメージフィールド８２内に検出領域Ａ〜Ｅが配置
されている状態で、図１４（Ｂ）に示すように、イメー
ジフィールド８２の左側から動く物体が進入してくる
と、進入直後に検出領域ＡおよびＣの平均相関値／最小
相関値はともに所定値以下になる。すると、マイクロコ
ンピュータ２６は、検出領域ＡおよびＣの各部分動きベ
クトルが手振れによるものではない、すなわち検出領域
ＡおよびＣは無効領域と判断され、これらの検出領域Ａ
およびＣの部分動きベクトルは用いないようにする。こ
のフィールドでは、残りの３つの検出領域Ｂ，Ｄおよび
Ｅのそれぞれの部分動きベクトルに基づいて、上述の方
法によって全体動きベクトルが計算される。

【００５２】次のフィールドにおいては、３つの検出領
域Ｂ，ＤおよびＥのそれぞれの部分動きベクトルに基づ
いて全体動きベクトルが計算されると同時に、最初中央
にあった検出領域Ｅの代表点の位置と検出領域Ｅの位置
とがマイクロコンピュータ２６によるレジスタ設定によ
って、図１４（Ｃ）に示すように右端に設定し直され
る。すなわち、検出領域Ｅは右側へ移動される。そし
て、移動後の検出領域Ｅの代表点が代表点メモリ３４ｂ
に格納される。

【００５３】さらに次のフィールドでは、検出領域Ｂ，
Ｄおよび移動後の検出領域Ｅのそれぞれの部分動きベク
トルに基づいて全体動きベクトルが求められる。その
後、検出領域ＡおよびＣの平均相関値／最小相関値が、
ともに所定値以下である限り、検出領域Ｂ，ＤおよびＥ
のそれぞれの部分動きベクトルに基づいて全体動きベク
トルが計算される。

【００５４】もし、検出領域ＡおよびＣの平均相関値／
最小相関値のうち少なくともいずれか一方が所定値より
大きくなった場合には、次の２つの理由が考えられる。 進入物体が通り抜けた 進入物体が検出領域内に留まっている の場合は、図１４（Ｄ）からわかるように、数フィー
ルド後に検出領域Ｂ，ＤおよびＥの平均相関値／最小相
関値が全て所定値以下になることが考えられる。このと
きは、検出領域ＡおよびＣのそれぞれの部分動きベクト
ルは真の手振れによるものであり、有効領域と判断さ
れ、図１４（Ｅ）に示すように、検出領域Ｅを上述と同
様にして左側へ移動させることによって、検出領域Ｅを
含めた３つの検出領域Ａ，ＣおよびＥの部分動きベクト
ルに基づいて全体動きベクトルを計算することが可能に
なる。

【００５５】その後、検出領域Ａ〜Ｅの平均相関値／最
小相関値が全て再び所定値より大きくなる。この状態が
所定フィールド連続すれば、図１４（Ｆ）に示すよう
に、検出領域Ｅを初期位置へ戻す。の場合は、図１４
（Ｇ）からわかるように、検出領域ＡおよびＣの平均相
関値／最小相関値の少なくともいずれか一方が所定値よ
り大きくなった後も、検出領域Ｂ，ＤおよびＥの平均相
関値／最小相関値はそれぞれ所定値以下にならないの
で、検出領域Ｅをそのままにして、５つの検出領域Ａ〜
Ｅの部分動きベクトルに基づいて全体動きベクトルを計
算する。このとき、検出領域ＡおよびＣには動く物体が
存在する確率が高い。しかし、この場合のように、５つ
の検出領域Ａ〜Ｅのうち手振れ成分をもつすなわち有効
領域である検出領域が最低３つ以上あれば、上述の方法
（発散度の小さい２つの検出領域を選ぶ方法）で全体動
きベクトルを計算することによって、進入物体の影響を
受けた可能性がある検出領域ＡおよびＣの部分動きベク
トルを除去することができる。そして、検出領域Ａ〜Ｅ
の平均相関値／最小相関値が全て所定値より大きい状態
が、所定フィールド連続すれば、図１４（Ｆ）に示すよ
うに、検出領域Ｅを初期位置に戻す。

【００５６】このように、無効領域の位置に応じて５領
域目の検出領域Ｅを移動することによって、有効領域の
数を増やすことができ、常に手振れ成分をもつ有効な検
出領域が３つ以上存在することになり、もし動く物体の
影響を受けた部分動きベクトルが２つの検出領域に存在
しても、この検出領域から得られる部分動きベクトルの
影響を受けることなく全体動きベクトルを求めることが
できる。

【００５７】この実施例によれば、検出領域Ａ〜Ｄと検
出領域Ｅとのサイズが等しいので、最小位置検出回路４
２を共用することができ、回路規模を小さくできる。な
お、平均相関値が所定値以上であるか否かを各検出領域
Ａ〜Ｄ毎に検出して、有効領域か否かを判断してもよ
い。この平均相関値に関する条件だけで有効領域か否か
を判断してもよく、また、上述の平均相関値／最小相関
値およびこの平均相関値の条件をともに満たした場合に
のみ有効領域と判断するよう、２つの条件によって有効
領域か否かを判断するようにしてもよい。

【００５８】具体的に、平均相関値の条件について述べ
る。画面のコントラストが低いときには、輝度差が小さ
いので、相関値が小さくなる。たとえば、画面全体が白
いときには相関値は小さくなる。このような場合には、
信頼性がなくなるため、平均相関値≧所定値のときに有
効と判断される。なお、所定値は実験によって決定され
る。

【００５９】なお、レジスタ設定値は任意に設定され得
る。また、上述の実施例では、検出領域Ｅを上，下，
左，右へ移動する場合について述べたが、レジスタ設定
値を調整することによって、検出領域Ｅおよびその代表
点を任意の位置へ移動できる。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】動き検出回路の一例を示すブロック図である。

【図３】電子ズームの原理を示し、イメージフィールド
内の検出領域を示す図解図である。

【図４】電子ズームの原理を示し、検出エリア内の代表
点およびサンプリング点を示す図解図である。

【図５】検出領域Ａの代表点の位置を決定する処理を説
明するためのタイミング図である。

【図６】代表点の位置を示す図解図である。

【図７】検出領域Ａの検出位置を決定する処理を説明す
るためのタイミング図である。

【図８】検出領域を示す図解図である。

【図９】検出領域Ｅの代表点の位置を決定する処理を説
明するためのタイミング図である。

【図１０】検出領域Ｅの検出位置を決定する処理を説明
するためのタイミング図である。

【図１１】手振れ補正の原理を示す図解図である。

【図１２】代表点マッチング法を適用するイメージフィ
ールド内の各ブロックを示す図解図である。

【図１３】この実施例の動作を示すフロー図である。

【図１４】動く物体がイメージフィールドの左側から進
入してきた場合の検出領域Ｅの移動アルゴリズムを示す
図解図である。

【図１５】従来の検出領域の配置状態を示す図解図であ
る。

【図１６】検出領域が４つの場合において左側から物体
が進入してきた状態を示す図解図である。

【符号の説明】

１０ …ビデオカメラ ２０ …メモリ制御回路 ２２ …フィールドメモリ ２４ …動き検出回路 ２６ …マイクロコンピュータ ３４ａ，３４ｂ …代表点メモリ ３６ａ，３６ｂ …減算回路 ３７ …検出エリア ３８ａ，３８ｂ …累積加算回路 ４０ …セレクタ ４２ …最小位置検出回路 ４６ａ，４６ｂ …平均相関値検出回路 ５２ａ，５２ｂ，６８ａ，６８ｂ …水平デコーダ ５４ …レジスタ ５６ａ，５６ｂ，７０ａ，７０ｂ …水平タイミング発
生用カウンタ ５８ａ，５８ｂ，７２ａ，７２ｂ …水平タイミング発
生用デコーダ ６０ａ，６０ｂ，７４ａ，７４ｂ …垂直デコーダ ６２ａ，６２ｂ，７６ａ，７６ｂ …垂直タイミング発
生用カウンタ ６４ａ，６４ｂ，７８ａ，７８ｂ …垂直タイミング発
生用デコーダ ６６ａ，６６ｂ，８０ａ，８０ｂ …ＡＮＤゲート ８２ …イメージフィールド

フロントページの続き (56)参考文献 特開 平６−284329（ＪＰ，Ａ) 特開 平５−219426（ＪＰ，Ａ) 特開 平６−133298（ＪＰ，Ａ) 特開 平５−211627（ＪＰ，Ａ) 特開 平６−105211（ＪＰ，Ａ) 特開 平６−217188（ＪＰ，Ａ) 特開 平５−219420（ＪＰ，Ａ) 特開 平５−30406（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/257 G03B 5/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】画面内に形成された複数個の検出領域の各
   々の部分動きベクトルを検出し、前記部分動きベクトル
   を用いて全体動きベクトルを得る手振れ補正装置であっ
   て、 前記複数個の検出領域は第１検出領域と第２検出領域を
   含み、 画面内にて前記第１検出領域との相対距離が変化するよ
   うに移動可能な前記第２検出領域を設定する領域設定手
   段、 前記第１検出領域および前記第２検出領域の各々につい
   て信頼できる部分動きベクトルの検出が可能な有効領域
   かそうでない無効領域かを判断する領域判断手段、およ
   び前記領域判断手段の領域判断結果に応じて前記第２検
   出領域を画面内にて前記第１検出領域との相対距離が変
   化するように移動させる移動手段を備え、 前記第１検出領域および前記第２検出領域の部分動きベ
   クトルに基づいて全体動きベクトルを得る手振れ補正装
   置。
2. 【請求項２】前記移動手段は前記第２検出領域を無効領
   域と判断された前記検出領域の位置と逆の方向へ画面内
   を移動させる、請求項１記載の手振れ補正装置。
3. 【請求項３】前記移動手段は、無効領域と判断された前
   記検出領域が前記第２検出領域の右側にあれば前記第２
   検出領域を左側へ画面内を移動させ、無効領域と判断さ
   れた前記検出領域が前記第２検出領域の左側にあれば前
   記第２検出領域を右側へ画面内を移動させ、無効領域と
   判断された前記検出領域が前記第２検出領域の上側にあ
   れば前記第２検出領域を下側へ画面内を移動させ、無効
   領域と判断された前記検出領域が前記第２検出領域の下
   側にあれば前記第２検出領域を上側へ画面内を移動させ
   る、請求項２記載の手振れ補正装置。
4. 【請求項４】全ての前記第１検出領域および前記第２検
   出領域が有効領域になったとき前記第２検出領域をその
   初期位置へ戻す手段をさらに備える、請求項１ないし３
   のいずれかに記載の手振れ補正装置。
5. 【請求項５】請求項１ないし４のいずれかに記載の手振
   れ補正装置を用いた、ビデオカメラ。