JP3208264B2 - 手振れ補正装置およびそれを用いたビデオカメラ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は手振れ補正装置および
それを用いたビデオカメラに関し、特にたとえば民生用
のカメラ一体型ＶＴＲなどに用いられる手振れ補正装置
およびそれを用いたビデオカメラに関する。

【０００２】

【従来の技術】撮像装置の振れ成分を検出する方法の一
例が、１９８９年の第２０回画像工学コンファレンスで
松下電器産業（株）から発表されている。この方法は、
昭和６１年（１９８６）９月６日付で公開された特開昭
６１−２０１５８１号〔Ｈ０４Ｎ ７／１３７〕公報に
記載されている代表点マッチング法から得られる動きベ
クトルを使って、画像情報から撮像装置の振れ成分を検
出するものである。この発表では、画像情報から得られ
る動きベクトルに基づいて手振れを補正するために減衰
係数を導入している。また、画面にたとえば４個の検出
領域を配置しており、したがって１画面から４個の部分
動きベクトルを得ている。

【０００３】そして、各検出領域毎に有効領域か否かが
判断され、有効領域の部分動きベクトルの平均を求め、
これをフィールド間の全体動きベクトルとしている。こ
の全体動きベクトルを用いて積分ベクトルを求め、たと
えば図１２に示すように、イメージフィールドの一部を
切り出し、その切り出し位置を積分ベクトルに応じて移
動させて手振れ補正を行う。

【０００４】このように全体動きベクトルから積分ベク
トルを求める方法としては、本願出願人によって提案さ
れた特願平５−１５９４６３号の技術がある。以下、こ
の技術の積分ベクトルの検出方法について述べる。この
技術では、カメラの撮影状態を４つに分け、それぞれ補
正モード０，補正モード１，補正モード２，および補正
モード３と名付ける。それぞれの補正モードでの積分ベ
クトルの算出方法を数５に示す。

【０００５】

【数５】補正モード０： Ｓ_n ＝Ｋ₁ ・Ｓ_n-1 ＋Ｖ_n 補正モード１： Ｓ_n ＝Ｓ_n-1 −Ｋ₂ ・｜Ｖ_n ｜ 補正モード２： Ｓ_n ＝Ｋ₃ ・Ｓ_n-1 ＋Ｖ_n ただし、｜Ｖ_n ｜＜１のとき Ｓ_n ＝Ｓ_n-1 補正モード３： Ｓ_n ＝Ｋ₄ ・Ｓ_n-1 ＋Ｖ_n ただし、｜Ｖ_n ｜＜１のとき Ｓ_n ＝Ｓ_n-1 また、 ０＜Ｋ₂ ＜Ｋ₁ ＝Ｋ₃ ＜Ｋ₄ ＜１ である。

【０００６】現フィールドと前フィールドとのフィール
ド間の全体動きベクトルをＶ_n ，前フィールドの積分ベ
クトルをＳ_n-1 とすると、現フィールドで補正に必要な
積分ベクトルＳ_n は数５で表される。補正モード１で
は、全体動きベクトルＶ_n の正負に関係なく積分ベクト
ルＳ_nを０に近づける、いわゆる強制的なセンタリング
をさせる。ここでいうセンタリングとは、画像の切り出
し位置を画面中央に戻すことをいう。補正モード２およ
び補正モード３は、補正モード０と基本的には積分ベク
トルＳ_n の求め方は同じであるが、補正モード２および
補正モード３では、全体動きベクトルＶ_n が小さいと
き、積分ベクトルＳ_n を前フィールドの積分ベクトルＳ
_n-1 と同じにしている。これは、たとえば撮像装置を三
脚に固定した場合などの動きの小さいときには、センタ
リング動作を止めることを示している。

【０００７】そして、これらの４つの補正モードを撮像
状態に応じて遷移させ、手振れ補正を行う。このときの
補正モード遷移図を図１３に示す。

【０００８】

【発明が解決しようとする課題】しかし、上述の従来の
手振れ補正方法では、たとえば、画角が望遠でかつ近距
離にある被写体を撮影しているときに、パンニングやチ
ルティングを行うと、パンニングやチルティング時の補
正方式である補正モード１に遷移するのが遅くなり、補
正された映像がスムーズに移動しないことがあり、映像
の動きに違和感を感じることがあった。

【０００９】それゆえに、この発明の主たる目的は、よ
り良好に手振れ補正できる、手振れ補正装置およびそれ
を用いたビデオカメラを提供することである。

【００１０】

【課題を解決するための手段】第１発明は、撮像装置の
手振れによる画像の振れを補正するための複数の補正モ
ードのいずれかを選択可能な手振れ補正装置であって、
撮像装置のズーム倍率を検出するズーム検出手段、撮像
装置と被写体との距離を検出する距離検出手段、および
ズーム倍率および距離に応じて複数の補正モードから適
切な補正モードを選択する選択手段を備え、選択された
補正モードによって手振れ補正を行う、手振れ補正装置
である。

【００１１】

【課題を解決するための手段】第１発明は、撮像装置の
手振れによる画像の振れを補正するための複数の補正モ
ードのいずれかを選択可能な手振れ補正装置であって、
撮像装置のズーム倍率を検出するズーム検出手段、撮像
装置と被写体との距離を検出する距離検出手段、および
ズーム倍率および距離に応じて複数の補正モードから適
切な補正モードを選択する選択手段を備え、選択された
補正モードによって手振れ補正を行い、さらにズーム倍
率および距離に応じて補正モードを遷移するときの遷移
条件を変更する、手振れ補正装置である。

【００１２】

【作用】選択手段によって適切な補正モードが選択され
るが、第０補正モード，第２補正モードおよび第３補正
モードから第１補正モードに遷移する遷移条件を、ズー
ム検出手段によって検出されたズーム倍率および距離検
出手段によって検出された撮像装置と被写体との距離に
基づいて、変更する。ズーム倍率が小さくかつ距離が比
較的遠距離であれば、この遷移条件をより厳しくする。
一方、ズーム倍率が大きくかつ距離が比較的近距離であ
れば、遷移条件を緩和する。これによって、撮像状態に
応じた補正モードで手振れ補正を行うことができる。

【００１３】この手振れ補正装置はビデオカメラに用い
られ得る。

【００１４】

【発明の効果】この発明によれば、撮像状態に応じて適
切な補正モードを選択できるので、より良好に手振れ補
正できる。したがって、補正された映像がスムーズに移
動するようになり、違和感のない動きの映像が得られ
る。この発明の上述の目的，その他の目的，特徴および
利点は、図面を参照して行う以下の実施例の詳細な説明
から一層明らかとなろう。

【００１５】

【実施例】図１に示すこの実施例のビデオカメラ１０
は、レンズ群１４から入力される被写体（図示せず）か
らの光信号を電気信号に変換するＣＣＤのような固体撮
像素子１２を含む。固体撮像素子１２からの電気信号は
カメラ回路１６に入力される。カメラ回路１６は、周知
のように、サンプルホールド回路を含み、固体撮像素子
１２からの電気信号をサンプルホールドする。サンプル
ホールドされた電気信号のレベルがＡＧＣによって調整
されるとともに、さらに同期信号付加回路によって同期
信号が付加される。このようにして、カメラ回路１６は
固体撮像素子１２からのイメージ信号をアナログビデオ
信号に変換する。このアナログビデオ信号は、さらに、
Ａ／Ｄ変換器１８によってディジタルビデオ信号に変換
される。ディジタルビデオ信号は動き検出回路２０に与
えられる。動き検出回路２０としては、たとえば三洋電
機株式会社製のＬＳＩ“Ｌ７Ａ０９４８”が利用され
る。この動き検出回路２０を構成する同じＬＳＩに含ま
れるメモリ制御回路２２の制御の下で、ディジタルビデ
オ信号がフィールド順次にフィールドメモリ２４に書き
込まれる。

【００１６】動き検出回路２０は、たとえば周知の代表
点マッチング法を用いて図３に示す４個の各検出領域
Ａ，Ｂ，ＣおよびＤ毎に、もっとも高い相関度（相関値
は最小）を有する１点およびその周囲の４点の位置、な
らびに各相関値を算出する。動き検出回路２０からの位
置データおよび相関値データは、マイクロコンピュータ
２６に与えられる。

【００１７】すなわち、図２を参照して、動き検出回路
２０は、Ａ／Ｄ変換器１８からのディジタルビデオ信号
を受ける入力端２８を含み、この入力端２８から入力さ
れたディジタルビデオ信号はフィルタ３０を通して代表
点メモリ３２および減算回路３４に与えられる。フィル
タ３０は、一種のディジタルローパスフィルタであり、
Ｓ／Ｎ比を改善し、少ない代表点で十分な検出精度を確
保するために用いられる。代表点メモリ３２は、図３に
示す各検出領域Ａ−Ｄの各々の範囲内で複数の代表点を
抽出（この実施例では、各検出領域Ａ−Ｄの各々を３０
分割し、したがって、３０個の代表点を抽出）し、その
位置データと輝度データとを記憶する。３０分割して形
成された各検出エリア４２（図４）は、たとえば３２画
素×１６行で構成される。

【００１８】減算回路３４は、代表点メモリ３２から与
えられる前フィールドの代表点の輝度データと入力端２
８から与えられる現フィールドの全ての画素の輝度デー
タとを減算し、その絶対値をとる。すなわち、現フィー
ルドの輝度データと前フィールドの輝度データとの間で
輝度差を求める。求めた輝度差を累積加算回路３６に与
える。累積加算回路３６では、同じ検出領域内の各検出
エリア４２の同じ位置の画素について求めた輝度差を累
積加算（この実施例では３０個）し、相関値データを出
力する。相関値データは演算回路３８に与えられ、この
演算回路３８は最小相関値および平均相関値を各検出領
域Ａ−Ｄ毎に演算するとともに、その最小相関値を示す
画素の位置データを各検出領域Ａ−Ｄ毎に求める。この
ようにして得られた最小相関値，平均相関値および位置
データが出力端４０から前述のマイクロコンピュータ２
６に与えられる。ただし、このような相関値の計算は、
先に述べたＬＳＩ“Ｌ７Ａ０９４８”によって実行され
る。

【００１９】また、レンズ群１４近傍にはズームエンコ
ーダ４４が配置される。ズームエンコーダ４４は抵抗素
子を含み、レンズ群１４の移動（ズームの程度）に応じ
て抵抗値が変化しそれに伴ってズームエンコーダ４４か
らの出力電圧が変化する。この出力電圧によってズーム
倍率が検出される。このズーム倍率を示す出力電圧は、
マイクロコンピュータ２６に与えられる。さらに、マイ
クロコンピュータ２６には撮像装置すなわちビデオカメ
ラ１０と被写体との距離を検出するための距離検出器４
６が接続される。距離検出器４６によるビデオカメラ１
０と被写体との距離の検出方法としては、たとえば、赤
外線を被写体に投射し、その反射光との角度から三角測
量の原理によって、被写体までの距離を得るというよう
な方法が多く知られている。そして、距離検出器４６に
よって検出された距離がマイクロコンピュータ２６に与
えられる。

【００２０】また、マイクロコンピュータ２６には、後
述する表１のデータが格納されるメモリ４８，撮像状態
をカウントするためのカウンタ５０ａ，５０ｂおよび５
０ｃ，ならびに全体動きベクトルの方向に関するデータ
を格納するレジスタ５２ａおよび５２ｂが含まれる。マ
イクロコンピュータ２６では、位置データおよび相関値
データに基づいて、画面すなわちイメージフィールド５
４（図３）全体の画像の動きベクトル（以下、単に「全
体動きベクトル」という）を計算する。

【００２１】まず、最小相関値を示す画素の位置データ
に基づいて、最小相関値を示す画素の、代表点に対する
偏移を求め、その偏移を部分動きベクトルとする。な
お、部分動きベクトルの検出精度をよくするために、最
小相関値を有する画素の周囲４画素の相関値を用いて内
挿補間し、最小相関値を有する画素の位置データを計算
する。

【００２２】そして、マイクロコンピュータ２６は、平
均相関値を最小相関値で除算した値が一定の閾値より大
きいか否かおよび平均相関値が所定値以上であるか否か
を各検出領域Ａ−Ｄ毎に検出し、各検出領域Ａ−Ｄから
の部分動きベクトルが手振れ以外の動く物体等によって
誤検出されたものではなく手振れの判断に有効か否かす
なわち各検出領域Ａ−Ｄが有効領域か否かを判断する。
平均相関値を最小相関値で除算した値が一定の閾値より
大きくかつ平均相関値が所定値以上であれば、その検出
領域は有効領域と判断される。

【００２３】具体的には、有効領域か否かは以下のよう
に判断される。まず、画面のコントラストが低いときに
は、輝度差が小さいので、相関値が小さくなる。たとえ
ば、画面全体が白いときには相関値は小さくなる。この
ような場合には、信頼性がなくなるため、平均相関値≧
所定値のときに有効と判断される。なお、所定値は実験
により決定される。

【００２４】また、検出領域内に動く物体があるときに
は、動く物体の占める部分と占めない部分とで相関値が
異なり、かつ動く物体の占める部分は様々な相関値をと
り、その相関値は一般的に大きな値となる（相関度は低
い）。したがって、検出領域内に動く物体があるときに
は、最小相関値が大きくなる可能性が高く、検出領域内
の部分動きベクトルを誤検出する恐れがある。部分動き
ベクトルを誤検出すると、全体動きベクトルを誤検出し
てしまう。しかし、平均相関値が大きいときには最小相
関値がある程度大きくても信頼できる。一方、平均相関
値が小さいときには最小相関値はより小さくなければ信
頼できない。したがって、具体的には、（平均相関値）
／（最小相関値）＞７のときに有効と判断し、この条件
を満たさない検出領域の部分動きベクトルを用いないよ
うにして、上述の誤検出による弊害を防止する。

【００２５】このような２つの条件によって、検出領域
が有効領域か否かが判断される。そして、有効領域の部
分動きベクトルの平均を求め、それを現フィールドと前
フィールドとのフィールド間の動き量すなわち全体動き
ベクトルＶ_n とする。全体動きベクトルはフィールド間
の動き量とその向きを表す。マイクロコンピュータ２６
では、次いで積分ベクトルＳ_n が求められる。積分ベク
トルＳ_n は、イメージフィールド５４のセンタからの抽
出エリア５６（図５）のずれ量すなわち補正量とその向
きを表す。積分ベクトルＳ_n を計算する補正モードは、
撮像状態に応じて変えられ、ビデオカメラ１０の撮像状
態に応じた手振れ補正をできる。補正モードは、表１に
示すように補正モード０〜補正モード３の４通りあり、
ビデオカメラ１０の状態（たとえば、パンニングやチル
ティング等）によって決定される。さらに、補正モード
０，２または３から補正モード１への遷移条件は、ズー
ム倍率やビデオカメラ１０と被写体との距離に基づいて
変化される。表１の補正モードは、マイクロコンピュー
タ２６のメモリ４８に格納される。

【００２６】

【表１】

【００２７】表１に示す補正モード０〜補正モード３
は、それぞれ、従来技術の数５で述べた補正モード０〜
３に対応するものであるので、その重複する説明は省略
する。ただし、表１では、数５と異なり、補正モード０
の減衰係数（０．９８０５）は補正モード２の減衰係数
（０．９９８５）より小さく設定されている。なお、補
正モード３の減衰係数（０．９９２）は、補正モード２
の減衰係数（０．９９８５）より小さいので、補正モー
ド３の方がセンタリングが早くなる。

【００２８】ここで、表１では、減衰係数として、０．
９８０５，０．９９２，０．９９８５を用いた。しか
し、補正モード０，１，２および３の各減衰係数を
ｋ₂ ，ｋ₁，ｋ₃ およびｋ₄ とすると、０＜ｋ₂ ＜ｋ₁
＜ｋ₃ ＜ｋ₄ ＜１の条件を満たすのであれば、減衰係数
は任意でよい。減衰係数は、周波数特性を有し、また、
減衰係数を変化させることによって、センタリングの速
さを変えることができる。

【００２９】このようにして求められた積分ベクトルＳ
_n はメモリ制御回路２２に与えられ、メモリ制御回路２
２では、それに基づいてフィールドメモリ２４の読み出
し開始アドレスを決定し、そのアドレスからフィールド
メモリ２４に蓄えられたディジタルビデオ信号を読み出
す。すなわち、メモリ制御回路２２は、マイクロコンピ
ュータ２６によって計算された積分ベクトルＳ_n に従っ
て、フィールドメモリ２４のディジタルビデオ信号によ
って形成される抽出エリア５６を移動する。

【００３０】ただし、フィールドメモリ２４から読み出
されたディジタルビデオ信号そのままでは抽出エリア５
６を移動できないので、電子ズーム回路５８を用いる。
図５を参照して、電子ズーム回路５８（図１）はイメー
ジフィールド５４の大きさに対して、ズーム倍率に従っ
て画像が拡大された抽出エリア５６を設定する。この抽
出エリア５６の位置は、イメージフィールド５４の範囲
内では、フィールドメモリ２４の読み出し開始アドレス
を変更することによって、自由に移動できる。そして、
抽出ディジタルビデオ信号に基づいてイメージフィール
ド５４全体のビデオ信号を得るために、フィールドメモ
リ２４から読み出したディジタルビデオ信号に基づいて
内挿補間法を用いて画像を拡大する。

【００３１】このようにして、イメージフィールド５４
内の任意の抽出エリア５６のイメージを電子ズーム回路
５８（図１）で電子的にズームすることによって、イメ
ージフィールド５４と抽出エリア５６との差に相当する
補正可能範囲６０が形成され得る。ビデオカメラ１０を
操作する人の手の振動に応じて図６に示すようにビデオ
カメラ１０に手振れが生じると、そのビデオカメラ１０
からの画像にぶれを生じ、結果的に、イメージフィール
ド５４内の左下方に目的の人物が存在する場合（図６
上）や、イメージフィールド５４の右上方に目的の人物
が存在する場合（図６下）などが生じる。したがって、
各フィールド毎に抽出エリア５６をマイクロコンピュー
タ２６によって計算した積分ベクトルＳ_n に応じて移動
させることによって、図６右に示すように抽出エリア５
６には目的の人物がちょうど収まることになる。

【００３２】このようにして電子ズーム回路５８から出
力されるディジタルビデオ信号をＤ／Ａ変換器６２によ
ってアナログ信号に変換して出力端子６４から出力す
る。このようなビデオカメラ１０は、フィールド毎に図
７ないし図１０に示すように動作する。まず、図７に示
すステップＳ１において、補正モード，カウンタ５０
ａ，５０ｂおよび５０ｃの初期値が“０”に設定され
る。次いで、ステップＳ３において、平均相関値を最小
相関値で除算した値および平均相関値に基づいて、４個
の検出された部分動きベクトルの有効・無効の判断すな
わち４個の検出領域についてそれぞれ有効領域であるか
否かが判断される。そして、ステップＳ５において、有
効な部分動きベクトルの平均が求められ、それが現フィ
ールドと前フィールドとのフィールド間の全体動きベク
トルＶ_n とされる。そして、ステップＳ７において、現
フィールドで検出された全体動きベクトルＶ_n の方向が
検出され、その方向に関するデータがレジスタ５２ａに
格納される。その後、ステップＳ９において、どの補正
モードかが判断される。補正モード０であれば、ステッ
プＳ１１ａにおいて図８に示す処理が行われ、補正モー
ド１であればステップＳ１１ｂにおいて図９に示す処理
が行われ、補正モード２であればステップＳ１１ｃにお
いて図１０に示す処理が行われ、補正モード３であれば
ステップＳ１１ｄにおいて図１１に示す処理が行われ
る。

【００３３】その後、ステップＳ１３において、各補正
モードに応じて、表１のいずれかの数式を用いて積分ベ
クトルＳ_n が決定される。そして、ステップＳ１５にお
いて、レジスタ５２ａに格納された全体動きベクトルＶ
_n の方向に関するデータがレジスタ５２ｂに転送され、
ステップＳ３に戻る。次いで、図８〜図１１に示す各補
正モードでの処理について説明する。

【００３４】図８〜図１１において、ＣＮＴＡはカウン
タ５０ａを、ＣＮＴＢはカウンタ５０ｂを、ＣＮＴＣは
カウンタ５０ｃを、Ｃは補正モードを、Ｘは撮像装置と
被写体との距離（メートル）を、Ｚはズーム倍率を、Ｔ
Ｈは閾値を、それぞれ示す。まず、図８に示す補正モー
ド０の処理を説明する。図８に示すステップＳ２１ａに
おいて、ステップＳ２１ａにおいて、抽出エリア５６の
切り出し位置がイメージフィールド５４の端にあるか否
かが判断される。このイメージフィールド５４の「端」
には、上，下，左，右の４つの端が考えられる。そし
て、前フィールドと現フィールドとにおいて、抽出エリ
ア５６の切り出し位置がイメージフィールド５４の同じ
端にあれば（たとえば前フィールドおよび現フィールド
においてともに右端にある）、ステップＳ２３ａにおい
て、カウンタ５０ａのカウント値が“１”インクリメン
トされる。ステップＳ２１ａにおいて、抽出エリア５６
の切り出し位置がイメージフィールド５４の端にあって
も、前フィールドと同じ端でない場合（たとえば前フィ
ールドでは右端にあり現フィールドでは左端にある）や
前フィールドでは抽出エリア５６の切り出し位置がイメ
ージフィールド５４の端にない場合には、ステップＳ２
５ａにおいて、カウンタ５０ａのカウント値が“１”に
設定される。また、ステップＳ２１ａにおいて、抽出エ
リア５６の切り出し位置がイメージフィールド５４の端
になければ、ステップＳ２７ａにおいて、カウンタ５０
ａのカウント値はリセットされる。したがって、カウン
タ５０ａは、抽出エリア５６の切り出し位置がイメージ
フィールド５４の端に何フィールド連続して当たってい
るかを計算するものである。

【００３５】ステップＳ２３ａ，Ｓ２５ａおよびＳ２７
ａのそれぞれの処理後は、ステップＳ２９ａに進む。ス
テップＳ２９ａにおいて、ズーム倍率がズームエンコー
ダ４４によって検出される。ズーム倍率がたとえば１倍
以上でありかつ５倍未満であれば、ステップＳ３１ａに
進み、撮像装置すなわちビデオカメラ１０と被写体との
距離がたとえば１０ｍ未満か否かが判断される。“Ｎ
Ｏ”であればステップＳ３３ａにおいて、閾値が６０に
設定される。

【００３６】ステップＳ３１ａが“ＹＥＳ”であれば、
ステップＳ３５ａに進む。また、ステップＳ２９ａにお
いて、ズーム倍率がたとえば５倍以上でありかつ１０倍
未満であれば、ステップＳ３５ａに進む。さらに、ステ
ップＳ２９ａにおいて、ズーム倍率がたとえば１０倍以
上であれば、ステップＳ３７ａにおいて、ビデオカメラ
１０と被写体との距離がたとえば１０ｍ未満か否かが判
断される。“ＮＯ”であればステップＳ３５ａに進む。
ステップＳ３５ａでは、閾値が４８に設定される。

【００３７】また、ステップＳ３７ａが“ＹＥＳ”であ
れば、ステップＳ３９ａにおいて、閾値が３０に設定さ
れる。そして、ステップＳ３３ａ，Ｓ３５ａ，Ｓ３９ａ
のそれぞれの処理後、ステップＳ４１ａに進む。ステッ
プＳ４１ａにおいて、カウンタ５０ａのカウント値が閾
値以上か否かが判断される。“ＹＥＳ”であればステッ
プＳ４３ａにおいて、補正モード１に遷移される。一
方、ステップＳ４１ａが“ＮＯ”であればステップＳ４
５ａに進む。ステップＳ２５ａまたはＳ２７ａを経てス
テップＳ４１ａに至るフィールドでは、当然ステップＳ
４１ａは“ＮＯ”となる。

【００３８】ステップＳ４５ａにおいて、積分ベクトル
Ｓ_n の大きさが３画素未満か否かが判断される。“Ｎ
Ｏ”であればステップＳ４７ａにおいて、全体動きベク
トルＶ _n の大きさが１画素以上か否かが判断される。
“ＮＯ”であればステップＳ４９ａにおいて、カウンタ
５０ｂのカウント値が“１”インクリメントされ、ステ
ップＳ５１ａに進む。ステップＳ５１ａにおいて、カウ
ンタ５０ｂのカウント値が１０未満か否かが判断され
る。“ＮＯ”であればステップＳ５３ａにおいて、積分
ベクトルＳ_n の大きさが６０画素未満か否かが判断さ
れ、“ＮＯ”であればステップＳ５５ａにおいて補正モ
ード２に遷移される。ステップＳ５３ａが“ＹＥＳ”で
あれば、ステップＳ５７ａにおいて補正モード３に遷移
される。ステップＳ４３ａ，Ｓ５５ａおよびＳ５７ａの
それぞれの処理後は、ステップＳ５９ａに進む。ステッ
プＳ５９ａにおいて、カウンタ５０ａおよび５０ｂがリ
セットされ、リターンする。

【００３９】ステップＳ４５ａおよびＳ４７ａのいずれ
かが“ＹＥＳ”であれば、ステップＳ６１ａにおいて、
カウンタ５０ｂがリセットされ、リターンする。ステッ
プＳ５１ａが“ＹＥＳ”のときは、直接リターンする。
次いで、図９に示す補正モード１の処理を説明する。図
９に示すステップＳ２１ｂにおいて、全体動きベクトル
Ｖ_n の大きさが１画素未満か否かが判断される。“ＹＥ
Ｓ”であれば、ステップＳ２３ｂにおいてカウンタ５０
ｃのカウント値が“１”インクリメントされ、ステップ
Ｓ２５ｂに進む。一方、ステップＳ２１ｂが“ＮＯ”で
あれば、ステップＳ２７ｂにおいて、前フィールドおよ
び現フィールドでそれぞれ検出された全体動きベクトル
が同方向であるか否かが判断される。これは、レジスタ
５２ａと５２ｂとにそれぞれ格納されたデータを比較す
ることによって判断される。すなわち、前フィールドお
よび現フィールドでそれぞれ検出された全体動きベクト
ルの方向が同方向か否かが判断される。ステップＳ２７
ｂが“ＮＯ”すなわち全体動きベクトルが同方向でなけ
れば、ステップＳ２９ｂにおいてカウンタ５０ｃのカウ
ント値が“１”インクリメントされ、ステップＳ２５ｂ
に進む。

【００４０】ステップＳ２５ｂにおいて、カウンタ５０
ｃのカウント値が１０であるか否かが判断される。すな
わち、ステップＳ２１ｂが“ＹＥＳ”であるかステップ
Ｓ２７ｂが“ＮＯ”であるフィールドが１０フィールド
連続したか否かが判断される。ステップＳ２５ｂが“Ｎ
Ｏ”であればリターンする。ステップＳ２５ｂが“ＹＥ
Ｓ”であれば、ステップＳ３１ｂにおいて、積分ベクト
ルＳ_n の大きさが１画素未満か否かが判断され、“Ｎ
Ｏ”であれば、ステップＳ３３ｂにおいて補正モード２
に遷移される。ステップＳ３１ｂが“ＹＥＳ”であれ
ば、ステップＳ３５ｂにおいて補正モード０に遷移され
る。ステップＳ３３ｂおよびＳ３５ｂのそれぞれの処理
後には、ステップＳ３７ｂに進む。ステップＳ２７ｂが
“ＹＥＳ”のときもステップＳ３７ｂに進む。ステップ
Ｓ３７ｂにおいて、カウンタ５０ｃのカウント値がリセ
ットされ、リターンする。

【００４１】次に、図１０に示す補正モード２および３
の処理を説明する。補正モード２については、ステップ
Ｓ２１ｃにおいて、積分ベクトルＳ_n の大きさが６０画
素以下か否かが判断される。“ＹＥＳ”であればステッ
プＳ２３ｃにおいて、積分ベクトルＳ_n の大きさが１画
素未満か否かが判断される。“ＹＥＳ”であればステッ
プＳ２５ｃにおいて補正モード０に遷移される。ステッ
プＳ２３ｃが“ＮＯ”であれば、ステップＳ２７ｃにお
いて補正モード３に遷移される。ステップＳ２５ｃおよ
びステップＳ２７ｃのそれぞれの処理後は、ステップＳ
２９ｃに進む。ステップＳ２９ｃにおいて、カウンタ５
０ａのカウント値がリセットされ、リターンする。

【００４２】一方、ステップＳ２１ｃが“ＮＯ”であれ
ば、ステップＳ３１ｃに進む。ステップＳ３１ｃにおい
て、抽出エリア５６の切り出し位置がイメージフィール
ド５４の端にあるか否かが判断される。ここでは上述の
ステップＳ２１ａと同様に処理される。したがって、前
フィールドと現フィールドとにおいて、抽出エリア５６
の切り出し位置がイメージフィールド５４の同じ端にあ
れば、ステップＳ３３ｃに進み、カウンタ５０ａのカウ
ント値が“１”インクリメントされる。一方、現フィー
ルドにおいて抽出エリア５６の切り出し位置がイメージ
フィールド５４の端にあるが、前フィールドの切り出し
位置と同じ端ではない場合や前フィールドでは切り出し
位置がイメージフィールド５４の端にない場合には、ス
テップＳ３５ｃに進み、カウンタ５０ａのカウント値を
“１”に設定する。さらに、現フィールドにおいて抽出
エリア５６の切り出し位置がイメージフィールド５４の
端にない場合には、ステップＳ３７ｃに進み、カウンタ
５０ａのカウント値をリセットする。ステップＳ３３
ｃ，Ｓ３５ｃおよびＳ３７ｃのそれぞれの処理後は、ス
テップＳ３９ｃに進む。

【００４３】ステップＳ３９ｃにおいて、ズーム倍率が
判断される。ズーム倍率がたとえば１倍以上でありかつ
５倍未満であればステップＳ４１ｃに進む。ステップＳ
４１ｃにおいて、ビデオカメラ１０と被写体との距離が
たとえば１０ｍ未満か否かが判断される。“ＮＯ”であ
ればステップＳ４３ｃに進み、閾値が６０に設定され
る。

【００４４】ステップＳ４１ｃが“ＹＥＳ”であればス
テップＳ４５ｃに進む。ステップＳ３９ｃにおいてズー
ム倍率がたとえば５倍以上でありかつ１０倍未満であれ
ば、ステップＳ４５ｃに進む。さらに、ステップＳ３９
ｃにおいてズーム倍率がたとえば１０倍以上であれば、
ステップＳ４７ｃに進む。ステップＳ４７ｃにおいて、
ビデオカメラ１０と被写体との距離がたとえば１０ｍ未
満か否かが判断される。“ＮＯ”であればステップＳ４
５ｃに進む。ステップＳ４５ｃにおいて、閾値が４８に
設定される。

【００４５】ステップＳ４７ｃが“ＹＥＳ”であれば、
ステップＳ４９ｃにおいて閾値が３０に設定される。ス
テップＳ４３ｃ，Ｓ４５ｃおよびＳ４９ｃのそれぞれの
処理後は、ステップＳ５１ｃに進む。ステップＳ５１ｃ
において、カウンタ５０ａのカウント値が閾値以上か否
かが判断される。“ＹＥＳ”であればステップＳ５３ｃ
において補正モード１に遷移され、ステップＳ２９ｃに
進む。ステップＳ５１ｃが“ＮＯ”であれば直接リター
ンする。

【００４６】また、補正モード３では、ステップＳ５５
ｃにおいて、積分ベクトルの大きさが“１”より小さい
か否かが判断される。“ＹＥＳ”であればステップＳ２
５ｃに進み、“ＮＯ”であればステップＳ３１ｃに進
む。なお、このようにマイクロコンピュータ２０によっ
て設定される補正モードの遷移図を図１１に示す。

【００４７】以上のように、この実施例では、ビデオカ
メラ１０の撮影状態によって、手振れ補正を、通常は補
正モード０で行い、パンニングやチルティングのときは
補正モード１で行い、たとえば三脚固定時の撮影では補
正モード２または補正モード３で行う。さらに、それぞ
れの補正モードから補正モード１への遷移条件、すなわ
ち「抽出エリア５６の切り出し位置が“連続４８フィー
ルド間”イメージフィールド５４の端に当たっている」
という条件を、ズーム倍率およびビデオカメラと被写体
との距離に応じて変化させる。

【００４８】具体的には、たとえば、ズーム倍率が大き
い、すなわち望遠での撮影（この実施例では、ズーム倍
率が１０倍以上）時において、距離検出器４６の出力が
小さい（比較的近距離：この実施例では１０ｍ未満）の
場合には、補正モード１に遷移し易いように「連続４８
フィールド」という条件を「連続３０フィールド」に変
更する。これは、望遠での撮影でありかつ比較的近距離
の場合には、イメージフィールド５４に占める被写体の
割合が大きくなるので、被写体の動きが小さな動きであ
っても積分ベクトルＳ_n の値は大きくなりがちであり、
切り出される抽出エリア５６がイメージフィールド５４
の端に当たり易くなる。したがって、センタリング動作
をなるべく早くする必要があるので、パンニングやチル
ティングのような動作に迅速に対応できるように、補正
モード１に遷移し易いようにしている。なお、望遠での
撮影時において、距離検出器４６の出力が大きい（比較
的遠距離：この実施例では１０ｍ以上）の場合には、
「連続４８フィールド」で補正モード１に遷移させる。

【００４９】また、逆にズーム倍率が小さい、すなわち
広角での撮影（この実施例では、ズーム倍率が１倍以上
５倍未満）時において、距離検出器４６の出力が大きい
（比較的遠距離：この実施例では１０ｍ以上）の場合に
は、補正モード１に遷移しにくいように、「連続４８フ
ィールド」という条件を「連続６０フィールド」に変更
する。これは、広角での撮影であり（ズーム倍率が小さ
く）かつイメージフィールド５４に占める被写体の割合
が小さいときには、パンニングやチルティングへの対応
を早くするよりも、単純補正である補正モード０等の状
態を長くしておく方が、補正の能力は向上するためであ
る。なお、このとき、距離検出器４６の出力が小さい
（比較的近距離：この実施例では１０ｍ未満）の場合に
は、「連続４８フィールド」で補正モード１に遷移させ
る。

【００５０】このように、単に遷移条件を緩和するだけ
では却って補正の性能を低下させてしまう恐れがあるの
で、上述のような撮影時にのみ遷移条件を変更してい
る。この実施例によれば、パンニングやチルティングな
どの動作時において、ズーム倍率や被写体までの距離に
拘わらず、補正された映像がスムーズに移動するように
なり、違和感のない動きの映像が得られる。

【００５１】特に、画面に占める被写体の割合が大きく
なるような撮影時に、パンニングやチルティングを行っ
たとき、補正モード１に遷移し易くなり、手振れ補正さ
れた画像の動きが自然に見える。なお、上述の実施例で
は、ズーム倍率については５倍，１０倍を閾値とし、距
離については１０ｍを閾値としたが、これらの値は任意
に設定され得る。

【００５２】また、ズーム倍率の代わりに画角を検出す
るようにしてもよい。このとき、画角が大きいときはズ
ーム倍率が小さいときに、画角が小さいときはズーム倍
率が大きいときに、それぞれ対応する。さらに、上述の
実施例では、フィールド単位で処理する場合について述
べたが、フレーム単位で処理する場合にも同様の結果が
得られることはいうまでもない。したがって、この明細
書では、フィールドおよびフレームを包括する用語とし
て便宜上「フィールド」なる用語を用いて説明した。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】動き検出回路の一例を示すブロック図である。

【図３】電子ズームの原理を示し、イメージフィールド
内の検出領域を示す図解図である。

【図４】電子ズームの原理を示し、検出領域内の代表点
およびサンプリング点を示す図解図である。

【図５】手振れ補正の原理を示す図解図である。

【図６】代表点マッチング法を適用するイメージフィー
ルド内の各ブロックを示す図解図である。

【図７】この実施例の動作を示すフロー図である。

【図８】補正モード０の動作を示すフロー図である。

【図９】補正モード１の動作を示すフロー図である。

【図１０】補正モード２および３の動作を示すフロー図
である。

【図１１】この実施例の補正モード遷移図である。

【図１２】イメージフィールドの切り出し位置の移動を
説明するための図解図である。

【図１３】従来の補正モード遷移図である。

【符号の説明】

１０ …ビデオカメラ １４ …カメラ群 ２０ …動き検出回路 ２２ …メモリ制御回路 ２４ …フィールドメモリ ２６ …マイクロコンピュータ ４２ …検出エリア ４４ …ズームエンコーダ ４６ …距離検出器 ５４ …イメージフィールド ５６ …抽出エリア

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/257 H04N 5/91

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】撮像装置の手振れによる画像の振れを補正
   するための複数の補正モードのいずれかを選択可能な手
   振れ補正装置であって、 前記撮像装置のズーム倍率を検出するズーム検出手段、 前記撮像装置と被写体との距離を検出する距離検出手
   段、および前記ズーム倍率および前記距離に応じて前記
   複数の補正モードから適切な補正モードを選択する選択
   手段を備え、 前記選択された補正モードによって手振れ補正を行い、
   さらに前記ズーム倍率および前記距離に応じて補正モー
   ドを遷移するときの遷移条件を変更する、手振れ補正装
   置。
2. 【請求項２】前記補正モードは、 【数１】Ｓ_n ＝Ｓ_n-1 −Ｋ₂ ・｜Ｖ_n ｜ Ｓ_n ：ｎフィールド目の積分ベクトル Ｓ_n-1 ：ｎ−１フィールド目の積分ベクトル Ｖ_n ：ｎ−１フィールド目とｎフィールド目との間の
   全体動きベクトル Ｋ₂ ：１以下の小数の減衰係数 で示される第１補正モードを含む、請求項１記載の手振
   れ補正装置。
3. 【請求項３】前記補正モードは、 【数２】Ｓ_n ＝Ｋ₁ ・Ｓ_n-1 ＋Ｖ_n Ｋ₁ ：１以下の小数の減衰係数 で示される第０補正モード、 【数３】Ｓ_n ＝Ｋ₃ ・Ｓ_n-1 ＋Ｖ_n Ｋ₃ ：１以下の小数の減衰係数 ただし、｜Ｖ_n ｜＜１のとき Ｓ_n ＝Ｓ_n-1 で示される第２補正モード、および 【数４】Ｓ_n ＝Ｋ₄ ・Ｓ_n-1 ＋Ｖ_n Ｋ₄ ：１以下の小数の減衰係数 ただし、｜Ｖ_n ｜＜１のとき Ｓ_n ＝Ｓ_n-1 で示される第３補正モードをさらに含み、０＜Ｋ₂ ＜Ｋ
   ₁ ＝Ｋ₃ ＜Ｋ₄ ＜１の条件を満たす、請求項２記載の手
   振れ補正装置。
4. 【請求項４】前記ズーム倍率および前記距離に応じて、
   補正モードを前記第１補正モードに遷移するときの遷移
   条件を変更する、請求項２または３記載の手振れ補正装
   置。
5. 【請求項５】前記ズーム倍率が小さくかつ前記距離が比
   較的遠距離であれば、前記遷移条件を厳しくし、前記ズ
   ーム倍率が大きくかつ前記距離が比較的近距離であれ
   ば、前記遷移条件を緩和する、請求項４記載の手振れ補
   正装置。
6. 【請求項６】請求項１ないし５のいずれかに記載の手振
   れ補正装置を用いる、ビデオカメラ。