JP4187704B2 - 手ぶれ補正装置 - Google Patents

Description

本発明は、例えばビデオカメラやデジタルカメラに搭載される手ぶれ補正装置に関する。

ビデオカメラでは、手持ちで撮影することが多いため、撮影時に手ぶれが生じやすい。そこで、一般的に、ビデオカメラには、手ぶれを補正するための手ぶれ補正装置が搭載されている。

一方、撮影時にパン操作（カメラを左右方向に移動させる操作）やチルト操作（カメラを上下方向に移動させる操作）が行われることも多い。パン操作時やチルト操作時に手ぶれ補正装置による手ぶれ補正が行われると、画面が意図した方向に動かない現象（以下、スティック現象という）が発生する。

そこで、パン操作時またはチルト操作時に発生するスティック現象を低減させるために、パン操作またはチルト操作を検出して、パン操作時またはチルト操作時には、パンまたはチルト操作専用の補正制御を行う手ぶれ補正装置が提案されている。

例えば、特開平８−３３１４３０号公報では、パンまたはチルト操作の検出状態に応じて補正量を減衰したり、補正量の周波数特性を変動したりすることで、スティック現象を低減させている。

しかしながら、パン操作またはチルト操作と手ぶれとを正確に判別することは困難なため、前記対策に関わらずスティック現象は発生してしまう。特に、ズーム倍率が低い光学ワイド端では、パン操作またはチルト操作時においても画面の動き量が比較的小さいため、手ぶれ補正が作用しやすく、スティック現象が顕著に現れる。また、光学ワイド端では、パン操作またはチルト操作時においても画面の動き量が比較的小さいため、パン操作またはチルト操作の初期において手ぶれ補正が行われると、手ぶれ補正が行われている状態から、手ぶれ補正が行われなくなったときの、画像の変化量が大きくなる。したがって、光学ワイド端では、パン操作またはチルト操作時に違和感が顕著に現れるという問題がある。
特開平８−３３１４３０号公報

この発明の目的は、パンまたはチルト状態の正確な検出が困難な場合でも、光学ワイド端で顕著なパン操作またはチルト操作時の違和感をなくすことにある。

請求項１に記載の発明は、ズーム倍率に応じた値を検出するズーム検出手段、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、ズーム検出手段によって検出されたズーム倍率に応じた値とに基づいて、画像の揺れを補正するための補正量であって、揺れの周波数に対する補正残り率の特性が変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする。

請求項２に記載の発明は、請求項１に記載の手ぶれ補正装置において、補正量生成手段は、ズーム倍率が大きいほど、揺れの低周波数帯に対する補正の度合いが強くなるように、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする。

請求項３に記載の発明は、ズーム倍率に応じた値を検出するズーム検出手段、画像の揺れを検出する揺れ検出手段、撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、ズーム検出手段によって検出されたズーム倍率に応じた値とに基づいて、画像の揺れを補正するための補正量であって、揺れの周波数に対する補正残り率の特性が変更可能な補正量を生成する第１の補正量生成手段、ならびに状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像の揺れを補正するための補正量を、１フレーム前の補正量とする第２の補正量生成手段を備えており、第１の補正量生成手段は、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする。

請求項４に記載の発明は、請求項３に記載の手ぶれ補正装置において、補正量生成手段は、ズーム倍率が大きいほど、揺れの低周波数帯に対する補正の度合いが強くなるように、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする。

請求項５に記載の発明は、請求項３乃至４に記載の手ぶれ補正装置において、状態判別手段は、以下のいずれかの条件（ａ），（ｂ），（ｃ）が満たされたときに、撮影者の意図的なカメラ運動による揺れ状態と判別することを特徴とする。
（ａ）揺れ検出手段によって検出された揺れの方向が同じ方向であるフレームが連続しておりその連続回数が第１閾値以上であること
（ｂ）第１の補正量生成手段によって生成された補正量が補正範囲の限界値以上であるフレームが連続しており、その連続回数が第２閾値以上であること
（ｃ）揺れ検出手段によって検出された揺れの方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する揺れの積分値が画角の第３閾値以上の割合であること

請求項６に記載の発明は、請求項５に記載の手ぶれ補正装置において、状態判別手段は、第１閾値、第２閾値および第３閾値を、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて制御する閾値制御手段を含んでいることことを特徴とする。

請求項７に記載の発明は、請求項６に記載の手ぶれ補正装置において、閾値制御手段は、ズーム倍率が小さいほど、第１閾値、第２閾値および第３閾値が小さくなるように、第１閾値、第２閾値および第３閾値を制御することを特徴とする。

この発明によれば、パンまたはチルト状態の正確な検出が困難な場合でも、光学ワイド側で顕著なパンまたはチルト操作時の違和感を低減でき、全ズーム領域で良好な操作性が得られるようになる。

以下、図面を参照して、この発明の実施例について説明する。

図１は、ビデオカメラの構成を示している。
ビデオカメラ１０は、レンズ１１から入力される被写体（図示せず）からの光信号を電気信号に変換するＣＣＤのような固体撮像素子１２を含んでいる。固体撮像素子１２からの電気信号はカメラ回路１３に入力される。カメラ回路１３は、周知のように、サンプルホールド回路を含み、固体撮像素子１２からの電気信号をサンプルホールドする。サンプルホールドされた電気信号のレベルがＡＧＣによって調整されるとともに、さらに同期信号付加回路によって同期信号が付加される。このようにして、カメラ回路１３は固体撮像素子１２からのイメージ信号をアナログビデオ信号に変換する。

カメラ回路１３から出力されるアナログビデオ信号は、さらに、Ａ／Ｄ変換器１４によってデジタルビデオ信号に変換される。Ａ／Ｄ変換器１４から出力されるデジタルビデオ信号は動き検出回路（揺れ検出手段）１８に与えられると同時に、メモリ制御回路２１により、フレームメモリ１５に書き込まれる。

図２は、動き検出回路１８の構成を示している。

動き検出回路１８は、たとえば周知の代表点マッチング法を用いて、動きベクトルを検出する。代表点マッチング法の概要について説明する。図３に示すように、各フレームの映像エリア内に、複数の動きベクトル検出領域Ｅ１〜Ｅ４が設定されている。各動きベクトル検出領域Ｅ１〜Ｅ４の大きさは同じである。また、各動きベクトル検出領域Ｅ１〜Ｅ４は、さらに複数の小領域ｅに分割されている。この例では、各動きベクトル検出領域Ｅ１〜Ｅ４は、３０個の小領域ｅに分割されている。各小領域ｅは、たとえば３２画素×１６行で構成される。そして、図４に示すように、各小領域ｅそれぞれに、複数のサンプリング点Ｓと、１つの代表点Ｒとが設定されている。

現フレームにおける小領域ｅ内の各サンプリング点Ｓの映像信号レベル（輝度レベル）と、前フレームにおける対応する小領域ｅの代表点Ｒの映像信号レベル（輝度レベル）との差（各サンプリング点における相関値）が、各動きベクトル検出領域Ｅ１〜Ｅ４毎に求められる。そして、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、動きベクトル検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏位が同じサンプリング点Ｓどうしの相関値が累積加算される。したがって、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、１つの小領域ｅ内のサンプリング点Ｓの数に応じた数の相関累積値が求められる。

そして、各動きベクトル検出領域Ｅ１〜Ｅ４内において、相関累積値が最小となる点の代表点Ｒに対する偏位、すなわち、相関性が最も高い点の偏位が、当該動きベクトル検出領域Ｅ１〜Ｅ４の動きベクトルとして抽出される。

動き検出回路１８は、Ａ／Ｄ変換器１４からのデジタルビデオ信号を受ける入力端３１を含み、この入力端３１から入力されたデジタルビデオ信号はフィルタ３２を通して代表点メモリ３３および減算回路３４に与えられる。フィルタ３２は、一種のデジタルローパスフィルタであり、Ｓ／Ｎ比を改善し、少ない代表点で十分な検出精度を確保するために用いられる。代表点メモリ３３は、図３に示す各動きベクトル検出領域Ｅ１〜Ｅ４の小領域ｅ毎に、代表点Ｒの位置データと輝度データとを記憶する。

減算回路３４は、各動きベクトル検出領域Ｅ１〜Ｅ４の小領域ｅ毎に、代表点メモリ３３から与えられる前フレームの代表点の輝度データと入力端３１から与えられる現フレームのサンプリング点Ｓの輝度データとを減算し、その絶対値（各サンプリング点における相関値）を算出する。求めた各サンプリング点における相関値を累積加算回路３５に与える。累積加算回路３５は、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、動きベクトル検出領域内の全ての小領域間において、代表点Ｒに対する偏位が同じサンプリング点どうしの相関値を累積加算する。相関累積値は演算回路３６に与えられる。演算回路３６は、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値の平均値を求めるとともに、相関累積値が最小となる画素の位置データを求める。このようにして、各動きベクトル検出領域Ｅ１〜Ｅ４毎に得られた相関累積値の平均値、相関累積値の最小値および相関累積値が最小となる画素の位置データが出力端３７からマイクロコンピュータ２０（図１参照）に与えられる。

マイクロコンピュータ２０は、演算回路３６から与えられたデータに基づいて、画面全体の動きベクトル（以下、単に「全体動きベクトル」という）を算出する。まず、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値が最小となる画素の位置データに基づいて、相関累積値が最小となる画素の代表点に対する偏位を求め、その偏位を当該動きベクトル検出領域Ｅ１〜Ｅ４の動きベクトル（部分動きベクトル）とする。なお、部分動きベクトルの検出精度をよくするために、相関累積値が最小となる画素の周囲４画素の相関累積値を用いて内挿補間することによって、相関累積値が最小となる画素の位置データを計算するようにしてもよい。

マイクロコンピュータ２０は、相関累積値の平均値を相関累積値の最小値で除算した値が一定の閾値より大きいか否かおよび相関累積値の平均値が所定値以上であるか否かを各動きベクトル検出領域Ｅ１〜Ｅ４毎に判別し、各動きベクトル検出領域Ｅ１〜Ｅ４毎に求められた部分動きベクトルが信頼できるか否か、すなわち各動きベクトル検出領域Ｅ１〜Ｅ４が有効領域か無効領域かを判別する。ある動きベクトル検出領域において、相関累積値の平均値を相関累積値の最小値で除算した値が一定の閾値より大きく、かつ相関累積値の平均値が所定値以上であれば、その動きベクトル検出領域は有効領域とされる。

具体的には、動きベクトル検出領域が有効領域か否かは以下のように判断される。まず、画面のコントラストが低いときには、輝度差が小さいので、相関累積値が小さくなる。たとえば、画面全体が白いときには相関累積値は小さくなる。このような場合には、信頼性がなくなるため、相関累積値の平均値≧所定値のときに有効とされる。なお、所定値は実験により決定される。

また、動きベクトル検出領域内に動く物体があるときには、動く物体の占める部分と占めない部分とで相関累積値が異なり、かつ動く物体の占める部分は様々な相関累積値をとり、その相関累積値は一般的に大きな値となる（相関度は低い）。したがって、動きベクトル検出領域内に動く物体があるときには、相関累積値の最小値が大きくなる可能性が高く、動きベクトル検出領域に対する動きベクトル（部分動きベクトル）を誤検出するおそれがある。部分動きベクトルを誤検出すると、全体動きベクトルを誤検出してしまう。しかし、相関累積値の平均値が大きいときには相関累積値の最小値がある程度大きくても信頼できる。一方、相関累積値の平均値が小さいときには相関累積値の最小値はより少なくなければ信頼できない。したがって、具体的には、（相関累積値の平均値）／（相関累積値の最小値）＞５という条件を満たす動きベクトル検出領域を有効領域と判断し、この条件を満たさない動きベクトル検出領域の部分動きベクトルを用いないようにして、誤検出による弊害を防止する。

このような２つの条件によって、各動きベクトル検出領域が有効領域か否かが判断される。そして、有効領域であると判別された動きベクトル検出領域の部分動きベクトルの平均を求め、それをフレーム間の動き量すなわち全体動きベクトルＶ_n とする。全体動きベクトルＶ_n はフレーム間の動き量とその向きを表す。マイクロコンピュータ２０は、全体動きベクトルＶ_n を用いて積分ベクトルＳ_n を求める。積分ベクトルＳ_n の求め方については、後述する。積分ベクトルＳ_n は、フレームメモリ１５の中心からの表示領域（切出し枠）の中心までの距離と方向とを表す。

手ぶれ補正では、フレームメモリ１５内の表示領域の位置（画像切り出し位置）を変えることで補正が行われる。フレームメモリ１５と切り出し枠１００との関係を図５に示す。フレームメモリ１５内の切り出し枠１００で囲まれた領域が撮像画像として表示される。切り出し枠１００の初期位置は、その中心がフレームメモリ１５の中心に合致した位置に設定されている。そして、検出された動きベクトルに応じて、その位置が移動せしめられる。例えば、ビデオカメラを右に移動したときのフレームメモリ１５と切り出し枠１００との関係を図６に示す。ビデオカメラを右に移動すると、被写体はフレームメモリ内の左側に移動する。ここで、ビデオカメラの動き量分だけ、ビデオカメラの動きと反対方向に切り出し枠１００を移動することにより、表示される画像（構図）の変化はなくなり、手ぶれがキャンセルされる。

図７は、積分ベクトルＳ_n と切り出し枠１００との関係を示している。切り出し枠１００の位置は、フレームメモリ１５の中心Ｏを原点としたＸＹ座標系において、切り出し枠１００の中心の座標Ｏｔで与えられる。現フレームの積分ベクトルをＳとすると、フレームメモリ１５の中心Ｏから、積分ベクトルＳで示される方向に、積分ベクトルＳで示される距離だけ移動した点が、切り出し枠１００の中心Ｏｔとなる。

ここで、手ぶれ補正の範囲は、図８に示すように、切り出し枠１００が、フレームメモリ１５の端に位置するまでの範囲となる。すなわち、積分ベクトルＳの水平成分Ｓｈ、垂直成分Ｓｖの範囲はそれぞれ、図８のＳｈ−ｍｉｎ〜Ｓｈ−ｍａｘ、Ｓｖ−ｍｉｎ〜Ｓｖ−ｍａｘとなる。

図９に示すように、ビデオカメラが大きく動き、積分ベクトルＳの水平成分Ｓｈが補正範囲の限界値を越えた場合は、水平成分ＳｈがＳｈ−ｍｉｎより小さければ水平成分ＳｈをＳｈ−ｍｉｎ（限界値）とし、水平成分ＳｈがＳｈ−ｍａｘより大きければ水平成分ＳｈをＳｈ−ｍａｘ（限界値）とする。積分ベクトルＳの垂直成分Ｓｖが補正範囲の限界値を越えた場合にも同様に、垂直成分ＳｖがＳｖ−ｍｉｎより小さければ垂直成分ＳｖをＳｖ−ｍｉｎ（限界値）とし、垂直成分ＳｖがＳｖ−ｍａｘより大きければ垂直成分ＳｖをＳｖ−ｍａｘ（限界値）とする。

積分ベクトルＳ_n の算出方法は、「手ぶれ状態」であるか、「パンまたはチルト状態」であるかによって異なる。これらの状態は、マイクロコンピュータ２０によって判別される。「手ぶれ状態」であるか、「パンまたはチルト状態」であるかを示すデータは、マイクロコンピュータ２０のメモリ（図示せず）に格納される。

「手ぶれ状態」では、マイクロコンピュータ２０は、焦点距離検出回路１９から取得した３５ｍｍフィルム換算のレンズ焦点距離Ｆと、予め設定されている焦点距離の最小値Ｆ_min および最大値Ｆ_max 、予め設定されている減衰係数の最小値Ｋ_min および最大値Ｋ_max とを用いて、次式（１）に従って、減衰係数Ｋを求める。この実施例では、焦点距離の３８〜２８０ｍｍに対して、減衰係数Ｋが０．９〜０．９５となるようにした。

そして、得られた減衰係数Ｋと、前フレームと現フレームとの間の全体動きベクトルＶ_n と、前フレームの積分ベクトルＳ_n-1 を用いて、次式（２）に従って、現フレームの積分ベクトルＳ_n を計算する。

Ｓ_n ＝Ｋ・Ｓ_n-1 ＋Ｖ_n …（２）

減衰係数Ｋを制御することによって、補正する手ぶれの周波数の特性を変化させることができる。図１０は減衰係数Ｋによる揺れ周波数〔Ｈｚ〕と補正残り率〔％〕の関係を示す。補正残り率は、補正前の揺れの振幅に対する補正後の揺れの振幅の割合〔％〕であると定義される。例えば、Ｋ＝１．０の場合には、検出した動きを完全に補正することになる。Ｋ＝０．９０の場合、２〔Ｈｚ〕の揺れが約５０％、５〔Ｈｚ〕の揺れが約７０％補正されることになる。つまり、減衰係数Ｋを小さくすればするほど、低周波数帯の揺れに対する補正度合いが弱まるということになる。

上記式（１）の計算式を採用することで、ズーム倍率の小さい（焦点距離が小さい）光学ワイド側であるほど減衰係数Ｋが小さくなる。したがって、光学ワイド側であるほど、低周波数帯の揺れの補正度合いが弱まるため、たとえ、パン・チルト状態の検出に失敗した場合でも、パン・チルト開始時のビデオカメラの動きの幾分かは補正されずに残り、スティック感は軽減される。一方、ズーム倍率の大きい（焦点距離が大きい）光学テレ側では減衰係数Ｋが大きくなり、低周波数帯の揺れも強く補正されるが、パン・チルト時の画像の動きは、光学ワイド側よりもはるかに大きく、瞬時に補正範囲を越えてしまうため、そもそもスティック感は少ない。逆に、低周波数帯の揺れも強く補正することで、十分な手ぶれ補正を行うことができる。

「パンまたはチルト状態」では、次式（３）で示すように、マイクロコンピュータ２０は、マイクロコンピュータ２０のメモリ上に記憶された１つ前のフレームの積分ベクトルＳ_n-1 を現フレームの積分ベクトルＳ_n とする。つまり、手ぶれ補正を行わないことを意味する。

Ｓ_n ＝Ｓ_n-1 …（３）

「手ぶれ状態」から「パンまたはチルト状態」への遷移は、以下のいずれかの遷移条件（ａ），（ｂ），（ｃ）を満たした場合に行われる。

（ａ）「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件：全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその連続回数（連続フレーム数）が閾値ＴＨ１以上であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向（上または下）が同じ方向であるフレームが連続しておりかつその連続回数が閾値ＴＨ１以上であることまたは全体動きベクトルＶ_n の水平成分の方向（左または右）が同じ方向であるフレームが連続しておりかつその連続回数が閾値ＴＨ１以上であること

（ｂ）「手ぶれ状態」から「パンまたはチルト状態」への第２の遷移条件：積分ベクトルＳ_n が補正範囲の限界値以上であるフレームが連続しており、その連続回数（連続フレーム数）が閾値ＴＨ２以上であること
具体的には、積分ベクトルＳ_n の垂直成分が補正範囲の限界値以上あるフレームが連続しておりかつその連続回数が閾値ＴＨ２以上であることまたは積分ベクトルＳ_n の水平成分が補正範囲の限界値以上あるフレームが連続しておりかつその連続回数が閾値ＴＨ２以上であること
なお、上述したように、積分ベクトルＳ_n の垂直成分Ｓｖが補正範囲の限界値を越えた場合には、垂直成分ＳｖがＳｖ−ｍｉｎより小さければ垂直成分ＳｖがＳｖ−ｍｉｎ（限界値）とされ、垂直成分ＳｖがＳｖ−ｍａｘ（限界値）より大きければ垂直成分ＳｖがＳｖ−ｍａｘとされる。また、積分ベクトルＳ_n の水平成分Ｓｈが補正範囲の限界値を越えた場合は、水平成分ＳｈがＳｈ−ｍｉｎより小さければ水平成分ＳｈがＳｈ−ｍｉｎ（限界値）とされ、水平成分ＳｈがＳｈ−ｍａｘより大きければ水平成分ＳｈをＳｈ−ｍａｘ（限界値）とされる。

（ｃ）「手ぶれ状態」から「パンまたはチルト状態」への第３の遷移条件：全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の積分値が画角（切り出し枠の画像サイズ）の閾値ＴＨ３以上の割合であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向（上または下）が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の垂直成分の積分値が切り出し枠の上下幅の閾値ＴＨ３以上の割合であるか、または全体動きベクトルＶ_n の水平成分の方向（左または右）が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の水平成分の積分値が切り出し枠の左右幅の閾値ＴＨ３以上の割合であること

上記（ａ）、（ｂ）、（ｃ）の判定閾値ＴＨ１，ＴＨ２，ＴＨ３は前記現在の焦点距離により変化する。具体的には、次式（４）を用いて計算する。

上記式（４）において、Ｆは現在の焦点距離であり、Ｆ_min 、Ｆ_max は予め設定された焦点距離の最小、最大値であり、ＴＨ_min 、ＴＨ_max は予め設定された閾値の最小、最大値である。この実施例では、各判定条件に対して、Ｆ_min 、Ｆ_max 、ＴＨ_min 、ＴＨ_max としては、以下の値を用いた。

Ｆ_min ＝３８ｍｍ， Ｆ_max ＝２８０ｍｍ
（ａ）ＴＨ１の算出時：ＴＨ_min ＝２０回，ＴＨ_max ＝３０回
（ｂ）ＴＨ２の算出時：ＴＨ_min ＝５回，ＴＨ_max ＝１０回
（ｃ）ＴＨ３の算出時：ＴＨ_min ＝１５％、ＴＨ_max ＝２０％

例えば、ＴＨ１について、テレ端では連続回数が３０回であるのに対して、ワイド端では２０回でパンまたはチルトの開始と判定する。このようにワイド側でパンまたはチルト判定が緩くなるように、焦点距離により各判定閾値を可変にすることで、スティック感がより顕著なワイド側で、パンまたはチルト検出感度が上がり、スティック感を低減することができる。

「パンまたはチルト状態」から「手ぶれ状態」への遷移は、以下のいずれかの遷移条件（ａ），（ｂ）を満たした場合に行われる。

（ａ）「パンまたはチルト状態」から「手ぶれ状態」への第１の遷移条件：全体動きベクトルＶ_n が０．５画素以下であるフレームが連続しておりかつその連続回数（連続フレーム数）が１０以上であること
具体的には、全体動きベクトルＶ_n の垂直成分が０．５画素以下であるフレームが連続しておりかつその連続回数が１０以上であることまたは全体動きベクトルＶ_n の水平成分が０．５画素以下であるフレームが連続しておりかつその連続回数が１０以上であること

（ｂ）「パンまたはチルト状態」から「手ぶれ状態」への第２の遷移条件：全体動きベクトルＶ_n の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の垂直成分の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であることまたは全体動きベクトルＶ_n の水平成分の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の水平成分の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であること

このようにして求められた積分ベクトルＳ_n はメモリ制御回路２１に与えられる。メモリ制御回路２１では、与えられた積分ベクトルＳ_n に基づいてフレームメモリ１５の読み出し開始アドレスを決定し、そのアドレスからフレームメモリ１５に蓄えられたデジタルビデオ信号を読み出す。すなわち、メモリ制御回路２１は、マイクロコンピュータ２０によって算出された積分ベクトルＳ_n に基づいて、フレームメモリ１５内の切り出し枠１００を移動させる。

メモリ制御回路２１によってフレームメモリ１５から読み出されたデジタルビデオ信号は、電子ズーム回路１６に送られる。電子ズーム回路１６は、フレームメモリ１５の大きさに相当するビデオ信号を得るために、フレームメモリ１５から読み出されたデジタルビデオ信号に基づいて内挿補間法を用いて画像を拡大する。電子ズーム回路１６から出力されるデジタルビデオ信号は、出力端子１７に送られる。

図１１は、１フレーム毎に行われるビデオカメラ１０の動作を示している。

Ｆｌａｇは、「手ぶれ状態」であるか「パンまたはチルト状態」であるを記憶するフラグとして用いられる。Ｆｌａｇがリセット（Ｆｌａｇ＝０）されている場合には状態が「手ぶれ状態」であることを示し、Ｆｌａｇがセット（Ｆｌａｇ＝１）されている場合には状態が「パンまたはチルト状態」であることを示す。

まず、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ１）。つまり、初期の状態として、「手ぶれ状態」が設定される。

各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値が最小となる画素の位置データに基づいて、部分動きベクトルを求める（ステップＳ２）。

次に、各動きベクトル検出領域Ｅ１〜Ｅ４毎の相関累積値の平均値および相関累積値の最小値に基づいて、各動きベクトル検出領域Ｅ１〜Ｅ４が有効領域である無効領域であるかを判別する（ステップＳ３）。そして、有効領域が存在するか否かを判別する（ステップＳ４）。

有効領域が存在する場合には、有効領域の部分動きベクトルの平均を全体動きベクトルＶ_n とする（ステップＳ５）。そして、ステップＳ７に進む。有効領域が存在しない場合には、全体動きベクトルＶ_n を０に設定する（ステップＳ６）。そして、ステップＳ７に進む。ステップＳ７では、Ｆｌａｇ＝０であるか否かを判別する。つまり、「手ぶれ状態」であるか「パンまたはチルト状態」であるか否かを判別する。

Ｆｌａｇ＝０である場合、つまり、現在の状態が「手ぶれ状態」である場合には、焦点距離検出回路１９から３５ｍｍフィルム換算の焦点距離を取得し、上記式（１）に基づいて、減衰係数Ｋを算出する（ステップＳ８）。算出されたＫを用いて、上記式（２）に基づいて、積分ベクトルＳ_n を算出する（ステップＳ９）。そして、第１の状態判定処理を行った後（ステップＳ１０）、ステップＳ１３に進む。第１の状態判定処理については、後述する。

上記ステップＳ７において、Ｆｌａｇ＝１である場合、つまり、現在の状態が「パンまたはチルト状態」である場合には、上記式（３）に基づいて、積分ベクトルＳ_n を算出する（ステップＳ１１）。そして、第２の状態判定処理を行った後（ステップＳ１２）、ステップＳ１３に進む。第２の状態判定処理については、後述する。

ステップＳ１３では、上記ステップＳ９またはＳ１１で算出された積分ベクトルＳ_n に基づいて、切り出し枠の位置を算出する。そして、今回の処理を終了する。

図１２は、図１１のステップＳ１０の第１の状態判定処理の手順を示している。

まず、現在の３５ｍｍフィルム換算のレンズ焦点距離Ｆを取得する（ステップＳ２１）。パンまたはチルト状態判定用閾値Ｔｈ１，Ｔｈ２，Ｔｈ３を、取得した焦点距離Ｆを用い、上記式（４）に基づいて算出する（ステップ２２）。

この例では、Ｔｈ１，Ｔｈ２，Ｔｈ３は、それぞれ次式（５），（６），（７）に基づいて算出される。

Ｔｈ１＝２０＋１０＊（Ｆ−３８）／（２８０−３８） …（５）
Ｔｈ２＝１０＋５＊（Ｆ−３８）／（２８０−３８） …（６）
Ｔｈ３＝１５＋５＊（Ｆ−３８）／（２８０−３８） …（７）

次に、「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件を満たしているか否かを判別する（ステップＳ２３）。つまり、全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその連続回数（連続フレーム数）が閾値ＴＨ１以上であることという条件を満たしているか否かを判別する。上記第１の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２７）。そして、図１１のステップＳ１３に移行する。

上記第１の遷移条件を満たしていない場合には、「手ぶれ状態」から「パンまたはチルト状態」への第２の遷移条件を満たしているか否かを判別する（ステップＳ２４）。つまり、積分ベクトルＳ_n が補正範囲の限界値以上であるフレームが連続しており、その連続回数（連続フレーム数）が閾値ＴＨ２以上であることという条件を満たしているか否かを判別する。上記第２の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２７）。そして、図１１のステップＳ１３に移行する。

上記第２の遷移条件を満たしていない場合には、「手ぶれ状態」から「パンまたはチルト状態」への第３の遷移条件を満たしているか否かを判別する（ステップＳ２５）。つまり、全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の積分値が画角（切り出し枠の画像サイズ）の所定の割合ＴＨ３〔％〕以上であることという条件を満たしているか否かを判別する。上記第３の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２７）。そして、図１１のステップＳ１３に移行する。

上記第３の遷移条件を満たしていない場合には、「手ぶれ状態」であると判定し、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ２６）。そして、図１１のステップＳ１３に移行する。

図１３は、図１１のステップＳ１１の第２の状態判定処理の手順を示している。

まず、「パンまたはチルト状態」から「手ぶれ状態」への第１の遷移条件を満たしているか否かを判別する（ステップＳ３１）。つまり、全体動きベクトルＶ_n が０．５画素以下であるフレームが連続しておりかつその連続回数（連続フレーム数）が１０以上であることという条件を満たしているか否かを判別する。上記第１の条件を満たしている場合には、「手ぶれ状態」であると判定し、つまり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定し、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ３４）。そして、図１１のステップＳ１３に移行する。

上記第１の遷移条件を満たしていない場合には、「パンまたはチルト状態」から「手ぶれ状態」への第２の遷移条件を満たしているか否かを判別する（ステップＳ３２）。つまり、全体動きベクトルＶ_n の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であることという条件を満たしているか否かを判別する。上記第２の遷移条件を満たしている場合には、「手ぶれ状態」であると判定し、つまり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定し、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ３４）。そして、図１１のステップＳ１３に移行する。

上記第２の遷移条件を満たしていない場合には、「パンまたはチルト状態」であると判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ３３）。そして、図１１のステップＳ１３に移行する。

このように動作するビデオカメラ１０では、従来においてパンまたはチルト操作時にスティック感が顕著となる光学ワイド側では、減衰係数Ｋが小さくなる。このため、光学ワイド側では、低周波数帯の揺れの補正の度合いが弱まるので、たとえ、パン・チルト状態の検出に失敗した場合でも、パン・チルト操作開始時のビデオカメラの動きの幾分かは補正されずに残り、スティック感は軽減される。

また、光学ワイド側であるほど、パンまたはチルト状態であると判定されやすくなるように、焦点距離Ｆに応じて各判定閾値ＴＨ１，ＴＨ２，ＴＨ３を変化させているため、光学ワイド側でのパンまたはチルト状態の検出感度が高くなり、光学ワイド側においてスティック感は軽減される。

従って、従来に比べて、光学ワイド側での操作性が向上し（カクカクした動きが低減され）、全ズーム領域で良好な操作性をもつ手ぶれ補正が可能となる。

図１４は、光学ワイド端において、実際の状態が手ぶれ状態からパン状態へ変化した場合のフレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示している。

図１４（ａ）は手ぶれ補正を行わない場合の構図の移動量を示し、図１４（ｂ）は従来技術（減衰係数Ｋ＝０．９５に固定）により手ぶれ補正を行った場合の構図の移動量を示し、図１４（ｃ）は本実施例（減衰係数０．９）により手ぶれ補正を行った場合の構図の移動量を示す。

期間Ｔ１に示すように実際の状態が手ぶれ状態である場合には、ビデオカメラ１０においても「手ぶれ状態」であると判定され、従来技術（図１４（ｂ））ではＫ＝０．９５により、本実施例（図１４（ｃ））ではＫ＝０．９により、手ぶれ補正が行われる。本実施例（図１４（ｃ））では減衰係数Ｋが小さいので補正残り率が比較的高い。

そして、期間Ｔ２に示すように、実際の状態が手ぶれ状態からパン状態に変化すると、変化後においても初めは「手ぶれ状態」と判定されているため、手ぶれ補正が行われているが、その後、「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件、第２の遷移条件または第３の遷移条件のいずれかの条件が満たされ、ビデオカメラ１０による判定結果が「手ぶれ状態」から「パンまたはチルト状態」に遷移する。その結果、手ぶれ補正が行われなくなり、補正後の構図の動きは、手ぶれ補正を行わない場合と等しくなる。

実際の状態が手ぶれ状態からパン状態に変化した後から、ビデオカメラ１０による判定結果が「手ぶれ状態」から「パンまたはチルト状態」に遷移するまでの間において、従来技術（図１４（ｂ））では減衰係数Ｋが大きく、低周波成分の揺れまで強く補正するため、パン操作開始時の緩やかな立ち上がりがほとんどなくなってしまい、スティック現象が顕著となるとともに、「パンまたはチルト状態」への遷移直後に急激に画面が動くといった現象が顕著になる。一方、本実施例（図１４（ｃ））では減衰係数Ｋが小さく、低周波成分の揺れに対する補正の度合いが弱いため、パン操作開始時の緩やかな立ち上がりは幾分残り、スティック現象は軽減される。

図１５は、光学テレ端において、実際の状態が手ぶれ状態からパン状態へ変化した場合のフレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示している。

図１５（ａ）は手ぶれ補正を行わない場合の構図の移動量を示し、図１５（ｂ）は従来技術および本実施例（減衰係数Ｋ＝０．９５）により手ぶれ補正を行った場合の構図の移動量を示す。

期間Ｔ１に示すように実際の状態が手ぶれ状態である場合には、図１５（ｂ）に示すように、従来技術および本実施例では、「手ぶれ状態」であると判定され、Ｋ＝０．９５により、手ぶれ補正が行われる。そして、期間Ｔ２に示すように、実際の状態が手ぶれ状態からパン状態に変化すると、変化後においても初めは「手ぶれ状態」と判定されているため、手ぶれ補正が行われているが、その後、「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件、第２の遷移条件または第３の遷移条件のいずれかの条件が満たされ、ビデオカメラ１０による判定結果が「手ぶれ状態」から「パンまたはチルト状態」に遷移する。その結果、手ぶれ補正が行われなくなり、補正後の構図の動きは、手ぶれ補正を行わない場合と等しくなる。

実際の状態が手ぶれ状態からパン状態に変化した直後においては、「手ぶれ状態」と判定されているが、表示画面の動きは光学ワイド端に比べ、光学テレ端の方がはるかに大きく、瞬時に補正範囲を越えてしまうため、手ぶれ補正の効果がなくなるので、光学テレ端ではそもそもスティック感は少ない。

本実施例では、光学テレ側ではもともとスティック感は少ないため、従来技術と同様に大きな減衰係数で低周波の揺れまで十分に手ぶれ補正を行うことができ、光学ワイド側では減衰係数を小さくして、パンまたはチルト操作開始時の緩やかな立ち上がりがなくならないようにすることにより、スティック感を低減できる。

なお、動きベクトルは、代表点マッチング法を用いて求める以外に、たとえば角速度センサを用いて求めてもよい。また、手ぶれ補正は画像メモリの切り出し位置を制御する以外に、例えば、レンズ角度、レンズ位置または受光素子の位置を制御してもよい。

ビデオカメラの電気的構成を示すブロック図である。 動き検出回路の電気的構成を示すブロック図である。 映像エリア内に設定される複数の動きベクトル検出領域を示す模式図である。 図３の各動きベクトル検出領域内の小領域内に設定された複数のサンプリング点と、１つの代表点とを示す模式図である。 フレームメモリと切り出し枠との関係を示す模式図である。 ビデオカメラを右方向に移動したときのフレームメモリと切り出し枠との関係を示す模式図である。 積分ベクトルと切り出し枠との関係を示す模式図である。 手ぶれ補正範囲を説明するための模式図である。 手ぶれ補正範囲を越えた場合の処理を説明するための模式図である。 減衰係数による揺れ周波数と補正残り率の関係を示すグラフである。 １フレーム毎に行われるビデオカメラ１０の動作を示すフローチャートである。 図１１のステップＳ１０の第１の状態判定処理の手順を示すフローチャートである。 図１１のステップＳ１１の第２の状態判定処理の手順を示すフローチャートである。 光学ワイド端において、実際の状態が手ぶれ状態からパン状態へ変化した場合のフレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示すグラフである。 光学テレ端において、実際の状態が手ぶれ状態からパン状態へ変化した場合のフレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示すグラフである。

符号の説明

１０ ビデオカメラ
１１ レンズ
１２ 固体撮像素子
１３ カメラ回路
１４ Ａ／Ｄ変換器
１５ フレームメモリ
１６ 電子ズーム回路
１８ 動き検出回路
１９ 焦点距離検出回路
２０ マイクロコンピュータ
２１ メモリ制御回路
１９ 焦点距離検出回路

Claims (7)

1. ズーム倍率に応じた値を検出するズーム検出手段、
   画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、ズーム検出手段によって検出されたズーム倍率に応じた値とに基づいて、画像の揺れを補正するための補正量であって、揺れの周波数に対する補正残り率の特性が変更可能な補正量を生成する補正量生成手段を備えており、
   補正量生成手段は、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする手ぶれ補正装置。
2. 補正量生成手段は、ズーム倍率が大きいほど、揺れの低周波数帯に対する補正の度合いが強くなるように、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする請求項１に記載の手ぶれ補正装置。
3. ズーム倍率に応じた値を検出するズーム検出手段、
   画像の揺れを検出する揺れ検出手段、
   撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、 状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、ズーム検出手段によって検出されたズーム倍率に応じた値とに基づいて、画像の揺れを補正するための補正量であって、揺れの周波数に対する補正残り率の特性が変更可能な補正量を生成する第１の補正量生成手段、ならびに
   状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像の揺れを補正するための補正量を、１フレーム前の補正量とする第２の補正量生成手段を備えており、
   第１の補正量生成手段は、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする手ぶれ補正装置。
4. 補正量生成手段は、ズーム倍率が大きいほど、揺れの低周波数帯に対する補正の度合いが強くなるように、揺れの周波数に対する補正残り率の特性を変更させることを特徴とする請求項３に記載の手ぶれ補正装置。
5. 状態判別手段は、以下のいずれかの条件（ａ），（ｂ），（ｃ）が満たされたときに、撮影者の意図的なカメラ運動による揺れ状態と判別することを特徴とする請求項３および４のいずれかに記載の手ぶれ補正装置。
   （ａ）揺れ検出手段によって検出された揺れの方向が同じ方向であるフレームが連続しておりその連続回数が第１閾値以上であること
   （ｂ）第１の補正量生成手段によって生成された補正量が補正範囲の限界値以上であるフレームが連続しており、その連続回数が第２閾値以上であること
   （ｃ）揺れ検出手段によって検出された揺れの方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する揺れの積分値が画角の第３閾値以上の割合であること
6. 状態判別手段は、第１閾値、第２閾値および第３閾値を、ズーム検出手段によって検出されたズーム倍率に応じた値に応じて制御する閾値制御手段を含んでいることことを特徴とする請求項５に記載の手ぶれ補正装置。
7. 閾値制御手段は、ズーム倍率が小さいほど、第１閾値、第２閾値および第３閾値が小さくなるように、第１閾値、第２閾値および第３閾値を制御することを特徴とする請求項６に記載の手ぶれ補正装置。

Images