JP6108940B2 - 像振れ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、パンニング動作を考慮した像振れ補正を行うことで、一定速に近い滑らかなパンニングを実現する技術に関するものである。

動画撮影において、滑らかなパンニング動作は、常に要求されるカメラワークの一つである。しかし、手持ち撮影の場合、あるいは三脚設置状態でも手動でパンニングを行った場合には、手の動きを一定の速度で動かすことは不可能であり、滑らかで一定速に近いパンニングを行うことは非常に困難であった。

近年、ビデオカメラなどの動画像を撮影する撮像装置において、手振れに起因する像振れの補正は必須の機能となっている。パンニング動作に関連した像振れ補正技術についても、パンニング方向に対して垂直な方向の像振れを補正する方法など、多く提案されている（例えば、特許文献１参照）。

特開２００６−１１５３２２号公報

しかしながら、上記の従来技術における像振れ補正方法では、パンニング方向に対して垂直な方向の像振れを補正することはできるが、パンニング方向と同方向（水平な方向）の像振れは補正できない。従って、撮影者のパンニング操作に対して、滑らかで一定速に近いパンニング動作を実現することが困難であるという問題があった。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、像振れ補正を行いつつも、一定速に近い滑らかなパンニング動作を実現することである。

本発明に係わる像振れ補正装置は、装置の振れを検出する振れ検出手段と、撮影画像の振れを補正する像振れ補正手段と、前記振れ検出手段の検出結果に基づいて、パンニング動作が実行されているか否かを検出するパンニング検出手段と、前記パンニング動作の目標速度を設定する速度設定手段と、前記速度設定手段で設定した目標速度と前記振れ検出手段で検出した振れの速度に基づいて前記像振れ補正手段の補正量を算出する算出手段と、前記パンニング検出手段により、前記パンニング動作が実行されていることが検出された場合に、前記算出手段で算出した補正量に基づいて前記像振れ補正手段の動きを制御する制御手段と、事前の操作に基づいて前記パンニング動作の目標速度を算出し、予め記憶手段に初期速度として記憶させる初期速度設定手段と、を備え、前記速度設定手段は、前記パンニング検出手段により前記パンニング動作が実行されていることを検出した直後は、前記初期速度設定手段により前記記憶手段に記憶させた前記初期速度を前記パンニング動作の目標速度として設定することを特徴とする。

本発明によれば、像振れ補正を行いつつも、一定速に近い滑らかなパンニング動作を実現することが可能となる。

本発明の第１の実施形態における撮像装置のシステム構成を示すブロック図である。 第１の実施形態における一定速パンニング動作の制御処理を示すフローチャートである。 第１の実施形態における一定速パンニング動作時の速度演算をベクトル化して示した概念図である。 第２の実施形態における撮像装置のシステム構成を示すブロック図である。 第３の実施形態における撮像装置のシステム構成を示すブロック図である。

以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における撮像装置のシステム構成を示すブロック図である。図１において、変倍レンズ群１（ズームレンズ）は焦点距離を変えて変倍を行う。像振れ補正レンズ群２（シフトレンズ）は光軸と垂直な方向に動いて像振れ（撮影画像の振れ）を補正する。また、焦点調整レンズ群３（フォーカスレンズ）は焦点調節機能と変倍による焦点面の移動を補正するいわゆるコンペ機能を兼ね備えている。撮像素子４はレンズ群１，２，３を通して結像された被写体像を光電変換して画像信号を生成する。撮像素子４は、例えばＣＣＤやＣＭＯＳセンサなどが用いられる。カメラ信号処理回路５は、アナログ信号処理回路とデジタル信号処理回路からなる。カメラ信号処理回路５のアナログ信号処理回路は撮像素子４で得られた信号に所定の処理を施してアナログ撮像信号を生成する回路である。そして、アナログ信号処理回路は、例えばＣＤＳ（co-related double sampling：相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control）回路等から構成されている。カメラ信号処理回路５のデジタル信号処理回路は、Ａ／Ｄ変換器によりアナログ撮像信号をデジタル信号に変換し、ガンマ補正処理、ホワイトバランス処理等、所定の信号処理を施したデジタル映像信号を生成する。

レコーダ部６は、記録媒体（メモリカード、ハードディスク、ＤＶＤ、磁気テープなど）に映像信号を記録する記録装置、映像信号を出力表示する表示装置（液晶パネルやビューファインダなど）、及びそれらの制御回路などが含まれる。

また、像振れ補正機構の構成として、角速度検出器１１，１２は、例えば振動ジャイロセンサ等の角速度センサである。角速度検出器１１及び１２はそれぞれ異なった検出軸を持つ。本実施例においては、角速度検出器Ｙ１１はヨー方向（Ｙａｗ方向）の振れを検出し、角速度検出器Ｐ１２はピッチ方向（Ｐｉｔｃｈ方向）と振れを検出するものとする。増幅器（アンプ）１３及び１４は角速度検出器Ｙ（Ｙａｗ方向）１１，角速度検出器Ｐ（Ｐｉｔｃｈ方向）１２から出力された撮影時の撮像装置の振れを示す角速度信号を増幅して出力する。ハイパスフィルタ（ＨＰＦ）１５及び１６は、カットオフ周波数を変更するなどして周波数特性を変更し得る機能を有しており、増幅器Ｙ１３及び増幅器Ｐ１４にて増幅された角速度信号に含まれる低周波成分を遮断して出力する。積分器１７及び１８は、ハイパスフィルタ（ＨＰＦ）１５及び１６から出力された角速度信号を積分することにより角変位量を得る。

移動検出部としてのパンニング検出部１９は、積分器Ｙ１７から出力されるＹａｗ方向の角変位量（角速度検出器１１の検出結果）に基づいて、撮像装置の一定方向への画角移動動作であるパンニングの判定を行う。チルティング検出部２０は、積分器１８から出力されるＰｉｔｃｈ方向の角変位量に基づいてチルティングの判定を行う。パンニング速度設定部２１は、Ｙａｗ方向のパンニング速度を設定する。また、パンニング速度設定部２１は、角速度検出器１１の出力結果からパンニング目標速度Ｖｔを推定して設定する。また、パンニング速度設定部２１は角変位量の時間変化から検出速度Ｖを算出する。さらに、パンニング速度設定部２１は、検出速度Ｖとパンニング目標速度Ｖｔとの差分から補正速度Ｖｃを算出する。チルティング速度設定部２２は、Ｐｉｔｃｈ方向のチルティング速度を設定する。また、チルティング速度設定部２２はパンニング速度設定部２１と同様にパンニング目標速度Ｖｔの推定、検出速度Ｖの算出、および補正速度Ｖｃの算出を行う。Ｙａｗ方向の制御目標値生成部２３は、積分器Ｙ１７から出力される角変位量とパンニング速度設定部２１から出力されるパンニング速度とに基づいてシフトレンズ２の補正目標値を算出する。Ｐｉｔｃｈ方向の制御目標値生成部２４は、積分器Ｐ１８から出力される角変位量とチルティング速度設定部２２から出力されるチルティング速度とに基づいてシフトレンズ２の補正目標値を算出する。駆動部３１，３２は制御目標値生成部２３及び２４より得られた補正目標値に基づきシフトレンズ２を駆動するための駆動回路である。

次に、振れ検出から像振れ補正までの動作を説明する。まず、角速度検出器Ｙ１１及び角速度検出器Ｐ１２によってカメラの振れが検出される。制御目標値生成部２３，２４は、検出された振れに対して、各軸ごとに角速度検出器Ｙ１１及び角速度検出器Ｐ１２の各検出方向に一致する像振れ補正目標値を求める。駆動部３１，３２は、像振れ補正目標値信号に従ってＹａｗ方向とＰｉｔｃｈ方向にシフトレンズ２を駆動制御する。これによって、光学的な像振れ補正が可能となる。

ここで、角速度検出器Ｙ１１及び角速度検出器Ｐ１２の検出軸を、レンズ群１，２，３の光軸に直交する一平面上で互いに直交した軸となるように配置する。これにより、カメラの左右方向の回転振れ（Ｙａｗ）およびカメラの上下方向の回転振れ（Ｐｉｔｃｈ）を補正することができる。

Ｙａｗ制御目標値生成回路２３は、角速度検出器Ｙ１１の振れ信号に基づいてＹａｗ方向の像振れ補正量を算出する。そして、Ｙａｗ駆動回路３１は、角速度検出器Ｙ１１の検出軸方向と同一の補正軸方向にシフトレンズ２を駆動してＹａｗ方向の像振れ補正を行う。。また同様に、Ｐｉｔｃｈ制御目標値生成回路２４は、角速度検出器Ｐ１２の振れ信号に基づいてＰｉｔｃｈ方向の像振れ補正量を算出する。そして、Ｐｉｔｃｈ駆動回路３２は、角速度検出器Ｐ１２の検出軸方向と同一の補正軸方向にシフトレンズ２を駆動してＰｉｔｃｈ方向の像振れ補正が行われる。

次に、カメラを水平方向に振るパンニング時の動作について説明する。なお、カメラを垂直方向に振るチルティングの動作については、カメラを振る方向が異なるだけで図１におけるＹａｗとＰｉｔｃｈの軸を入れ替えればパンニングと同様に処理できる。そのため、以下ではパンニング動作を例として説明し、チルティング動作についての説明は省略する。

図２は、一定速度のパンニング動作を実現するための処理を示すフローチャートである。本フローは、所定の周期（例えば角速度センサの検出周期など）で繰り返し実行される。また、像振れ補正がＯＮの時に限定しても良い。

まず、ステップＳ１００１においては、角速度検出器１１は、振れの角速度を検出する。次にステップＳ１００２において、積分器１７は、振れの角速度を積分演算することによって角変位量を算出する。次にステップＳ１００３において、パンニング速度設定部２１は角変位量の時間変化から検出速度Ｖを算出する。次にステップＳ１００４において、パンニング検出部１９は、角変位量からパンニング判定を行う。ステップＳ１００４においては、パンニング検出部１９は、角変位量が同方向に変化しているか否かを判別すればよい。

ステップＳ１００４で、パンニング検出部１９によって装置がパンニング操作さていると判定された場合はステップ１００５へ進み、パンニングでないと判断された場合はステップ１００６へ進む。ステップ１００５では、パンニング速度設定部２１は、角速度検出器１１の出力結果からパンニング目標速度Ｖｔを推定して設定する。ステップ１００６では、パンニング目標速度Ｖｔを０と設定する。

次にステップ１００７では、パンニング速度設定部２１は、ステップ１００３で算出した検出速度Ｖとステップ１００５（あるいはステップ１００６）で設定したパンニング目標速度Ｖｔとの差分から補正速度Ｖｃを算出する。ステップ１００８では、制御目標値生成部２３は、ステップ１００７で算出した補正速度Ｖｃから補正目標位置を求め、シフトレンズを補正する。

図３は、一定速度のパンニング動作を実現するための補正速度をベクトル化して示した概念図である。点線で示すベクトルは検出速度Ｖである。一点鎖線で示すベクトルは、一定速のパンニングを実現するための目標速度Ｖｔである。そして、実線で示すベクトルが、補正速度Ｖｃである。この時、補正速度Ｖｃは次の演算式によって求めることができる。

Ｖｃ＝Ｖｔ−Ｖ …（１）
すなわち、一定のパンニング目標速度からセンサ検出した検出速度を引いて補正速度を求めることができる。目標速度Ｖｔに対して検出速度Ｖが小さければ、シフトレンズ２の動きを速めるようにパンニングをさらに進める方向にシフトレンズ２を駆動する。逆に、目標速度Ｖｔに対して検出速度Ｖが大きければ、シフトレンズ２の動きを抑えるようにパンニングを遅くする方向にシフトレンズ２を駆動する。

次に、上記のステップＳ１００５におけるパンニング目標速度Ｖｔの推定方法について説明する。パンニング目標速度Ｖｔは、撮影者の意図した画角変化の速度であることが理想的である。そこで、角速度検出器１１で検出された角速度に基づいた角変位量から、所定時間の平均値などを求めて速度を推定すれば良い。

一つ目の方法として、パンニングの速度を一定に保つには、パンニング動作開始後の所定時間（例えば０．５秒など）の移動速度の平均値を算出し、算出した速度をパンニング動作中の目標速度Ｖｔ として固定設定する。このようにすれば、パンニング動作継続中は常に同一速度が目標速度となり一定速度のパンニング動作が可能となる。

二つ目の方法としては、パンニング動作開始後だけでなく、随時所定時間の平均値を算出し、周期的（例えば０．５秒ごとなど）に目標速度Ｖｔを更新設定する。このようにすれば、撮影者のパンニング動作に速度変化が生じても、常にその速度変化に素早く追従し、かつ平滑化された一定速度でパンニング動作が可能となる。

三つ目の方法としては、随時所定時間の平均値を算出した上で、目標速度更新に対するしきい値を設けておき、算出した平均速度の変化がそのしきい値以上となったならば目標速度Ｖｔを更新設定する。上記の一つ目の方法では固定の目標速度、二つ目の方法では周期的に変更可能な目標速度とした。それに対し、この三つ目の方法では、平均値を算出した速度推定結果が大きな変化を生じない間は固定の目標速度となり、大きな変化が生じたときだけ目標速度を更新することができる。このようにすれば、撮影者のパンニング動作に速度変化が生じても、基本的には一定速度でのパンニング動作が可能である上、大きなパンニング速度変化にも追従性を持たせることができる。なお、上記平均値を算出する所定時間は固定時間でも良いし、パンニング速度に応じて平均値算出の時間を変更してもよい。

次に、パンニング時の像振れ補正制御について説明する。パンニングを行った場合、カメラを振った方向には一定速度で動くことが望ましいが、カメラを振った方向（カメラの移動方向）とは垂直な方向（例えば、Ｙａｗ方向にカメラを振った場合のＰｉｔｃｈ方向）は像振れが抑えられることが望ましい。そこで、パンニングが検出された方向（カメラの移動方向と平行な方向）はパンニングの目標速度に応じて補正量を算出するが、パンニングが検出された方向とは垂直な方向は、パンニングとは判断せずに検出された振れをできるだけすべて補正するように補正制御する。

上記のように、本実施形態に示したシステムは、パンニング（あるいはチルティング）動作時に検出される角変位量に基づいてパンニング目標速度を推定し、一定速度で画面が動くように、目標速度から検出速度を引いた補正速度分を補正する。これにより、撮影者の手動によるパンニング操作に対して、滑らかで一定速に近いパンニング動作を実現することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、検出した角変位量の平均値からパンニング目標速度を推定してパンニング補正する方法について説明した。本実施形態では、パンニング目標速度を別の方法で決定する例について説明する。

なお、下記に示す方法においても、第１の実施形態で説明した図１のシステム構成を基本として実現できる。また、一定速度のパンニング動作も、図２のフローに基づいた動作で実現でき、図２のステップＳ１００５におけるパンニング目標速度の具体的な決定方法が異なるだけである。

第１の実施形態において説明したように、パンニング目標速度は撮影者の意図した画角変化の速度であることが理想的ではある。しかし、手持ち撮影であったり三脚の手動操作であると、撮影者が思い通りの画角変化となるように操作することは困難であり、撮影者の意図した速度を推定することは難しい。逆に考えれば、角速度センサから検出した角変位量は撮影者の意図した速度を反映していないことが多いと言える。

一方、動いている被写体を追従させて撮影しているシーンを考えれば、撮影者は追従している被写体が画面に収まるようにカメラを動かしているはずである。そこで、画像の動きベクトルを算出して、画面内に検出される被写体が画面の中央になるように目標速度及び補正速度を算出しても良い。

図４は、本実施形態において上記を実現するためのシステム構成を示すブロック図である。基本的には図１に示したシステム構成と同じであるが、異なる点は、動きベクトル検出回路７を備えることである。動きベクトル検出回路７は、カメラ信号処理回路６から出力される映像信号に基づいてフレーム間の動きベクトルを検出する。検出した動きベクトルは、パンニング速度設定回路２１及びチルティング速度設定回路２２に入力される。速度設定回路２１及び２２は、入力された動きベクトルに基づいてパンニング及びチルティングの速度を決定する。

上記のように、本実施形態に示したシステムは、パンニング（あるいはチルティング）動作時に検出される動きベクトルに基づいてパンニング（あるいはチルティング）目標速度を算出する。そして、一定速度で画面が動くように、目標速度から検出速度を引いた補正速度分を補正する。これにより、撮影者の手動によるパンニング操作に対して、滑らかで一定速度に近いパンニング動作を実現することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では、第１の実施形態及び第２の実施形態で説明した方法とは異なる方法で、パンニング目標速度を決定する例について説明する。

なお、下記に示す方法においても、第１の実施形態で説明した図１のシステム構成を基本として実現できる。また、一定速度のパンニング動作も、図２のフローに基づいた動作で実現でき、図２のステップＳ１００５におけるパンニング目標速度の具体的な決定方法が異なるだけである。

パンニング動作は、カメラを静止させている状態から撮影者が意図的に急にカメラを動かす撮影方法であり、どのタイミングでカメラが動かされるかは、撮影者にしかわからない。またさらに、パンニングの速度についても撮影者の意図によって決まり、推定することは困難である。

そこで、本実施形態では、予め複数の目標速度の初期値（例えば、高速パン、中速パン、低速パン、超低速パンなど）を記憶しておき、パンニング検出直後はその初期値のうちのいずれかを目標速度として初期設定する（初期速度設定）。その後、パンニング操作の経過中は、初期設定した目標速度を固定速度として継続して使用してもよいし、上記第１の実施形態に記載の方法と同様に、ユーザ動作に合わせて角変位量の平均値などから目標速度を推定して逐次更新してもよい。

図５は、本実施形態において上記を実現するためのシステム構成を示すブロック図である。基本的には図１に示したシステム構成と同じであるが、異なる点は、初期速度記憶回路８を備えることである。初期速度記憶回路８には、予めパンニング目標速度の初期値が記憶されている。パンニング検出回路１９あるいはチルティング検出回路２０でパンニング動作あるいはチルティング動作が検出されたときに、初期速度記憶回路８に記憶されているパンニング目標速度及びチルティング目標速度の初期値を読み出す。そして、パンニング速度設定回路２１及びチルティング速度設定回路２２において目標速度を決定する。

または、撮影リハーサルモードを備え、事前のリハーサルモードにおけるパンニング動作に基づいてパンニング目標速度の初期値を決定し、初期速度記憶回路８に記憶させてもよい。この場合は、撮影モードにて撮影が行われてパンニング検出した時に、初期値としてリハーサルモード時に記憶された初期速度を読み出す。

上記のように、本実施形態に示したシステムでは、パンニング（あるいはチルティング）動作時に予め記憶されている目標速度の初期値をパンニング目標速度（あるいはチルティング目標速度）として決定する。そして、一定速度で画面が動くように、目標速度から検出速度を引いた補正速度分を補正する。これにより、撮影者の手動によるパンニング操作に対して、滑らかで一定速度に近いパンニング動作を実現することができる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 装置の振れを検出する振れ検出手段と、
   撮影画像の振れを補正する像振れ補正手段と、
   前記振れ検出手段の検出結果に基づいて、パンニング動作が実行されているか否かを検出するパンニング検出手段と、
   前記パンニング動作の目標速度を設定する速度設定手段と、
   前記速度設定手段で設定した目標速度と前記振れ検出手段で検出した振れの速度に基づいて前記像振れ補正手段の補正量を算出する算出手段と、
   前記パンニング検出手段により、前記パンニング動作が実行されていることが検出された場合に、前記算出手段で算出した補正量に基づいて前記像振れ補正手段の動きを制御する制御手段と、
   事前の操作に基づいて前記パンニング動作の目標速度を算出し、予め記憶手段に初期速度として記憶させる初期速度設定手段と、を備え、
   前記速度設定手段は、前記パンニング検出手段により前記パンニング動作が実行されていることを検出した直後は、前記初期速度設定手段により前記記憶手段に記憶させた前記初期速度を前記パンニング動作の目標速度として設定することを特徴とする像振れ補正装置。
2. 前記算出手段は、前記速度設定手段で設定した目標速度と前記振れ検出手段で検出した振れの速度との差分に基づいて、前記像振れ補正手段の補正量を算出し、
   前記制御手段は、前記パンニング検出手段により、前記パンニング動作が実行されていることが検出された場合に、前記算出手段で算出した補正量に基づいて前記パンニング動作の速度が一定速度になるように前記像振れ補正手段の動きを制御することを特徴とする請求項１に記載の像振れ補正装置。
3. 前記制御手段は、前記パンニング動作における画角の移動方向と垂直な方向の撮影画像の振れに対して、前記振れ検出手段で検出した振れ量に基づいて前記像振れ補正手段の動きを制御することを特徴とする請求項１に記載の像振れ補正装置。
4. 前記振れ検出手段は、前記装置の振れの角速度を検出するジャイロセンサであり、前記速度設定手段は前記振れ検出手段で検出した角速度に基づいて求められた画角の移動速度の平均値に基づいて前記パンニング動作の目標速度を推定することを特徴とする請求項１に記載の像振れ補正装置。
5. 前記振れ検出手段は、撮影された画像信号から画像の動きベクトルを検出する動きベクトル検出手段であり、前記速度設定手段は前記動きベクトル検出手段により検出された動きベクトルに基づいて前記パンニング動作の目標速度を算出することを特徴とする請求項１に記載の像振れ補正装置。
6. 装置の振れを検出する振れ検出工程と、
   撮影画像の振れを補正する像振れ補正工程と、
   前記振れ検出工程の検出結果に基づいて、パンニング動作が実行されているか否かを検出するパンニング検出工程と、
   前記パンニング動作の目標速度を設定する速度設定工程と、
   前記速度設定工程で設定した目標速度と前記振れ検出工程で検出した振れの速度に基づいて前記像振れ補正工程の補正量を算出する算出工程と、
   前記パンニング検出工程により、前記パンニング動作が実行されていることが検出された場合に、前記算出工程で算出した補正量に基づいて前記像振れ補正工程の動きを制御する制御工程と、
   事前の操作に基づいて前記パンニング動作の目標速度を算出し、予め記憶手段に初期速度として記憶させる初期速度設定工程と、を備え、
   前記速度設定工程では、前記パンニング検出工程において前記パンニング動作が実行されていることを検出した直後は、前記初期速度設定工程において前記記憶手段に記憶させた前記初期速度を前記パンニング動作の目標速度として設定することを特徴とする像振れ補正装置の制御方法。
7. 請求項６に記載の制御方法をコンピュータに実行させるためのプログラム。
8. 請求項６に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images