JP5259172B2 - 手振れ補正制御回路およびそれを搭載した撮像装置 - Google Patents

Description

本発明は、手振れなどの振動を補正する機能を搭載する手振れ補正制御回路およびそれを搭載した撮像装置に関する。

デジタルスチルカメラやデジタルムービーカメラ（以下、総称して単にデジタルカメラと表記する）が一般のユーザにも広く普及してきている。カメラの取り扱いに不慣れなユーザは、撮影時に手振れをしやすく、それを補正するために様々な手法が提案されている。デジタルカメラの中には、携帯電話機の一機能として搭載されるものや、片手で握って撮影するスタイルのものもある。このような、片手の親指を使って撮影するスタイルの機器では、両手で撮影する一般的なスタイルのカメラ以上に手振れが生じやすいという傾向がある。

このような手振れを補正するための手法として、たとえば、光学式手振れ補正および電子式手振れ補正が実用化されている。光学式手振れ補正は、カメラの振動を検出する振動検出素子と、その振動によるブレを打ち消す方向にレンズの位置を動かす駆動素子によって、光軸を補正する手法である。電子式手振れ補正は、動画像における隣接するフレーム画像間で、特徴点などを検出することにより画像間の動きを特定し、その動きを打ち消すように撮像領域における切り出し位置を変化させる手法である。

特開平１０−２１３８３２号公報

光学式手振れ補正は一フレーム画像だけで補正が可能であるという利点がある。この点、電子式手振れ補正は動きを検出するために複数のフレーム画像が必要であり、一フレーム画像内に生じた手振れは補正できない。ただし、光学式手振れ補正はレンズの位置を補正するための機械的な駆動機構が必要であり、この消費電力の問題がある。

電子式手振れ補正は光学式手振れ補正と比較し、消費電力が少なくて済むという利点がある。ただし、補正がフレームレートに依存するという問題がある。フレームレートが低い場合、精度の高い補正が難しくなる。

このように光学式手振れ補正と電子式手振れ補正とはトレードオフの関係にある。
本発明はこうした状況に鑑みなされたものであり、その目的は、手振れなどの振動を高精度かつ低消費電力で補正することができる手振れ補正制御回路およびそれを搭載した撮像装置を提供することにある。

本発明のある態様の手振れ補正制御回路は、振動検出素子の出力信号に応じて光軸を補正する光学式手振れ補正部と、撮像素子により形成される撮像領域の画像信号のうち、有効領域を適応的に変化させる電子式手振れ補正部と、第１の撮像モードと第２の撮像モードとを切り替える制御部と、を備え、制御部は、第１の撮像モードと第２の撮像モードとの切り替わりにより、光学式手振れ補正部と電子式手振れ補正部のうち有効とするものを変化させるように制御する。

本発明によれば、手振れなどの振動を高精度かつ低消費電力で補正することができる。

図１は、本発明の実施の形態に係る撮像装置５００の構成を示すブロック図である。
撮像装置５００は、レンズ６０、駆動素子８０、位置検出素子７０、振動検出素子５０、光学式手振れ補正部２０、撮像素子１００、画像処理部２００、表示部３００および操作部４００を備える。

駆動素子８０は、レンズ６０を駆動する。位置検出素子７０は、レンズ６０の位置を検出する。振動検出素子５０は、撮像装置５００に加わる振動を検出する。
光学式手振れ補正部２０は、振動検出素子５０の出力信号に応じて駆動素子８０を制御することにより、レンズ６０の位置を補正する。駆動素子８０を制御するための信号として、振動検出素子５０の出力信号に応じて撮像装置５００の移動量を求め、その移動量を補正するための信号を生成することができる。この信号を、後述する制御部２２０に供給することもできる。光学式手振れ補正部２０の詳細な構成は後述する。

撮像素子１００は、レンズ６０を透過した光信号を電気信号に変換する。ＣＣＤセンサまたはＣＭＯＳイメージセンサを採用することができる。
画像処理部２００は、撮像素子１００から出力される画像信号を処理する。より具体的な構成として、画像処理部２００は信号処理部２１０および制御部２２０を含む。これらの構成はハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理プログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

制御部２２０は、信号処理部１１０に対し、撮像素子１００により形成される撮像領域の画像信号のうち、有効とすべき領域の画像信号を切り出すよう制御する。電子式手振れ補正を使用する場合、画像として表示または記録すべき有効画素数より、多くの画素数を持つ撮像領域が設けられる。上述した、有効とすべき領域の画像信号を切り出すとは、実際に撮像された画像信号のうち採用する領域の画像信号を有効とし、採用しない領域の画像信号を無効にする処理であってもよい。また、撮像領域を形成する複数の撮像素子のうち、採用する領域の撮像素子を有効とし、採用しない領域の撮像素子を無効にする処理であってもよい。

制御部２２０は、撮像モードを切り替える。たとえば、動画撮像モードと静止画撮像モードの場合がある。これらのモードは操作部４００からユーザ操作に起因して指定されることができる。たとえば、初期状態で動画撮像モードだったものが、操作部４００に含まれる静止画用のシャッターボタンが押下されると、静止画撮像モードに指定される。なお、静止画撮像モードには連写モードが含まれてもよい。また、動画撮像モードとは実際に記録すべく動画を撮像する場合であってもよいし、記録を目的とせず静止画の撮像に先立ちプレピューを表示部３００に表示する場合であってもよい。さらには、撮像モードの切り替えは、記録を目的としない動画撮像モードから記録を目的とする動画撮像モードへの切り替えであってもよい。要は、第１撮像モードとこれとは異なる第２の撮像モードへの切り替えであればよい。

たとえば、制御部２２０は、動画撮像モードのときレンズ６０の位置の補正処理を無効化し、かつ有効領域を適応的に変化させるよう制御し、静止画撮像モードのとき信号処理部２１０が有効領域を固定し、かつ駆動素子８０および光学式手振れ補正部２０による上記補正処理を有効化するよう制御する。すなわち、動画撮像モードのとき電子式手振れ補正を使用し、静止画撮像モードのとき光学式手振れ補正を使用する。

信号処理部２１０は、動画撮像モードのとき光学式手振れ補正部２０から撮像装置５００の移動量を補正するための信号を受け、その信号に基づいて切り出すべき領域を変化させることができる。すなわち、その移動量を打ち消すよう、有効領域を反対の方向に移動させる。なお、撮像装置５００の移動量は光学式手振れ補正部２０から取得する手法に限るものではなく、隣接する画像間で特徴点などを追跡することにより推定してもよい。

表示部３００は、信号処理部２１０により切り出された画像信号に基づいて、画像を表示する。制御部２２０は、静止画撮像モードに先立ち、動画撮像モードで撮像された動画をプレビューとして表示部３００に表示させるよう制御することもできる。

制御部２２０は、静止画撮像モードから動画撮像モードに切り替わるとき、撮像領域における有効領域を中央に移動させる。上述したように動画撮像モードでは、撮像領域において有効領域を適応的に移動させるため、上記切り替わりの際、有効領域を、初期処理として中央に移動させる処理を実行したほうがよい。これにより、動画撮像の再開時に最も補正範囲が広い位置に初期化される。

図２は、実施の形態に係る光学式手振れ補正部２０の構成を示すブロック図である。
光学式手振れ補正部２０は、第１イコライザ２４、第２イコライザ４０、ＡＤＣ２２およびＤＡＣ４６を有する。
第１イコライザ２４は、ＨＰＦ２６、パン・チルト判定回路２８、ゲイン調整回路３０、積分回路３２、センタリング処理回路３４およびゲイン調整回路３６を含む。第２イコライザ４０は、加算回路４２およびサーボ回路４４を含む。

以下、光学式手振れ補正部２０の構成および動作をより具体的に説明する。
前提として、振動検出素子５０は、ジャイロセンサ５０ａを採用することができる。以下、ジャイロセンサ５０ａを採用する例で説明する。以下、ジャイロセンサ５０ａは、撮像装置５００を持つユーザの手振れによる加速度を角速度として検出するものとする。位置検出素子７０は、ホール素子７０ａを採用することができる。以下、ホール素子７０ａを採用する例で説明する。駆動素子８０は、ボイスコイルモータ（ＶＣＭ）８０ａを採用することができる。以下、ＶＣＭ８０ａを採用する例で説明する。

ジャイロセンサ５０ａは、撮像装置５００のＸＹの２軸方向の角速度を検出する。ジャイロセンサによって得られたアナログの角速度信号は、図示しない増幅回路により増幅された後、ＡＤＣ（アナログデジタルコンバータ）２２に出力される。ＡＤＣ２２は、当該増幅回路により増幅された角速度信号をデジタルの角速度信号に変換する。ＡＤＣ２２から出力された角速度信号は、第１イコライザ２４に出力される。

第１イコライザ２４において、まず、ＡＤＣ２２から出力されたデジタルの角速度信号がＨＰＦ（ハイパスフィルタ）２６に入力される。ＨＰＦ２６は、ジャイロセンサ５０ａから出力された角速度信号のうち、手振れによる周波数成分より低い周波数成分を除去する。一般的に、手振れによる周波数成分は、１〜２０Ｈｚであるため、たとえば、角速度信号から０．７Ｈｚ以下の周波数成分が除去される。

パン・チルト判定回路２８は、ＨＰＦ２６が出力する角速度信号に基づいて、撮像装置５００のパン動作、チルト動作を検出する。パン・チルト判定回路２８は、一定期間連続して角速度信号が所定値以上となることを検出したときに、パン動作中またはチルト動作中であると判定する。なお、被写体の移動などに応じて撮像装置５００を水平方向に動かすことをパン動作といい、垂直方向に移動させることをチルト動作という。

ゲイン調整回路３０は、パン・チルト判定回路２８の判定結果に応じて、ＨＰＦ２６から出力される角速度信号の増幅率を変更する。たとえば、パン動作中またはチルト動作中でない場合には、ゲイン調整回路３０はＨＰＦ２６が出力する角速度信号の強度を維持するようなゲイン調整を行う。また、パン動作中またはチルト動作中の場合には、ゲイン調整回路３０は、ＨＰＦ２６が出力する角速度信号の強度を減衰して出力が０となるようなゲイン調整を行う。

積分回路３２は、ゲイン調整回路３０が出力した角速度信号を積分して、撮像装置５００の移動量を示す振動成分信号を生成する。たとえば、積分回路３２は、図示しないデジタルフィルタを含んで構成することが好適であり、図示しないレジスタに設定されたフィルタ係数に応じたフィルタ処理を行うことによって角度信号、つまり撮像装置５００の移動量を求める。

撮像装置５００において手振れ補正処理を行う場合、補正処理を継続して実行するうちにレンズ６０の位置が基準位置から徐々に離れていき、レンズ６０の可動範囲の限界点付近に達する場合がある。このとき、手振れ補正処理を継続すると、レンズ６０はある一方の方向には移動できるが、他方には移動できなくなる。センタリング処理回路３４はこれを防止するために設けられるものである。

センタリング処理回路３４から出力された振動成分信号は、ゲイン調整回路３６によりホール素子７０ａの出力信号の範囲に調整される。ゲイン調整回路３６によって調整された振動成分信号は、第２イコライザ４０に出力される。

ホール素子７０ａは、ホール効果を利用した磁気センサであり、レンズ６０のＸおよびＹ方向の位置検出素子として機能する。ホール素子７０ａによって得られたレンズ６０の位置情報を含むアナログの位置信号は、図示しない増幅回路により増幅された後、ＡＤＣ２２に出力される。ＡＤＣ２２は、当該増幅回路により増幅されたアナログの位置信号をデジタルの位置信号に変換する。なお、ＡＤＣ２２は、上記アナログの角速度信号および上記アナログの位置信号を時分割でデジタルの信号に変換する。

ＡＤＣ２２から出力された位置信号は、第２イコライザ４０に出力される。第２イコライザ４０において、まず、ＡＤＣ２２から出力された位置信号は、加算回路４２に入力される。また、加算回路４２には、ゲイン調整回路３６によって調整された振動成分信号が入力される。加算回路４２は、入力された位置信号と振動成分信号とを加算する。加算回路４２から出力された信号は、サーボ回路４４に出力される。サーボ回路４４は、加算回路４２からの出力信号に応じて、ＶＣＭ８０ａの駆動を制御する信号を生成する。なお、サーボ回路４４において、サーボ制御用のデジタルフィルタを用いたフィルタ処理が行われてもよい。

サーボ回路４４から出力されたＶＣＭ駆動信号は、ＤＡＣ（デジタルアナログコンバータ）４６によりデジタル信号からアナログ信号に変換される。アナログのＶＣＭ駆動信号は、図示しない増幅回路により増幅された後、ＶＣＭ８０ａに出力される。ＶＣＭ８０ａは、ＶＣＭ駆動信号に基づいてレンズ６０のＸおよびＹ方向の位置を移動させる。

ここで手振れがない場合と手振れがある場合の本実施の形態の撮像装置５００の動作について説明する。

（手振れがない場合の動作）
手振れのない場合には、撮像装置５００に角速度が生じないため、第１イコライザ２４の出力する信号は“０”となる。ＶＣＭ８０ａによって駆動されるレンズ６０の位置は、その光軸と撮像装置５００に備えられる撮像素子１００の中心とが一致するため、ホール素子７０ａからのアナログの位置信号は、ＡＤＣ２２により“０”を示すデジタルの位置信号に変換された後、第２イコライザ４０に出力される。よって、サーボ回路４４は、現在のレンズ６０の位置を維持するようにＶＣＭ８０ａを制御する信号を出力する。

また、レンズ６０の光軸と撮像素子１００の中心とが一致しない場合、ホール素子７０ａからのアナログの位置信号は、ＡＤＣ２２により“０”と異なる値を示すデジタルの位置信号に変換された後、第２イコライザ４０に出力される。サーボ回路４４は、ＡＤＣ２２の出力するデジタルの位置信号の値に応じて、位置信号の値が“０”となるようにＶＣＭ８０ａを制御する。

このような動作を繰り返すことによって、レンズ６０の光軸と撮像素子１００の中心とが一致するように、レンズ６０の位置が制御される。

（手振れがある場合の動作）
ＶＣＭ８０ａによって駆動されるレンズ６０の位置は、その光軸と撮像素子１００の中心とが一致するため、ホール素子７０ａからのアナログの位置信号は、ＡＤＣ２２により“０”を示すデジタルの位置信号に変換された後、第２イコライザ４０に出力される。

一方、手振れによって撮像装置５００が移動するため、積分回路３２およびセンタリング処理回路３４は、ジャイロセンサ５０ａで検出された角速度信号に基づいて、撮像装置５００の移動量を示す振動成分信号を出力する。

サーボ回路４４は、ＡＤＣ２２が出力する“０”を示す位置信号と、センタリング処理回路３４が出力する振動成分信号と、を加算した信号に応じて、ＶＣＭ８０ａの駆動信号を生成する。このとき、位置信号は“０”であるにも関わらず、“０”でない振動成分信号が加算されているため、サーボ回路４４はレンズ６０を移動させる補正信号を生成する。

なお、本実施の形態の手振れ補正は、撮像素子から出力される画像信号を一度メモリに読み込み、次の画像との比較から手振れの要素を排除する、いわゆる電子式手振れ補正ではなく、上述のとおり、レンズを光学的にシフトさせるレンズシフト方式などのような光学式手振れ補正である。

したがって、電子式手振れ補正機構を採用した場合に生じる課題、即ち、予め大きめにとった画像をトリミングすることに起因する画質の低下や、ＣＣＤサイズなどの撮像素子サイズの制約による補正範囲や撮像倍率の限界があること、さらには、１コマ１コマの静止画の触れが補正できないという課題を光学式手振れ補正は解決できるという効果を有する。特に、高画質ビデオの映像から静止画を取り出す場合は、光学式手振れ補正が有効である。

サーボ回路４４が出力する補正信号に基づいて、ＶＣＭ８０ａはレンズ６０を移動させるため、撮像素子１００は手振れによる被写体のぶれを抑制した信号を得ることができる。このような制御を繰り返すことによって、手振れ補正制御が実現される。

図３は、実施の形態に係る、静止画撮像モードにおける撮像領域６００と有効領域７００を示す図である。静止画撮像モードでは、信号処理部２１０から表示部３００または図示しないエンコーダなどに出力される、画像信号の有効領域７００は、動画撮像モードから静止画撮像モードへ切り替わる際の最後の動画像の有効領域を出力させるのが好適である。すなわち、このモードでは光学式手振れ補正を行う。これにより、動画像と静止画像との間で有効領域のずれが生じにくい。

図４は、実施の形態に係る、動画撮像モードにおける撮像領域６００と有効領域７００を示す図である。動画撮像モードでは、光学式手振れ補正部２０から供給される撮像装置５００の移動量情報（図４では、動きベクトルＭＶとして描いている）に基づいて、信号処理部２１０から出力される、画像信号の有効領域７００を適応的に変更する。すなわち、このモードでは電子式手振れ補正を行う。

以上説明したように本実施の形態によれば、動画撮像モードでは電子式補正を使用し、静止画モードでは光学式補正を使用することにより、手振れなどの振動を高精度かつ低消費電力で補正することができる。また、電子式補正をする際、光学式手振れ補正部２０により解析された移動量情報を使用することにより、画像処理に係る演算量を低減することができる。すなわち、画像間の特徴点などを比較して、動きを推定するための演算を省略することができる。

とくに、本実施の形態は静止画撮像前のプレビューに適用することが有効である。電子式補正は精度を十分確保できないときがあるが、プレビュー用の補正としては十分であり、駆動素子８０を使用しないことによる消費電力低減の利点のほうが大きい。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

なお、以上の実施の形態では、振動検出素子５０、位置検出素子７０および駆動素子８０はそれぞれジャイロセンサ、ホール素子およびボイスコイルモータとしたが、本発明はそれに限られるものではない。たとえば、振動検出素子５０は直線方向の加速度を検出するセンサを用いて、加速度信号に基づいて撮像装置５００の振動を検出する構成にすることができる。また、駆動素子８０はピエゾ素子やステッピングモータなどを用いることができる。位置検出素子７０はＭＲ素子またはフォトスクリーンダイオードなどを用いることができる。

上述した実施の形態では、動画撮像モードから静止画撮像モードへの切り替えの例を説明したが、第１の撮像モードからこれとは異なる第２の撮像モードへの切り替えの際に、電子式手振れ補正と光学式手振れ補正とを切り替えるものであればよい。また、撮像モードの切り替えがない場合であっても、ユーザの選択により、電子式手振れ補正と光学式手振れ補正を選択可能な構成としてもよい。さらには、電子式手振れ補正のみ選択した状態と、光学式手振れ補正および電子式手振れ補正の両者を選択した状態とを切り替えてもよい。両者を選択することで、手振れ補正精度をさらに向上させることが可能となる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 実施の形態に係る光学式手振れ補正部の構成を示すブロック図である。 実施の形態に係る、静止画撮像モードにおける撮像領域と有効領域を示す図である。 実施の形態に係る、動画撮像モードにおける撮像領域と有効領域を示す図である。

符号の説明

２０ 光学式手振れ補正部、 ２２ ＡＤＣ、 ２４ 第１イコライザ、 ２６ ＨＰＦ、 ２８ パン・チルト判定回路、 ３０ ゲイン調整回路、 ３２ 積分回路、 ３４ センタリング処理回路、 ３６ ゲイン調整回路、 ４０ 第２イコライザ、 ４２ 加算回路、 ４４ サーボ回路、 ４６ ＤＡＣ、 ５０ 振動検出素子、 ６０ レンズ、 ７０ 位置検出素子、 ８０ 駆動素子、 １００ 撮像素子、 ２００ 画像処理部、 ２１０ 信号処理部、 ２２０ 制御部、 ３００ 表示部、 ４００ 操作部、 ５００ 撮像装置。

Claims (4)

1. 振動検出素子の出力信号に応じて光軸を補正する光学式手振れ補正部と、
   撮像素子により形成される撮像領域の画像信号のうち、有効領域を適応的に変化させる電子式手振れ補正部と、
   動画像を撮像して実際に記録する第１の撮像モードと、静止画を撮像して記録する第２の撮像モードとを切り替える制御部と、を備え、
   前記制御部は、前記第１の撮像モードのとき前記光学式手振れ補正部を無効にするとともに前記電子式手振れ補正部を有効にし、前記第２の撮像モードのとき前記光学式手振れ補正部を有効にするとともに前記有効領域を固定して前記電子式手振れ補正部を無効にし、
   前記制御部は、前記第１の撮像モードから前記第２の撮像モードに切り替わるとき、前記有効領域を、切り替わる際の最後の有効領域に固定し、前記第２の撮像モードから前記第１の撮像モードに切り替わるとき、前記有効領域を中央に移動させることを特徴とする手振れ補正制御回路。
2. 前記電子式手振れ補正部は、前記振動検出素子の出力信号に応じて、前記有効領域を適応的に変化させることを特徴とする請求項１に記載の手振れ補正制御回路。
3. 前記光学式手振れ補正部は、
   前記振動検出素子の出力信号に応じて撮像装置の移動量を示す振動成分信号を生成し、
   前記電子式手振れ補正部は、前記光学式手振れ補正部から受け取った前記振動成分信号に基づいて前記有効領域を変化させることを特徴とする請求項２に記載の手振れ補正制御回路。
4. 請求項１から３のいずれかに記載の手振れ補正制御回路を搭載した撮像装置。

Images