JP6302341B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、複数の補正光学系を用いて撮像画像の振れを補正する技術に関する。

近年、撮影者が静止した状態での手振れによって発生する撮像画像の振れを補正するだけでなく、片手で撮影した場合の比較的大きな振れや、撮影者が歩行しながら撮影を行うときに発生する撮像画像の大きな振れも補正する像振れ補正機能が普及してきている。

像振れを補正する方法としては、光学的に補正レンズを移動させて振れに応じて光軸を変位させる光学的な像振れ補正や、撮像素子で取り込んだ画像から出力する切り出し領域を振れに応じて変化させる電子的な像振れ補正などの技術がある。

大きな振れを補正するためには、光学的な像振れ補正方式では補正角を広げる、電子的な像振れ補正方式では余剰画素領域を広くとる、といった対応が必要で、どちらの方法を採用するにしても補正範囲を広げなければならない。しかし、補正範囲を広げるためには、光学的な像振れ補正方式では、レンズやアクチュエータの大型化やレンズを大きく振った際の光学性能の劣化などの問題が生じる。また、電子的な像振れ補正方式では、実効領域の縮小による画質劣化や撮像素子の大型化による消費電力増加などの問題が生じてしまう。

このような問題に対して、特許文献１では、振れ補正用の二つの補正光学系を備えて駆動する方法が提案されている。また、特許文献２では、補正光学系と電子補正とを備え、振れを高周波帯域と低周波帯域に分離して、周波数帯域ごとに二つの補正系で補正する方法が提案されている。

特開２００３−２０２４９９号公報 特開２０１０−４３７０号公報

しかしながら、特許文献１及び２に記載の従来技術においては、ズーム時の制御に関しては考慮されていない。そのため、次のような問題点があった。

すなわち、二つの補正光学系で振れの周波数帯域を分離して補正する場合、焦点距離に応じた光学特性によって二つの補正光学系の可動範囲が変化する。このことから、所望の振れ補正性能を確保するためには、高周波成分と低周波成分の補正担当を焦点距離に応じて切り替える必要がある。しかしながら、ズーム動作中に高周波成分と低周波成分の補正担当を切り替えると、可動範囲の変化に伴って、端当たりなどの像振れ補正の不具合が生じてしまうという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ズーム動作中にも良好な像振れ補正効果を得られるようにした撮像装置を提供することである。

本発明に係わる撮像装置は、撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段で検出された振れに基づく像振れの一部を補正する第１の光学補正手段と、前記振れ検出手段で検出された振れに基づく像振れの残りまたは別の一部を補正する第２の光学補正手段と、変倍レンズがズーム中か否かを検出するズーム検出手段と、前記第１及び第２の光学補正手段で補正する補正量を前記振れに基づいて算出する補正量算出手段と、前記変倍レンズがズームを行っている場合とズームを停止している場合とで、前記補正量算出手段で算出する補正量の算出方法を変更する制御手段とを備え、前記制御手段は、ズームを停止している場合は前記振れの周波数を分離する演算によって前記第１及び第２の光学補正手段で補正する補正量を算出し、ズームを行っている場合は前記第１および第２の光学補正手段の可動範囲に基づく比率演算によって前記第１及び第２の光学補正手段で補正する補正量を算出するように前記補正量算出手段を制御することを特徴とする。

本発明によれば、ズーム動作中にも良好な像振れ補正効果を得られるようにした撮像装置を提供することが可能となる。

本発明の一実施形態における撮像装置の構成を示すブロック図。 ズーム停止時における補正量算出部の一例を示す図。 第１、第２の補正光学系の可動範囲を示す図。 ズーム動作時における補正量算出部の一例を示す図。 補正量算出制御を説明するフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、以下の実施形態では、本発明の撮像装置の一例としてデジタルビデオカメラについて説明するが、本発明は動画撮影機能を有する任意の撮像装置に対して適用可能である。また、ここでいう撮像装置には、カメラ付きの携帯電話、ゲーム機、パーソナルコンピュータなど、撮像装置が組み込まれた、もしくは内蔵された機器も含まれる。なお、本実施形態の説明においては、撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられる振れによって発生する撮像画像への影響を「像振れ」と表現する。

図１は、本発明の一実施形態に係わる撮像装置の構成例を示すブロック図である。図１において、１０１は撮影光学系で複数枚のレンズから構成されるレンズ群である。撮影光学系１０１は二つの光学式像振れ補正機構を備えている。１０２は、一つめの光学式像振れ補正機構であるシフトレンズ（第１の光学補正手段）で、光軸と垂直な二次元平面内で移動されることにより、撮像面に入射される光線の入射角度を変更することが可能である。１０３は、変倍レンズ（第２の光学補正手段）であり、かつ、二つめの光学式像振れ補正機構である。変倍レンズ１０３は、光軸方向に移動することにより撮影光学系１０１の変倍率が変化し、撮像素子の撮像面に結像される像の倍率を変えることができる。また、光軸と垂直な二次元平面内で移動する、あるいは、光軸上の１点を中心とする球面状に回転することができ、光学式像振れ補正機構としても機能する。以降、シフトレンズ１０２を第１の補正光学系、変倍レンズ１０３を第２の補正光学系とも記す。

１１３は、撮影光学系１０１を介して結像された光学的な被写体像を光電変換して映像信号として出力する撮像素子であり、例えばＣＣＤやＣＭＯＳセンサなどが用いられる。１１４は信号処理部であり、アナログ信号処理回路とデジタル信号処理回路からなる。アナログ信号処理回路は、撮像素子１１３で得られた信号に所定の処理を施してアナログ撮像信号を生成するものである。そして、例えばＣＤＳ（co-related double sampling：相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control）回路等から構成されている。デジタル信号処理回路は、Ａ／Ｄ変換器によりアナログ撮像信号をデジタル信号に変換し、ガンマ補正、ホワイトバランス等、所定の信号処理をしたデジタル映像信号を生成する。また、ＡＦ（オートフォーカス）制御やＡＥ（オートエクスポージャー）制御用の評価信号なども生成する。

１１５は、記録制御部であり、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、信号処理部１１４から供給された映像信号を記録媒体１１６に出力し、記録させる。１１６は記録媒体であり、半導体メモリ等の情報記録媒体やハードディスクや磁気テープ等の磁気記録媒体などである。また、１１７は表示制御部であり、信号処理部１１４から供給された映像信号を出力して表示デバイス１１８に画像を表示させる。１１８は表示デバイスであり、液晶表示素子（ＬＣＤやビューファインダー）等により画像を表示する。

１２０は角速度センサであり、撮像装置に加わる振れの検出を行うためのセンサである。例えば、振動ジャイロ等で構成されており、手振れ等による撮像装置全体の振れの角速度を検出して電気信号を出力する。角速度センサ１２０は、光軸に直交する一平面上で互いに直交した検出軸をなすように、例えば水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）との２軸方向に二つの角速度センサを配置する。そして、検出した各軸別々に補正量を算出し、水平方向及び垂直方向の２軸方向に第１、第２の補正光学系を制御する。水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）の補正量の演算及び補正光学系の制御は、両軸とも同じ処理で実現することができるので、以降は片方の軸についてのみ説明するものとする。

１２１はＡ／Ｄ変換器で、角速度センサ１２０から出力された電気信号をデジタル信号に変換してμＣＯＭ１５０に取り込む。取り込まれたデジタル信号は、ＨＰＦ（ハイパスフィルター）１２２に供給され、振れ信号に含まれる低域成分を遮断して振れ信号の高域成分を出力する。なおＨＰＦ１２２は、角速度センサ１２０のノイズ成分や温度特性などによって生じるＤＣ電圧のドリフト分を除去することが目的であるが、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１２１からの出力を敏感度補正部１２４に直接供給してもよい。

１２４は敏感度補正部であり、第１の補正光学系（すなわちシフトレンズ１０２）でブレ補正を行うのに最適な振幅になるように第１の分離振れ信号を増幅する。なお、ここでの増幅とは、利得１倍以下も含まれる。敏感度補正部１２４で増幅された第１の分離振れ信号は、積分器１２５に供給される。

角速度センサ１２０で検出された振れ信号、並びにこれを分離することで生成された第１、第２の分離振れ信号は角速度である。これに対し、シフトレンズ１０２および変倍レンズ１０３の制御量は角変位であることから、角速度を時間積分して角変位に変換する必要がある。１２５は積分器であり、第１の分離振れ信号を積分演算して出力する。積分器１２５における積分は、不完全積分で行われ、その時定数を任意に変更することが可能となっている。

１２６は補正量算出部であり、ズーム動作有無の判別結果に基づいて、補正量の算出方法を変更し、第１及び第２の補正光学系の制御量を算出する。その詳細については後述する。１２７は飽和防止制御部であり、シフトレンズ１０２が機械的な可動端に突き当たることがないように、補正量算出部１２６で生成された制御量に制限をかけるためのものである。その制御の一例としては、第１の補正光学系の制御量が所定値（以下、リミット値と記す）を超えないように、補正量算出部１２６からの出力にリミットを施した値を最終的な制御量（以下、駆動目標位置とも記す）として出力する。また、補正量算出部１２６からの出力がリミット値に近づいたときに、積分器１２５の時定数を短くして、時間の経過とともに制御量が小さくなるように制御する。なお、敏感度補正部１２４によって振れ信号の増幅が行われているので、飽和防止制御部１２７の出力は、第１の補正光学系を用いてブレ補正を行うのに適した制御量となる。

次に、第１の補正光学系（シフトレンズ１０２）の駆動を制御するブロックについて説明する。

１２８は減算器で、シフトレンズ１０２の位置を検出する位置検出部１０４の出力信号をＡ／Ｄ変換器１３４にてデジタル信号にＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部１２７の出力である駆動目標位置から減算する。そして、その結果である偏差データを制御フィルタ１２９に供給する。ここで、端子Ａ１０９と端子Ａ１３３は、各々が電気的に接続されていることを示している。

１２９は制御フィルタで、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１２８から供給された偏差データは、制御フィルタ１２９において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１３０に出力される。

１３０はパルス幅変調部で、制御フィルタ１２９を通過して供給されたデジタルデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１３１に供給する。モータ１０５は、シフトレンズ１０２の駆動用のボイス・コイル型モータであり、モータ駆動部１３１で駆動されることにより、第１の補正光学系１０２が光軸と垂直な方向に移動される。ここで、端子Ｂ１１０と端子Ｂ１３２は、各々が電気的に接続されていることを示している。

位置検出部１０４は、磁石とそれに対向する位置に備えられたホール・センサとからなり、シフトレンズ１０２の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１３４を介して、上述した減算器１２８に供給する。これによって、シフトレンズ１０２の光軸と垂直な方向への位置を、飽和防止制御部１２７の出力である駆動目標位置に追従させる、フィードバック制御系を構成している。

次に、第２の補正光学系（変倍レンズ１０３）の駆動を制御するブロックについて説明する。

１３８は減算器で、変倍レンズ１０３の位置を検出する位置検出部１０６の出力信号をＡ／Ｄ変換器１４４にてデジタル信号にＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部１３７の出力である駆動目標位置から減算する。そして、その結果である偏差データを制御フィルタ１３９に供給する。ここで、端子Ｃ１１１と端子Ｃ１４３は、各々が電気的に接続されていることを示している。

１３９は制御フィルタで、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１３８から供給された偏差データは、制御フィルタ１３９において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１４０に出力される。

１４０はパルス幅変調部で、制御フィルタ１３９を通過して供給されたデジタルデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１４１に供給する。モータ１０７は、変倍レンズ１０３の駆動用のボイス・コイル型モータであり、モータ駆動部１４１で駆動されることにより、変倍レンズ１０３が光軸と垂直な方向に移動される。ここで、端子Ｄ１１２と端子Ｄ１４２は、各々が電気的に接続されていることを示している。

位置検出部１０６は、磁石とそれに対向する位置に備えられたホール・センサとからなり、変倍レンズ１０３の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１４４を介して、上述した減算器１３８に供給する。これによって、変倍レンズ１０３の光軸と垂直な方向への位置を、飽和防止制御部１３７の出力である駆動目標位置に追従させる、フィードバック制御系を構成している。

このように、角速度センサ１２０で検出した振れ信号に基づいて補正光学系の駆動を行うことで、撮像装置に加わった振れによって発生する画像の像振れを補正することができる。

次に、補正量算出部１２６について説明する。補正量算出部１２６では、エンコーダ１０８からズーム位置（変倍レンズ１０３の位置情報）を取得し、時間変化を算出することでズーム動作中か否かを判別する（ズーム検出）。判別結果のズーム動作中か否かに応じて、補正量の算出方法を変更する。変更時の算出方法は、図２と図４に示すような構成によって行われる。

図２は、ズーム停止時の補正量算出部の構成例を示している。図２において、角速度センサで検出した振れ信号を異なる周波数帯域に分離し、高域成分と低域成分というように二つの振れ信号を出力して二つの補正光学系を制御する。また、制御部１４６から供給される信号に応じて、高域成分と低域成分を、第１、第２の分離振れ信号のどちらに出力するかを切り換えられるようになっている。

図２において、角速度センサ１２０で検出された振れ信号は、ＨＰＦ２０３でその高周波帯域成分の信号のみが抽出され、セレクタ２０５と減算部２０４に供給される。減算部２０４では、元の振れ信号から、ＨＰＦ２０３を通過した高域成分を減算して、振れ信号に含まれる低周波帯域成分を生成し、セレクタ２０５に供給する。このような構成とすることで、高周波帯域の振れ信号と低周波帯域の振れ信号は互いに相補的な関係となり、二つの補正光学系を用いて補正する場合であっても、元の振れ信号の周波数帯域を漏れなく補正できる。なお、ＨＰＦ２０３の代わりにＬＰＦで構成し、低域成分を通過させて一方の出力とし、元の振れ信号から減算することで高域成分を生成してもう一方の出力とする構成としてもよい。

セレクタ２０５は、制御部１４６からの制御信号に応じて、高域成分を第１の分離振れ信号、低域成分を第２の分離振れ信号という組み合わせで出力するか、低域成分を第１の分離振れ信号、高域成分を第２の分離振れ信号という組み合わせで出力するかを切り換えることができる。このように、振れ信号を高域成分と低域成分に分離し、その出力先を第１の補正光学系あるいは第２の補正光学系に切り換えることができる。

図３は、光学的な制約を考慮した、焦点距離による第１、第２の補正光学系の補正範囲（単位：度）を示したグラフである。図３において、第１の補正光学系の補正範囲と、第２の補正光学系の補正範囲が交差する焦点距離をｆ２としている。制御部１４６では、焦点距離がｆ２未満の範囲では、第１の補正光学系に低域成分を割り当て、焦点距離がｆ２以上の範囲では第２の補正光学系に低域成分を割り当てるように、信号分配部１２４を制御する。

図４は、ズーム動作時の補正量算出部の構成例を示している。図４において、乗算器２０１は、角速度センサ１２１で検出した振れ信号を所定の倍率Ｋ１で増幅して、第１の分離振れ信号として出力する。また乗算器２０２は、振れ信号を所定の倍率Ｋ２で増幅して、第２の分離振れ信号として出力する。第１の分離振れ信号と第２の分離振れ信号は互いに相補的な信号に分離する。そのため、
０≦Ｋ１≦１
Ｋ２＝１−Ｋ１
となるような倍率を設定することで、二つの補正光学系を用いて像振れ補正を行う場合でも精度良く補正することができる。Ｋ１、Ｋ２は制御部１４６によって設定される。具体的には、ズームを行っている場合は、角速度センサ１２１で検出された振れの振幅を第１及び第２の補正光学系の可動範囲の比率に基づいて分割し、分割した振幅量をそれぞれの補正量とする。

次に、補正量算出部の制御動作の一例について、図５に示すフローチャートを用いて説明する。なお、図５に示す処理は、例えば撮像装置の１フレームの画像の取り込み周期である６０Ｈｚなど、任意の所定の周期で繰り返し実行される。

ステップＳ１０１では、ズームエンコーダ１０８の変位を取得する。次にステップＳ１０２では、ズーム動作されているか否かを判別し、ズーム動作中でなければステップＳ１０３に進み、ズーム動作中であればステップＳ１０４に進む。次にステップＳ１０３では、補正量算出において周波数分離演算を行う。ステップＳ１０４では、補正量算出において補正可動範囲の比率演算を行う。

上記のように、本実施形態に示したシステムでは、ズーム停止中は周波数帯域を分離して二つの補正光学系で高周波帯域と低周波帯域の像振れ成分ごとに補正する。一方、ズーム動作中は二つの補正光学系の補正可動範囲に応じた比率演算に応じて補正することで、ズーム動作中に可動範囲が変化しても周波数帯域によらず補正範囲を確保できるようになり、ズーム中にも良好な像振れ補正を実現することができる。

なお、本実施形態では、角速度センサで振れの角速度を検出し、積分処理を施すことで補正光学系の角変位量を算出したが、別の振れ検出手段を用いても良い。例えば、加速度センサで振れの加速度を検出し、２回積分を施すことで、補正光学系の角変位量を算出する構成でもよい。

また、本実施形態では、補正光学系の一例として、撮影光学系のレンズ群の一部を光軸と垂直な二次元平面内で移動されることにより撮像画像の像振れを補正する方法を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、補正光学系は光軸上の１点を中心とする球面状に回転するようにしてもよいし、可変頂角プリズム（ＶＡＰ）や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。また、複数の方式を組み合わせても良い。

また、本実施形態では、振れ信号を二つに分離し、二つの補正光学系を用いて像振れ補正を行う方法を例にとって説明したが、本発明はこれに限定されるものではない。たとえば、振れ信号を３つ以上に分離し、３つ以上の補正光学系を駆動して像振れ補正を行う形態も本発明に含まれる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含まれる。

従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０１：撮影光学系、１０２：第１の補正光学系、１０３：第２の補正光学系、１２０：角速度センサ

Claims (7)

1. 撮像装置の振れを検出する振れ検出手段と、
   前記振れ検出手段で検出された振れに基づく像振れの一部を補正する第１の光学補正手段と、
   前記振れ検出手段で検出された振れに基づく像振れの残りまたは別の一部を補正する第２の光学補正手段と、
   変倍レンズがズーム中か否かを検出するズーム検出手段と、
   前記第１及び第２の光学補正手段で補正する補正量を前記振れに基づいて算出する補正量算出手段と、
   前記変倍レンズがズームを行っている場合とズームを停止している場合とで、前記補正量算出手段で算出する補正量の算出方法を変更する制御手段とを備え、
   前記制御手段は、ズームを停止している場合は前記振れの周波数を分離する演算によって前記第１及び第２の光学補正手段で補正する補正量を算出し、ズームを行っている場合は前記第１および第２の光学補正手段の可動範囲に基づく比率演算によって前記第１及び第２の光学補正手段で補正する補正量を算出するように前記補正量算出手段を制御することを特徴とする撮像装置。
2. 前記補正量算出手段は、ズームを停止している場合は、前記振れ検出手段で検出された前記撮像装置の振れを高周波帯域成分と低周波帯域成分とに分離し、該高周波帯域成分または低周波帯域成分を前記第１及び第２の光学補正手段のいずれかの補正量とすることを特徴とする請求項１に記載の撮像装置。
3. 前記補正量算出手段は、ズームを停止している場合は、前記低周波帯域成分を前記第１及び第２の光学補正手段のうちの可動範囲の大きい方の光学補正手段の補正量とすることを特徴とする請求項２に記載の撮像装置。
4. 前記補正量算出手段は、ズームを行っている場合は、前記振れ検出手段で検出された振れの振幅を前記第１及び第２の光学補正手段の可動範囲の比率に基づいて分割し、分割した振幅量をそれぞれの補正量とすることを特徴とする請求項１に記載の撮像装置。
5. 撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段で検出された振れに基づく像振れの一部を補正する第１の光学補正手段と、前記振れ検出手段で検出された振れに基づく像振れの残りまたは別の一部を補正する第２の光学補正手段と、を備える撮像装置を制御する方法であって、
   変倍レンズがズーム中か否かを検出するズーム検出工程と、
   前記第１及び第２の光学補正手段で補正する補正量を前記振れに基づいて算出する補正量算出工程と、
   前記変倍レンズがズームを行っている場合とズームを停止している場合とで、前記補正量算出工程で算出する補正量の算出方法を変更する制御工程とを有し、
   前記制御工程では、ズームを停止している場合は前記振れの周波数を分離する演算によって前記第１及び第２の光学補正手段で補正する補正量を算出し、ズームを行っている場合は前記第１および第２の光学補正手段の可動範囲に基づく比率演算によって前記第１及び第２の光学補正手段で補正する補正量を算出するように前記補正量算出工程を制御することを特徴とする撮像装置の制御方法。
6. 請求項５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
7. 請求項５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images