JP4518197B2 - 撮像装置、及び像振れ補正方法並びにプログラム - Google Patents

Description

本発明は、振動等によって生じた像振れを効率的に処理することができる撮像装置、及び像振れ補正方法並びにプログラムに関する。

デジタルカメラ等の撮像装置で撮像された画像は、画像撮像時にカメラ本体を保持する、例えばユーザの手が揺れることにより被写体像に振れ、いわゆる手振れが生じる場合がある。このため、デジタルカメラには、ユーザの手の動きを含め、カメラ本体に加えられた振動によって撮像画像に現れる被写体像の振れ（以下、「像振れ」という。）を補正する補正機能が組み込まれている。

像振れ補正処理としては、従来より光学的像振れ補正処理や、電子的像振れ補正処理が知られており、これらの処理によって像振れをキャンセルすることで実現している。

光学式像振れ補正処理は、角加速度センサなどでカメラ本体に加えられた振動を検出して、この検出結果に応じて被写体像を形成する撮像光学系内部に設けられたプリズムを回転させ、この撮像光学系の光軸方向を変化させることによって撮像素子の受光面に結像される像を移動して像振れを補正する処理である。また、電子式像振れ補正は、撮像画像に画像処理を施して、擬似的に像振れを補正する処理である。

ところで、光学的像振れ補正処理または電子的像振れ補正処理のどちらかを採用して像振れ補正処理を施していた従来の撮像装置においては、検出した像振れ信号のうち、比較的振幅の小さな像振れに対しては、十分な補正余裕を確保して補正することが可能であった。しかしながら、例えば車等の移動体の中から撮像された場合に生じる振幅の大きな像振れに対しては、補正余裕を十分に確保することができない場合があり、効率的に像振れ補正を施すことができない場合があった。

このような振幅の大きな像振れに対して補正処理を行うために、従来の撮像装置では、以下のようにして補正余裕を確保していた。すなわち、光学式像振れ補正を行う場合には、補正角を広げることによって補正余裕を確保し、一方電子式像振れ補正を行う場合には、補正余剰領域を広げることによって補正余裕を確保していた。

しかしながら、光学式像振れ補正の場合、補正角を広げるようにすることで、レンズやアクチュエーターが大型化してしまい、それに伴って撮像装置自体が重量化し、さらに大型化したレンズをシフト駆動するために多くの電力を消費し、レンズを大きく振ることによって光学性能が劣化する等の種々の問題を発生させていた。

また、電子式像振れ補正の場合では、補正余剰領域を広げることによって、実効領域が縮小し、それに伴って画像が劣化してしまい、また画像更新周期が長いことによって補正性能が劣化するといった問題を生じさせていた。

これらの問題に対して、特許文献１の技術が提案されている。この特許文献１の技術は、光学式振れ補正と電子式振れ補正とを併用することによって、画質劣化のない振れ補正を実現させようとするものである。

特開平１１−１４６２６０号公報

しかしながら、特許文献１に記載された技術では、光学式振れ補正は角速度センサによる振れ検出に基づいて処理され、一方で電子式振れ補正は画像動き検出回路による検出に基づいて処理され、それぞれの補正手段は撮像装置内において独立して存在しているとともに、その振れ検出機構もそれぞれ独立して設けられているので、双方の処理の整合性を取った制御を行うことができない。このように、各処理が独立して行われる場合には、電力消費が増大するとともに、効率的な振れ補正を実現することができないという問題があった。

そこで、本発明は、このような実情に鑑みて提案されたものであり、振幅の大きな像振れに対しても十分な補正余裕を確保することを可能にし、効率的な像振れ補正を行うことができる撮像装置、及び像振れ補正方法並びにプログラムを提供することを目的とする。

上述した課題を解決するため、本発明における撮像装置は、被写体像を形成する撮像光学系と、上記撮像光学系によって形成される被写体像を光電変換した撮像画像を読み出す撮像素子と、動き検出センサを用いて像振れ信号を出力する像振れ検出部と、上記像振れ信号に基づいて、光学的補正量と電子的補正量とからなる像振れ補正量を算出する演算部と、上記撮像光学系の一部を構成する光学素子と上記撮像素子の少なくとも一方を移動させ、上記光学補正量に応じて、光学的に像振れを補正する光学像振れ補正部と、上記撮像素子により読み出された撮像画像の像振れを上記電子的補正量に基づく画像処理により電子的に補正する電子像振れ補正部とを備え、上記演算部は、上記像振れ信号を周波数帯域別に分離する分離部と、上記分離部にて分離された像振れ信号の高周波成分に基づいて、上記光学的補正量を算出する光学像振れ補正演算部と、上記分離部にて分離された像振れ信号の低周波成分に基づいて、上記電子的補正量を算出する電子像振れ補正演算部と備える。

また、上述した課題を解決するため、本発明における像振れ補正方法は、センサを用いて検出された像振れ信号を高周波成分と低周波成分に分離する分離工程と、上記高周波成分に基づいて光学的補正量を算出する光学的補正量算出工程と、上記低周波成分に基づいて電子的補正量を算出する電子的補正量算出工程と、上記光学的補正量に基づいて、光学的に像振れ補正処理を行う光学的像振れ補正工程と、上記電子的補正量に基づいて、電子的に像振れ補正処理を行う電子的像振れ補正工程とを有する。

また、本発明におけるプログラムは、センサを用いて検出された像振れ信号を高周波成分と低周波成分に分離する分離工程と、上記高周波成分に基づいて光学的補正量を算出する光学的補正量算出工程と、上記低周波成分に基づいて電子的補正量を算出する電子的補正量算出工程と、上記光学的補正量に基づいて、光学的に像振れ補正処理を行う光学的像振れ補正工程と、上記電子的補正量に基づいて、電子的に像振れ補正処理を行う電子的像振れ補正工程とからなる像振れ補正方法をコンピュータに実行させる。

本発明に係る撮像装置によれば、検出した像振れ信号を周波数帯域別に分離し、光学像振れ補正処理と電子像振れ補正処理とによる補正処理を施すことを可能にしているので、振幅の大きな像振れに対しても十分な補正余裕を確保することができるとともに、振幅の小さな像振れに対しては光学像振れ補正処理を施すようにすることで、電力消費を最小限に抑え、画像劣化の少ない補正処理を施すことができる。

以下、本実施の形態に係る撮像装置について、図面を参照にして詳細に説明する。

＜システム構成＞
図１は、本実施の形態に係る撮像装置のシステム構成を示す図である。この図１に示すように、この撮像装置１０は、被写体像を形成してその被写体像に応じた画像信号を読み出すレンズユニット１００と、レンズユニット１００から読み出された画像信号に対して画像処理を施す画像処理ユニット２００と、画像データを記録する記録部３００と、動きを検出するセンサを用いて像振れ信号を検出する像振れ検出部４００と、像振れ検出部４００より検出された像振れを補正するための補正量を算出する演算部５００とを備えている。

レンズユニット１００は、複数の光学素子と撮像素子とからなり、被写体像を撮像素子１０３の受光面に形成する撮像光学系である。このレンズユニット１００は、レンズ１０１と、像振れ補正するためのシフト防振レンズ１０２と、レンズ１０１において結像された被写体像を光電変換して電気信号として取り込むための撮像素子１０３と、シフト防振レンズ１０２を制御するためのレンズシフトドライバ１０４とから構成され、その撮像素子１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により構成されている。このような構成を有するレンズユニット１００においては、結像された被写体像がデジタル信号に変換されて画像処理ユニット２００に出力される。

より具体的には、複数の光学素子からなるレンズ１０１は、被写体像を変倍可能に形成するズームレンズ群を有しており、被写体像を撮像素子１０３の受光面に形成していく。そして、撮像素子１０３は、レンズ１０１によって形成される被写体像を、その受光面上に配列した複数の画素で光電変換を行い、光電変換した電気信号をアナログ形式からデジタル形式に変換し、この変換したデジタル形式の撮像画像を画像処理ユニット２００に供給する。

このレンズユニット１００において、後述する光学像振れ補正演算部５０３から出力された光学像振れ補正量に基づき、シフト防振レンズ１０２をレンズ１０１の光軸に対して直交する方向にシフトさせることで、装置に加えられた振動によって生じる像振れを光学的に補正する。なお、光学的な像振れ補正としては種々のものが知られており、例えば、撮像素子１０３の受光面をｘ方向及びｙ方向に移動させることで像振れを補正してもよい。また、シフト防振レンズ１０２の代わりにプリズムをレンズユニット１００に設けて、このプリズムをｘ方向及びｙ方向を軸とした回転方向に移動することで像振れを補正するようにしてもよい。

画像処理ユニット２００は、レンズユニット１００から出力されたデジタル画像信号に対して所定の画像処理を施す。この画像処理ユニット２００は、画像処理部２０１と、像振れ補正部２０２とから構成されている。

画像処理部２０１は、レンズユニット１００における撮像素子１０３から出力されたデジタル信号を処理するためのもので、デジタルゲインによる明るさ、色、ガンマなどの画像処理を施し、後述する記録部３００における記憶形式や、図示しない表示部の表示形式に応じたデータ形式に変換して、処理したデジタル信号を電子像振れ補正部２０２に供給する。電子像振れ補正部２０２は、電子的な像振れ補正処理を行うためのブロックであり、後述する電子像振れ補正演算部５０４より指示された像振れ補正量に応じて画像処理による電子的な像振れ補正処理を施す。

なお、この画像処理ユニット２００の説明において、画像処理部２０１によりデジタル信号に対して所定の画像処処理を施した後に、電子像振れ補正部２０２に画像処理したデジタル信号を供給する例を挙げて説明したが、これに限られるものではなく、電子像振れ補正部２０２において補正処理を施した後に、画像処理部２０１において所定の画像処理を施すようにしてもよい。

記録部３００は、画像処理ユニット２００から供給されるデジタル画像信号を記録する。また、記録部３００は、記憶しているデジタル画像信号を、例えば後述する演算部５００からの制御命令に従って、画像処理ユニット２００に読み出す処理も行う。

像振れ検出部４００は、動き検出センサを用いて撮像装置に加振された像振れ信号を検出し、その像振れ信号を後述する演算部５００に出力する。具体的に、像振れ検出部４００は、撮像装置本体の動きを検出するために、角速度センサなどのセンサにより実現される。例えば、角速度を検出するジャイロセンサによって実現される場合、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータに基づく振動量を検出し、検出した振動量に基づく像振れ信号をそれぞれ演算部５００に供給する。なお、この像振れ検出部４００は、加速度センサを用いて、撮像装置本体の動きを検出するようにしてもよい。

演算部５００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、像振れ検出部４００が検出した振動量に基づいて補正演算を行い、振れに伴う動きを補正するために像振れ補正量算出し、像振れ補正手段に対して補正量に関する指示を出力する。このような演算部５００は、ＨＰＦ５０１と、減算部５０２と、光学像振れ補正演算部５０３と、電子像振れ補正演算部５０４と、信号解析部５０５とから構成されている。

ＨＰＦ５０１は、像振れ検出部４００より出力された像振れ信号の高周波成分を抽出し、光学像振れ補正演算部５０３に出力する。

減算部５０２は、像振れ検出部４００より出力された像振れ信号からＨＰＦ５０１によって出力された高周波成分を引き算することで、像振れ信号の低周波成分を抽出する。

光学像振れ補正演算部５０３は、ＨＰＦ５０１の出力値に基づいて、像振れ補正量を演算し、レンズユニット１００におけるレンズシフトドライバ１０４に対してその像振れ補正量を出力する。

電子像振れ補正演算部５０４は、減算部５０２の出力値に基づいて、像振れ補正用に使用する余剰領域を用いて有効領域内において実行領域を移動させるための像振れ補正量を演算し、画像処理ユニットにおける像振れ補正部２０２に対して出力する。

信号解析部５０５は、像振れ検出部４００から出力された像振れ信号の特徴を解析し、レンズシフトドライバ１０４に対して指示する。具体的には、像振れ信号の振幅の大きさ等の振幅状態の確認を行い、例えば、大振幅であった場合には、レンズシフトドライバ１０４の電力を増やし、補正角を十分大きく確保するように制御することを可能にしている。このように像振れ信号の振幅の大きさを解析して、その像振れ信号の振幅状態に基づく光学補正処理を施すようにすることで、電力量等の制御を行い、消費電力量を低減させることができる。詳しくは後述する。

このような構成からなる本実施の形態に係る撮像装置１０の各処理部は、以下のような動作周波数で動作させることができる。すなわち、像振れ検出部４００の動作周波数は、像振れ信号の高周波成分よりも高い周波数以上でサンプリングを行い、これにより、精度高く像振れ信号を検出することを可能にする。また、ＨＰＦ５０１のカットオフ周波数は、シフト防振レンズ１０２の可動範囲と像振れにおける周波数特性から、高周波成分の振幅がシフト防振レンズ１０２の可動範囲に収まる振幅の周波数に設定される。また、光学像振れ補正演算部５０３の動作周波数は、像振れ信号の高周波成分よりも高い周波数で動作する。さらに、電子像振れ補正演算部５０４の動作周波数は、補正周波数が画像更新周波数（ＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式：６０Ｈｚ、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式：５０Ｈｚ）であり、露光中心に像振れ信号のサンプリングポイントを合致させるために、画像更新周波数以上で動作させる。

具体的に、上記の動作周波数条件を満たす周波数例としては、例えば、像振れ検出部４００は像振れ信号の周波数成分よりも十分高い４ｋＨｚで動作させ、ＨＰＦ５０１のカットオフ周波数は高周波成分の振幅がシフト防振レンズ１０２の可動範囲に収まる周波数である２Ｈｚで動作させる。また、光学像振れ補正演算部５０３は像振れ検出部４００と同じ４ｋＨｚで動作させ、そして、電子像振れ補正演算部５０４は画像更新周波数よりも高く、露光中心のサンプリングポイントに合わすために必要な周波数である１ｋＨｚで動作させる。なお、この動作周波数条件は、一例であり、当然これに限られるものではない。

このように、本実施の形態に係る撮像装置１０においては、像振れ検出部４００にて検出した像振れ信号を、演算部５００において高周波成分と低周波成分とに分離し、分離した各周波数帯域の像振れ信号毎にそれぞれ補正演算して、像振れ補正処理を施すようにしている。具体的には、分離した像振れ信号のうち、高周波成分の像振れ信号に基づいて光学的補正量を算出し、算出した光学的補正量に応じて光学的に像振れを補正する。一方で、分離した像振れ信号のうち、低周波成分の像振れ信号に基づいて電子的補正量を算出し、算出した電子的補正量に応じて電子的に像振れを補正する。

ここで、図２に、一般的に取得される、像振れ信号の周波数とその像振れ周波数の像振れ振幅との関係性についての一例を示す。また、図３に、像振れ信号とその周波数成分毎の波形を示す。

この図２及び図３から判るように、一般的に、像振れ信号のうちの高周波成分の振幅は小さく、低周波成分の振幅は大きくなっている。すなわち、振幅の大きな像振れ信号は低周波帯域に偏っていることが判る。

上述したように、例えば、光学像振れ補正によって全ての周波数帯域に亘る像振れをキャンセルさせようとする場合、補正角を広げて、振幅の大きな像振れにも対応可能なように補正余裕を確保することによって対応させることができる。しかしながら、この場合には、レンズやアクチュエーターが大型化し、それに伴って重量が増加するとともに、レンズを駆動するための消費電力が増大する。また、レンズを大きく振ることによって光学性能が劣化等の種々の問題が発生し、効率的な像振れ補正を実現することが難しくなる。

一方で、電子像振れ補正によって全ての周波数帯域にわたる像振れをキャンセルさせようとする場合、補正余剰領域を広げて、振幅の大きな像振れにも対応可能なように補正余裕を確保することによって対応させることができる。しかしながら、この場合では、実効領域の縮小による画像劣化、画像更新周期が長いことによる補正性能の劣化等により、効果的な像振れ補正を実現させることがやはり難しい。

そこで、本実施の形態に係る撮像装置１０においては、上述したように、装置に加えられた動きや振動によって生じた像振れに対して、光学像振れ補正処理と電子像振れ補正処理を施すようにしている。これにより、光学補正処理または電子補正処理の単独で像振れ補正処理を行うよりも、それぞれ少ない補正余裕を確保するだけで、大振幅の像振れに対しても十分な補正余裕を確保することができる。そして、従来生じていた装置の大型化や画像劣化といった問題をなくすことが可能となる。

さらに、本実施の形態に係る撮像装置１０においては、像振れ信号に対して光学像振れ補正処理と電子像振れ補正処理とを施すにあたり、像振れ信号の周波数帯域別に補正方式を区別するようにしている。すなわち、像振れ検出部４００において検出した像振れ信号を高周波成分と低周波成分とに分離し、高周波数成分の像振れ信号に対しては算出した光学像振れ補正量に応じて光学像振れ補正処理を施し、低周波成分の像振れ信号に対しては算出した電子像振れ補正量に応じて電子像振れ補正処理を施すようにしている。

高周波成分からなる像振れ信号を光学像振れ補正によって処理する理由としては、高周波に対する像振れ補正特性の優位性にある。すなわち、電子像振れ補正処理を実行する電子像振れ補正部２０２は、その放送方式(ＮＴＳＣ方式またはＰＡＬ方式等)に強く依存するために、画像更新周期(ＮＴＳＣ方式では６０Ｈｚ、ＰＡＬ方式では５０Ｈｚ)より高い周波数の補正が不可能となる。それに対して、レンズシフトドライバ１０４は、その放送方式に依存しないため、高周波で補正駆動させることが可能となっている。したがって、このことから、像振れ信号のうち、高周波帯域にあるものに対しては光学像振れ補正処理を施し、低周波帯域にあるものに対しては電子像振れ補正処理を施すようにしている。

このように、像振れ信号を高周波成分と低周波成分とに分離し、像振れ信号の周波数特性に合わせて補正処理を施すことにより、周波数特性に合った像振れ補正処理を施すことが可能となり、効果的な像振れ補正を実現することができる。

また、詳しくは後述するが、撮像装置内に光学像振れ補正処理と電子像振れ補正処理との両方が可能となるようにした場合においても、光学像振れ補正部と電子像振れ補正部とを、その装置内において独立して存在させている場合、双方の補正処理の整合性をとるのが難しく、所望とする像振れ補正結果が得られないという問題が発生する。

しかしながら、本実施の形態に係る撮像装置１０においては、像振れ検出部４００からの像振れ信号を、像振れ検出部と像振れ演算部とが一元管理可能なように構成された演算部５００に出力して、各補正処理量を算出するようにしているので、光学像振れ補正部と電子像振れ補正部の双方の整合性をとることが容易になり、所望の像振れ補正結果を得易くすることができる。

以下では、さらに詳細に上記構成を有する撮像装置１０の像振れ補正処理について説明をしていく。

＜光学像振れ補正処理＞
まず、本実施の形態に係る撮像装置１０における光学像振れ補正処理について図４を参照にして説明する。図４は、光学像振れ補正量演算の処理を説明するための処理フローである。

本実施の形態に係る撮像装置１０は、上述したように、像振れ検出部４００において検出された像振れ信号を演算部５００に出力し、その像振れ信号をＨＰＦ５０１に通過させて高周波成分の像振れ信号を抽出する。そして、抽出した高周波成分の像振れ信号は光学像振れ補正演算部５０３に出力され、この光学像振れ補正演算部５０３は、まずステップＳ１０１において、抽出した高周波成分からなる像振れ信号から角速度を取得する。

具体的には、例えば、像振れ検出部４００においてジャイロセンサ等の角速度センサを用いた場合、この角速度センサは撮像装置本体のｘ方向の移動を検出するｘ方向移動検出センサと、ｙ方向の移動を検出するｙ方向移動検出センサとからなっており、これらの移動検出センサによって、ｘ方向及びｙ方向の位置移動量が検出され、光学像振れ補正演算部５０３は、この位置移動量から角速度を取得する。なお、像振れ検出部４００に用いられる像振れ検出センサは、角速度センサには限られず、例えば３軸の加速度センサを用いるようにしてもよい。

このようにして、ステップＳ１０１にて抽出した高周波成分からなる像振れ信号の角速度を取得すると、光学像振れ補正演算部５０３は、次にステップＳ１０２において、下記に示す式のように、その取得した角速度を時間積分することによって補正角度を算出する。
補正角度＝∫角速度ｄｔ

そして、ステップＳ１０２にて補正角度を算出すると、次に、ステップＳ１０３において、算出した補正角度の情報を、レンズユニット１００におけるレンズシフトドライバ１０４に対して供給することで補正角を指示する。

このような光学像振れ補正処理のフローにより、ＨＰＦ５０１より出力された像振れの高周波成分は、光学像振れ補正演算部５０３により角速度から補正角度が決定され、その補正角度をレンズシフトドライバ１０４に対して指示し、その結果、撮像素子１０３は像振れの高周波成分が打ち消された状態で露光されるようになる。

具体的には、撮像装置１０では、上述のようにして、装置本体に加えられた振動を検出し、この検出結果に応じて、レンズシフトドライバ１０４の制御のもとにシフト防振レンズ１０２をレンズ１０１の光軸に対して直交する方向に移動させることで、この装置に加えられた振動によって生じる像振れを光学的に補正する。

すなわち、撮像装置１０は、レンズユニット１００の光軸を変化させ撮像素子１０３の受光面上で被写体像の移動がなくなるように制御する。

なお、上述した光学像振れ補正処理に関わらず、撮像装置１０は、次のような補正処理を行うようにしてもよい。すなわち、撮像装置１０は、撮像素子１０３の受光面をｘ方向及びｙ方向に移動させることで像振れを補正してもよい。このように撮像素子１０３を移動させて像振れを補正する場合には、レンズユニット１００の光軸を固定した状態で撮像素子１０３の受光面上で被写体像の移動がなくなるように制御する。また、撮像装置１０は、シフト防振レンズ１０２の代わりにプリズムをレンズユニット１００に設けて、このプリズムをｘ方向及びｙ方向を軸とした回転方向に移動することで像振れを補正するようにしてもよい。同様にして撮像装置１０は、撮像素子１０３をｘ方向及びｙ方向を軸とした回転方向に移動することで像振れを光学的に補正するようにしてもよい。

＜光学補正角範囲の制御＞
ところで、上述したように、本実施の形態に係る撮像装置１０は、ＨＰＦ５０１抽出した高周波帯域にある像振れ信号に対しては光学像振れ補正処理を施すようにしているが、その高周波帯域に存在する像振れ信号のうちでも、振幅の大小に違いがあり、その振幅の大きさによって適切なレンズユニット１００の制御を行うことが好ましい。それにより、必要最小限の電力量で光学像振れ補正処理を施すことを可能にし、電子消費を抑えることができる。そこで、本実施の形態に係る撮像装置１０においては、演算部５００に信号解析部５０５を備えており、撮像装置１０に生じた像振れ信号の振幅の大小等に関する特徴を解析し、その解析情報を用いて補正角範囲を決定するようにしている。以下では、詳細に、この光学補正角範囲の制御機構について説明する。

図５は、本実施の形態に係る撮像装置１０の、光学像振れ補正処理の補正角の制御について説明するための制御フローである。

本実施の形態に係る撮像装置１０は、上述したように、像振れ検出部４００において、撮像装置１０に加えられた振動によって生じた像振れを検出すると、その像振れ信号を演算部５００に出力し、ＨＰＦ５０１を通過させて像振れ信号を高周波成分と低周波成分に分離して周波数帯域毎に補正量を算出するが、このとき、本実施の形態に係る撮像装置１０は、まずステップＳ２０１において、検出した像振れ信号を信号解析部５０５にも出力し、その信号解析部５０５にて像振れ信号の解析を行う。

具体的には、例えば、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等の周波数解析を行い、例えば、高周波成分が高い場合には歩行中の状態や車等の移動体中に居る状態であると判断し、また低周波成分が高い場合にはパンやチルト状態であると判断する。

このように、まず信号解析部５０５において、検出された像振れ信号から、その像振れ信号の状態を解析すると、次に、ステップＳ２０２において、その解析した状態に応じて、像振れの振幅が大きいか否かを判断する。

具体的には、例えば、歩行中状態であると判断された場合には、検出した像振れの振幅が大きい状態（大振幅状態）であると判断する。そして、このステップＳ２０２において、大振幅状態であると判断されると（ステップＳ２０２にてＹＥＳ：Ｙの場合）、ステップＳ２０３に進む。一方で、ステップＳ２０２において、大振幅状態ではないと判断されると（ステップＳ２０２にてＮＯ：Ｎの場合）、ステップＳ２０４に進む。

ステップＳ２０２にて、大振幅状態にあると判断されると、次に、ステップＳ２０３において、検出された大振幅の像振れ信号に対応した光学像振れ補正処理を可能にするために、光学補正範囲を拡大する。

一方、ステップＳ２０２にて、大振幅状態ではないと判断されると、次に、ステップＳ２０４に進み、光学補正範囲を縮小するような補正処理を可能にする。

具体的に、ステップＳ２０３またはステップＳ２０４にて、それぞれ光学補正範囲を拡大または光学補正範囲を縮小する処理について、図６を参照にして説明する。なお、この図６は、本実施の形態に係る撮像装置１０の他の構成例の一例を表すブロック図であり、この図中の構成において、図１の撮像装置１０に示した同一の符号番号から構成されるものは同一の処理を行うものであり、ここではその説明は省略する。この図６に示すように、撮像装置１０の演算部５００には、図１を参照にして上で説明した構成の他に、さらに、レンズシフトドライバ指示部５０７を備えている。なお、図６中のリミット制御部５０６と電子補正指示部５０８に関しては、後述する。

ステップＳ２０３においては、ＨＰＦ５０１を通過した高周波成分からなる像振れ信号に基づいて光学像振れ補正演算部５０３にて光学像振れ補正量が算出されるとともに、検出した像振れ信号の特徴を解析した信号解析部５０５からの大振幅信号であるとの情報がレンズシフトドライバ指示部５０７に出力される。そして、レンズシフトドライバ指示部５０７は、光学像振れ補正演算部５０３にて算出された補正量と、その信号解析部５０５から供給された情報とに基づいて、光学補正角範囲を拡大するように、レンズユニット１００のレンズシフトドライバ１０４に指示する。このようにして、像振れ信号が大振幅であると判断された場合には、信号解析部５０５からのその情報に基づいて、光学補正範囲を拡大するようにしている。

また、ステップＳ２０４においては、上述したように、光学像振れ補正演算部５０３にて光学像振れ補正量が算出されるとともに、検出した像振れ信号の特徴を解析した信号解析部５０５からの小振幅信号であるとの情報がレンズシフトドライバ指示部５０７に出力される。そして、レンズシフトドライバ指示部５０７は、光学像振れ補正演算部５０３にて算出された補正量と、その信号解析部５０５から供給された情報とに基づいて、光学補正角範囲を縮小するように、レンズユニット１００のレンズシフトドライバ１０４に指示する。このようにして、像振れ信号が小振幅であると判断された場合には、信号解析部５０５からのその情報に基づいて、光学補正範囲を縮小するようにしている。

このようにして、信号解析部５０５での信号解析に基づいて、光学補正範囲を変化させるように制御すると、処理を終了する。

以上、図５の制御フロー及び図６のブロック図の一例を用いて説明したように、本実施の形態に係る撮像装置１０は、演算部５００に信号解析部５０５を備えており、この信号解析部５０５は検出された像振れ信号の振幅の大きさを解析し、その振幅の大きさに関する情報をレンズシフトドライバ指示部５０７に供給する。そして、その振幅の大きさに関する情報と光学像振れ補正演算部５０３にて算出された補正量とを受けたレンズシフトドライバ指示部５０７は、レンズユニット１００におけるレンズシフトドライバ１０４をそれらの情報を指示して制御させるようにしている。これにより、小振幅状態ではレンズシフトドライバ１０４からの指示によりシフト防振レンズ１０２の動きを抑えて電力消費を抑え、必要最小限の電力で像振れ補正処理を施すことができるようにしている。

また、このように信号解析部５０５からの特徴情報に基づいて補正量を算出するようにすることで、より精度の高い光学像振れ補正を実現することができる。

なお、上述の説明においては、演算部５００における信号解析部５０５で解析した特徴情報は、レンズシフトドライバ指示部５０７に出力され、その特徴情報及び光学像振れ補正演算部５０３にて算出された補正量に基づいて、レンズシフトドライバ指示部５０７がレンズシフトドライバ１０４に補正角範囲を指示して制御する例について説明したが、これに限られるものではない。例えば、この信号解析部５０５において解析した信号情報は、光学像振れ補正演算部５０３に出力されるようにして、光学像振れ補正演算部５０３はその入力された信号解析結果に基づいて補正量を算出し、レンズシフトドライバ１０４を制御して補正範囲を変化させるように構成してもよい。

＜電子像振れ補正処理＞
次に、電子像振れ補正の処理について説明する。図７は、電子像振れ補正量演算の処理を説明するための処理フローである。また、図８は、撮像面上の実行領域、有効領域及び余剰領域を示す図である。

本実施の形態に係る撮像装置１０は、上述したように、像振れ検出部４００において検出された像振れ信号を演算部５００に出力し、その像振れ信号から、ＨＰＦ５０１に通過させて抽出された高周波成分の像振れ信号を減算部５０２を介して減算することによって低周波成分からなる像振れ信号を抽出する。そして、抽出した高周波成分の像振れ信号は電子像振れ補正演算部５０４に出力され、この電子像振れ補正演算部５０４は、まずステップＳ３０１において、抽出した低周波成分からなる像振れ信号から角速度を取得する。

具体的には、上述した光学像振れ補正処理におけるジャイロセンサ等の角速度センサと同様に、ｘ方向及びｙ方向の位置移動量が検出され、電子像振れ補正演算部５０４は、この位置移動量から角速度を取得する。

このようにして、ステップＳ３０１にて抽出した低周波成分からなる像振れ信号の角速度を取得すると、電子像振れ補正演算部５０４は、次にステップＳ３０２において、下記に示す式のように、その取得した角速度を時間積分することによって補正角度を算出する。
補正角度＝∫角速度ｄｔ

そして、ステップＳ３０２にて補正角を算出すると、電子像振れ補正演算部５０４は、次にステップＳ３０３において、下記に示す式に基づき、算出した補正角度を補正画素に変換する。電子像振れ補正処理の場合は、補正単位が補正角度ではなく補正画素であるので、算出した補正角度から補正が画素に変換することが必要となる。
補正画素＝ｆ（補正角度）

この補正画素を算出する関係式の一例としては、例えば、像振れ信号の角速度から算出した補正角度が微小である場合には、下記に示す数式等により算出することができるが、当然これに限られるものではない。
補正画素＝補正角度×光学倍率

このようにして、電子像振れ補正演算部５０４は、ステップＳ３０３にて補正角度から補正画素を算出すると、ステップＳ３０４において、算出した補正画素を、画像処理ユニット２００における像振れ補正部２０２に対して指示する。

このような電子像振れ補正処理のフローにより、減算部５０２より出力された像振れの低周波成分は、電子像振れ補正演算部５０４により補正画素が決定され、電子像振れ補正演算部５０４はその補正画素を像振れ補正部２０２に対して指示する。そして、像振れ補正部２０２において、その供給された補正画素に基づいて算出した補正ベクトルにより、記録部３００に像振れの低周波成分が打ち消された状態で画像が記録される。

より具体的に説明すると、検出した低周波成分の像振れ信号から算出された補正画素に基づいて補正ベクトルが生成されると、図８に示す余剰領域を用いて、有効領域の範囲内で像振れによって移動した実行領域を、その補正ベクトルに従って移動させる。これにより、記録部３００に像振れの低周波成分が打ち消された状態で画像が記録される。なお、本明細書においては、図８で示す有効領域とは、撮像面上の全領域を意味し、実行領域とは、像振れ補正で抽出する有効領域の一部分を意味し、また余剰領域とは、像振れ補正に使用するための領域を意味するものとする。

本実施の形態に係る撮像装置１０は、この電子像振れ補正と、上で説明した光学像振れ補正と組み合わせることで、高周波成分からなる像振れと低周波成分からなる像振れの両方を打ち消した状態で記録することができる。例えば、車等の移動体から撮像したときに生じる大振幅からなる低周波成分からなる像振れに、ユーザの手振れ等による小振幅からなる像振れが混合したような場合では、それぞれの周波数帯域からなる像振れを精度高く補正処理することが可能となる。

このように、光学像振れ補正と電子像振れ補正とを組み合わせることによって、振幅の大きな像振れに対しても、補正余裕を十分に確保することができ、効果的な像振れ補正を実現することができる。

また、電子像振れ補正処理では補正することができない露光中の像振れに対しても、光学像振れ補正処理を併用することで補正することが可能となる。

ところで、上述したように、本実施の形態に係る撮像装置１０では、高周波成分からなる像振れ信号に対しては光学像振れ補正処理を施し、低周波成分に対しては電子像振れ補正処理を施すようにしているが、像振れ信号の低周波成分を電子像振れ補正にて処理する場合には、その用いる撮像素子の読み出し方式の違いにより、補正処理にも違いが生じる。

以下では、本実施の形態に係る撮像装置１０の、撮像素子別による電子像振れ補正処理について説明していく。

＜撮像素子別の補正処理＞
本実施の形態に係る撮像装置１０では、その撮像素子１０３として、ＣＣＤセンサやＣＭＯＳセンサのどちらを用いるようにしてもよいが、ＣＣＤセンサとＣＭＯＳセンサでは読み出し方式が異なるため、露光タイミングがそれぞれ異なり、各撮像素子に適合した制御を行う必要がある。

具体的には、ＣＣＤセンサは、読み出し方式が電荷転送型の固体撮像素子であり、このＣＣＤセンサの場合には、全画素を同時期に露光して、画素データを読み出すことが可能となっている。そして、このＣＣＤセンサを用いた像振れ補正処理においては、全ての画素の露光期間が等しく、画像の歪みが生じないために、像振れによる影響を低減させるための処理を実行する上で必要とされる像振れ補正量は、１フィールドまたは１フレーム内で得られた像振れ情報に基づいて算出された単一の値を用いて処理することができる。

図９は、ＣＣＤセンサの像振れ補正処理タイミングを示すものである。上述したように、撮像素子としてＣＣＤセンサを用いた場合の電子像振れ補正処理は、全画素の像振れ補正量が同じであるため、画像更新周期に１回のみ補正処理が動作する。

これに対して、ＣＭＯＳセンサは、読み出し方式が２次元アドレス型の固体撮像素子であり、１画素単位あるいは１ライン単位で順番に読み出されるようになっている。

さらに詳細にライン単位で読み出しを行う撮像素子であるＣＭＯＳセンサについて図１０を参照にして説明する。図１０は、ＣＭＯＳセンサのライン毎の読み出しのずれについて説明するための図である。ここでは、全画素の読出し周期が１／Ｔ秒で、１画素がラインｙ０乃至ラインｙ２で構成されるＣＭＯＳセンサの場合を例に挙げて説明する。なお、説明の便宜上、図１０（Ｂ）では１画面中におけるラインｙ０、ラインｙ１、ラインｙ２の３つのラインを抽出し、各ライン毎の電荷蓄積の様子と読み出しタイミングのずれについて示す。

この図１０（Ｂ）を参照すると、ラインｙ０の露光期間は、開始時刻が時刻ｔ１であり、終了時刻が時刻ｔ２である。ラインｙ１の露光期間の終了時間は、時刻ｔ３であり、ラインｙ２の露光期間の終了時間は、時刻ｔ４である。

時刻ｔ２と時刻ｔ３との時間差は時間差Δｔであり、時刻ｔ３と時刻ｔ４の時間差は時間差Δｔである。すなわち、露光期間は、１ライン毎に時間差が時間差Δｔだけ生じることになる。したがって、画面の一番上のラインｙ０と一番下のラインｙ２とでは、この場合、露光期間に１／Ｔ秒に近い時間差が発生することになる。このように、１画像を読み出す際、一番上のラインｙ０と一番下のラインｙ２とでは露光期間に１／Ｔ秒に近い時間差（露光期間のずれ）が生じるため、このずれが生じる状況下で像振れが生じた場合、このライン毎による露光期間の時間差により、被写体である物体の画像が変形してしまうこととなる。

図１１は、ＣＭＯＳセンサの像振れ補正処理タイミングを示すものである。上述したように、撮像素子としてＣＭＯＳセンサを用いた場合の電子像振れ補正処理において、１フィールドまたは１フレーム内で得られた像振れ信号情報に基づいて算出された単一の補正量で像振れ補正処理を行った場合、各ライン毎に露光期間のずれ（撮像のタイミングのずれ）が生じるため、像振れの影響を完全に取ることができない。そして、結果として、ユーザに提供される画像が歪んだ画像となってしまうことが考えられる。したがって、ＣＭＯＳセンサを用いて電子像振れ補正処理を施す場合には、ＣＣＤセンサのように全画素同一補正量ではなく、１画面中の各ライン毎に補正量を算出して補正処理を行うことが必要となる。

このように、画像更新周期と独立して処理することができる光学像振れ補正演算は、画像更新周期とは別の同期で処理できるのに対し、画像更新の同期で処理する電子像振れ補正演算は、撮像素子の読み出し方式に依存し、画像更新周期に同期して処理する必要がある。そして、一般的にＣＣＤセンサでは、全ての画素は露光の開始と終了のタイミングが同じであるため各画素の同時性があるのに対して、ＣＭＯＳセンサでは画素毎の同時性がなく、それぞれ露光タイミングが異なる。

近年、高精細装置の普及による撮像素子の多画素化が一般化しており、多画素の撮像素子を高速に読み出すには、ＸＹアドレス走査型の読み出し行うことが必要とされている。また、このＸＹアドレス走査型の撮像素子では、各画素の信号を選択方式で取り出すため、取り出す順番を容易に変えることができ、走査の自由度が高く、この点においても高精細な装置への適用が望ましい。したがって、これらの観点から近年では、撮像素子としてＣＭＯＳセンサを適用させることへの要望が強くなっている。

さらに、ＣＭＯＳセンサでは、以下のような利点を有している、すなわち、２次元アドレス走査型のＣＭＯＳセンサでは、電荷転送型のＣＣＤセンサと比べて、その動作方式の違いからノイズひとつであるスミアの発生をなくすことができるとともに、ＣＭＯＳセンサの場合には、より小さい消費電力で駆動させることが可能となっている。

そこで、以下では、撮像素子１０３としてＣＭＯＳセンサを用いた場合の、本実施の形態に係る撮像装置１０の電子像振れ補正処理について詳細に説明していく。

上述したように、電子像振れ補正処理においては、撮像素子１０３としてＣＭＯＳセンサを用いた場合、読み出し方式により各ライン毎の露光タイミングが異なることから、その複数分割された領域（ライン）毎に像振れに対する補正量を算出することが必要となってくる。

図１２は、各ライン毎に異なった補正ベクトルを適応させることを説明するための模式図である。図１２（Ａ）は、１画像中のライン０、ラインｎ、ラインＮにおける時間ｔに対する像振れ検出ベクトルｖを示す。すなわち、関数ｆ（ｔ）によって時間ｔにおける像振れベクトルを算出する。また、図１２（Ｂ）は、各ラインにおける補正ベクトルを示している。

上述したように、撮像素子１０３としてＣＭＯＳセンサを用いた場合には、１画像中における各ライン毎に露光タイミングが異なる。したがって、図１２に示すように、各ライン毎に像振れベクトルも相違し、その像振れベクトルを打ち消すように各ライン毎に補正ベクトル量を算出することが必要となり、電子像振れ補正演算部５０４にて各ライン毎に像振れ量と補正量を算出することにより、像振れをキャンセルする。

図１３は、画像の更新周期と各ラインにおける電荷蓄積タイミングを示す図である。なお、この図１１中において、Ｔ_Ｂは画像更新周期、Ｔ_Ｃは電荷蓄積期間、Ｔ_Ｓは電子シャッター時の掃き捨て蓄積期間、Ｎはライン数、Ｔ_Ｏは光学像振れ補正演算部の検出と補正の周期、Ｔ_Ｅは電子像振れ補正演算部の周期を示している。

この図１３から判るように、本実施の形態の係る撮像装置１０においては、電子シャッター機能が備えられている。電子シャッターは、１回の水平走査期間につき１回の電荷掃き捨てパルスを印加することで、それまでにＣＭＯＳセンサの受光部に蓄積された不要電荷を掃き捨てる機能であり、これにより適切な電荷蓄積が行われる。そして、電子シャッターをＯＦＦにし、すぐに露光を開始することで、再び電荷の蓄積させることができる。これにより不要な電荷を蓄積させずに、必要な電荷だけがＣＭＯＳセンサの受光部に蓄積した状態を保持できる。また、このように電子シャッター機能を備えることにより、過度の電荷蓄積時間、すなわち過度の露光時間による像振れの発生を防止することが可能となる。

本実施の形態に係る撮像装置１０においては、このように、電子シャッター機能を備えているので適切な電荷蓄積を行うことが可能となるが、装置に発生した像振れを検出し、その検出した像振れ信号に基づいて電子像振れ補正量を算出するに際しては、画像更新周期Ｔ_Ｂ中における電子シャッターよる電荷掃き捨て期間を考慮して、電荷蓄積期間Ｔ_Ｃの中心、換言すると有効露光期間の中心（露光中心）における像振れ信号を検出し、その検出した像振れ信号から補正量を算出することが必要となる。

この図１３を参照して、例えば、６０Ｈｚの画像更新周期Ｔ_Ｂあたりに、電子像振れ補正のサンプリング周波数４８０Ｈｚでサンプリングポイントを設定するような場合、電子シャッターによる電荷掃き捨て期間Ｔ_Ｓを考慮して電荷蓄積期間Ｔ_Ｃの露光中心にサンプリングタイミングが合致するように設定することが望ましいが、電子シャッターによる電荷掃き捨て期間Ｔ_Ｓを任意に設定した場合には、必ずしも露光中心がサンプリングタイミングに合致させることができるとは限らない。

そこで、本実施の形態に係る撮像装置１０では、適切な像振れ信号を検出し、その像振れ信号に対して適切な補正量を算出するために、１画像中の各ライン毎の露光中心における像振れ信号を算出し、一定周期の各サンプリングポイントにおける像振れ信号の検出結果を補間するようにしている。具体的には、下記の数式１から、各ラインの露光中心に相当する時間ｔを算出し、その算出結果から、図１２に示したように、各ライン毎に補正ベクトルｖを算出することができるようになっている。

このように、本実施の形態に係る撮像装置１０では、画像更新周期Ｔ_Ｂにおけるサンプリングポイントにおいて検出する像振れ信号を補間し、補間した検出結果に基づいて補正量を算出するようにしているので、精度の高い像振れ信号検出と、その像振れに対する補正量の算出が可能となっている。また、任意に電子シャッター機能を実行させた場合でも、上記数式１より電荷蓄積期間Ｔ_Ｃにおける露光中心ｔを算出することで、適切な像振れ補正量を算出することができる。

従来の撮像装置における電子像振れ補正処理においては、撮像素子としてＣＭＯＳセンサを用いた場合、画面上部と下部では露光タイミングにずれが生じてしまうため、画像による像振れの検出は、結像面の被写体の時間的なずれが問題となっていた。このことから、領域毎に時間的に異なるものを比較することは難しく、検出誤差につながりやすくなるという問題があった。また、画像検出は被写体の影響を受けやすいので、ローコントラスト、高周波画像、Ｓ／Ｎが悪い画像等では、像振れ信号を誤検出するという問題があった。

しかしながら、本実施の形態に係る撮像装置１０によれば、サンプリングタイミングにおける像振れ信号検出に補間するようにして、電荷蓄積期間Ｔ_Ｃの露光中心ｔにおける像振れ信号を検出し、その時点における補正ベクトルｖを算出するようにし、算出した補正ベクトルｖを、画像処理ユニット２００における像振れ補正部２０２に供給するようにしている。これにより、上記の問題を解決するとともに、精度の高い、電子像振れ補正処理をすることができる。

そして、このように、精度の高い電子像振れ補正処理を実現させることで、振幅が大きい像振れ信号が多い低周波数帯域の像振れに対して、的確に補正処理を施すことができる。

以上、本実施の形態に係る撮像装置１０における、光学像振れ補正処理と電子像振れ補正処理について説明した。本実施の形態に係る撮像装置１０は、このように、光学像振れ補正と電子像振れ補正とを組み合わせて像振れ補正処理を施すようにしているので、容易に十分な補正余裕を確保することが可能となり、振幅の大きな像振れに対しても、精度高く補正処理を施すことができる。

また、これにより、従来の撮像装置に比して、レンズユニットのおけるレンズやアクチュエーターの大型化を防止することができ、それに伴う装置の重量化を防止することができる。さらに、レンズをシフト駆動するための消費電力の増大、またさらにレンズを大きくシフトさせることによる光学性能劣化等を防止することもできる。

また、電子像振れ補正処理を採用していた従来の撮像装置に比して、補正角を十分に確保することに伴う実効領域の縮小による画像劣化等を防止することが可能となる。

＜補正量の分配制御フロー＞
上述したように、本実施の形態に係る撮像装置１０によれば、光学像振れ補正処理と電子像振れ補正処理とを組み合わせることによって、大きい補正角を確保することができ、振幅の大きな像振れに対しても、効率的に像振れ補正処理を施すことができる。

一方でまた、この本実施の形態に係る撮像装置１０では、装置に生じた像振れを補正するための補正角が比較的小さい場合、すなわち補正量が小さい場合には、光学像振れ補正を優先的に補正手段として用いることも可能となっている。このように、補正角が小さい場合には光学像振れ補正を優先的に処理することによって、電子像振れ補正処理に伴う画像劣化等の問題発生を防止することができる。また、撮像装置１０の演算量を抑えることも可能となり、必要最小限の電力で、高速に補正処理を施すことができる。

また、このように光学像振れ補正処理を優先的に行うことにより、露光中の像振れ補正処理を可能にすることができる。光学像振れ補正と電子像振れ補正の相違として、撮像素子の露光振れに対する補正の対応の有無があり、光学像振れ補正の場合には露光中も補正が可能であるのに対して、電子像振れ補正の場合には露光中に像振れを補正することはできない。上述したように、電子像振れ補正の場合、例えば撮像素子としてＣＭＯＳセンサを用いた場合では、その露光タイミングにずれが生じてしまうため、１画像中の各ライン毎に補正量が異なり、露光中に補正ができないことによる影響をさらに大きくしてしまう。

そこで、本実施の形態に係る撮像装置１０においては、補正量限界に基づいて制御することにより、光学像振れ補正処理を優先させる処理を行うようにしており、これにより、露光中の像振れ補正を可能な限り可能にし、露光中に生じる被写体振れ等を最小限に抑えることができる。以下に、光学像振れ補正処理優先制御機構について、再び図６のブロック図と、さらに図１４のフローチャートを参照にして詳細に説明する。

上述したように、図６は、本実施の形態に係る撮像装置１０の他の構成例の一例を表すブロック図であり、各補正演算部５０３，５０４における補正限界に基づいた制御を行うものである。

この図６に示すように、撮像装置１０の演算部５００には、図１を参照にして上で説明した構成の他に、さらにリミット制御部５０６と、レンズシフトドライバ指示部５０７と、電子補正指示部５０８とを備えている。

像振れ検出部４００にて検出した像振れ信号のうち、高周波成分の像振れ信号は光学像振れ補正演算部５０３に、低周波成分の像振れ信号は電子像振れ補正演算部５０４に入力され、各補正演算部５０３，５０４にて補正量が算出されると、その補正量はリミット制御部５０６に出力される。このリミット制御部５０６では、各補正演算部５０３，５０４にて算出された補正量を統合するとともに、各補正演算部５０３，５０４にて算出された像振れに対する全補正量が、光学補正及び電子補正の補正限界（補正量ｍａｘ）にあるか否かを判断する。そして、このリミット制御部５０６からの補正量情報は、光学像振れ補正処理を施すためにレンズシフトドライバ１０４に指示するためのレンズシフトドライバ指示部５０７と、電子像振れ補正処理を施すために像振れ補正部２０２に指示するための電子補正指示部５０８に、それぞれ出力される。そして、これらの指示部からの指示に基づき、補正処理が施される。このように構成された本実施の形態に係る撮像装置１０は、このリミット制御部５０６における制御に基づいて、光学像振れ補正処理を優先させる処理を行うことができるようになっている。

ここで、より具体的に、図１４のフローを参照して、光学像振れ補正処理優先制御機構について詳細に説明する。図１４は、本実施の形態に係る撮像装置１０の、光学像振れ補正処理を優先的に用いる動作制御を説明するための制御フローである。

本実施の形態に係る撮像装置１０は、上述したように、像振れ検出部４００において、撮像装置１０の移動に伴う像振れを検出すると、その像振れ信号を演算部５００に出力し、ＨＰＦ５０１を通過させて像振れ信号を高周波成分と低周波成分に分離する。そして、まずステップＳ４０１において、分離した各像振れ信号のうち、高周波成分の像振れ信号に対しては光学像振れ補正演算処理を施し、低周波成分の像振れ信号に対しては電子像振れ補正演算処理を施す。

具体的には、上述したように、像振れ検出部４００において検出された像振れ信号が演算部５００に入力され、ＨＰＦ５０１において検出された像振れ信号のうちの高周波成分が抽出されると、その高周波帯域の像振れ信号は光学像振れ補正演算部５０３にて補正量が算出される。一方、像振れ検出部４００にて検出された全像振れ信号からＨＰＦ５０１にて抽出された高周波帯域の像振れ信号が減算部５０２において差し引かれることによって抽出された低周波帯域の像振れ信号は、電子像振れ補正演算部５０４にて補正量が算出される。

このようにして、まずステップＳ４０１にて、検出された像振れ信号のうち高周波成分が光学像振れ補正演算部５０３で、低周波成分が電子像振れ補正演算部５０４で、それぞれ補正量が算出されると、次にステップＳ４０２において、総合像振れ補正量と光学像振れ補正量の比較を行う。すなわち、ステップＳ４０１において、光学像振れ補正演算部５０３にて算出された補正量と電子像振れ補正演算部５０４にて算出された補正量とを合算した像振れに対する全補正量（総合補正量）と、光学像振れ補正限界量とを比較する。そして、この比較の結果、「総合像振れ補正量（Ｖｔ）＞光学像振れ補正限界（Ｖｏ＿ｍａｘ）」である場合（ステップＳ４０２にてＹＥＳ：Ｙの場合）にはステップＳ４０３に進む。一方、比較の結果、「総合像振れ補正量（Ｖｔ）＞光学像振れ補正限界（Ｖｏ＿ｍａｘ）」ではない場合（ステップＳ４０２にてＮＯ：Ｎの場合）にはステップＳ４０４に進む。

ステップＳ４０２にて「総合像振れ補正量（Ｖｔ）＞光学像振れ補正限界（Ｖｏ＿ｍａｘ）」であると判断されると、ステップＳ４０３において、
光学像振れ補正量（Ｖｏ）＝光学像振れ補正量限界（Ｖｏ＿ｍａｘ）
電子像振れ補正量（Ｖｅ）＝総合像振れ補正量（Ｖｔ）−光学像振れ補正量限界（Ｖｏ＿ｍａｘ）
を設定し、次にステップＳ４０５に進む。

一方で、ステップＳ４０２にて、「総合像振れ補正量（Ｖｔ）＞光学像振れ補正限界（Ｖｏ＿ｍａｘ）」ではないと判断されると、ステップＳ４０４において、
光学像振れ補正量（Ｖｏ）＝総合像振れ補正量（Ｖｔ）
電子像振れ補正量＝０
を設定する。このステップＳ４０４において、このようにして光学像振れ補正量（Ｖｏ）＝総合像振れ補正量（Ｖｔ）が設定されて、検出した像振れ信号のすべてが光学像振れ補正によって処理されるように設定されると、この制御フローの処理は終了となり、光学像振れ補正演算部５０３にて算出された補正量は、撮像装置１０のレンズユニット１００におけるレンズシフトドライバ１０４に出力され、その補正量に基づきシフト防振レンズ１０２を制御して光学像振れ補正処理を実行する。

ステップＳ４０３にて光学像振れ補正量（Ｖｏ）と電子像振れ補正量（Ｖｅ）が設定されると、次にステップＳ４０５において、電子像振れ補正量（Ｖｅ）と電子像振れ補正限界（Ｖｅ＿ｍａｘ）の比較を行う。すなわち、ステップＳ４０３にて総合像振れ補正量（Ｖｔ）から光学像振れ補正限界（Ｖｏ＿ｍａｘ）に設定された光学像振れ補正量（Ｖｏ）を差し引くことによって決定された電子像振れ補正量（Ｖｅ）が、電子像振れ補正限界（Ｖｅ＿ｍａｘ）よりも大きいか否かの判断が行われる。そして、この比較の結果、「電子像振れ補正量（Ｖｅ）＞電子像振れ補正限界（Ｖｅ＿ｍａｘ）」である場合（ステップＳ４０５にてＹＥＳ：Ｙの場合）には、ステップＳ４０６に進む。一方、比較の結果、「電子像振れ補正量（Ｖｅ）＞電子像振れ補正限界（Ｖｅ＿ｍａｘ）」ではない場合（ステップＳ４０２にてＮＯ：Ｎの場合）には、ステップＳ４０７に進む。

ステップＳ４０５にて「電子像振れ補正量（Ｖｅ）＞電子像振れ補正限界（Ｖｅ＿ｍａｘ）」であると判断されると、ステップＳ４０６において、
光学像振れ補正量（Ｖｏ）＝光学像振れ補正量限界（Ｖｏ＿ｍａｘ）
電子像振れ補正量（Ｖｅ）＝電子像振れ補正量限界（Ｖｅ＿ｍａｘ）
を設定し、この制御フローの処理は終了となる。そして、光学像振れ補正限界に設定された光学像振れ補正量は、光学像振れ補正演算部５０３からレンズユニット１００におけるレンズシフトドライバ１０４に出力されて、その補正量に基づいてシフト防振レンズ１０２を制御して光学像振れ補正処理を実行する。また、電子像振れ補正限界に設定された電子像振れ補正量は、電子像振れ補正演算部５０４から、撮像装置１０における画像処理ユニット２００の像振れ補正部２０２に出力されて、その補正量に基づいて電子像振れ補正処理を実行する。

一方で、ステップＳ４０５にて「電子像振れ補正量（Ｖｅ）＞電子像振れ補正限界（Ｖｅ＿ｍａｘ）」ではないと判断されると、ステップＳ４０７において、
光学像振れ補正量（Ｖｏ）＝光学像振れ補正量限界（Ｖｏ＿ｍａｘ）
電子像振れ補正量（Ｖｅ）＝総合像振れ補正量（Ｖｔ）−光学像振れ補正量限界（Ｖｏ＿ｍａｘ）
を設定し、この制御フローの処理は終了となり、ステップＳ４０３において設定された補正量まま、補正処理を実行することとなる。すなわち、光学像振れ補正限界に設定された光学像振れ補正量は、光学像振れ補正演算部５０３からレンズユニット１００におけるレンズシフトドライバ１０４に出力されて、その補正量に基づいてシフト防振レンズ１０２を制御して光学像振れ補正処理を実行する。また、総合像振れ補正量（Ｖｔ）から光学像振れ補正限界（Ｖｏ＿ｍａｘ）に設定された光学像振れ補正量（Ｖｏ）を差し引くことによって決定された電子像振れ補正量（Ｖｅ）は、電子像振れ補正演算部５０４から、撮像装置１０における画像処理ユニット２００の像振れ補正部２０２に出力され、その補正量に基づいて電子像振れ補正処理を実行する。

以上、図６及び図１４を用いて説明したように、本実施の形態に係る撮像装置１０は、像振れ信号に対する補正量を算出する演算部５００において、リミット制御部５０６を備えており、補正量演算結果に基づいて、補正量を制御することができるようになっている。具体的に、このリミット制御部５０６は、光学像振れ補正演算部５０３と電子像振れ補正演算部５０４とで算出された補正量から全補正量を算出する。また、このリミット制御部５０６は、光学像振れ補正及び電子像振れ補正の補正限界量に関する情報を保持しており、全補正量と光学像振れ補正限界量とを比較する。さらに、各補正演算部５０３，５０４にて算出された各補正量と各像振れ補正限界量とを比較する。

そして、例えば、検出された像振れ信号に基づいて光学像振れ補正演算部及び電子像振れ補正演算部にて算出された全補正量と光学像振れ補正限界量とを比較し、算出された全補正量が光学像振れ補正限界量以下の場合には、検出された像振れ信号に対して光学像振れ補正を優先的に実行させる。このように、リミット制御部５０６の制御に基づき光学像振れ補正を優先させることにより、撮像装置における演算負荷を軽減することができるとともに、電力消費を抑え、また高速な補正処理を実行することができる。また、露光中の像振れ補正を可能にし、精度の高い像振れ処理を実行することができるようにしている。

また、光学像振れ補正処理を優先して行わせることにより、撮像素子から読み出された後に擬似的に像振れを補正する電子像振れ補正処理に比べて、像振れによる画像劣化をより低減することができる。

なお、上述した光学像振れ補正を優先して行わせる制御に際して、演算部５００に備えられている信号解析部５０５による振幅の大きさに関する信号解析結果を反映させて制御するようにしてもよい。すなわち、信号解析部５０５が、検出した像振れ信号が小振幅信号であると解析すると、その解析結果に関する情報を、例えば、リミット制御部５０６に供給する。そして、リミット制御部５０６は、その供給された情報を利用して、光学像振れ補正を優先して行わせるようにしてもよい。また、信号解析部５０５が小振幅信号であるとの信号解析を行うと、その解析結果に関する情報を、例えば、ＨＰＦ５０１に供給する。そして、ＨＰＦ５０１は、その供給された情報を利用して、周波数帯域別に分離するカットオフ機能を停止し、全ての像振れ信号を光学像振れ補正演算部５０３に出力するようにし、全像振れ信号に対する光学像振れ補正量に基づいて光学像振れ補正を行わせるようにしてもよい。

上述したように、本実施の形態に係る撮像装置１０は、光学像振れ補正処理と電子像振れ補正処理とを周波数帯域別に実行することが可能となっている。そしてまた、本実施の形態に係る撮像装置１０においては、その光学像振れ補正処理と電子像振れ補正処理とを実行するに際し、統一した検出部である像振れ検出部４００によって検出した像振れ信号を、像振れ検出部と像振れ演算部とが一元管理可能なように構成された演算部５００に出力して、各補正処理量を算出するようにしている。これにより、光学像振れ補正部と電子像振れ補正部の双方の整合性をとることが容易になり、所望の像振れ補正結果を得易くすることができる。

さらに、このように各補正処理を一元管理することによって、上述したような信号解析部５０５による像振れ信号の振幅の大きさの解析に基づいて、消費電力を抑えた補正処理を行うことができる。また、各補正処理部における補正限界を考慮してそれぞれの補正量を算出することができるので、より効率的な像振れ補正処理を可能にすることができる。

またさらに、各補正処理を一元管理し、それぞれの補正処理の限界量に応じて各補正処理を制御することにより、画像劣化や消費電力の増大を防止した効率的かつ効果的な像振れ補正処理を施すことができる。

上述した像振れを補正するための処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

記録媒体について説明するために、簡単に、記録媒体を扱うパーソナルコンピュータについて説明する。図１５は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ６０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３には、ＣＰＵ６０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース６０５は、キーボードやマウスから構成される入力部６０６が接続され、入力部６０６に入力された信号をＣＰＵ６０１に出力する。また、入出力インタフェース６０５には、ディスプレイやスピーカなどから構成される出力部６０７も接続されている。

さらに、入出力インタフェース６０５には、ハードディスクなどから構成される記憶部６０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部６０９も接続されている。ドライブ６１０は、磁気ディスク６１１、光ディスク６１２、光磁気ディスク６１３、半導体メモリ６１４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図１５に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク６１１（フレキシブルディスクを含む）、光ディスク６１２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、若しくは半導体メモリ６１４等よりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ６０２や記憶部６０８が含まれるハードディスクなどで構成される。

なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

その他、本発明はこれらの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更や修正を加えることが可能である。

本実施の形態に係る撮像装置のシステム構成を示すブロック図である。 像振れ周波数と振幅との関係を示すグラフである。 像振れ信号とその周波数成分毎の波形を示すグラフである。 本実施の形態に係る撮像装置の光学像振れ補正量演算の処理を説明するためのフローチャートである。 本実施の形態に係る撮像装置の光学像振れ補正の補正角範囲を制御処理を説明するためのフローチャートである。 本実施の形態に係る撮像装置のシステム構成を示すブロック図である。 本実施の形態に係る撮像装置の電子像振れ補正量演算の処理を説明するためのフローチャートである。 撮像面上の実行領域、有効領域及び余剰領域を示す図である。 ＣＣＤセンサの像振れ補正処理タイミングを示す図である。 ＣＭＯＳセンサのライン毎の読み出しのずれについて説明するための図である。 ＣＭＯＳセンサの像振れ補正処理タイミングを示す図である。 １画像中の各ライン毎に異なった補正ベクトルを適応させることを説明するための図である。 画像の更新周期と各ラインにおける電荷蓄積タイミングを示す図である。 本実施の形態に係る撮像装置の光学像振れ補正処理を優先的に行う動作制御を説明するためのフローチャートである。 本実施の形態に係る撮像装置の機能を実現するコンピュータの構成例を示す図である。

符号の説明

１０ 撮像装置、１００ レンズユニット、１０１ レンズ、１０２ シフト防振レンズ、１０３ 撮像素子、１０４ レンズシフトドライバ、２００ 画像処理ユニット、２０１ 画像処理部、２０２ 像振れ補正部、３００ 記録部、４００ 像振れ検出部、５００ 演算部、５０１ ＨＰＦ、５０２ 減算部、５０３ 光学像振れ補正演算部、５０４ 電子像振れ補正演算部、５０６ リミット制御部、５０７ レンズシフトドライバ指示部、５０８ 電子補正指示部

Claims (7)

1. 被写体像を形成する撮像光学系と、
   上記撮像光学系によって形成される被写体像を光電変換した撮像画像を読み出す撮像素子と、
   動き検出センサを用いて像振れ信号を出力する像振れ検出部と、
   上記像振れ信号に基づいて、光学的補正量と電子的補正量とからなる像振れ補正量を算出する演算部と、
   上記撮像光学系の一部を構成する光学素子と上記撮像素子の少なくとも一方を移動させ、上記光学補正量に応じて、光学的に像振れを補正する光学像振れ補正部と、
   上記撮像素子により読み出された撮像画像の像振れを上記電子的補正量に基づく画像処理により電子的に補正する電子像振れ補正部と
   を備え、
   上記演算部は、
   上記像振れ信号を周波数帯域別に分離する分離部と、
   上記分離部にて分離された像振れ信号の高周波成分に基づいて、上記光学的補正量を算出する光学像振れ補正演算部と、
   上記分離部にて分離された像振れ信号の低周波成分に基づいて、上記電子的補正量を算出する電子像振れ補正演算部と備える撮像装置。
2. 上記演算部は、さらに、検出された上記像振れ信号の振幅の大きさを解析する信号解析部を備え、
   上記信号解析部は、解析した上記振幅の大きさに応じて、上記光学的補正量を変更する請求項１記載の撮像装置。
3. 上記演算部は、さらに、補正限界制御部を備え、
   上記補正限界制御部は、像振れ信号に基づいて上記光学像振れ補正演算部及び上記電子像振れ補正演算部にて算出された全補正量と光学像振れ補正限界量とを比較し、該算出された全補正量が該光学像振れ補正限界量以下の場合には、該像振れ信号に対して光学像振れ補正を優先的に施す請求項１又は２記載の撮像装置。
4. 上記電子像振れ補正演算部は、上記撮像素子により読み出された撮像画像の複数分割された領域毎に補正量を算出する請求項１乃至３の何れか１項記載の撮像装置。
5. 上記撮像素子は、ＣＭＯＳイメージセンサである請求項４記載の撮像装置。
6. 動き検出センサを用いて検出された像振れ信号を高周波成分と低周波成分に分離する分離工程と、
   上記高周波成分に基づいて光学的補正量を算出する光学的補正量算出工程と、
   上記低周波成分に基づいて電子的補正量を算出する電子的補正量算出工程と、
   上記光学的補正量に基づいて、光学的に像振れ補正処理を行う光学的像振れ補正工程と、
   上記電子的補正量に基づいて、電子的に像振れ補正処理を行う電子的像振れ補正工程と
   を有する像振れ補正方法。
7. 動き検出センサを用いて検出された像振れ信号を高周波成分と低周波成分に分離する分離工程と、
   上記高周波成分に基づいて光学的補正量を算出する光学的補正量算出工程と、
   上記低周波成分に基づいて電子的補正量を算出する電子的補正量算出工程と、
   上記光学的補正量に基づいて、光学的に像振れ補正処理を行う光学的像振れ補正工程と、
   上記電子的補正量に基づいて、電子的に像振れ補正処理を行う電子的像振れ補正工程と
   を有する像振れ補正方法をコンピュータに実行させるためのプログラム。

Images