JP4947576B2 - 撮像装置、ぶれ補正方法及び撮像方法 - Google Patents

Description

本発明は、本発明は、手ぶれにより劣化の生じた画像を復元する撮像装置、ぶれ補正方法及び撮像方法に関し、特に、復元フィルタによる周波数変調を施すことを特徴とした撮像装置、ぶれ補正方法及び撮像方法に関する。

近年、撮像装置としてカメラの小型化が進み、手ぶれ補正技術が注目をされてきている。
カメラの小型化のために従来と比較して撮影形態の自由度が広がり、片手での撮影等が行われる機会が増えてきているために、写真撮影時に撮像装置をしっかりとホールドすることが難しくなってきている。
撮影時にカメラを安定した状態にホールドすることができない場合、シャッターボタンを押した際にカメラがぶれ、撮像した画像に手ぶれが生じてしまう。特に、露出時間の長い暗条件での撮影では、シャッター速度が遅くなるため、手ぶれが顕著に現れる。

近年、手ぶれ補正機能がコンパクトカメラにも搭載されるようになっている。これら手ぶれ補正機能には、ブレに合わせてレンズを傾斜させ補正する光学式手ぶれ補正と、撮像した画像を電子的に処理し手ぶれ補正する電子式手ぶれ補正とがある。
この内、光学式手ぶれ補正は、小型の撮像装置（コンパクトカメラ等）や携帯電話のカメラに搭載することは、スペースの問題から非常に困難である。

電子式手ぶれ補正としては、例えば特許文献１〜５に開示された技術がある。

例えば、特許文献１には、露光条件が異なる撮像画像情報を合成してダイナミックレンジを拡大した画像を得る際に、露光条件が異なる画素で得られたほぼ同時刻の撮像画像情報の合成に際し、少なくとも一方の露光条件の撮像画像情報を重複して使用する撮像装置が開示されている。

特許文献２には、カメラに備えた角度検出センサの検出情報と、カメラの焦点距離情報及び絞り情報とにより、撮影者特有の手ぶれ限界露光時間をあらかじめ記憶しておき、適正露光時間が手ぶれ限界露光時間より長くなる場合には、それより短い露光時間で複数回の撮影を行い画像を合成して手ぶれ補正を行う補正装置が開示されている。

特許文献３には、レンズからの光束を２つに分離し、一方の光束を減衰させて得た輝度差のある２つの被写体像を撮像素子の撮像面上の異なる領域に生成し、これら２枚の画像データは電荷蓄積時間及び電荷蓄積スタート時刻を互いに等しくすることによって、拡大されたダイナミックレンジを有する新たな画像データを得る撮像装置が開示されている。

特許文献４には、間引いたブロックごとに動きベクトルを検出し、検出された動きベクトルから内挿補間することによって、検出を行っていないブロックに動きベクトルを与え、最終の動きベクトル検出においてはブロックごとに検出を行う動きベクトル検出方法が開示されている。

特許文献５には、画像評価を行い、重要と判断された部分は高精細度に、動きが少ない或いは静止している部分は粗い精細度でデータを送信する画像圧縮方式が開示されている。

また、電子式手ぶれ補正としては、特許文献６に開示された、ぼけ（ぶれ）状態を表す伝達関数（点広がり関数：ＰＳＦ）を取得し、手ぶれ画像に対して伝達関数の逆変換を行うことにより手ぶれ補正を行う方法もある。

特開平１０−１０８０７９号公報 特開２００４−２７９５１４号公報 特開２００３−３２５５９号公報 特開平７−１７７５１９号公報 特開平６−１６９４５２号公報 特開平１１−２４１２２号公報

しかし、上述した特許文献１〜５に開示された手ぶれ補正方法では、多くの撮影枚数を必要とし、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。
また、特許文献６に開示された手ぶれ補正方法では、十分に良好なぶれのない補正画像を得ることができない、という不利益がある。

本発明は、上述した不利益を解消するために、処理量が少なく高精度なぶれ補正を実施できる撮像装置、ぶれ補正方法及び撮像方法を提供することを目的とする。

上述した目的を達成するために、第１の発明の撮像装置は、撮影時のぶれを補正した補正画像を生成する撮像装置であって、第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影する撮像部と、前記撮像部が前記第１の画像を撮影する際に前記撮像部のぶれ量を検出し、当該ぶれ量を基に、手ぶれ補正が必要であるか否かを判定するぶれ検出部と、前記第１の画像と前記第２の画像とを合成して第３の画像を生成する画像合成部と、前記撮像部が撮影した前記第１および第２の画像と、前記ぶれ検出部が検出した前記第１および第２の画像撮影時の前記撮像部のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出するＰＳＦ算出部と、前記ぶれ検出部によって手ぶれ補正が必要であると判定された場合に、前記ＰＳＦ算出部が算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成するＰＳＦ合成部と、前記ＰＳＦ合成部が生成した前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成する復元フィルタ生成部と、前記画像合成部が合成した前記第３の画像と、前記復元フィルタ生成部が生成した前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する画像処理部と、を有する。

第２の発明のぶれ補正方法は、撮影時のぶれを補正した補正画像を生成するぶれ補正方法であって、第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影し、前記第１の画像を撮影する際に撮影時のぶれ量を検出し、当該検出したぶれ量を基に、手ぶれ補正が必要であるか否かを判定し、前記第１の画像と前記第２の画像とを合成して第３の画像を生成し、前記第１および第２の画像と、前記第１および第２の画像撮影時のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出し、前記判定において手ぶれ補正が必要であると判定された場合に、前記算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成し、前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成し、前記第３の画像と前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する。

第３の発明の撮像方法は、撮像部を有し、撮影時のぶれを補正した補正画像を生成する撮像装置の撮像方法であって、第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影する第１の工程と、前記第１の工程において前記第１の画像を撮影する際に前記撮像部のぶれ量を検出する第２の工程と、前記第２の工程において検出したぶれ量を基に、手ぶれ補正が必要であるか否かを判定する第３の工程と、前記第１の画像と前記第２の画像とを合成して第３の画像を生成する第４の工程と、前記第１および第２の画像と、前記第２の工程において検出された前記第１および第２の画像撮影時の前記撮像部のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出する第５の工程と、前記第３の工程において手ぶれ補正が必要であると判定された場合に、前記算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成する第６の工程と、前記第６の工程において生成された前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成する第７の工程と、前記第４の工程において生成された前記第３の画像と、前記第７の工程において生成された前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する第８の工程と、を有する。

本発明によれば、処理量が少なく高精度なぶれ補正を実施できる撮像装置、ぶれ補正方法及び撮像方法を提供することができる。

＜第１実施形態＞
以下、本発明の手ぶれ補正装置の一例として第１の実施形態の撮像装置１００について説明する。
図１に第１の実施形態の撮像装置１００の構成を示す。
図１は、撮像装置１００の構成を示すブロック図である。
図１に示すように、本第１実施形態の撮像装置１００は、撮像部１、ぶれ検出部２、画像合成部３、ＰＳＦ算出部４、ＰＳＦ合成部５、復元フィルタ生成部６、画像処理部７、メモリ８、制御部９を有する。

撮像部１は、レンズ、及びＣＣＤ（Charged Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子からなり、レンズを通過した光を撮像素子が光電変換し、カラーフィルタによって色情報を取得して画像データ（ＲＡＷデータ）として出力するデジタルカメラモジュールである。撮像部１は、手ぶれ補正を行う際には、露出条件を変えて短い間隔で２回撮影を行い、第１の画像データ、第２の画像データとしてこれらをメモリ８に記憶させる。

ぶれ検出部２は、撮像部１の撮影時の撮像部１のぶれを検出するために撮像装置１００の角加速度（ぶれ量）を検出する、ジャイロ等の角加速度センサである。ぶれ検出部２は、撮像部１の光軸をｚ軸、撮像素子面をｘｙ平面とした場合の３軸（ｘ軸、ｙ軸、ｚ軸）それぞれに対しての角加速度を検出し、角加速度データを撮像部１のぶれ量として、メモリ８に記憶させる。
すなわち、ぶれ検出部２は、ｘ軸角加速度センサ２１と、ｙ軸角加速度センサ２２と、ｚ軸角加速度センサ２３とを有し、ｘ軸方向（通常、撮影した画像の左右方向）の変動をｘ軸角加速度センサ２１により検出し、ｙ軸方向（通常、撮影した画像の上下右方向）の変動をｙ軸角加速度センサ２２により検出し、ｚ軸方向（通常、撮像部１のレンズの光軸方向）の変動をｚ軸角加速度センサ２３により検出し、これらを基に角加速度データを算出してぶれ量として出力し、メモリ８に記憶させる。

また、ぶれ検出部２は、ぶれ量を基に、撮像部１が撮像した画像データにぶれ補正が必要であるか否かの判断を行い、必要である場合には以下説明する各部による手ぶれ補正処理を行い、そうでない場合は手ぶれ補正処理を行わず、撮像部１が撮像した画像をメモリ８に記憶させる。判断の方法については後述する。

画像合成部３は、異なる２つの画像データ（第１の画像データおよび第２の画像データ）を合成し、新たな画像データ（第３の画像データ）を生成する。画像の合成方法については、本発明では限定しない。従来の画像合成方法を使用することが可能である。
ＰＳＦ算出部４は、撮像部１が撮像した画像データ及びぶれ検出部２が算出したぶれ量を基に、画像のぶれを表すＰＳＦ（Point Spread Function：点広がり関数）を算出する。ＰＳＦは、原画像と劣化画像（ぶれを含む画像）との関係を示す関数であり、劣化関数とも呼ばれる。ＰＳＦの算出方法については、従来の方法を利用することができる。

ＰＳＦ合成部５は、ぶれ検出部２によって手ぶれ補正が必要であると判定された場合に、ＰＳＦ算出部４が算出した第１の画像データのＰＳＦと第２の画像データのＰＳＦとを合成して第３のＰＳＦを生成し、メモリ８に記憶させる。
復元フィルタ生成部６は、ＰＳＦ合成部５が合成した第３のＰＳＦを基に、画像復元フィルタを生成する。画像復元フィルタの生成方法としては、従来の画像フィルタ生成方法を利用することができる。すなわち、例えば、ＰＳＦの逆数をとることにより復元フィルタを生成する。

画像処理部７は、復元フィルタ生成部６が生成した復元フィルタを使用して画像合成部３が生成した第３の画像データの周波数変調処理を行い、補正画像（第４の画像データ）を生成する。周波数変調処理の方法は、例えば、第３の画像データと復元フィルタをフーリエ空間上で積を取る方法、あるいは、第３の画像データと復元フィルタとを畳み込み演算する方法がある。
メモリ８は、撮像部１が撮影した画像の画像データ、ぶれ検出部２が検出したぶれ量等、手ぶれ検出部２の手ぶれ補正処理に必要なデータを記憶する記憶デバイスである。
制御部９は、撮像装置１００の各構成の統括的な制御を行う。

次に、本第１実施形態の撮像装置１００の撮影時の動作例について説明する。
図２は、撮像装置１００の撮影時の動作例を説明するためのフローチャートである。
ステップＳＴ１：
撮像部１は、撮影を行い、第１の画像データを作成する。作成された第１の画像データは、メモリ８に記憶される。
ステップＳＴ２：
ぶれ検出部２は、ステップＳＴ１における撮影時の撮像装置１００のぶれ量を表す撮影時のぶれ量を検出する。検出されたぶれ量は、メモリ８に記憶される。

ステップＳＴ３：
ぶれ検出部２において検出したぶれ量を基に、ステップＳＴ１において撮影された第１の画像データに手ぶれ補正が必要であるか否かの判定を行う。
判定の方法は、例えば、ｘ軸、ｙ軸、ｚ軸それぞれの角加速度データをそれぞれ所定のしきい値と比較し、３軸とも角加速度データがしきい値未満であれば手ぶれ補正が必要でないと判定し、３軸の内いずれかの角加速度データがしきい値以上であれば手ぶれ補正が必要であると判定する、等の方法があるが、本発明では手ぶれ補正が必要か否かを判定する方法については限定しない。
ステップＳＴ３において、手ぶれ補正の必要があると判定された場合にはステップＳＴ４に進んで手ぶれ補正処理を行い、そうでない場合には、ステップＳＴ１において撮影した画像を図１に図示しない表示部等に表示させて撮影処理を終了する。
ステップＳＴ４：
撮像部１は、ステップＳＴ１における撮影と比較して短い露出時間で、感度を上げて再度撮影を行い、第２の画像データを出力する。出力された第２の画像データは、メモリ８に記憶される。第２の画像データは、露出時間が短いためにぶれは生じていないが、感度を上げたためにノイズが増えた画像となりやすい。

ステップＳＴ５：
画像合成部３は、第１の画像データと第２の画像データとを合成し、第３の画像データを生成する。
ステップＳＴ６：
制御部９は、第１の画像データ撮影時と第２の画像データ撮影時の露出条件を基に、重み付け係数を算出する。重み付け係数は、後述するステップＳＴ８において、ＰＳＦ合成部５が第１の画像データのＰＳＦと第２の画像データのＰＳＦとを合成して第３のＰＳＦを生成する際の、第１の画像データのＰＳＦと第２の画像データのＰＳＦとの比率を表す係数であり、例えば、第１の画像データの露出量と、第２の画像データの露出量との比で表される。

ステップＳＴ７：
ＰＳＦ算出部４は、第１の画像データ及び第２の画像データのＰＳＦを算出する。算出された第１の画像データのＰＳＦ及び第２の画像データのＰＳＦは、メモリ８に記憶される。
ステップＳＴ８：
ＰＳＦ合成部５は、ステップＳＴ６において算出された重み付け係数を使用して、第１のＰＳＦと第２のＰＳＦとを合成して第３のＰＳＦを生成する。具体的には、例えば第１の画像データの露出量と第２の画像データの露出量との比に応じて第１のＰＳＦと第２のＰＳＦとを合成する。

ステップＳＴ９：
復元フィルタ生成部６は、ステップＳＴ８において合成された第３のＰＳＦを基に、フーリエ変換等により画像復元フィルタを生成する。
ステップＳＴ１０：
制御部９は、ステップＳＴ９において生成された復元フィルタを使用して、ステップＳＴ５において生成された第３の画像データに対して周波数変調処理を行い、第４の画像データ（手ぶれ補正画像）を生成する。

以上説明したように、本第１実施形態の手ぶれ補正装置によれば、画像（第１の画像）撮影時にぶれ検出部によってぶれが生じたか否かを検出し、ぶれが生じた場合には、第１の画像撮影時よりも露出時間を短くし感度を上げた第２の画像（ぶれがない画像）を撮影し、それぞれの画像のＰＳＦを算出し、第１の画像撮影時と第２の画像撮影時の露出条件を基にした重み付け係数を使用し第１のＰＳＦと第２のＰＳＦとを合成して算出した第３のＰＳＦを基に復元フィルタを生成し、第１の画像と第２の画像とを合成した第３の画像に復元フィルタを使用して周波数変換を施し補正画像（ぶれの無い画像）を得る。このため、ぶれ画像のＰＳＦを基に周波数変換を施し補正画像を生成する従来の方法と比較して、補正画像のぶれ量を軽減し、より良好な補正画像を生成することができる。

上述した第１実施形態では、撮像部１が第１の画像を撮影する際の撮像装置１００のぶれをぶれ検出部２が検出し、手ぶれ補正処理を行うか否かを判定し、手ぶれ補正処理を行う場合に撮像部１が第２の画像データを撮影していたが、本発明はこれには限定されない。例えば、撮像部１は、第１の画像データ撮影時に露出時間が短くぶれがない画像を撮影し、この時点ではぶれ検出部２はぶれ量の検出と手ぶれ補正処理の判定を行わず、続けて撮像部１が第２の画像データを第１の画像データ撮影時よりも長い露出時間で撮影し、ぶれ検出部２はぶれ量を検出して手ぶれ補正処理を実行するか否かを判定してもよい。すなわち、上述した実施形態における、露出時間の長い画像（ぶれあり）と短い画像（ぶれなし、ただしノイズあり）を撮影する順番を変更することが可能である。

＜第２の実施形態＞
以下、本発明の撮像装置の一例として第２の実施形態の撮像装置１０１について説明する。
第２の実施形態の構成を図３に示す。
図３は、撮像装置１０１の構成を示すブロック図である。
図３に示すように、本第２実施形態の撮像装置１０１は、撮像部１ａ、ぶれ検出部２ａ、画像合成部３、ＰＳＦ算出部４、ＰＳＦ合成部５、復元フィルタ生成部６、画像処理部７、メモリ８、制御部９を有する。
上述した本第２実施形態の撮像装置１０１の構成要素のうち、第１実施形態の撮像部１に対応する撮像部１ａ及びぶれ検出部２に対応するぶれ検出部２ａ以外は第１実施形態の撮像装置１００の対応する各構成要素と同一のものであり、上記第１実施形態において説明した動作とほぼ同一の動作を行う。
すなわち、以下説明する第２実施形態の撮像装置１０１は、ぶれ検出部２ａのぶれ検出方法以外は基本的に第１実施形態で説明した撮像装置１００と同様である。本第２実施形態では、ぶれ検出部２ａのぶれ検出方法の第１実施形態とは異なるぶれ検出方法について説明している。

撮像部１ａは、レンズ、及びＣＣＤ（Charged Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子からなり、レンズを通過した光を撮像素子が光電変換し、カラーフィルタによって色情報を取得して画像データ（ＲＡＷデータ）として出力するデジタルカメラモジュールである。撮像部１ａは、画像の撮影時に手ぶれ補正を行う場合には、連続して撮影した、露出条件が異なる複数の画像を撮影する。手ぶれ量検出のために、この複数の画像の内１枚を第４の画像データとし、残りのその他の画像の内１枚を第５の画像データとして使用する。なお、第４の画像データと第５の画像データとで撮影時の露出条件を異ならせている。撮像部１ａが撮影した画像は手ぶれ補正処理のために一時的にメモリ８に記憶される。なお、本第２実施形態の第４の画像データが第１実施形態の第１の画像データに対応し、第５の画像データが第２の画像データに対応する。

図４にぶれ検出部２ａの構成を示す。
第１実施形態のぶれ検出部２は、加速度センサを利用して機械的にぶれ検出を行っていたが、本第２実施形態のぶれ検出部２ａは、ソフトウェア的にぶれ検出を行う。

ぶれ検出部２ａは、撮像部１ａが撮影しメモリ８に記憶した第４の画像データ及び第５の画像データを基に、画像の手ぶれ量を検出する。
ぶれ検出部２ａは、手ぶれ量検出のための構成として、データ間引き部２ａ１、マクロブロック分割部２ａ２、ブロック抽出部２ａ３、輝度差比較部２ａ４、残差取得部２ａ５、ブロック選出部２ａ６、手ぶれ量算出部２ａ７を更に有する。

データ間引き部２ａ１は、撮像部１ａが撮影した第４の画像データ及び第５の画像データの生データ（ＲＡＷデータ）のデータを間引いて、動き量検出に使用する第４の間引き画像データおよび第５の間引き画像データを作成する。
ＲＡＷデータは、撮像部１ａの撮像素子から得られた信号そのままのデータであり、例えば、原色カラーフィルタを有するカメラにより撮影したＲＡＷデータは、図５に示すように、Ｇｒ（緑）、Ｒ（赤）、Ｂ（青）、Ｇｂ（緑）の４種類の色データによって構成されている。
データ間引き部２ａ１は、撮像部１ａが撮影した第４の画像データ及び第５の画像データそれぞれのＲＡＷデータを基に、この４種類の色データのうち先頭の緑のデータ（Ｇｒ）のみを抽出したそれぞれの間引き画像を作成する。なお、本第２実施形態ではＧｒのみを抽出するが、本発明はこれに限定されず、Ｒ、Ｂ、Ｇｂのいずれか１つを抽出してもよい。

マクロブロック分割部２ａ２は、データ間引き部２ａ１がＲＡＷデータの一部を間引いて作成した間引き画像の第４の画像データ及び第５の画像データを、それぞれ複数個のマクロブロックに分割する。本第２実施形態では、マクロブロック分割部２ａ２は、それぞれの画像を例えば１０×１０のマクロブロックに分割する。

ブロック抽出部２ａ３および残差取得部２ａ５は、残差逐次検定法（ＳＳＤＡ：Sequential Similarity Detection Algorithms）により、第４の画像データ内のブロックと対応する第５の画像データ内のブロックとの各画素値の差の絶対値の和（残差）を求め、テンプレートマッチングを行う。
テンプレートマッチングとは、探索対象パターン（探索ブロックＩ）と事前に用意したテンプレート（テンプレートブロックＴ）との類似度や相違度を求める手法であり、残差逐次検定法はその手法の１つである。
残差逐次検定法とは、図６に示すように、第４の画像データからＭ×Ｎ個の画素で構成される探索ブロックＩを、第５の画像データからｍ×ｎ個の画素で構成されるテンプレートブロックＴを抽出し、探索ブロックＩ上でテンプレートブロックＴを動かして比較を行い、テンプレートブロックＴと一致する探索ブロックＩ上の位置を探し出す方法である。なお、Ｍ＞ｍ、Ｎ＞ｎであり、テンプレートブロックＴの左上の座標を（ｘ，ｙ）としたとき、残差、すなわち探索ブロックＩとテンプレートブロックＴとの画素値の差の累積残差Ｅ（ｘ，ｙ）、すなわち、残差を基にマクロブロック毎にマクロブロック内の全画素を足し合わせた残差積分値Ｅ（ｘ，ｙ）は、（ｘ，ｙ）の関数であり、数式（１）で与えられる。

残差積分値Ｅ（ｘ，ｙ）が最小になる（ｘ，ｙ）の位置が、テンプレートブロックＴと探索ブロックＩとが一致する位置である。

本第２実施形態では、ブロック抽出部２ａ３は、図７（ａ）に示すように、第４の画像データの１０×１０のマクロブロックから２×２＝４ブロックの探索ブロックＩを抽出し、更に、ブロック抽出部２ａ３は、図７（ｂ）に示す、対応する第５の画像データの２×２ブロックの中心部に位置するマクロブロックの縦横２辺のそれぞれ１／４の長さを有する２辺により構成されたブロックが４つ集まって構成されるテンプレートブロックＴを抽出する。
次に、残差取得部２ａ５が、ブロック抽出部２ａ３が抽出した探索ブロックＩ及びテンプレートブロックＴを使用し、上述した残差逐次検定法により残差を取得する。

なお、残差逐次検定法では、Ｅ（ｘ，ｙ）を算出するために画素値の差を累積している間に、Ｅ（ｘ，ｙ）の値が所定のしきい値Ａを超えた場合は、探索ブロックＩとテンプレートブロックＴとが全く一致しないことを意味するため、その時点でその位置（ｘ，ｙ）に対する残差積分値Ｅ（ｘ，ｙ）の算出処理を止め、他の位置（ｘ，ｙ）に対する残差の算出に移行する。これにより、残差逐次検定法によるテンプレートマッチングは、処理時間の短縮と処理量の低減が可能である。所定のしきい値Ａの大きさについては、本発明では限定しない。

更に、ブロック抽出部２ａ３が探索ブロックＩ及びテンプレートブロックＴを抽出してから残差取得部２ａ５が残差を取得するまでの間に、輝度差比較部２ａ４が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Ｂよりこの差が小さい場合には、そのマクロブロックを残差取得部２ａ５が残差を取得する対象から除外する処理を行う。なお、しきい値Ｂは、第４の画像データの全画素または第５の画像データの全画素の輝度値の最大値と最小値との差の所定割合、或いは第４の画像データと第５の画像データとの全画素の輝度値の最大値と最小値との差の平均値の所定割合とすればよい。
すなわち、輝度値の最大値と最小値との差が小さいブロックは、例えば真っ白な部分等、コントラストが低いブロックであり、こうしたブロックではぶれ量を検出しにくいため、動き量検出処理から除外してしまう。
なお、所定のしきい値Ｂの大きさについては、本発明では限定しない。

ブロック選出部２ａ６は、輝度差比較部２ａ４が、各マクロブロックに対し、輝度値の最大値と最小値との差をとり、所定のしきい値Ｂよりこの差が小さい場合には、そのマクロブロックを残差取得部２ａ５が残差を取得する対象から除外し、残差取得部２ａ５が取得した、全ての探索ブロックＩにおける残差積分値Ｅ（ｘ，ｙ）の最小値を比較した後、最小値が小さい残差積分値を有する探索ブロックＩの小さいものを所定の数だけ抽出する。或いは、所定の数のブロックを抽出する代わりに、全ブロック数の所定の割合のブロックを抽出してもよい。
本第２実施形態では、例えば、１０個のブロックを抽出する。
手ぶれ量算出部２ａ７は、探索ブロックＩ内でブロック選出部２ａ６が選出したマクロブロックで間引きせずに積分値Ｅ（ｘ，ｙ）を求めて小さいものから順に並べた時の中央値を算出してこの画像のぶれ量とする。なお、本第２実施形態では中央値としたが、本発明はこれに限定されず、所定順位のものであればよい。
ぶれ検出部２ａは、上述した方法でぶれ量を算出する。
また、ぶれ検出部２ａは、検出したぶれ量を基に、撮像部１ａが撮像した画像データにぶれ補正が必要であるか否かの判断を行い、必要である場合には以下説明する各部による手ぶれ補正処理を行い、そうでない場合は手ぶれ補正処理を行わず、撮像部１ａが撮像した画像をメモリ８に記憶させる。判断の方法については後述する。

画像合成部３は、異なる２つの画像データ（第４の画像データと第５の画像データ）を合成し、新たな画像データ（第６の画像データ）を生成する。画像の合成方法については、本発明では限定しない。従来の画像合成方法を使用することが可能である。
ＰＳＦ算出部４は、撮像部１ａが撮像した画像データ及びぶれ検出部２ａが算出したぶれ量を基に、画像のぶれを表すＰＳＦを算出する。ここで、第４の画像データのＰＳＦを第４のＰＳＦ、第５の画像データのＰＳＦを第５のＰＳＦとする。

ＰＳＦ合成部５は、ぶれ検出部２ａによって手ぶれ補正が必要であると判定された場合に、ＰＳＦ算出部４が算出した第４のＰＳＦと第５のＰＳＦとを合成して第６のＰＳＦを生成して出力し、メモリ８に記憶させる。
復元フィルタ生成部６は、ＰＳＦ合成部５が合成した第６のＰＳＦを基に、画像復元フィルタを生成する。画像復元フィルタの生成方法としては、従来の画像フィルタ生成方法を利用することができる。

画像処理部７は、復元フィルタ生成部６が生成した復元フィルタを使用して画像合成部３が生成した第６の画像データの周波数変調処理を行い、補正画像を生成する。周波数変調処理の方法は、例えば、第６の画像データと復元フィルタをフーリエ空間上で積を取る方法、あるいは、第６の画像データと復元フィルタとを畳み込み演算する方法がある。
メモリ８は、撮像部１ａが撮影した画像の画像データ、ぶれ検出部２ａが検出したぶれ量等、手ぶれ検出部２ａの手ぶれ補正処理に必要なデータを記憶する記憶デバイスである。
制御部９は、撮像装置１０１の各構成の統括的な制御を行う。また、制御部９は、ぶれ検出部２ａの出力した角加速度データを基に撮影時に手ぶれ補正処理が必要か否かの判定を行い、必要と判定した場合には手ぶれ補正処理を撮像装置１０１の各構成に実行させる。

次に、本第２実施形態の撮像装置１０１の撮影時の動作例について説明する。
図８は、撮像装置１０１の撮影時の動作例を説明するためのフローチャートである。
ステップＳＴ１１：
撮像部１ａは、撮影を行い、第４の画像データを作成する。作成された第４の画像データは、メモリ８に記憶される。
ステップＳＴ１２：
ぶれ検出部２ａは、ステップＳＴ１１における撮影時の撮像装置１００のぶれを表すぶれ量を算出する。算出されたぶれ量は、メモリ８に記憶される。

ステップＳＴ１３：
ぶれ検出部２ａは、ステップＳＴ１２において算出されたぶれ量を基に、ステップＳＴ１１において撮影された第４の画像データに手ぶれ補正が必要であるか否かの判定を行う。
ここで、ぶれ検出部２ａは、手ぶれ補正の必要があると判定した場合にはステップＳＴ１４に進んで手ぶれ補正処理を行い、そうでない場合には制御部９がステップＳＴ１１において撮影した画像を図３に図示しない表示部等に出力して撮影処理を終了する。
ステップＳＴ１４：
撮像部１ａは、ステップＳＴ１１における第４の画像データの撮影と比較して短い露出時間で、感度を上げて再度複数回の撮影を行い、第５の画像データを出力する。出力された第５の画像データは、メモリ８に記憶される。第５の画像データは、露出時間が短いためにぶれは生じていないが、感度を上げたためにノイズが増えた画像となりやすい。

ステップＳＴ１５：
画像合成部３は、第４の画像データと第５の画像データとを合成し、第６の画像データを生成する。
ステップＳＴ１６：
制御部９は、第４の画像データ撮影時と第５の画像データ撮影時の露出条件を基に、重み付け係数を算出する。重み付け係数は、後述するステップＳＴ１８において、ＰＳＦ合成部５が第４のＰＳＦと第５のＰＳＦとを合成して第６のＰＳＦを生成する際の、第４のＰＳＦと第５のＰＳＦとの比率を表す係数であり、例えば、第４の画像データの露出量と、第５の画像データの露出量との比で表される。

ステップＳＴ１７：
ＰＳＦ算出部４は、第４の画像データ及び第５の画像データのＰＳＦを算出する。算出された第４のＰＳＦ及び第５のＰＳＦは、メモリ８に記憶される。
ステップＳＴ１８：
ＰＳＦ合成部５は、ステップＳＴ１６において算出された重み付け係数を使用して、第４の画像データのＰＳＦ（第４のＰＳＦ）と第５の画像データのＰＳＦ（第５のＰＳＦ）とを合成して第６のＰＳＦを生成する。具体的には、例えば第４の画像データの露出量と第５の画像データの露出量との比に応じて第４の画像データのＰＳＦと第５の画像データのＰＳＦとを合成する。

ステップＳＴ１９：
復元フィルタ生成部６は、ステップＳＴ１８において合成された第６のＰＳＦを基に、フーリエ変換等により画像復元フィルタを生成する。
ステップＳＴ２０：
画像処理部７は、ステップＳＴ１９において生成された復元フィルタを使用して、ステップＳＴ１５において生成された第６の画像データに対して周波数変調処理を行い、手ぶれを補正した補正画像を生成する。

以上説明したように、本第２実施形態の手ぶれ補正装置によれば、第１実施形態と同様に、画像（第４の画像データ）撮影時にぶれ検出部２ａがぶれが生じたか否かを検出し、ぶれが生じた場合には、第４の画像データ撮影時よりも露出時間を短くし感度を上げた第５の画像（ぶれがない画像）を撮影し、それぞれの画像のＰＳＦを算出し、第４の画像撮影時と第５の画像撮影時の露出条件を基にした重み付け係数を使用し第４のＰＳＦと第５のＰＳＦとを合成して算出した第６のＰＳＦを基に復元フィルタを生成し、第４の画像と第５の画像とを合成した第６の画像に復元フィルタを使用して周波数変換を施し補正画像（ぶれの無い画像）を得る。このため、ぶれ画像のＰＳＦを基に周波数変換を施し補正画像を生成する従来の方法と比較して、補正画像のぶれ量を軽減し、より良好な補正画像を生成することができる。
また、第２実施形態の撮像装置１０１によれば、ぶれ検出部２ａがソフトウェア上でぶれ量を算出するため、撮像装置１０１の構成を簡単にすることができる。

なお、上述した第２実施形態では、ぶれ検出部２ａのぶれ検出方法の一例を詳しく説明したが、第２実施形態において説明したぶれ検出部２ａのぶれ検出方法は一例であり、本発明では第２実施形態で説明したぶれ検出方法以外にも、例えば従来の技術等、様々なぶれ検出方法を利用することができる。

最後に、本発明の撮像装置１００（１０１）による手ぶれ補正の実例を挙げることにより本発明の効果を示す。
横方向に手ぶれが生じた画像の具体例を図９に示す。
図９と同じ被写体をぶれが生じないように撮影した画像の具体例を図１０に示す。
また、図９に示した横方向に手ぶれが生じた画像のＰＳＦを図１１に示す。
ＰＳＦのフーリエ変換の絶対値がＭＴＦ（Modulation Transfer Function：変調伝達関数）であり、ＭＴＦは被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数の関数として表現した量である。

図１１に示した横方向にぶれがある画像のＰＳＦのＭＴＦを図１２に示す。図１２は、縦軸がＭＴＦを、横軸が空間周波数を表している。
図１２に示すように、横方向にぶれがある画像のＭＴＦは０となる点が発生している。
復元フィルタをＰＳＦの逆数を取ることにより生成する場合、ＰＳＦが非０であることが条件となる。すなわち、図１２に示すようにＭＴＦに０点が発生している場合は、ＰＳＦに適切なぶれ補正を施す復元フィルタを生成することができない、ということである。
図１１に示した横方向にぶれがある画像のＰＳＦや、図１２に示した図１１のＰＳＦのＭＴＦは、従来のぶれ補正装置、例えば、上述した特許文献６に開示された技術等によるぶれ補正に使用されるものである。
図１３に、図１１に示したＰＳＦを基に生成した復元フィルタを使用して図９に示したぶれがある画像を補正したぶれ補正画像の具体例を示す。図１３を参照すれば、ぶれ補正を行ったにもかかわらずぶれが多く残っていることが分かる。

本発明の撮像装置１００（１０１）は、上述した実施形態で説明したように、図１１に示す、図９に示したぶれがある画像（第１、第４の画像）のＰＳＦ（第１、第４のＰＳＦ）と図１０に示すぶれが無い画像（第２、第５の画像）のＰＳＦ（第２、第５のＰＳＦ）とを重み付けして合成し（第３、第６のＰＳＦ）、これを基に復元フィルタを生成し、図９に示すぶれがある画像と図１０に示すぶれが無い画像とを合成した画像（第３、第６の画像）を復元フィルタを用いて周波数変調を施すことによってぶれを補正している。

図１４に図９に示すぶれがある画像と図１０に示すぶれが無い画像とを合成した画像（第３、第６の画像）の具体例を示す。
また、図１５に、図１０に示すぶれがある画像のＰＳＦとぶれがない画像のＰＳＦとを重み付けして合成したＰＳＦ（第３、第６のＰＳＦ）を示す。
さらに、図１６に図１５に示したＰＳＦのＭＴＦを示す。
図１６を参照すれば、ぶれが無い画像のＰＳＦをぶれがある画像のＰＳＦに合成したことによって、ＭＴＦに０点が生じていないことが分かる。
さらに、図１７に、本発明の撮像装置１００（１０１）による、図９に示したぶれがある画像を図１５に示したＰＳＦを基にした復元フィルタを使用してぶれ補正したぶれ補正画像の具体例を示す。
図１７に示した、本発明の撮像装置１００（１０１）によってぶれ補正された画像と、図１３に示した、従来の撮像装置によってぶれ補正された画像とを比較すれば、図１７に示した本発明の撮像装置１００（１０１）によるぶれ補正画像の方がよりよくぶれを補正できていることが分かる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

また、上述した第１および第２実施形態の各部の構成は、撮像装置１００（１０１）においてハードウェアにより構成されてもよいし、ソフトウェア上で構成されてもよい。

図１は、第１の実施形態の撮像装置１００の構成を示す。 図２は、撮像装置１００の撮影時の動作例を説明するためのフローチャートである。 図３は、第２実施形態の撮像装置１０１の構成を示すブロック図である。 図４は、第２実施形態のぶれ検出部２ａの構成を示す図である。 図５は、ＲＡＷ画像データの構成の一例を示す図である。 図６は、残差逐次検定法について説明するための図である。 図７は、ブロック抽出部２ａ３のブロック抽出の具体例を示す図である。 図８は、撮像装置１０１の撮影時の動作例を説明するためのフローチャートである。 図９は、横方向にぶれが生じた画像の具体例を示す。 図１０は、図９に示した画像と同じ被写体をぶれが生じないように撮影した画像の具体例を示す図である。 図１１は、図９に示した画像のＰＳＦを示す図である。 図１２は、図１１に示したＰＳＦのＭＴＦを示す図である。 図１３は、図１１に示したＰＳＦを基に生成した復元フィルタを使用してぶれ補正を行った画像の具体例を示す図である。 図１４は、図９に示すぶれがある画像と図１０に示すぶれが無い画像とを合成した画像の具体例を示す図である。 図１５は、図１１に示すＰＳＦとぶれがない画像のＰＳＦとを重み付けして合成したＰＳＦの一例を示す図である。 図１６は、図１５に示したＰＳＦのＭＴＦを示す図である。 図１７は、本発明の撮像装置１００（１０１）が図９に示したぶれがある画像を図１５に示したＰＳＦを基にした復元フィルタを使用してぶれ補正したぶれ補正画像の具体例を示した図である。

符号の説明

１００，１０１…撮像装置、１，１ａ…撮像部、２，２ａ…手ぶれ検出部、２１…ｘ角加速度センサ、２２…ｙ軸角加速度センサ、２３…ｚ軸角加速度センサ、２ａ１…データ間引き部、２ａ２…マクロブロック分割部、２ａ３…ブロック抽出部、２ａ４…輝度差比較部、２ａ５…残差取得部、２ａ６…ブロック選出部、２ａ７…手ぶれ量算出部、３…画像合成部、４…ＰＳＦ算出部、５…ＰＳＦ合成部、６…復元フィルタ生成部、７…メモリ、８…制御部

Claims (9)

1. 撮影時のぶれを補正した補正画像を生成する撮像装置であって、
   第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影する撮像部と、
   前記撮像部が前記第１の画像を撮影する際に前記撮像部のぶれ量を検出し、当該ぶれ量を基に、手ぶれ補正が必要であるか否かを判定するぶれ検出部と、
   前記第１の画像と前記第２の画像とを合成して第３の画像を生成する画像合成部と、
   前記撮像部が撮影した前記第１および第２の画像と、前記ぶれ検出部が検出した前記第１および第２の画像撮影時の前記撮像部のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出するＰＳＦ算出部と、
   前記ぶれ検出部によって手ぶれ補正が必要であると判定された場合に、前記ＰＳＦ算出部が算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成するＰＳＦ合成部と、
   前記ＰＳＦ合成部が生成した前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成する復元フィルタ生成部と、
   前記画像合成部が合成した前記第３の画像と、前記復元フィルタ生成部が生成した前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する画像処理部と、
   を有することを特徴とする撮像装置。
2. 前記ＰＳＦ算出部は、前記第２の画像のＰＳＦを算出し、
   前記ＰＳＦ合成部は、前記ＰＳＦ算出部が算出した前記第１の画像のＰＳＦと前記第２の画像のＰＳＦとを所定の重み付けを行って合成し、前記第３のＰＳＦを生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理部は、前記第３の画像と前記復元フィルタとをフーリエ空間上で積をとることにより前記周波数変換処理を行い、前記補正画像を生成する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理部は、前記第３の画像と前記復元フィルタとの畳み込み積分を行うことにより前記周波数変換処理を行い、前記補正画像を生成する
   ことを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像部は、前記第２の画像撮影時には、前記第１の画像撮影時よりも短い露出時間で撮影を行う
   ことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記ぶれ検出部は、角加速度センサあるいは加速度センサによって前記ぶれ量を検出する
   ことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. 前記ぶれ検出部は、
   露出条件の異なる前記第１の画像と前記第２の画像とをそれぞれ複数のマクロブロックに分割するマクロブロック分割部と、
   前記マクロブロック分割部が分割した前記第１の画像から所定の大きさのマクロブロックによって構成される第１のブロックを抽出し、前記マクロブロック分割部が分割した前記第２の画像のマクロブロックから所定の大きさのマクロブロックによって構成される第２のブロックを抽出するブロック抽出部と、
   前記ブロック抽出部が抽出した前記第１のブロック及び第２のブロックの残差を算出する残差取得部と、
   前記残差取得部が算出した前記残差を基に、前記マクロブロック毎にマクロブロック内の全画素を足し合わせ、残差積分値が小さいマクロブロックの小さいものを所定数選出するブロック選出部と、
   前記ブロック選出部が選出した前記所定数の前記各マクロブロックの残差積分値が小さいものから順に並べた時の所定順位の値を算出し、当該値を手ぶれ量とする手ぶれ量算出部と、
   を有し、
   前記残差取得部は、前記ブロック選出部が選出した前記残差積分値が小さいマクロブロックの小さいものに対して再度残差を取得し、前記手ぶれ量算出部に出力する
   ことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
8. 撮影時のぶれを補正した補正画像を生成するぶれ補正方法であって、
   第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影し、
   前記第１の画像を撮影する際に撮影時のぶれ量を検出し、
   当該検出したぶれ量を基に、手ぶれ補正が必要であるか否かを判定し、
   前記第１の画像と前記第２の画像とを合成して第３の画像を生成し、
   前記第１および第２の画像と、前記第１および第２の画像撮影時のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出し、
   前記判定において手ぶれ補正が必要であると判定された場合に、前記算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成し、
   前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成し、前記第３の画像と前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する
   ことを特徴とするぶれ補正方法。
9. 撮像部を有し、撮影時のぶれを補正した補正画像を生成する撮像装置の撮像方法であって、
   第１の画像と、前記第１の画像撮影時と露出条件を変えた第２の画像とを撮影する第１の工程と、
   前記第１の工程において前記第１の画像を撮影する際に前記撮像部のぶれ量を検出する第２の工程と、
   前記第２の工程において検出したぶれ量を基に、手ぶれ補正が必要であるか否かを判定する第３の工程と、
   前記第１の画像と前記第２の画像とを合成して第３の画像を生成する第４の工程と、
   前記第１および第２の画像と、前記第２の工程において検出された前記第１および第２の画像撮影時の前記撮像部のぶれ量とを基に、第１および第２の画像の点広がり関数（ＰＳＦ）を算出する第５の工程と、
   前記第３の工程において手ぶれ補正が必要であると判定された場合に、前記算出した前記第１の画像のＰＳＦと第２の画像のＰＳＦとを合成して第３のＰＳＦを生成する第６の工程と、
   前記第６の工程において生成された前記第３のＰＳＦを基に、ぶれを復元するための復元フィルタを生成する第７の工程と、
   前記第４の工程において生成された前記第３の画像と、前記第７の工程において生成された前記復元フィルタとを基に周波数変換処理を行い、ぶれを補正した補正画像を生成する第８の工程と、
   を有することを特徴とする撮像方法。