JP5482428B2 - 撮像装置、手ブレ補正方法、プログラム - Google Patents

Description

本発明は、デジタルスチルカメラ等の撮像装置に用いて好適な手ブレ補正技術に関するものである。

従来、デジタルスチルカメラ（以下、単にデジタルカメラという。）において、例えば暗所撮影などの長時間露光時の手ブレを補正するための方法として画像信号処理技術を用いたものが知られている。

例えば下記特許文献１には、撮影時の露光時間内に時分割で複数枚の画像を取得し、画像について時間的に１つ前の画像に対する動きベクトルを検出し、検出した動きベクトルに従い、各画像間を、各画像間の位置ずれを打ち消すように位置合わせして加算する方法が記載されている。

上記の方法によれば、撮影時の手ブレに起因した被写体ブレが低減された撮影画像を得ることができる。以下、上記の手ブレ補正方法を連写合成法と呼ぶこととする。

特開平１１−２５２４４５号公報

しかしながら、上記の連写合成法においては、画像毎の露光時間、つまり分割された露光時間が短いため、被写体の光量が十分に無い場合に分割された露光時間に撮像素子から読み出された撮像信号に含まれるノイズの比率が多くなる。そのため、撮影画像における被写体ブレが低減できる反面、通常の一括露光による撮影時における撮像信号に比べノイズの総量が増えＳ／Ｎ比が低下することにより、特に暗い部分の画質が低下するという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、暗い部分の画質を維持したままで、撮影画像に生じる手ブレに起因した被写体ブレを低減することを目的とする。

前記課題を解決するため、請求項１記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段と、前記撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる撮像制御手段と、前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する変位情報取得手段と、前記変位情報取得手段により取得された変位情報に基づき、前記撮像手段により分割露光で撮像された複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する画像加算手段と、前記変位情報取得手段により取得された変位情報に基づき点拡がり関数を演算する演算手段と、前記演算手段により演算された点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する補正手段と、前記画像加算手段により生成された第１の色成分の加算画像と、前記補正手段による補正後の第２の色成分画像とを合成する合成手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、被写体の色情報を取得する色情報取得手段と、前記色情報取得手段により取得された色情報に基づき前記第１の色成分に特定の色成分を選択的に設定する設定手段とをさらに備え、前記撮像制御手段は、前記撮像手段に、撮影時の同一露光時間内に、前記設定手段により設定された第１の色成分画像のみを分割露光により複数回撮像させることを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記色情報取得手段により取得された色情報に基づき撮影環境下における光源の種類を判断する判断手段をさらに備え、前記設定手段は、前記判断手段により判断された光源の種類に対応して予め決められている特定の色成分を前記第１の色成分に設定することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記設定手段は、前記色情報取得手段により取得された色情報に基づき、被写体の色分布において支配的であることを設定条件として、前記第１の色成分に特定の色成分を選択的に設定することを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、前記撮像手段は単板式の固体撮像素子であり、前記撮像制御手段は、撮影時の同一露光時間内に、前記固体撮像素子において前記第１の色成分が割り当てられている一群の光電変換素子に分割露光によって前記第１の色成分画像を複数回撮像させ、かつ前記撮像手段において第１の色成分以外の他の色成分が割り当てられている一群の光電変換素子に一括露光によって前記第２の色成分画像を撮像させることを特徴とする。

また、請求項６記載の発明に係る手ブレ補正方法にあっては、被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる工程と、前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する工程と、取得した変位情報に基づき、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する工程と、前記変位情報に基づき点拡がり関数を演算する工程と、演算した点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する工程と、前記第１の色成分の加算画像と前記補正後の第２の色成分画像とを結合する工程とを含むことを特徴とする。

また、請求項７記載の発明に係るプログラムにあっては、撮像装置が有するコンピュータに、被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる処理と、前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する処理と、取得した変位情報に基づき、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する処理と、前記変位情報に基づき点拡がり関数を演算する処理と、演算した点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する処理と、前記第１の色成分の加算画像と前記補正後の第２の色成分画像とを結合する処理とを実行させることを特徴とする。

本発明によれば、暗い部分の画質を維持したままで、撮影画像に生じる手ブレに起因した被写体ブレを低減することが可能となる。

本発明に係るデジタルカメラの電気的構成を示すブロック図である。 手ブレ補正モードが設定されているときのＣＰＵの処理内容を示すフローチャートである。 ＣＰＵによる撮像処理の内容を示したフローチャートである。 ＣＰＵによる画像再構成処理の内容を示したフローチャートである。 フレーム全体の動きベクトルとＰＳＦとを示す説明図である。 画像再構成処理の内容を示す説明図である。

以下、本発明の実施形態について説明する。図１は、本発明に係るデジタルカメラ１の電気的構成の概略を示すブロック図である。

デジタルカメラ１は、レンズブロック２と撮像素子３とを有している。レンズブロック２は、フォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータを含み、レンズモータやアクチュエータが光学系駆動部４によって駆動されることにより、焦点位置や撮像素子３の受光量が調整される。

撮像素子３は、感光面にベイヤー配列のカラーフィルタが設けられたＣＭＯＳ（Complementary Meta1 0xide Semiconductor）センサである。

つまり撮像素子３は、必要に応じてＲ（Red）、Ｇ（Green）、Ｂ（Blue）の３原色の各色成分の画素信号を色成分毎に独立して読み出すことができる構成を有する固体撮像素子である。同時に、撮像素子３は、任意の色成分が割り当てられている（特定の色のカラーフィルタが設けられている）一群の光電変換素子（以下、画素という。）を、他の色成分が割り当てられている画素とは独立して駆動可能な構成を有する固体撮像素子である。

撮像素子３は、駆動回路５によって駆動され被写体の光学像を光電変換し、変換後の光学像に応じた電気信号つまり撮像信号をＡＦＥ（Analog Front End）６へ出力する。

ＡＦＥ６は、ＣＤＳ（Correlated Double Sampling）回路や、ＰＧＡ（Programmable Gain Amp）、ＡＤＣ（Analog-to-Digital Converter）等によって構成される。ＡＦＥ６は、撮像素子３が出力した撮像信号に所定のアナログ処理を行い、アナログ処理後の撮像信号をデジタル信号に変換した後、変換後の画像データを画像処理部７へ出力する。

画像処理部７は、ＡＦＥ６から入力した画素データを一時記録するバッファ用のメモリ７ａを有している。メモリ７ａに一時記録される画素データは、各画素がカラーフィルタの色配列に応じた色成分を有するベイヤーデータである。

また、上記メモリ７ａには、必要に応じてＲＧＢの色成分毎の画像データも一時記録される。メモリ７ａに一時記録された色成分毎の画像データは、ＣＰＵ８によってベイヤーデータとして結合された後、再びメモリ７ａに一時記録される。なお、メモリ７ａには複数フレーム分の画素データを記憶可能なメモリ容量が確保されている。

画像処理部７は、メモリ７ａに一時記憶された画像データ（ベイヤーデータ）に対し、撮像素子３によって撮像された画像の記録に向けた種々の画像処理を行う。画像処理部７が行う画像処理は、ガンマ補正や、ホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータからＹＵＶデータを生成するＹＵＶ変換等である。また、画像処理部７は、生成した１フレーム分のＹＵＶデータを、撮影待機状態にある間にはＣＰＵ８へ供給し、かつ撮影時にはＣＯＤＥＣ（Coder & Decoder：符号器／復号器）９へ供給する。

撮影待機状態においてＣＰＵ８へ供給されたＹＵＶデータは表示部１０へ供給され、表示部１０においてライブビュー画像として表示される。表示部１０は、ライブビュー画像等を表示する液晶表示器と、液晶表示器を駆動する駆動回路等から構成される。

ＣＯＤＥＣ９は、撮影時に画像処理部７から供給された画像データ（ＹＵＶデータ）をＪＰＥＧ方式による符号化し、また、符号化されている任意の画像データを復号する。図示しないが、ＣＯＤＥＣ９は、画像データの符号化、及び復号化を行うための直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。

撮影時にＣＯＤＥＣ９においてＪＰＥＧ方式で圧縮符号化された画像データは、ＣＰＵ８によって日付情報や画像サイズ等の種々の撮影情報を付加された後、静止画データ（静止画ファイル）として画像メモリ１１に記録される。画像メモリ１１は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。

画像メモリ１１に記録された静止画データは、再生時においてＣＰＵ８により適宜読み出され、ＣＯＤＥＣ９において復号された後、表示部１０へ送られて静止画像として再生される。

また、ＣＰＵ８には、操作部１２、ＲＡＭ（Random Access memory）１３、プログラムメモリ１４が接続されている。ＲＡＭ１３はＣＰＵ８のワーキングメモリである。

操作部１２は、電源キーや、シャッターキー、デジタルカメラ１の基本の動作モードである撮影モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、撮影モードの下位モードの設定等の種々の設定作業に使用されるＭＥＮＵキー、方向キー等の図示しない複数キーを含む。操作部１２における各キーはＣＰＵ８によって操作状態を随時スキャンされる。

シャッターキーは、半押し操作と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成である。シャッターキーの半押し操作は、ＡＥ（Auto Exposure）動作、及びＡＦ（Auto Focus）動作の開始指示等に使用され、シャッターキーの全押し操作は撮影指示に使用される。

プログラムメモリ１４は、例えば記憶データが書き換え可能なＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）であるフラッシュメモリである。プログラムメモリ１４には、ＣＰＵ８にデジタルカメラ１の全体の動作を制御させるための制御プログラムや各種のデータが記憶されている。

プログラムメモリ１４に記憶されている制御プログラムには、ＣＰＵ８にＡＥ制御、ＡＦ制御、ＡＷＢ（Auto white balance）制御を行わせるためのプログラムが含まれる。また、プログラムメモリ１４に記憶されている各種のデータには、撮影時の適正な露出値に対応する絞り値とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムＡＥデータ等が含まれる。

ＣＰＵ８は、プログラムメモリ１４に記憶されている制御プログラムに従いＲＡＭ１３を作業メモリとして動作することにより、デジタルカメラ１の各部を制御する。また、ＣＰＵ８は、後述する手ブレ補正モードが設定されているときには、本発明の撮像制御手段、変位情報取得手段、画像加算手段、演算手段、補正手段、合成手段、色情報取得手段、設定手段、判断手段として機能する。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。デジタルカメラ１には、撮影モードの下位モードとして手ブレ補正モードが設けられている。手ブレ補正モードは、撮影時の手ブレに起因した撮影画像における被写体ブレを低減することを目的としてデジタルカメラ１に予め用意されている撮影モードである。

デジタルカメラ１においては、撮影モードが設定されている間、ＣＰＵ８が、所定のフレームレートで撮像素子３を駆動し、撮像素子３によって撮像された被写体の画像がライブビュー画像として表示部１０に逐次表示させる。

図２は、手ブレ補正モードが設定されているとき、ＣＰＵ８がプログラムメモリ１４に記憶されている制御プログラムに従い実行する処理の内容を示したフローチャートである。

ＣＰＵ８は、表示部１０にスルー画像を表示させている間、ユーザーによるシャッターキーの半押し操作の有無を逐次検出しており、シャッターキーの半押し操作を検出すると（ステップＳ１：ＹＥＳ）、ＡＥ制御によって撮影時における絞り値、及び露光時間（シャッタースピード）を決定する（ステップＳ２）。さらに、ＣＰＵ８は、ＡＦ制御によって主たる被写体へのピント合わせを行う（ステップＳ３）。なお、ＣＰＵ８によるＡＦ制御は公知のコントラスト検出方式である。

次に、ＣＰＵ８はホワイトバランスを測定する（ステップＳ４）。ホワイトバランスの測定は、例えばシャッターキーが半押し操作される直前に撮像素子３によって撮像された被写体の画像データにおける色成分情報（ＲＧＢ値）に基づき、色温度毎の画素数の分布状態を示す分光分布データを取得する処理である。

次に、ＣＰＵ８は、ホワイトバランス測定で取得した分光分布データに基づいて、現在の光源の種類を判断する（ステップＳ５）。ＣＰＵ８が判断する光源の種類は、太陽光、蛍光灯、電球（白熱電球）の３種類のいずれかである。

ＣＰＵ８は、光源の種類が太陽光であると判断した場合には（ステップＳ５：「太陽光」）、分割色を「ＲＧＢ」（全ての色成分）に設定する（ステップＳ６）。また、ＣＰＵ８は、光源の種類が蛍光灯であると判断した場合には（ステップＳ５：「蛍光灯」）、分割色を「Ｇｒｅｅｎ」に設定する（ステップＳ７）。また、ＣＰＵ８は、光源の種類が電球（白熱電球）であると判断した場合には（ステップＳ５：「電球」）、分割色を「Ｒｅｄ」に設定する（ステップＳ８）。

ＣＰＵ８がステップＳ７、及びステップＳ８の処理で設定する分割色は、後述する撮像処理において、撮像素子３から分割露光により画素信号を読み出すべき特定の色成分であり、本発明の第１の色成分に対応するものである。

また、ＣＰＵ８は、ステップＳ５で判断した光源の種類を分割色の設定処理だけでなく、ＡＷＢ制御によるホワイトバランス調整にも使用する。すなわちＣＰＵ８は、ステップＳ５で判断した光源の種類に応じたホワイトバランス調整を画像処理部７に行わせる。

引き続き、ＣＰＵ８は分割条件を算出する（ステップＳ９）。分割条件は、後述する撮像処理に際して、ステップＳ６〜ステップＳ８の処理で設定した分割色の画素信号を分割露光により読み出すときの、分割色が割り当てられている一群の画素（光電変換素子）の分割露光時間（１回の露光時間）である。ステップＳ９の処理においてＣＰＵ８は、ステップＳ２のＡＥ制御で決定した露光時間を予め決められている分割回数（露光回数）で除算することにより分割露光時間を求める。

その後、ＣＰＵ８は、シャッターキーの全押しの有無を検出し、シャッターキーの全押しが検出できなければ（ステップＳ１０：ＮＯ）、さらに、シャッターキーの半押しが解除された否かを検出する（ステップＳ１１）。そして、ＣＰＵ８は、シャッターキーの半押し解除を検出したときには（ステップＳ１１：ＹＥＳ）、ステップＳ１の処理へ戻り、ステップＳ１以降の前述した処理を繰り返す。

一方、ＣＰＵ８は、シャッターキーの全押しを検出すると（ステップＳ１０：ＹＥＳ）、直ちに撮像処理を実行する（ステップＳ１２）。図３は、ＣＰＵ８による撮像処理の内容を示したフローチャートである。

撮像処理においてＣＰＵ８は、先に設定した分割色、及びステップＳ９の処理で算出した分割条件に対応する所定の駆動信号を駆動回路５に生成させて撮像素子３を駆動することによって以下の処理を実行する。

図３に示したようにＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」でなく、「ＲＧＢ」であったときには（ステップＳ１０１：ＮＯ）、撮像素子３の全画素の蓄積電荷（画素電荷）をリセットした後（ステップＳ１０２）、ループカウンタｉが予め決められている分割回数Ｎに達するまでステップＳ１０３〜ステップＳ１０６のループ処理を実行する。

係るループ処理においてＣＰＵ８は、撮像素子３の全画素について、ステップＳ９で算出した分割露光時間の露光と（ステップＳ１０４）、分割露光後における画素データの読み出し、及び画素電荷のリセット（ステップＳ１０５）を繰り返し実行する。

これによりＣＰＵ８は、分割回数Ｎに等しい数の分割色画素データを画像処理部７のメモリ７ａに一時記憶させる。ここでメモリ７ａに一時記憶される分割色画素データはＲＧＢの全ての色成分からなる画素データ、つまりベイヤーデータである。そして、ＣＰＵ８は、上記のループ処理が終了した時点で撮像処理を終了し図２の処理に戻る。

一方、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であったときには（ステップＳ１０１：ＹＥＳ）、撮像素子３の全画素の蓄積電荷（画素電荷）をリセットした後（ステップＳ１０７）、ループカウンタｉが予め決められている分割回数Ｎに達するまで、ステップＳ１０８〜ステップＳ１１１のループ処理を実行する。

係るループ処理においてＣＰＵ８は、撮像素子３の分割色が割り当てられた一群の画素について、ステップＳ９で算出した分割露光時間の露光と（ステップＳ１０９）、分割露光後における画素データの読み出し、及び画素電荷のリセット（ステップＳ１１１）を繰り返し実行する。

また、ＣＰＵ８は、上記のループ処理と並行して、撮像素子３における分割色以外の非分割色が割り当てられた一群の画素について、ＡＥ制御により設定した露光時間の一括露光を行う（図では省略する）。そして、上記のループ処理の終了直後に、 非分割色の画素データの読み出しを行う（ステップＳ１１２）。分割色以外の非分割色が本発明の第２の色成分に対応する色である。

これによりＣＰＵ８は、分割露光により撮像された分割回数Ｎに等しい数の各々が分割色からなる分割色画素データと、一括露光により撮像された各々が非分割色の色成分からなる２種類の非分割色画素データとを画像処理部７のメモリ７ａに一時記憶させる。すなわち分割色が「Ｇｒｅｅｎ」あったときには、Ｇ成分からなる複数の画素データと、Ｒ成分からなる画素データと、Ｂ成分からなる画素データとがメモリ７ａに記憶される。また、分割色が「Ｒｅｄ」あったときには、Ｒ成分からなる複数の画素データと、Ｇ成分からなる画素データと、Ｂ成分からなる画素データとがメモリ７ａに記憶される。

そして、ＣＰＵ８は、２種類の非分割色画素データの読み出し処理が終了した時点で撮像処理を終了し図２の処理に戻る。

以上の撮像処理が終了した後、ＣＰＵ８は、画像処理部７のメモリ７ａに一時記憶した画素データ、すなわち分割回数Ｎに等しい数の分割色画素データ、または分割回数Ｎに等しい数の分割色画素データ、及び２種類の非分割色画素データを対象として画像再構成処理を実行する（ステップＳ１３）。図４は、ＣＰＵ８による画像再構成処理の内容を示したフローチャートである。

なお、分割色を設定する際に、ホワイトバランス測定（ステップＳ４）による光源の種類を判断して設定したが、単に色成分情報（ＲＧＢ値）から、その画像のＲＧＢ値の大きい支配的な色を、分割色としてもよい。

画像再構成処理においてＣＰＵ８は、まず、ステップＳ２０１〜ステップＳ２０４のループ処理を実行する。このループ処理は、ループカウンタｉの初期値を「２」とし、ループカウンタｉが予め決められている分割回数Ｎに達するまで行われる処理である。

係るループ処理においてＣＰＵ８は、まず、複数枚の分割色画素データを対象として、１枚目の分割色画素データとｉ枚目（２枚目以降）の分割色画素データとにおける互いに対応する複数の特徴点を抽出する（ステップＳ２０２）。なお、処理対象となる複数の分割色画素データは、既説したように、分割色が「ＲＧＢ」であればベイヤーデータであり、また、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であれば、Ｇ成分、又はＲ成分のみの色成分からなる画素データである。

さらに、ＣＰＵ８は、１枚目の分割色画素データとｉ枚目の分割色画素データとの重ね合わせに要する幾何変換パラメータを算出し、算出した幾何変換パラメータをＲＡＭ１３に記憶する（ステップＳ２０３）。幾何変換パラメータは、１枚目の分割色画素データを基準とした、ｉ枚目の分割色画素データにより表される被写体の変位を示す変位情報である。

幾何変換パラメータは、具体的には、ｉ枚目の分割色画素データにおける複数の特徴点の座標位置を、１枚目の分割色画素データの対応する複数の特徴点の座標位置に一致させる幾何変換（座標変換）に要する行列式である。なお、ＣＰＵ８は、幾何変換パラメータの算出を、例えば公知の勾配法によるオプティカルフロー推定を用いて行う。

ＣＰＵ８は、上記のループ処理を終了した後、１枚目の分割色画素データを後述するステップＳ２０８の加算処理のベースデータとして設定し、ＲＡＭ１３に記憶する（ステップＳ２０５）。

引き続き、ＣＰＵ８は、ステップＳ２０６〜ステップＳ２０９の新たなループ処理を実行する。係るループ処理も、ループカウンタｉの初期値を「２」とし、ループカウンタｉが予め決められている分割回数Ｎに達するまで行われる処理である。

係るループ処理においてＣＰＵ８は、まず、ステップＳ２０３で記憶した幾何変換パラメータを用いて、ｉ枚目（２枚目以降）の分割露光画素データに対し、１枚目の分割色画素データに重ね合わせるための幾何変換を実行する（ステップＳ２０７）。

次に、ＣＰＵ８は、幾何変換後のｉ枚目（２枚目以降）の分割色画素データを、ＲＡＭ１３に記憶しているベースデータに加算し、ベースデータを更新する（ステップＳ２０８）。

上記のループ処理によって、複数の分割色画素データが、分割色画素データにより表される被写体の位置ずれを順に補正されて加算され、加算後の加算画像データがＲＡＭ１３に記憶される。

つまり、複数の分割色画素データが、本発明の背景技術として説明した連写合成法と同様の手法によって合成されることによって、露光時間内の手ブレに起因した被写体ブレが低減された新たな分割色画素データが生成される。

そして、ＣＰＵ８は、分割色が「ＲＧＢ」であった場合においては（ステップＳ２１０：ＮＯ）、この時点で画像再構成処理を終了する。

一方、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であった場においては（ステップＳ２１０：ＹＥＳ）、引き続き以下の処理を行う。

まず、ＣＰＵ８は、ステップＳ２０３の処理で算出した幾何変換パラメータに基づきフレーム全体の動きベクトルを算出する（ステップＳ２１１）。フレーム全体の動きベクトルは、露光時間内における手ブレの軌跡を示す動きベクトルである。本実施形態では、露光期間内における手ブレ（分割色画素データの位置ずれ）が平行移動であり、大きな回転は生じないとものと仮定してフレーム全体の動きベクトルを算出する。

しかる後、ＣＰＵ８は、算出したフレーム全体の動きベクトルからＰＳＦ（Point Spread Function：点拡がり関数）を取得する（ステップＳ２１２）。

ここで、上記のフレーム全体の動きベクトルとＰＳＦとの詳細を図５を用いて説明する。図５（ａ）は、露光回数が６回であると仮定して画素空間における各々の分割色画素データの平行移動位置ｆ（１）〜ｆ（６）を例示した図である。図５（ｂ）は、各々の平行移動位置ｆ（１）〜ｆ（６）を補間することにより得られる曲線Ａ（図で破線）を示した図である。図５（ｂ）に示した曲線Ａが手ブレの軌跡であり、ステップＳ２１１の処理においてＣＰＵ８は、係る曲線Ａを示す動きベクトルをフレーム全体の動きベクトルとして算出する。

一方、図５（ｂ）において曲線Ａを区切る線分は、曲線Ａを各分割色画素データの平行移動位置の中点で区切り、各平行移動位置ｆ（１）〜ｆ（６）を露光時間と対応付けたものである。図５（ｃ）は、上記曲線Ａに沿う重み（ｈ軸）の線積分が、各露光時間に均等な面積となるように、また総和が１になるように、重みを与えることを示している（各露光時間につき、１をフレーム数と各露光時間の路長で割った値を重みとする）。各平行移動位置ｆ（１）〜ｆ（６）の座標（ｘ，ｙ）に対して定義される重みｈ（２）〜ｈ（５）がＰＳＦとなる。

また、図５（ｄ）は、各重みｈ（２）〜ｈ（５）がなめらかな連続値となるようなＰＳＦ（図で太線）を示した図であり、ステップＳ２１２の処理においてＣＰＵ８は、係るＰＳＦを演算する。

なお、図５（ｃ）、図５（ｄ）には、便宜上、最初と最終の分割色画素データを除いてＰＳＦを取得する場合を示したが、ステップＳ２１２の処理においてＣＰＵ８は、全ての分割色画素データを使用してＰＳＦを演算する。すなわちＣＰＵ８は、ＰＳＦの演算に際し、曲線Ａを両端点から半フレーム分補外する（例えば隣接する動きベクトルと同方向に、隣接中点と同じ長さで両端を延長する）ことにより、全ての分割色画素データを使用してＰＳＦを演算する。

そして、上述したＰＳＦを取得した後、ＣＰＵ８は、非分割色の画像データである２種類の非分割色画素データを対象として、取得したＰＳＦを２次元コンボリューションカーネルとして使用するデコンボリューション処理を実施する（ステップＳ２１３）。デコンボリューション処理は、ＰＳＦを用いた逆畳み込み演算（ＰＳＦの逆関数による畳み込み演算）によって、非分割色画素データに生じている露光時間内の手ブレに起因した被写体ブレを低減する補正処理である。

しかる後、ＣＰＵ８は、デコンボリューション処理後の２種類の非分割色画素データと、ステップＳ２０６〜ステップＳ２０９のループ処理によってＲＡＭ１３に記憶した分割色の加算画像データとを結合する（ステップＳ２１４）。これによりＣＰＵ８は、ＲＧＢの全ての色成分からなる画像データ、つまりベイヤーデータと同様の画像データをＲＡＭ１３内に生成し画像再構成処理を終了する。

図６は、上述した画像再構成処理の概略を示す説明図であり、分割色が「Ｇｒｅｅｎ」の場合の例を示した図である。図６に示したように分割色が「Ｇｒｅｅｎ」の場合、Ｇ成分のみからなる複数の分割色画素データ５０１は、２枚目以降の分割色画素データについて検出された幾何変換パラメータに基づき、単一の分割色画素データ５０１ａに加算される。

他方、Ｒ成分のみからなる非分割色画素データ５０２と、Ｂ成分のみからなる非分割色画素データ５０３とは、幾何変換パラメータに基づき取得されたＰＳＦを用いて被写体ブレが低減された状態の新たな分割色画素データ５０２ａ，５０３ａに補正される。

その後、加算後の単一の分割色画素データ５０１ａと補正後の新たな分割色画素データ５０２ａ，５０３ａとが、ＲＧＢの全ての色成分からなるベイヤーデータと同様の画素データ５０４として結合される。

そして、ＣＰＵ８は、以上の画像再構成処理の終了とともに図２の処理に戻り、記録用の画像データを生成する（ステップＳ１４）。ステップＳ１４の処理においてＣＰＵ８は、その時点でＲＡＭ１３に記憶しているベイヤーデータと同様の画像データを画像処理部７へ供給し、係る画像データを対象として種々の画像処理を画像処理部７に行わせる。

すなわち、ＣＰＵ８は、分割色が「ＲＧＢ」であった場合には、画像再構成処理におけるステップＳ２０６〜ステップＳ２０９のループ処理で生成した画像データ（加算画像データ）に基づく記録用の画像データを画像処理部７に生成させる。また、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であった場合には、画像再構成処理におけるステップＳ２１４の処理で生成した画像データ（結合後の画素データ）に基づく記録用の画像データを画像処理部７に生成させる。

しかる後、ＣＰＵ８は、記録用の画像データをＣＯＤＥＣ９により圧縮し、圧縮後の画像データを静止画ファイルとして画像メモリ１１に保存する（ステップＳ１５）。

以上のように本実施形態のデジタルカメラ１においては、撮影モードとして手ブレ補正モードを設定されているときには、ＣＰＵ８が前述した処理を実行することにより、撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

すなわち、デジタルカメラ１においては、撮影時に判断した光源の種類が太陽光である場合には、分割色をＲＧＢの全ての色成分に設定し、従来の連写合成法と同様の手法によって、撮影画像に生じる手ブレに起因した被写体ブレを低減する。

また、デジタルカメラ１においては、撮影時に判断した光源の種類が蛍光灯又は電球である場合には、分割色をＧ成分又はＲ成分のみに設定し、前述した信号処理による本発明に係る方法によって、撮影画像に生じる手ブレに起因した被写体ブレを低減する。

つまり分割色の画素データを複数回の露光により時分割で読み出し、位置合わせ加算する一方、非分割色の画素データを通常の一括露光で読み出し、分割色の画素データの位置合わせ情報に基づき補正した後、加算後の分割色の画素データと補正後の非分割色の画素データとを合成する信号処理によって、撮影画像に生じる手ブレに起因した被写体ブレを低減する。

ここで、本発明に係る方法においては、分割露光によって取得する画素データが分割色（特定の色成分）のみの画素データであり、分割色以外の非分割色の画素データは一括露光（１回の露光）によって取得する。

そのため、非分割色の画素データに含まれるノイズが僅かであり、加算後の分割色の画素データと、非分割色の画素データ（２種類の画素データ）とを結合して得られる最終的な画素データに含まれるノイズの総量が、従来の連写合成法により得られる画素データに比べて少ない。

したがって、デジタルカメラ１においては、最終的な画素データとして、従来の連写合成法により得られる画素データに比べＳ／Ｎ比が良好な画素データを取得することができ、暗い部分における画質の低下が極僅かなものなる。よって、撮影時に判断した光源の種類が蛍光灯又は電球である場合においては、暗い部分の画質を維持したままで、撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

また、本実施形態では、非分割色を、撮影時に判断した光源の種類が蛍光灯である場合には「Ｇｒｅｅｎ」に設定し、かつ撮影時に判断した光源の種類が蛍光灯である場合には「Ｒｅｄ」に設定する構成とした。つまり非分割色を、被写体の色分布において支配的である色を設定する構成とした。

そのため、分割露光により取得した複数の画素データの加算時の位置合わせをより高精度で行うことができると同時に、非分割色の画素データを、画素データにより表される被写体にブレのない画素データにより高精度で補正（復元）することができる。その結果、被写体の色に左右されることなく、安定した精度で撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

さらに、非分割色を、撮影時に判断した光源の種類に対応する色に設定する構成とすることにより、つまりホワイトバランス制御で使用する色情報（分光分布データ）に基づいて分割色を設定することにより、撮影時に分割色の設定に要する処理を簡略化することができる。

なお、本実施形態においては、撮影時に判断した光源の種類が太陽光である場合には、分割色をＲＧＢの全ての色成分に設定することによって、従来の連写合成法と同様の手法による信号処理を行う構成とした。しかし、前記デジタルカメラ１には、撮影時に判断した光源の種類が太陽光である場合についても、本発明に係る方法を実施する構成を採用することができる。その場合には、分割色として予め決められている特定の色成分を設定すればよい。特定の色成分としては、例えば輝度信号の寄与する割合が大きいＧ成分が考えられる。

また、本実施形態においては、メカニカルシャッターを備えることなく、いわゆる電子シャターにより撮影時の露光時間を確保する構成のデジタルカメラ１について説明したが、前記デジタルカメラ１には、図示しないがメカニカルシャッターを設けるようにしてもよい。メカニカルシャッターを設ける場合においては、例えば既説した分割露光の読み出し期間にシャッターを閉じて、撮像素子３が有する全ての色成分の画素の画素信号を読み出す構成を採用することもできる。

また、本実施形態においては、撮像素子３として、感光面にベイヤー配列のカラーフィルタが設けられた構成について説明した。つまり撮影時に個別に取得可能な画素データが、Ｒ成分、Ｇ成分、Ｂ成分の３種類の画素データであるものについて説明した。しかし、撮像素子３の感光面に設けられるカラーフィルタはベイヤー配列以外の色配列であっても構わない。また、カラーフィルタは原色フィルタ配列に限らず、補色フィルタ配列でもよく、さらに、ＲＧＢにＷ（White）、つまりカラーフィルタ無しの透過色が付加された変形型のベイヤー配列でも構わない。なお、カラーフィルタが変形型のベイヤー配列の場合には、分割色（第１の色成分）を最も感度がよいＷとし、非分割色（第２の色成分）をＲ，Ｇ，Ｂにするのが望ましい。

また、本実施形態においては、撮像素子３が単板式のＣＭＯＳセンサである場合について説明した。しかし、本発明の実施に際しては、色成分毎に独立して、画素信号の読み出し及びリセット（シャッター）が可能な構成であれば、任意の撮像素子を用いることができる。なお、画素信号の読み出し形態は、本実施形態のように破壊読出しでもよいし、非破壊読み出しでもよい。

したがって、本発明の実施に際しては、例えばＧ用、ＲＢ用の２つの撮像素子を含む２板式イメージセンサ、Ｇ用、Ｒ用、Ｂ用の２つの撮像素子を含む３板式イメージセンサ、３層式ＣＭＯＳセンサ（いわゆるＦＯＶＥＯＮ方式のＣＭＯＳセンサ）といった撮像素子を使用することができる。

また、本実施形態においては、前述した画像再構成処理（図４）をＣＰＵ８に行わせる構成としたが、前述した画像再構成処理は、例えば画像処理部７の内部や画像処理部７の前段に専用の信号処理部を設け、係る信号処理部に行わせる構成としてもよい。

また、本発明は、本実施形態で説明したデジタルカメラに限らず、例えばデジタルビデオカメラや、携帯電話端末等の携帯型の任意の電子機器に内蔵されているカメラ等にも適用することができる。

１ デジタルカメラ
２ レンズブロック
３ 撮像素子
４ 光学系駆動部
５ 駆動回路
６ ＡＦＥ
７ 画像処理部
７ａ メモリ
８ ＣＰＵ
９ ＣＯＤＥＣ
１０ 表示部
１１ 画像メモリ
１２ 操作部
１３ ＲＡＭ
１４ プログラムメモリ

Claims (7)

1. 被写体を撮像する撮像手段と、
   前記撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる撮像制御手段と、
   前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する変位情報取得手段と、
   前記変位情報取得手段により取得された変位情報に基づき、前記撮像手段により分割露光で撮像された複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する画像加算手段と、
   前記変位情報取得手段により取得された変位情報に基づき点拡がり関数を演算する演算手段と、
   前記演算手段により演算された点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する補正手段と、
   前記画像加算手段により生成された第１の色成分の加算画像と、前記補正手段による補正後の第２の色成分画像とを合成する合成手段と
   を備えたことを特徴とする撮像装置。
2. 被写体の色情報を取得する色情報取得手段と、
   前記色情報取得手段により取得された色情報に基づき前記第１の色成分に特定の色成分を選択的に設定する設定手段と
   をさらに備え、
   前記撮像制御手段は、前記撮像手段に、撮影時の同一露光時間内に、前記設定手段により設定された第１の色成分画像のみを分割露光により複数回撮像させる
   ことを特徴とする請求項１記載の撮像装置。
3. 前記色情報取得手段により取得された色情報に基づき撮影環境下における光源の種類を判断する判断手段をさらに備え、
   前記設定手段は、前記判断手段により判断された光源の種類に対応して予め決められている特定の色成分を前記第１の色成分に設定する
   ことを特徴とする請求項２記載の撮像装置。
4. 前記設定手段は、前記色情報取得手段により取得された色情報に基づき、被写体の色分布において支配的であることを設定条件として、前記第１の色成分に特定の色成分を選択的に設定する
   ことを特徴とする請求項２記載の撮像装置。
5. 前記撮像手段は単板式の固体撮像素子であり、
   前記撮像制御手段は、撮影時の同一露光時間内に、前記固体撮像素子において前記第１の色成分が割り当てられている一群の光電変換素子に分割露光によって前記第１の色成分画像を複数回撮像させ、かつ前記撮像手段において第１の色成分以外の他の色成分が割り当てられている一群の光電変換素子に一括露光によって前記第２の色成分画像を撮像させる
   ことを特徴とする請求項１乃至４いずれか記載の撮像装置。
6. 被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる工程と、
   前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する工程と、
   取得した変位情報に基づき、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する工程と、
   前記変位情報に基づき点拡がり関数を演算する工程と、
   演算した点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する工程と、
   前記第１の色成分の加算画像と前記補正後の第２の色成分画像とを結合する工程と
   を含むことを特徴とする手ブレ補正方法。
7. 撮像装置が有するコンピュータに、
   被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる処理と、
   前記撮像手段により分割露光で撮像された複数の第１の色成分画像のうちの１つを基準画像とし、当該基準画像の被写体に対する他の分割露光した画像の被写体の変位情報を取得する処理と、
   取得した変位情報に基づき、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する処理と、
   前記変位情報に基づき点拡がり関数を演算する処理と、
   演算した点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像を補正する処理と、
   前記第１の色成分の加算画像と前記補正後の第２の色成分画像とを結合する処理と
   を実行させることを特徴とするプログラム。

Images