JP4666265B2 - 像振れ補正装置及びその補正方法 - Google Patents

Description

本発明は像振れ補正装置及びその補正方法に係り、特にデジタルカメラでの画像（静止画像）の撮影のように１コマの画像撮影時に生じた手振れ等による像振れを補正する像振れ補正装置及びその補正方法に関する。

デジタルカメラでの撮影失敗の原因の一つである手振れに対し、さまざまな補正技術が提案されている。例えば、特許文献１、２では、１コマ分の画像の撮影時において、複数コマ分の画像の撮影が連続して行われる。そして、取得した複数コマ分の画像を像振れの分だけずらして合成（画素ずらし合成）することによって手振れ等による像振れを低減させることが提案されている。
特開２０００−３４１５７７号公報 特開平９−２６１５２６号公報

しかしながら、画素ずらし合成によってスローシンクロモードでの撮影時（フラッシュ点灯及び長時間露光）の像振れを補正しようとした場合、撮影された複数コマの画像のうち、フラッシュ点灯時に撮像されたコマの画像とフラッシュ消灯時に撮像されたコマの画像とで、被写体輝度が大きく変化する部分がある。例えば、前景の人物と背景の夜景とをスローシンクロモードで撮影する場合、人物はフラッシュ点灯時に明るく、フラッシュ消灯時に暗い画像として得られる。一方、夜景はフラッシュ点灯時とフラッシュ消灯時とでほとんど明るさが変化しない画像として得られる。このような各コマの画像を画像全体の画素に対して同じ処理方法で合成すると、前景の人物のようにフラッシュ点灯時とフラッシュ消灯時とで輝度が大きく変化する部分の画像が、フラッシュ消灯時の暗い画像の影響により所望の明るさよりも暗い画像になるという問題があった。

本願発明はこのような事情に鑑みてなされたもので、スローシンクロモードでの撮影時においても画素ずらし合成により像振れを補正した適切な画像を生成することができる像振れ補正装置及びその補正方法を提供することを目的とする。

前記目的を達成するために請求項１に係る像振れ補正装置は、撮影光学系により結像された像を撮像する撮像手段と、前記撮像手段により複数コマ分の画像を所定のシャッタ速度で連続して撮像させることにより複数コマ分の画像を取得する撮像制御手段と、前記撮影光学系により結像される像の像振れを検出する像振れ検出手段と、前記撮像制御手段により取得された各コマの画像を前記像振れ検出手段により検出された像振れに応じた量だけずらして合成する画素ずらし合成によって像振れを補正した１コマ分の合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像から記憶媒体に記録する画像を切り出す切出し範囲を設定する画像切出範囲設定手段であって、前記画像合成手段により合成画像が生成された際に、全てのコマの画像が重なり合った範囲に内包されるように、前記切出し範囲の中心位置を変えずに前記切出し範囲の大きさを変更する画像切出範囲設定手段と、前記画像合成手段により生成された合成画像から前記画像切出範囲設定手段により設定された切出し範囲の画像を切り出す画像切出手段と、スローシンクロモードでの撮影時において、前記撮像制御手段により取得された複数コマの画像のうち、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像との間で輝度変化が所定値以上となる領域を輝度変化領域として検出する輝度変化領域検出手段と、を備え、前記画像合成手段は、前記スローシンクロモードでの撮影時において、生成する合成画像のうち、前記輝度変化領域外の画像のみを前記画素ずらし合成によって生成する輝度変化領域外画像生成手段と、前記スローシンクロモードでの撮影時において、前記輝度変化領域内の画像をフラッシュ点灯時に撮像されたコマの画像から抽出する輝度変化領域内画像抽出手段と、前記輝度変化領域外画像生成手段により生成された前記輝度変化領域外の画像と、前記輝度変化領域内画像抽出手段により抽出された前記輝度変化領域内の画像とを合成して前記合成画像を生成するコマ画像生成手段と、を備えたことを特徴としている。

本発明によれば、スローシンクロモードにおいて複数コマの画像を画素ずらし合成して像振れ補正した１コマ分の画像を生成する場合に、フラッシュ点灯によって輝度が大きく変化する画像領域はフラッシュ点灯時に撮像されたコマの画像のみから生成されるため、その領域のフラッシュ消灯時に撮像されたコマの暗い画像の影響を受けない。

請求項３に記載の像振れ補正方法は、撮影光学系により結像された像を撮像する撮像手段によって、複数コマ分の画像を所定のシャッタ速度で連続して撮像する撮像工程と、前記撮像工程により撮像した各コマの画像を像振れ検出手段により検出された像振れに応じた量だけずらして合成する画素ずらし合成によって像振れを補正した１コマ分の合成画像を生成する画像合成工程と、前記画像合成工程により生成された合成画像から記憶媒体に記録する画像を切り出す切出し範囲を設定する画像切出範囲設定工程であって、前記画像合成工程により合成画像が生成された際に、全てのコマの画像が重なり合った範囲に内包されるように、前記切出し範囲の中心位置を変えずに前記切出し範囲の大きさを変更する画像切出範囲設定工程と、前記画像合成工程により生成された合成画像から前記画像切出範囲設定工程により設定された切出し範囲の画像を切り出す画像切出工程と、スローシンクロモードでの撮影時において、前記撮像工程により取得された複数コマ分の画像のうち、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像との間での輝度変化が所定値以上となる領域を輝度変化領域として検出する輝度変化領域検出工程と、を備え、前記画像合成工程は、前記スローシンクロモードでの撮影時において、生成する合成画像のうち、前記輝度変化領域外の画像のみを前記画素ずらし合成によって生成する輝度変化領域外画像生成工程と、前記輝度変化領域内の画像をフラッシュ点灯時に撮像されたコマの画像から抽出する輝度変化領域内画像抽出工程と、前記輝度変化領域外画像生成工程により生成された前記輝度変化領域外の画像と、前記輝度変化領域内画像抽出工程により抽出された前記輝度変化領域内の画像とを合成して前記合成画像を生成するコマ画像生成工程と、を備えたことを特徴としている。本発明は、請求項１に係る発明に対応した方法発明である。

本発明によれば、スローシンクロモードでの撮影時においても画素ずらし合成により像振れを補正した適切な画像を生成することができる。

以下、添付図面に従って本発明に係る像振れ補正装置及びその補正方法の好ましい実施の形態について説明する。

図１は本発明が適用された撮像装置（デジタルカメラ）１０の内部構成の実施の形態を示すブロック図である。

同図に示すように、本実施の形態のデジタルカメラ１０は、撮影光学系１２、ＣＣＤ等の固体撮像素子からなるメージセンサ１４（以下「ＣＣＤ」という）、タイミングジェネレータ（ＴＧ）１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０、画像入力コントローラ２２、デジタル信号処理部２４、エンコーダ２８、画像表示部３０、圧縮・伸張処理部３２、メディアコントローラ３４、記憶メディア３６、オートエクスポージャ（ＡＥ）検出部３８、オートフォーカス（ＡＦ）検出部４０、中央処理装置（ＣＰＵ）４２、ＲＯＭ４４、ＲＡＭ４６、フラッシュＲＯＭ４８、操作部５０、フラッシュ装置５２、及び角速度センサー７０等から構成されている。

尚、操作部５０は、シャッタボタン、電源スイッチ、撮影／再生モード選択スイッチ、バックスイッチ、メニュー／ＯＫスイッチ、及びマルチファンクションの十字キー等を含んで構成されており、シャッタボタンは、２段ストロークのボタンで、半押し時にＯＮしてＡＦ、ＡＥ等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。

デジタルカメラ１０の全体の動作は、ＣＰＵ４２によって統括制御されており、ＣＰＵ４２は操作部５０からの入力に基づき所定のプログラムに従ってデジタルカメラ１０の各部を制御する。

ＲＯＭ４４には、このＣＰＵ４２が実行するプログラムの他、プログラム線図等の各種制御に必要なデータが格納されている。ＣＰＵ４２は、このＲＯＭ４４に格納されたプログラムをＲＡＭ４６に展開し、ＲＡＭ４６を作業メモリとして使用しながら各種処理を実行する。また、フラッシュＲＯＭ４８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

撮影光学系１２は、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り（例えば、虹彩絞り）１２ｉを含み、それぞれズームモータ６０ｚ、フォーカスモータ６０ｆ、アイリスモータ６０ｉに駆動されて作動する。即ち、ズームレンズ１２ｚは、ズームモータ６０ｚに駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。また、フォーカスレンズ１２ｆは、フォーカスモータ６０ｆに駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。また、絞り１２ｉは、アイリスモータ６０ｉに駆動されて開口量が連続的、又は段階的に変化し、これにより絞り値を変化させる。ＣＰＵ４２は、ズームモータドライバ６２ｚ、フォーカスモータドライバ６２ｆ、アイリスモータドライバ６２ｉを介してズームモータ６０ｚ、フォーカスモータ６０ｆ、アイリスモータ６０ｉの駆動を制御し、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り１２ｉの動作を制御する。

ＣＣＤ１４は、所定のカラーフィルタ配列（例えば、ハニカム配列）のカラーＣＣＤで構成されている。撮影光学系１２を介してＣＣＤ１４の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１６から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ１４から順次出力される。

尚、このＣＣＤ１４は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。ＣＰＵ４２は、ＴＧ１６を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間（いわゆる電子シャッタによるシャッタ速度）を制御する。

アナログ信号処理部１８は、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＴＧ１６から加えられるＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ４２から加えられる撮影感度に応じて設定されたゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換器２０は、このアナログ信号処理部１８から出力されたアナログの画像信号をデジタルの画像信号（画像データ）に変換する。

画像入力コントローラ２２は、所定容量のバッファメモリを内蔵しており、Ａ／Ｄ変換器２０から出力された画像データを１コマ分蓄積して、ＲＡＭ４６に格納する。

デジタル信号処理部２４は、ホワイトバランス補正回路、ガンマ補正回路、同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ４２からの指令に従ってＲＡＭ４６に格納された画像データを処理し、輝度信号と色差信号とからなるＹＵＶ信号を生成する。

画像表示部３０にスルー画像を表示させる場合は、ＣＣＤ１４で画像を連続的に撮像し、得られた画像データを連続的に処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、ＲＡＭ４６を介してエンコーダ２８に加えられ、表示用の信号形式に変換されて画像表示部３０に出力される。これにより、画像表示部３０にスルー画像が表示される。

画像を記録する場合は、シャッタボタンからの撮影指令に応じてＣＣＤ１４で画像を撮像し、得られた画像データを処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、圧縮・伸張処理部３２に加えられ、所定の圧縮画像データ（例えば、ＪＰＥＧ）とされたのち、メディアコントローラ３４を介して記憶メディア３６に格納される。

尚、詳細を後述するように、画像を記録する場合において、像振れ補正機能がオンされている場合には、像振れ補正の処理が行われるようになっており、この場合、シャッタボタンからの撮影指令によって複数コマ分の画像が連続してＣＣＤ１４で撮像され、それらの複数コマ分の画像データがＲＡＭ４６に一時的に格納される。そして、それらの画像データがＣＰＵ４２に読み込まれ後述の像振れ補正処理が施される。このとき、取得した複数コマの画像データの合成により１コマ分の画像データが生成され、ＲＡＭ４６に格納される。そして、ＲＡＭ４６に格納された画像データが上記のようにデジタル信号処理部２４で処理されることによってＹＵＶ信号が生成され、圧縮・伸張処理部３２によって所定の圧縮画像データとされたのち、メディアコントローラ３４を介して記憶メディア３６に格納されるようになっている。

記憶メディア３６に格納された圧縮画像データは、再生指令に応じて記憶メディア３６から読み出され、圧縮・伸張処理部３２で非圧縮のＹＵＶ信号とされたのち、エンコーダ２８を介して画像表示部３０に出力される。これにより、記憶メディア３６に記録された画像が画像表示部３０に再生表示される。

ＡＥ検出部３８は、シャッタボタンの半押し時においてＣＰＵ４２から与えられる指令に従い、そのときＣＣＤ１４により撮像されてＲＡＭ４６に取り込まれた画像データからＡＥ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば、８×８）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像データの積算値を算出する。ＣＰＵ４２は、このＡＥ検出部３８から得た積算値、及び画像データ取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出して最適な露出が得られるＥＶ値を求め、求めたＥＶ値とプログラム線図等に基づいて、シャッタボタンが全押しされて画像を記録する際の適正な絞り値とシャッタ速度（ＣＣＤ１４における適正な露光時間）を決定する。

ＡＦ検出部４０は、シャッタボタンの半押し時においてＣＰＵ４２から与えられる指令に従い、そのときＣＣＤ１４により撮像されたＲＡＭ４６に取り込まれた画像データからＡＦ制御に必要な物理量を算出する。本実施の形態のデジタルカメラ１０では、画像のコントラストによりＡＦ制御を行うものとし、ＡＦ検出部４０は、画像データから画像の鮮鋭度を示すＡＦ評価値を算出する。ＣＰＵ４２は、このＡＦ検出部４０で算出されるＡＦ評価値が極大となるように、フォーカスモータドライバ６２ｆを介してフォーカスモータ６０ｆを駆動し、フォーカスレンズ１２ｆの移動を制御する。

フラッシュ装置５２は、キセノン管を含むフラッシュ発光部５４と、ＣＰＵ４２からの発光指令及び発光停止指令によってフラッシュ発光部５４から発光させるフラッシュの発光量（発光時間）の制御や、図示しないメインコンデンサの充電制御を行うフラッシュ制御部５６とを有している。

このフラッシュ装置５２は、低輝度時に自動的に発光させるオートフラッシュ、強制発光フラッシュ、赤目軽減フラッシュ、フラッシュ発光禁止、スローシンクロ等のフラッシュモードのうちの選択されたフラッシュモードに応じて動作する。

以下、上記デジタルカメラ１０で適用される像振れ補正に関する処理について説明する。図２は、像振れ補正を行うための像振れ補正装置としての構成を機能ブロックで示した概略構成図であり、図１と共に適宜参照して以下説明を行う。

本デジタルカメラ１０では像振れ補正機能を所定のスイッチ操作によって有効（オン）／無効（オフ）にすることができるようになっている。像振れ補正機能がオンされている場合において、シャッタボタンが全押しされて撮影指令を受けると、ＣＰＵ４２は、ＡＥ検出部３８により決定されたシャッタ速度（露光時間）となるように、ＴＧ１６を介してＣＣＤ１４における各フォトダイオードの電荷蓄積時間（露光時間）を制御して画像を撮像すると共に、同一の露光時間で複数コマ分の画像を連続して撮像する。

ここで、連続して撮像する画像のコマ数及び各画像の撮像時における露光時間は、特定の場合に限らない。例えば、上記のようにＡＥ検出部３８で決定された適正な露光時間での撮像処理を予め決められた回数分連続して繰り返すことによって、予め決められたコマ数分の画像を撮像する態様が考えられる。本実施の形態ではこの態様により１コマ分の画像の記録時において３コマ分の画像を撮像するものとして以下の説明を行う。但し、１コマ分の画像の記録時において３コマ分ではなく２コマ分又は４コマ分以上の画像を撮像するようにしてもよい。

また、他の実施の形態として、ＡＥ検出部３８において得られた最適な露光時間（Ｔ）に対して、撮像する画像のコマ数（Ｎ）で露光時間Ｔを割ったときの値（Ｔ／Ｎ）を、各コマの画像の撮像時における露光時間としてもよい。撮像する画像のコマ数（Ｎ）は、例えば、最適な露光時間（Ｔ）を、所定のコマ数（自然数ｎ）で等分割したときの露光時間の値（Ｔ／ｎ）が、予め決められた最小露光時間（Ｔmin）よりも大きくなるという条件を満たすようなコマ数（ｎ）のうち最大となる値（Ｎ）として決めることも可能である。

本実施の形態において、ＣＣＤ１４により順次撮像された３コマ分の画像データは、上記のようにアナログ信号処理部１８、Ａ／Ｄ変換器２０、及び、画像入力コントローラ２２を介してＲＡＭ４６に一時的に格納される。本処理は、図２に示した構成図において撮影光学系１２及びＣＣＤ１４により撮像された３コマ分の画像の画像データが１次記憶手段１００に記憶されることに相当し、１次記憶手段１００は、図１のＲＡＭ４６により具体化される手段である。

一方、ＣＰＵ４２は、上記のようにＣＣＤ１４での撮像処理が行われている撮像期間中における手振れ等による像振れ量の検出を以下のようにして行っている。本デジタルカメラ１０には角速度センサー７０が設置されている。その角速度センサー７０から出力された角速度信号はＣＰＵ４２に読み込まれ、ＣＰＵ４２において、その角速度信号に対して積分等の処理が施される。これによってカメラの振れ量を示す振れ信号が生成される。尚、角速度センサー７０は、左右方向の角速度と上下方向の角速度を検出する２つの角速度センサーからなり、それらの角速度信号によって、左右方向と上下方向の振れ信号が生成される。

また、本デジタルカメラ１０においてズームレンズ１２ｚにはその位置を検出するポテンショメータ（図示せず）が連結されている。そのポテンショメータから出力されたズーム位置信号はＣＰＵ４２に読み込まれ、ＣＰＵ４２において、そのズーム位置信号と上記振れ信号とに基づいてＣＣＤ１４の撮像面上における像振れ量（上下方向と左右方向の像振れの大きさ）が算出される。即ち、ＣＣＤ１４の撮像面上における像振れ量は、カメラの振れ量と、撮影光学系１２の焦点距離とによって決まるため、撮影光学系１２の焦点距離の情報としてズームレンズ１２ｚの位置を示すズーム位置信号が取得され、そのズーム位置信号と振れ信号とから像振れ量が算出される。

図２の構成図において、ズーム位置の検出は、レンズ情報検出手段１０２によって行われる。像振れ量検出手段１０４には、そのレンズ情報検出手段１０２によって検出されたズーム位置信号と、角速度センサー７０からの角速度信号とが与えられ、それらの情報に基づいて像振れ量検出手段１０４により像振れ量が検出（算出）される。像振れ量検出手段１０４は、図１のＣＰＵ４２の演算処理によって具体化される手段である。

尚、像振れ量の算出は角速度信号の読込みと同時に撮像期間中に逐次行っても良いが、撮像期間中に得られる角速度信号やズーム位置信号を記憶しておくことによって、角速度信号から振れ信号を生成する処理や、ズーム位置信号及び振れ信号から像振れ量を算出する処理を撮像期間後に行うようにしてもよい。また、角速度信号から振れ信号を生成する処理だけ、角速度信号の読込みと同時に撮像期間中に行うようにしてもよい。

また、像振れ量の検出は、角速度センサーを用いる場合に限らず、例えば画像撮影用と異なる別系統の撮像系を用いて撮像した画像から検出してもよいし、その他の手段を用いて検出してもよい。

ＣＣＤ１４による撮像処理が終了して、図１におけるＲＡＭ４６に３コマ分の画像データが蓄積されると、それらの画像データがＣＰＵ４２に読み込まれる。ＣＰＵ４２は、読み込んだ３コマ分の画像データに対して以下の像振れ補正処理を施す。図２の構成図において、像振れ補正演算手段１０６は、図１におけるＣＰＵ４２により具体化される手段であり、その像振れ補正演算手段１０６が、１次記憶手段１００に記憶されている３コマ分の画像データを読み込むと共に、像振れ量検出手段１０４により検出された像振れ量を読み込むことによって像振れ補正処理が行われる。

像振れ補正処理は、３コマ分の各画像データに対する重み付け変換処理と画素ずらし合成処理とからなり、最初に各コマの画像データに対して重み付け変換処理が施され、その後、重み付け変換処理が施された各コマの画像データを用いて画素ずらし合成処理が施されるようになっている。

まず、重み付け変換処理について図３、図４を用いて説明する。図３において、ＲＡＭ４６から読み込まれた１コマ分（例えば１コマ目）の画像が元画像１５０として例示されており、その元画像１５０において、今、着目している画素（着目画素）とその周辺部の８つの画素からなる３×３の画素群１５２が抽出して示されている。３×３の画素群１５２において、中央の画素が着目画素１５２Ａである。

重み付け変換処理では、その３×３の画素群１５２に対して３×３のフィルタ（重み付けテーブル１５４）が用意され、その重み付けテーブル１５４を用いた重み付け平均が求められる。例えば、画素群１５２の各画素値（輝度値）を同図に示すようにa1、a2、a3、b1、b2、b3、c1、c2、c3（着目画素の画素値はb2）とし、重み付けテーブル１５４の各要素の値をA1、A2、A3、B1、B2、B3、C1、C2、C3（An、Bn、Cn：n＝1〜３）とすると、次式により重み付け平均Ｔが求められる。

そして、これにより求められた重み付け平均Ｔが着目画素１５２Ａの重み付け変換後の画素値b2′（＝Ｔ）となる。

一方、重み付けテーブル１５４の各要素の値は、ＣＣＤ１４において元画像１５０を撮像した際の撮像期間（露光期間）中の像振れ量（像振れ量の変化）に基づいて設定される。即ち、元画像１５０の撮像開始時（露光開始時）において着目画素１５２Ａに結像していた像点が撮像終了時（露光終了時）までに移動した軌跡及び各画素に存在していた時間の長さに基づいて設定される。例えば、その像点が各画素に存在している時間の割合いに比例して大きな値となるように各画素に掛け合わされる重み付けテーブル１５４の各要素の値が決定される。露光期間中の像振れ量は上記のように角速度センサー７０からの角速度信号とズーム位置信号（撮影光学系１２の焦点距離）とに基づいて算出される。

元画像１５０の露光期間中における像振れ量に基づいて着目画素１５２Ａの像点が例えば図４（Ａ）に示す軌跡のように移動した場合に、その像点が各画素に存在する時間の割合いに応じて重み付けテーブル１５４の各要素の値が同図（Ｂ）のような値に設定される。

ＣＰＵ４２では、元画像１５０の周縁部１画素分以外の全ての画素を順に着目画素として上記の重み付け変換処理が順次行われ、元画像１５０の画像データが重み付け変換画像の画像データとして変換される。そして、同様の重み付け変換処理がＲＡＭ４６に格納されている３コマ分の画像データの全てに対して行われる。このとき、重み付けテーブルの各要素の値は、各画像データの露光期間中に検出された像振れ量に基づいて各コマの画像データごとに設定される。

続いて、画素ずらし合成処理について図５、図６を用いて説明する。上記のようにＣＣＤ１４により撮像された３コマ分の画像データの重み付け変換処理が終了すると、ＣＰＵ４２は図５に示すようにそれらの３コマ分の重み付け変換画像１５０Ａ〜１５０Ｃの画像データから画素ずらし合成処理により、記録用の１コマ分の合成画像１６０Ａを生成する。

そこで、ＣＰＵ４２は、図６（Ａ）に示すように１コマ目の重み付け変換画像１５０Ａに対して原点を設定する。原点は画像上の任意の点に設定することが可能であるが、本実施の形態では画像の中央位置を原点として設定する。

そして、１コマ目の重み付け変換画像１５０Ａに対して２コマ目の重み付け変換画像１５０Ｂ及び３コマ目の重み付け変換画像１５０Ｃの像振れによる横方向及び縦方向のずれ量（変位量）を検出する。このずれ量は、上記のように角速度センサー７０からの角速度信号（及び撮影光学系１２の焦点距離）により検出される像振れ量から得られる。例えば、１コマ目の画像の撮像（露光）開始時において検出された像振れ量を０とした場合に、それに対して、２コマ目の画像の撮像開始時において検出された像振れ量が２コマ目の重み付け変換画像１５０Ｂのずれ量となる。３コマ目の重み付け変換画像１５０Ｃのずれ量も同様である。このようにして１コマ目の重み付け変換画像１５０Ａに対する２コマ目の重み付け変換画像１５０Ｂ及び３コマ目の重み付け変換画像１５０Ｃのずれ量が得られると、それらのずれ量分だけ画像を反対方向にずらして１コマ目から３コマ目までの重み付け変換画像１５０Ａ〜１５０Ｃを合成する。

具体的には次のような処理を行う。図６（Ａ）において、まず、１コマ目の重み付け変換画像１５０Ａに対して、画像の中心位置を原点とする２次元座標（横方向をＸ、縦方向をＹ）を想定し、各画素に２次元座標を割り当てるものとする。一方、同図（Ｂ）の２コマ目の重み付け変換画像１５０Ｂ及び同図（Ｃ）の３コマ目の重み付け変換画像１５０Ｃに対しては、上記のように得られたずれ量（像振れ量）に従って原点の位置を画像の中心位置から変位させる。例えば、１コマ目の重み付け変換画像１５０Ａに対して２コマ目の重み付け変換画像１５０Ｂが、Ｘ方向にΔＸ、Ｙ方向にΔＹ分だけずれたとすると、原点の位置も同じように画像の中心位置からＸ方向にΔＸ、Ｙ方向にΔＹだけ変位させる。そして、その新たな原点の位置での座標系によって各画素に２次元座標を割り当てる。図６（Ｂ）、（Ｃ）において、２コマ目の重み付け変換画像１５０Ｂと３コマ目の重み付け変換画像１５０Ｃに対して破線で示した枠Ｆは、各画像のずれ量（像振れ量）に応じて変更された新たな原点での２次元座標において、１コマ目の重み付け変換画像１５０Ａの各画素と同一座標値が割り当てられる画素の範囲を示し、１コマ目の画像と同一画角の画像が得られる範囲を示している。

これによって、１コマ目から３コマ目までの重み付け変換画像１５０Ａ〜１５０Ｃにおいて、同一物点に対する像点の位置（画素）は、同じ座標値となる。そこで、それらの１コマ目から３コマ目までの重み付け変換画像１５０Ａ〜１５０Ｃにおいて、同一座標値の画素の画素値を加算平均する。これによって、同図（Ｄ）のように同一物点の像点が重なるようにして各コマの重み付け変換画像が重ね合わせられ、記憶メディア３６に記録するための１コマ分の合成画像が生成される。

ここで、同図（Ｄ）の太枠（補正可能範囲１６０）で示すように３コマ分の重み付け変換画像１５０Ａ〜１５０Ｃが重なり合う画素範囲と、２コマ分又は他と画像と全く重ならない画素範囲とが生じる。本実施の形態では、例えば、３コマ分の重み付け変換画像が重なり合う補正可能範囲１６０の画像のみを像振れ補正された合成画像１６０Ａとして扱うものとし、その補正可能範囲１６０の中から実際に記憶メディア３６に記録する画像サイズの画像を切り出す。尚、この画像の切出しの処理については詳細を後述する。

また、本実施の形態では、各コマの画像は、各々が適正な明るさとなる露光時間で撮像されたものであるため、重み付け変換画像１５０Ａ〜１５０Ｃの各画素の画素値を加算平均（加算して３分の１）することによって適正露光の１コマ分の合成画像を得るようにしている。ただし、複数コマの画像から１コマ分の合成画像を生成する場合にどのような合成処理を行うかはこれに限らない。例えば、適正な明るさとなる露光時間を分割して複数コマの画像を撮像した場合には、各コマの画像の各画素の画素値を単に加算することによって合成画像が生成される。また、各コマの画像に信号増幅等の処理が施された場合には、各画素の画素値を加算平均又は加算して得られた合成画像に輝度調整の処理が施される。即ち、各コマの画像の合成は、各画素の画素値を加算する処理と、これによって得られた合成画像の輝度を適切にする処理とによって行われるが、輝度を適切にする処理は各コマの画像を取得する条件や各コマの画像に施された処理内容に応じて異なる。

図７は、上記の画素ずらし合成処理の処理手順を示したフローチャートである。まず、ＣＰＵ４２は、１コマ目の重み付け変換画像（以下、単に画像という）の原点を設定する（ステップＳ１０）。例えば上記のように１コマ目の画像の中心位置を原点とする。次に、２コマ目及び３コマ目の画像の露光開始時における像振れ量を角速度センサー７０からの角速度信号（及び撮影光学系１２の焦点距離）に基づいて算出する（ステップＳ１２）。続いて、その像振れ量により２コマ目及び３コマ目の画像の原点を上記のように決定し、１コマ目から３コマ目までの画像の原点の位置合せを行う（ステップＳ１４）。そして、１コマ目から３コマ目までの画像の加算平均を求めることによって１コマ分の合成画像を生成する（ステップＳ１６）。

以上のようにして像振れ補正処理が施されて得られた１コマ分の合成画像の画像データは、ＣＰＵ４２からＲＡＭ４６に出力される。そして、像振れ補正を行わない場合と同様に、その画像データがデジタル信号処理部２４でＹＵＶ信号に変換され、続いて、圧縮・伸張処理部３２によって所定の圧縮画像データとされたのち、メディアコントローラ３４を介して記憶メディア３６に格納される。図２においては像振れ補正演算手段１０６によって像振れ補正処理が施されて得られた１コマ分の合成画像の画像データは、記憶手段１０８に記録されるようになっており、記憶手段１０８は記憶メディア３６によって具体化される手段を示している。

次に、上記像振れ補正処理についてより詳細な実施の形態及び他の実施の形態について説明する。

まず、像振れ補正処理における重み付け変換処理の実施の形態に関して説明する。上記実施の形態では、像振れ補正処理における重み付け変換処理は、図３のように３×３の画素群１５２に対して３×３の重み付けテーブル１５４を用いて着目画素の画素値を重み付け変換するようにしたが、任意の要素数ｎ×ｍ（ｎ，ｍは自然数）の画素群と重み付けテーブルとで重み付け変換処理を行うことができる。

また、各コマの画像の撮像時におけるシャッタ速度が遅くなる程、即ち、露光時間が長くなる程、露光期間内での像振れ量が増大することを考慮して、重み付け変換処理に使用する画素群の範囲を大きくし、その画素群と重み付けテーブルの要素数を多くすると好適である。例えば、露光時間が所定のしきい値以上の場合には、５×５の画素群と重み付けテーブルとで重み付け変換処理を行い、露光時間がそのしきい値未満の場合には、上記実施の形態のように３×３の画素群と重み付けテーブルとで重み付け変換処理を行うことが考えられる。この場合の重み付け変換処理の例を図８に示すと、例えば、露光時間が１／６０秒よりも短い場合には、同図（Ａ）に示すように上記実施の形態で示したのと同様に３×３の画素群１５２及び重み付けテーブル１５４により重み付け平均を求めることによって、着目画素１５２Ａの重み付け変換後の画素値b2′を算出する。

一方、露光時間が１／６０秒以上の場合には、同図（Ｂ）に示すように５×５の画素群１５２及び重み付けテーブル１５４により重み付け平均を求めることによって、着目画素１５２Ａの重み付け変換後の画素値b2′を算出する。同図のように５×５の画素群１５２の各画素値をa1〜a5、b1〜b5、c1〜c5、d1〜d5、e1〜e5（着目画素の画素値はc3）とし、重み付けテーブル１５４の各要素の値をA1〜A5、B1〜B5、C1〜C5、D1〜D5、E1〜E5（An、Bn、Cn、Dn、En：n＝1〜５）とすると、次式により重み付け平均Ｔが求められる。

そして、これにより求められた重み付け平均Ｔが着目画素１５２Ａの重み付け変換後の画素値C3′となる。

５×５の重み付けテーブル１５４においても各要素の値は、上記実施の形態で説明した３×３の重み付けテーブルの各要素の値と同様に設定される。即ち、着目画素１５２Ａに結像していた像点が撮像終了時（露光終了時）までに各画素に存在している時間の割合いに比例して大きな値となるように、各画素に掛け合わされる重み付けテーブル１５４の各要素の値が決定される。

尚、露光時間が極めて短い場合、例えば、露光時間が１／２５０秒未満の場合には、各コマの画像の露光期間中での像振れ量が極めて小さいため重み付け変換処理を行わずに画素ずらし合成を行うようにすると好適である。

図９は、各コマの画像の露光時間に対して重み付け変換処理での画素群及び重み付けテーブルの要素数の選択手順を示したフローチャートである。ＣＰＵ４２は、ＡＥ検出部３８の情報により各コマの画像を撮像するときの適正なシャッタ速度（露光時間）を設定すると（ステップＳ３０）、その露光時間が１／６０秒以上か否かを判定する（ステップＳ３２）。ＹＥＳと判定した場合には、重み付け変換処理における画素群及び重み付けテーブルの要素数を５×５とする（ステップＳ３４）。一方、ステップＳ３２においてＮＯと判定した場合には、続いて露光時間が１／２５０秒以上か否か判定する（ステップＳ３６）。ＹＥＳと判定した場合には、重み付け変換処理における画素群及び重み付けテーブルの要素数を３×３とする（ステップＳ３８）。ステップＳ３６においてＮＯと判定した場合には、重み付け変換処理を行わないものとする。

次に、像振れ補正処理における画素ずらし合成処理に関する実施の形態について説明する。

図６で示したように、画素ずらし合成の際に３コマ分の重み付け変換画像１５０Ａ〜１５０Ｃをずらした場合に、それらの３コマ分の重み付け変換画像１５０Ａ〜１５０Ｃが重なり合う画素範囲は、像振れが生じた分、各コマの重み付け変換画像の全画素範囲の一部（太線で示した補正可能範囲１６０）に縮小される。一方、各コマの重み付け変換画像１５０Ａ〜１５０Ｃは、ＣＣＤ１４の撮像面全体によって撮像される画像と同サイズであり、記憶メディア３６に実際に記録される画像（記録画像）よりも大きな画像サイズ（画素数）となっている。これによって、補正可能範囲１６０の合成画像１６０Ａの画像サイズは、通常、記録画像の画像サイズよりも大きく、補正可能範囲１６０の合成画像１６０Ａから記録画像が切り出される。

尚、像振れ補正処理において、ＣＣＤ１４により連続して撮像された各コマの画像を重み付け変換することなく、画素ずらし合成する場合であっても像振れ補正として有効である。従って、本明細書における画素ずらし合成処理も、画素ずらし合成する各コマの画像が重み付け変換した重み付け変換画像であっても重み付け変換していない画像であっても適用可能であるものとし、以下において、画素ずらし合成する各コマの画像が重み付け変換画像であっても単に画像という。

記録画像の切出し範囲は、図１０（Ａ）に示すように１コマ目の画像１５０Ａの中心位置を中心として四角形状の範囲１７０に設定される。即ち、ＣＣＤ１４の撮像面（受光面）全体から得られる１コマ目の画像１５０Ａ全体に対して中央に記録画像の切出し範囲が設定される。尚、この切出し範囲１７０を記録予定範囲１７０というものとする。図６に示したように３コマ分の画像１５０Ａ〜１５０Ｃを画素ずらし合成した場合に、図６（Ｄ）及び図１０（Ｂ）のように３コマ分の画像１５０Ａ〜１５０Ｃが重なり合う補正可能範囲１６０の合成画像１６０Ａが生成される。このとき、図１０（Ｂ）のように１コマ目の画像１５０Ａに設定された記録予定範囲１７０がその補正可能範囲１６０に内包されている場合には、その記録予定範囲１７０の画像が記録画像として切り出される。

一方、各コマの画像の撮像時間（露光時間）が長くなると、コマ間での像振れ量が大きくなるため、補正可能範囲１６０が１コマ目の画像１５０Ａの中心に対して大きく上下左右に変位し、又は、サイズが小さくなり、１コマ目の画像１５０Ａの中心に設定された記録予定範囲１７０が補正可能範囲１６０に内包されなくなる場合がある。

図１１はＣＣＤ１４の撮像面１８０の全範囲を示しており、画素ずらし合成の際に、１コマ目の画像１５０Ａの中央位置に設定された記録予定範囲１７０に対応する各コマの画素範囲をＣＣＤ１４の撮像面１８０上で示したものである。１コマ目の画像１５０Ａの記録予定範囲１７０に対応する画素範囲は、ＣＣＤ１４の撮像面１８０上においても中央位置の画素範囲１７０Ａに設定される。尚、ＣＣＤ１４の撮像面１８０においても１コマ目の画像と同様に中心位置を原点とし、横方向をＸ、縦方向をＹとする２次元座標を想定している。

一方、２コマ目と３コマ目の画像１５０Ｂ、１５０Ｃの記録予定範囲１７０に対応する画素範囲は、それらの画像のずれ量（像振れ量）に対応して上下左右に変位し、ＣＣＤ１４の撮像面１８０上において中心位置からずれてそれぞれ画素範囲１７０Ｂ、１７０Ｃとなる。尚、画素範囲１７０Ｂ、１７０Ｃは、画素範囲１７０Ａと一致する画角範囲の画像を撮像する範囲を示す。このとき、同図の画素範囲１７０Ｂに示すように像振れ量が大きくなると、記録予定範囲１７０に対応する２コマ目又は３コマ目の画素範囲がＣＣＤ１４の撮像面１８０の範囲からはみ出す場合が生じる。この場合に、上記のように記録予定範囲１７０が補正可能範囲１６０に内包されなくなる。また、記録予定範囲１７０に対応する２コマ目又は３コマ目の画素範囲がＣＣＤ１４の撮像面１８０の範囲から大きくずれると、補正可能範囲１６０の大きさが記録予定範囲１７０よりも小さくなるという場合が生じる。

このような場合には、主として１コマ目の画像１５０Ａにおいて中央に設定される記録予定範囲１７０の位置を変更する方法、記録予定範囲１７０の大きさを変更する方法、記録予定範囲１７０を３コマ分（全コマ分）の画像１５０Ａ〜１５０Ｃが重ね合わせられる補正可能範囲１６０内に制限しない方法が考えられる。

まず、記録予定範囲１７０の位置を変更する方法について説明する。図１２（Ａ）に示すように画素ずらし合成によって３コマ分の画像が重ね合わせられる補正可能範囲１６０に対して、１コマ目の画像１５０Ａの中央に設定された初期の記録予定範囲１７０が内包されていない場合において、同図（Ｂ）に示すように記録予定範囲１７０を補正可能範囲１６０に内包される位置に変更する。このとき例えば、Ｘ方向及びＹ方向に最小の変化量となるような位置に変位すると好適であり、同図の場合、補正可能範囲１６０の右下の角に記録予定範囲１７０の右下の角の位置が合わせられている。

図１３は、記録予定範囲１７０の位置を変更するＣＰＵ４２での手順を示したフローチャートである。図７のフローチャートで説明したように、像振れ量（画像のずれ量）に基づいて２コマ目と３コマ目の画像の原点位置を中心位置からずらし、１コマ目から３コマ目の原点位置が一致するようにして画素ずらし合成を行うと、続いて、ＣＰＵ４２は、３コマ分の画像が重ね合わされた補正可能範囲１６０の４隅の座標値を算定する（ステップＳ２０）。図１４（Ａ）に示すように１コマ目の画像１５０Ａに対して中心位置を原点とするＸ−Ｙ座標を想定した場合に、補正可能範囲１６０の左上隅、右上隅、右下隅、左下隅の各々の座標値(XC0,YC0)、(XC1,YC0)、(XC1,YC1)、(XC0,YC1)を算定する。

続いてＣＰＵ４２は、１コマ目の画像１５０Ａの中央に設定された標準の記録予定範囲１７０の４隅の位置が補正可能範囲１６０内か否かを判定する（ステップＳ２２）。即ち、図１４（Ａ）に示すように初期の記録予定範囲１７０の左上隅、右上隅、右下隅、左下隅の各々の座標値を(X0,Y0)、(X1,Y0)、(X1,Y1)、(X0,Y1)とすると、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすか否かを判定する。ここで、ＹＥＳと判定した場合には記録予定範囲１７０が補正可能範囲１６０に内包されているため、記録予定範囲１７０の位置を変更することなく、その記録予定範囲１７０の画像を記録画像として切り出す（ステップＳ２６）。

一方、ステップＳ２２においてＮＯと判定した場合には、記録予定範囲１７０の４隅の位置が補正可能範囲１６０内となるように記録予定範囲１７０の位置を移動させる（ストップＳ２４）。例えば、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすようになる方向に記録予定範囲１７０を徐々に移動させていった場合にそれらの全ての条件を満たすようになった位置に記録予定範囲１７０を移動させる。これによって図１４（Ｂ）のように記録予定範囲１７０が補正可能範囲１６０に内包される。そして、ＣＰＵ４２は、その変更した記録予定範囲１７０の画像を記録画像として切り出す（ステップＳ２６）。

次に、記録予定範囲１７０の大きさを変更する方法について説明する。図１５（Ａ）に示すように画素ずらし合成によって３コマ分の画像が重ね合わせられる補正可能範囲１６０に対して、１コマ目の画像１５０Ａの中央に設定された初期の記録予定範囲１７０が内包されていない場合において、同図（Ｂ）に示すように記録予定範囲１７０を補正可能範囲１６０に内包される大きさに縮小する。例えば、記録予定範囲１７０から切り出す記録画像の画像サイズは１６００×１２００画素、１２８０×９６０画素のように予め複数のサイズのものが規定され、それらの画像サイズのうちからユーザが所望の画像サイズを選択できるようになっている。そして、ユーザが選択した画像サイズにおいて、その画像サイズの記録画像を切り出す記録予定範囲１７０の大きさも変更されるようになっている。ユーザが選択した画像サイズに対応した大きさの記録予定範囲１７０を初期の記録予定範囲とすると、その初期の記録予定範囲１７０が補正可能範囲１６０に内包されない場合には、それよりも画素サイズに対応した記録予定範囲であって、且つ、記録予定範囲の中心を１コマ目の画像１５０Ａの中心位置を変えることなく補正可能範囲１６０に内包される大きさの記録予定範囲のうち最大のものを新たな記録予定範囲１７０として変更する。

図１６は、記録予定範囲１７０の大きさを変更するＣＰＵ４２での手順を示したフローチャートである。図７のフローチャートで説明したように、像振れ量（画像のずれ量）に基づいて２コマ目と３コマ目の画像の原点位置を中心位置からずらし、１コマ目から３コマ目の原点位置が一致するようにして画素ずらし合成を行うと、続いて、ＣＰＵ４２は、３コマ分の画像が重ね合わされた補正可能範囲１６０の４隅の座標値を算定する（ステップＳ３０）。図１７（Ａ）に示すように１コマ目の画像１５０Ａに対して中心位置を原点とするＸ−Ｙ座標を想定した場合に、補正可能範囲１６０の左上隅、右上隅、右下隅、左下隅の各々の座標値(XC0,YC0)、(XC1,YC0)、(XC1,YC1)、(XC0,YC1)を算定する。

続いてＣＰＵ４２は、１コマ目の画像１５０Ａの中央に設定された標準の記録予定範囲１７０の４隅の位置が補正可能範囲１６０内か否かを判定する（ステップＳ３２）。即ち、図１７（Ａ）に示すように初期の記録予定範囲１７０の左上隅、右上隅、右下隅、左下隅の各々の座標値を(X0,Y0)、(X1,Y0)、(X1,Y1)、(X0,Y1)とすると、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすか否かを判定する。ここで、ＹＥＳと判定した場合には記録予定範囲１７０が補正可能範囲１６０に内包されているため、記録予定範囲１７０の大きさを変更することなく、その記録予定範囲１７０の画像を記録画像として切り出す（ステップＳ３６）。

一方、ステップＳ３２においてＮＯと判定した場合には、記録予定範囲１７０の４隅の位置が補正可能範囲１６０内となるように記録予定範囲１７０を規定の大きさに縮小する（ストップＳ３４）。例えば、記録画像として記録可能な規定の画像サイズ１６００×１２００（画素）、１２８０×９６０（画素）、…が予め決まっており、それらの画像サイズを記録したテーブルが用意されている。ＣＰＵ４２はそのテーブルのデータを参照し、記録予定範囲１７０を規定の画像サイズに対応する大きさに変更する。そして、記録予定範囲１７０の大きさを中心位置を変えずに変更した場合に、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たす大きさのうち最も大きくなるものに記録予定範囲１７０を変更（縮小）する。これによって図１７（Ｂ）のように記録予定範囲１７０が補正可能範囲１６０に内包される。そして、ＣＰＵ４２は、その変更した記録予定範囲１７０の画像を記録画像として切り出す（ステップＳ３６）。

尚、記録予定範囲１７０が補正可能範囲１６０に内包されない場合に、上記のように記録予定範囲１７０の位置と大きさの両方を変更するものとし、変更された記録予定範囲１７０の大きさが補正可能範囲１６０に内包されるもののうち最も大きいものとなるように記録予定範囲１７０の位置及び大きさの両方を変更してもよい。

また、記録予定範囲１７０の大きさを上記のように初期に予定していた画像サイズに対応した大きさから変更（縮小）した場合、その縮小した記録予定範囲１７０から切り出した画像が初期に予定していた画像サイズと一致するように、切り出した画像を画素補間によって拡大するようにしてもよい。

次に、記録予定範囲１７０を３コマ分の画像１５０Ａ〜１５０Ｃが重ね合わせられる補正可能範囲１６０内に制限しない方法について説明する。図１８に示すように画素ずらし合成によって３コマ分の画像が重ね合わせられる補正可能範囲１６０に対して、１コマ目の画像１５０Ａの中央に設定された記録予定範囲１７０が内包されていない場合において、補正可能範囲１６０内に制限されることなく記録予定範囲１７０の合成画像を生成する。

同図に示すように記録予定範囲１７０は、３コマ分の画像１５０Ａ〜１５０Ｃが重なり合う範囲（即ち、補正可能範囲１６０）と、１コマ目と２コマ目又は１コマ目と３コマ目の２コマ分の画像が重なり合う範囲１６２、１６４と、１コマ目の画像１５０Ａのみの範囲１６６とに分けられる。

各コマの画像１５０Ａ〜１５０Ｃを画素ずらし合成する場合に、上記実施の形態で説明したように各コマの重なり合う画素（同一座標値の画素）の画素値の加算平均を求めて合成画像を生成する。このとき、３コマ分の画像が重なり合う補正可能範囲１６０に限らず、記録予定範囲１７０内の全ての画素について、各コマの重なり合う画素同士で画素値を加算する。そして、その加算した値を３で割って各画素の画素値の加算平均を求める。もし、記録予定範囲１７０が補正可能範囲１６０に内包される場合には、求めた画素値がそのまま合成画像（記録画像）の各画素の画素値となる。一方、図１８のように２コマ分の画像が重なり合う範囲１６２、１６４や、１コマ分の画像のみの範囲１６６が生じる場合、範囲１６２、１６４内の画素の画素値は、上記のようにして求めた画素値を３／２倍した値とし、範囲１６６内の画素の画素値は、上記のようにしても求めた画像値を３倍にした値とする。これによって、記録予定範囲１７０内の合成画像の画素値が、重なり合うコマ数に応じた各コマの画素値の加算平均値となる。そして、その記録予定範囲１７０の画像を記録画像として使用する。

次に、フラッシュモードがスローシンクロモードに設定されている場合の像振れ補正処理（画素ずらし合成処理）について説明する。スローシンクロモードでは、フラッシュ装置５２が点灯すると共に低速シャッタ（長時間露光）で撮影が行われる。この場合に１コマ分の画像を複数コマ分の画像に分けて撮像すると、フラッシュ点灯時に得られる画像と、フラッシュ消灯時に得られる画像とに分けられる。

また、撮像される画像（被写体）の中で、フラッシュの影響を受ける部分と受けない部分とがある。

たとえば、図１９に示すように手前の人物Ａと背景の夜景Ｂとをスローシンクロモードで撮影する場合、手前の人物Ａは、フラッシュ消灯時に暗い画像として撮像されるのに対して、フラッシュ点灯時に明るい画像として撮影され、その輝度変化が大きいことからフラッシュ点灯の影響を受ける部分となる。一方、夜景Ｂは、フラッシュ点灯時とフラッシュ消灯時とで輝度変化が小さいためフラッシュ点灯の影響を受けない部分となる。

スローシンクロモードでの撮影を実行する際に（１コマの画像を記録する際に）、図２０のように３コマの画像を連続して撮像するものとすると、フラッシュ装置５２が点灯しているとき（フラッシュ点灯時）に撮像されたコマの画像（例えば１コマ目の画像１５０Ａ）と、フラッシュ装置５２が点灯していないとき（フラッシュ消灯時）に撮像されたコマの画像（例えば、２コマ目と３コマ目の画像１５０Ｂ、１５０Ｃ）とに分けられる。フラッシュ点灯の影響を受ける部分（人物Ａの部分）は、フラッシュ点灯時に撮像されたコマの画像１５０Ａにおいて明るい領域となり、フラッシュ消灯時に撮像されたコマの画像１５０Ｂ、１５０Ｃにおいて暗い領域となる。

フラッシュの影響を受ける領域において全てのコマの画像１５０Ａ〜１５０Ｃを用いた画素ずらし合成を行った場合、フラッシュ消灯時における暗い画像の影響によってその領域が不要に暗くなるという不具合が生じる。

そこで、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像と比較し、所定値以上の輝度変化が生じている領域を検出することによって、フラッシュの影響を受ける領域を検出する。そして、そのフラッシュの影響を受ける領域については、フラッシュ点灯時に撮像されたコマの画像（１コマ目の画像）のみを使用し、フラッシュ発光の影響を受けない領域については、全てのコマの画像を使用して画素ずらし合成を行うものとする。

即ち、像振れ補正処理において、フラッシュの影響を受けない領域については、上記実施の形態と同様に重み付け変換処理及び画素ずらし合成処理を行う。一方、フラッシュの影響を受ける領域については像振れ補正処理を行わず、フラッシュ点灯時に撮像されたコマの画像（１コマ目の画像）からその領域の画像を抽出する。そして、各々の領域の画像を合成して合成画像を生成し、その合成画像から記録予定範囲の画像を切り出して記録画像とする。

図２１は、スローシンクロモードでの撮影処理を示したフローチャートである。スローシンクロモードに設定されている場合に、シャッタボタンが全押しされて撮影指令を受けると、必要露光量により撮影コマ数を決定する（ステップＳ４０）。そして、フラッシュ装置５２を発光し、複数コマ分の画像を連続して撮影する（ステップＳ４２）。続いて、各コマの画像のうち、フラッシュ点灯時に撮像された画像と、フラッシュ消灯時に撮像された画像の各々の輝度分布を検出し、それらを比較して所定値以上の輝度変化（輝度差）が生じている画素範囲をマスキング範囲として決定する（ステップＳ４４）。即ち、フラッシュ点灯時とフラッシュ消灯時とで所定値以上の輝度差が生じている領域は、上記のようにフラッシュによって影響を受ける領域であり、その領域をマスキング範囲とする。

続いて、ＣＰＵ４２は、マスキング範囲以外の画像範囲に関して像振れ補正処理を行う（ステップＳ４６）。像振れ補正処理は上述のように重み付け変換処理と画素ずらし合成処理とによって行う。尚、画素ずらし合成処理において各コマの画像の重なり合う画素の画素値を加算平均した値を合成画像の画素値とするのではなく、単に加算した値（総和値）を合成画像の画素値とすることが望ましい。

そして、ＣＰＵ４２は、マスキング範囲の画像をフラッシュ点灯時に撮影されたコマの画像から抽出すると共に、その抽出したマスキング範囲の画像と、ステップＳ４６により像振れ補正処理されたマスキング範囲以外の画像とを合成（加算）して１コマ分の合成画像を生成すると共に、最適な輝度となるように輝度調整を行う（ステップＳ４８）。このようして生成された合成画像から記録予定範囲の画像を記録画像として切り出し、記憶メディア３６に記録する（ステップＳ５０）。

尚、スローシンクロモードでの撮影時における本実施の形態の像振れ補正処理は、重み付け変換を行わずに画素ずらし合成処理のみを行う場合であっても有効である。

本発明に係る撮像装置（デジタルカメラ）の内部構成の実施の形態を示すブロック図。 像振れ補正処理を行うための像振れ補正装置としての構成を機能ブロックで示した概略構成図。 像振れ補正における重み付け変換処理の説明に使用した説明図。 重み付け変換処理で使用される重み付けテーブルを例示した図。 像振れ補正における画素ずらし合成処理の説明に使用した説明図。 像振れ補正における画素ずらし合成処理の説明に使用した説明図。 画素ずらし合成処理の処理手順を示したフローチャート。 重み付け変換処理の他の形態の説明に使用した説明図。 重み付け変換処理における画素群及び重み付けテーブルの要素数の選択手順を示したフローチャート。 画素ずらし合成処理の説明に使用した説明図。 記録予定範囲とＣＣＤの撮像面との関係の説明に使用した説明図。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の位置を変更する場合の説明に使用した説明図。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の位置を変更する場合の処理手順を示したフローチャート。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の位置を変更する場合の説明に使用した説明図。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の大きさを変更する場合の説明に使用した説明図。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の大きさを変更する場合の処理手順を示したフローチャート。 記録予定範囲が補正可能範囲に内包されていない場合に記録予定範囲の大きさを変更する場合の説明に使用した説明図。 記録予定範囲を補正可能範囲に制限しない場合の説明に使用した説明図。 フラッシュモードがスローシンクロモードに設定されている場合の像振れ補正処理の説明に使用した説明図。 フラッシュモードがスローシンクロモードに設定されている場合の像振れ補正処理の説明に使用した説明図。 フラッシュモードがスローシンクロモードに設定されている場合の像振れ補正処理の処理手順を示したフローチャート。

符号の説明

１０…撮像装置（デジタルカメラ）、１２…撮影光学系、１２ｆ…フォーカスレンズ、１２ｚ…ズームレンズ、１４…ＣＣＤ、１６…タイミングジェネレータ（ＴＧ）、１８…アナログ信号処理部、２０…Ａ／Ｄ変換器、２２…画像入力コントローラ、２４…デジタル信号処理部、２８…エンコーダ、３０…画像表示部、３２…圧縮・伸張処理部、３４…メディアコントローラ、３６…記憶メディア、３８…ＡＥ検出部、４０…ＡＦ検出部、４２…中央処理装置（ＣＰＵ）、４４…ＲＯＭ、４６…ＲＡＭ、４８…フラッシュＲＯＭ、５０…操作部、５２…フラッシュ装置、７０…角速度センサー、１００…１次記憶手段、１０２…レンズ情報検出手段、１０４…像振れ量検出手段、１０６…像振れ補正演算手段、１０８…記憶手段、１５０…元画像、１５２…画素群、１６０…補正可能範囲、１７０…記録予定範囲

Claims (4)

1. 撮影光学系により結像された像を撮像する撮像手段と、
   前記撮像手段により複数コマ分の画像を所定のシャッタ速度で連続して撮像させることにより複数コマ分の画像を取得する撮像制御手段と、
   前記撮影光学系により結像される像の像振れを検出する像振れ検出手段と、
   前記撮像制御手段により取得された各コマの画像を前記像振れ検出手段により検出された像振れに応じた量だけずらして合成する画素ずらし合成によって像振れを補正した１コマ分の合成画像を生成する画像合成手段と、
   前記画像合成手段により生成された合成画像から記憶媒体に記録する画像を切り出す切出し範囲を設定する画像切出範囲設定手段であって、前記画像合成手段により合成画像が生成された際に、全てのコマの画像が重なり合った範囲に内包されるように、前記切出し範囲の中心位置を変えずに前記切出し範囲の大きさを変更する画像切出範囲設定手段と、
   前記画像合成手段により生成された合成画像から前記画像切出範囲設定手段により設定された切出し範囲の画像を切り出す画像切出手段と、
   スローシンクロモードでの撮影時において、前記撮像制御手段により取得された複数コマの画像のうち、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像との間で輝度変化が所定値以上となる領域を輝度変化領域として検出する輝度変化領域検出手段と、
   を備え、
   前記画像合成手段は、
   前記スローシンクロモードでの撮影時において、生成する合成画像のうち、前記輝度変化領域外の画像のみを前記画素ずらし合成によって生成する輝度変化領域外画像生成手段と、
   前記スローシンクロモードでの撮影時において、前記輝度変化領域内の画像をフラッシュ点灯時に撮像されたコマの画像から抽出する輝度変化領域内画像抽出手段と、
   前記輝度変化領域外画像生成手段により生成された前記輝度変化領域外の画像と、前記輝度変化領域内画像抽出手段により抽出された前記輝度変化領域内の画像とを合成して前記合成画像を生成するコマ画像生成手段と、
   を備えたことを特徴とする像振れ補正装置。
2. 前記画像切出手段により切り出された画像の画像サイズが、前記記憶媒体に画像を記録する際の予定の画像サイズよりも小さい場合には、前記画像切出手段により切り出された画像を前記予定の画像サイズと一致するように画素補間によって拡大する画像処理手段を備えたことを特徴とする請求項１の像振れ補正装置。
3. 撮影光学系により結像された像を撮像する撮像手段によって、複数コマ分の画像を所定のシャッタ速度で連続して撮像する撮像工程と、
   前記撮像工程により撮像した各コマの画像を像振れ検出手段により検出された像振れに応じた量だけずらして合成する画素ずらし合成によって像振れを補正した１コマ分の合成画像を生成する画像合成工程と、
   前記画像合成工程により生成された合成画像から記憶媒体に記録する画像を切り出す切出し範囲を設定する画像切出範囲設定工程であって、前記画像合成工程により合成画像が生成された際に、全てのコマの画像が重なり合った範囲に内包されるように、前記切出し範囲の中心位置を変えずに前記切出し範囲の大きさを変更する画像切出範囲設定工程と、
   前記画像合成工程により生成された合成画像から前記画像切出範囲設定工程により設定された切出し範囲の画像を切り出す画像切出工程と、
   スローシンクロモードでの撮影時において、前記撮像工程により取得された複数コマ分の画像のうち、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像との間での輝度変化が所定値以上となる領域を輝度変化領域として検出する輝度変化領域検出工程と、
   を備え、
   前記画像合成工程は、
   前記スローシンクロモードでの撮影時において、生成する合成画像のうち、前記輝度変化領域外の画像のみを前記画素ずらし合成によって生成する輝度変化領域外画像生成工程と、
   前記輝度変化領域内の画像をフラッシュ点灯時に撮像されたコマの画像から抽出する輝度変化領域内画像抽出工程と、
   前記輝度変化領域外画像生成工程により生成された前記輝度変化領域外の画像と、前記輝度変化領域内画像抽出工程により抽出された前記輝度変化領域内の画像とを合成して前記合成画像を生成するコマ画像生成工程と、
   を備えたことを特徴とする像振れ補正方法。
4. 前記画像切出工程により切り出された画像の画像サイズが、前記記憶媒体に画像を記録する際の予定の画像サイズよりも小さい場合には、前記画像切出工程により切り出された画像を前記予定の画像サイズと一致するように画素補間によって拡大する画像処理工程を備えたことを特徴とする請求項３の像振れ補正方法。

Images