JP4867554B2 - 電子カメラ、撮像制御プログラム及び撮像制御方法 - Google Patents

Description

本発明は、被写体を撮像して静止画で記録する電子カメラ、撮像制御プログラム及び撮像制御方法に関する。

従来、カメラに採用されている手ブレ補正方式は、光学式手振れ補正と電子式手振れ補正とに大別される。光学式手振れ補正は、アクチュエータを用いて光学系の一部を駆動する方式である。一方、電子式手振れ補正としては、連続する複数の画像を撮影し各画像の対応する画素同士を加算する方式が知られている（特許文献１参照）。
特開２００１−２３０９６５号公報

しかしながら、撮影した連続する複数の画像の画素を加算する方式の場合、画像サイズを維持できるメリットはあるものの、撮影条件によっては複数の画像を加算した際にノイズが発生してしまうデメリットが生ずる。したがって、ブレ補正を行う必要がある条件下で撮影を行った場合には、撮影した連続する複数の画像の画素加算による有効なブレ補正手段となる反面、ブレ補正を行う必要がない条件下で撮影を行った場合においても同様の画素加算が行われると、前記デメリットによる無用な画質低下を招いてしまう。

本発明は、かかる従来の課題に鑑みてなされたものであり、画素加算を適正に行いつつ撮影を行うことのできる電子カメラ、撮像制御プログラム及び撮像制御方法を提供することを目的とする。

前記課題を解決するために請求項１記載の発明は、撮像手段と、この撮像手段を設定された露出時間で単一回露出させて取得した画像データを出力する第１の撮像処理手段と、前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して露出させて取得された画像データを順次出力する第２の撮像処理手段と、この第２の撮像処理手段によって順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理手段と、当該装置のブレ量を検出する検出手段と、前記撮像手段を設定された露出時間で単一回露出させて取得した画像データを、前記検出手段によって検出されたブレ量に応じた光学的なブレ補正処理を施して出力する第３の撮像処理手段と、 撮影指示を検出する撮影指示検出手段と、この撮影指示検出手段によって撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断手段と、この判断手段により像ブレを起こしやすいと判断すると、前記第２の撮像処理手段による処理を行うよう制御する第１の制御手段と、前記判断手段により手ブレを起こしやすいと判断すると、前記第３の撮像処理手段による処理を行うよう制御する第２の制御手段と、前記判断手段による手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理手段による処理を行うよう制御する第３の制御手段と、を備えることを特徴とする。

また、請求項２記載の発明は、上記請求項１記載の発明において、前記判断手段が手ブレや像ブレを起こしやすいか否かを判断する条件には、
（ａ）前記撮影指示検出手段によって撮影指示が検出されると、その時に取得したレンズの焦点距離が所定値よりも大きいか否か、
（ｂ）撮影条件としてマクロモード又は近接撮影モードが設定されているか否か、
（ｃ）当該カメラのブレ量を検出する検出手段により検出されたブレ量が所定ブレ量よりも大きいか否か、
の少なくとも一つが含まれることを特徴とする。

また、請求項３記載の発明は、ブレ検出部と光学的にブレを補正するブレ補正駆動部とを備えた電子カメラが有するコンピュータを、撮像部に対し設定された露出時間で単一回露出させ、取得した画像データを出力させる第１の撮像処理手段、前記撮像部に対し前記設定された露出時間よりも短い露出時間で連続して露出させ、取得した画像データを順次出力させる第２の撮像処理手段、この第２の撮像処理手段によって順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理手段、前記撮像手段を設定された露出時間で単一回露出させて取得した画像データを、前記ブレ検出部にて検出されたブレ量に応じ前記ブレ補正駆動部にて光学的なブレ補正処理を施して出力する第３の撮像処理手段、撮影指示を検出する撮影指示検出手段、この撮影指示検出手段によって撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断手段、この判断手段により像ブレを起こしやすいと判断すると、前記第２の撮像処理手段による処理を行うよう制御する第１の制御手段、前記判断手段により手ブレを起こしやすいと判断すると、前記第３の撮像処理手段による処理を行うよう制御する第２の制御手段、前記判断手段による手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理手段による処理を行うよう制御する第３の制御手段、として機能させることを特徴とする。

また、請求項４記載の発明は、撮像部に対し設定された露出時間で単一回露出させ、取得した画像データを出力させる第１の撮像処理ステップと、前記撮像部に対し前記設定された露出時間よりも短い露出時間で連続して露出させ、取得した画像データを順次出力させる第２の撮像処理ステップと、この第２の撮像処理ステップにて順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理ステップと、前記撮像部に対しを設定された露出時間で単一回露出させて取得した画像データを、ブレ検出部にて検出されたブレ量に応じブレ補正駆動部にて光学的なブレ補正処理を施して出力する第３の撮像処理ステップと、撮影指示を検出する撮影指示検出ステップと、この撮影指示検出ステップにて撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断ステップと、この判断ステップにて像ブレを起こしやすいと判断すると、前記第２の撮像処理ステップによる処理を行うよう制御する第１の制御ステップと、前記判断ステップにて手ブレを起こしやすいと判断すると、前記第３の撮像処理ステップによる処理を行うよう制御する第２の制御ステップと、前記判断ステップにて手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理ステップによる処理を行うよう制御する第３の制御ステップと、を含むことを特徴とする。

本発明によれば、必要な場合に応じて光学的な手ブレ補正処理或いは加算処理が実行される一方、必然性なくこれらの処理が実行されることはない。したがって、無用に光学的な手ブレ補正処理を行ったり、加算処理が実行されて画像に必然性なくノイズが発生する不具合を回避することができる。

以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、各実施の形態に共通するデジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、高速度撮影が可能なカメラであって、撮影制御手段１を備えている。この撮影制御手段１は、撮影条件の設定手段２、撮影モードの設定手段３、シーン別撮影プログラム記憶部４、感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８及び撮影モード制御部９を備えている。そして、操作入力部１０からの操作信号は、撮影条件の設定手段２及び撮影モードの設定手段３に入力される。撮影モードの設定手段３は、操作入力部１０からの操作信号に従って撮影モードを選択し、撮影条件の設定手段２に出力するとともに、シーン別撮影プログラム記憶部４からは選択されたシーン別撮影プログラムが撮影条件の設定手段２に与えられる。

撮影条件の設定手段２は、これらの入力情報も基づき撮影条件を設定し、この設定した撮影条件を感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８に出力する。撮影モード制御部９は、感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８が前記撮影条件に基づき生成する制御情報が与えられ、この制御情報に基づき「加算なし（単写）」「加算なし（連写・ブラケティング）」「マルチプレーン加算合成モード（増感）」「マルチプレーン加算＋位置合わせモード（ブレ軽減）」の各モードを設定する。

また、露出制御手段７は、ストロボ１１を駆動するストロボ駆動回路１２と、撮像レンズ１３内に配置された絞り１４とシャッタ１５とを駆動する絞り／シャッタ駆動部１６Ｒとを制御する。ズーム制御／ＡＦ制御部６は、撮像レンズ１３を構成するズームレンズとフォーカスレンズとを駆動するズームレンズ／フォーカスレンズ駆動部１７を制御する。手ブレ補正制御手段８には、当該デジタルカメラ１の角速度を検出する角速度センサ１８からの信号に基づき手ブレを検出する手ブレ検出手段１９からの手ブレ検出信号が入力される。手ブレ補正制御手段８は、この入力される手ブレ検出信号に基づき、手ブレ補正駆動装置２０を制御し、手ブレ補正駆動装置２０は撮像レンズ１３内の手ブレ補正用レンズを駆動する。

一方、撮像レンズ１３の光軸上には、イメージセンサ２１が配置されており、このイメージセンサ２１は並列読み出しなどの高速読み出しが可能な撮像素子である。また、イメージセンサ２１から高速で出力される画像信号を処理する信号処理手段２２も同様に高速符号化処理可能なＤＳＰである。この信号処理手段（ＤＳＰ）２２は、Ｓ／Ｐ変換部２３、シューディング補正部２４、デジタルＡＧＣ２５、バッファメモリ（Ａ）２６、マルチプレーン合成部２７、カラー補間部２８、階調変換／ガンマ補正部２９、マトリクス１３０、解像度変換部３１、各種検出処理部３２及び撮像タイミング制御部３３を備えている。信号処理手段２２は、その全体的な動作を撮影制御手段１により制御され、信号処理手段２２が有する前記撮像タイミング制御部３３は、イメージセンサ２１の動作周期を制御する。

また、撮影時における信号処理手段２２からのスルー画像データは、表示駆動部３４に与えられ、画像表示部３５にスルー画像が表示される。そして、操作入力部１０が有するシャッタキー（レリーズ釦）が操作された際には、信号処理手段２２からの画像データは、バッファメモリ（Ｂ）３４に格納されて、画像符号化／復号化部３５により符号化されて、画像記録／入出力部３８によりカードメモリ媒体３９に記録される。

図２は、デジタルカメラ１の具体的回路構成を示すブロック図である。図に示すように、デジタルカメラ１は、制御回路１０２を有している。制御回路１０２には、ＣＰＵ１０３とこのＣＰＵ１０３にデータバス１０４を介して各々接続されたインターフェース１０５、音声入出力回路１０６、入力回路１０７、メモリカード・ＩＦ１０８、ＵＳＢコントローラ１０９、入出力インタフェース１１０、入出力回路１１１、入出力ポート１１２、１１３、ＨＤＤ・ＩＦ１１４が設けられている。音声入出力回路１０６には、マイク１１６がアンプ１１７及びＡ／Ｄ変換器１１８を介して接続されているとともに、スピーカ１１９がアンプ１２０及びＤ／Ａ変換器１２１を介して接続されている。入力回路１０７には、レリーズ釦（シャッタキー）を含む各種操作キー、スイッチ等が設けられた操作入力部１２２が接続され、メモリカード・ＩＦ１０８には脱着自在に設けられた画像メモリ媒体１２５が接続されている。ＵＳＢコントローラ１０９はＵＳＢ端子１２６に接続されており、入出力インタフェース１１０はアンテナ１２７を有する無線ＬＡＮ送受信部１２８に通信コントローラ１２９を介して接続されている。また、入出力回路１１１には、外部トリガー端子１３０がトリガー検出部１３１を介して接続されている。

前記入出力ポート１１２には、焦点レンズ駆動部１３２、ズームレンズ駆動部１３３、ブレ補正駆動部１３４、絞り駆動部１３５及びシャッタ駆動部１３６が接続されているとともに、ストロボ１３７がストロボ駆動回路１３８を介して接続され、測光／測距センサ１３９が検出回路１４０を介して接続されている。前記入出力ポート１１３には、当該デジタルカメラ１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）１４１と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）１４３とが各々検出回路１４２、１４４を介して接続されている。ＨＤＤ・ＩＦ１１４には、ＨＤＤ記憶装置１４７が接続されている。ＨＤＤ記憶装置１４７は、ディスク媒体１４８を有するとともに、モータ１４９、モータドライバ１５０、マイコン部１５１、ＶＣモータ１５２、ヘッドアンプ１５３、リード／ライトチャンネル１５４、ＨＤＤ制御部１５５等を有している。

また、制御回路１０２には、電池１４５が電源制御部１４６を介して接続され、電源制御部１４６は制御回路１０２により制御されて各部に電池１４５からの電力を供給する。さらに、前記データバス１０４には音声ＣＯＤＥＣ（符号器／復号器）１１５、プログラムメモリ１２３及びデータメモリ１２４が接続されている。音声ＣＯＤＥＣ１１５は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ１２３は、後述するフローチャートに示す制御回路１０２が動作するためのプログラムを格納しており、データメモリ１２４は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。

一方、ズームレンズを含む撮像光学系１５６の後方光軸上には、撮像素子１５７が配置されているとともに、撮像光学系１５６中には前記絞り駆動部１３５により駆動される絞り１５８、及び前記シャッタ駆動部１３６により駆動されるシャッタ１５９が介挿されている。また、前記焦点レンズ駆動部１３２は、撮像光学系１５６中の焦点レンズを駆動し、ズームレンズ駆動部１３３はズームレンズを駆動するように構成されている。前記ブレ補正駆動部１３４は、撮像光学系１５６中に揺動可能に支持されたブレ補正用レンズを駆動するものであり、したがって、このデジタルカメラ１は光学的ブレ補正手段を備えている。

前記撮像素子１５７は、並列読み出しなどの高速読み出しが可能なものであり、イメージセンサ部１６０、水平走査部１６１、垂直走査部１６２、Ｐ／Ｓ変換部１６３を有している。この撮像素子１５７には、ＤＳＰ部１６４が接続されている。ＤＳＰ部１６４には、撮像素子１５７のＰ／Ｓ変換部１６３から取り込んだ画像信号を処理するためのＳ／Ｐ変換部１６５、バッファメモリ（Ａ）１６６、マルチプレーン加算部１６７、カラー補間部１６８、階調変換部１６９、ガンマ補正部１７０、マトリクス１７１、解像度変換部１７２を備えているとともに、前記垂直走査部１６２の周期を制御するためのコントローラ１７３、画像特徴抽出処理画像認識処理部１７４、測光処理／ＡＦ検出／自動ＷＢ処理ほか１７５を備えている。

前記解像度変換部１７２、画像特徴抽出処理画像認識処理部１７４、測光処理／ＡＦ検出／自動ＷＢ処理ほかは、画像データバス１７６を介してバッファメモリ（Ｂ）１７７、画像ＣＯＤＥＣ（符号器／復号器）１７８、動画像ＣＯＤＥＣ（符号器／復号器）１７９及び表示駆動回路１８０に接続され、画像データバス１７６は前記制御回路１０２のインターフェース１１０５に接続されている。バッファメモリ（Ｂ）１７７は、画像ＣＯＤＥＣ１７８及び動画像ＣＯＤＥＣ１７９が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路１８０は、表示部１８１を駆動する。

図３及び図４は、本実施の形態の動作及び処理手順を示す一連のフローチャートである。制御回路１０２はプログラムメモリ１２３に格納されているプログラムに基づき各部を制御することにより、デジタルカメラ１はフローチャートに示すように動作し、処理を実行する。先ず、ユーザーによる操作入力部１２２での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、撮影設定モードが設定されたか否かを判断し（図４ステップＳ１０２）、撮影モードと撮影設定モードの何れも設定されていない場合には、その他のモード処理に移行する（ステップＳ１０３）。

また、撮影設定モードが設定された場合には、自動切換えの設定が選択されたか否かを判断する（ステップＳ１０４）。すなわち、図５に示すように、操作入力部１２２でＭＥＮＵキー及びカーソルキー（△▽）を操作して「撮影設定」モードを選択すると（ステップＳ１０２；ＹＥＳ）、表示部１８１に同図（ａ−１）に示すような撮影設定メニュー画面を表示する。このメニュー画面において、「ブレ軽減撮影」を選択すると、前記自動切換えの設定が選択されたことになり、前記ステップＳ１０４がＹＥＳとなって、同図（ａ−２）に示すブレ軽減撮影の設定メニューに移行する。

そして、自動切換えの設定が選択された場合には、ユーザーによる操作入力部１２２での操作に応じ、オート撮影モードにおいて、ブレ軽減撮影に自動切り換えするか否か（ＯＮ／ＯＦＦ）の設定を行う（ステップＳ１０５）。つまり、図５（ａ−２）のブレ軽減撮影の設定メニューには、「ＯＮ」「ＯＦＦ」が他の選択肢とともに表示されている。そして、この選択肢の中から「ＯＮ」が選択されれば自動切り換えＯＮが設定され、「ＯＦＦ」が選択されれば自動切り換えＯＦＦが設定される。

また、ステップＳ１０４で自動切換えの設定が選択されていないと判断された場合には、切換え条件の設定が選択されたか否かを判断する（ステップＳ１０６）。切換え条件の設定が選択された場合には、ユーザーの操作に従って、自動切換えする撮影条件等を選択して設定する（ステップＳ１０７）。

すなわち、ステップＳ１０４で自動切換えの設定が選択されていないと判断された場合には、図５（ｂ−１）に示す撮影設定メニューが表示部１８１に表示されている。このメニュー画面から「ブレ軽減撮影のカスタム設定」を選択すると、切換え条件の設定が選択されことになり、ステップＳ１０６がＹＥＳとなって、同図（ｂ−２）のブレ軽減撮影のカスタム設定メニューの表示に移行する。このメニュー画面において、「加算処理の切替条件の設定」を選択すると、同図（ｂ−３）のブレ軽減撮影への切り換え条件の設定メニュー画面に遷移する。

このブレ軽減撮影への切り換え条件の設定メニュー画面は、「撮影シーンに応じて」「露出時間時応じて」「被写体の輝度に応じて」「被写体の速度に応じて」「焦点距離に応じて」「マクロ撮影の場合」等の選択肢で構成されている。そして、この選択肢からいずれかを選択すると、例えば「撮影シーンに応じて」を選択すると、同図（ｂ−４）の撮影シーンに応じた切り替え設定画面に遷移する。この状態で、「ＯＦＦ」「オート」・・・等の撮影条件に応じた切り換え条件を選択することにより、前記ステップＳ１０７の処理が実行されて、ブレ軽減撮影に自動切換えする撮影条件等を選択して設定されることとなる。

また、ステップＳ１０６で切換え条件の設定が選択されていないと判断された場合には、加算処理の内容の設定が選択されたか否かを判断する（ステップＳ１０８）。加算処理の内容の設定が選択されたされた場合には、ユーザーの操作に従って、加算処理の方式や処理を選択して設定する（ステップＳ１０９）。なお、ステップＳ１０８で加算処理の内容の設定が選択されていないと判断された場合には、その他の設定処理を実行する（ステップＳ１１０）。

一方、図３のステップＳ１０１で撮影モードが設定されていると判断された場合には、ユーザーによる操作入力部１２２での操作により入力された撮影条件、オート撮影モード、マニュアル撮影モード、各撮影モードにおけるシャッタ速度等の各種撮影条件、後述するブレ軽減撮影又は増感撮影モード等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に基づく用紙サイズ又は画像サイズを選択する（ステップＳ１１１）。また、ズーム処理、ＡＦ処理を実行し（ステップＳ１１２）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ１１３）。したがって、ユーザはこの表示部１８１に表示されたスルー画像を見ながら、このデジタルカメラ１の向きを調整する等してシャッタチャンスを伺う。

一方、制御回路１０２は、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ１１４）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ１１５）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ１１６）、これにより得られた測光値と前記ステップＳ１０９で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ１１７）。

次に、手ブレ補正がＯＦＦであるか否かを判断し（ステップＳ１１８）、ＯＮである場合には、手ブレ補正撮影処理を実行する（ステップＳ１１９）。つまり、手ブレ補正がＯＮである場合には、検出回路１４２、１４４を介して、当該デジタルカメラ１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）１４１と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）１４３から入力される信号に基づき、ブレ補正駆動部１３４を制御して、ブレ補正用レンズを駆動する光学的ブレ補正手段を動作させつつ、撮影処理を実行する。

手ブレ補正がＯＦＦである場合には、オート撮影モードが設定されているか否かを判断する（ステップＳ１２０）。オート撮影モードが設定されている場合には、さらに自働切り換えがＯＮか否かを判断する（ステップＳ１２１）。すなわち、前記ステップＳ１０５での処理により、「オート撮影モードでブレ軽減撮影に自動切換えする」が「ＯＮ」となっているか否かを判断する。そして、「ＯＦＦ」となっている場合には、ステップＳ１２２の処理を実行することなくステップＳ１２３に進む。「ＯＮ」となっている場合には、設定された所定の撮影条件か否かを判断する（ステップＳ１２２）。つまり、前記ステップＳ１０７でユーザーにより設定されたブレ軽減撮影に自動切換えする所定の撮影条件であるか否かを判断する。

前記所定の設定条件とは、下記のいずれかのような、手振れが生じやすい撮影条件である。
ａ）撮影レンズの焦点距離が所定値より長い焦点距離の場合、
ｂ）マクロ（近接撮影）モードの場合、
ｃ）手振れ量又は像ブレ量を検出し、検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きくなると判断される場合、
など。

さらに、被写体の状態が以下のいずれかのような、被写体ブレが生じやすい条件の場合を設定条件としてもよい。、
ｄ）被写体の移動速度、若しくは、被写体像の移動速度を検出して、設定露出時間における被写体像の移動量が所定値又は許容錯乱円径より大きくなると判断される場合、
ｅ）測光センサや撮像信号から検出された測光値や被写体輝度が所定の値より低く、かつ、ストロボ発光が強制ＯＦＦに設定されている場合、
ｆ）測光値や被写体輝度に基づき自動露出（ＡＥ）制御により設定された露出時間、もしくは、マニュアル設定による露出時間が、所定の露出時間（例えば、１／６０秒）より長い場合、
ｇ）ホワイトバランス設定状態、もしくは、自動ホワイトバランス（ＡＷＢ）の設定状態が、蛍光灯や電球による照明や、それに相当する色温度（２０００度〜４５００度程度）に設定されているなど、暗い屋内や電灯照明下の被写体と判断される場合、
など。

なお、本実施の形態においては、ユーザが任意に選択できるようにしたが、ユーザの選択に拘わらず、制御回路１０２がこれらの条件の全てあるいは一部の有無を判断するようにしてもよい。

そして、ユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件でない場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ１２３）。これと同時に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ１２４）、引き続き、シャッタ速度に応じた露出時間が終了したか否かを判断し（ステップＳ１２５）、露出時間が終了となった時点で露出／撮影動作を停止させる（ステップＳ１２６）。また、この単写により得られた画像データを読み出す（ステップＳ１２７）。

一方、前記ステップＳ１２０での判断の結果、オート撮影モードが設定されておらずマニュアル撮影モード等の他の撮影モードが設定されている場合には、ステップＳ１２０からステップＳ１２８に進む。そして、前記ステップＳ１０５での処理により、ブレ軽減撮影又は増感撮影モードが設定されているか否かを判断し（ステップＳ１２８）、ブレ軽減撮影又は増感撮影モードが設定されてない場合には、その他の撮影モード処理に移行する（ステップＳ１２９）。

ブレ軽減撮影又は増感撮影モードが設定されている場合（ステップＳ１２５；ＹＥＳ）、及び前記ステップＳ１２２の判断がＹＥＳであって、前記ステップＳ１０７でユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件である場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ１３０）。引き続き、前記ステップＳ１１４の測光処理で得られている測光値と、ステップＳ１１１で設定された撮影条件とに応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ１３１）。つまり、露出時間や絞りなど露出条件を画像の加算数に応じて、例えば、画像加算数（ｎ）が２枚、４枚、８枚、１６枚、・・・の場合に露出時間を１／２、１／４、１／８、１／１６、・・・と（１／ｎ）に再設定する。

次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ１３２）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ１３３）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ１３４）、ブレ除去の為の画像の位置合わせを行うか否かを判断する（ステップＳ１３５）。位置合わせを行わない場合には、ステップＳ１３６の処理を行うことなくステップＳ１３７に進み、位置合わせを行う場合には、撮影された画像を、主要被写体又は背景の特徴に応じて、前の画像と位置合わせする位置合わせ処理を実行する（ステップＳ１３６）。なお、この主要被写体又は背景の特徴に応じて、前の画像と位置合わせする処理の詳細については後述する。次に、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ１３７）、補間処理、ノイズ除去処理を実行する（ステップＳ１３８）。また、加算画像数分連写済みか否かを判断し（ステップＳ１３９）、加算画像数分連写済みとなるまで、ステップＳ１３２からの処理を繰り返す。

したがって、ステップＳ１３２〜Ｓ１３９の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、補間処理及びノイズ除去処理された１枚分の撮影画像データが生成されることとなる。

そして、ステップＳ１３９及びＳ１２７のいずれかに続くステップＳ１４０では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像をメモリ媒体（画像メモリ媒体１２５又はディスク媒体１４８）に記録する（ステップＳ１３５）。さらに、撮影画像を表示部１８１にレビュー表示する（ステップＳ１３６）。

したがって、本実施の形態によれば、下記のような効果を得ることができる。
（１）手ブレや被写体の動きによる像ブレが生じやすい撮影条件や、被写体の場合には、自動的に１回のレリーズ操作に応じて、複数枚の画像を高速で速写するとともに速写された画像をマルチプレーン加算及び位置合せ合成する、「ブレ軽減速写合成モード」に切り替えて撮影処理し、マルチプレーン加算による増感効果により、適正露出を得るのに必要な露出時間を短縮して撮影できる。また、高速で速写された複数画像における像移動を位置合せ合成して記録できるので、仮に光学式の手ブレ補正装置が搭載されていないカメラであったとしても、手ブレによる像ブレだけでなく、子供やペット、スポーツの撮影など被写体ブレが生じやすい撮影シーンでも、被写体ブレによる像ブレをも効果的に軽減して撮影できる。
（２）また、連写画像のマルチプレーン加算及び位置合せ合成によるブレ軽減撮影や増感撮影に自動的に切り替えるか否か（切り替えのＯＮ／ＯＦＦ）、どのような撮影条件や被写体状態の場合に増感撮影やブレ軽減撮影に切り替えるか（切替え条件）、増感撮影やブレ軽減撮影において、連写画像数（加算枚数）やどのような加算処理を行うか（増感撮影やブレ軽減、加算処理に切替えた際の処理内容）などを、設定モード等でカスタム設定できるようにしたので、以降は、オート撮影するだけで、ユーザーの所望や作画意図に応じて、ブレ軽減撮影や増感撮影が行える。
（３）また、光学式の手ブレ補正装置を設けたカメラの場合も、手ブレ補正がＯＦＦ設定になっている場合や、ＯＮに設定し忘れた場合でも、自動的にブレ軽減して撮影できるとともに、ユーザーの意図に大きく反することなく、手ブレや被写体ブレが大きいと判断される場合にのみブレ軽減して撮影できる。
（４）また、高解像度でかつ高速で速写した画像を位置合せして、マルチプレーン加算処理するので、（従来の撮像素子上における画素加算読み出しや撮影後画像の加算処理のように、）加算処理によって画像サイズが小さくなってしまったり、画素補間処理により解像感が落ちてしまったり、異なるタイミングの画像を加算合成して被写体ブレが大きくなったりすることがなく、ユーザーの希望とは違う画像が撮影されてしまうことも防止できる。

（撮像素子）
前記撮像素子１５７を、例えば、ＣＣＤイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ回路（相関二重サンプル回路）でノイズ除去及びサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ（信号処理回路）に出力される。

一方、撮像素子をＣＭＯＳ（相補型金属一酸化膜半導体）イメージセンサで構成する場合には、図２に示したような、一般的なＡＰＳ（増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子（アンプ）が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内アンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧又は電流として取り出すことができる。ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切り出して読出す場合には、高速で読み出せる。

また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のＣＭＯＳ回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。その反面、ＣＭＯＳセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ＫＴＣ雑音が大きい難点があったが、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流とＫＴＣ雑音を低減できるようになり、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型のＣＤＳ／ＡＤＣ回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズを除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。

本実施の形態に係る高速度撮影機能を有するデジタルカメラ１に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図６に示す撮像素子２００を用いることが好ましい。すなわち、この撮像素子２００は、タイミング発生回路２０１に接続された垂直走査回路２０２と水平走査回路２０３及び列回路部２０４を備えるとともに、並列直列変換部２０４、符号器２０５を有している。列回路部２０４には、ＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７、画素加算回路２０８を一組とする回路が複数設けられて、各々列信号線２０９が接続されている。一方、垂直走査回路２０２には、行選択線（アドレス線）２１０と転送ＴＣ線（行読出し線）２１１及び行リセット線２１２とが接続されている。また、イメージセンサ部２１３には、複数の単位画素回路２１４が設けられており、各単位画素回路２１４は、前記列信号線２０９、行選択線（アドレス線）２１０、転送ＴＣ線（行読出し線）２１１、行リセット線２１２に接続されたフォトダイオード２１５等で構成されている。

したがって、この撮像素子２００においては、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７の後段に隣接する同色（フィルタ）の複数の画素の信号同士をデジタル信号で加算する画素加算回路２０８を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。

なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７から水平走査回路２０３の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列／直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、ＤＳＰに高速フレームレートで転送出力することができる。

（ＣＤＳ／ＡＤＣ回路、画素加算回路）

図７は、ＣＭＯＳセンサ内の列回路部に設けた画素加算回路の例である。並列に並んだ列回路に設けるＣＤＳ／ＡＤＣ回路には、各種方式が開発されているが、本例では、いわゆる「ＣｏｌｕｍｎＡＤＣ方式」のＣＤＳ／ＡＤＣ回路を用いて、列毎に並列処理するＡ／Ｄ変換器により、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。ＣｏｌｕｍｎＡＤＣ方式のＣＤＳ回路では、固定パターンノイズを抑圧するために、荒精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は、例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。

図８の動作タイミングチャートにあるように、まず、列回路のＡ１とＡ２のクランプスイッチＳ１、Ｓ２を同時に閉じてから、Ｓ１を先に開くと、点ｖｉｎの電位が、Ａ１の闇値電圧にＳ１スイッチングのバラツキが加算された電圧に荒い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の闇値電圧になる。その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分かＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。

次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプＪングする。サンプリング完了後、スイッチＳ３を開いて、Ａ／Ｄ変換用のランプ波形（ＲＡＭＰ波形、順次電圧が上昇する傾斜状の波形）の基準信号をスイッチＳ４から加えると、ランプ波形に応じてｖｉｎの電圧がやがてクランプ回路の闇値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタの値がデジタルの画素信号値としてラッチに記憶され、Ａ／Ｄ変換処理が終了する。

（画素加算動作）
このようなＣＤＳ／ＡＤＣを含む列回路の後に、列加算（垂直加算）回路などのデジタル演算回路３０１を設け、行アドレス選択された画素の信号を列信号線から読出し、ＣＤＳ／ＡＤＣ回路でノイズ除去されデジタル変換された並列信号を、タイミング信号でラッチ回路にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミング信号で別のラッチ回路にラッチして、ラッチ回路の出力同士を列加算回路でデジタル加算する。また、水平信号線からの信号出力部に行加算（水平加算）回路などのデジタル演算回路３０２を設け、列加算された信号同士をタイミング信号で選択して水平信号線に読出し、ラッチ回路にラッチして、ラッチ回路の出力同士を行加算回路でデジタル加算する。カラー撮像の場合には、例えば、「Ｂａｙｅｒ配列」等の千鳥状に２画素周期で交互に並んだ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ同素同士で、列方向に複数加算する。また、行方向に（一つ飛ばしで）隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色画素の信号同士が複数同素分加算できる。

加算された撮像信号のデジタル信号は所定の符号化を行うとともに、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力され、ＤＳＰに転送される。なお、ＣＤＳ／ＡＤＣ回路は、ＣＯｌｕｍｎＡＤＣ方式で構成したが、より単純なＣｏｌｕｍｎ ＣＤＳ方式や、ＤＤＳ方式（Ｄｏｕｂｌｅ Ｄａｔａ Ｓａｍｐｌｉｎｇ）など、他のＣＤＳ／ＡＤＣ回路や加筧回路で構成してもよい。

（撮像信号の高速読出し）
前述のように、加算された撮像信号のデジタル信号は、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力されＤＳＰに転送される。高解像度かつ高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でＤＳＰに転送する必要がある。一般のＣＭＯＳ入出力回路では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。これに対し、例えば、ＣＭＬ系（Ｃｕｒｒｅｎｔ Ｍｏｄｅ Ｌｏｇｉｃ、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をｏｎ／ｏｆｆさせる方法で、（ｖｄｄ−０．４Ｖ）の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。

また、ＬＶＤＳ系（Ｌｏｗ−ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、小振幅差動信号方式）は、２本の信号線を使用して情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置などのデジタル入出力インタフェースとして利用されている。ＬＶＤＳでは、２本の配線を必要とするが、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。このように、ＣＭＯＳ回路でも、高速でシリアル伝送できるＣＭＬ系やＬＶＤＳ系など低振幅や作動方式の入出力インタフェースを用いて、また直列信号に変換されたデジタル撮像信号を撮像素子の出力回路（トランシーバー）から出力して、後段のＤＳＰへ高速で伝送し、ＤＳＰ側の入力回路（レシーバー）では、受信した直列デジタル信号を並列／直列変換回路で並列デジタル信号に復元変換して、デジタル撮像信号として映像信号処理に用いることができる。

（ＤＳＰ（デジタル信号処理回路））
ＣＭＯＳセンサ内蔵のＣＤＳ／ＡＤＣ回路でデジタル変換され、並列又は直列のデジタル信号で転送された撮像信号を入力すると、ＤＳＰでは、まずシェーディング補正や黒レベル補正、欠陥画素補正などを行った後、デジタルＡＧＣで増幅するとともに、ホワイトバランス調整やカラーバランス調整を行った後に、撮像素子の前面に設けられたモザイク状の「Ｂａｙｅｒ配列」や千鳥配列されたＲＧＢカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないＢａｙｅｒデータ（ＲＡＷデータ）から、他の色差成分の画素値も、近隣周辺の画素値等から画素補間（Ｐｉｘｅｌ Ｓｉｇｎａｌ ｌｎｔｅｒｐｏｌａｔｉｏｎ）して求めて（カラー補間処理）、画素毎にＲＧＢ色差成分毎の階調値を持つデジタル画像データに変換される。さらに、階調補正やガンマ補正されたＲＧＢ系のデジタル画像信号はバッファメモリ（Ｂ）に一時記憶された後、ＬＣＤモニタや電子ファインダ（ＥＶＦ）に再生表示されるか、カラーマトリクス回路でＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、画像ＣＯＤＥＣにより、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。また、必要に応じて、リサイズ／補間処理回路により、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Ｒｅ ｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ）を行う。例えば、スルー画像や再生画像をＬＣＤ等に表示する為に、ｖｉｄｅｏＲＡＭや表示ドライバ内の表示ＲＡＭ領域に書込む為に、（ＶＧＡサイズなど）所定の画像サイズに変換するリサイズ（Ｒｅｓｉｚｅ）、もしくは、補間処理（ｌｎｔｅｒｐｏｌａｔｉｏｎ）を行う。あるいは、撮影記録時に、所望の設定された画像サイズで記録する為に、縮小／拡大する処理や、リサイズ／補間処理もしくは解像度変換処理を行う。

（マルチプレーン加算処理）
図９に示すように、複数枚の画像を高速速写して、前記のＤＳＰ内に取り込み、カラー補間処理を行う前に、Ｂａｙｅｒ配列データでマルチプレーン加算合成処理を行うことにより、前述したように、増感効果を高めた高感度撮影を行うことができる。ブレ軽減撮影を行う場合には、さらに、マルチプレーン加算する前に、速写された各画像を前の画像との相関度やテンブレートマッチング処理などにより、主要被写体領域の輝度パターンや輪郭、色特徴などが前の画像と同じ位置に重なるように位置合せ処理を行う。

図９のマルチプレーン加算回路では、各連写画像のＢａｙｅｒ配列データのうち、輝度成分や解像感をよく反映するＧ（緑）画像の相関度を求めて位置合せ合成を行い、またＢａｙｅｒ配列データでは欠けている縦、横、斜め画素の補間処理を行いフル画素のＧデータを生成する。Ｒ（赤）、Ｂ（青）データは、Ｇ（緑）データの位置合せ結果に準じて位置合せとカラー補間処理を行い、フルサイズのＲＧＢデータに変換する。位置合せ処理では、さらに、回転方向も検出して、アフィン変換などにより座標回転変換して位置合せし、回転位置に応じて補間処理を行うようにしてもよい。あるいは、動く被写体や被写体ブレしやすい撮影条件では、中央や前景の主な被写体の領域画像を抽出して、主要被写体や背景の輪郭形状や特微量が重なる位置に移動して位置合せしてから加算するのが望ましい。

（必要な撮影速度）
高速度撮影機能を有するデジタルカメラ１における撮影速度や速写フレーム速度Ｒ（ｆｐｓ）は、設定された撮影倍率（Ｍ）や、被写体の移動速度（Ｖ）などの設定情報に従って、次式（１）などにより、必要な撮影速度（Ｒ）の目安を算出し、設定すればよい。
式（１） 必要な撮影速度Ｒ＝（ＭＸＶ）／（ｄｘα）
ただし、Ｒ：撮影速度（コマ／秒）、Ｍ：撮影倍率＝撮像イメージサイズ（Ｙ′）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、ｄ：許容錯乱円径、α：シヤッタ係数（α＝１〜５など）。

（必要な露出時間）

また、必要な露出時間（Ｔ）は、設定された撮影倍率（Ｍ）や被写体の移動速度（Ｖ）などの設定情報に従って、次式（２）又は（３）により、必要な露出時間（Ｔ）の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間（Ｔ）を設定すればよい。
式（２） 必要な露出時間Ｔ＝β×ｄ／（ＭＸＶ）、又は、
式（３） 必要な露出時間Ｔ＝β×Ｙ′／（ｍ×Ｍ×Ｖ）
ただし、Ｔ：露出時間（秒）、ｄ：許容錯乱円径（ｍｍ）、Ｍ：撮影倍率、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０、など）、Ｙ′： 撮像イメージサイズ（ｍｍ）、ｍ：撮像素子の画素数。

（必要な被写体照度）
また、撮影に必要な光量（被写体照度）Ｅは、撮影倍率（Ｍ）や絞り値（Ｆ）、露出時間（Ｔ）などに応じて、例えば、次式（４）などにより算出される被写体照度（Ｅ）を満足する被写体の明るさやＥＶ値の環境条件で撮影するか、又は、それを満足するように、ＩＳＯ感度や被写体を照明するストロボ光量を設定して撮影するよう制御すればよい。
式（４） 必要な被写体照度Ｅ＝γ×（１＋Ｍ^２）×Ｆ^２／（Ｔ×ＩＳＯ）
ただし、Ｅ：必要な被写体照度（ルクス）、Ｍ：撮影倍率、Ｆ：撮影レンズ絞り値、Ｔ：撮影露出時間（秒）、ＩＳＯ：ＩＳＯ相当の撮影感度、γ：定数（例えば、γ＝２００〜２３５程度）。

（第２の実施の形態）
図１０は、本発明の第２の本実施の形態の動作及び処理手順を示すフローチャートである。先ず、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ２０１）、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ２０２）。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ２０３）。

また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッタ速度等の撮影条件を設定し（ステップＳ２０４）、ズーム処理、ＡＦ処理を実行し、レンズ焦点距離情報（ｆ）を読み込む（ステップＳ２０５）。また、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ２０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ２０７）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ２０８）、これにより得られた測光値と前記ステップＳ２０３で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ２０９）。また、当該デジタルカメラ１におけるブレ量若しくは像ブレ量を検出する（ステップ２１０）。

次に、
（１）前記ステップＳ２０５で読み込んだ焦点距離（ｆ）が所定以上であるか否か（ステップＳ２１１）
（２）マクロ撮影であるか否か（ステップＳ２１２）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ２１３）
（４）ステップＳ２０９で設定された設定露出時間における像ブレ量が所定を超えるか否か（ステップＳ２１４）
（５）前記ステップＳ２０８で得られた測光値が所定値未満であるか否か（ステップＳ２１５）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ２１６）
（７）前記ステップＳ２０９で設定された設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ２１７）
（８）前記ステップＳ２０８でのＷＢ処理によるＷＢ設定が電球又は蛍光灯（屋内証明）であるか否か（ステップＳ２１８）
を判断する。

そして、これら（１）〜（８）判断がすべてＮＯであった場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ２１９）、設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ２２０）。

一方、（１）〜（８）判断の少なくとも一つがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ２２１）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ２２２）、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ２２３）。

しかして、前述のような被写体の状態や撮影条件では、暗い被写体若しくは被写体の輝度が低くて、適正露出条件における露出時間（シャッタ速度）が長く（遅く）なりやすいので、手ブレとともに被写体ブレも生じやすい。あるいは、露出時間に対して被写体の移動速度が速いため、被写体ブレが生じやすい。このような被写体の動きによる像ブレ（動体ブレ）が生じやすい撮影条件の場合にも、自動的にブレ軽減の為の増感撮影モードに切り替えて、マルチプレーン加算合成による増感処理によって、撮影感度を増感するとともに、手ブレだけでなく被写体ブレ（動体ブレ）による像ブレをも軽減して撮影することができる。

（第３の実施の形態）

図１１及び図１２は、本発明の第３の実施の形態を示すものである。この実施の形態は、撮影シーン別のプログラム撮影モード、若しくは撮影シーンや撮影方法を説明文と代表例のサンプル画像とを付して表示したメニューから選択できるようにしたモード（ＢＳ（ベストショット）モード）において、設定された撮影シーンに応じて、手ブレや被写体ブレが生じやすいと判断されるような所定の撮影シーンが設定されている場合には、ブレーン加算合成によるブレ軽減撮影／増感撮影に自動的に切り替えるように制御するものである。

すなわち、図１１のフローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ３０１）、ユーザーによる操作入力部１２２での操作により、オート撮影モード又は撮影シーン別プログラムモードが設定されているか否かを判断する（ステップＳ３０２）。オート撮影モード又は撮影シーン別プログラムモードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ３０３）。

また、オート撮影モード又は撮影シーン別プログラムモードが設定されている場合には、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、撮影条件を設定又は撮影シーンを選択する（ステップＳ３０４）。つまり、図１２（Ａ）〜（Ｆ）に示すように、表示部１８１にユーザーによる操作入力部１２２での操作に応じて、撮影シーンとその説明文代表例のサンプル画像を切替表示し、いずれかの撮影シーンが選択されたならば、これを設定する。

なお、図１０（Ａ）〜（Ｆ）に好適な撮影シーン別プログラムは、予めプログラムメモリ１２３に格納されている。また、（Ａ）は子供の撮影、（Ｂ）はペットの撮影、（Ｃ）はキャンドルライト（屋内）での撮影、（Ｄ）はパーティ（屋内）での撮影、（Ｅ）はスポーツの撮影、（Ｆ）は花などの近接撮影に各々好適な撮影シーン別プログラムに対応する。

次に、ズーム処理、ＡＦ処理を実行し（ステップＳ３０５）、レリーズ釦が押されて撮影指示がなされたか否かを判断する（ステップＳ３０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ３０７）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ３０８）、これにより得られた測光値と前記ステップＳ２０３で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ３０９）。

次に、前記ステップＳ３０４で選択された撮影シーン（ＢＳモードが）が、
（１）子供、ペットの撮影シーン（ステップＳ３１０）
（２）キャンドルライト（屋内）の撮影シーン（ステップＳ３１１）
（３）パーティ（屋内）の撮影シーン（ステップＳ３１２）
（４）スポーツの撮影シーン（ステップＳ３１３）
（５）花、又は近接撮影（ステップＳ３１４）
（６）流し撮り撮影（ステップＳ３１５）
であるか否かを判断する。

そして、これら（１）〜（６）判断がすべてＮＯであった場合には、つまり、設定されたシーンが「子供、ペットの撮影シーン」「キャンドルライト（屋内）の撮影シーン」「」パーティ（屋内）の撮影シーン」「スポーツの撮影シーン」「花、又は近接撮影」「流し撮り撮影」のいずれでもなく、他のシーンである場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ３１６）、設定された撮影シーンと設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ３１７）。

一方、（１）〜（６）判断の少なくとも一つがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ３１８）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ３１９）、設定された撮影シーンと、設定撮影条件に応じて、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ３２０）。

したがって、本実施の形態によれば、被写体が暗かったり、露出時間が長くなったり、手ブレや動体ブレが生じやすいような撮影シーンや増感処理が必要な撮影シーンの場合には、自動的にマルチプレーン加算合成によるブレ軽減撮影若しくは増感撮影に切り替えて撮影するように制御するので、前述した第１の実施の形態のように、設定モード等で細かく設定したりする必要がなく、ユーザー所望の撮影シーンやユーザーが選択した被写体のシーンに応じて、必要な場合には自動的に、手ブレや同他ブレによる像ブレを軽減したり増感撮影することができる。ユーザーは、撮影シーンを選択するだけで、容易に、また必要な場合にのみ自動的に像ブレを軽減したり増感撮影することができる。

なお、本実施の形態においては、マルチプレーン加算モードで撮像素子を駆動するシーンとして、図１２（Ａ）〜（Ｆ）を示したが、これに限ることなく、夜景の撮影シーン（暗い被写体だが、遠景なのでストロボ消灯で撮影したいシーン）、夜景の人物と背景の撮影シーン（近景も、ストロボの届かない遠景も、一緒に撮影したい）、花火の撮影シーン（増感したいが、ノイズ発生を押さえたい撮影シーン）など、暗い被写体で露出時間が長くなるので、三脚などで固定して撮影するのが基本だが、撮影感度を上げると増大するノイズの発生も押さえて撮影したいシーンなどでも、（ＩＳＯ相当感度など）撮影感度をそれほど上げずに、マルチプレーン加算合成により増感撮影に自動的に切り替えて撮影するようにしてもよい。また、ブレ軽減撮影専用や高感度撮影専用の撮影シーンプログラムを設けるようにしてもよい。

また、前記各撮影シーンにおいては、設定された撮影シーン毎の撮影制御プログラムに応じて、露出プログラムの選択や、測光方法、焦点制御方法、ストロボの点灯／消灯／オートなど、その他の撮影条件の設定や、輪郭強調処理やカラーフィルタ処理等を自動的に設定したり、ＩＳＯ相当感度など撮影感度アップによる増感撮影と組み合わせたりして、マルチプレーン加算合成によるブレ軽減撮影／増感撮影を行ってもよい。また、設定された撮影シーンに応じて、マルチプレーン加算合成による撮影の加算数（加算倍率）やその限度範囲、若しくは、画素補間処理の倍率や限度範囲などを自動的に切り替えるのが好ましい。また、撮影シーンに応じて、撮影感度アップとマルチプレーン加算合成による増感処理との配分比率を切り替えるようにしてもよい。撮影シーンの設定は、ユーザーがモードスイッチやメニュー操作で選択したシーンでも、あるいは、カメラの制御回路においＴげ、撮影条件や被写体輝度や色調の分布や、被写体距離、構図配置などからシーン判別する撮影プログラム等により設定されたシーンであってもよい。

（第４の実施の形態）

図１３は、本発明の第４の実施の形態を示すものである。この実施の形態は、設定された所望の印刷用紙の種別又は印刷用紙サイズ（寸法）、若しくは、設定された画像サイズ（縦×横の画素数）に相応する印刷用紙サイズ（寸法）に応じて、所定のブレ量又は像ブレ量など、許容できるブレ量を設定し、検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きい場合には、自動的に画素マルチプレーン加算モードに切り替えて撮像素子を駆動し、マルチプレーン加算合成によるブレ軽減のための増感撮影処理を行い、設定された露出時間を画素加算数に応じて短縮された露出時間に設定して撮影するように制御する。また、撮影画像の画像サイズが設定された画像サイズよりも小さくなる場合には、撮影画像データに画素補間処理を行ってから記録できるように制御するものである。

フローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ４０１）、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ４０２）。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ４０３）。また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、用紙サイズ又は画像サイズを選択する（ステップＳ４０４）。

次に、ズーム処理、ＡＦ処理を実行し（ステップＳ４０５）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ４０６）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ４０７）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ４０８）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ４０９）、これにより得られた測光値と前記ステップＳ４０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ４１０）。

さらに、前記選択された印刷用紙又は画像サイズと、前記ステップＳ４１０で得られた露出時間に応じて、許容ブレ量、許容ブレ速度等を算出し（ステップＳ４１１）、かつ、当該デジタルカメラ１におけるブレ量若しくは像ブレ量を検出する（ステップＳ４１２）。次に、ステップＳ４１１で算出された許容ブレ量、許容ブレ速度等と、ステップＳ４１２で検出されたブレ量若しくは像ブレ量に基づき、
（１）設定露出時間における像ブレ量＞所定の像ブレ量（ステップＳ４１３）
（２）像移動速度＞所定の移動速度（ステップＳ４１４）
（３）ブレ量（角度）＞所定のブレ量（ステップＳ４１５）
（４）ブレ角速度＞所定のブレ角度（ステップＳ４１６）
であるか否かを判断する。

そして、これら（１）〜（４）判断がすべてＮＯであった場合には、つまり設定露出時間における像ブレ量、像移動速度、ブレ量（角度）、ブレ角速度が全て許容値以下である場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ４１７）、設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ４１８）。

一方、（１）〜（４）判断のいずれかがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ４１９）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ４２０）、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ４２１）。

したがって、本実施の形態によれば、ユーザー所望の印刷用紙サイズ（寸法）又は記録画像サイズ（画素数）に応じて、許容像ブレ量や許容ブレ量などを設定して、それに応じて、連写画像マルチプレーン加算による「ブレ軽減速写合成モード」への切替条件を自動的に可変設定するので、鑑賞時のサイズに合わせてブレの目立たない必要＋分なブレ軽減撮影が行えるので、画質劣化なども最小限に抑えることができる。

なお、本実施の形態においては、ステップＳ４１１において、選択された印刷用紙又は画像サイズと露出時間に応じて、許容ブレ量、許容ブレ速度等の許容値を算出するようにしたが、印刷用紙や画像サイズに応じて、一定の許容値を自動的に設定するようにしてもよい。

また、前述した第１の実施の形態おける切替の所定条件の一つである、
ｃ）検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きい場合、ｄ）設定露出時間における像移動量もしくは像移動速度が所定の像移動量もしくは像移動速度より大きい場合、
などにおける判断基準となる所定の条件を、選択や設定されている所望の印刷用紙サイズや画像サイズに相当する印刷用紙サイズに応じて自動的に算出して設定し、検出されたブレ量又は像ブレ量が、設定された条件と比較して大きいか否かを判断し、連写画像のマルチプレーン加算によるブレ軽減撮影動作に切り替えるように制御してもよい。印刷用紙の種別もしくは印刷用紙サイズ（寸法）を選択すると、プリンタ装置の印刷解像度（ｄｐｉ）やモニター装置の表示解像度などに応じて、必要な解像度が得られる画像サイズ（横×縦の画素数）は算出して決定できる。

逆に、画像サイズを選択すると、２００ｄｐｉや３００ｄｐｉ等、印刷装置の印刷解像度（ｄｐｉ）に応じて、＋分な解像度となる印刷用紙サイズの限度を決定できる。例えば、用紙サイズから必要＋分な画像サイズを算出するには、フチ無し印刷の場合には、
式（５） 必要な画像サイズ（横又は縦の画素数）＝用紙寸法（横又は縦）（ｍｍ）×印刷解像度（ｄｐｉ）÷２５．４（ｍｍ／ｉｎｃｈ）、
などで求めることができる。逆も逆算より求められる。また、許容できる像ブレ量などは、例えば、許容ボケ（許容錯乱円径）の大きさを基準に算出することができる。

一般に、人間の肉眼で細かなものを見分けられる能力は、角度にして１分（１’）程度とされるが、写真など連続して調子が変化している対象では、少しゆる目の角度２〜３分（２’〜３’）程度とされ、これより小さいものはボケていることが分からず、シャープに見えると言われる。これを基準に考えると、
１）肉眼の明視距離約２５ｃｍ離れた距離から写真や印画紙を観察するとき、０．１５〜０．２２ｍｍ×（２５０ｍｍ×ｔａｎ（２’）〜２５０ｍｍ×ｔａｎ（３’））程度のボケまでは人間の眼にはボケていると気付かないことになる。
２）一方、写真はその大きさに応じて、用紙の寸法（例えば、対角寸法）に相当する距離から眺めるのが自然だという考え方もある。これを基準に、対角が２７ｃｍと明視距離（２５ｃｍ）に近い八つ切り判の印画紙では約０．２ｍｍのボケまでは許され、３５ｍｍ判から八つ切り判への引き伸ばし倍率は６倍だから、０．２÷６＝０．０３３ｍｍが、一般的な３５ｍｍ判（３６×２４ｍｍ）フィルムの「許容ボケ」（許容錯乱円径、Ｐｅｍｌｉｓｓｉｂｌｅ Ｃｉｒｃｌｅ ｏｆ Ｃｏｎｆｕｓｉｏｎ）として採用されている。この方法では、逆に、用紙サイズや引き伸ばし倍率に関わらず、撮像素子のイメージサイズに相応して、所定の角度（２’〜３’）以内の許容錯乱円径であればよく、換算には便利であるが、印刷用紙が大きい場合ほど、荒いピントやボケ、ブレでも許されることになる。上記いずれの考え方にせよ、選択された印刷用紙の大きさと、撮像素子の撮像イメージサイズ（１／２型：対角８ｍｍ、１／３型：対角６ｍｍ、など）に応じて、許容ボケ（許容錯乱円径）δを自動的に算出して、それにあわせて、許容ブレや、許容できる像ブレ量、許容できるブレ角速度（又は、被写体移動の角速度）の目安などを設定することができる。すなわち、
１）印刷用紙によらず用紙サイズ（対角）相当の距離だけ離れて観察するときの許容ボケが所定値（例えば、３５ｍｍ判の０．０３３ｍｍに相当する角度＝約０°０２’４０”）以下になるように設定する場合には、
式（６） 撮像面上の許容錯乱円径削：ｍｍ］＝｛撮像サイズ（Ｙ）／印刷用紙サイズ（Ｓ）｝×印刷用紙サイズＳ［ｍｍ］ｘｔａｎ（２’４０”）、＝撮像サイズ（Ｙ）［対角、ｍｍ］ｘｔａｎ（２’４０”）、として算出して、許容ブレを設定できる。
２）また、どの用紙サイズの場合も、一定の明視距離（約２５ｃｍ）から観察する場合には、
式（７）撮像面上の許容錯乱円径δ［ｍｍ］＝｛撮像サイズ（Ｙ）／印刷用紙サイズ（Ｓ）｝×明視距離（２５０ｍｍ）ｘｔａｎ（２’４０”）、として算出し、これを基準に許容ブレを設定できる。
３）あるいは、許容錯乱円径δ［ｍｍ］をユーザー所望の任意の値に設定してもよい。

また、許容できる像ブレ量（δＢ）は上記の許容錯乱円径（δ）に略等しいとすると、許容できる像移動速度（ＶＢ）、許容ブレ量（θＳ）、及び、露出時間（Ｔ）における許容ブレ角速度（ωＳ）は、上記で算出された撮像面上の許容ボケ（δ）［ｍｍ］と、撮影レンズの焦点距離（Ｏ［ｍｍ］、設定露出時間（Ｔ）［秒］とから、
式（８） 許容像ブレ量δＢ≒δ、又は、
許容像移動速度ＶＢ＝δＢ／Ｔ≒δ／Ｔ、
許容ブレ量（又は被写体の見かけ上の移動角度）θＳ＝２×ｔａｎ^−１（δＢ／２ｆ）、
許容ブレ角速度（又は被写体の見かけ上の移動角速度）ωＳ＝θＳ／Ｔ、
などと算出して、設定することができる。

あるいは、マクロ撮影などで、被写体距離Ｌが分かる場合には、
式（９） 被写体範囲Ｘ＝撮像サイズＹＸＬ／ ｆとなるので、
式（１０）被写体ブレ（又はカメラブレの許容変位）ＸＢ＝許容像ブレ量δＢ×Ｌ／ｆ 、又は、
許容できる被写体の移動速度ＶＢ＝ＸＢ／Ｔ≒δＢＸＬ／（ｆｘＴ）、
等として算出できる。これらを本例の印刷用紙に応じた所定のブレ量もしくは像ブレ量として、もしくは、前述の第１実施例のｃ）又はｄ）の所定のブレ量もしくは像ブレ量の条件として設定して、連写画像のマルチプレーン加算による「ブレ軽減速写合成モード」への切替条件の判断を行えばよい。

（第５の実施の形態）

図１４及び図１５は、本発明の第５の実施の形態における動作及び処理の手順を示すフローチャートである。本実施の形態は、ユーザー操作に応じて、手ブレ補正装置による手ブレ補正処理を行う「手ブレ補正モード」と、連写画像のマルチプレーン加算＋位置合せ合成によるブレ軽減処理を行う「ブレ軽減速写合成モード」と、「オート撮影モード」とを選択して切替えられるようにするとともに、「オート撮影モード」においては、前記ａ）〜ｃ）のような手ブレが大きいと判断される第１条件の場合には、「手振れ補正モード」に切り替え、ｄ）〜ｆ）のような被写体ブレが大きいと判断される第２条件の場合には、「ブレ軽減速写合成モード」に自動的に切り替え、その他の場合には、ブレ補正もブレ軽減撮影も行わないよう制御するものである。

フローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ５０１）、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、用紙サイズ又は画像サイズを選択する（ステップＳ５０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ５０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ５０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ５０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ５０６）。

レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ５０７）、これにより得られた測光値と前記ステップＳ５０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ５０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ５０９）、ブレ量を検出し、順次記録する（ステップＳ５１０）。また、手ブレ補正撮影モードが設定されているか否かを判断し（ステップＳ５１１）、設定されている場合には、ブレ補正撮影を行うべくステップＳ５１２に進む。

このブレ撮影においては、撮像素子１５７及びＤＳＰ部１６４を単写撮影モードに設定し（ステップＳ５１２）、ブレ量を検出して順次記録する（ステップＳ５１３）。そして、この検出ブレ量に応じて、ブレ補正装置（ブレ補正駆動部１３４）を駆動して、光学的なブレ補正処理を実行するとともに（ステップＳ５１４）、設定撮影条件に応じて、露出及び撮影動作を行う（ステップＳ５１５）。次に、露出時間が終了したか否かを判断し（ステップＳ５１６）、経過するまでステップＳ５１３からの処理を繰り返す。

露出時間が終了したならば、露出及び撮影動作を停止し（ステップＳ５１７）、前記露出、撮影動作により得られた撮影画像データを読み出して（ステップＳ５１８）、これを圧縮、符号化する（ステップＳ５１９）。また、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録するとともに（ステップＳ５２０）、表示装置６に撮影画像データに基づく撮影画像をレビュー表示させる（ステップＳ５２１）。

一方、前記ステップＳ５１１の判断がＮＯであって、手ブレ補正撮影モードが設定されていない場合には、図１５のステップＳ５２２に進んで、ブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ５２２）。ブレ軽減撮影モード設定されている場合には、連写撮像の加算＋位置合わせによるブレ軽減撮影を行うべくステップＳ５２３に進む。

この連写撮像の加算＋位置合わせによるブレ軽減撮影においては、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ５２３）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ５２４）。次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ５２５）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ５２６）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ５２７）、撮影された画像を、前の画像と位置合わせする位置合わせ処理を実行する（ステップＳ５２８）。次に、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ５２９）、補間処理、ノイズ除去処理を実行する（ステップＳ５３０）。また、加算画像数分連写済みか否かを判断し（ステップＳ５３１）、加算画像数分連写済みとなるまで、ステップＳ５２５からの処理を繰り返す。

したがって、ステップＳ５２５〜Ｓ５３１の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、補間処理及びノイズ除去処理された１枚分の撮影画像データが生成されることとなる。しかる後に、前述した図１４におけるステップＳ５１９以降の処理を実行する。

他方、ステップＳ５２２の判断がＮＯであって、ブレ軽減撮影モードが設定されていない場合には、ステップＳ５２２からステップＳ５３２に進み、オート撮影モードが設定されているか否かを判断する。オート撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ５３３）。オート撮影モードが設定されている場合には、以下の判断を行う。
（１）焦点距離が所定以上であるか否か（ステップＳ５３４）
（２）マクロ撮影であるか否か（ステップＳ５３５）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ５３６）
（４）像の移動量が所定を超えるか否か（ステップＳ５３７）
（５）測光値が所定値未満であるか否か（ステップＳ５３８）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ５３９）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ５４０）。

そして、これら（１）〜（７）判断のうち、（１）〜（３）のいずれか１つでもＹＥＳであった場合には、図１４のステップＳ５１２に進んで、ブレ補正撮影処理に移行する。また、（１）〜（７）のうち、（４）〜（６）のいずれか１つでもＹＥＳであった場合には、ステップＳ５２３に進んで、連写撮像の加算＋位置合わせによるブレ軽減撮影に移行する。さらに、（１）〜（７）判断の全てがＮＯであった場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ５４１）。これと同時に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ５４２）、シャッタ速度に応じた露出時間が終了したか否かを判断し（ステップＳ５４３）、露出時間が終了となった時点で露出／撮影動作を停止させる（ステップＳ５４４）。また、この単写により得られた画像データを読み出して（ステップＳ５４５）、図１５の５１９に進む。

したがって、本実施の形態によれば、手ブレ補正をＯＦＦしたまま忘れてＯＮ操作しなかった場合であっても、手振れや被写体ブレによる像ブレを白動的かつ効果的に軽減して撮影することができる。

（第６の実施の形態）

図１６及び図１７は、本発明の第６の実施の形態における動作及び処理の手順を示すフローチャートである。レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ６０１）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ６０２）。レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ６０３）、これにより得られた測光値と設定撮影条件とに応じて、露出条件を設定する（ステップＳ６０４）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ６０５）、ブレ量を検出し、順次記録する（ステップＳ６０６）。次に、オート撮影モードが設定されているか否かを判断する（ステップＳ６０７）。オート撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ６０８）。

オート撮影モードが設定されている場合には、
（１）焦点距離が所定以上であるか否か（ステップＳ６０９）
（２）マクロ撮影であるか否か（ステップＳ６１０）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ６１１）
（４）像の移動量が所定を超えるか否か（ステップＳ６１２）
（５）測光値が所定値未満であるか否か（ステップＳ６１３）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ６１４）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ６１５）。

そして、これら（１）〜（７）判断のうち、（１）〜（３）のいずれか１つでもＹＥＳであった場合には、後述するステップＳ６１６に進む。また、（１）〜（７）のうち、（４）〜（６）のいずれか１つでもＹＥＳであった場合には、連写撮像の加算＋位置合わせによるブレ軽減撮影を行うべく、前述した図１５のステップＳ５２３以降の処理を実行する。さらに、（１）〜（７）判断の全てがＮＯであった場合には、通常撮影を行うべく、図１５のステップＳ５４１以降の処理を実行する。

また、（１）〜（３）のいずれか１つでもＹＥＳであってステップＳ６１６に進んだ場合には、以下の判断を行う
（５）測光値が所定値未満であるか否か（ステップＳ６１６）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ６１７）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ６１８）。
（４）像の移動量が所定を超えるか否か（ステップＳ６１９）。

そして、これら（４）〜（７）判断が全てＮＯであった場合には、ブレ補正撮影を行うべく、前述した図１４のステップＳ５１５以降の処理を実行する。また、いずれか１つでもＹＥＳであった場合には、図１７のステップＳ６２０に進み、ブレ補正撮影＋連写画像加算による増感撮影を実行する。

このブレ補正撮影＋連写画像加算による増感撮影においては、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ６２０）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ６２１）。次に、ブレ量を検出して順次記録する（ステップＳ６２２）。そして、この検出ブレ量に応じて、ブレ補正装置（ブレ補正駆動部１３４）を駆動して、光学的なブレ補正処理を実行するとともに（ステップＳ６２３）、設定撮影条件に応じて、露出及び撮影動作を行う（ステップＳ６２４）。次に、露出時間が終了したか否かを判断し（ステップＳ６２５）、経過するまでステップＳ６２３からの処理を繰り返す。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ６２６）、撮影された画像を前の画像と順次マルチプレーン加算合成する（ステップＳ６２７）。また、加算画像数分連写済みか否かを判断し（ステップＳ６２８）、加算画像数分連写済みとなるまで、ステップＳ６２２からの処理を繰り返す。

したがって、ステップＳ６２２〜Ｓ６２８の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、１枚分の撮影画像データが生成されることとなる。しかる後に、このマルチプレーン加算合成された１枚分の撮影画像データを圧縮、符号化して（ステップＳ６２９）、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録する（ステップＳ６３０）。

すなわち、本実施の形態においては、前述した第５の実施の形態において、さらに、前記ａ）〜ｃ）のいずれかのような第１の所定条件を満たし、かつ、ｄ）〜ｆ）のいずれかのような第２の所定条件を満たす場合には、ブレ量が大きく、かつ、被写体ブレを生じやすく高感度撮影が必要と判断して、光学式手ブレ補正装置による手ブレ補正処理を行いながら、連写画像のマルチプレーン加算による高感度撮影処理（この場合は位置合せによるブレ補正処理はしなくともよい）を同時に行うように制御する。これにより、手ブレ量が大きい場合にも、手ブレ補正処理とマルチプレーン加算による高感度撮影とを同時に実行してブレを軽減できる。

（第７の実施の形態）

図１８及び図１９は、本発明の第７の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザによる操作入力部１２２での操作に応じて、撮影モードを選択するとともに撮影条件を設定する（ステップＳ７０１）。また、オート撮影モード、又はブレ軽減撮影モードが設定されたか否かを判断し（ステップＳ７０２）、いずれも設定されていない場合には、その他のモード処理に移行する（ステップＳ７０３）。オート撮影モード、又はブレ軽減撮影モードが設定されている場合には、ズーム処理、ＡＦ処理を実行し（ステップＳ７０４）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ７０５）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ７０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ７０７）。

レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ７０８）、これにより得られた測光値と前記ステップＳ７０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ７０９）。次に、この露出条件により設定された設定露出時間が所定値（例えば１／６０ｓ）以下であるか否かを判断し（ステップＳ７１０）、所定値以下である場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ７１４）。しかる後に、単写撮影動作を行うべく、図１５のステップＳ５４１以降の処理を実行する。

しかし、ステップＳ７１０での判断の結果、設定露出時間が所定値を超える場合には、撮影感度値Ｓｖを１段上げ、シャッタ速度値Ｔｖも１段上げる（ステップＳ７１１）。また、この１段上げた撮影感度が所定感度以上（ノイズが荒くならない程度の感度）であるか否か（ステップＳ７１２）、及び１段上げたシャッタ速度値Ｔｖによる設定露出時間が所定時間以下であるか否か（ステップＳ７１３）を判断する。そして、１段上げた設定露出時間が所定時間を超える場合には、ステップＳ７１１からの処理を繰り返し、設定露出時間が所定時間以下となった時点で前述したステップＳ７１４に進んで、単写撮影動作に移行する。しかし、設定露出時間（シャッタ速度値Ｔ）が所定時間以下となる前に、１段上げた撮影感度が所定感度以上となった場合には、単写撮影してもノイズが荒くなることから、単写撮影動作に移行することなくステップＳ７１２から図１９のステップＳ７１５に進む。

そして、前述のステップＳ７１１で上げた撮影感度値Ｓｖ及びシャッタ速度値Ｔｖを元の値に戻す（ステップＳ７１５）。しかる後に、連写撮影によるマルチプレーン加算モードに設定し、加算画像数を１〜２段上げるとともに、シャッタ速度値Ｔｖを１〜２段上げる（ステップＳ７１６）。また、この１〜２段上げた加算画像数が所定の加算画像数未満であるか否か（ステップＳ７１７）、及び１〜２段上げたシャッタ速度値Ｔｖによる設定露出時間が所定時間（例えば１／６０ｓ）以下であるか否か（ステップＳ７１８）を判断する。そして、１〜２段上げた設定露出時間（シャッタ速度値Ｔｖ）が所定時間を超える場合には、ステップＳ７１６からの処理を繰り返し、設定露出時間（シャッタ速度値Ｔ）が所定時間以下となった時点で、連写画像加算による増感撮影を行うべく、ステップＳ７２０に進む。

しかし、設定露出時間（シャッタ速度値Ｔｖ）が所定時間以下となる前に、１〜２段上げた加算画像数が所定の加算画像数以上となった場合には、加算画像数及びシャッタ速度値Ｔｖを今回のステップＳ７１６の処理が行われた直前の状態に戻して（加算画像数を１〜２段下げ、シャッタ速度値Ｔｖを１〜２段下げる）（ステップＳ７１９）、連写画像加算による増感撮影を行うべく、ステップＳ７２０に進む。そして、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ７２０）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ７２１）。次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ７２２）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ７２３）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ７２４）、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ７２５）。また、加算画像数分連写済みか否かを判断し（ステップＳ７２６）、加算画像数分連写済みとなるまで、ステップＳ７２３からの処理を繰り返す。

したがって、ステップＳ７２２〜Ｓ７２６の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成された１枚分の撮影画像データが生成されることとなる。しかる後に、この撮影画像データを圧縮、符号化処理し（ステップＳ７２７）、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録するとともに（ステップＳ７２８）、表示装置６に撮影画像データに基づく撮影画像をレビュー表示させる（ステップＳ７２９）。

つまり、本実施の形態においては、ＩＳＯ相当撮影感度が予め設定された所定値より低い感度に設定されている場合には、まずＩＳＯ相当感度をノイズが荒くならない程度に予め設定された所定の感度まで１〜２段程度づつ上げていき、露出条件を再設定して、露出時間（シヤッタ速度秒）が所定の露出時間（１／６０秒など）よりも短くなるように設定する。それでも、露出時間が所定時間より長い場合には、１回のレリーズ操作に応じて、連写画像のマルチプレーン加算合成処理（位置合せ処理はしなくともよい）を行う「高感度速写合成モード」に自動的に切り替えて撮影する。また、「高感度速写合成モード」の連写画像のマルチプレーン加算においても、露出時間が所定時間（１／６０秒など）より短くなるまで、速写及び加算する画像数を１〜２段づつ徐々に上げて、露出時間（シヤッタ速度秒）を再設定する。したがって、ノイズが荒くならない範囲でＩＳＯ相当感度の設定による増態と、それを補うように、マルチプレーン加算による増感効果とを組合せて、露出時間を短縮することにより、効率的にブレ軽減しながら高感度撮影を行うことができる。

（第８の実施の形態）

図２０は、本発明の第８の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ８０１）、シャッタ速度、感度等の撮影条件を設定する（ステップＳ８０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ８０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ８０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ８０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ８０６）。

レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ８０７）、これにより得られた測光値と前記ステップＳ８０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ８０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ８０９）、ブレ量を検出し、順次記録する（ステップＳ８１０）。また、高感度撮影モードが設定されているか否かを判断し（ステップＳ８１１）、設定されている場合には、測光値と設定撮影条件に応じて、所定の撮影感度及び露出条件に再設定して（ステップＳ８１５）、ステップＳ８１６に進む。

高感度撮影モードが設定されていない場合には、オート撮影モードが設定されているか否かを判断し（ステップＳ８１２）、オート撮影モードも設定されていない場合には、その他のモード処理に移行する（ステップＳ８１３）。また、オート撮影モードが設定されている場合には、前記ステップＳ８０２で設定された感度が所定感度以上であるか否かを判断する（ステップＳ８１４）。所定感度以上である場合にはその他のモード処理に移行し（ステップＳ８１３）、所定感度未満である場合にはステップＳ８１６に進む。

そして、ステップＳ８１６〜ステップＳ８２４においては、以下の判断を行う。
（１）焦点距離が所定以上であるか否か（ステップＳ８１６）
（２）マクロ撮影であるか否か（ステップＳ８１７）
（３）ステップＳ８１０で検出されたブレ量が所定値を超えるか否か（ステップＳ８１８）
（４）ステップＳ８１０で順次記録した像の移動量が所定を超えるか否か（ステップＳ８１９）
（５）選択されたシーン別撮影プログラムにおける撮影シーン（あるいは認識した被写体）が子供、ペット、スポーツなどをであるか否か（ステップＳ８２０）
（６）測光値が所定値未満であるか否か（ステップＳ８２１）
（７）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ８２２）
（８）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ８２３）。
（９）前記ステップＳ８０７でのＷＢ処理によるＷＢ設定が白熱電球又は蛍光灯であるか否か（ステップＳ８２４）。

これらの（１）〜（９）判断において、（１）〜（３）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋ブレ補正撮影を行うべく、図１４の５１２以降の処理を実行する。（１）〜（３）判断が全てＮＯであって、（４）（５）のいずれかがＹＥＳであった場合には、高感度撮影＋連写画像加算＋位置合わせによるブレ軽減撮影を行うべく、図１５のステップＳ５２３以降の処理を実行する。（１）〜（５）判断が全てＮＯであって、（７）〜（９）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋連写画像加算＋連写画像加算による増感撮影を行うべく、図１９のステップＳ７２１以降の処理を実行する。

本実施の形態においては、（１）〜（５）判断が全てＮＯであって、（７）〜（９）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋連写画像加算＋連写画像加算による増感撮影を行うべく、図１９のステップＳ７２１以降の処理を実行するようにしたが、高感度撮影＋ブレ補正撮影を行うべく、図１４の５１２以降の処理を実行するようにしてもよい。また、（１）〜（９）判断が全てＮＯであった場合には、高感度撮影＋通常単写撮影を行うべく、図１５のステップＳ５１４以降の処理を実行する。

つまり本実施の形態においては、「高感度撮影モード」、又は、ＩＳＯ感度が所定値より高感度に設定されている場合に、前記ａ）〜ｃ）のいずれかのような第１の所定条件の場合には、手ブレが大きくなると判断して、高感度撮影とともに、手ブレ補正装置による「手ブレ補正モード」を同時に行う。また、前記ｄ）のような第２の所定条件の場合、もしくは、撮影シーンが「子供」や「ペット」、「スポーツ」などの場合には、被写体ブレが大きくなると判断して、ＩＳＯ相当感度アップによる高感度撮影とともに、連写画像のマルチプレーン加算＋位置合せ合成による「ブレ軽減速写合成モード」に自動的に切替える。また、前記ｅ）、ｆ）、ｇ）のいずれかのような第３の所定条件の場合には、暗い被写体で長い露出時間を要すると判断して、ＩＳＯ相当感度アップによる高感度撮影とともに、連写画像のマルチプレーン加算合成による増感処理（位置合せ処理はしなくともよい）を行う「高感度速写合成モード」に自働的に切替えて、撮影を行うよう制御する。したがて、本実施の形態によれば、高感度撮影では手振れしにくくなるが、それでも手振れや像ブレが特に大きい場合は、ＩＳＯ感度アップによる増感とマルチプレーン加算による増感処理やブレ軽減処理、又は、ブレ補正装置による手ブレ補正処理とを組合せて、より効果的にブレを軽減できる。

（マルチプレーン加算における相関計算（位置合わせ方法））の切り替え）
図２１は、所定の撮影条件に応じて、上述のマルチプレーン加算処理における位置合せ方法を、Ａ）主要被写体の領域画像を基準に位置合せして合成するか、Ｂ）（主要被写体を除く）背景領域の画像を基準に位置合せして合成するか、のいずれかに切替えて撮影動作を行うように制御する例を示す。

本例では、マルチプレーン加算＋位置合せ合成による高感度＆ブレ補正処理を行う際に、主要被写体領域の輪郭形状や色特徴などの特徴を抽出する主要被写体の特徴抽出手段と、主要被写体領域の特微量の相関度が最も高くなる移動位置、あるいは、各輪郭形状の共通領域又は重心位置などを求める主要被写体の位置検出手段と、各連写画像から主要被写体を除いた背景画像の色分布もしくはテクスチャー特徴など背景の画像特徴の抽出手段とを設け、
Ａ）主要被写体の領域画像を位置合せする場合に、連写画像の最初の画像の輝度パターンや輪郭形状、色分布など画像の特徴量から中央又は前景の主要被写体の領域（又はその共通領域や重心位置）を抽出するとともに、そのフレーム画像の主要被写体領域の画像特微量と、今回フレーム画像Ｐ１の当該領域の画像特微量との相関を計算し、最も相関が高くなる位置、もしくは、特微量の差（距離）が最も低くなる位置を求め、今回フレーム画像Ｐ１を求めた一致位置まで移動して、前回フレーム画像Ｐ２に順次重ね合せ合成する。
Ｂ）一方、背景領域の画像で位置合せする場合には、同様に、連写画像の最初の画像の特微量から中央又は前景の主要被写体の領域を抽出するとともに、そのフレーム画像から抽出された主要被写体領域を除いた背景領域の画像特微量と、今回フレーム画像Ｐ１の当該領域の画像特微量との相関を計算し、最も相関が高くなる位置、もしくは、特微量の差（距離）が最も低くなる位置を求め、今回フレーム画像Ｐ１を求めた一致位置まで移動して、前回フレーム画像Ｐ２に順次重ね合せ合成する。

また、いずれも、加算枚数分の連写画像の位置合せ及びマルチプレーン加算処理が終了した後、その共通領域の画像を所定のアスペクト比（縦横比）の方形に切り取るトリミング処理を行い、複数枚画像の合成により外郭にずれて凸凹出入りした部分を削除するとともに、トリミング処理により小さくなった画像サイズ（画素数）を、元の記録画像サイズに拡大する処理などを行うのが好ましい。

（位置合わせ）

図２２に（ａ）主要被写体領域の画像を基準に位置合せする場合と、（ｂ）背景領域の画像を基準に位置合せする場合の例を示す。
（ａ）主要被写体の領域画像で位置合せする場合には、連写画像の最初の被写体画像から輝度又は色差信号などに基づいて複数領域に分割し、その中から主要被写体の領域を選択し、その領域画像を２値化し、エッジを検出し、エッジ図形をＮ辺の等辺多角形などで近似し、輪郭線のＰ型フーリエ記述子、あるいは、そのフーリエスペクトルやＤＣＴ変換の低周波成分からｎ個の成分（係数）を取り出して、輪郭形状の特徴データとして抽出し、今回画像と重ねて、パターンマッチングなどにより順次移動した各位置において前回画像と今回画像との特徴データを比較して、相関や類似度が最も高い位置を検出して、位置合せを行い、マルチプレーン加算する。

（ｂ）背景画像で位置合せする場合には、同様に複数領域に分割し、主要被写体の領域を除く背景の領域画像を選択し、その輝度パターン、又は、その代表色や色分布などの色特徴、テクスチャー特徴などを前回画像とパターンマッチングで比較して、相関や類似度が最も高い位置を一致位置として検出して、位置合せを行い、マルチプレーン加算する。

（位置合わせ＋マルチプレーン加算合成処理）

図２３は、位置合わせ＋マルチプレーン加算合成処理の処理手順を示すサブルーチンである。被写体の連写画像の最初の画像を取り込み（ステップＳＡ１、図（Ａ））、輝度階調値又は色差信号に基づいて、複数領域に分割する（ステップＳＡ２、図（Ｂ））。次に、主要被写体の位置合わせであるか否かを判断し（ステップＳＡ３）、主要被写体の位置合わせである場合には、主要被写体の領域を選択する（ステップＳＡ４、図（Ｃ））。引き続き、領域の画像を３値化し（ステップＳＡ５、図（Ｄ））、エッジを検出する（ステップＳＡ６、図（Ｅ））。このエッジを検出した画像をＮ辺の等辺多角形等で近似し（ステップＳＡ７）、輪郭線のＰ型記述子などフーリエ記述子を求める（ステップＳＡ８）。さらに、パワースペクトルを求め（ステップＳＡ９、図（Ｆ））、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線特徴データとし（ステップＳＡ１０）、求めた輪郭線の特徴量データをメモリに記憶する（ステップＳＡ１１）。

引き続き、次の連写画像を順次取り込み（ステップＳＡ１２）、選択領域画像のテンブレートマッチング処理を行って、今回画像を前回画像上において、順次移動させ、各位置での特徴量の類似度又は距離を求める（ステップＳＡ１３、図（Ｇ）（Ｊ））。最も類似度が高い（又は距離が小さい）位置を一致する位置として出力し（ステップＳＡ１４）、今回画像データを一致する位置まで移動（位置合わせ）する（ステップＳＡ１５）。移動位置に応じて、縦線、斜めの補間処理を行って（ステップＳＡ１６）、補間処理された今回の画像データと前回画像データとを加算合成する（ステップＳＡ１７、図（Ｈ））。次に、全ての画像を加算したか否かを判断し（ステップＳＡ１８）、全ての画像を加算するまでステップＳＡ１２からの処理を繰り返す。全ての画像を加算したならば、共通領域の切り出し処理を行って、元のサイズに拡大処理する（ステップＳＡ１９）。

他方、ステップＳＡ３の判断がＮＯである場合には、背景領域の位置合わせであるか否かを判断する（ステップＳＡ２０）。背景領域の位置合わせである場合には、主要被写体を除く背景領域を選択し（ステップＳＡ２１、図（Ｉ））、背景領域の位置合わせでない場合には、中央又はフォーカス枠周辺の所定サイズの領域を選択する（ステップＳＡ２２）。しかる後に、輝度パターン特徴で位置合わせするか否かを判断し（ステップＳＡ２３）、輝度パターン特徴で位置合わせする場合には、選択領域の輝度パターンの特徴量を抽出する（ステップＳＡ２５）。輝度パターン特徴で位置合わせしない場合には、代表色又は色分布で位置合わせするか否かを判断する（ステップＳＡ２４）。

代表色又は色分布で位置合わせする場合には、選択領域の特徴パターンの特徴量を抽出する（ステップＳＡ２７）。代表色又は色分布で位置合わせしない場合には、テクスチャー特徴で位置合わせするか否かを判断し（ステップＳＡ２６）、する場合には選択領域のテクスチャー特徴量を抽出する（ステップＳＡ２８）。そして、ステップＳＡ２５、ＳＡ２７、ＳＡ２８のいずれかに続くステップＳＡ２９においては、これらのステップで抽出された選択領域の特徴データをメモリに記憶した後（ステップＳＡ２９）、前述したステップＳＡ１２以降の処理を実行する。

（第９の実施の形態）

図２５は、本発明の第９の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ９０１）、シャッタ速度、感度等の撮影条件を設定する（ステップＳ９０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ９０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ９０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ９０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ９０６）。

レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ９０７）、これにより得られた測光値と前記ステップＳ９０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ９０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ９０９）、ブレ量を検出し、順次記録する（ステップＳ９１０）。また、被写体ブレ軽減撮影モードが設定されているか否かを判断し（ステップＳ９１１）、設定されている場合には、主被写体を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、ステップＳ９２５〜Ｓ９２７の処理を実行する。すなわち、連写撮影において、主被写体の領域を選択し（ステップＳ９２５）、主被写体領域の特徴量を抽出して特徴データをメモリに記憶する（ステップＳ９２６）。また、主被写体の特徴量に基づいて、図２３において説明した位置合わせ＋マルチプレーン加算処理を実行する（ステップＳ９２７）。

また、ステップＳ９１１での判断の結果、被写体ブレ軽減撮影モードが設定されていない場合には、手ブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ９１２）。手ブレ軽減撮影モードが設定されている場合には、背景を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、ステップＳ９２２〜Ｓ９２４の処理を実行する。すなわち、連写撮影において、主被写体を除く背景領域を選択し（ステップＳ９２２）、背景領域の特徴量を抽出して特徴データをメモリに記憶する（ステップＳ９２３）。また、背景領域の特徴量に基づいて、図２３において説明した位置合わせ＋マルチプレーン加算処理を実行する（ステップＳ９２４）。

他方、 また、ステップＳ９１２での判断の結果、手ブレ軽減撮影モードが設定されていない場合には、以下の各判断を行う。
（１）流し撮り撮影モードであるか否か（ステップＳ９１３）
（２）選択されたシーン別撮影プログラムにおける撮影シーン（あるいは認識した被写体）が子供、ペット、スポーツなどをであるか否か（ステップＳ９１４）
（３）焦点距離が所定以上であるか否か（ステップＳ９１５）
（４）マクロ撮影であるか否か（ステップＳ９１６）
（５）ステップＳ９１０で検出されたブレ量が所定値を超えるか否か（ステップＳ９１７）
（６）ステップＳ９１０で順次記録した像の移動量が所定を超えるか否か（ステップＳ９１８）
（７）測光値が所定値未満であるか否か（ステップＳ９１９）
（８）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ９２０）
（９）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ９２１）。

これらの（１）〜（９）判断において、（３）（４）（５）判断のいずれか一つでもＹＥＳであった場合には、背景を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、前記ステップＳ９２２〜Ｓ９２４の処理を実行する。また、（１）（２）（６）（８）（９）判断のいずれか一つでもＹＥＳであった場合には、主被写体を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、前記ステップＳ９２５〜Ｓ９２７の処理を実行する。また、（１）〜（９）判断が全てＮＯであった場合には、前述した通常単写撮影を実行する。

つまり、本実施の形態においては、
１）前述のａ）〜ｃ）のように、手ブレが大きくなる撮影条件や撮影シーンなど、第１の所定の条件のときには、１回のレリーズ操作に応じて、高速で複数枚の画像を速写し、複数枚の速写画像の背景領域の画像の特微量を用いて位置合せして、順次速写画像をマルチプレーン加算するブレ軽減撮影処理を行う。
２）一方、前述のｄ）〜ｆ）のように、被写体ブレが大きくなる撮影条件や撮影シーンなど、第２の所定の条件のときには、１回のレリーズ操作に応じて、高速で速写し、複数枚の速写画像の主要被写体領域の画像の特微量を用いて位置合せして、順次速写画像をマルチプレーン加算するブレ軽減撮影処理を行う。
３）その他の条件のときには、１回のレリーズ操作に応じて、速写やマルチプレーン加算は行わずに、１回の露光で１枚の画像を撮影記録する通常の撮影を行うように制御する。あるいは、さらに、撮影条件やシーンに応じて、位置合せ方法だけでなく、位置合せ時に比較する画像の特徴量などを切り替えるように制御することが好ましい。

（テンブレートマッチング処理）
図２６は、テンブレートマッチング処理の手順を示すフローチャートであり、図２７はテンブレート画像の説明図である。前画像ｇ（ｉ，ｊ）から、ｍ×ｎサイズの画像領域ｔ［ｋ，Ｌ］を抽出して、テンブレートメモリに記憶する（ステップＳＢ１）。Ｍ×Ｎサイズの今回のフレーム画像ｆ（ｉ，ｊ）を入力し（ステップＳＢ２）、ｊ←０、Ｒｍａｘ←０（又は、ｄｍｉｎ←∞）とした後（ステップＳＢ３）、ｉ←０とする（ステップＳＢ４）。予めプログラムメモリ１２３に記憶してあるテンブレート画像ｔ［ｋ，Ｌ］を、今回画像ｆ（ｉ，ｊ）の点（ｉ，ｊ）に重ねる（ステップＳＢ５）。

次に、下記例示式を用いて、ｔ［ｋ，Ｌ］とｆ（ｉ，ｊ）の重複部分の類似度Ｒ（ｉ，ｊ）又は、距離ｄ（ｉ，ｊ）を計算する（ステップＳＢ６）。
（例）類似度Ｒ（ｉ，ｊ）＝Σ_ＬΣ_Ｋｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋Ｌ］・ｔ［ｋ，Ｌ］、
距離ｄ（ｉ，ｊ）＝Σ_ＬΣ_Ｋ｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋Ｌ］−ｔ［ｋ，Ｌ］｜
（ただし、上式で、Σ_ＫはΣ_Ｋ＝０ ^{（ｍ−１）}、Σ_ＬはΣ_Ｌ＝０ ^{（Ｎ−１）}を表す。）

引き続き、類似度Ｒ（ｉ，ｊ）＞最大値Ｒｍａｘとを比較（又は、距離ｄ（ｉ，ｊ）とそれまでの最小値ｄｍｉｎとを比較）し（ステップＳＢ７）、類似度Ｒ（ｉ，ｊ）＞最大値Ｒｍａｘであるか否か（又は、距離ｄ（ｉ，ｊ）＜最小値ｄｍｉｎであるか否か）を判断する（ステップＳＢ８）。この判断がＹＥＳである場合には、（ｉ，ｊ）←（ｉ，ｊ）、Ｒｍａｘ←Ｒ（ｉ，ｊ）（又は、ｄｍｉｎ←ｄ（ｉ，ｊ））として、最大（最小）となる位置座標（ｉ，ｊ）と類似度（又は距離）を更新して記憶する（ステップＳＢ９）。

次に、ｉ≧Ｍ−１となったか否かを判断し（ステップＳＢ１０）、なっていない場合には、ｉ←ｉ＋１としてｔ［ｋ，Ｌ］を横移動し（ステップＳＢ１１）、ステップＳＢ５からの処理を繰り返す。また、ｉ≧Ｍ−１となったならば、ｉ≧Ｎ−１となったか否かを判断する（ステップＳＢ１２）。なっていなければ、ｊ←ｊ＋１としてｔ［ｋ，Ｌ］を縦移動し（ステップＳＢ１３）、ステップＳＢ４からの処理を繰り返す。そして、ｉ≧Ｍ−１となってステップＳＢ１２の判断がＹＥＳとなったならば、Ｒｍａｘ（又はｄｍｉｎ）をとる位置座標（ｉ，ｊ）を出力して（ステップＳＢ１４）、リターンする。

（輪郭形状の特徴抽出）

また、前述した位置合せのために、画像の相関や類似度を求める場合に、比較する画像の特徴量として、主要被写体などの輪郭形状を用いる場合には、図２８〜図３０に示すように、対象領域の図形の輪郭特徴データを抽出すればよい。画像の類似や探索は、前述のように、領域内の画像からテンブレート画像と類似する画像の位置を順次探索するテンブレート・マッチング等の手法により、類似する画像や図形の探索ができる。また、輪郭形状の識別は、２値化や線図形化したテンブレート画像やその特微量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。

輪郭形状の特徴データの抽出は、例えば、図２８に示すように、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、一次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、図２９に示すように、輪郭線に沿って順次、位置座標ｘ（ｓ），ｙ（ｓ）、又は、ｚ（ｓ）＝ｘ（ｓ）刊・ｙ（ｓ）を求めて、一次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。さらに、前述の偏角関数や位置座標関数などの一次元関数を離散フーリエ変換などを施し、その周波数成分やフーリエ係数を特徴量データとしてもよい。例えば、図３０に示すように、偏角関数θ（ｓ）を正規化して、正規化偏角関数θ（ｓ）を求め、
式（１３） 正規化偏角関数：θ_Ｎ（ｓ）＝θ（ｓ）−θ（Ｏ）−２πｓ／Ｌ、
このθ_Ｎ（ｓ）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Ｚａｈｎ）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
式（１４） θ_Ｎ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
式（１５） θ_Ｎ（ｓ）の離散フーリエ変換のフーリエ係数（Ｚ型記述子）：

Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］ｅｘｐ（−ｊ２πｋｉ／Ｎ）

また、図３１に示すように、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Ｐｈａｓｅ）形記述子を求め、輪郭形状の識別に利用してもよい。
式（１６） ｗ［ｉ］＝ｅｘｐ（ｊθ［ｉＤ＝ｃｏｓθ［ｉ］＋ｓｉｎθ［ｉ］＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分長δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
式（１７） ｗ［ｉ］の離散フーリエ変換のフーリエ係数（＝Ｐ形記述子）：

Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］ｅｘｐ（−ｊ２πｋｉ／Ｎ）
また、比較する主要被写体や背景の画像特徴量として、輝度パターンや輪郭形状などの特微量の代りに、領域画像の代表色や色分布などの色特徴情報を用いてもよい。

（代表色、色分布の抽出）
図３２は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。対象とする撮影画像を取り込み（ステップＳＣ１）、輝度階調値又は色差信号に基づいて複数の輪郭領域に分割する（ステップＳＣ２）。次に、面積の大きい領域、又は中央のフォーカス枠に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳＣ３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳＣ４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳＣ５）。

そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳＣ６）。
μｒ＝Ｍａｘ｛Ｐｒ（ｉ）｝，
μｇ＝Ｍａｘ｛Ｐｇ（ｉ）｝，
μｂ＝Ｍａｘ｛Ｐｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳＣ７）。
μｒ＝Σｉ・Ｐｒ（ｉ），
μｇ＝Σｉ・Ｐｇ（ｉ），
μｂ＝Σｉ・Ｐｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ２を求める（ステップＳＣ８）。
σｒ２＝Σ（ｉ−μｒ）２・Ｐｒ（ｉ），
σｇ２＝Σ（ｉ−μｇ）２・Ｐｇ（ｉ），
σｂ２＝Σ（ｉ−μｂ）２・Ｐｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値又は平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳＣ９）。

（色分布の抽出）
図３３は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。対象とする撮影画像、又は、領域画像を取り込み（ステップＳＤ１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳＤ２）。次に、各分割ブロック領域の平均色を算出し（ステップＳＤ３）、各分割ブロック領域の平均色をＲＧＢ又はＹＣｂＣｒ空間でＤＦＴ変換又はＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳＤ４）。そして、ＤＦＴ又はＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳＤ５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳＤ６）、このデジタル符号化したＤＦＴ又はＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳＤ７）。

また、人間の肌色領域の抽出など、特定の色の画像領域や輪郭の抽出を行う場合、人間の肌の分光反射率特性、又は、撮影画像サンプル中の肌色領域のＲＧＢ値、もしくはＨＳＶ値（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）などを元に、肌色の領域や人間の肌や顔の領域を抽出できる。例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データをとると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相（Ｈｕｅ）環では、約６°〜３８°の範囲に多く分布することが知られている。これらを利用すれば、ＨＳＶ値から、色相（Ｈｕｅ）が約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。

（高次局所自己相関関数によるテクスチャー特徴抽出）
図３４（ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、同図（ｂ）はその説明図である。図（ａ）に示すように、撮影画像を取り込み（ステップＳＥ１）、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得る（ステップＳＥ２）。次に、設定された特徴に応じて、同図（ｂ）に示すように、（ｎ×ｎ）画素のマスクパターン１〜２５（図（ｂ）のＮｏ．１〜２５）を作成する（ステップＳＥ３）。さらに、下記に示すように、各画像で、各参照点（ｉ，ｊ）にマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める（ステップＳＥ４）。
Ｃ１＝ΣｉΣｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。

また、Ｃ（ａ１，・・・，ａＮ）＝Σｒ［ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］により、上記のＣ１〜Ｃ２５を加算（積和）し（ステップＳＥ５）、Ｃｉ＝Ｃｉ／Σｊ｛Ｃｊ｝（ｉ，ｊ＝１〜２５）により、各特徴量を特徴ベクトル全体の和Σｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化する（ステップＳＥ６）。そして、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、又はその統計量を、テクスチャーの特徴データとして記述し出力する（ステップＳＥ７）。

また、フーリエスペクトルからテクスチャー解析する方法として、離散２次元フーリエ変換（ＤＦＴ）したフーリエスペクトル
Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１ｘｕＷ２ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）を求め、
Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２を算出し、
これを極座標形式のＰ（ｒ，θ）に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、及び、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求め、
ｐ（ｒ）＝２Σθ＝０πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σｆ＝０Ｗ／２Ｐ（ｒ，θ）。
そのヒストグラム分布のピーク、平均、分散など統計量から、例えばＰ（ｒ）のピークよりテクスチャーのきめの大きさ、ｑ（θ）のピークよりテクスチャー画素の方向性など、テクスチャーの特徴量を抽出して、特徴データを記述して、出力するようにしてもよい。

８−４）輝度の共起行列によるテクスチャー解析
また、輝度の共起行列を用いてテクスチャーの特徴を抽出してもよい。画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求め（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）
、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計して、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め、正規化した共起行列ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／ΣｉΣｊ（ｉ，ｊ）から、・角２次モーメント（Angular second moment,全体の均一性を表す）ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝２、
・コントラスト（Contrast,局所変化を表す）ｆ２＝Σ｛ｎ２ｐ（ｉ，ｊ）｝、
・方向に関する相関（Correlation）ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ２）｝／σ２、 ただし、μ＝Σｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
・平方和（Sum of Squares,局所同調性を表すｆ４＝ΣΣ｛（ｉ−μ）２ｐ（ｉ，ｊ）｝、
・逆差分モーメント（Inverse difference Moment,複雑さの測度を表す）ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］、
などを求めて、テクスチャーの特徴データとすることができる。

（位置合わせ＋マルチプレーン加算合成処理）

図３５は、位置合わせ＋マルチプレーン加算合成処理の他の処理手順を示すサブルーチンである。各連写画像を取り込み（ステップＳＦ１）、各連写画像の輝度階調値又は色差信号に基づいて、複数領域に分割する（ステップＳＦ２）。次に、オート撮影モードが設定されているか否かを判断し（ステップＳＦ３）、設定されている場合には、選択された画像領域において、顔画像の認識処理を実行する（ステップＳＦ４）。引き続き、対象画像内に顔の領域が検出されたか否かを判断し（ステップＳＦ５）、検出された場合には、顔を含む領域を主要被写体の領域として選択する（ステップＳＦ６）。しかる後に、主要被写体を位置合わせするマルチプレーン加算を行うべく、ステップＳＦ７及びＳＦ８の処理を実行する。すなわち、主要被写体領域の特徴量を抽出して特徴量データをメモリに記憶し（ステップＳＦ７）、主要被写体の特徴量に基づいて、連写画像の位置合わせ＋マルチプレーン加算処理を実行する（ステップＳＦ８）。

前記ステップＳＦ３の判断がＮＯであって、オート撮影モードが設定されていない場合には、ユーザにより選択された撮影シーンが「人物」、「人物＋風景」、「子ども」など人物を含むシーンであるか否かを判断し（ステップＳＦ９）、ＹＥＳである場合には前記ステップＳＦ４に進む。しかし、ＮＯである場合には、さらに選択されたシーンが「ペット」、「オークション」、「花」であるか否を判断する（ステップＳＦ１０）。この判断がＹＥＳである場合、及び前記ステップＳＦ５の判断がＮＯである場合には、中央又はフォーカス枠の領域を主要被写体の領域として選択する（ステップＳＦ１１）。しかる後に、主要被写体を位置合わせるマルチプレーン加算を行うべく、前記ステップＳＦ７及びＳＦ８の処理を実行する。

また、ステップＳＦ１０の判断がＮＯである場合には、選択された撮影シーンが「風景」、「夜景」「夕日」などの人物を含まないシーンであるか否かを判断する（ステップＳＦ１２）。この判断がＹＥＳである場合には、中央又はフォーカス枠の被写体を除く背景領域を選択する（ステップＳＦ１３）。しかる後に、背景を位置合わせするマルチプレーン加算を行うべく、ステップＳＦ１４及びＳＦ１５の処理を実行する。すなわち、背景領域の特徴量を抽出して特徴量データをメモリに記憶し（ステップＳＦ１４）、背景領域の特徴量に基づいて、連写画像の位置合わせ＋マルチプレーン加算処理を実行する（ステップＳＦ１５）。

つまり、この位置合わせ＋マルチプレーン加算合成処理においては、
１）撮影シーンが「人物」、「人物＋風景」、「子供」、「スポーツ」など、人物が主な被写体と想定されるシーンの場合には、顔画像の認識手段により、人物の顔画像と認識された画像領域を抽出して、抽出された顔画像を含む主要被写体の位置が一致するように位置合せを行ってから、速写画像を順次マルチプレーン加算合成する。
２）領画像が認識されなかった場合、あるいは、撮影シーンが、「ペット」や「オークション」、「花」など、人物を主な被写体として含まないと想定される撮影シーンの場合には、顔画像の認識手段を用いず、輪郭特徴などの特微量により、中央やフォーカス枠の主要被写体の領域を抽出して、抽出された主要被写体の特微量の位置が一致するように位置合せを行ってから速写画像を順次加算合成する。
３）また、「風景」や「夕日」、「夜景」など、前景に明瞭な主要被写体を含まないことも想定される撮影シーンの場合には、各画像から抽出された主要被写体の輪郭の画像領域を除いた、背景領域の色分布やテクスチャーなど、所定の画像特微量の位置が一致するように位置合せを行ってから、速写画像を順次加算合成する。

したがって、選択されたシーンに応じて、顔認識処理と位置合せ方法を切替えて、マルチプレーン画像加算＋位置合せ合成による高感度＆手振れ補正処理（ブレ軽減速写合成モード）を行うように制御する。

したがって、本実施の形態においては、撮影シーン、及び、顔認識結果とに応じて、人物の顔が含まれると想定されるシーンの場合には、自動的に顔認識処理を行うとともに、顔が認識された場合には、顔画像が含まれる被写体を主要被写体の領域として、その位置が一致するように位置合する。また、顔が認識されなかった場合、あるいは、人物が含まれないと想定されるシーンでは、中央やフォーカス枠の被写体を基準に位置合せし、あるいは、主要被写体が含まれない場合も想定されるシーンでは、背景画像が一致するように位置合せする。しかる後に、マルチプレーン加算処理するように、自動的に切り替えるので、シーンの画像特性などに応じて、より最適で精密な位置合せ処理ができ、より画像品位の高い像感撮影や効果的なブレ軽減撮影ができる。

（色相の抽出、肌色の抽出）
図３６は、所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す。図（ａ）は、人間の肌の分光反射率特性の例であり、（ｂ）は、撮影画像サンプル中の肌色領域のＲＧＢ値、及びＨＳＶ値の例（色相：Ｈｕｅを０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎを０〜２５５、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓを０〜２５５として場合）である。また、（ｃ）は、肌色の色相：Ｈｕｅ：０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎ：０〜１分布の例で、肌色の画像データの多くは、色相環で６°〜３８°の範囲に多く分布することが知られている（Skin Colour Analysis(by J.Sherrah and S.Gong)http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPLES/GONGI/cvOnline-skinColourAnalysis.html）。これらを利用すれば、ＨＳＶ値から、色相で約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。

（顔の認識処理）
前記の特徴抽出において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。図３７は、例えば「人物撮影シーン」などにおいて、人物の顔の領域における特徴データを抽出する場合の処理手順を子示すフロー説明図である。すなわち、ステップ（ａ）顔の位置検出では、顔の輪郭画像に様々なグラフを当てはめて、人物の顔部分を検出する。次に、ステップ（ｂ）顔の特徴点の位置検出では、画像の顔部分を切り出し、顔の大きさを正規化して、顔の特徴点の位置を検出する。さらに、ステップ（ｃ）特徴量の検出においては、各特徴点から、ウェーブレット変換等で、周波数成分など個人毎の特徴量を抽出する。

図３８は、（ａ）は顔の眼の領域を抽出するためのマスクパターンの例で、これを参照パターンとして、テンブレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。（ｂ）は、眼を認識するデータの例で、例えば、
眼の細長さ＝ｂ／ａとして、α_１≦ｂ／ａ≦α_２の条件に合致する、又は、
（眼の面積）Ｓ_１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ_２＝π×ｒ^２、黒眼（瞳）の比率Ｓ_２／Ｓ_１＝ｒ^２／ａｂとして、β_１≦ｒ^２／ａｂ≦β_２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、（ｃ）は、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、又は、（右眼の幅）Ｗ_１≒（両眼の間）Ｗ_２≒（左眼の幅）Ｗ_３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。

図３９は、人間の顔の簡易な識別処理手順を示すフローチャートである。先ず、対象となる画像を取り込み（ステップＳＧ１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳＧ２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳＧ３）、分割領域の中からいずれかの対象領域を選択する（ステップＳＧ４）。そして、ＲＧＢ又は色差データに基づいて、選択した領域の平均ＲＧＢ又は平均色差データを算出し（ステップＳＧ５）、この算出したＲＧＢ又は色差値をＨＳＶに変換する（ステップＳＧ６）。

引き続き、この変換したＨＳＶが肌色の領域は否か、つまり、色相（Ｈｕｅ）が６〜３８°か否かを判断し（ステップＳＧ７）、この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。ステップＳＧ７での判断がＹＥＳである場合には、顔のマスクパターンを設定し、前記対象領域において眼と瞳の領域を検索する（ステップＳＧ８）。次に、眼の領域は検出できたか否かを判断し（ステップＳＧ９）、検出できない場合には、顔の領域でないと判断する（ステップＳＧ１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ^２／ａｂ）を算出し（ステップＳＧ１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α_１≦ｂ／ａ≦α_２の条件に合致するか否かを判断する（ステップＳＧ１１）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。

ステップＳＧ１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β_１≦ｒ^２／ａｂ≦β_２の条件に合致するか否かを判断する（ステップＳＧ１２）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。ステップＳＧ１２の判断がＹＥＳである場合には、右眼の幅Ｗ_１、右眼と左眼の間隔Ｗ_２、左眼の幅Ｗ_３を算出し（ステップＳＧ１３）、Ｗ_１とＷ_２、Ｗ_３は等しいか否か、すなわちＷ_１−δ≦Ｗ_２≦Ｗ_１＋δ、Ｗ_１−δ≦Ｗ_３≦Ｗ_１＋δであるか否かを判断する（ステップＳＧ１４）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳＧ７、ＳＧ９、ＳＧ１１、ＳＧ１２、ＳＧ１４の判断が全てＹＥＳである場合には、前記ステップＳＧ４で選択した領域を、顔の領域として認識する（ステップＳＧ１６）。さらに、この認識された顔の領域の位置座標を記憶する（ステップＳＧ１７）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳＧ１８）、最後の領域でない場合には、ステップＳＧ４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳＧ１８の判断がＹＥＳとなり、認識結果、顔と認識された位置座標を出力する（ステップＳＧ１９）。

なお、実施の形態においては、種々判断を行いこれら判断の結果に応じて、主被写体の特徴量を背景領域の特徴量に基づいて、位置合わせ＋マルチプレーン加算処理を行うようにしたが、前記種々判断を行うことなく、連写された画像の主被写体の特徴量を背景領域の特徴量に基づいて、位置合わせ＋マルチプレーン加算処理を行うようにしてもよい。これにより、背景技術で説明した単に連続する複数の画像を撮影し各画像の対応する画素同士を加算する電子式手振れ補正方式よりも、明瞭な手ブレ補正された画像を得ることができる。よって、本発明は、電子式手振れ補正方式により補正される画像の画質を向上させることを目的とすることもできる。

本発明の各実施の形態に共通するデジタルカメラ概略的回路構成を示すブロック図である。 同デジタルカメラの具体的回路構成を示すブロック図である。 第１の実施の形態における動作及び処理手順を示すフローチャートである。 図３に続くフローチャートである。 同実施の形態の表示遷移図である。 撮像素子の構成例を示すブロック図である。 ＣＭＯＳセンサ内の列回路部に設けた画素加算回路の例を示す図である。 同画素加算回路の動作を示すタイミングチャートである。 ＤＳＰ内のマルチプレーン加算回路の構成例を示す図である。 本発明の第２の実施の形態の動作及び処理手順を示すフローチャートである。 本発明の第３の実施の形態の動作及び処理手順を示すフローチャートである。 撮影シーン別プログラムの表示データを示す図である。 本発明の第４の実施の形態の動作及び処理手順を示すフローチャートである。 本発明の第５の実施の形態の動作及び処理手順を示すフローチャートである。 図１４に続くフローチャートである。 本発明の第６の実施の形態の動作及び処理手順を示すフローチャートである。 図１６に続くフローチャートである。 本発明の第７の実施の形態の動作及び処理手順を示すフローチャートである。 図１８に続くフローチャートである。 本発明の第８の実施の形態の動作及び処理手順を示すフローチャートである。 マルチプレーン加算合成における相関計算（位置合わせ方法）の切り替えを示す図である。 マルチプレーン加算合成における位置合わせ処理を示す説明図である。 位置合わせ＋マルチプレーン加算合成処理の処理手順を示すサブルーチンである。 図２３の処理に対応する説明図である。 本発明の第９の実施の形態の動作及び処理手順を示すフローチャートである。 テンプレートマッチング処理の手順を示すフローチャートである。 テンプレート画像を示す説明図である。 輪郭図形を偏角関数に変換する処理を示す説明図である。 輪郭図形を位置座標関数に変換する処理を示す説明図である。 正規化偏角関数とＺ型フーリエ記述子を示す説明図である。 折れ線近似の偏角関数の指数表現とＰ型フーリエ記述子を示す説明図である。 選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。 色の分布の特徴抽出処理手順を示すフローチャートである。 （ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、（ｂ）はその説明図である。 位置合わせ＋マルチプレーン加算合成処理の他の処理手順を示すサブルーチンである。 （ａ）は、人間の肌の分光反射率特性の例を示す図、（ｂ）は、撮影画像サンプル中の肌色領域のＲＧＢ値等を示す図、（ｃ）は、肌色の色相の分布の例を示す図である。 人物の顔の領域における特徴データを抽出する場合の処理手順を子示すフロー説明図である。 （ａ）は、顔の眼の領域を抽出するためのマスクパターンの例、（ｂ）は、眼を認識するデータの例、（ｃ）は、人間の顔と認識するための条件データの設定例を示す図である。 人間の顔の簡易な識別処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
１０２ 制御回路
１０３ ＣＰＵ
１０７ 入力回路
１１１ 入出力回路
１２３ プログラムメモリ
１２４ データメモリ
１２５ 画像メモリ媒体
１２６ ＵＳＢ端子
１３２ 焦点レンズ駆動部
１３３ ズームレンズ駆動部
１３４ ブレ補正駆動部
１３６ シャッタ駆動部
１３７ ストロボ
１３８ ストロボ駆動回路
１３９ 測光／測距センサ
１４７ ＨＤＤ記憶装置
１４８ ディスク媒体
１５６ 撮像光学系
１５７ 撮像素子
１６０ イメージセンサ部
１６１ 水平走査部
１６２ 垂直走査部
１６３ Ｐ／Ｓ変換部
１６４ ＤＳＰ部
１６５ Ｓ／Ｐ変換部
１６７ マルチプレーン加算部
１６８ カラー補間部
１６９ 階調変換部
１７０ ガンマ補正部
１８０ 表示駆動回路
１８１ 表示部
２０２ 垂直走査回路
２０７ Ａ／Ｄ変換回路

Claims (4)

1. 撮像手段と、
   この撮像手段を設定された露出時間で単一回露出させて取得した画像データを出力する第１の撮像処理手段と、
   前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して露出させて取得された画像データを順次出力する第２の撮像処理手段と、
   この第２の撮像処理手段によって順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理手段と、
   当該装置のブレ量を検出する検出手段と、
   前記撮像手段を設定された露出時間で単一回露出させて取得した画像データを、前記検出手段によって検出されたブレ量に応じた光学的なブレ補正処理を施して出力する第３の撮像処理手段と、
   撮影指示を検出する撮影指示検出手段と、
   この撮影指示検出手段によって撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断手段と、
   この判断手段により像ブレを起こしやすいと判断すると、前記第２の撮像処理手段による処理を行うよう制御する第１の制御手段と、
   前記判断手段により手ブレを起こしやすいと判断すると、前記第３の撮像処理手段による処理を行うよう制御する第２の制御手段と、
   前記判断手段による手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理手段による処理を行うよう制御する第３の制御手段と、
   を備えることを特徴とする電子カメラ。
2. 前記判断手段が手ブレや像ブレを起こしやすいか否かを判断する条件には、
   （ａ）前記撮影指示検出手段によって撮影指示が検出されると、その時に取得したレンズの焦点距離が所定値よりも大きいか否か、
   （ｂ）撮影条件としてマクロモード又は近接撮影モードが設定されているか否か、
   （ｃ）当該カメラのブレ量を検出する検出手段により検出されたブレ量が所定ブレ量よりも大きいか否か、
   の少なくとも一つが含まれることを特徴とする請求項１記載の電子カメラ。
3. ブレ検出部と光学的にブレを補正するブレ補正駆動部とを備えた電子カメラが有するコンピュータを、
   撮像部に対し設定された露出時間で単一回露出させ、取得した画像データを出力させる第１の撮像処理手段、
   前記撮像部に対し前記設定された露出時間よりも短い露出時間で連続して露出させ、取得した画像データを順次出力させる第２の撮像処理手段、
   この第２の撮像処理手段によって順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理手段、
   前記撮像手段を設定された露出時間で単一回露出させて取得した画像データを、前記ブレ検出部にて検出されたブレ量に応じ前記ブレ補正駆動部にて光学的なブレ補正処理を施して出力する第３の撮像処理手段、
   撮影指示を検出する撮影指示検出手段、
   この撮影指示検出手段によって撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断手段、
   この判断手段により像ブレを起こしやすいと判断すると、前記第２の撮像処理手段による処理を行うよう制御する第１の制御手段、
   前記判断手段により手ブレを起こしやすいと判断すると、前記第３の撮像処理手段による処理を行うよう制御する第２の制御手段、
   前記判断手段による手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理手段による処理を行うよう制御する第３の制御手段、
   として機能させることを特徴とするプログラム。
4. 撮像部に対し設定された露出時間で単一回露出させ、取得した画像データを出力させる第１の撮像処理ステップと、
   前記撮像部に対し前記設定された露出時間よりも短い露出時間で連続して露出させ、取得した画像データを順次出力させる第２の撮像処理ステップと、
   この第２の撮像処理ステップにて順次出力された画像データにおける各画像の位置を合致させ、前記順次出力された画像データを加算する加算処理ステップと、
   前記撮像部に対しを設定された露出時間で単一回露出させて取得した画像データを、ブレ検出部にて検出されたブレ量に応じブレ補正駆動部にて光学的なブレ補正処理を施して出力する第３の撮像処理ステップと、
   撮影指示を検出する撮影指示検出ステップと、
   この撮影指示検出ステップにて撮影指示が検出されると、その時に設定された露出条件、当該装置によって撮像されている画像のブレ量、像ブレ量の少なくとも一つから、手ブレや像ブレを起こしやすいか否かを判断する判断ステップと、
   この判断ステップにて像ブレを起こしやすいと判断すると、前記第２の撮像処理ステップによる処理を行うよう制御する第１の制御ステップと、
   前記判断ステップにて手ブレを起こしやすいと判断すると、前記第３の撮像処理ステップによる処理を行うよう制御する第２の制御ステップと、
   前記判断ステップにて手ブレや像ブレを起こしやすいか否かの判断で否と判断すると、前記第１の撮像処理ステップによる処理を行うよう制御する第３の制御ステップと、
   を含むことを特徴とする撮像制御方法。

Images