JP6500617B2 - 撮影装置及び撮影方法 - Google Patents

Description

本発明は、撮影装置及び撮影方法に関する。

近年、通常の１ショット画像よりも高精細（高画質、高精度）な画像を得るために、時系列に撮像した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が知られている。例えば、出願人は、撮像素子に対する光軸を水平および垂直方向に小数画素単位（例えば１画素ピッチ単位）でずらして取り込んだ複数の画像信号を合成して合成画像を得る「超解像撮影（ＲＲＳ撮影）」の開発を進めている。

マルチショット合成は、その性質上、複数の画像を時系列に撮像する際の撮像条件に殆ど変化がない（被写体が動かない、カメラに振動が加わらない、障害物が発生しない、照度変化がない等）ことを前提としている。

しかし、マルチショット合成の前提に反して、複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じる（被写体が大きく動く、カメラに大きな振動が加わる、障害物が発生する、大きな照度変化がある等）ことがある。この場合、変化が生じた箇所において、その後の合成処理の結果、通常の撮影では起こり得ない特異なパターンが発生し、通常の１ショット画像よりも品質が劣化してしまう。

そこで、マルチショット合成では、複数の画像のいずれかの画像を基準画像に設定し、合成画像の品質劣化部分を基準画像の対応部分で置換する置換処理が施されることがある。置換処理を施した領域は、マルチショット合成の所望の効果（高い解像感）を得ることは出来ないが、合成画像の品質劣化部分をそのまま残すよりは好ましい。

特許第３１９３２５８号公報

ところが、ユーザ（撮影者）の側からすれば、置換処理を施す前の合成画像の品質を定量的に把握することができず、単に、置換処理後の合成置換画像が供給されるだけである。また、合成画像が記録されるのみでなく、ユーザ（撮影者）の意図した画像が得られるように利便性に富んだものが望まれている。

本発明は、以上の問題意識に基づいてなされたものであり、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法を得ることを目的とする。

本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定部と、を有することを特徴としている。
本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定部と、を有することを特徴としている。
本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定部と、ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定部と、を有し、前記第１の閾値設定部による閾値の設定と前記第２の閾値設定部による閾値の設定が重複したときには、前記第２の閾値設定部による閾値の設定が優先される、ことを特徴としている。
前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、前記品質評価パラメータ算出部は、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出することができる。
本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、を有し、前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、前記品質評価パラメータ算出部は、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する、ことを特徴としている。

前記品質評価パラメータ算出部は、前記合成画像に占める置換領域の面積の割合を前記品質評価パラメータとして算出することができる。

本発明の撮影装置は、前記合成画像が無効であると前記品質判定部が判定したときに警告を発する警告部をさらに有することができる。

前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させ、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。

本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像の中から基準画像を決定する基準画像決定ステップと、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定ステップと、を有することを特徴としている。
本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像の中から基準画像を決定する基準画像決定ステップと、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定ステップと、を有することを特徴としている。
本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像の中から基準画像を決定する基準画像決定ステップと、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定ステップと、ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定ステップと、を有し、前記第１の閾値設定ステップによる閾値の設定と前記第２の閾値設定ステップによる閾値の設定が重複したときには、前記第２の閾値設定ステップによる閾値の設定が優先される、ことを特徴としている。
前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、前記品質評価パラメータ算出ステップでは、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出することができる。
本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像の中から基準画像を決定する基準画像決定ステップと、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、を有し、前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、前記品質評価パラメータ算出ステップでは、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する、ことを特徴としている。

本発明によれば、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法が得られる。

本実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。 像振れ補正装置の要部構成を示すブロック図である。 像振れ補正装置の構成を示す側面図である。 図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。 ＤＳＰ（制御装置）の内部構成を示す機能ブロック図である。 置換領域算出部が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。 本実施形態のデジタルカメラによる撮影処理を示すフローチャートである。 図８（Ａ）、（Ｂ）は品質評価パラメータ算出部が品質評価パラメータを算出するための別の実施形態を示す図であり、図８（Ａ）は重み付けマップの一例を示す図であり、図８（Ｂ）は図８（Ａ）の重み付けマップに図６の置換領域（非置換領域）を重ねて見た図である。 図９（Ａ）、（Ｂ）は品質評価パラメータ算出部が品質評価パラメータを算出するためのさらに別の実施形態を示す図であり、図９（Ａ）は重み付けマップの他の例を示す図であり、図９（Ｂ）は図９（Ａ）の重み付けマップに図６の置換領域（非置換領域）を重ねて見た図である。

図１〜図７を参照して、本実施形態のデジタルカメラ（撮影装置）１０について説明する。

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（画像取得部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（時系列に撮像した複数の画像データ）としてＤＳＰ（制御装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ（表示部）２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。

図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。

本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード（マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（制御装置）４０に入力される。

図１に示すように、ボディ本体２０は、ＤＳＰ４０に接続させて、「ＲＲＳ撮影」を行うか否か、更にはその詳細を設定するためのＲＲＳ撮影モード設定部２８を備えている。

図５は、ＤＳＰ（制御装置）４０の内部構成を示す機能ブロック図である。このＤＳＰ４０は、イメージセンサ２２が「ＲＲＳ撮影モード（マルチショット合成モード）」で時系列に撮像した４枚の画像（ＲＡＷ画像）に対して各種の処理を施すものである。

ＤＳＰ４０は、画像入力部４０Ａと、画像合成部４０Ｂと、基準画像決定部４０Ｃと、置換領域算出部４０Ｄと、画像置換部４０Ｅと、品質評価パラメータ算出部４０Ｆと、品質判定部４０Ｇと、第１の閾値設定部４０Ｈと、第２の閾値設定部４０Ｉと、警告部４０Ｊとを有している。

画像入力部４０Ａは、イメージセンサ２２が時系列に撮像（取得）した４枚の画像が入力するものである。

画像合成部４０Ｂは、画像入力部４０Ａに入力した４枚の画像を合成して合成画像を生成するものである。

基準画像決定部４０Ｃは、画像入力部４０Ａに入力した４枚の画像の中から１枚を選択してこれを基準画像に決定する。例えば、基準画像決定部４０Ｃは、イメージセンサ２２が最初（１枚目）または最後（４枚目）に撮影した画像を基準画像に決定する。

置換領域算出部４０Ｄは、画像合成部４０Ｂによる合成画像の少なくとも一部を基準画像決定部４０Ｃが決定した基準画像で置換するための置換領域を算出する。置換領域算出部４０Ｄは、画像合成部４０Ｂによる合成画像の品質が所定の水準を満足しているか否か、すなわち手振れや被写体の動き、蛍光灯のちらつき（フリッカー）の悪影響を受けているか否か等に基づいて、置換領域を算出する。

より具体的に、置換領域算出部４０Ｄは、基準画像と他の合成前フレーム画像とを画素ごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、各合成前フレーム画像をブロック化し、基準画像と他の合成前フレーム画像とをブロックごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、輝度データや色差データにより差分情報を得て、この差分情報に基づいて、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、高周波成分の検出を行ってその高周波成分が閾値を超えているか否かを判定することにより、置換領域を算出する。このように、置換領域算出部４０Ｄが置換領域を算出する態様には自由度があり、種々の設計変更が可能である。

図６は、置換領域算出部４０Ｄが算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。合成画像の基準画像置換領域は、合成画像の品質が所定の水準を満足しないために基準画像での置換が指定される領域であり、非置換領域は、合成画像の該当部分をそのまま適用（使用）する領域である。

画像置換部４０Ｅは、置換領域算出部４０Ｄが算出した置換領域（図６）に従って、画像合成部４０Ｂによる合成画像の少なくとも一部を基準画像決定部４０Ｃが決定した基準画像で置き換える置換処理を施すことにより、合成置換画像を生成することが可能である。

画像置換部４０Ｅは、置換領域算出部４０Ｄが算出した置換領域がゼロでなければ当該置換領域に従った置換処理を実行し、置換領域算出部４０Ｄが算出した置換領域がゼロであれば置換処理を実行しない。

品質評価パラメータ算出部４０Ｆは、置換領域算出部４０Ｄが算出した置換領域に基づいて、画像合成部４０Ｂによる合成画像の品質を示す品質評価パラメータを算出する。ここでいう「合成画像」は、実際に画像合成された合成画像のことではなく、これから画像合成する予定の合成画像のことを意味する。

本実施形態では、品質評価パラメータ算出部４０Ｆは、画像合成部４０Ｂによる合成画像に占める置換領域の面積の割合を品質評価パラメータとして算出する。図６の例では、品質評価パラメータ算出部４０Ｆが算出する品質評価パラメータは、以下の式（１）によって算出される。この場合、品質評価パラメータの値が小さくなるに連れて合成画像の品質が高くなり、逆に、品質評価パラメータの値が大きくなるに連れて合成画像の品質が低くなる。
（１）品質評価パラメータ＝基準画像置換領域の面積／合成画像の面積（基準画像置換領域の面積＋非置換領域の面積）

品質評価パラメータ算出部４０Ｆが算出した品質評価パラメータは、ＲＲＳ撮影（マルチショット合成）の途中で、例えば、以下のメッセージ１〜メッセージ３のいずれかをＬＣＤ（表示部）２４に表示し、且つ／又は、図示しないスピーカーから音声発信することにより、ユーザ（撮影者）に報知される。
メッセージ１：置換領域の割合が○○％と小さくなっており良好です。
メッセージ２：置換領域の割合が△△％であり確認が必要です。
メッセージ３：置換領域の割合が□□％と大きくなっており要注意です。

品質判定部４０Ｇは、品質評価パラメータ算出部４０Ｆが算出した品質評価パラメータが所定の閾値を超えているか否かを以って、画像合成部４０Ｂによる合成画像の有効または無効を判定する。すなわち、品質判定部４０Ｇは、品質評価パラメータが所定の閾値を超えているときは、合成画像が無効であると判定し、品質評価パラメータが所定の閾値を超えていないときは、合成画像が有効であると判定する。

品質判定部４０Ｇは、合成画像が有効であると判定したときは、画像合成部４０Ｂによる画像合成処理と画像置換部４０Ｅによる画像置換処理を許容してこれらを実行させ、合成画像が無効であると判定したときは、警告部４０Ｊによる警告処理（後述する）を実行させる。

品質判定部４０Ｇによる合成画像の有効または無効の判定結果は、ＲＲＳ撮影（マルチショット合成）の途中で、例えば、以下のメッセージ４〜メッセージ５のいずれかをＬＣＤ（表示部）２４に表示し、且つ／又は、図示しないスピーカーから音声発信することにより、ユーザ（撮影者）に報知される。
メッセージ４：置換領域の割合が閾値を超えたため合成画像を無効とします。
メッセージ５：置換領域の割合が閾値を超えていないため合成画像を有効とします。

メッセージ１〜メッセージ３のいずれか（品質評価パラメータ算出部４０Ｆが算出した品質評価パラメータ）及びメッセージ４〜メッセージ５のいずれか（品質判定部４０Ｇによる合成画像の有効または無効の判定結果）は、これらを併せて報知することが好ましい。

第１の閾値設定部４０Ｈは、被写体のシーン種別、すなわちデジタルカメラ１０の撮影モードに応じて、合成画像の有効または無効を判定するための所定の閾値を自動設定する。例えば、第１の閾値設定部４０Ｈは、被写体シーンが人物である場合（人物撮影モードである場合）には、所定の閾値を比較的高めに自動設定し、被写体シーンが風景である場合（風景撮影モードである場合）には、所定の閾値を比較的低めに自動設定する。

第２の閾値設定部４０Ｉは、ユーザ（撮影者）の入力操作に応じて、合成画像の有効または無効を判定するための所定の閾値をマニュアル設定する。これはユーザ（撮影者）の多種多様な撮影趣向に柔軟に対応するための機能である。

ここで第１の閾値設定部４０Ｈによる閾値の設定と第２の閾値設定部４０Ｉによる閾値の設定が重複（衝突）することがあり得る。この場合、ＤＳＰ４０は、ユーザ（撮影者）の個別の撮影趣向を重要視して、第２の閾値設定部４０Ｉによる閾値の設定を優先することが好ましい。

このように、合成画像の有効または無効を判定するための所定の閾値を被写体のシーン種別やユーザ（撮影者）の意思により調整することで、本実施形態のＲＲＳ撮影（マルチショット合成）の機能を十分に発揮することができる。すなわち、算出された品質評価パラメータの値が同じでも、撮影条件によって、合成画像上の基準画像置換領域が多くてもよい場合には画像合成処理を許容し、合成画像上の基準画像置換領域を少なくしたい場合には画像合成処理を抑制するといった柔軟な対応が可能になり、ＲＲＳ撮影（マルチショット合成）の機能の有効利用を図ることができる。

警告部４０Ｊは、合成画像が無効であると品質判定部４０Ｇが判定したときに、その旨を、ＬＣＤ（表示部）２４に表示し、且つ／又は、図示しないスピーカーから音声発信することにより、ユーザ（撮影者）に警告する（例えば上述したメッセージ４）。

警告部４０Ｊからの警告を受けたユーザ（撮影者）は、無効と判定されるような低品質な画像であることを把握した上で、図示しないユーザーインターフェースを介して、画像合成部４０Ｂによる画像合成処理と画像置換部４０Ｅによる画像置換処理の続行、あるいは、当該画像の破棄を決定することができる。

図７のフローチャートを参照して、本実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。このＲＲＳ撮影処理は、ＤＳＰ（制御装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。

ステップＳ１では、イメージセンサ（画像取得部）２２によって４枚の画像を時系列に撮像（取得）する。

ステップＳ２では、基準画像決定部４０Ｃが、イメージセンサ２２が撮像（取得）した４枚の画像の中から１枚を選択してこれを基準画像に決定する。

ステップＳ３では、置換領域算出部４０Ｄが、画像合成部４０Ｂによる合成画像の少なくとも一部を基準画像決定部４０Ｃが決定した基準画像で置換するための置換領域を算出する。

ステップＳ４では、品質評価パラメータ算出部４０Ｆが、置換領域算出部４０Ｄが算出した置換領域に基づいて、画像合成部４０Ｂによる合成画像の品質を示す品質評価パラメータを算出する。本実施形態では、品質評価パラメータ算出部４０Ｆは、画像合成部４０Ｂによる合成画像に占める置換領域の面積の割合を品質評価パラメータとして算出する。算出された品質評価パラメータは、ＬＣＤ（表示部）２４に表示され、且つ／又は、図示しないスピーカーから音声発信されることにより、ユーザ（撮影者）に報知される。

ステップＳ５では、ＤＳＰ４０が、第１の閾値設定部４０Ｈまたは第２の閾値設定部４０Ｉによる閾値の設定（指定）が行われているか否かをチェックする。

第１の閾値設定部４０Ｈまたは第２の閾値設定部４０Ｉによる閾値の設定（指定）が行われているときには（ステップＳ５：ＹＥＳ）、ステップＳ６において、当該閾値の設定（指定）が有効化される。

第１の閾値設定部４０Ｈまたは第２の閾値設定部４０Ｉによる閾値の設定（指定）が行われていないときには（ステップＳ５：ＮＯ）、ステップＳ７において、デフォルトの標準閾値が設定（指定）される。

ステップＳ８では、品質判定部４０Ｇが、品質評価パラメータ算出部４０Ｆが算出した品質評価パラメータが所定の閾値を超えているか否かを以って、画像合成部４０Ｂによる合成画像の有効または無効を判定する。

画像合成部４０Ｂによる合成画像が有効である（品質評価パラメータが所定の閾値を超えていない）と品質判定部４０Ｇが判定したときには（ステップＳ８：ＹＥＳ）、ステップＳ９〜ステップＳ１１の処理を行う。ステップＳ９では、画像合成部４０Ｂが、イメージセンサ２２が撮像（取得）した４枚の画像を合成して合成画像を生成する。ステップＳ１０では、画像置換部４０Ｅが、置換領域算出部４０Ｄが算出した置換領域に従って、画像合成部４０Ｂによる合成画像の少なくとも一部を基準画像決定部４０Ｃが決定した基準画像で置き換える置換処理を施すことにより、合成置換画像を生成する。ステップＳ１１では、画像置換部４０Ｅが生成した合成置換画像を画像メモリ２５に保存する。

画像合成部４０Ｂによる合成画像が無効である（品質評価パラメータが所定の閾値を超えている）と品質判定部４０Ｇが判定したときには（ステップＳ８：ＮＯ）、ステップＳ１２において、警告部４０Ｊが、その旨を、ＬＣＤ（表示部）２４に表示し、且つ／又は、図示しないスピーカーから音声発信することにより、ユーザ（撮影者）に警告する。

このように本実施形態によれば、品質評価パラメータ算出部４０Ｆが、置換領域算出部４０Ｄが算出した置換領域に基づいて、画像合成部４０Ｂによる合成画像の品質を示す品質評価パラメータを算出する。これにより、ユーザ（撮影者）は、画像合成部４０Ｂによる合成画像の品質を定量的に把握することができるので、利便性に富んでいる。

図８（Ａ）、（Ｂ）及び図９（Ａ）、（Ｂ）は、品質評価パラメータ算出部４０Ｆが品質評価パラメータを算出するための別実施形態を示している。この別実施形態では、置換領域が、合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでいる。そして、品質評価パラメータ算出部４０Ｆが、この重み付けマップに占める置換領域の位置に応じて、品質評価パラメータを算出する。

図８（Ａ）、（Ｂ）では、重み付けマップにおいて、画面中央の円形部分に相対的に重み付けが高く設定されており、その周辺の他の部分に相対的に重み付けが低く設定されている。そして、重み付けが高い画面中央の円形部分と置換領域が重複する部分（模様を付した部分）が品質評価パラメータ（さらには合成画像が有効か無効かを示すエラー判定）に影響を及ぼし易くなる。

図９（Ａ）、（Ｂ）では、重み付けマップにおいて、画面下半分に相対的に重み付けが高く設定されており、画面上半分に相対的に重み付けが低く設定されている。そして、重み付けが高い画面下半分と置換領域が重複する部分（模様を付した部分）が品質評価パラメータ（さらには合成画像が有効か無効かを示すエラー判定）に影響を及ぼし易くなる。

以上の実施形態で説明した品質評価パラメータの使用方法、すなわち品質評価パラメータに応じてその後にどのような制御を実行するかについては、上述した撮影モード（例えば、人物撮影モードや風景撮影モード等）に応じて設定されるなど自由度があり、種々の設計変更が可能である。例えば、合成画像に占める置換領域の面積の割合が所定の閾値（パーセンテージ）を超えたときに、警告表示を行うことなく、自動的（強制的）に、画像置換部による置換処理を行う（あるいは行わない）といった制御を実行することが可能である。

以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像を「複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。

以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。

１０ デジタルカメラ（撮影装置）
２０ ボディ本体
２１ シャッタ（撮影光学系）
２２ イメージセンサ（画像取得部、移動部材、振れ補正部材）
Ｒ Ｇ（Ｇｒ、Ｇｂ） Ｂ カラーフィルタ
２３ 絞り／シャッタ駆動回路
２４ ＬＣＤ（表示部）
２５ 画像メモリ
２６ 撮影操作スイッチ
２７ ジャイロセンサ（振れ検出部）
２８ ＲＲＳ撮影モード設定部
３０ 撮影レンズ
３１ 撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２ 絞り（撮影光学系）
３３ 通信用メモリ
４０ ＤＳＰ（制御装置）
４０Ａ 画像入力部
４０Ｂ 画像合成部
４０Ｃ 基準画像決定部
４０Ｄ 置換領域算出部
４０Ｅ 画像置換部
４０Ｆ 品質評価パラメータ算出部
４０Ｇ 品質判定部
４０Ｈ 第１の閾値設定部
４０Ｉ 第２の閾値設定部
４０Ｊ 警告部
５０ 像振れ補正装置
５１ 固定支持基板
５２ 可動ステージ
Ｍ１ Ｍ２ Ｍ３ 磁石
Ｙ１ Ｙ２ Ｙ３ ヨーク
Ｃ１ Ｃ２ Ｃ３ 駆動用コイル
Ｈ１ Ｈ２ Ｈ３ ホールセンサ（位置検出部）
６０ イメージセンサ駆動回路

Claims (13)

1. 複数の画像を取得する画像取得部と、
   前記複数の画像の中から基準画像を決定する基準画像決定部と、
   前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
   前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、
   前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、
   被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定部と、
   を有することを特徴とする撮影装置。
2. 複数の画像を取得する画像取得部と、
   前記複数の画像の中から基準画像を決定する基準画像決定部と、
   前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
   前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、
   前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、
   ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定部と、
   を有することを特徴とする撮影装置。
3. 複数の画像を取得する画像取得部と、
   前記複数の画像の中から基準画像を決定する基準画像決定部と、
   前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
   前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、
   前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、
   被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定部と、
   ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定部と、
   を有し、
   前記第１の閾値設定部による閾値の設定と前記第２の閾値設定部による閾値の設定が重複したときには、前記第２の閾値設定部による閾値の設定が優先される、
   ことを特徴とする撮影装置。
4. 請求項１ないし３のいずれか１項記載の撮影装置において、
   前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、
   前記品質評価パラメータ算出部は、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する撮影装置。
5. 複数の画像を取得する画像取得部と、
   前記複数の画像の中から基準画像を決定する基準画像決定部と、
   前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
   前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出部と、
   前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定部と、
   を有し、
   前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、
   前記品質評価パラメータ算出部は、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する、
   ことを特徴とする撮影装置。
6. 請求項１ないし５のいずれか１項記載の撮影装置において、
   前記品質評価パラメータ算出部は、前記合成画像に占める置換領域の面積の割合を前記品質評価パラメータとして算出する撮影装置。
7. 請求項１ないし６のいずれか１項記載の撮影装置において、
   前記合成画像が無効であると前記品質判定部が判定したときに警告を発する警告部をさらに有する撮影装置。
8. 請求項１ないし７のいずれか１項記載の撮影装置において、
   前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させ、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものである撮影装置。
9. 複数の画像を取得する画像取得ステップと、
   前記複数の画像の中から基準画像を決定する基準画像決定ステップと、
   前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、
   前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、
   前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、
   被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定ステップと、
   を有することを特徴とする撮影方法。
10. 複数の画像を取得する画像取得ステップと、
    前記複数の画像の中から基準画像を決定する基準画像決定ステップと、
    前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、
    前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、
    前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、
    ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定ステップと、
    を有することを特徴とする撮影方法。
11. 複数の画像を取得する画像取得ステップと、
    前記複数の画像の中から基準画像を決定する基準画像決定ステップと、
    前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、
    前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、
    前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、
    被写体のシーン種別に応じて前記所定の閾値を設定する第１の閾値設定ステップと、
    ユーザの入力操作に応じて前記所定の閾値を設定する第２の閾値設定ステップと、
    を有し、
    前記第１の閾値設定ステップによる閾値の設定と前記第２の閾値設定ステップによる閾値の設定が重複したときには、前記第２の閾値設定ステップによる閾値の設定が優先される、
    ことを特徴とする撮影方法。
12. 請求項９ないし１１のいずれか１項記載の撮影方法において、
    前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、
    前記品質評価パラメータ算出ステップでは、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する撮影方法。
13. 複数の画像を取得する画像取得ステップと、
    前記複数の画像の中から基準画像を決定する基準画像決定ステップと、
    前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、
    前記置換領域に基づいて、前記合成画像の品質を示す品質評価パラメータを算出する品質評価パラメータ算出ステップと、
    前記品質評価パラメータが所定の閾値を超えているか否かを以って前記合成画像の有効または無効を判定する品質判定ステップと、
    を有し、
    前記置換領域は、前記合成画像に占める置換領域の位置に応じた重み付けを施すための重み付けマップを含んでおり、
    前記品質評価パラメータ算出ステップでは、前記重み付けマップに占める置換領域の位置に応じて前記品質評価パラメータを算出する、
    ことを特徴とする撮影方法。

Images