JP6492960B2 - 撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラム - Google Patents

Description

本発明は、撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラムに関する。

近年、通常の１ショット画像よりも高精細（高画質、高精度）な画像を得るために、時系列に撮像した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が知られている。

例えば、特許文献１は、マルチショット合成として、画素ずらし方式と画面分割方式という２つの方式を開示している。画素ずらし方式は、撮像素子に対する光軸を水平および垂直方向に小数画素単位（例えば１／２画素ピッチ単位）でずらして取り込むことによって入力した複数の画像信号を得てこれらの画像信号を合成するものである。画面分割方式は、画像を縦横それぞれの方向に複数に分割して取り込むことによって得られた複数の画像信号を分割の境界をあわせて一画面に合成するものである。

特許第３１９３２５８号公報

マルチショット合成は、その性質上、複数の画像を時系列に撮像する際の撮像条件に殆ど変化がない（被写体が動かない、カメラに振動が加わらない、障害物が発生しない、照度変化がない等）ことを前提としている。

しかしながら、マルチショット合成の前提に反して、複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じる（被写体が大きく動く、カメラに大きな振動が加わる、障害物が発生する、大きな照度変化がある等）ことがある。この場合、変化が生じた箇所において、その後の合成処理の結果、通常の撮影では起こり得ない特異なパターンが発生し、通常の１ショット画像よりも著しく品質が劣化してしまう。

図１４はマルチショット合成の失敗例を示している。同図では、４枚の画像を時系列に撮像する際に、画面中の右側から左側に向かって鳥が横切っている。例えば、画素ずらし方式では、画素位置をずらしたショットの情報をピクセル単位で内挿するため、鳥が横切った軌跡上の４つの部分に網目状のパターンが発生している。

本発明は、以上の問題意識に基づいてなされたものであり、時系列に撮像した複数の画像を合成して合成画像を得るマルチショット合成を好適に実行することができる撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラムを得ることを目的とする。

本発明の撮影装置は、複数の画像を時系列に撮像する撮像部と、前記複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定部と、前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成部と、前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成部と、前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成部と、前記複数の画像を合成して合成画像を得る画像合成部と、前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換部と、を有することを特徴としている。

前記基準マップが１つであるのに対して前記比較マップが複数であり、前記変化検出マップ生成部は、前記１つの基準マップと前記複数の比較マップを比較演算することにより、複数の変化検出マップを生成し、前記複数の変化検出マップを論理和合成する第１の論理和合成部をさらに有することができる。

前記変化検出マップ生成部は、比較演算の条件を変更し、前記基準マップと前記比較マップを比較演算して、複数の変化検出マップを生成し、前記複数の変化検出マップを論理和合成する第２の論理和合成部をさらに有することができる。

本発明の撮影装置は、前記変化検出マップからノイズを除去するノイズ除去部をさらに有することができる。

本発明の撮影装置は、前記変化検出マップの互いに異なる値のブロックの境界部にぼかし処理を施すぼかし処理部をさらに有することができる。

前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。

本発明の撮影方法は、複数の画像を時系列に撮像する撮像ステップと、前記複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、前記複数の画像を合成して合成画像を得る画像合成ステップと、前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、を有することを特徴としている。

本発明の画像処理装置は、時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定部と、前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成部と、前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成部と、前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成部と、前記複数の画像を合成して合成画像を得る画像合成部と、前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換部と、を有することを特徴としている。

本発明の画像処理方法は、時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、前記複数の画像を合成して合成画像を得る画像合成ステップと、前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、を有することを特徴としている。

本発明のプログラムは、時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、前記複数の画像を合成して合成画像を得る画像合成ステップと、前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、をコンピュータに実行させることを特徴としている。

本発明によれば、時系列に撮像した複数の画像を合成して合成画像を得るマルチショット合成を好適に実行することができる撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラムが得られる。

本実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。 像振れ補正装置の要部構成を示すブロック図である。 像振れ補正装置の構成を示す側面図である。 図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。 ＤＳＰ（画像処理装置）の内部構成を示す機能ブロック図である。 基準画像をブロック分割して基準マップを生成する様子及び比較画像をブロック分割して比較マップを生成する様子を示す図である。 基準マップと複数の比較マップを比較演算することにより複数の変化検出マップを生成してこれらを論理和合成する様子を示す図である。 ノイズ除去部によるノイズ除去処理を示す図である。 第２の論理和合成部による複数ループの変化検出マップの論理和合成処理を示す図である。 ぼかし処理部によるぼかし処理を示す図である。 画像置換部による合成画像置換処理を示す図である。 本実施形態のデジタルカメラによるＲＲＳ撮影処理を示す第１のフローチャートである。 本実施形態のデジタルカメラによるＲＲＳ撮影処理を示す第２のフローチャートである。 マルチショット合成の失敗例を示す図である。

図１〜図１３を参照して、本実施形態のデジタルカメラ（撮影装置）１０について説明する。

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（撮像部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（時系列に撮像した複数の画像データ）としてＤＳＰ（画像処理装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。

図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。

本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード（マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（画像処理装置）４０に入力される。

図１に示すように、ボディ本体２０は、ＤＳＰ４０に接続させて、「ＲＲＳ撮影モード」を行うか否か、更にはその詳細を設定するためのＲＲＳ撮影モード設定部２８を備えている。

ここで、本実施形態のＤＳＰ（画像処理装置）４０は、「ＲＲＳ撮影モード（マルチショット合成モード）」において複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じた場合であっても、その変化の悪影響を極限まで（可及的に）低減した高品質な画像を得ることが出来るような特殊制御を実行する。以下、図１４の失敗例と同一の被写体（画面中の右側から左側に向かって障害物である鳥が横切る）を本実施形態のデジタルカメラ１０でＲＲＳ撮影（マルチショット合成）した場合を例にとって、その特殊制御のための構成及び動作を詳細に説明する。

図５は、ＤＳＰ（画像処理装置）４０の内部構成を示す機能ブロック図である。ＤＳＰ４０は、設定部４０Ａと、基準マップ生成部４０Ｂと、比較マップ生成部４０Ｃと、変化検出マップ生成部（置き換えマップ生成部）４０Ｄと、第１の論理和合成部４０Ｅと、ノイズ除去部４０Ｆと、第２の論理和合成部４０Ｇと、ぼかし処理部４０Ｈと、画像合成部４０Ｉと、画像置換部４０Ｊとを有している。

設定部４０Ａは、イメージセンサ２２が時系列に撮影した４枚の画像のいずれかの画像を基準画像に設定し、且つ、残りの画像を比較画像に設定する。ここでは図６に示すように、設定部４０Ａは、イメージセンサ２２が１枚目に撮影した画像を「基準画像」、イメージセンサ２２が２枚目に撮影した画像を「比較画像１」、イメージセンサ２２が３枚目に撮影した画像を「比較画像２」、イメージセンサ２２が４枚目に撮影した画像を「比較画像３」に設定する。なお、設定部４０Ａは、イメージセンサ２２が１枚目に撮影した画像を「基準画像」に設定する必要はなく、例えば、イメージセンサ２２が４枚目に撮影した画像を「基準画像」に設定してもよい。

基準マップ生成部４０Ｂは、設定部４０Ａが設定した基準画像をブロック分割した「基準マップ」を生成する。

比較マップ生成部４０Ｃは、設定部４０Ａが設定した比較画像１、比較画像２及び比較画像３をそれぞれブロック分割した「比較マップ１」、「比較マップ２」及び「比較マップ３」を生成する。

図６は、基準画像、比較画像１、比較画像２及び比較画像３を、基準マップ、比較マップ１、比較マップ２及び比較マップ３にブロック分割する様子を示している。各分割ブロックのサイズや形状には自由度があるが、例えば、１６×１６画素の正方形とすることができる。この場合、イメージセンサ２２のカラーフィルタのＲＧＢを別個にしてもデータ量を３／２５６まで低減することができる。好ましくは、基準画像から基準マップ、比較画像から比較マップへの分割ブロックのサイズや形状を同一に設定する。

変化検出マップ生成部４０Ｄは、基準マップと比較マップをブロック単位で比較演算することにより、基準マップと比較マップの一致または不一致をブロック単位で表す変化検出マップ（置き換えマップ）を生成する。

より具体的に、変化検出マップ生成部４０Ｄは、図７に示すように、基準マップと比較マップ１を比較演算することで「変化検出マップ１」を生成し、基準マップと比較マップ２を比較演算することで「変化検出マップ２」を生成し、基準マップと比較マップ３を比較演算することで「変化検出マップ３」を生成する。

変化検出マップ生成部４０Ｄによる比較演算の態様には自由度があるが、各分割ブロックの特徴量が完全に一致する可能性は低いので、平均値であれば差分量、ヒストグラムであれば類似度がある特定の閾値を超えるか否かを以って、各分割ブロックどうしの一致または不一致を判定する。図７の例では、各分割ブロックの平均化された輝度情報について差分値を算出し、差分値が一定未満であれば一致ブロックとして黒色で示し、差分値が一定以上であれば不一致ブロックとして白色で示している。つまり、最終的には、各分割ブロックどうしの一致または不一致は、黒色ブロック（一致ブロック）と白色ブロック（不一致ブロック）で２値化される。

第１の論理和合成部４０Ｅは、例えば、不一致を真として、変化検出マップ１、変化検出マップ２及び変化検出マップ３を論理和合成する。図７の最下段には、第１の論理和合成部４０Ｅによる論理和合成後の変化検出マップが示されている。

このように、基準画像（基準マップ）と比較画像（比較マップ）の間にどれか１つでも被写体変化が発生していると、エラーパターンが発生する。このため、比較（演算）は、最低でも、基準画像（基準マップ）と少なくとも１つの比較画像（比較マップ）の間で行う。別言すれば、基準画像（基準マップ）は、必ずしも、比較画像１（比較マップ１）、比較画像２（比較マップ２）及び比較画像３（比較マップ３）の全てとの関係で比較（演算）を行う必要はない。

被写体変化を検出するためには、同じ場所の色情報が一致しているか否かを判断するが、Ｇ要素以外の各ショットの画素は違う位置と色の情報を取得しているため、画素単位で計算することは現実的ではない。被写体変化によるパターンは、ある程度固まっていないと（最低でも４画素以上）目立たないため、図６、図７に示すように、画像をブロック単位に分割し、ブロックごとの特徴量で被写体変化（色情報の一致度合い）を比較判定する。ブロックの縦横のサイズを偶数にすることで、ＲＧＢの各要素の数がどのブロックでも一致しており、同じブロック位置で見ればほぼ同じ領域を取り込んでいるため、相対的な差分は小さくなる。ブロック単位でまとめ、変化の検出をブロックレベルで行うことで、計算量を大幅に低減させることができる。仮に画素単位で比較を行うと、比較回数が増え、処理時間が長くなるだけでなく、ノイズによる誤検出も起き易い。画素の信号値をブロック単位で特徴量としてまとめることで、ノイズの影響が軽減され、ノイズ除去が必要であればこれを簡略化することができる。また、後述するように複数の条件で同様の計算を行ったとしても、画素単位で計算を行うよりも計算量が大幅に減るため、全体の処理時間の短縮につながる。これにより、カメラ内での処理として現実的な時間に落とし込むことが可能になる。仮に被写体変化が発生しなかった場合であっても、検出処理で未検出となるため、後述する置換処理を行っても、全ての領域で合成情報が残った画像が生成される。このため、意図的に「ＲＲＳ撮影モード（マルチショット合成モード）」をＯＦＦにする必要はない。

ノイズ除去部４０Ｆは、第１の論理和合成部４０Ｅによる論理和合成後の変化検出マップからノイズを除去する。図８は、ノイズ除去部４０Ｆによるノイズ除去処理を示している。ノイズ除去部４０Ｆによるノイズ除去処理の有無やその感度は、図示しない制御手段によって制御される。

変化検出マップ生成部４０Ｄは、ノイズ除去部４０Ｆによるノイズ除去処理の有無やその感度などを含む比較演算の態様（特徴量の算出や比較演算の条件）を変更しながら、複数ループに亘って基準マップと比較マップを比較演算することにより、複数ループの変化検出マップを生成する。

第２の論理和合成部４０Ｇは、変化検出マップ生成部４０Ｄが生成した複数ループの変化検出マップを論理和合成する。図９は、第２の論理和合成部４０Ｇによる複数ループの変化検出マップの論理和合成処理を示している。同図の例では、第２の論理和合成部４０Ｇは、感度の高い条件でノイズ検出を試みた結果としてノイズ除去処理を行った１ループ目の変化検出マップと、感度の低い条件でノイズ検出を試みた結果としてノイズ除去処理を行っていない２ループ目の変化検出マップとを論理和合成している。

判定の条件によっては、被写体が変化していないにもかかわらず誤検出が発生する場合がある。例えば、ブロック内が全体的に暗く、ブロック間の境界に強い光の線が被っている場合、画素ずらしの微細な移動により輝度の平均値が大きく変動して被写体変化と認識されてしまう場合がある。また、撮像素子に起因するノイズにより特徴量の差が大きくなり、誤検出となる場合がある。これらの状況を改善するため、比較結果（変化検出マップ、論理和合成後の変化検出マップ）にノイズ除去等の後処理を加える。また、ブロック比較の条件を複数持たせて、それぞれの条件でエラー発生箇所を示す変化検出マップを作り、これらを組み合わせて最終的な結果（第２の論理和合成部４０Ｇによる論理和合成後の変化検出マップ）を得る。

例えば、ブロック間の平均化されたＲＧＢ情報について、それぞれの強い方の値Ａと、差分値からノイズ成分除去のため定数ｂを減算（０以下の場合は０）した値Ｄとを求め、Ｄの二乗和がＡの二乗和の１／ｒを上回っていたら不一致とする処理を想定する。この場合、ｂや１／ｒの値が小さくなるに連れてノイズ除去感度と誤検出率が上がり、逆に、ｂや１／ｒの値が大きくなるに連れてノイズ除去感度と誤検出率が下がる。

条件を敏感に設定すると、図８のように、結果（変化検出マップ）にノイズが混ざる確率が上がる。これらを除去するために塊のみ残す処理を施すと、場合により正しく被写体を検出されたブロックまで消されてしまうことがあり得る。そこで、図９のように、条件を厳しく設定した結果（変化検出マップ）を別途計算し、これに対しては誤検出が発生し難いのでノイズ除去を行わない。これにより、たとえ領域が小さくてもブロックの変化量が大きければ結果（変化検出マップ）に残ることになる。図８の結果と図９の結果を合わせることで、ノイズを除去しつつ正しい検出領域を殆ど消すことがないという作用効果が得られる。

検出のために最適な条件はシステムや撮影条件により変化する。そのため、比較方法や上記のｂやｒのような係数もシステムや撮影条件に応じて変化させることができる。このことは、変化検出マップ生成部４０Ｄが、複数ループに亘って基準マップと比較マップを比較演算することで複数ループの変化検出マップを生成することを意味している。

また、半ブロックずらした位置から区切り特徴量を求めた結果を判定材料に追加することで、前述のブロック間の境界に強い光の線が被っている場合であってもより適切な結果（変化検出マップ）を得ることができる。この場合は、一度縦横半分のサイズのサブブロックで分割して特徴量を算出し、さらに２×２のサブブロックを平均化することで全体的な計算量を減らすことができる。

ぼかし処理部４０Ｈは、変化検出マップの一致ブロックと不一致ブロックの境界部にぼかし処理を施す。図１０は、ぼかし処理部４０Ｈによるぼかし処理を示している。本実施形態では、各分割ブロックどうしの一致または不一致を１／０で判定しているので、不一致を１００％、一致を０％として、半径１〜２ブロックのぼかし処理を掛けている。ぼかし処理は、複数の比較演算結果の合成における任意の段階で掛けることができるが、どの段階でぼかし処理を掛けるかには自由度がある（各種の設計変更が可能である）。図１０のぼかし処理は領域拡大と一緒に実行し、ぼかし処理が終わると元画像と同じサイズにまで拡大する。この際に補完処理を掛けることにより境界をなだらかにすることができる。

画像合成部４０Ｉは、イメージセンサ２２が時系列に撮影した４枚の画像を合成して合成画像を得る。図１１に示すように、この合成画像は、障害物である鳥が横切った軌跡上の４つの部分に網目状のパターンが発生した、図１４の失敗例と同一の合成画像である。

画像置換部４０Ｊは、変化検出マップ（置き換えマップ）に基づいて、画像合成部４０Ｉによる合成画像の少なくとも一部を基準画像で置換する。図１１に示すように、画像置換部４０Ｊは、合成画像のうち、変化検出マップの不一致ブロックとその周辺の不一致ブロック境界領域（図１１中の白色領域）に対応する部分を「被置換領域」として切り出す（虫食い状態とする）。また画像置換部４０Ｊは、基準画像のうち、変化検出マップの不一致ブロックとその周辺の不一致ブロック境界領域（図１１中の白色領域）に対応する部分を「置換領域」として抽出する。そして画像置換部４０Ｊは、合成画像から切り出した（虫食い状態）とした「被置換領域」に、基準画像から抽出した「置換領域」を当てはめることにより置換処理を実行する。この際、画像置換部４０Ｊは、変化検出マップの不一致ブロックに対応する部分（中央の正方形ブロックの部分）は、０％と１００％の比率で置換合成を行い、変化検出マップの不一致ブロック境界領域に対応する部分（ぼかし処理や拡大補完が行われた部分）は、その合成比率（０％と１００％ではない）に応じた重み付け加算処理を伴った置換合成を行う。

このようにして得られた最終結果（合成置換画像）では、障害物である鳥が横切った軌跡上の４つの部分の網目状のパターンが完全に除去されて、イメージセンサ２２が１枚目に撮影した画像（基準画像）と同じ場所に鳥が位置している（写っている）。しかも、最終結果（合成置換画像）のうち画像置換部４０Ｊによる合成画像置換処理が行われていない部分は、細部までのディティールや色再現に優れた極めて超高精細（高画質、高精度）なものであり、モアレや偽色が発生することが無く、高感度ノイズが低減されている。

図１２のフローチャートを参照して、本実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。この撮影処理は、ＤＳＰ（画像処理装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。

ステップＳ１とステップＳ２では、イメージセンサ２２を光軸直交平面内で駆動しながら、規定枚数（Ｎ枚）の静止画を撮影する。この規定枚数（Ｎ枚）の静止画は、「時系列に撮像した複数の画像」である。

ステップＳ３では、規定枚数（Ｎ枚）の静止画（時系列に撮像した複数の画像）に対して「被写体変化（動体）検出処理」を実行する。この「被写体変化（動体）検出処理」については、後に図１３のサブルーチンフローチャートを参照して詳しく説明する。

ステップＳ４では、規定枚数（Ｎ枚）の静止画（時系列に撮像した複数の画像）を合成して合成画像に変換する（Ｎショット合成画像変換）。

ステップＳ５では、ステップＳ３の「被写体変化（動体）検出処理」の結果に従って、基準画像から、合成画像を置換するための「置換領域」を抽出する（基準ショット補完画像変換）。

ステップＳ６では、ステップＳ３の「被写体変化（動体）検出処理」の結果に従って、合成画像から切り出した（虫食い状態）とした「被置換領域」に、基準画像から抽出した「置換領域」を当てはめることにより、置換処理を実行する（被写体変化置き換え処理）。

ステップＳ７では、置換処理によって得た最終画像（合成置換画像）、つまりＲＲＳ撮影画像を出力する。

図１３のフローチャートは、図１２のステップＳ３の「被写体変化（動体）検出処理」のサブルーチンを示している。

ステップＳ３１では、基準画像をブロック分割して基準マップ（特徴量マップ０）を生成する。

ステップＳ３２では、比較画像（画素ずらし画像）をブロック分割して比較マップ（特徴量マップｉ）を生成する。

ステップＳ３３では、基準マップ（特徴量マップ０）と比較マップ（特徴量マップｉ）をブロックごとに比較演算して変化検出マップ（１〜Ｎ−１）を生成する。

ステップＳ３４では、変化検出マップ（１〜Ｎ−１）を論理和合成する。

ステップＳ３５では、追加処理が必要か否かを判定する。追加処理が必要であると判定したらステップＳ３６でノイズ除去などの追加処理を行ってステップＳ３７に進み、追加処理が必要でないと判定したら追加処理を行うことなくステップＳ３７に進む。

ステップＳ３１〜ステップＳ３６までの処理を、ステップＳ３８で特徴量の算出や比較の条件（比較演算の態様）を変更して複数ループに亘って繰り返す（ステップＳ３７：ＮＯ）。この複数ループの処理が完了したら、全ての条件が終了したことになり（ステップＳ３７：ＹＥＳ）、ステップＳ３９に進む。

ステップＳ３９では、各条件（複数ループ）の変化検出マップを論理和合成する。

ステップＳ４０では、論理和合成後の最終的な変化検出マップを出力する。この論理和合成後の最終的な変化検出マップは、本実施形態のＲＲＳ撮影における合成画像置換処理のために使用される。

以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら撮影した４枚の画像を「時系列に撮像した複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「時系列に撮像した複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「時系列に撮像した複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。

「時系列に撮像した複数の画像」が２枚であれば、「基準画像」と「比較画像」が各１枚となり、「時系列に撮像した複数の画像」がｎ枚（ｎは正の整数）であれば、「基準画像」が１枚で「比較画像」がｎ−１枚ということになる。これに関連して、「時系列に撮像した複数の画像」が２枚であれば、「基準マップ」と「比較マップ」が各１個となり、「時系列に撮像した複数の画像」がｎ枚（ｎは正の整数）であれば、「基準マップ」が１つで「比較マップ」がｎ−１個ということになる。

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。

以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。

１０ デジタルカメラ（撮影装置）
２０ ボディ本体
２１ シャッタ（撮影光学系）
２２ イメージセンサ（撮像部、移動部材、振れ補正部材）
Ｒ Ｇ（Ｇｒ、Ｇｂ） Ｂ カラーフィルタ
２３ 絞り／シャッタ駆動回路
２４ ＬＣＤ
２５ 画像メモリ
２６ 撮影操作スイッチ
２７ ジャイロセンサ（振れ検出部）
２８ ＲＲＳ撮影モード設定部
３０ 撮影レンズ
３１ 撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２ 絞り（撮影光学系）
３３ 通信用メモリ
４０ ＤＳＰ（画像処理装置）
４０Ａ 設定部
４０Ｂ 基準マップ生成部
４０Ｃ 比較マップ生成部
４０Ｄ 変化検出マップ生成部（置き換えマップ生成部）
４０Ｅ 第１の論理和合成部
４０Ｆ ノイズ除去部
４０Ｇ 第２の論理和合成部
４０Ｈ ぼかし処理部
４０Ｉ 画像合成部
４０Ｊ 画像置換部
５０ 像振れ補正装置
５１ 固定支持基板
５２ 可動ステージ
Ｍ１ Ｍ２ Ｍ３ 磁石
Ｙ１ Ｙ２ Ｙ３ ヨーク
Ｃ１ Ｃ２ Ｃ３ 駆動用コイル
Ｈ１ Ｈ２ Ｈ３ ホールセンサ（位置検出部）
６０ イメージセンサ駆動回路

Claims (10)

1. 複数の画像を時系列に撮像する撮像部と、
   前記複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定部と、
   前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成部と、
   前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成部と、
   前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成部と、
   前記複数の画像を合成して合成画像を得る画像合成部と、
   前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換部と、
   を有することを特徴とする撮影装置。
2. 請求項１記載の撮影装置において、
   前記基準マップが１つであるのに対して前記比較マップが複数であり、
   前記変化検出マップ生成部は、前記１つの基準マップと前記複数の比較マップを比較演算することにより、複数の変化検出マップを生成し、
   前記複数の変化検出マップを論理和合成する第１の論理和合成部をさらに有する撮影装置。
3. 請求項１または２記載の撮影装置において、
   前記変化検出マップ生成部は、比較演算の条件を変更し、前記基準マップと前記比較マップを比較演算して、複数の変化検出マップを生成し、
   前記複数の変化検出マップを論理和合成する第２の論理和合成部をさらに有する撮影装置。
4. 請求項１ないし３のいずれか１項記載の撮影装置において、
   前記変化検出マップからノイズを除去するノイズ除去部をさらに有する撮影装置。
5. 請求項１ないし４のいずれか１項記載の撮影装置において、
   前記変化検出マップの互いに異なる値のブロックの境界部にぼかし処理を施すぼかし処理部をさらに有する撮影装置。
6. 請求項１ないし５のいずれか１項記載の撮影装置において、
   前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものである撮影装置。
7. 複数の画像を時系列に撮像する撮像ステップと、
   前記複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、
   前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、
   前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、
   前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、
   前記複数の画像を合成して合成画像を得る画像合成ステップと、
   前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、
   を有することを特徴とする撮影方法。
8. 時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定部と、
   前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成部と、
   前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成部と、
   前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成部と、
   前記複数の画像を合成して合成画像を得る画像合成部と、
   前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換部と、
   を有することを特徴とする画像処理装置。
9. 時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、
   前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、
   前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、
   前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、
   前記複数の画像を合成して合成画像を得る画像合成ステップと、
   前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、
   を有することを特徴とする画像処理方法。
10. 時系列に撮像した複数の画像のいずれかの画像を基準画像に設定し、残りの画像のうち少なくとも１つを比較画像に設定する設定ステップと、
    前記基準画像をブロック分割し、ブロック単位で特徴量を示した基準マップを生成する基準マップ生成ステップと、
    前記比較画像をブロック分割し、ブロック単位で特徴量を示した比較マップを生成する比較マップ生成ステップと、
    前記基準マップと前記比較マップをブロック単位の特徴量に基づいて比較演算して２値で表したブロックで構成される変化検出マップを生成する変化検出マップ生成ステップと、
    前記複数の画像を合成して合成画像を得る画像合成ステップと、
    前記変化検出マップに基づいて、前記合成画像の少なくとも一部を前記基準画像で置換する画像置換ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images