JP6746738B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数組の画像を用いて、被写体の距離分布に関連する情報を取得する画像処理技術に関する。

コンピュータビジョンなどの分野では、撮影された画像に対するデフォーカス量の空間的な分布を表すデフォーカスマップを得る技術がある。特許文献１では、画角内の画像信号の輝度差が大きい場合でもより正確なデフォーカスマップを生成するため、露光時間の異なる３枚の画像データから得られるデフォーカスマップを合成する技術の開示がある。

特開２０１２−１８２７３１号公報

しかしながら、特許文献１に開示された従来技術では、露光時間の異なる３枚の画像間で手ぶれなどが発生した場合、算出されるデフォーカスマップの精度が低下する可能性がある。また、高感度での撮影時には画像データに含まれるノイズ量が大きくなるため、算出されるデフォーカスマップの精度が低下する可能性がある。
上記課題に鑑み、本発明は、複数組の画像データを用いて、より正確なマップデータを生成することができる画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、第１および第２の組の画像データを取得する取得手段と、前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、を備える。前記位置合わせ手段は、前記第１および第２の組の画像データから得られる制御パラメータを用いて幾何変形処理を行うことにより前記第１および第２のマップデータの位置合わせを行う。

本発明の画像処理装置によれば、複数組の画像データを用いて、より正確なマップデータを生成することができる。

本発明の実施形態に係るデジタルカメラの機能構成例を示すブロック図である。 本発明の実施形態に係る撮像部の構成例を示す図である。 本発明の実施形態に係る画像処理部の機能構成例を示すブロック図である。 本発明の第１実施形態に係る画像処理部の処理を説明するフローチャートである。 第１実施形態における適正露光時間で撮影した画像を説明する図である。 適正露光時間よりも短い露光時間で撮影した画像を説明する図である。 全開口画像を説明する図である。 デフォーカスマップの合成比率を説明する図である。 デフォーカスマップの整形処理を説明する図である。 デフォーカスマップの整形処理による効果を説明する図である。 本発明の第２実施形態に係る画像処理部の処理を説明するフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態に係る画像処理装置としてデジタルカメラに適用した例を説明する。
［第１実施形態］
本発明の第１実施形態に係る撮像装置では、画角内の画像信号の輝度差が大きい場合であっても、より正確なデフォーカスマップを生成可能な画像処理装置について説明する。

図１は、本実施形態に係るデジタルカメラ１００の機能構成を例示するブロック図である。システム制御部１０１は、例えばＣＰＵ（中央演算処理装置）を備える。システム制御部１０１は、デジタルカメラ１００が備える各構成部の動作や処理を制御するプログラムをＲＯＭ（リード・オンリ・メモリ）１０２から読み出し、ＲＡＭ（ランダム・アクセス・メモリ）１０３に展開して実行する。ＲＯＭ１０２は、データの書き換えが可能な不揮発性メモリであり、デジタルカメラ１００の動作や処理を制御するプログラムの他に、各構成部の動作に必要なパラメータなどを記憶する。例えば、焦点検出などに必要なレンズ情報としての射出瞳距離などのデータがＲＯＭ１０２に記憶されている。ＲＡＭ１０３は、データの書き換えが可能な揮発性メモリであり、デジタルカメラ１００の処理において出力されたデータの一時的な記憶領域として用いられる。

撮像光学系１０４は、被写体からの光を撮像部１０５に結像する。撮像光学系１０４はレンズや絞りを備え、絞りは撮像光学系１０４の開口径を調節することで撮影時の光量調節を行う。撮像部１０５は、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサなどの撮像素子を備える。撮像部１０５は、撮像光学系１０４により結像された光学像を光電変換し、得られたアナログ画像信号をＡ（アナログ）／Ｄ（デジタル）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、デジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの処理を行う。画像処理部１０７は、さらにデフォーカスマップの生成、複数枚の画像の位置合わせ、および合成処理などの様々な画像処理を行う。記録媒体１０８は着脱可能なメモリカードなどであり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像などのデータが、記録画像データとして記録される。バス１０９は、各構成部の間での信号の送受に用いられる。

図２（Ａ）は、図１の撮像部１０５の画素配列の構成例を示す模式図である。図２（Ａ）にて紙面に直交する方向をｚ方向とし、手前側を＋ｚ方向と定義する。ｚ方向に直交する第１の方向をｘ方向とし、図２（Ａ）の右方向を＋ｘ方向と定義する。また、ｚ方向に直交する第２の方向をｙ方向とし、図２（Ａ）の上方向を＋ｙ方向と定義する。図２（Ａ）には、ある画素２００を拡大した模式図を示す。画素２００は、マイクロレンズ２０１と、一対の光電変換部２０２Ａ、２０３Ｂ（以下、瞳分割画素２０２Ａ、２０３Ｂと呼ぶ。）から構成される。撮像部１０５は複数の画素２００が二次元アレイ状に規則的に配列されている。本実施形態においては、規則的に配列された瞳分割画素２０２Ａ、２０３Ｂから、一対の画像としてＡ像、Ｂ像がそれぞれ出力されるものとする。以下の説明では、一対の画像であるＡ像、Ｂ像を瞳分割画像と称する。

図２（Ｂ）は瞳分割の概念の説明図である。図２（Ｂ）の下側には、図２（Ａ）に示す画素２００のＳ−Ｓ線に沿う断面を＋ｙ方向から見た場合の断面図を示し、上側には、−ｚ方向から見た場合の撮像光学系１０４の射出瞳面をｘ−ｙ平面にて示す。図２（Ｂ）では射出瞳面の座標軸と対応を取るため、断面図のｘ方向を図２（Ａ）に対して反転させて示している。

撮像部１０５は、撮像光学系１０４の結像面近傍に配置され、被写体からの光束は、撮像光学系１０４の射出瞳８００を通過して、それぞれ対応する画素に入射する。射出瞳８００の大きさは、絞りの大きさや、レンズを保持するレンズ枠などの大きさによって変化する。瞳部分領域８０１Ａ、８０２Ｂは、ｘ方向にて２分割された瞳分割画素２０２Ａ、２０３Ｂの受光面と、マイクロレンズによって概ね共役関係になっている。従って、各瞳部分領域を通過した光束は、共役関係にある各瞳分割画素で受光される。水平方向における瞳分割数をＭとし、垂直方向における瞳分割数をＮとすると、撮像光学系１０４の射出瞳８００は、瞳分割数をＮｐ＝Ｍ×Ｎとして、異なる瞳部分領域に分割される。撮像光学系１０４の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね（√（Ｍ×Ｎ））×Ｆとなる。また、瞳領域８０３は、Ｍ×Ｎ個に分割された光電変換部を全て合わせた際の画素２００全体で受光可能な瞳領域（全開口領域）である。例えば、瞳分割数をＭ＝２、Ｎ＝１とする場合、瞳部分領域の実効絞り値はＦの√２倍となる。つまり、１つの瞳分割画像は全開口画像と比較して、一段分被写界深度が深く、暗い画像が得られる。
以上の構成により、図１の撮像光学系１０４の瞳にて異なる領域をそれぞれ通過する一対の光束を、一対の光学像として結像させて、それらを一対の画像であるＡ像およびＢ像として出力することができる。

次に、図１の画像処理部１０７の構成および処理について説明する。図３は画像処理部１０７の具体的な構成の一例を示すブロック図である。画像処理部１０７は、符号３００から３０６に示す各処理部を備える（各処理部の詳細については後述する）。また、図４は画像処理部１０７が行う処理を説明するフローチャートである。以下、図４のフローチャートに沿って説明を行う。

まず、Ｓ４００で撮像部１０５は撮像動作により、適正露光時間で一対の画像である瞳分割画像を取得する。Ｓ４００で取得される第１の組の画像例を図５（Ａ）および（Ｂ）に示す。図５の紙面内において左右方向をｘ方向とし、右方向を＋ｘ方向と定義する。また図５の紙面内において、ｘ方向に直交する上下方向をｙ方向とし、上方向を＋ｙ方向と定義する。図５（Ａ）および（Ｂ）は、時刻Ｔで撮像された画像をそれぞれ示しており、逆光状態の人物が存在し、人物と背景との輝度差が大きいシーンを例示する。カメラに搭載された測光センサが人物５００および５０２の輝度をそれぞれ測定し、システム制御部１０１は人物に対して適正露光になるように露光時間を制御する。

図５（Ａ）および（Ｂ）において、建物５０１、５０３がそれぞれ写っているが、人物の明るさが適正になるように露光時間が制御されたために、いわゆる「白とび」を起こしている画素が存在し、エッジが不明瞭になっている。「白とび」とは、本来明るさの強弱がある画像領域が白一色となってしまう状態のことである。白とびの領域が存在すると後述するデフォーカスマップデータの生成において、その領域では正確なデフォーカス量を算出することができない。図５（Ａ）に示す画像は水平方向に瞳を２分割した画素のうち瞳分割画素２０２Ａから出力された画像であり、人物５００に合焦して撮像された画像である。図５（Ｂ）に示す画像は、水平方向に瞳を２分割した画素のうちのもう一方の瞳分割画素２０３Ｂから出力された画像である。画像内の人物５０２は、図５（Ａ）の人物５００と同じ位置である。一方、背景の建物５０３には水平方向に視差があるので、図５（Ａ）の建物５０１の画像と比較して、−ｘ軸の方向にずれている。以下の説明では、適正露光時間で撮影した瞳分割画像を適正露出画像と呼ぶこととする。なお、一対の画像である瞳分割画像は同時刻に取得できることとする。また、予め適正露光で撮像した瞳分割画像を記録媒体１０８に記録しておき、その画像を読み出す構成としてもよい。本実施形態では、瞳分割を水平方向にて２分割としたが、本発明はこれに限定されるものではなく、任意の方向および分割数にて瞳分割を行うことが可能である。

次に、図４のＳ４０１で撮像部１０５は、適正露光時間よりも短い露光時間での撮像動作により、瞳分割画像を取得する。Ｓ４０１で取得される第２の組の画像例を図６（Ａ）および（Ｂ）に示す。図６の紙面内において左右方向をｘ方向とし、右方向を＋ｘ方向と定義する。また図６の紙面内においてｘ方向に直交する上下方向をｙ方向とし、上方向を＋ｙ方向と定義する。図６（Ａ）は時刻Ｔ＋１で撮像された瞳分割画素２０２Ａの出力画像を示す。図６（Ａ）に示す画像では、Ｓ４００で設定された露光時間よりも短い露光時間であるため、人物の画像に、いわゆる「黒つぶれ」が発生し、エッジが不明瞭になっている。「黒つぶれ」とは、暗い画像領域が黒一色となってしまう状態のことである。黒つぶれの領域では、デフォーカスマップデータの生成処理にて正確なデフォーカス量を算出することができない。一方、背景の建物の画像は白とびを起こすことなくエッジも明瞭な状態である。また、図６（Ａ）に示す画像では人物６００に合焦しているが、撮影者による手ぶれの影響で構図が図５（Ａ）と比較して、−ｘ方向および−ｙ方向にずれている。

図６（Ｂ）は時刻Ｔ＋１で撮像された瞳分割画素２０３Ｂの出力画像を示す。図６（Ａ）と比較して建物６０３には視差があるため、ずれが生じており、また、撮影者による手ぶれの影響で図５（Ｂ）と比較して、構図が−ｘ方向および−ｙ方向にずれている。以下の説明では、適正露光時間よりも短い露光時間で撮影した瞳分割画像を低露出画像と呼ぶこととする。
Ｓ４００、Ｓ４０１では、異なる時刻において露光時間の異なる一対の画像を複数枚取得する処理が実行される。すなわち、第１の組の画像データと第２の組の画像データは撮影時刻および露光時間が異なるが、２組以上であれば撮影枚数に制限はない。

図４のＳ４０２にて画素カウント部３００は、Ｓ４００、Ｓ４０１でそれぞれ撮像された瞳分割画像を対象として、白とびの画素数および黒つぶれの画素数をそれぞれカウントする。白とびの画素数は、第１の閾値よりも大きい画素値をもつ画素の数であり、また黒つぶれの画素数は、第２の閾値よりも小さい画素値をもつ画素の数である。適正露出画像と低露出画像に対し、白とびの画素数と黒つぶれの画素数が計測され、各カウント数が出力される。

Ｓ４０３で画像処理部１０７は、Ｓ４０２で取得したカウント数と予め設定した閾値を比較する。白とびの画素数または黒つぶれの画素数が予め設定した閾値より大きい場合、Ｓ４０４に処理を進め、白とびの画素数および黒つぶれの画素数が閾値以下である場合にはＳ４１１に移行する。

Ｓ４０４にて加算画像生成部３０１は、Ｓ４００、Ｓ４０１での撮影によって取得された瞳分割画像の信号を、以下の式で加算する。
Ｇ（ｘ，ｙ）＝Ａ（ｘ，ｙ）＋Ｂ（ｘ，ｙ） ・・・（１）
式（１）において、Ｇ（ｘ，ｙ）は撮像光学系１０４の瞳の全領域を通過した光束による光学像を、デジタル的に再構成した信号（全開口信号）を表す。また、Ａ（ｘ，ｙ）は瞳分割画素２０２Ａの出力信号（Ａ像信号）を表し、Ｂ（ｘ，ｙ）は瞳分割画素２０３Ｂの出力信号（Ｂ像信号）を表す。以下では、全開口信号Ｇ（ｘ，ｙ）から成る画像を全開口画像と呼ぶこととする。図７は画像例を示す。図７（Ａ）は、図５（Ａ）の画像と図５（Ｂ）を加算した、時刻Ｔでの画像を示す。図７（Ｂ）は、図６（Ａ）の画像と図６（Ｂ）の画像を加算した、時刻Ｔ＋１での画像を示す。図７の紙面内において左右方向をｘ方向とし、右方向を＋ｘ方向と定義する。また図７の紙面内においてｘ方向に直交する上下方向をｙ方向とし、上方向を＋ｙ方向と定義する。

図７（Ａ）に示す画像例において、人物７００の画像は合焦状態での被写体像であるので、視差がついておらず加算してもボケは発生しない。また、適正な明るさで撮影されているので、被写体像のエッジが明瞭である。一方、背景の建物７０１の画像については、視差のついた画像を合成しているため、ボケが生じている。また、白とびの影響で背景像のエッジが不明瞭である。

図７（Ｂ）に示す画像例において、人物７０２の画像は合焦状態での被写体像であるので、視差がついておらず加算してもボケは発生しない。しかし、黒つぶれの影響で被写体像のエッジが不明瞭である。一方、背景の建物７０３の画像については、視差のついた画像を合成しているため、ボケは生じているが、白とびは発生していない。

なお、本実施形態においては、一対の瞳分割画像を入力画像として全開口画像を生成する例を説明したが、本発明はこれに限定されるものではない。例えば、全開口画像と一方の瞳分割画像（Ａ像またはＢ像）を入力画像とし、全開口画像の信号から一方の瞳分割画像の信号を減算することで、もう一方の瞳分割画像の信号を生成する構成としてもよい。

図４のＳ４０５にてデフォーカスマップ生成部（以下、単に「マップ生成部」という）３０２は、Ｓ４００での撮影で取得された瞳分割画像であるＡ像とＢ像の各信号を用いて、着目画素位置ごとのデフォーカス量を計算する。デフォーカス量は、被写体の距離分布に関連する情報であり、デフォーカスマップデータの値を表す。Ａ像とＢ像からデフォーカス量を計算する処理は、以下の通りである。

着目画素位置におけるＡ像の信号列をＥ（１）〜Ｅ（ｍ）と表記し、Ｂ像の信号列をＦ（１）〜Ｆ（ｍ）と表記する。Ａ像の信号列Ｅ（１）〜Ｅ（ｍ）に対して、Ｂ像の信号列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記式（２）を用いて２つの信号列間のずらし量ｋにおける相関量Ｃ（ｋ）の演算が行われる。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ ・・・（２）
式（２）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算においてｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずらし量ｋは整数値をとり、一対のデータの検出ピッチを単位とした相対的シフト量を表す。

式（２）の演算結果のうちで、一対の信号系列の相関が高いシフト量（ずらし量ｋ）において相関量Ｃ（ｋ）が最小になる。以下では、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。以下の式（３）から式（５）による３点内挿処理を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝・・・（５）

式（３）で算出されるシフト量ｘから、デフォーカス量（ＤＥＦと記す）を下記式（６）によって求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（６）
式（６）に示すＫＸは、一対の瞳領域を通過する光束の重心の開き角の大きさによって決まる変換係数である。ＰＹは検出ピッチである。参照する領域が白とびの領域または黒つぶれの領域である場合、式（２）における｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜の項が０となり、Ｃ（ｋ）の値がゼロとなる。そのため、相関量Ｃ（ｋ）が最小となるｋｊを正しく算出できなくなる結果、算出されたデフォーカス量は正確な値でなくなる。

マップ生成部３０２は、算出したデフォーカス量の空間的な分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップデータを出力する。以降の説明のため、図４のＳ４０５でマップ生成部３０２が生成したデフォーカスマップを「適正露出デフォーカスマップ」と呼ぶ。

Ｓ４０６にてマップ生成部３０２は、Ｓ４０１での撮影により取得された瞳分割画像からデフォーカスマップを生成する。デフォーカスマップの生成処理はＳ４０５の場合と同じであるので、詳細な説明を割愛する。以降の説明のため、Ｓ４０６でマップ生成部３０２が生成したデフォーカスマップを「低露出デフォーカスマップ」と呼ぶ。

Ｓ４０７にて位置ずれ補正制御パラメータ算出部（以下、単に「パラメータ算出部」という）３０３は、位置ずれ補正部３０４が幾何変形処理に使用する制御パラメータを算出する。パラメータ算出部３０３は位置ずれ補正部３０４と協働して位置合わせ処理を行うために、Ｓ４０４で生成された全開口画像を用いて、位置ずれ補正用の制御パラメータを算出する。以下に制御パラメータの算出方法を説明する。

パラメータ算出部３０３はまず、適正露出での全開口画像（図７（Ａ）参照）を基準画像として設定する。そしてパラメータ算出部３０３は基準画像に対する低露出での全開口画像（図７（Ｂ）参照）の位置ずれ量を表すパラメータとして動きベクトルを算出する。動きベクトルの算出方法には、公知のテンプレートマッチング処理などがある。例えば撮影者がカメラを手持ちで撮影する場合、ここで算出された動きベクトルは手ぶれ量に相当する。次にパラメータ算出部３０３は、算出した動きベクトルから射影変換係数を算出する。動きベクトルから射影変換係数への変換方法には公知の技術を用いる。このように算出された射影変換係数が位置ずれ補正用の制御パラメータである。留意すべき点は、白とびの領域や黒つぶれの領域ではデフォーカス量の算出の場合と同様に、動きベクトルについて正確な値を算出できない点である。白とびの領域または黒つぶれの領域では、その周辺領域にて算出された精度の高い動きベクトルを参照することによって、射影変換係数を算出する処理が行われる。

本実施形態においては、射影変換係数を動きベクトルから算出する例を説明したが、本発明はこれに限定されるものではない。例えばカメラに搭載された加速度センサや角速度センサの検出情報を取得して射影変換係数を算出する構成としてもよい。また、動きベクトルの算出前に画像処理部が適正露出での全開口画像と低露出での全開口画像の明るさを合わせる処理を行う構成としてもよい。

さらに、動きベクトルを算出する際に用いる画像に関しては、全開口画像だけでなく瞳分割画像をも参照することで、動きベクトルの算出精度を高めることも可能である。具体的には、パラメータ算出部３０３は、焦点が合っている合焦領域、つまり撮影時に焦点を合わせた被写体の近傍領域での動きベクトルを算出する際に全開口画像を参照して動きベクトルを算出する。またパラメータ算出部３０３は、焦点が合っていない領域、つまりボケが生じている背景領域については瞳分割画像を参照して動きベクトルを算出する。瞳分割画像の方が全開口画像よりも焦点深度が深いため、背景でもボケが生じにくく被写体のエッジが明瞭である。よって、テンプレートマッチング処理の精度を向上させることができる。

図４のＳ４０８にて位置ずれ補正部３０４は、Ｓ４０７で算出された射影変換係数を用いて、Ｓ４０６で生成された低露出デフォーカスマップを幾何変形処理する。この幾何変形処理によって位置合わせが行われる。幾何変形処理後の低露出デフォーカスマップは、Ｓ４０５で生成された適正露出デフォーカスマップとの位置ずれが無くなり、または位置ずれ量が許容範囲内に低減される。本実施形態にて、位置合わせに伴う画像の変形処理では、デフォーカスマップに対しても変形処理が行われる。デフォーカスマップの生成時に参照する瞳分割画像に対して位置合わせ変形を行い、マップ生成部３０２に入力することも考えられる。しかし、手ぶれの成分にロール方向の成分が含まれている場合、位置合わせ変形によって視差のついている方向が瞳分割方向（本実施形態では水平方向）から変化する。このため、式（２）に示した相関演算の結果が変形の有無に応じて乖離してしまう可能性がある。特に被写体像が斜め線を有する場合に影響が大きくなるため、算出されるデフォーカスマップが正確ではなくなる。

本実施形態では、第１の組の画像データから取得される適正露出画像を基準画像とし、位置ずれ補正部３０４が、低露出デフォーカスマップの幾何変形処理を行う。これに限らず、第１の組の画像データから取得される低露出画像を基準画像とし、適正露出デフォーカスマップの幾何変形処理を行う構成でもよい。

Ｓ４０９にて合成処理部３０５は、Ｓ４０５で生成された適正露出デフォーカスマップと、Ｓ４０８で位置ずれ補正された幾何変形処理後の低露出デフォーカスマップとを合成し、合成デフォーカスマップを生成する。合成処理部３０５は、適正露出の全開口画像を参照し、適正露出の全開口画像の信号値から白とび領域を抽出する。そして合成処理部３０５は適正露出デフォーカスマップにおける白とび領域の距離の信号値を、白とびの発生していない低露出デフォーカスマップにおける対応領域の距離の信号値に置き換える処理を行う。置き換え処理は、距離の信号値の合成によって行われる。つまり、合成後の距離の信号値をＤＥＦ＿ＭＩＸとし、適正露出での距離の信号値をＤＥＦ＿ＯＶＥＲとし、低露出での距離の信号値をＤＥＦ＿ＵＮＤＥＲとする。ＤＥＦ＿ＭＩＸは下記式により算出される。
ＤＥＦ＿ＭＩＸ＝ＤＥＦ＿ＯＶＥＲ・ＭＩＸ＿ＲＡＴＩＯ
＋ＤＥＦ＿ＵＮＤＥＲ・（１.０−ＭＩＸ＿ＲＡＴＩＯ）・・・（７）

式（７）中のＭＩＸ＿ＲＡＴＩＯは合成比率である。図８はＭＩＸ＿ＲＡＴＩＯをグラフで例示した図である。図８において、横軸は適正露出の全開口画像の信号値を表し、縦軸は合成比率ＭＩＸ＿ＲＡＴＩＯを表す。閾値ＴＨ２は、適正露出の全開口画像の信号値が白とびとなるときの値である。信号値がＴＨ２未満の場合、「１．０ ≧ ＭＩＸ＿ＲＡＴＩＯ ＞ ０.０」となる。一方、Ｔｈ２以上の区間では「ＭＩＸ＿ＲＡＴＩＯ ＝ ０.０」である。また、合成の境界領域において合成比率が滑らかに変化するように、Ｔｈ１（＜ＴＨ２）で示す値から閾値Ｔｈ２までの区間において線形補間された合成比率が得られる。つまり、ＴＨ１からＴＨ２までの区間では信号値が増加するにつれて合成比率が一次関数式にしたがって減少する。このようにデフォーカスマップを合成することで、白とびや黒つぶれが発生したために正確なデフォーカス量が算出できなかった箇所は、正しいデフォーカス量に置換される。よって正確なデフォーカスマップを生成することができる。

全ての画素について上記合成処理が実行され、合成後のデフォーカスマップが生成される。なお、本実施形態では合成比率を決定する際に、適正露出の全開口画像の信号値を参照する例を説明した。本発明はこれに限定されるものではなく、位置合わせに用いるパラメータである動きベクトルの大きさや、デフォーカスマップの信号値を参照してもよい。より具体的には動きベクトルを参照する場合には、合成処理部３０５は動きベクトルの大きさが大きいほど、合成比率を小さく設定する。例えば、手ぶれの量が大きいほど位置ずれ補正による変形量が大きくなるため、合成の境界領域に不整合が生じる可能性が高く、切り替わりが目立ってしまうことが懸念される。そこで、滑らかに距離が変化するデフォーカスマップを得ることを重視する場合には、動きベクトル量から合成比率を算出してデフォーカスマップを合成する処理が行われる。また、デフォーカスマップの信号値を参照する場合には、合成処理部３０５は適正露出デフォーカスマップと低露出デフォーカスマップとの差分値を算出し、差分値を参照して合成比率を算出する。例えば、差分値が大きい場合には連続して撮影を行う間に、被写体に大きな変化が生じたこと、例えば画角内に移動体が侵入してきたといった事態が起きている可能性がある。そこで合成処理部３０５は、デフォーカスマップ同士の差分値が大きいほど合成比率を小さく設定して合成処理を行う。

図４のＳ４１０にてデフォーカスマップ整形部（以下、単に「マップ整形部」という）３０６は、Ｓ４０９で生成された合成デフォーカスマップに対して整形処理を行う。マップ整形部３０６は、整形用画像を参照しながらデフォーカスマップにバイラテラルフィルタ処理を施す。バイラテラルフィルタ処理にて、着目画素位置ｐのフィルタ結果をＪｐと記すと、これは下記式（８）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜） ・・・（８）
式（８）中の各記号の意味は以下のとおりである。
ｑ ：周辺画素位置
Ω ：着目画素位置ｐを中心とする積算対象領域
Σ ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおけるデフォーカスマップ信号値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ ：着目画素位置ｐでの整形用画像信号値
Ｉ２ｑ ：周辺画素位置ｑでの整形用画像信号値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像信号値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ ：正規化係数であり、ｆ・ｇ重みの積算値。

着目画素位置ｐでの信号値Ｉ２ｐと周辺画素位置ｑでの信号値Ｉ２ｑとの差が小さい場合、つまり整形用画像において着目画素の画素値と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。本実施形態では整形用画像として、低露出の全開口画像に対しＳ４０８の位置ずれ補正を行い、適正露出の全開口画像との合成処理を、Ｓ４０９と同様の処理で行った全開口画像を用いることとする。

図９は、マップ整形部３０６の処理を説明するための図である。図９（Ａ−１）は整形用画像を例示し、適正露出での全開口画像と低露出での全開口画像を合成した画像であり、白とびや黒つぶれの画素が存在しない画像である。図９（Ａ−１）および（Ｂ−１）では、紙面内において左右方向をｘ方向とし、右方向を＋ｘ方向と定義する。また紙面内においてｘ方向に直交する上下方向をｙ方向とし、上方向を＋ｙ方向と定義する。図９（Ａ−２）は、図９（Ａ−１）にて一点鎖線１０００に示す位置での断面における信号値プロファイル１００１を表わしている。横軸はｘ座標を表し、縦軸は信号値を表す。信号値プロファイル１００１の形状は、ｘ座標の増加方向においてｘｓの位置で大きく変化（低下）するステップ形状である。ｘｓの位置は整形用画像の人物の輪郭に対応するため、信号値が急峻に変化している。

図９（Ｂ−１）は図４のＳ４０９で生成された合成デフォーカスマップを例示する。適正露出と低露出とでそれぞれ生成されるデフォーカスマップが合成処理されるので、白とびや黒つぶれの影響がないデフォーカスマップが得られる。図９（Ｂ−１）において点線で示す部分は、図９（Ａ−１）に示した整形用画像の輪郭を表している。つまり、相関演算の参照範囲の影響によって、デフォーカスマップの輪郭の方が、正解である整形用画像の輪郭よりも外側に、はみ出している。図９（Ｂ−２）では、図９（Ｂ−１）にて一点鎖線１００２で示す位置（図９（Ａ−１）に一点鎖線１０００で示す位置に対応する）での断面における信号値プロファイル１０１１を実線で表わしている。横軸はｘ座標を表し、縦軸は距離の信号値を表す。距離の信号値については、カメラの位置から遠くにある背景の信号値が小さく、近くに位置する人物の信号値が大きいものとする。

図９（Ｂ−２）に実線で示す信号値プロファイル１０１１の形状は、ｘ座標の増加方向においてｘｓよりも小さいｘａの位置で大きく変化（増加）するステップ形状である。式（８）における着目画素位置ｐを、黒点１００３、１００４、１００５、１００６にそれぞれ示す。式（８）のｇ値が大きい領域、つまり平滑化の範囲を線分１００７、１００８、１００９、１０１０にそれぞれ示している。図９（Ａ−２）に示す整形用画像の信号値プロファイル１００１では人物の輪郭に対応する位置ｘｓで信号値が急峻に変化している。このため、人物の輪郭近傍の着目画素位置を示す黒点１００４および１００５の位置では、平滑化の範囲がそれぞれ線分１００８および１００９で示すようになり、正解である整形用画像の人物輪郭に沿うようになる。その結果、式（８）に示すフィルタ結果Ｊｐの値をプロットすると点線で示すグラフ線１０１２となる。グラフ線１０１２の形状は、ｘ座標の増加方向においてｘｓの位置で大きく変化（増加）するステップ形状である。つまり、デフォーカスマップ整形処理によって、デフォーカスマップでの人物の輪郭が正しい輪郭（整形用画像の人物輪郭）に合うことになる。

デフォーカスマップの整形処理は上記のように距離の信号値を正しい輪郭に合わせる作用を有するだけではなく、位置ずれ補正の際に幾何変形処理によって生じたデフォーカスマップの歪み補正にも有効である。図１０を参照して具体的に説明する。
図１０（Ａ）は整形用画像のある断面における信号値プロファイルを表わしており、横軸がｘ座標を表し、縦軸が画像の信号値を表す。図１０（Ａ）に示すグラフ線１１００はｘ座標値によらず一定であり、同一の被写体が存在していることを示している。図１０（Ｂ）において、実線で示すグラフ線１１０９は、図１０（Ａ）と同じ座標におけるデフォーカスマップの信号値プロファイルを表わしている。横軸はｘ座標を表し、縦軸は距離の信号値を表す。ｘ座標値が大きくなるにつれて距離の信号値が大きくなる。これは、被写体に関して奥行き方向に距離の変化があり、ｘ座標が大きいほど近くに存在していることを示している。黒点１１０１、１１０２、１１０３、１１０４は着目画素位置を表し、黒点１１０２と１１０３との間には、Ｓ４０９で行った合成処理での境界があるものとする。実線のグラフ線１１０９によれば、本来同一の被写体像内において距離が滑らかに変化すべきであるが、位置ずれ補正に伴う変形処理のために、合成処理後の境界が滑らかにつながっていないことがわかる。そこで本実施形態では、線分１１０５、１１０６、１１０７、１１０８で示すように、平滑化の範囲を設定して式（８）の整形処理が行われる。その結果、点線のグラフ線１１１０で示すように、同一の被写体像内で距離の信号値が平滑化され、合成処理後の境界が滑らかにつながっていることがわかる。

図４のＳ４１１の処理は、Ｓ４０３にて白とびの画素数および黒つぶれの画素数が閾値以下であると判定された場合に実行される。画像処理部１０７は、白とびや黒つぶれの影響によってデフォーカスマップの精度が低下することはないと判断し、適正露光時間での瞳分割画像からデフォーカスマップを生成して処理を終了する。

本実施形態では、画角内の画像の輝度差が大きく、白とびや黒つぶれが発生している場合であっても、撮影時刻および露光時間が異なる複数枚の瞳分割画像を用いることで、正確なデフォーカスマップを生成することができる。また本実施形態によれば、位置ずれ補正をデフォーカスマップに対して行うことで、位置ずれと相関演算の両方を考慮した高精度なデフォーカスマップを生成できる。さらには、合成後のデフォーカスマップに対して整形処理を施すことにより、位置ずれ補正による幾何変形処理によって生じたデフォーカスマップの歪みを低減できるので、被写体の輪郭に沿いつつ滑らかに変化するデフォーカスマップを生成できる。本実施形態によれば、撮影時刻の異なる複数枚の画像を用いて、位置合わせを考慮し、画角内の画像信号の輝度差が大きい場合でも、より正確なデフォーカスマップを生成することができる。

本実施形態では、デフォーカス量を算出するために一対の画像として瞳分割画像を使用した。これに限定されることはなく、ボケ状態が異なる一対の画像データを使用するＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）法を適用することも可能である。その場合であっても位置合わせ補正によるボケ量の変化はデフォーカスマップの算出精度の低下を招く可能性がある。そこで、デフォーカスマップに対して幾何変形処理が行われる。また、デフォーカスマップを整形する際に参照する整形用画像については、複数の組の画像のうちで被写体に焦点の合ったフォーカス画像とする。なお、本実施形態ではデフォーカスマップについて説明したが、公知の技術を用いて、撮像光学系を介した物体側の距離の分布に関するマップデータに変換した距離マップに対して本発明を適用することも可能である。このことは、後述する実施形態でも同じである。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、高感度撮影においてノイズ量が大きい場合でも正確なデフォーカスマップを生成可能な画像処理装置について説明する。本実施形態に係る撮像装置の機能構成および画像処理部の構成は第１実施形態の場合と同様であるため、既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。

図１１は本実施形態に係る画像処理部１０７の処理を説明するフローチャートである。以下、図１１のフローチャートに沿って説明を行う。
Ｓ１２００で撮像装置は高感度撮影を行い、連続する複数枚の瞳分割画像を取得する。このときの撮影枚数は２枚以上であればよい。または、予め撮像された複数枚の瞳分割画像のデータを記録媒体１０８に記録しておき、その画像を読み出す構成としてもよい。

Ｓ１２０１では、図４のＳ４０４の処理と同様に、瞳分割画像の加算処理によって全開口画像を生成する処理が実行される。Ｓ１２０２で画像処理部１０７は、基準となる瞳分割画像を選択し、Ｓ４０５の処理と同様にデフォーカスマップを生成する。本実施形態では最初に撮像された瞳分割画像を基準画像とする。また、以降の説明では、基準画像を用いて生成したデフォーカスマップを、基準デフォーカスマップと呼ぶ。高感度撮影の場合、ノイズ量が低感度撮影の場合よりも多い。そのため、ノイズの影響によって、算出されたデフォーカス量には、ばらつきが生じる。

Ｓ１２０３でマップ生成部３０２は、撮像された複数枚の瞳分割画像のうち、Ｓ１２０２で基準とした瞳分割画像以外の瞳分割画像を用いてデフォーカスマップを生成する。以下、基準とした瞳分割画像以外の瞳分割画像を、参照画像と呼ぶ。参照画像を用いて生成されるデフォーカスマップを、参照デフォーカスマップと呼ぶこととする。

Ｓ１２０４でパラメータ算出部３０３は、基準画像に対応する全開口画像と、各参照画像に対応した全開口画像との位置ずれを補正するための制御パラメータを生成する。制御パラメータの生成処理は図４のＳ４０７の処理と同じである。Ｓ１２０５で位置ずれ補正部３０４は、Ｓ１２０４で算出された位置ずれ補正用の制御パラメータを用いて、Ｓ１２０３で生成された参照デフォーカスマップを幾何変形処理する。参照デフォーカスマップに対する幾何変形処理が行われるため、幾何変形処理が相関演算に影響を与えることはない。

Ｓ１２０６で合成処理部３０５は、Ｓ１２０２で生成された基準デフォーカスマップと、Ｓ１２０５にて幾何変形処理された参照デフォーカスマップとを加算平均により合成して、合成デフォーカスマップを生成する。加算平均演算によってデフォーカスマップを合成することで、ノイズによるばらつきを低減することができ、高精度なデフォーカスマップが得られる。Ｓ１２０７でマップ整形部３０６は、図４のＳ４１０と同様に、Ｓ１２０６で生成された合成デフォーカスマップに対して整形処理を行う。

本実施形態によれば、高感度撮影にてノイズ量が大きい場合であっても、撮影時刻の異なる複数枚の瞳分割画像を用いることで、正確なデフォーカスマップを生成することができる。また、位置合わせ処理をデフォーカスマップに対して行うことで、位置ずれと相関演算の両方を考慮した高精度なデフォーカスマップを生成できる。さらには、合成処理後のデフォーカスマップに対して整形処理を施すことで、距離の信号値を正しい輪郭に合わせつつ、デフォーカスマップの歪みを低減することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ システム制御部
１０４ 撮像光学系
１０５ 撮像部
１０７ 画像処理部

Claims (21)

1. 第１および第２の組の画像データを取得する取得手段と、
   前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、
   前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、を備え、
   前記位置合わせ手段は、前記第１および第２の組の画像データから得られる制御パラメータを用いて幾何変形処理を行うことにより前記第１および第２のマップデータの位置合わせを行うことを特徴とする画像処理装置。
2. 第１および第２の組の画像データを取得する取得手段と、
   前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、
   前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、
   前記合成手段によって合成されたマップデータの整形処理を行う整形手段と、を備え、前記整形手段は、前記合成手段によって合成されたマップデータにおける着目画素に対し、当該着目画素とその周辺画素の出力を平滑化することで整形処理されたデフォーカス量を算出することを特徴とする画像処理装置。
3. 第１および第２の組の画像データを取得する取得手段と、
   前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、
   前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、を備え、
   前記合成手段は、前記第１または第２の組の画像データから加算により算出した画素値から、前記第１および第２のマップデータの合成に用いる合成比率を設定することを特徴とする画像処理装置。
4. 第１および第２の組の画像データを取得する取得手段と、
   前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、
   前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、を備え、
   前記合成手段は、前記位置合わせ手段が位置合わせに用いるパラメータにより、前記第１および第２のマップデータの合成に用いる合成比率を設定することを特徴とする画像処理装置。
5. 第１および第２の組の画像データを取得する取得手段と、
   前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成手段と、
   前記生成手段により生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成手段と、を備え、
   前記合成手段は、前記第１のマップデータと前記第２のマップデータとの差分値により、前記第１および第２のマップデータの合成に用いる合成比率を設定することを特徴とする画像処理装置。
6. 前記第１および第２の組の画像データは、視差を有する画像データまたはボケ状態が異なる画像データであることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第１の組の画像データと前記第２の組の画像データは、露光時間の異なる画像データであることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記整形手段は、前記第１および第２の組の画像データを合成した画像データまたは前記第１もしくは第２の組の画像データにおける着目画素の画素値と、前記着目画素の周辺画素の画素値とが近いほど前記周辺画素の出力に対する平滑化の重みを大きくすることを特徴とする請求項２に記載の画像処理装置。
9. 前記合成手段は、前記第１の組の画像データから前記生成手段により生成された前記第１のマップデータと、前記第２の組の画像データから前記生成手段が生成して、前記位置合わせ手段が前記第１のマップデータに対して位置合わせを行った前記第２のマップデータとを、加算平均により合成する処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
10. 前記位置合わせ手段は、画像内の焦点が合っている領域では前記第１または第２の組の画像データを加算した画像データを用いて前記制御パラメータを算出し、画像内の焦点が合っていない領域では前記第１または第２の組におけるひとつの画像データを用いて前記制御パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
11. 前記第１または第２の組の画像データにて、第１の閾値よりも大きい画素値をもつ画素の数または第２の閾値よりも小さい画素値をもつ画素の数をカウントする画素カウント手段を備え、
    前記合成手段は、前記画素カウント手段によりカウントされた画素の数が閾値よりも大きい場合に前記合成処理を行うことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記制御パラメータは射影変換係数であることを特徴とする請求項１または１０に記載の画像処理装置。
13. 前記位置合わせ手段は、前記第１および第２の組の画像データから得られる動きベクトルに基づく前記制御パラメータを用いて幾何変形処理を行うことを特徴とする請求項１または１０に記載の画像処理装置。
14. 前記マップデータは、物体側の距離の分布を示すデータであることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置と、
    撮像光学系を通して被写体を撮像する撮像素子を備え、
    前記撮像素子は、前記撮像光学系にて異なる瞳領域をそれぞれ通過した光を受光して光電変換する複数の光電変換部を有することを特徴とする撮像装置。
16. 第１および第２の組の画像データを取得して処理する画像処理装置により実行される画像処理方法であって、
    前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成工程と、
    前記生成工程にて生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程にて位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成工程と、を有し、
    前記位置合わせ工程では、前記第１および第２の組の画像データから得られる制御パラメータを用いて幾何変形処理を行うことにより前記第１および第２のマップデータの位置合わせが行われることを特徴とする画像処理方法。
17. 第１および第２の組の画像データを取得して処理する画像処理装置により実行される画像処理方法であって、
    前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成工程と、
    前記生成工程にて生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程にて位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成工程と、
    前記合成工程によって合成されたマップデータの整形処理を行う整形工程と、を有し、
    前記整形工程では、前記合成工程によって合成されたマップデータにおける着目画素に対し、当該着目画素とその周辺画素の出力を平滑化することで整形処理されたデフォーカス量を算出する処理が行われることを特徴とする画像処理方法。
18. 第１および第２の組の画像データを取得して処理する画像処理装置により実行される画像処理方法であって、
    前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成工程と、
    前記生成工程にて生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程にて位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成工程と、を有し、
    前記合成工程では、前記第１または第２の組の画像データから加算により算出した画素値から、前記第１および第２のマップデータの合成に用いる合成比率を設定する処理が行われることを特徴とする画像処理方法。
19. 第１および第２の組の画像データを取得して処理する画像処理装置により実行される画像処理方法であって、
    前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成工程と、
    前記生成工程にて生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程にて位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成工程と、を有し、
    前記合成工程では、前記位置合わせ工程で位置合わせに用いるパラメータにより、前記第１および第２のマップデータの合成に用いる合成比率を設定する処理が行われることを特徴とする画像処理方法。
20. 第１および第２の組の画像データを取得して処理する画像処理装置により実行される画像処理方法であって、
    前記第１および第２の組の画像データを用いて、被写体の距離に関する分布をそれぞれ表す第１および第２のマップデータを生成する生成工程と、
    前記生成工程にて生成された前記第１および第２のマップデータを取得して位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程にて位置合わせが行われた前記第１および第２のマップデータの合成処理を行う合成工程と、を有し、
    前記合成工程では、前記第１のマップデータと前記第２のマップデータとの差分値により、前記第１および第２のマップデータの合成に用いる合成比率を設定する処理が行われることを特徴とする画像処理方法。
21. 請求項１６から２０のいずれか１項に記載した画像処理方法の各工程を前記画像処理装置のコンピュータに実行させるためのプログラム。