JP5157464B2 - 画像処理装置 - Google Patents

Description

本発明は、デジタルカメラなどの撮像装置で取得した画像の記録処理を行う画像処理装置および記録された画像データについての処理を行う画像処理方法に関する。

デジタルカメラによる撮影では、２次元イメージセンサなどの撮像素子に配列されたカラーフィルタを透過して各画素に到達した光の強度を示す電気信号に対して、上述したカラーフィルタの配列を考慮した補間処理を行うことにより、各画素の位置において光の三原色に対応する色成分が揃った画像データが生成される。

一般的な２次元イメージセンサでは、正方形の画素が碁盤の目状に配置されており、Ｒ、Ｇ、Ｂ各成分に対応する分光フィルタがＢａｙｅｒ配列に従って配置されている。このＢａｙｅｒ配列では、輝度成分を反映しているＧ成分に対応する波長の光を透過するフィルタが斜め方向に連続して配置されており、Ｒ成分およびＢ成分に対応する波長の光を透過するフィルタは、行、列ともにそれぞれ一つ飛びで配置されている。

上述したようなＢａｙｅｒ配列で分光フィルタが配置されたイメージセンサでは、各画素の画素値は対応する分光フィルタの透過波長に対応する成分の強度のみを示しており、イメージセンサ上に結像された像の各画素の位置における色は、周囲の画素値をＲ、Ｇ、Ｂ成分それぞれについて補間する処理によって求められている。

このようにして得られた画像データは、更に、ＪＰＥＧ方式などに従って圧縮・符号化された後に、画像ファイルの画像データ部に格納され、露出値や撮影モードなどを含む様々な撮影条件を示す情報がヘッダ部に付加されて、コンパクトフラッシュメモリカードやＳＤメモリカードなどの着脱可能な記憶媒体に記録されるのが一般的である。

このようにして画像ファイルが記録された着脱可能な記憶媒体をパーソナルコンピュータに装着し、記録された画像ファイルを読み出すことにより、パーソナルコンピュータの処理能力を利用して、様々な画像処理を施すことができる。

例えば、デジタルカメラに備えられた撮像素子のダイナミックレンジに関する制限から生じるいわゆる「白とび」や「黒つぶれ」のような画素値が飽和した領域について画質の向上を図る技法として、複数種類の露出条件で同一の被写体を撮影し、得られた画像データを合成して、ダイナミックレンジの広い高品質の画像データを得る手法が提案されている(特許文献１参照)。
特開２００２−３０５６８４号公報

上述した特許文献１の技法では、様々な露出条件において同一の被写体を撮影して得られる複数の高解像度の画像データをメモリに蓄積し、これらの画像データを読み出して合成処理を行っている。このため、複数の高解像度の画像データを蓄積しておくための大容量のメモリが必要である上に、大容量の画像データを読み出す処理に要する時間のために、撮影速度を向上することが難しかった。

本出願人は、メモリ量の増大および読み込み処理負担の増大を抑制しつつ、広いダイナミックレンジを有する高解像度画像を合成することが可能な技術として、特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を既に出願している。

この技法では、本撮影で適用された露出条件とは異なる露出条件に対応する高解像度の画像データの代わりに、デジタルカメラに備えられた液晶表示部による表示に供される低解像度画像(スルー画像)を利用し、露出条件を変えて取得した複数のスルー画像を本撮影で得られた高解像度画像との合成処理に供することにより、画像処理装置の小型化および高速撮影への対応を実現している。

特許文献１の技法も上述した特願２００７−０１２５１６の技法も、画像のダイナミックレンジを広げる処理を行うために、複数の高解像度画像あるいは高解像度画像と複数のスルー画像として、補間処理後のＲＧＢ成分が揃った画像データを記録しておくことを前提としている。

その一方、ＪＰＥＧ方式では画像データの階調値が８ビットで表されるのに対して、撮像素子からの出力段階では、各画素の画素値が撮像素子の出力をディジタル値に変換するＡ／Ｄ変換器の精度に応じた情報量で表され、階調値を表すビット数が多い場合が多く、例えば１２ビットで表される場合もある。このため、ＪＰＥＧ方式に従う圧縮処理や補間処理などの一切の処理を行う前の、撮像素子の出力信号をＡ／Ｄ変換して得られたデータをそのまま保存する場合もある。

このような撮像素子から出力されたままのデータは、通常行われる様々な処理を施されていないデータであることから「生データ」あるいは「ＲＡＷデータ」と呼ばれ、ＲＡＷデータを記録する際には、このようなデータに適合するＲＡＷ形式ファイルとして記憶媒体に記録され、パーソナルコンピュータなどの高い処理能力を利用した様々な画像処理に供される。

本発明は、ＲＡＷ形式で記録された撮影画像に関連して取得された補助情報を利用した画像処理を行う画像処理方法および画像処理装置を提供することを目的とする。

本発明にかかわる画像処理方法は、撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、第１解像度以下の第２解像度を有する複数のＲＡＷ形式の画像である第２画像とを撮像手段から受け取り、第１画像と第２画像とを合成する際に、各第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正し、各第２画像に含まれる各画素の補正された階調値と、第１画像に含まれる対応する画素の画素値とを、合成によって得られる第１解像度を有する合成画像に含まれる各画素の階調値に反映し、反映を行う際に、第２画像に含まれる各画素の画素値を、色成分ごとにマッピングすることで、各色成分に対応する再配置画像を生成し、第１画像に含まれる各画素の画素値と、再配置画像において当該画素に対して所定の相対位置にマッピングされた第２画像の画素の画素値とを、合成画像に含まれる画素の階調値に反映することを特徴とする。

本発明にかかわる第１の画像処理装置は、撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、第１解像度以下の第２解像度を有するＲＡＷ形式の画像である第２画像とを撮像手段から受け取る受付手段と、第１画像と第２画像とを合成する合成手段とを備え、合成手段は、第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正する補正手段と、各第２画像に含まれる各画素の補正された階調値と、第１画像に含まれる対応する画素の画素値とを、合成によって得られる第１解像度を有する合成画像に含まれる各画素の階調値に反映する反映手段とを備え、反映手段は、第２画像に含まれる各画素の画素値を、色成分ごとにマッピングすることで、各色成分に対応する再配置画像を生成する生成手段を有し、第１画像に含まれる各画素の画素値と、再配置画像において当該画素に対して所定の相対位置にマッピングされた第２画像の画素の画素値とを、合成画像に含まれる画素の階調値に反映することを特徴とする。

本発明にかかわる第２の画像処理装置は、上述した第１の画像処理装置において、各第２画像は、異なる露出条件の下で取得されたＲＡＷ形式の画像であり、反映手段は、第２画像に配置された各色成分の画素の補正された階調値と、第１画像に配置された対応する色成分の画素の画素値とを反映するように、合成画像に配置された各色成分の画素の階調値を算出する第１算出手段を有することを特徴とする。

本発明にかかわる第３の画像処理装置は、上述した第１の画像処理装置において、第２画像は、第１画像と同一の露出条件で得られた複数のＲＡＷ形式の画像であり、反映手段は、第２画像に配列された各色成分の画素の階調値と、第１画像に配列された各色成分の画素の画素値とに基づいて、合成画像に含まれる各画素における各色成分の値を算出する第２算出手段を有することを特徴とする。

本発明にかかわる第４の画像処理装置は、撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、第１解像度以下の第２解像度を有する画像である第２画像とを撮像手段から受け取る受付手段と、第１画像と第２画像とを合成する合成手段とを備え、合成手段は、第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正する補正手段と、各第２画像に含まれる各画素の補正された階調値と、第１画像に含まれる対応する画素の画素値とを、合成によって得られる第１解像度を有する合成画像に含まれる各画素の階調値に反映する反映手段とを備え、反映手段は、第１画像および第２画像における各色成分の画素の配置に基づいて、第１画像に含まれる全ての画素位置について、第１画像および第２画像に含まれる各色成分の画素の階調値に適用する重みをそれぞれ算出する重み算出手段と、重み算出手段によって求められた重みを適用して階調値の調整を行うことにより、合成画像に含まれる全ての画素における各色成分の値を算出する第３算出手段とを備えたことを特徴とする。

本発明によれば、階調値が８ビットに圧縮される前の高いビット数で表されるＲＡＷ形式の高解像度画像の画像処理に補助情報を適用することにより、高解像度画像のダイナミックレンジを広げる処理や精度の高い補間画像を得る処理を行い、高解像度画像の画質を向上することが可能である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる画像処理装置の第１の実施形態を示す。

図１に示したデジタルカメラ２０では、画像の撮影の際に撮影光学系２１によって撮像素子２２上に結像された光は、撮像素子２２によってその強度に応じた電気信号に変換され、更に、アナログ／デジタル(Ａ／Ｄ)変換器２３によってデジタルデータに変換されてメモリ２４に保持される。図１に示したメモリ２４は、バスを介して画像処理部２５、記録処理部２７および撮影制御部２８に接続されており、この撮影制御部２８により、撮像素子２２に対する読み出しモードの切り換えが行われる。

図１に示した撮影制御部２８は、利用者によるレリーズボタンの操作に応じて、上述した撮像素子２２に全ての画素に対応するデータの読出を指示する高解像度モードを指示し、これに応じて撮像素子２２から読み出された電気信号から得られた高解像度画像データはメモリ２４に蓄積される。

図１に示した撮像素子２２として、Ｂａｙｅｒ配列に従って分光フィルタが配置された２次元ＣＣＤイメージセンサが備えられている場合には、アナログ・デジタル変換器２３によって得られたＢａｙｅｒ画像データがメモリ２４に保持される。なお、このメモリ２４に保持されたＢａｙｅｒ画像データは、後述するＲＡＷ形式での記録処理に供されるとともに、画像処理部２５による補間処理を経て撮影画像の確認などにも供される。

一方、レリーズボタンが操作される時点の前後では、撮影制御部２８により、撮像素子２２からの読み出しモードは、スルー画モードに切り換えられ、これに応じて、撮像素子２２内部での画素間引きや画素加算によって得られる低解像度画像データがメモリ２４を介して表示部２９による表示処理に供され、利用者に撮像範囲に関する情報を提供する。

これとともに、上述したスルー画モードが適用されている期間において、様々な露出条件の下で撮像素子２２における画素間引きで得られるＢａｙｅｒ配列の低解像度画像がメモリ２４に蓄積され、上述したＲＡＷ形式の高解像度画像データとともに記録処理部２７の処理に供され、これらのＲＡＷ形式の画像データが記憶媒体３０に記録される。

図１に示した記録処理部２７は、例えば、ＲＡＷ形式の高解像度画像データに少なくとも一つのＲＡＷ形式の低解像度画像データを含むヘッダを付加することにより、ＲＡＷ形式の高解像度画像データと少なくとも一つのＲＡＷ形式の低解像度画像データをひとまとめの画像ファイルとして記憶媒体３０に記録することができる。

このようにして記憶媒体３０に記録された画像ファイルは、図１に示した画像処理装置１０に備えられたカードリーダ１１によって読み取られ、画像ファイルに含まれるＲＡＷ形式の高解像度画像と同じくＲＡＷ形式の少なくとも一つの低解像度画像とが合成処理部１２の処理に供される。

図１に示した合成処理部１２において、位置合わせ処理部１３は、ＲＡＷ形式の高解像度画像を構成するＲ，Ｇ，Ｂ各成分の画像と複数の低解像度画像を構成するＲ，Ｇ，Ｂ各成分の画像とについてそれぞれ特徴抽出を行い、抽出した特徴に基づいて高解像度画像と各低解像度画像との位置ずれを補正する。また、図１に示したゲイン補正部１４により、高解像度画像と個々の低解像度画像との露出条件の違いに応じたゲイン補正が行われ、補正後の低解像度画像が、階調合成部１５により、上述した位置合わせ処理部１３による処理結果に基づいて高解像度画像と合成され、高解像度画像と同等の解像度を持つ合成画像が生成される。

なお、上述した位置合わせ処理部１３および階調合成部１５の詳細構成および詳細な動作については、本出願人が先に出願した特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を参照されたい。

階調合成部１５では、高解像度画像データにおけるＲ，Ｇ，Ｂ各成分の画素の位置を基準として、複数の低解像度画像データのＲ，Ｇ，Ｂ成分の画素をマッピングした再配置画像を形成し、この再配置画像のＲ，Ｇ，Ｂ成分の画素の階調値を高解像度画像データにおけるＲ，Ｇ，Ｂ各成分の画素の階調値に反映する。

位置合わせ処理部１３によって高解像度画像と取得された各スルー画像との間の位置合わせが行われ、この位置合わせ処理結果に基づいて、階調合成部１５により、スルー画像を構成するＲ画素，Ｇ画素およびＢ画素が、図２に示すように、高解像度画像と同密度の画素空間に再配置される。なお、図２においては、３つのスルー画像のＧ画素が、それぞれにマッピングされて得られた再配置画像を示し、Ｒ画素およびＢ画素についての図示は省略した。

このとき、階調合成部１５は、高解像度画像の露出値を基準として各スルー画像について、上述したゲイン補正部１４によってゲイン補正を施して得られたＧ画素の画素値を上述したようにして再配置することにより、再配置画像のＧ成分の階調値Ｂ_Ｇ（ｉ，ｊ）を得ることができる。同様にして、各スルー画像について、上述したゲイン補正部１４によってゲイン補正を施して得られたＲ画素の階調値およびＢ画素の階調値を上述したようにして再配置することにより、再配置画像のＲ成分の階調値Ｂ_Ｒ（ｉ，ｊ）およびＢ成分の階調値Ｂ_Ｂ（ｉ，ｊ）を得ることができる。

次いで、階調合成部３３は、高解像度画像のＲ画素の画素値Ａ_Ｒ（ｉ，ｊ），Ｇ画素の画素値Ａ_Ｇ（ｉ，ｊ）およびＢ画素の画素値Ａ_Ｂ（ｉ，ｊ）に、上述したようにして得られた再配置画像のＲ成分の階調値Ｂ_Ｒ（ｉ，ｊ）、Ｇ成分の階調値Ｂ_Ｇ（ｉ，ｊ）およびＢ成分の階調値Ｂ_Ｂ（ｉ，ｊ）を重み付け加算することにより、合成画像の各成分の階調値Ｃ_{ｋ（ｋ＝Ｒ、Ｇ、Ｂ）}（ｉ，ｊ）を求める。

階調合成部１５は、例えば、式(１)に示すように、Ｂａｙｅｒ画像である高解像度画像の注目画素(ｉ、ｊ)に対応する色成分の階調値ｐに近い値を持つ再配置画像のその色成分の階調値Ｂ_{ｋ（ｋ＝Ｒ、Ｇ、Ｂ）}（ｉ，ｊ）に大きな重みを与える重み関数Ｇ（ｉ，ｊ，ｐ）を用いて、式(２)に示すように、注目画素を中心とするフィルタサイズｍの重み付け加算処理を行うことで、同じくＢａｙｅｒ画像である合成画像における注目画素(ｉ、ｊ)に対応する色成分の階調値ｇ_{ｋ（ｋ＝Ｒ、Ｇ、Ｂ）}（ｉ，ｊ）を求めることができる。

なお、上述した式(１)では、関数ｆ(ｎ)により、例えば、露出アンダーで取得されたスルー画像についてゲイン補正を行って得られる各色成分の階調値Ｂ_{ｋ（ｋ＝Ｒ、Ｇ、Ｂ）}（ｉ，ｊ）がＲＡＷ形式における階調値のビット数以上になる場合に、これを最大階調値ＭＡＸ（例えば、１２ビットの場合は４０９６）に置き換えられ、上述した最大階調値ＭＡＸよりも大きな値を持つ階調値Ｂ_{ｋ（ｋ＝Ｒ、Ｇ、Ｂ）}（ｉ，ｊ）に対応する重みが過剰に小さくなることを防いでいる。

上述したようにして、高解像度画像を構成する各色成分の階調値に異なる露出値で取得された複数の低解像度画像を構成する各色成分の階調値を反映して、Ｂａｙｅｒ配列の合成画像を得ることができる。

例えば、図３(ａ)にヒストグラムで示すように、撮影画像において階調値が飽和してしまった画素が分布する範囲が存在した場合に、露出アンダーで取得されたスルー画像およびこれらをそれぞれゲイン補正した低解像度画像のヒストグラムに示すように(図３(ｂ)〜(ｅ)参照)、撮影画像においては階調値が飽和してしまう範囲に現れる度数分布のピーク(図３(ｃ)、(ｅ)において破線で囲んで示す)は、その範囲における階調値の変化が露出アンダーで取得されたスルー画像において保存されていることを示している。

上述したようにして得られた合成画像では、例えば、適正露出での撮影においては「白とび」となってしまった部分の各成分の階調値に、露出アンダーで取得されたスルー画像の各成分の階調値に残された階調変化の情報が反映されている。したがって、このＢａｙｅｒ配列の合成画像について、通常の補間処理を行うことにより、広いダイナミックレンジを持つ高解像度画像が得られる。

Ｂａｙｅｒ配列の高解像度画像およびスルー画像について上述した合成処理を行う場合は、注目画素に対応する色成分の階調値を式(１)、(２)を用いて計算するので、補間処理後の全ての画素に輝度成分と色差成分とが揃った画像データについて合成処理を行う場合に比べて、格段に少ない計算量で合成処理を実現することができる。

また、Ｂａｙｅｒ配列の画像データに代表されるＲＡＷ形式の画像データは、各画素の階調値を表すビット数も多い上に撮像素子２２の出力信号強度に極めて忠実なリニアなデータであり、ガンマ変換処理やＪＰＥＧ形式などに従って圧縮処理を行ったことで失われた情報を残している。したがって、補間処理やガンマ変換処理および圧縮処理後の高解像度画像およびスルー画像を用いて合成処理を行う場合に比べて、ＲＡＷ形式の高解像度画像およびスルー画像を合成することにより、現実の被写体における階調変化を忠実に再現することができる。

上述したように、補助情報として露出値の異なる複数のＲＡＷ形式のスルー画像を保存する場合には、画像処理対象の高解像度画像の取得に先立つ露出調整時などに取得されるスルー画像を利用することができる。したがって、上述したような階調値の補正処理を適用する場合でも、利用者はデジタルカメラのアングルを長く維持するなどといった特別の作業を行う必要がない。

このようにして得られた合成画像に対して、図１に示した補間処理部１６により、従来の高解像度画像と同様の補間処理を行い、また、ガンマ変換部１７により、適切なガンマ変換を施すことにより、画像処理装置１０に備えられた表示処理部１８およびディスプレイを介して利用者に提供することができる。また、ガンマ変換後の画像データについて、記録処理部１９において適切な圧縮処理を施して、ハードディスク装置などの補助記憶装置に記録することも可能である。
（第２の実施形態）
図４に、本発明にかかわる画像処理装置の第２の実施形態を示す。

なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図４に示した画像処理装置は、図１に示した階調合成部１５と補間処理部１６とに代えて一括処理部３１を備え、この一括処理部３１により、階調値の合成処理と補間処理とを一括して実行する。

一括処理部３１は、例えば、Ｂａｙｅｒ配列の合成画像の注目画素に対応する色成分については、上述した式(１)、(２)に従ってその色成分の合成された階調値を求め、他の色成分については、高解像度画像および再配置画像において注目画素の周囲に配置された対応する色成分の画素の階調値に、注目画素からの距離と高解像度画像の画素の階調値との差分とを考慮した適切な重みをつけて重加算平均を求める。

これにより、再配置画像にマッピングされたスルー画像における各色成分の階調値と高解像度画像における各色成分の階調値とを合成する処理と補間処理とを一括して行い、全ての画素において全ての色成分が揃った画像データを得ることができる。

例えば、適正露出で撮影された高解像度画像において階調値が飽和した領域が検出されなかった場合などには、上述したような露出値を変えて取得したスルー画像を利用した階調値補正処理をあえて行う必要はない。

このような場合にも、適正露出で取得したＲＡＷ形式のスルー画像を補助画像として高解像度画像とともに記録しておき、上述した一括処理部３１の処理により、ＲＡＷ形式のスルー画像の情報を利用して、ＲＡＷ形式の高解像度画像の補間処理の精度を向上することができる。

なぜなら、Ｂａｙｅｒ配列で分布している高解像度画像の各色成分の階調値に加えて、図２に示した再配置画像に分布する各色成分の階調値を利用して補間処理を行うことができるので、補間処理に利用可能な情報量が増大するからである。

また、デジタルカメラ２０により、ＲＡＷ形式の高解像度画像とともに、主要被写体部分の複数のスルー画像を画像ファイルに保存しておき、これらのスルー画像の各画素をマッピングして得られた再配置画像を高解像度画像の補間処理に利用することにより、部分的な(例えば、主要被写体部分の)解像度の向上を図ることができる。この場合は、同一の露出条件で取得したスルー画像の一部が補助画像として保存されるので、画像ファイルに記録される補助画像のデータ量を抑制することができる。

また、部分的な解像度の向上を図る用途では、複数のスルー画像を補助情報として保存する代わりに、例えば、主要被写体部分についてＲＡＷ形式の高解像度画像を取得し、これを補助情報として保存することも有用である。このように、高解像度画像を補助情報として取得する場合には、スルー画像を補助情報として取得する場合に比べて、取得に要する時間が長くなるものの、補間処理に供することができる情報量が増大するので、解像度の向上効果が特に期待できる。

一方、上述したような複数のスルー画像あるいは高解像度の部分画像を補助情報として画像ファイルに収める際に、適切な圧縮処理を施すことにより、画像ファイルの容量の増大を抑えることができる。

また一方、高速に移動する被写体を撮影する用途などでは、高解像度画像とともに画像ファイルに記録された複数のスルー画像から、これらのスルー画像において主要被写体が捉えられた位置を示す情報を抽出し、この位置情報を使って、高解像度画像に移動物体の軌跡を表示することができる。

なお、デジタルカメラ１０についてのモード設定などにより、利用者が低解像度画像を用いた画像補正処理を望まないことが示されている場合は、ＲＡＷ形式の高解像度画像のみが画像ファイルに記録される。

以上に説明したように、本発明の画像処理方法および画像処理装置によれば、ＲＡＷ形式で記録された高解像度画像に、この高解像度画像とともに記録された補助情報を利用した画像処理を行って、最終的に得られる高解像度画像の表現力を向上することができるので、画像処理の分野においてきわめて有用である。

本発明にかかわる画像処理装置の第１の実施形態を示す図である。 再配置画像を説明する図である。 階調合成を説明する図である。 本発明にかかわる画像処理装置の第２の実施形態を示す図である。

符号の説明

１０…画像処理装置、１１…カードリーダ、１２…合成処理部、１３…位置合わせ処理部、１４…ゲイン補正部、１５…階調合成部、１６…補間処理部、１７…ガンマ変換部、１８，２９…表示処理部、１９，２７…記録処理部、２０…デジタルカメラ、２１…撮影光学系、２２…撮像素子、２３…アナログ／デジタル(Ａ／Ｄ)変換器、２４…メモリ、２５…画像処理部、２７…記録処理部、２８…撮影制御部、３０…記憶媒体、３１…一括処理部。

Claims (5)

1. 撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、前記第１解像度以下の第２解像度を有する複数のＲＡＷ形式の画像である第２画像とを前記撮像手段から受け取り、
   前記第１画像と前記第２画像とを合成する際に、
   前記各第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正し、
   前記各第２画像に含まれる各画素の補正された階調値と、前記第１画像に含まれる対応する画素の画素値とを、合成によって得られる前記第１解像度を有する合成画像に含まれる各画素の階調値に反映し、
   前記反映を行う際に、
   前記第２画像に含まれる各画素の画素値を、色成分ごとにマッピングすることで、前記各色成分に対応する再配置画像を生成し、
   前記第１画像に含まれる各画素の画素値と、前記再配置画像において当該画素に対して所定の相対位置にマッピングされた前記第２画像の画素の画素値とを、前記合成画像に含まれる画素の階調値に反映する
   ことを特徴とする画像処理方法。
2. 撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、前記第１解像度以下の第２解像度を有するＲＡＷ形式の画像である第２画像とを前記撮像手段から受け取る受付手段と、
   前記第１画像と前記第２画像とを合成する合成手段とを備え、
   前記合成手段は、
   前記第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正する補正手段と、
   前記各第２画像に含まれる各画素の補正された階調値と、前記第１画像に含まれる対応する画素の画素値とを、合成によって得られる前記第１解像度を有する合成画像に含まれる各画素の階調値に反映する反映手段とを備え、
   前記反映手段は、
   前記第２画像に含まれる各画素の画素値を、色成分ごとにマッピングすることで、前記各色成分に対応する再配置画像を生成する生成手段を有し、
   前記第１画像に含まれる各画素の画素値と、前記再配置画像において当該画素に対して所定の相対位置にマッピングされた前記第２画像の画素の画素値とを、前記合成画像に含まれる画素の階調値に反映する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記各第２画像は、異なる露出条件の下で取得されたＲＡＷ形式の画像であり、
   前記反映手段は、前記第２画像に配置された各色成分の画素の補正された階調値と、前記第１画像に配置された対応する色成分の画素の画素値とを反映するように、前記合成画像に配置された各色成分の画素の階調値を算出する第１算出手段を有する
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記第２画像は、前記第１画像と同一の露出条件で得られた複数のＲＡＷ形式の画像であり、
   前記反映手段は、
   前記第２画像に配列された各色成分の画素の補正された階調値と、前記第１画像に配列された各色成分の画素の画素値とに基づいて、前記合成画像に含まれる各画素における各色成分の値を算出する第２算出手段を有する
   ことを特徴とする画像処理装置。
5. 撮像手段によって取得されたＲＡＷ形式の第１解像度を有する第1画像と、前記第１解像度以下の第２解像度を有する画像である第２画像とを前記撮像手段から受け取る受付手段と、
   前記第１画像と前記第２画像とを合成する合成手段とを備え、
   前記合成手段は、
   前記第２画像に含まれる各画素の階調値を、当該第２画像を撮影した際に適用された露出条件に基づいて補正する補正手段と、
   前記各第２画像に含まれる各画素の補正された階調値と、前記第１画像に含まれる対応する画素の画素値とを、合成によって得られる前記第１解像度を有する合成画像に含まれる各画素の階調値に反映する反映手段とを備え、
   前記各第２画像は、異なる露出条件の下で取得されたＲＡＷ形式の画像であり、
   前記反映手段は、
   前記第１画像および前記第２画像における各色成分の画素の配置に基づいて、前記合成画像に含まれる全ての画素位置について、前記第１画像および前記第２画像に含まれる各色成分の画素の階調値に適用する重みをそれぞれ算出する重み算出手段と、
   前記重み算出手段によって求められた重みを適用して階調値の調整を行うことにより、前記合成画像に含まれる全ての画素における各色成分の値を算出する第３算出手段とを備えた
   ことを特徴とする画像処理装置。

Images