JP5315125B2 - 画像処理装置、撮像装置、および合成画像の生成方法 - Google Patents

Description

本発明は、画像合成技術に関する。

一般的に、風景のダイナミックレンジ（最も明るい部分と最も暗い部分の明暗の比）に比べて、ＣＣＤ等の撮像素子のダイナミックレンジは狭いことが知られている。

そこで、同一の被写体を異なる撮影条件で複数回撮影して、異なる範囲のダイナミックレンジをもつ画像（「参照画像」とも称する）を複数取得し、当該複数の参照画像を合成することによりダイナミックレンジの広い画像（「ハイダイナミックレンジ画像」とも称する）を生成する技術が存在する。

例えば、特許文献１には、参照画像として長時間露光画像と短時間露光画像とを取得し、各画像を適正露光領域と不適正露光領域とに分割して、適正露光領域ごとに階調補正を行い、階調補正された適正露光領域を合成して一のハイダイナミックレンジ画像を生成する画像処理装置が提案されている。

特開２０００−２２８７４７号公報

しかしながら、取得された参照画像において適正露光領域であるか否かの判断は、対象画素の画素値と、適正露出の上限を示す所定の閾値との比較に基づいて行われるため、合成された画像の良否は、所定の閾値の影響を受けることになる。

このような画像合成に用いられる上記所定の閾値は、通常、撮像装置の設計者によって固定値に手動で設定されるため、取得された参照画像それぞれに適した値になる可能性が低い。また、閾値の設定をユーザに行わせることも考えられるが、ユーザが最適な閾値を設定するのは、困難である。

そこで、本発明は、取得された参照画像に応じた最適な閾値を自動的に設定して、ダイナミックレンジの広い合成画像を生成することが可能な技術を提供することを目的とする。

本発明の第１の側面は、画像処理装置であって、所定被写体に関する第１画像と、前記所定被写体を前記第１画像とは異なる撮影条件で撮影した第２画像とをそれぞれ取得する画像取得手段と、前記第１画像を構成する画素の画素値と前記第２画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段とを備え、前記画像合成手段は、前記第１画像と前記第２画像との露出の高低順位を判別する判別手段と、前記第１画像および前記第２画像それぞれにおいて、前記第１画像および前記第２画像それぞれの画素値ごとに、当該それぞれの画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、前記第１画像または前記第２画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第１画像および前記第２画像それぞれについて設定する設定手段と、前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段とを有し、前記設定手段は、前記第１画像における画素値ごとの前記累積度数と、前記第２画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する特定手段と、前記特定手段によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する探索手段とを含み、前記設定手段は、前記探索手段によって探索された対応画素値の組み合わせを、前記第１画像における第１の閾値と前記第２画像における第２の閾値との組として設定する。

本発明の第２の側面は、撮像装置であって、同一被写体を異なる撮影条件で撮影し、第１画像と第２画像とをそれぞれ取得する撮影手段と、前記第１画像を構成する画素の画素値と前記第２画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段とを備え、前記画像合成手段は、前記第１画像と前記第２画像との露出の高低順位を判別する判別手段と、前記第１画像および前記第２画像それぞれにおいて、前記第１画像および前記第２画像それぞれの画素値ごとに、当該それぞれの画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、前記第１画像または前記第２画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第１画像および前記第２画像それぞれについて設定する設定手段と、前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段とを有し、前記設定手段は、前記第１画像における画素値ごとの前記累積度数と、前記第２画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する特定手段と、前記特定手段によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する探索手段とを含み、前記設定手段は、前記探索手段によって探索された対応画素値の組み合わせを、前記第１画像における第１の閾値と前記第２画像における第２の閾値との組として設定する。

本発明によれば、取得された参照画像に応じて最適な閾値を自動的に設定して、ハイダイナミックレンジ画像を生成することができる。

本発明の第１実施形態に係る撮像装置の機能構成を示すブロック図である。 ハイダイナミックレンジ画像生成部内の機能構成を示す図である。 ２枚の参照画像に関する度数分布を図に表した度数分布図である。 高露出画像に関するヒストグラムと、低露出画像に関するヒストグラムと、これらのヒストグラムを合成して得られる合成ヒストグラムとを示す図である。 ハイダイナミックレンジ画像の画素値決定手法を説明するための図である。 ハイダイナミックレンジ画像の画素値決定手法を説明するための図である。 撮像装置の動作を示すフローチャートである。 第２実施形態に係る撮像装置で実行されるハイダイナミックレンジ画像の生成の様子を、ヒストグラムを用いて概念化した図である。 第３実施形態に係る画像処理装置の機能構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

＜１．第１実施形態＞
［１−１．構成概要］
図１は、本発明の第１実施形態に係る撮像装置１Ａの機能構成を示すブロック図である。

図１に示すように、撮像装置１Ａは、撮像部１０１、ＡＦＥ（アナログフロントエンド）１０２、画像処理部１０３、画像メモリ１０４、着脱可能な記録デバイス１０５、操作部１０６、および全体制御部１１０等を有している。

撮像部１０１は、例えば、ＣＯＭＳセンサまたはＣＣＤセンサなどの撮像素子を有して構成され、被写体像を形成する光（被写体光）を受光して、被写体像に関する画像信号を生成する機能を有している。

ＡＦＥ１０２は、撮像素子に対して所定の動作を実行させるタイミングパルスを与えるとともに、撮像素子から出力される画像信号に所定の信号処理を施し、デジタル信号に変換して画像処理部１０３に出力する機能を有している。

具体的には、このＡＦＥ１０２は、タイミング制御回路、信号処理部およびＡ／Ｄ変換部などを備えて構成されている。

タイミング制御回路は、全体制御部１１０から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成して撮像素子に出力し、撮像素子の撮像動作を制御する。また、所定のタイミングパルスを信号処理部およびＡ／Ｄ変換部にそれぞれ出力することにより、信号処理部およびＡ／Ｄ変換部の動作を制御する。

信号処理部は、撮像素子から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路およびクランプ回路等が備えられている。

Ａ／Ｄ変換部は、信号処理部から出力されたアナログの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画像信号を、タイミング制御回路から出力されるタイミングパルスに基づいて、複数のビット（例えば８ビット）からなるデジタルの画像信号に変換するものである。デジタル信号に変換された画像信号は、画像処理部１０３に入力される。

画像処理部１０３に入力された画像信号は、一旦、画像メモリ１０４に画像データとして格納される。以後、この画像メモリ１０４に格納された画像データにアクセスして、画像処理部１０３の各種処理が実行される。

なお、画像メモリ１０４は、生成された画像データを一時的に記憶するための、高速アクセス可能なメモリであり、複数フレーム分の画像データを記憶可能な容量を有している。

ここで、画像処理部１０３で実現される各種処理について詳述する。画像処理部１０３は、ホワイトバランス（ＷＢ）制御部３１と画素補間部３２とガンマ補正部３３とＹＣＣ変換部３４とハイダイナミックレンジ（ＨＤＲ）画像生成部３５とを有している。

ホワイトバランス制御部３１は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)各色成分のデジタル信号のレベルを変換するホワイトバランス補正を行う。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。

画素補間部３２は、画像メモリ１０４に格納された画像データにおいて、画素の不足している色成分を、当該画素に隣接している周辺画素の色情報を用いて補間により求める。

ガンマ補正部３３は、ＷＢ調整された画像信号の階調特性を補正するものである。具体的には、ガンマ補正部３３は、予め設定されたガンマ補正用テーブルを用いて、画像信号のレベルを色成分毎に非線形変換するとともにオフセット調整を行う。

ＹＣＣ変換部３４は、画像データの色空間を変換する。具体的には、ＹＣＣ変換部３４では、下記の式（１）を用いたマトリクス演算によりＲＧＢの原色成分をもつ色空間が、輝度成分と色差成分とをもつ色空間に変換される。

なお、式（１）中の「Ｒ（ｉ，ｊ）」、「Ｇ（ｉ，ｊ）」、「Ｂ（ｉ，ｊ）」、「Ｙ（ｉ，ｊ）」、「Ｃｂ（ｉ，ｊ）」、および「Ｃｒ（ｉ，ｊ）」は、参照画像の左下を原点とした場合に、当該参照画像におけるＸ方向ｉ番目、Ｙ方向ｊ番目の位置に存在する画素のＲ信号、Ｇ信号、Ｂ信号、輝度信号、および２つの色差信号をそれぞれ示している。

この色空間変換によって、画像データを構成する、各画素の輝度成分の信号値（Ｙ）と、各画素の色差成分の信号値（Ｃｒ，Ｃｂ）とがそれぞれ取得される。なお、以下では、輝度成分の信号値を「輝度信号」または「輝度値」とも称し、色差成分の信号値を「色差信号」または「色差信号値」とも称する。

ハイダイナミックレンジ画像生成部３５は、同一被写体を異なる撮影条件で撮影することにより取得された複数の画像を合成して、ダイナミックレンジの広い合成画像（「ハイダイナミックレンジ画像」とも称する）を生成する画像合成手段として機能する。

ハイダイナミックレンジ画像（ＨＤＲ画像）の生成に用いられる画像は、参照画像とも称される。当該参照画像を撮影する際の撮影条件には、シャッタースピード並びに絞り値の露出条件、およびフラッシュの発光量が含まれ、異なる撮影条件で撮影された各参照画像では、露光量が異なることになる。なお、ハイダイナミックレンジ画像の生成手法については、後述する。

操作部１０６は、レリーズボタン、撮影モード等を設定するメニューボタンを含む各種ボタンおよびスイッチ等を備えて構成される。操作部１０６に対するユーザの入力操作に応答して、全体制御部１１０等が各種動作を実行させる。例えば、レリーズボタンの押下操作が検出されると、本撮影画像の撮影動作が実行される。

全体制御部１１０は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。全体制御部１１０は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、露出制御部１１１、指示制御部１１２、撮影制御部１１３、および表示制御部１１４等を機能的に実現する。

露出制御部１１１は、シャッタースピードと絞り値とを調節する露出制御を行うものである。具体的には、露出制御部１１１は、撮像素子によって取得される被写体の輝度情報に基づいて露出値を決定し、さらに、決定した露出値に基づいてシャッタースピードおよび絞り値を設定する。このように撮像装置１Ａは、露出制御部１１１による露出制御によって露光時間を自動で算出することができる。

指示制御部１１２は、操作部１０６を用いたユーザの入力指示を検出して、当該入力指示に応じた所定動作の実行指示を行う。

例えば、メニューボタン等の操作により、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された場合は、指示制御部１１２は、露出制御部１１１に対して参照画像を撮影する際のシャッタースピードおよび絞り値の設定指示を行う。そして、レリーズボタンの押下操作を検出すると、指示制御部１１２は、次述の撮影制御部１１３に対して、参照画像の撮影指示を行う。

撮影制御部１１３は、選択された撮影モードにおける各種撮影動作を制御する機能を有している。

例えば、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された状態で、指示制御部１１２から参照画像の撮影指示を受けた場合は、撮影制御部１１３は、露出制御部１１１において設定されたシャッタースピードおよび絞り値に基づいた露光を複数回行い、複数の参照画像を取得するように制御する。

表示制御部１１４は、モニタ１２などの表示部における表示内容を制御する。例えば、表示制御部１１４は、再生モードにおいて、記録デバイス１０５に保存された画像データを読み出し、画像表示を行う。

［１−２．ハイダイナミックレンジ画像の生成について］
ここで、撮像装置１Ａで実行されるハイダイナミックレンジ画像の生成処理について詳述する。

上述のように、撮像装置１Ａは、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された状態では、同一被写体についての撮影画像（参照画像）を異なる撮影条件で複数取得し、取得された複数の参照画像を合成することによって、ハイダイナミックレンジ画像を生成することができる。

ハイダイナミックレンジ画像の生成処理は、主にハイダイナミックレンジ画像生成部３５において実行される。図２は、ハイダイナミックレンジ画像生成部３５内の機能構成を示す図である。

図２に示されるように、ハイダイナミックレンジ画像生成部３５は、度数分布取得部３５１と、露出高低順位判別部（判別手段）３５２と、累積度数算出部（累積度数算出手段）３５３と、対応輝度値特定部（特定手段）３５４と、境界輝度値探索部（探索手段）３５５と、画素値決定部（画素値決定手段）３５６とを有している。

撮像部１０１で複数の参照画像が取得されると、各参照画像は、ＡＦＥ１０２を介して画像処理部１０３に入力され、画像メモリ１０４に格納される。そして、画像処理部１０３のＹＣＣ変換部３４による色空間変換等が施された後、参照画像は、ハイダイナミックレンジ画像生成部３５に入力される。なお、以下では、異なる撮影条件で取得された２枚の参照画像を合成して、ハイダイナミックレンジ画像を生成する場合を例示する。また、参照画像を構成する各画素の画素値は、輝度値および色差信号値を含み、輝度値および色差信号値はそれぞれ８ビットで表されるものとする。

度数分布取得部３５１は、２枚の参照画像を構成する各画素の輝度値を比較して、輝度値に対する画素の度数（個数）を表す度数分布を取得する。図３は、２枚の参照画像に関する度数分布を図に表した度数分布図（ヒストグラム）ＨＧ１，ＨＧ２である。

露出高低順位判別部３５２は、入力された２枚の参照画像のうち、どちらの画像が露光量の多い画像かについての順位（「露出の高低順位」または「露出高低順位」とも称する）を判別する。参照画像の露出高低順位は、各参照画像の特徴量を比較することによって判別することができる。

参照画像の特徴量としては、例えば、参照画像の平均輝度値を採用することができる。具体的には、露出高低順位判別部３５２では、各参照画像の平均輝度値が算出され、当該平均輝度値を比較して露出高低順位が判別される。すなわち、２枚の参照画像の平均輝度値の比較により平均輝度値が高いと判別された画像は、比較的露光量の多い高露出画像ＫＨとされ、平均輝度値が低いと判別された画像は、比較的露光量の少ない低露出画像ＫＬとされる。例えば、図３では、ヒストグラムＨＧ１で表される輝度値で構成された参照画像は、高露出画像ＫＨと判別され、ヒストグラムＨＧ２で表される輝度値で構成された参照画像は、低露出画像ＫＬと判別される。

累積度数算出部３５３は、度数分布取得部３５１で取得された度数分布に基づいて、所定輝度値以下の度数全体を加え合わせた累積度数（「累積画素数」とも称する）を算出する。具体的には、参照画像ＫＮに関する所定輝度値「ｑ」以下の累積度数「Ｐ_KN（ｑ）」は、下記の式（２）に基づいて算出される。

なお、式（２）中のＨ_KN（Ｙ）は、参照画像ＫＮにおける輝度値「Ｙ」の画素の度数を示している。

累積度数算出部３５３では、参照画像それぞれについて、各輝度値に対する累積度数が算出されるので、輝度値が８ビットで表される場合は、輝度値「０」から輝度値「２５５」までの２５６個の累積度数が参照画像ごとに算出されることになる。

対応輝度値特定部３５４は、累積度数算出部３５３で取得された各参照画像の累積度数「Ｐ_KN（Ｙ）」を比較して、２枚の参照画像間において、互いの累積度数が最も近くなる輝度値（「対応輝度値」とも称する）の組み合わせを特定する。

具体的には、対応輝度値特定部３５４では、２枚の参照画像のうち、一方の参照画像（例えば、高露出画像ＫＨ）の所定輝度値における累積度数に対して、他方の参照画像（例えば、低露出画像ＫＬ）において、最も近い累積度数となる輝度値が特定される。このような対応輝度値の特定は、一方の参照画像の輝度値ごとに行われ、輝度値が８ビットで表される場合は、２枚の参照画像間において２５６組の対応輝度値が特定される。

また、このような対応輝度値の特定処理は、２枚の参照画像における各累積度数の差が最小となるときの輝度値の組を特定する処理であるとも表現できる。すなわち、対応輝度値の特定処理は、参照画像Ｋ１の累積度数「Ｐ_K1（Ｙ１）」と参照画像Ｋ２の累積度数「Ｐ_K2（Ｙ２）」とを用いて表される式（３）の数式によって算出される値を、最小化するような輝度値の組を求める処理であると考えることができる。

式（３）を用いて対応輝度値の組を特定する場合は、まず、２枚の参照画像のうち一方の参照画像における輝度値「Ｙ１」を或る値に固定して、上記式（３）で算出される値を最小化する輝度値「Ｙ２」が特定される。そして、固定側の輝度値「Ｙ１」に対応する輝度値が特定されたときは、固定値を変更して再び式（３）を用いた対応輝度値の特定処理が行われる。このような一連の処理を繰り返すことによって、２５６組の対応輝度値が特定される。

境界輝度値探索部（「繋ぎ目輝度値探索部」とも称する）３５５は、対応輝度値特定部３５４で特定された複数組の対応輝度値の組み合わせの中から、２枚の参照画像に関する度数分布を合成する際の境界輝度値の組み合わせを探索する。

境界輝度値の組の探索は、対応輝度値の組を用いて２枚の参照画像に関する度数分布を合成して度数分布（「合成度数分布」とも称する）を得た場合に、当該合成度数分布の階級を表す輝度値のダイナミックレンジが最大となるような対応輝度値の組を特定することによって行われる。

具体的には、図４を用いて境界輝度値の探索処理を概念化して説明する。図４には、高露出画像ＫＨに関するヒストグラムＨＧ１および低露出画像ＫＬに関するヒストグラムＨＧ２と、当該各ヒストグラムＨＧ１，ＨＧ２を合成して得られるヒストグラム（「疑似合成ヒストグラム」または「合成ヒストグラム」とも称する）ＨＧ３とが示されている。

図４に示されるように、例えば、高露出画像ＫＨにおける輝度値「ａ」と、低露出画像ＫＬにおける輝度値「ｂ」とが、対応輝度値の組として特定され、当該対応輝度値の組を用いて度数分布を合成するものとする。この場合、度数分布の合成処理をヒストグラム上で表すと、度数分布の合成は、高露出画像ＫＨにおける輝度値「０」から輝度値「ａ」までの各度数と、低露出画像ＫＬにおける輝度値「ｂ」から輝度値「２５５」までの各度数とを組み合わせて合成ヒストグラムＨＧ３を生成することに相当する。

なお、合成度数分布を構成する画素の個数（画素数）は、各参照画像の画素数とほぼ等しくなる。これは、対応輝度値特定部３５４によって、２枚の参照画像間において累積度数の最も近い輝度値の組が対応輝度値の組として特定され、当該対応輝度値の組を用いて合成度数分布が得られるためである。したがって、対応輝度値特定部３５４では、参照画像の画素数と合成度数分布を構成する画素数とがほぼ一致する輝度値の組が対応輝度値の組として特定されるとも表現することができる。

このように、合成度数分布は、露出高低順位判別部３５２における判別結果および対応輝度値を用いて、２枚の参照画像から高露出画像ＫＨにおける低輝度帯の画素情報と、低露出画像ＫＬにおける高輝度帯の画素情報とをそれぞれ抽出し、抽出された両者を組み合わせて生成される。

そして、このとき、合成ヒストグラムＨＧ３では、階級を示す輝度値の範囲は、「０」から「２５５＋ａ−ｂ」となるので、合成ヒストグラムＨＧ３のダイナミックレンジ、すなわち合成度数分布のダイナミックレンジＤ（ａ，ｂ）は、式（４）で表されることになる。

ここで、境界輝度値の組を探索する処理では、上述のように、合成度数分布の輝度値のダイナミックレンジを最大にする対応輝度値の組を境界輝度値の組として特定する処理が実行される。したがって、境界輝度値探索部３５５では、上記式（４）で表されるダイナミックレンジ「Ｄ（ａ，ｂ）」を最大にする対応輝度値「ａ」、「ｂ」が境界輝度値「Ｌ１」、「Ｌ２」として特定されることになる。

このように、境界輝度値探索部３５５では、高露出画像ＫＨにおける対応輝度値「ａ」から低露出画像ＫＬにおける対応輝度値「ｂ」を差し引いた値が最も大きくなるときの対応輝度値の組み合わせが、複数組の対応輝度値の組み合わせの中から探索される。そして、探索された対応輝度値の組が、それぞれ高露出画像ＫＨにおける境界輝度値「Ｌ１」、低露出画像ＫＬにおける境界輝度値「Ｌ２」として設定される。

なお、上記では、境界輝度値の探索についての理解を容易にするためにヒストグラムを用いて説明したが、実際の境界輝度値の探索処理では、ヒストグラムを生成しなくてもよい。

画素値決定部３５６は、境界輝度値探索部３５５で特定された境界輝度値「Ｌ１」、「Ｌ２」および２枚の参照画像（高露出画像ＫＨおよび低露出画像ＫＬ）の各画素の画素値に基づいて、ハイダイナミックレンジ画像の各画素の画素値を決定する。

具体的には、画素値決定部３５６は、高露出画像ＫＨにおいて境界輝度値「Ｌ１」よりも小さい画素値と、低露出画像ＫＬにおいて境界輝度値「Ｌ２」よりも大きい画素値とを用いて、ハイダイナミックレンジ画像の画素値を決定する。

より詳細には、ハイダイナミックレンジ画像の左下を原点としたときに、当該ハイダイナミックレンジ画像におけるＸ方向ｉ番目、Ｙ方向ｊ番目の位置に存在する画素の輝度値「Ｙ_H（ｉ，ｊ）」は、式（５）を用いて算出することができる。

ここで、式（５）を用いた輝度値決定手法を詳述する。ハイダイナミックレンジ画像における位置（ｉ，ｊ）の画素の輝度値を決定する場合は、まず、高露出画像ＫＨおよび低露出画像ＫＬそれぞれの位置（ｉ，ｊ）における画素の輝度値が取得される。

そして、高露出画像ＫＨの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KH（ｉ，ｊ）」が、境界輝度値「Ｌ１」より小さいときは、高露出画像ＫＨの輝度値「Ｙ_KH（ｉ，ｊ）」が、ハイダイナミックレンジ画像の輝度値「Ｙ_H（ｉ，ｊ）」として採用される。また、低露出画像ＫＬの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KL（ｉ，ｊ）」が、境界輝度値「Ｌ２」より大きいときは、低露出画像ＫＬの輝度値「Ｙ_KL（ｉ，ｊ）」を境界輝度値で補正した値が、ハイダイナミックレンジ画像の輝度値「Ｙ_H（ｉ，ｊ）」として採用される。なお、ここでは、低露出画像ＫＬの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KL（ｉ，ｊ）」が、境界輝度値「Ｌ２」と等しいときも、低露出画像ＫＬの輝度値「Ｙ_KL（ｉ，ｊ）」を境界輝度値で補正した値が、ハイダイナミックレンジ画像の輝度値「Ｙ_H（ｉ，ｊ）」として採用されるものとする。

また、ハイダイナミックレンジ画像における位置（ｉ，ｊ）の画素の色差信号値「Ｃｂ_H（ｉ，ｊ）」は、式（６）を用いて算出することができる。

より詳細には、ハイダイナミックレンジ画像における位置（ｉ，ｊ）の画素の色差信号値「Ｃｂ_H（ｉ，ｊ）」を決定する場合、高露出画像ＫＨの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KH（ｉ，ｊ）」が、境界輝度値「Ｌ１」より小さいときは、高露出画像ＫＨの色差信号値「Ｃｂ_KH（ｉ，ｊ）」が、ハイダイナミックレンジ画像の色差信号値「Ｃｂ_H（ｉ，ｊ）」として採用される。また、低露出画像ＫＬの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KL（ｉ，ｊ）」が、境界輝度値「Ｌ２」より大きいときは、低露出画像ＫＬの色差信号値「Ｃｂ_KL（ｉ，ｊ）」が、ハイダイナミックレンジ画像の色差信号値「Ｃｂ_H（ｉ，ｊ）」として採用される。なお、ここでは、低露出画像ＫＬの位置（ｉ，ｊ）における画素の輝度値「Ｙ_KL（ｉ，ｊ）」が、境界輝度値「Ｌ２」と等しいときも、低露出画像ＫＬの色差信号値「Ｃｂ_KL（ｉ，ｊ）」が、ハイダイナミックレンジ画像の色差信号値「Ｃｂ_H（ｉ，ｊ）」として採用されるものとする。

また、画素値決定部３５６では、もう一方の色差信号値「Ｃｒ_H（ｉ，ｊ）」についても、既述の色差信号値「Ｃｂ_H（ｉ，ｊ）」の決定手法と同様の原理で、下記の式（７）を用いて算出される。

このように、画素値決定部３５６では、参照画像の境界輝度値と、当該参照画像の各画素の輝度値との大小関係に基づいて、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値が選択される。

なお、各参照画像について設定された境界輝度値は、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際に、当該選択の基準として用いられることになる。このような観点に基づけば、対応輝度値特定部３５４および境界輝度値探索部３５５は、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際の基準値を設定する設定手段として機能しているとも表現できる。

また、上記のような画素値決定手法では、ハイダイナミックレンジ画像の画素において、高露出画像ＫＨおよび低露出画像ＫＬから重複して画素値が採用されることになる画素（「重複画素」とも称する）、または画素値が決定されない画素（「空白画素」とも称する）が発生しうる。図５および図６は、ハイダイナミックレンジ画像の画素値決定手法を説明するための図である。

具体的には、ハイダイナミックレンジ画像の或る位置（ｉｗ，ｊｗ）における画素の輝度値を決定する場合に、高露出画像ＫＨの位置（ｉｗ，ｊｗ）における画素の輝度値「Ｙｗ１」が、境界輝度値「Ｌ１」より小さく、低露出画像ＫＬの位置（ｉｗ，ｊｗ）における画素の輝度値「Ｙｗ２」が、境界輝度値「Ｌ２」より大きい場合を想定する。この場合、上記式（５）によれば、高露出画像ＫＨに基づく輝度値「Ｙｗ１」および低露出画像ＫＬに基づく輝度値「Ｙｗ２」の２つの輝度値が、ハイダイナミックレンジ画像の輝度値として算出されることになる。

このように、画素値が重複して算出された場合は、高露出画像ＫＨおよび低露出画像ＫＬそれぞれの度数分布において、算出された画素値と境界輝度値「Ｌ１」、「Ｌ２」との差の絶対値を算出し、絶対値が大きい方の画素値に基づいて、ハイダイナミックレンジ画像の画素値を決定してもよい。例えば、図５に示される、高露出画像ＫＨおよび低露出画像ＫＬの各ヒストグラムＨＧ１，ＨＧ２においては、高露出画像ＫＨにおける輝度値Ｙｗ１と境界輝度値「Ｌ１」との差の方が、低露出画像ＫＬにおける輝度値Ｙｗ２と境界輝度値「Ｌ２」との差より大きくなっている。この場合、境界輝度値に対する差の大きい画素値は、高露出画像ＫＨにおける輝度値Ｙｗ１であるから、高露出画像ＫＨにおける輝度値Ｙｗ１がハイダイナミックレンジ画像の画素値として採用されることになる。

また、ハイダイナミックレンジ画像の或る位置（ｉｖ，ｊｖ）における画素の輝度値を決定する場合に、高露出画像ＫＨの位置（ｉｖ，ｊｖ）における画素の輝度値「Ｙｖ１」が、境界輝度値「Ｌ１」より大きく、低露出画像ＫＬの位置（ｉｖ，ｊｖ）における画素の輝度値「Ｙｖ２」が、境界輝度値「Ｌ２」より小さい場合を想定する。この場合、上記式（５）によれば、高露出画像ＫＨに基づく輝度値「Ｙｖ１」および低露出画像ＫＬに基づく輝度値「Ｙｖ２」いずれの輝度値も、ハイダイナミックレンジ画像の輝度値として算出されないことになる。

このように、画素値が算出されない場合は、高露出画像ＫＨおよび低露出画像ＫＬそれぞれの度数分布において、算出された画素値と境界輝度値「Ｌ１」、「Ｌ２」との差の絶対値を算出し、絶対値が小さい方の画素値に基づいて、ハイダイナミックレンジ画像の画素値を決定してもよい。例えば、図６に示される、高露出画像ＫＨおよび低露出画像ＫＬの各ヒストグラムＨＧ１，ＨＧ２においては、低露出画像ＫＬにおける輝度値Ｙｖ２と境界輝度値「Ｌ２」との差の方が、高露出画像ＫＨにおける輝度値Ｙｖ１と境界輝度値「Ｌ１」との差より小さくなっている。この場合、境界輝度値に対する差の小さい画素値は、低露出画像ＫＬにおける輝度値Ｙｖ２であるから、低露出画像ＫＬにおける輝度値Ｙｖ２に基づいて、ハイダイナミックレンジ画像の画素値が決定されることになる。

［１−３．動作］
次に、撮像装置１Ａの動作について説明する。図７は、撮像装置１Ａの動作を示すフローチャートである。

図７に示されるように、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化され、ステップＳＰ１１においてレリーズボタンが押下されると、ステップＳＰ１２に移行される。

ステップＳＰ１２では、同一被写体を異なる撮影条件で２回撮影する撮影動作が実行され、２枚の参照画像が取得される。

ステップＳＰ１３では、２枚の参照画像に対して、ＷＢ補正およびＹＣＣ変換等の所定の画像処理が施される。

ステップＳＰ１４では、度数分布取得部３５１によって、輝度値に対する画素の度数を表す度数分布が参照画像ごとに取得される。

ステップＳＰ１５では、露出高低順位判別部３５２によって、２枚の参照画像の露出高低順位が判別され、高露出画像ＫＨと低露出画像ＫＬとが決定される。

ステップＳＰ１６では、累積度数算出部３５３によって、参照画像それぞれに関して、各輝度値における累積度数が算出される。

ステップＳＰ１７では、対応輝度値特定部３５４によって、２枚の参照画像間において互いに対応した累積度数となる輝度値（対応輝度値）が特定される。

ステップＳＰ１８では、境界輝度値探索部３５５によって、対応輝度値の中から高露出画像ＫＨの度数分布と低露出画像ＫＬの度数分布とを組み合わせるための境界輝度値が探索される。

ステップＳＰ１９では、画素値決定部３５６によって、高露出画像ＫＨの各画素の画素値と低露出画像ＫＬの各画素の画素値とに基づいて、ハイダイナミックレンジ画像の各画素の画素値が決定される。

ステップＳＰ２０では、ハイダイナミックレンジ画像の出力形式に応じて、ハイダイナミックレンジ画像の画素値が調整される。例えば、ハイダイナミックレンジ画像を８ビットで出力する場合は、ハイダイナミックレンジ画像の最大輝度値が２５５となるように、ステップＳＰ１９で決定された画素値に対して圧縮処理が施される。

以上のように、撮像装置１Ａは、同一被写体を異なる撮影条件で撮影した２枚の参照画像を合成して、ハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部３５を備え、ハイダイナミックレンジ画像生成部３５は、２枚の参照画像における露出の高低順位を判別する露出高低順位判別部３５２と、２枚の参照画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出部３５３と、２枚の参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる境界輝度値を、累積度数に基づいて２枚の参照画像それぞれについて設定する設定手段と、露出の高低順位および境界輝度値に基づいて、ハイダイナミックレンジ画像を構成する各画素の画素値を決定する画素値決定部３５６とを有する。

このような撮像装置１Ａによれば、取得された参照画像に応じて最適な閾値をその都度自動的に設定して、ハイダイナミックレンジ画像を生成することが可能になる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態に係る撮像装置１Ａでは、２枚の参照画像を合成してハイダイナミックレンジ画像を生成していたが、第２実施形態に係る撮像装置１Ｂでは、３枚の参照画像からハイダイナミックレンジ画像を生成する。なお、撮像装置１Ｂは、撮像装置１Ａとほぼ同様の構造および機能（図１および図２参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

第２実施形態の撮像装置１Ｂは、撮像部１０１（図１参照）によって、同一被写体についての撮影を、それぞれ異なる撮影条件で３回行い、３枚の参照画像を取得する。

そして、撮像装置１Ｂは、ハイダイナミックレンジ画像生成部３５によって、３枚の参照画像を合成してハイダイナミックレンジ画像を生成する。

具体的には、図２に示されるように、ハイダイナミックレンジ画像生成部３５では、度数分布取得部３５１によって、３枚の参照画像それぞれについての度数分布が取得される。

露出高低順位判別部３５２では、３枚の参照画像に関する露出高低順位が判別される。具体的には、露出高低順位判別部３５２では、３枚の参照画像それぞれの平均輝度値が算出される。そして、算出された各平均輝度値を比較することによって、平均輝度値の最も高い高露出画像ＫＨと、平均輝度値の最も低い低露出画像ＫＬと、平均輝度値が中程度の中露出画像ＫＭとが特定される。

累積度数算出部３５３では、参照画像それぞれに関して、各輝度値における累積度数が算出される。

対応輝度値特定部３５４では、高露出画像ＫＨと中露出画像ＫＭとの間、および中露出画像ＫＭと低露出画像ＫＬとの間それぞれにおいて、互いに対応した累積度数となる輝度値（対応輝度値）が特定される。

そして、境界輝度値探索部３５５では、高露出画像ＫＨと中露出画像ＫＭとの間における対応輝度値の組の中から高露出画像ＫＨの度数分布と中露出画像ＫＭの度数分布とを組み合わせるための境界輝度値の組「Ｌ１１」、「Ｌ１２」が探索される。また、境界輝度値探索部３５５では、中露出画像ＫＭと低露出画像ＫＬとの間における対応輝度値の組の中から中露出画像ＫＭの度数分布と低露出画像ＫＬの度数分布とを組み合わせるための境界輝度値の組「Ｌ１３」、「Ｌ１４」が探索される。このように、撮像装置１Ｂでは、高露出画像ＫＨと中露出画像ＫＭとの間、および中露出画像ＫＭと低露出画像ＫＬとの間それぞれにおいて、撮像装置１Ａで高露出画像ＫＨと低露出画像ＫＬとの間で行われる境界輝度値の組の探索処理と同様の処理が行われる。

画素値決定部３５６では、高露出画像ＫＨの各画素の画素値と中露出画像ＫＭの各画素の画素値と低露出画像ＫＬの各画素の画素値とに基づいて、ハイダイナミックレンジ画像の各画素の画素値が決定される。

ここで、撮像装置１Ｂで行われるハイダイナミックレンジ画像の生成処理についてヒストグラムを用いて概念化して説明する。図８は、撮像装置１Ｂで実行されるハイダイナミックレンジ画像の生成の様子を、ヒストグラムを用いて概念化した図である。

図８に示されるように、境界輝度値の探索処理によって、高露出画像ＫＨと中露出画像ＫＭとの間における境界輝度値の組が「Ｌ１１」、「Ｌ１２」と探索され、中露出画像ＫＭと低露出画像ＫＬとの間における境界輝度値の組が「Ｌ１３」、「Ｌ１４」と探索されたとする。この場合、ハイダイナミックレンジ画像のヒストグラム（合成ヒストグラム）ＨＧ４は、高露出画像ＫＨにおける最小輝度値「０」から境界輝度値「Ｌ１１」の範囲のヒストグラム情報と、中露出画像ＫＭにおける境界輝度値「Ｌ１２」から境界輝度値「Ｌ１３」の範囲のヒストグラム情報と、低露出画像ＫＬにおける境界輝度値「Ｌ１４」から最大輝度値「２５５」の範囲のヒストグラム情報とで構成されることになる。

すなわち、撮像装置１Ｂにおけるハイダイナミックレンジ画像は、高露出画像ＫＨにおける最小輝度値「０」から境界輝度値「Ｌ１１」の各画素と、中露出画像ＫＭにおける境界輝度値「Ｌ１２」から境界輝度値「Ｌ１３」の各画素と、低露出画像ＫＬにおける境界輝度値「Ｌ１４」から最大輝度値「２５５」の各画素とを用いて生成されるとも表現できる。

ハイダイナミックレンジ画像における各画素の画素値決定には、下記の式（８）〜（１０）が用いられる。具体的には、ハイダイナミックレンジ画像の左下を原点としたときに、当該ハイダイナミックレンジ画像におけるＸ方向ｉ番目、Ｙ方向ｊ番目の位置に存在する画素の輝度値「Ｙ_HB（ｉ，ｊ）」は、式（８）を用いて算出される。

また、ハイダイナミックレンジ画像における位置（ｉ，ｊ）の画素の色差信号値「Ｃｂ_HB（ｉ，ｊ）」、「Ｃｒ_HB（ｉ，ｊ）」は、それぞれ式（９）、（１０）を用いて算出される。

以上のように、撮像装置１Ｂでは、３枚の参照画像の露出高低順位が判別され、当該判別結果に基づいて、露出高低順位の近い参照画像同士の組が２組特定される。そして、撮像装置１Ａで実行される２枚の参照画像の合成処理と同様の処理が異なる組み合わせで２回行われて、ハイダイナミックレンジ画像が生成される。

＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。上記各実施形態では、撮像装置１Ａ，１Ｂにおいてハイダイナミックレンジ画像の生成を行っていたが、第３実施形態では、撮影された参照画像を入力情報ＮＤとして画像処理装置（例えば、パーソナルコンピュータ（ＰＣ）、携帯情報端末）５０に入力し、当該画像処理装置５０においてハイダイナミックレンジ画像の生成処理を実行する。図９は、第３実施形態に係る画像処理装置５０の機能構成を示すブロック図である。なお、画像処理装置５０は、第１実施形態に係る撮像装置１Ａと共通する機能を多数有しており、共通する機能については同じ符号を付して説明を省略する。

第３実施形態に係る画像処理装置５０は、データ取得部（画像取得手段）５０１と、データ記憶部５０２と、画像処理部５０３に含まれるハイダイナミックレンジ（ＨＤＲ）画像生成部３５と、全体制御部５１０とを有している。

画像処理装置５０では、入力情報ＮＤとして入力された参照画像が、データ取得部５０１を介してデータ記憶部５０２に保存される。そして、全体制御部５１０からの指示に応じてデータ記憶部５０２に保存された参照画像にアクセスして、ハイダイナミックレンジ画像生成部３５によるハイダイナミックレンジ画像の生成処理が実行される。

なお、ハイダイナミックレンジ画像生成部３５は、第１実施形態と同様の構成（図２参照）を有し、複数の参照画像を合成してハイダイナミックレンジ画像を生成する。

＜４．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記各実施形態では、参照画像を構成する各画素の画素値としては、８ビットで表現される画素値を用いていたが、これに限定されず、参照画像の画素値のビット数を変更してもよい。

具体的には、ハイダイナミックレンジ画像の生成処理を開始する前に、画素値のビット数を増やしてもよい。例えば、画素値のビット数を１０ビットで表現すると、累積度数算出部３５３では、輝度値「０」から輝度値「１０２３」までの１０２４個の累積度数が参照画像ごとに算出されることになる。そして、対応輝度値特定部３５４では、２枚の参照画像間において１０２４組の対応輝度値が特定され、境界輝度値探索部３５５では、１０２４組の対応輝度値の中から、境界輝度値が探索されることになる。すなわち、参照画像の画素値のビット数を増やした場合は、２枚の参照画像に関する度数分布を組み合わせる際の境界輝度値を細かいレベルで精度良く設定することが可能になる。

このように、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を増やすと、合成によるひずみの少ないなめらかなハイダイナミックレンジ画像を生成することが可能になる。

一方、ハイダイナミックレンジ画像の生成処理を開始する前に、画素値のビット数を減らしてもよい。例えば、画素値のビット数を６ビットで表現すると、累積度数算出部３５３では、輝度値「０」から輝度値「６３」までの６４個の累積度数が参照画像ごとに算出されることになる。そして、対応輝度値特定部３５４では、２枚の参照画像間において６４組の対応輝度値が特定され、境界輝度値探索部３５５では、６４組の対応輝度値の中から、境界輝度値が探索されることになる。

すなわち、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を減らすと、境界輝度値の探索に要する演算量を抑制することができるので、ハイダイナミックレンジ画像の生成処理を高速に行うことが可能になる。

このように、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を変更することによれば、ハイダイナミックレンジ画像の用途および／または撮影環境に応じてハイダイナミックレンジ画像の生成処理を最適化することができる。

なお、画素値のビット数の変更処理は、例えば、ＹＣＣ変換部３４で行うことができる。例えば、画素値のビット数を増やす場合は、式（１）を用いた色空間変換の際にビット数を増加させるような端数処理を行えばよい。一方、画素値のビット数を減らす場合は、色空間変換後にビット数を圧縮する処理を行えばよい。

また、上記各実施形態の露出高低順位判別部３５２では、露出高低順位の判別に利用する参照画像の特徴量として、参照画像の平均輝度値が用いられていたが、これに限定されない。

具体的には、参照画像の輝度値に関するヒストグラムの中央値（「中央階調値」または「中央輝度値」とも称する）を参照画像の特徴量として用いることができる。

また、露出高低順位判別部３５２では、露出制御部１１１で決定された露出値に基づいて露出高低順位を判別してもよい。

また、上記第１実施形態および第２実施形態では、それぞれ２枚および３枚の参照画像を合成して、ハイダイナミックレンジ画像を生成する場合について例示したが、これに限定されない。

具体的には、ハイダイナミックレンジ画像は、Ｎ枚の参照画像を合成して生成することも可能である。Ｎ枚の参照画像に基づいてハイダイナミックレンジ画像を生成する場合は、露出高低順位に基づいた参照画像同士の組み合わせをＮ−１組特定し、各組において、２枚の参照画像の合成と同様の原理に基づいた処理が実行される。

１Ａ，１Ｂ 撮像装置
５０ 画像処理装置
１０３，５０３ 画像処理部
３４ ＹＣＣ変換部
３５ ハイダイナミックレンジ（ＨＤＲ）画像生成部
３５１ 度数分布取得部
３５２ 露出高低順位判別部
３５３ 累積度数算出部
３５４ 対応輝度値特定部
３５５ 境界輝度値探索部
３５６ 画素値決定部
１１０，５１０ 全体制御部
１１１ 露出制御部
１１２ 指示制御部
１１３ 撮影制御部
１１４ 表示制御部
ＨＧ１〜ＨＧ４ 度数分布図（ヒストグラム）
ＫＨ 高露出画像
ＫＬ 低露出画像
ＫＭ 中露出画像

Claims (9)

1. 所定被写体に関する第１画像と、前記所定被写体を前記第１画像とは異なる撮影条件で撮影した第２画像とをそれぞれ取得する画像取得手段と、
   前記第１画像を構成する画素の画素値と前記第２画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段と、
   を備え、
   前記画像合成手段は、
   前記第１画像と前記第２画像との露出の高低順位を判別する判別手段と、
   前記第１画像および前記第２画像それぞれにおいて、前記第１画像および前記第２画像それぞれの画素値ごとに、当該それぞれの画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、
   前記第１画像または前記第２画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第１画像および前記第２画像それぞれについて設定する設定手段と、
   前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段と、
   を有し、
   前記設定手段は、
   前記第１画像における画素値ごとの前記累積度数と、前記第２画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する特定手段と、
   前記特定手段によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する探索手段と、
   を含み、
   前記設定手段は、前記探索手段によって探索された対応画素値の組み合わせを、前記第１画像における第１の閾値と前記第２画像における第２の閾値との組として設定する画像処理装置。
2. 前記判別手段は、前記露出の高低順位を判別した結果、前記第１画像を露光量の比較的多い高露出画像とし、前記第２画像を露光量の比較的少ない低露出画像とし、
   前記探索手段は、前記高露出画像における対応画素値から前記低露出画像における対応画素値を差し引いた値が最も大きくなる対応画素値の組み合わせを、前記高露出画像における前記第１の閾値と前記低露出画像における前記第２の閾値との組として設定する請求項１に記載の画像処理装置。
3. 前記画素値決定手段は、
   前記高露出画像において前記第１の閾値よりも小さい画素値と、前記低露出画像において前記第２の閾値よりも大きい画素値とを用いて、前記合成画像の画素値を決定する請求項２に記載の画像処理装置。
4. 前記画素値決定手段は、
   前記高露出画像において所定位置に存在する画素の画素値が、前記第１の閾値よりも小さい場合は、前記高露出画像における当該画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定し、
   前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第２の閾値よりも大きい場合は、前記低露出画像における当該画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項２または請求項３に記載の画像処理装置。
5. 前記画素値決定手段は、
   前記高露出画像において所定位置に存在する画素の画素値が、前記第１の閾値よりも大きく、かつ前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第２の閾値よりも小さい場合は、前記高露出画像において前記所定位置に存在する画素の画素値と前記第１の閾値との差の絶対値と、前記低露出画像において前記所定位置と同位置に存在する画素の画素値と前記第２の閾値との差の絶対値とを比較し、絶対値の小さい方の画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項２から請求項４のいずれかに記載の画像処理装置。
6. 前記画素値決定手段は、
   前記高露出画像において所定位置に存在する画素の画素値が、前記第１の閾値よりも小さく、かつ前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第２の閾値よりも大きい場合は、前記高露出画像において前記所定位置に存在する画素の画素値と前記第１の閾値との差の絶対値と、前記低露出画像において前記所定位置と同位置に存在する画素の画素値と前記第２の閾値との差の絶対値とを比較し、絶対値の大きい方の画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項２から請求項４のいずれかに記載の画像処理装置。
7. 前記第１画像および前記第２画像における各画素の画素値のビット数を変更する変更手段を備え、
   前記累積度数算出手段は、変更された画素値ごとに前記累積度数を算出する請求項１から請求項６のいずれかに記載の画像処理装置。
8. 同一被写体を異なる撮影条件で撮影し、第１画像と第２画像とをそれぞれ取得する撮影手段と、
   前記第１画像を構成する画素の画素値と前記第２画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段と、
   を備え、
   前記画像合成手段は、
   前記第１画像と前記第２画像との露出の高低順位を判別する判別手段と、
   前記第１画像および前記第２画像それぞれにおいて、前記第１画像および前記第２画像それぞれの画素値ごとに、当該それぞれの画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、
   前記第１画像または前記第２画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第１画像および前記第２画像それぞれについて設定する設定手段と、
   前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段と、
   を有し、
   前記設定手段は、
   前記第１画像における画素値ごとの前記累積度数と、前記第２画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する特定手段と、
   前記特定手段によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する探索手段と、
   を含み、
   前記設定手段は、前記探索手段によって探索された対応画素値の組み合わせを、前記第１画像における第１の閾値と前記第２画像における第２の閾値との組として設定する撮像装置。
9. ａ）所定被写体に関する第１画像と、前記所定被写体を前記第１画像とは異なる撮影条件で撮影した第２画像とをそれぞれ取得する工程と、
   ｂ）前記第１画像を構成する画素の画素値と前記第２画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する工程と、
   を備え、
   前記ｂ）工程は、
   ｂ−１）前記第１画像と前記第２画像との露出の高低順位を判別する工程と、
   ｂ−２）前記第１画像および前記第２画像それぞれにおいて、前記第１画像および前記第２画像それぞれの画素値ごとに、当該それぞれの画素値以下の画素の個数を加え合わせた累積度数を算出する工程と、
   ｂ−３）前記第１画像または前記第２画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第１画像および前記第２画像それぞれについて設定する工程と、
   ｂ−４）前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する工程と、
   を有し、
   前記ｂ−２）工程は、
   ｂ−２−１）前記第１画像における画素値ごとの前記累積度数と、前記第２画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する工程と、
   ｂ−２−２）前記ｂ−２−１）工程によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する工程と、
   ｂ−２−３）前記ｂ−２−２）工程によって探索された対応画素値の組み合わせを、前記第１画像における第１の閾値と前記第２画像における第２の閾値との組として設定する工程と、を有する前記合成画像の生成方法。

Images