JP6425833B2 - 画像処理装置及び方法並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置及び方法に関する。本発明は特に、撮像画像の合成によりダイナミックレンジの広い合成画像を得る画像処理装置及び方法に関する。本発明はまた、画像処理装置又は方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。

画像のダイナミックレンジを拡大する手法として、露光時間の異なる２枚の画像を合成する方法がある。例えば特許文献１では、大きい露光量の撮像による第１の画像信号と小さい露光量による第２の画像信号とを合成する撮像装置が開示されている。

特開２００４−２５４１５１号公報（第５−８頁、第１−３図）

上記の従来の画像処理装置は、小さい露光量の画像信号と大きい露光量の画像信号の露光量比率が既知であることを前提としていた。しかしダイナミックレンジ拡大処理を行う撮像システムにおいて、必ずしもカメラモジュールと画像処理装置が一体化しているとは限らない。

カメラモジュールが独立しており、カメラモジュールからの出力画像データを用いてダイナミックレンジ拡大を行うような構成では、大きい露光量の画像及び小さい露光量の画像の取得のための露光条件は、カメラモジュール部で撮影画像の明るさを参照して独自に制御するか、画像処理装置でカメラモジュールから出力された撮影画像の明るさをモニタして、露光条件を制御する信号をカメラモジュールに送信することで制御を行う必要がある。

前者の場合、画像処理装置は撮影時の正確なカメラの露光量比率を得ることができない。後者の場合、画像処理装置から出力する制御信号がカメラモジュールの撮影画像に反映されるタイミングが明確でないため、各フレームにおけるカメラモジュールからの出力画像について正確な露光量比率を得ることができない。

またカメラモジュールが独立している構成では、カメラモジュールからの出力画像にガンマ補正、コントラスト補正等の非線形な階調変換処理が適用されていることが多い。このような場合も露光量比率を求めることができない。

上記のようにカメラモジュールと画像処理装置が独立した撮像システムでは、露光量比率の値を参照することを前提とする従来の画像処理装置のダイナミックレンジ拡大処理方法を適用することができないという問題があった。

また、合成比率が画素毎に異なる値に設定されるために、隣接する画素間で階調値が逆転し、これにより疑似輪郭が発生するおそれがあった。

本発明の画像処理装置は、
被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
前記合成比率テーブル生成処理部は、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする。

本発明によれば、短露光画像と長露光画像の撮影時の露光量比率の情報が得られない場合でも、階調値の逆転、及びこれに伴う疑似輪郭の発生を抑えて適切にダイナミックレンジ拡大画像を生成することが可能である。

本発明の実施の形態１の画像処理装置をカメラとともに示すブロック構成図である。 （ａ）及び（ｂ）は、ヒストグラム生成処理部で生成されるヒストグラムの例を示す図である。 （ａ）及び（ｂ）は、ヒストグラム生成処理部で生成される累積ヒストグラムの例を示す図である。 合成比率テーブルで表される合成比率曲線の例を示す図である。 実施の形態１における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。 図５のステップＳＴ１１の処理の詳細を示すフローチャートである。 実施の形態１における合成比率テーブルの補正方法の一例を示す図である。 実施の形態１における合成比率テーブルの補正方法の他の例を示す図である。 本発明の実施の形態２における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。 （ａ）及び（ｂ）は、輝度値の差の最大値及び変化量比率の最大値を推定する方法を示す図である。 図９のステップＳＴ１６の処理の詳細を示すフローチャートである。 本発明の実施の形態３における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。 （ａ）及び（ｂ）は、実施の形態３における合成比率テーブルの補正方法の例を示す図である。 本発明の実施の形態４における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。 本発明の実施の形態５の画像処理装置をカメラとともに示すブロック構成図である。 実施の形態５において、図９のステップＳＴ１６で行われる処理の詳細を示すフローチャートである。 実施の形態１〜５の画像処理装置の各部の機能を実現するコンピュータの構成を示すブロック図である。

実施の形態１．
図１に本発明の実施の形態１の画像処理装置２０をカメラ１０とともに示す。
本実施の形態による画像処理装置は長露光画像と短露光画像とを合成してダイナミックレンジ拡大画像を生成する。

長露光画像及び短露光画像、並びにダイナミックレンジ拡大画像の画像形式としてはＹＣｂＣｒ４：４：４形式、もしくはＹＣｂＣｒ４：２：２形式を想定している。
また、輝度成分Ｙ、色差成分Ｃｂ、及び色差成分Ｃｒの各々は、８ｂｉｔの値で表されるものとする。この８ｂｉｔの値は、十進法の０から２５５までの値を表す。

カメラ１０はフレーム毎に撮影時の露光条件を切り替え、長露光画像の画像データと短露光画像の画像データとを交互に出力する。
カメラ１０から出力された画像データは画像処理装置２０で合成され、合成の結果得られる画像データがダイナミックレンジ拡大画像の画像データとして出力される。

画像処理装置２０は、カメラＩ／Ｆ（インターフェース）２１、ヒストグラム生成処理部２２、合成比率テーブル生成処理部２３、フレームバッファ２４、輝度値加算処理部２５、合成比率生成処理部２６、及び画素値合成処理部２７を備える。

カメラＩ／Ｆ２１はカメラ１０から出力される画像データＰ_１を受け取り、デジタル画像データＰ_２としてヒストグラム生成処理部２２及びフレームバッファ２４に供給する。

ヒストグラム生成処理部２２は、入力される画像データで表される各画素の輝度値に基づいて、フレーム毎に輝度値のヒストグラムＤ_１を生成する。生成されたヒストグラムＤ_１はヒストグラム生成処理部２２内のメモリ２２ａに１フレーム期間バッファリングされ、直近２フレームのヒストグラムＤ_１が出力される。

２フレームのヒストグラムＤ_１の例を図２（ａ）及び（ｂ）に示す。図２（ａ）及び（ｂ）において、横軸は輝度値を表し、縦軸は各輝度値を有する画素の出現度数を表す。
ヒストグラム生成処理部２２はさらに、図２（ａ）及び（ｂ）に示されるヒストグラムにおいて、輝度値毎の出現度数を低輝度値から各輝度値まで累積して累積度数（積算画素数）Ａを求める。そのようにして求められた累積度数Ａを表す曲線を図３（ａ）及び（ｂ）に示す。図３（ａ）及び（ｂ）に示される曲線は累積ヒストグラムを表すものである。
なお、以下では、累積ヒストグラムが生成されるものとして説明を行うが、累積ヒストグラムは必ずしも生成しなくても良く、必要が生じる度に、図２（ａ）及び（ｂ）に示されるヒストグラムから各輝度値までの累積度数を求めるようにしても良い。

合成比率テーブル生成処理部２３は直近２フレームの画像についてのヒストグラムを比較して、どちらが長露光画像のヒストグラムで、どちらが短露光画像のヒストグラムであるかを判定し、判定の結果、即ちどちらが長露光画像でどちらが短露光画像であるかを示す情報ＤＬＳを出力するとともに、長露光画像のヒストグラムで表される輝度値分布と短露光画像のヒストグラムで表される輝度値分布に基づいて合成比率テーブルＤ_２を生成する。

合成比率テーブルＤ_２は長露光画像の輝度値Ｉ_Ｌと短露光画像の輝度値Ｉ_Ｓを加算することで得られる値（輝度加算値）Ｉ_ＳＵＭと、長露光画像の画素値Ｐ_Ｌと短露光画像の画素値Ｐ_Ｓとの合成に用いられる合成比率α及びβの少なくとも一方との対応関係を規定する合成比率曲線を表す数値の組であり、合成比率テーブル生成処理部２３内のメモリ２３ａに記憶される。合成比率テーブルＤ_２として合成比率α及びβの一方のみの値が記憶される場合には合成比率α及びβの他方は、演算により求められる。この演算はα＋β＝１と言う関係に基づくものである。以下では、合成比率テーブルＤ_２として合成比率βの値のみが記憶されているものとして説明する。

フレームバッファ２４はカメラＩ／Ｆ２１から出力されたデジタル画像データＰ_２をバッファリングする。
フレームバッファ２４は、少なくとも直近２フレームの画像データを保持し、画素値合成処理部２７及び輝度値加算処理部２５が長露光画像及び短露光画像の画像データを１画素ずつ処理できるよう、２フレーム分の画像データを並行して同時に１画素ずつ出力する。

輝度値加算処理部２５は、フレームバッファ２４から読み出された、直近２フレームの画像の同じ位置の画素の輝度値を加算して輝度加算値Ｉ_ＳＵＭとして出力する。
直近２フレームの画像のうちの一方は、長露光画像であり、他方は短露光画像である。従って、輝度加算値Ｉ_ＳＵＭは、長露光画像の輝度値と短露光画像の同じ位置の画素の輝度値の和である。
画素の位置を（ｘ，ｙ）で表し、長露光画像の位置（ｘ，ｙ）の画素の輝度値をＩ_Ｌ（ｘ，ｙ）、短露光画像の位置（ｘ，ｙ）の画素の輝度値をＩ_Ｓ（ｘ，ｙ）で表すと、同じ位置の画素についての輝度加算値Ｉ_ＳＵＭ（ｘ，ｙ）は下記の式（１）で表される。
Ｉ_ＳＵＭ（ｘ，ｙ）＝Ｉ_Ｌ（ｘ，ｙ）＋Ｉ_Ｓ（ｘ，ｙ） …式（１）
なお、各値が特定の位置の画素についての値であることを明記するために、「（ｘ，ｙ）」を付すが、混乱が生じない場合には「（ｘ，ｙ）」を省略する。以下で現れる他の符号についても同様である。

合成比率生成処理部２６は、合成比率テーブル生成処理部２３から出力された合成比率テーブルＤ_２を参照し、輝度値加算処理部２５から出力された輝度加算値Ｉ_ＳＵＭに対応する合成比率α及びβを求める。合成比率テーブルＤ_２として合成比率βの値のみが記憶されている場合には、合成比率テーブル生成処理部２３から合成比率βの値を得て、合成比率生成処理部２６内で、
α＝１−β
の演算を行って、合成比率αの値を得る。

画素値合成処理部２７は、合成比率テーブル生成処理部２３から出力された、直近２フレームの画像のうちどちらが長露光画像でどちらが短露光画像であるかを示す情報ＤＬＳと、フレームバッファ２４から読み出された長露光画像の画素値Ｐ_Ｌ（ｘ,ｙ）及び短露光画像の画素値Ｐ_Ｓ（ｘ,ｙ）と、合成比率生成処理部２６から出力された合成比率α及びβの値とに基づき、長露光画像の画素値Ｐ_Ｌ（ｘ,ｙ）と短露光画像の画素値Ｐ_Ｓ（ｘ,ｙ）とを合成比率α及びβに従って加重加算することで、出力画素値Ｐ_Ｏ（ｘ,ｙ）を生成する。α＋β＝１であるので、この加重加算は加重平均を求める処理であるとも言える。
このようにして生成される出力画素値Ｐ_Ｏ（ｘ,ｙ）は、ダイナミックレンジ拡大画像の画素値を構成するものである。

画素値Ｐ_Ｌ（ｘ,ｙ）、Ｐ_Ｓ（ｘ,ｙ）、及びＰ_Ｏ（ｘ,ｙ）の各々には、輝度値及び色差値が含まれ、合成は輝度値及び色差値の各々について行われる。
即ち、長露光画像の画素値Ｐ_Ｌ（ｘ,ｙ）には、輝度値Ｉ_Ｌ（ｘ,ｙ）並びに色差値Ｃｂ_Ｌ（ｘ，ｙ）及びＣｒ_Ｌ（ｘ，ｙ）が含まれ、短露光画像の画素値Ｐ_Ｓ（ｘ,ｙ）には、輝度値Ｉ_Ｓ（ｘ,ｙ）並びに色差値ＣｂＳ（ｘ，ｙ）及びＣｒ_Ｓ（ｘ，ｙ）が含まれ、出力画素値Ｐ_Ｏ（ｘ,ｙ）には、輝度値Ｉ_Ｏ（ｘ,ｙ）並びに色差値Ｃｂ_Ｏ（ｘ，ｙ）及びＣｒ_Ｏ（ｘ，ｙ）が含まれる。
画素値合成処理部２７は、輝度値Ｉ_Ｌ（ｘ,ｙ）と輝度値Ｉ_Ｓ（ｘ,ｙ）とを合成して輝度値Ｉ_Ｏ（ｘ,ｙ）を生成するとともに、色差値ＣｂＬ（ｘ，ｙ）と色差値ＣｂＳ（ｘ，ｙ）とを合成して色差値Ｃｂ_Ｏ（ｘ，ｙ）を生成し、色差値Ｃｒ_Ｌ（ｘ，ｙ）と色差値Ｃｒ_Ｓ（ｘ，ｙ）とを合成して色差値Ｃｒ_Ｏ（ｘ，ｙ）を生成する。
同じ画素についての合成には同じ合成比率が用いられる。

この合成は下記の式（２ａ）、（２ｂ）及び（２ｃ）で表される。
Ｉ_Ｏ（ｘ，ｙ）＝α×Ｉ_Ｓ（ｘ，ｙ）＋β×Ｉ_Ｌ（ｘ，ｙ） …式（２ａ）
Ｃｂ_Ｏ（ｘ，ｙ）＝α×Ｃｂ_Ｓ（ｘ，ｙ）＋β×Ｃｂ_Ｌ（ｘ，ｙ）
…式（２ｂ）
Ｃｒ_Ｏ（ｘ，ｙ）＝α×Ｃｒ_Ｓ（ｘ，ｙ）＋β×Ｃｒ_Ｌ（ｘ，ｙ）
…式（２ｃ）

以下、合成比率テーブル生成処理部２３における合成比率テーブルＤ_２の生成方法について説明する。

合成比率テーブルとしては、図４に示すように、輝度加算値Ｉ_ＳＵＭが第１の閾値（変化範囲下限値）Ｔ_１以下の範囲では、合成比率βが上限値（合成比率上限値）に固定され、輝度加算値Ｉ_ＳＵＭが第２の閾値（変化範囲上限値）Ｔ_２以上の範囲では、合成比率βが下限値（合成比率下限値）に固定され、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１以上で第２の閾値Ｔ_２以下の範囲（第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲）では、輝度加算値Ｉ_ＳＵＭの増加に従って、合成比率上限値から合成比率下限値に徐々に減少するものが生成される。第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲を「合成比率が変化する範囲」とも言う。

輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率βの変化は、実線Ｃ１１で示すように直線的であっても良く、破線Ｃ１２で示すように曲線に沿うものであっても良い。即ち、輝度加算値Ｉ_ＳＵＭの増加に対する合成比率の変化の割合、即ち合成比率テーブルで表される曲線（合成比率曲線）の傾きは、一定の値であっても良く、変化する値であっても良い。
本実施の形態１では、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において合成比率が実線Ｃ１１で例示するように直線的に変化する場合について説明する。

合成比率βの上限値（合成比率上限値）は通常図４に示すように１（合成比率の最大値）に設定されるが、１よりも小さい値に設定されることもある。同様に、合成比率βの下限値（合成比率下限値）は通常図４に示すように０（合成比率の最小値）に設定されるが、０よりも大きい値に設定されることもある。
本実施の形態１では、合成比率βの合成比率上限値が１となり、合成比率下限値が０となるように合成比率テーブルを生成し、生成された合成比率テーブルで表される合成比率曲線の傾きが制限値Ｓ_ＭＡＸよりも大きい場合には、合成比率テーブルを補正して、合成比率曲線の傾きが制限値Ｓ_ＭＡＸ以下となるようにする。この補正の際、合成比率上限値または合成比率下限値が補正される。

第１の閾値Ｔ_１及び第２の閾値Ｔ_２は、フレーム毎の画像の特徴、例えば輝度分布に基づいて定められる。第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率曲線については、その傾き（合成比率の変化の傾き）Ｓに対して制限値が設定される。
以下では、最初に第１の閾値Ｔ_１及び第２の閾値Ｔ_２の設定の仕方を説明し、その後で傾きＳに対する制限値Ｓ_ＭＡＸについて説明する。

図５は、合成比率テーブル生成処理部２３が合成比率テーブルＤ_２を生成する処理を示している。図５の処理は、ヒストグラム生成処理部２２から直近２フレームの画像についてのヒストグラムが供給される毎に行われる。

図５において、ステップＳＴ１１では、第１の閾値Ｔ_１及び第２の閾値Ｔ_２を決定する。図６は、ステップＳＴ１１の処理の詳細を示す。

図６を参照し、合成比率テーブル生成処理部２３では、ステップＳＴ２１で、直近２フレームのヒストグラムＤ_１から、各フレームの輝度平均値Ｉ_ａｖ０及びＩ_ａｖ１を算出し、算出した輝度平均値Ｉ_ａｖ０及びＩ_ａｖ１の大小関係に基づいて、上記の２フレームの画像のうちのどちらが長露光画像でどちらが短露光画像であるかを判断する。

例えば画像の輝度値の範囲を０〜２５５とし、直近フレームの輝度値Ｉｐを有する画素の数をＨ_０［Ｉｐ］、その一つ前のフレームの輝度値Ｉｐを有する画素の数をＨ_１［Ｉｐ］とすると、直近フレームの輝度平均値Ｉ_ａｖ０、及びその一つ前のフレームの輝度平均値Ｉ_ａｖ１は、下記の式（３ａ）及び（３ｂ）で表される演算を行うことで算出することができる。

Ｉ_ａｖ０≧Ｉ_ａｖ１の場合は直近フレームを長露光画像と判断し、その一つ前のフレームを短露光画像と判断し、それ以外の場合、即ちＩ_ａｖ０＜Ｉ_ａｖ１の場合は直近フレームを短露光画像、その一つ前のフレームを長露光画像と判断する。
図２（ａ）及び（ｂ）の例では、図２（ａ）に示される曲線が長露光画像のヒストグラムＨ_Ｌであり、図２（ｂ）に示される曲線が短露光画像のヒストグラムＨ_Ｓであると判断される。この場合、図３（ａ）に示される曲線が長露光画像の累積ヒストグラムＤ_Ｌであり、図３（ｂ）に示される曲線が短露光画像の累積ヒストグラムＤ_Ｓであることになる。

ステップＳＴ２１の次にステップＳＴ２２〜ＳＴ２４の処理とステップＳＴ２５〜ＳＴ２７の処理を並行して行う。
ステップＳＴ２２では、図３（ａ）に示される長露光画像の累積ヒストグラムＤ_Ｌにおいて、予め定められた上側設定値Ｑａに対応する累積度数（積算画素数）Ａａを対応累積度数として求める。この対応累積度数Ａａは、図２（ａ）に示される長露光画像のヒストグラムＨ_Ｌにおいて、各輝度値Ｉｐを有する画素の数（出現度数）Ｈ_Ｌ［Ｉｐ］を、輝度値の低い側から上側設定値Ｑａまで積算することで得られる累積度数である。この積算は下記の式（４）で表される。

次に、ステップＳＴ２３で、図３（ｂ）に示される短露光画像の累積ヒストグラムＤ_Ｓにおいて、対応累積度数Ａａに対応する輝度値Ｑｂを対応輝度値として求める。この対応輝度値Ｑｂは、図２（ｂ）に示される短露光画像のヒストグラムＨ_Ｓにおいて、各輝度値を有する画素の数を、輝度値Ｉｐの低い側から順次積算し、累積度数が対応累積度数Ａａに達したときの輝度値である。

次に、ステップＳＴ２４で、上記の上側設定値Ｑａと上記の対応輝度値Ｑｂとの和（Ｑａ＋Ｑｂ）を、合成比率テーブルＤ_２の上記の第２の閾値Ｔ_２として設定する。

上側設定値Ｑａは長露光画像において、注目画素が白飛び画素か否かの判断をするための閾値である。画像データにおける輝度値が０〜２５５で表されるとすると、上側設定値Ｑａは、画像の輝度値が取り得る値の最大値（飽和レベル）である２５５に近い値、例えば２４０もしくは２５０といった値とするのが望ましい。

ステップＳＴ２２〜ＳＴ２４の処理と並行してステップＳＴ２５〜ＳＴ２７の処理を行う。
ステップＳＴ２５では、図３（ｂ）に示される短露光画像の累積ヒストグラムＤ_Ｓにおいて、予め定められた下側設定値Ｑｃに対応する累積度数（積算画素数）Ａｃを対応累積度数として求める。この対応累積度数Ａｃは、図２（ｂ）に示される短露光画像のヒストグラムＨ_Ｓにおいて、各輝度値Ｉｐを有する画素の数Ｈ_Ｓ［Ｉｐ］を、輝度値の低い側から下側設定値Ｑｃまで積算することで得られる累積度数である。この積算は下記の式（５）で表される。

次に、ステップＳＴ２６で、図３（ａ）に示される長露光画像の累積ヒストグラムＤ_Ｌにおいて、対応累積度数Ａｃに対応する輝度値Ｑｄを対応輝度値として求める。この対応輝度値Ｑｄは、図２（ａ）に示される長露光画像のヒストグラムＨ_Ｌにおいて、各輝度値Ｉｐを有する画素の数を、輝度値の低い側から順次積算し、累積度数が対応累積度数Ａｃに達したときの輝度値である。

次に、ステップＳＴ２７で、上記の下側設定値Ｑｃと上記の対応輝度値Ｑｄとの和（Ｑｃ＋Ｑｄ）を、合成比率テーブルＤ_２の上記の第１の閾値Ｔ_１として設定する。

下側設定値Ｑｃは上側設定値Ｑａよりも小さい。
下側設定値Ｑｃは短露光画像において、注目画素が黒つぶれ画素か否かの判断をするための閾値である。画像データにおける輝度値が０〜２５５で表されるとすると、下側設定値Ｑｃは画像の輝度値が取り得る値の最小値である０に近い値、例えば、５もしくは１０といった値とするのが望ましい。

図５に戻り、ステップＳＴ１１の次に、ステップＳＴ１２に進む。ステップＳＴ１２では、合成比率テーブルを暫定的に生成する。
即ち、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲、及び輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲のそれぞれにおける合成比率βの値を暫定的に決定する。
決定された暫定的な合成比率テーブルは、メモリ２３ａに保存される。

ステップＳＴ２４で求めた第２の閾値Ｔ_２は、長露光画像において、注目画素が白飛び画素か否かの判断をするための閾値である、上側設定値Ｑａに対応する値である。従って、輝度加算値Ｉ_ＳＵＭが該値Ｔ_２以上である画素位置において長露光画像に白飛びが発生していると見ることができる。そこで、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２以上では、合成比率βを０とする。

同様に、ステップＳＴ２７で求めた第１の閾値Ｔ_１は、短露光画像において、注目画素が黒つぶれ画素か否かの判断をするための閾値である、下側設定値Ｑｃに対応する値である。従って、輝度加算値Ｉ_ＳＵＭが該値Ｔ_１以下である画素位置において短露光画像に黒つぶれが発生していると見ることができる。そこで、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１以下では、合成比率βを１とする。

輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲では、合成比率βの値を、１から０に直線的に減少するように定める。即ち、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲では、輝度加算値Ｉ_ＳＵＭの変化に対する合成比率βの変化の比、即ち、合成比率曲線の傾きＳは一定である。

ステップＳＴ１２の次にステップＳＴ１３に進む。ステップＳＴ１３では、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率曲線の傾きＳを求める。
図４に示す合成比率曲線Ｃ１１おいて、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲での傾きの絶対値をＳとする。
Ｓの値は下記の式（６）で表される演算を行うことで求められる。

ステップＳＴ１３の次に、ステップＳＴ１４に進む。ステップＳＴ１４では、ステップＳＴ１３で求めた傾きＳを、予め定められた制限値Ｓ_ＭＡＸと比較する。制限値Ｓ_ＭＡＸの定め方については後述する。
ステップＳＴ１４で傾きＳが制限値Ｓ_ＭＡＸ以下の場合には処理を終了し、ステップＳＴ１２で暫定的に決定された合成比率テーブルがそのまま最終的な、確定した合成比率テーブルとしてメモリ２３ａ内に保持される。

ステップＳＴ１４で、傾きＳが制限値Ｓ_ＭＡＸよりも大きい場合は、ステップＳＴ１５に進む。ステップＳＴ１５では、傾きＳが制限値Ｓ_ＭＡＸ以下となるように合成比率テーブルの補正を行う。

図７は、合成比率テーブルの補正の方法の一例を示したものである。補正前の合成比率テーブルで表される合成比率曲線を符号Ｃ１３で表し、補正後の合成比率テーブルで表される合成比率曲線を符号Ｃ１４で表す。
この補正においては、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２以上であるときの合成比率β（＝β_Ｔ２）、即ち、合成比率下限値は０のままとされ、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１以下であるときの合成比率β、即ち、合成比率上限値が、より小さい値に補正され、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲での合成比率曲線の傾きＳが、予め定められた制限値Ｓ_ＭＡＸに等しくなるようにされる。

そのためにまず、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの合成比率β（＝β_Ｔ１）が補正される。輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの合成比率β_Ｔ１の補正後の値を符号β_Ｔ１ｃで表す。このような補正後の値β_Ｔ１ｃは下記の式（７）で表される演算を行うことで求められる。
β_Ｔ１ｃ＝Ｓ_ＭＡＸ×（Ｔ_２−Ｔ_１） …式（７）

輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率βは、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの補正後の合成比率β_Ｔ１ｃ（補正後の合成比率上限値）から、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの合成比率β_Ｔ２（＝０）まで直線的に減少する値となるように補正される。

輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲における合成比率βは、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの補正後の合成比率β_Ｔ１ｃ（補正後の合成比率上限値）に等しい値に補正される。

図８は、合成比率テーブルの補正の方法の他の例を示したものである。補正前の合成比率テーブルで表される合成比率曲線を符号Ｃ１３で表し、補正後の合成比率テーブルで表される合成比率曲線を符号Ｃ１５で表す。
この補正においては、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１以下であるときの合成比率β（＝β_Ｔ１）、即ち、合成比率上限値は１のままとされ、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２以上であるときの合成比率β、即ち、合成比率下限値が、より大きい値に補正され、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲での合成比率曲線の傾きＳが、予め定められた制限値Ｓ_ＭＡＸに等しくなるようにされる。

そのためにまず、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの合成比率β（＝β_Ｔ２）が補正される。輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの合成比率β_Ｔ２の補正後の値を符号β_Ｔ２ｃで表す。このような補正後の値β_Ｔ２ｃは下記の式（８）で表される演算を行うことで求められる。
β_Ｔ２ｃ＝１−Ｓ_ＭＡＸ×（Ｔ_２−Ｔ_１） …式（８）

輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率βは、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの合成比率β_Ｔ１（＝１）から、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの補正後の合成比率β_Ｔ２ｃ（補正後の合成比率下限値）まで直線的に減少する値となるように補正される。

輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲における合成比率βは、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの補正後の合成比率β_Ｔ２ｃ（補正後の合成比率下限値）に等しい値に補正される。

以上のように補正された合成比率β（Ｉ_ＳＵＭ）の値を定義する補正後の合成比率テーブルがメモリ２３ａに、補正前の合成比率テーブルの代わりに保存される。

以上のように、合成比率テーブルＤ_２の生成に当たり、本発明では、合成比率テーブルＤ_２で表される合成比率曲線の傾き（合成比率の変化の傾き）が予め定められた制限値Ｓ_ＭＡＸを超えないようにされる。
以下に傾きＳに対し制限を加える理由及び制限値Ｓ_ＭＡＸの定め方について説明する。

短露光画像と長露光画像を合成する処理では、合成比率α及びβの変化の傾きＳが大きくなることにより、合成前の画像と合成画像とで、輝度の大小関係が局所的に、即ち隣接する画素間で逆転する可能性がある。以下では、上記の逆転が起きる条件、及び逆転を防ぐための制限値Ｓ_ＭＡＸの定め方について説明する。

まず画像合成を行う際の輝度値の変化量（即ち、隣接画素間での差分）と合成画像における階調値の逆転との関係について説明する。

ある位置（ｘ,ｙ）を注目位置とし、当該位置の画素（注目画素）についての短露光画像の輝度値をＩ_Ｓで表し、同じ位置の画素についての長露光画像の輝度値をＩ_Ｌで表す。また、上記の注目位置（ｘ,ｙ）に隣接する位置、例えば、水平方向右側で隣接する位置（ｘ＋１,ｙ）の画素（隣接画素）についての短露光画像の輝度値をＩ_Ｓ’で表し、同じ隣接位置（ｘ＋１,ｙ）の画素についての長露光画像の輝度値をＩ_Ｌ’で表す。

さらに、上記の注目位置（ｘ,ｙ）の画素についての輝度加算値をＩ_ＳＵＭで表し、上記の隣接位置（ｘ＋１,ｙ）の画素（隣接画素）についての輝度加算値をＩ_ＳＵＭ’で表す。そして注目位置の画素についての輝度加算値Ｉ_ＳＵＭに対する隣接画素についての輝度加算値Ｉ_ＳＵＭ’の差分（Ｉ_ＳＵＭ’−Ｉ_ＳＵＭ）を、上記の注目位置（ｘ,ｙ）についての輝度加算値Ｉ_ＳＵＭの変化量Ｉ_ＳＵＭｄとして求める。

また、短露光画像において、上記の注目位置（ｘ,ｙ）の画素についての輝度値Ｉ_Ｓに対する、隣接位置の画素についての輝度値Ｉ_Ｓ’の差分（Ｉ_Ｓ’−Ｉ_Ｓ）を、注目位置における短露光画像の輝度値Ｉ_Ｓの変化量Ｉ_Ｓｄと定義する。
同様に、長露光画像において、上記の注目位置（ｘ,ｙ）の画素についての輝度値Ｉ_Ｌに対する、隣接位置の画素についての輝度値Ｉ_Ｌ’の差分（Ｉ_Ｌ’−Ｉ_Ｌ）を、注目位置における長露光画像の輝度値Ｉ_Ｌの変化量Ｉ_Ｌｄと定義する。
そして、注目位置の画素についての短露光画像の輝度値Ｉ_Ｓの変化量Ｉ_Ｓｄに対する、同じ位置の画素についての長露光画像の輝度値Ｉ_Ｌの変化量Ｉ_Ｌｄの比（変化量比率）をＫで表す。変化量比率Ｋは、短露光画像の露光量に対する長露光画像の露光量の比（露光量比）に略比例し、その最小値は１である。

さらに、輝度加算値Ｉ_ＳＵＭに対応する合成比率テーブルＤ_２の長露光画像の合成比率をβとし、合成比率βに対応する短露光画像の合成比率をα（α＝１−β）とし、合成比率曲線の傾きをＳとする。

このとき、注目位置における短露光画像の輝度値Ｉ_Ｓ及び長露光画像の輝度値Ｉ_Ｌと隣接画素についての短露光画像の輝度値Ｉ_Ｓ’及び長露光画像の輝度値Ｉ_Ｌ’との間には下記の式（９ａ）及び（９ｂ）で表される関係がある。
Ｉ_Ｓ’＝Ｉ_Ｓ＋Ｉ_ＳＵＭｄ×（１／（１＋Ｋ）） …式（９ａ）
Ｉ_Ｌ’＝Ｉ_Ｌ＋Ｉ_ＳＵＭｄ×（Ｋ／（１＋Ｋ）） …式（９ｂ）

また、注目画素についての合成比率α及びβと、隣接画素についての合成比率α’及びβ’との間には、それぞれ下記の式（１０ａ）及び（１０ｂ）で表される関係がある。
α’＝α＋Ｓ×Ｉ_ＳＵＭｄ …式（１０ａ）
β’＝β−Ｓ×Ｉ_ＳＵＭｄ …式（１０ｂ）
式（１０ａ）及び（１０ｂ）でＩ_ＳＵＭｄは上記のように輝度加算値Ｉ_ＳＵＭの変化量、Ｓは合成比率テーブルで表される合成比率曲線の傾きである。

注目画素についての合成後の輝度値をＩ_Ｏで表し、隣接画素についての合成後の輝度値をＩ_Ｏ’で表すと、Ｉ_ＯとＩ_Ｏ’と、Ｉ_Ｓ、Ｉ_Ｌ、Ｉ_Ｓ’、Ｉ_Ｌ’との間には、下記の式（１１ａ）及び（１１ｂ）で表される関係がある。

式（１１ａ）及び（１１ｂ）から、下記の式（１２）が得られる。

輝度加算値の変化量Ｉ_ＳＵＭｄ（＝Ｉ_ＳＵＭ’−Ｉ_ＳＵＭ）に対する（Ｉ_Ｏ’−Ｉ_Ｏ）の変化量の比が、Ｉ_ＳＵＭｄ＝０近傍で正となっていれば、合成前の輝度値Ｉ_Ｓ及びＩ_Ｌの変化の向き（増加方向か減少方向か）と合成後の輝度値Ｉ_Ｏの変化の向きが同じであることとなり、互いに隣接する画素間で階調値の逆転は発生しない。

よって、上記の式（１２）をＩ_ＳＵＭｄについて微分し、微分結果として得られた関数においてＩ_ＳＵＭｄ＝０としたときの値が正となることが階調値の逆転を発生させないための条件となる。従って、階調値の逆転を発生させない条件式は下記の式（１３）で表される。

式（１３）は以下のようにして導かれる。
式（１２）で表される（Ｉ_Ｏ’−Ｉ_Ｏ）をＩ_ＳＵＭｄについて微分すると下記の式（１４）のごとくとなる。

式（１４）の右辺の第３項はＩ_ＳＵＭｄ＝０において０である。従って、式（１４）の右辺が０以上である条件は上記の式（１３）のごとくとなる。

式（１３）を変形すると下記の式（１５）が得られる。

式（１５）は、合成比率曲線の傾きＳが満たすべき条件を示している。即ち、互いに隣接する画素間で階調値の逆転を発生させないために、合成比率曲線の傾きＳは上記の式（１５）を満たす必要がある。

式（１５）は、傾きＳが満たすべき条件が、輝度値の差（Ｉ_Ｌ−Ｉ_Ｓ）、変化量比率Ｋ、並びに合成比率α及びβに依存することを示す。実施の形態１では、制限値Ｓ_ＭＡＸを、画像の特徴、例えば輝度分布に関わらず、また合成比率α及びβの値に関わらず一定としている。そこで、式（１５）の右辺が、（Ｉ_Ｌ−Ｉ_Ｓ）、Ｋ、α及びβの値の組合せに応じて最小となる条件を見つけ、当該最小値を、傾きＳに対する制限値と定めることとする。
以下では輝度値の差（Ｉ_Ｌ−Ｉ_Ｓ）をＩ_Ｄで表す。

本実施の形態１では、上記のように、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲では、輝度加算値Ｉ_ＳＵＭの増加に伴って合成比率β（Ｉ_ＳＵＭ）が直線的に減少する合成比率曲線を用いることとしている。言い換えれば、合成比率β（Ｉ_ＳＵＭ）に対して制限値Ｓ_ＭＡＸは固定されている。また、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値Ｓ_ＭＡＸを一定としている。

実施の形態１では、画像処理装置を含む撮像システムの仕様或いは使用環境から輝度値の差Ｉ_Ｄ＝（Ｉ_Ｌ−Ｉ_Ｓ）の最大値Ｉ_ＤＭＡＸとＫ（変化量比率）の最大値Ｋ_ＭＡＸとを推定し、推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸを用いて、制限値Ｓ_ＭＡＸを決定し、決定された制限値Ｓ_ＭＡＸをメモリ２３ａに記憶しておく。制限値Ｓ_ＭＡＸを決定するのに用いられる演算は下記の式（１６）で表される。

以下では、輝度値の差Ｉ_Ｄの最大値Ｉ_ＤＭＡＸが３２であり、変化量比率Ｋの最大値Ｋ_ＭＡＸが４であると推定される場合を例に取って説明する。
これらの数値を式（１６）に代入すると、
Ｓ_ＭＡＸ＝１／（５×３２） …式（１７）
となる。

以下、上記の式（１６）で制限値Ｓ_ＭＡＸが決定される理由を説明する。
合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、α＝１、β＝０であり、かつＫが最大のときに最小となり、また式（１５）の右辺は、（Ｉ_Ｌ−Ｉ_Ｓ）＝Ｉ_Ｄが大きいほど小さくなることが分かる。

そこでまず、式（１５）の右辺の（Ｉ_Ｌ−Ｉ_Ｓ）及びＫを推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸで置き換え、さらにα＝１、β＝０とすることで、下記の式（１８）を得る。

上記の式（１８）を満たすように、傾きＳを定めれば、α、βが如何なる値であっても、階調値の逆転が起きないこととなる。このことから、制限値Ｓ_ＭＡＸを上記の式（１６）のように定めれば良いことが分かる。

以上のように、実施の形態１によれば、短露光画像と長露光画像の合成比率テーブルＤ_２で定義される合成比率曲線の傾きＳに対し制限値Ｓ_ＭＡＸを設け、傾きＳが制限値Ｓ_ＭＡＸを超える合成比率テーブルＤ_２が生成された場合（ステップＳＴ１４でＮＯの場合）には、傾きＳを小さくする補正（ステップＳＴ１５）を行うこととしている。そのため、短露光画像と長露光画像の撮影時の露光量比率の情報が得られない場合でも、階調値の逆転の発生を抑えてダイナミックレンジ拡大合成画像を生成することが可能である。

また、合成比率テーブルＤ_２は、輝度加算値Ｉ_ＳＵＭを入力値とし、出力値である合成比率の値が途中で不連続とならないように定められるため、入力画像での輝度値のなだらかな変化に対し、合成画像で輝度値が不連続に変化することによる階調段差の発生を抑えることができる。

さらに、合成比率テーブルＤ_２として、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において合成比率曲線の傾きＳが一定であり、傾きＳの制限値Ｓ_ＭＡＸが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の全体にわたり一定であるものが用いられる。従って、合成比率βを単純な式で算出できる。また、制限値Ｓ_ＭＡＸが予め定められており、合成比率βの値に関わらず固定されている。そのため、処理に必要な演算量を抑えることができる。

さらにまた、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値Ｓ_ＭＡＸを一定にしている。そのため、フレーム毎に（ヒストグラム生成処理部２２から２フレームの画像についてのヒストグラムが供給される毎に）制限値Ｓ_ＭＡＸを算出する必要がなく、処理に必要な演算量を抑えることができる。

実施の形態２．
実施の形態１では、制限値Ｓ_ＭＡＸについてフレーム毎の算出を行わないこととしているが、実施の形態２では、制限値Ｓ_ＭＡＸをフレーム毎の画像の特徴、例えば輝度分布に基づいて定める。

実施の形態２における合成比率テーブル生成処理部２３の処理の手順は、図９に示す如くである。
図９は、図５と概して同じであるが、ステップＳＴ１６及びＳＴ１７が付加されている。
ステップＳＴ１６では、画像の特徴、即ち短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて輝度値の差の最大値Ｉ_ＤＭＡＸ及び変化量比率の最大値Ｋ_ＭＡＸの推定を行う。
ステップＳＴ１７では、ステップＳＴ１６で推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸを用いて制限値Ｓ_ＭＡＸを決定する。

ステップＳＴ１６における最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸの推定の方法を図１０（ａ）及び（ｂ）及び図１１を参照して説明する。図１１は、ステップＳＴ１６の詳細を示す。

まず、ステップＳＴ３１で、画像に含まれる画素の総数をＡｍとし、０からＡｍの範囲内で、第１の指定累積度数Ａ１及び第２の指定累積度数Ａ１及びＡ２の組合せを定める。第２の指定累積度数Ａ２は第１の指定累積度数Ａ１よりも大きな値に定められる。例えば、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２の差は、全画素数Ａｍの１〜５％程度の値とする。

第１及び第２の指定累積度数Ａ１及びＡ２の組合せは、全画素数の０％付近から、１００％付近までの範囲内で順次選択される。例えば、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２の差を固定値とし、第１の指定累積度数Ａ１の値を全画素数の０％に近い値、例えば、５％から初めて、１％ずつ順に大きくし、第２の指定累積度数Ａ２が全画素数の１００％に近い値、例えば９５％に達するまで増加する。そして各々の場合について、即ち、第１及び第２の指定累積度数Ａ１及びＡ２の各組合せについて、後述のステップＳＴ３２ａ〜ＳＴ３４の処理を行う。

ステップＳＴ３１の次に、ステップＳＴ３２ａ〜ＳＴ３２ｄの処理を並行して行う。
ステップＳＴ３２ａでは、図１０（ｂ）に示すように、短露光画像の累積ヒストグラムＤ_Ｓにおける第１の指定累積度数Ａ１に対応する輝度値、即ち短露光画像のＡ１番目の画素の輝度値、即ち、短露光画像のヒストグラムＨ_Ｓにおいて、各輝度値を有する画素の数Ｈ_Ｓ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第１の指定累積度数Ａ１に達したときの輝度値を、短露光画像における第１の対応輝度値Ｉ_ＳＡ１として検出する。

ステップＳＴ３２ｂでは、図１０（ａ）に示すように、長露光画像の累積ヒストグラムＤ_Ｌにおける上記第１の指定累積度数Ａ１に対応する輝度値、即ち長露光画像のＡ１番目の画素の輝度値、即ち、長露光画像のヒストグラムＨ_Ｌにおいて、各輝度値を有する画素の数Ｈ_Ｌ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第１の指定累積度数Ａ１に達したときの輝度値を、長露光画像における第１の対応輝度値Ｉ_ＬＡ１として検出する。

ステップＳＴ３２ｃでは、図１０（ｂ）に示すように、短露光画像の累積ヒストグラムＤ_Ｓにおける第２の指定累積度数Ａ２に対応する輝度値、即ち短露光画像のＡ２番目の画素の輝度値、即ち、短露光画像のヒストグラムＨ_Ｓにおいて、各輝度値を有する画素の数Ｈ_Ｓ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第２の指定累積度数Ａ２に達したときの輝度値を、短露光画像における第２の対応輝度値Ｉ_ＳＡ２として検出する。

ステップＳＴ３２ｄでは、図１０（ａ）に示すように、長露光画像の累積ヒストグラムＤ_Ｌにおける上記第２の指定累積度数Ａ２に対応する輝度値、即ち長露光画像のＡ２番目の画素の輝度値、即ち、長露光画像のヒストグラムＨ_Ｌにおいて、各輝度値を有する画素の数Ｈ_Ｌ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第２の指定累積度数Ａ２に達したときの輝度値を、長露光画像における第２の対応輝度値Ｉ_ＬＡ２として検出する。

ステップＳＴ３２ａ〜ＳＴ３２ｄの処理が終わったら、ステップＳＴ３３及びＳＴ３４の処理を並行して行う。
なお、ステップＳＴ３３の処理は、ステップＳＴ３２ａ〜ＳＴ３２ｄのすべてが終わらなくても、ステップＳＴ３２ａ及びＳＴ３２ｄの処理が終わったら、直ちに行うこととしても良い。

ステップＳＴ３３では、ステップＳＴ３２ｄで求めた長露光画像における第２の対応輝度値Ｉ_ＬＡ２と、ステップＳＴ３２ａで求めた短露光画像における第１の対応輝度値Ｉ_ＳＡ１との差、即ち
Ｉ_ＬＳＤ＝（Ｉ_ＬＡ２−Ｉ_ＳＡ１） …式（１９ａ）
で表される差Ｉ_ＬＳＤを輝度値差分（対応輝度値間の差分）として求める。

ステップＳＴ３４では、短露光画像における第２の対応輝度値Ｉ_ＳＡ２と第１の対応輝度値Ｉ_ＳＡ１との差（Ｉ_ＳＡ２−Ｉ_ＳＡ１）に対する長露光画像における第２の対応輝度値Ｉ_ＬＡ２と第１の対応輝度値Ｉ_ＬＡ１との差（Ｉ_ＬＡ２−Ｉ_ＬＡ１）の比、即ち、
Ｉ_{ＲＡＴＩＯ}＝（Ｉ_ＬＡ２−Ｉ_ＬＡ１）／（Ｉ_ＳＡ２−Ｉ_ＳＡ１） …式（１９ｂ）
で表される比Ｉ_{ＲＡＴＩＯ}を差分比率として求める。

ステップＳＴ３３及びＳＴ３４の処理が終わったら、ステップＳＴ３５に進む。
ステップＳＴ３５では、予定されている第１及び第２の指定累積度数Ａ１及びＡ２の組合せのすべてについてステップＳＴ３１〜ＳＴ３４の処理が終わったかどうかの判定、即ちほかに指定すべき指定累積度数Ａ１及びＡ２の組合せがあるかどうかの判定が行われる。
ほかに指定すべき累積度数Ａ１、Ａ２があれば（ＹＥＳ）、ステップＳＴ３１に戻る。その場合、ステップＳＴ３１で、予定されている第１及び第２の指定累積度数Ａ１及びＡ２の組合せのうちの次のものが選択され、選択された指定累積度数Ａ１及びＡ２の組合せを用いて、ステップＳＴ３２ａ〜ＳＴ３４の処理が繰り返される。

ステップＳＴ３５でＮＯであれば、即ち、ほかに選択すべき指定累積度数Ａ１及びＡ２の組合せがなければ、即ち、すべての指定累積度数Ａ１及びＡ２の組合せについて、ステップＳＴ３２ａ〜ＳＴ３４の処理が行われたら、ステップＳＴ３６及びＳＴ３７の処理を並行して行う。

ステップＳＴ３６では、ステップＳＴ３１〜ＳＴ３５を繰り返すことで、それぞれの第１及び第２の指定累積度数Ａ１及びＡ２の組合せについて求められた、複数の上記の輝度値差分（対応輝度値間の差分）Ｉ_ＬＳＤのうちの最大値Ｉ_ＬＳＤｍを求め、この最大値Ｉ_ＬＳＤｍを、輝度値の差（同一位置の画素についての長露光画像と短露光画像の輝度値の差）Ｉ_Ｄ（＝（Ｉ_Ｌ−Ｉ_Ｓ））の推定された最大値Ｉ_ＤＭＡＸとして保存する。

ステップＳＴ３７では、ステップＳＴ３１〜ＳＴ３５を繰り返すことで、それぞれの第１及び第２の指定累積度数Ａ１及びＡ２の組合せについて求められた、複数の上記の比Ｉ_{ＲＡＴＩＯ}のうちの最大値Ｉ_{ＲＡＴＩＯｍ}を求め、この最大値Ｉ_{ＲＡＴＩＯｍ}を、変化量比率Ｋの推定された最大値Ｋ_ＭＡＸとして保存する。

ステップＳＴ３３における差分Ｉ_ＬＳＤの決定に際し、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２を同じ値にせず、互いに異なる値としているのは、短露光画像及び長露光画像の撮影タイミングのずれによる撮影条件の差異、被写体の動き等によるヒストグラムの形状変化の影響を考慮し、算出結果にマージンを持たせるためである。

ステップＳＴ３６及びＳＴ３７が終わると、ステップＳＴ１６の処理が終わる。
ステップＳＴ１６の次にステップＳＴ１７の処理が行われる。

ステップＳＴ１７では、推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸを用いて、上記の式（１６）で表される演算を行って、制限値Ｓ_ＭＡＸを求める。

ステップＳＴ１３及びＳＴ１７が終わるとステップＳＴ１４に進む。
ステップＳＴ１４において、実施の形態１では、予め定められた制限値Ｓ_ＭＡＸを用いて傾きＳとの比較を行ったが、実施の形態２ではステップＳＴ１７で求められた制限値Ｓ_ＭＡＸを用いて傾きＳとの比較を行う。
それ以外の点で、ステップＳＴ１４の処理は実施の形態１で説明したのと同じである。また、ステップＳＴ１５の処理は、実施の形態１で説明したのと同様である。

実施の形態２では、実施の形態１と同様に、合成比率テーブルＤ_２として、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において、合成比率曲線の傾きＳが一定であり、傾きＳの制限値Ｓ_ＭＡＸが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の全体にわたり一定であるものが用いられている。従って、合成比率βを単純な式で算出できる。そのため、処理に必要な演算量を抑えることができる。

実施の形態１では、制限値Ｓ_ＭＡＸが予め定められており、フレーム毎の画像の特徴に関わらず一定であるのに対し、実施の形態２では、制限値Ｓ_ＭＡＸがフレーム毎の画像の特徴、例えば輝度分布に応じて決定される。従って、フレーム毎の画像の特徴、例えば輝度分布に応じて制限値Ｓ_ＭＡＸを算出することができる。そのため、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ_２の生成に当たり、傾きＳが制限値Ｓ_ＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。

なお、上記の実施の形態１及び２では、ステップＳＴ１２における合成比率テーブルの暫定的生成に当たり、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の合成比率βの値のみならず、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲及び輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲の合成比率βの値をも暫定的に決定している。
しかしながら、この点は必須ではなく、ステップＳＴ１２では、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲及び輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲の合成比率βの値を決定せず、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の合成比率βの値のみを暫定的に定め、ステップＳＴ１４でＹＥＳとの判定がなされたときに、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲及び輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲の合成比率βの値を決定し、ステップＳＴ１２で暫定的に決定された輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の合成比率βの値と組み合わせることで、合成比率テーブルを完成させることとしても良い。

実施の形態３．
上記のように、実施の形態１及び２では、合成比率テーブルとして、図４に実線Ｃ１１で例示するように、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率の値が直線的に変化するものを用いている。これに対し、実施の形態３では、合成比率テーブルとして、図４に破線Ｃ１２で例示するように、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲における合成比率の値が曲線に沿って、単調に変化し、合成比率の変化の傾きＳも単調に変化するものが用いられる。例えば、合成比率テーブルＤ_２として、長露光画像の合成比率β（Ｉ_ＳＵＭ）を輝度加算値Ｉ_ＳＵＭの関数として下記の式（２０）で定義されるものが用いられる。

式（２０）で、ｅは自然対数の底を示し、ｘ＾ｙはｘのｙ乗を示す。
ａ、ｃ及びｄは定数であり、定数ａ及びｄは負の値である。

上記の式（２０）は、指数関数を表すものであり、従って、式（２０）で定義される合成比率βは、指数関数で表される曲線に沿って変化するものである。

図４に実線Ｃ１１で示される合成比率曲線は、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において傾きＳが一定であるが、図４に破線Ｃ１２で示される合成比率曲線は、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において、傾きＳが次第に減少している。実施の形態１では、制限値Ｓ_ＭＡＸを、合成比率βの値に関わらず一定としているが、実施の形態３では、制限値Ｓ_ＭＡＸを合成比率βの値に応じて変化させる。

実施の形態３では、実施の形態１と同様に、画像処理装置が組み込まれる撮像システムの仕様或いは使用環境から輝度値の差の最大値Ｉ_ＤＭＡＸと変化量比率の最大値Ｋ_ＭＡＸとを推定し、推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸを用いて制限値Ｓ_ＭＡＸを決定する。具体的には、制限値Ｓ_ＭＡＸとして、β＝１のときの制限値Ｓ_ＭＡＸ１とβ＝０のときの制限値Ｓ_ＭＡＸ２とを決定し、決定された制限値Ｓ_ＭＡＸ１及びＳ_ＭＡＸ２をメモリ２３ａに記憶しておく。

制限値Ｓ_ＭＡＸ１を決定するのに用いられる演算は下記の式（２１ａ）で表され、制限値Ｓ_ＭＡＸ２を決定するのに用いられる演算は下記の式（２１ｂ）で表される。

以下では、実施の形態１と同じく、輝度値の差の最大値Ｉ_ＤＭＡＸが３２であり、変化量比率の最大値Ｋ_ＭＡＸが４であると推定される場合を例に取って説明する。
これらの数値を式（２１ａ）及び（２１ｂ）に代入すると、

Ｓ_ＭＡＸ１＝１／（２×３２） …式（２２ａ）
Ｓ_ＭＡＸ２＝１／（５×３２） …式（２２ｂ）
となる。

以下、上記の式（２１ａ）及び（２１ｂ）で、制限値Ｓ_ＭＡＸ１及びＳ_ＭＡＸ２が決定される理由を説明する。

最初に、式（２１ａ）について説明する。
上記のように、合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、β＝１（従って、α＝０）である場合、Ｋが小さいほど、小さくなり、（Ｉ_Ｌ−Ｉ_Ｓ）＝Ｉ_Ｄが大きいほど小さくなることが分かる。

そこでまず、式（１５）の右辺の（Ｉ_Ｌ−Ｉ_Ｓ）を推定された最大値Ｉ_ＤＭＡＸで置き換え、Ｋを最小値である１で置き換え、さらにα＝０、β＝１とすることで、下記の式（２３）を得る。

β＝１のときに、上記の式（２３）を満たすように、傾きＳを定めれば、β＝１のときに、階調値の逆転が起きないこととなる。従って、式（２３）の右辺の値をβ＝１のときの制限値Ｓ_ＭＡＸ１とすれば良いことになる。このことから、制限値Ｓ_ＭＡＸ１を上記の式（２１ａ）のように定めれば良いことが分かる。

次に、式（２１ｂ）について説明する。
上記のように、合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、β＝０(従って、α＝１)である場合、Ｋが大きいほど、小さくなり、（Ｉ_Ｌ−Ｉ_Ｓ）＝Ｉ_Ｄが大きいほど小さくなることが分かる。

そこでまず、式（１５）の右辺の（Ｉ_Ｌ−Ｉ_Ｓ）及びＫを推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸで置き換え、さらにα＝１、β＝０とすることで、下記の式（２４）を得る。

β＝０のときに、上記の式（２４）を満たすように、傾きＳを定めれば、β＝０のときに、階調値の逆転が起きないこととなる。従って、式（２４）の右辺の値をβ＝０のときの制限値Ｓ_ＭＡＸ２とすれば良いことになる。このことから、制限値Ｓ_ＭＡＸ２を上記の式（２１ｂ）のように定めれば良いことが分かる。

以上のように式（２１ａ）及び（２１ｂ）で表される演算を行うことにより制限値Ｓ_ＭＡＸ１及びＳ_ＭＡＸ２を求める処理が予め行われ、求められた制限値Ｓ_ＭＡＸ１及びＳ_ＭＡＸ２がメモリ２３ａに記憶されている。

次に、実施の形態３における合成比率テーブルの生成の処理の手順を、図１２を参照して説明する。
図１２でステップＳＴ１１における処理は、実施の形態１に関し、図５及び図６を参照して説明したのと同じである。
ステップＳＴ１１の次にステップＳＴ４１に進む。

ステップＳＴ４１では、式（２０）の定数ａ、ｃ及びｄを暫定的に決定する。
即ち、Ｉ_ＳＵＭ＝Ｔ_１において、β（Ｉ_ＳＵＭ）＝１でかつＳ≦Ｓ_ＭＡＸ１を満たし、β（Ｉ_ＳＵＭ）＝０でかつＳ＜Ｓ_ＭＡＸ２を満たすように、定数ａ、ｃ及びｄを暫定的に決定する。

そして、このようにして定数ａ、ｃ及びｄが決定された式（２０）が、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）≦０を満たすか否かの判定を行う。
この判定を行うことで、Ｉ_ＳＵＭ＝Ｔ_１において、β（Ｉ_ＳＵＭ）＝１でかつＳ≦Ｓ_ＭＡＸ１を満たし、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＝０でかつＳ＜Ｓ_ＭＡＸ２を満たす合成比率テーブルへの補正が可能か否かを判定することができる。
以下、これらの点について説明する。

式（２０）をＩ_ＳＵＭで微分すると、下記の式（２５）が得られる。

式（２５）で、β’（Ｉ_ＳＵＭ）はβ（Ｉ_ＳＵＭ）の導関数を表す。

式（２０）と式（２５）とを組合せて整理すると、下記の式（２６）が得られる。

式（２６）は、β’（Ｉ_ＳＵＭ）をβ（Ｉ_ＳＵＭ）の関数として表わしたものである。

式（２６）におけるβ’（Ｉ_ＳＵＭ）は合成比率テーブルＤ_２において輝度加算値Ｉ_ＳＵＭに対応するβ（Ｉ_ＳＵＭ）の変化の傾きＳを示す値である。即ち、下記の式（２７）の関係がある。
β’（Ｉ_ＳＵＭ）＝Ｓ …式（２７）

従って、式（２６）を、

と書き換えることができる。

よって、β＝１のときに傾きＳが満たすべき条件を示す式（２３）と、式（２８）とから

が得られる。

式（２９）において、Ｉ_ＤＭＡＸ＝３２であれば、
ａ×１−ａ×ｄ≦１／（２×３２） …式（３０）

また、β＝0のときに傾きＳが満たすべき条件を示す式（２４）と、式（２８）とから

が得られる。

式（３１）において、Ｉ_ＤＭＡＸ＝３２、Ｋ_ＭＡＸ＝４であれば、
ａ×０−ａ×ｄ≦１／（５×３２） …式（３２）

これらの式（２９)及び（３１）又は式（３０)及び（３２）を、式（２０）における定数ａ及びｄが満たすべき条件を表すものとして用いることができる。

また、式（２０）において、Ｉ_ＳＵＭ＝Ｔ_１のときのβ（Ｉ_ＳＵＭ）の値を１と規定することで、定数ｃ及びｄが満たすべき更なる条件を求める。
即ち、式（２０）において、Ｉ_ＳＵＭ＝Ｔ_１、β（Ｉ_ＳＵＭ）＝１と置き、
１＝ｃ＋ｄ …式（３３）
を得る。この式を、定数ｃ及びｄが満たすべき、さらなる条件を表すものとして用いることができる。即ち、定数ｄが求まれば、式（３３）により、定数ｃを求めることができる。

式（２９）及び（３１）、又は式（３０）及び（３２）において左辺と右辺が等しい場合と、式（３３）との組合せにより定数ａ、ｃ及びｄの組合せを求める。即ち、式（２９）及び（３１）、又は式（３０）及び（３２）の左辺と右辺とが等しい場合を連立方程式として解き、定数ａ及びｄを求める。そして、求めた定数ｄを式（３３）に代入することで、定数ｃを求める。
そしてこのようにして求められた定数ａ、ｃ及びｄの値を式（２０）に代入する。

ステップＳＴ４１の次にステップＳＴ４２に進む。
ステップＳＴ４２では、ステップＳＴ４１で定数ａ、ｃ及びｄが暫定的に定められた式（２０）が、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）≦０を満たすか否かの判定を行う。Ｉ_ＳＵＭ＝Ｔ_２におけるβ（Ｉ_ＳＵＭ）をβ（Ｔ_２）と表すと、ステップＳＴ４２における判定は、β（Ｔ_２）≦０を満たすか否かの判定と書き換えることができる。

Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）≦０を満たす場合には、式（２９）、（３１）及び（３３）を満たし、なおかつＩ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＝０とする定数ａ、ｃ及びｄの組合せを算出することが可能なので、条件を満たす定数ａ、ｃ及びｄを求める。

即ち、ステップＳＴ４２でＹＥＳの場合には、Ｉ_ＳＵＭ＝Ｔ_１において、β（Ｉ_ＳＵＭ）＝１を満たし、Ｉ_ＳＵＭ＝Ｔ_２において、β（Ｉ_ＳＵＭ）＝０を満たし、Ｉ_ＳＵＭ＝Ｔ_１においてＳ≦Ｓ_ＭＡＸ１を満たし、Ｉ_ＳＵＭ＝Ｔ_２においてＳ≦Ｓ_ＭＡＸ２を満たすように定数ａ、ｃ及びｄを定めることが可能であることを意味する。従って、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の全体において、傾きＳを制限値以下にすることができる。その意味で、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）≦０を満たすか否かの判定は、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲の全体において、傾きＳが制限値以下であるか否かの判定と等価であると言える。

Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＝０の場合には、傾きＳをさらに小さくすると、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＞０になってしまう場合である。一方、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＜０の場合には、傾きＳをより小さくすることが可能である。そこで、この場合には、補正をして傾きＳをより小さくする。

具体的には、ステップＳＴ４２でＹＥＳの場合には、ステップＳＴ４３に進む。
ステップＳＴ４３では、Ｉ_ＳＵＭ＝Ｔ_２において、β（Ｉ_ＳＵＭ）＝０かβ（Ｉ_ＳＵＭ）＜０かの判定を行う。

ステップＳＴ４３で、β（Ｉ_ＳＵＭ）＝０であれば、ステップＳＴ４６に進む。ステップＳＴ４３で、β（Ｉ_ＳＵＭ）＜０であれば、ステップＳＴ４４に進む。

ステップＳＴ４４では、Ｉ_ＳＵＭ＝Ｔ_２におけるβ（Ｉ_ＳＵＭ）、即ちβ（Ｔ_２）が０に等しくなるように定数ａを補正する。

即ち、β（Ｉ_ＳＵＭ）＜０の場合には、合成比率曲線は例えば図１３（ａ）に符号Ｃ２１で示す如くとなる。そこで、この曲線Ｃ２１において、β（Ｉ_ＳＵＭ）＝０となる輝度加算値Ｉ_ＳＵＭをＴ_３として求める。そして定数ａを

に補正する。このように補正することで、定数ａが補正された式（２０）で表される合成比率曲線（第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲）が、図１３（ａ）に符号Ｃ２２で示す如くとなり、β（Ｔ_２）＝０となるようにする。

ステップＳＴ４２で、ＮＯの場合、即ち、Ｉ_ＳＵＭ＝Ｔ_２においてβ（Ｉ_ＳＵＭ）＞０となる場合には、合成比率曲線は例えば図１３（ｂ）に符号Ｃ２３で示す如くとなる。この場合のＩ_ＳＵＭ＝Ｔ_２におけるβ（Ｉ_ＳＵＭ）の値をβ_Ｔ２で表す。その場合、ステップＳＴ４５に進む。ステップＳＴ４５では、式（２０）の定数ｄを
ｄ’＝ｄ−β_Ｔ２ …式（３５）
により補正する。
このように補正することで、β_Ｔ２を１から差し引いた値(１−β_Ｔ２)を、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの合成比率β_Ｔ１の、補正後の値β_Ｔ１ｃとする。

以上のようにして、補正後の値ｄ’及びβ_Ｔ１ｃが求まったら、式（３３）の代わりに、
ｃ’＋ｄ’＝β_Ｔ１ｃ …式（３６）
を用いて、この式（３６）を満たすｃ’を求める。

定数ｃ及びｄが補正された式（２０）で表される合成比率曲線の第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲は、図１３（ｂ）に符号Ｃ２４で示す如くとなる。

ステップＳＴ４３でＹＥＳの場合、及びステップＳＴ４４又はＳＴ４５の処理の後に、ステップＳＴ４６に進む。
ステップＳＴ４６では、ステップＳＴ４１、ステップＳＴ４４又はＳＴ４５で定められた定数ａ、ｃ及びｄを式（２０）に代入し、Ｉ_ＳＵＭとして第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲内の複数の異なる値を順次代入して、β（Ｉ_ＳＵＭ）の対応する値を求めることで、合成比率テーブルのうちの第１の閾値Ｔ_１から第２の閾値Ｔ_２までの部分を生成する。

ステップＳＴ４３でＹＥＳとなって、ステップＳＴ４６に進んだ場合には、ステップＳＴ４１で暫定的に決定された定数ａ、ｃ及びｄが用いられる。
ステップＳＴ４４の処理を経てステップＳＴ４６に進んだ場合には、ステップＳＴ４４で補正された定数ａと、ステップＳＴ４１で暫定的に決定された定数ｃ及びｄとが用いられる。
ステップＳＴ４５の処理を経てステップＳＴ４６に進んだ場合には、ステップＳＴ４５で補正された定数ｃ及びｄと、ステップＳＴ４１で暫定的に決定された定数ａとが用いられる。

合成比率テーブルＤ_２のうちの輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１よりも小さい範囲における合成比率β（Ｉ_ＳＵＭ）の値は、輝度加算値Ｉ_ＳＵＭが第１の閾値Ｔ_１に等しいときの合成比率β（Ｉ_ＳＵＭ）と同じ値とされる。合成比率テーブルＤ_２のうちの輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２よりも大きい範囲における合成比率β（Ｉ_ＳＵＭ）の値は、輝度加算値Ｉ_ＳＵＭが第２の閾値Ｔ_２に等しいときの合成比率β（Ｉ_ＳＵＭ）と同じ値とされる。
このようにして生成された合成比率テーブルはメモリ２３ａに記憶される。
ステップＳＴ４６の次に処理を終了する。

以上、合成比率曲線が指数関数で表されるものであるとして説明したが、指数関数で表される曲線に近似する曲線、例えば折れ線近似する曲線であっても良い。

実施の形態３では、合成比率テーブルとして、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において合成比率が曲線に沿って変化し、傾きＳの制限値Ｓ_ＭＡＸが合成比率βの値に応じて変わるものが用いられる。

即ち、実施の形態３では、合成比率テーブルＤ_２で表される合成比率曲線は、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲では、傾きＳが一定ではなく変化する曲線で構成される。
このようにすると、制限値Ｓ_ＭＡＸに対する制約を緩やかにすることができる。即ち、制限値Ｓ_ＭＡＸを固定値とする場合に比べ演算量は増加するものの、式（１５）を満たす範囲で、傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ_２の生成に当たり、傾きＳが制限値Ｓ_ＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。

さらに、実施の形態３では、実施の形態１と同様に、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値Ｓ_ＭＡＸを一定にするので、フレーム毎に（ヒストグラム生成処理部２２から２フレームの画像についてのヒストグラムが供給される毎に）制限値Ｓ_ＭＡＸを算出する必要がない。そのため、処理に必要な演算量を抑えることができる。

実施の形態４．
上記のように、実施の形態３では、制限値Ｓ_ＭＡＸを合成比率βの値に応じて変化させる一方、制限値Ｓ_ＭＡＸの算出を、フレーム毎には行わないこととしている。これに対し、実施の形態４では、実施の形態３と同様に、制限値Ｓ_ＭＡＸを合成比率βの値に応じて変化させるとともに、実施の形態２と同様に、短露光画像及び長露光画像の特徴、例えば、輝度分布に基づき算出する。

実施の形態４における合成比率テーブル生成処理部２３の処理の手順は、図１４に示す如くである。
図１４は、図１２と概して同じであるが、ステップＳＴ１６及びステップＳＴ４７が付加されている。
ステップＳＴ１６では実施の形態２で述べたのと同様に、画像の特徴、即ち、短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸの推定を行う。

ステップＳＴ４７では、ステップＳＴ１６で推定された最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸを用いて制限値Ｓ_ＭＡＸ１及びＳ_ＭＡＸ２の決定を行う。
その決定の方法は実施の形態３で説明したのと同様である。
ステップＳＴ４１以降の処理は、実施の形態３と同じである。

実施の形態４では、実施の形態３と同様に、合成比率テーブルとして、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲において合成比率βが曲線に沿って変化し、傾きＳの制限値Ｓ_ＭＡＸが合成比率βの値に応じて変わるものが用いられる。

即ち、実施の形態４では、実施の形態３と同様に、合成比率テーブルＤ_２で表される合成比率曲線は、第１の閾値Ｔ_１から第２の閾値Ｔ_２までの範囲では、直線ではなく、傾きＳが変化する曲線で構成される。
このようにすると、制限値Ｓ_ＭＡＸに対する制約を緩やかにすることができる。即ち、制限値Ｓ_ＭＡＸを固定値とする場合に比べ演算量は増加するものの、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ_２の生成に当たり、傾きＳが制限値Ｓ_ＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。

また、実施の形態３では、制限値Ｓ_ＭＡＸ（或いはＳ_ＭＡＸ１及びＳ_ＭＡＸ２）が予め定められており、フレーム毎の画像の特徴に関わらず一定であるのに対し、実施の形態４では、制限値Ｓ_ＭＡＸ（或いはＳ_ＭＡＸ１及びＳ_ＭＡＸ２）が画像の特徴、例えば輝度分布に応じて調整される。そのため、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ_２の生成に当たり、傾きＳが制限値Ｓ_ＭＡＸ（或いはＳ_ＭＡＸ１及びＳ_ＭＡＸ２）よりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。

実施の形態５．
図１５に実施の形態５における画像処理装置の構成を示す。図１５の画像処理装置は図１の画像処理装置と概して同じであるが、図１５では、輝度計測処理部２８が追加されている。

輝度計測処理部２８は、入力された各フレームの画像を、予め定められた複数の領域に分割し、領域毎に領域内に含まれる画素の輝度値の最大値及び最小値を輝度指標値として計測する。計測により得られた輝度指標値は輝度計測処理部２８内で１フレーム期間バッファリングされ、直近２フレームの輝度指標値が出力される。

実施の形態５における合成比率テーブル生成処理部２３の処理の手順は、図９に示す如くである。但し、ステップＳＴ１６における最大値Ｉ_ＤＭＡＸ及びＫ_ＭＡＸの推定が実施の形態２とは異なり、輝度計測処理部２８から出力された輝度指標値に基づいて行われる。

即ち、実施の形態５で用いられる合成比率テーブル生成処理部２３は、長露光画像及び短露光画像を複数の領域（分割領域）に分割し、分割領域毎に、長露光画像と短露光画像の輝度値の最大値及び最小値を、輝度指標値として求め、すべての分割領域について求められた、複数の上記の輝度指標値に基づいて輝度値の差の最大値Ｉ_ＤＭＡＸ及び変化量比率の最大値Ｋ_ＭＡＸを推定する。

図１６は、実施の形態５におけるステップＳＴ１６の詳細を示す。
ステップＳＴ５１では、長露光画像の複数の分割領域の一つを選択するとともに、短露光画像の複数の分割領域の一つを選択する。この際、長露光画像と短露光画像とで同じ位置の分割領域の一つを選択する。
分割領域は例えば矩形の領域であって、画像を１以上の垂直方向の直線及び１以上の水平方向の直線で区切ることで生成される領域である。
ステップＳＴ５１の次にステップＳＴ５２に進む。

ステップＳＴ５２では、短露光画像の選択された分割領域内の最大値を領域内最大輝度値Ｉ_ＳＭＸとして求め、輝度値Ｉ_Ｓ（ｘ，ｙ）の最小値を領域内最小輝度値Ｉ_ＳＭＮとして求め、長露光画像の選択された分割領域内の輝度値Ｉ_Ｌ（ｘ，ｙ）の最大値を領域内最大輝度値Ｉ_ＬＭＸとして求め、最小値を領域内最小輝度値Ｉ_ＬＭＮとして求める。
ステップＳＴ５２の次にステップＳＴ５３及びＳＴ５４を並行して行う。

ステップＳＴ５３では、同じ位置の分割領域についての長露光画像の領域内最大輝度値Ｉ_ＬＭＸと短露光画像の領域内最小輝度値Ｉ_ＳＭＮとの差分Ｉ_ＸＮＤ、即ち、
Ｉ_ＸＮＤ＝Ｉ_ＬＭＸ−Ｉ_ＳＭＮ
で与えられる差分を、当該分割領域についての輝度値差分（領域内最大輝度値と領域内最小輝度値との差分）として求める。

ステップＳＴ５４では、同じ位置の分割領域についての短露光画像の領域内最大輝度値Ｉ_ＳＭＸと領域内最小輝度値Ｉ_ＳＭＮの差（Ｉ_ＳＭＸ−Ｉ_ＳＭＮ）に対する、長露光画像の領域内最大輝度値Ｉ_ＬＭＸと領域内最小輝度値Ｉ_ＬＭＮの差（Ｉ_ＬＭＸ−Ｉ_ＬＭＮ）の比、即ち、
Ｉ_ＲＴＯ＝（Ｉ_ＬＭＸ−Ｉ_ＬＭＮ）／（Ｉ_ＳＭＸ−Ｉ_ＳＭＮ）
で与えられる比を、当該分割領域についての差分比率として求める。

ステップＳＴ５３及びＳＴ５４の次にステップＳＴ５５に進む。
ステップＳＴ５５では、すべての分割領域についてステップＳＴ５１〜ＳＴ５４の処理が終わったか、即ち尚も選択すべき分割領域があるか否かの判定を行う。
ステップＳＴ５５でＹＥＳであれば、即ち、選択すべき分割領域が残っていれば、ステップＳＴ５１に戻る。その場合、ステップＳＴ５１で次の分割領域が選択され、選択した分割領域についてステップＳＴ５２〜ＳＴ５４の処理が繰り返される。

ステップＳＴ５５でＮＯであれば、即ち、ほかに選択すべき分割領域がなければ、即ち、すべての分割領域についてステップＳＴ５２〜ＳＴ５４の処理が行われたら、ステップＳＴ５６及びＳＴ５７の処理を並行して行う。

ステップＳＴ５６では、ステップＳＴ５１で選択されたすべての分割領域についてそれぞれ求められた、複数の輝度値差分（領域内最大輝度値と最小輝度値との差分）Ｉ_ＸＮＤの最大値Ｉ_{ＸＮＤＭＸ}を求め、この最大値Ｉ_{ＸＮＤＭＸ}を、輝度値の差（同一位置の画素についての長露光画像と短露光画像の輝度値の差）Ｉ_Ｄ（＝（Ｉ_Ｌ−Ｉ_Ｓ））の推定された最大値Ｉ_ＤＭＡＸとして保存する。

ステップＳＴ５７では、ステップＳＴ５１で選択されたすべての分割領域についてそれぞれ求められた、複数の差分比率Ｉ_ＲＴＯの最大値Ｉ_{ＲＴＯＭＸ}を求め、この最大値Ｉ_{ＲＴＯＭＸ}を、変化量比率Ｋの推定された最大値Ｋ_ＭＡＸとして保存する。
ステップＳＴ３６及びＳＴ３７が終わると、ステップＳＴ１６の処理が終わる。

以上のように、ステップＳＴ１６では、長露光画像及び短露光画像が複数の領域（分割領域）に分割され、分割領域毎に、長露光画像と短露光画像の輝度値の最大値及び最小値が輝度指標値として求められ、すべての分割領域について求められた、複数の上記の輝度指標値に基づいて輝度値の差の最大値Ｉ_ＤＭＡＸ及び変化量比率の最大値Ｋ_ＭＡＸが推定される。

ステップＳＴ１６の次にステップＳＴ１７の処理が行われる。
ステップＳＴ１１〜ＳＴ１３の処理、及びＳＴ１７以降の処理は、実施の形態２と同様である。

以下、実施の形態２と比較したときの実施の形態５の利点を説明する。
実施の形態２では、長露光画像と短露光画像とで、累積ヒストグラムにおける累積度数が同じ画素（輝度値の低い側から数えたときの順序が同じ画素）は、画像中の同じ位置或いは互いに近い位置にある画素であるとの前提に立ち、累積度数に対応する輝度値Ｉ_ＬＡ１、Ｉ_ＬＡ２、Ｉ_ＳＡ１及びＩ_ＳＡ２を求め、これらの差（Ｉ_ＬＡ２−Ｉ_ＳＡ１）、（Ｉ_ＬＡ２−Ｉ_ＬＡ１）、及び（Ｉ_ＳＡ２−Ｉ_ＳＡ１）を用いて、輝度値の差の最大値Ｉ_ＤＭＡＸ及び変化量比率の最大値Ｋ_ＭＡＸを推定し、これらの推定値を用いて制限値Ｓ_ＭＡＸを算出している。

フレーム間での被写体の動きがあると、長露光画像及び短露光画像の各々において、輝度値の低い側から数えた画素の順位（当該輝度値に対応する累積度数）と、画素位置との関係にずれが生じ得る。このため、実施の形態２に記載した方法で制限値Ｓ_ＭＡＸを決定する場合、長露光画像において、その累積ヒストグラムＤ_Ｌから得られた、累積度数に対応する輝度値Ｉ_ＬＡ１、Ｉ_ＬＡ２を有する画素と、短露光画像において、その累積ヒストグラムＤ_Ｓから得られた、累積度数に対応する輝度値Ｉ_ＳＡ１、Ｉ_ＳＡ２を有する画素の位置が、互いに大きく異なり、そのため、それらの差分（Ｉ_ＬＡ２−Ｉ_ＬＡ１）、（Ｉ_ＬＡ２−Ｉ_ＬＡ１）、及び（Ｉ_ＳＡ２−Ｉ_ＳＡ１）が、動きの影響で大きく異なるものとなり、制限値Ｓ_ＭＡＸの算出精度が低下するおそれがある。

即ち、フレーム間で被写体の動きがない場合に、長露光画像と短露光画像とで同じ位置の画素の輝度値に違いがあっても、長露光画像内における画素相互間における輝度値の大小関係と、短露光画像内における画素相互間における輝度値の大小関係は殆ど同じである。そのため、長露光画像と短露光画像とで、それらの累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）は、画面上で同一の位置又は近くの位置にある。

一方、フレーム間で被写体の動きがある場合、長露光画像と短露光画像とで、被写体の各部が占める面積の比率が変化し得る。すると、長露光画像と短露光画像とで、それらの累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）は、同じ位置にあるとは限らず、長露光画像と短露光画像とで、累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）の位置相互間にずれが生じる。言い換えると、累積ヒストグラムにおける累積度数（輝度値の低い側から数えたときの順位）と、画素位置との間にずれが生じる。
上記のように、実施の形態２では、累積ヒストグラムにおける累積度数が同じ画素が、画面上の同じ位置或いは互いに近い位置にあることを前提とするが、被写体に動きがあると、この前提が崩れる。その結果、制限値Ｓ_ＭＡＸの算出精度が低下する。

これに対し、実施の形態５では、長露光画像及び短露光画像の各分割領域内の輝度値の最大値Ｉ_ＬＭＸ及びＩ_ＳＭＸと、最小値Ｉ_ＬＭＮ及びＩ_ＳＭＮとを求め、これらの差（Ｉ_ＬＭＸ−Ｉ_ＳＭＮ）、（Ｉ_ＬＭＸ−Ｉ_ＬＭＮ）、及び（Ｉ_ＳＭＸ−Ｉ_ＳＭＮ）を用いて、輝度値の差の最大値Ｉ_ＤＭＡＸ及び変化量比率の最大値Ｋ_ＭＡＸとを推定し、これらの推定値を用いて制限値Ｓ_ＭＡＸを算出している。
同じ分割領域内の画素は、同一又は近くに位置する画素である。従って、動きがあっても最大値Ｉ_ＬＭＸ及びＩ_ＳＭＸと最小値Ｉ_ＬＭＮ及びＩ_ＳＭＮとの差（Ｉ_ＬＭＸ−Ｉ_ＳＭＮ）、（Ｉ_ＬＭＸ−Ｉ_ＬＭＮ）、及び（Ｉ_ＳＭＸ−Ｉ_ＳＭＮ）は、動きの影響を受けにくい。そのため、制限値Ｓ_ＭＡＸの算出を高精度で行い得る。

以上実施の形態５を実施の形態２に対する変形として説明した、実施の形態４に対しても同様の変形を加えることができる。

上記の実施の形態１〜５では、ヒストグラムとして、各輝度値を有する画素の出現度数を表すものが生成される。しかし、本発明はこれに限定されない。例えば各々複数の輝度値から成る複数の階級の各々について該階級内の輝度値を有する画素の出現度数を表すヒストグラムが生成される場合にも本発明は適用可能である。各輝度値を有する画素の出現度数を表すヒストグラムは、各階級に属する輝度値の数が１である場合に相当する。
上記の実施の形態では、累積ヒストグラムとして、低輝度側からの累積度数を表すものが生成される。しかし、本発明はこれに限定されない。累積ヒストグラムとして、高輝度側からの累積度数を表すものを生成することとしても良い。

以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。

以上実施の形態１〜５において、画像処理装置２０の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
例えば、図１又は図１５の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。

処理回路がＣＰＵの場合、画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置は、処理回路により実行されるときに、図１又は図１５に示される各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、画像処理装置で実施される画像処理方法における処理の方法、或いはその手順をコンピュータに実行させるものであるともいえる。

なおまた、画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せによって、上述の各機能を実現することができる。

図１７に上記の処理回路を構成する単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理装置のすべての機能を実現する場合の構成の一例を、カメラ１０とともに示す。コンピュータ５０とカメラ１０とで撮像システムが構成されている。
図１７に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、入力インターフェース５３と、出力インターフェース５４とを備え、これらはバス５５で接続されている。
入力インターフェース５３には、カメラ１０からの画像データＰ_１が入力される。

ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作し、入力インターフェース５３を介して入力された画像データに対して、実施の形態１〜５の画像処理装置の各部の処理を行って、処理の結果得られた合成画像の画素値を示す信号を出力インターフェース５４から出力する。
ＣＰＵ５１による処理の内容は、実施の形態１〜５で説明したのと同様である。

画像処理装置で実施される画像処理方法、画像処理装置の各部分の処理、或いは画像処理方法における各処理をコンピュータに実行させるプログラム及び該プログラムを記録したコンピュータで読取り可能な記録媒体についても、画像処理装置について述べたのと同様の効果が得られる。

１０ カメラ、 ２０ 画像処理装置、 ２１ カメラＩ／Ｆ、 ２２ ヒストグラム生成処理部、 ２２ａ メモリ、 ２３ 合成比率テーブル生成処理部、 ２３ａ メモリ、 ２４ フレームバッファ、 ２５ 輝度値加算処理部、 ２６ 合成比率生成処理部、 ２８ 輝度計測処理部、 ５１ ＣＰＵ、 ５２ メモリ、 ５３ 入力インターフェース、 ５４ 出力インターフェース。

Claims (16)

1. 被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
   前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
   前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
   前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
   前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
   前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
   前記合成比率テーブル生成処理部は、
   前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
   前記長露光画像の合成比率が、
   前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
   前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
   前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
   前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
   ことを特徴とする画像処理装置。
2. 前記合成比率テーブル生成処理部は、相前後して入力される２つのフレームの画像の各々について平均輝度値を求め、前記２つのフレームの画像のうち、平均輝度値が高い方を長露光画像であり、平均輝度値が低い方を短露光画像であると判断する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比率テーブル生成処理部は、
   前記短露光画像のヒストグラムにおいて各輝度値を有する画素の数を下側設定値まで積算することで得られる累積度数を第１の対応累積度数として求め、
   前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第１の対応累積度数に達したときの輝度値を第１の対応輝度値として求め、
   前記下側設定値と前記第１の対応輝度値との和を、前記第１の閾値として設定し、
   前記長露光画像のヒストグラムにおいて各輝度値を有する画素の数を、前記下側設定値よりも大きい上側設定値まで積算することで得られる累積度数を第２の対応累積度数として求め、
   前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第２の対応累積度数に達したときの輝度値を第２の対応輝度値として求め、
   前記上側設定値と前記第２の対応輝度値との和を、前記第２の閾値として設定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制限値が、
   前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、
   前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と
   に基づいて定められるものである
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記局所的変化量が互いに隣接する画素間の差であることを特徴とする請求項４に記載の画像処理装置。
6. 前記輝度値の差の最大値及び前記変化量比率の最大値として、前記画像処理装置を含む撮像システムの仕様又は使用環境に基づいて推定された値が用いられることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記合成比率テーブル生成処理部は、
   前記長露光画像及び前記短露光画像の各々の全画素数の範囲内で、複数の第１の指定累積度数及び第２の指定累積度数の組合せを定め、
   前記複数の第１の指定累積度数及び第２の指定累積度数の組合せの各々について、
   前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第１の指定累積度数に達したときの輝度値を、前記短露光画像における第１の対応輝度値として検出し、
   前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第１の指定累積度数に達したときの輝度値を、前記長露光画像における第１の対応輝度値として検出し、
   前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第２の指定累積度数に達したときの輝度値を、前記短露光画像における第２の対応輝度値として検出し、
   前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第２の指定累積度数に達したときの輝度値を、前記長露光画像における第２の輝度値として検出し、
   前記長露光画像における前記第２の対応輝度値と、前記短露光画像における前記第１の対応輝度値との差を、前記第１の指定累積度数及び前記第２の指定累積度数の組合せについての輝度値差分として求め、
   前記短露光画像における前記第２の対応輝度値と前記第１の対応輝度値との差に対する前記長露光画像における前記第２の対応輝度値と前記第１の対応輝度値との差の比を、前記第１の指定累積度数及び前記第２の指定累積度数の組合せについての差分比率として求め、
   前記複数の前記第１の指定累積度数及び前記第２の指定累積度数の組合せについて求められた前記輝度値差分のうちの最大値を、前記輝度値の差の最大値として用い、
   前記複数の前記第１の指定累積度数及び前記第２の指定累積度数の組合せについて求められた前記差分比率のうちの最大値を、前記変化量比率の最大値として用いる
   ことを特徴とする請求項４又は５に記載の画像処理装置。
8. 前記長露光画像及び前記短露光画像の各々を複数の分割領域に分割し、
   前記分割領域の各々について、
   前記短露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
   前記長露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
   同じ位置の前記分割領域についての前記長露光画像の前記領域内最大輝度値と前記短露光画像の前記領域内最小輝度値との差分を、輝度値差分として求め、
   前記複数の分割領域について求められた前記輝度値差分の最大値を、前記輝度値の差の最大値として用い、
   同じ位置の前記分割領域についての前記短露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差に対する、前記長露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差の比を、差分比率として求め、
   複数の前記分割領域について求められた前記差分比率の最大値を、前記変化量比率の最大値として用いる
   ことを特徴とする請求項４又は５に記載の画像処理装置。
9. 前記合成比率テーブル生成処理部は、前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率上限値を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記合成比率テーブル生成処理部は、前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率下限値を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
11. 前記制限値として、
    前記輝度加算値が前記第１の閾値であるときの前記合成比率の変化の傾きを制限する第１の制限値と、
    前記輝度加算値が前記第２の閾値であるときの前記合成比率の変化の傾きを制限する第２の制限値とが定められ、
    前記合成比率テーブル生成処理部は、
    前記合成比率の変化の傾きが、
    前記輝度加算値が前記第１の閾値であるときに前記第１の制限値を超えず、
    前記輝度加算値が前記第２の閾値であるときに前記第２の制限値を超えないように、
    前記合成比率の値を定める
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 前記合成比率テーブル生成処理部は、
    前記第１の閾値から前記第２の閾値までの範囲において、前記長露光画像の合成比率の変化の傾きが、前記輝度加算値の増加にともなって次第に減少するように前記合成比率テーブルを生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１の閾値から前記第２の閾値までの範囲における前記長露光画像の前記合成比率の値が、前記輝度加算値に対して、
    

    

    （但し、ｅは自然対数の底を示し、ｘ＾ｙはｘのｙ乗を示し、Ｉ_ＳＵＭは輝度加算値を表し、Ｔ_１は、前記第１の閾値を表し、ａ、ｃ、ｄは定数を表す）
    で表される関係を有し、
    前記合成比率テーブル生成処理部は、前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と、前記第１の閾値に基づいて、前記定数ａ、ｃ及びｄの値を定める
    ことを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理方法であって、
    前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理ステップと、
    前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理ステップと、
    前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理ステップと、
    前記輝度値加算処理ステップで生成された前記輝度加算値と前記合成比率テーブル生成処理ステップで生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理ステップと、
    前記合成比率生成処理ステップで求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理ステップとを備え、
    前記合成比率テーブル生成処理ステップは、
    前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
    前記長露光画像の合成比率が、
    前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
    前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
    前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
    前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
    ことを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
16. 請求項１５に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images