JP6946966B2 - 画像生成装置及び方法 - Google Patents

Description

本発明は、画像生成装置及び方法に関する。

デジタルカメラ、スマートフォン、監視カメラシステムなどの画像撮像装置における画像処理技術として、ダイナミックレンジの広いシーンを撮影するために、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｒｅｎｄｅｒｉｎｇ：ハイダイナミックレンジ）合成と呼ばれる技術が用いられる。ＨＤＲは、通常撮影された写真画像に比べてより幅広いダイナミックレンジを有する画像を生成するための技術である。ＨＤＲ撮影では、異なる露光設定（例えば、大露光量、標準露光量、小露光量）の画像が複数枚撮影され、各撮影画像が合成される。これにより、ハイライト側の白飛びやシェーディング側の黒つぶれなどの少ないハイダイナミックレンジを持つ画像（以下「ＨＤＲ合成画像」と記載）が生成される。こうして作成されたＨＤＲ合成画像について、トーンマッピングと呼ばれる画像処理によりダイナミックレンジが圧縮される。これにより、液晶ディスプレイ等の表示装置で表示したりプリンタに印刷したりした場合に、人間の目で見て自然に見える出力が可能な、標準的なダイナミックレンジを持つ画像が生成される。トーンマッピングでは、出力画像において元々のＨＤＲ合成画像のダイナミックレンジが圧縮された場合に、人間の目で見て不自然にならないようなマッピングを行うことが求められている。

トーンマッピングの従来技術として、いわゆるグローバルトーンマッピングと呼ばれる技術が知られている。グローバルトーンマッピングは、ＨＤＲ合成画像のヒストグラムからトーンマッピングカーブのルックアップテーブル（ＬｏｏｋＵｐＴａｂｌｅ、以下「ＬＵＴ」と記載）を生成し、そのＬＵＴを用いてＨＤＲ合成画像のダイナミックレンジを補正する技術である。ここで、ＨＤＲ合成画像のヒストグラムとは、横軸をＨＤＲ合成画像の画素値をとり、横軸の各画素値毎の度数を縦軸にプロットしたものである。グローバルトーンマッピングの従来技術として、次のような技術が知られている（例えば特許文献１）。この技術ではまず、入力された元画像に対して量子化及びダウンサンプリングを行うことにより縮小画像が得られる。次に、この縮小画像の例えばヒストグラムに基づいて元画像のダイナミックレンジから表示装置等のメディアのダイナミックレンジへのマッピング関係を具備するＬＵＴが算出される。そして、元画像の各ピクセル値が、ＬＵＴに基づいて、元画像の元ダイナミックレンジからメディアのダイナミックレンジにマッピングされる。

トーンマッピングの他の従来技術として、いわゆるローカルトーンマッピングと呼ばれる技術が知られている。ローカルトーンマッピングは、ＨＤＲ合成画像をエッジ部の情報が保存された高周波成分と他の低周波成分に分離し、低周波成分のダイナミックレンジのみを圧縮することで、エッジ部の情報を保存しながらＨＤＲ合成画像のダイナミックレンジを補正する技術である。ローカルトーンマッピングの従来技術として、次のような技術が知られている（例えば特許文献２）。この技術では、補正対象画素のレベル値とのレベル差が大きく異なる周辺画素以外の周辺画素に基づいて入力画像にローパスフィルタを適用することによって平滑化画像が生成され、入力画像の低周波成分とされる。更に、この平滑化画像と入力画像との差分画像が生成され、入力画像の高周波成分とされる。そして、上記低周波成分である平滑化画像に対してダイナミックレンジが圧縮される。このダイナミックレンジが圧縮された平滑化画像と上記差分画像とが合成されて出力画像が生成される。この結果、入力画像である例えばＨＤＲ画像において、低周波成分のダイナミックレンジ圧縮効果を維持しつつ、差分画像に基づいてエッジ部のレベル差を良く保存しオーバーシュートあるいはアンダーシュートの発生を抑制したトーンマッピングが実現される。

上述したグローバルトーンマッピングの従来技術は、入力画像の輝度のヒストグラムにおいて偏りが大きい場合にＬＵＴによって全体的な輝度の偏りをうまく補正できるという特徴がある。一方、上述したローカルトーンマッピングの従来技術は、逆にヒストグラムの偏りが小さい場合に、エッジ部分の情報を保存したまま空などの部分に対してのみ適切なトーンマッピングを行えるという特徴がある。そこで、トーンマッピングの更に他の従来技術として、上記グローバルトーンマッピングと上記ローカルトーンマッピングとを合成し、ヒストグラムにおいて偏りが大きい場合と小さい場合の両方に対応可能とした技術が知られている（例えば特許文献３）。

特許第５４７６７９３号公報 特許第４５２３９２６号公報 特許第５７７０８６５号公報 特開２０１２−１１９７６１号公報 特開２０１４−１７４８１７号公報

ここで、従来のグローバルトーンマッピングの設定では、入力画像の輝度のヒストグラムのみに基づいて、ＬＵＴのためのトーン補正パラメータが決定されている。このため、ＨＤＲ撮影の露光量の設定値とシーンのダイナミックレンジの状態によっては、安定的に適正露光になるようにダイナミックレンジを補正することが難しい。例えば、ＨＤＲ撮影の露出設定が１ＥＶ、０ＥＶ、−１ＥＶの場合のＨＤＲ合成画像と、３ＥＶ、０ＥＶ、−３ＥＶの場合のＨＤＲ合成画像とでは、ＨＤＲ合成画像それぞれのヒストグラムの形状が同様であっても−３ＥＶを用いたＨＤＲ合成画像は−１ＥＶを用いたＨＤＲ合成画像よりも明るく補正することが望ましい。しかし、従来は、単純にヒストグラムのみに基づいてトーン補正パラメータが設定されるため、上述のような露出設定の違いによる補正を適切に行うことが難しい。

そこで、本発明の１つの側面では、適正露光になるようにダイナミックレンジを補正できる安定したトーンマッピングを実現することを目的とする。

態様の一例では、複数の露光設定値それぞれを用いて被写体を撮影した複数の画像を合成することで生成された合成画像に対してトーンマッピング処理を実行することにより出力画像を生成するプロセッサを有する画像生成装置であって、プロセッサは、複数の露光設定値のうち最小露光設定値に基づいて、トーンマッピング処理において合成画像に含まれる複数の画素値各々を表す第１の画素値を出力画像に含まれる複数の画素値各々を表す第２の画素値にマッピングするときの、第１の画素値毎のゲインの上限値を示す上限パラメータと、第１の画素値毎のゲインの下限値を示す下限パラメータとを設定し、合成画像の第１の画素値のヒストグラムに基づいて上限パラメータ及び下限パラメータを補間することにより、第１の画素値毎のゲインの適正値を示すトーンマッピングパラメータを算出する。

適正露光になるようにダイナミックレンジを補正できる安定したトーンマッピングを実現することが可能となる。

一般的なグローバルトーンマッピング処理とその問題点の説明図である。 本発明による画像生成装置の実施形態を含むブロック図である。 パラメータ算出補間処理の説明図である。 上限パラメータを定義することの効果を示す説明図である。 最小ＥＶ設定値毎のγカーブによるトーンマッピングカーブの例を示す説明図である。 画像生成処理の例を示すフローチャートである。 グローバルトーンマッピングパラメータ算出処理の詳細例を示すフローチャートである。 画像生成装置の実施形態を実現可能なコンピュータのハードウェアの例を示すブロック図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。本発明の実施形態は、ハイダイナミックレンジ合成処理で生成されたハイダイナミックレンジ合成画像に対して、グローバルトーンマッピング処理とローカルトーンマッピング処理とを直列に実行することにより、出力画像を生成する画像生成装置である。

本実施形態について説明する前にまず、一般的なグローバルトーンマッピング処理とその問題点について、図１を用いて説明する。一般的なグローバルトーンマッピング処理では、ＨＤＲ合成画像の画素値（輝度値）のヒストグラムが算出される。

まず、例えば図１（ａ）の（ａ−１）として示されるように、ＨＤＲ合成画像のヒストグラムが、画素値が小さいすなわち画像が暗い範囲に集中しているケースを考える。一般的なグローバルトーンマッピング処理において、このケースの場合には、例えば図１（ａ）の（ａ−１）から（ａ−２）へのＨＤＲ合成画像の各画素値から出力画像の各画素値へのマッピングが行われる。この変換では、（ａ−１）でＨＤＲ合成画像の画素値のヒストグラムが存在し得る最も大きな画素値ＨＬが（ａ−２）の出力画像の最大画素値になるように、矢印Ａのように、画素値ＨＬ以下のＨＤＲ合成画像の各画素値が出力画像の各画素値にマッピングされる。

なお、ＨＤＲ合成画像の画素値の範囲と出力画像の画素値の範囲は同じ、すなわち、最小画素値は０で、最大画素値が同じ（例えば１０２３）であるとする。実際には、出力画像の画素値の最終的な範囲は、その出力画像が出力される表示装置やプリンタの性能に応じて異なるが、トーンマッピングの時点では出力画像の画素値の範囲はＨＤＲ合成画像の画素値の範囲と同じとして扱われる。

ここで、画像を撮像するカメラの適正露光量を０ＥＶ（ＥＶ：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ：露出値）とする。ＥＶは、画像が撮像されたときの露光量を示す数値で、カメラにおける基準となる適正露光量を０ＥＶとして、ＥＶ値が１ＥＶ増える毎に露光量が２倍ずつ増加し、１ＥＶ減る毎に露光量が１／２ずつ減少する。そして、本実施形態では、例えば露光量が０ＥＶである適正露光画像と、０ＥＶに対する相対的な露光量が−２ＥＶである小露光画像と、相対的な露光量が２ＥＶである大露光画像の３枚の画像が撮像され、それらの画像からＨＤＲ合成画像が生成される。いま、露光量＝−２ＥＶは露光量＝０ＥＶの１／４の露光量である。従って、小露光画像から生成されたＨＤＲ合成画像に対してゲイン４倍を超えるトーンマッピングを行うと、ＨＤＲ合成画像中の−２ＥＶの露光領域が出力画像にマッピングされた場合、その出力画像の領域の露光量は０ＥＶを超えて露光オーバーになってしまう。

しかし、例えば図１（ａ）の（ａ−１）から（ａ−２）へのマッピングでは、画素値ＨＬが出力画像の最大画素値に対応するように、画素値ＨＬ以下のＨＤＲ合成画像の各画素値が出力画像の各画素値に単純にマッピングされてしまう。このため、画素値ＨＬが出力画像の最大画素値の１／４未満の値である場合には、画素値ＨＬ以下のＨＤＲ合成画像の各画素値が出力画像の各画素値に単純にマッピングされるときのゲインが、４倍を超えてしまう。従って、一般的なグローバルトーンマッピング処理において、図１（ａ）のようなケースでは、出力画像が露光オーバーになってしまう場合があるという問題があった。

次に、例えば図１（ｂ）の（ｂ−１−１）として示されるように、ＨＤＲ合成画像のヒストグラムが、画素値が小さいすなわち画像が暗い範囲にも、画素値が大きいすなわち画像が明るい範囲にも存在しているケースを考える。一般的なグローバルトーンマッピング処理において、このようなケースの場合には、図１（ｂ）の（ｂ−１−２）の矢印Ｂとして示されるように、画素値が小さい領域のみが画素値が増える方向に引き延ばされるように、ＨＤＲ合成画像から出力画像へのマッピングが行われる。

続いて、例えば図１（ｂ）の（ｂ−２−１）として示されるように、ＨＤＲ合成画像のヒストグラムが、図１（ｂ）の（ｂ−１−１）の場合と同じ傾向を示している。しかし、ＨＤＲ合成画像を生成した小露光画像の露光量は、（ｂ−１−１）の場合は例えば−２ＥＶで、（ｂ−２−１）の場合は例えば−３ＥＶであったとする。画像を撮像するカメラが決定する適正露光量を０ＥＶとしたときに、前述したように、露光量が−２ＥＶである小露光画像を適正露光量にするためには２^-(-2) ＝２² ＝４倍のゲインが必要となる。一方、露光量が−３ＥＶの場合には、２^-(-3) ＝２³ ＝８倍のゲインが必要となる。この場合には、図１（ｂ）の（ｂ−２−２）の矢印Ｃとして示されるように、（ｂ−１−２）の矢印Ｂに比較して、画素値が小さい領域のみが画素値がより多く増える方向に引き延ばされるように、ＨＤＲ合成画像から出力画像へのマッピングが行われる必要がある。

しかし、一般的なグローバルトーンマッピング処理では、ＨＤＲ合成画像を生成した小露光画像の露光量は考慮されていなかった。このため、（ｂ−１−１）と（ｂ−２−１）に示されるようにヒストグラムの形状が同じ場合、（ｂ−１−２）の場合の増加量Ｂと（ｂ−２−２）の場合の増加量Ｃは同じであった。従って、一般的なグローバルトーンマッピング処理では、図１（ｂ）に示されるようにＨＤＲ合成画像のヒストグラムが画素値が小さい範囲にも大きい範囲にも存在しているケースで、露光量不足になる場合があるという問題があった。

以上説明したように、一般的なグローバルトーンマッピング処理では、単純にヒストグラムのみに基づいてＨＤＲ合成画像の各画素値から出力画像の各画素値へのトーンマッピングが行われていた。このため、ＨＤＲ合成画像を生成した画像の露光量の違いやＨＤＲ合成画像のヒストグラムの特定に応じて、トーンマッピングを適切に行うことができない場合があった。

図２は、図１で説明した一般的なグローバルトーンマッピング処理の問題点を解決できる、本発明による画像生成装置１００の実施形態を含むブロック図である。図２は、画像生成装置１００の実施形態のブロックに加えて、ＨＤＲ合成装置１５０のブロックを含む。まず、ＨＤＲ合成装置１５０は、例えばデジタルカメラである。ＨＤＲ合成装置１５０は、同一被写体に対して例えば、適正露光（例えば０ＥＶ）、小露光（例えば−２ＥＶ）、及び大露光（例えば２ＥＶ）による３回の撮像を行う。これにより、ＨＤＲ合成装置１５０は、適正露光画像１５３、小露光画像１５４、及び大露光画像１５５の３枚の画像を取得する。なお、これらの画像には、カメラガンマの補正はかけられていないものとする。また、取得される画像の枚数は、３枚には限定されず、２枚以上であればよい。

次に、ＨＤＲ合成装置１５０内の位置あわせ処理部１５１は、上記適正露光画像１５３、小露光画像１５４、及び大露光画像１５５に対して、画素のずれを補正する位置あわせ処理を実行する。上記３枚の画像は、連続した時間ではあるが同一時間では撮像されないため、それぞれの画像に写る被写体の画素位置が微妙にずれる場合がある。このため、位置あわせ処理部１５１は、例えば適正露光画像１５３内の各画素を基準にして、ブロックマッチング等の手法を用いて、その適正露光画像１５３上の画素に対応する小露光画像１５４の画素を算出して、その対応関係を記憶する。同様に、位置あわせ処理部１５１は、適正露光画像１５３上の画素に対応する大露光画像１５５の画素を算出し、その対応関係を記憶する。

次に、ＨＤＲ合成装置１５０内のＨＤＲ合成処理部１５２は、位置あわせ処理部１５１により画素毎に対応関係がとられた適正露光画像１５３、小露光画像１５４、及び大露光画像１５５に対して、それぞれの適正露光部分を合成することで、ハイライト側の白飛びやシェーディング側の黒つぶれなどの少ないハイダイナミックレンジを持つＨＤＲ合成画像を生成する。

次に、画像生成装置１００は、ＨＤＲ合成装置１５０内のＨＤＲ合成処理部１５２で生成されたＨＤＲ合成画像に対して、グローバルトーンマッピング処理とローカルトーンマッピング処理とを実行する。これにより、画像生成装置１００は、ディスプレイやプリンタなどの出力機器に合ったダイナミックレンジを有する出力画像１４３を生成する。画像生成装置１００は、グローバルトーンマッピングパラメータ算出部１０１と、直列トーンマッピング処理部１０２と、入力受付部１０３と、記憶処理部１０４とを備える。

入力受付部１０３は、ＨＤＲ合成装置１５０から、ＨＤＲ合成画像１３０と最小ＥＶ設定値１３１（最小露光設定値）を入力して保持する。ＨＤＲ合成画像１３０は、ＨＤＲ合成装置１５０内のＨＤＲ合成処理部１５２でのハイダイナミックレンジ合成処理（以下「ＨＤＲ合成処理」と記載）により生成された画像である。最小ＥＶ設定値１３１は、ＨＤＲ合成装置１５０における上記ＨＤＲ合成処理時に使用された最小露光画像のＥＶ値（露光値）である。図２の例では、破線で囲まれた、小露光画像１５４のＥＶ値＝−２ＥＶが入力される。

グローバルトーンマッピングパラメータ算出部１０１は、パラメータ算出補間処理Ｓ１を実行する。パラメータ算出補間処理Ｓ１では、入力受付部１０３が入力した最小ＥＶ設定値１３１に基づき、グローバルトーンマッピング処理のための上限パラメータ１４０と下限パラメータ１４１とを設定する。上限パラメータ１４０は、直列トーンマッピング処理部１０２が実行するグローバルトーンマッピング処理Ｓ２で、ＨＤＲ合成画像１３０の各第１の画素値を中間出力画像１２１の各第２の画素値にマッピングするときの、第１の画素値毎のゲインの上限値を示す。下限パラメータ１４１は、グローバルトーンマッピング処理Ｓ２で、ＨＤＲ合成画像１３０の各第１の画素値を中間出力画像１２１の各第２の画素値にマッピングするときの、第１の画素値毎のゲインの下限値を示す。上限パラメータ１４０及び下限パラメータ１４１の更に詳細な定義及び説明については、後述する。グローバルトーンマッピングパラメータ算出部１０１は、パラメータ算出補間処理Ｓ１で設定された上限パラメータ１４０と下限パラメータ１４１を、記憶処理部１０４に記憶させる。

次に、グローバルトーンマッピングパラメータ算出部１０１は、パラメータ算出補間処理Ｓで、入力受付部１０３が入力したＨＤＲ合成画像１３０のヒストグラムに基づき、上限パラメータ１４０と下限パラメータ１４１を補間する。この結果、グローバルトーンマッピングパラメータ１４２が算出される。このグローバルトーンマッピングパラメータ１４２は、グローバルトーンマッピング処理Ｓ２で、ＨＤＲ合成画像１３０の各第１の画素値を中間出力画像１２１の各第２の画素値にマッピングするときの、第１の画素値毎のゲインの適正値を示している。グローバルトーンマッピングパラメータ１４２の更に詳細な定義及び説明については、後述する。このグローバルトーンマッピングパラメータ１４２は、第１の画素値毎にゲインの値を記憶したＬＵＴとして記憶処理部１０４に記憶される。

その後、直列トーンマッピング処理部１０２において、入力受付部１０３が保持しているＨＤＲ合成画像１３０に対して、グローバルトーンマッピング処理Ｓ２とローカルトーンマッピング処理Ｓ３が直列に実行される。

まず、グローバルトーンマッピング処理Ｓ２では、記憶処理部１０４から読み込んだ上記グローバルトーンマッピングパラメータ１４２のＬＵＴにより、ＨＤＲ合成画像１３０の各第１の画素値が中間出力画像１２１の各第２の画素値にマッピングされる。

続いて、ローカルトーンマッピング処理Ｓ３では、上述のようにヒストグラムの偏りが適切に補正された中間出力画像１２１に対して、ヒストグラムの偏りが小さい傾向に対して、エッジ部分の情報を保存しながら、適切なトーンマッピングが実行される。ローカルトーンマッピング処理Ｓ３としては、例えば前述した特許文献２に記載の処理を採用することができる。このローカルトーンマッピング処理Ｓ３により生成された最終的な出力画像１４３は、記憶処理部１０４に保持される。その後、この出力画像１４３は、上述のトーンマッピングに対応したディスプレイやプリンタに出力される。

図２の画像生成装置１００内のグローバルトーンマッピングパラメータ算出部１０１が実行するパラメータ算出補間処理Ｓ１について、以下に詳細に説明する。図３は、パラメータ算出補間処理Ｓ１の説明図である。

図２のＨＤＲ合成装置１５０で得られる適正露光画像１５３のＥＶ設定値＝０ＥＶが、ＨＤＲ合成装置１５０が装備されるカメラの適正露光量であるときに、この適正露光量＝０ＥＶを超えてグローバルトーンマッピングをしてしまうと、露光オーバーになってしまう。図２の例では、小露光画像１５４のＥＶ設定値は−２ＥＶであり、−２ＥＶは０ＥＶの１／４の露光量である。従って、ＥＶ設定値＝−２ＥＶの小露光画像１５４から生成されたＨＤＲ合成画像１３０に対して、２^-(-2) ＝２² ＝４倍のゲインを超えるトーンマッピングを行うと、次のような状態が発生し得る。ＨＤＲ合成画像１３０中の−２ＥＶで露光された領域に対応する中間出力画像１２１の領域の露光量が０ＥＶを超える場合が発生し得る。

そこで、本実施形態ではまず、ＨＤＲ合成画像１３０の各第１の画素値を中間出力画像１２１の各第２の画素値にマッピングするときの、第１の画素値毎のゲインの上限値が定義される。上述の考察より、ＨＤＲ合成画像１３０を生成したときの最小ＥＶ設定値１３１をＥＶｍｉｎとしたときに、上限値を２^-EVminとするのが望ましい。図２の例では、ＥＶｍｉｎの値は、小露光画像１５４が撮像されたときのＥＶ設定値＝−２ＥＶである。従って、この場合の上限値は、２^-EVmin＝2^-(-2) ＝４となる。

ここで、中間出力画像１２１の最大画素値をＲ（例えば１０２３）とし、設定された上限値のもとで中間出力画像１２１の最大画素値Ｒを生成するＨＤＲ合成画像１３０の画素値をＭｉｎＲ（第３の画素値）と定義する。なお、図１の説明で前述したように、ＨＤＲ合成画像１３０の画素値の範囲と中間出力画像１２１の画素値の範囲は同じ、つまり、最小画素値は０で、最大画素値は同じ値Ｒ（例えば１０２３）であるとする。この場合、例えば上記上限値＝４のもとでのＭｉｎＲ値は、Ｒ／４となる。従って、ＨＤＲ合成画像１３０の画素値が０からＲ／４までの範囲では、上記上限値＝４のゲインを用いて、ＨＤＲ合成画像１３０の画素値を中間出力画像１２１の画素値にマッピングするのが望ましい。なお、ＨＤＲ合成画像１３０の画素値がＲ／４を超えてＲまでの範囲では、ＨＤＲ合成画像１３０の画素値＝中間出力画像１２１の画素値＝Ｒとしてマッピングするのが望ましい。このようにして、ＨＤＲ合成画像１３０の画素値毎（実質的には最小画素値＝０からＭｉｎＲまでの画素値毎）に設定される、上記上限値を、上限パラメータ１４０と定義する。

図３（ａ）は、ＨＤＲ合成画像１３０のヒストグラム３０２ａと、上限パラメータ１４０のトーンマッピングカーブ３０１ａとの関係を示す図である。図３（ａ）において、横軸は、ＨＤＲ合成画像１３０の画素値（以下「ＨＤＲ画素値」と記載）（第１の画素値）の最小画素値＝０から最大画素値＝Ｒまでの範囲を示している。また、左端の縦軸は、ＨＤＲ合成画像１３０の画素値毎のヒストグラム（度数）を示している。図３（ａ）の横軸と左端の縦軸により、最小画素値＝０から画素値ＭｉｎＲ（図２の例ではＲ／４）までの範囲にヒストグラム３０２ａが存在する場合の例が示されている。また、図３（ａ）において、右端の縦軸は、中間出力画像１２１の画素値（以下「中間出力画素値」と記載）（第２の画素値）の最小画素値＝０から最大画素値＝Ｒまでの範囲を示している。ここで、「最大画素値＝Ｒ」とは、ＨＤＲ合成画像１３０又は出力画像１４３において、実際にその画素値が存在するか否かにかかわらず、取り得る画素値の最大値をいう。図３（ａ）の横軸と右端の縦軸により、最小画素値＝０から画素値ＭｉｎＲ（図２の例ではＭｉｎＲ＝Ｒ／４）までの範囲において、ＨＤＲ画素値を中間出力画素値にマッピングするためのトーンマッピングカーブ３０１ａが示されている。このカーブ３０１ａは、ＨＤＲ画素値の最小画素値＝０と最大画素値＝Ｒがそれぞれ中間出力画素値の最小画素値＝０と最大画素値＝Ｒにマッピングされる、ゲインを示す傾き＝Ｒ／ＭｉｎＲ（図２の例では「＝４」）の上限パラメータ１４０の直線カーブである。

以上より、ＨＤＲ合成画像１３０のヒストグラム３０２ａが画素値＝０からＭｉｎＲ（図２の例ではＲ／４）までの範囲に存在する場合、グローバルトーンマッピング処理Ｓ２（図２参照）では、ゲイン＝Ｒ／ＭｉｎＲの上限パラメータ１４０の使用が適している。ＨＤＲ画素値＝０〜ＭｉｎＲの範囲では、グローバルトーンマッピング処理Ｓ２において、上限パラメータ１４０のトーンマッピングカーブ３０１ａに従うようなトーンマッピングが行われることにより、適正露光を維持することが可能となる。

図４は、上限パラメータ１４０を定義することの効果を示す説明図である。図４（ａ）は、ＥＶ設定値＝２ＥＶの大露光画像１５５、ＥＶ設定値＝０ＥＶの適正露光画像１５３、及びＥＶ設定値＝−２ＥＶの小露光画像１５４の例を示した図である。また図４（ｂ）は、上記３つの画像の各ダイナミックレンジと露光量との関係を比較した図である。図４（ｂ）で、ＥＶ設定値＝−２ＥＶの小露光画像１５４のダイナミックレンジ（０〜１）及び露光量（＝１）を基準とする。この場合、ＥＶ設定値＝０ＥＶの適正露光画像１５３のダイナミックレンジは０〜2^-2＝０〜１／４、露光量は４倍になる。また、ＥＶ設定値＝２ＥＶの大露光画像１５５のダイナミックレンジは、０〜2^-2-2＝０〜2^-4＝０〜１／１６、露光量は１６倍になる。上限パラメータ１４０を定義することによって、少なくともＥＶ設定値＝−２ＥＶの小露光画像１５４から生成されたＨＤＲ合成画像１３０上の領域について、最大で図４の４０１で示されるダイナミックレンジ領域に対応する明るさを補償することが可能となる。

図２の直列トーンマッピング処理部１０２が実行するグローバルトーンマッピング処理Ｓ２のためのトーンマッピングカーブとして、図３（ａ）の３０１ａとして示される上限パラメータ１４０が定義されることにより、次の効果がある。ＨＤＲ合成画像１３０の生成時の最小ＥＶ設定値１３１に応じて、ＨＤＲ画素値を中間出力画素値にマッピングするときのゲインに上限値を設定できる。これにより、図１（ａ）の説明で前述した、最小ＥＶ設定値１３１によって、グローバルトーンマッピング処理Ｓ２の結果において適切な露光量が得られない場合があるという問題を解決することが可能となる。

図３の説明に戻って、図３（ｂ）（横軸と左端及び右端の縦軸の関係は図３（ａ）と同じ）に示されるように、ＨＤＲ合成画像１３０のヒストグラム３０２ｂが、ＨＤＲ画素値の最小画素値＝０から最大画素値＝Ｒまでの全範囲にわたり存在するケースを考える。またこのケースにおいて、ヒストグラム３０２ｂは例えば、ＨＤＲ画素値が小さい領域のほうが比較的度数が大きいとする。これは、ＨＤＲ合成画像１３０においてシャドー部の割合が大きい場合の例である。このケースでは、ＨＤＲ画素値から中間出力画素値へマッピングを行うためのゲインの値をＨＤＲ画素値毎にプロットしたトーンマッピングカーブ３０１ｂとしては、次のようなカーブを採用することができる。まず、トーンマッピングカーブ３０１ｂが示すゲインの値は、ＨＤＲ画素値が小さい領域では、値１よりも大きく、図３（ａ）で設定された上限パラメータ１４０のゲインの値Ｒ／ＭｉｎＲより小さい値で変化する。そして、トーンマッピングカーブ３０１ｂが示すゲインの値は、ＨＤＲ画素値が大きくなるに従って、徐々に値１に近づきながら減少してゆき、ＨＤＲ画素値の最大画素値＝Ｒにおいて、値１になってＨＤＲ画素値＝中間出力画素値＝Ｒとなる。グローバルトーンマッピング処理Ｓ２（図２参照）では、ＨＤＲ画素値毎に、上記トーンマッピングカーブ３０１ｂが示す値より小さい値のゲインでは、マッピングを行わない。すなわち、トーンマッピングカーブ３０１ｂは、ＨＤＲ画素値毎に中間出力画素値にマッピングされるときの下限値を示している。図３（ｂ）のトーンマッピングカーブ３０１ｂが示す下限値を、下限パラメータ１４１と定義する。

図３（ｂ）に示されるようなトーンマッピングカーブ３０１ｂの例として、ＨＤＲ画素値の最小画素値＝０及び最大画素値＝Ｒがそれぞれ中間出力画像１２１の最小画素値＝０及び最大画素値＝Ｒにマッピングされるようなγカーブを採用することができる。また、γカーブでは、入力（ＨＤＲ画素値）の値が小さい領域で傾きが大きく、最大値（ＨＤＲ画素値の最大画素値＝Ｒ）に近づくに従って傾きが小さくなって０に近づいてゆく。このため、γカーブは、下限パラメータ１４１のトーンマッピングカーブ３０１ｂとして好適である。

前述したように、ＨＤＲ合成画像１３０を生成したときの最小ＥＶ設定値１３１をＥＶｍｉｎとしたときに上限パラメータ１４０が示すゲインの上限値は２^-EVminで規定される。例えば、ＥＶｍｉｎ＝−１ＥＶであれば上限値は２^-(-1) ＝２、ＥＶｍｉｎ＝−２ＥＶであれば上限値は２^-(-2) ＝４、ＥＶｍｉｎ＝−３ＥＶであれば上限値は２^-(-3) ＝８である。そして、前述したように、図３（ｂ）のトーンマッピングカーブ３０１ｂが示すゲインの値は、ＨＤＲ画素値が小さい領域では、上記上限パラメータ１４０が示すゲインの上限値より少し小さい値となる。従って、図３（ｂ）のトーンマッピングカーブ３０１ｂのＨＤＲ画素値が小さい領域のゲイン値は、最小ＥＶ設定値１３１が小さければ大きく、最小ＥＶ設定値１３１が大きければ小さくなるように設定されることが望ましい。

図５は、上述の特性を実現することができる、最小ＥＶ設定値１３１毎のγカーブによるトーンマッピングカーブ３０１ｂの例を示す説明図である。ＨＤＲ合成画像１３０の生成時の小露光画像１５４の最小ＥＶ設定値１３１が小さいほうがＨＤＲ画素値が小さい領域のゲイン値が大きく、最小ＥＶ設定値１３１が大きいが上記ゲイン値が小さくなるようにするために、次のようなγカーブが採用されればよい。本実施形態では、図５（ｂ）に示されるように、最小ＥＶ設定値１３１が小さくなるに従って、γカーブのγ値として大きな値が設定される。これにより、本実施形態では、最小ＥＶ設定値１３１の値に対応して、図５（ａ）に示されるγカーブが、トーンマッピングカーブ３０１ｂとして設定される。最小ＥＶ設定値１３１が例えば−３ＥＶのトーンマッピングカーブ３０１ｂでは、最小ＥＶ設定値１３１が例えば−ＥＶのトーンマッピングカーブ３０１ｂに比較して、ＨＤＲ画素値が小さい領域で、より大きな値の中間出力画素値がマッピングされる。最小ＥＶ設定値１３１が−２ＥＶのトーンマッピングカーブ３０１ｂは、最小ＥＶ設定値１３１が−３ＥＶのトーンマッピングカーブ３０１ｂの特性と最小ＥＶ設定値１３１が−ＥＶのトーンマッピングカーブ３０１ｂの特性の中間の特性を有する。

図５（ｃ）は、図２の記憶部１０４に記憶される下限パラメータ１４１を示すトーンマッピングカーブ３０１ｂのＬＵＴの実際のデータ形式を示す図である。例えば０から１０２３までのＨＤＲ画素値毎に、ゲイン値が記憶される。なお、図５（ｃ）では連続的な曲線が示されているが、実際には、ＨＤＲ画素値毎のゲイン値の集合である。図５（ａ）のトーンマッピングカーブ３０１ｂに対応して、ＨＤＲ画素値が値０から一定の範囲では、ゲイン値が最大値（図５（ｃ）の例では値３）となる。これは、トーンマッピングカーブ３０１ｂにおいて、ＨＤＲ画素値が０から最初の一定範囲では、カーブが直線的に増加する特性に対応している。そして、ＨＤＲ画素値が上記一定の範囲を超えて増加してゆくと、ゲイン値が値１に向かって漸近的に減少してゆき、ＨＤＲ画素値が最大画素値（図５（ｃ）では１０２３）に達すると、ゲイン値は値１に収束する。図５（ｃ）のデータ形式を有するＬＵＴが用いて、ＨＤＲ画素値を入力としてＬＵＴが参照されることにより得られたゲイン値が、ＨＤＲ画素値に乗算されることにより、中間出力画素値が算出される。

図２の直列トーンマッピング処理部１０２が実行するグローバルトーンマッピング処理Ｓ２のためのトーンマッピングカーブとして、図３（ｂ）の３０１ｂ又は図５（ａ）として示される下限パラメータ１４１が定義されることにより、次の効果がある。図５で説明したように、下限パラメータ１４１を規定するトーンマッピングカーブとして、ＨＤＲ合成画像１３０の生成時の最小ＥＶ設定値１３１に応じて、ＨＤＲ画素値が小さい領域のゲイン値が異なるγカーブを設定することができる。これにより、図１（ｂ）の説明で前述した、最小ＥＶ設定値１３１の値によってＨＤＲ合成画像１３０中の小露光画像領域を適正露光量にすることができないという問題を解決することが可能となる。

図３の説明に戻り、図３（ｃ）（横軸と左端及び右端の縦軸の関係は図３（ａ）と同じ）のように、ＨＤＲ合成画像１３０のヒストグラム３０２ｃが、ＨＤＲ画素値の最小画素値＝０から最大画素値＝Ｒまで達しない手前の画素値ＨＬまで存在するケースを考える。なお、この画素値ＨＬを、以下の説明では、ヒストグラム３０２ｃが存在し得る輝度値が最も大きな画素値という意味で、ハイライトポイント画素値ＨＬ（第４の画素値）と呼ぶ。このケースにおいて、ヒストグラム３０２ｃは例えば、ＨＤＲ画素値が小さい領域のほうが比較的度数が大きいとする。これは、図３（ｂ）の場合と同様に、ＨＤＲ合成画像１３０においてシャドー部の割合が大きい場合の例である。このケースでは、ＨＤＲ画素値から中間出力画素値へマッピングを行うためのゲインの値をＨＤＲ画素値毎にプロットしたトーンマッピングカーブ３０１ｃとしては、次のようなカーブを採用することができる。

まず、ハイライトポイント画素値ＨＬが、図３（ａ）の画素値ＭｉｎＲに近い場合を考える。ここで、図３（ａ）の説明で前述したように、ＭｉｎＲは、上限パラメータ１４０により設定された上限値のもとで中間出力画像１２１の最大画素値Ｒを生成するＨＤＲ合成画像１３０の画素値である。この場合には、図３（ｃ）のＨＤＲ合成画像１３０のヒストグラム３０２ｃの形状が、図３（ａ）のヒストグラム３０２ａの形状に近づく。そして、図３（ｃ）のトーンマッピングカーブ３０１ｃの形状は、図３（ａ）で説明した上限パラメータ１４０のトーンマッピングカーブ３０１ａの直線形状に近づく。

一方、ハイライトポイント画素値ＨＬが、図３（ｂ）の最大画素値＝Ｒに近い場合を考える。この場合には、図３（ｃ）のＨＤＲ合成画像１３０のヒストグラム３０２ｃの形状が、図３（ｂ）のヒストグラム３０２ｂの形状に近づく。そして、トーンマッピングカーブ３０１ｃの形状は、図３（ｂ）で説明した下限パラメータ１４１のトーンマッピングカーブ３０１ｂの形状に近づく。

更に、ハイライトポイント画素値ＨＬが、図３（ａ）のＭｉｎＲと図３（ｂ）の最大画素値＝Ｒの中間にある場合を考える。この場合には、図３（ｃ）のＨＤＲ合成画像１３０のヒストグラム３０２ｃの形状は、図３（ａ）のヒストグラム３０２ａと図３（ｂ）のヒストグラム３０２ｂの中間の形状になる。このような場合には、トーンマッピングカーブ３０１ｃは、図３（ｃ）に示されるように、図３（ａ）で説明した上限パラメータ１４０のトーンマッピングカーブ３０１ａと、図３（ｂ）で説明した下限パラメータ１４１のトーンマッピングカーブ３０１ｂの中間を通るカーブとなる。ただし、トーンマッピングカーブ３０１ｃは、ハイライトポイント画素値ＨＬ付近において、ＨＤＲ画素値を中間出力画素値の最大画素値＝Ｒにマッピングさせるような特性になる。ＨＤＲ画素値において、ハイライトポイント画素値ＨＬを超えて最大画素値＝Ｒまでは、ヒストグラム３０２ｃの形状的にＨＤＲ合成画像１３０中にはそのような画素値を有する画素は存在しない（又は無視できる）。このため、ハイライトポイント画素値ＨＬを超えて最大画素値＝Ｒまでの範囲では、トーンマッピングカーブ３０１ｃは意味をなさない。

上述の考察より、本実施形態では、ＨＤＲ合成画像１３０のヒストグラム３０２ｃの形状、具体的にはハイライトポイント画素値ＨＬの値と、ＭｉｎＲと、最大画素値＝Ｒとの関係に応じて、トーンマッピングカーブ３０１ｃが生成される。より具体的には、図２のパラメータ算出補間処理Ｓ１では、上限パラメータ１４０のトーンマッピングカーブ３０１ａと下限パラメータ１４１のトーンマッピングカーブ３０１ｂとが補間されることで、トーンマッピングカーブ３０１ｃが算出される。このトーンマッピングカーブ３０１ｃは、ＨＤＲ画素値を中間出力画素値にマッピングするときの、ＨＤＲ画素値毎のゲインの適正値を示すグローバルトーンマッピングパラメータ１４２に対応する。

図２の直列トーンマッピング処理部１０２が実行するグローバルトーンマッピング処理Ｓ２のためのトーンマッピングカーブとして、図３（ｃ）の３０１ｃとして示されるグローバルトーンマッピングパラメータ１４２が定義されることにより、次の効果がある。図３（ｃ）に示されるＨＤＲ合成画像１３０のヒストグラム３０２ｃが、図３（ａ）のヒストグラム３０２ａと図３（ｂ）のヒストグラム３０２ｂの中間の形状を有していても、図３（ａ）の場合の効果と図３（ｂ）の場合の効果の両方の効果を兼ね備える。すなわち、図１（ａ）の説明で前述した、最小ＥＶ設定値１３１によって、グローバルトーンマッピング処理Ｓ２の結果において適切な露光量が得られない場合があるという問題を解決することが可能となる。これと同時に、図１（ｂ）の説明で前述した、最小ＥＶ設定値１３１の値によってＨＤＲ合成画像１３０中の小露光画像領域を適正露光量にすることができないという問題を解決することが可能となる。

なお、図３の各図において、ＨＤＲ合成画像１３０の画素値が小さいエリアは大露光画像１５５から生成される（図３中の「大」という表示）。露光量を多くすることにより小さい画素値（シャドー部）の情報が適正露光量で取得される。また、ＨＤＲ合成画像１３０の画素値が中間のエリアは適正露光画像１５３から生成される（図３中の「適正」という表示）。更に、ＨＤＲ合成画像１３０の画素値が大きいエリアは小露光画像１５４から生成される（図３中の「小」という表示）。露光量を少なくすることにより大きい画素値（ハイライト部）の情報が適正露光量で取得される。

図６は、図２の画像生成装置１００が実行する画像生成処理の例を示すフローチャートである。以下の説明においては、図２の各ブロックを随時参照する。

まず、入力受付部１０３が、前述したように、ＨＤＲ合成画像１３０と最小ＥＶ設定値１３１（最小露光設定値）を入力して保持する（ステップＳ６０１）。

次に、グローバルトーンマッピングパラメータ算出部１０１が、以下のステップＳ６０２からＳ６０４の一連の処理として示される図２のパラメータ算出補間処理Ｓ１を実行する。

パラメータ算出補間処理Ｓ１においてまず、最小ＥＶ設定値１３１に基づいて、図３（ａ）と図４、及び図３（ｂ）と図５で説明した処理を実行することにより、上限パラメータ１４０及び下限パラメータ１４１が設定される（ステップＳ６０２）。

続いて、入力受付部１０３が保持しているＨＤＲ合成画像１３０から、そのヒストグラム３０２ｃ（図３（ｃ）参照）が算出される（ステップＳ６０３）。

そして、ステップＳ６０３で算出されたヒストグラム３０２ｃと、ステップＳ６０２で設定された上限パラメータ１４０及び下限パラメータ１４１とから、グローバルトーンマッピングパラメータ１４２が算出される（ステップＳ６０４）。このグローバルトーンマッピングパラメータ１４２は、図３（ｃ）のトーンマッピングカーブ３０１ｃに対応する。

次に、直列トーンマッピング処理部１０２が、ステップＳ６０４で算出されたグローバルトーンマッピングパラメータ１４２に基づき、図２のグローバルトーンマッピング処理Ｓ２を実行することで、図２の中間出力画像１２１を出力する（ステップＳ６０５）。ここでは前述したように、記憶処理部１０４から読み込んだグローバルトーンマッピングパラメータ１４２のＬＵＴにより、ＨＤＲ合成画像１３０の各第１の画素値が中間出力画像１２１の各第２の画素値にマッピングされる。

最後に、直列トーンマッピング処理部１０２が、上記中間出力画像１２１に対して、ローカルトーンマッピング処理Ｓ３を実行することで、図２の最終的な出力画像１４３を出力する（ステップＳ６０６）。ここでは前述したように、中間出力画像１２１に対して、ヒストグラムの偏りが小さい傾向に対して、エッジ部分の情報を保存しながら、適切なトーンマッピングが実行される。例えば前述した特許文献２に記載の処理を採用することができる。具体的には、中間出力画像１２１中の画素（以下「対象画素」と記載）毎に、対象画素のレベル値とのレベル差が大きく異なる周辺画素以外の周辺画素に基づき対象画素にローパスフィルタを適用して平滑化画像が生成され、中間出力画像１２１の低周波成分とされる。次に、この平滑化画像と中間出力画像１２１との差分画像が生成され、中間出力画像１２１の高周波成分とされる。そして、上記低周波成分である平滑化画像に対してダイナミックレンジが圧縮される。このダイナミックレンジが圧縮された平滑化画像と上記差分画像とが合成されて出力画像１４３が生成される。

ステップＳ６０６で生成された最終的な出力画像１４３は、記憶処理部１０４に保持される。その後、画像生成装置１００は、図６のフローチャートで示される画像生成処理を終了する。記憶処理部１０４に記憶された出力画像１４３は、適切なタイミングで、ディスプレイやプリンタに出力される。

図７は、図６のステップＳ６０４のグローバルトーンマッピングパラメータ算出処理の詳細例を示すフローチャートである。

まず、図６のステップＳ６０２で設定された上限パラメータ１４０のゲインの上限値のもとで、図３（ａ）で説明した、中間出力画像１２１の最大画素値Ｒを生成するＨＤＲ合成画像１３０の画素値をＭｉｎＲが設定される（ステップＳ７０１）。以下、このＭｉｎＲを、図６のステップＳ６０３で算出されたＨＤＲ合成画像１３０のヒストグラム３０２ｃ（図３（ｃ）参照）における、探索範囲下限値ＭｉｎＲと呼ぶ。

次に、ＨＤＲ合成画像１３０のヒストグラム３０２ｃの上位側（最大画素値＝Ｒの側）から下位側（最小画素値＝０の側）に向かって、ＨＤＲ画素値（横軸）上で、ハイライトポイント画素値ＨＬ（図３（ｃ）参照）が探索される（ステップＳ７０２）。このハイライトポイント画素値ＨＬは例えば、図３（ｃ）のヒストグラム３０２ｃで、ＨＤＲ合成画像１３０の全画素数の例えば０．１％の累積画素数（所定の閾値）より小さくならない度数（図３（ｃ）の縦軸の値）を有する最も大きな画素値として定義される。

ただし、ハイライトポイント画素値ＨＬが探索範囲下限値ＭｉｎＲよりも小さくなった場合には、ハイライトポイント画素値ＨＬの値は探索範囲下限値ＭｉｎＲの値に設定される。

次に、下記の（１）式で示される演算により、ブレンド係数ｂ（０≦ｂ≦１）が算出される（ステップＳ７０３）。

ｂ＝（ＨＬ−ＭｉｎＲ）／（Ｒ−ＭｉｎＲ） ・・・（１）

ここで、ハイライトポイント画素値ＨＬは、ＨＬ＝ＭｉｎＲからＨＬ＝Ｒまでの値を取り得る。従って、（１）の演算で算出されるブレンド係数ｂの値は、（ＭｉｎＲ−ＭｉｎＲ）／（Ｒ−ＭｉｎＲ）＝０から、（Ｒ−ＭｉｎＲ）／（Ｒ−ＭｉｎＲ）＝１までの値を取り得る。

続いて、下記の（２）式で示される演算により、基準ゲイン係数ｇが算出される（ステップＳ７０４）。

ｇ＝Ｒ／ＨＬ ・・・（２）

上記基準ゲイン係数ｇは、図３（ｃ）のトーンマッピングカーブ３０１ｃが、ＨＤＲ合成画像１３０中のハイライトポイント画素値ＨＬを中間出力画像１２１中の最大画素値＝Ｒにマッピングすべきであることを意味する。ここで、ハイライトポイント画素値ＨＬは、ＨＬ＝ＭｉｎＲからＨＬ＝Ｒまでの値を取り得る。従って、（２）の演算で算出される基準ゲイン係数ｇの値は、Ｒ／ＭｉｎＲ＝上限パラメータ１４０のゲインの上限値から、Ｒ／Ｒ＝１までの値を取り得る。

そして、ステップＳ７０３で算出されたブレンド係数ｂを用いて、下記（３）式で示される演算により、ステップＳ７０４で算出された基準ゲイン係数ｇと、下限パラメータ１４１のＬＵＴの出力値であるＭｉｎＧ（図５（ｃ）参照）が、補間演算される。この補間演算の結果として、グローバルトーンマッピングパラメータ１４２のゲイン値である最終ゲイン値ｆｇが算出される（以上、ステップＳ７０５）。

ｆｇ（ｉ）＝ｇ×（（ＭｉｎＧ（ｉ）−１）×ｂ＋１） ・・・（３）

その後、図７のフローチャートで示される図６のステップＳ６０４のグローバルトーンマッピングパラメータ算出処理が終了する。

上記（３）式において、「ＭｉｎＧ（ｉ）」は、例えば図５（ｃ）に示される下限パラメータ１４１のＬＵＴにおいて、入力するＨＤＲ画素値を「ｉ」（０≦ｉ≦Ｒ）としたときに、そのＨＤＲ画素値ｉで参照されるＬＵＴの出力ゲイン値である。また、「ｆｇ（ｉ）」は、上記ＨＤＲ画素値ｉに対応して（３）で示される演算により算出される最終ゲイン値である。

上記（１）、（２）、及び（３）式で示される演算において、ハイライトポイント画素値ＨＬが探索範囲下限値ＭｉｎＲに等しい場合、（１）式で算出ブレンド係数ｂの値は０となる。また、（２）式で算出される基準ゲイン係数ｇの値は、ｇ＝Ｒ／ＭｉｎＲとなって、上限パラメータ１４０のゲインの上限値となる。従って、（３）式の演算結果は、下記（４）式のようになる。

ｆｇ（ｉ）＝Ｒ／ＭｉｎＲ×（（ＭｉｎＧ（ｉ）−１）×０＋１）
＝Ｒ／ＭｉｎＲ ・・・（４）

上記（４）式の場合には、ＨＤＲ合成画像１３０のヒストグラムは図３（ａ）に示されるヒストグラム３０２ａに等しくなる。そして、グローバルトーンマッピングパラメータ１４２は、図３（ａ）の上限パラメータ１４０のトーンマッピングカーブ３０１ａに等しくなる。

一方、上記（１）、（２）、及び（３）式で示される演算において、ハイライトポイント画素値ＨＬが最大画素値＝Ｒに等しい場合、（１）式で算出ブレンド係数ｂの値は１となる。また、（２）式で算出される基準ゲイン係数ｇの値は、ｇ＝Ｒ／Ｒ＝１となる。従って、（３）式の演算結果は、下記（５）式のようになる。

ｆｇ（ｉ）＝１×（（ＭｉｎＧ（ｉ）−１）×１＋１）
＝ＭｉｎＧ（ｉ） ・・・（５）

上記（５）式の場合には、ＨＤＲ合成画像１３０のヒストグラムは図３（ｂ）に示されるヒストグラム３０２ｂに等しくなる。そして、グローバルトーンマッピングパラメータ１４２は、図３（ｂ）の下限パラメータ１４１のトーンマッピングカーブ３０１ｂに等しくなる。

更に、上記（１）、（２）、及び（３）式で示される演算で、ハイライトポイント画素値ＨＬが探索範囲下限値ＭｉｎＲと最大画素値＝Ｒの間にある場合は、図３（ｃ）のトーンマッピングカーブ３０１ｃは、次のような形状になる。トーンマッピングカーブ３０１ｃは、上限パラメータ１４０のトーンマッピングカーブ３０１ａと下限パラメータ１４１のトーンマッピングカーブ３０１ｂを補間する特性になる。かつ、トーンマッピングカーブ３０１ｃは、ハイライトポイント画素値ＨＬ付近において、ＨＤＲ画素値を中間出力画素値の最大画素値＝Ｒにマッピングさせる特性になる。また、前述したように、ＨＤＲ画素値において、ハイライトポイント画素値ＨＬを超えて最大画素値＝Ｒまでは、ヒストグラム３０２ｃの形状的にＨＤＲ合成画像１３０中にはそのような画素値を有する画素は存在しない（又は無視できる）。このため、ハイライトポイント画素値ＨＬを超えて最大画素値＝Ｒまでの範囲では、トーンマッピングカーブ３０１ｃは意味をなさない。

以上説明したように、図２のグローバルトーンマッピングパラメータ算出部１０１で算出される上記グローバルトーンマッピングパラメータ１４２は、ＨＤＲ合成処理時の最小ＥＶ設定値１３１が考慮されている。また、上記グローバルトーンマッピングパラメータ１４２は、ＨＤＲ合成画像１３０のヒストグラムにおけるハイライトポイント画素値ＨＬも考慮されている。このように、上記グローバルトーンマッピングパラメータ１４２は、ＨＤＲ撮影の露光量の設定値とシーンのダイナミックレンジの状態に適切に対応したパラメータとなっている。このため、ＨＤＲ合成画像１３０における輝度のヒストグラムにおいて比較的偏りが大きい傾向に対して、適正露光を維持しつつダイナミックレンジを補正できるＬＵＴを実現することができ、このＬＵＴにより安定したグローバルトーンマッピングが可能となる。

図８は、図２の画像生成装置１００の実施形態を実現可能なコンピュータのハードウェアの例を示すブロック図である。図８に示されるコンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１、メモリ８０２、入力装置８０３、出力装置８０４、補助情報記憶装置８０５、可搬型記録媒体８０９が挿入される媒体駆動装置８０６、及びネットワーク接続装置８０７を有する。これらの構成要素は、バス８０８により相互に接続されている。同図に示される構成は上記画像生成装置１００を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。

メモリ８０２は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像生成処理に用いられるプログラム及びデータを格納する。

ＣＰＵ（プロセッサ）８０１は例えば、メモリ８０２を利用し、図２の画像生成装置１００に用いられる例えば図６及び図７のフローチャートの処理に対応するプログラムを実行することで、図２の画像生成装置１００内に示される各処理ブロックとして動作する。

入力装置８０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置８０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問合せ又は処理結果の出力に用いられる。

補助情報記憶装置８０５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置であり、例えば、図２に示される記憶処理部１０４として動作する。図２の画像生成装置１００は、補助情報記憶装置８０５に図２の画像生成装置１００に用いられる例えば図６及び図７のフローチャートの処理を実行するプログラム及びデータを格納しておき、それらをメモリ８０２にロードして使用することができる。

媒体駆動装置８０６は、可搬型記録媒体８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体８０９は、Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体８０９に上述のプログラム及びデータを格納しておき、メモリ８０２にロードして使用することができる。

このように、上述のプログラム及びデータを格納するコンピュータ読取り可能な記録媒体は、メモリ８０２、補助情報記憶装置８０５、又は可搬型記録媒体８０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置８０７は、例えばＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。図２の画像生成装置１００は、上述のプログラム又はデータを外部の装置からネットワーク接続装置８０７を介して受信し、それらをメモリ８０２にロードして使用することができる。

なお、図２の画像生成装置１００が図２の画像生成装置１００の全ての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置８０３が省略されてもよい。可搬型記録媒体８０９又は通信ネットワークを利用しない場合は、媒体駆動装置８０６又はネットワーク接続装置８０７が省略されてもよい。

以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。

１００ 画像生成装置
１０１ グローバルトーンマッピングパラメータ算出部
１０２ 直列トーンマッピング処理部
１０３ 入力受付部
１０４ 記憶処理部
１２１ 中間出力画像
１３０ ＨＤＲ合成画像
１３１ 最小ＥＶ設定値
１４０ 上限パラメータ
１４１ 下限パラメータ
１４２ グローバルトーンマッピングパラメータ（算出パラメータ）
１４３ 出力画像
１５０ ＨＤＲ合成装置
１５１ 位置あわせ処理部
１５２ ＨＤＲ合成処理部
１５３ 適正露光画像
１５４ 小露光画像
１５５ 大露光画像
８０１ ＣＰＵ
８０２ メモリ
８０３ 入力装置
８０４ 出力装置
８０５ 補助情報記憶装置
８０６ 媒体駆動装置
８０７ ネットワーク接続装置
８０８ バス
８０９ 可搬型記録媒体

Claims (5)

1. 複数の露光設定値それぞれを用いて被写体を撮影した複数の画像を合成することで生成された合成画像に対してトーンマッピング処理を実行することにより出力画像を生成するプロセッサを有する画像生成装置であって、前記プロセッサは、
   前記複数の露光設定値のうち最小露光設定値に基づいて、前記トーンマッピング処理において前記合成画像に含まれる複数の画素値各々を表す第１の画素値を前記出力画像に含まれる複数の画素値各々を表す第２の画素値にマッピングするときの、前記第１の画素値毎のゲインの上限値を示す上限パラメータと、前記第１の画素値毎のゲインの下限値を示す下限パラメータとを設定し、
   前記合成画像の前記第１の画素値のヒストグラムに基づいて前記上限パラメータ及び前記下限パラメータを補間することにより、前記第１の画素値毎のゲインの適正値を示すトーンマッピングパラメータを算出する、
   ことを特徴とする画像生成装置。
2. 前記上限パラメータを、前記合成画像を生成したときの最小露光量に対する適正露光量の比の値を算出し、前記第１の画素値の最小画素値から前記第１の画素値の最大画素値を前記比の値で除算して得られる値に対応する第３の画素値までの前記第１の画素値の範囲で、前記比の値を前記第１の画素値毎のゲインの上限値として設定する、ことを特徴とする請求項１に記載の画像生成装置。
3. 前記下限パラメータを、前記第１の画素値の最小画素値から前記第１の画素値の最大画素値までの前記第１の画素値の範囲で、各前記第１の画素値を各前記第２の画素値にマッピングするためのγ形状のカーブであって、前記合成画像を生成したときの最小露光量が小さいほど傾きが大きくなるような前記カーブに従って、前記第１の画素値毎のゲインの下限値として設定する、ことを特徴とする請求項２に記載の画像生成装置。
4. 前記トーンマッピングパラメータを、前記ヒストグラムにおいて所定の閾値より小さくならない度数を有する前記第１の画素値のうちの最も大きな画素値である第４の画素値が、前記第３の画素値に一致した場合に前記上限パラメータとして設定し、前記第１の画素値の最大画素値に一致した場合に前記下限パラメータとして設定し、前記第３の画素値より大きく前記第１の画素値の最大画素値より小さい場合に前記上限パラメータと前記下限パラメータを補間して得られるパラメータとして算出する、ことを特徴とする請求項３に記載の画像生成装置。
5. プロセッサが複数の露光設定値それぞれを用いて被写体を撮影した複数の画像を合成することで生成された合成画像に対してトーンマッピング処理を実行することにより出力画像を生成する画像生成方法であって、前記プロセッサが、
   前記複数の露光設定値のうち最小露光設定値に基づいて、前記トーンマッピング処理において前記合成画像に含まれる複数の画素値各々を表す第１の画素値を前記出力画像に含まれる複数の画素値各々を表す第２の画素値にマッピングするときの、前記第１の画素値毎のゲインの上限値を示す上限パラメータと、前記第１の画素値毎のゲインの下限値を示す下限パラメータとを設定し、
   前記合成画像の前記第１の画素値のヒストグラムに基づいて前記上限パラメータ及び前記下限パラメータを補間することにより、前記第１の画素値毎のゲインの適正値を示すトーンマッピングパラメータを算出する、
   ことを特徴とする画像生成方法。

Images