JP6278193B2 - Ｈｄｒ画像生成プログラムおよびその装置、方法 - Google Patents

Description

本発明は、露出の異なる複数枚の画像から白飛びや黒潰れを軽減した広いダイナミックレンジの画像（ＨＤＲ(High Dynamic Range)画像）を生成するＨＤＲ画像生成プログラム、ＨＤＲ画像生成装置、ＨＤＲ画像生成方法に関する。

露出の異なる複数枚の画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたＨＤＲ画像を作成する技術が知られている（非特許文献１）。

一枚のトーンマッピングされたＨＤＲ画像を作成する処理プロセスにおいて、シーンの放射輝度マップ(言い換えれば、不可視のＨＤＲファイル)を作成する必要があるが、この放射輝度マップを作成するためには、シーンの放射輝度と画像のピクセル値の関係を示したＣＲＦ(Camera Response Function)、正確にはその逆関数、が分かっていなければならない。

ＣＲＦの与え方としては、大別して、事前に選定/推定した固定値を使用する方法と、ＨＤＲ画像作成の入力として指定された露出の異なる複数枚の画像から、その都度、近似または詳細な計算を行うことで算出したＣＲＦを使用する方法の２つがある。

たとえば、固定値を使用する場合の一手法として、下記特許文献１には、標準の固定的な逆関数ではなく、カメラの応答カーブを使って画像の放射輝度マップを再構築してＨＤＲ画像に変換する技術が開示されている。

特表２０１３−５０７６７４号公報

P.E. Debevec and J. Malik, Recovering high dynamic range radiance maps from photographs, In SIGGRAPH 97, August 1997

ＨＤＲ画像を生成する際に、従来は、装置やソフトウェアの設計思想に起因して、事前に選定/推定した固定値のＣＲＦを使用する方法と、入力画像から算出したＣＲＦを使用する方法のうちの何れか一方が採用されていた。

ＣＲＦとして、事前に選定/推定した固定値を使用する装置やソフトウェアにおいては、処理時間の短縮というメリットを享受できる。しかし、このＣＲＦは入力画像やカメラの特性が反映された関数ではないため、場合によっては、最終的な仕上がりが満足のいかないものになるという問題点があった。

一方、入力された露出の異なる複数枚の画像から計算して得たＣＲＦを使用する装置やソフトウェアにおいては、入力画像やカメラの特性が反映されたＣＲＦを使用するため、より綺麗な最終仕上がりを得ることができる。しかし、ＣＲＦの算出には計算コストがかかることもあり、処理時間がかかるというデメリットがあった。

以上のように、それぞれの手法には一長一短があるので、いずれか一方の手法しかサポートしない従来の装置やソフトウェアでは、入力画像によっては高質なＨＤＲ画像を得られなかったり、ユーザの期待や目的と合致しない状況が生じたりする場合があった。

本発明は、上記の問題を解決しようとするものであり、入力画像に応じたあるいはユーザの期待や目的に合致した最適な処理によってＨＤＲ画像を生成することのできるＨＤＲ画像生成プログラム、ＨＤＲ画像生成装置、ＨＤＲ画像生成方法を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］情報処理装置を、
露出の異なる複数枚の入力画像からＣＲＦを算出する算出部、
予め用意されたＣＲＦを記憶する記憶部、
前記記憶部に記憶されているＣＲＦと前記算出部が算出するＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択部、
前記選択部によって前記算出部が算出するＣＲＦが選択された場合は該選択されたＣＲＦを前記算出部に算出させ、該算出されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択部によって前記記憶部に記憶されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成部、
として機能させる
ことを特徴とするＨＤＲ画像生成プログラム。

上記発明および下記［１０］および［１９］に記載の発明では、ＨＤＲ画像の生成に使用するＣＲＦを、予め用意された固定のＣＲＦと算出部が算出するＣＲＦの中から選択することができる。

［２］前記選択部は、前記入力画像に応じて前記選択を行う
ことを特徴とする［１］に記載のＨＤＲ画像生成プログラム。

［３］前記選択部は、前記入力画像を構成する画素の画素値の分布の状況に基づいて前記選択を行う
ことを特徴とする［２］に記載のＨＤＲ画像生成プログラム。

上記発明および下記［１２］および［２１］に記載の発明では、たとえば、分布に、偏りがない場合は予め用意されたＣＲＦを使用し、偏りがある場合は入力画像から算出したＣＲＦを使用する。

［４］前記選択部は、前記入力画像を構成する画素の画素値の分布の偏りが、前記予め用意されたＣＲＦのどの部分に在るかに基づいて前記選択を行う
ことを特徴とする［２］または［３］に記載のＨＤＲ画像生成プログラム。

上記発明および下記［１３］および［２２］に記載の発明では、たとえば、分布の偏りが、ＣＲＦの線形部分にあるか、非線形部分にあるか、画素値の変化に対する露光量の変化量が多い部分にあるか少ない部分にあるか、等に基づいて、固定のＣＲＦを使用するか、ＣＲＦを算出するかを選択する。

［５］前記選択部は、前記分布に、前記予め用意されたＣＲＦのうちの非線形領域もしくはその近傍の部分に所定割合以上の画素が現れる偏りがある場合は、前記算出部が算出するＣＲＦを選択する
ことを特徴とする［４］に記載のＨＤＲ画像生成プログラム。

上記発明および下記［１４］および［２３］に記載の発明では、非線形領域やその近傍ではＣＲＦの形状がカメラの種類によって相違しやすいので、入力画像から算出したＣＲＦを使用する。

［６］前記算出部は、精度の異なる複数のＣＲＦを算出可能であり、
前記選択部は、前記算出部が算出するＣＲＦを選択する場合は、前記精度の異なる複数のＣＲＦの中のいずれか１つを選択する
ことを特徴とする［１］乃至［５］のいずれか１つに記載のＨＤＲ画像生成プログラム。

上記発明および下記［１５］および［２４］に記載の発明では、より適切な算出手法によるＣＲＦを選択することができる。

［７］前記選択部は、前記予め用意されたＣＲＦを選択する場合であって前記記憶部に前記予め用意されたＣＲＦが複数種類記憶されている場合は、該複数種類のＣＲＦの中のいずれか１つを選択する
ことを特徴とする［１］乃至［６］のいずれか１つに記載のＨＤＲ画像生成プログラム。

上記発明および下記［１６］および［２５］に記載の発明では、予め用意された複数種類のＣＲＦの中から最適なＣＲＦを選択することができる。

［８］前記選択部は、ユーザからの指示に基づいてＣＲＦを選択する
ことを特徴とする［１］に記載のＨＤＲ画像生成プログラム。

上記発明および下記［１７］および［２６］に記載の発明では、ユーザの希望に応じたＣＲＦを使用してＨＤＲ画像を生成することができる。

［９］前記選択部は、ユーザからの指示を優先する選択が成されている場合は、ユーザからの指示に基づいてＣＲＦを選択する
ことを特徴とする［１］乃至［７］のいずれか１つに記載のＨＤＲ画像生成プログラム。

上記発明および下記［１８］および［２７］に記載の発明では、ユーザの指示を優先する選択がなされている場合は、ユーザの指示したＣＲＦを選択し、ユーザの指示を優先する選択が成されていない場合は、入力画像に基づいてＣＲＦが自動で選択される。

［１０］露出の異なる複数枚の入力画像からＣＲＦを算出する算出部と、
予め用意されたＣＲＦを記憶する記憶部と、
前記記憶部に記憶されているＣＲＦと前記算出部が算出するＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択部と、
前記選択部によって前記算出部が算出するＣＲＦが選択された場合は該選択されたＣＲＦを前記算出部に算出させ、該算出されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択部によって前記記憶部に記憶されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成部と
を有する
ことを特徴とするＨＤＲ画像生成装置。

［１１］前記選択部は、前記入力画像に応じて前記選択を行う
ことを特徴とする［１０］に記載のＨＤＲ画像生成装置。

［１２］前記選択部は、前記入力画像を構成する画素の画素値の分布の状況に基づいて前記選択を行う
ことを特徴とする［１１］に記載のＨＤＲ画像生成装置。

［１３］前記選択部は、前記入力画像を構成する画素の画素値の分布の偏りが、前記予め用意されたＣＲＦのどの部分に在るかに基づいて前記選択を行う
ことを特徴とする［１１］または［１２］に記載のＨＤＲ画像生成装置。

［１４］前記選択部は、前記分布に、前記予め用意されたＣＲＦのうちの非線形領域もしくはその近傍の部分に所定割合以上の画素が現れる偏りがある場合は、前記算出部が算出するＣＲＦを選択する
ことを特徴とする［１３］に記載のＨＤＲ画像生成装置。

［１５］前記算出部は、精度の異なる複数のＣＲＦを算出可能であり、
前記選択部は、前記算出部が算出するＣＲＦを選択する場合は、前記精度の異なる複数のＣＲＦの中のいずれか１つを選択する
ことを特徴とする［１０］乃至［１４］のいずれか１つに記載のＨＤＲ画像生成装置。

［１６］前記選択部は、前記予め用意されたＣＲＦを選択する場合であって前記記憶部に前記予め用意されたＣＲＦが複数種類記憶されている場合は、該複数種類のＣＲＦの中のいずれか１つを選択する
ことを特徴とする［１０］乃至［１５］のいずれか１つに記載のＨＤＲ画像生成装置。

［１７］前記選択部は、ユーザからの指示に基づいてＣＲＦを選択する
ことを特徴とする［１０］に記載のＨＤＲ画像生成装置。

［１８］前記選択部は、ユーザからの指示を優先する選択が成されている場合は、ユーザからの指示に基づいてＣＲＦを選択する
ことを特徴とする［１０］乃至［１６］のいずれか１つに記載のＨＤＲ画像生成装置。

［１９］予め用意されたＣＲＦと露出の異なる複数枚の入力画像から算出されるＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択ステップと、
前記選択ステップにおいて前記算出されるＣＲＦが選択された場合は、該選択されたＣＲＦを前記入力画像から算出し、該算出したＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択ステップにおいて前記予め用意されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成ステップと
を有する
ことを特徴とするＨＤＲ画像生成方法。

本発明に係るＨＤＲ画像生成プログラム、ＨＤＲ画像生成装置、ＨＤＲ画像生成方法によれば、入力画像に応じたあるいはユーザの期待や目的に合致した最適な処理によってＨＤＲ画像を生成することができる。

本発明の実施の形態に係るＨＤＲ画像生成装置の概略構成を示すブロック図である。 ＨＤＲ画像生成処理の全体の概要を示す流れ図である。 放射輝度マップ生成処理の概要を示す流れ図である。 ＣＲＦ選択・算出処理の概要を示す流れ図である。 自動モード処理の概要を示す流れ図である。 ＣＲＦの一例を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係るＨＤＲ画像生成装置１０の概略構成を示すブロック図である。ＨＤＲ画像生成装置１０は、露出の異なる複数枚の入力画像から、白飛びや黒潰れを軽減したダイナミックレンジの広い画像であるＨＤＲ画像を生成する機能を果たす装置である。

ＨＤＲ画像生成装置１０は、当該ＨＤＲ画像生成装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、ハードディスク装置１４、入力装置１５、表示装置１６、入出力Ｉ／Ｆ（Interface）１７などが接続されている。また、ＨＤＲ画像生成装置１０には、入出力Ｉ／Ｆ１７を介してプリンタ５等が接続される。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２およびハードディスク装置１４には、ＯＳやＨＤＲ画像生成プログラムを含む各種のアプリケーションプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することでＨＤＲ画像生成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや入力された画像データを格納する画像メモリなどとして使用される。

入力装置１５は、キーボードやマウスなどユーザから各種の入力操作を受け付ける装置である。表示装置１６は、液晶ディスプレイなどで構成され、各種の画面や情報、入力画像、ＨＤＲ画像などを表示する。入出力Ｉ／Ｆ１７には、プリンタ５などの外部機器が接続される。また、ＬＡＮ（Local Area Network）などのネットワークを介して外部の装置と通信する機能も果たす。

プリンタ５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。プリンタ５は、たとえば、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行うカラーレーザープリンタである。

図２は、ＨＤＲ画像生成装置１０がＨＤＲ画像を生成する際に実行する処理（ＨＤＲ画像生成プログラム）の概略を示す流れ図である。まず、入出力Ｉ／Ｆ１７を通じて外部の装置（たとえば、デジタルカメラ等）から、露出の異なる複数枚の画像の入力処理を行う（ステップＳ２０１）。入力する画像は２〜７枚の範囲で指定可能にされている。

次に、ステップＳ２０１で入力した複数枚の画像（以後、入力画像とも称する）に対して、撮影時の手ブレ等に起因する、複数枚の画像間での位置のズレや角度のズレを補正するイメージ補正処理を行う（ステップＳ２０２）。コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの変動を解析することで、複数枚の画像間での位置のズレや角度のズレを補正する。位置ズレや角度のズレのある複数枚の画像からＨＤＲ画像を生成すると、物体のエッジがボケたり、画像が歪んだりするので、これを回避するために、事前に位置や角度のズレを補正する。

次に、上記の複数枚の画像に対して、ゴースト検出/除去処理を行う（ステップＳ２０３）。ゴースト検出/除去処理では、上記複数枚の画像の中に写り込んでしまったゴースト（移動物体）の検出ならびに除去を行う。

ＨＤＲ画像生成の入力として使用する露出の異なる複数枚の画像は、露出ブラケティングで撮影するのが一般的だが、各画像間にはどうしてもタイムラグが発生してしまうため、人物やクルマなどの移動物体が写ってしまうことがある。

移動物体を含んだ複数枚の画像から一枚のトーンマッピングされたＨＤＲ画像を生成すると、あたかもゴーストのように、薄っすらと移動物体の形が残ってしまう。ゴーストは相関関数を用いた数学的な手法で検出し、当該領域は後述の放射輝度マップ作成処理の際に重み付けを低くすることで、最終仕上がりのＨＤＲ画像から除去する。

次に、イメージ補正処理ならびにゴースト検出/除去処理が施された複数枚の入力画像から、シーンの放射輝度マップ（不可視のＨＤＲイメージ）を作成する放射輝度マップ作成処理を行う（ステップＳ２０４）。

放射輝度マップは、入力画像のダイナミックレンジを拡張し、白飛びや黒潰れがないようにして、シーン全体の輝度の分布を表したものである。たとえば、標準露出の画像で白飛び状態の画素については、露出を絞った他の画像内の同じ位置の画素のピクセル値から、標準露出で撮影した場合の放射輝度を換算する。該換算を行うためにＣＲＦが使用される。

このようにして、露出の異なる複数枚の画像から、全体として繋がった広いダイナミックレンジの１枚の画像としたものが放射輝度マップである。このような広いダイナミックレンジを再現可能な出力デバイス（表示装置や印刷装置）がないため、放射輝度マップに対応する画像を再生して実際に目で見ることはできない。放射輝度マップ生成処理の詳細は後に説明する。

次に、撮影されたシーンを分類するシーン分類処理を行う（ステップＳ２０５）。シーンの分類は、例えば、撮影場所が屋内か屋外か、あるいは撮影状況が暗い・普通・明るい、といった条件を組み合わせた形で行う。ここでのシーンの分類は、後述のトーンマッピング処理を行う際に、より適切なトーンマッピング処理を選択するための判断材料として用いられる。

次に、ステップＳ２０４で作成されたダイナミックレンジが拡張された不可視のＨＤＲイメージ（放射輝度マップ）を可視の範囲に圧縮するために、トーンマッピング処理を行う（ステップＳ２０６）。トーンマッピング処理は、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法に大別される。

具体的なトーンマッピングのアルゴリズムとしては iCAM06, Drago, Reinhard などがあり、前述のステップＳ２０５のシーン分類処理で分類されたシーンに応じて、より適切なトーンマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。

次に、出力装置（たとえば、プリンタ５）の色再現域に対応するようにガモットマッピング処理で色空間の変換を行い（ステップＳ２０７）、最終的な可視のＨＤＲ画像の画像データを生成する（ステップＳ２０８）。

図３は、図２のステップＳ２０４に示す放射輝度マップ生成処理の概要を示している。まず、図２のステップＳ２０１で入力した複数枚の画像の中から、ＨＤＲ画像の生成に最適な画像を規定枚数（ここでは３枚とする）選定する入力画像選定処理を行う（ステップＳ３０１）。

画像の選定は、各画像の中で良い露出と判断される領域をマークし、３枚を組み合わせたときに良い露出と判断される領域が最も多くなるパターンを採用する。なお、ＨＤＲ画像生成の入力として規定枚数以下（２枚または３枚）の画像が指定されている場合は、指定されたすべての画像をそのまま採用する。

次に、放射輝度マップの作成に使用するＣＲＦの選択・算出処理を行う（ステップＳ３０２）。ＣＲＦの選択・算出処理の詳細は後述する。

なお、ＣＲＦは、図６に示すような形状の関数であり、ある露出におけるピクセル値と露光量（Log Exposure）との関係を示している。このグラフの横軸は指数（Ｌｏｇ）になっているので、ＣＲＦのグラフを横軸方向にシフトさせれば、異なる露出におけるピクセル値と露光量との関係を表すことができる。

次に、ステップＳ３０２のＣＲＦ選択・算出処理で得たＣＲＦの逆関数を用いてシーンの放射輝度マップを作成する（ステップＳ３０３）。露出と、デジタルカメラがピクセル値として記録した値を、ＣＲＦの逆関数に入力することで、シーンの放射輝度を計算できる。その際に、各ピクセルに適切な重み付けをすることや、不適切な領域を計算から除外することで、より正確なシーンの放射輝度マップが得られる。

図４は、ＣＲＦ選択・算出処理の概要を示している。なお、本実施の形態では、使用するＣＲＦの選択肢として、以下の４種類が用意されている。
（１）固定値（選定）：入力画像やカメラに関係なく、事前に選定した非線形関数をＣＲＦとして使用する。
（２）固定値（推定）：特定のサンプル画像を使って事前に推定して記憶されている、カメラの特性が反映された関数をＣＲＦとして使用する。
（３）ＣＲＦ近似：入力画像選定処理で選定された複数枚（ここでは最大３枚）の画像から、その都度、近似計算を行うことで算出したＣＲＦを使用する。
（４）ＣＲＦ詳細：入力画像選定処理で選定された複数枚（ここでは最大３枚）の画像から、その都度、詳細な計算を行うことで算出したＣＲＦを使用する。

ＣＲＦの選択には、入力画像等に基づいて自動的にＣＲＦを選択する「自動モード」と、使用するＣＲＦをユーザが指定する「詳細設定モード」が設けてある。

図４に示すように、ＣＲＦ選択・算出処理では、まず、自動モードが設定されているか否かを調べる（ステップＳ４０１）。自動モードが設定されている場合は（ステップＳ４０１；Ｙｅｓ）、自動モード処理が実行される（ステップＳ４０２）。自動モード処理の詳細は後述する。

自動モードが設定されていない場合（詳細設定モードが設定されている場合）は（ステップＳ４０１；Ｎｏ）、上記（１）〜（４）のいずれがユーザにより指定されているかを順次調べ、指定された手法でＣＲＦを取得する（ステップＳ４０３〜Ｓ４１０）。

詳細には、固定値（選定）が指定されている場合は（ステップＳ４０３；Ｙｅｓ）、事前に選定した標準の固定的な関数を使用する（ステップＳ４０４）。固定値（選定）は、特定のカメラに対応するものではなく、一般的なものである。

固定値（推定）が指定されている場合（ステップＳ４０５；Ｙｅｓ）、事前に用意されている固定値（推定）の関数を使用する（ステップＳ４０６）。固定値（推定）の関数は、カラーチャートなどの特定のサンプル画像を、露出を変えて複数枚撮影し、それらを入力画像として詳細な計算を行って求められたＣＲＦである。この関数の作成やシステムへの登録作業自体は別途行われているものとする。また、固定値（推定）の関数はカメラ（モデル名）単位で管理される。したがって、入力として指定した画像の撮影に使用されたカメラとの対応が必要になるが、この対応付けは、入力として指定した画像ファイルの中に含まれているＥｘｉｆ情報をもとに行う。なお、画像ファイルに対応した「固定値（推定）」のＣＲＦが登録されていない場合は、「固定値（選定）」のＣＲＦで代用する。

ＣＲＦ近似が指定されている場合は（ステップＳ４０７；Ｙｅｓ）、Ｓ３０１の入力画像選定処理で選定した最大３枚の画像から近似計算を行うことでＣＲＦを算出し、ここで求めた関数を使用する（ステップＳ４０８）。

ＣＲＦの計算方法の詳細は省略するが、適切なサンプル点を複数抽出し、そのピクセル値が露出を変えた他の画像でどのように変化しているかをトレースし、最小二乗法でフィッティングすることで再現する。ＣＲＦの計算方法は、たとえば、P.E. Debevec and J. Malik, Recovering high dynamic range radiance maps from photographs, In SIGGRAPH 97, August 1997、に開示されている。

なお、本実施の形態で、ＣＲＦ近似といっているのは、サンプル点として抽出するピクセルの個数が比較的少ない状態を表している。例えば、標準露出の画像において、ピクセル値が低め・中間・高めとなっている３か所をサンプル点として抽出する。

ＣＲＦ詳細が指定されている場合は（ステップＳ４０９；Ｙｅｓ）、Ｓ３０１の入力画像選定処理で選定された最大３枚の画像から詳細な計算を行うことでＣＲＦを算出し、ここで求められた関数を使用する（ステップＳ４１０）。

なお、本実施の形態で、ＣＲＦ詳細といっているのは、サンプル点として抽出するピクセルの個数がＣＲＦ近似の場合に比べて多い場合を表しており、サンプル点の数を多くすることで計算精度を高めている。なお、ＣＲＦ詳細において、ＣＲＦ近似の場合に比べて、計算に使用する画像の枚数を増やすようにしてもよい。多くの画像からより好適なサンプル点を選択することで精度を高めることができる。

図５は、自動モード処理（図４のステップＳ４０２）の概要を示す流れ図である。まず、標準露出の画像において、ピクセル値の分布状況がどうなっているかを解析する（ステップＳ５０１）。

ピクセル値の分布状況に偏りがなくバランス良く分布（たとえば、正規分布やそれに近い分布）している場合（ステップＳ５０２；Ｎｏ）は、標準的な画像と判断できるので固定値を採用することとする。そして、画像の撮影に使用されたカメラに対応した「固定値（推定）」のＣＲＦが、既にＨＤＲ画像生成装置１０に登録済みであれば（ステップＳ５０３；Ｙｅｓ）、固定値（推定）の関数を使用する（ステップＳ５０４）。

画像の撮影に使用されたカメラに対応した「固定値（推定）」のＣＲＦがＨＤＲ画像生成装置１０に登録されていない場合は（ステップＳ５０３；Ｎｏ）、固定値（選定）の関数を使用する（ステップＳ５０５）。

一方、ピクセル値の分布状況に偏りがある場合（ステップＳ５０２；Ｙｅｓ）は、入力画像から算出したＣＲＦ（ＣＲＦ近似またはＣＲＦ詳細）を採用することとし、偏りの程度を判断する。すなわち、標準の固定的な関数（たとえば、固定値（選定）の関数）に当てはめて考えた際に、いわゆる非線形部分に多くのピクセル（たとえば、全画素中の所定割合以上の画素）が存在している場合は（ステップＳ５０６；Ｙｅｓ）、Ｓ３０１の入力画像選定処理で選定された最大３枚の画像から詳細な計算を行うことでＣＲＦを算出し、ここで求められた関数（ＣＲＦ詳細）を使用する（ステップＳ５０７）。所定の割合は適宜に設定すればよいが、たとえば、７割程度にするとよい。

非線形部分に多くのピクセル（全画素中の所定割合以上の画素）が存在していない場合（ステップＳ５０６；Ｎｏ）は、Ｓ３０１の入力画像選定処理で選定された最大３枚の画像から近似計算を行うことでＣＲＦを算出し、ここで求められた関数（ＣＲＦ近似）を使用する（ステップＳ５０８）。

以上のように、放射輝度マップの作成に使用するＣＲＦとして、固定のものを使用するか、露出の異なる複数枚の入力画像から算出したものを使用するかを選択できるので、ユーザの期待や目的に合致した最適な処理を実行することができる。これにより、処理時間と仕上がり品質の両者にバランスのとれたＨＤＲ画像を得ることができる。

また、自動モードにおいては、ＣＲＦを選択するユーザの負担が軽減される。選択の基準がよくわからないユーザなどに好適である。また、自動モードにおいては、入力画像のピクセル値の分布に偏りがあるか否かや、ピクセル値の分布に偏りがある場合に、その偏りが標準のＣＲＦ（固定値（選定）のＣＲＦ）のどの部分に在るかに基づいて、放射輝度マップの作成に使用するＣＲＦを切り替えるので、仕上がり品質が一定以上に確保される範囲において処理時間を短縮することができる。

また、標準のＣＲＦの非線形部分あるいはその近傍では、ＣＲＦのカーブが少し変わるだけで換算結果の露光量の変化が大きくなる。また、非線形な部分は、線形部分に比べて、カメラの種類に依存してＣＲＦのカーブが相違しやすい。そこで、そのような範囲にピクセルが多く存在する画像が処理対象の場合に、入力画像から算出される、より精度の高いＣＲＦを自動選択することで、良好な仕上がり品質が確保される。

なお、実施の形態では非線形部分あるいはその近傍に所定割合以上の画素が存在するか否かを選択の基準としたが、画素値の変化に対する露光量の変化量が、他の部分に比べて所定以上大きい領域（図６のようなグラフでは傾きが小さい領域）に多くの画素（所定割合以上の画像）がある場合に、入力画像から算出するＣＲＦを選択するようにしてもよい。

また、使用するＣＲＦを、ユーザが任意に指定できるので、処理時間を優先させたい、画質を優先させたい、といったユーザの希望に沿った処理を行うことができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、イメージ補正処理、ゴースト検出／除去処理などを行ったが、これらの処理はＨＤＲ画像の仕上がりをより向上させるための処理であり、本発明においては割愛されてもよい。

実施の形態では、固定値（選定）、固定値（推定）、ＣＲＦ近似、ＣＲＦ詳細の４つの選択肢からＣＲＦを選択したが、選択肢はこれらに限定されるものではない。少なくとも、１つの固定のＣＲＦと１つの算出によるＣＲＦが選択肢に含まれればよい。

本発明には、ＨＤＲ画像生成装置１０、ＨＤＲ画像生成装置１０として情報処理装置を機能させるプログラム、ＨＤＲ画像生成装置１０が行ったＨＤＲ画像の生成方法が含まれる。

５…プリンタ
１０…ＨＤＲ画像生成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…ハードディスク装置
１５…入力装置
１６…表示装置
１７…入出力Ｉ／Ｆ

Claims (19)

1. 情報処理装置を、
   露出の異なる複数枚の入力画像からＣＲＦを算出する算出部、
   予め用意されたＣＲＦを記憶する記憶部、
   前記記憶部に記憶されているＣＲＦと前記算出部が算出するＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択部、
   前記選択部によって前記算出部が算出するＣＲＦが選択された場合は該選択されたＣＲＦを前記算出部に算出させ、該算出されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択部によって前記記憶部に記憶されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成部、
   として機能させる
   ことを特徴とするＨＤＲ画像生成プログラム。
2. 前記選択部は、前記入力画像に応じて前記選択を行う
   ことを特徴とする請求項１に記載のＨＤＲ画像生成プログラム。
3. 前記選択部は、前記入力画像を構成する画素の画素値の分布の状況に基づいて前記選択を行う
   ことを特徴とする請求項２に記載のＨＤＲ画像生成プログラム。
4. 前記選択部は、前記入力画像を構成する画素の画素値の分布の偏りが、前記予め用意されたＣＲＦのどの部分に在るかに基づいて前記選択を行う
   ことを特徴とする請求項２または３に記載のＨＤＲ画像生成プログラム。
5. 前記選択部は、前記分布に、前記予め用意されたＣＲＦのうちの非線形領域もしくはその近傍の部分に所定割合以上の画素が現れる偏りがある場合は、前記算出部が算出するＣＲＦを選択する
   ことを特徴とする請求項４に記載のＨＤＲ画像生成プログラム。
6. 前記算出部は、精度の異なる複数のＣＲＦを算出可能であり、
   前記選択部は、前記算出部が算出するＣＲＦを選択する場合は、前記精度の異なる複数のＣＲＦの中のいずれか１つを選択する
   ことを特徴とする請求項１乃至５のいずれか１つに記載のＨＤＲ画像生成プログラム。
7. 前記選択部は、前記予め用意されたＣＲＦを選択する場合であって前記記憶部に前記予め用意されたＣＲＦが複数種類記憶されている場合は、該複数種類のＣＲＦの中のいずれか１つを選択する
   ことを特徴とする請求項１乃至６のいずれか１つに記載のＨＤＲ画像生成プログラム。
8. 前記選択部は、ユーザからの指示に基づいてＣＲＦを選択する
   ことを特徴とする請求項１に記載のＨＤＲ画像生成プログラム。
9. 前記選択部は、ユーザからの指示を優先する選択が成されている場合は、ユーザからの指示に基づいてＣＲＦを選択する
   ことを特徴とする請求項１乃至７のいずれか１つに記載のＨＤＲ画像生成プログラム。
10. 露出の異なる複数枚の入力画像からＣＲＦを算出する算出部と、
    予め用意されたＣＲＦを記憶する記憶部と、
    前記記憶部に記憶されているＣＲＦと前記算出部が算出するＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択部と、
    前記選択部によって前記算出部が算出するＣＲＦが選択された場合は該選択されたＣＲＦを前記算出部に算出させ、該算出されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択部によって前記記憶部に記憶されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成部と
    を有する
    ことを特徴とするＨＤＲ画像生成装置。
11. 前記選択部は、前記入力画像に応じて前記選択を行う
    ことを特徴とする請求項１０に記載のＨＤＲ画像生成装置。
12. 前記選択部は、前記入力画像を構成する画素の画素値の分布の状況に基づいて前記選択を行う
    ことを特徴とする請求項１１に記載のＨＤＲ画像生成装置。
13. 前記選択部は、前記入力画像を構成する画素の画素値の分布の偏りが、前記予め用意されたＣＲＦのどの部分に在るかに基づいて前記選択を行う
    ことを特徴とする請求項１１または１２に記載のＨＤＲ画像生成装置。
14. 前記選択部は、前記分布に、前記予め用意されたＣＲＦのうちの非線形領域もしくはその近傍の部分に所定割合以上の画素が現れる偏りがある場合は、前記算出部が算出するＣＲＦを選択する
    ことを特徴とする請求項１３に記載のＨＤＲ画像生成装置。
15. 前記算出部は、精度の異なる複数のＣＲＦを算出可能であり、
    前記選択部は、前記算出部が算出するＣＲＦを選択する場合は、前記精度の異なる複数のＣＲＦの中のいずれか１つを選択する
    ことを特徴とする請求項１０乃至１４のいずれか１つに記載のＨＤＲ画像生成装置。
16. 前記選択部は、前記予め用意されたＣＲＦを選択する場合であって前記記憶部に前記予め用意されたＣＲＦが複数種類記憶されている場合は、該複数種類のＣＲＦの中のいずれか１つを選択する
    ことを特徴とする請求項１０乃至１５のいずれか１つに記載のＨＤＲ画像生成装置。
17. 前記選択部は、ユーザからの指示に基づいてＣＲＦを選択する
    ことを特徴とする請求項１０に記載のＨＤＲ画像生成装置。
18. 前記選択部は、ユーザからの指示を優先する選択が成されている場合は、ユーザからの指示に基づいてＣＲＦを選択する
    ことを特徴とする請求項１０乃至１６のいずれか１つに記載のＨＤＲ画像生成装置。
19. 予め用意されたＣＲＦと露出の異なる複数枚の入力画像から算出されるＣＲＦの中からＨＤＲ画像の生成に使用するＣＲＦを選択する選択ステップと、
    前記選択ステップにおいて前記算出されるＣＲＦが選択された場合は、該選択されたＣＲＦを前記入力画像から算出し、該算出したＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成し、前記選択ステップにおいて前記予め用意されているＣＲＦが選択された場合は、該選択されたＣＲＦを使用して前記複数枚の入力画像からＨＤＲ画像を生成する画像生成ステップと
    を有する
    ことを特徴とするＨＤＲ画像生成方法。

Images