JP4190736B2 - デジタル画像の改良されたコントラストマッピング方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にデジタル画像の向上に関する。より詳細には、本発明は、再現に使用される媒体のダイナミックレンジにより密接に整合するように、原画像のダイナミックレンジを変更する局所コントラストマッピング方法に関する。
【０００２】
【従来の技術】
屋外の景色の写真を撮る場合、十分に日光があたっている領域と深く陰った別の領域の輝度比、すなわちダイナミックレンジは、1000：１を越えることがある（図１参照）。この景色の反射プリントが作成される場合、このプリントは、通常約100：１のダイナミックレンジに制限される。反射プリント（reflective print）と基の景色、オリジナルシーンとの間のダイナミックレンジにおける大きな不整合、ミスマッチにより、満足のいく現物の写し、すなわち再現（reproduction）を生成するためには、景色のダイナミックレンジを、反射プリントで利用可能なダイナミックレンジに何らかのマッピングすなわち変換を行う必要がある。
【０００３】
あるダイナミックレンジを別のダイナミックレンジにマッピングするのに利用される通常の技法は、トーンマップ（tone map）を利用してデジタル方式で実施されることが多い、非線形曲線を利用するものである。トーンマップは、入力レンジ（屋外の景色での1000：１）から新しいレンジ（反射プリントの場合には100：１）に数を変換するルックアップテーブルである。トーンマップは、通常大域的に適用され、特定の数値を有する画像におけるすべての点が、同じ出力値に厳密にマッピングされる。不都合なことに、大きなダイナミックレンジを、はるかに小さなダイナミックレンジにマッピングするためにトーンマップを使用すると、結果得られる画像は、コントラストが減じられた感じのするものとなることが多い。このコントラストの低減は、画像を平坦に見せ、魅力の欠けたものとする（図２参照）。
【０００４】
写真撮影者は、焼込み（burning）及びおおい焼きと呼ばれる暗室処理によってこの問題に対処する。おおい焼きは、ネガを印画紙にプリントする間に行われる技法であり、画像の暗い領域が、総露光時間のいくらかの部分の間、この領域にわたって影を落とすことにより明るく、すなわち明化される。この影により、プリントに露光される光量が低減し、それによって画像のその部分が明化される。影は、通常引き伸ばしレンズによって投じられた光を、１本のワイヤ上の厚紙片で、又は写真撮影者の手でもよいが、遮蔽することにより生成される。焼込みは、プリントのある領域に露光される光量を増大することにより、追加の露光時間を印画紙に与えるものであり、おおい焼きとは反対のプロセスである。通常、暗くすなわち暗化すべき画像領域にのみ、露光する穴を通して光が注がれるように、小さな穴の開いたカードがプリントの上方に保持される。
【０００５】
おおい焼き及び焼込みは、輝度が徐々に変化する大きな領域には効果があるが、複雑な形状を備える領域にはハローを生じさせる。例えば、図１の左下の角にある木の枝において、その木の枝の周囲又はその木の枝の間に、ハローすなわち明るい領域を残さずに、明化すなわちおおい焼きすることは非常に困難である。
【０００６】
景色のダイナミックレンジを低減するために利用される別の技法は、Polaroid社のJohn McCannによって開発されたレティネックス（Retinex）アルゴリズムである。レティネックスは、Edward Landによって開発された人間の視覚の網膜と大脳皮質の理論に基づいている。基本的なレティネックスアルゴリズムは、本明細書に参照として援用される、米国特許第4,384,336号「Method and Apparatus for lightness imaging」に記載されている。レティネックスアルゴリズムは、景色において徐々に明るさ、照度が変化する部分のその変化の大部分を除去することによって、画像のダイナミックレンジを低減する。明るさが徐々に変化する画像の場合、オリジナルレティネックスアルゴリズムは、マッピングされた反射プリントの見かけ、外観を顕著に改善することが可能である。照度のレベルが急激に変化する、すなわち明るさが急に変化する領域を有する、又は異なる光源間にさらに急激な境界がある画像の場合、オリジナルレティネックスアルゴリズムは、わずかな改善しか示さないことがある。例えば、図３の画像がオリジナルレティネックスアルゴリズムによる処理を受けたことを除いて、図１と同じ画像の再現である図３が示される。前景の茂み及び画像の左下にある木は、いくらか明化されているが、その効果はわずかである。図３の再現は全体的に、基の景色に存在した視覚的な効果を表現していない。
【０００７】
【発明の解決しようとする課題】
水面で反射された雲の輝度を顕著に変化させることなく、図１の暗い前景を劇的に明化する方法が必要とされている。これは、反射された雲と、図１の左下にある木の枝との間の大きな輝度比、すなわち大きなコントラストを大幅に縮小しなければならないことを意味する。同時に、反射された雲と前景領域の小さな局所的な輝度比を、圧縮することなく、維持しなければならない。これは、画像を見たときに、コントラストの見かけ、感じを保つために重要である。したがって、画像の異なる領域間の小さなコントラスト差を維持しつつ、画像の異なる領域間の大きなコントラスト差を縮小、圧縮することのできるシステムが必要とされている。
【０００８】
【課題を解決するための手段】
本発明は、再現に使用される媒体のダイナミックレンジをより密接に整合するように、原画像のダイナミックレンジを変化させる局所コントラストマッピング方法を提供する。本方法は、画像の異なる領域間の小さなコントラスト差を維持しながら、画像の異なる領域間の大きなコントラスト差を縮小する。
【０００９】
本発明の他の態様及び利点は、一例として本発明の原理を示す添付図面と共に、以下の詳細な説明から明白となる。
【００１０】
本特許のファイルは、カラーで実施される図面を少なくとも１枚含む。カラーの図面を有する本特許の写しは、請求して必要料金を支払うことにより、特許商標局から提供される。
【００１１】
【発明の実施の形態】
画像の異なる領域間の小さなコントラスト差を維持しながら、画像の異なる領域間の大きなコントラスト差を縮小する方法は、大きな照度のレンジを備える、すなわち明暗の差が大きい画像の再現したものの見かけを大きく改善することが可能である。景色の各種部分間のコントラスト差を計算することによって、画像を局所的に暗化又は明化するアルゴリズムは、小さなコントラスト差を維持し、大きなコントラスト差を縮小することにより、顕著な改善を可能とする。このようなアルゴリズムの１つとして、オリジナルレティネックスアルゴリズムが挙げられる。
【００１２】
オリジナルレティネックスアルゴリズムでは、出力画像Ｏが、以下の関係にしたがって、入力画像から繰り返し形成される。
【００１３】
Ｏ_x,y＝（ClipToWhite（Ｉ_x,y−Ｉ_xs,ys＋Ｏ_xs,ys）＋Ｏ_x,y）／２…式(1)
ここで、Ｉ_x,yは、位置ｘ，ｙにおける入力画像のセグメント領域を表す。Ｉ_xs,ysは、画像が、原画像に対していくらかの距離ｄｘ及びｄｙだけ変位されて表された、入力画像をシフトしたものにおけるセグメント領域を表す。画像Ｉ及びＯは双方とも、差をとることが比を計算することと同じであるように、輝度の測定値にしたがって対数的に符号化される（すなわち対数空間にある）。例えば、式(1)における（Ｉ_x,y−Ｉ_xs,ys）の項は、入力画像の他の位置における画像の強度（すなわちラジアンス）に対する、該入力画像のある位置での強度（すなわちラジアンス）の比である。対数空間において、項を付加するということは、乗算と同じことである。例えば、式(1)に（Ｏ_xs,ys）項を加えることは、入力強度の比（Ｉ_x,y−Ｉ_xs,ys）と、変位された出力画像の強度（Ｏ_xs,ys）の積をとることに等しい。ClipToWhite関数は、結果得られる比の積が、最大又は最小強度値内に収まるように制限する。例えば、入力強度（すなわちラジアンス）値の範囲が０と255の間である場合、ClipToWhite関数は、255を越える値をいずれも255に低減し、ゼロ未満の値をいずれもゼロに増大する。結果得られる比の積（Ｉ_x,y−Ｉ_xs,ys＋Ｏ_xs,ys）が270である場合、ClipToWhite関数は、値を255に再設定する。オリジナルレティネックスアルゴリズムにおいて、入力画像及び出力画像は、大きな変位から始まって、相対的にシフトされる。通常の初期シフトは、入力画像の幅又は高さの約１／２である２のベキとなるであろう。画像変位は、いくつかの回転（revolution）について循環パターン（circular pattern）で実施される。次に変位が半分になり、該プロセスが、変位がゼロに達するまで、繰り返される（米国特許第4,384,336号参照）。
【００１４】
２つの異なる位置における画像の、強度（すなわちラジアンス）の比（Ｉ_x,y−Ｉ_xs,ys）は、画像の他の部分と比較した、画像のある部分の相対的なコントラスト差（すなわちコントラスト比）の測定値である。例えば、画像１の左下コーナーにある木の枝の１つのピクセル１個の照度は、８である。枝の背後にある水のピクセル１個の照度は、220である。したがって枝と水の間の照度比、すなわち強度比は、220／８＝27.5（又は対数空間では1.44）である。空にある雲の一部分の照度は、247である。空の別の部分の照度は、215である。空のこれら２つの異なる部分間の強度比は、247／215＝1.15（又は対数空間では0.06）である。
【００１５】
本発明は、大きな強度比を縮小し、小さな強度比を維持する。大きな比を縮小し、小さな比を維持するために、トーンマップすなわちルックアップテーブル（ＬＵＴ）が使用される。ＬＵＴは、入力画像の異なる領域間の強度差の比を変更するために使用される（式(2)参照）。
【００１６】
Ｏ_x,y＝（ClipToWhite（ＬＵＴ（Ｉ_x,y−Ｉ_xs,ys）＋Ｏ_xs,ys）＋Ｏ_x,y）／２…式(2)
【００１７】
ＬＵＴすなわちトーンマップは２つの部分からなる。小さな差を維持するために、原点を通る１：１の線の傾き（６０２）が利用される（図６参照）。大きなコントラスト差を縮小するために、ハードリミット（hard limit）（６０４）が利用される。ハードリミットは、照度の最大比を制限するために設定され、例えば４対１（又は対数空間において0.6：１）のハードリミットを利用することができる。線の傾きが１対１であり、ハードリミットが４対１（対数空間において0.6）の式(2)を使用して、画像１が、図４を生成するように変更された。小さなコントラスト差を維持しながら、大きなコントラスト差を縮小することによって、コントラストの全体的な感じ、見かけを維持しながら、景色の全体的なダイナミックレンジが圧縮、縮小された。これらの結果は、画像の左下の角にある木の枝の周囲にいくらかのハローを残すこともなく、暗室では再現することができない。
【００１８】
トーンマップにおける原点を通過する線の傾きによって、画像の大きなコントラスト差の縮小に強く影響を与えずに、局所コントラストの見かけを調節するように、増やしたり（図７参照）減らしたり（図示せず）することが可能である。例えば、原点を通過する線の傾きが約0.85であれば、人物画像でのストロボに起因する強烈すぎる照明を改善することができる。図５は、傾きが1.8対１であり、ハードリミットが４対１である式(2)を使用して作成されたものである。図５は、より高いレベルの局所コントラストを有し、かつ大きなコントラスト差の縮小を維持している。
【００１９】
強度比のハードリミットを調節することで、画像の中で最も暗い領域を明化する量を主に制御することができる。リミットが高くなると（1.5の強度比のように）、明化及び縮小の量が低減される。リミットが低くなると（0.4の強度比のように）、明化及び縮小の量が増大される。トーンマップにおける曲線の形状もまた変更することができる。例えば、原点を通過する線から、ハードクリップリミット（hard clip limit）への急な変化を、滑らかに変化する関数を生じるように変更することが可能である（図８参照）。
【００２０】
入力画像及び出力画像の完全な解像度でのシフトされた入力画像から繰り返し出力画像Ｏを形成することは、計算集約的なプロセスである。本明細書に参照として援用される米国特許第4,750,211号「Method and Apparatus for Image Processing with Field Portions」は、解像度を低減して画像を処理する方法を開示している。米国特許第4,750,211号に開示される方法を本発明と組み合わせることで、改善された出力画像の生成に必要な計算の数を減らすことができる。
【００２１】
本発明の上記の記述は、例示及び説明を目的として提示されている。これは、網羅的なものではなく、本発明を開示された厳密な形態に制限することを意図しておらず、上記教示を鑑みて、他の変更及び変形も可能である。実施形態は、本発明の原理及びその実際の適用を最も良く説明するために選択され、記載されたものであり、これにより、当業者は、本発明を、意図する特別な使用に適した様々な実施形態及び様々な変形で最良に利用することが可能である。添付の特許請求の範囲は、従来技術により制限される範囲を除き、本発明の他の代替実施形態を含むよう解釈されるものと意図される。
【００２２】
以下においては、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
１．原画像のダイナミックレンジを、再現に使用される媒体のダイナミックレンジと一層密接に整合するように変更する方法であって、
前記原画像の異なる領域間の小さなコントラスト差を維持する（６０２）ステップと、
前記原画像の異なる領域間の最大コントラスト差を制限する（６０４）ステップと、
からなる方法。
【００２３】
２．前記原画像で前記最大コントラスト差を制限（６０４）しながら、前記小さなコントラスト差を維持する（６０２）ために、ルックアップテーブルが使用される、１項記載の方法。
【００２４】
３．前記原画像の前記最大コントラスト差が４対１以下の比に制限される（６０４）、１項記載の方法。
【００２５】
４．前記小さなコントラスト差が１対１の傾きを利用して維持される（６０２）、１項記載の方法。
【００２６】
５．前記小さなコントラスト差が、１対１よりも大きな傾きを利用する（図７）ことによって増大される、１項記載の方法。
【００２７】
６．前記小さなコントラスト差が、１対１よりも小さな傾きを利用することによって低減される、１項記載の方法。
【００２８】
７．第１と名前の付けられたセグメント領域のそれぞれ及び第２と名前の付けられたセグメント領域のそれぞれに関連するラジアンス情報の比関数（ratio function）と、該第２と名前の付けられたセグメント領域について先に決定された同様の測定値との積に応答して、測定値のそれぞれの新しい中間値をもたらし、この新しい中間値と、前記第１と名前の付けられたセグメント領域について先に決定された同様の測定値の選択的な加重平均に応答して、前記測定値のそれぞれの新しい値を連続的に決定する、ラジアンス情報の比較測定値を連続的に決定する装置を改善する方法であって、
前記比関数の小さなコントラスト差を維持するステップと、
前記比関数の最大コントラスト差を制限するステップと、
からなる方法。
【００２９】
８．前記原画像の前記最大コントラスト差を制限しながら、前記小さなコントラスト差を維持するために、ルックアップテーブルが使用される、７項記載の方法。
【００３０】
９．前記原画像の前記最大コントラスト差が４対１以下の比に制限される、７項記載の方法。
【００３１】
１０．前記小さなコントラスト差が１対１の傾きを利用して維持される、７項記載の方法。
【００３２】
【発明の効果】
本発明は、再現に使用される媒体のダイナミックレンジにより密接に整合するように、原画像のダイナミックレンジを変更する局所コントラストマッピング方法に関する。この方法は、画像の異なる領域間の小さなコントラスト差を維持しながら、画像の異なる領域間の大きなコントラスト差を縮小する。
【図面の簡単な説明】
【図１】照度のダイナミックレンジが大きな画像のプリントを示す図である。
【図２】大域的トーンマップによる変更後の、図１の画像のプリントを示す図である。
【図３】オリジナルレティネックスアルゴリズムにより変更した後の、図１の画像のプリントを示す図である。
【図４】本発明による方法を利用して、１対１の傾きによる変更を行った後の、図１の画像のプリントを示す図である。
【図５】本発明による方法を利用して、1.8の傾きによる変更を行った後の、図１の画像のプリントを示す図である。
【図６】本発明による１対１の傾きを有するトーンマップである。
【図７】本発明による増大された傾きを有するトーンマップである。
【図８】本発明による平滑な形状を有するトーンマップである。
【符号の説明】
６０２ 原点を通過する１：１の傾きの線
６０４ ハードリミットを示す線

Claims (2)

1. ラジアンス情報の出力値を連続的に決定する方法であって、
   原画像の第 1 及び第 2 のセグメント間の強度比を取り、
   前記強度比にトーンマップを適用して、強度比を変更し、
   前記変更された強度比と前記第 2 のセグメントにおける出力値との積から中間値を得て、
   前記中間値と前記第 1 のセグメントにおいて先に決定された出力値との加重平均から前記ラジアンス情報の新しい出力値を連続的に得ることを含み、
   前記トーンマップが、
   原画像の強度比が所定の比率以下である場合に、その強度比を維持し、
   原画像の強度比が前記所定の比率を超える場合に、ハードリミットを利用して、当該原画像の最大強度比を前記所定の比率又はそれ未満の比に制限し、前記変更された強度比を最大強度比に制限する方法。
2. 前記所定の比率が４対１である請求項１に記載の方法。

Images