JP4910001B2 - 画像処理用の二光源二色性反射モデル - Google Patents

Description

これは、２００６年１月２７日に出願された米国特許出願第１１／３４１，７５１号及び２００６年４月１３日に出願された米国特許出願第１１／４０３，７６４号の利益を主張するものである。

近代のコンピュータ技術の多くの有意で商業的に重要な用途は、画像に関連する。これらには、画像処理、画像解析、及びコンピュータビジョンの用途が含まれる。コンピュータを利用して画像に関連する操作を的確かつ正確に実行するに当たっての問題は、視覚世界で発生している物理現象を真に反映し、表現するアルゴリズムの開発である。例えば、画像内で影と有形物のエッジとを正確かつ的確に区別するコンピュータの能力は、科学者にとって解決されない問題であってきた。物理的な物体のエッジの的確かつ正確な検出なしでは画像の他の処理が不可能であるため、エッジ検出は、画像処理における必須の作業である。投じられた影をその影を投じている物体から区別できなければ、コンピュータが物体を認識することは不可能である。

物体エッジ検出に対する初期の従来の手法は、画像内の輝度境界の解析を含む。この解析では、有形物により生じる境界が鮮鋭化されるのに対して、影により生じる境界が、影の半影効果によりソフト化又は平滑化されるものと仮定される。この手法は、コンピュータにより的確に実行することができるアルゴリズムにより実施することができるが、その結果は不正確なことが多い。現実世界では、影が鮮鋭な境界をなし、逆に、有形物のエッジが柔らかい境界をなす多くの場合がある。したがって、影及びエッジの認識に従来の技法を利用する場合、影認識に関して誤検出及び検出漏れの大きな可能性がある。これは、例えば、影に似ているため、コンピュータにより影として誤って識別されるマテリアル／物質のエッジであり、又は物体境界として誤って解釈される鮮鋭な影の境界である。

影及び物体エッジが識別された後、典型的なコンピュータ化された動作は、例えば、影を画像から除去するための画像の処理である。画像内に示される大半のシーンは、直接光源又は入射光源として定義される主光源を有する。入射光源は影を生じさせる。入射光源からではないシーン内の表面上への放射輝度成分は、間接光源又は周辺光源と呼ばれる。影内に存在するのは周辺光源である。周辺光源のエネルギーの多くは入射光源からのものであり得るが、一般に、環境と相互作用した後のものである。

画像処理の典型的な解決策は、入射光源に焦点を合わせている。周辺照明が入射光源と同じスペクトル特性を有するか、又は存在しないという仮定に基づくコンピュータ化画像ピクセル処理用のモデルが開発されてきた。このような既知の１つの解決策は、内部反射とマテリアル（物質）上の表面反射との組み合わせにより生じる外観のバリエーションを説明する二色性反射モデルである。内部反射は、通常、マテリアルの色とみなされるものである。表面反射は、光源を反射するマテリアルのハイライト又は鏡面性と呼ばれる。既知の二色性反射モデルは、単一の入射光源を仮定し、非ゼロ周辺光源を考慮しない。したがって、二色性反射モデルに基づく画像処理の結果は、色が正確ではないことが多い。

他の有用な解決策は、色相及び色度等の色空間並びに表面からの反射の強度に対する入射光源の強度変化の影響を除去しようと試みる他の正規化された色空間を含む。しかし、これらのカラーモデルの実際のビジョン問題の解決での成功は限られてきた。したがって、照明の単純モデルは視覚世界を正確に反映せず、したがって、色の正確な処理を提供しないという認識が増しつつある。最近の研究は、単一のマテリアルにわたっての色の変化の経験的モデルに焦点を合わせている。この手法は、照明色又は反射の挙動についての従来のいかなる仮定にも制限されない。

完全な照明環境を測定しようとする相当量の研究もある。これらの方法は、同じシーンの複数の画像及び／又はシーンジオメトリの知識に基づく。１つの研究プロジェクトでは、複雑な間接照明の存在及びその重要性が認められている。しかし、その方法はシーンの既知のジオメトリ及び２つの画像の両方を必要とする。これらの研究努力は、かなり複雑な照明環境を抽出し、表現することができる解決策に近づくが、例えば、消費者写真又は既存の写真を使用する環境等の環境において、又は異なる視点からシーンの複数の画像を撮影すること、又は物体をシーン内に挿入することが容易に可能ではないか、又は妥当ではないすべての状況において使用することができない。

本発明は、色の正確な画像処理に役立つ画像の表現として二光源二色性反射モデル（ＢＩＤＲ（bi-illuminant dichromatic reflection）モデル）を提供する。

本発明の第１の例示的な実施形態では、画像を処理する自動化されコンピュータ化された方法は、画像を処理して、強度調整画像を提供するステップ、画像の二光源二色性反射モデル表現を導出するステップ、及び二光源二色性反射モデル表現を利用して、強度調整画像を処理し、色の正確な強度調整画像を生成するステップを含む。本発明の好ましい実施形態では、画像を処理して強度調整画像を提供するステップは、ガンマ補正方法を実行することにより実行される。

本発明の第２の例示的な実施形態では、コンピュータシステムは、ＣＰＵ及び画像ファイルを記憶するメモリを備える。本発明の一特徴によれば、ＣＰＵは、画像を処理して強度調整画像を提供し、画像の二光源二色性反射モデル表現を導出し、二光源二色性反射モデル表現を利用して強度調整画像を処理し、色の正確な強度調整画像を生成するルーチンを実行するように準備され構成される。本発明の好ましい実施形態では、ＣＰＵは、ガンマ補正方法を実行することにより画像を処理して強度調整画像を提供するルーチンを実行する。

本発明のさらなる実施形態によれば、コンピュータシステムであって、上述した方法を実行するように構成（例えば、プログラム）された１つ又は複数のコンピュータを含むコンピュータシステムが提供される。本発明の他の実施形態によれば、コンピュータ可読媒体であって、上述した実施形態を実施するようにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶したコンピュータ可読媒体が提供される。この自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光学センサ、状態機械、シーケンサ、又は本発明の方法のステップを実行するように設計可能又はプログラム可能な任意の機器若しくは装置により実行することができる。

これより図面、最初は図１を参照して、画像に関連する操作を実行するように準備され構成されたコンピュータシステム１０のブロック図を示す。ＣＰＵ１２が、例えばデジタルカメラ１４等の装置に、例えばＵＳＢポートを介して結合される。デジタルカメラ１４は、カメラ１４にローカルに記憶されている画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。ＣＰＵ１２は、画像ファイル１８にアクセスして、モニタ２０に表示し、又はプリンタ２２でプリントアウトする。

あるいは、ＣＰＵは、例えば、デジタルカメラ１４又はロボット等の装置に組み込まれたマイクロプロセッサとして実施することができる。ＣＰＵは、例えば、ロボット動作又はユーザとのインタラクティブ動作と併せた画像に関連するリアルタイム操作のためにリアルタイムオペレーティングシステムを装備することもできる。

図２に示すように、各画像ファイル１８はｎ×ｍピクセルアレイを含む。各ピクセルｐは、全体画像の離散部分に対応する画素である。すべてのピクセルが一緒になって、画像ファイル１８により表される画像を画定する。各ピクセルは、カラーバンドセット、例えば、画素の赤、緑、及び青の色成分（ＲＧＢ）に対応するデジタル値を含む。本発明は、各バンドが電磁スペクトルに対応する任意のマルチバンド画像に適用可能である。本発明は、グレースケール画像（シングルバンド）と併せて利用することも可能である。各ピクセルアレイはｎ行ｍ列を含み、ピクセルｐ（１，１）で始まり、ピクセルｐ（ｎ，ｍ）で終わる。画像を表示又は印刷する場合、ＣＰＵ１２は、対応する画像ファイル１８をメモリ１６から検索し、場合によっては、一般に既知のように、画像ファイル１８内のピクセルのデジタル値に応じてモニタ２０又はプリンタ２２を動作させる。

画像操作において、ＣＰＵ１２は、記憶されている画像ファイル１８のピクセルのＲＧＢ値を解析して、例えば、影の変更又は色の正確な輝度調整を行うための画像処理等の様々な目的を達成するように動作する。本発明の基本的発見の基礎をなす基本観察は、画像が２つの成分、すなわちマテリアル及び照明を含むことである。画像内のすべての変化は、これらの成分のうちの一方又は他方によって生じる。

本発明の第１の例示的な実施形態では、画像の影及び完全に照らされた領域が、ユーザにより手動で選択される。ＣＰＵ１２により記憶されている画像ファイル１８の、モニタ２０上に表示にされて人間の目に見えるものは、例えば、デジタルカメラ１４により撮影されたシーン内の有形物の鏡面反射特性及び内部反射特性と、写真が撮影された時間に存在した照明束との相互作用により生じるピクセル色値である。上述したように、照明束は周辺光源及び入射光源を含む。入射光源は、影を生じさせる光であり、影の周長の外側に見られる。周辺光源は、影の明るい側及び暗い側の両方に存在する光であるが、暗い領域内においてより知覚することができる。

図３は、本発明の一特徴により手動入力で画像内の影を変更するフローチャートである。２つの入力ステップにおいて、ユーザは、ユーザにより選択された画像１８の完全に照らされた（明るい）マテリアル上の点又は領域を選択する（ステップ１００）とともに、同じ画像１８内の同じマテリアルの完全に影になった（暗い）部分上の点又は領域を選択する（ステップ１０２）。これらのステップ１００、１０２は、対象画像ファイル１８を表示するように動作しているモニタ２０上でユーザがインタラクティブにクリックすることにより実施することができる。人間の目の生理機能は影と実際の物理的物体とを区別可能であるため、ユーザはこのような領域を選択することができる。

ステップ１０４において、ＣＰＵ１２はユーザ入力選択に対して動作して、スペクトル比Ｓ＝暗／（明−暗）を計算する。暗は、例えば、ユーザにより選択された領域の完全に影になったマテリアル内のピクセルであり、明は、ユーザにより選択されたマテリアルの完全に照らされた部分内のピクセルである。スペクトル比を正規化したものを本発明による方法において使用することができる。本発明の一特徴によれば、スペクトル比が、色の正確な調整のためのピクセル値処理に使用される。画像が２つの成分、すなわちマテリアル及び照明を含むという本発明の基本観察に基づいて、入射光源すなわち直接光源と周辺光源との相互作用により生じるスペクトルシフトの認識を通して、マテリアル側面と照度とを区別するようにコンピュータシステム１０を動作させることができる。マテリアル及び照明のうちの一方が画像内で分かっている場合、他方を容易に推定することができる。入射光源及び周辺光源のスペクトルは、互いに異なり得る。影により生じるスペクトルシフト、すなわち、入射光源の強度の低減は、画像内に示されるシーンに存在する、異なるマテリアルにわたって実質的に不変である。

本発明の一特徴によれば、このスペクトルシフト情報は、光源比又は入射光源と周辺光源との相互作用により形成される固有のスペクトル比を測定することにより検出される。スペクトル比は、異なるマテリアル、照明変化、又はこれら両方に起因し得る、画像内に示されるシーンの２つのエリア間の色又は強度の差に基づく比である。

画像の固有のスペクトル比又は照明束による光源比を求める自動化されコンピュータ化された方法が、２００６年１月２７日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７４２号明細書において開示されており、これは参照により本明細書に援用される。同時係属中の米国特許出願第１１／３４１，７４２号明細書に開示されるように、画像の特徴比の精度及び正確性を向上させるために、照明境界のスペクトル比情報が局所レベルで求められる。すなわち、画像内に示されるシーンのいくつかの予め選択された各局所エリアの光源比が求められる。次に、境界の解析が、画像内の境界の特定の場所のスペクトル比を利用して実行される。局所的に関連するスペクトル比を決定することにより、現実世界の画像において直面し得る複雑性、例えば、室内のいくつかの異なる光源の相互作用、相互反射等に対応する。

ピクセル値の的確で正確な処理を容易にし、例えば、ピクセルを影付きの色（暗）から正確な完全に照らされた色（明）に変更するために、本発明は、固有のスペクトル比（照度）を、二光源二色性反射モデルによる画像属性及び特徴の解析表現として認識する。二光源二色性反射モデル（ＢＩＤＲ）は、周辺光源に関連する項を上述した二色性反射モデルと組み合わせる。ＢＩＤＲモデルの２つの光源は、入射光源及び周辺光源に対応する。ＢＩＤＲモデルは以下のように記述することができる。
Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝［ｍ_ｂ（θ_ｉ）ｃ_ｂ（λ）＋ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）ｃ_ｓ（λ）］ｌ_ｄ（λ）＋Ｍ_ａ（λ）ｃ_ｂ（λ）＋Ｍ_ａｓ（θ_ｅ，φ_ｅ，λ）ｃ_ｓ（λ）
式中、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}は、波長λでの方向θ、φにおける（ｘ，ｙ，ｚ）での表面点の放射輝度であり、
ｍ_ｂ（θ_ｉ）は、幾何学的係数に基づくスペクトルから独立した内部反射率であり、
ｃ_ｂ（λ）は、波長λでの表面の幾何学的形状から独立した内部反射率であり、
ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）は、幾何学的係数に基づく、スペクトルから独立した表面反射率であり、
ｃ_ｓ（λ）は、波長λでの表面の幾何学的形状から独立した表面反射率であり、
ｌ_ｄ（λ）は、波長λでの入射光源であり、
θ_ｉは、表面法線に対する表面上への光源の入射傾斜角度であり、
φ_ｉは、入射パン角度、すなわち、入射光源と表面の接平面上の固定軸との角度であり、
θ_ｅは、出射傾斜角度、すなわち、表面法線に対する出射光線の角度であり、
φ_ｅは、出射パン角度、すなわち、出射光線と表面の接平面上の固定軸との角度であり、
上記項はすべて、二色反射モデルを構成する。ＢＩＤＲモデルの残りの項は、周辺光源に関連する。
Ｍ_ａ（λ）は、入射光源を除く、周辺光源と半球上の幾何学的内部反射率との積分であり、
Ｍ_ａｓ（θ_ｅ，φ_ｅ，λ）は、入射光源を除く、周辺光源と半球上の幾何学的表面反射率との積分である。

二色性反射モデルでは、θ、φによる向きから見た表面上の点の放射輝度Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}は、入射光源の影響を反映するために、照明強度及び色ｌ_ｄ（λ）で乗算された２つの２部構成の項の和として表される。第１の反射項は内部反射を説明する。ｍ_ｂ（θ_ｉ）は、入射角度θ_ｉで表される光源と表面との幾何学的関係の関数である、拡散反射と呼ばれる内部反射により反射される入射光源エネルギー量である。ｃ_ｂ（λ）は、各波長λでの内部反射により反射される入射光源エネルギーの部分であり、本体色（ｂｏｄｙ ｃｏｌｏｒ）とみなされるものを説明する。第２の反射項は、表面反射ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）が、入射角度θ_ｉ、φ_ｉ、及び出射角度θ_ｅ、φ_ｅによって表される幾何学的形状に応じて、表面反射により反射される入射エネルギー量であることを説明する。ｃ_ｓ（λ）は、各波長λで表面反射により反射される入射エネルギーの部分である。二色性反射モデルの力は、モデルが、単一入射光源下の均等色誘電体表面の外観すなわち色が、入射光源量及び表面上の鏡面性が変動する場合であっても、ＲＧＢ空間内の２つのカラーベクトルｃ_ｂ及びｃ_ｓにより定義される平面内にあることを予測することである。

本発明の一特徴によれば、ＢＩＤＲモデルは、上述したように、入射光源とかなり異なるスペクトルを有し得る周辺光源の内部反射項及び表面反射項を追加する。入射光源と異なり、周辺光源は、表面点から見える半球全体から放射される。

したがって、Ｍ_ａ（λ）は、周辺内部反射の積分である。
∫ｍ_ｂ（θ_ｉ）ｌ_ａ（θ_ｉ，φ_ｉ，λ）ｄθ_ｉｄφ_ｉ

Ｍ_ａｓ（θ_ｅ，φ_ｅ，λ）：∫ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）ｌ_ａ（θ_ｉ，φ_ｉ，λ）ｄθ_ｉｄφ_ｉ
この関数は、入射光源を除く、周辺光源と半球上の幾何学的表面反射との積分を表す。

上記関数は、θ_ｉ，φ_ｉ≠θ_Ｌ，φ_Ｌ（入射光源）にわたって積分された、入射光源以外のすべての入力照明の積分である。本発明によるＢＩＤＲモデルは、表面が均等なマテリアルであっても、表面外観の途方もない複雑さに的確かつ正確に適応し、それを予測することができる。例えば、周辺環境が明るく、かつ表面にわたって急激に変化する場合、周辺光源項により、二色性反射モデルにより予測される平面からずらすことができる。実際には、二色性反射モデルと異なり、本発明によるＢＩＤＲモデルは、必ずしも空間のゼロ点を通過するわけではなく、実際には殆どの場合に、物体色を乗算した周辺照明の色を含む、ゼロ点からのずれを示すＲＧＢ空間内の平面を予測する。ピクセル値が本発明のＢＩＤＲモデルを使用して処理される場合、ずれは色の正確な変更に繋がる。

周辺光源は入射光源よりも１桁以上大きいことが多いことから、周辺鏡面性すなわち物体表面反射率Ｍ_ａｓ（θ_ｅ，φ_ｅ，λ）項は、表面の外観に対して最小の影響を有し、モデルの品質に大きく影響することなく破棄することができる。次に、ＢＩＤＲモデルは３項に変形される。
Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝［ｍ_ｂ（θ_ｉ）ｃ_ｂ（λ）＋ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）ｃ_ｓ（λ）］ｌ_ｄ（λ）＋Ｍ_ａ（λ）ｃ_ｂ（λ）

表面に投じられた影の外観もＢＩＤＲモデルの使用に関連するため、影項すなわち係数ｓ_{ｘ，ｙ，ｚ}∈［０，１］を追加して、入射光源項を乗算することができる。
Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝［ｍ_ｂ（θ_ｉ）ｃ_ｂ（λ）＋ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）ｃ_ｓ（λ）］ｌ_ｄ（λ）ｓ_{ｘ，ｙ，ｚ}＋Ｍ_ａ（λ）ｃ_ｂ（λ）

完全に照らされたピクセルは影係数ｓ＝１を有し、完全に影になったピクセルはｓ＝０を有し、ｓ＝０のモデル内の残りの唯一の項は周辺内部反射である。モデルは、内部反射における非スペクトル係数を影係数ｓ_{ｘ，ｙ，ｚ}と幾何学的係数ｍ_ｂ（θ_ｉ）との積であるγ_ｂで置換し、表面反射における非スペクトル係数を影係数ｓ_{ｘ，ｙ，ｚ}と幾何学的係数ｍ_ｓ（θ_ｉ，φ_ｉ，θ_ｅ，φ_ｅ）との積であるγ_ｓで置換することにより書き換えることができる。したがって、ＢＩＤＲモデルは、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋ｃ_ｓ（λ）ｌ_ｄ（λ）γ_ｓ＋Ｍ_ａ（λ）ｃ_ｂ（λ）として書き換えられる。

マテリアルの鏡面性がない場合、ＢＩＤＲモデルの２番目の項ｃ_ｓ（λ）ｌ_ｄ（λ）γ_ｓはゼロであり、表面の測定値は、例えば、ＲＧＢ空間内の単一の理論線上に存在することになる。鏡面項がない場合、ＢＩＤＲモデルは、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋Ｍ_ａ（λ）ｃ_ｂ（λ）により与えられる。図４は、本発明の一特徴によるγ_ｂ＝０からγ_ｂ＝１までの簡易二光源二色性反射モデルの実行により測定される完全に影になった色値から完全に照らされた色値までのマテリアルの色のＲＧＢ色空間でのグラフを示す。図４に示すように、モデルは、影、光、及び半影内の特定のマテリアルの測定色がすべて、ＲＧＢ空間（図４に示される立方体）内の線に沿って延在することを予測する。ＢＩＤＲモデルにより予測された線に沿ったピクセル値への調整により、色の正確な結果がもたらされる。画像のＢＩＤＲシリンダ表現の生成に関するさらなる考察については、２００６年１月２６日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７５３号明細書を参照されたい。この出願は参照により本明細書に援用される。

実際には、録画に使用されるカメラ又は他のセンサは、通常、ノイズを有し、画像内のマテリアルで完全に均等な色のものはない。したがって、表面の外観値は、マテリアル及びイメージングセンサノイズ特性のばらつきにより決まる幅を有するシリンダ内に入る。本発明のＢＩＤＲモデルにおいて考慮される入射光源及び周辺光源により内部反射を表すシリンダは、シーン内のあらゆる固有色に一意の開始場所を有する。開始場所は、周辺照明と内部色との積によって決まり、ＲＧＢ空間内のシリンダの傾きは、入射照明と内部色との積によって決まる。

図５ａ及び図５ｂは、エラーバウンドがシリンダを形成する、完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ空間でのグラフである。図５ａでは、シリンダは、ＢＩＤＲモデル（ＢＩＤＲシリンダ）により予測されたＲＧＢ線の周りに示され、シリンダ直径の寸法は、録画に使用される記録装置のノイズ及びばらつきの関数である。

図５ｂは、完全に影になった端での同じ絶対距離が、線の完全に照らされた端での線からの同じ絶対距離よりも実際には大きな色差を表すことを認めた円錐形状のＢＩＤＲシリンダを示す。これは、影端でのカラーバンド強度の大きさが、影端での線からの実際距離の、明端よりも大きい割合であることによる。例えば、シリンダの影端（ＲＧＢ）＝（５，６，８）での色及び明端での色（１００，１２０，１６０）を考える。ＣＰＵ１２が、両方の色値から赤色に向けてそれぞれ１０単位分、色値を変更する場合、その結果は、影色値（１５，６，８）及び明色値（１１０，１２０，１６０）である。暗端では、色は明らかな青色から明らかな赤色にシフトしたのに対して、明端では、色は青のままである。この差を補償するために、同じ大きさの色変更が、それに対応して線から的確な絶対距離を有するように、影端を狭め、明端を広げるような調整がシリンダに対して行われる。

ＢＩＤＲモデルに関してスペクトル比Ｓ＝暗／（明−暗）を記述する場合、Ｓ＝Ｍ_ａ（λ）ｃ_ｂ（λ）／（［ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋Ｍ_ａ（λ）ｃ_ｂ（λ）］）−Ｍ_ａ（λ）ｃ_ｂ（λ））である。この式はＳ＝Ｍ_ａ（λ）／ｌ_ｄ（λ）γ_ｂに変形される。γ_ｂはスカラーであるため、スペクトル比での異なるカラーバンド、例えばＲＧＢ値の相対的な割合は一定である。したがって、画像内の所与の直接光源及び周辺光源の対に関して、暗がγ_ｂ＝０を有するものと仮定され、かつ明がいくらかの入射光源を受けている場合、正規化されたスペクトル比は、同じマテリアルに対応するすべての明暗対に対して一定である。したがって、スペクトル比は、ＢＩＤＲモデルにより、色の正確な調整のためのピクセル値処理のベースとして、例えば、図５ｂに示すようなＲＧＢ空間内の色の正確なシリンダ内に入る色調整の予測として利用することができる画像の特性及び特徴の表現である。

さらに、ＢＩＤＲモデルは、ピクセル値を表すためのベースとして使用することもできる。各ピクセルは、ＲＧＢ値ではなくむしろ、ＲＧＢ空間内のＢＩＤＲシリンダ及びγ値により表されて、特定のＢＩＤＲシリンダ、例えば図５ｂのシリンダ内で、特定のピクセルの色がどこにあるかを示す。さらに、特定のＢＩＤＲシリンダの暗ピクセル及び明ピクセルに基づくスペクトル比は、上述したように、画像の局所特性又は光源比として計算することができる。ピクセルのＢＩＤＲシリンダ／γ／スペクトル比表現は、ピクセルの色の正確な処理を可能にするピクセル表現の包括的かつ固有の形態を提供する。

ステップ１０６において、ユーザは、ステップ１００、１０２により提供される領域内から、処理又は補正するエリア及び調整の程度を選択する。調整の程度は、γ_ｂの値に反映され、例えば、ユーザが半影を望む場合、γ_ｂ＝０．５が選択される。ステップ１０８において、ＣＰＵ１２は、ステップ１０４において計算されたスペクトル比を使用して、ユーザ選択の調整の程度を達成するように、選択された領域の強度及び色を調整する。

図１０は、本発明の一特徴により画像エリアの直接照明すなわち入射照明の見掛けレベルを変更するフローチャートである。図１０のフローチャートを利用して、図３のステップ１０８を実行することができる。図１０のルーチンでは、ＣＰＵ１２に、暗、例えばユーザ選択の領域の完全に影になったマテリアル内のピクセル及びユーザ選択のそのマテリアルの完全に照らされた部分内のピクセルである明からＣＰＵ１２により計算されるスペクトル比（ステップ１０４）に加えて、ユーザ選択のエリアを含むピクセルセット（ステップ１０６）、そのピクセルセットのガンマ（γ）マップ、及びユーザが半影を望む場合には、ユーザ選択の調整の程度、例えば、γ_ｂ＝０．５に対応するレベルに設定された新しいガンママップが与えられる（ステップ１１４）。

画像のピクセルに適切なガンママップを生成する方法は、入力としてダイナミックレンジ圧縮アルゴリズムを含むことができる。このようなアルゴリズムの例としては、ヒューレット−パッカード（Hewlett-Packard）により市販されているレティネックス（Retinex）ベースのアルゴリズム又は業界標準の画像圧縮アルゴリズムであるガンマ補正アルゴリズムが挙げられる。ガンマ補正プロセスは、ガンマを示すガンママップと異なる（γはＢＩＤＲモデル表現のγ_ｂに対応する）ことに留意する。ガンママップ生成のさらなる考察については、図６ｂ及び図６ｃの以下の説明を参照のこと。

ステップ１１６において、ＣＰＵ１２は、選択されたエリア内の各ピクセルの完全に影になった（暗）バージョンを計算するように動作する：暗＝Ｐ／（１＋γ／Ｓ）。式中、Ｐは、対象画像１８の選択されたエリア内のピクセルのＲＧＢ空間でのカラーベクトルであり、ガンマ（γ）は、ガンママップからのそのピクセルのガンマ値であり、Ｓは、図３のステップ１０４においてＣＰＵ１２により計算されるスペクトル比である。スペクトル比を対象画像１８のＢＩＤＲモデル表現として使用することにより、図５ｂに示すようなＢＩＤＲモデルにより予測されるシリンダの端点に対応する色の正確な暗が決定される。したがって、暗値は、対象画像１８の選択されたエリア内のそのピクセルのＭ_ａ（λ）ｃ_ｂ（λ）項に正確に対応する。

ステップ１１８において、ＣＰＵ１２は、ユーザにより示される新しいガンママップに応じて、選択されたエリア内の各ピクセルの色調整された新しい値を計算する：Ｐ_ｎｅｗ＝暗＋γ_ｎｅｗ（暗／Ｓ）。式中、γ_ｎｅｗは、ユーザにより示される新しいガンママップからのピクセルの新しい値である。ステップ１２０において、ＣＰＵ１２は、変更された入射光源を有する画像エリアを出力する（図３のステップ１０８）。

もう一度図３を参照すると、ＣＰＵ１２は、変更された画像に対して平滑化、フェザリング、又は他の既知の技法を実施することができ（ステップ１１０）、そして、例えばモニタ２０に表示する又はプリンタ２２でプリントアウトするために、変更された画像を出力することができる（ステップ１１２）。

図６ａは、本発明の一特徴により強度調整画像に色の正確な輝度調整を行うフローチャートを示す。ＣＰＵ１２に、元の画像エリア、強度調整画像エリア、ガンママップ、及び元の画像エリアのスペクトル比Ｓが与えられる（ステップ２００）。強度調整画像エリアは、既知のダイナミックレンジ圧縮アルゴリズム、例えば、ヒューレット−パッカード（Hewlett-Packard）により市販されているレティネックス（Retinex）ベースのダイナミックレンジ圧縮アルゴリズム又はフォビオン（Foveon）統計ベースのダイナミックレンジ圧縮アルゴリズム等の出力であることができる。これらのアルゴリズムは、見た目をより満足のいくようにするために、ピクセルの色ではなく強度を調整することによって画像の暗いエリアを明るくする：ｆ＊（Ｒ，Ｇ，Ｂ）＝＞（ｆＲ，ｆＧ，ｆＢ）。図６ａのルーチンは、色の正確な画像調整のために各ピクセルの色ならびに強度をシフトさせることを意図される。ガンマ（γ）マップは、強度調整画像と元の画像との差を決定することにより推定することができる。

そのために、図６ｂ及び図６ｃを参照する。図６ｂは、図６ａのルーチンにおいてＣＰＵ１２に入力される強度調整画像の強度調整ピクセル値を示すＲＧＢ空間でのグラフである。グラフは、元のピクセルＰのＲＧＢ値及びピクセルＡの強度調整値を示す。グラフは、本発明の一特徴によりＢＩＤＲモデルにより予測されるピクセルの完全に影になったバージョンである暗の位置及び色の正確な完全に照らされたバージョンＢの位置も示す。図６ｂのグラフにおいて明確に分かるように、Ａの色は、ＲＧＢ空間において、強度調整ピクセルＢの色の正確な値からずれている。ＣＰＵ１２による図６ａのルーチンの実行結果は、ＡをＢの値に調整して、画像内のシーンの色を正確に示すことである。

図６ｃは、ダイナミックレンジ圧縮アルゴリズムを使用して図６ｂのピクセルのガンマ（γ）値を推定するフローチャートである。ステップ４００において、ＣＰＵ１２に、図６ａのステップ２００におけるＣＰＵ１２への入力に対応するが、図６ｃのルーチンにより求められるガンマ値がない入力情報が提供される。ステップ４０２において、画像１８内の各ピクセルについて、ＣＰＵ１２は、元のピクセル値Ｐのスカラー値で除算された画像の強度調整ピクセルのスカラー値の比を計算する：Ｒ＝‖Ａ‖／‖Ｐ‖。

ステップ４０４において、各ピクセルについて、ＣＰＵ１２は、Ｒ又は（１＋‖Ｓ‖）／‖Ｓ‖の値のうちの最小としてＱを求める。ステップ４０６において、各ピクセルについて、ＣＰＵ１２はガンマ値を計算する：γ＝［（１＋‖Ｓ‖）／Ｑ］−‖Ｓ‖。各ピクセルについてステップ４０２−４０６を完了した後、ＣＰＵは、各ピクセルのガンマ値を有する画像のガンママップを出力する。ガンマ値は、ピクセル上への入射光源すなわち直接光源の割合を示す。

ステップ２０２において、ＣＰＵ１２は、アルゴリズム暗＝Ｐ／（１＋γ／Ｓ）を利用して、図１０のステップ１１６においてＣＰＵ１２により実行されるように、各ピクセルの完全に影になったバージョン（暗）を計算する。式中、γは、図６ｃのルーチンの実行から生成されたマップ内の推定値である。ステップ２０４において、ＣＰＵ１２は、各ピクセルの暗バージョン、スペクトル比、及び推定されたγを使用して、補正されたピクセルが正確な色を有する強度調整画像に整合する強度を有するような各ピクセルの色及び強度を計算する。まず、ＣＰＵ１２は、各ピクセルの明バージョンを計算する：Ｐ_{ｂｒｉｇｈｔ}＝Ｐ_{ｏｒｉｇｉｎａｌ}＊（１＋Ｓ）／（γ＋Ｓ）。Ｐ_{ｂｒｉｇｈｔ}は、Ｐ_{ｏｒｉｇｉｎａｌ}の色の正確なバージョンである。次に、ＣＰＵ１２は、各ピクセルの強度変更に相対するＲＧＢベクトルを求める：Ｖ＝Ｐ_{ｂｒｉｇｈｔ}−暗。

その後、ＣＰＵ１２は、目標強度、すなわち、強度調整画像の強度とＰ_{ｂｒｉｇｈｔ}の強度との差を表す比を計算する：比＝（Ｐ_{ｇｏａｌ ｉｎｔｅｎｓｉｔｙ}−Ｐ_{ｂｒｉｇｈｔ ｉｎｔｅｎｓｉｔｙ}）／Ｖ_{ｉｎｔｅｎｓｉｔｙ}。強度調整画像の強度に達するためにＰ_{ｂｒｉｇｈｔ}の強度に必要な調整は、調整＝比＊Ｖである。そうすると、最終ピクセル値はＰ_{ｆｉｎａｌ}＝Ｐ_{ｂｒｉｇｈｔ}＋調整である。

ＣＰＵ１２が、画像エリア内の各ピクセルについてステップ２０４を完了した後、ＣＰＵ１２は、色の正確な強度調整画像を出力する（ステップ２０６）。

図７は、本発明の一特徴により画像エリアから直接照明すなわち入射照明を除去するフローチャートである。ステップ２０８において、ＣＰＵ１２に、例えば、ユーザ選択の画像ファイル１８のエリアであることができる元の画像エリア、画像エリアのガンママップ、及び画像エリアの固有のスペクトル比Ｓが与えられる。

ステップ２１０において、ＣＰＵは、ここでも図１０のステップ１１６においてＣＰＵ１２により実行されたように、アルゴリズム暗＝Ｐ／（１＋γ／Ｓ）を利用して画像エリア内の各ピクセルの影バージョン（暗）を計算する。すべてのピクセルについてステップ２１０を完了した後、ＣＰＵ１２は、すべてのマテリアルが周辺光源によってのみ照らされる画像を出力する（ステップ２１２）。

図８は、本発明の一特徴により画像エリアの見掛け周辺照明を変更するフローチャートを示す。ステップ２１４において、ＣＰＵ１２に、元の画像エリア、ガンママップ、画像エリアの固有のスペクトル比Ｓ、及び周辺光源変更子ベクトルＶが与えられる。周辺光源変更子ベクトルは、画像内の完全に影になったピクセル（暗）の実際のベクトルで乗算されると、新しい見掛け周辺照明を有するピクセルの変更されたバージョンを提供する、例えばＲＧＢ空間内のベクトルである。

ステップ２１６において、ＣＰＵ１２は、ここでもアルゴリズム：暗＝Ｐ／（１＋γ／Ｓ）を使用して、スペクトル比及びガンママップを使用して画像エリア内の各ピクセルの完全に影になった（暗）バージョンを計算する。ステップ２１８、２２０において、ＣＰＵ１２は、各暗ピクセルをＶで除算して、暗_ｎｅｗをもたらし、それにより、新しい見掛け周辺光源（ステップ２１８）を獲得するとともに、ＳをＶで乗算してＳ_ｎｅｗも得る（ステップ２２０）。

ステップ２２２において、ＣＰＵ１２は、Ｓ_ｎｅｗ及びガンママップを使用して、各ピクセルの新しい色を計算する：Ｐ_ｎｅｗ＝暗_ｎｅｗ＋γ（暗_ｎｅｗ／Ｓ_ｎｅｗ）。すべてのピクセルについてステップ２２２を完了した後、ＣＰＵ１２は、変更された見掛け周辺光源を有する画像エリアを出力する（ステップ２２４）。

図９は、本発明の一特徴により画像エリアの見かけの直接照明すなわち入射照明を変更するフローチャートである。ステップ３００において、ＣＰＵに、元の画像エリア、画像エリアのガンママップ及びスペクトル比、並びに入射すなわち直接光源変更子Ｖが与えられる。直接光源変更子ベクトルは、画像エリア内の見掛け直接光源を変更するに当たって使用されるスペクトル比の変更に使用することができる、例えば、ＲＧＢ空間内のベクトルである。

ステップ３０２において、ＣＰＵ１２は、前の図のルーチンにおいて完了したように、各ピクセルの暗バージョンを計算する。ステップ３０４において、新しいスペクトル比が、ＣＰＵ１２によりベクトルＶを使用して求められる：Ｓ_ｎｅｗ＝Ｓ＊１／Ｖ。新しいスペクトル比は、見掛け入射照明を実際に変更するようなピクセル値の処理を可能にする。ステップ３０６において、ＣＰＵ１２はＳ_ｎｅｗ及びガンママップを使用して、各ピクセルの新しい色を計算する：Ｐ_ｎｅｗ＝暗＋γ（暗／Ｓ_ｎｅｗ）。すべてのピクセルについてステップ３０６を完了した後、ＣＰＵ１２は、変更された見掛けの直接すなわち入射光源を有する画像エリアを出力する。

図１１は、本発明の一特徴により色の正確なガンマ補正を示すＲＧＢ空間でのグラフである。グラフは、元のピクセルＣのＲＧＢ値及びガンマ補正後のピクセルＢ_１の強度調整値を示す。グラフは、本発明の一特徴によりＢＩＤＲモデルにより予測されるＢＩＤＲシリンダ内に含まれる、ピクセルの完全に影になったバージョンである暗及び色の正確な完全に照らされたバージョンＰも示す。図１１のグラフにおいて明確に分かるように、Ｂ_１の色は、ＲＧＢ空間においてピクセルＰの色の正確な値からずれている。ピクセルＢ_２は、本発明による、ガンマ補正後のピクセルＰ（ひいては元のピクセルＣ）の色の正確な強度調整値である。

ガンマ補正は、モニタに表示又はプリントするために、画像を明化する業界標準の方法である。標準によれば、画像は、画像内の各ピクセルについて、強度が０から１のスケールで測定され、輝度強度が、元の強度を（１．０／ガンマ）乗したものに等しいように調整され、ガンマは１．０以上の値である。業界標準で使用されるガンマを、表面上の入射光の割合を表すために本明細書において上記において使用されるガンマと混同するべきではない。混同を避けるために、本明細書において使用される輝度係数をラムダ（λ）として定義することができる。ガンマ補正は、すべてのピクセルを照明に関係なくある量だけ明化する。他の形態のダイナミックレンジ圧縮のように、ガンマ補正は、影の色を色の正確な影のない対応物により類似させることなく影を明化する。説明するように、本発明のＢＩＤＲモデルの概念は、明化された影に適用することができ、色を調整して色の正確な、ひいてはより視覚的に満足のいく画像を提供することができる。

図１２は、図１１に示すような色の正確なガンマ補正のフローチャートである。ステップ６００において、ＣＰＵ１２に、画像ファイル１８からの元の画像、輝度係数λ、及び画像の正規化されたスペクトル比Ｓが提供される。ステップ６０２において、各ピクセルＣについて、ＣＰＵ１２は、標準かつ通常のガンマ補正でのように、強度（Ｃ）^{１．０／ラムダ}として明化強度（Ｂ_１）を見つける。次に、ステップ６０４において、ＣＰＵ１２は２つの比を計算する。Ｒ_１は、強度（Ｂ_１）／強度（Ｃ）のある小さなパーセンタイル（５パーセンタイル、１０パーセンタイル、２０パーセンタイル、又は４０パーセンタイル等）値である。Ｒ_２は、強度（Ｂ_１）／強度（Ｃ）のある大きなパーセンタイル（６０パーセンタイル、８０パーセンタイル、又は９５パーセンタイル等）値である。Ｒ１は最小の明化の程度を表し、より小さな比を有するピクセルは完全に照らされているものと仮定され、Ｒ２は最大の明化の程度を表し、より大きな比を有するピクセルは完全に影になっているものと仮定される。

ステップ６０６において、ＣＰＵ１２は、強度（Ｄ）＝強度（Ｂ_１）／Ｒ_２としてＢＩＤＲシリンダの暗ピクセルの強度（強度（Ｄ））を計算する。強度（Ｄ）＞強度（Ｃ）の場合、値ＣはＣ＊強度（Ｄ）／強度（Ｃ）に更新される。次に、ステップ６０８において、ＣＰＵ１２は、強度（Ｂ_１）／強度（Ｃ）＞Ｒ_１の場合、ＢＩＤＲシリンダ上の明ピクセルＰの強度Ｃを強度（Ｃ）／Ｒ_１として計算し、その他の場合、強度（Ｐ）が強度（Ｃ）に設定される。強度（Ｐ）は、ガンマ補正がすべてのピクセルを明化するため、完全入射照明のピクセルであっても強度（Ｂ_１）よりも小さい。比Ｒ_１は、完全入射照明を越える過剰明化の測定である。

正規化されたスペクトル比、

元の色Ｃ、及び強度（Ｄ）を知ることで、ＣＰＵ１２は、ステップ６１０において、暗色Ｄを計算する。暗色Ｄは、あるスカラーｋについて

であるような色である。Ｄの正確な強度を使用して式を満足させるｋの１つの値がある。その値は、直接的な代数解法又は逐次近似により見つけることができる。

暗色Ｄ、強度（Ｐ）、及び正規化されたスペクトル比

を使用して、ＣＰＵ１２は、ステップ６１２において、完全に照らされた色Ｐを計算する。色Ｐは、あるスカラーｋについて

であるような適正な強度を有する色である。スカラーｋは、

として見つけることができる。ステップ６１４において、ＣＰＵ１２は、Ｂ_１と同じ強度を有するように色Ｐを明化し、色の正確な明化色Ｂ_２が生成される。画像内の各ピクセルについてこれらのステップを辿ることにより、適正に着色された影を有するガンマ補正された画像が生成される（ステップ６１６）。

上記明細書において、本発明を特定の例示的な実施形態及びその例を参照して説明した。しかし、添付の特許請求の範囲に記載される本発明のより広い趣旨及び範囲から逸脱することなく、それらに対して様々な修正及び変更を行うことが可能なことが明らかであろう。したがって、本明細書及び図面は、限定の意味ではなく例示として見なされるべきである。

画像に関連する操作を実行するように準備され構成されるコンピュータシステムのブロック図である。 図１のコンピュータシステムに記憶される画像のｎ×ｍピクセルアレイ画像ファイルを示す。 本発明の一特徴により手動入力で画像内の影を変更するフローチャートである。 本発明の一特徴による簡易二光源二色性反射モデルの実行により決定される完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ色空間でのグラフである。 本発明の一特徴による二光源二色性反射モデルの実行により測定される、エラーバウンドがシリンダを形成する、完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ色空間でのグラフである。 本発明の一特徴による強度調整画像に対する色の正確な輝度調整のフローチャートである。 図６Ａの強度調整画像の強度調整ピクセル値を示すＲＧＢ空間でのグラフである。 ダイナミックレンジ圧縮アルゴリズムを使用して図６Ｂのピクセルのガンマ（γ）値を推定するフローチャートである。 本発明の一特徴により画像エリアから直接照明すなわち入射照明を除去するフローチャートである。 本発明の一特徴により画像エリアの見掛け周辺照明を変更するフローチャートである。 本発明の一特徴により画像エリアの見掛けの直接照明すなわち入射照明を変更するフローチャートである。 本発明の一特徴により画像エリアの直接照明すなわち入射照明の見掛けレベルを変更するフローチャートである。 本発明の一特徴により色の正確なガンマ補正を示すＲＧＢ空間でのグラフである。 図１１に示す色の正確なガンマ補正のフローチャートである。

Claims (4)

1. 画像を処理する自動化されコンピュータ化された方法であって、
   画像を示している画像ファイルを準備するステップと、
   前記画像に示されたマテリアルの正確な色の二光源二色性反射モデル表現、ここで、当該二光源二色性反射モデルは、前記画像内の複数のマテリアルにわたり、完全に影になった色値から完全に照らされた色値までの範囲内に前記画像の正確な色値を表現する、二光源二色性反射モデル表現を、前記画像の複数のマテリアルにわたって不変である固有のスペクトル比を計算することにより導出するステップと、
   前記二光源二色性反射モデルを利用して、前記画像に示されたマテリアルの正確な色を有する画像を結果として生じるように前記画像ファイルの画像を処理するステップであって、前記正確な色は、二光源二色性反射モデルの固有のスペクトル比によって表現された正確な色値に応じて、完全に影になった色値から完全に照らされた色値までの範囲内において選択したいかなる調整の程度にも設定され且つ決定される、ステップと
   を含む、方法。
2. 前記固有のスペクトル比は暗／（明−暗）に等しい、請求項１に記載の方法。
3. 前記スペクトル比を正規化するさらなるステップを含む、請求項２に記載の方法。
4. 前記画像ファイルの画像を処理して強度調整画像を提供するステップであって、
   前記強度調整画像に対する強度調整が、完全に照らされた色値の範囲を超える強度を生じる場合には、二光源二色性反射モデルにしたがって決定された完全に照らされた色値に応じて強度を調整する、ステップをさらに含む、請求項１に記載の方法。

Images