JP6254922B2 - 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム - Google Patents

Description

本発明は、画像に写っている環境の照明光の色を推定する照明光色推定装置、照明光色推定方法及び照明光色推定プログラムに関する。

画像における画素値（Ｒ、Ｇ、Ｂ）は、以下の（１）式に示されるように、照明光（Ｅ（λ）：分光分布）と物体の色（ρ（λ）：分光反射率）の両方の情報を含んでいる。そのため、入力機器によって入力された画像の画素値は、入力機器の分光感度特性と、分光分布と分光反射率との積分で表される。ＲＧＢそれぞれの分光感度特性は、ｒ￣（λ）、ｇ￣（λ）、ｂ￣（λ）（￣は文字の上に付く）として表す。

照明光や物体の色を計算する関連技術では、照明光や物体の色に関する性質に基づいて計算する手法がある。例えば、画像中の鏡面反射成分を利用する手法や、画像中の無彩色領域を利用する手法や、シーン中の物体の色に関する仮定を利用する手法等がある。鏡面反射成分を利用する技術（例えば、非特許文献１参照）では、誘電体からの反射光成分のうち鏡面反射成分が照明光の色を表すことを利用して照明光の色を推定する。

一方、無彩色領域を利用する手法（例えば、特許文献１、２参照）は、無彩色の領域からの反射光の色が照明光の色を反映していることを利用している。具体的には、事前に様々な照明光の下での白色（紙、色票）の画像から無彩色領域の色変化を求めておき、画像中の無彩色領域に近い色を、事前に求めた無彩色領域の色の中から探索し、その平均を照明光の色として推定する。また、シーン中の物体の色の平均が灰色（無彩色）であると仮定することによって、シーン中の反射光の色を照明光色として推定する手法（例えば、非特許文献２参照）もある。

前述の各関連技術は、シーン中に含まれる照明光色が１種類である場合を前提としているが、実際の環境ではシーン中に２種類以上の異なる照明光が存在し、さらにその強度比率は空間的に変動する場合が少なくない。従来、シーン中に２種類の照明光が存在する場合の画像から、それぞれの照明光色を推定する手法（例えば、非特許文献３参照）が提案されている。この手法では、画像の局所的な領域では照明光色が１種類であると仮定し、局所領域毎に上述したような１種類の照明光を対象とした既存の推定手法（非特許文献２等）を適用し照明光色の推定を行う。

特開２０１０−５０６５１号公報 特開２００２−２９０９８８号公報

G.J.Klinker, S.A.Shafer, T.Kanade, "Using a color reflection model to separate highlights from object color", Proceedings of the First International Conference on Computer Vision, pp.145-150 (1987). R.Gershon and A.D.Jepson,"The Computation of Color Constant Descriptors in Chromatic Images", Color Research and Application, Vol.14, No.6, pp.325-334 (1989). Arjan Gijsenij, Rui Lu, Theo Gevers, "Color Constancy for Multiple Light Sources", IEEE Trans. on Image Processing Vol.21, No.2, pp.697-707 (2012).

しかしながら、前述した関連手法には以下のような課題がある。すなわち、シーン中に複数の照明光が存在し、どの局所領域にも２種類の照明光色が影響している場合には、照明光色が推定できないという問題がある。

本発明は、このような事情に鑑みてなされたもので、シーン中に含まれる照明光の種類が既知である場合に、画像中の各領域に放射する照明光の色を推定することができる照明光色推定装置、照明光色推定方法及び照明光色推定プログラムを提供することを目的とする。

本発明は、２種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置であって、前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択部と、前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換部と、前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する２種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算部とを備えることを特徴とする。

本発明は、２種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置が行う照明光色推定方法であって、前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択ステップと、前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換ステップと、前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する２種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算ステップとを有することを特徴とする。

本発明は、コンピュータを、前記照明光色推定装置として機能させるための照明光色推定プログラムである。

本発明によれば、２種類の照明光が存在するシーンの画像から、画像中の各領域において照射する各照明光色の比率を推定することによってその領域に照射している照明光色の推定が可能になるという効果が得られる。

本発明の一実施形態による照明光色推定装置の構成を示すブロック図である。 照明光のパラメータと色空間との変換処理を示す説明図である。 図１に示す照明光色推定装置１０の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による照明光色推定装置を説明する。図１は同実施形態の構成を示すブロック図である。照明光色推定装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。照明光色推定装置１０は、照明光色推定プログラムを実行することによって、画像入力部１０１、データ蓄積部１０２、色領域選択部１０３、色空間変換部１０４、照明光色計算部１０５を備える装置として機能する。以下の説明では、画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三成分から構成される。なお、画像は、ＨＳＶやＹＣｂＣｒ、ＣＩＥＬＡＢ等色空間の値を画素値とする画像であってもよい。

被写体２１は、１種類以上の物体である。照明Ａ２２および照明Ｂ２３は、被写体２１に対して光を照射する照明であり、シーン中にそれぞれ複数個存在しても構わない。

画像入力部１０１は、照明Ａ２２および照明Ｂ２３により照明された被写体２１を撮像したカラー画像（以下、単に「画像」という。）を入力する。画像入力部１０１は、画像を照明光色推定装置１０に入力可能であればどのような構成であってもよい。例えば、画像入力部１０１は、撮像素子を備え、画像を撮像する構成であってもよい。また、画像入力部１０１は、スキャナとして構成され、画像をスキャンして照明光色推定装置１０に入力してもよい。また、画像入力部１０１は、カメラによって撮像された画像を照明光色推定装置１０に入力するためのインターフェースとして構成されてもよい。

データ蓄積部１０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。データ蓄積部１０２は、画像入力部１０１によって入力された画像を記憶する。また、データ蓄積部１０２は、色領域選択部１０３、色空間変換部１０４、照明光色計算部１０５における各処理で得られた画像や途中の処理結果も一時記憶する。この場合、データ蓄積部１０２は、コンピュータにおけるメモリに相当する。

色領域選択部１０３は、画像入力部１０１によって入力された画像に対し、同一物体上で同一の分光反射率をもつ色領域を複数選択し、得られた各領域の平均の色をデータ蓄積部１０２に記憶する。ここで選択する色領域は、２種類の照明光色の割合が異なるように同一物体領域の中で離れた位置から選択する。この選択は、ユーザが適切な色領域を選択することによって行う。

色空間変換部１０４は、色領域選択部１０３で得られた各色領域の平均の色に対し、画像を撮像した装置の機器特性を取り除いた色情報に変換し、データ蓄積部１０２に記憶する。色情報の変換に用いられるパラメータは、画像入力部１０１に応じて予め設定されている。以下の説明における色情報は、ＣＩＥ（国際照明委員会）で規定されたＸＹＺ三刺激値とする。ただし、色情報は、機器特性に依存しない色空間（例えば、ＣＩＥＬＡＢやＣＩＥＬＵＶ）で表現されたものであればどのようなものでも構わない。

照明光色計算部１０５は、同一物体領域から選択された２種類の色領域の色から２種類の照明光比率を計算することによって、色領域における照明光色を推定する。

以下、色領域選択部１０３により得られた各領域の平均の色から照明光色を計算する仕組みを説明する。分光反射率ρ（λ）の物体領域上に照射する２種類の照明光の分光分布をそれぞれ、Ｅ_Ａ（λ）、Ｅ_Ｂ（λ）とし、ＣＩＥ等色関数をｘ￣（λ）、ｙ￣（λ）、ｚ￣（λ）（￣は文字の上に付く）とすると、物体領域からの反射光（Ｘ，Ｙ，Ｚ）は、２照明光の割合をｔ、ｓとして以下のように表される。以下の（２）式において、λの右下にある数値は可視光（４００〜７００ｎｍ）の範囲での分光特性を、例えば１０ｎｍおきにサンプリングした際の波長を位置を示すインデックスである。

ここで、色領域選択部１０３において選択された領域の平均の色を、色空間変換部１０４により機器特性に依存しない色空間に変換した結果をそれぞれＰ_１（Ｘ_１，Ｙ_１，Ｚ_１）、Ｐ_２（Ｘ_２，Ｙ_２，Ｚ_２）とする。（２）式より、Ｐ_１，Ｐ_２の違いは、物体の分光反射率が同じであることから、（ｔ，ｓ）の組合せの違いのみである。即ち、以下の式のように、等色関数、分光反射率および照明光の分光特性の関数で表される行列Ｔを成分とする３行２列の行列で表される。

ただし、ｉ＝１，２である。

（３）式における行列Ｔは、ｔとｓからなる２次元平面をＸＹＺ成分で構成される３次元空間の平面に変換するとみなすことができる。以下、行列Ｔのｋ行ｊ列の成分をＴ_ｋｊで表す。また、（３）式に示す関係を図２に示す。図２は２種類の照明光の割合を表すパラメータｔ、ｓの組合せで表現される２次元空間がＸＹＺ三刺激値を軸とする３次元空間上の平面に行列Ｔで変換される様子を示したものである。この平面は（２）式より物体の分光反射率によって一意に決定されるものであり、かつ、原点を通るという特徴をもつ。この平面が決定できれば、行列Ｔを求めることができるため、結果的にパラメータｔ、ｓ、即ち、２種類の照明光の比率を取得することが可能となる。

一般に３次元空間上の平面は、平面に含まれる３点があれば決定することができる。上述の特性（（３）式）より、この平面は原点を含むことから、２点、即ち、Ｐ_１とＰ_２を用いて平面の方程式を決定することができる。平面の方程式は、法線ベクトルを（ａ，ｂ，ｃ）として、以下の関係を満たす。なお、ここで得られる法線ベクトルは方向のみの成分をもち、大きさが１になるように正規化するがベクトルサイズを１に固定する必要はない。分光反射率が同一の領域であれば、照明光色の比率が異なる場合でもその領域からの反射光は全てこの平面上にのることになる。

次に、上記で得られた平面の法線ベクトルを用いて、変換行列Ｔの成分を求める。（３）式において （ｔ，ｓ）＝（１，０）の場合および（ｔ，ｓ）＝（０，１）の場合に得られる（Ｘ，Ｙ，Ｚ）も（４）式の関係を満たすことから、（５）式の関係が成立する。

ここで、Ｔ_ｋｊ成分において分光反射率ρは基底関数ｓの線形和で表現されるという性質があるので（（６）式）、（５）式に適用すると、（７）式に示すように３変数の式に変形することが可能である。

ただし、ｕ_ｉ（λ）は分光反射率の基底関数であり、σ_ｉは係数である。ｍは基底の個数であり、通常、３〜７個までが用いられるが、ここではｍ＝３とする。基底関数は個数が多いほど、分光反射率の表現精度が高くなることが知られているが、通常は画像として入力される情報が３次元（ＲＧＢ等）であることからｍ＝３とする場合が多く、参考文献１では表現精度は９９％以上であることが報告されている。
参考文献１：「Jozef Cohen, "Dependency of the spectral reflectance curves of the Munsell color chips", Psychonomic Science Vol.1, pp.369-370 (1964)」

（７）式において、Ａ_ｉ，Ｂ_ｉ，Ｃ_ｉ（ｉ＝１，２）は以下の通りである。

（７）式より、σ_１、σ_２、σ_３の相対的な関係が得られる。以下、ｋをスケール係数とし、（σ_１，σ_２，σ_３）＝（ｋ，ｋα_２，ｋα_３）とおき、（６）式に基づいて分光反射率を計算し、（３）式を変形する。

ただし、ｉ＝１，２である。

（９）式よりｔ_ｉ’およびｓ_ｉ’が得られることになり、これらの比率が照明光Ａおよび照明光Ｂの比率に対応する。この結果を用いて、各領域に照射する照明光の分光分布Ｅ（λ）を得ることができる。

ただし、ｉ＝１，２である。

なお、ｔ＾およびｓ＾（＾は文字の上に付く）は、（９）式で得られた結果であるｔ_ｉ’、ｓ_ｉ’を互いの比率を変えずにスカラー倍（ｋ倍）したものである。

次に、図３を参照して、図１に示す照明光色推定装置１０の処理動作を説明する。図３は、図１に示す照明光色推定装置１０の処理動作を示すフローチャートである。まず、画像入力部１０１は、照明光を推定すべき画像を入力し（ステップＳ１）、入力した画像をデータ蓄積部１０２に記憶する。

次に、色領域選択部１０３は、同一の物体領域における同一の分光反射率をもつ領域の中から２か所の領域を選択し、平均の色を計算する。ここでは、入力画像における画素値がＲＧＢの３成分から構成されるとし、平均の色は成分毎に計算する（ステップＳ２）。色領域選択部１０３は計算結果をデータ蓄積部１０２に記憶する。

次に、色空間変換部１０４は、色領域選択部１０３で選択された各色領域の平均の色に対し、機器特性に依存しない色空間内の色に変換する（ステップＳ３）。ここで機器特性に依存しない色とは、ＣＩＥ（国際照明委員会）規定のＸＹＺ三刺激値やＣＩＥＬＡＢ、ＣＩＥＬＵＶ等の色空間を指す。

次に、照明光色計算部１０５では、機器特性に依存しない色空間に変換後の２領域の平均色を用いて２種類の照明光の比率を計算することにより、その領域に照射する照明光色を推定する（ステップＳ４）。照明光の比率の計算にあたっては、（４）式に基づいて２領域の色がＸＹＺ空間において構成する平面の法線（ａ，ｂ，ｃ）を計算し、物体の分光反射率の基底（図３に示す分光反射率データ）と、２種類の照明光の分光特性（図３に示す照明光データ）を（６）式、（７）式、（８）式に代入することによって基底関数の係数（σ_１，σ_２，σ_３）を取得し、式（９）により２種類の照明光の比率である（ｔ_ｉ’、ｓ_ｉ’）を計算する。得られた比率を用いて、（１０）式に基づいて照明光色を得る。

なお、前述した説明においては、同一分光反射率の領域を２か所選択しているが、３か所以上選択することにより、（４）式で計算する平面の法線計算の精度を上げることができる。さらには、同一分光反射率の領域を選択してその平均の色を計算する代わりに、同一分光反射率を有する領域に含まれる各画素値をそのまま利用しても構わない。その場合には、各画素についてその位置毎に照射する照明光色を求めることができる。

また基底関数は参考文献１記載のものに限定せず、他文献で提案されている基底関数を用いても構わない。

また、本実施形態によって得られた照明光の推定結果を用いて、照明光色の影響を受けない画像に変換することも可能である。その場合には、同一分光反射率の領域毎に、照明光色の影響を除去した色を計算後、色空間変換部１０４にて、出力デバイス（モニタ等）の特性に合わせた色空間（例えばＲＧＢ等）に変換する。照明光色の影響を除去した色（Ｘ_ｎｅｗ，Ｙ_ｎｅｗ，Ｚ_ｎｅｗ）を得るには以下のように、対象領域の色（Ｘ_ｏｒｉ，Ｙ_ｏｒｉ，Ｚ_ｏｒｉ）に対して、色成分毎に推定された照明光色（Ｘ_ｅｓｔ，Ｙ_ｅｓｔ，Ｚ_ｅｓｔ）で割った結果として求める。

さらに、本実施形態においては、画像中に指定した同一分光反射率をもつ２領域における照明光の比率を推定することによってその領域における照明光色を推定することを主眼としているが、照明光色計算部１０５（ステップＳ４）では、分光反射率の基底関数の係数を求めており、指定した領域の分光反射率も推定できるという副次的効果もある。なお、基底関数の係数σから分光反射率を得るには（６）式を用いて計算する。

以上説明したように、２種類の照明光が存在するシーンの画像から、画像中の各領域において照射する各照明光色の比率を推定することによってその領域に照射している照明光色の推定が可能になる。

前述した実施形態における照明光色推定装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

シーン中に含まれる照明光の種類が既知である場合に、画像中の各領域に放射する照明光の比率を求めることが不可欠な用途に適用できる。

１０…照明光色推定装置、１０１…画像入力部、１０２…データ蓄積部、１０３…色領域選択部、１０４…色空間変換部、１０５…照明色計算部、２１…被写体、２２…照明Ａ、２３・・・照明Ｂ

Claims (3)

1. ２種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置であって、
   前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択部と、
   前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換部と、
   前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する２種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算部と
   を備えることを特徴とする照明光色推定装置。
2. ２種類の照明光が照射された被写体を撮像した画像から照明光色を推定する照明光色推定装置が行う照明光色推定方法であって、
   前記画像において同一被写体における同一分光反射率をもつ色領域を複数選択し、該色領域の平均の色を求める色領域選択ステップと、
   前記色領域の平均の色を機器に依存しない色空間の色に変換する色空間変換ステップと、
   前記機器に依存しない色空間の色に変換した結果から、各色領域に照射する２種類の照明光の比率を推定し、該比率から前記照明光色を推定する照明光色計算ステップと
   を有することを特徴とする照明光色推定方法。
3. コンピュータを、請求項１に記載の照明光色推定装置として機能させるための照明光色推定プログラム。

Images