JP6398860B2 - 色補正装置、色補正方法及び色補正プログラム - Google Patents

Description

本発明は、色補正装置、色補正方法及び色補正プログラムに関する。

カメラは、多種多様な用途に利用される。例えば、カメラは、監視カメラや車載カメラとして実装されたり、各種の生体認証や角膜反射を利用する視線検出などに使用される画像の撮像装置として実装されたりする。

例えば、監視カメラや車載カメラの場合、昼夜兼用で用いられる場合がある。この場合、昼間には、赤外光を除去する赤外線カットフィルタを装着することにより、人が眼で認識できる可視光を受光素子に結像させる一方で、夜間や暗闇では、赤外線カットフィルタを除去することにより、近赤外を始めとする赤外光を照明として活用することがある。また、生体認証や視線検出などの機能が搭載される情報処理端末の場合、生体認証や視線検出に用いる画像と、それ以外の用途に用いる画像とを１つのカメラに撮像させることにより、装置の規模やコストの低減を目指す動向も見られる。

このように撮像素子が可視光及び赤外光を受光する場合、カメラにより撮像される画像は、可視光の下で人が眼で認識する色合いとは異なる。このことから、可視光及び赤外光を受光する撮像素子により撮像された画像の色味を補正することにより、可視光が受光される場合、言い換えれば赤外光が受光されない場合と同等の色味を再現する技術が提案されている。

一例として、マトリクス演算により入力画像を補正する方法がある。この方法では、複数の色、例えば２４色を含むカラーチャートが異なる画像入力系で撮影された２つの画像から色補正に用いるマトリクス係数が算出される。すなわち、光路上に赤外線カットフィルタが組み込まれた状態で撮影が行われた画像と、光路上に赤外線カットフィルタが組み込まれない状態で撮影が行われた画像との２つの画像から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数が最小自乗法により求められる。かかるマトリクス係数を用いる演算により、入力画像の色補正が行われる。

ところが、上記のマトリクス演算により色補正を行う場合、赤外光の分光反射率が高い特定の被写体、例えば植物の葉や化学繊維の布などには、色の再現性を十分に発揮することができない場合がある。例えば、植物の葉の場合、葉に含まれるクロロフィルの影響により、可視光の上限を超える近赤外光に対応する波長で分光反射率が高くなる。このため、自然光や照明などの環境光が含む赤外光が画像に与える色味の影響が植物の葉以外の他の被写体よりも大きい。それ故、上記のマトリクス演算により色補正を行ったとしても、他の被写体に比べて植物の葉の色を十分に再現することはできない。この結果、可視光の下では緑色と認識されている葉の色が、同じく可視光で緑に認識されているカラーチャートの緑とは異なる色で認識されてしまうことになる。

このような色再現性の低下を抑制するために、次のような補正データ生成装置も提案されている。この補正データ生成装置では、赤外線カットフィルタが装着されない状態で上記の特定の被写体が撮像された第１のサンプル画像と、赤外線カットフィルタが装着された状態で上記の特定の被写体が撮像された第２のサンプル画像とを用いて、上記の特定の被写体の色を補正する補正データが生成される。

かかる補正データ生成装置では、特定の被写体に含まれる色が色度空間上で無彩色に近い局所的な領域に集中するとの知見が利用される。このような知見の下、補正データ生成装置は、第１のサンプル画像上で特定の被写体が映る範囲を指定させることにより、当該特定の被写体に含まれる色が色度空間上で分布する楕円領域を設定する。そして、補正データ生成装置では、第１のサンプル画像を用いて設定された楕円領域を第２のサンプル画像に含まれる特定の被写体の色が分布する楕円領域へシフトさせるシフト量を補正量として算出する。その上で、入力される画像に含まれる画素の色が第１のサンプル画像を用いて設定された色度空間上の楕円領域に含まれるか否かにより、赤外光の分光反射率が高い部分とそれ以外の部分へ分離される。すなわち、赤外光の分光反射率が高い部分には、上記の補正データを用いて色をシフトさせる補正が行われる一方で、それ以外の部分には、上記のマトリクス演算により色補正が行われる。

特開２００５−３０３７０２号公報 特開２００８−２８８８５１号公報 特開２０１１−０１５０８６号公報

豊田 善隆，久野 徹也，石田 晃三，杉浦 博明「カラー撮像可能な近赤外撮像装置の研究」映像情報メディア学会誌 Ｖｏｌ．６４，Ｎｏ．１，ｐｐ．１０１〜１１０ ２０１０年

しかしながら、上記の技術では、赤外光の分光反射率が高い部分とそれ以外の部分を十分に分離することができない場合がある。

すなわち、上記の補正データ生成装置で第１のサンプル画像に設定される楕円領域には、赤外光の分光反射率が高い植物の葉や化学繊維の布などの特定の被写体が持つ色以外にも、一例として、カラーチャートに含まれる茶色などの色も含まれる。それ故、上記の補正データ生成装置では、特定の被写体の色とカラーチャートの茶色を分離することはできず、カラーチャートの茶色に対応する色を持つ部分まで緑色に補正されてしまう。

１つの側面では、本発明は、赤外光の分光反射率が高い部分とそれ以外の部分を分離できる色補正装置、色補正方法及び色補正プログラムを提供することを目的とする。

一態様の色補正装置は、画像を取得する取得部と、画像を輝度及び色度を含む色空間の成分へ変換する変換部と、前記色空間の成分へ変換された画像に含まれる画素ごとに、当該画素が色度成分及び輝度成分に関する分離条件を満たすか否かにより、当該画素が赤外光の分光反射率が高い第１の被写体または前記第１の被写体以外の他の被写体のいずれに対応するかを判定する判定部とを有する。

赤外光の分光反射率が高い部分とそれ以外の部分を分離できる。

図１は、実施例１に係る色補正システムに含まれる各装置の機能的構成を示すブロック図である。 図２Ａは、サンプル画像の一例を示す図である。 図２Ｂは、サンプル画像の一例を示す図である。 図３は、ＵＶ平面上における色の分布の一例を示す図である。 図４は、ＹＵ平面上における色の分布の一例を示す図である。 図５は、輝度Ｙのヒストグラムの一例を示す図である。 図６は、実施例１に係る設定処理の手順を示すフローチャートである。 図７は、実施例１に係る色補正処理の手順を示すフローチャートである。 図８Ａは、色成分Ｕのヒストグラムの一例を示す図である。 図８Ｂは、色成分Ｖのヒストグラムの一例を示す図である。 図９は、色度空間に関する確率密度の計算例を示す図である。 図１０は、第３の分離条件の一例を示す図である。 図１１は、実施例１及び実施例２に係る色補正プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係る色補正装置、色補正方法及び色補正プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［色補正システムの構成］
図１は、実施例１に係る色補正システムに含まれる各装置の機能的構成を示すブロック図である。図１に示す色補正システム１は、可視光及び赤外光の波長に対応する光を含んで撮像された画像の色を人の色覚特性に合わせて補正する色補正処理を実現するものである。なお、ここでは、一例として、赤外線を除去するフィルタ、いわゆる赤外線（Infrared）カットフィルタが装着されない状態で撮影される場合を例示するが、後述のように、赤外光に対応する波長のうち一部の波長域の光を透過する光学フィルタが装着された状態で撮影される画像が入力される場合も適用範囲に含まれることは言うまでもない。

かかる色補正処理の一環として、赤外線カットフィルタが装着されない状態で撮影された画像に含まれる、赤外光の分光反射率が高い第１の被写体と色空間上で第１の被写体に色の分布が類似する第２の被写体とを輝度が高いか否かにより分離する分離処理も実現する。すなわち、第１の被写体に対応する箇所は、第２の被写体に比べて反射光の光量そのものが大きいので、輝度も高くなる傾向がある。このような知見の下、赤外光の分光反射率が高い植物の葉などに代表される第１の被写体の箇所と、色空間上で第１の被写体に色の分布が類似する第２の被写体、例えばカラーチャートの茶色の箇所とを輝度の分離条件にしたがって分離する。これによって、赤外光の分光反射率が高い部分とそれ以外の部分を十分に分離することができる。

図１に示すように、色補正システム１には、設定装置１０と、色補正装置１００とが含まれる。これら設定装置１０及び色補正装置１００は、所定のネットワークを介して通信可能に接続される。かかるネットワークには、一例として、有線または無線を問わず、インターネット（Internet）を始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。

設定装置１０は、色補正に関する各種パラメータの設定を行う装置である。

一実施形態として、設定装置１０は、色補正装置１００に対し、色補正に関する補正データを設定すると共に、上記の第１の被写体とそれ以外の他の被写体とを分離する分離条件を設定する。

なお、図１には、色補正に関する各種パラメータが設定装置１０を通じて設定される例を示すが、色補正装置１００の出荷前等に色補正装置１００に予め設定されることとしてもよい。また、設定装置１０及び色補正装置１００は、必ずしも別体として構築されずともよく、色補正装置１００に設定装置１０の機能を併せ持たせることもできる。

色補正装置１００は、上記の色補正処理を実現するコンピュータである。

一実施形態として、色補正装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記の色補正処理を実行する色補正プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の色補正プログラムを情報処理装置に実行させることにより、情報処理装置を色補正装置１００として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータの他、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の色補正処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、色補正装置１００は、画像、または、画像をネットワークもしくは記憶メディアを介して呼び出すことができる識別情報を入力とし、当該画像に対する上記の色補正処理の実行結果を出力する色補正サービスを提供するサーバ装置として実装される。この場合、色補正装置１００は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の色補正処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

［設定装置１０の構成］
続いて、本実施例に係る設定装置１０の機能的構成について説明する。図１に示すように、設定装置１０は、第１取得部１１と、第２取得部１２と、特定部１３と、変換部１４と、補正データ設定部１５と、分離条件設定部１６とを有する。なお、設定装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。

このうち、第１取得部１１及び第２取得部１２は、いずれも色補正に関する各種パラメータを生成する素材とするサンプル画像を取得する処理部である。以下では、第１取得部１１により取得されるサンプル画像のことを「第１のサンプル画像」と記載すると共に、第２取得部１２により取得されるサンプル画像のことを「第２のサンプル画像」と記載する場合がある。

一実施形態として、第１取得部１１及び第２取得部１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載するカメラにより撮像されたサンプル画像を取得することができる。また、第１取得部１１及び第２取得部１２は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアに保存されたサンプル画像を読み出すことにより取得することもできる。この他、第１取得部１１及び第２取得部１２は、外部装置からネットワークを介して受信することによってサンプル画像を取得することもできる。

図２Ａ及び図２Ｂは、サンプル画像の一例を示す図である。ここでは、一例として、ＲＧＢの３つの受光素子を有する撮像素子により、各画素がＲＧＢの輝度値を持つ画像が撮像される場合を想定して以下の説明を行うこととする。このうち、赤の成分Ｒは、可視光の波長のうち赤の波長域と赤外光の波長域を受光し、緑の成分Ｇは、可視光の波長のうち緑の波長域と赤外光の波長域を受光し、青の成分Ｂは、可視光の波長のうち青の波長域と赤外光の波長域を受光する。

図２Ａに示す第１のサンプル画像２０Ａ及び図２Ｂに示す第２のサンプル画像２０Ｂは、同一のカメラにより同一の位置及び同一の画角で同一の目標が撮影された画像である点は共通するが、互いの画像が撮影される画像入力系の一部が異なる。すなわち、図２Ａに示す第１のサンプル画像２０Ａは、赤外線カットフィルタが装着されない状態で撮影される画像である一方で、図２Ｂに示す第２のサンプル画像２０Ｂは、赤外線カットフィルタが装着された状態で撮影される画像である点が異なる。このため、第１のサンプル画像２０Ａには、可視光の波長を持つ光に加え、赤外光の波長を持つ光の影響が含まれる一方で、第２のサンプル画像２０Ｂには、赤外光の波長を持つ光の影響は含まれない。なお、ここでは、第１のサンプル画像の撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される場合を例示したが、可視光領域および使用する赤外の波長領域の帯域幅、例えば近赤外光の波長の一部を透過する光学フィルタが挿入された状態で撮影される画像を第１のサンプル画像とすることもできる。

これら第１のサンプル画像２０Ａ及び第２のサンプル画像２０Ｂを撮影する場合、一例として、上記の第１の被写体が撮像範囲に含まれる状態で撮影が行われる。かかる第１の被写体の一例として、クロロフィルなどの化学物質を葉っぱに含有する植物などが挙げられる。このように植物が撮影される場合、第１のサンプル画像２０Ａ及び第２のサンプル画像２０Ｂの間で、植物の像２１Ａ及び植物の像２１Ｂの形状は、同様に映る一方で、色の映り方は異なる。すなわち、植物の場合、植物の葉に含まれるクロロフィルの影響によって他の被写体よりも赤外光の分光反射率が大きくなる。それ故、植物の像２１Ｂは人の眼で認識される色と同様に緑色で映る一方で、植物の像２１Ａは赤外光の反射光の影響により灰色がかった青磁色や灰色がかった淡い緑色に映る。

さらに、上記の植物に加え、上記の第２の被写体が撮像範囲に含まれる状態で撮影が行われる。かかる第２の被写体の一例として、図２Ａ及び図２Ｂに示すように、６行４列に異なる２４色が配列されたカラーチャートが挙げられる。例えば、カラーチャートには、色空間上で植物に色の分布が類似する色、例えば茶色を含めておくことができる。これによって、植物に対応する部分とカラーチャートの茶色部分を分離する輝度の分離条件を後段の処理部で設定することが可能となる。

なお、ここでは、上記の第１の被写体の一例として、植物を例示したが、所定の波長、例えば約７００ｎｍを境界に分光反射率が上昇する物体であれば、植物以外のものを被写体とすることとしてもかまわない。すなわち、可視光の上界付近または近赤外光の波長域で分光反射率が可視光に対応する波長域の分光反射率よりも急峻に上昇する物体であれば、如何なる物体、例えば化学繊維の布などであってもかまわない。

特定部１３は、各サンプル画像上で第１の被写体の一部または全部を形成する第１の領域および各サンプル画像上で第２の被写体の一部または全部を形成する第２の領域を特定する処理部である。

一実施形態として、特定部１３は、設定装置１０の表示部や設定装置１０に接続された外部装置に第１のサンプル画像及び第２のサンプル画像のうち少なくともいずれか１つのサンプル画像を表示させる。その上で、特定部１３は、図示しない入力部を通じて、サンプル画像上で第１の被写体、すなわち植物を形成する１または複数の画素を含む範囲を指定させる。例えば、特定部１３は、ポインティングデバイスを介してドラッグ＆ドロップの範囲指定を受け付けることによってサンプル画像上で第１の被写体に対応する第１の領域を特定することができる。また、特定部１３は、上記の第１の領域を特定する場合と同様の要領で、サンプル画像上で第２の被写体の一部または全部を形成する第２の領域を特定する。なお、ここでは、第１の領域および第２の領域を操作入力により特定する場合を例示したが、必ずしも操作入力により特定せずともかまわない。例えば、サンプル画像にテンプレートマッチングなどの画像認識を適用することにより、サンプル画像上でラベリングされた領域のうち第１の被写体との間で形状が類似する領域を第１の領域として特定すると共に、第２の被写体との間で形状が類似する領域を第２の領域として特定することとしてもかまわない。

変換部１４は、サンプル画像のデータ形式を変換する処理部である。

一実施形態として、変換部１４は、第１取得部１１により取得される第１のサンプル画像および第２取得部１２により取得される第２のサンプル画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する。例えば、変換部１４は、第１のサンプル画像および第２のサンプル画像に含まれる各画素の画素値をＲＧＢ空間で表現されていたＲＧＢの画素値から輝度Ｙ及び２つの色差によって表現される画素値へ変換する。なお、ここでは、各サンプル画像をＹＵＶ空間へ変換する場合を例示するが、変換先の色度空間はＹＵＶ空間に限定されず、サンプル画像を他の色空間、例えばＬ＊ａ＊ｂ空間に変換することとしてもかまわない。

補正データ設定部１５は、色補正に関する補正データを色補正装置１００に設定する処理部である。

一実施形態として、補正データ設定部１５は、上記の第１の被写体に関する色補正に用いる第１の補正データと、上記の第１の被写体以外の他の被写体に関する色補正に用いる第２の補正データとを算出する。

ここで、上記の第１の補正データは、あくまで一例として、特開２０１４−２０００４５号公報に開示された方法を用いることにより算出することができる。すなわち、補正データ設定部１５は、第１のサンプル画像に含まれる画素のうち特定部１３により第１の被写体を形成する範囲として特定された第１の領域に含まれる画素が色度空間上で分布する位置と、当該第１の領域に含まれる画素に対応する第２のサンプル画像上の画素が色度空間上で分布する位置とから色度空間上におけるシフト量を第１の補正データとして算出する。

より具体的には、補正データ設定部１５は、第１のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色度空間上で点在する座標の分布を定義する。例えば、補正データ設定部１５は、第１の領域に含まれる各画素のＵＶ成分がＵＶ平面上で点在する座標の分布を楕円中心点、楕円軸長および楕円回転角度などのパラメータで定義することにより、ＵＶ平面上の楕円領域として近似することができる。このとき、特定部１３は、第１のサンプル画像内で第１の領域を形成する画素が色度空間のＵＶ平面上で集中して分布する箇所に絞って楕円領域を定義するために、画素間の距離が所定値以内である画素同士を包含の対象とし、所定値を超える画素を包含の対象から除外することもできる。このように第１のサンプル画像上で第１の被写体を形成する画素のＵＶ成分がＵＶ平面上で点在する分布を表す楕円領域を算出する。なお、ここでは、分布を楕円領域に近似する場合を例示したが、他の形状、例えば多角形に近似することとしてもかまわない。

その後、補正データ設定部１５は、第１のサンプル画像上で第１の領域を形成する画素ごとに、当該画素に対応する第２のサンプル画像上の画素との間で色差、すなわちＵＶ平面上の距離を算出する。その上で、補正データ設定部１５は、第１の領域を形成する画素ごとに算出された色差に対し、所定の統計処理を実行することによって代表値を算出する。かかる統計処理の一例としては、色差の相加平均や加重平均を代表値として算出したり、また、色差の中央値を代表値として算出したりすることができる。

このようにして算出された色差の代表値、すなわちＵＶ平面上におけるシフト量Ｓｍが第１の補正データとして色補正装置１００の補正データ記憶部１６０へ登録されることにより、第１の補正データが色補正装置１００に設定される。なお、ここでは、ＵＶ平面上のシフト量Ｓｍを算出する場合を例示したが、Ｌ＊ａ＊ｂ空間上のａｂ平面上のシフト量を算出することとしてもかまわない。

また、上記の第２の補正データは、あくまで一例として、上記の非特許文献１「カラー撮像可能な近赤外撮像装置の研究」に開示された方法にしたがって算出することができる。すなわち、補正データ設定部１５は、第１のサンプル画像および第２のサンプル画像の２つのサンプル画像に含まれる画素のうち第１の領域に含まれない画素が持つＲＧＢの画素値から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数を最小自乗法により求めることができる。

このようにして算出されたマトリクス係数が第２の補正データとして色補正装置１００の補正データ記憶部１６０へ登録されることにより、第２の補正データが色補正装置１００に設定される。

分離条件設定部１６は、上記の第１の被写体とそれ以外の他の被写体とを分離する分離条件を色補正装置１００に設定する処理部である。

一実施形態として、分離条件設定部１６は、上記の分離条件の一例として、ＵＶ平面上で第１の被写体及び第２の被写体とこれら第１の被写体及び第２の被写体以外の被写体とを分離する「第１の分離条件」、すなわち色度に関する分離条件と、第１の被写体および第２の被写体を分離する「第２の分離条件」、すなわち上記の輝度に関する分離条件との２段階で用いる分離条件を算出する。

例えば、分離条件設定部１６は、上記の第１の分離条件として、補正データ設定部１５により算出される第１の領域に対応する楕円領域を色補正装置１００に設定することができる。

図３は、ＵＶ平面上における色の分布の一例を示す図である。図３に示すグラフの縦軸は、色差Ｖを指し、横軸は、色差Ｕを指す。図３には、ＵＶ平面上に第１のサンプル画像及び第２のサンプル画像に含まれる画素の分布がプロットされたグラフが示されている。すなわち、図３には、第１のサンプル画像に含まれる画素のうち第１の領域を形成する画素の分布を円のマークでプロットすると共に第２のサンプル画像に含まれる画素のうち第１の領域を形成する画素の分布を菱形のマークでプロットし、第１のサンプル画像に含まれる画素のうち第２の領域に対応する画素の分布を三角のマークでプロットしている。

図３に示すように、第１のサンプル画像上の第１の領域に対応する楕円領域３１には、植物の葉に対応する色、すなわち図中の円のマークの全体または大半が含まれる。それ故、楕円領域３１を第１の分離条件として用いることにより、第１の被写体とそれ以外の他の被写体とをある程度の精度で分離できる。その一方で、楕円領域３１には、第１の領域を形成する画素の色だけが含まれるわけではなく、第２の領域を形成する画素の色も含まれる。すなわち、楕円領域３１には、植物の葉に対応する色の分布が含まれる一方で、ＵＶ平面上で植物の葉の色に分布が類似するカラーチャートの茶色部分に相当する色、すなわち図中の三角のマークの分布も含まれる。

このことから、分離条件設定部１６は、上記の第１の分離条件に加えて、第１の被写体および第２の被写体を分離する第２の分離条件をさらに算出する。

図４は、ＹＵ平面上における色の分布の一例を示す図である。図４に示すグラフの縦軸は、色差Ｕを指し、横軸は、輝度Ｙを指す。図４には、ＹＵ平面上に第１のサンプル画像及び第２のサンプル画像に含まれる画素の分布がプロットされたグラフが示されている。すなわち、図４には、第１のサンプル画像に含まれる画素のうち第１の領域を形成する画素の分布を円のマークでプロットすると共に第２のサンプル画像に含まれる画素のうち第１の領域を形成する画素の分布を菱形のマークでプロットし、第１のサンプル画像に含まれる画素のうち第２の領域を形成する画素の分布を三角のマークでプロットしている。

図４に示すように、分離条件設定部１６は、上記のＵＶ平面上の楕円領域を設定する場合と同様の要領で、第１のサンプル画像上の第１の領域に対応するＹＵ平面上の楕円領域４１と、第１のサンプル画像上の第２の領域に対応するＹＵ平面上の楕円領域４２とが設定される。これらのうち、楕円領域４１は、第１の被写体である植物を形成する画素の色差Ｕが輝度Ｙを含むＹＵ平面上で点在する座標の分布が楕円に近似された領域を指す。一方、楕円領域４２は、第２の被写体であるカラーチャートの茶色部分を形成する画素の色差Ｕが輝度Ｙを含むＹＵ平面上で点在する座標の分布が楕円に近似された領域を指す。

図４に示すように、輝度Ｙを含むＹＵ平面上では、図３に示したＵＶ平面の場合と異なり、第１の領域を形成する画素が持つ色の分布と、第２の領域を形成する画素が持つ色の分布とが同一の範囲に混在せず、楕円領域４１及び楕円領域４２は重複しない。これは、第１のサンプル画像上の植物の葉を形成する画素の色の分布と、第１のサンプル画像上のカラーチャートの茶色部分を形成する画素の色の分布とが輝度Ｙを含むＹＵ平面で重なり合わないという事実を意味する。

これを具体的に説明すると、植物の葉は、カラーチャートと比べて赤外光の分光反射率が高いので、Ｒ、Ｇ及びＢの各撮像素子で受光される赤外光の受光量が増加している。そのため、可視光を受光する場合には、緑の成分Ｇの受光量が相対的に多くなるが、可視光と赤外光の両方を受光する場合は、Ｒ、Ｇ及びＢの各々で赤外光の受光量が増加するので、受光量の総量が増加する結果、Ｒ、Ｇ及びＢの間で受光量の比が相対的に下がる。そのため、無彩色に近づいていくこととなり、色度空間でみると変化していることになる。一方、カラーチャートは、植物の葉よりも、赤外光の反射光量が少ないので、可視光と赤外光の両方を受光する場合でも、Ｒ、Ｇ及びＢの受光量の比の変化量が小さい。この結果、可視光及び赤外光の両方を受光する場合、植物の葉は、色度空間で大きく変化し、例えばカラーチャートの茶色と同じ色度空間に位置することになる。

ここで、植物の葉の場合、赤外光が受光されると受光量の総量が増えるので、色度空間の変化だけではなく、輝度も変化する。この輝度も大きく変化する事実に着目した。この事実から、輝度Ｙの閾値Ｔｈ１、すなわちＵ軸に平行な境界線を設定することにより、ＵＶ平面上における色の分布が互いに類似する第１の被写体及び第２の被写体を分離できるとの知見が得られる。

このような知見の下、分離条件設定部１６は、一例として、輝度Ｙの閾値Ｔｈ１を第２の分離条件として導出することができる。例えば、分離条件設定部１６は、図示しない入力部を介して、楕円領域４１と、楕円領域４２とを分離する輝度Ｙの閾値Ｔｈ１の入力を受け付ける。図４に示す例で言えば、輝度Ｙがおよそ４０付近の値を閾値Ｔｈ１として入力させることができる。例えば、テンキーの押下操作による数値入力により輝度Ｙの閾値Ｔｈ１を指定させることもできるし、グラフ上の所望位置をポインティングデバイスにより入力させることにより輝度Ｙの閾値Ｔｈ１を指定させることもできる。

かかる輝度Ｙの閾値Ｔｈ１の他、分離条件設定部１６は、第１の被写体を形成する画素が持つ輝度の上限を規定する輝度Ｙの閾値Ｔｈ２を第２の分離条件としてさらに算出することもできる。図４に示す例で言えば、輝度Ｙがおよそ１３０付近の値を閾値Ｔｈ２として入力させることができる。かかる輝度Ｙの閾値Ｔｈ２を第２の分離条件として用いることにより、輝度が閾値Ｔｈ２よりも大きい部分、すなわち輝度が高い無彩色の葉以外の被写体に、第１の被写体用の色補正が行われることを抑制できる。

なお、ここでは、ＹＵ平面上で輝度Ｙの閾値Ｔｈ１や閾値Ｔｈ２を入力させる場合を例示したが、輝度Ｙを含む平面、すなわちＹＶ平面でも同様に輝度Ｙの閾値Ｔｈ１や閾値Ｔｈ２を設定することもできる。

このように第１の分離条件及び第２の分離条件が算出された後、分離条件設定部１６は、第１の分離条件及び第２の分離条件を色補正装置１００の分離条件記憶部１４０へ登録することにより、分離条件を色補正装置１００に設定する。なお、ここでは、第２の分離条件に輝度Ｙの閾値Ｔｈ２を含める場合を例示したが、必ずしも第２の分離条件に輝度Ｙの閾値Ｔｈ２を含めずともかまわない。

ここで、図４の例では、第２の分離条件が操作入力を介して指定される場合を例示したが、第２の分離条件は必ずしも操作入力を介して指定されずともよく、第２の分離条件を自動的に設定することもできる。

図５は、輝度Ｙのヒストグラムの一例を示す図である。図５に示すグラフの縦軸は、度数を指し、横軸は、階級値である輝度Ｙを指す。図５に示すように、分離条件設定部１６は、第１のサンプル画像上の第１の領域を形成する画素が持つ輝度値及び第１のサンプル画像上の第２の領域を形成する画素が持つ輝度値から輝度のヒストグラムを生成する。図５には、第１の領域を形成する画素に関する輝度の度数が白抜きで示されると共に、第２の領域を形成する画素に関する輝度の度数が黒地で示されている。このように、輝度のヒストグラムは、第１の領域を形成する画素が持つ輝度の分布と、第２の領域を形成する画素が持つ輝度の分布との２つの山に分かれるので、双峰性を持つことがわかる。そのため、分離条件設定部１６は、モード法やＰタイル法などのように、２値化の閾値を算出する手法を適用することにより、２つの分布により形成される谷の階級値を算出する。このように算出される谷の階級値は、図４に示した輝度Ｙの閾値Ｔｈ１と等価であるので、分離条件設定部１６は、当該輝度Ｙの閾値Ｔｈ１を第２の分離条件として色補正装置１００に設定する。

なお、上記の第１取得部１１、第２取得部１２、特定部１３、変換部１４及び補正データ設定部１５及び分離条件設定部１６などの処理部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central Processing Unit）などに、上記の各処理部と同様の機能を発揮するプロセスを各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory)やフラッシュメモリなどに展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro Processing Unit）に実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

［色補正装置１００の構成］
次に、本実施例に係る色補正装置１００の機能的構成について説明する。図１に示すように、色補正装置１００は、取得部１１０と、変換部１２０と、判定部１３０と、分離条件記憶部１４０と、補正部１５０と、補正データ記憶部１６０とを有する。

取得部１１０は、画像を取得する処理部である。ここで言う「画像」は、設定装置１０の第１取得部１１及び第２取得部１２により取得されるサンプル画像とは異なり、上記の色補正処理を適用する画像を指す。以下では、色補正が行われる元となる画像という一側面から「原画像」と記載する場合がある。なお、ここでは、原画像の撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される場合を想定するが、可視光領域および使用する赤外の波長領域の帯域幅、例えば近赤外光の波長の一部を透過する光学フィルタが挿入された状態で撮影される画像を原画像とすることもできる。

一実施形態として、取得部１１０は、ＣＣＤやＣＭＯＳなどの撮像素子を搭載するカメラにより撮像された原画像を取得することができる。また、取得部１１０は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアに保存された原画像を読み出すことにより取得することもできる。この他、取得部１１０は、外部装置からネットワークを介して受信することによって原画像を取得することもできる。

変換部１２０は、原画像を色度空間に変換する処理部である。

一実施形態として、変換部１２０は、取得部１１０により取得される原画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する。例えば、変換部１２０は、原画像に含まれる各画素の画素値をＲＧＢ空間で表現されていたＲＧＢの画素値から輝度Ｙ及び２つの色差によって表現される画素値へ変換する。なお、ここでは、原画像をＹＵＶ空間へ変換する場合を例示するが、変換先の色度空間はＹＵＶ空間に限定されず、原画像を他の色空間、例えばＬ＊ａ＊ｂ空間に変換することとしてもかまわない。

判定部１３０は、分離条件記憶部１４０に記憶された分離条件を参照して、原画像に含まれる画素が第１の被写体に対応する画素であるか否かを判定する処理部である。

一実施形態として、判定部１３０は、変換部１２０により色度空間へ変換された原画像に含まれる画素のうち画素を１つ選択する。続いて、判定部１３０は、分離条件記憶部１４０に記憶された第１の分離条件、すなわち上述の第１の領域に対応するＵＶ平面上の楕円領域を参照して、先に原画像から選択された画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かを判定する。

このとき、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合、当該画素が第１の被写体及び第２の被写体のいずれの像も形成しない画素であると推定できる。この場合、第１の被写体以外の他の被写体に適用する色補正、例えばマトリクス演算による色補正が補正部１５０により選択される。

一方、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合、当該画素が第１の被写体または第２の被写体のいずれかの像を形成する画素であると推定できるが、第２の被写体を形成する画素である余地が残る。この場合、判定部１３０は、分離条件記憶部１４０に記憶された第２の分離条件、すなわち輝度Ｙの閾値Ｔｈ１を参照して、先に原画像から選択された画素の輝度Ｙが閾値Ｔｈ１を超えるか否かをさらに判定する。

ここで、画素の輝度Ｙが閾値Ｔｈ１を超える場合、当該画素が無彩色に近い色を持ち、かつ赤外光の受光量が多い画素であると推定できるので、第１の被写体を形成する画素である公算が高まる。この場合、第１の被写体に適用する色補正、例えばＵＶ平面上で色をシフトさせる色補正が補正部１５０により選択される。一方、画素の輝度Ｙが閾値Ｔｈ１を超えない場合、当該画素が第１の被写体とみなすには受光量の総量が足りない無彩色の画素であり、第２の被写体を形成する画素である公算が高まる。この場合、第１の被写体以外の他の被写体に適用する色補正、例えばマトリクス演算による色補正が補正部１５０により選択される。

補正部１５０は、補正データ記憶部１６０に記憶された補正データを参照して、色補正を実行する処理部である。

一実施形態として、補正部１５０は、画素の輝度Ｙが閾値Ｔｈ１を超える場合、第１の被写体に適用する色補正、例えばＵＶ平面上で色をシフトさせる色補正を実行する。すなわち、補正部１５０は、補正データ記憶部１６０に記憶された第１の補正データに定義されたシフト量にしたがって当該画素のＵＶ成分をＵＶ平面上でシフトさせた後に、ＵＶ平面上でシフトされた画素値をＲＧＢ空間の画素値へ逆変換する。また、補正部１５０は、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合、または、画素の輝度Ｙが閾値Ｔｈ１を超えない場合、第１の被写体以外の他の被写体に適用する色補正、例えばマトリクス演算による色補正を実行する。すなわち、補正部１５０は、補正データ記憶部１６０に記憶された第２の補正データ、すなわちマトリクス係数を参照して、当該画素が持つＲＧＢの画素値に第２の補正データに定義されたマトリクス係数を乗算するマトリクス演算を実行する。なお、補正部１５０は、上記の色補正の他にも、上記の色補正が実行された画素値にγ補正および彩度補正などを併せて実行することもできる。

このようにして原画像の各画素の色補正が行われた後、色補正後の画像は、任意の出力先へ出力することができる。例えば、色補正後の画像を所定のディスプレイに表示させたり、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアに保存したりすることもできる。この他、画像を入力として各種の処理をコンピュータに実行させるアプリケーションプログラムへ色補正後の画像を出力したり、ネットワークを介して、色補正後の画像を任意の外部装置へ送信したりすることもできる。

なお、上記の取得部１１０、変換部１２０、判定部１３０及び補正部１５０などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵなどに、上記の各処理部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

また、上記の分離条件記憶部１４０及び補正データ記憶部１６０には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の分離条件記憶部１４０及び補正データ記憶部１６０は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。

［処理の流れ］
続いて、本実施例に係る色補正システムの処理の流れについて説明する。なお、ここでは、設定装置１０により実行される（１）設定処理を説明した後に、色補正装置１００により実行される（２）色補正処理を説明することとする。

（１）設定処理
図６は、実施例１に係る設定処理の手順を示すフローチャートである。この処理は、一例として、色補正装置１００への設定指示を受け付けた場合に起動される。図６に示すように、設定処理が起動されると、第１取得部１１により第１のサンプル画像が取得されると共に第２取得部１２により第２のサンプル画像が取得される（ステップＳ１０１）。

続いて、特定部１３は、ステップＳ１０１で取得された第１のサンプル画像から第１の被写体の一部または全部を形成する第１の領域を特定すると共に、第１のサンプル画像から第２の被写体の一部または全部を形成する第２の領域を特定する（ステップＳ１０２）。

そして、変換部１４は、第１取得部１１により取得される第１のサンプル画像および第２取得部１２により取得される第２のサンプル画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する（ステップＳ１０３）。

その後、補正データ設定部１５は、第１のサンプル画像に含まれる画素のうちステップＳ１０２で第１の被写体を形成する範囲として特定された第１の領域に含まれる画素の色成分が色度空間上で分布する位置と、当該第１の領域に含まれる画素に対応する第２のサンプル画像上の画素の色成分が色度空間上で分布する位置とから色度空間上におけるシフト量を第１の補正データとして算出する（ステップＳ１０４）。

また、補正データ設定部１５は、第１のサンプル画像および第２のサンプル画像の２つのサンプル画像に含まれる画素のうち第１の領域に含まれない画素が持つＲＧＢの画素値から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数を第２の補正データとして算出する（ステップＳ１０５）。

そして、補正データ設定部１５は、ステップＳ１０４で算出された第１の補正データ及びステップＳ１０５で算出された第２の補正データを色補正装置１００の補正データ記憶部１６０へ登録することにより、複数種の色補正に用いられる各補正データを色補正装置１００に設定する（ステップＳ１０６）。

その後、分離条件設定部１６は、第１のサンプル画像上の第１の領域に含まれる各画素の色成分が色度空間上で点在する座標の分布を楕円に近似することにより得られた色度空間上の楕円領域を第１の分離条件として算出する（ステップＳ１０７）。

また、分離条件設定部１６は、第１のサンプル画像上の第１の領域に含まれる各画素の輝度成分と、第１のサンプル画像上の第２の領域に含まれる各画素の輝度成分とから、第１の被写体および第２の被写体を分離する輝度Ｙの閾値Ｔｈ１を第２の分離条件として算出する（ステップＳ１０８）。

そして、分離条件設定部１６は、ステップＳ１０７で算出された第１の分離条件及びステップＳ１０８で算出された第２の分離条件を色補正装置１００の分離条件記憶部１４０へ登録することにより、分離条件を色補正装置１００に設定し（ステップＳ１０９）、処理を終了する。

（２）色補正処理
図７は、実施例１に係る色補正処理の手順を示すフローチャートである。この色補正処理は、一例として、色補正を実行する対象とする原画像が指定された場合に起動する。図７に示すように、色補正を実行する対象とする原画像が指定されると、取得部１１０により原画像が取得される（ステップＳ３０１）。続いて、変換部１２０は、ステップＳ３０１で取得された原画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する（ステップＳ３０２）。

そして、判定部１３０は、ステップＳ３０２で色度空間へ変換された原画像に含まれる画素のうち画素を１つ選択する（ステップＳ３０３）。続いて、判定部１３０は、分離条件記憶部１４０に記憶された第１の分離条件、すなわち上述の第１の領域に対応するＵＶ平面上の楕円領域を参照して、ステップＳ３０３で原画像から選択された画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かを判定する（ステップＳ３０４）。

このとき、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合（ステップＳ３０４Ｙｅｓ）、当該画素が第１の被写体または第２の被写体のいずれかの像を形成する画素であると推定できるが、第２の被写体を形成する画素である余地が残る。この場合、判定部１３０は、分離条件記憶部１４０に記憶された第２の分離条件、すなわち輝度Ｙの閾値Ｔｈ１を参照して、ステップＳ３０３で原画像から選択された画素の輝度Ｙが閾値Ｔｈ１を超えるか否かをさらに判定する（ステップＳ３０５）。

ここで、画素の輝度Ｙが閾値Ｔｈ１を超える場合（ステップＳ３０５Ｙｅｓ）、当該画素が無彩色に近い色を持ち、かつ赤外光の受光量が多い画素であると推定できるので、第１の被写体を形成する画素である公算が高まる。この場合、補正部１５０は、補正データ記憶部１６０に記憶された第１の補正データに定義されたシフト量にしたがって当該画素のＵＶ成分をＵＶ平面上でシフトさせた後にＲＧＢ空間の画素値へ逆変換する第１の被写体用の色補正を実行する（ステップＳ３０６）。

一方、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合または画素の輝度Ｙが閾値Ｔｈ１を超えない場合（ステップＳ３０４ＮｏまたはステップＳ３０５Ｎｏ）、補正部１５０は、次のような処理を行う。すなわち、補正部１５０は、補正データ記憶部１６０に記憶された第２の補正データ、すなわちマトリクス係数を参照して、当該画素が持つＲＧＢの画素値に第２の補正データに定義されたマトリクス係数を乗算するマトリクス演算を実行する第１の被写体以外の他の被写体用の色補正を行う（ステップＳ３０７）。

その後、原画像に含まれる全ての画素が選択されるまで（ステップＳ３０８Ｎｏ）、上記のステップＳ３０３〜ステップＳ３０７までの処理が繰り返し実行される。そして、原画像に含まれる全ての画素が選択されると（ステップＳ３０８Ｙｅｓ）、補正部１５０は、所定の出力先に対し、補正後の画像を出力し（ステップＳ３０９）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係る色補正システム１は、可視光及び赤外光の波長に対応する光を含んで撮像された画像に含まれる、赤外光の分光反射率が高い第１の被写体と色空間上で第１の被写体に色の分布が類似する第２の被写体とを輝度の多寡により分離する。したがって、本実施例に係る色補正システム１によれば、赤外光の分光反射率が高い部分とそれ以外の部分を十分に分離することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［入力画像について］
上記の実施例１では、可視光および赤外光の波長に対応する光が撮像素子に結像される撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される画像が入力される場合を例示したが、画像の撮影形態はこれに限定されない。例えば、可視光領域および使用する赤外の波長領域の帯域幅を透過する光学フィルタが挿入された状態で撮影される画像を第１のサンプル画像とし、図６に示した設定処理を適用することもできるし、当該画像を原画像とし、図７に示した色補正処理を適用することもできる。

［分離条件の応用例１］
上記の実施例１では、第２の分離条件として輝度Ｙの閾値Ｔｈ１や閾値Ｔｈ２を用いる場合を例示したが、必ずしも閾値を条件とせずともかまわない。例えば、設定装置１０は、赤外光の分光反射率が高い第１の領域に関する輝度のヒストグラムの分布形状をそのまま確率分布として用いることもできる。例えば、設定装置１０は、可視光及び赤外光の両方の波長域に関する反射光を含む第１のサンプル画像において、第１の領域を形成する画素の輝度値から輝度のヒストグラムを算出した上で輝度のヒストグラムを所定の範囲の値、例えば０から１までの値へ正規化する。かかる輝度のヒストグラムにおいて、度数が高い部分は、緑の葉の確率が高いとし、周辺になるにしたがって度数が減るので、緑の確率が低いと仮定できる。このことから、先のようにして正規化された輝度のヒストグラムを画素が第１の被写体である確率分布として用いることができる。

このように第２の分離条件として確率分布を用いる場合、色補正装置１００は、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合に、上記の確率分布のうち当該画素が持つ輝度値に対応する確率ｗ１に応じて色のシフト補正及びマトリクス演算による色補正を混合することもできる。例えば、色補正装置１００は、画素が持つ色成分が楕円領域に含まれる場合に、下記の式（１）を用いて、色のシフト補正及びマトリクス演算による色補正をブレンドできる。

RGB=r’g’b’×w1＋rgb×(1-w1)・・・（１）

上記の式（１）に示す「ｒ’」、「ｇ’」及び「ｂ’」は、色のシフト補正後のＲＧＢの値であり、上記の式（１）に示す「ｒ」、「ｇ」及び「ｂ」は、マトリクス演算による色補正後のＲＧＢの値である。また、上記の式（１）に示す「ｗ１」は、画素が第１の被写体である確率を指し、例えば、０≦ｗ１≦１の値が確率分布にしたがって設定できる。これによって、度数が高い場合は、色のシフト補正の割合を高くし、度数の分布が小さくなるにしたがって、マトリクス演算による色補正の割合を高くして色補正をブレンドできる。なお、ここでは、ＲＧＢ空間でブレンド処理を実行する場合を例示したが、ブレンド処理の適用範囲はＲＧＢ空間の画像に留まらず、その他の色空間、例えばＹＵＶあるいはＬ＊ａ＊ｂ等でブレンド処理を実行した後にＲＧＢに変換してもかまわない。

このように第２の分離条件として確率分布を用いる場合、閾値だけで第１の領域とそれ以外の他の被写体を分離する場合よりも、段階的に補正を行うので、色の補正の特異な変化点を抑制し、分離条件の境界が滑らかな補正となる結果、より分離の精度を高めることができる。

上述のように、輝度のヒストグラムにより確率分布を定義する場合、設定装置１０は、例えば、平均値と分散値（あるいは標準偏差）を算出し、正規分布の確率に近似してもかまわない。この場合、平均値と分散値（あるいは標準偏差）が第２の分離条件として色補正装置１００へ設定される。あるいは、非対称として、設定装置１０は、対数正規分布、三角分布やガンマ分布、これら以外の確率分布を定義することもできる。このように確率分布への近似を使うことにより、人間が閾値を設定することなく、分離条件を設定できる。

［分離条件の応用例２］
色度空間においても、上記の分離条件の応用例１で説明した確率の考え方を援用することもできる。図８Ａは、色成分Ｕのヒストグラムの一例を示す図であり、図８Ｂは、色成分Ｖのヒストグラムの一例を示す図である。設定装置１０は、図８Ａに示すように、第１のサンプル画像上の第１の領域を形成する画素が持つ色成分Ｕの値から色成分Ｕのヒストグラムを生成すると共に、図８Ｂに示すように、第１のサンプル画像上の第１の領域を形成する画素が持つ色成分Ｖの値から色成分Ｖのヒストグラムを生成する。そして、設定装置１０は、輝度の場合と同様、これらヒストグラムの分布を正規化した確率そのものを用いて第１の分離条件として色補正装置１００へ設定することとしてもよいし、確率分布に近似して第１の分離条件として設定することとしてもかまわない。

［分離条件の応用例３］
色度空間において、確率の考え方を多次元、例えば２次元に適応することもできる。図９は、色度空間に関する確率密度の計算例を示す図である。図９の左側には、図３に示した通り、ＵＶ平面上の色の分布が示されており、図９の右側には、第１のサンプル画像上の第１の領域を形成する画素に関する確率密度の計算結果が示されている。

設定装置１０は、多変量正規分布（２次元）の定義にしたがって、第１のサンプル画像上で第１の領域を形成する各画素のＵＶ成分の値から各画素の色成分ＵＶが第１の被写体である確率密度を算出することができる。すなわち、図９の左側に示す分布のうち、第１のサンプル画像上で第１の領域を形成する各画素のＵＶ成分の値を２次元のベクトルをＺとすると、Ｚの平均値のベクトルがμ（Ｕの平均とＶの平均に相当）として算出できる。さらに、分散共分散行列Σを計算することにより、分布のばらつき度合いを計算できる。このように平均と分散が既知となれば、図９の右側に示す通り、確率密度が算出できる。すなわち、ＵとＶの相関も計算できるので、主軸の方向（楕円の長軸・短軸）も計算できる。このように算出される確率密度では、分布の平均値の領域の確率が一番高く、分散値に従って周辺の確率が下がっていく。これら平均、分散、ＵＶの相関の計算により得られる固有値と固有ベクトルを第１の分離条件として設定することができる。

このように確率分布が第１の分離条件として設定される場合、色補正装置１００は、取得部１１０により取得される原画像を輝度と色度を含む空間、例えばＹＵＶ空間に変換し、原画像に含まれる画素ごとに第１の分離条件により第１の領域（赤外光の分光反射率が高い例えば木の葉の領域）であるか否かの第１確率を算出する。これと共に、色補正装置１００は、第２の分離条件により第１の領域であるか否かの第２確率を原画像の画素ごとに算出する。その上で、色補正装置１００は、第１確率及び第２確率から原画像の画素が第１の領域であるか否かの総合的な確率、例えば第１確率及び第２確率の乗算値を算出し、その確率に応じて上記の色補正のブレンド処理を実行する。

［分離条件の応用例４］
上記の実施例１では、第１の分離条件、すなわち色度に関する分離条件と第２の分離条件、すなわち輝度に関する分離条件を分けて算出していたが、３次元、例えばＹＵＶでまとめて第３の分離条件として算出することもできる。この場合、設定装置１０は、第１のサンプル画像上の第１の領域を輝度と色度を含む３次元空間上の楕円体に近似することとすればよい。これによって、上記の実施例１の場合と同様に、第１の被写体と色空間上で色の分布が第１の被写体と類似する第２の被写体とを分離することができる。図１０は、第３の分離条件の一例を示す図である。図１０には、ＹＵＶ空間上の色の分布が示されている。図３に示した通り、ＵＶ平面では、第１の被写体と第２の被写体とを分離するのは困難であるが、Ｙを含む３次元空間上では、図１０に示す通り、第１の領域に含まれる画素の分布、すなわち図示の円のマークと、第２の領域に含まれる画素の分布、すなわち図示の三角のマークとを分離できる。このことから、設定装置１０は、輝度及び色度を含む３次元空間上で第１のサンプル画像上の第１の領域に含まれる画素の平均値と分散を算出する。このとき、楕円体の中心は平均値とし、それぞれの方向の大きさを分散値から算出し、楕円体の大きさを決定する。このように、第１のサンプル画像上の第１の領域に含まれる画素に関する分布を３次元の楕円体に近似することにより、当該３次元の楕円体の内部が、緑の葉の補正領域となり、その外側が他の補正となる。このような３次元の楕円体に関する中心及び各方向の半径を第３の分離条件として設定する場合、色補正装置１００は、取得部１１０により取得される原画像を輝度と色度を含む空間、例えばＹＵＶ空間に変換し、原画像に含まれる画素ごとに当該画素が３次元の楕円体に含まれるか否かを判定し、３次元の楕円体に含まれる場合に上記の色のシフト補正を実行し、３次元の楕円体に含まれない場合に上記のマトリクス演算による色補正を実行することとすればよい。

［分離条件の応用例５］
上記の分離条件の応用例３では、色度ＵＶに関する２次元の確率密度を算出する場合を例示したが、３次元でまとめた確率密度で分離条件を算出できる。この場合、上記の分離条件の応用例３では、２次元（Ｕ，Ｖ）の確率密度を算出していたが、多変量正規分布の確率密度を３次元（ＹＵＶ）に拡張すればよい。これにより、上記の分離条件の応用例３の場合と同様に、主軸の３方向も算出できる。このようにして得られた固有値と固有ベクトルを第１の分離条件及び第２の分離条件の代わりの第３の分離条件として設定できる。かかる３次元の確率密度が分離条件として設定される場合、色補正装置１００は、原画像に含まれる画素ごとに第３の分離条件により第１の領域（赤外光の分光反射率が高い例えば木の葉の領域）であるか否かの第３確率を算出する。その上で、第３確率に応じて上記の色補正のブレンド処理を実行することとすればよい。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１１０、変換部１２０、判定部１３０または補正部１５０を色補正装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１１０、変換部１２０、判定部１３０または補正部１５０を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の色補正装置１００の機能を実現するようにしてもよい。

［色補正プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１１を用いて、上記の実施例と同様の機能を有する色補正プログラムを実行するコンピュータの一例について説明する。

図１１は、実施例１及び実施例２に係る色補正プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１１に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００〜１８００の各部はバス１４００を介して接続される。

ＨＤＤ１７００には、図１１に示すように、上記の実施例１で示した取得部１１０、変換部１２０、判定部１３０及び補正部１５０と同様の機能を発揮する色補正プログラム１７００ａが記憶される。この色補正プログラム１７００ａは、図１に示した取得部１１０、変換部１２０、判定部１３０及び補正部１５０の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。

このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から色補正プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、色補正プログラム１７００ａは、図１１に示すように、色補正プロセス１８００ａとして機能する。この色補正プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち色補正プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、色補正プロセス１８００ａが実行する処理の一例として、図７に示す処理や実施例２で説明した処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の色補正プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

１ 色補正システム
１０ 設定装置
１１ 第１取得部
１２ 第２取得部
１３ 特定部
１４ 変換部
１５ 補正データ設定部
１６ 分離条件設定部
１００ 色補正装置
１１０ 取得部
１２０ 変換部
１３０ 判定部
１４０ 分離条件記憶部
１５０ 補正部
１６０ 補正データ記憶部

Claims (10)

1. 画像を取得する取得部と、
   画像を輝度及び色度を含む色空間の成分へ変換する変換部と、
   前記色空間の成分へ変換された画像に含まれる画素ごとに、当該画素が色度成分及び輝度成分に関する分離条件を満たすか否かにより、当該画素が赤外光の分光反射率が高い第１の被写体または前記第１の被写体以外の他の被写体のいずれに対応するかを判定する判定部と
   を有することを特徴とする色補正装置。
2. 前記第１の被写体と、前記色空間上で色の分布が前記第１の被写体と類似する第２の被写体とが可視光および赤外光の波長に対応する光を含む状態で撮像されたサンプル画像上で前記第１の被写体に対応する第１の領域が色空間上で定義された第１の分離条件を記憶する第１記憶部と、
   前記第１の被写体に対応する第１の領域と前記第２の被写体に対応する第２の領域とを分離する輝度成分の閾値が定義された第２の分離条件を記憶する第２記憶部とをさらに有し、
   前記判定部は、前記第１記憶部に記憶された第１の分離条件を参照して、前記画素の色成分が前記色空間上の前記第１の領域に含まれるか否かを判定し、前記画素の色成分が前記色空間上の前記第１の領域に含まれる場合に、前記第２記憶部に記憶された第２の分離条件を参照して、前記画素の輝度成分が前記閾値を超えるか否かを判定することにより、当該画素が前記第１の被写体または前記他の被写体のいずれに対応するかを判定することを特徴とする請求項１に記載の色補正装置。
3. 前記第２の分離条件は、前記第１の領域に含まれる画素が持つ輝度値から生成される輝度のヒストグラムと前記第２の領域に含まれる画素が持つ輝度値から生成される輝度のヒストグラムとを分離する輝度成分の閾値が設定されることを特徴とする請求項２に記載の色補正装置。
4. 前記判定部により前記画素の輝度成分が前記閾値を超えると判定された場合に、前記第１の被写体用の色補正を実行し、前記画素の色成分が前記色空間上の前記第１の領域に含まれない場合または前記画素の輝度成分が前記閾値を超えないと判定された場合に、前記第１の被写体用の色補正とは異なる色補正を実行する補正部をさらに有することを特徴とする請求項２または３に記載の色補正装置。
5. 前記判定部は、前記第１の被写体が可視光および赤外光の波長に対応する光を含む状態で撮像されたサンプル画像上の第１の被写体に対応する第１の領域が持つ輝度値から生成される輝度のヒストグラムが前記第１の被写体に対応するか否かの確率として定義された確率分布を参照し、前記画素の輝度成分が前記第１の被写体に対応する確率を算出することを特徴とする請求項１に記載の色補正装置。
6. 前記画素の輝度成分が前記第１の被写体に対応する確率に応じて前記第１の被写体用の色補正と、前記第１の被写体用の色補正とは異なる色補正とを混合する比率を変えて色補正を行う補正部をさらに有することを特徴とする請求項５に記載の色補正装置。
7. 前記第１の被写体が可視光および赤外光の波長に対応する光を含む状態で撮像されたサンプル画像上の第１の被写体に対応する第１の領域が輝度及び色度を含む３次元空間上で近似された楕円体を記憶する記憶部をさらに有し、
   前記判定部は、前記記憶部を参照して、前記画素が前記３次元空間上の楕円体に含まれるか否かにより、当該画素が前記第１の被写体または前記他の被写体のいずれに対応するかを判定することを特徴とする請求項１に記載の色補正装置。
8. 前記判定部は、前記第１の被写体が可視光および赤外光の波長に対応する光を含む状態で撮像されたサンプル画像上の第１の被写体に対応する第１の領域内の画素が輝度及び色度を含む３次元空間上で点在する分布の平均及び分散から算出された確率密度分布を参照して、前記画素が前記第１の被写体に対応する確率を算出することを特徴とする請求項１に記載の色補正装置。
9. コンピュータが、
   画像を取得し、
   画像を輝度及び色度を含む色空間の成分へ変換し、
   前記色空間の成分へ変換された画像に含まれる画素ごとに、当該画素が色度成分及び輝度成分に関する分離条件を満たすか否かにより、当該画素が赤外光の分光反射率が高い第１の被写体または前記第１の被写体以外の他の被写体のいずれに対応するかを判定する
   処理を実行することを特徴とする色補正方法。
10. コンピュータに、
    画像を取得し、
    画像を輝度及び色度を含む色空間の成分へ変換し、
    前記色空間の成分へ変換された画像に含まれる画素ごとに、当該画素が色度成分及び輝度成分に関する分離条件を満たすか否かにより、当該画素が赤外光の分光反射率が高い第１の被写体または前記第１の被写体以外の他の被写体のいずれに対応するかを判定する
    処理を実行させることを特徴とする色補正プログラム。

Images