JP4588076B2 - 撮像方法および撮像システム - Google Patents

Description

本発明は、被写体の分光反射率を考慮した撮像方法および撮像システムに関し、特に撮像装置における撮像可能な色域を考慮して撮像を行なう技術に関するものである。

近年、様々な環境下において撮像された被写体の色を、表示装置や印刷装置などの出力装置において、正確に再現するための技術が提案されている。

代表的な技術として、被写体の分光反射率に基づくカラーマネジメント技術が知られている。この技術は、被写体の色をスペクトルとして扱うことで実現され、被写体における照明環境にかかわらず正確な色再現が可能となる。このような被写体の分光反射率に基づいた色再現については、非特許文献１にその原理的な処理が開示されている。

ところで、被写体の分光反射率は、ある照明環境下で分光測色器などを用いて測定するのが一般的である。これは、被写体を撮像装置で撮像する場合には、被写体から光が放射（すなわち、被写体で照明光が反射）されている必要があり、全く照明光が照射されていない状態では被写体の色を判断することができないからである。また、撮像装置で撮像された撮像データから被写体の分光反射率を推定する場合には、当該撮像時に被写体に照射されていた照明環境を正確に特定する必要がある。

特開２０００−０４６６４８号公報（特許文献１）には、被写体の分光反射率を推定するとともに、照明光を変更した場合のシミュレーション画像を生成する構成が開示されている。
特開２０００−０４６６４８号公報 三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日

ところで、一般的な撮像装置は、光の三原色に基づくＲ（赤），Ｇ（緑），Ｂ（青）といった分光感度が互いに異なる複数の撮像素子（代表的に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor））で構成される。このような撮像装置で撮像可能な色域は、搭載されている各撮像素子の分光感度やダイナミックレンジなどによって定まる。このような撮像装置を用いて、色域外にある色を撮像した場合、最も近い色域内の色として誤検出（クリッピング）されることになる。

このように撮像装置から、誤検出された撮像データが出力される場合には、正確に被写体の色再現を行なうことができない。したがって従来の方法では、撮像装置で撮像可能な色域を外れる色を有する被写体については、正確に色再現できないという問題があった。

そこで、この発明は、かかる課題を解決するためになされたものであり、その目的は、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現可能な撮像方法および撮像システムを提供することである。

この発明のある局面に従う撮像方法は、撮像装置を用いて被写体を撮像することで、第１撮像データを取得するステップと、第１撮影データに含まれる第１色データが撮像装置で撮像可能な色域内に存在した色データであるか否かを評価するステップと、第１色データが撮像可能な色域内に存在しないと評価された場合に、特定の波長をもつ照明光を被写体に向けて照射するステップと、照明光の照射中に被写体を再度撮影し、第２撮像データを取得するステップと、第１撮影データの色域内に存在しないと評価された色データに対応する第２撮影データの第２色データに対し、照明光の特定の波長特性を用いて、被写体の色を推定し色データを生成するステップと、第１撮影データの色域内に存在しないと評価された色データに対して、対応する推定色データを合成した合成画像データを生成するステップとを含む。

この発明のある局面に従う撮像方法は、撮像装置を用いて、第１照明環境下において被写体を撮像することで、第１撮像データを取得するステップと、第１照明環境下において被写体に照射される光の分光放射輝度である第１分光放射輝度を取得するステップと、第１撮像データと第１分光放射輝度とを用いて被写体の分光反射率を推定した上で、当該分光反射率と第１分光放射輝度とを用いて被写体の色を示す第１色空間上の第１色データを生成するステップと、撮像装置を用いて、第２照明環境下において被写体を撮像することで、第２撮像データを取得するステップと、第２照明環境下において被写体に照射される光の分光放射輝度である第２分光放射輝度を取得するステップと、第２撮像データと第１分光放射輝度とを用いて、被写体の分光反射率を推定した上で、当該分光反射率と第１分光放射輝度とを用いて被写体の色を示す第１色空間上の第２色データを生成するステップと、第１撮像データに対応する第１色データと、第１色データを除いた残余の画素に対応する第２色データとに基づいて合成画像データを生成するステップとを含む。

好ましくは、第２色データを生成するステップは、残余の画素についてのみ第２色データを生成するステップを含む。

好ましくは、撮像方法は、各画素についての第１色データが撮像装置で撮像可能な色域内に存在するか否かを評価するステップをさらに含む。評価するステップは、撮像装置で撮像可能な色域内に存在する第１色データに対応する画素を第１群の画素に分類するとともに、撮像装置で撮像可能な色域内に存在しない第１色データに対応する画素を第２群の画素に分類するステップを含む。

さらに好ましくは、評価するステップは、第１色データのうち撮像装置で撮像可能な色域外に存在するものがある場合に、被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置から特定の照明光を被写体に向けて照射することで、第２照明環境を形成するステップを含む。

さらに好ましくは、評価するステップは、撮像装置で撮像可能な色域外に存在する第１色データに対応する画素の色が撮像装置で撮像可能な色域内に納まるように、特定の照明光を選択するステップを含む。

さらに好ましくは、照明光を選択するステップは、撮像装置で撮像可能な色域外に存在する第１色データが第１色空間上のいずれの位置で色域外になっているかを評価することで、当該位置に応じて特定の照明光を選択するステップを含む。

好ましくは、第１色空間上の合成画像データを第２色空間上の画像データに変換するステップをさらに含む。

好ましくは、第１色空間はＸＹＺ表色系であり、第２色空間はＲＧＢ表色系である。
この発明の別の局面に従う撮像装置は、被写体に応じた各画素における複数の撮像素子の出力値からなる撮像データを出力する撮像装置と、被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、被写体を第１照明環境下において撮像した第１撮像データと第１照明環境下における第１分光放射輝度とを用いて各画素における被写体の分光反射率を推定した上で、当該分光反射率と第１分光放射輝度とを用いて被写体の色を示す第１色空間上の第１色データを各画素について生成する第１色変換手段と、被写体を第２照明環境下において撮像した第２撮像データと第２照明環境下における第２分光放射輝度とを用いて各画素における被写体の分光反射率を推定した上で、当該分光反射率と第１分光放射輝度とを用いて被写体の色を示す第１色空間上の第２色データを各画素について生成する第２色変換手段と、撮像装置に含まれる複数の画素のうち第１群の画素に対応する第１色データと、第１群の画素を除いた残余の第２群の画素に対応する第２色データとに基づいて合成画像データを生成する合成手段とを含む。

好ましくは、第２色変換手段は、第２群に分類される画素についてのみ第２色データを生成する。

好ましくは、撮像装置は、各画素についての第１色データが撮像装置で撮像可能な色域内に存在するか否かを評価する評価手段をさらに含む。評価手段は、撮像装置で撮像可能な色域内に存在する第１色データに対応する画素を第１群の画素に分類するとともに、撮像装置で撮像可能な色域内に存在しない第１色データに対応する画素を第２群の画素に分類する。

さらに好ましくは、撮像装置は、被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置をさらに含む。評価手段は、第１色データのうち撮像装置で撮像可能な色域外に存在するものがある場合に、照明装置から特定の照明光を被写体に向けて照射させて第２照明環境を形成する。

さらに好ましくは、評価手段は、撮像装置で撮像可能な色域外に存在する第１色データに対応する画素の色が撮像装置で撮像可能な色域内に納まるように、特定の照明光を選択する。

さらに好ましくは、評価手段は、撮像装置で撮像可能な色域外に存在する第１色データが第１色空間上のいずれの位置で色域外になっているかを評価し、当該位置に応じて特定の照明光を選択する。

好ましくは、撮像装置は、第１色空間上の合成画像データを第２色空間上の画像データに変換する第３色変換手段をさらに含む。

好ましくは、第１色空間はＸＹＺ表色系であり、第２色空間はＲＧＢ表色系である。

この発明によれば、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現できる。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜全体構成＞
図１は、この発明の実施の形態に従う撮像システム１の概略構成図である。

図１を参照して、撮像システム１は、被写体ＯＢＪを撮像し、この撮像した撮像データに所定の画像処理（主として、色再現処理）を行なった上で画像データ（以下「色再現データ」という。）を出力する。より具体的には、撮像システム１は、画像処理装置１００と、撮像装置２００と、分光放射輝度計３００と、照明装置４００とを含む。なお、画像処理装置１００から出力される色再現データは、代表的に表示装置（ディスプレイ）や印刷装置（プリンタ）などの図示しない出力装置へ出力される。あるいは、図示しない記憶装置などに格納されるように構成してもよい。

撮像装置２００は、被写体ＯＢＪを撮像し、この被写体ＯＢＪに応じた撮像データを出力する。代表的に、撮像装置２００は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子で構成されており、行列状に形成される各画素の位置に対応した撮像データを出力する。より具体的には、各画素に対応付けて、分光感度が互いに異なる複数の撮像素子が配置されており、各画素に対応付けられた複数の撮像素子の各検出値（輝度値）を一体とした撮像データが出力される。このように各画素に対応付けられた分光感度が互いに異なる撮像素子の数は、バンド数とも称される。本実施の形態では、代表的に、それぞれの分光感度が主としてＲ（赤），Ｇ（緑），Ｂ（青）である３バンドの撮像装置２００を用いる場合について説明する。なお、原理的には、カラー画像を撮像するためには、３バンド以上であればよく、後述する色域を大きくするためには、バンド数は多い方が好ましい。

上述のように、撮像装置２００が出力する撮像データは、Ｒ，Ｇ，Ｂの各輝度値（代表的に、それぞれが１２ビット：０〜４０９５階調）の３次元の色情報となる。すなわち、撮像装置２００が出力する撮像データは、ＲＧＢ表色系として規定される。以下、撮像装置２００における各画素に対応する撮像素子の番号（バンド番号）をｉ（ｉ＝１，２，３）とし、画素の二次元座標を（ｍ，ｎ）とし、撮像装置２００から出力される画像データをｇ_ｉ（ｍ，ｎ）と表わす。すなわち、
ｇ_１（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＲの撮像素子で検出された輝度値
ｇ_２（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＧの撮像素子で検出された輝度値
ｇ_３（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＢの撮像素子で検出された輝度値
となる。以下の説明では、撮像装置２００で撮像された撮像データを総称して「撮像データｇ」とも記す。

なお、撮像装置２００は、動画カメラであってもよいし、静止画カメラであってもよい。すなわち、撮像装置２００が動画カメラである場合には、被写体ＯＢＪの撮像および撮像データｇの出力が所定周期（代表的に、１／３０秒）で繰返され、撮像装置２００が静止画カメラである場合には、ユーザなどの操作に応じて撮像および撮像データｇの出力が離散的に実行される。また、撮像装置２００は、単板のカメラであってもよいし、三板のカメラであってもよい。

照明装置４００は、撮像装置２００による被写体ＯＢＪの撮像に際して、被写体ＯＢＪに対して照明光を照射する。特に、本実施の形態に従う照明装置４００は、画像処理装置１００からの指令に応じて、被写体ＯＢＪに向けて、主波長が互いに異なる複数の照明光を選択的に照射可能に構成される。すなわち、後述するように、被写体ＯＢＪを所定の照明環境（以下「第１照明環境」とも称す。）で撮像した結果、撮像装置２００で撮像可能な色域外の色をもつ画素が撮像データに含まれていると判断された場合には、当該画素の色が撮像装置２００で撮像可能な色域内に納まるように、照明装置４００から被写体ＯＢＪに特定の照明光が照射される。この照明装置４００からの照明光によって、第１照明環境とは異なる照明環境（以下「第２照明環境」とも称す。）が形成される。

具体的には、照明装置４００は、フィルタホイール４０２と、フィルタホイール４０２を回転駆動するモータ４０６と、光源４０８とを含む。フィルタホイール４０２には、所定の波長成分を透過させる複数の波長フィルタ（色フィルタ）４０４が装着されている。そして、画像処理装置１００からの指令に応じて、モータ４０６がフィルタホイール４０２を回転駆動することで、特定の波長フィルタ４０４が光源４０８の光軸上にセットされる。光源４０８としては、代表的にハロゲンランプもしくはキセノンランプといった演色性の高い光源（標準光源）が用いられる。その結果、光源４０８から照射される波長成分のうち、選択された波長フィルタ４０４に対応する主波長の光が被写体ＯＢＪに照射されることになる。

後述するように、画像処理装置１００では、撮像装置２００で撮像可能な色域外の色をもつ画素が撮像データに含まれている場合に、当該画素が色空間上のいずれの位置で色域外になっているかを評価し、その評価結果（座標位置）に基づいて、照明装置４００から被写体ＯＢＪへ照射される光を切換える。ここで、撮像装置２００で撮像可能な色域は、撮像装置２００を構成する撮像素子の分光感度に応じて定まるので、フィルタホイール４０２に装着する波長フィルタ（色フィルタ）４０４の特性は、この撮像素子の分光感度に応じて決定することが好ましい。一例として、本実施の形態に従う照明装置４００は、主波長として、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の３つの波長フィルタ４０４を含む。すなわち、照明装置４００は、赤味を帯びた照明光、緑味を帯びた照明光、青味を帯びた照明光を切換えて照射可能に構成される。なお、第１照明環境を形成するために、このような波長フィルタ４０４を通過させることなく、光源４０８が発生する光をそのまま照射できるようにしてもよい。

また、上述の波長フィルタ４０４に代えて、あるいは波長フィルタ４０４とともに、色温度変換フィルタを用いることでも主波長が互いに異なる複数の照明光を選択的に照射できる。

さらに、上述のように波長フィルタ４０４を用いる構成に代えて、主発光ピークがそれぞれＲ（赤），Ｇ（緑），Ｂ（青）である複数の光源を配置し、これらの光源を選択的に点灯するようにしてもよい。

分光放射輝度計３００は、被写体ＯＢＪに照射される照明光の分光放射輝度（あるいは、分光放射照度）を測定し、その測定結果を画像処理装置１００へ出力する。これは、撮像装置２００で撮像される被写体ＯＢＪの撮像データは、被写体ＯＢＪに照射される照明光が被写体ＯＢＪの分光反射率に応じて反射される結果生じるものであり、この被写体ＯＢＪの分光反射率を推定してカラーマネジメントを行なうためには、被写体ＯＢＪに照射される照明光の分光放射輝度が必要となるからである。

なお、分光放射輝度は、単位投影面積当たり、かつ単位立体角当たりにおける、照明光の波長毎のエネルギー量を意味する。代替的に、単位面積当たりにおける照明光の波長毎のエネルギー量である分光放射照度を用いてもよい。

本実施の形態に従う撮像システム１では、被写体ＯＢＪを撮像装置２００を用いて撮像するので、実際に照明光の分光放射輝度を測定する場合には、分光放射輝度計３００の配置位置などに工夫を要する。すなわち、分光放射輝度計３００は、被写体ＯＢＪに照射される照明光と実質的に同じ照明光を受光部で受光することで分光放射輝度を測定する。ここで、分光放射輝度計３００自体が撮像されると好ましくない場合も多いと想定されるので、分光放射輝度計３００は、撮像装置２００の撮像範囲外であって、被写体ＯＢＪの照明環境と同一の照明環境とみなせる位置に配置することが好ましい。このような配置は、撮像装置２００の撮像範囲に比較して、照明装置４００の照明光の照射範囲を広くすることでより容易に実現できる。

分光放射輝度計３００を被写体ＯＢＪに近接した位置に配置できない場合には、被写体ＯＢＪに照射される照明光と実質的に同じ照明光が照射される位置に既知の分光反射率をもつ標準白色板を配置し、この標準白色板で反射される光を分光放射輝度計３００の受光部で受光するようにしてよい。

分光放射輝度計３００は、その受光部として、回折格子およびフォトダイオードアレイなどを含み、フォトダイオードアレイからは、波長毎に放射輝度を示す信号が出力される。受光部には、さらに、分光透過率が既知である乳白色の拡散板（コサインコレクタ、コサインディフューザ、コサインレセプタとも称される）を装着することにより、回折格子に入射する光の空間的な明るさのムラ（濃淡）を低減するとともに、分光放射照度の測定が可能となる。

本実施の形態では、分光放射輝度として、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした離散値を用いるものとする。したがって、分光放射輝度計３００が可視光領域（３８０〜７８０ナノメートル）を検出範囲とする場合には、分光放射輝度計３００が出力する分光放射輝度Ｅは、波長λ＝３８０，３８１，・・・，７８０の計４０１個の輝度値を含む４０１次元のデータとなる。

＜画像処理装置の機能構成＞
次に、画像処理装置１００の機能構成について説明する。なお、以下の説明では、その処理内容をより明確化するために、第１照明環境下の撮像によって得られたデータなどを上付き添え字^（１）を付して表わすとともに、第２照明環境下の撮像によって得られたデータなどを上付き添え字^（２）を付して表わす。

画像処理装置１００は、第１照明環境下において被写体ＯＢＪを撮像した撮像データｇ^（１）と第１照明環境下において測定された分光放射輝度Ｅ^（１）とを用いて各画素における被写体ＯＢＪの分光反射率を推定した上で、この推定した分光反射率と分光放射輝度Ｅ^（１）とを用いて、ＲＧＢ色空間上で定義される撮像データｇ^（１） _ｉ（ｍ，ｎ）をＸＹＺ表色系の画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）に変換する。

そして、画像処理装置１００は、画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が撮像装置２００で撮像可能な色域内に存在しているか否かを判断する。撮像装置２００で撮像可能な色域外にいずれかの画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が存在していれば、照明装置４００から特定の照明光を照射して第２照明環境を形成する。さらに、画像処理装置１００は、第２照明環境下において被写体ＯＢＪを撮像した撮像データｇ^（２）と第２照明環境下において測定された分光放射輝度Ｅ^（２）とを用いて各画素における被写体ＯＢＪの分光反射率を推定した上で、この推定した分光反射率と分光放射輝度Ｅ^（１）とを用いて、ＲＧＢ色空間上で定義される撮像データｇ^（２） _ｉ（ｍ，ｎ）をＸＹＺ表色系の画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）に変換する。

さらに、画像処理装置１００は、撮像装置２００で撮像可能な色域内に存在する画素については、対応する画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）を用いるとともに、残余の画素、すなわち撮像装置２００で撮像可能な色域外に存在する画素については、対応する画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）を用いて、合成画像データＧ_ＸＹＺ（ｍ，ｎ）を合成する。そして、この合成画像データＧ_ＸＹＺ（ｍ，ｎ）に基づいて、ＲＧＢ表色系の色再現データを生成して出力する。

具体的には、画像処理装置１００は、線形補正部１０２と、第１色変換部１０４と、第２色変換部１０６と、座標変換部１１０，１２０と、評価部１１２と、評価テーブル１１４と、合成部１１６と、フラグテーブル１１８と、ガンマ補正部１２２とを含む。

線形補正部１０２は、撮像装置２００から出力される撮像データｇを線形化するための部位である。一般的に、表示装置では、入力信号レベルと実際に表示される輝度レベルとの間は非線形な関係を有しており、このような非線形性はガンマ特性と称される。このような表示装置における非線形性を打ち消して、人間の視覚に適応した画像が表示装置において表示されるように、撮像装置２００からは、表示装置のガンマ特性と逆の非線形性をもつような撮像データｇが出力されることが多い。このように、撮像データｇの信号レベルと各撮像素子で検出された輝度レベルとの間が非線形である場合には、後述する画像処理を正確に実行することができないので、線形補正部１０２がこの撮像データｇを線形化する。

一般的にガンマ特性および逆ガンマ特性はべき乗の関数として表わすことができるので、線形補正部１０２は、撮像装置２００における逆ガンマ値をγｃとすると、以下のような演算式に従って、撮像データｇ^（１） _ｉ（ｍ，ｎ）またはｇ^（２） _ｉ（ｍ，ｎ）を、それぞれ線形化された線形画像データｇｃ^（１） _ｉ（ｍ，ｎ）またはｇｃ^（２） _ｉ（ｍ，ｎ）に変換する。

ｇｃ^（１） _ｉ（ｍ，ｎ）＝ｇ^（１） _ｉ（ｍ，ｎ）^１／γｃ
ｇｃ^（２） _ｉ（ｍ，ｎ）＝ｇ^（２） _ｉ（ｍ，ｎ）^１／γｃ
ここで、逆ガンマ値γｃは、表示装置のガンマ値γｄの逆数に相当する値に設定される。一例として、表示装置のガンマ値γｄ＝２．２であれば、撮像装置２００の逆ガンマ値γｃ＝１／γｄ＝１／２．２≒０．４５となる。

なお、撮像装置２００から１回の撮像によって出力される撮像データｇ^（１） _ｉ（ｍ，ｎ），ｇ^（２） _ｉ（ｍ，ｎ）は、撮像装置２００の画素数だけ存在するため、例えば、撮像装置２００の画素が１９２０×１０８０である場合には、撮像データｇ^（１） _ｉ（ｍ，ｎ），ｇ^（２） _ｉ（ｍ，ｎ）の数は２０７３６００個となる。そのため、上述のような変換式をそのまま実行すると膨大な演算量になってしまう。画像処理装置１００の演算処理能力が十分に高い場合には、演算を直接実行してもよいが、演算処理能力に制限がある場合には、ルックアップテーブル（ＬＵＴ：Look-Up Table）を用いることが有効である。

本実施の形態に従う線形補正部１０２は、ルックアップテーブル１０２ａを予め格納してり、このルックアップテーブル１０２ａを参照することで、線形化処理を行なう。ルックアップテーブル１０２ａは、入力される撮像データｇが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル１０２ａを参照して、入力された撮像データｇの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。

なお、ルックアップテーブル１０２ａの内容は、逆ガンマ値γｃによって異なったものとなるので、逆ガンマ値γｃが変更された場合には、ルックアップテーブル１０２ａの内容も変更する必要がある。

なお、撮像装置２００から出力される撮像データｇが線形、すなわち逆ガンマ値γｃ＝１の場合には、線形補正部１０２を設ける必要はない。

＜色再現処理＞
次に、第１色変換部１０４および第２色変換部１０６によって実行される色再現処理の内容について説明する。以下では、線形画像データｇｃ^（１） _ｉ（ｍ，ｎ），ｇｃ^（２） _ｉ（ｍ，ｎ）を「線形画像データｇｃ」とも総称する。

撮像装置２００の２次元座標（ｍ，ｎ）の画素に入射する被写体ＯＢＪからの光（スペクトル）は、被写体ＯＢＪに照射される照明光の分光放射輝度Ｅ（λ）と、被写体ＯＢＪの当該画素に対応する位置の分光反射率ｆ（ｍ，ｎ；λ）との積に相当する。そして、各画素に入射した光に応じて対応の撮像素子から出力される線形画像データｇｃは、これらの各撮像素子の分光感度であるＳ_ｉ（λ）をさらに乗じた上で、波長領域にわたって光エネルギーを積分したものに相当する。このような関係は、（１）式に示す関係式として表わすことができる。

ここで、ｎ_ｉ（ｍ，ｎ）は、各撮像素子に現れる白色ノイズなどによって生じる加法性ノイズであり、撮像装置２００の撮像素子やレンズの特性、および周辺環境などに依存する値である。

上述したように、本実施の形態では、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした分光放射輝度Ｅ（λ）を用いるので、（１）式の右辺第１項の積分式を所定の波長幅でサンプリングして得られた離散値の積和演算によって算出する。すなわち、（１）式の右辺第１項の積分式を、各撮像素子の各波長における分光感度を示す行列Ｓと、各波長における分光放射輝度を示す行列Ｅと、各波長における分光反射率を示す行列ｆ（ｍ，ｎ）との行列演算により実現する。

代表的に、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、行列Ｓは、４０１行×３列の行列となり、行列Ｅは、４０１行×１列の行列となり、行列ｆ（ｍ，ｎ）は、１行×４０１列の行列となる。

ここで、加法性ノイズｎ_ｉ（ｍ，ｎ）は、一般的に十分に小さな値であるので、（１）式から無視した上で、被写体ＯＢＪの分光反射率ｆ（ｍ，ｎ）を算出することを考える。具体的には、線形画像データｇｃを用いて、以下の（２）式に従って被写体ＯＢＪの分光反射率ｆ（ｍ，ｎ）を算出する。

ｆ（ｍ，ｎ）＝Ｗ・ｇｃ（ｍ，ｎ） ・・・（２）
（２）式において、Ｗは分光反射率推定行列である。分光反射率推定行列Ｗは、以下に説明するウィナー推定の手法によって算出される。具体的には、分光反射率推定行列Ｗは、システム行列Ｈを以下に示す（３）式と定めた上で、（１）式を変形することで（４）式のように導出される。

Ｈ＝Ｓ・Ｅ ・・・（３）
Ｗ＝Ａ・Ｈ^ｔ・（Ｈ・Ａ・Ｈ^ｔ）^−１ ・・・（４）
但し、Ｈ^ｔは、システム行列Ｈの転置行列である。

（４）式において、Ａは、自己相関行列であり、被写体ＯＢＪの分光反射率を推定するための基準となるべきものである。自己相関行列Ａは、被写体ＯＢＪと同等と考えられる分光反射率の統計データを用いて予め決定することができる。一例として、ＩＳＯ（International Organization for Standardization）において標準化されている分光反射率のデータベースであるＳＯＣＳ（Standard Object Color Sample）を参照して、自己相関行列Ａを決定することができる。あるいは、被写体ＯＢＪの材質などが予め分っている場合には、被写体ＯＢＪ自身の分光反射率を別の方法によって予め測定しておき、自己相関行列Ａを決定してもよい。上述したように、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、自己相関行列Ａは、４０１行×１列の行列となる。また、ウィナー推定の詳細については、上述の非特許文献１（三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日）に詳しいので、こちらを参照されたい。

なお、上述のようなウィナー推定の手法に代えて、主成分分析の手法を用いてもよい。
以上のように、（３）式および（４）式に従って、分光反射率推定行列Ｗを算出した上で、（２）式に従って、線形画像データｇｃから被写体ＯＢＪの分光反射率を示す行列ｆ（ｍ，ｎ）を算出できる。行列ｆ（ｍ，ｎ）が被写体ＯＢＪの色の本質であり、この行列ｆ（ｍ，ｎ）を用いることで、被写体ＯＢＪがどのような照明環境下で観測されたものであっても、その色再現を行なうことができる。

次に、本実施の形態に従う画像処理装置１００は、任意の照明環境において観測した場合の被写体ＯＢＪの色再現データｇｄを生成することができる。より具体的には、任意の分光放射輝度Ｅ（λ）の条件下で、分光反射率ｆ（ｍ，ｎ；λ）の被写体を観測した場合のＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、以下に示す（５）式のようになる。

（５）式において、ｈ_ｉ（λ）（ｉ＝１，２，３）は等色関数であり、人間の視覚感度特性に相当する関数である。この等色関数ｈ_ｉ（λ）は国際照明委員会（ＣＩＥ）によって規定されている。以下、（５）式によって算出される三刺激値Ｘ，Ｙ，Ｚを含む３次元データを画像データｇ’_ＸＹＺ（ｍ，ｎ）として表わす。

上述した分光反射率の算出過程と同様に、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングして得られた離散値の積和演算によって算出する。すなわち、（５）式の各積分式を、各波長における等色関数の値を示す行列ｈと、各波長における分光放射輝度を示す行列Ｅと、各波長における分光反射率を示す行列ｆ（ｍ，ｎ）（＝Ｗ・ｇｃ（ｍ，ｎ））との行列演算により実現する。代表的に、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、行列ｈは、４０１行×３列の行列となり、行列Ｅは、４０１行×１列の行列となり、行列ｆ（ｍ，ｎ）は、１行×４０１列の行列となる。

したがって、任意の照明環境（分光放射輝度Ｅ）において観測される被写体ＯＢＪの色を示す画像データｇ’_ＸＹＺ（ｍ，ｎ）は、（６）式のようになる。

ｇ’_ＸＹＺ（ｍ，ｎ）＝ｈ・Ｅ・ｆ（ｍ，ｎ）＝ｈ・Ｅ・Ｗ・ｇｃ（ｍ，ｎ） ・・・（６）
ここで、（６）式で用いられる分光放射輝度を示す行列Ｅは、任意の値に設定することができる。これは、第２照明環境下（分光放射輝度Ｅ^（２））で被写体ＯＢＪを撮像した撮像データｇ^（２）に基づいて、第１照明環境下（分光放射輝度Ｅ^（１））で観察されるであろう当該被写体ＯＢＪの色を再現できることを意味する。したがって、第１照明環境下で観察されるであろう被写体ＯＢＪの色を再現するにあたって、必ずしも第１照明環境下で被写体ＯＢＪを撮像する必要はなく、それとは別の第２照明環境下で撮像した撮像データｇ^（２）を用いてもよいことを意味する。言い換えれば、撮像装置２００における撮像可能な色域内に納まるように、被写体ＯＢＪを撮像さえできれば、任意の照明環境下で観測されるであろう色を正確に再現できる。そこで、本実施の形態に従う撮像システム１は、撮像装置２００における撮像可能な色域内に納まるように被写体ＯＢＪを撮像することを目的とする。

再度、図１を参照して、第１色変換部１０４は、第１照明環境下において撮像された撮像データｇ^（１）から画像データｇ’^（１）を生成するための部位であり、分光反射率推定部１０４ａと色再現部１０４ｂとを含む。

分光反射率推定部１０４ａは、第１照明環境下において分光放射輝度計３００で測定された分光放射輝度Ｅ^（１）と、予め格納された撮像装置２００の撮像素子の各波長における分光感度を示す行列Ｓと、予め格納された自己相関行列Ａとを用いて、上述（３）式および（４）式の行列演算を実行し、分光反射率推定行列Ｗ^（１）を算出する。そして、分光反射率推定部１０４ａは、算出した分光反射率推定行列Ｗ^（１）を色再現部１０４ｂへ出力する。

なお、分光反射率推定部１０４ａが分光反射率推定行列Ｗを算出する周期は、撮像装置２００における撮像周期と同一であることが望ましいが、分光放射輝度計３００による分光放射輝度の測定周期が撮像周期より遅い場合には、分光放射輝度の測定周期で分光反射率推定行列Ｗを算出してもよい。あるいは、被写体ＯＢＪにおける照明環境がほとんど変化しない場合には、分光放射輝度計３００から出力される分光放射輝度が変化した場合に限って、分光反射率推定行列Ｗを算出するようにしてもよい。

色再現部１０４ｂは、線形補正部１０２から出力された線形画像データｇｃ^（１）と、分光反射率推定部１０４ａから出力された分光反射率推定行列Ｗ^（１）と、分光放射輝度計３００で測定された分光放射輝度Ｅ^（１）と、予め格納された各波長における等色関数の値を示す行列ｈとを用いて、上述（６）式の行列演算を実行し、画像データｇ’^（１） _ＸＹＺを算出する。

第２色変換部１０６は、後述するように、必要に応じて第１照明環境から第２照明環境に変更された場合に、第２照明環境下において撮像された撮像データｇ^（２）から画像データｇ’^（２）を生成するための部位であり、分光反射率推定部１０６ａと色再現部１０６ｂとを含む。

分光反射率推定部１０６ａは、分光反射率推定部１０４ａと同様に、第２照明環境下において分光放射輝度計３００で測定された分光放射輝度Ｅ^（２）と、予め格納された撮像装置２００の撮像素子の各波長における分光感度を示す行列Ｓと、予め格納された自己相関行列Ａとを用いて、分光反射率推定行列Ｗ^（２）を算出する。そして、分光反射率推定部１０６ａは、算出した分光反射率推定行列Ｗ^（２）を色再現部１０６ｂへ出力する。

色再現部１０６ｂは、線形補正部１０２から出力された線形画像データｇｃ^（２）と、分光反射率推定部１０６ａから出力された分光反射率推定行列Ｗ^（２）と、第１照明環境下において分光放射輝度計３００で測定された分光放射輝度Ｅ^（１）と、予め格納された各波長における等色関数の値を示す行列ｈとを用いて、画像データｇ’^（２） _ＸＹＺを算出する。

合成部１１６は、後述するフラグテーブル１１８のマップデータに従って、画像データｇ’^（１） _ＸＹＺに含まれる各画素データのうち特定のものと、画像データｇ’^（２） _ＸＹＺに含まれる各画素データのうち特定のものとを合成して、合成画像データＧ_ＸＹＺを生成する。

座標変換部１２０は、合成部１１６で生成されたＸＹＺ表色系の合成画像データＧ_ＸＹＺをＲＧＢ表色系の合成画像データＧ_ＲＧＢに変換して、ガンマ補正部１２２へ出力する。すなわち、座標変換部１２０は、合成画像データＧ_ＲＧＢを色空間の変換を行なった上で出力する。

座標変換部１２０で変換されたＲＧＢ表色系の合成画像データＧ_ＲＧＢは、線形性を維持しているため、表示装置などに出力する場合には、表示装置のガンマ特性を考慮して、予め表示装置のガンマ特性を打ち消すための補正を行なう必要がある。そこで、ガンマ補正部１２２は、線形補正部１０２における変換処理と逆の変換処理を行なう。より具体的には、ガンマ補正部１２２は、以下のような表示装置のガンマ値γｄを用いた演算式に従って、ＲＧＢ表色系の合成画像データＧ_ＲＧＢ（ｍ，ｎ）を色再現データｇｄ_ＲＧＢ（ｍ，ｎ）に変換する。

ｇｄ_ＲＧＢ（ｍ，ｎ）＝Ｇ_ＲＧＢ（ｍ，ｎ）^γｄ
ここで、表示装置のガンマ値γｄは、一例として「２．２」などに設定される。

本実施の形態に従うガンマ補正部１２２は、上述の線形補正部１０２と同様に、ルックアップテーブル（ＬＵＴ：Look-Up Table）を用いて演算処理を実行する。より具体的には、ガンマ補正部１２２は、ルックアップテーブル１２２ａを予め格納してり、このルックアップテーブル１２２ａを参照することで、ガンマ補正処理を行なう。ルックアップテーブル１２２ａは、入力される合成画像データＧ_ＲＧＢが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル１２２ａを参照して、入力された合成画像データＧ_ＲＧＢの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。

なお、ルックアップテーブル１２２ａの内容は、ガンマ値γｄによって異なったものとなるので、ガンマ値γｄが変更された場合には、ルックアップテーブル１２２ａの内容も変更する必要がある。

＜色域評価処理＞
評価部１１２は、上述のような色再現データｇｄの生成過程において、第１照明環境下で撮像された撮像データｇ^（１）が撮像装置２００で撮像可能な色域内に存在するか否かを評価する。そして、評価部１１２は、撮像データｇ^（１）が撮像装置２００で撮像可能な色域外の色を含むと評価された場合には、被写体ＯＢＪが発する色が撮像装置２００で撮像可能な色域内に納まるように、照明装置４００から特定の照明光を照射して、第２照明環境下を形成する。このような色域内に存在するか否かの評価は、ＸＹＺ表色系の色空間で行なう必要があるため、評価部１１２は、第１色変換部１０４から出力される画像データｇ’^（１） _ＸＹＺに対して評価を行なう。

図２は、図１に示す評価部１１２における色域評価処理の概略を説明するための図である。

図２に示すように、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、（７）式および（８）式に示すような変換式によって得られる２つの変数ｘおよびｙによって規定される二次元座標（以下「ｘｙ座標」とも称す。）として表わすことができる。

ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ） ・・・（７）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ） ・・・（８）
また、図２には、ＸＹＺ表色系における色度図を示す。この色度図では、中心が白色であり、その外周に向かうほど「純度」が高い色であることを意味する。また、略三角形の各頂点には、主としてＢ（青），Ｇ（緑），Ｒ（赤）が位置している。

図２（ａ）に示すように、Ｒ，Ｇ，Ｂの３つの撮像素子からなる撮像装置２００の撮像可能な色域は、ｘｙ座標において、各撮像素子で検出可能な色（純度）をそれぞれ頂点とする三角形となる。なお、撮像素子の数（バンド数）を増加させた場合には、当該バンド数と同数の多角形となる。

また、図２（ａ）には、第１照明環境下において撮像装置２００の各画素で撮像された色をサンプル点として例示している。各サンプル点は、上述の色再現処理によって算出される各画素の画像データｇ’^（１） _ＸＹＺをｘｙ座標上にプロットしたものである。

図２（ａ）に示すサンプル点のうち、２つのサンプル点の本来の色は、撮像可能な色域外に存在している場合を考える。この場合には、色域外のサンプル点の色は、撮像可能な色域に最も近い色域内の色として誤検出（クリッピング）される。すなわち、撮像可能な色域外に存在している色は、その純度を下げた別の色として検出されることになる。具体的には、図２（ａ）に示す２つのサンプル点の色は、本来、相対的に純度の高い黄色であったが、より赤味を帯びた色として検出されてしまう。

このように、撮像装置２００において撮像データｇの色情報が誤検出されてしまうと、上述の色再現処理において分光反射率を正確に算出することができない。その結果、正確に色再現を行なうことができない。

ここで、被写体ＯＢＪから発する光（色）は、照明環境に応じて変化するので、照明環境を適切に切換えることで、撮像可能な色域外に存在しているサンプル点を撮像可能な色域内に納めることができる。

図２（ｂ）は、図２（ａ）と同様の被写体ＯＢＪをより青味の強い第２照明環境下において撮像した場合のサンプル点を示す図である。図２（ｂ）に示すように、被写体ＯＢＪにより青味の強い照明光を照射すると、各サンプル点は、ｘｙ座標において全体的に青の方向（ｘｙ座標上で左下方向）に移動する。すなわち、照明環境を変えることで、図２（ａ）において色域外に存在していたサンプル点（以下「補正対象」とも称す。）は、より純度の低い黄色を放射するようになるので、撮像装置２００の撮像可能な色域内に納まる。その結果、被写体ＯＢＪの補正対象に対応する部分の色を撮像装置２００の撮像可能な色域内において撮像できるようになる。

上述の（６）式に示すように、第２照明環境下で撮像した撮像データｇ^（２）から第１照明環境下において撮像されるべきであった撮像データｇ^（１）に対応する画像データｇ’^（２） _ＸＹＺを生成できる。そのため、この補正対象の画素については、第２照明環境下で撮像した撮像データｇ^（２）から生成される画像データｇ’^（２） _ＸＹＺを用いるとともに、残余の画素については、第１照明環境下で撮像した撮像データｇ^（１）から生成される画像データｇ’^（１） _ＸＹＺを用いることで、色再現データｇｄを生成することができる。

図２（ｃ）は、図２（ｂ）に示す第２照明環境下で撮像された撮像データｇ^（２）に基づいて、図２（ａ）に示す第１照明環境下で生成されるべきであった画像データｇ’^（２） _ＸＹＺを生成した場合を示す。このような色再現処理を行なうことにより、撮像装置２００の撮像可能な色域外にある色であっても、正確に色再現を行なうことができる。

図３は、本実施の形態に従う画像合成処理の概略を説明するための図である。
図３を参照して、第１照明環境下において撮像された撮像データｇ^（１）のうち、撮像装置２００で撮像可能な色域外にある色を有する部分（補正対象）が特定される。そして、撮像データｇ^（１）から生成される補正対象を除いた部分の画像データｇ’^（１）と、第２照明環境下において撮像された撮像データｇ^（２）から生成される補正対象に対応する部分の画像データｇ’^（２）とが合成されて、合成画像データＧとして生成される。

ところで、照明装置４００から特定の照明光を適切に照射するためには、撮像装置２００の撮像可能な色域外にある色を特定する必要がある。そこで、本実施の形態に従う評価部１１２は、ｘｙ座標上においていずれの位置で色域外になっているかを評価し、この位置に応じて照明光を選択する。

図４は、図１に示す評価部１１２における照明光の切換処理の概略を説明するための図である。図４を参照して、ｘｙ座標上において、Ｒの撮像素子によって撮像可能な最大純度の赤色に対応する座標を（ｘ１，ｙ１）とし、Ｇの撮像素子によって撮像可能な最大純度の緑色に対応する座標を（ｘ２，ｙ２）とし、Ｂの撮像素子によって撮像可能な最大純度の青色に対応する座標を（ｘ３，ｙ３）とする。

そして、座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）とを結ぶ直線領域（ａ）上にサンプル点が存在する場合には、Ｙ（黄）の純度が高いと判断し、このＹ（黄）の補色であるＢ（青）の成分を多く含む照明光に切換える。

同様に、座標（ｘ２，ｙ２）と座標（ｘ３，ｙ３）とを結ぶ直線領域（ｂ）上にサンプル点が存在する場合には、Ｃ（シアン）の純度が高いと判断し、このＣ（シアン）の補色であるＲ（赤）の成分を多く含む照明光に切換える。

同様に、座標（ｘ３，ｙ３）と座標（ｘ１，ｙ１）とを結ぶ直線領域（ｃ）上にサンプル点が存在する場合には、Ｍ（マゼンダ）の純度が高いと判断し、このＭ（マゼンダ）の補色であるＧ（緑）の成分を多く含む照明光に切換える。

このように、評価部１１２は、画像データｇ’^（１）に含まれる色がｘｙ座標上のいずれの位置で色域外になっているかを評価し、当該位置に応じて照明光を選択する。

再度、図１を参照して、座標変換部１１０は、第１色変換部１０４から順次出力される画像データｇ’^（１）の各成分に対して、上述の（７）式および（８）式に示す変換式に従って座標変換を実行する。そして、座標変換部１１０は、変換した座標値（ｘ，ｙ）を評価部１１２へ順次出力する。

評価部１１２は、座標変換部１１０から順次出力される座標値（ｘ，ｙ）を、撮像装置２００による１回の撮像に相当する数だけ格納し、ｘｙ座標上において予め規定された撮像装置２００で撮像可能な色域外に存在するものがあるか否かを判断する。そして、評価部１１２は、撮像装置２００で撮像可能な色域外に存在する色をもつ画素が存在する場合には、当該画素の位置を特定するための情報（フラグ）をフラグテーブル１１８に格納する。すなわち、評価部１１２は、撮像装置２００で撮像可能な色域内に存在する色をもつ画素と、撮像装置２００で撮像可能な色域外に存在する色をもつ画素とを分類する。

また、評価部１１２は、撮像装置２００で撮像可能な色域外に存在する色をもつ画素が存在する場合には、その座標値（ｘ，ｙ）がいずれの位置で色域外になっているかを評価する。そして、評価部１１２は、当該位置に応じて、照明装置４００に対して照明光の選択指令を出力する。上述したように、具体的には、評価部１１２は、ｘｙ座標上のＲ，Ｇ，Ｂに対応する各座標を結ぶいずれかの直線領域に座標値（ｘ，ｙ）が存在しているか否かによって判断する。

なお、このｘｙ座標上において予め規定された撮像装置２００で撮像可能な色域は、評価テーブル１１４に予め格納される。また、撮像装置２００で撮像可能な色域は、撮像装置２００を構成する撮像素子の特性などに依存するため、撮像装置２００の種類または個体毎に実験的もしくはシミュレーションなどによって予め取得される。

図５は、図１に示すフラグテーブル１１８に格納されるデータ構造を説明するための図である。本実施の形態に従うフラグテーブル１１８は、撮像装置２００における画素配置（例えば、１９２０×１０８０画素）に対応するデータ構造を有している。なお、フラグテーブル１１８の初期値はすべて「０」に設定されているものとする。

評価部１１２は、図５（ａ）に示すように、第１照明環境下において撮像された撮像データｇ’^（１）のうち撮像装置２００で撮像可能な色域外に存在する色をもつ画素を特定すると、図５（ｂ）に示すように、フラグテーブル１１８のうち当該画素に対応する位置のフラグを「１」に設定する。評価部１１２は、撮像データｇ’^（１）に含まれるすべての画素について上記の処理を行なう。その結果、フラグテーブル１１８には、撮像装置２００で撮像された各画素のうち、その色が撮像装置２００で撮像可能な色域外に存在するものを示すマップが形成されることになる。

再度、図１を参照して、合成部１１６は、このようなフラグテーブル１１８に形成されたマップを参照して、合成画像データＧの生成に必要な画像データｇ’^（２）を特定する。なお、第２色変換部１０６は、第２照明環境下において撮像された撮像データｇ^（２）に基づいて、すべての画素に対応する画像データｇ’^（２）を算出するようにしてもよいが、画像データｇ’^（２）の算出処理は演算量が比較的多いので、合成部１１６を介してフラグテーブル１１８を参照した上で、合成画像データＧの生成に必要な画素についてのみ、画像データｇ’^（２）を生成することが好ましい。

なお、上述のフラグテーブル１１８には、撮像データｇ’^（１）のうち撮像装置２００で撮像可能な色域外に存在する色をもつ画素を特定するための情報に加えて、その色を特定するための情報を格納してもよい。

図６は、図１に示すフラグテーブル１１８の別形態を示す図である。図６を参照して、この形態のフラグテーブル１１８には、撮像可能な色域外に存在する色をもつ画素に対応する位置に、その色を特定するための「Ｒ」「Ｇ」「Ｂ」などの値が格納される。このようなフラグテーブルを採用することで、合成画像データＧの生成に必要な画像データｇ’^（２）の画素を特定することができるとともに、照明装置４００から照射すべき照明光の色を特定することもできる。

＜処理手順＞
本実施の形態に従う撮像システム１における処理手順をまとめると、以下のようになる。

図７は、この発明の実施の形態に従う撮像システム１における全体処理手順を示すフローチャートである。図８は、図７に示す色域評価処理サブルーチンの内容を示すフローチャートである。図９は、図７に示す照明環境切換サブルーチンの内容を示すフローチャートである。

図１および図７を参照して、まず、撮像装置２００が、第１照明環境下において被写体ＯＢＪを撮像し、被写体ＯＢＪに応じた撮像データｇ^（１）を出力する（ステップＳ２）。なお、撮像装置２００は、ユーザなどの操作に応答して撮像動作を実行する。続いて、分光反射率推定部１０４ａが、分光放射輝度計３００で測定された分光放射輝度Ｅ^（１）を取得し（ステップＳ４）、分光反射率推定行列Ｗ^（１）を算出する（ステップＳ６）。

続いて、線形補正部１０２が、撮像装置２００から出力される１つの画素に対応する撮像データｇ^（１） _ｉ（ｍ，ｎ）を線形化して線形画像データｇｃ^（１） _ｉ（ｍ，ｎ）を生成する（ステップＳ８）。そして、色再現部１０４ｂが、ステップＳ４において取得された分光放射輝度Ｅ^（１）と、ステップＳ６において算出された分光反射率推定行列Ｗ^（１）と、ステップＳ８において生成された線形画像データｇｃ^（１） _ｉ（ｍ，ｎ）とを用いて、画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）を算出する（ステップＳ１０）。さらに、撮像データｇ^（１）に含まれるすべての画素についての処理が完了したか否かが判断され（ステップＳ１２）、すべての画素についての処理が完了していなければ（ステップＳ１２においてＮＯ）、ステップＳ８以降の処理が再度実行される。

これに対して、すべての画素についての処理が完了していれば（ステップＳ１２においてＹＥＳ）、画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が撮像装置２００で撮像可能な色域内に存在しているか否かを評価するために、色域評価処理サブルーチンが実行される（ステップＳ１４）。この色域評価処理サブルーチンの評価結果は、フラグテーブル１１８に格納される。

色域評価処理サブルーチンの実行後、評価部１１２は、フラグテーブル１１８にフラグが設定されているか否か、すなわち撮像装置２００で撮像可能な色域外に画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が存在するか否かを判断する（ステップＳ１６）。フラグが設定されている場合（ステップＳ１６においてＹＥＳの場合）には、色再現部１０６ｂが現時点の分光放射輝度Ｅ^（１）を記憶する（ステップＳ１８）。そして、評価部１１２が、照明装置４００からの照明光を切換えるために、照明環境切換サブルーチンを実行する（ステップＳ２０）。この照明環境切換サブルーチンの実行後、撮像装置２００が、第２照明環境下において被写体ＯＢＪを再度撮像し、被写体ＯＢＪに応じた撮像データｇ^（２）を出力する（ステップＳ２２）。続いて、分光反射率推定部１０６ａが、分光放射輝度計３００で測定された分光放射輝度Ｅ^（２）を取得し（ステップＳ２４）、分光反射率推定行列Ｗ^（２）を算出する（ステップＳ２６）。

続いて、評価部１１２が、フラグテーブル１１８を参照して、合成画像データＧの生成に必要な画素を特定する（ステップＳ２８）。線形補正部１０２が、撮像装置２００から出力される撮像データｇ^（２）のうち、合成画像データＧに必要な画素に対応するｇ^（２） _ｉ（ｍ，ｎ）を線形化して線形画像データｇｃ^（２） _ｉ（ｍ，ｎ）を生成する（ステップＳ３０）。そして、色再現部１０６ｂが、ステップＳ１８において予め記憶した分光放射輝度Ｅ^（１）と、ステップＳ２６において算出された分光反射率推定行列Ｗ^（２）と、ステップＳ３０において生成された線形画像データｇｃ^（２） _ｉ（ｍ，ｎ）とを用いて、画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）を算出する（ステップＳ３２）。さらに、合成画像データＧに必要なすべての画素についての処理が完了したか否かが判断され（ステップＳ３４）、合成画像データＧに必要なすべての画素についての処理が完了していなければ（ステップＳ３４においてＮＯ）、ステップＳ２８以降の処理が再度実行される。

これに対して、合成画像データＧに必要なすべての画素についての処理が完了していれば（ステップＳ３４においてＹＥＳ）、合成部１１６が、ステップＳ３２において算出された画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）と、ステップＳ１０において算出された画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）のうち画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）に対応する画素を除いたデータとから合成画像データＧ_ＸＹＺを生成する（ステップＳ３６）。さらに、座標変換部１２０が、ステップＳ３６で算出された合成画像データＧ_ＸＹＺをＲＧＢ表色系の合成画像データＧ_ＲＧＢに変換し（ステップＳ３８）、続いて、ガンマ補正部１２２が、合成画像データＧ_ＲＧＢを色再現データｇｄ_ＲＧＢに変換し（ステップＳ４０）、外部出力する。

一方、フラグが設定されていない場合（ステップＳ１６においてＮＯの場合）には、合成部１１６は、ステップＳ１０において算出された画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）を合成画像データＧ_ＸＹＺとして出力する（ステップＳ４２）。さらに、座標変換部１２０が、ステップＳ４０で出力された合成画像データＧ_ＸＹＺをＲＧＢ表色系の合成画像データＧ_ＲＧＢに変換し（ステップＳ４４）、続いて、ガンマ補正部１２２が、合成画像データＧ_ＲＧＢを色再現データｇｄ_ＲＧＢに変換し（ステップＳ４６）、外部出力する。

次に、ステップＳ１４の色域評価処理サブルーチンの内容について説明する。図８を参照して、まず、座標変換部１１０が画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）をｘｙ座標上の座標値（ｘ，ｙ）に変換する（ステップＳ１００）。そして、評価部１１２は、評価テーブル１１４から撮像装置２００の撮像可能なｘｙ座標上の色域を読出す（ステップＳ１０２）。

そして、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図４に示すようなＲ（赤）に対応する座標（ｘ１，ｙ１）とＧ（緑）に対応する（ｘ２，ｙ２）とを結ぶ直線領域（ａ）上に存在するか否かを判断する（ステップＳ１０４）。座標値（ｘ，ｙ）が直線領域（ａ）上に存在する場合（ステップＳ１０４においてＹＥＳの場合）には、評価部１１２は、フラグＢ（青）を設定する（ステップＳ１０６）。

座標値（ｘ，ｙ）が直線領域（ａ）上に存在しない場合（ステップＳ１０４においてＮＯの場合）には、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図４に示すようなＧ（緑）に対応する座標（ｘ２，ｙ２）とＢ（青）に対応する（ｘ３，ｙ３）とを結ぶ直線領域（ｂ）上に存在するか否かを判断する（ステップＳ１０８）。座標値（ｘ，ｙ）が直線領域（ｂ）上に存在する場合（ステップＳ１０８においてＹＥＳの場合）には、評価部１１２は、フラグＲ（赤）を設定する（ステップＳ１１０）。

座標値（ｘ，ｙ）が直線領域（ｃ）上に存在しない場合（ステップＳ１０８においてＮＯの場合）には、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図４に示すようなＢ（青）に対応する座標（ｘ３，ｙ３）とＲ（赤）に対応する（ｘ１，ｙ１）とを結ぶ直線領域（ｃ）上に存在するか否かを判断する（ステップＳ１１２）。座標値（ｘ，ｙ）が直線領域（ｃ）上に存在する場合（ステップＳ１１２においてＹＥＳの場合）には、評価部１１２は、フラグＧ（緑）を設定する（ステップＳ１１４）。

ステップＳ１０６，Ｓ１０８，Ｓ１１０の実行後、評価部１１２は、フラグテーブル１１８の対象の画素に対応する位置にフラグ「１」を設定する（ステップＳ１１６）。

さらに、撮像データｇ^（１）に含まれるすべての画素についての処理が完了したか否かが判断され（ステップＳ１１８）、すべての画素についての処理が完了していなければ（ステップＳ１１８においてＮＯ）、ステップＳ１０４以降の処理が再度実行される。

これに対して、すべての画素についての処理が完了していれば（ステップＳ１１６においてＹＥＳ）、処理は、図７のステップＳ１６に移行する。

次に、ステップＳ２０の照明環境切換サブルーチンの内容について説明する。図９を参照して、評価部１１２は、まず、フラグＢ（青）が設定されているか否かを判断する（ステップＳ２００）。フラグＢ（青）が設定されている場合（ステップＳ２００においてＹＥＳの場合）には、評価部１１２は、Ｂ（青）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２０２）。

フラグＢ（青）が設定されていない場合（ステップＳ２００においてＮＯの場合）には、評価部１１２は、フラグＲ（赤）が設定されているか否かを判断する（ステップＳ２０４）。フラグＲ（赤）が設定されている場合（ステップＳ２０４においてＹＥＳの場合）には、Ｒ（赤）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２０６）。

フラグＲ（赤）が設定されていない場合（ステップＳ２０４においてＮＯの場合）には、評価部１１２は、フラグＧ（緑）が設定されているか否かを判断する（ステップＳ２０８）。フラグＧ（緑）が設定されている場合（ステップＳ２０８においてＹＥＳの場合）には、Ｇ（緑）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２１０）。

ステップＳ２０２，２０６，２１０のいずれかの処理が実行された後、処理は、図７のステップＳ２２に移行する。

なお、上述の処理手順においては、撮像装置２００で撮像可能な色域外の色をもつ画素がＲ（赤），Ｇ（緑），Ｂ（青）のいずれか１つの色である場合について説明したが、複数の色において色域外になっている場合、すなわちフラグＲ（赤），フラグＧ（緑），フラグＢ（青）のうち複数のフラグが設定されている場合には、上述した第２照明環境下における処理を複数回実行してもよい。この場合には、設定せれたそれぞれのフラグに応じて、第２照明環境を複数回形成するとともに、それぞれの第２照明環境下において被写体ＯＢＪを撮像することで撮像データを取得し、上述と同様の手順に従って、各撮像データから算出される画像データのうち必要な画素のデータを用いて、合成画像データを生成すればよい。

＜本実施形態による作用効果＞
この発明の実施の形態によれば、撮像装置で撮像可能な色域を考慮して被写体を撮像する際の照明環境を決定することができる。そのため、撮像装置を用いて被写体の色を正しく撮像できるので、この撮像された撮像データから被写体の分光反射率を正確に推定できる。したがって、被写体を撮像すべき照明環境において被写体の色が撮像装置の撮像可能な色域外に存在している場合であっても、分光反射率を正確に推定した上で、当該撮像すべき照明環境において撮像（観察）されるであろう色を適切に再現することができる。

この結果、撮像装置の撮像可能な色域に比較して表示装置の表示可能な色域が広い場合などにおいて、表示装置では、撮像装置の撮像能力を超えた純度の色を表示させることも可能となる。

また、この発明の実施の形態によれば、撮像装置で撮像可能な色域外の色をもつ画素についてのみ分光反射率を推定することで合成画像データを生成できるので、演算処理量の増大を抑制することができる。

＜変形例＞
上述の実施の形態においては、主としてハードウェアで構成された画像処理装置１００を用いる構成について例示したが、その全部または一部をソフトウェアで実現してもよい。すなわち、コンピュータを用いて、画像処理装置１００における処理を実現してもよい。

図１０は、この発明の実施の形態の変形例に従う画像処理装置１００＃を実現するコンピュータの概略構成図である。

図１０を参照して、コンピュータは、ＦＤ（Flexible Disk）駆動装置１６６およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１６８を搭載したコンピュータ本体１５０と、モニタ１５２と、キーボード１５４と、マウス１５６とを含む。

コンピュータ本体１５０は、相互にバスで接続された、演算装置であるＣＰＵ（Central Processing Unit）１６０と、メモリ１６２と、記憶装置である固定ディスク１６４と、通信インターフェース１７０とをさらに含む。

ＦＤ駆動装置１６６にはＦＤ１６６ａが装着され、ＣＤ−ＲＯＭ駆動装置１６８にはＣＤ−ＲＯＭ１６８ａが装着される。本実施の形態の変形例に従う画像処理装置１００＃は、ＣＰＵ１６０がメモリ１６２などのコンピュータハードウェアを用いて、ソフトウェアを実行することで実現できる。一般的に、このようなソフトウェアは、ＦＤ１６６ａやＣＤ−ＲＯＭ１６８ａなどの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなソフトウェアは、ＦＤ駆動装置１６６やＣＤ−ＲＯＭ駆動装置１６８などにより記録媒体から読取られて、または通信インターフェース１７０にて受信されて、固定ディスク１６４に格納される。さらに、固定ディスク１６４からメモリ１６２に読出されて、ＣＰＵ１６０により実行される。

モニタ１５２は、ＣＰＵ１６０が出力する情報を表示するための表示部であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。マウス１５６は、クリックやスライドなどの動作に応じたユーザから指令を受付ける。キーボード１５４は、入力されるキーに応じたユーザから指令を受付ける。ＣＰＵ１６０は、プログラムされた命令を順次実行することで、各種の演算を実施する演算処理部である。メモリ１６２は、ＣＰＵ１６０のプログラム実行に応じて、各種の情報を記憶する。通信インターフェース１７０は、コンピュータと撮像装置２００、分光放射輝度計３００、照明装置４００（図１）などとの間の通信を確立するための装置であり、ＣＰＵ１６０が出力した情報を、例えば電気信号に変換して他の装置へ送出するとともに、他の装置から電気信号を受信してＣＰＵ１６０が利用できる情報に変換する。固定ディスク１６４は、ＣＰＵ１６０が実行するプログラムや予め定められたデータなどを記憶する不揮発性の記憶装置である。また、コンピュータには、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

さらに、本実施の形態に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明に係るプログラムに含まれ得る。

また、本実施の形態に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。

＜その他の形態＞
上述の実施の形態においては、分光放射輝度計３００が被写体ＯＢＪにおける照明環境（分光放射輝度）を直接測定する構成について例示したが、被写体ＯＢＪへ照射される照明光が主として照明装置４００からの照明光に依存する場合などには、分光放射輝度を直接測定する代わりに、予め測定して分光放射輝度を用いてもよい。すなわち、照明装置４００から選択的に照射される各照明光に対応付けて予め分光放射輝度を測定しておき、これらの予め測定された分光放射輝度のうち、照明装置４００から放射される照明光の選択に応じて、対応する分光放射輝度を読出すようにしてもよい。

また、照明装置４００から照射する照明光は、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域外に存在する場合に限って照射するようにしてよい。すなわち、通常の撮像時には、所望の照明環境下で被写体ＯＢＪを測定するとともに、この照明環境下において、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域外に存在する場合に、はじめて照明装置４００から特定の照明光を照射するような運用としてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態に従う撮像システムの概略構成図である。 図１に示す評価部１１２における色域評価処理の概略を説明するための図である。 本実施の形態に従う画像合成処理の概略を説明するための図である。 図１に示す評価部１１２における照明光の切換処理の概略を説明するための図である。 図１に示すフラグテーブル１１８に格納されるデータ構造を説明するための図である。 図１に示すフラグテーブル１１８の別形態を示す図である。 この発明の実施の形態に従う撮像システムにおける全体処理手順を示すフローチャートである。 図７に示す色域評価処理サブルーチンの内容を示すフローチャートである。 図７に示す照明環境切換サブルーチンの内容を示すフローチャートである。 この発明の実施の形態の変形例に従う画像処理装置を実現するコンピュータの概略構成図である。

符号の説明

１ 撮像システム、１００ 画像処理装置、１０２ 線形補正部、１０２ａ ルックアップテーブル（ＬＵＴ）、１０４ 第１色変換部、１０６ 第２色変換部、１０４ａ，１０６ａ 分光反射率推定部、１０４ｂ，１０６ｂ 色再現部、１１０，１２０ 座標変換部、１１２ 評価部、１１４ 評価テーブル、１１６ 合成部、１１８ フラグテーブル、１２２ ガンマ補正部、１２２ａ ルックアップテーブル（ＬＵＴ）、１５０ コンピュータ本体、１５２ モニタ、１５４ キーボード、１５６ マウス、１６２ メモリ、１６４ 固定ディスク、１６６ ＦＤ駆動装置、１６８ ＣＤ−ＲＯＭ駆動装置、１７０ 通信インターフェース、２００ 撮像装置、３００ 分光放射輝度計、４００ 照明装置、４０２ フィルタホイール、４０４ 波長フィルタ、４０６ モータ、４０８ 光源、ＯＢＪ 被写体。

Claims (17)

1. 撮像装置を用いて被写体を撮像することで、第１撮像データを取得するステップと、
   前記第１撮像データに含まれる第１色データが前記撮像装置で撮像可能な色域を囲む線上に位置するか否かを評価するステップと、
   前記第１色データが前記撮像可能な色域を囲む線上に位置すると評価された場合に、特定の波長をもつ照明光を前記被写体に向けて照射するステップと、
   前記照明光の照射中に前記被写体を再度撮像し、第２撮像データを取得するステップと、
   前記第１撮像データの色域を囲む線上に位置すると評価された色データに対応する前記第２撮像データの第２色データに対し、前記照明光の特定の波長特性を用いて、被写体の色を推定し色データを生成するステップと、
   前記第１撮像データの色域を囲む線上に位置すると評価された色データに対して、対応する前記推定された色データを合成した合成画像データを生成するステップとを備える、撮像方法。
2. 撮像装置を用いて、第１照明環境下において被写体を撮像することで、第１撮像データを取得するステップと、
   前記第１照明環境下において前記被写体に照射される光の分光放射輝度である第１分光放射輝度を取得するステップと、
   前記第１撮像データと前記第１分光放射輝度とを用いて前記被写体の分光反射率を推定した上で、当該分光反射率と前記第１分光放射輝度とを用いて前記被写体の色を示す第１色空間上の第１色データを生成するステップと、
   前記撮像装置を用いて、第２照明環境下において被写体を撮像することで、第２撮像データを取得するステップと、
   前記第２照明環境下において前記被写体に照射される光の分光放射輝度である第２分光放射輝度を取得するステップと、
   前記第２撮像データと前記第１分光放射輝度とを用いて、前記被写体の分光反射率を推定した上で、当該分光反射率と前記第１分光放射輝度とを用いて前記被写体の色を示す第１色空間上の第２色データを生成するステップと、
   前記第１撮像データに対応する第１色データと、前記第１色データを除いた残余の画素に対応する第２色データとに基づいて合成画像データを生成するステップとを備える、撮像方法。
3. 前記第２色データを生成するステップは、前記残余の画素についてのみ前記第２色データを生成するステップを含む、請求項２に記載の撮像方法。
4. 各画素についての前記第１色データが前記撮像装置で撮像可能な色域を囲む線上に位置するか否かを評価するステップをさらに備え、
   前記評価するステップは、前記撮像装置で撮像可能な色域の内側に存在する第１色データに対応する画素を第１群の画素に分類するとともに、前記撮像装置で撮像可能な色域を囲む線上に位置する第１色データに対応する画素を第２群の画素に分類するステップを含む、請求項２または３に記載の撮像方法。
5. 前記評価するステップは、前記第１色データのうち前記撮像装置で撮像可能な色域を囲む線上に位置するものがある場合に、前記被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置から特定の照明光を前記被写体に向けて照射することで、前記第２照明環境を形成するステップを含む、請求項４に記載の撮像方法。
6. 前記評価するステップは、前記撮像装置で撮像可能な色域を囲む線上に位置する前記第１色データに対応する画素の色が前記撮像装置で撮像可能な色域の内側に納まるように、前記特定の照明光を選択するステップを含む、請求項５に記載の撮像方法。
7. 前記照明光を選択するステップは、前記撮像装置で撮像可能な色域を囲む線上に位置する前記第１色データが前記第１色空間上のいずれの線上に位置するかを評価することで、当該位置に応じて前記特定の照明光を選択するステップを含む、請求項６に記載の撮像方法。
8. 前記第１色空間上の前記合成画像データを第２色空間上の画像データに変換するステップをさらに備える、請求項２〜７のいずれか１項に記載の撮像方法。
9. 前記第１色空間はＸＹＺ表色系であり、前記第２色空間はＲＧＢ表色系である、請求項８に記載の撮像方法。
10. 被写体に応じた各画素における複数の撮像素子の出力値からなる撮像データを出力する撮像装置と、
    前記被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、
    前記被写体を第１照明環境下において撮像した第１撮像データと前記第１照明環境下における第１分光放射輝度とを用いて各画素における前記被写体の分光反射率を推定した上で、当該分光反射率と前記第１分光放射輝度とを用いて前記被写体の色を示す第１色空間上の第１色データを各画素について生成する第１色変換手段と、
    前記被写体を第２照明環境下において撮像した第２撮像データと前記第２照明環境下における第２分光放射輝度とを用いて各画素における前記被写体の分光反射率を推定した上で、当該分光反射率と前記第１分光放射輝度とを用いて前記被写体の色を示す第１色空間上の第２色データを各画素について生成する第２色変換手段と、
    前記撮像装置に含まれる複数の画素のうち第１群の画素に対応する第１色データと、前記第１群の画素を除いた残余の第２群の画素に対応する第２色データとに基づいて合成画像データを生成する合成手段とを備える、撮像システム。
11. 前記第２色変換手段は、前記第２群に分類される画素についてのみ前記第２色データを生成する、請求項１０に記載の撮像システム。
12. 各画素についての前記第１色データが前記撮像装置で撮像可能な色域を囲む線上に位置するか否かを評価する評価手段をさらに備え、
    前記評価手段は、前記撮像装置で撮像可能な色域の内側に存在する第１色データに対応する画素を前記第１群の画素に分類するとともに、前記撮像装置で撮像可能な色域を囲む線上に位置する第１色データに対応する画素を前記第２群の画素に分類する、請求項１０または１１に記載の撮像システム。
13. 前記被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置をさらに備え、
    前記評価手段は、前記第１色データのうち前記撮像装置で撮像可能な色域を囲む線上に位置するものがある場合に、前記照明装置から特定の照明光を前記被写体に向けて照射させて前記第２照明環境を形成する、請求項１２に記載の撮像システム。
14. 前記評価手段は、前記撮像装置で撮像可能な色域を囲む線上に位置する前記第１色データに対応する画素の色が前記撮像装置で撮像可能な色域の内側に納まるように、前記特定の照明光を選択する、請求項１３に記載の撮像システム。
15. 前記評価手段は、前記撮像装置で撮像可能な色域を囲む線上に位置する前記第１色データが前記第１色空間上のいずれの線上に位置するかを評価し、当該位置に応じて前記特定の照明光を選択する、請求項１４に記載の撮像システム。
16. 前記第１色空間上の前記合成画像データを第２色空間上の画像データに変換する第３色変換手段をさらに備える、請求項１０〜１５のいずれか１項に記載の撮像システム。
17. 前記第１色空間はＸＹＺ表色系であり、前記第２色空間はＲＧＢ表色系である、請求項１６に記載の撮像システム。