JP4692190B2

JP4692190B2 - 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム

Info

Publication number: JP4692190B2
Application number: JP2005283954A
Authority: JP
Inventors: 隆行長谷川
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2005-09-29
Filing date: 2005-09-29
Publication date: 2011-06-01
Anticipated expiration: 2025-09-29
Also published as: JP2007096793A

Description

本発明は、被写体をディジタルスチルカメラやディジタルビデオカメラやスキャナー等のディジタル画像入力機器で撮影することによって得られた画像から、撮像系に依存しない被写体の色特性である分光反射率を推定し、分光反射率を得る分光反射率推定装置に関する。被写体の色特性を分光反射率として推定することにより、例えば、経年による劣化が生じる物体の現状の色特性の保存や、撮像特性に固有でない測色的に定義された被写体の画像の蓄積、被写体の画像データの色や明るさを補正するカラー画像処理等を好適に行うことが可能である。

物体の色特性は、その物体の分光反射率によって表される。一方、その物体を撮像系により撮影して得られる画像データは、例えば画素値Ｒ、Ｇ、Ｂ等として記述されるのが一般的であるが、これらの画像データは物体の分光反射率だけでなく、撮影時の照明光源や撮像系の特性にも依存する。従って、物体自体の色特性を取得するためには、画像データから被写体の分光反射率を推定する必要が有り、その方法としてはおおよそ以下のような状況であった。

まず、広く一般的に使用されているＲ、Ｇ、Ｂ、３チャンネルの撮影情報から分光反射率を推定する方法がある。（例えば、特許文献１参照。）この手法では、被写体が人の肌などに限定される特殊な場合には、高精度で分光反射率推定を行うことができることが知られているが、一般的な被写体に同様の方法を適用するには、情報が不足して十分な推定精度を得るには至っていなかった。

また、可視光波長領域にわたり、透過波長帯の異なる複数の狭帯域フィルタを用いて順次撮影を行う分光画像撮影技術が広く知られている。この方法では、単色の画像入力機器を使用し、画像入力機器、または照明光源の前面に狭帯域フィルタを順次設置しながら撮影することにより、数十チャンネルの画像を取得し、そこから被写体の分光反射率の推定を行う。しかしながら、この方法では、（イ）狭帯域フィルタを用いるため光量が不足すること、（ロ）価格が高額になること、（ハ）装置の重量及び大きさが増加すること、（ニ）動画への対応が困難であること、等が問題となっていた。

また、分光反射率を基底ベクトルの低次元線形和によって近似する分光反射率低次元線形モデルを用いることにより、撮影チャンネル数を低減する方法もある。この方法では、線形モデルの次数と等しいチャンネル数の画像データを取得することにより、画像データから基底ベクトルの係数への線形変換を行い、分光反射率を推定することが可能である。一般的に、分光反射率低次元線形モデルに必要とされる次元数は５〜８程度とされており、分光反射率を推定するためにはこれと同数のチャンネル数の画像データを取得すればよい。そのため、フィルタの分光特性は必ずしも狭帯域でなくてもよく、前述の（イ）の問題は解決できるが、（ロ）〜（ニ）については同様の問題を抱えていた。

特開２００２−１８５８０３号公報（第３〜４頁）

本発明は前記従来の技術が持つ諸問題に鑑みなされたものであって、画像入力機器の外部に専用の機器を必要とすること無く、低コストで簡便に、しかも高精度で被写体固有の色特性である分光反射率を推定することができ、その結果を利用して、撮像系に固有の各特性に影響を受けない色としての分光反射率データを撮影された画像から求めることを可能とする分光反射率推定方法、分光反射率推定装置、並びに分光反射率推定プログラムを提供することを目的とする。

前記課題を解決するために提供する本発明の第１の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得ステップと、前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得ステップで得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得ステップと、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成ステップと、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、前記各色票の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を行列として配列して独立変数とする独立変数作成ステップと、前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成ステップと、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得ステップと同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定ステップと、を有する分光反射率推定方法である。

また、本発明の第２の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得ステップと、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得ステップで得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得ステップと、
分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成ステップと、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、前記存在確率係数を最大とする分光反射率候補を非線形最適化手により決定する被写体分光反射率推定ステップと、を有する分光反射率推定方法である。

また、本発明の第３の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力する画像入力手段と、
前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得手段と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得手段で得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得手段と、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成手段と、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成手段と、前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成手段と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得手段が行うのと同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、前記存在確率係数を最大とする分光反射率候補を非線形最適化手により決定する被写体分光反射率推定手段と、を有する分光反射率推定装置である。

また、本発明の第４の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件で入力でき、その画像入力の際の入射光に対する分光感度特性及び画像入力に用いる照明光源の分光分布特性が既知である画像入力手段と、分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得手段と、前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得手段で得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得手段と、分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成手段と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、前記存在確率係数を最大とする分光反射率候補を非線形最適化手により決定する被写体分光反射率推定手段と、を有する分光反射率推定装置である。

また、本発明の第５の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置のコンピュータに実行させるプログラムであって、分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、
前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得処理と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得処理で得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得処理と、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成処理と、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、前記各色票の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を行列として配列して独立変数とする独立変数を作成する独立変数作成処理と、前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成処理と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得処理と同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、前記存在確率係数を最大とする分光反射率候補を非線形最適化手により決定する被写体分光反射率推定処理と、を有する分光反射率推定プログラムである。

また、本発明の第６の発明は、ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置のコンピュータに実行させるプログラムであって、分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得処理と、前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得処理で得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得処理と、分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成処理と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、前記存在確率係数を最大とする分光反射率候補を非線形最適化手により決定する被写体分光反射率推定処理と、を有する分光反射率推定プログラムである。

本発明によれば、請求項１または請求項２に示す分光反射率推定方法、あるいは請求項３または請求項４に示す分光反射率推定装置、あるいは請求項５または請求項６に示す分光反射率推定プログラムによって、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数、及び、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数に基づき、被写体の分光反射率データを高い精度で算出することができる。この分光反射率データは、画像入力機器固有の特性に依存しない被写体固有の色特性として取り扱うことが可能である。

以上説明したように、本発明によれば、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数、及び、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数に基づき、撮像系により撮影された画像データを被写体固有の色特性である分光反射率を示す分光反射率データへ変換することができる。これによって、前記のような専用の多チャンネル画像入力機器を敢えて用いることもなく、撮影で得られた画像データを分光反射率データへ変換する方法及び装置を提供することができた。

＜１．構成＞
以下、本発明に係る装置構成について一実施形態を例示し、図面を参照しつつ、より詳細に説明する。尚、本実施の形態では画像入力機器としてディジタルカメラを用いた説明となっているが、後段に示すように、スキャナーなどにも応用が可能であり、その都度、適宜読み替えて実施することができる。

図１は、本発明の一実施形態に係る分光反射率推定装置の構成を示す説明図である。同図において、１は同一平面上に分光分布の異なる複数の色票が配列された標準板であり、空間内の測定対象位置に、撮像手段の方向へ前記色票を有する面を向けて設置する。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び分光反射率が実質一様となるように作成されている。なお、撮像系の分光感度特性、及び撮影時に用いる照明光源の分光分布特性が既知であれば、標準板１の使用は省略し、分光反射率が既知である物体ひとつを代替として用いることも可能である。

また、２は照明光源であり、標準板１を照射する。

また、３はディジタルカメラである。ここでは、Ｒ、Ｇ、Ｂの３チャンネルの光センサが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイルに記録する撮像手段と、撮像手段の露光条件であるシャッタースピードと絞り値を制御して、撮影に好適な露光条件を設定する設定手段とを兼ね備えたディジタルカメラである。

また、４は撮像手段で得られた画像ファイルを入力して、撮像系の特性を示す画像入力機器用変換係数行列を算出する解析手段であり、計算機（コンピュータ）が用いられる。また、撮影された画像ファイルは計算機４によって、撮像系固有の画像データから分光反射率データへ変換される。

＜２．動作＞
２−１．全体動作
以下、本発明に係る分光反射率推定方法や分光反射率推定装置の一例について、図面を参照しつつ、全体の処理のステップあるいは全体の動作について説明する。図２は、本実施形態に係る分光反射率推定装置を用いた全体の動作フローを示すブロック図である。

（ｓ１）ユーザが、標準板１を測定対象位置に設置し、標準板１の色票面が適切な明るさとなるよう照明光源２を設置し、ディジタルカメラ３をディジタルカメラ３の撮像範囲で標準板１が適切な大きさに撮影される測定位置に設置する。

（ｓ２）ユーザが、標準板１の表面から反射される光がディジタルカメラの適正露光範囲に収まるようディジタルカメラ３の露光条件であるシャッタースピードと絞り値を設定する。

（ｓ３）ユーザが、ディジタルカメラ３のシャッターを切り、ディジタルカメラ３が撮影を行う。また、同様の手順により、同一の照明光源２、及び同一の露光条件の下で、撮影の本来の対象となる被写体を撮影し、画像ファイルに記録する。

（ｓ４）ユーザが、ディジタルカメラ３に記録された画像ファイルを計算機４へ入力する。

（ｓ５）計算機４は、物体の分光反射率を特定の次元で表現するための基底関数と、標準板１の各色票の分光反射率データと、ディジタルカメラ３の階調特性データに基づき、画像ファイル内に記録された標準板１の画像データに対応して解析処理を行い、被写体の分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を、ディジタルカメラが出力する画素値をディジタルカメラへの入射光のエネルギー量に線形となるように変換した線形階調データ（以下、センサ応答値）に変換する画像入力機器用変換行列を出力する。

（ｓ６）計算機４が、解析処理で計算された画像入力機器用変換行列と、物体の分光反射率特性を統計的に表すための統計量データに基づき、ｓ４で入力したディジタルカメラ３からの画像ファイルの画像データを分光反射率データへ変換する。

なお、上記ｓ１からｓ６は、部分的に、または全体的に、ユーザ（人間）の作業によるのではなく、自動で処理することも可能である。省力化や迅速化のためには、一般にその方が好ましい。また、ｓ３では標準板１と被写体を同一条件下で別途撮影し、異なる画像ファイルとして記憶したが、被写体を撮影する際に空間的に十分な余裕があれば、そこに標準板１を設置し、標準板１と被写体の画像データを一度の撮影によって得ることも可能である。

２−２．解析処理
以下、本発明に係る分光反射率推定方法や分光反射率推定装置の一例における、被写体の分光反射率とディジタルカメラのセンサ応答値とを対応付ける画像入力機器用変換係数を算出する解析処理について、図３のフローチャートに基づいて説明する。

（ｓ７）ディジタルカメラ３で撮影した標準板１を含む画像データが記載された画像ファイルから、画像データを読み込む。

（ｓ８）標準板１の画像データをモニタ上に表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より画像データ内の各色票の位置を特定し、それぞれの色票における中心付近の一定領域の画素について画素値を得る。

（ｓ９）ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、ｓ８で得られた全ての画素値を線形化し、センサ応答値を得る。

（ｓ１０）各色票についてセンサ応答値の平均値を取り、それらの値を行列として配列したセンサ応答行列を得る。例えば、Ｒ、Ｇ、Ｂの３チャンネルからなるディジタルカメラ、及び、Ｌ個の色票を有する標準板を使用したとすれば、センサ応答行列Ｙは３行Ｌ列の行列として（１）式と表される。請求項における従属変数がこのＹに当たる。

（ｓ１１）予め記憶してある、標準板１の各色票の分光反射率データ、例えば、波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされたＬ個の３６次元ベクトルと、同様に波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた、被写体の分光反射率をＮ次元の線形結合で表現するためのＮ個の正規直行基底関数をＮ個の３６次元ベクトルで表した基底関数ベクトルとから、線形結合における基底関数への係数を配列したＮ行Ｌ列の係数行列Ｘを（２）式のように作成する。請求項における独立変数がこのＸに当たる。

ただし、ｂは分光反射率の基底関数ベクトル、ｒは色票の分光反射率ベクトルを表す。また、Ｔは行列の転置を表す。なお、標準板１の設計にあたっては、標準板１の各色票は、その分光反射率が基底関数ベクトルｂのＮ次元線形結合として十分な精度で表されるよう、例えば実在する物体サンプルの中から該当するものを予め選択しておくか、あるいは、例えば実在する染色材料と媒体とから予め作成しておく。また、色票の数Ｌは基底関数ベクトルの数Ｎ以上とし、Ｌ個の色票の分光反射率が波長空間に張る部分空間はＮ個の基底関数ベクトルが張る空間と実質的に等価となるよう色票の選択または作成を行っておく。

（ｓ１２）ｓ１０で算出されたセンサ応答行列Ｙを従属変数行列、ｓ１１で算出された係数行列Ｘを独立変数行列として、線形重回帰分析を行い、得られた偏回帰係数からなる３行Ｎ列の行列を、分光反射率を特定の次元の線形結合で表現した際の基底関数ベクトルに対する係数をセンサ応答値に変換する画像入力機器用変換行列Ｍとする。

なお、ｓ１２では線形重回帰分析により画像入力機器用変換行列Ｍを決定したが、照明光源２の分光分布、及びディジタルカメラ３の分光感度特性が既知である場合には、標準板１を用いること無く、この行列を計算により導出することも可能である。画像入力機器用変換行列Ｍは分光反射率を特定の次元の線形結合で表現した際の基底関数ベクトルに対する係数をセンサ応答値に変換するので、（３）式と等価である。

ただし、Ｆはディジタルカメラ３の分光感度特性を表す３６行３列の行列で、各列はＲ、Ｇ、Ｂそれぞれのチャンネルにおける分光感度特性を正規化した３６次元ベクトルから成る。

また、Ｅは照明光源２の分光分布データを対角成分に持つ３６行３６列の対角行列である。また、ＢはＮ個の基底関数ベクトルのそれぞれを各列に持つ３６行Ｎ列の行列である。ここで、Ｆの各列は、ディジタルカメラの分光感度特性の測定値に正規化のための係数を乗じたものであり、その係数は、例えば、分光反射率が３６次元ベクトルｒで表される物体を標準板１の代わりに撮影し、ｓ８〜ｓ１０と同様の方法で画像データ内においてその物体に対応する画素位置の平均センサ応答Ｒ、Ｇ、Ｂを算出し、（４）式が成り立つように決定すれば良い。

２−３．分光反射率データ算出処理
以下、本発明に係る分光反射率推定方法あるいは分光反射率推定装置の一例における、解析処理で算出された画像入力機器用変換行列Ｍを用い、ディジタルカメラ３からの画像ファイルの画像データを分光反射率データへ変換する分光反射率データ算出処理について、図４のフローチャートに基づいて説明する。

（ｓ１３）ディジタルカメラ３で撮影した被写体を含む画像データが記載された画像ファイルから、画像データを読み込む。

（ｓ１４）ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、画像データの各画素の画素値を線形化し、それをベクトルとして表したセンサ応答ベクトル（５）式を得る。

（ｓ１５）センサ応答ベクトルｔから、そのセンサ応答ベクトルが得られた画素に対応する位置における被写体の分光反射率を、以下の手順により推定する。まず、物体の分光反射率ｒ（３６次元ベクトル）を、Ｎ個の基底関数ベクトルの線形結合として、Ｎ個の基底関数ベクトルのそれぞれを各列に持つ３６行Ｎ列の行列Ｂと、各基底関数ベクトルに対する係数から成るＮ行１列の係数ベクトルｗにより、（６）式と表すことにすれば、

分光反射率の推定は係数ベクトルｗの推定と等価である。分光反射率ｒを持つ被写体を撮影した際に得られるセンサ応答ベクトルｔは、画像入力機器用変換行列Ｍにより、（７）式と表すことができ、

画像入力機器用変換行列ＭをＭの第１列から第３列までの要素から成る行列Ｍ_ｌとＭの第４列から第Ｎ列までの要素から成るＭ_ｈとに分解して（８）式とし、

また同様に、係数ベクトルｗもｗの第１行から第３行までの要素から成るベクトルｗ_ｌとｗの第４行から第Ｎ行の要素から成るベクトルｗ_ｈとに分解して（９）式とすれば、

行列Ｍ_ｌは３行３列の正方行列なので、その逆行列Ｍ_ｌ ^−１が存在し、（１０）式を得る。

従って、撮影で得られたセンサ応答ベクトルｔを与える分光反射率ｒ’として、（１１）式を得る。

ただし、行列Ｂ_ｌは行列Ｂの第１列から第３列までの要素から成る行列であり、また、Ｂ_ｈは行列Ｂの第４列から第Ｎ列までの要素から成る行列である。（１１）式は、任意の値から成るベクトルｗ_ｈを与えたとき、センサ応答ベクトルｔに対応する分光反射率の候補ｒ’が得られることを意味し、また、その際の係数ベクトルｗは、（１０）式、及び（９）式により与えられる。（１１）式で得られた分光反射率の候補ｒ’が物体の分光反射率として実在し得る確率に基づく存在確率係数ωを、物体の分光反射率をＮ個の基底関数ベクトルの線形結合により表現する際の係数ベクトルを実在する物体のｐ個の分光反射率データについて予め算出した母集団係数ベクトルに基づき、（１２）式として決定する。

ただし、ｖ_ｋ，ｉはｋ番目の母集団係数ベクトルにおけるｉ次元目の要素、ｗ_ｉは係数ベクトルｗにおけるｉ次元目の要素、σ_ｉ ^２は全母集団係数ベクトルにおけるｉ次元目の要素の分散である。この存在確率係数ωが最大となるベクトルｗ_ｈを、例えばＳｉｍｐｌｅｘ法等の非線形最適化手法により求めることにより、与えられたセンサ応答ベクトルｔに対して最適な分光反射率推定値ｒ’を（１１）式から得る。

＜３．変形例＞
以上本発明に係る分光反射率推定方法及び分光反射率推定装置について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。

（ａ）照明光源２の分光分布、及びディジタルカメラ３の分光感度特性が既知である場合、分光反射率が既知の物体を撮影しなくとも、撮影時のディジタルカメラ３の設定条件であるシャッタースピードと絞り値、ディジタルカメラ３と被写体との距離、及び照明光源２の放射強度等の情報に基づき、計算により、あるいは事前に対応テーブルを作成しておくことにより、行列Ｆに含まれる正規化係数を算出し、画像入力機器用変換行列Ｍを決定することも好ましい。

（ｂ）得られた分光反射率データから測色値画像を得る場合は、ＣＩＥ１９３１の２度視野標準観測者の等色関数や、またはＣＩＥ１９６４の１０度視野補助標準観測者の等色関数、並びに、所望の照明光源の分光特性に基づき、分光反射率データから測色値画像を得ることも好ましい。

（ｃ）標準板の色票の数、扱う全ての分光データの波長範囲及び波長間隔等は固定ではなく、適正な推定精度が得られる範囲内であれば、必要に応じて選択することも好ましい。

（ｄ）分光反射率を表すために用いる線形結合における基底関数ベクトル、及び母集団ベクトルは、物体の物理的属性や、光学的属性等（例えば、繊維、印刷物、プラスチック、絵画等）に分類して導出しておき、撮影の本来の対象となる被写体の属性に応じて適宜選択することにより、分光反射率の推定精度をより向上させることが可能である。この場合、被写体と同じ属性を持ち、かつ、部位毎、または個体毎に分光反射率が異なる物体サンプルを用意し、事前にその分光反射率を測定しておく。尚、ここで得られる分光反射率データはなるべく多く、かつ広く変化に富むことが望ましい。基底関数ベクトルは測定した分光反射率データから主成分分析により導出し、母集団係数ベクトルは基底関数ベクトルと分光反射率測定値とから算出する。

（ｅ）解析手段において、画像データ中の標準板の位置指定をユーザが行うことを必要とせず、画像データを分析し、標準板の位置を自動的に検出する処理を行う機能を解析手段の中へ組み込むことも好ましい。

（ｆ）標準板の画像データには画像入力機器のノイズが含まれることがあるため、解析手段の中に、色票部をサンプリングした後の画素値、または階調線形化を施した後のセンサ応答値から、ノイズ成分を除去（もしくは低減）する処理を組み込んでおくことも好ましい。

（ｇ）解析手段、及び画像変換手段は、必ずしも計算機を用いずとも、独立した専用の装置を設けるか、あるいは画像入力機器と一体に組み込んでおくことも好ましい。

（ｈ）画像入力機器は、必ずしもディジタルスチルカメラやディジタルビデオカメラ等のディジタルカメラでなくても良く、前記技術は、イメージスキャナ等、画像データを取得できるものであれば応用が可能である。

（ｉ）画像入力機器は必ずしもＲ、Ｇ、Ｂの３チャンネルカメラでなくても良く、前記の技術はチャンネル数が３以外の場合においても応用が可能である。

（ｊ）前記の例では、画像変換手段における存在確率係数の算出に用いるσ^２を全母集団係数ベクトルにおける分散としているが、推定精度をより高めるためにこの値を最適化パラメータとした最適化を行うことも好ましい。

（ｋ）前記の例では、被写体を撮影した画像データのそれぞれの画素に対して分光反射率候補の算出、及び測色値の算出を行っているが、より高速な処理を実現するため、前記技術を応用してデータ変換テーブルを作成し、同一撮影条件下で撮影された全ての画像に適用することも好ましい。

被写体の色特性を分光反射率として推定することにより、例えば、経年による劣化が生じる物体の現状の色特性の保存や、撮像特性に固有でない測色的に定義された被写体の画像の蓄積、被写体の画像データの色や明るさを補正するカラー画像処理等を好適に行うことが可能である。

本発明に係る分光反射率推定装置の一例について、その概略構成を模式的に示す説明図である。本発明に係る分光反射率推定装置の一例について、その全体の動作を説明するフローチャートである。本発明に係る分光反射率推定装置の一例について、解析手段が行う処理を説明するフローチャートである。本発明に係る分光反射率推定装置の一例について、分光反射率算出手段が行う処理を説明するフローチャートである。

符号の説明

１・・・標準板
２・・・撮影時照明光源
３・・・撮像手段（ディジタルカメラ）
４・・・解析手段（計算機）

Claims

ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、
前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得ステップと、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得ステップで得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得ステップと、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成ステップと、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、前記各色票の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を行列として配列して独立変数とする独立変数作成ステップと、
前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成ステップと、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得ステップと同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定ステップと、
を有する分光反射率推定方法。
ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、
分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得ステップと、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得ステップで得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得ステップと、
分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成ステップと、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定ステップと、
を有する分光反射率推定方法。
ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力する画像入力手段と、
前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得手段と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得手段で得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得手段と、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成手段と、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、前記各色票の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を行列として配列して独立変数とする独立変数作成手段と、
前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成手段と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得手段が行うのと同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定手段と、
を有する分光反射率推定装置。
ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、
分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件で入力でき、その画像入力の際の入射光に対する分光感度特性及び画像入力に用いる照明光源の分光分布特性が既知である画像入力手段と、
分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得手段と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得手段で得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得手段と、
分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成手段と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法より決定する被写体分光反射率推定手段と、
を有する分光反射率推定装置。
ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置のコンピュータに実行させるプログラムであって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、
前記画像データ内の各色票それぞれの中心付近の一定領域の画素について各色票画素値を得る各色票画素値取得処理と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記各色票画素値取得処理で得られた全ての各色票画素値を線形化し、各色票に対応するセンサ応答値を得るセンサ応答値取得処理と、
前記標準板の各色票に対応するセンサ応答値を行列として配列してセンサ応答行列を得て、該センサ応答行列を従属変数とする従属変数作成処理と、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、前記各色票の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を行列として配列して独立変数とする独立変数作成処理と、
前記従属変数と前記独立変数とを用いて線形重回帰分析を行って偏回帰係数を得ることにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成処理と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像の画素値について前記センサ応答値取得処理と同様の手順を行うことにより得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定処理と、
を有する分光反射率推定プログラム。
ディジタル画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、分光反射率推定対象物の分光反射率を推定する分光反射率推定装置のコンピュータに実行させるプログラムであって、
分光反射率が既知である物体を分光反射率推定対象物と同一の画像入力条件下で入力した画像データ内の前記物体の中心付近の一定領域の画素について画素値を得る、分光反射率既知物体画素値取得処理と、
前記ディジタル画像入力機器への入射光のエネルギー量と、前記ディジタル画像入力機器が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、前記分光反射率既知物体画素値取得処理で得られた分光反射率が既知である物体の画素値を線形化し、分光反射率が既知である物体に対応するセンサ応答値を得るセンサ応答値取得処理と、
分光反射率が既知である物体に対応するセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成処理と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、前記分光反射率推定対象物の画像から得られたセンサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、
前記存在確率係数を最大とする分光反射率候補を非線形最適化手法により決定する被写体分光反射率推定処理と、
を有する分光反射率推定プログラム。