JP4798354B2 - Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program - Google Patents
Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program Download PDFInfo
- Publication number
- JP4798354B2 JP4798354B2 JP2006025849A JP2006025849A JP4798354B2 JP 4798354 B2 JP4798354 B2 JP 4798354B2 JP 2006025849 A JP2006025849 A JP 2006025849A JP 2006025849 A JP2006025849 A JP 2006025849A JP 4798354 B2 JP4798354 B2 JP 4798354B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral reflectance
- spectral
- sensor response
- response value
- linear combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Spectrometry And Color Measurement (AREA)
Description
本発明は、例えばディジタルスチルカメラ、ディジタルビデオカメラ、スキャナ装置を含む画像入力機器により被写体を撮影することによって得られた画像から、画像の各画素に対応する位置での被写体の分光反射率を推定する分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムに関する。分光反射率は画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報であり、分光反射率によって画像を定義することにより、例えば、画像入力時の被写体の状況を正確に記録し、蓄積することや、また、蓄積した分光反射率画像から、所望の光源下で人間が被写体を観察したときに知覚する色を予測し、モニタや印刷物上で再現するカラー画像処理等を好適に行うことが可能である。 The present invention estimates the spectral reflectance of a subject at a position corresponding to each pixel of the image from an image obtained by photographing the subject with an image input device including, for example, a digital still camera, a digital video camera, and a scanner device. The present invention relates to a spectral reflectance estimation method, a spectral reflectance estimation device, and a spectral reflectance estimation program. Spectral reflectance is subject-specific color information that does not depend on the image input device or the light source at the time of image input.By defining the image with the spectral reflectance, for example, the state of the subject at the time of image input can be accurately recorded. Suitable for color image processing, etc. to be accumulated, or to predict colors perceived when a human observes a subject under a desired light source from the accumulated spectral reflectance image and reproduce it on a monitor or printed matter Is possible.
物体の色特性は、その物体の分光反射率によって表される。一方、その物体を画像入力機器により撮影して得られる画像データは、例えば画素値Ｒ、Ｇ、Ｂ等として記述されるのが一般的であるが、これらの画像データは被写体の分光反射率だけでなく、画像入力機器や画像入力時の光源の特性にも依存する。従って、物体自体の色特性を取得するためには、画像データから被写体の分光反射率を推定する必要があり、その方法としてはおおよそ以下のような状況であった。 The color characteristic of an object is represented by the spectral reflectance of the object. On the other hand, image data obtained by photographing the object with an image input device is generally described as, for example, pixel values R, G, B, etc., but these image data include only the spectral reflectance of the subject. In addition, it depends on the characteristics of the image input device and the light source at the time of image input. Therefore, in order to acquire the color characteristics of the object itself, it is necessary to estimate the spectral reflectance of the subject from the image data, and the method is as follows.
先ず、可視光波長領域にわたり、透過波長帯の異なる複数の狭帯域フィルタを用いて順次撮影を行う分光画像撮影技術が広く知られている。この方法では、単色の画像入力機器を使用し、画像入力機器、または照明光源の前面に狭帯域フィルタを順次設置しながら撮影することにより、数十チャンネルの画像を取得し、そこから被写体の分光反射率の推定を行う（例えば、特許文献１を参照）。しかしながら、この方法では、（ａ）狭帯域フィルタを用いるため光量が不足すること、（ｂ）価格が高額になること、（ｃ）装置の重量及び大きさが増加すること、（ｄ）動画への対応が困難であること、等が問題となっていた。 First, a spectroscopic imaging technique that sequentially performs imaging using a plurality of narrow band filters having different transmission wavelength bands over the visible light wavelength region is widely known. In this method, a single-color image input device is used, and images of several tens of channels are acquired from the image input device or by taking an image while sequentially installing a narrow-band filter in front of the illumination light source. The reflectance is estimated (for example, see Patent Document 1). However, in this method, (a) the amount of light is insufficient due to the use of a narrow band filter, (b) the price is expensive, (c) the weight and size of the device is increased, and (d) to the moving image. It was difficult to respond to the problem.
また、分光反射率を基底ベクトルの低次元線形和によって近似する分光反射率低次元線形モデルを用いることにより、撮影チャンネル数を低減する方法もある。分光反射率低次元線形モデルの詳細については後述する。この方法では、線形モデルの次数と等しいチャンネル数の画像データを取得することにより、画像データから基底ベクトルの係数への線形変換を行い、分光反射率を推定することが可能である。一般的に、分光反射率低次元線形モデルに必要とされる次元数は５〜８程度とされており、分光反射率を推定するためにはこれと同数のチャンネル数の画像データを取得すればよい。そのため、フィルタの分光特性は必ずしも狭帯域でなくてもよく、前述の（ａ）の問題は解決できるが、（ｂ）、（ｃ）、（ｄ）については同様の問題を抱えていた。
本発明は前記従来の技術が持つ諸問題に鑑みなされたものであって、画像入力機器の外部に専用の機器を必要とすることなく、低コストで簡便に、しかも高精度で画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率を推定し算出でき、これによって定義された分光反射率画像を取得することを可能にする分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and does not require a dedicated device outside the image input device, and can be used at low cost, easily, and with high accuracy. Spectral reflectance estimation method and spectral reflectance that can estimate and calculate the spectral reflectance, which is color information unique to the subject, independent of the light source at the time of image input, and make it possible to obtain a spectral reflectance image defined thereby It is an object to provide a rate estimation device and a spectral reflectance estimation program.
前記課題を解決するために提供する本発明の第１の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出ステップと、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出ステップと、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップとを有する分光反射率推定方法である。 The first invention of the present invention provided to solve the above problem is that the spectral reflectance of the spectral reflectance estimation object is obtained from image data including an image of the spectral reflectance estimation object obtained from an image input device. A standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and is input. An image data acquisition step for acquiring image data of a plurality of color charts of the standard plate, a sensor response value extraction step for extracting sensor response values corresponding to the color charts of the standard plate from the image data, and the image Virtual spectral filter data having a spectral product of the spectral sensitivity characteristic of the input device and the spectral characteristic of the illumination light source used for image input and spectral characteristics linearly independent in the spectral space, and spectral reflectance of each color chart of the standard plate A virtual sensor response value calculating step for obtaining a virtual sensor response value of each color chart from the data, and a sensor response for creating a nonlinear function for converting the sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart A non-linear transformation function creation step, sensor response values and virtual sensor response values of each color chart of the standard plate, spectral reflectance data of each color chart of the standard plate, and spectral reflectance expressed by a linear combination of specific dimensions A linear combination coefficient matrix for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from a sensor response value and a virtual sensor response value. a coupling coefficient calculating matrix creating step, the virtual sensor response of the spectral reflectance estimation object from the sensor response values of the spectral reflectance estimation object of said image input device by said non-linear function number Spectral for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value using the linear combination coefficient calculation matrix A reflectance linear combination coefficient calculation step, a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, and a basis function for expressing the spectral reflectance by a linear combination of a specific dimension And a spectral reflectance estimation step of estimating a spectral reflectance of the spectral reflectance estimation object.
また、本発明の第２の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出ステップと、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出ステップと、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップとを有する分光反射率推定方法である。 According to a second aspect of the present invention, spectral reflectance estimation for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device. A spectral sensitivity characteristic data of the image input device, spectral characteristic data of an illumination light source used at the time of image input, and a plurality of different spectral reflectance data, the image input device having the spectral reflectance. A sensor response value calculating step for calculating a sensor response value when an object is input under the same image input condition as that of the spectral reflectance estimation target object, a spectral sensitivity characteristic of the image input device, and a spectrum of an illumination light source used at the time of image input A virtual sensor response value of the spectral reflectance data is calculated from the spectral spectral data having the spectral product linearly independent in the spectral space and the spectral reflectance data. A virtual sensor response value calculating step, a sensor response value nonlinear conversion function creating step for creating a nonlinear function for converting a sensor response value of the spectral reflectance data into a virtual sensor response value, the spectral reflectance data, and the image Using the spectral sensitivity characteristic data of the input device, the spectral characteristic data of the illumination light source used at the time of image input, the virtual spectral filter data, and the basis function for expressing the spectral reflectance by a linear combination of specific dimensions, A linear combination coefficient calculation matrix creating step for creating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value; virtual sensor of the spectral reflectance estimation object by the non-linear function number from sensor response values of the spectral reflectance estimation object image input device An answer value is calculated, and a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension is calculated from the sensor response value and the virtual sensor response value using the linear combination coefficient calculation matrix. Spectral reflectance linear combination coefficient calculation step, a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, and a basis function for expressing the spectral reflectance by a linear combination of a specific dimension; And a spectral reflectance estimation step of estimating a spectral reflectance of the spectral reflectance estimation object.
また、本発明の第３の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得手段と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出手段と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出手段と、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段とを有する分光反射率推定装置である。 According to a third aspect of the present invention, spectral reflectance estimation for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device. A standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and a plurality of the inputted standard plates Image data acquisition means for acquiring image data of the color chart, sensor response value extraction means for extracting a sensor response value corresponding to each color chart of the standard plate from the image data, and spectral sensitivity characteristics of the image input device From the spectral product of the spectral characteristics of the illumination light source used at the time of image input and the virtual spectral filter data having the spectral characteristics linearly independent in the spectral space, and the spectral reflectance data of each color chart on the standard plate, the virtual color of each color chart Sensor response Virtual sensor response value calculating means for obtaining a value, sensor response value nonlinear conversion function creating means for creating a nonlinear function for converting a sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart, and the standard plate Sensor response value and virtual sensor response value of each color chart, spectral reflectance data of each color chart of the standard plate, and basis function for expressing the spectral reflectance by a linear combination of specific dimensions. A linear combination coefficient calculation matrix generating means for generating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the value and the virtual sensor response value; and the image input from the sensor response values of the spectral reflectance estimation object device by the non-linear function number to calculate the virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response And using the linear combination coefficient calculation matrix, the spectral reflectance linear combination coefficient calculation means for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, and the spectral reflectance The spectral reflectance of the spectral reflectance estimation object is estimated from a coefficient for the basis function for expressing the spectral reflectance by a linear combination of dimensions and a basis function for expressing the spectral reflectance by a linear combination of specific dimensions. A spectral reflectance estimation apparatus having spectral reflectance estimation means.
また、本発明の第４の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出手段と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出手段と、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段とを有する分光反射率推定装置である。 According to a fourth aspect of the present invention, there is provided spectral reflectance estimation for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device. A spectral sensitivity characteristic data of the image input device, a spectral characteristic data of an illumination light source used at the time of image input, and a plurality of different spectral reflectance data, the image input device having the spectral reflectance Sensor response value calculation means for calculating a sensor response value when an object is input under the same image input conditions as the spectral reflectance estimation target object, spectral sensitivity characteristics of the image input device, and illumination light source used for image input The virtual sensor response value of the spectral reflectance data is calculated from the spectral spectral data having the spectral product and the spectral characteristics linearly independent in the spectral space, and the spectral reflectance data. Virtual sensor response value calculating means, sensor response value nonlinear conversion function creating means for creating a nonlinear function for converting a sensor response value of the spectral reflectance data into a virtual sensor response value, the spectral reflectance data, and the image Using the spectral sensitivity characteristic data of the input device, the spectral characteristic data of the illumination light source used at the time of image input, the virtual spectral filter data, and the basis function for expressing the spectral reflectance by a linear combination of specific dimensions, A linear combination coefficient calculation matrix creating means for creating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing a spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value; calculating a virtual sensor response values of the spectral reflectance estimation object from the sensor response values of the spectral reflectance estimation object image input device by said non-linear function number Spectral reflectance linear combination for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value using the linear combination coefficient calculation matrix From the coefficient calculation means, a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, and a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflection A spectral reflectance estimation apparatus having spectral reflectance estimation means for estimating a spectral reflectance of a rate estimation object.
また、本発明の第５の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出処理と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出処理と、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理とを有する分光反射率推定プログラムである。 According to a fifth aspect of the present invention, there is provided a spectral reflectance estimation for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device. A program for causing a computer to execute the method, wherein a standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and is input. Image data acquisition processing for acquiring image data of a plurality of color charts on the standard plate, sensor response value extraction processing for extracting sensor response values corresponding to the color charts on the standard plate from the image data, and the image input Virtual spectral filter data having spectral characteristics of the spectral sensitivity characteristics of the device and the spectral characteristics of the illumination light source used for image input and spectral characteristics that are linearly independent in the spectral space, and spectral reflection of each color chart of the standard plate Virtual sensor response value calculation processing for obtaining a virtual sensor response value of each color chart from the data, and a sensor response value for creating a non-linear function for converting the sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart Nonlinear conversion function creation processing, sensor response value and virtual sensor response value of each color chart of the standard plate, spectral reflectance data of each color chart of the standard plate, and spectral reflectance are expressed by a linear combination of specific dimensions. To create a linear combination coefficient calculation matrix that calculates coefficients for basis functions to express spectral reflectance as a linear combination of a specific dimension from sensor response values and virtual sensor response values a coefficient calculation matrix creation processing, calculates a virtual sensor response values of the spectral reflectance estimation object from the sensor response values of the spectral reflectance estimation object of said image input device by said non-linear function number Spectral reflectance linear combination for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value using the linear combination coefficient calculation matrix From the coefficient calculation process, a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, and a basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflection A spectral reflectance estimation program including a spectral reflectance estimation process for estimating a spectral reflectance of a rate estimation object.
また、本発明の第６の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出処理と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出処理と、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理とを有する分光反射率推定プログラムである。
According to a sixth aspect of the present invention, spectral reflectance estimation for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device. A program for causing a computer to execute the method, comprising: spectral sensitivity characteristic data of the image input device; spectral characteristic data of an illumination light source used at the time of image input; and a plurality of different spectral reflectance data. Sensor response value calculation processing for calculating a sensor response value when an object having the spectral reflectance is input under the same image input conditions as the spectral reflectance estimation target object, spectral sensitivity characteristics and image input of the image input device From the spectral product of the spectral characteristics of the illumination light source used sometimes and the virtual spectral filter data having spectral characteristics linearly independent in the spectral space, and the spectral reflectance data, A virtual sensor response value calculation process for obtaining a virtual sensor response value of the light reflectance data; a sensor response value nonlinear conversion function creation process for creating a nonlinear function for converting the sensor response value of the spectral reflectance data into a virtual sensor response value; The spectral reflectance data, the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used during image input, the virtual spectral filter data, and the spectral reflectance are linearly combined in a specific dimension. Create a linear combination coefficient calculation matrix that calculates the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value. a linear combination coefficient calculating matrix generation processing, the spectral reflection by the non-linear function number from sensor response values of the spectral reflectance estimation object of said image input device A basis for calculating a virtual sensor response value of the estimation object and expressing the spectral reflectance by a linear combination of a specific dimension using the linear combination coefficient calculation matrix from the sensor response value and the virtual sensor response value Spectral reflectance linear combination coefficient calculation processing to calculate the coefficient for the function, the coefficient for the basis function for expressing the spectral reflectance in a specific dimension linear combination, and the spectral reflectance in a specific dimension linear combination A spectral reflectance estimation program including a spectral reflectance estimation process for estimating a spectral reflectance of the spectral reflectance estimation target object from a basis function for performing the calculation.
本発明によれば、請求項１または請求項２に示す分光反射率推定方法、あるいは請求項３または請求項４に示す分光反射率推定装置、あるいは請求項５または請求項６に示す分光反射率推定プログラムによって、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、前記被写体の分光反射率を高い精度で算出し、分光反射率画像を得ることが可能となる。
According to the present invention, the spectral reflectance estimation method according to
すなわち、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、前記被写体の分光反射率を推定し、前記画像入力機器によって得られた画像データを、画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率によって定義された分光反射率画像データに変換できる。これにより前記のような専用の多チャンネル画像入力機器を敢えて用いることなく、撮影で得られた画像データを分光反射率画像データへ変換できる分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムを提供できる効果がある。 That is, based on the basis function for expressing the spectral reflectance by a linear combination of specific dimensions from the image data of the subject (spectral reflectance estimation object) obtained by the image input device, the spectral reflectance of the subject is calculated. Estimate and convert the image data obtained by the image input device into spectral reflectance image data defined by spectral reflectance, which is color information unique to the subject, independent of the image input device and the light source at the time of image input. . Accordingly, a spectral reflectance estimation method, a spectral reflectance estimation apparatus, and a spectral reflectance that can convert image data obtained by photographing into spectral reflectance image data without using a dedicated multi-channel image input device as described above. There is an effect that an estimation program can be provided.
（実施例１）
以下、本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置について図面を参照し説明する。尚、本実施例１では画像入力機器としてディジタルカメラを用いた説明となっているが、後段に示すように、スキャナ等にも応用が可能であり、その都度、適宜読み替えて実施することが出来る。
Example 1
Hereinafter, a spectral reflectance estimation apparatus to which the spectral reflectance estimation method of
図１は、本実施例１の分光反射率推定方法が適用される分光反射率推定装置の構成を示す説明図である。同図において、１は同一平面上に分光分布の異なる複数の色票が配列された標準板であり、空間内の測定対象位置にディジタルカメラ３の方向へ前記色票を有する面を向けて設置する。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び分光反射率が実質一様となるように作成されている。なお、ディジタルカメラ３の分光感度特性、及び撮影時に用いる照明光源の分光分布特性が既知であれば、標準板１の使用は省略することも可能である。２は照明光源であり、標準板１を照射する。ディジタルカメラ３は、Ｒ、Ｇ、Ｂの３チャンネルの光センサが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイルに記録する撮像手段と、前記撮像手段の露光条件であるシャッタースピードと絞り値を制御して、撮影に好適な露光条件を設定する設定手段とを備えている。
FIG. 1 is an explanatory diagram illustrating a configuration of a spectral reflectance estimation apparatus to which the spectral reflectance estimation method of the first embodiment is applied. In the figure,
４は計算機（センサ応答値抽出手段、仮想センサ応答値算出手段、センサ応答値非線形変換関数作成手段、線形結合係数算出行列作成手段、分光反射率線形結合係数算出手段、分光反射率推定手段、センサ応答値算出手段）である。計算機４は、ディジタルカメラ３で得られた画像ファイルを入力して、画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールを生成し、また、チャンネル数を増加させた画像データを分光反射率画像に変換する際に用いる線形結合係数算出行列を決定する解析手段と、画像データを分光反射率画像データへ変換する画像変換手段とを備えている。 4 is a computer (sensor response value extraction means, virtual sensor response value calculation means, sensor response value nonlinear transformation function creation means, linear coupling coefficient calculation matrix creation means, spectral reflectance linear coupling coefficient calculation means, spectral reflectance estimation means, sensor Response value calculation means). The computer 4 inputs the image file obtained by the digital camera 3, generates a channel number virtual increase module that virtually increases the number of channels of the image data, and also spectrally analyzes the image data with the increased number of channels. Analyzing means for determining a linear combination coefficient calculation matrix used when converting to a reflectance image, and image converting means for converting image data into spectral reflectance image data are provided.
次に動作について説明する。
以下、本実施例１に係る分光反射率推定方法が適用される分光反射率推定装置の動作について説明する。図２は、分光反射率推定装置において分光反射率推定を行うための概略的な手順を示すフローチャートである。
先ず、ユーザが標準板１を測定対象位置に設置し、標準板１の色票面が適切な明るさとなるよう照明光源２を設置し、ディジタルカメラ３の撮像範囲で標準板１が適切な大きさに撮影されるような測定位置にディジタルカメラ３を設置する（ステップＳ１）。
次に、ユーザは、標準板１の表面から反射される光がディジタルカメラ３の適正露光範囲に収まるようディジタルカメラ３の露光条件であるシャッタースピードと絞り値を設定する（ステップＳ２）。
その後、ユーザはディジタルカメラ３のシャッターを切り、ディジタルカメラ３による撮影を行う。また、同様の手順により、同一の照明光源２、及び同一の露光条件の下で、撮影の本来の対象となる被写体を撮影し画像ファイルに記録する（ステップＳ３）。
Next, the operation will be described.
Hereinafter, the operation of the spectral reflectance estimation apparatus to which the spectral reflectance estimation method according to the first embodiment is applied will be described. FIG. 2 is a flowchart showing a schematic procedure for performing spectral reflectance estimation in the spectral reflectance estimation apparatus.
First, the user installs the
Next, the user sets the shutter speed and the aperture value, which are the exposure conditions of the digital camera 3, so that the light reflected from the surface of the
Thereafter, the user releases the shutter of the digital camera 3 and shoots with the digital camera 3. Further, according to the same procedure, the subject which is the original subject of photographing is photographed under the same
そして、ユーザが、ディジタルカメラ３に記録された画像ファイルを計算機４へ入力する（ステップＳ４）。計算機４は、ディジタルカメラ３の階調特性データと、標準板１の各色票の分光反射率データと、仮想的な分光特性を持つ仮想分光フィルタデータと、物体の分光反射率を特定の次元で表現するための基底ベクトルとに基づき、画像ファイル内に記録された標準板１の画像データに対応して解析処理を行う。この解析処理では、ディジタルカメラ３から得られる画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールと、チャンネル数を増加させた画像データの各画素におけるセンサ応答ベクトル（ディジタルカメラが出力する画素値をディジタルカメラへの入射光のエネルギー量に線形となるように変換した線形階調データ）を、被写体の分光反射率を特定の次元の線形結合で表現するための基底ベクトルに対する係数に変換する線形結合係数算出行列を出力する（ステップＳ５）。
次に、計算機４は、ディジタルカメラ３の階調特性データと、前記解析処理で出力されたチャンネル数仮想増加モジュール及び線形結合係数算出行列と、物体の分光反射率を特定の次元で表現するための基底ベクトルに基づき、ステップＳ４で入力したディジタルカメラ３からの画像ファイルの画像データを分光反射率画像データへ変換する（ステップＳ６）。
Then, the user inputs the image file recorded in the digital camera 3 to the computer 4 (step S4). The computer 4 calculates the gradation characteristic data of the digital camera 3, the spectral reflectance data of each color chart of the
Next, the computer 4 expresses the gradation characteristic data of the digital camera 3, the channel number virtual increase module and the linear combination coefficient calculation matrix output in the analysis process, and the spectral reflectance of the object in a specific dimension. Based on the basis vector, the image data of the image file from the digital camera 3 input in step S4 is converted into spectral reflectance image data (step S6).
なお、上記ステップＳ１からステップＳ６は、部分的に、または全体的に、ユーザの作業によるのではなく自動で処理することも可能である。省力化や迅速化のためには、一般にその方が好ましい。また、ステップＳ３では標準板１と被写体を同一条件下で別途撮影し、異なる画像ファイルとして記憶したが、被写体を撮影する際に空間的に十分な余裕があれば、そこに標準板１を設置し、標準板１と被写体の画像データを一度の撮影によって得ることも可能である。
Note that the above steps S1 to S6 may be processed automatically, not partially or entirely, by the user's work. This is generally preferable for saving labor and speed. In step S3, the
次に、前記ステップＳ５における線形結合係数算出行列を算出する解析処理について説明する。
図３（ａ）、（ｂ）は、この線形結合係数算出行列を算出する解析処理の動作を示すフローチャートである。
以下、ディジタルカメラ３から得られる画像ファイルの画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールを生成し、チャンネル数を増加させた画像データの各画素におけるセンサ応答ベクトルを、被写体の分光反射率を特定の次元の線形結合で表現するための基底ベクトルに対する係数に変換する線形結合係数算出行列を算出する解析処理について、図３（ａ）、（ｂ）のフローチャートに基づいて説明する。
図３（ａ）のフローチャートに示すように、先ず、ディジタルカメラ３で撮影した標準板１を含む画像データが記載された画像ファイルから画像データを読み込む（ステップＳ７）。
Next, the analysis process for calculating the linear combination coefficient calculation matrix in step S5 will be described.
FIGS. 3A and 3B are flowcharts showing the operation of the analysis processing for calculating this linear combination coefficient calculation matrix.
Hereinafter, a channel number virtual increase module for virtually increasing the number of channels of the image data of the image file obtained from the digital camera 3 is generated, and the sensor response vector at each pixel of the image data with the increased number of channels is calculated as the object response. An analysis process for calculating a linear combination coefficient calculation matrix for converting a spectral reflectance into a coefficient with respect to a base vector for expressing the spectral reflectance by a linear combination of a specific dimension will be described with reference to the flowcharts of FIGS. .
As shown in the flowchart of FIG. 3A, first, image data is read from an image file in which image data including the
次に、標準板１の画像データをモニタ上に表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より画像データ内の各色票の位置を特定し、それぞれの色票における中心付近の一定領域の画素について画素値を得る（ステップＳ８）。
Next, the image data of the
そして、ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係を予め記録した階調特性データを用い、ステップＳ８で得られた全ての画素値を線形化したものをセンサ応答値とし、色票毎にその平均値を取る（ステップＳ９、センサ応答値抽出ステップ、センサ応答値抽出処理）。なお、センサ応答値はチャンネル毎に得られるため、以下では計算の便宜上、センサ応答値をベクトル化し、センサ応答ベクトルとする。たとえば、Ｒ、Ｇ、Ｂの３チャンネルのディジタルカメラにおいては、各チャンネルのセンサ応答値をそれぞれＲ、Ｇ、Ｂとすれば、センサ応答ベクトルｔＲＧＢ は式(１)で定義される。 Then, using the gradation characteristic data in which the nonlinear relationship between the energy amount of incident light to the digital camera 3 and the pixel value output from the digital camera 3 is recorded in advance, all the pixel values obtained in step S8 are linearized. The sensor response value is used as the sensor response value, and the average value is taken for each color chart (step S9, sensor response value extraction step, sensor response value extraction process). In addition, since a sensor response value is obtained for each channel, hereinafter, for convenience of calculation, the sensor response value is vectorized to be a sensor response vector. For example, in a three-channel digital camera of R, G, and B, if the sensor response values of each channel are R, G, and B, respectively, the sensor response vector t RGB is defined by Expression (1).
なお、照明光源２の分光特性とディジタルカメラ３の分光感度特性が既知である場合には、標準板１の撮影を行わずとも、予め測定し、記憶してある標準板の分光反射率データから、計算によりセンサ応答ベクトルｔＲＧＢを求めることができる。例えば、分光データを、波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた離散データとして扱えば、センサ応答ベクトルｔＲＧＢ は式（２）により算出することができる。
When the spectral characteristics of the
ただし、ｆＲ 、ｆＧ 、ｆＢ はＲ、Ｇ、Ｂ各チャンネルの分光感度特性を表し、ｔＲＧＢの取る値のレンジが実際の画像から求めたセンサ応答ベクトルと一致するように正規化した３６次元ベクトル、Ｅは照明光源の分光特性を対角成分に持つ３６行３６列対角行列、ｒは分光反射率を表す３６次元ベクトル（以下、分光反射率ベクトル）である。また、Ｔは行列の転置を表す。 However, f R , f G , and f B represent spectral sensitivity characteristics of the R, G, and B channels, and normalized so that the range of values taken by t RGB matches the sensor response vector obtained from the actual image. A 36-dimensional vector, E is a 36-by-36 diagonal matrix having the spectral characteristics of the illumination light source as a diagonal component, and r is a 36-dimensional vector (hereinafter referred to as a spectral reflectance vector) representing spectral reflectance. T represents transposition of the matrix.
次に、予め記憶してある、Ｌ個の色票から成る標準板１の各色票の分光反射率ベクトルと、Ｐ個の仮想的な分光フィルタの３６次元ベクトル（以下、仮想分光フィルタベクトル）とから、標準板１のそれぞれの色票に対して、仮想的なセンサ応答ベクトルｔｈを式（３）により算出する（ステップＳ１０、仮想センサ応答値算出ステップ、仮想センサ応答値算出処理）。
Next, a spectral reflectance vector of each color chart of the
ただし、ｈは仮想分光フィルタベクトルを表す。
ここで、仮想分光フィルタベクトルは、ディジタルカメラ３の分光感度特性と照明光源２の分光特性の分光積と線形独立である限り、各要素に任意の値を取ることができるベクトルである。この条件は、式（４）で表される。
Here, h represents a virtual spectral filter vector.
Here, the virtual spectral filter vector is a vector that can take any value for each element as long as it is linearly independent of the spectral product of the spectral sensitivity characteristic of the digital camera 3 and the spectral characteristic of the
ただし、ｈｐはｐ番目の仮想分光フィルタベクトル、Ｍ３×３は任意の要素から成る３行３列の行列である。
仮想分光フィルタの具体的な例としては、例えばＰ＝３であれば、適当な照明光源の分光特性とＣＩＥ１９３１の２度視野標準観測者の等色関数との分光積等を用いることができる。
However, h p is the p-th virtual spectral filter vector, M 3 × 3 is a matrix of three rows and three columns consisting of any element.
As a specific example of the virtual spectral filter, for example, if P = 3, a spectral product of a spectral characteristic of an appropriate illumination light source and a color matching function of a CIE 1931 two-field standard observer can be used.
次に、ステップＳ９で得たＬ個のセンサ応答ベクトルｔＲＧＢをステップＳ１０で得たＬ個の仮想センサ応答ベクトルｔｈに非線形に変換するモデルを構築することにより、本来、ディジタルカメラ１で得られた３チャンネルの画像データから、仮想的に（３＋Ｐ）チャンネルの画像データを生成する、チャンネル数仮想増加モジュールを作成する（ステップＳ１１、センサ応答値非線形変換関数作成ステップ、センサ応答値非線形変換関数作成処理）。非線形変換モデルとしては例えば、式（５）等が該当する。 Then, by constructing a model that converts the L sensor response vector t RGB obtained in step S9 nonlinearly into L virtual sensor response vector t h obtained in step S10, originally obtained in the digital camera 1 A channel number virtual increase module is generated for virtually generating (3 + P) channel image data from the obtained 3-channel image data (step S11, sensor response value nonlinear transformation function creation step, sensor response value nonlinear transformation function) Creation process). For example, Equation (5) corresponds to the nonlinear conversion model.
ただし、Ｍ３×１１は３行１１列の行列であり、Ｌ個のセンサ応答ベクトルとＬ個の仮想センサ応答ベクトルを教師データとしてモデルの誤差が最小となるように決定する。
なお、ここでの非線形変換モデルは式（５）に限定されるものではなく、例えば式（５）に異なる次数の項を追加したものや、任意の非線形関数を使用したもの、あるいはルックアップテーブル形式のもの等、十分な変換精度が得られる非線形変換モデルであれば、何を使用しても構わない。ここでは、一般的な形として、非線形変換モデルを関数Ａで表し、非線形変換処理を式（６）で表す。
However, M 3 × 11 is a matrix of 3 rows and 11 columns, and L sensor response vectors and L virtual sensor response vectors are used as teacher data so that the model error is minimized.
Note that the nonlinear transformation model here is not limited to the equation (5). For example, an equation obtained by adding a different order term to the equation (5), an arbitrary nonlinear function, or a lookup table. Any non-linear conversion model can be used as long as it can obtain sufficient conversion accuracy, such as a format. Here, as a general form, the nonlinear transformation model is represented by a function A, and the nonlinear transformation processing is represented by Expression (6).
次に、図３（ｂ）のフローチャートに示すように、ステップＳ１１で得たチャンネル数仮想増加モジュールを用い、ステップＳ９で得たＬ個のセンサ応答ベクトルｔＲＧＢと、ステップＳ１０で得たＬ個の仮想センサ応答ベクトルｔｈとから、式（７）により、総合センサ応答行列ＴＳを作成する（ステップＳ１２、線形結合係数算出行列作成ステップ、線形結合係数算出行列作成処理）。 Next, as shown in the flowchart of FIG. 3 (b), using the channel number virtual increase module obtained in step S11, L sensor response vectors t RGB obtained in step S9 and L pieces obtained in step S10. and a virtual sensor response vector t h of the equation (7), to create an overall sensor response matrix T S (step S12, the linear combination coefficient calculating matrix creating step, the linear combination coefficient calculating matrix creation processing).
そして、標準板１の各色票の分光反射率ベクトルと、色票の分光反射率を特定の次元の線形結合で表現するための基底ベクトルとに基づき、式（８）により線形結合係数行列Ｃを作成する（ステップＳ１３、線形結合係数算出行列作成ステップ、線形結合係数算出行列作成処理）。
Then, based on the spectral reflectance vector of each color chart of the
ただし、ｂは分光反射率の基底ベクトルであり、ｒは色票の分光反射率ベクトルを表す。一般に、分光反射率基底ベクトルｂは複数の分光反射率ベクトルから主成分分析等の処理により導出される正規直行ベクトルであり、寄与率の高いＮ個の基底ベクトルによって分光反射率を式（９）の低次元線形モデルで表すのに使用される。 Here, b is a base vector of spectral reflectance, and r is a spectral reflectance vector of the color chart. In general, the spectral reflectance basis vector b is a normal orthogonal vector derived from a plurality of spectral reflectance vectors by processing such as principal component analysis, and the spectral reflectance is expressed by Equation (9) by N basis vectors having a high contribution rate. Used to represent a low-dimensional linear model.
ただし、ｃは分光反射率基底ベクトルに対する係数である。一般に、分光反射率を式（９）の低次元線形モデルで表すための次数Ｎは５から８程度であるとされている。
なお、標準板１の設計にあたっては、標準板１の各色票は、その分光反射率が分光反射率基底ベクトルｂのＮ次元線形結合として十分な精度で表されるよう、例えば実在する物体サンプルの中から該当するものを予め選択しておくか、あるいは、例えば実在する染色材料と媒体とから予め作成しておく。また、色票の数Ｌは分光反射率線形モデルの次数Ｎ以上とし、Ｌ個の色票の分光反射率が波長空間に張る部分空間はＮ個の分光反射率基底ベクトルが張る空間と実質的に等価となるよう色票の選択または作成を行なっておく。
Here, c is a coefficient for the spectral reflectance basis vector. In general, the order N for expressing the spectral reflectance with the low-dimensional linear model of Equation (9) is about 5 to 8.
In designing the
次に、ステップＳ１２で得た総合センサ応答行列ＴＳと、ステップＳ１３で得た線形結合係数行列Ｃとから、線形結合係数算出行列Ｄを作成する（ステップＳ１４）。行列ＴＳ、Ｃ、Ｄの関係は式（１０）で表される。 Next, the overall sensor response matrix T S obtained at step S12, and a linear combination coefficient matrix C obtained in the step S13, to create a linear combination coefficient calculating matrix D (step S14). The relationship between the matrices T S , C, and D is expressed by Expression (10).
線形結合係数算出行列Ｄは、線形結合係数行列Ｃを従属変数行列、総合センサ応答行列ＴＳ を独立変数行列として、重回帰分析により算出する。式（１０）より、線形結合係数算出行列Ｄを決定するために必要かつ十分な仮想分光フィルタの数Ｐは（Ｎ-３）であるため、ステップＳ１０において仮想センサ応答ベクトルを算出する際のフィルタ数は（Ｎ-３）とすればよい。
なお、ここでは線形重回帰分析により線形結合係数算出行列Ｄを決定したが、照明光源２の分光特性、及びディジタルカメラ３の分光感度特性が既知である場合には、標準板１を撮影した画像データに基づくことなく、この行列を計算により導出することも可能である。総合センサ応答行列ＴＳは式（１１）によって表される。
Linear combination coefficient calculating matrix D, the linear combination coefficient matrix C dependent variable matrices, as the independent variable matrix overall sensor response matrix T S, is calculated by multiple regression analysis. From Expression (10), the number P of the virtual spectral filters necessary and sufficient for determining the linear combination coefficient calculation matrix D is (N−3), and therefore, the filter when calculating the virtual sensor response vector in step S10. The number may be (N-3).
Here, the linear combination coefficient calculation matrix D is determined by linear multiple regression analysis. However, when the spectral characteristics of the
Ｐ＝Ｎ-３の条件下では、式（１１）における行列Ｘは正方行列となるので、その逆行列をＤとすれば良い。 Under the condition of P = N−3, since the matrix X in the equation (11) is a square matrix, the inverse matrix may be D.
次に、前記解析処理で算出されたチャンネル数仮想増加モジュールと線形結合係数算出行列を用い、ディジタルカメラ３から得られる画像ファイルの画像データを分光反射率画像データに変換する図２のステップＳ６で示される画像変換処理について説明する。図４は、この分光反射率推定方法が適用される分光反射率推定装置における前記画像変換処理を示すフローチャートである。
先ず、ディジタルカメラ３で撮影した被写体を含む画像データが記載された画像ファイルから、画像データを読み込む（ステップＳ１５）。
次に、ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係を予め記録した階調特性データを用い、ステップＳ１５で得られた前記被写体を含む画像データの全ての画素値を線形化し、各画素のセンサ応答ベクトルを得る（ステップＳ１６）。
そして、解析処理で得たチャンネル数仮想増加モジュールを用い、画像データのチャンネル数を仮想的に増加させる（ステップＳ１７、分光反射率線形結合係数算出ステップ、分光反射率線形結合係数算出処理）。すなわち、画像データのある一画素のセンサ応答ベクトルをｔＲＧＢ、式（６）により算出した仮想センサ応答ベクトルをｔｈとし、その画素における総合センサ応答ベクトルｔＳを式（１２）で表す。
Next, in step S6 of FIG. 2, the image data of the image file obtained from the digital camera 3 is converted into spectral reflectance image data using the channel number virtual increase module and the linear combination coefficient calculation matrix calculated in the analysis process. The image conversion process shown will be described. FIG. 4 is a flowchart showing the image conversion processing in the spectral reflectance estimation apparatus to which this spectral reflectance estimation method is applied.
First, image data is read from an image file in which image data including a subject photographed by the digital camera 3 is described (step S15).
Next, image data including the subject obtained in step S15 using gradation characteristic data in which a nonlinear relationship between the amount of incident light energy to the digital camera 3 and the pixel value output by the digital camera 3 is recorded in advance. Are linearized to obtain a sensor response vector of each pixel (step S16).
Then, the number of channels of image data is virtually increased by using the channel number virtual increase module obtained by the analysis process (step S17, spectral reflectance linear combination coefficient calculation step, spectral reflectance linear combination coefficient calculation process). That is, the sensor response vector of a pixel with image data t RGB, a virtual sensor response vector calculated by the equation (6) and t h, represents the overall sensor response vector t S at the pixel by the formula (12).
これを画像データの全ての画素に適用することにより、Ｒ、Ｇ、Ｂの３チャンネルのディジタルカメラで撮影された画像データは、仮想的に（３＋Ｐ）チャンネルの画像データとして扱うことが可能となる。 By applying this to all the pixels of the image data, the image data photographed by the R, G, B three-channel digital camera can be virtually handled as (3 + P) channel image data. .
次に、ステップＳ１７で得た全ての画素の総合センサ応答ベクトルｔＳから、解析処理で得た線形結合係数算出行列Ｄを用い、式（１３）により、分光反射率を式（９）により低次元線形モデルで表す際の基底ベクトルに対する係数（線形結合係数）ｃに変換する（ステップＳ１８、分光反射率線形結合係数算出ステップ、）分光反射率線形結合係数算出処理）。 Next, from the total sensor response vector t S of all the pixels obtained in step S17, using the linear combination coefficient calculation matrix D obtained by the analysis process, the spectral reflectance is reduced by the equation (9) by the equation (13). Conversion to a coefficient (linear combination coefficient) c with respect to a base vector in the case of representing with a dimensional linear model (step S18, spectral reflectance linear combination coefficient calculation step) spectral reflectance linear combination coefficient calculation processing).
そして、ステップＳ１８で得た全ての画素の線形結合係数ｃから、分光反射率基底ベクトルｂを用い、式（９）の分光反射率低次元線形モデルにより、被写体の分光反射率を算出し、分光反射率画像を得る（ステップＳ１９、分光反射率推定ステップ、分光反射率推定処理）。 Then, from the linear combination coefficient c of all the pixels obtained in step S18, the spectral reflectance of the subject is calculated using the spectral reflectance basis vector b by the spectral reflectance low-dimensional linear model of Equation (9), A reflectance image is obtained (step S19, spectral reflectance estimation step, spectral reflectance estimation processing).
以上説明したように、本実施例１によれば、専用の多チャンネル画像入力機器を用いることなく、低コストで簡便に、しかも高精度でディジタルラメラ３や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率を推定し算出でき、これによって定義された分光反射率画像を取得することが可能になる効果がある。 As described above, according to the first embodiment, an object that does not depend on the digital lamella 3 or the light source at the time of image input can be easily and inexpensively without using a dedicated multi-channel image input device. The spectral reflectance, which is unique color information, can be estimated and calculated, and this has the effect of making it possible to acquire a defined spectral reflectance image.
（実施例２）
この実施例２の分光反射率推定方法が適用される分光反射率推定装置では、分光反射率画像を分光画像ファイルとして保存する際、各画素の分光反射率を分光反射率ベクトルにより記述するのではなく、線形結合係数により記述するようにしてもよい。この結果、画像データの容量を圧縮できる効果が得られる。この場合、分光反射率基底ベクトルを分光画像ファイル内、または異なるファイルに別途記録しておくことにより、各画素の線形結合係数から式（９）を用いて分光反射率を算出することができる。
(Example 2)
In the spectral reflectance estimation apparatus to which the spectral reflectance estimation method of the second embodiment is applied, when the spectral reflectance image is stored as a spectral image file, the spectral reflectance of each pixel is not described by a spectral reflectance vector. Instead, it may be described by a linear combination coefficient. As a result, it is possible to compress the image data capacity. In this case, by separately recording the spectral reflectance basis vector in the spectral image file or in a different file, the spectral reflectance can be calculated from the linear combination coefficient of each pixel using Equation (9).
また、標準板の色票の数、扱う全ての分光データの波長範囲及び波長間隔等は固定ではなく、適正な推定精度が得られる範囲内であれば、必要に応じて選択するようにしてもよい。 In addition, the number of color charts on the standard plate, the wavelength range and wavelength interval of all the spectral data to be handled are not fixed, and may be selected as necessary if appropriate estimation accuracy can be obtained. Good.
また、分光反射率を表すために用いる線形結合における基底ベクトルは、物体の物理的属性や、光学的属性等（例えば、繊維、印刷物、プラスチック、絵画等）に分類して導出しておき、撮影の本来の対象となる被写体の属性に応じて適宜選択することにより、算出される分光反射率の精度をより向上させることが可能である。この場合、被写体と同じ属性を持ち、かつ、部位毎、または個体毎に分光反射率が異なる物体サンプルを用意し、事前にその分光反射率を測定しておく。なお、ここで得られる分光反射率データは、なるべく多く、かつ広く変化に富むことが望ましい。 In addition, the basis vectors in the linear combination used to express the spectral reflectance are derived by classifying them into physical attributes, optical attributes, etc. (for example, fibers, printed materials, plastics, paintings, etc.) It is possible to further improve the accuracy of the calculated spectral reflectance by appropriately selecting according to the attribute of the subject that is the original target. In this case, an object sample having the same attribute as the subject and having a different spectral reflectance for each part or individual is prepared, and the spectral reflectance is measured in advance. Note that it is desirable that the spectral reflectance data obtained here is as large as possible and widely varied.
また、解析手段において、画像データ中の標準板の位置指定をユーザが行うことを必要とせず、画像データを分析し、標準板の位置を自動的に検出する処理を行う機能を解析手段の中へ組み込むようにしてもよい。 In addition, the analysis means does not require the user to specify the position of the standard plate in the image data, and the analysis means has a function of analyzing the image data and automatically detecting the position of the standard plate. You may make it incorporate in.
また、標準板の画像データには画像入力機器のノイズが含まれることがあるため、解析手段の中に、色票部をサンプリングした後の画素値、またはセンサ応答値から、ノイズ成分を除去（もしくは低減）する処理を組み込むようにしてもよい。 Since the image data of the standard plate may contain noise of the image input device, the noise component is removed from the pixel value after sampling the color chart part or the sensor response value in the analysis means ( Alternatively, a process for reducing) may be incorporated.
また、解析手段、及び画像変換手段は、必ずしも計算機を用いずとも、独立した専用の装置を設けるか、あるいは画像入力機器と一体に組み込むようにしてもよい。 The analysis unit and the image conversion unit may be provided with independent dedicated devices or may be integrated with the image input device without necessarily using a computer.
また、画像入力機器は、必ずしもディジタルスチルカメラやディジタルビデオカメラ等のディジタルカメラでなくても良く、前記技術は、イメージスキャナ等、画像データを取得できるものであれば応用が可能である。 Further, the image input device is not necessarily a digital camera such as a digital still camera or a digital video camera, and the above technique can be applied as long as it can acquire image data such as an image scanner.
また、画像入力機器は必ずしもＲ、Ｇ、Ｂの３チャンネルカメラでなくても良く、チャンネル数が４以外の場合においても応用が可能である。 Further, the image input device is not necessarily a three-channel camera of R, G, and B, and can be applied even when the number of channels is other than four.
また、前記実施例１では、被写体を撮影した画像データのそれぞれの画素に対して分光反射率の算出を行っているが、より高速な処理を実現するため、データ変換テーブルを作成し、同一撮影条件下で撮影された全ての画像に適用するようにしてもよい。 In the first embodiment, the spectral reflectance is calculated for each pixel of the image data obtained by photographing the subject. However, in order to realize faster processing, a data conversion table is created and the same photographing is performed. You may make it apply to all the images image | photographed on conditions.
１……標準板、２……照明光源、３……ディジタルカメラ、４……計算機（センサ応答値抽出手段、仮想センサ応答値算出手段、センサ応答値非線形変換関数作成手段、線形結合係数算出行列作成手段、分光反射率線形結合係数算出手段、分光反射率推定手段、センサ応答値算出手段）。
DESCRIPTION OF
Claims (6)
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出ステップと、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出ステップと、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップと、
を有する分光反射率推定方法。 A spectral reflectance estimation method for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
A standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and a plurality of input color chart images of the standard plates are input. An image data acquisition step for acquiring data;
A sensor response value extracting step for extracting a sensor response value corresponding to each color chart of the standard plate from the image data;
Virtual spectral filter data having spectral characteristics linearly independent in spectral space and spectral product of spectral sensitivity characteristics of the image input device and spectral characteristics of the illumination light source used at the time of image input, and spectral reflection of each color chart of the standard plate A virtual sensor response value calculating step for obtaining a virtual sensor response value of each color chart from the rate data;
A sensor response value nonlinear conversion function creating step for creating a nonlinear function for converting a sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart;
Using the sensor response value and virtual sensor response value of each color chart of the standard plate, the spectral reflectance data of each color chart of the standard plate, and a basis function for expressing the spectral reflectance by a linear combination of specific dimensions A linear combination coefficient calculation matrix creating step for creating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, a spectral reflectance linear combination coefficient calculation step for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object A spectral reflectance estimation step for estimating the spectral reflectance;
Spectral reflectance estimation method having
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出ステップと、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出ステップと、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップと、
を有する分光反射率推定方法。 A spectral reflectance estimation method for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
From the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, and a plurality of different spectral reflectance data, an object having the spectral reflectance in the image input device is spectrally reflected. A sensor response value calculating step for calculating a sensor response value when input under the same image input conditions as the estimation object;
From the spectral reflectance data of the spectral sensitivity characteristic of the image input device and the spectral characteristic of the spectral characteristics of the illumination light source used at the time of image input and the spectral characteristic linearly independent in the spectral space, and the spectral reflectance data, A virtual sensor response value calculating step for obtaining a virtual sensor response value of spectral reflectance data;
A sensor response value nonlinear conversion function creating step for creating a nonlinear function for converting a sensor response value of the spectral reflectance data into a virtual sensor response value;
The spectral reflectance data, the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, the virtual spectral filter data, and the spectral reflectance are expressed by a linear combination of specific dimensions. A linear combination coefficient matrix for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from a sensor response value and a virtual sensor response value. A step of creating a coupling coefficient calculation matrix;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, a spectral reflectance linear combination coefficient calculation step for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object A spectral reflectance estimation step for estimating the spectral reflectance;
Spectral reflectance estimation method having
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得手段と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出手段と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出手段と、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段と、
を有する分光反射率推定装置。 A spectral reflectance estimation apparatus that estimates spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
A standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and a plurality of input color chart images of the standard plates are input. Image data acquisition means for acquiring data;
Sensor response value extracting means for extracting sensor response values corresponding to each color chart of the standard plate from the image data;
Virtual spectral filter data having spectral characteristics linearly independent in spectral space and spectral product of spectral sensitivity characteristics of the image input device and spectral characteristics of the illumination light source used at the time of image input, and spectral reflection of each color chart of the standard plate Virtual sensor response value calculating means for obtaining a virtual sensor response value of each color chart from rate data;
A sensor response value nonlinear conversion function creating means for creating a nonlinear function for converting a sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart;
Using the sensor response value and virtual sensor response value of each color chart of the standard plate, the spectral reflectance data of each color chart of the standard plate, and a basis function for expressing the spectral reflectance by a linear combination of specific dimensions A linear combination coefficient calculation matrix creating means for creating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, spectral reflectance linear combination coefficient calculation means for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object Spectral reflectance estimation means for estimating the spectral reflectance;
Spectral reflectivity estimation apparatus.
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出手段と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出手段と、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段と、
を有する分光反射率推定装置。 A spectral reflectance estimation apparatus that estimates spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
From the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, and a plurality of different spectral reflectance data, an object having the spectral reflectance in the image input device is spectrally reflected. Sensor response value calculating means for calculating a sensor response value when input under the same image input conditions as the estimation object;
From the spectral reflectance data of the spectral sensitivity characteristic of the image input device and the spectral characteristic of the spectral characteristics of the illumination light source used at the time of image input and the spectral characteristic linearly independent in the spectral space, and the spectral reflectance data, Virtual sensor response value calculating means for obtaining a virtual sensor response value of spectral reflectance data;
Sensor response value nonlinear conversion function creating means for creating a nonlinear function for converting a sensor response value of the spectral reflectance data into a virtual sensor response value;
The spectral reflectance data, the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, the virtual spectral filter data, and the spectral reflectance are expressed by a linear combination of specific dimensions. A linear combination coefficient matrix for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from a sensor response value and a virtual sensor response value. A coupling coefficient calculation matrix creating means;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, spectral reflectance linear combination coefficient calculation means for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object Spectral reflectance estimation means for estimating the spectral reflectance;
Spectral reflectivity estimation apparatus.
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出処理と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出処理と、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理と、
を有する分光反射率推定プログラム。 A program for causing a computer to execute a spectral reflectance estimation method for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
A standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is input under the same image input conditions as the spectral reflectance estimation object, and a plurality of input color chart images of the standard plates are input. Image data acquisition processing for acquiring data;
A sensor response value extraction process for extracting a sensor response value corresponding to each color chart of the standard plate from the image data;
Virtual spectral filter data having spectral characteristics linearly independent in spectral space and spectral product of spectral sensitivity characteristics of the image input device and spectral characteristics of the illumination light source used at the time of image input, and spectral reflection of each color chart of the standard plate Virtual sensor response value calculation processing for obtaining a virtual sensor response value of each color chart from rate data;
A sensor response value nonlinear conversion function creating process for creating a nonlinear function for converting a sensor response value of each color chart of the standard plate into a virtual sensor response value of each color chart;
Using the sensor response value and virtual sensor response value of each color chart of the standard plate, the spectral reflectance data of each color chart of the standard plate, and a basis function for expressing the spectral reflectance by a linear combination of specific dimensions A linear combination coefficient calculation matrix creation process for creating a linear combination coefficient calculation matrix for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension from the sensor response value and the virtual sensor response value;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, a spectral reflectance linear combination coefficient calculation process for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object Spectral reflectance estimation processing for estimating spectral reflectance,
Spectral reflectance estimation program having
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出処理と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出処理と、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理と、
を有する分光反射率推定プログラム。 A program for causing a computer to execute a spectral reflectance estimation method for estimating a spectral reflectance of the spectral reflectance estimation object from image data including an image of the spectral reflectance estimation object obtained from an image input device,
From the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, and a plurality of different spectral reflectance data, an object having the spectral reflectance in the image input device is reflected in the spectral reflection A sensor response value calculation process for calculating a sensor response value when input under the same image input conditions as the rate estimation object;
From the spectral reflectance data of the spectral sensitivity characteristic of the image input device and the spectral characteristic of the spectral characteristics of the illumination light source used at the time of image input and the spectral characteristic linearly independent in the spectral space, and the spectral reflectance data, A virtual sensor response value calculation process for obtaining a virtual sensor response value of spectral reflectance data;
A sensor response value nonlinear conversion function creating process for creating a nonlinear function for converting a sensor response value of the spectral reflectance data into a virtual sensor response value;
The spectral reflectance data, the spectral sensitivity characteristic data of the image input device, the spectral characteristic data of the illumination light source used at the time of image input, the virtual spectral filter data, and the spectral reflectance are expressed by a linear combination of specific dimensions. A linear combination coefficient matrix for calculating a coefficient for a basis function for expressing spectral reflectance by a linear combination of a specific dimension from a sensor response value and a virtual sensor response value. A coupling coefficient calculation matrix creation process;
From said by the non-linear function number from sensor response values of the spectral reflectance estimating object calculates a virtual sensor response values of the spectral reflectance estimation object, the sensor response value and the virtual sensor response values of said image input device Using the linear combination coefficient calculation matrix, a spectral reflectance linear combination coefficient calculation process for calculating a coefficient for a basis function for expressing the spectral reflectance by a linear combination of a specific dimension;
From the coefficient for the basis function for expressing the spectral reflectance by a linear combination of a specific dimension and the basis function for expressing the spectral reflectance by a linear combination of a specific dimension, the spectral reflectance estimation object Spectral reflectance estimation processing for estimating spectral reflectance,
Spectral reflectance estimation program having
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006025849A JP4798354B2 (en) | 2006-02-02 | 2006-02-02 | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006025849A JP4798354B2 (en) | 2006-02-02 | 2006-02-02 | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007208708A JP2007208708A (en) | 2007-08-16 |
| JP4798354B2 true JP4798354B2 (en) | 2011-10-19 |
Family
ID=38487755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006025849A Expired - Fee Related JP4798354B2 (en) | 2006-02-02 | 2006-02-02 | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4798354B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5605687B2 (en) | 2010-06-29 | 2014-10-15 | 株式会社リコー | Spectral characteristic measuring method, spectral characteristic measuring apparatus, and image forming apparatus having the same |
| JP6299180B2 (en) * | 2013-11-27 | 2018-03-28 | 株式会社リコー | Imaging apparatus, imaging system, and imaging method using the imaging apparatus |
| JP6933211B2 (en) * | 2016-06-22 | 2021-09-08 | ソニーグループ株式会社 | Sensing system, sensing method, and sensing device |
| JP7077646B2 (en) * | 2018-02-13 | 2022-05-31 | 株式会社ニコン | Image generators, imaging systems, programs, image generation methods, information management systems and terminals |
| JP2019190927A (en) * | 2018-04-23 | 2019-10-31 | キヤノン株式会社 | Analysis system, image capturing device, and program |
| CN113609907B (en) * | 2021-07-01 | 2024-03-12 | 奥比中光科技集团股份有限公司 | Multispectral data acquisition method, device and equipment |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1196333A (en) * | 1997-09-16 | 1999-04-09 | Olympus Optical Co Ltd | Color image processor |
| JP4262359B2 (en) * | 1999-06-18 | 2009-05-13 | オリンパス株式会社 | Color reproduction system |
| JP2001311666A (en) * | 2000-04-28 | 2001-11-09 | Toppan Printing Co Ltd | Colorimetric conversion coefficient calculating method and colorimetric image converting method, colorimetric conversion coefficient computing device and colorimetric image converting device, and computer-readable information recording medium with colorimetric conversion coefficient computing program or colorimetric image pickup program recorded thereon |
| JP2002027264A (en) * | 2000-07-04 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Image processing method and image processor |
| JP3767541B2 (en) * | 2002-11-12 | 2006-04-19 | ソニー株式会社 | Light source estimation apparatus, light source estimation method, imaging apparatus, and image processing method |
-
2006
- 2006-02-02 JP JP2006025849A patent/JP4798354B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007208708A (en) | 2007-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4715288B2 (en) | Spectral reflectance candidate calculation method, color conversion method, spectral reflectance candidate calculation device, color conversion device, spectral reflectance candidate calculation program, color conversion program | |
| JP3767541B2 (en) | Light source estimation apparatus, light source estimation method, imaging apparatus, and image processing method | |
| JP4798354B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| US8044969B2 (en) | Reflectance spectra estimation and colour space conversion using reference reflectance spectra | |
| Vora et al. | Digital color cameras—2—Spectral response | |
| JP5457652B2 (en) | Image processing apparatus and method | |
| JPH1196333A (en) | Color image processor | |
| US7554586B1 (en) | System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture | |
| US7457000B2 (en) | Image input system, conversion matrix calculating method, and computer software product | |
| Webb et al. | Spectral and 3D cultural heritage documentation using a modified camera | |
| KR20150061339A (en) | Apparatus and method for makeup color simulation | |
| Aguénounon et al. | Single snapshot imaging of optical properties using a single-pixel camera: a simulation study | |
| JP4957411B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| JP2012154711A (en) | Optical spectrum estimation device and learning spectrum generation method | |
| JP4692190B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| JP2008206163A (en) | Color image processor | |
| JP4415446B2 (en) | Colorimetric image conversion method, colorimetric image conversion apparatus, and computer-readable information recording medium recording a colorimetric image conversion program | |
| US20130155193A1 (en) | Image quality evaluation apparatus and method of controlling the same | |
| JP2001311666A (en) | Colorimetric conversion coefficient calculating method and colorimetric image converting method, colorimetric conversion coefficient computing device and colorimetric image converting device, and computer-readable information recording medium with colorimetric conversion coefficient computing program or colorimetric image pickup program recorded thereon | |
| JP4529210B2 (en) | Colorimetric conversion coefficient calculation method and colorimetric image conversion method, colorimetric conversion coefficient calculation apparatus and colorimetric image conversion apparatus, and computer-readable information recording a colorimetric conversion coefficient calculation program or colorimetric imaging program recoding media | |
| US8411162B2 (en) | Image processing methods and systems for fine art reproduction | |
| JP4378810B2 (en) | Colorimetric conversion coefficient calculation method, colorimetric imaging method, colorimetric conversion coefficient calculation device, colorimetric imaging device, and computer-readable information recording medium recording a colorimetric conversion program | |
| JP3577977B2 (en) | Illumination light spectral characteristic estimation device | |
| JP3780750B2 (en) | Colorimetric color expression method, colorimetric color expression device, and computer-readable information recording medium recording a colorimetric color expression program | |
| Shi et al. | Illumination estimation via nonnegative matrix factorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110706 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110719 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |