JP5282356B2 - 分光データ分類方法、分光データ分類装置、並びに分光データ分類プログラム - Google Patents

Description

本発明は、物体の分光反射率や照明光源の分光強度等の分光データを、それらが持つ分光的な特徴に基づき、必要かつ十分な数の範疇に分類する分光データ分類方法、分光データ分類装置、並びに分光データ分類プログラムに関する。

物体の色特性は、その物体の分光反射率によって表される。一方、その物体をデジタルスチルカメラやデジタルビデオカメラ、またはデジタルスキャナ等の画像入力機器により撮影して得られる画像データは、被写体の分光反射率だけでなく、画像入力機器や画像入力時の光源の分光特性にも依存する。従って、物体自体の色特性を取得するためには、画像データから被写体の分光反射率を推定する必要があり、その方法としてはおおよそ以下のような状況であった。
先ず、可視光波長領域にわたり、透過波長帯の異なる複数の狭帯域フィルタを用いて順次撮影を行う分光画像撮影技術が広く知られている。この方法では、単色の画像入力機器を使用し、画像入力機器、または照明光源の前面に狭帯域フィルタを順次設置しながら撮影することにより、数十チャンネルの画像を取得し、そこから被写体の分光反射率の推定を行う。しかしながら、この方法では、狭帯域フィルタを用いるため画像入力機器に入射する光量が不足すること、あるいは、画像入力時に使用する照明光の光量を増やすと、光や熱が被写体に悪影響を及ぼす可能性があることが問題となっていた。

一方、分光反射率を基底ベクトル群の低次元線形和によって近似する低次元線形モデルを用いることにより、撮影チャンネル数を低減する方法がある（特許文献１、非特許文献１参照）。低次元線形モデルについては、後に詳細を述べる。この方法では、線形モデルの次数と等しいチャンネル数の画像データを取得することにより、画像データから基底ベクトル群の係数への線形変換を行い、分光反射率を推定することが可能である。分光反射率の低次元線形モデルに必要とされる次元数は、人間の肌等では３程度、より一般的には５〜８程度とされており、分光反射率を推定するためにはこれと同じチャンネル数の画像データを取得すればよい。そのため、フィルタの分光特性は必ずしも狭帯域でなくてもよく、前述の光量に関する問題は解決することができる。基底ベクトル群は、撮影対象となる被写体と同種の分光反射率特性組成を持つ複数の色について予め測定した分光反射率データをもとに、例えば主成分分析等の手法により導出されるのが一般的である。

分光反射率を高精度で推定するためには、被写体の分光反射率特性組成毎に異なる基底ベクトル群を用意する必要があるが、被写体の分類、及び使用すべき基底ベクトル群の選択にあたっては、明確な指標が示されていないという問題がある。例えば、ある物体については、着色方式が染料系か顔料系かの違いで基底ベクトル群を使い分けることによって十分な精度が得られるにも関わらず、着色剤の製造会社や媒体の種類等で基底ベクトル群を細分化してしまい、データの管理面で煩雑さが増すと同時に、利用者にとっては、どの基底ベクトル群を選択すれば良いか分かり難くなってしまうという課題や、逆に、着色方式によらず共通の基底ベクトル群を使用してしまったために十分な精度が得られなくなるという課題を抱えていた。またこれは、被写体の分光反射率推定だけでなく、同じく低次元線形モデルを使用した照明光源の分光強度推定等の分光データ処理においても共通する課題である。
特開２００２−１８５８０３号公報 三宅洋一編、分光画像処理入門、東京大学出版会（２００６）

本発明は前記従来の技術が持つ諸問題に鑑みなされたものであって、推定対象の範疇毎に基底ベクトル群を選択して処理を行う際、推定精度を低下させることなく、管理すべき基底ベクトル群の数を低減し、また、使用すべき基底ベクトル群の選択を容易にする、被写体に応じた基底ベクトルを好適に分類することを可能とする分光データ分類方法、分光データ分類装置、並びに分光データ分類プログラムを提供することを目的とする。

本発明の分光データ分類方法は、物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類方法であって、一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出ステップと、複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出ステップと、範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類ステップと、を有し、前記分光データ特徴抽出ステップでは、前記特定の次数と同数の範疇からそれぞれ前記基底関数を算出し、前記範疇分類ステップでは、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする。

本発明の分光データ分類装置は、物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類装置であって、一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出手段と、複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出手段と、範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類手段と、を有し、前記分光データ特徴抽出手段は、前記特定の次数と同数の範疇からそれぞれ前記基底関数を算出し、前記範疇分類手段は、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする。

本発明の分光データ分類プログラムは、物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類装置のコンピュータに実行させるプログラムであって、一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出処理と、複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出処理と、範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類処理と、を有し、前記分光データ特徴抽出処理では、前記特定の次数と同数の範疇から前記基底関数を算出し、前記範疇一致度算出処理では、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする分光データ分類プログラム。

以上説明したように、本発明によれば、物体の分光反射率や照明光源の分光強度等の分光データを、その分光データを低次元線形モデルで表現するために必要となる基底ベクトルによって定義される部分空間に基づき、必要かつ十分な数の範疇に分類することができる。これによって、例えば、画像入力機器による撮影で得られた画像データから被写体の分光反射率を推定する場合や、あるいは撮影に使用した照明光源の分光強度を推定する場合のように、推定対象の範疇毎に基底ベクトル群を選択して処理を行う際、推定精度を低下させること無く、管理すべき基底ベクトル群の数を低減し、また、使用すべき基底ベクトル群の選択を容易にすることができる。

以下、本発明の実施の形態を、図面を参照しつつ詳細に説明する。
＜１．低次元線形モデル＞
先ず、分光データの低次元線形モデルについて説明する。計算の便宜上、分光データを離散データとして扱い、例えば、可視光域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングした場合、分光データｒは式（１）の形で３６次元ベクトルとして表現することができる。

ただし、ｒ_１、ｒ_２、・・・、ｒ_３６は、波長３８０ｎｍ、３９０ｎｍ、・・・、７３０ｎｍにおける分光データの値である。また、Ｔは行列及びベクトルの転置を表す。この例では、分光データを表すために３６次元が必要である。しかしながら、例えば分光データが実在する物体の分光反射率の場合、この次元数は冗長であり、実際には、ｒは３６次元の波長空間中、３から８次元程度の部分空間内に存在することが知られている。従って、この次元数をｎとすれば、分光データｒは、式（２）の低次元線形モデルにより近似的に表すことができる。

ただし、ｂ_ｉは部分空間を規定する３６次元の正規直交基底ベクトルのｗ_ｉは基底ベクトルｂ_ｉに対する重み係数である。なお、ここでの低次元とは、本来の分光データを表すための次元数３６に対して、線形モデルに使用する次数ｎが十分小さいことを意味する。
式（２）における基底ベクトルｂ_ｉは、分光反射率データｒと同じ範疇に属する複数の分光データから、主成分分析等の手法によって算出する。例えば、分光データｒが印刷物のある一つの色の分光反射率を表す場合、ｂ_ｉの算出には、その印刷物と同じ紙、同じインクで印刷された複数の色の分光反射率データを用いる。
式（２）による分光データの低次元近似を十分な精度で行うためには、基底ベクトルの算出に使用する複数の分光データが、近似対象となる分光データと同じ範疇に属することが重要となる。しかしながら、範疇を細分化しすぎると、膨大な数の基底ベクトル群が生じ、データ管理が煩雑なものとなってしまうと同時に、利用者にとっては、ある対象物に対してどの基底ベクトル群を選択すれば良いか分かり難いものとなってしまう。この問題を解決するためには、同一の基底ベクトル群を使用しても近似精度が損なわれない複数の範疇については、範疇を統合し、範疇を必要かつ十分な数に分類すればよい。以下に、その分類方法について詳細に説明する。

＜２．分光データの分類＞
次に、図１および図２を参照し、複数の異なる範疇に対して導出した低次元線形モデルの分類について説明する。図１は、本発明の実施の形態に係る分光データ分類装置の構成を示すブロック図である。図２は、本発明の実施の形態に係る分光データ分類装置の動作を示すフローチャートである。図１に示す分光データ分類装置、図２に示すフローチャートにおいては、簡単のため、２つの範疇を統合するか否かの判定方法を示しているが、分類する範疇の数が３以上の場合には、それぞれの範疇について他のいずれかの範疇と統合できるかどうかの判定を統合できる範疇が無くなるまで繰り返すことにより、範疇の分類を行うことができる。
本実施の形態の分光データ分類装置は、図１に示すように、複数の分光データ１、分光データ特徴抽出手段２、範疇一致度算出手段３および範疇分類手段４を備えている。
複数の分光データのうちの一方の分光データ１は範疇Ａに属する分光データ、他方の分光データ１は範疇Ａ’に属する分光データである。
分光データ特徴抽出手段２は、一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する。
範疇一致度算出手段３は、複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する。
範疇分類手段４は、範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する。

次に、図２に示すフローチャートを参照し動作について説明する。
ステップｓ１においては、主成分分析により、ｎ個の基底ベクトルから成る基底ベクトル群を導出する。図２の例では、範疇Ａに属する分光データから基底ベクトル群（ｖ_１、ｖ_２、・・・、ｖ_ｎ）を導出し、範疇Ａ’に属する分光データから基底ベクトル群（ｖ_１’、ｖ_２’、・・・、ｖ_ｎ’）を導出している。
続くステップｓ２においては、基底ベクトル群（ｖ_１、ｖ_２、・・・、ｖ_ｎ）により規定される波長空間内の部分空間と、基底ベクトル群（ｖ_１’、ｖ_２’、・・・、ｖ_ｎ’）により規定される部分空間との一致度を、式（３）により算出する。

式（３）において、ａは二つの部分空間の一致度、θは二つの部分空間が成す角度である。ただし、θは０度以上、９０度以下とする。一致度ａは、二つの部分空間が完全に一致する場合に１、直交する場合に０となる。
ステップｓ３では、二つの部分空間の一致度の評価を行う。分光データの測定誤差等の影響で、一致度ａが完全に０になることは稀である。そこで、ここでは一致度ａの許容誤差をａ_{ｔｈｒｅｓｈｏｌｄ}とし、一致度ａがａ_{ｔｈｒｅｓｈｏｌｄ}以上であるかどうかの判定を行う。なお、ａ_{ｔｈｒｅｓｈｏｌｄ}の値としては、求める低次元線形モデルの近似精度に応じて、０．９５や０．９８等の数値を適切に設定する。
一致度ａがａ_{ｔｈｒｅｓｈｏｌｄ}以上であれば、範疇Ａに属する分光データと範疇Ａ’に属する分光データは分光空間内でほぼ同一の部分空間内に存在し、従って同一の基底ベクトル群を使用することができるものと判断し、ステップｓ４において両範疇を統合して、ひとつの範疇とする。

産業上の利用の可能性

以上、本発明に係る分光データ分類装置の実施の形態について説明したが、その産業上の利用としては、例えばマルチバンド撮影による被写体分光反射率推定との組み合わせが可能である。
マルチバンド撮影では、被写体をデジタルスチルカメラで撮影する際に、４チャンネル以上の画像データを取得する。チャンネル数をｍとしたとき、ある画素におけるカメラのセンサ応答値ｄ_１、ｄ_２、・・・、ｄ_ｍは、式（４）で表される。

ただし、ｆ_１、ｆ_２、・・・、ｆ_ｍは各チャンネルのカメラの分光感度を示すベクトル、Ｅは対角成分に撮影時照明光源の分光強度を持つ対角行列、ｒは対象画素に結像された被写体の分光反射率を示すベクトルである。ここで、分光反射率を式（２）の低次元線形モデルで表すことにより、式（５）を得る。

ただし、式（５）における行列Ｇは式（６）で表されるｍ行ｎ列の行列である。

ここで、カメラのチャンネル数ｍを、低次元線形モデルの次数ｎと一致させて撮影を行ったとすれば、行列Ｇは正方行列となるため、式（７）の変換が成り立つ。

更に、式（２）の低次元線形モデルを用いて、撮影で得られたカメラのセンサ応答値ｄ_１、ｄ_２、・・・、ｄ_ｍから、式（８）によって被写体の分光反射率ｒが算出できる。

式（８）によって得られる分光反射率ｒの精度は、使用する基底ベクトルｂ_１、ｂ_２、・・・、ｂ_ｎに依存する。前述の通り、分光データの範疇を細分化しすぎると、ユーザが適切な基底ベクトル群を特定するのが非常に困難となるが、範疇を必要かつ十分な数に分類しておくことにより、精度の低下を起こすことなく、適切な基底ベクトル群を容易に選択することが可能となる。

本発明の実施の形態に係る分光データ分類装置の構成を示すブロック図である。 本発明の実施の形態に係る分光データ分類装置の動作を示すフローチャートである。

符号の説明

１……分光データ、２……分光データ特徴抽出手段、３……範疇一致度算出手段、４……範疇分類手段。

Claims (6)

1. 物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類方法であって、
   一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出ステップと、
   複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出ステップと、
   範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類ステップと、を有し、
   前記分光データ特徴抽出ステップでは、前記特定の次数と同数の範疇からそれぞれ前記基底関数を算出し、
   前記範疇分類ステップでは、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする分光データ分類方法。
2. 前記分光データ特徴抽出ステップは、分光データが印刷物の分光反射率である場合、前記印刷物と同等な紙、同等なインクで印刷された複数の色についての分光反射率データから、前記基底関数を算出することを特徴とする請求項１記載の分光データ分類方法。
3. 物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類装置であって、
   一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出手段と、
   複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出手段と、
   範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類手段と、を有し、
   前記分光データ特徴抽出手段は、前記特定の次数と同数の範疇からそれぞれ前記基底関数を算出し、
   前記範疇分類手段は、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする分光データ分類装置。
4. 前記分光データ特徴抽出手段は、分光データが印刷物の分光反射率である場合、前記印刷物と同等な紙、同等なインクで印刷された複数の色についての分光反射率データから、前記基底関数を算出することを特徴とする請求項３記載の分光データ分類装置。
5. 物体の分光反射率や照明光源の分光強度等の分光データを特徴毎に分類する分光データ分類装置のコンピュータに実行させるプログラムであって、
   一つの範疇に含まれる複数の分光データから、分光データを特定の次元の線形結合で表現するための分光空間における基底関数をその範疇に含まれる分光データの特徴として算出する分光データ特徴抽出処理と、
   複数の範疇のそれぞれについて、分光空間内で基底関数によって決定される部分空間を算出し、それぞれの部分空間が成す角度に基づき、範疇間の一致度を算出する範疇一致度算出処理と、
   範疇間の一致度に基づき、複数の範疇を同一範疇に統合するか、または異なる範疇とするかを決定する範疇分類処理と、を有し、
   前記分光データ特徴抽出処理では、前記特定の次数と同数の範疇から前記基底関数を算出し、
   前記範疇分類処理では、範疇間の一致度が所定値以上の場合に複数の範疇を同一範疇に統合し、前記所定値は前記特定の次元の次数に基づいて決定することを特徴とする分光データ分類プログラム。
6. 前記分光データ特徴抽出処理は、分光データが印刷物の分光反射率である場合、前記印刷物と同等な紙、同等なインクで印刷された複数の色についての分光反射率データから、前記基底関数を算出することを特徴とする請求項５記載の分光データ分類プログラム。

Images