JP6471942B2 - 画像処理装置、画像処理方法及び記録媒体 - Google Patents

Description

本発明は、被測定物を撮影した画像から、反射成分と蛍光成分を分離する画像処理装置及び画像処理方法、並びにその画像処理方法を適用したプログラムを記録した記録媒体に関する。

物体に光を照射したとき、その物体を見ている観察者には、その物体の表面で入射光がそのまま反射して生じる反射光が見えるだけでなく、物体の性質によっては、物体（物資）そのものが発光して蛍光が見える場合がある。蛍光は、その蛍光を励起する光を物体へ入射したときに、入射した光とは異なる波長の光を物体が発光する現象である。反射光は、物体に入射した光を同じ波長で反射するのに対して、蛍光の場合には、物体に入射して吸収される光（吸光）の波長よりも長い波長になる。

図１１は、３つの物体（レタス，トマト，バター）についての、可視光の領域での反射光の特性例を示す。この図１１の縦軸に示す反射率は、それぞれの物体ごとに個別に測定した相対値であり、３つの物体での反射光の大小関係を示すものではない。
例えば、レタスａは、緑色の領域で反射率が上昇する。したがって、観察者にはレタスが緑色に見える。また、トマトｂは、赤色の領域で反射率が上昇する。したがって、観察者にはトマトが赤色に見える。
それぞれの色（波長）の反射光は、それぞれの物体に照射される光をそのまま反射する。つまり、緑色の波長帯の光をレタスに照射することでレタスが緑色に見え、赤色の波長帯の光をトマトに照射することでトマトが赤色に見える。
一方、上述した蛍光の場合には、それぞれの物体に入射する光とは異なった波長の光である長波長側の光を出射する。蛍光成分は、様々な物体から発することが知られているが、物体によって波長や分布特性は変化する。

従来、反射光と蛍光を区別して正確に検出するためには、非常に複雑で精度の高い解析装置が必要であった。例えば、可視光の波長帯域を複数の狭い帯域に分割して、それぞれの帯域ごとの光を被測定対象物に照射する。そして、その被測定対象物が発する光の波長を光スペクトルアナライザなどの測定器で測定する。測定器で測定された光が、照射した光と同じ波長の成分だけのときには、反射光だけと判断される。また、測定器で測定された光が、照射した光よりも長い波長域であるとき、その長い波長域の光は蛍光と判断される。
このように、狭い帯域に分割された可視光による光の発光と測定を、可視光の全ての波長範囲で行うことで、被測定対象物の反射光と蛍光とを分離して検出することができる。
被測定対象物の反射光と蛍光を正確に検出できることで、例えば農作物などの植物の産地や種類などが判ることが知られている。例えばマンゴの蛍光成分の波長分布は、産地によって異なることが知られている。具体的には、日本の沖縄産のマンゴと、日本の宮崎産のマンゴと、台湾産のマンゴが、蛍光成分の波長分布から正確に判別できることが知られている。また、そばに含まれるそば粉の量が、蛍光成分の波長分布から判ることが知られている。

特開２０１３−１１４２３３号公報には、標本が発する蛍光波長帯域を特定するために、異なる複数の波長帯域で撮影し、それらの画像から蛍光の特徴量を算出する技術についての記載がある。

特開２０１３−１１４２３３号公報に記載されているように、波長帯域が狭い複数の帯域ごとに撮影を行って、蛍光を検出するためには、非常に多くの撮影回数が必要であり、撮影作業に手間がかかるという問題があった。特に、対象物体の１点の蛍光成分を計測するのではなく、対象物体全体や対象シーン全体を計測する場合には、さらに計測に時間がかかり、非常に困難な作業になるという問題があった。また、光スペクトルアナライザなどの測定器は非常に高価で、その取り扱いが複雑な機器であり、これを利用した解析システムも非常に高価になるという問題があった。
上述したように反射光成分や蛍光成分が正確に測定できることは、作物の選別や生物の状態の測定などで様々なメリットがあることが従来から知られているが、反射光成分や蛍光成分を簡単に測定することが困難であったため、反射光成分や蛍光成分の利用が進んでいないという問題があった。

本発明は、被測定物の反射光や蛍光を正確に検出できる画像処理装置、画像処理方法及び記録媒体を提供することを目的とする。

本発明の画像処理装置は、光源と、カメラと、画像処理部と、特性解析部とを備える。
光源は、所定の波長間隔で発光状態と非発光状態とを繰り返す波長特性を持つ第１の照明光と、その第１の照明光と発光状態と非発光状態の波長位置が逆転した波長特性を持つ第２の照明光とを選択的に発生させる。
カメラは、光源からの照明光が照射された被測定対象物を撮影する。
画像処理部は、第１の照明光が照射された被測定対象物をカメラにより撮影した第１の画像と、第２の照明光が照射された被測定対象物をカメラにより撮影した第２の画像とを取込み、第１の画像の画素と第２の画像の画素との差分を、第１の照明光と第２の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得る。さらに、第１の画像の画素と反射成分の画像の画素との差分から、被測定対象物の蛍光成分の画像を得る。
特性解析部は、画像処理部で得た蛍光成分の画像の分布特性を解析する。

本発明の画像処理方法は、照明光生成工程として、所定の波長間隔で発光状態と非発光状態とを繰り返す波長特性を持つ第１の照明光と、第１の照明光と発光状態と非発光状態の波長位置が逆転した波長特性を持つ第２の照明光とを選択的に発生させる。
そして、撮影工程として、照明光生成工程で得られた照明光が照射された被測定対象物を撮影する。
さらに、画像処理工程として、撮影工程で第１の照明光が照射された被測定対象物を撮影工程で撮影した第１の画像と、第２の照明光が照射された被測定対象物を撮影工程で撮影した第２の画像とを取込み、第１の画像の画素と第２の画像の画素との差分を、第１の照明光と第２の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得る。さらにまた、第１の画像の画素と反射成分の画像の画素との差分から、被測定対象物の蛍光成分の画像を得る。
さらに、特性解析工程として、画像処理工程で得た蛍光成分の画像の分布特性を解析する。

本発明の記録媒体は、上述した画像処理方法の各工程を手順としてコンピュータに実行させるプログラムを記録した記録媒体である。

本発明によると、２種類の照明光を用意して撮影した２つの画像から、簡単に被測定対象物の反射成分の画像を得ることができる。さらに、その被測定対象物の反射成分の画像から、蛍光成分の画像を得ることも簡単にできるようになる。例えば、反射光成分の画像や蛍光成分の画像から、生物（植物，動物）の状態の判別（種類の判別，活性状態の判別など）が簡単にできるようになる。

本発明の一実施の形態例によるシステムを示す構成図である。 本発明の一実施の形態例による照明光の特性例を示す波形図である。 本発明の一実施の形態例による画像処理部の構成を示すブロック図である。 本発明の一実施の形態例による処理の流れを示すフローチャートである。 本発明の一実施の形態例による波長成分の概要を示す図である。 本発明の一実施の形態例による反射光成分の画像の例を示す図である。 本発明の一実施の形態例による蛍光成分の画像の例を示す図である。 本発明の一実施の形態例を適用して測定した、波長間隔が短い照明光の場合の例を示す特性図である。 本発明の一実施の形態例を適用して測定した、波長間隔が長い照明光の場合の例を示す特性図である。 本発明の他の実施の形態例によるシステムを示す構成図である。 反射特性の例を示す図である。

以下、本発明の一実施の形態例（以下、「本例」と称する。）を、図１〜図１０を参照して説明する。

［１．システム構成例］
図１は、本例の画像処理装置のシステム全体を示す図である。このシステムは、被測定対象物である被写体９０からの反射光と、被写体９０が発する蛍光を測定するものである。また、このシステムは、蛍光から吸光率（入射した光が反射しないで吸収される割合）についても測定する。
被写体９０は、プログラマブル光源３０から照明光が照射された状態で、カメラ４０が撮影を行う。プログラマブル光源３０は、光源設定部２０からの指示に基づいて、出力する光の波長や分光分布を自由にデザインできる光源である。光源設定部２０での光源設定とカメラ４０での撮影は、制御部１０の制御下で行われる。

プログラマブル光源３０は、多波長可変光源とも称され、例えば４００ｎｍ〜７２０ｎｍの可視光の範囲内で、各波長帯の光の分布状態を自由に調整可能な光源である。このプログラマブル光源３０を使用することで、任意の色や波長の照射光を再現できる。プログラマブル光源３０は、例えば、株式会社ニコンから製品名ＥＬＳ−ＶＩＳとして製品化されたものが適用可能である。

光源設定部２０からの指示に基づいて、プログラマブル光源３０が出力する照明光としては、第１の発光強度の帯域と第２の発光強度の帯域の波長位置が相互に逆になる２種類の照明光（第１の照明光Ｌ１及び第２の照明光Ｌ２）が用意される。
図２Ａ及び図２Ｂは、第１の照明光Ｌ１と第２の照明光Ｌ２の特性例を示す図である。図２Ａ及び図２Ｂにおいて、縦軸は光の強度であり、横軸は波長である。第１の照明光Ｌ１と第２の照明光Ｌ２は、ほぼ可視光の帯域に相当する４２０ｎｍから７８０ｎｍまでの帯域の光である。第１の照明光Ｌ１と第２の照明光Ｌ２は、図２Ａの例と、図２Ｂの例のいずれを適用してもよい。なお、光源の帯域を４２０ｎｍから７８０ｎｍとするのは一例であり、各照明光Ｌ１，Ｌ２を発する光源の帯域は広いものが望ましく、光源の帯域が広い程、扱うことができる反射と蛍光の帯域も広くなる。

図２Ａの例の場合、第１の照明光Ｌ１と第２の照明光Ｌ２は、その帯域内で、一定の波長間隔ごとに発光と非発光を繰り返す高周波特性を持つ。但し、第１の照明光Ｌ１と第２の照明光Ｌ２は、相互に逆の特性となるようにしてある。すなわち、第１の照明光Ｌ１が発光状態になる帯域では、第２の照明光Ｌ２は非発光状態になる。また、第１の照明光Ｌ１が非発光状態になる帯域では、第２の照明光Ｌ２は発光状態になる。２つの照明光Ｌ１，Ｌ２を加算することで、可視光の全帯域内でほぼフラットな強度の光が得られる。

図２Ｂは、第１の照明光Ｌ１と第２の照明光Ｌ２のそれぞれが、輝度の低い状態でも、ある程度の輝度値で発光する例を示す。すなわち、第１の照明光Ｌ１と第２の照明光Ｌ２は、一定の波長間隔ごとに発光強度が強い発光状態と発光強度が弱い発光状態とを繰り返す。そして、第１の照明光Ｌ１と第２の照明光Ｌ２とで、発光強度が強い発光状態の帯域と発光強度が弱い発光状態の帯域とが、相互に逆になるようにする。
図２Ｂの例の場合にも、２つの照明光Ｌ１，Ｌ２を加算することで、可視光の全帯域内でほぼフラットな強度の光が得られる。

光源設定部２０は、第１の照明光Ｌ１を出力する期間と、第２の照明光Ｌ２を出力する期間を個別に設定することができる。
なお、図２Ａ及び図２Ｂの例では、４２０ｎｍから７８０ｎｍまでの範囲を２３の帯域に分割して、発光と非発光を繰り返す特性を図示したが、この帯域の分割数は一例であり、これよりも少ない分割数やより多い分割数でもよい。本例の場合、例えば１つの発光帯域の幅が４０ｎｍ程度以下のとき、後述する各光成分の画像を得るための十分な精度が確保される。つまり、２つの照明光Ｌ１，Ｌ２に対して、被測定対象物でほぼ同量の光が吸収されることを保証するような高い周波数特性を設定することが、誤差の少ない精度の良い分布特性を得る上で重要である。この発光と非発光を繰り返す高い周波数特性は、標本化定理により決まる。

また、図２Ａ及び図２Ｂの例では、第１の照明光Ｌ１と第２の照明光Ｌ２は、正弦波状に強度が上下する例を示したが、このような正弦波状の変化は一例であり、その他の変化状態であってもよい。
例えば、図２Ｃに示す矩形波の第１の照明光と、図２Ｄに示す矩形波の第２の照明光を使用してもよい。すなわち、図２Ｃに示す第１の照明光は、一定の波長間隔で矩形波状の急峻な特性で、発光と非発光とが連続する特性とする。そして、図２Ｄに示す第２の照明光は、第１の照明光と発光区間と非発光区間との波長位置が入れ替えた上で、一定の波長間隔で矩形波状の急峻な特性で発光と非発光とが連続する特性とする。この図２Ｃ，図２Ｄの矩形波状の急峻な特性とする場合にも、発光と非発光とが連続するのではなく、図２Ｂの場合と同様に、第１の強度での発光と第２の強度での発光が連続する特性としてもよい。

図１の説明に戻ると、プログラマブル光源３０が第１の照明光Ｌ１を出力した状態で、カメラ４０が被写体９０の撮影を行う。また、プログラマブル光源３０が第２の照明光Ｌ２を出力した状態で、カメラ４０が被写体９０の撮影を行う。
カメラ４０としては、可視光の範囲内を所定数の帯域（例えば３０帯域）に分割して、その分割した帯域ごとに各画素のデータを得る分光カメラが使用される。
カメラ４０が撮影して得た画像データは、画像処理部５０に送られ、画像処理部５０によって反射光成分と蛍光成分を分離する処理が行われる。

すなわち、画像処理部５０は、第１の照明光Ｌ１で照明された被写体９０を撮影して得た画像データと、第２の照明光Ｌ２で照明された被写体９０を撮影して得た画像データとを演算処理して、反射光の画像データと蛍光の画像データとを得る。さらに、画像処理部５０は、蛍光の画像データから吸光成分の波長分布を推定する。また、画像処理部５０は、各画像データと吸光成分の波長分布とを使用して、任意の色の光源で被写体９０を照明したときの画像データを演算で形成し、その形成した任意色の光源による画像データを得る。
画像処理部５０が蛍光の画像データを得る際には、光源設定部２０から、第１の照明光Ｌ１の設定状態に関するデータを取得する。反射光の画像データと蛍光の画像データと吸光成分の波長分布とを得るための具体的な処理については後述する。

画像処理部５０で得られた画像データは、画像表示部６０に供給され、画像表示部６０で各画像が個別に表示される。
また、画像処理部５０で得られた蛍光の画像データは、特性解析部７０に供給される。特性解析部７０は、蛍光の画像データから、被写体９０の蛍光特性の分布状態を解析する。また、特性解析部７０は、反射光成分の分布状態や、吸光成分の分布状態を解析してもよい。
画像処理部５０における反射光の画像データと蛍光の画像データとを得る処理と、吸光成分の波長分布を判断する処理は、制御部１０の制御下で実行される。

［２．画像処理部の構成例］
図３は、本例の画像処理部５０の構成例を示す。
画像処理部５０は、カメラ４０から供給された画像データを記憶する第１画像メモリ５１及び第２画像メモリ５２を備える。第１画像メモリ５１は、第１の照明光Ｌ１で照明された被写体９０を撮影して得た１フレームの画像データを記憶する。第２画像メモリ５２は、第２の照明光Ｌ２で照明された被写体９０を撮影して得た１フレームの画像データを記憶する。第１，第２画像メモリ５１，５２が画像データを取り込むタイミングは、制御部１０（図１）の制御により、プログラマブル光源３０で第１，第２の照明光Ｌ１，Ｌ２を照射するタイミングに同期して設定される。
以下の説明では、第１画像メモリ５１が記憶した第１の照明光Ｌ１で照明された画像データを第１の画像データと称し、第２画像メモリ５２が記憶した第２の照明光Ｌ２で照明された画像データを第２の画像データと称する。

そして、画像処理部５０は、反射光画像生成部５３と蛍光画像生成部５４とを備える。
反射光画像生成部５３には、第１画像メモリ５１が記憶した第１の画像データと、第２画像メモリ５２が記憶した第２の画像データとが供給される。反射光画像生成部５３では、第１の画像データの画素と第２の画像データの画素との、同じ画素位置での差分が算出される。この例では、画像データが、分光カメラを使用して撮影した波長帯域（例えば３０帯域）ごとの画素データであり、第１の画像データと第２の画像データとの差分を算出する際には、それぞれの波長帯域ごとに、同じ画素位置の画素データどうしで差分の算出を行う。
さらに、第１の画像データと第２の画像データとの差分を、照明光Ｌ１と照明光Ｌ２の輝度差で割る処理を行うことで、反射光成分の画像（反射光画像データ）が得られる。
このように２つの画像データの差分に基づいて反射光画像データが得られる原理については後述するが、誤差の少ない反射光画像データを得るためには、図２に示したように第１の照明光Ｌ１と第２の照明光Ｌ２の分光分布の周波数が所定以上に高いことが重要である。

上述したように、第１の画像データと第２の画像データとの差分を、照明光Ｌ１と照明光Ｌ２の輝度差で割る処理を行うことで、各波長において照明光Ｌ１と照明光Ｌ２のどちらが発光しているかについて考慮する必要がないと共に、照明光Ｌ１と照明光Ｌ２の輝度の差の考慮をしなくても良いことになる。
具体的には、例えば、第１の照明光Ｌ１のもとで撮影して得た画像の画素値がＰ１、第２の照明光Ｌ２のもとで撮影して得た画像の画素値がＰ２であるとすると、反射光Ｒ（λ）は、以下の式で得る。
Ｒ（λ）＝（Ｐ１（λ）−Ｐ２（λ））／（Ｌ１（λ）−Ｌ２（λ））
ここで、λは各波長を表す。Ｌ１（λ）は、波長λでの第１の照明光Ｌ１の輝度であり、Ｌ２（λ）は、波長λでの第２の照明光Ｌ２の輝度である。

照明光が図２Ｃ，図２Ｄに示す矩形波の特性である場合、特定の波長位置λ_１での反射光Ｒ（λ_１）の式は、次のように示すことができる。
Ｒ（λ_１）＝Ｐ１（λ_１）−Ｐ２（λ_１）
そして、ここで、図２Ａ，図２Ｂの例と同様に、このＲ（λ_１）の条件は、波長λ_１のときに、照明光Ｌ１の方が照明光Ｌ２よりも強度が強い場合である。照明光Ｌ２の方が照明光Ｌ１よりも強度が強い波長位置では、式のＰ１とＰ２が逆になる。

反射光画像生成部５３で得られた反射光画像データは、光源分布乗算部５５に供給される。光源分布乗算部５５は、光源設定部２０で設定した第１の照明光Ｌ１の分布特性を取得する。そして、光源分布乗算部５５は、第１の照明光Ｌ１の分布特性を、反射光画像データに乗算する。この第１の照明光Ｌ１の分布特性を反射光画像データに乗算することで、反射光画像データが、第１の照明光Ｌ１による反射光成分だけになり、第２の照明光Ｌ２による反射光成分が除去される。

蛍光画像生成部５４には、光源分布乗算部５５で得られた第１の照明光Ｌ１による反射光画像データと、第１画像メモリ５１が記憶した第１の画像データとが供給される。蛍光画像生成部５４では、第１の照明光Ｌ１による反射光画像データと第１の画像データとの差分が算出され、この算出した差分に基づいた画像データが、蛍光成分の画像（蛍光画像データ）になる。この蛍光画像生成部５４で差分を算出する際にも、反射光画像生成部５３で差分を算出する際と同様に、それぞれの波長帯域ごとに、同じ画素位置の画素データどうしで差分の算出を行う。
第１の照明光Ｌ１と第２の照明光Ｌ２の下で観察される蛍光の分光分布は、以下の式で示される。下記の式において、ｅ（λ）は、蛍光発光の分光分布（波長λの光をどれだけ返すかを示す、すなわち蛍光発光の色を決定する発光分布）、Ｋは、蛍光物質が、第１の照明光Ｌ１または第２の照明光Ｌ２の光をどれだけ吸収するか表す係数であり、蛍光物質の吸光成分と光源の分光分布により求まる。この係数Ｋにより蛍光発光ｅ（λ）の強度が決定される。
ここで、物質の吸光成分の分光分布がある程度の周波数帯域に制限される低周波な分布、すなわち分光領域で滑らかに変化するような分布を持つ場合、第１の照明光Ｌ１と第２の照明光Ｌ２の分光分布を吸光成分の分布より高周波に設定することにより、第１の照明光Ｌ１の光源下での光の吸収量Kは同じとなり、第１の照明光Ｌ１下で観察される蛍光成分と第２の照明光Ｌ２下で観察される蛍光成分は、ほぼ同一の分光分布となる。なお、この点は図５で後述する。
Ｋｅ（λ）＝（Ｐ１（λ））−［（Ｐ１（λ）−Ｐ２（λ））／（Ｌ１（λ）−Ｌ２（λ））］・Ｌ１（λ）
なお、各画素でＫｅ（λ）の値を正規化することで、蛍光発光の分光分布を表す関数ｅ（λ）を得ることができる。
照明光が図２Ｃ，図２Ｄに示す矩形波の特性である場合、第１の照明光Ｌ１と第２の照明光Ｌ２の下で観察される蛍光の分光分布の式は、次のように示すことができる。
Ｋｅ（λ_１）＝２・Ｐ２（λ_１）

蛍光画像生成部５４で得られた蛍光画像データは、吸光成分変換部５８に供給される。吸光成分変換部５８は、蛍光画像データで示された蛍光成分の分布特性にほぼ一致した分布特性のデータを、データベース５９の記憶データから検索する。データベース５９は、蛍光成分の分布特性と吸光成分の分布特性との関係を示すデータが、複数種類（例えば１０００種類程度）記憶されている。また、このデータベース５９には、吸光成分の周波数特性についても記憶されている。なお、吸光成分は、蛍光を生じる物質（蛍光物質）に吸収される光の成分であり、光の各波長においてどれだけの光を吸収するかを示す吸光分布として表現される。

データベース５９の記憶データを検索した結果、完全に一致した分布特性がデータベース５９に記憶されていない場合には、吸光成分変換部５８は、最も類似した分布特性を一致した分布特性とする。または、複数の蛍光成分の組み合わせを考え、組み合わせとして最も近い分布を推定し、吸光成分もこれらの蛍光物質の吸光分布の組み合わせとして得る。さらに、吸光成分変換部５８は、一致した分布特性を検索した後、その検索した分布特性に対応づけられた吸光成分の分布特性をデータベース５９から読み出し、その分布特性を、蛍光画像データで示された蛍光成分の分布特性に対応した吸光成分の分布特性とする。吸光成分の画像データは、画像形成部５６に供給される。
なお、それぞれの差分画像から反射光画像データと蛍光画像データと吸光成分の画像データとが得られる原理については後述する。

反射光画像生成部５３で得られた反射光画像データと、蛍光画像生成部５４で得られた蛍光画像データは、画像形成部５６に供給される。また、第１画像メモリ５１が記憶した第１の画像データと、第２画像メモリ５２が記憶した第２の画像データについても、画像形成部５６に供給される。
画像形成部５６は、そのときの出力モードに応じて、反射光画像データと蛍光画像データと第１，第２の画像データのいずれかを出力する。画像形成部５６が出力する画像データは、画像表示部６０に供給され、画像形成部５６で選択された画像が表示される。

また、画像形成部５６は、光源条件設定部５７からの指示に基づいて、反射光画像データと蛍光画像データと吸光成分の画像データとを使用して、指示された光源で再現される画像を演算で形成する。例えば、画像形成部５６は、青色の光源を被写体９０に照射したときに、カメラ４０で撮影される画像データを演算で形成し、その形成された画像データを出力する。
さらに、画像形成部５６で得られた反射光画像データと蛍光画像データと吸光成分の画像データとは、特性解析部７０に供給され、分布特性の解析処理が行われる。

［４．一実施の形態例の処理の流れ］
図４は、本例の画像処理装置で行われる反射光成分と蛍光成分を検出する処理の流れを示すフローチャートである。
まず、制御部１０からの指示に基づいて光源設定部２０が、プログラマブル光源３０を第１の照明光Ｌ１で発光させる（ステップＳ１１）。この第１の照明光Ｌ１により被写体９０が照明された状態で、カメラ４０が撮影した画像データが、画像処理部５０内の第１画像メモリ５１に記憶される（ステップＳ１２）。次に、制御部１０からの指示に基づいて光源設定部２０が、プログラマブル光源３０を第２の照明光Ｌ２で発光させる（ステップＳ１３）。この第２の照明光Ｌ２により被写体９０が照明された状態で、カメラ４０が撮影した画像データが、画像処理部５０内の第２画像メモリ５２に記憶される（ステップＳ１４）。

そして、画像処理部５０内の反射光画像生成部５３が、第１画像メモリ５１に記憶された第１画像データの各波長帯域の画素と、第２画像メモリ５２に記憶された第２画像データの各波長帯域の画素との差分画像データを取得する（ステップＳ１５）。この差分画像データが、反射光画像データになる。
さらに、画像処理部５０内の蛍光画像生成部５４が、光源分布乗算部５５で得られた第１の照明光Ｌ１による反射光画像データの各波長帯域の画素と、第１画像メモリ５１に記憶された第１画像データの各波長帯域の画素との差分画像データを取得する（ステップＳ１６）。この差分画像データが、蛍光画像データになる。

その後、吸光成分変換部５８は、蛍光画像データで示された蛍光成分の分布特性に一致するか、又は最も類似した分布特性のデータをデータベース５９から検索する（ステップＳ１７）。そして、吸光成分変換部５８が、そのデータベース５９から検索した蛍光成分の分布特性に対応付けられた吸光成分の分布特性を読み出し、その読み出した吸光成分の分布特性を、被写体９０の吸光成分の分布特性と判断する（ステップＳ１８）。

［５．各成分の画像が得られる原理］
次に、本例の画像処理装置で反射光画像と蛍光画像が得られる原理について、図５を参照して説明する。図５Ａ〜図５Ｆの各図において、横軸は波長であり、可視光の範囲を示す。また、縦軸は光の強度を示す。
図５Ａは、第１の照明光Ｌ１で照明された被写体９０を撮影した第１の画像データに含まれる反射光成分Ｒ１と蛍光成分Ｆ１の一例である。また、図５Ｂは、第２の照明光Ｌ２で照明された被写体９０を撮影した第２の画像データに含まれる反射光成分Ｒ２と蛍光成分Ｆ２の一例である。
図５Ａと図５Ｂを比較すると判るように、第１の画像データに含まれる反射光成分Ｒ１と、第２の画像データに含まれる反射光成分Ｒ２は、同一の被写体９０を撮影した画像データであるため、可視光領域全体で見たとき、ほぼ同様の分布特性である。しかしながら、第１の照明光Ｌ１と第２の照明光Ｌ２は、図２に示したように、一定の波長間隔ごと発光と非発光を繰り返す高周波特性であり、その発光と非発光の波長位置が相互に逆である。このため、照明光Ｌ１を反射することで生成される反射光成分Ｒ１と、照明光Ｌ２を反射することで生成される反射光成分Ｒ２とでは、山と谷の位置が逆になる高周波特性を有する。

一方、被写体９０を構成する物質の蛍光特性で決まる蛍光成分Ｆ１，Ｆ２については、その物質に入射した光により励起された光が出力されるものであり、図５Ａ及び図５Ｂに示すように、ある程度の帯域幅を持った分布特性である。これはこの物質の吸光成分の分光分布がある程度の帯域を持つ低周波な分布、すなわち分光領域で滑らかに変化する ような分布を持つことに起因している。したがって、光源の分光分布を吸収分布よ りも高周波に設定する事により、第１の画像データに含まれる蛍光成分Ｆ１と、第２の画像データに含まれる蛍光成分Ｆ２は、ほぼ同一の分布特性である。

まとめると、反射光成分Ｒ１と反射光成分Ｒ２とは山と谷の位置が逆になる高周波特性を有し、蛍光成分Ｆ１と蛍光成分Ｆ２はほぼ同一である。このため、反射光画像生成部５３で、図５Ａに示す第１の画像データと、図５Ｂに示す第２の画像データとの差分を求めて、第１の照明光Ｌ１と第２の照明光Ｌ２の光源輝度で割ることにより、ほぼ同一の分布特性である２つの蛍光成分Ｆ１，Ｆ２が消え、２つの反射光成分Ｒ１と反射光成分Ｒ２を加算した反射光成分Ｒ０だけが残る。
したがって、反射光画像生成部５３で第１の画像データと第２の画像データとの差分画像データを求めて、第１の照明光Ｌ１と第２の照明光Ｌ２の光源輝度で割ることにより、被写体９０の反射光成分（図５Ｃの反射光成分Ｒ０）が抽出された反射光画像データが得られる。なお、第１の画像データと第２の画像データとの差分画像データを得る際には、既に説明したように、照明光Ｌ１と照明光Ｌ２の輝度差で反射成分の画像を割る処理を行うことが好ましい。

さらに、図５Ｃに示す反射光成分Ｒ０の反射光画像データに、第１の照明光Ｌ１の分布特性を乗算することで、図５Ｄに示す第１の照明光Ｌ１の反射光成分Ｒ１が得られる。この図５Ｄに示す第１の照明光Ｌ１の反射光成分Ｒ１と、図５Ａに示す第１の画像データとの差分を取ることで、図５Ｅに示すように、第１の画像データに含まれた蛍光成分Ｆ１だけが取り出される。したがって、蛍光画像生成部５４で反射光画像データと第１の画像データの内の一部の成分との差分を取ることで、被写体９０の蛍光成分Ｆ１が抽出された蛍光画像データが得られる。

また、蛍光成分Ｆ１の分布特性に対応した吸光成分の分布特性は一義的に決まる。このため、吸光成分変換部５８は、データベース５９の記憶データから一致（類似）する記憶データを検索することで、図５Ｆに示すように、被写体９０の吸光成分Ａ１を得ることができる。

［６．画像の例］
図６及び図７は、本例の画像処理装置で第１の画像Ｐ１と第２の画像Ｐ２から反射光画像Ｐ３と蛍光画像Ｐ４を取得した一例を示す。
ここで用意した被写体は、図７に示すように、文字「ＩＣＣＶ」とその周囲の模様を配置したものである。この例では、文字「ＩＣＣＶ」と、その文字の周囲の一部の模様（蝶の形状した模様）については、蛍光物質を塗布して蛍光特性を持たせてある。その他の模様については蛍光特性を持たない素材（物質）よりなる。なお、図６及び図７に示す各画像は、カラー画像を白黒で示したものである。

図６は、第１の画像Ｐ１と第２の画像Ｐ２と、それらの画像Ｐ１，Ｐ２の差分から得た反射光画像Ｐ３とを示す。第１の画像Ｐ１と第２の画像Ｐ２は、見かけ上、ほぼ同一に見える画像であり、この２つの画像Ｐ１，Ｐ２は表示された状態では、ほとんど区別がつかない。
ここで、第１の画像Ｐ１と第２の画像Ｐ２との差分を取ることで、図５Ａ〜図５Ｃに示した原理により、蛍光成分が除去された反射光成分Ｒ０（成分Ｒ１＋Ｒ２）の画像Ｐ３が得られる。画像Ｐ３は、蛍光成分が除去されているため、第１の画像Ｐ１や第２の画像Ｐ２と比べて、文字「ＩＣＣＶ」などの蛍光特性を有する箇所で、若干色調が変化している。

図７は、第１の画像Ｐ１と、反射光成分Ｒ０の画像Ｐ３と、それらの画像の差分から得た蛍光画像Ｐ４とを示す。第１の画像Ｐ１と、反射光成分Ｒ０の画像Ｐ３から取り出した反射光成分Ｒ１（第１の照明光Ｌ１による反射光成分）との差分を取ることで、蛍光成分Ｆ１が抽出された画像Ｐ４が得られる。画像Ｐ４では、蛍光物質を塗布した箇所である、文字「ＩＣＣＶ」と、蝶の形状した模様だけが表示されている。この画像Ｐ４では、蛍光成分を有さない模様（蛍光物質を塗布していない箇所）については表示されず、蛍光成分だけが取り出されたことが判る。

なお、この図７の例の場合には、蛍光の判りやすい例を示すために、文字などに蛍光物質を塗布した例を示すが、実際には、例えば植物などの各種物体が、その物体の状態に応じて蛍光を発することがあり、蛍光状態と相関がある物体の状態が蛍光画像から判るようになる。例えば、果物や野菜などの作物（例えばマンゴ）は、同じ種類の作物であっても、産地の相違によって、蛍光状態が異なることが知られており、本例の装置の特性解析部７０は、分布特性を解析して被写体９０の作物の産地が判断できるようになる。また、そばに含まれるそば粉の量などの製品の成分の分析が、反射光の分布特性や蛍光の分布特性から判断できるようになる。さらに、珊瑚などの生物の状態を反射光の分布特性や蛍光の分布特性から判断できるようになる。従来、反射光の分布特性や蛍光の分布特性を簡単に測定することは困難であったため、このような生物や農作物の状態，種類，産地などの解析に、これらの分布特性を利用することは殆ど行われていなかったが、本例の画像処理装置を利用することで簡単に行えるようになる。

この図６及び図７から判るように、本例の画像処理装置によると、被測定対象物の反射光成分の画像と、蛍光成分の画像とが得られる。蛍光成分の画像が得られることで、蛍光成分の分布特性についても解析することができ、蛍光成分の分布から、被測定対象物の状態を測定することが可能になる。さらに、蛍光成分の分布特性を使って、その蛍光成分を生じさせる吸光成分の分布特性も得られる。
これらの画像や分布特性を得る処理は、プログラマブル光源３０の発光状態を変えて、カメラ４０で２回撮影した画像を演算処理するだけでよく、非常に簡単に反射光成分や蛍光成分が測定できるようになる。すなわち、従来は、被測定対象物に照射する光の波長範囲を狭くした上で、被測定対象物が発する光の波長を光スペクトルアナライザなどの精密な測定器で何回も測定する必要があったのに対して、本例の画像処理装置では非常に簡単に測定ができる。

［７．実測した例］
次に、図８及び図９を参照して、本例の画像処理装置で反射光成分と蛍光成分を測定した例を説明する。
図８は、２つの照明光の発光帯域と非発光帯域とが比較的短い波長間隔で入れ替わる高周波特性を持った場合の例であり、図９は、２つの照明光の発光帯域と非発光帯域とが比較的広い波長間隔で入れ替わる特性を持った場合の例である。これら図８及び図９において、各図のＡは、２つの照明光Ｌ１，Ｌ２又はＬ１′，Ｌ２′の波長位置ごとの強度を示し、各図のＢ及びＣは、それぞれの照明光を使用して得られる反射光成分Ｒ０又はＲ０′と蛍光成分Ｆ１又はＦ１′を示す。また、図８Ｂ及び図９Ｂに示す反射光成分Ｒｘと、図８Ｃ及び図９Ｃに破線で示す蛍光成分Ｆｘは、本例の画像処理装置とは別の高精度な測定装置を使用して各成分を測定した特性である。

図８の例は、図８Ａに示すように、各照明光Ｌ１，Ｌ２の１周期（１つの発光期間と１つの非発光期間とよりなる期間）を約４０ｎｍに設定して、比較的短い波長間隔で２つの照明光Ｌ１，Ｌ２が発光と非発光を繰り返す高周波特性を持たせた例である。
この図８Ａに示す高周波特性を持つ照明光Ｌ１，Ｌ２を被写体に照射して、２つの画像の差分から得た反射光成分Ｒ０が、図８Ｂに示すようになる。この図８Ｂに示す反射光成分Ｒ０と、破線で示した高精度な測定装置で得た反射光成分Ｒｘとは、ほぼ一致する。
また、図８Ｃに示すように、照明光Ｌ１を照射して得た画像と、反射光成分Ｒ０の画像との差分に基づいて得た蛍光成分Ｆ１についても、破線で示した高精度な測定装置で得た蛍光成分Ｆｘとほぼ一致するようになる。
したがって、本例の画像処理装置を使用することで、精度の高い反射光成分と蛍光成分の測定ができる効果を有する。

図９は、１周期の期間を長くした２つの照明光Ｌ１′，Ｌ２′を用意して、本例の画像処理装置で測定した例である。
図９の例では、図９Ａに示すように、照明光Ｌ１′，Ｌ２′の１周期を約１６０ｎｍに設定したものである。
この図９Ａに示す照明光Ｌ１′，Ｌ２′を被写体に照射して、２つの画像の差分から得た反射光成分Ｒ０′が、図９Ｂに示すようになる。この図９Ｂに示す反射光成分Ｒ０′と、破線で示した高精度な測定装置で得た反射光成分Ｒｘとを比較すると判るように、ある程度の誤差がある。
また、図９Ｃに示すように、照明光Ｌ１′を照射して得た画像と、反射光成分Ｒ０′の画像との差分に基づいて得た蛍光成分Ｆ１′についても、破線で示した高精度な測定装置で得た蛍光成分Ｆｘと比較して、それなりの誤差があることが判る。

このように図８の特性と図９の特性を比較すると判るように、各照明光Ｌ１，Ｌ２の１周期が短い波長間隔である方が、誤差の少ない優れた特性の反射光画像や蛍光画像が得られる。但し、ある程度の測定誤差まで許容できる使用目的の場合には、図９Ａに示すような波長間隔が広い照明光Ｌ１′，Ｌ２′で撮影した画像を使用して測定するようにしてもよい。

［８．他の実施の形態例］
図１０は、本発明の他の実施の形態の例のシステム構成である。この図１０において、上述した図１に対応する部分には、図１と同一の符号を付す。
図１０の例では、光源８１として、可視光の波長帯域内である程度フラットな強度特性を有する白色の照明光を照射するものとする。そして、その光源８１の照明光出力部８１ａに、第１フィルタ８３と第２フィルタ８４とを選択的に配置する。第１フィルタ８３又は第２フィルタ８４の配置状態は、制御部１０の制御に基づいたフィルタ設定部８２からの指令で決まる。すなわち、フィルタ設定部８２からの指令により、光源８１の照明光出力部８１ａに、第１フィルタ８３が配置された状態と、第２フィルタ８４が配置された状態のいずれかに設定される。

第１フィルタ８３と第２フィルタ８４は、それぞれ異なる透過特性を有する。具体的には、第１フィルタ８３として、光源８１が出力する照明光を透過させたとき、図２に示した第１の照明光Ｌ１の特性となるようにする。また、第２フィルタ８４として、光源８１が出力する照明光を透過させたとき、図２に示した第２の照明光Ｌ２の特性となるようにする。つまり、第１フィルタ８３と第２フィルタ８４とで、光が透過する帯域と光が透過しない帯域が交互に逆となる高周波特性を持たせる。ここでの高周波特性とは、光が通過する帯域と光が通過しない帯域とが、比較的短い波長間隔で交互に設定されていることを示す。なお、このような特性を有する第１フィルタ８３と第２フィルタ８４は、例えばガラスなどの透明基板に所定の材質の膜を蒸着する等して形成される。
その他の構成については、図１に示した画像処理装置と同様に構成する。

図１０の例の画像処理装置で反射光成分と蛍光成分の測定を行う際には、フィルタ設定部８２が第１フィルタ８３を配置した状態で、カメラ４０が撮影を行い第１の画像データを得る。そして、フィルタ設定部８２が第２フィルタ８４を配置した状態で、カメラ４０が撮影を行い第２の画像データを得る。第１の画像データと第２の画像データを得た後の画像処理については、図４のフローチャートで説明した画像処理が行われる。
この図１０の構成の場合にも、図５で説明した原理で画像処理が行われ、反射光成分の画像と蛍光成分の画像を得ることができる。なお、図１０の例の場合には、発光体からの光を光源８１として使用する代わりに、太陽光を光源８１として使用してもよい。

［９．その他の変形例］
なお、図２に示した２つの照明光Ｌ１，Ｌ２の特性は一例を示したものであり、この図２に示した特性に限定されない。例えば図２Ａ，図２Ｂの例では、発光波長帯域と非発光波長帯域とが正弦波状に交差する特性とし、図２Ｃ，図２Ｄの例では、急峻な特性で発光波長帯域と非発光波長帯域とが交差する照明光としたが、これらの例とは異なる特性としてもよい。また、発光波長帯域と非発光波長帯域を分割する数についても、図２の例は一例であり、図２の例とは異なる分割数としてもよい。発光波長帯域と非発光波長帯域の分割数が多い方が、反射光画像や蛍光画像を得る上で好ましいが、少ない分割数の場合でも、それなりの精度で反射光画像や蛍光画像を得ることができる。

また、図１に示したプログラマブル光源３０や、図１０に示した光源８２とフィルタ８３，８４を使用して照明光を得るのは、それぞれ好適な一例であり、その他の構成の光源を使用してもよい。例えば、発光波長帯域が異なる複数の発光ダイオードを多数用意して、その複数の発光ダイオードの発光状態の選択で、２つの照明光Ｌ１，Ｌ２と同等の特性の照明光を得るようにしてもよい。

また、上述した実施の形態例では、検出した蛍光成分の分布特性に最も類似したデータをデータベース７４から検索して、その検索したデータに対応してデータベース７４に記憶された吸光成分のデータを、そのまま吸光成分の分布特性に確定するようにした。これに対して、吸光成分変換部７３が、検出した蛍光成分の分布特性と、データベース７４から検索された蛍光成分の分布特性との類似度を判断して、類似度に応じて吸光成分の分布特性を修正するようにしてもよい。

すなわち、類似度が所定レベル以上であるとき、吸光成分変換部７３は、データベース７４に記憶された吸光成分のデータで示された吸光成分の分布特性を、検出した蛍光成分の分布特性に確定する。また、類似度が所定レベル未満であるとき、吸光成分変換部７３は、データベース７４に記憶された吸光成分の分布特性のデータに対して、何らかの修正を施して、検出した蛍光成分の分布特性に確定する。このようにして、吸光成分変換部７３が、吸光成分の分布特性をより正確に変換するようにしてもよい。

また、図１や図１０に示した画像処理装置は、画像処理部や画像解析部を専用の回路で構成してもよいが、例えば図４のフローチャートで説明した画像処理や画像解析などを順に実行する工程よりなるプログラム（ソフトウェア）を作成して、そのプログラムをコンピュータ装置に実装することで、画像処理装置を実現してもよい。この場合のプログラムは、例えば、光ディスクや半導体メモリなどの記録媒体に記録してもよい。

１０…制御部、２０…光源設定部、３０…プログラマブル光源、４０…カメラ、５０…画像処理部、５１…第１画像メモリ、５２…第２画像メモリ、５３…反射光画像生成部、５４…蛍光画像生成部、５５…光源分布乗算部、５６…画像形成部、５７…光源条件設定部、５８…吸光成分変換部、５９…データベース、６０…画像表示部、７０…特性解析部、８１…光源、８１ａ…照明光出力部、８２…フィルタ設定部、８３…第１フィルタ、８４…第２フィルタ、９０…被写体（被測定対象物）、Ｌ１…第１の照明光、Ｌ２…第２の照明光

Claims (8)

1. 第１の発光強度と、第１の発光強度より弱い第２の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第１の照明光と、前記第１の照明光と第１の発光強度と第２の発光強度の波長位置が逆転した波長特性を持つ第２の照明光とを選択的に発生させる光源と、
   前記光源からの照明光が照射された被測定対象物を撮影するカメラと、
   前記第１の照明光が照射された被測定対象物を前記カメラにより撮影した第１の画像と、前記第２の照明光が照射された被測定対象物を前記カメラにより撮影した第２の画像とを取込み、前記第１の画像の画素と前記第２の画像の画素との差分を、前記第１の照明光と前記第２の照明光の輝度差で割る処理を行うことで被測定対象物の反射成分の画像を得、前記第１の画像の画素と前記反射成分の画像の画素との差分から、被測定対象物の蛍光成分の画像を得る画像処理部と、
   前記画像処理部で得た蛍光成分の画像の分布特性を解析する特性解析部とを備えた
   画像処理装置。
2. 前記第１の照明光と前記第２の照明光は、被測定対象物でほぼ同量の光が吸収される特性が確保されるような吸光度の周波数帯域に基づいた波長間隔で第１の発光強度と第２の発光強度とが連続する周波数特性を持つようにした
   請求項１記載の画像処理装置。
3. さらに、蛍光成分の波長の分布特性と吸光度の波長の分布特性との対応を記憶するデータベースを備え、
   前記画像処理部は、被測定対象物の蛍光成分の分布特性と類似した吸光度を前記データベースから検索して、前記蛍光成分の吸光度を得る
   請求項１記載の画像処理装置。
4. 前記光源は、光のスペクトルを任意にコントロールできるプログラマブル光源であり、プログラマブル光源の発光特性を、前記第１の照明光と前記第２の照明光の特性とする
   請求項１記載の画像処理装置。
5. 前記光源は、発光体からの光又は太陽光を前記第１の照明光とする第１の光フィルタと、発光体からの光又は太陽光を前記第２の照明光とする第２の光フィルタとを有し、
   前記第１の光フィルタと前記第２の光フィルタとを選択的に使用して、前記第１の照明光と前記第２の照明光を得る
   請求項１記載の画像処理装置。
6. 前記第１の画像及び第２の画像は、複数の波長帯域ごとに各画素の輝度値のデータを得る画像であり、
   前記第１の画像の画素と前記第２の画像の画素との差分と、前記第１の画像の画素と前記反射成分の画像の画素との差分を得る際には、それぞれの波長帯域の画素ごとに差分を得る
   請求項１記載の画像処理装置。
7. 第１の発光強度と、第１の発光強度より弱い第２の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第１の照明光と、前記第１の照明光と第１の発光強度と第２の発光強度の波長位置が逆転した波長特性を持つ第２の照明光とを選択的に発生させる照明光生成工程と、
   前記照明光生成工程で得られた照明光が照射された被測定対象物を撮影する撮影工程と、
   前記第１の照明光が照射された被測定対象物を前記撮影工程で撮影した第１の画像と、前記第２の照明光が照射された被測定対象物を前記撮影工程で撮影した第２の画像とを取込み、前記第１の画像の画素と前記第２の画像の画素との差分を、前記第１の照明光と前記第２の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得、前記第１の画像の画素と前記反射成分の画像の画素との差分から、被測定対象物の蛍光成分の画像を得る画像処理工程と、
   前記画像処理工程で得た蛍光成分の画像の分布特性を解析する特性解析工程とを含む
   画像処理方法。
8. 第１の発光強度と、第１の発光強度より弱い第２の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第１の照明光と、前記第１の照明光と第１の発光強度と第２の発光強度の波長位置が逆転した波長特性を持つ第２の照明光とを選択的に発生させる照明光生成手順と、
   前記照明光生成手順で得られた照明光が照射された被測定対象物を撮影する撮影手順と、
   前記第１の照明光が照射された被測定対象物を前記撮影手順で撮影した第１の画像と、前記第２の照明光が照射された被測定対象物を前記撮影手順で撮影した第２の画像とを取込み、前記第１の画像の画素と前記第２の画像の画素との差分を、前記第１の照明光と前記第２の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得、前記第１の画像の画素と前記反射成分の画像の画素との差分から、被測定対象物の蛍光成分の画像を得る画像処理手順と、
   前記画像処理手順で得た蛍光成分の画像の分布特性を解析する特性解析工手順とを、
   コンピュータに実装させて実行するプログラムを記録した
   記録媒体。