JP6862229B2

JP6862229B2 - 解析装置、撮像装置、解析方法、および、プログラム

Info

Publication number: JP6862229B2
Application number: JP2017050617A
Authority: JP
Inventors: 大介佐野; 翼中村; 悠修古賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2021-04-21
Anticipated expiration: 2037-03-15
Also published as: US20180266941A1; JP2018156208A; US10768097B2

Description

本発明は、撮影画像を解析する解析装置に関する。

従来から、ハイパースペクトルカメラなどの撮像装置を用いて物体のスペクトル情報を取得し、そのスペクトル情報を利用して物質の情報を抽出する成分分析技術が提案されている。特許文献１には、ハイパースペクトルデータと教師データとの相関に基づいて探索対象物を探索する手法が開示されている。特許文献１に開示された手法では、取得したスペクトル情報を教師データに照合する前に、教師データを飛行体上での分光反射強度に換算して補正する。これにより、環境光や撮像素子の分光感度を加味した教師データを取得することができ、飛行体上での環境光スペクトルおよび撮像素子の分光感度について頑健な対象物探索を行うことが可能となる。

特許第５６６８１５７号公報

しかしながら、特許文献１に開示された手法では、物体（被写体）の反射光を取得することが困難であり、撮像装置の特性や撮影環境などの撮影条件に応じてスペクトル情報や教師データの情報が変化する。その結果、成分分析の結果が撮影条件に応じて変化してしまう。

そこで本発明は、撮影条件に依存せずに、画像データに含まれる被写体の特性データを高精度に決定することが可能な解析装置、撮像装置、解析方法、および、プログラムを提供することを目的とする。

本発明の一側面としての解析装置は、撮像光学系及び撮像素子を用いた被写体の撮像により得られた画像情報に基づいて、紫外光及び赤外光の少なくとも一方と可視光とに関する色情報を取得する取得手段と、色情報と参照情報と撮像条件情報とに基づいて、前記画像情報に含まれる前記被写体の特性情報を決定する決定手段とを有する。前記参照情報は、前記色情報と前記被写体の物質情報とが紐づけられた情報であり、前記撮像条件情報は、前記撮像における照明の分光特性に関する情報と、前記撮像素子の分光感度曲線に関する情報と、前記撮像光学系の透過率分光分布に関する情報とを含む。

本発明の他の側面としての撮像装置は、上記解析装置と、前記撮像光学系及び前記撮像素子を含む撮像部とを有する。

本発明の他の側面としての解析方法は、撮像光学系及び撮像素子を用いた被写体の撮像により得られた画像情報に基づいて、紫外光及び赤外光の少なくとも一方と可視光とに関する色情報を取得するステップと、前記色情報と参照情報と撮像条件情報とに基づいて、前記画像情報に含まれる前記被写体の特性情報を決定するステップとを有する。前記参照情報は、前記色情報と前記被写体の物質情報とが紐づけられた情報であり、前記撮像条件情報は、前記撮像における照明の分光特性に関する情報と、前記撮像素子の分光感度曲線に関する情報と、前記撮像光学系の透過率分光分布に関する情報とを含む。

本発明の他の側面としてのプログラムは、前記解析方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮影条件に依存せずに、画像データに含まれる被写体の特性データを高精度に決定することが可能な解析装置、撮像装置、解析方法、および、プログラムを提供することができる。

本実施形態における概念図である。本実施形態において解決すべき課題の説明図である。本実施形態において解決すべき課題の説明図である。本実施形態における解析方法の説明図である。本実施形態における反射防止膜の反射率特性である。本実施形態における反射防止膜の反射率特性である。本実施形態における分光光学系の断面図である。本実施形態における口径食による透過率特性である。本実施形態における口径食による透過率比の特性である。本実施形態における撮像装置のブロック図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１乃至図３を参照して、本実施形態における基本的概念について説明する。図１は、本実施形態の概念図である。図２および図３は、本実施形態において解決すべき課題の説明図である。

図１において、１００、１１０は撮像レンズ（撮像光学系）、１０２、１１２は撮像装置である。１０５は撮像装置１０２により取得される撮影画像（画像データ）に含まれる被写体の成分に関する特性情報（特性データ）、１１５は撮像装置１１２により取得される撮影画像（画像データ、画像情報）に含まれる被写体の成分に関する特性情報（特性データ）である。撮像レンズ１００、１１０は互いに異なる光学系である。また撮像装置１０２、１１２も、互いに異なる撮像装置である。本実施形態において、特性情報１０５、１１５は、互いに比較することが可能な（互いに関連性がある）特性情報であることを特徴としている。従来の構成では、撮像レンズ１００、１１０が互いに異なる場合や、撮像装置１０２、１１２が互いに異なる場合、特性情報１０５、１１５には互いに関連性がなく、互いに比較することができなかった。

図２および図３はそれぞれ、互いに異なる撮像レンズ１００、互いに異なる撮像装置を用いた場合における、色情報の取得と被写体の成分に関する特性値（特性データ）への変換の例を示している。図２および図３において、２０１、３０１は照明（太陽光）、２０２、３０２は物体（被写体としての木）、２０３、３０３は撮像レンズ（撮像光学系）、２０４、３０４は撮像装置をそれぞれ示している。

２１１は照明２０１の照明分光分布、２１２は物体２０２の反射率分光分布、２１３は撮像レンズ２０３の透過率分光分布、２１４は撮像装置２０４の分光感度曲線である。照明分光分布２１１、反射率分光分布２１２、透過率分光分布２１３、および、分光感度曲線２１４において、横軸は波長λ、縦軸は光強度Ｉ、反射率Ｒ、透過率Ｔ、感度Ｓをそれぞれ示している。同様に、３１１は照明３０１の照明分光分布、３１２は物体３０２の反射率分光分布、３１３は撮像レンズ３０３の透過率分光分布、３１４は撮像装置３０４の分光感度曲線である。

２０５は撮像装置２０４から出力される画像データに関する色情報、２００は色情報２０５を解析することにより取得される特性値（特性データ）である。同様に、３０５は撮像装置３０４から出力される画像データに関する色情報、３００は色情報３０５を解析することにより取得される特性値（特性データ）である。撮像装置２０４、３０４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色の可視光の色情報に加えて、赤外光（ＩＲ）の色情報を取得することができる。分光感度曲線２１４、３１４のそれぞれにおいて、Ｒ、Ｇ、Ｂ、ＩＲの分光感度曲線をそれぞれ、実線、破線、点線、二重破線で示している。また本実施形態において、特性値２００、３００として、ＩＲとＲとの差をＩＲとＲとの和で割ることにより得られる値が出力される。ただし本実施形態は、これに限定されるものではない。被写体の性質や特性値を示す他の種類の特性データであってもよい。また本実施形態において、色情報は、赤外光に代えて、紫外光に関する色情報を用いることができ、または赤外光および紫外光の両方の色情報を用いてもよい。

図２および図３において、照明２０１、３０１は互いに同一であり、物体２０２、３０２も互いに同一である。一方、撮像レンズ２０３、３０３（撮像レンズの特性）は互いに異なり、かつ撮像装置２０４、３０４（撮像装置の特性）も互いに異なる。このため、透過率分光分布２１３、３１３は互いに異なり、分光感度曲線２１４、３１４も互いに異なる。その結果、照明２０１、３０１と物体２０２、３０２はそれぞれ互いに同一であるが、撮像装置２０４を用いて取得される画像データの色情報２０５と、撮像装置３０４用いて取得される画像データの色情報３０５とは互いに異なる。従って、特性値２００、３００は互いに異なる。２次元画像データである場合、撮像装置に含まれる撮像素子（撮像センサ）の一画素ごとに特性値２００、３００が解析される。このため、異なる撮像レンズや異なる撮像装置を用いて取得された２次元画像データは、互いに異なる特性値画像となってしまう。

そこで本実施形態では、このような課題を解決するため、特性値（特性データ）が変化する要因を補正する（撮像装置の特性などに応じて変化する要因を低減する）。本実施形態において、撮像装置２０４、３０４は、紫外光または赤外光の少なくとも一つと、少なくとも３色以上の波長情報を含む可視光を取得することが可能である。紫外光および赤外光はそれぞれ、可視光と比較して、特性値２００、３００を導出（決定）するために好適な波長を有する。紫外光や赤外光の波長は、物体２０２、３０２を構成する分子の特徴的な吸収を示す指紋スペクトルがある波長であり、物体２０２、３０２の物質を同定するのに有用な波長である。例えば、紫外光は無機物の物質を同定することに好適に用いられ、赤外光（近赤外光）は有機物の物質を同定することに好適に用いられる。一方、可視光は、人が物体を認識するのに有用であり、画像と物体の位置の整合性を取るのに有用である。

本実施形態において、色情報２０５、３０５は、参照データ（参照情報）、すなわち経験的に得られた辞書との照合や多変量解析式により、物体に関する一意の性質や数値などの特性値２００、３００（特性データ）に変換される。このように画像データの色情報に基づいて特性データを決定することにより、物質の同定を行うことができる。

ここで、経験的に得られた辞書とは、物体２０２の色情報２０５と物質情報とが紐づけられ、統計学的な手法により抽出された特徴量に関する情報を含む。この特徴量は、数学的に分岐線が設けられており、新規に取得した色情報２０５を物体２０２の性質に結び付けるように機能する。このような辞書を用いて性質を導出する手法として、主成分分析結果による物質弁別、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）に代表される機械学習などがある。これらの手法により導出される特性値２００は物体２０２の「性質」である。

一方、多変量解析式とは、得られた色情報２０５の数値を解析する特徴的な数式を利用する手法である。特性値２００に挙げられているＲとＩＲの差と、ＲとＩＲの和との比は、農業市場においては正規化植生指数と呼ばれる指標として利用されている。ただし、本実施形態はこれに限定されるものではない。正規化水指数ＮＤＷＩ、正規化土壌指数ＮＤＳＩなどの多くの指標や、事前学習的に色情報２０５と成分量を紐づけ、成分量と色情報２０５に相関のある検量線関数を求める手法などもある。これらの手法により導出される特性値２００は「数値」である。

このように、色情報２０５を解析する手法に応じて特性値２００の形は異なり、特性値２００を導出するには事前学習的に準備した辞書や多変量解析式などの参照データが必要である。ただし参照データは、撮像レンズ２０３、撮像装置２０４、または、照明２０１（撮影環境）に応じて影響を受ける。

これに関し、図２乃至図４を参照して説明する。図４は、本実施形態における解析方法の説明図である。図４において、４０１は照明、４０２は物体（被写体としての木）、４０３は撮像レンズ（撮像光学系）、４０４は撮像装置である。４１１は照明４０１の照明分光分布、４１２は物体４０２の反射率分光分布、４１３は撮像レンズ４０３の透過率分光分布、４１４は撮像装置４０４の分光感度曲線である。４０５は撮像装置４０４から出力される画像データの色情報、４００は色情報４０５を解析することにより取得される特性値（特性データ）である。反射率分光分布４１２の破線は図３中の物体３０２の反射率分光分布３１２に相当し、反射率分光分布４１２の実線は物体４０２の反射率分光分布を示している。

物体２０２、３０２は同一の物体である。例えば特性値２００、３００を性質として辞書を作成する場合、物体２０２、３０２の状態と色情報２０５、３０５とを事前的に紐づける処理を行う。例えば物体２０２、３０２（木）の状態が「病気Ａ」（枯れた木など）である場合、色情報２０５、３０５に「病気Ａ」という性質が紐づけられて事前的に学習される。しかし、撮像レンズや撮像装置などの撮像部の特性や照明光などの撮影環境が異なるため、色情報２０５、３０５の数値は互いに異なり、特性値２００、３００に関してそれぞれ異なる相関を持つ辞書となる。すなわち、物体２０２、３０２は共に同じ性質の物体であるが、辞書が変化してしまう。

一方、図４中の照明４０１、撮像レンズ４０３、および、撮像装置４０４は、図３中の照明３０１、撮像レンズ３０３、および、撮像装置３０４とそれぞれ同一である。図３と図４とを比較すると、物体４０２は物体３０２と異なり、反射率分光分布４１２は反射率分光分布３１２と異なる。また、図２および図４からわかるように、色情報４０５、２０５は互いに同一の数値を含む。色情報４０５を図２の構成で作成した辞書を用いて解析すると、色情報２０５、４０５は互いに同一の情報であるため、特性値４００（特性データ）として「病気Ａ」が出力される。一方、実際には物体２０２、４０２の性質は互いに異なっており、反射率分光分布２１２、４１２は互いに異なる特性を有する。これは、撮像レンズ２０３、４０３、撮像装置２０４、４０４の変化と物体２０２、４０２の変化とが逆転するためである。

このように、撮像レンズや撮像装置などの撮像部の特性がそれぞれ互いに異なると、事前学習した辞書や多変量解析式などの参照データを単純に流用することができない。これは、照明などの撮影環境が変化した場合でも同様である。従来は、このような課題に対し、以下の（１）〜（３）のいずれかの方法で対応していた。すなわち、（１）参照データを盲目的に用いて意味の少ない特性値を取得する、（２）撮像レンズや撮像装置などの撮像部の種類を限定して参照データを用いる、（３）参照データを網羅的に適用することが可能なようにデータセットを準備する、ことである。しかしながら、いずれの場合でも、データの精度が低い、撮像部の種類が限定されるために使用範囲が狭い、および、辞書や多変量解析式を作成することが煩雑である、などの問題がある。

そこで本実施形態では、撮像レンズ２０３、３０３、撮像装置２０４、３０４に応じて色情報が変換される条件や、撮影環境（照明２０１、３０１）に応じて色情報が変換される条件を導出する。これらの条件を取得する手法として、設計値や測定値などを利用する事前的に取得する手法、または、撮影時での基準板の撮影や照度計測などの逐次的に取得する手法がある。ただし本実施形態は、これらの手法に限定されるものではなく、撮像レンズや撮像装置などの撮像部の条件と照明などの撮影環境の条件とを導出することが可能であれば、他の手法を用いてもよい。

また本実施形態では、撮像装置から取得された画像データに含まれる色情報、経験的に得られた辞書や多変量解析式などの参照データ、またはその両者に対して前述の条件を用いた変換（補正）を行い、性質や特性値などの特性データを導出する。このような変換（補正）に用いられる条件として、照明分光分布、透過率分光分布、および、分光感度曲線が含まれるが、これに限定されるものではない。

例えば図２と図３とを比較すると、照明分光分布２１１、３１１は互いに同一であるが、透過率分光分布２１３、３１３および分光感度曲線２１４，３１４はそれぞれ互いに異なっている。図２を基準すると、透過率分光分布２１３および分光感度曲線２１４からＲの係数３／４、ＩＲの係数３／２の条件が導出される。これを利用して特性値３００を導出する。例えば、以下の（１）〜（３）のいずれかの手法を用いることができるが、これに限定されるものではない。

（１）色情報を補正して特性値を多変量解析式で導出する
Ｒ＝４０×３／４＝３０、ＩＲ＝８０×３／２＝１２０
（ＩＲ−Ｒ）／（ＩＲ＋Ｒ）＝０．６
（２）色情報を補正することなく、多変量解析式を補正して特性値を導出する
Ｒ＝４０、ＩＲ＝８０
（ＩＲ×３／２−Ｒ×３／４）／（ＩＲ×３／２＋Ｒ×３／４）＝０．６
（３）色情報および多変量解析式の両者を補正して特性値を導出する
Ｒ＝４０×３／４＝３０、ＩＲ＝８０
（ＩＲ×３／２−Ｒ）／（ＩＲ×３／２＋Ｒ）＝０．６
図２と図３とを比較すると、照明分光分布２１１、３１１は互いに同一であるため、照明分光分布は特性値を算出する際に利用されない。本実施形態では、特性値のずれが発生する要因を補償することが主の目的であるため、ずれが発生していない条件は計算に付与しなくてもよい。一方、このような条件でも照明分光分布２１１を補正すると、図２の条件で照明条件が変化した際に図３の構成と比較することが容易となる。これらは使用用途によって選択することができる。また、この事例では特性値として数値を導出しているが、辞書を用いた性質の導出でも同様に活用できる。本実施形態は、撮像レンズや撮像装置、照明に依存せずに、基準となる一つの辞書または多変量解析式（参照データ）を準備すればよい。事前学習的に準備する辞書や多変量解析式は、統計学的に導出するため、相応の労力を必要とする。一方、本実施形態では、一つの条件で辞書や多変量解析式を導出した場合、その結果を撮像部の情報や環境情報を利用して容易に流用することができる。

次に、色情報が変化する条件について詳述する。可視光に加えて紫外光や赤外光を選択すると、色情報２０５の範囲が最短波長の２倍以上の範囲となる可能性がある。このような広帯域な波長範囲である場合、撮像レンズの透過率分光分布が大きく変化しやすい。撮像レンズの透過率を決定する大きな要因は、撮像レンズを構成するレンズの材料、枚数、および、レンズ表面に設けられる反射防止膜の性能である。その中でも、反射防止膜の性能は波長に応じて大きく変化する要因の一つである。一般的に、反射防止膜は、光学薄膜の干渉を利用して反射率を低減する。

ここで、図５および図６を参照して、撮像レンズの反射防止膜の特性について説明する。図５および図６は、反射防止膜の反射率特性の例であり、横軸は波長、縦軸は反射率をそれぞれ示している。図５は、基板の屈折率が高い材料を用いて単層膜で反射防止膜を施した例であり、その具体的な特性を表１に示す。図６は、基板の屈折率が低い材料を用いて三層薄膜で反射防止膜を施した例であり、その具体的な特性を表２に示す。なお、一般的に利用される可視光の反射率を抑制するため、波長を５５０ｎｍと設定し、光学膜厚がλ／４、λ／２となるように膜の物理膜厚を設定している。これは、光学薄膜理論から好適となる膜厚である。

図５と図６とを比較すると、可視域の波長（４００〜７００ｎｍ）である可視光では好適に、反射率を低減することができていることが分かる。一方、可視域外の波長４００ｎｍ以下である紫外光、および、波長７００ｎｍ以上の赤外光では、反射率が上昇している。光学薄膜は干渉を利用して反射率を低減しているため、波長範囲が倍以上の範囲を全て好適に干渉させることはできない。このため、可視光に加えて紫外光または赤外光を利用すると、反射防止膜の反射率が波長帯域に応じて増大する。また、反射率の高い波長帯は、薄膜の物理膜厚に対してその特性が敏感に変化する。このため、製造誤差や膜のムラなどにより、反射率特性は変動しやすい。このように、可視光に加えて紫外光または赤外光に関する情報を含んで撮像しようとすると、撮像レンズの形状や製造方法に応じて透過率分光分布が変化する。これは、色情報が変化する要因の一つである。

また、撮像装置の分光感度曲線は、撮像素子の分光感度そのものである。分光感度曲線は、撮像素子にオンチップで設けられているカラーフィルタ、およびＣＭＯＳセンサなどの撮像素子（光電変換素子）の光電変換効率に応じて決定される。撮像素子のスペックは撮像装置ごとに異なり、感度曲線も大きく異なる。これも色情報が変化する要因の一つである。

一方、オンチップのカラーフィルタに限らず分光感度曲線が変化する条件もある。図７は、回折格子を利用した分光光学系の断面図である。図７において、７００は撮像レンズ（撮像光学系）、７１０は結像レンズ、７２０は分光レンズである。分光レンズ７２０は、結像レンズ７１０側から順に、スリット７０１、コリメートレンズ７０２、回折格子７０３、および、集光レンズ７０４を備えて構成される。７０５は撮像素子（撮像センサ）である。また図７において、破線および一点鎖線はそれぞれ光路の略図である。

結像レンズ７１０で結像した像面にスリット７０１が配置されている。スリット７０１は像面の一部のみを切り出し、分光光学系７２０に光を導く入口となる。スリット７０１を通過した光はコリメートレンズ７０２で平行光化され、回折格子７０３に入射する。回折格子７０３では波長に応じて回折角が変化し、集光レンズ７０４により撮像素子７０５に集光される。回折格子７０３で回折する光は、破線および一点鎖線で示されている。結像レンズ７１０としては、一般的な撮像レンズを用いることができ、例えば撮像レンズ２０３、３０３を用いることが可能である。このような分光特性を有する撮像光学系７００の場合、結像レンズ７１０の透過率の減少だけではなく、分光光学系７２０の分光効率が分光感度曲線そのものに対応する。特に回折格子７０３は、波長に応じて回折効率が変化するため、その特性も色情報が変化する要因の一つである。

撮像レンズは、単純な透過率だけではない要因で色が変化することがある。撮像レンズには口径食と呼ばれる、周辺光量落ちの要因とされる現象がある。一般的にコサイン四乗則と呼ばれ、斜入射になるほど入射瞳から見た見かけの面積、および立体角の関係から光量が画角のコサイン四乗で落ち込む。この主な要因は、撮像レンズを透過する光束の面積の減少であるが、透過する領域が撮像レンズの周辺であることから色についても変化する。撮像レンズの周辺は光線の入射方向に対して斜めの形状をしている場合が多く、反射防止膜の波長に対する反射率変化が大きい。また、軸外の光路は波長に応じて同一ではなく、異なる光路を通るために撮像素子に到達する色情報が変化する。この特性も色情報が変化する要因の一つである。

次に、図８および図９を参照して、口径食による色の変化について説明する。図８は、口径食による透過率特性である。図９は、口径食による透過率比の特性である。撮像光学系（撮像レンズ）の画角は略５０度である。図８において、横軸は撮像光学系の光軸からの規格化高さ、縦軸は光軸の透過率を１とするときの透過率を規格化してプロットしたグラフである。ここで、破線は可視域の波長の透過率特性、実線は破線の波長の約２倍の波長の透過率特性をそれぞれ示している。規格化高さに対し、透過率の変動量が変化している様子がわかる。

一方、図９において、横軸は図８と同様に規格化高さ、縦軸は図８の実線と破線の透過率の比を示すグラフである。規格化高さが１のとき、実線と破線の波長では１割ほど落ち込み量が変化している様子がわかる。このような現象は、撮像レンズに応じて色情報が変化する要因の一つであることが分かる。このため、図１中の特性情報１０５のように画角のある２次元の画像を取得する場合には、撮像光学系の影響で場所に応じて色情報が変動する。

以上のように、撮像レンズや撮像装置などの撮像部に応じて色情報が変換される条件は、物体や照明に依らない独立な条件であることが分かる。また、この条件を鑑みると、取得する波長によってダイナミックレンジが大きく変化することが分かる。すなわち、物体が単純な白色板、すなわち反射率分光分布が一定で照明の照明分光分布が一定の条件で撮影した場合、色情報の波長ごとの取得値にバラツキが有ることを意味している。これは、撮像レンズおよび撮像装置が決定されれば自動的に決定される。そこで本実施形態では、撮像レンズや撮像装置に応じて決定される感度が異なる波長情報に関し、互いに異なるノイズ低減処理が実行される。それぞれの波長に応じてダイナミックレンジが大きく変化するため、波長に応じてノイズ低減処理を変化させることが好ましい。波長に応じて感度が半分以下となる波長がある構成において、特に有効である。そのような感度が低い波長帯では強めにノイズ低減処理を適用することが好ましい。

また、色情報が変化する要因の一つとして、物体を照明する照明光の状況がある。例えば太陽のような光源は、熱源からのプランク放射で決定されるため、略一意に求めることができる。一方、物体を照明するまでに、大気の状態や天候、太陽の位置などで物体に到達する光の状態が変化してしまう。例えば曇りの日と晴れの日で物体の色味が変化するのは、このような照明の条件（撮影環境）が変化しているためである。好ましくは、本実施例の撮像装置は、照明が色情報に与える影響を評価する手段を有する。

例えば、撮像レンズや撮像装置に照度計を設け、照明条件を直接取得する手法を用いることができる。照明条件を直接取得することにより、照明条件を容易に取得することができる。また、物体（被写体）の近傍に白色板などの基準板を設置しておく手法もある。基準板は反射分光分布が既知のものである必要があり、それにより照明の条件を推定することができる。また、衛星情報や気候情報などで大気の状態を計測した外部情報を利用し、照明を推定する手法などもある。ただし本実施形態は、これらに限定されるものではなく、要旨に沿った技術を選択することが可能である。また、本実施形態の目的は、特性情報１０５、１１５を比較可能にすることである。このような目的においては、照明を正確に取得する必要がない場合もある。例えば屋内で常に同じ照明を利用している場合や、屋外でも非常に強い光源である太陽が支配的な場合などである。厳密にはその時々で揺らぎはあるかもしれないが、照明分光分布の形状が大きくは変化しない。このような色情報に大きな影響を与えない場合、照明に依存して色情報が変換される条件を無視することができる。

また本実施形態では、照明分光分布の変化を説明したが、物体の光も撮像レンズに到達するまでに色情報が変換される可能性がある。そこで本実施形態では、撮像装置が物体までの距離を計測することが可能であり、計測された距離情報を利用して、色情報、または、辞書や多変量解析式などの参照データを変換する。物体と撮像レンズとの間の空間における散乱などを加味することにより、物体の反射光をより高精度に推定することができる。例えば、粉塵や水中など、伝搬空間に色情報が変換される要素が有る場合、ランベルト・ベールの法則に従い減衰量を計算することができる。距離を計測する手法として、２視点を利用した三角測量法、照明を利用したＴＯＦ法、および、光切断法などがあるが、これらの手法に限定されるものではない。

また本実施形態において、色情報の変換値とは異なる値で色情報を変換し、鑑賞用画像を形成することができる。このとき、一般的にホワイトバランスと呼ばれる白い物体を白と人が認識するために必要な変換を別途行う。このような観賞用画像は人が鑑賞するのに好適であり、物体を人が認識するのに有用である。人が認識する色情報の変換と、特性値を導出するための色情報の変換とは、互いに異なる。前者は人が認識することを可能とするため、人の比視感度や記憶色に合わせた主観的な変換を行い、後者は辞書や多変量解析式に合わせた物理的に正しい変換を行うという相違がある。

本実施形態において、撮像装置が特性値の導出を行うように構成されているが、特性値を比較することができるように構成されていれば、他の装置が特性値を導出してもよい。例えば、撮像装置から取得された画像データの色情報に基づいて、外部機器上で動作する解析システム（解析装置）が特性値を導出するように構成することができる。この場合、色情報が変換される照明に関する条件、および、撮像レンズや撮像装置などの撮像部に関する条件を解析システムに導入する必要がある。導入方法は色情報に付与する方法、インターネットやＬＵＴなどのデータベースを利用する方法などがある。このような情報に基づいて、色情報または参照データ（辞書または多変量解析式）が変換され、特性値が適切な形で導出される。

次に、図１０を参照して、本実施形態における撮像装置の構成について説明する。図１０は、撮像装置１０のブロック図である。撮像装置１０は、撮像部２０、解析装置３０、表示部４０、および、ＥＥＰＲＯＭ５０（取り外し可能なメモリ）を備えて構成される。撮像部２０は、撮像光学系２１（撮像レンズ）と撮像素子２２（撮像センサ）とを備えて構成される。撮像素子２２は、ＣＣＤセンサなどを備え、撮像光学系２１を介して形成された被写体６０の光学像を光電変換して画像データを出力する。本実施形態において、撮像光学系２１は、撮像素子２２を備えた撮像装置本体と一体的に設けられているが、これに限定されるものではない。撮像光学系２１は、撮像装置本体に対して着脱可能であってもよい。

解析装置３０は、取得手段３１、記憶手段３２（メモリ）、決定手段３３、計測手段３４、距離算出手段３５、および、画像生成手段３６を備えて構成される。取得手段３１は、画像データから紫外光または赤外光の少なくとも一つと可視光とに関する色情報（例えば、図２乃至図４の色情報２０５、２０４、４０５）を取得する。色情報は、撮像素子２２の画素ごとに取得される。記憶手段３２は、色情報に関する参照データを記憶する。決定手段３３は、色情報と参照データと撮影条件情報（撮像条件情報）とに基づいて、画像データに含まれる被写体６０の特性データ（例えば、図２乃至図４の特性値２００、３００、４００）を決定する。特性データは、表示部４０に表示されるとともに、ＥＥＰＲＯＭ５０に記憶される。前述のように、特性データは、色情報が共通の場合でも、撮影条件情報に応じて変化する。このため、撮影条件情報を更に利用することにより、特性データを高精度に決定することができる。

好ましくは、撮影条件情報は、撮像部２０に関する情報を含む。より好ましくは、撮像部２０に関する情報は、撮像素子２２の特性（例えば、図２乃至図４の分光感度曲線２１４、３１４、４１４）に関する情報を含む。また好ましくは、撮像部２０に関する情報は、撮像光学系２１の特性（例えば、図２乃至図４の透過率分光分布２１３、３１３、４１３）に関する情報を含む。撮像光学系２１の特性として、例えば撮像光学系２１の画角に関する情報を含むことができる。また好ましくは、撮影条件情報は、撮影環境に関する情報を含む。より好ましくは、撮影環境に関する情報は、撮影時の照明に関する情報である。より好ましくは、計測手段３４は、照明の分光特性（例えば、図２乃至図４の照明分光分布２１１、３１１、４１１）を計測する。照明に関する情報は、照明の分光特性に関する情報を含む。また好ましくは、距離算出手段３５は、被写体距離（撮像部２０から被写体６０までの距離）を算出する。撮影環境に関する情報は、被写体距離に関する情報を含む。被写体距離に応じて、大気中の霧などの影響により光の減衰が大きくなる。例えば、被写体距離が増加するほど赤外光（近赤外光）は大きくなる。この場合、被写体距離が増加するほど赤外光（近赤外光）に関する色情報を小さくするように電子的な補正が行われる。

好ましくは、色情報は、紫外光または赤外光（近赤外光）の少なくとも一つと可視光とに関する輝度情報（色ごとの輝度値）である。また好ましくは、色情報は、可視光に関する色情報として、Ｒ、Ｇ、Ｂの三色の色情報（Ｒ、Ｇ、Ｂの三色に関する情報）を含む。また好ましくは、参照データは、所定の辞書または多変量解析式に関するデータ（所定の辞書又は多変量解析式に関する情報）である。

好ましくは、決定手段３３は、撮影条件情報に基づいて色情報を補正し、補正後の色情報と記憶手段３２に記憶された参照データとを用いて特性データを決定する。また好ましくは、決定手段３３は、撮影条件情報に基づいて記憶手段３２に記憶された参照データを補正し、色情報と補正後の参照データとを用いて特性データを算出する。また好ましくは記憶手段３２は、参照データと撮影条件情報とを互いに紐づけて記憶し、決定手段３３は、記憶手段３２に記憶された参照データおよび撮影条件情報と、撮影条件情報の変化量（差分）とを用いて特性データを決定する。

好ましくは、画像データは、紫外光または赤外光の少なくとも一つと可視光の波長に応じて異なるノイズ低減処理を行って得られた画像データである。また好ましくは、画像生成手段３６は、色情報に基づいて鑑賞用画像を生成する。生成された観賞用画像は表示部４０、または、外部の表示装置（不図示）に表示される。

本実施形態において、解析装置３０の少なくとも一部の機能を撮像装置１０とは別の情報処理装置（パソコンなど）に設けてもよい。このとき情報処理装置（解析装置）は、例えば、色情報および撮影条件情報を付帯させた画像データを撮像装置から取得し、情報処理装置の決定手段がそのデータに基づいて特性データを決定する。特性データは、例えば、情報処理装置の表示部に表示される。また、例えば、決定手段３３の一部の機能のみ（特性データを決定する処理）をパソコンで行うこともできる。このとき、撮像装置１０に設けられた決定手段３３は、色情報と参照データと撮影条件情報とに基づいて、画像データに含まれる被写体の特性データに関する情報（例えば、特性データを決定するために用いられるパラメータ）を決定する。パソコンは、そのパラメータを付帯させた画像データを撮像装置から取得し、パソコンに設けられた解析手段（決定手段）がそのパラメータを利用して特性データを決定する。なお、特性データに関する情報は、特性データそのものであってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の構成によれば、撮像部や撮影環境に依らず、撮影した成分情報を比較することができる。また、辞書や多変量解析式などの参照データを撮像部や撮影環境に依らず共通化することができるため、汎用性が高くなる。このため各実施形態によれば、撮影条件に依存せずに、画像データに含まれる被写体の特性データを高精度に決定することが可能な解析装置、撮像装置、解析方法、および、プログラムを提供することが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０解析装置
３１取得手段
３２記憶手段
３３決定手段

Claims

撮像光学系及び撮像素子を用いた被写体の撮像により得られた画像情報に基づいて、紫外光及び赤外光の少なくとも一方と可視光とに関する色情報を取得する取得手段と、
前記色情報と参照情報と撮像条件情報とに基づいて、前記画像情報に含まれる前記被写体の特性情報を決定する決定手段とを有し、
前記参照情報は、前記色情報と前記被写体の物質情報とが紐づけられた情報であり、
前記撮像条件情報は、前記撮像における照明の分光特性に関する情報と、前記撮像素子の分光感度曲線に関する情報と、前記撮像光学系の透過率分光分布に関する情報とを含むことを特徴とする解析装置。
前記照明の分光特性を計測する計測手段を有することを特徴とする請求項１に記載の解析装置。
前記撮像条件情報は、前記被写体までの距離に関する情報を含むことを特徴とする請求項１又は２に記載の解析装置。
前記色情報は、前記紫外光及び前記赤外光の少なくとも一方と前記可視光とに関する輝度情報を含むことを特徴とする請求項１乃至３の何れか一項に記載の解析装置。
前記色情報は、Ｒ、Ｇ、Ｂの三色に関する情報を含むことを特徴とする請求項１乃至４の何れか一項に記載の解析装置。
前記参照情報は、所定の辞書又は多変量解析式に関する情報を含むことを特徴とする請求項１乃至５の何れか一項に記載の解析装置。
前記決定手段は、前記撮像条件情報に基づいて補正した前記色情報と前記参照情報とに基づいて前記特性情報を決定することを特徴とする請求項１乃至６の何れか一項に記載の解析装置。
前記決定手段は、前記撮像条件情報に基づいて補正した前記参照情報と前記色情報とに基づいて前記特性情報を決定することを特徴とする請求項１乃至６の何れか一項に記載の解析装置。
前記特性情報は、前記撮像条件情報に応じて変化することを特徴とする請求項１乃至８の何れか一項に記載の解析装置。
前記参照情報と前記撮像条件情報とを互いに紐づけて記憶する記憶手段を有し、
前記決定手段は、前記参照情報及び前記撮像条件情報と、該撮像条件情報の変化量とに基づいて前記特性情報を決定することを特徴とする請求項１乃至９の何れか一項に記載の解析装置。
前記画像情報は、前記撮像により得られた画像情報に対して波長に応じて異なるノイズ低減処理を行うことで得られた画像情報であることを特徴とする請求項１乃至１０の何れか一項に記載の解析装置。
前記色情報に基づいて鑑賞用画像を生成する画像生成手段を有することを特徴とする請求項１乃至１１の何れか一項に記載の解析装置。
請求項１乃至１２の何れか一項に記載の解析装置と、
前記撮像光学系及び前記撮像素子を含む撮像部とを有することを特徴とする撮像装置。
撮像光学系及び撮像素子を用いた被写体の撮像により得られた画像情報に基づいて、紫外光及び赤外光の少なくとも一方と可視光とに関する色情報を取得するステップと、
前記色情報と参照情報と撮像条件情報とに基づいて、前記画像情報に含まれる前記被写体の特性情報を決定するステップとを有し、
前記参照情報は、前記色情報と前記被写体の物質情報とが紐づけられた情報であり、
前記撮像条件情報は、前記撮像における照明の分光特性に関する情報と、前記撮像素子の分光感度曲線に関する情報と、前記撮像光学系の透過率分光分布に関する情報とを含むことを特徴とする解析方法。
請求項１４に記載の解析方法をコンピュータに実行させることを特徴とするプログラム。