JP7047354B2 - 撮像装置および撮像装置の制御プログラム - Google Patents

Description

本発明は、撮像装置および撮像装置の制御プログラムに関する。

近赤外の波長帯域を用いて、可視化する撮像装置が知られている。また、回折格子や、光学フィルターを用いてハイパースペクトル画像を取得する撮像装置が知られている。
特許文献１ 特開２０１１－８９８９５号公報

観察対象物を撮像した画像から、正確、かつ効率的に観察対象物のスペクトルを推定することは難しかった。

本発明の第１の態様における撮像装置は、被写体となる対象物における基底スペクトルを取得する取得部と、基底スペクトルを複数の照射スペクトルに分割して、それぞれの照射スペクトルをもつ照射光をスペクトル可変光源装置に照射させる照射制御部と、複数回の照射のそれぞれに対応する被写体の画像データを生成する撮像部とを備える。

本発明の第２の態様における撮像装置の制御プログラムは、被写体となる対象物における基底スペクトルを取得する取得ステップと、基底スペクトルを複数の照射スペクトルに分割して、それぞれの照射スペクトルを持つ照射光をスペクトル可変光源装置に照射させる照射制御ステップと、複数回の照射のそれぞれに対応する被写体の画像データを生成する撮像ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

第１実施形態に係るスペクトル分析装置の構成を説明するブロック図である。 複数の被写体の反射スペクトルを示す図である。 主成分分析によって得られた基底スペクトルを示す図である。 照射スペクトルの分割の一例を示す図である。 第１実施形態に係るスペクトル分析装置の動作を説明するフロー図である。 ワイドバンド光の一例を示す図である。 ワイドバンド光で算出された被写体の反射スペクトルの一例を示す図である。 正弦波状のスペクトル光の一例を示す図である。 ナローバンド光の波長方向の走査を説明する図である。 第２実施形態に係る撮像装置の構成を説明するブロック図である。 照射スペクトルの補正を説明する図である。 第２実施形態に係るスペクトル分析装置の動作を説明するフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、第１実施形態に係るスペクトル分析装置１０の構成を説明するブロック図である。スペクトル分析装置１０は、可視外帯域の被写体光束を撮像して、被写体の反射スペクトルを算出することができる。スペクトル分析装置１０は、撮影光学系としての撮影レンズ１００と、撮像素子１０２とを備える。また、スペクトル分析装置１０は、近赤外帯域の光を出射するスペクトル可変光源２３０を備える。

また、スペクトル分析装置１０は、制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、システムメモリ２０６、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、および通信部２１１を備える。

撮影レンズ１００は、被写体によって反射または散乱された照射光のうち、入射する被写体光束を撮像素子１０２へ導く。撮影レンズ１００は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ１００は、スペクトル分析装置１０に対して着脱できる交換式レンズであっても構わない。なお、図１では撮影レンズ１００を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子１０２は、撮影レンズ１００の焦点面近傍に配置されている。撮像素子１０２は、赤外帯域に受光感度を有する赤外波長帯域用のイメージセンサである。撮像素子１０２は、二次元的に配列された複数の画素を備える。本実施形態においては、その一例として、撮像素子１０２は、近赤外帯域である８００ｎｍから２５００ｎｍのうち８００ｎｍから２０００ｎｍの範囲に受光感度を有する。なお、この近赤外帯域及び受光感度の範囲は、本例に限られない。例えば、近赤外帯域を広くとらえ、下限を７００ｎｍとしてもよい。また、近赤外帯域の上限を３０００ｎｍとしてもよい。

なお、本実施形態において、撮像素子１０２は、オンチップの波長帯域フィルターを備えていない。また、本実施形態において、撮像素子１０２の分光感度特性は、全画素に亘って一様であるものと仮定する。

スペクトル可変光源２３０は、発光素子２３２、第１分光素子２３４、変調部２３６、第２分光素子２３８を含む。スペクトル可変光源２３０は、近赤外帯域において照射スペクトルを変更することができる光源である。本実施形態において、スペクトル可変光源２３０は、例えば８００ｎｍから２０００ｎｍの近赤外帯域の光を出射する。後述するように、変調部２３６は、スペクトル可変光源２３０から出射する照射光が、目的とする照射スペクトルとなるように変調する。照射光は、スペクトル可変光源２３０から矢印で示した方向に出射されて、被写体に照射される。

発光素子２３２は、少なくとも近赤外帯域の波長帯域で連続して強度を有する光（可視帯域の白色光に相当）を出射する。発光素子２３２から出射された光は、第１分光素子２３４で波長ごとに分波される。

変調部２３６は、スペクトル可変光源２３０から出射する照射光の照射スペクトルを様々な特性に変調する。具体的に、変調部２３６は、第１分光素子２３４で分波された光を波長ごとに強度変調する。本実施形態においては、変調部２３６と制御部２０１は、共に動作して照射制御部としての役割を担う。変調部２３６は、制御部２０１から受信する、後述する設定照射スペクトルの情報に応じて照射スペクトルを調整する。変調部２３６で強度変調された光は、第２分光素子２３８で合波される。そして、スペクトル可変光源２３０は、第２分光素子２３８で合波された光を外部へ出射する。このように、スペクトル可変光源２３０は、変調部２３６で波長ごとの光の強度を調整することによって、任意の照射スペクトルを生成することができる。

本実施形態においては、撮影レンズ１００、撮像素子１０２は、共に動作して撮像部としての役割を担う。なお、本実施形態においては、観察対象である被写体における注目部位が画角一杯に捉えられるように、ワーキングディスタンスが設定される。そして、本実施形態において、後述する画素値は、有効画素の全体に亘る平均画素値を意味する。

撮像素子１０２は、制御部２０１のタイミング制御のもとで駆動部２０４により駆動されて、撮影レンズ１００によって受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１０２が出力する出力信号としての画素信号をデジタル信号に変換する。そして、デジタル変換により得られた画像データをワークメモリ２０３へ出力する。

本実施形態においては、制御部２０１は、画像データから被写体の反射スペクトルを解析する解析部としての役割を担う。また、制御部２０１は、解析部として後述するさまざまな演算処理を実行する。解析部は、ワークメモリ２０３をワークスペースとして、被写体像が光電変換されて形成された画像データの画素値の情報から被写体の反射スペクトルを演算する。本実施形態における、被写体の反射スペクトルの算出方法については、後述する。

なお、被写体を撮影するときに、被写体からの反射・散乱光には、照射光の成分以外に環境光の成分が含まれる。そして、環境光の成分は、被写体の反射スペクトルの算出において、誤差の要因となる。そこで、本実施形態では、撮像部は、１度の撮影において、照射光が照射されるタイミングと照射光が照射さないタイミングとにおいてそれぞれ撮像処理を行う。画像処理部２０５は、照射光が照射されたタイミングで撮像された照明画像データと、照射光が照射されていないタイミングで撮像された非照明画像データとの間で差分を演算して、照射光以外の環境光の影響を除去した画像データを生成する。そして、解析部は、環境光の影響を除去した画像データの画素値を用いて、被写体の反射スペクトルの算出を行う。

システムメモリ２０６は、スペクトル分析装置１０を制御するプログラム、各種パラメータ等を記録する。本実施形態において、システムメモリ２０６には、後述する撮像素子１０２の感度スペクトルの情報、および主成分分析により算出された物体の基底スペクトルの情報等が記憶されている。本実施形態において、制御部２０１は、取得部としての役割を担って、システムメモリ２０６から被写体に対応する基底スペクトルの情報を読み出して、スペクトル可変光源２３０に対して設定する設定照射スペクトルを算出する。

操作部２０８は、ユーザの操作を受け付ける。操作部２０８は受け付けたユーザの操作に応じた操作信号を制御部２０１に出力する。操作部２０８はレリーズスイッチ、十字キー、ＯＫキー等の操作部材を含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１０２による被写体像の取得動作を実行する。なお、本実施形態においてＡＦは、赤外波長帯域で被写体像が合焦するように実行される。

通信部２１１は、他の装置と通信する。通信部２１１は、操作部２０８を介したユーザの操作に応じて外部装置と通信を行う。外部装置として、パーソナルコンピュータ、スマートフォン、タブレット端末等の表示部を備えた装置、インターネット上のサーバ装置等を挙げることができる。

ここから、本実施形態に係るスペクトル分析装置１０における被写体の反射スペクトルの算出方法について説明する。

被写体の撮影において、生成される画像データの画素値ｐと、被写体の反射スペクトルｒ（λ）、撮像素子１０２の感度スペクトルｃ（λ）、スペクトル可変光源２３０から出射される照射光の照射スペクトルｌ（λ）は、下記数式１の関係を満たす。
［数式１］

なお、数式１において、感度スペクトルｃ（λ）には、撮影レンズ１００等の分光透過率の影響が含まれる。

被写体の反射スペクトルｒ（λ）を直交関数で展開すると、下記数式２が得られる。
［数式２］

ここで、ｂ_ｉ（λ）は直交基底関数、ｗ_ｉは結合係数である。

したがって、数式１に数式２を適用すると、下記数式３が得られる。
［数式３］

例えば、反射スペクトルｒ（λ）を第３基底関数までで展開するときには、３つの異なる照射スペクトルｌ_１（λ）、ｌ_２（λ）、ｌ_３（λ）の照射光を被写体に照射することにより、下記の連立方程式１が得られる。
［連立方程式１］

連立方程式１において、画素値ｐ_１～ｐ_３は、それぞれ照射スペクトルｌ_１（λ）～ｌ_３（λ）の照射光を照射して撮像した画像データから取得することができる。また、ｂ_１（λ）～ｂ_３（λ）、ｃ（λ）、およびｌ_１（λ）～ｌ_３（λ）は、既知である。したがって、連立方程式１を解いて、それぞれの結合係数ｗ_１、ｗ_２、ｗ_３を算出することができ、第３基底関数までで展開した分光反射率ｒ（λ）を算出することができる。

被写体の反射スペクトルｒ（λ）を直交関数で展開すると、展開する項数と同数の撮影回数で、反射スペクトルｒ（λ）の近似式を算出することができる。したがって、従来のハイパースペクトル画像データを使用する方法よりも少ない画像データから、被写体の反射スペクトルを算出することができる。

さらに、照射スペクトルｌ_１（λ）、ｌ_２（λ）、ｌ_３（λ）が、それぞれ以下の関係となるように調整することを考える。

このように照射スペクトルを調整することにより、直交関数の特性から、上記の連立方程式１は下記のように変形することができる。

したがって、注目する結合係数に対応する基底関数を感度スペクトルｃ（λ）で除算した関数となるように、照射スペクトルを調整することによって、画像データの画素値から注目する結合係数を直接的に取得することができる。

被写体の反射スペクトルｒ（λ）を展開する直交関数は、様々な関数列を使用することができる。本実施形態においては、被写体と同種の複数の検体サンプルの反射スペクトルに対して主成分分析を実行して算出した基底スペクトルを用いて、被写体の反射スペクトルｒ（λ）を展開する。具体的には、被写体がトマトである場合には、例えば、事前に学習過程として被写体とは異なる１００個のトマトの反射スペクトルを取得しておき、取得した１００個の反射スペクトルに対して主成分分析を実行して、特徴成分である基底スペクトルを予め算出しておく。

ここで、本実施形態においては、学習過程において、それぞれの基底スペクトルが、トマトのいずれの特性（糖度、酸度、含水率など）に対応しているのかを特定しておく。基底スペクトルｂ_ｉ（λ）の結合係数ｗ_ｉの大きさは、特性の度合いを示す。換言すると、上記の数式２において、例えば、第１基底スペクトルｂ_１（λ）がトマトの糖度に対応する場合には、結合係数ｗ_１は被写体であるトマトの糖度に比例して大きくなる。したがって、上述のように照射スペクトルｌ_１（λ）を、ｂ_１（λ）／ｃ（λ）となるように調整すると、画像データの画素値ｐ_１を介して、被写体であるトマトの糖度を評価することができる。

次に、予め定められた直交関数を用いて被写体の反射スペクトルを展開して、それぞれの基底関数に対応する照射スペクトルを照射することにより、被写体の反射スペクトルの情報を取得する例について説明する。特に、互いに同種の複数のサンプル物体の反射スペクトルに対して、主成分分析を実行して算出した基底スペクトルを用いて、照射スペクトルを決定する実施例を説明する。

図２は、複数の被写体の反射スペクトルを示す図である。本図において、縦軸は反射率、横軸は波長（ｎｍ）を示す。本図は、互いに異なる７つのトマトをサンプル物体として、それぞれの反射スペクトルを重ねて示す。

本図に示す例におけるトマトの反射スペクトルは、いずれも１２００ｎｍ、１４５０ｎｍ、および１７５０ｎｍの近辺において、反射率が局所的に落ち込む吸収帯域が存在する。吸収帯域は、物質に特有である。例えば、水は、９７０ｎｍと１４５０ｎｍと１９４０ｎｍに固有の吸収帯があることが知られている。本図に示す反射スペクトルにおいて、１４５０ｎｍ近辺の吸収帯域は、トマトに含まれる水分による吸収であると判断することができる。

図３は、主成分分析によって得られた基底スペクトルを示す図である。特に、図３は、図２に示した７つのトマトの反射スペクトルに対して、主成分分析を行って算出された３つの基底スペクトルを示す。図３（ａ）は、第１主成分に対応する基底スペクトルを示す。図３（ｂ）は、第２主成分に対応する基底スペクトルを示す。図３（ｃ）は、第３主成分に対応する基底スペクトルを示す。図３（ａ）から図３（ｃ）の各基底スペクトルは、取得した反射スペクトルの波長帯域の範囲において互いに直交する。

本実施形態においては、照射制御部は、撮像素子１０２の感度スペクトルを加味して、被写体に照射する照射スペクトルを調整する。具体的には、制御部２０１は、システムメモリ２０６から撮像素子１０２の感度スペクトルの情報を取得する。次に、制御部２０１は、対象とする主成分の基底スペクトルを感度スペクトルで除算して、複数の照射スペクトルに分割する。そして、制御部２０１は、変調部２３６に算出した照射スペクトルの情報を送信して、スペクトル可変光源２３０から当該照射スペクトルをもつ照射光を被写体へ照射させる。撮像部は、当該照射光の照射のタイミングに同期して、被写体像を撮像して、画像データを生成する。制御部２０１は、撮像部が生成した画像データの画素値から、対象とする主成分の基底スペクトルの結合係数を取得する。

本実施形態において、スペクトル分析装置１０は、基底スペクトルの線形結合で表した関数式で被写体の反射スペクトルを推定する場合には、それぞれの基底スペクトルに対応する照射スペクトルを生成する。本図に示す例においては、第３主成分までの基底スペクトルで展開した被写体の反射スペクトルを取得する。スペクトル分析装置１０は、第１主成分から第３主成分の基底スペクトルのそれぞれに対応する照射光を時分割で被写体に照射する。そして、それぞれの照射光を照射して生成した３つの画像データの画素値をそれぞれの結合係数として取得して、被写体の反射スペクトルの情報を生成する。なお、反射スペクトルを展開する主成分の次数は、スペクトルの分析精度に応じて適宜選択することができる。

また、本実施形態において、スペクトル分析装置１０は、例えば、糖度、含水率などの被写体の特性を反映した画像データを生成する。主成分分析で算出したそれぞれの基底スペクトルは、例えば、糖度、含水率などのサンプルの性質と相関がある。注目する性質に対応する基底スペクトルで照射光を照射すれば、被写体からの反射光の強度は、注目する性質の多寡に応じて変化する。例えば、図３（ｂ）に示した基底スペクトルが糖度と相関が高い場合には、本図に示した基底スペクトルを照射スペクトルとして被写体に照射すると、被写体の糖度が高いほど反射光の強度は高くなり、被写体の糖度が低いほど反射光の強度は低くなる。

スペクトル分析装置１０は、被写体からの反射光を撮像素子１０２で検出する。撮像素子１０２は分光感度特性を有する。そこで、本実施形態において、スペクトル分析装置１０は、撮像素子１０２の分光感度特性の影響をキャンセルするために、基底スペクトルを感度スペクトルで除算した照射スペクトルとなるように照射光を調整する。

したがって、図３（ｂ）に示した基底スペクトルを撮像素子１０２の感度スペクトルで除算した照射スペクトルプロファイルで被写体を照射することによって、被写体の糖度を画像データの画素値で直接的に評価することができる。また、生成した画像データを表示部２０９に画像として表示することによって、ユーザは、表示画像の輝度が高い場合には糖度が高い、一方、輝度が低い場合には糖度が低いというように被写体の糖度の多寡を認識することができる。この場合、スペクトル分析装置１０は、観察対象物における糖度、水分等の特定成分の多寡を判定するための判定装置として利用できる。

ここで、照射スペクトルの形状によっては、スペクトル可変光源２３０は、１度の照射で目標とする照射スペクトルを実現できない場合がある。１度の照射で実現しにくいスペクトルとしては、例えば、スペクトルの変化勾配が比較的大きな波長帯域が局所的に存在するスペクトルを挙げることができる。目標とする照射スペクトルの変化勾配が、スペクトル可変光源２３０の分解能によって制限される単位波長あたりの最大勾配よりも大きい場合、実際の照射スペクトルが目標とする照射スペクトルから乖離してしまう。すると、画像データの画素値が対象の基底スペクトルの結合係数と一致しなくなるため、スペクトル分析装置１０による反射スペクトルの分析精度は低下する。

そこで、スペクトル分析装置１０は、目標とする照射スペクトルを複数のスペクトル成分に予め分割して複数の照射スペクトルのプロファイルを作成する。そして、スペクトル分析装置１０は、それぞれの照射スペクトルのプロファイルで照射光を照射して、生成した画像データを合成して、目標の照射スペクトルを照射した場合の画素値を取得する。

図４は、照射スペクトルの分割の一例を示す図である。本図において、縦軸は光強度（ａ．ｕ．）、横軸は波長（ｎｍ）を示す。図４（ａ）は、目標とする目標照射スペクトルを示す。図４（ｂ）および図４（ｃ）は、図４（ａ）に示す目標照射スペクトルの強度を等分した照射スペクトルを示す。

図４（ａ）に示す目標照射スペクトルは、例えば図３（ｂ）に示した基底スペクトルを撮像素子１０２の感度スペクトルで除算して算出した照射スペクトルである。本図に示した例においては、１０５０ｎｍ～１１５０ｎｍの波長帯域において、急峻にスペクトルが変化しているため、図４（ｂ）および図４（ｃ）に示すように、１１００ｎｍ付近で目標照射スペクトルの変化勾配が半分になるように予め分割する。そして、２回の照射によって生成した２つの画像データを合成して、目標照射スペクトルの照射によって生成した画像データと同等の合成画像データを生成する。

本実施形態において、照射制御部は、予め決定された回数の照射によって、目標照射スペクトルが実現されるように、目標照射スペクトルを分割して照射スペクトルを決定する。そして、撮像部は、複数回の照射のタイミングに同期して、それぞれの照射光に対応する被写体の画像データを生成する。画像処理部２０５は、撮像部が生成した画像データをそれぞれ合成した合成画像データを生成する。制御部２０１は、画像処理部２０５が生成した合成画像データの画素値を、対象の基底スペクトルに対応する結合係数として取得する。

なお、本図に示した例においては、照射スペクトルを強度で分割したが、波長領域における周波数成分で分割してもよいし、波長帯域で分割してもよい。また、本図に示した例においては、２つのスペクトルに分割したが、スペクトルの分割数は３つ以上でもよい。さらに、本図に示した例においては、照射スペクトルの強度を等分したが、スペクトル可変光源２３０の分解能を満たす範囲において任意の割合で分割してもよい。

図５は、第１実施形態に係るスペクトル分析装置の動作を説明するフロー図である。以下に示す処理を実行する制御プログラムは、システムメモリ２０６に記憶されており、制御部２０１がこの制御プログラムを読み出して実行する。スペクトル分析装置１０は、ステップＳ１０１において、撮影被写体がわかっているか否かを判断する。ここで、「撮影被写体がわかっている」ことには、例えば、被写体がトマトであるということがわかっていることに加えて、学習過程で取得した複数のトマトの反射スペクトルに主成分分析を行って算出された基底スペクトルの情報を有していることが含まれる。

スペクトル分析装置１０は、ステップＳ１０１で撮影被写体がわかっていると判断した場合には、ステップＳ１０２へ移行する。撮影被写体がわかっているか否かの判断は、例えば、操作部２０８を介してユーザによる入力を受け付けて判断してもよい。具体的には、例えば、測定を開始する前に、スペクトル分析装置１０は、表示部２０９に、被写体の情報を受け付けるインターフェース画面を表示してもよい。ユーザは、インターフェース画面上で、操作部２０８を操作して、被写体の情報（物体名、基底情報など）を入力する。

ステップＳ１１０において、スペクトル分析装置１０は、ユーザからの被写体についての入力を受け付けて、スペクトル可変光源２３０が撮影被写体の基底スペクトルの情報に対応する照射光を一つの光で照射できるか判断する。例えば、スペクトル分析装置１０は、スペクトル可変光源２３０の波長分解能で基底スペクトルを再現したときに、再現したスペクトルと元の基底スペクトルとの強度のずれ量（差分又は比など）が予め定められた許容範囲を超える波長がないかによって判断する。一つの光で照射できる場合は、ステップＳ１０２においてスペクトル可変光源２３０が基底スペクトルに対応する照射光を被写体に照射する。一方、一つの光で照射できない場合は、ステップＳ１１２においてスペクトル可変光源２３０が基底スペクトルを分割した照射光を被写体に順次照射して、被写体像を撮像して画像データを生成する。そして、スペクトル分析装置１０は、図３を参照して説明した方法で、画像データの画素値から各基底スペクトルの結合係数を取得する。上記のようにこの結合係数を取得することによって、撮影被写体の特性を求めることができる。

一方、スペクトル分析装置１０は、ステップＳ１０１で撮影被写体がわかっていないと判断した場合には、ステップＳ１０３へ移行する。撮影被写体がわかっていない場合、基底スペクトルを特定することができないので、基底スペクトルに対応する照射スペクトルで照射光を照射して撮影被写体の特性を求めることができない。この場合、まずは被写体のスペクトルを取得することで、被写体が何かを知ることができる。ステップＳ１０３以降の処理は、スペクトル分析装置１０が短時間で効率的に被写体の反射スペクトルを取得するための処理である。

まず、スペクトル分析装置１０は、ステップＳ１０３でワイドバンド光を被写体に順次照射して、被写体像を撮像して第１画像データを生成する。具体的には、照射制御部が、互いに中心波長が異なる複数のワイドバンド光をスペクトル可変光源２３０から被写体に時分割で順次照射させる。図６は、一例として６つのワイドバンド光のＷＳ１～ＷＳ６の照射スペクトルを示している。それぞれのワイドバンド光の照射スペクトルは略同形状であり、半値全幅（ＦＷＨＭ）は１００ｎｍ以上の略ガウシアンの形状である。撮像部は、それぞれのワイドバンド光の照射タイミングに同期して被写体像を撮像して第１画像データを順次生成する。

引き続きステップＳ１０３で、解析部は、第１画像データの画素値、撮像素子１０２の感度スペクトル、およびワイドバンド光の照射スペクトルから被写体の反射スペクトルの値を算出する。本実施形態においては、それぞれのワイドバンド光に対して算出した被写体の反射スペクトルの値は、それぞれのワイドバンド光の中心波長における反射スペクトルの値として取り扱う。その後、解析部は、所定の条件を満たす波長帯域を制限波長帯域として特定する。所定の条件の一例としては、第１画像データより算出した被写体の概略の反射スペクトルにおいて、予め定められた閾値ＴＨよりも反射率が高い波長帯域か否かを判断することが挙げられる。なお、所定の条件は、被写体の反射スペクトルが局所的に変化する可能性が高い波長帯域を特定できる条件であればこれに限らない。

図７は、ワイドバンド光で算出された被写体の反射スペクトルの一例を示す図である。本図は、図６を参照して説明した６つの照射スペクトルＷＳ１～ＷＳ６を照射して生成された第１画像データから算出された、各照射スペクトルの中心波長に対応する被写体の反射スペクトルのプロットを示している。本例において、予め定められた閾値ＴＨを反射率０．１とすると、照射スペクトルの中心波長において７６０ｎｍから１３２０ｎｍまでの波長帯域が制限波長帯域として特定される。スペクトル分析装置１０は、制限波長帯域を特定すると、ステップＳ１０４へ移行する。

スペクトル分析装置１０は、ステップＳ１０４で、ワイドバンド光の各波長帯域において位相が異なる２つの正弦波光を被写体に順次照射して、被写体像を撮像する。被写体の反射スペクトルに局所的に変化する波長帯域が含まれる場合には、２つの正弦波光ごとに生成された２つの画像データ間において、画素値に顕著な差が表れることがある。そこで、解析部は、ステップＳ１０３で特定された制限波長帯域を複数の帯域に分けて、２つの正弦波光の照射によって生成された２つの画像データの画素値の差が予め定められた閾値を超える波長帯域があれば、その波長帯域を新たな制限波長帯域として特定する。

図８は、正弦波状のスペクトル光の一例を示す図である。図８（ａ）から（ｄ）は、図６に示したワイドバンド光ＷＳ１からＷＳ４の波長帯域において、正弦波光ＳＳ１を照射することを示す。一方、図８（ｅ）から（ｈ）は、図６に示したワイドバンド光ＷＳ１からＷＳ４の波長帯域において、正弦波光ＳＳ１と位相の異なる正弦波光ＳＳ２を照射することを示す。解析部は、ワイドバンド光ＷＳ１～ＷＳ４のそれぞれの波長帯域において、正弦波光ＳＳ１、ＳＳ２のそれぞれの照射によって生成された画像データ内の画素値の差が予め定められた閾値を超える波長帯域があれば、その波長帯域を新たな制限波長帯域として特定する。

スペクトル分析装置１０は、ステップＳ１０５で、新しく決定した制限波長帯域において、ナローバンド光を、中心波長を順次変更させながら照射して、被写体像を撮像する。図９は、ナローバンド光の波長方向の走査を説明する図である。本図は、図６に示したワイドバンド光ＷＳ３の波長帯域において、順次照射されるナローバンド光の変化を示し、複数のナローバンド光のうち、波長帯域の短波長側の端のナローバンド光ＮＳ１と長波長側の端のナローバンド光ＮＳｎを代表して示している。一例として、ナローバンド光の照射スペクトルはいずれも略同形状であり、半値全幅（ＦＷＨＭ）は約３０ｎｍの略ガウシアンの形状である。照射制御部は、ステップＳ１０４によって特定した波長帯域（図の例ではＷＳ３）において、ナローバンド光を図９に示した白抜き矢印の方向に中心波長を順次移動させながら照射する。撮像部は、ナローバンド光のそれぞれの照射のタイミングに同期して、被写体像を撮像して画像データを順次生成する。解析部は、撮像部が生成した複数の画像データから、ステップＳ１０３と同様の処理によって、被写体の反射スペクトルを概算する。

ステップＳ１０３からＳ１０５の処理により、スペクトル分析装置１０は、被写体に特有の吸収帯域において、他の波長帯域よりも波長分解能を上げて反射スペクトルの情報を取得することができる。換言すると、本実施形態に係るスペクトル分析装置１０は、反射率の変化が顕著な波長帯域においては比較的高い波長分解能で反射スペクトルの情報を取得し、反射率の変化が緩やかな波長帯域においては比較的低い波長分解能で反射スペクトルの情報を取得する。このように、本実施形態におけるスペクトル分析装置１０は、分析する全ての波長帯域において一律ではなく、被写体の反射特性に応じて、波長帯域ごとに波長分解能を調整するため、短時間で効率的に反射スペクトルの情報を取得することができる。

スペクトル分析装置１０は、ステップＳ１０４で、２つの画像データ間で予め定められた閾値よりも画素値の差分値が大きい波長帯域を特定できなかった場合には、ステップＳ１０６へ移行する。

スペクトル分析装置１０は、ステップＳ１０６で、ステップＳ１０３で決定した制限波長帯域において、ナローバンド光を、中心波長を順次変更させながら照射して、被写体像を撮像する。そして、スペクトル分析装置１０は、制限波長帯域における被写体の反射スペクトルを算出する。

スペクトル分析装置１０は、ステップＳ１０２、ステップＳ１０５、およびステップＳ１０６の何れかの処理までを終えると、本フローを終了する。

図１０は、第２実施形態に係るスペクトル分析装置２０の構成を説明するブロック図である。なお、図１を参照して説明した第１実施形態に係るスペクトル分析装置１０と共通する構成要素には、同じ符号を付して説明は省略する。

スペクトル分析装置２０は、スペクトル取得部３００とハーフミラー３０２を備える。ハーフミラー３０２は、スペクトル可変光源２３０から出射される照射光を分離して、照射光の一部をスペクトル取得部３００へ導く。本実施形態において、スペクトル取得部３００は分析部としての役割を担って、ハーフミラー３０２によって導かれた照射光の照射スペクトルを分析する。分析部は、照射光を分析して取得した照射スペクトルを実測照射スペクトルとして、制御部２０１へ送信する。

スペクトル可変光源２３０が照射する照射光の実際の照射スペクトルは、装置の個体差（ばらつき）や、光源の温度等の環境条件に左右される。すなわち、設定された照射スペクトルと実際の照射スペクトルには乖離が生じ得る。

そこで、スペクトル分析装置２０は、設定された照射スペクトルと実際の照射スペクトルの乖離に起因する画像データの誤差を補正するために、補正照射光を被写体へ照射して補正画像データを生成する。

本実施形態において、照射制御部は、設定照射スペクトルと、実測照射スペクトルとを用いて、次に照射する補正照射光の照射スペクトルである補正照射スペクトルを算出する。具体的には、制御部２０１は、スペクトル取得部３００から受信した実測照射スペクトルと、設定照射スペクトルとの差分を取って補正照射スペクトルを算出する。そして、制御部２０１は、算出した補正照射スペクトルを変調部２３６へ送信して、スペクトル可変光源２３０から補正照射スペクトルの補正照射光を被写体へ照射させる。この場合、基底スペクトルに対応する設定照射スペクトルを、実測照射スペクトルと補正照射スペクトルに分割して、それぞれの照射光を被写体に照射したと考えることができる。

撮像部は、補正照射光を照射したタイミングに同期させて被写体像を撮像して、補正画像データを生成する。画像処理部２０５は、画像データから補正画像データを減算することによって、設定照射スペクトルと実測照射スペクトルの乖離を除去した画像データを生成する。

図１１は、補正照射スペクトルを説明する図である。本図においては、縦軸は光強度（ａ．ｕ．）を示し、横軸は波長（ｎｍ）を示す。図１１（ａ）は、目標とする設定照射スペクトルの一例を示す。図１１（ｂ）は、実測照射スペクトルの一例を示す。図１１（ｃ）は、補正照射スペクトルの一例を示す。

本図に示す例において、照射制御部は、図１１（ａ）に示す設定照射スペクトルを目標の照射スペクトルとして、照射光を変調して被写体へ照射させる（１次照射）。また、分析部は、１次照射における照射光のスペクトルを分析して、実測照射スペクトルを取得する。次に、照射制御部は、図１１（ａ）に示す設定照射スペクトルと、分析部によって取得された図１１（ｂ）に示す実測照射スペクトルとの差分を取ることにより、図１１（ｃ）に示す補正照射スペクトルを生成する。そして、照射制御部は、図１１（ｃ）に示す補正照射スペクトルを目標の照射スペクトルとして、照射光を変調して被写体へ照射させる（２次照射）。

スペクトル分析装置２０は、１次照射によって撮影した被写体の１次画像データを生成し、２次照射によって撮影した被写体の２次画像データを生成する。そして、スペクトル分析装置２０は、１次画像データに２次画像データを加算する、または１次画像データから２次画像データを減算することによって、設定照射スペクトルと実測照射スペクトルの乖離により発生する画像データの誤差を補正する。

本図に示す例においては、被写体への１次照射、２次照射の２回の撮影によって、画像データを補正する。しかし、２次照射においても、補正照射スペクトルと実際の照射スペクトルとの間に誤差が存在する。そこで、上述と同様の方法で、２次画像データを補正してもよい。以降、同様の方法を繰り返して累積的に画像データを補正することによって、目標照射スペクトルで照射したときの画像データの真値に収束させることができる。なお、上述の画像データの補正処理は、予め定めた回数で実行してもよいし、補正照射スペクトルの平均強度、ＲＭＳ誤差が予め定められた閾値を下回るまで繰り返してもよい。

図１２は、第２実施形態に係るスペクトル分析装置２０の動作を説明するフロー図である。本フローは、図５を参照して説明した処理フローにおいて、ステップＳ１０２に代えて実行することができる。

スペクトル分析装置２０は、ステップＳ２０１で、対象とする基底スペクトルと撮像素子１０２の感度スペクトルから算出された照射スペクトルを設定照射スペクトルとして、被写体へ照射光を照射する。そして、スペクトル分析装置２０は、被写体像を撮像して１次画像データを生成する。また、スペクトル分析装置２０は、照射光の実測照射スペクトルを取得する。

次に、スペクトル分析装置２０は、ステップＳ２０２で、設定照射スペクトルと実測照射スペクトルの差分である、補正照射スペクトルを算出する。そして、スペクトル分析装置２０は、ステップＳ２０３で、補正照射スペクトルの照射光を被写体に照射して、補正画像データを生成する。

スペクトル分析装置２０は、ステップＳ２０４で、１次画像データに補正画像データを加算して、設定照射スペクトルと実測照射スペクトルとの乖離による誤差を除去した２次画像データを生成する。スペクトル分析装置２０は、ステップＳ２０４までの処理を終えると、本フローを終了する。

なお、上記の実施形態においては、物体の基底スペクトルの情報が予めシステムメモリ２０６に記憶されている例を用いて説明したが、物体の基底スペクトルの情報は、外部のサーバ等に記憶されていてもよく、通信部２１１を介して取得してもよい。この場合には、制御部２０１と通信部２１１が共に動作して、取得部としての役割を担う。

なお、物体の基底スペクトルの算出には、外部の分光器で計測した反射スペクトルの情報を使用してもよいし、上記の実施形態におけるスペクトル分析装置で計測した反射スペクトルの情報を使用してもよい。事前の学習過程における反射スペクトルの取得と、特定の被写体の反射スペクトルの取得とを同一のスペクトル分析装置で実行する場合には、使用するスペクトル分析装置に備えたスペクトル可変光源の個体差を含んだ基底スペクトルを算出できる。このため、基底スペクトルに対応する設定照射スペクトルの再現性を高くすることができる。

なお、上記の実施形態においては、基底スペクトルを算出する手法として主成分分析を用いて例示した。しかし、基底スペクトルを算出する手法には、様々な多変量解析手法を採用でき、例えば、独立成分分析などを採用し得る。

なお、上記の実施形態においては、スペクトル可変光源２３０から照射した照射光を、被写体を介して撮像部（撮像素子１０２）で受光することにより、結合係数に対応する画素値を有する画像データを生成する分析装置について例示した。周囲の環境によっては、照射光以外の外光が撮像部に入射する場合もある。そこで、撮像部は、スペクトル可変光源２３０から照射光を照射しないタイミングで被写体の画像データを生成してもよい。その画像データと、照射光を照射して生成した画像データとの差分を取ることで、外光の影響を除去した画像データを生成することができる。

なお、上記の実施形態においては、撮像素子がオンチップの波長帯域フィルターを備えないスペクトル分析装置について例示した。撮像素子１０２の各画素に複数種類の光学フィルターの何れかが配置されている場合には、照射制御部は、選択した１種類の光学フィルターの分光特性を加味して照射スペクトルを調整してもよい。例えば、照射制御部は、選択した１種類の光学フィルターの分光特性をキャンセルするように、照射スペクトルを調整してもよい。また、照射スペクトルの照射光を照射して生成した画像に、光学フィルターの情報を関連付けてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０、２０ スペクトル分析装置、１００ 撮影レンズ、１０２ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ ワークメモリ、２０４ 駆動部、２０５ 画像処理部、２０６ システムメモリ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ 通信部、２３０ スペクトル可変光源、２３６ 変調部、２３２ 発光素子、２３４ 第１分光素子、２３８ 第２分光素子、３００ スペクトル取得部、３０２ ハーフミラー

Claims (11)

1. 被写体となる対象物における基底スペクトルを取得する取得部と、
   前記基底スペクトルの強度を調整することで複数の照射スペクトルに分割して、それぞれの前記照射スペクトルをもつ照射光をスペクトル可変光源装置に照射させる照射制御部と、
   複数回の照射のそれぞれに対応する前記被写体の画像データを生成する撮像部と
   を備える撮像装置。
2. 前記スペクトル可変光源装置が照射した照射光の照射スペクトルを分析する分析部を備え、
   前記照射制御部は、前記基底スペクトルと前記分析部が分析した前記照射スペクトルに基づいて、次に照射させる照射光の前記照射スペクトルを調整する請求項１に記載の撮像装置。
3. 前記照射制御部は、前記基底スペクトルを目標として前記照射スペクトルを調整した照射光を照射させた後に、前記分析部が分析した前記照射光の前記照射スペクトルと前記基底スペクトルとの差に基づいて次に照射させる照射光の前記照射スペクトルを調整する請求項２に記載の撮像装置。
4. 前記照射制御部は、照射する回数とそれぞれの照射における照射光の前記照射スペクトルとを予め決定した後に順次照射させる請求項１から３のいずれか１項に記載の撮像装置。
5. 前記照射制御部は、前記撮像部が有する撮像素子の分光特性を加味して前記照射スペクトルを調整する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記撮像素子の各画素に複数種類の光学フィルターの何れかが配置されている場合には、選択した１種類の前記光学フィルターの分光特性を加味して前記照射スペクトルを調整する請求項５に記載の撮像装置。
7. 前記撮像部は、選択した前記光学フィルターの情報を関連付けて前記画像データを生成する請求項６に記載の撮像装置。
8. 前記撮像部は、選択した前記光学フィルターを有する画素からの出力により前記画像データを生成する請求項６または７に記載の撮像装置。
9. 前記撮像部は、前記照射制御部が前記スペクトル可変光源装置に前記対象物を照射させないタイミングでも前記被写体の画像データを生成する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮像部は、前記複数回の照射のそれぞれに対応して生成された前記画像データにおいて、互いに対応する位置の画素ごとに画素値を加算した加算値に基づいて、合成画像データを生成する請求項１から９のいずれか１項に記載の撮像装置。
11. 被写体となる対象物における基底スペクトルを取得する取得ステップと、
    前記基底スペクトルの強度を調整することで複数の照射スペクトルに分割して、それぞれの前記照射スペクトルをもつ照射光をスペクトル可変光源装置に照射させる照射制御ステップと、
    複数回の照射のそれぞれに対応する前記被写体の画像データを生成する撮像ステップと
    をコンピュータに実行させる撮像装置の制御プログラム。

Images