JP6819273B2 - 撮像装置および撮像制御プログラム - Google Patents

Description

本発明は、撮像装置および撮像制御プログラムに関する。

互いに中心波長が異なる非可視の３波長帯のそれぞれに可視の３原色（ＲＧＢ）を割り当てる撮像システムが知られている。
［先行技術文献］
［特許文献］
［特許文献１］国際公開番号ＷＯ２００７／０８３４３７号公報

一般的に物質の近赤外帯域における反射・透過スペクトルには温度依存性があり、同一観察対象物であっても撮影時の温度が異なれば、生成される変換カラー画像の印象が大きく異なってしまうことがある。

本発明の第１の態様における撮像装置は、近赤外帯域に感度を有する撮像素子を有し、観察対象物を撮像して近赤外撮像データを生成する撮像部と、観察対象物の温度を計測する温度計測部と、近赤外撮像データの画素値を可視帯域に対応づけて、近赤外撮像データをカラー画像データに変換する画像処理部とを備え、画像処理部は、観察対象物が計測した計測温度と基準温度との温度差温度差に基づいて、近赤外撮像データの画素値と前記可視帯域との対応関係を調整する。

本発明の第２の態様における撮像制御プログラムは、観察対象物を撮像して近赤外撮像データを生成する撮像ステップと、観察対象物の温度を計測する温度計測ステップと、近赤外撮像データの計測温度と基準温度との温度差に基づいて、近赤外撮像データの画素値と可視帯域との対応関係を調整して、近赤外撮像データをカラー画像データに変換する画像処理ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置の構成を説明する図である。 第１撮像素子の各光電変換素子上に配置されたバンドパスフィルタを説明する図である。 光学バンドパスフィルタの特性を説明する図である。 観察対象物における透過スペクトルの温度依存性を説明する図である。 温度に対するカラー画像の変化を説明する図である。 修正テーブルの例を説明する図である。 カラー画像の調整処理の概念を説明する図である。 撮像装置の処理フローを説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置１００の構成を説明する図である。撮像装置１００は、ひとつの観察対象物を被写体とする、近赤外画像と遠赤外画像を取得することができる。近赤外画像は、第１光学系１０１を通過して第１撮像素子１０２の受光面で結像する近赤外帯域の被写体光束を第１撮像素子１０２が光電変換して出力する出力信号として取得される。遠赤外画像は、第２光学系１１１を通過して第２撮像素子１１２の受光面で結像する遠赤外帯域の被写体光束を第２撮像素子１１２が光電変換して出力する出力信号として取得される。

第１撮像素子１０２は、近赤外帯域として例えば７００ｎｍから２５００ｎｍの範囲に感度を有する光電変換素子が２次元的に配列された撮像素子であり、第１光学系１０１は、光軸ｏｐ_１に沿って入射するこの帯域の被写体光束を集光する。なお、図では第１光学系１０１を便宜的に１枚のレンズで表すが、もちろん複数のレンズで構成されても良い。また、第１光学系１０１は、オートフォーカス機能を備えても良い。第１撮像素子１０２の詳細については後述する。なお、近赤外光の波長範囲は一例でありこれに限らない。

第１撮像素子１０２から出力された出力信号は、制御部２０１の制御により画像処理部２０５で処理され、近赤外撮像データに変換される。すなわち、第１光学系１０１、第１撮像素子１０２、制御部２０１および画像処理部２０５は、近赤外撮像データを生成する撮像部１２０として機能する。

第２撮像素子１１２は、遠赤外帯域として例えば８０００ｎｍから１５０００nmの範囲に感度を有する光電変換素子が２次元的に配列された撮像素子であり、第２光学系１１１は、光軸ｏｐ_２に沿って入射するこの帯域の被写体光束を集光する。なお、図では第２光学系１１１を便宜的に１枚のレンズで表すが、もちろん複数のレンズで構成されても良い。また、第２光学系１１１は、オートフォーカス機能を備えても良い。なお、遠赤外光の波長範囲は一例でありこれに限らない。

第２撮像素子１１２から出力された出力信号は、制御部２０１の制御により画像処理部２０５で処理され、温度データに変換される。遠赤外像の画素値は温度に比例しているため、画像処理部２０５は、出力信号である各画素値から観察対象物の温度を算出して、２次元状に計測された温度データを生成する。すなわち、第２光学系１１１、第２撮像素子１１２、制御部２０１および画像処理部２０５は、観察対象物の温度を計測する温度計測部１３０として機能する。

なお、本実施形態においては、撮像部１２０と温度計測部１３０が、制御部２０１と画像処理部２０５を共有する構成として説明するが、それぞれが制御部と画像処理部を備えても良い。この場合、後述する画像処理は、一方の画像処理部が担っても良いし、更に別個の画像処理部が処理する構成としても良い。また、制御部と画像処理部は、ひとつのＡＳＩＣとして構成しても良い。

第１光学系１０１と第２光学系１１１は、第１撮像素子１０２と第２撮像素子１１２がそれぞれ、ひとつの観察対象物を被写体として捉えることができるように配置されている。このとき、光軸ｏｐ_１とｏｐ_２によるパララックスはできる限り小さい方が好ましい。したがって、パララックスを軽減する、例えば観察対象物までの距離に応じて光軸を変位させるパララックス調整機構を備えても良い。

撮像装置１００は、制御部２０１、システムメモリ２０２、ワークメモリ２０３、画像処理部２０５、通信部２０６、表示部２０７および操作部２０８を備える。制御部２０１は、撮像装置１００の全体を統括的に制御する。制御部２０１による制御は、不揮発性メモリであるシステムメモリに記憶された制御プログラムに従って実行される。

システムメモリ２０２は、制御プログラムの他に、画像処理などに用いる様々なパラメータ値や表示部２０７に表示するユーザインターフェイス画面データなどの情報も記憶している。また、後述する色変換処理に用いる修正テーブル２１２も記憶している。記憶されている情報は、制御部２０１により適宜読み出されて、ワークメモリ２０３に展開されて利用に供される。

ワークメモリ２０３は、制御部２０１等によって参照される情報が展開される揮発性メモリである。また、参照情報が展開される記憶領域としての役割の他にも、例えば画像処理部２０５による画像処理演算の作業領域としての役割も担う。

画像処理部２０５は、上述のように、第１撮像素子１０２から出力された出力信号を近赤外撮像データに変換し、第２撮像素子１１２から出力された出力信号を温度データに変換する。そして、近赤外撮像データをカラー画像に変換し、温度データと修正テーブル２１２を参照して、カラー画像を修正してカラー画像データを生成する処理を実行する。また、カラー画像データに付随する情報を関連付けて、予め定められたフォーマットに従ったファイル形式に変換するファイル変換処理を実行する。

通信部２０６は、画像処理部２０５で生成されたカラー画像データのファイルを外部機器へ出力したり、必要な情報を外部機器から入力したりする通信機能を担う。例えば、ＵＳＢやＬＡＮなどのインターフェイスである。

表示部２０７は、生成されたカラー画像を表示したり、ユーザインターフェイス画面を表示したりする、例えば液晶ディスプレイである。表示部２０７は、撮像装置１００から独立して、外部機器として通信部２０６に接続される構成であっても良い。

操作部２０８は、表示部２０７に重畳して設けられたタッチパネルのような機器によって構成される、ユーザの操作を受け付ける操作部材を含む。操作部２０８は、操作部材の操作を検知して制御部２０１に検知信号を送信する。

図２は、第１撮像素子１０２の各光電変換素子上に配置されたバンドパスフィルタを説明する図である。第１撮像素子１０２の一部分を拡大した拡大図を参照すると、いわゆるベイヤー配列のように、左上の光電変換素子ｐ_１、右上の光電変換素子ｐ_２、左下の光電変換素子ｐ_３、右下の光電変換素子ｐ_４の４つをひと組とする光電変換素子群が２次元的に配列されていることがわかる。左上の光電変換素子ｐ_１上には、入射する光束の波長帯域を制限する光学バンドパスフィルタであるＮ_１フィルタが配置されており、同様に、光電変換素子ｐ_２上にはＮ_２フィルタが、光電変換素子ｐ_３上にはＮ_２フィルタが、光電変換素子ｐ_４上にはＮ_３フィルタが配置されている。種類の異なる光学バンドパスフィルタを光電変換素子上にそれぞれ配置することにより、光電変換素子そのものが有する７００ｎｍから２１００ｎｍの範囲に受光感度を、光電変換素子ごとに部分的に制限する。すなわち、第１撮像素子１０２は、受光面に結像する被写体像を近赤外帯域であって互いに異なる３つの波長帯域に分離して光電変換する。

図３は、光学バンドパスフィルタの特性の例を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。

図示するように、Ｎ_１フィルタ、Ｎ_２フィルタ、Ｎ_３フィルタの透過率の凸形状は、相互におよそ同一である。Ｎ_１フィルタは、ピーク波長λ_１が１１５０ｎｍであり、実効的な透過帯域が７００ｎｍから１５５０ｎｍである。Ｎ_２フィルタは、ピーク波長λ_２が１４００ｎｍであり、実効的な透過帯域が９５０ｎｍから１８００ｎｍである。Ｎ_３フィルタは、ピーク波長λ_３が１６５０ｎｍであり、実効的な透過帯域が１２５０ｎｍから２１００ｎｍである。すなわち、Ｎ_１フィルタ、Ｎ_２フィルタ、Ｎ_３フィルタは、透過帯域が重複するように設定されている。なお、各フィルタの透過率の形状はそれぞれ異なってもよい。具体的には、フィルタごとに透過帯域の幅やピーク波長の透過率が異なっていてもよい。

このような構成を有する第１撮像素子１０２からの出力信号を、いずれのフィルタを通過したかにより分類してそれぞれを寄せ集めると、それぞれのフィルタの通過帯域に対応する被写体像としての近赤外画像が３つ得られることになる。すなわち、Ｎ_１フィルタに対応する近赤外画像Ｉ_１、Ｎ_２フィルタに対応する近赤外画像Ｉ_２、Ｎ_３フィルタに対応する近赤外画像Ｉ_３が得られる。なお、他のフィルタが配置されていることによって信号が得られない座標については、周辺座標の信号を利用して補間する。

ここで、近赤外画像をカラー画像に変換する色変換処理について説明する。これは、本来は人間の目に認識されない近赤外画像を可視化する処理であり、画像処理部２０５で実行される。具体的には、近赤外画像Ｉ_１は青色波長帯域における輝度分布を表わす画像とみなし、近赤外画像Ｉ_２は緑色波長帯域における輝度分布を表わす画像とみなし、近赤外画像Ｉ_３は赤色波長帯域における輝度分布を表わす画像とみなす。そして、これらを重ね合せると、各画素においてＲ値、Ｇ値、Ｂ値が揃うことになり、ひとつのカラー画像が得られる。すなわち、画像処理部２０５は、近赤外画像Ｉ_１〜Ｉ_３の各画素における画素値を、可視帯域である青色、緑色、赤色の波長帯域に対応づけることで、近赤外画像である近赤外撮像データをカラー画像に変換する。このように、カラー画像に可視化されれば、表示部２０７に表示することができるので、ユーザは、視覚を通じて観察対象物の赤外情報を直感的に把握することができる。ここで、本実施形態のように、Ｎ_１フィルタ、Ｎ_２フィルタ、Ｎ_３フィルタの透過帯域が重複していると、各フィルタに対応付けられるＲ値、Ｇ値、Ｂ値の複数の色を組み合わせた色を表示することができるので、より多色での表現が可能になる。なお、近赤外画像（I1、I2、I3）と可視画像（R,G,B）の対応関係は、波長の長短に制約されずに自由に組み合わせることができる。また、可視帯域は、たとえば３８０ｎｍから７８０ｎｍの範囲が挙げられるが、人間の目に認識可能であればこの範囲に限らない。さらに、可視帯域を対応付ける色は青色、緑色、赤色に限らず、他の色を対応づけることも可能である。

図４は、観察対象物における透過スペクトルの温度依存性を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図４では、観察対象物である水の透過スペクトルを模式的に示している。

点線で表わす各凸形状は、図３で説明したＮ_１フィルタ、Ｎ_２フィルタ、Ｎ_３フィルタのフィルタ特性を示す。実線で示す透過スペクトルＷ_ｌは、約０℃における水の透過スペクトルを表わし、透過スペクトルＷ_ｍは、約５０℃における水の透過スペクトルを表わし、透過スペクトルＷ_ｈは、約１００℃における水の透過スペクトルを概略的に示す。

図示するように、水は、低温から高温へ温度が変化するにしたがって、その透過スペクトルの分布は、短波長側へシフトする。したがって、例えばトマトを観察対象物として撮像すると、上述のように近赤外画像をカラー画像に変換する場合には、同じトマトを撮像してもそのトマトが冷たい場合には全体的に青みがかったカラー画像が生成され、逆に温かい場合には、赤みがかったカラー画像が生成されることになる。

例えば、ベルトコンベアで運ばれる複数のトマトを連続的に撮像してそれぞれのトマトの水分含有量を視覚的に把握したい場合において、それらのトマトが同一温度であれば、生成されたカラー画像の色味の違いを水分含有量の違いとして把握できる。特に、水の透過スペクトルの特徴に合わせて、１４００ｎｍ付近に強度変化を有する照射光を照射すれば、より顕著に色味の違いが表われるので直感的にも把握しやすくなる。ところが、それぞれのトマトの温度に差があると、色味の違いがトマトに含まれる水分量の違いによるものなのか、透過スペクトルのシフトによるものなのか、判断が難しくなる。

そこで、画像処理部２０５は、透過スペクトルのシフトに起因する色味の違いを軽減すべく、カラー画像の色味を調整する色変換処理を行う。図５は、温度に対するカラー画像の変化を説明する図である。

図示する３つの画像模式図のうち上段の画像模式図は、観察対象物であるトマトが６０℃の状態で撮像して得られたカラー画像の様子を示す。同様に、中段の画像模式図は、同一のトマトが２０℃の状態で撮像して得られたカラー画像の様子を示し、下段の画像模式図は、同じく０℃の状態で撮像して得られたカラー画像の様子を示す。それぞれのハッチングの濃さは例えば赤味の濃さを表わす。すなわち、６０℃のカラー画像は、赤みがかっており、０℃のカラー画像は、赤みが少なく相対的に青みがかって見える様子を表わしている。

水分の含有量を評価する場合の基準温度を２０℃と定めれば、画像処理部２０５は、上段のカラー画像も下段のカラー画像も、撮像後の画像処理としての色変換処理を施して、中段のカラー画像にできるだけ近い色味のカラー画像が得られるように調整する。なお、基準温度は２０℃でなくても良く、適宜定めれば良い。基準温度を６０℃とするならば、画像処理部２０５は、中段のカラー画像も下段のカラー画像も、上段のカラー画像にできるだけ近い色味のカラー画像が得られるように調整する。

具体的には、画像処理部２０５は、修正テーブル２１２を参照して色変換処理を実行する。図６は、修正テーブル２１２の例を説明する概念図である。実際の修正テーブルは、ルックアップテーブルとして所定のデータ構造によって定義されるが、ここではその意味するところを、概念的に表わしている。

ユーザが、複数の観察対象物に対してそれぞれの水分含有量を比較したいと考える場合には、ユーザは、操作部２０８を操作して「水」を指定する。制御部２０１は、当該指定を受け付けて、システムメモリ２０２に記憶された修正テーブル２１２のうち「水」のルックアップテーブルを読み出す。

水のルックアップテーブルは、基準温度を２０℃として用意されている。すなわち、対象観察物が２０℃であれば色変換を行わず、２０℃以外の温度であれば、その温度差に応じて色変換を行うように修正値が用意されている。具体的には、図示するように、２０℃に対する温度差として、＋８０℃から２℃刻みで−３０℃まで用意されている。そして、各温度差において、Ｒ画素の画素値（Ｒ値）に対する修正値、Ｇ画素の画素値（Ｇ値）に対する修正値、Ｂ画素の画素値（Ｂ値）に対する修正値が規定されている。温度差がｎ℃であれば、Ｒ値の修正値はＲ_ｎであり、Ｇ値の修正値はＧ_ｎであり、Ｂ値の修正値はＢ_ｎである。例えば、温度差が＋２５℃であるときのＲ値の修正値として「Ｒ_＋２５＝−６」であると規定されている場合に、撮像によって得られたＲ値が「１２９」だとすると、変換後のＲ値は「１２３」（＝１２９−６）となる。このような演算を全画素に対して行うと、基準温度である２０℃で撮像した場合の色味に近いカラー画像を得ることができる。すなわち、画像処理部２０５は、まず温度計測部１３０が生成した温度データに基づいて計測温度と基準温度との温度差を演算する。そして、その温度差に基づいて、近赤外撮像データの画素値と可視帯域との対応関係を調整する。なお、本実施形態では、画素値と可視帯域との対応関係として、各画素が可視帯域であるＲＧＢ値をそれぞれどの程度有しているかを示している。

各温度差に対する修正値は、実験等を通じて決定されている。また、図６の水の例では、基準温度を２０℃としているが、上述の通り他の温度でも良い。また、修正値を用意する温度差の上限および下限は、任意に設定され得る。上限、下限を超える温度差を検知した場合には、例えば表示部２０７に警告を表示するなどのエラー処理を実行しても良い。上限と下限の温度差は、対象物である「水」の透過スペクトルの特性に応じて定めても良い。例えば、基準温度における透過スペクトルの形状に対して、温度による変化が全体の形状を保ったままシフトしていると評価できる範囲の温度差に限ることができる。具体的には、基準温度における形状に対してマッチングを行ったときに、一致度が閾値以上であるときに形状を保っていると評価できる。また、図３を用いて説明した光学バンドパスフィルタの特性に応じて定めても良い。例えば、透過スペクトルのピーク波長がＮ_１フィルタのピーク波長と一致するまでシフトするシフト量を上限温度差とし、Ｎ_３フィルタのピーク波長と一致するまでシフトするシフト量を下限温度差とする。

また、温度差の刻みも２℃に限らない。他の温度でも良いし、修正値が「１」変化することを基準として温度差の方を動的に変化させても良い。また、温度差に対するＲ画素の修正値、Ｇ画素の修正値、Ｂ画素の修正値のそれぞれを、関数で定義しても良い。さらに、各温度差に対する修正値は、制御部２０１が機械学習により設定または更新してもよい。機械学習に用いる教師データとしては、ユーザが手動で修正した修正値や、他の装置やデータベースからネットワークを介して取得したデータを用いることができる。

また、水に対するルックアップテーブル以外にも様々な物質のルックアップテーブルを用意することもできる。図６の例では、水以外にも「エタノール」「微結晶セルロース」のルックアップテーブルが用意されている。すなわち、ユーザが観察対象物においていずれの物質の含有量に着目するかに応じて、その物質のルックアップテーブルを用意すれば良い。逆に、撮像装置１００が水の含有量の違いを認識させる専用の装置であれば、水のルックアップテーブルのみがあれば良い。

上述の色変換を行うためには、基準温度に対する温度差を取得する必要がある。また、観察対象物の温度分布は、部分ごとに異なる場合もあるので、観察対象物の部分に対応する画像上の領域ごとに温度差の情報を取得することが望ましい。そこで、撮像装置１００は、温度計測部１３０を備えている。図７は、温度計測部１３０から得られる温度データと撮像部１２０から得られる近赤外画像とから、調整されたカラー画像を得るまでの調整処理の概念を説明する説明図である。

遠赤外画像の画素数に基づく温度の計測点数と、近赤外画像の画素数が一致することが望ましいが、ここでは、温度の計測点数が近赤外画像の画素数よりも少ない場合について説明する。すなわち、第１撮像素子１０２と第２撮像素子１１２は、互いに観察対象物を同じ画角で捉えているものの、第２撮像素子１１２の出力信号数の方が、第１撮像素子１０２の出力信号数よりも少ない場合である。

図７の例では、観察対象物はトマトであり、トマト以外の背景は処理の対象外としている。対象外の領域は、カラー画像において例えば一律に黒色とすれば良い。

温度データにおいて、トマトの全体は、第２撮像素子１１２の出力信号である遠赤外画像の画素一つ一つに対応する矩形で表わされた複数の計測点によって表現されている。したがって、各計測点はアドレスと温度の値を有する。図の横方向をｘ方向、縦方向をｙ方向とすれば、各計測点のアドレスは（ｘ_ｉ，ｙ_ｉ）で表わされる。図の例では、２２℃の計測点、３４℃の計測点、３６℃の計測点、３８℃の計測点が存在している。なお、図では温度の違いをハッチングの種類の違いで表現している。

ここでは、近赤外画像の画素数の方が温度データの計測点数よりも多いので、それらの数を一致させる処理を行う。この処理を説明の便宜上、画像サイズを一致させる処理と称する。画像サイズを一致させる処理は、温度データの計測点数を補間処理によって増やして近赤外画像の画素数に一致させる方法と、近赤外画像の画素数を間引き処理によって減らして温度データの計測点数に一致させる方法とがある。精度を重視するなら前者を採用し、演算速度を重視するなら後者を採用すると良い。

なお、遠分布画像と近赤外画像は、上述のように多少のパララックスを有するが、簡易的には、画像サイズを一致させる処理を行った後の対応する同一アドレスの画素どうしを被写体の同一部分を捉えている画素とみなすことができる。より精度を重視するならば、被写体全体の輪郭を用いてマッチング処理を行うなどして、対応するアドレスの変換を行って画素どうしを結びつけても良い。

ここでは、温度データの（ｘ_ｉ，ｙ_ｉ）の計測点と近赤外画像の（ｘ_ｉ，ｙ_ｉ）の画素が被写体の同一部分を捉えているとする。図の例では、温度データの計測点（ｘ_ｉ，ｙ_ｉ）の温度が３６℃であり、近赤外画像の画素（ｘ_ｉ，ｙ_ｉ）の画素値が（Ｒ，Ｇ，Ｂ）＝（Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ）である。このとき、基準温度２０℃との温度差は＋１６℃と算出される。制御部２０１は、修正テーブル２１２を参照して、＋１６℃の修正値（Ｒ_＋１６，Ｇ_＋１６，Ｂ_＋１６）を読み出し、（Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ）にこの修正値を適用して、（Ｒ'_ｉｊ，Ｇ'_ｉｊ，Ｂ'_ｉｊ）へ変換する。この作業を全画素にわたって行うと、修正されたカラー画像が得られる。

以上の処理を処理フローとして説明する。図８は、処理フローを説明する図である。フローは、撮像装置１００の電源がオンにされ、観察対象物においていずれの物質の含有量に着目するかの指示をユーザから受け付けた状態から開始する。

制御部２０１は、ステップＳ１０１で、ユーザからの撮像指示を待つ。ユーザの撮像指示を検知したら、ステップＳ１０２へ進む。なお、撮像指示はユーザの指示に限らず、例えば、ベルトコンベアで運ばれてくるトマトが検知されるたびに、自動的に撮像指示信号を生成されるようにしても良い。

制御部２０１は、ステップＳ１０２で、第１撮像素子１０２を駆動するなどして近赤外撮像データを生成する。ステップＳ１０３で、第２撮像素子１１２を駆動するなどして温度を計測する。なお、ステップＳ１０２とステップＳ１０３の処理順は逆であっても良いし、部分的にあるいは全体的に並列処理されても良い。

制御部２０１は、ステップＳ１０４で、画像処理部２０５に、近赤外画像と温度データの画像サイズを、補間処理、間引き処理等により一致させる。そして、ステップＳ１０５で、対応する計測点の計測温度と基準温度との温度差を算出し、ステップＳ１０６で修正テーブル２１２を参照してＲＧＢの各修正値を読み出す。ステップＳ１０７で、画像処理部２０５は、各アドレスの画素値を読み出した修正値を用いて変換する。全画素の色変換処理が完了すると、色味が調整されたカラー画像データが完成する。

調整されたカラー画像データが完成すると、制御部２０１は、表示部２０７に調整されたカラー画像を表示し、通信部２０６を介して完成したカラー画像データを外部の記録装置に記録する。制御部２０１は、ステップＳ１０９で、電源がオフにされたかを検知し、検知されない場合にはステップＳ１０１へ戻る。検知された場合には一連の処理を終了する。

なお、制御部２０１は、記録するカラー画像データに、副情報として温度データ、調整前の近赤外撮像データを含めても良い。副情報を記録する形式としては、ＥＸＩＦ形式のサムネイル画像、メーカーノート領域への記述などが考えられる。また、ＭＰＦ形式の第２画像、ＲＡＷ形式のＴａｇ情報として記録しても良い。また、関連情報として、変換処理に用いた調整パラメータを記録しても良い。

また、撮像装置１００は、ユーザの選択を受け付けて、色変換処理を行わずに撮像部１２０が生成した近赤外撮像データをそのまま出力しても良い。このとき、温度計測部１３０が生成した温度データを関連情報として関連付けて出力しても良い。このように、近赤外撮像データと温度データとを併せて出力すれば、外部の処理装置で色変換処理を行うことができるので、撮像装置１００に組み込まれたアルゴリズムとは異なるアルゴリズムを適用したり、更に複雑な処理を行ったりすることができる。

また、上記の実施形態による色変換処理は、ＲＧＢの各値をシフトさせる処理であったが、色調整処理はこれに限らない。基準温度のカラー画像により一致させるために、他のパラメータを調整しても良い。例えば、ガンマを調整したり、彩度と色相を独立して調整したりしても良い。また、修正テーブルは、色の調整値に限らず、観察対象物の波長に対する透過度合いを表わす透過スペクトルの温度に対する変化についての温度変化情報であれば良い。色変換についての調整ルールが確定していれば、温度変化情報として必要な情報は、観察対象物ごとの物質としての特性情報であるので、この場合に修正テーブルは、透過スペクトル情報そのものであっても良い。また、修正テーブルは、システムメモリ２０２が記憶する場合に限らず、必要に応じて外部からネットワークを介して通信部２０６から取得しても良い。

なお、上記の実施形態においては、色変換処理を行う際に、観察対象物の透過スペクトルに対する温度依存性に基づいて色を調整したが、観察対象物の波長に対する変化を示すスペクトルは、透過スペクトルに限らない。例えば、観察対象物の波長に対する吸収度合を表わす吸収スペクトルを用いても良い。この場合、修正テーブル２１２には、観察対象物の吸収スペクトルに対する温度依存性に基づいた修正値が用意されることになる。

また、上記の実施形態においては、着目する物質の含有量に応じて予めつくられた修正テーブルを用いて、より正確に基準温度のカラー画像に近い色味を目指して色変換処理を行ったが、全体的な傾向程度に色変換処理を行っても良い。すなわち、物質ごとの修正テーブルを持たなくても、検出された実温度が基準温度よりも高い場合は赤色方向に調整し、実温度が基準温度よりも低い場合は青色方向に調整するように処理を行っても良い。

上記の実施形態においては、温度計測部１３０は、２次元状に光電変換素子が配列された第２撮像素子１１２によって遠赤外画像を撮像し、その遠赤外画像を２次元の温度データに変換しているが、温度データの計測はこれに限られない。例えば、温度計測部１３０は、ポイントセンサで被写体の１点の温度を計測してもよいし、複数のポイントセンサをドット状に配列して被写体のそれぞれの点の温度を計測してもよい。温度計測部１３０が被写体の１点の温度を計測するものである場合には、画像処理部２０５は、近赤外画像の全ての画素に対して、計測された温度を用いて参照温度との温度差による修正を実行する。温度計測部１３０が被写体の複数の点の温度を計測するものである場合には、画像処理部２０５は、それらの複数の点から近赤外画像の画素に対応する箇所の温度を補間処理して、それらの温度を用いて参照温度との温度差による修正を実行する。

なお、上記の実施形態において、撮像部１２０が近赤外画像を撮像する際に、観察対象物に光を照射してもよい。この場合、撮像装置１００に、制御部２０１と電気的に接続された照射部を設ける。照射部は光源を有し、照射する光の波長帯を設定可能である。照射部は、制御部２０１からの指令により、観察対象物に所望の波長帯の光を照射する。照射部が観察対象物に応じた特徴的な透過スペクトルの波長帯を含む光を照射することにより、撮像部１２０が撮像した近赤外画像に観察対象物の状態の変化がより顕著に表れる。なお、照射部は、観察対象物の撮像部１２０と対向する部分を照射してもよいし、観察対象物の裏側部分を照射してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置、１０１ 第１光学系、１０２ 第１撮像素子、１１１ 第２光学系、１１２ 第２撮像素子、１２０ 撮像部、１３０ 温度計測部、２０１ 制御部、２０２ システムメモリ、２０３ ワークメモリ、２０５ 画像処理部、２０６ 通信部、２０７ 表示部、２０８ 操作部、２１２ 修正テーブル

Claims (11)

1. 近赤外帯域内の互いに異なる３つの波長帯域に感度を有する撮像素子を有し、観察対象物を撮像して近赤外撮像データを生成する撮像部と、
   前記観察対象物の温度を計測する温度計測部と、
   前記近赤外撮像データの３種類の画素値をそれぞれ可視帯域内の互いに異なる３つの波長帯域に対応づけて、前記近赤外撮像データをカラー画像データに変換する画像処理部と
   を備え、
   前記画像処理部は、前記温度計測部が計測した計測温度と基準温度との温度差に基づいて、前記近赤外撮像データの画素値と前記可視帯域との対応関係を調整する撮像装置。
2. 前記温度計測部は、前記観察対象物の温度を２次元状に計測し、
   前記画像処理部は、前記近赤外撮像データの各撮像領域に対応する位置の計測温度を用いて前記各撮像領域の温度差を演算し、前記温度差に基づいて前記各撮像領域で前記対応関係を調整する請求項１に記載の撮像装置。
3. 前記画像処理部は、前記温度計測部が計測した温度の計測点数と、前記近赤外撮像データの画素数を一致させる補間処理を行う請求項２に記載の撮像装置。
4. 前記画像処理部は、前記近赤外撮像データを前記カラー画像データに一旦変換した後に、前記温度差に基づいて前記対応関係を修正する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記観察対象物の波長に対する透過率を表わす透過スペクトルの温度に対する変化についての温度変化情報を取得する取得部を備え、
   前記画像処理部は、前記温度変化情報に基づいて前記対応関係を調整する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記観察対象物の物質情報を受け付ける受付部を備え、
   前記画像処理部は、前記物質情報に基づいて前記対応関係を調整する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記画像処理部は、前記基準温度の際に前記画素値を対応付ける前記可視帯域を設定し、前記計測温度が前記基準温度よりも高い場合は前記可視帯域を長波長側に調整し、前記計測温度が前記基準温度よりも低い場合は前記可視帯域を短波長側に調整する請求項１から６のいずれか１項に記載の撮像装置。
8. 前記画像処理部に前記対応関係の調整を行わせるか否かを選択する選択部を備える請求項１から７のいずれか１項に記載の撮像装置。
9. 前記画像処理部は、前記各撮像領域を画素単位で設定する請求項２に記載の撮像装置。
10. 前記画像処理部は、前記温度計測部が計測した温度の温度データを、前記近赤外撮像データに関連づけて出力する請求項１から９のいずれか１項に記載の撮像装置。
11. 近赤外帯域内の互いに異なる３つの波長帯域において観察対象物を撮像して近赤外撮像データを生成する撮像ステップと、
    前記観察対象物の温度を計測する温度計測ステップと、
    前記近赤外撮像データの３種類の画素値をそれぞれ可視帯域内の互いに異なる３つの波長帯域に対応づけて、前記近赤外撮像データをカラー画像データに変換する画像処理ステップであり、前記観察対象物の計測温度と基準温度との温度差に基づいて、前記近赤外撮像データの画素値と前記可視帯域との対応関係を調整する、画像処理ステップと
    をコンピュータに実行させる撮像制御プログラム。

Images