JP6524794B2 - 物体同定装置、物体同定システム、物体同定方法および物体同定プログラム - Google Patents

Description

本発明は、物体同定装置、物体同定システム、物体同定方法および物体同定プログラムに関し、特に偏光ハイパースペクトルカメラ装置が用いられた物体同定装置、物体同定システム、物体同定方法および物体同定プログラムに関する。

数十バンド（種類）以上に分光されたスペクトルであるハイパースペクトルの情報を取得できるハイパースペクトルカメラがある。ハイパースペクトルカメラは、ハイパースペクトル情報を１画素ごとに取得することによって、空間情報とハイパースペクトル情報を同時に取得できるカメラである。

一般的なハイパースペクトル情報による照合処理では、１画素ごとに、画素の空間情報に対応する波長の情報が含まれるハイパースペクトル情報が、スペクトルライブラリに記憶されているスペクトルデータと照合される。スペクトルデータと照合されることによって、各画素が示す物体が何の物体であるか同定される。

しかし、１画素ずつハイパースペクトル情報とスペクトルデータを照合する方法は、取得された画素の数だけ照合が行われるため、多くの時間を要する。

上記の問題を解決する方法として、取得されたハイパースペクトルデータをクラスタリングし、クラスタリングされた各クラスタとスペクトルライブラリに記憶されている各スペクトルデータを照合する方法がある。スペクトルデータの照合が取得された全ての画素に対して行われないため、全ての照合処理が完了するまでの時間が短縮される。照合され各クラスタに対応する物体が同定された後、取得されたハイパースペクトルデータの各画素に、画素が対応するクラスタに対応する物体の情報が反映される。

クラスタリングが用いられた同定方法は、地表面の鉱物の分布や森林の樹種の分布などの、おおまかなスペクトルの分布傾向を把握する用途に適している。

クラスタリングが用いられた同定方法以外にも、全ての画素に対して照合処理を行わない物体同定方法が、特許文献１に記載されている。特許文献１には、ハイパースペクトル画像の各画素に記録されたスペクトルデータから複数のエンドメンバのいずれかを除去し、除去後の画素のスペクトルデータと、データベース内のスペクトルデータを照合することによって、画素に記録された物体を特定する画像解析装置が記載されている。

また、画像に示される物体を高精度に認識する、リモートセンシング画像を用いた画像処理装置が特許文献２に記載されている。

特開２０１０−２３７８６５号公報 特開２０１０−２３７８６５号公報

上記のクラスタリングが用いられた同定方法等は、例えばクラスタリングの精度や手法、および照合や同定の手法によって同定結果が異なるという問題がある。また、例えばクラスタリングの処理自体に多くの時間を要するという問題がある。

そこで、本発明は、ハイパースペクトルデータを用いて物体を短時間で同定できる物体同定装置、物体同定システム、物体同定方法および物体同定プログラムを提供することを目的とする。

本発明による物体同定装置は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部から抽出し、抽出された物体情報の中から取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部とを備えることを特徴とする。

本発明による物体同定装置は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、同定対象の物体からの光に基づいて、同定対象の物体のハイパースペクトルデータを取得するカメラ部と、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部から抽出し、抽出された物体情報の中からカメラ部により取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部とを備えることを特徴とする。

本発明による物体同定システムは、同定対象の物体が反射した反射光が入射する偏光フィルタと、カメラと、物体同定装置と、表示装置とを含む物体同定システムであって、カメラは、偏光フィルタを透過した光に基づいて、同定対象の物体のハイパースペクトルデータを取得するカメラ部を含み、物体同定装置は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、偏光フィルタの回転角度を検知する角度検知部と、検知された回転角度に対応する偏光方向を示す偏光情報に対応する物体情報を記憶部から抽出し、抽出された物体情報の中からカメラ部により取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部とを含み、表示装置は、抽出された物体情報を表示することを特徴とする。

本発明による物体同定方法は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部を備える物体同定装置において実行される物体同定方法であって、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部から抽出し、抽出された物体情報の中から取得されたハイパースペクトルデータに対応する物体情報を抽出することを特徴とする。

本発明による物体同定プログラムは、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部を備えるコンピュータにおいて実行される物体同定プログラムであって、コンピュータに、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部から抽出する第１抽出処理、および抽出された物体情報の中から取得されたハイパースペクトルデータに対応する物体情報を抽出する第２抽出処理を実行させることを特徴とする。

本発明によれば、ハイパースペクトルデータを用いて物体を短時間で同定できる。

本発明による物体同定システムの第１の実施形態の例を示す説明図である。 本発明による物体同定システムの第１の実施形態の構成例を示すブロック図である。 本発明による物体同定装置のハードウェア構成例を示す説明図である。 第１の実施形態における物体同定装置２００による偏光情報付スペクトルライブラリ構築処理の動作を示すフローチャートである。 偏光情報付スペクトルライブラリ構築時の物体同定装置２００によるデータ処理を示す説明図である。 第１の実施形態における物体同定装置２００による物体同定処理の動作を示すフローチャートである。 取得されたハイパースペクトルデータと偏光情報付スペクトルライブラリ２０４に登録されているデータとの照合時の物体同定装置２００によるデータ処理を示す説明図である。 本発明による物体同定システムの第２の実施形態の例を示す説明図である。 本発明による物体同定システムの第２の実施形態の他の例を示す説明図である。 本発明による物体同定システムの第２の実施形態の構成例を示すブロック図である。 本発明による物体同定システムの第３の実施形態の例を示す説明図である。 本発明による物体同定装置の概要を示すブロック図である。 本発明による物体同定装置の他の概要を示すブロック図である。 本発明による物体同定システムの概要を示すブロック図である。

最初に、ハイパースペクトルイメージング技術を以下に説明する。

ハイパースペクトルイメージング技術では、地上設置型カメラ、航空機、または人工衛星などに、ハイパースペクトルイメージング用のカメラが設置される。設置されたカメラが、地上または上空から撮影する。

ハイパースペクトルイメージング用のカメラのレンズ後段には、分光装置が存在する。分光装置は、可視光線、近赤外線、または遠赤外線のいずれかに相当する光を、所定の波長幅ごとに分光する。なお、可視光線、近赤外線、または遠赤外線のいずれかに相当する光の波長の範囲は、例えば、３００ｎｍ〜１２００ｎｍである。

ハイパースペクトルイメージング用のカメラの撮像素子は、分光された光を受光し、受光した光を光信号から電気信号に変換する。撮像素子は、変換した電気信号に基づいて、水平方向に空間軸を、垂直方向に波長軸を取る画像を作成し、作成した画像を出力する。撮像素子が出力する画像がハイパースペクトルイメージに相当する。

所定の空間軸に対応する画像は、一次元の明暗のパターンのみを示す。すなわち、撮像素子は、空間軸方向において線状に一列に配置されたラインセンサに相当する。よって、地上設置型カメラに設置されたハイパースペクトルイメージング用のカメラは、例えば、ミラースキャン式でデータを取得する。また、航空機および人工衛星に設置されたハイパースペクトルイメージング用のカメラは、例えば、プッシュブルーム式でデータを取得する。

ハイパースペクトルイメージの各画素（ピクセル）が表す物質を識別するためには、観測対象領域に分布する物質がスペクトルとしてどのように取得されるか、予め把握することが求められる。スペクトルライブラリには、各物質に対応するスペクトルの情報が蓄積されている。

また、スペクトルライブラリには、実験室や実環境などにおける分光光度計による計測スペクトル、またはハイパースペクトルイメージから得られた端成分（エンドメンバー）スペクトルなどのスペクトル特性や、スペクトル特性以外の情報がまとめられた状態で保存されている。

なお、スペクトル特性以外の情報は、例えば、物質名、観測条件、波長軸、スペクトル分解能、および観測誤差である。スペクトル特性以外の情報は、スペクトルのメタデータとしてスペクトルライブラリに保存される。

既存のスペクトルライブラリには、例えば、ＵＳＧＳ（Ｕ.Ｓ.Ｇｅｏｌｏｇｉｃａｌ Ｓｕｒｖｅｙ）、ＮＡＳＡ ＪＰＬ（Ｊｅｔ Ｐｒｏｐｕｌｓｉｏｎ Ｌａｂｏｒａｔｏｒｙ）、ＪＨＵ（Ｊｏｈｎｓ−Ｈｏｐｋｉｎｓ Ｕｎｉｖｅｒｓｉｔｙ）などの研究機関が配布しているライブラリがある。各研究機関が配布しているライブラリには、各研究機関により計測された数百〜数千のスペクトルがそれぞれ含まれている。

取得されたハイパースペクトルデータとスペクトルライブラリに含まれているスペクトルデータを照合する手法は、主に３つある。

第１の手法は、全画素のハイパースペクトルデータをそれぞれスペクトルライブラリに含まれているスペクトルデータと照合し、一致度の高いスペクトルデータが示すスペクトルを画素のスペクトルに決定する手法である。決定されたスペクトルに対応する物体が、画素が示す物体として同定される。

第１の手法は、画素ごとに照合処理が行われるため、全画素の照合処理を終えるまでに多くの時間を要する。すなわち、第１の手法が利用された場合、水平方向に空間軸を、垂直方向に波長軸を取る２次元画像の各画素のハイパースペクトルデータが、スペクトルライブラリに含まれているスペクトルデータとそれぞれ照合されることによって、各画素が示す物体が同定される。第１の手法では、取得された画素の数だけ照合処理が行われるため、全画素の照合処理を終えるまでに多くの時間を要する。

第２の手法は、取得されたハイパースペクトルデータ全体の中でデータが類似する画素ごとにクラスタリングを行い、各クラスタの代表的なハイパースペクトルデータをそれぞれスペクトルライブラリに含まれているスペクトルデータと照合する手法である。照合された結果、一致度の高いスペクトルデータが示すスペクトルが、クラスタに含まれる全ての画素のスペクトルに決定される。決定されたスペクトルに対応する物体が、クラスタに含まれる全ての画素が示す物体として同定される。

第２の手法は、森林や岩石などの広域に分布する自然物を分類する用途に適している。しかし、自然物の中に隠れた人工物を探知および識別する用途には適していない。また、第２の手法は、クラスタリングに時間がかかるため、即時性に欠ける。

第３の手法は、周囲の画素のハイパースペクトルデータと特徴が異なるハイパースペクトルデータを持つ画素（すなわち、異常点の画素）を抽出し、異常点の画素のハイパースペクトルデータをスペクトルライブラリに含まれているスペクトルデータと照合する手法である。照合された結果、一致度の高いスペクトルデータが示すスペクトルが、異常点の画素のスペクトルに決定される。決定されたスペクトルに対応する物体が、異常点の画素が示す物体として同定される。

第３の手法では、スペクトルデータが照合される画素が絞り込まれている。しかし、第３の手法においても、異常点の画素の抽出に時間がかかる。また、異常点の画素のハイパースペクトルデータがスペクトルライブラリに含まれているスペクトルデータ全体と照合されるため、第３の手法も即時性に欠ける。

すなわち、第１〜第３の手法はいずれも多くの時間を要する。多くの時間を要するため、人工物を即時に検知および識別する物体の即時検知処理、または即時に近い状態で検知および識別する物体の検知処理には、上記の手法が適用されないという問題がある。

以下、上記の問題を解決する本発明の各実施形態を説明する。

実施形態１．
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による物体同定システムの第１の実施形態の例を示す説明図である。図１に示す例は、地上設置型ハイパースペクトルカメラに本発明が適用された例に対応する。

物質が反射する光には、少なからず偏光が含まれる。物体、特に人工物は、光を反射する際に、特定の偏光を反射することが多い。

上記の性質を利用した本実施形態における物体同定システム１００に含まれる物体同定装置は、「特定の偏光」による絞り込みと、「特定のスペクトル」による絞り込みの２段階の絞り込みを行う検索手法を用いる。２段階の絞り込みを行う検索手法を用いることによって、物体同定装置は、対象のスペクトルが抽出されるまでの時間を短縮する。

物体同定装置は、波長情報と偏光角度情報を併せて保存するスペクトルライブラリを備える。スペクトルライブラリに波長情報と偏光角度情報が併せて保存されると、「特定の偏光を用いて取得されたスペクトル」の照合処理および同定処理の時間が短縮される。すなわち、物体同定装置は、対象のスペクトルを探索するまでの時間、および物体を識別するまでの時間を短縮できる。また、複数の情報が用いられるので、物体同定装置は、照合処理および同定処理の精度を向上できる。

また、ユーザが予め取得された特定の偏光角度情報を有するスペクトルデータの探索および物体の識別を行いたい場合、物体同定装置は、スペクトルライブラリに登録されている任意のスペクトルデータに対応する偏光角度情報を用いて、偏光フィルタを回転させてもよい。

取得された任意の偏光に基づいたハイパースペクトルデータは、偏光フィルタの回転に用いられた偏光角度情報に対応するスペクトルデータに適合する可能性が高い。すなわち、物体同定装置がスペクトルデータに対応する偏光角度情報を用いて偏光フィルタを回転させた場合、容易に対象のスペクトルデータが探索され、対応する物体が識別される。

図２は、本発明による物体同定システムの第１の実施形態の構成例を示すブロック図である。図２に示すように、物体同定システム１００は、物体同定装置２００と、偏光フィルタ回転装置３００と、角度検知装置３０１と、偏光フィルタ４００と、ハイパースペクトルカメラ５００と、スキャンミラー６００と、表示装置７００とを含む。

物体同定装置２００は、偏光角度制御部２０１と、データ入出力部２０２と、カメラ制御部２０３と、偏光情報付スペクトルライブラリ２０４と、ミラー制御部２０５とを含む。

偏光角度制御部２０１は、制御線を介して偏光フィルタ回転装置３００による偏光フィルタ４００の回転操作を制御する制御信号を出力する機能を有する。また、偏光角度制御部２０１は、ハイパースペクトルデータ取得時に偏光角度情報を取得し、記録する機能を有する。偏光角度制御部２０１は、信号線を介して角度検知装置３０１が取得した偏光角度情報を受信する。

データ入出力部２０２は、ハイパースペクトルライブラリ構築時に偏光角度情報をハイパースペクトルデータと共に記録することによって、偏光角度と物体のスペクトルという、２つの特徴的な指標を併せて記録する機能を有する。データ入出力部２０２は、偏光角度制御部２０１から入力された偏光角度情報と、カメラ制御部２０３から入力されたハイパースペクトルデータを、偏光情報付スペクトルライブラリ２０４に併せて登録する。

また、データ入出力部２０２は、偏光角度と物体のスペクトルの２つの指標を用いて、物体を同定および識別する機能を有する。偏光角度とスペクトルの２つの指標が用いられることによって、物体同定処理の精度が高まる。

データ入出力部２０２は、偏光角度制御部２０１から入力された偏光角度情報に対応するスペクトルデータを偏光情報付スペクトルライブラリ２０４から抽出する。次いで、データ入出力部２０２は、抽出されたスペクトルデータと、入力されたハイパースペクトルデータを照合することによって、物体を同定および識別する。

また、データ入出力部２０２は、ユーザが探知および識別したい対象物に対応する、ハイパースペクトルライブラリに蓄積された偏光角度情報を取得する機能を有する。偏光角度制御部２０１は、取得された偏光角度情報に基づいて、偏光フィルタ回転装置３００を介して偏光板である偏光フィルタ４００を回転させる。偏光フィルタ４００の回転角度が予め所定値に設定された状態でハイパースペクトルデータが取得されることによって、対象物が効率よく検知される。

カメラ制御部２０３は、制御線を介してカメラ５０３の撮影に関するパラメータを制御する制御信号、およびカメラ５０３の撮影信号を出力する機能を有する。また、カメラ制御部２０３は、撮影されたハイパースペクトルデータを、信号線を介してカメラ５０３から受信する機能を有する。

偏光情報付スペクトルライブラリ２０４は、偏光角度情報およびハイパースペクトルデータを記憶する機能を有する。偏光情報付スペクトルライブラリ２０４が構築される時、ハイパースペクトルデータと偏光フィルタ４００の回転角度の情報が取得される。

取得された回転角度に対応する偏光角度情報が、取得されたハイパースペクトルデータと併せて偏光情報付スペクトルライブラリ２０４に登録される。その結果、偏光情報付スペクトルライブラリ２０４を備えた物体同定装置２００は、偏光角度情報を用いて、ハイパースペクトルデータを識別できる。

本実施形態において、偏光情報付スペクトルライブラリ２０４に登録される偏光角度情報が示す偏光フィルタ４００の回転角度は、対象物からの反射光が偏光フィルタ４００を最もよく透過する角度である。なお、偏光角度情報が示す偏光フィルタ４００の回転角度は、対象物からの反射光が偏光フィルタ４００を最もよく透過する角度以外の角度でもよい。

以上により、偏光角度情報を含むスペクトルライブラリが構築される。本実施形態における偏光角度情報とスペクトルデータとを用いた照合処理および同定処理では、上記のようにデータが蓄積された偏光情報付スペクトルライブラリ２０４が用いられる。

ミラー制御部２０５は、スキャンミラー６００の撮影角度を制御する制御信号を、制御線を介してスキャンミラー６００に出力する機能を有する。スキャンミラー６００は、出力された制御信号に基づいて回転する。

ハイパースペクトルカメラ５００は、レンズ５０１と、分光器５０２と、カメラ５０３とを含む。レンズ５０１は分光器５０２に接続されており、また分光器５０２はカメラ５０３に接続されている。レンズ５０１、分光器５０２、およびカメラ５０３は、一体として動作する。

カメラ５０３は、カメラ制御部２０３と制御線および信号線を介して通信可能に接続する。また、カメラ５０３は、撮影されたハイパースペクトルデータを、信号線を介してカメラ制御部２０３に送信する。

カメラ５０３には、二次元イメージセンサであるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが搭載されている。図２に示す受光センサ５０４が、搭載されているイメージセンサに相当する。

カメラ５０３に搭載されているイメージセンサは、横軸に空間軸を、縦軸に波長軸を取る画像を出力する。すなわち、イメージセンサは、所定の空間軸に対してラインセンサに相当する。イメージセンサが出力する画像が１次元空間情報のみを有する場合であっても、スキャンミラー６００が使用されることによって、ハイパースペクトルカメラ５００は、２次元空間情報を取得できる。

ハイパースペクトルカメラ５００のレンズ５０１の前端に、偏光フィルタ４００、偏光フィルタ回転装置３００、および角度検知装置３０１がそれぞれ取り付けられる。

偏光フィルタ４００は、レンズ５０１に固定される面と、回転可能な面とで構成される。すなわち、偏光フィルタ４００は、二重構造をとる。

偏光フィルタ回転装置３００は、偏光フィルタ４００の回転可能な面を回転させる機能を有する。偏光フィルタ回転装置３００は、偏光角度制御部２０１と制御線を介して通信可能に接続する。偏光フィルタ回転装置３００は、制御線を介して偏光角度制御部２０１から受信した制御信号に基づいて、偏光フィルタ４００の回転可能な面を回転させる。

角度検知装置３０１は、偏光フィルタ４００の回転可能な面の、基準角からの回転角を検知する機能を有する。角度検知装置３０１は、偏光角度制御部２０１と信号線を介して通信可能に接続する。角度検知装置３０１は、検知した回転角度の情報を、信号線を介して偏光角度制御部２０１に送信する。

スキャンミラー６００は、ミラー制御部２０５と制御線を介して通信可能に接続する。スキャンミラー６００は、予め設定された撮影角度の範囲で回転する。なお、スペクトルライブラリに登録されるデータが作成される場合、スキャンミラー６００は、使用されなくてもよい。

ミラー制御部２０５は、スキャンミラー６００を、中心を軸として回転させることができる。スキャンミラー６００を回転させることによって、物体同定装置２００は、２次元空間情報を取得できる。すなわち、スキャンミラー６００を使用すれば、固定設置されたハイパースペクトルカメラ５００が、２次元の空間軸と、１次元の波長軸を有する３次元スペクトルデータを取得できる。３次元スペクトルデータは、ハイパースペクトルキューブとも呼ばれる。

表示装置７００は、物体同定装置２００による物体同定処理の結果等を表示する機能を有する。

以下、本実施形態における物体同定装置２００のハードウェア構成の具体例を説明する。図３は、本発明による物体同定装置のハードウェア構成例を示す説明図である。

図３に示す物体同定装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１と、主記憶部２１２と、通信部２１３と、補助記憶部２１４とを備える。また、人が操作するための入力部２１５や、人に処理結果または処理内容の経過を提示するための出力部２１６を備えてもよい。

主記憶部２１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部２１２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

通信部２１３は、有線または無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

補助記憶部２１４は、ハードディスク装置などの記憶装置である。補助記憶部２１４は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。

入力部２１５は、データや処理命令を入力する機能を有する。入力部２１５は、例えばキーボードやマウスである。

出力部２１６は、データを出力する機能を有する。出力部２１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

また、図３に示すように、物体同定装置２００において、各構成要素は、システムバス２１７に接続されている。

補助記憶部２１４は、例えば、図２に示す偏光角度制御部２０１、データ入出力部２０２、カメラ制御部２０３、およびミラー制御部２０５をそれぞれ実現するためのプログラムを記憶している。

また、主記憶部２１２は、例えば、偏光情報付スペクトルライブラリ２０４の記憶領域として利用される。

偏光角度制御部２０１、カメラ制御部２０３、およびミラー制御部２０５は、通信部２１３を介して、制御信号を送信する。また、偏光角度制御部２０１、およびカメラ制御部２０３は、通信部２１３を介して、データを受信する。

なお、物体同定装置２００は、ハードウェアにより実現されてもよい。例えば、物体同定装置２００は、内部に図２に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品が含まれる回路が実装されてもよい。

また、物体同定装置２００は、図３に示すＣＰＵ２１１が図２に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。

ソフトウェアにより実現される場合、ＣＰＵ２１１が補助記憶部２１４に格納されているプログラムを、主記憶部２１２にロードして実行し、物体同定装置２００の動作を制御することによって、各機能がソフトウェアにより実現される。

［動作の説明］
以下、本実施形態の物体同定装置２００の動作を図４〜図７を参照して説明する。

最初に、偏光情報付スペクトルライブラリ２０４を構築する時の物体同定装置２００の動作を、図４〜図５を参照して説明する。図４は、第１の実施形態における物体同定装置２００による偏光情報付スペクトルライブラリ構築処理の動作を示すフローチャートである。また、図５は、偏光情報付スペクトルライブラリ構築時の物体同定装置２００によるデータ処理を示す説明図である。

図５に示す光源からの光を、対象の試料が反射する（ステップＳ１０１）。光源が発する光は、ハロゲン灯が発する光などの、波長が均一な光である。試料が反射した光には、偏光が含まれる。

試料から反射された光は、偏光フィルタ４００に入射する（ステップＳ１０２）。偏光フィルタ４００は、入射した光のうち、偏光フィルタ４００の偏光方向と異なる偏光方向に振動する偏光成分を除去する。

偏光フィルタ４００は、偏光フィルタ回転装置３００により回転させられる。偏光フィルタ回転装置３００は、試料からの反射光が偏光フィルタ４００を最もよく透過するように、偏光フィルタ４００の回転角度を設定する。

角度検知装置３０１は、試料からの反射光が偏光フィルタ４００を最もよく透過する時の偏光フィルタ４００の回転角度を検知する。次いで、角度検知装置３０１は、検知した回転角度を角度信号に変換する。角度検知装置３０１は、変換した角度信号を、信号線を介して偏光角度制御部２０１に送信する（ステップＳ１０３）。

偏光フィルタ４００の偏光方向と異なる偏光方向に振動する偏光成分が除去された試料からの反射光は、レンズ５０１に入射する（ステップＳ１０４）。レンズ５０１で集光された光は、分光器５０２に到達する。

反射光は、分光器５０２で分光される（ステップＳ１０５）。分光された各光は、受光センサ５０４に到達する（ステップＳ１０６）。

受光センサ５０４は、受光した各光を、光信号から電気信号に変換する。次いで、受光センサ５０４は、変換した電気信号に基づいて、ハイパースペクトルデータを作成する。カメラ５０３は、作成されたハイパースペクトルデータをカメラ制御部２０３に送信する（ステップＳ１０７）。

図５に示すように、ステップＳ１０３において送信された角度信号が示す回転角度の情報と、ステップＳ１０７において送信されたハイパースペクトルデータはマージ（併合）され、偏光情報付スペクトルライブラリ２０４に登録される。

すなわち、データ入出力部２０２は、角度信号が示す回転角度に対応する偏光角度情報を、対応するハイパースペクトルデータのメタデータとして、偏光情報付スペクトルライブラリ２０４に登録する（ステップＳ１０８）。

物体同定装置２００は、ステップＳ１０１〜ステップＳ１０８の処理を、対象の試料ごとに繰り返し実施する。図４に示す処理が繰り返し実施されることによって、偏光角度情報を含むハイパースペクトルライブラリが構築される。対象の試料のハイパースペクトルデータを全て登録した後、物体同定装置２００は、偏光情報付スペクトルライブラリ構築処理を終了する。

なお、表示装置７００は、偏光情報付スペクトルライブラリ構築処理において、データが正しく登録されたことや、何らかの原因によりデータが正しく登録されなかったこと、または処理が終了したことをユーザに向けて表示してもよい。

次に、取得されたハイパースペクトルデータと偏光情報付スペクトルライブラリ２０４に登録されているデータを照合することによって物体を同定する時の物体同定装置２００の動作を、図６〜図７を参照して説明する。

図６は、第１の実施形態における物体同定装置２００による物体同定処理の動作を示すフローチャートである。また、図７は、取得されたハイパースペクトルデータと偏光情報付スペクトルライブラリ２０４に登録されているデータの照合時の物体同定装置２００によるデータ処理を示す説明図である。

図７に示す光源からの光を、図７に示す被写体が反射する（ステップＳ２０１）。なお、光源は、例えば太陽やハロゲン灯である。被写体が反射した光には、偏光が含まれる。

被写体から反射された偏光を含む光は、スキャンミラー６００で反射される（ステップＳ２０２）。スキャンミラー６００で反射された光は、偏光フィルタ４００に入射する（ステップＳ２０３）。

光源からの光が偏光フィルタ４００に入射する時に、偏光角度制御部２０１は、偏光フィルタ回転装置３００に回転角度の情報が含まれる制御信号を送信する。制御信号を受信した偏光フィルタ回転装置３００は、偏光フィルタ４００を適切な角度に回転させる。適切な角度は、所定の幅を有する値である。

角度検知装置３０１は、偏光フィルタ４００の回転角度を計測する。次いで、角度検知装置３０１は、計測した回転角度を角度信号に変換する。角度検知装置３０１は、変換した角度信号を、信号線を介して偏光角度制御部２０１に送信する（ステップＳ２０４）。

偏光フィルタ４００は、入射した光のうち、偏光フィルタ４００の偏光方向と異なる偏光方向に振動する偏光成分を除去する。すなわち、偏光フィルタ４００の偏光方向と同じ偏光方向に振動する偏光成分のみを有する光がレンズ５０１に入射し、集光される（ステップＳ２０５）。

レンズ５０１で集光された光は、分光器５０２に入射する。反射光は、分光器５０２で分光される（ステップＳ２０６）。分光された各光は、受光センサ５０４に到達する（ステップＳ２０７）。

受光センサ５０４は、受光した各光を、光信号から電気信号に変換する。次いで、受光センサ５０４は、変換した電気信号に基づいて、ハイパースペクトルデータを作成する。カメラ５０３は、作成されたハイパースペクトルデータをカメラ制御部２０３に送信する（ステップＳ２０８）。

次いで、データ入出力部２０２は、角度検知装置３０１から送信された偏光フィルタ４００の偏光角度情報、およびカメラ５０３から送信されたハイパースペクトルデータを用いて、被写体を特定するための照合処理および同定処理を行う。

図７に示すように、データ入出力部２０２は、送信された偏光フィルタ４００の偏光角度情報と、偏光情報付スペクトルライブリ２０４に登録されている偏光角度情報とを照合する。照合した結果、データ入出力部２０２は、偏光角度情報が示す偏光フィルタ４００の偏光方向に、対応付けられている偏光角度情報が示す偏光方向が対応するスペクトルデータのみを抽出する（ステップＳ２０９）。

次いで、図７に示すように、データ入出力部２０２は、抽出されたスペクトルデータと、送信されたハイパースペクトルデータをピクセルごとに照合する。照合した結果、データ入出力部２０２は、抽出されたスペクトルデータのうち、一致度の高いスペクトルデータが示すスペクトルを照合されたピクセルのスペクトルとする（ステップＳ２１０）。すなわち、データ入出力部２０２は、ピクセルが示す物質が、一致度の高いスペクトルに対応する物質であるとする。

データ入出力部２０２は、全てのピクセルに対して、抽出されたスペクトルデータと、送信されたハイパースペクトルデータとの照合処理および同定処理を行う。全てのピクセルに対して照合処理および同定処理を終えた後、物体同定装置２００は、物体同定処理を終了する。

なお、表示装置７００は、物体同定処理の結果や、物体同定処理が終了したことをユーザに向けて表示してもよい。

［効果の説明］
本実施形態の物体同定装置は、データ入出力部２０２が偏光フィルタの回転角度を示す偏光情報を用いてフィルタリングすることによって、例えばハイパースペクトルキューブと照合される対象になる、スペクトルライブラリから抽出されるスペクトルデータを減らすことができる。すなわち、物体同定装置は、照合処理および同定処理をより高速に実施できる。

また、本実施形態の物体同定システムは、偏光情報付ハイパースペクトルライブラリから、抽出したいスペクトルデータの偏光情報を用いて偏光フィルタ回転装置３００が予め偏光フィルタの回転角度を設定することによって、容易に対象のスペクトルデータを抽出し、対象の物体を同定できる。

実施形態２．
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図８は、本発明による物体同定システムの第２の実施形態の例を示す説明図である。

図８に示すように、物体同定システム１００は、飛行体に搭載されている。本実施形態における物体同定装置２００は、飛行体に搭載されているハイパースペクトルセンサに接続されている。なお、図８に示す飛行体は、例えば、航空機やヘリコプタである。

図９は、本発明による物体同定システムの第２の実施形態の他の例を示す説明図である。図９には、航空機に搭載されている物体同定システム１００が示されている。

図９に示す例において、航空機に搭載されているハイパースペクトルセンサは、航空機の進行方向へのプッシュブルームセンサとして動作する。プッシュブルームセンサは、１ライン分の光検知素子を並べて、１方向（進行方向）にのみ走査を行うセンサである。走査は像面上で行われるため、プッシュブルームセンサにおいて走査光学系は不要である。

図１０は、本発明による物体同定システムの第２の実施形態の構成例を示すブロック図である。進行方向にのみ走査が行われるため、本実施形態の物体同定システム１００は、図１０に示すようにスキャンミラーを含まない。

実施形態３．
［構成の説明］
次に、本発明の第３の実施形態を、図面を参照して説明する。図１１は、本発明による物体同定システムの第３の実施形態の例を示す説明図である。

図１１に示すように、物体同定システム１００〜１０１は、船舶に搭載されている。本実施形態の物体同定装置２００は、船舶に搭載されているハイパースペクトルセンサに接続されている。

本実施形態の物体同定装置２００は、第１の実施形態における地上設置型の物体同定装置２００と比較して、動揺補正部を含む点が異なる。動揺補正部は、センサ全体に対する船舶の揺れを吸収する機能を有する。

次に、本発明の概要を説明する。図１２は、本発明による物体同定装置の概要を示すブロック図である。本発明による物体同定装置１０は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部１１（例えば、偏光情報付スペクトルライブラリ２０４）と、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部１１から抽出し、抽出された物体情報の中から取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部１２（例えば、データ入出力部２０２）とを備える。

そのような構成により、物体同定装置は、ハイパースペクトルデータを用いて物体を短時間で同定できる。

また、物体同定装置１０は、ハイパースペクトルデータを取得する画像センサが受光する同定対象の物体からの光が画像センサに受光される前に入射する偏光フィルタを、物体情報に含まれる偏光情報を用いて制御する制御部（例えば、偏光角度制御部２０１）を備えてもよい。

そのような構成により、物体同定装置は、対象の物体を効率よく同定できる。

また、物体同定装置１０は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータ取得時に取得された偏光情報とを含む物体情報を記憶部１１に保存するデータ保存部（例えば、データ入出力部２０２）を備えてもよい。

そのような構成により、物体同定装置は、偏光情報が含まれるハイパースペクトルライブラリを構築できる。

図１３は、本発明による物体同定装置の他の概要を示すブロック図である。本発明による物体同定装置２０は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部２１（例えば、偏光情報付スペクトルライブラリ２０４）と、同定対象の物体からの光に基づいて、同定対象の物体のハイパースペクトルデータを取得するカメラ部２２（例えば、カメラ５０３）と、同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する物体情報を記憶部２１から抽出し、抽出された物体情報の中からカメラ部２２により取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部２３（例えば、データ入出力部２０２）とを備える。

そのような構成により、物体同定装置は、ハイパースペクトルデータを用いて物体を短時間で同定できる。

また、物体同定装置２０は、カメラ部２２が受光する同定対象の物体からの光がカメラ部２２に受光される前に入射する偏光フィルタを、物体情報に含まれる偏光情報を用いて制御する制御部を（例えば、偏光角度制御部２０１）を備えてもよい。

そのような構成により、物体同定装置は、対象の物体を効率よく同定できる。

また、物体同定装置２０は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータ取得時に取得された偏光情報とを含む物体情報を記憶部２１に保存するデータ保存部（例えば、データ入出力部２０２）を備えてもよい。

そのような構成により、物体同定装置は、偏光情報が含まれるハイパースペクトルライブラリを構築できる。

図１４は、本発明による物体同定システムの概要を示すブロック図である。本発明による物体同定システム３０は、同定対象の物体が反射した反射光が入射する偏光フィルタ４０と、カメラ５０と、物体同定装置６０と、表示装置７０とを含む物体同定システムであって、カメラ５０は、偏光フィルタ４０を透過した光に基づいて、同定対象の物体のハイパースペクトルデータを取得するカメラ部５１（例えば、カメラ５０３）を含み、物体同定装置６０は、所定の物体に対応するハイパースペクトルデータと、ハイパースペクトルデータを取得した画像センサが受光した所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部６１（例えば、偏光情報付スペクトルライブラリ２０４）と、偏光フィルタ４０の回転角度を検知する角度検知部６２（例えば、角度検知装置３０１）と、検知された回転角度に対応する偏光方向を示す偏光情報に対応する物体情報を記憶部６１から抽出し、抽出された物体情報の中からカメラ部５１により取得されたハイパースペクトルデータに対応する物体情報を抽出する抽出部６３（例えば、データ入出力部２０２）とを含み、表示装置７０（例えば、表示装置７００）は、抽出された物体情報を表示する。

そのような構成により、物体同定システムは、ハイパースペクトルデータを用いて物体を短時間で同定できる。

また、物体同定装置６０は、物体情報に含まれる偏光情報を用いて偏光フィルタ４０を制御する制御部（例えば、偏光角度制御部２０１）を含んでもよい。

そのような構成により、物体同定装置は、対象の物体を効率よく同定できる。

本発明は、防衛分野における草や雪に偽装した車両や人物の検知および識別の用途、フェイスマスクをかぶって変装した人物の検知の用途に好適に適用可能である。また、本発明は、洋上に遭難した人物や洋上の浮き輪の抽出などの洋上浮遊物の検知および識別の用途、災害時などの目視で人物を発見することが困難な状況での人物の探知および識別の用途に好適に適用可能である。また、本発明は、偽装された食品の識別や、食品中の異物の検知の用途に好適に適用可能である。

１０、２０、６０、２００ 物体同定装置
１１、２１、６１ 記憶部
１２、２３、６３ 抽出部
６２ 角度検知部
２２、５１ カメラ部
３０、１００〜１０１ 物体同定システム
４０、４００ 偏光フィルタ
５０、５０３ カメラ
７０、７００ 表示装置
２０１ 偏光角度制御部
２０２ データ入出力部
２０３ カメラ制御部
２０４ 偏光情報付スペクトルライブラリ
２０５ ミラー制御部
２１１ ＣＰＵ
２１２ 主記憶部
２１３ 通信部
２１４ 補助記憶部
２１５ 入力部
２１６ 出力部
２１７ システムバス
３００ 偏光フィルタ回転装置
３０１ 角度検知装置
５００ ハイパースペクトルカメラ
５０１ レンズ
５０２ 分光器
５０４ 受光センサ
６００ スキャンミラー

Claims (10)

1. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータを取得した画像センサが受光した前記所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、
   同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する前記物体情報を前記記憶部から抽出し、抽出された前記物体情報の中から取得された前記ハイパースペクトルデータに対応する前記物体情報を抽出する抽出部とを備える
   ことを特徴とする物体同定装置。
2. ハイパースペクトルデータを取得する画像センサが受光する同定対象の物体からの光が前記画像センサに受光される前に入射する偏光フィルタを、物体情報に含まれる偏光情報を用いて制御する制御部を備える
   請求項１記載の物体同定装置。
3. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータ取得時に取得された偏光情報とを含む物体情報を記憶部に保存するデータ保存部を備える
   請求項１または請求項２記載の物体同定装置。
4. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータを取得した画像センサが受光した前記所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、
   同定対象の物体からの光に基づいて、前記同定対象の物体のハイパースペクトルデータを取得するカメラ部と、
   前記同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する前記物体情報を前記記憶部から抽出し、抽出された前記物体情報の中から前記カメラ部により取得された前記ハイパースペクトルデータに対応する前記物体情報を抽出する抽出部とを備える
   ことを特徴とする物体同定装置。
5. カメラ部が受光する同定対象の物体からの光が前記カメラ部に受光される前に入射する偏光フィルタを、物体情報に含まれる偏光情報を用いて制御する制御部を備える
   請求項４記載の物体同定装置。
6. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータ取得時に取得された偏光情報とを含む物体情報を記憶部に保存するデータ保存部を備える
   請求項４または請求項５記載の物体同定装置。
7. 同定対象の物体が反射した反射光が入射する偏光フィルタと、カメラと、物体同定装置と、表示装置とを含む物体同定システムであって、
   前記カメラは、
   前記偏光フィルタを透過した光に基づいて、前記同定対象の物体のハイパースペクトルデータを取得するカメラ部を含み、
   前記物体同定装置は、
   所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータを取得した画像センサが受光した前記所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部と、
   前記偏光フィルタの回転角度を検知する角度検知部と、
   検知された回転角度に対応する偏光方向を示す前記偏光情報に対応する前記物体情報を前記記憶部から抽出し、抽出された前記物体情報の中から前記カメラ部により取得された前記ハイパースペクトルデータに対応する前記物体情報を抽出する抽出部とを含み、
   前記表示装置は、
   抽出された前記物体情報を表示する
   ことを特徴とする物体同定システム。
8. 物体同定装置は、物体情報に含まれる偏光情報を用いて偏光フィルタを制御する制御部を含む
   請求項７記載の物体同定システム。
9. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータを取得した画像センサが受光した前記所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部を備える物体同定装置において実行される物体同定方法であって、
   同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する前記物体情報を前記記憶部から抽出し、
   抽出された前記物体情報の中から取得された前記ハイパースペクトルデータに対応する前記物体情報を抽出する
   ことを特徴とする物体同定方法。
10. 所定の物体に対応するハイパースペクトルデータと、前記ハイパースペクトルデータを取得した画像センサが受光した前記所定の物体からの光の偏光方向を示す偏光情報とを含む物体情報を記憶する記憶部を備えるコンピュータにおいて実行される物体同定プログラムであって、
    前記コンピュータに、
    同定対象の物体のハイパースペクトルデータ取得時に取得された偏光情報に対応する前記物体情報を前記記憶部から抽出する第１抽出処理、および
    抽出された前記物体情報の中から取得された前記ハイパースペクトルデータに対応する前記物体情報を抽出する第２抽出処理
    を実行させるための物体同定プログラム。

Images