JP5135882B2 - 物体識別装置及びプログラム - Google Patents

Description

本発明は、物体識別装置及びプログラムに係り、特に、検出対象領域に存在する物体の材質や状態を識別する物体識別装置及びプログラムに関する。

従来より、被写体からの赤外線放射エネルギーを複数の波長帯域範囲の光学フィルタを介して多色赤外線撮像装置のセンサに入射させ、予め記憶手段に格納させた複数の物質の放射率値を基に被写体の真温度Ｔ０及び背景温度Ｔａを求めて、複数物質の材質或いはその状態を判別する多色赤外線撮像装置が知られている（特許文献１）。この多色赤外線撮像装置では、赤外光波長領域の分光反射特性を利用することで、物体の材質や状態を識別している。

また、遠赤外画像と可視画像とからそれぞれの画像の特徴量を算出し、特徴量の多次元空間をクラスタリングによっていくつかのクラスタに分類することを特徴とし、特徴量空間における特徴量の分布にしたがって領域分割を行い、対象物を抽出する対象物抽出装置が知られている（特許文献２）。この対象物抽出装置では、赤外光波長領域の分光反射特性を利用することで、対象物を抽出している。
特開２００４−１１７３０９ 特開２０００−３０６１９１

しかしながら、上記特許文献１、２の技術では、屋外で撮像する際に、例えば、季節や天候に応じて太陽光の照度が変化し、周囲環境の明るさが時々刻々と変化すると、周囲の明るさによって、物体表面に入射する光量が変化するため、物体の材質や状態を正確に識別することができない、という問題がある。また、例えば、同じ道路面でも、建物の影になっている部分と、太陽光が直接照射している部分とがある場合には、２つの領域での明るさが顕著に異なるため、物体の材質や状態を正確に識別することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、明るさが変化する環境であっても、安定して精度よく物体の材質や状態を識別することができる物体識別装置及びプログラムを提供することを目的とする。

第１の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する。

そして、特徴量変換手段によって、複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、撮像手段から出力された画像の各々の画像特徴量を変換する。そして、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに最も依存する主成分とは異なる主成分、及び特徴量変換手段によって変換された主成分に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。

このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む複数の波長帯の画像の各々の画像特徴量を、明るさに最も依存する主成分とは異なる主成分に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。

第１の発明に係る複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。

上記の赤外光波長領域の少なくとも一部分を含む波長帯は、近赤外光波長領域の少なくとも一部分を含むことができる。これによって、近赤外光波長領域の画像の画素値を用いて識別するため、物体の材質又は状態を精度よく識別することができる。

以上説明したように、本発明の物体識別装置及びプログラムによれば、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、第１の実施の形態に係る物体識別装置１０は、識別対象領域を含む範囲を撮像して、図２（Ａ）に示すような第１波長帯（近赤外光波長領域内の波長帯）の画像を生成する第１の撮像装置１２Ａと、図２（Ｂ）に示すような第１波長帯とは異なる第２波長帯（近赤外光波長領域内の波長帯）の画像を生成する第２の撮像装置１２Ｂと、図２（Ｃ）に示すような第１波長帯及び第２波長帯の各々とは異なる第３波長帯（近赤外光波長領域内の波長帯）の画像を生成する第３の撮像装置１２Ｃと、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃの各々から出力される３枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃは、識別対象領域を含む範囲を撮像し、上記の波長帯のいずれかの画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、後段の処理の簡素化のために、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃの各々は、撮像される画像の光軸と視野角とがそれぞれ一致するように配置されていることが好ましい。

なお、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。

コンピュータ１６は、ＣＰＵ、後述する画像識別処理ルーチンの識別プログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃから出力される濃淡画像である３枚の撮像画像を入力する画像入力部２０と、画像入力部２０によって入力された３枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部２２と、３枚の撮像画像から抽出された３つの画素値を、ＨＳＶ色空間の各特徴量（Ｈ、Ｓ、Ｖの値）に変換する空間変換部２４と、予め取得した学習画像について算出された特徴量Ｈ、Ｓを軸とするＨＳ平面におけるＨ、Ｓの分布状況を物体の材質毎に記憶した分布記憶部２６と、空間変換部２４で変換された特徴量Ｈ、Ｓを、ＨＳ平面上に投影し、分布記憶部２６に記憶された各物体の材質におけるＨ、Ｓの分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部２８と、第１の撮像装置１２Ａによって撮像された撮像画像に、識別部２８による識別結果を重畳させて表示装置１８に表示させる表示制御部３０とを備えている。

画素値抽出部２２は、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃで撮像された３枚の撮像画像（第１波長帯の撮像画像Ｉ_１、第２波長帯の撮像画像Ｉ_２、第３波長帯の撮像画像Ｉ_３）の各々に対して、撮像画像中から識別したい識別対象領域を切り出す。そして、識別対象領域内の各画素の画素値Ｐ_ｉ（Ｉ_１）（ｉ＝１〜Ｎ、Ｎは切り出した識別対象領域内の画素数）に基づいて、画素値Ｐ_１（Ｉ_１）〜Ｐ_Ｎ（Ｉ_１）を平均し、第１波長帯の撮像画像の識別対象領域の画素値として抽出する。また、識別対象領域内の各画素の画素値Ｐ_ｉ（Ｉ_２）に基づいて、画素値Ｐ_１（Ｉ_２）〜Ｐ_Ｎ（Ｉ_２）を平均し、第２波長帯の撮像画像の識別対象領域の画素値として抽出し、また、識別対象領域内の各画素の画素値Ｐ_ｉ（Ｉ_３）に基づいて、画素値Ｐ_１（Ｉ_３）〜Ｐ_Ｎ（Ｉ_３）を平均し、第３波長帯の撮像画像の識別対象領域の画素値として抽出する。

ここで、近赤外光は、照射された物体の分子構造とその運動に依存して特定の波長帯の光が吸収されるという性質を持つ。言い換えると、物体の材質やその状態に応じて近赤外光の反射特性が異なるという性質を持つ。本実施の形態では、各撮像画像として、近赤外光波長領域内の波長帯の画像を用いるため、上述した性質を利用することができ、物体からの近赤外スペクトルを分析することによって、光が照射された物体の材質や状態を精度よく識別することができる。

空間変換部２４は、３枚の撮像画像の各々から抽出された識別対象領域の画素値を１組とし、１組の画素値を、図３に示すようなＨＳＶ色空間の各特徴量へ変換する。例えば、３枚の撮像画像Ｉ_１、Ｉ_２、Ｉ_３の各々の識別対象領域Ｐの平均化された画素値をｐ_１、ｐ_２、ｐ_３とした場合、（ｐ_１, ｐ_２, ｐ_３）の３成分をＲＧＢの各濃度値に見立てて、以下の（１）式によって、ＨＳＶ色空間の特徴量Ｖ（Ｖａｌｕｅ、輝度）、Ｈ（Ｈｕｅ、色相）、Ｓ（Ｓａｔｕｒａｔｉｏｎ、彩度）を計算する。

ここで、ＭＡＸ、ＭＩＮは、それぞれＲＧＢの各値の中における最大値、最小値である。

上記図３に示すように、ＨＳＶ色空間において、Ｖの座標軸は、Ｈ、Ｓの座標軸と直交するため、ＨとＳとは、明るさに依存しない特徴量である。従って、ＨＳ平面上でのＨ、Ｓの分布状況を利用すれば、明るさの変化による影響を受けずに、物体の材質を識別することが可能である。

分布記憶部２６には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出されたＨ、Ｓの値と学習画像が表わす物体の材質とに基づいて求められる物体の材質毎の特徴量Ｈ、Ｓの分布状況が記憶されている。例えば、上記図２に示すような近赤外領域の３波長帯の３枚の撮像画像を複数組用意して学習画像として利用した場合の、ＨＳ平面上での物体の材質（綿（服）、アスファルト（路面）、芝生、空、雲）に対するＨ、Ｓの分布状況を図４に示す。なお、上記図４の分布状況では、ｘ軸（正方向）からの角度（反時計回りの角度）がＨの値を表わし、原点からの距離がＳの値を表わしている。また、分布記憶部２６には、物体の材質の各々について、ＨＳ平面における分布状況として分布領域の中心位置と分散とを表わすパラメータが記憶されている。なお、Ｈ、Ｓの値の分布領域の境界が、直線や曲線で表わされる場合には、境界を表わす直線や曲線のパラメータを分布記憶部２６に記憶するようにしてもよい。

識別部２８は、分布記憶部２６に記憶された物体の材質の各々に対する特徴量Ｈ、Ｓの分布状況と、空間変換部２４で変換されたＨ、Ｓの値とをＨＳ平面上で照合して、変換されたＨ、Ｓの値が、どの物体の材質に対する分布状況に該当するかを判定することにより、識別対象領域に存在する物体の材質を識別する。

次に、第１の実施の形態に係る物体識別装置１０の作用について説明する。

まず、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃが、検出対象領域を含む範囲に向けられ、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃの各々によって検出対象領域を含む範囲の画像が撮像されると、コンピュータ１６において、図５に示す画像識別処理ルーチンが実行される。

まず、ステップ１００において、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃの各々から、３枚の撮像画像を取得し、ステップ１０２において、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃから取得した３枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ１０４において、上記ステップ１０２で抽出された画素値を、ＨＳＶ色空間の特徴量Ｈ、Ｓ、Ｖに変換し、次のステップ１０６において、物体の材質の各々に対する特徴量Ｈ、Ｓの分布状況を分布記憶部２６から読み込み、各材質のＨ、Ｓの分布状況と、上記ステップ１０４で変換された特徴量Ｈ、Ｓとを照合して、識別対象領域に存在する物体の材質を識別する。ＨＳ平面上で、変換された特徴量Ｈ、Ｓを表わす点を含む分布領域を持つ分布状況が、分布記憶部２６に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、特徴量Ｈ、Ｓが表わす点を含む分布領域を持つ分布状況が、分布記憶部２６に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。

そして、ステップ１１０において、図６に示すように、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置１８に表示された第１の撮像装置１２Ａから出力された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置１８に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ１０２〜ステップ１１０を実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置１８に表示させる。

以上説明したように、第１の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる３つの波長帯の撮像画像の各々の画素値を、ＨＳＶ色空間の明るさに依存しない特徴量Ｈ、Ｓに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。

また、近赤外光波長領域内の波長帯の撮像画像の画素値を用いて識別するため、物体の材質を精度よく識別することができる。

また、３つの波長帯の各々の撮像画像の画素値を、明るさと色情報とを分離して表現できるＨＳＶ色空間に変換し、明るさに関係しない特徴量Ｈ、Ｓを軸とするＨＳ平面上での分布状況から、物体の材質を識別するため、環境光の変化に対して影響を受けにくい。

また、ＨＳ平面上における材質毎の分布状況は、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。

また、特別な正規化処理（明るさ補正や基準物体の撮像など）を必要せずに、周囲環境の明るさの変化にロバストな物体の材質の識別を行うことができるため、周囲の明るさ、すなわち、物体表面に入射する光量が変化する場合であっても、安定して物体の材質を識別することができる。

なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の状態を識別するようにしてもよい。例えば、物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた特徴量Ｈ、Ｓの分布状況を予め記憶しておき、撮像画像から得られたＨ、Ｓの値と、記憶されているＨ、Ｓの分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。

また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される特徴量Ｈ、Ｓを、ＨＳ平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎のＨ、Ｓの分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る物体識別装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第２の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第１の実施の形態と異なっている。

第２の実施の形態に係る物体識別装置１０の空間変換部２４では、３枚の撮像画像の各々から抽出された識別対象領域の３つの画素値を１組とし、１組の画素値を、ＨＳＶ色空間の各特徴量へ変換すると共に、１組の画素値をＹＩＱ色空間の各特徴量へ変換し、また、１組の画素値をＣＩＥ ＬＡＢ色空間の各特徴量へ変換する。

例えば、３枚の撮像画像の各々の識別対象領域の平均化された画素値の３成分を、ＲＧＢの各濃度値に見立てて、ＨＳＶ色空間の特徴量Ｈ、Ｓ、Ｖ、ＹＩＱ色空間の特徴量Ｙ、Ｉ、Ｑ、及びＣＩＥ ＬＡＢ色空間の特徴量Ｌ^＊、ａ^＊、ｂ^＊を計算する。ここで、ＨＳＶ色空間の特徴量Ｈ、Ｓ、ＹＩＱ色空間の特徴量Ｉ、Ｑ、及びＣＩＥ ＬＡＢ色空間の特徴量ａ^＊、ｂ^＊は、明るさに依存しない特徴量である。

分布記憶部２６には、予め取得した複数の学習画像の各々について算出されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の分布状況が記憶されている。

識別部２８は、分布記憶部２６に記憶された物体の材質の各々に対する特徴量Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の分布状況と、空間変換部２４で変換されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値とを、Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の各々を軸とする多次元空間で照合して、変換されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。

このように、３つの波長帯の撮像画像の画素値を、ＨＳＶ色空間、ＹＩＱ色空間、及びＣＩＥ ＬＡＢ色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。

なお、上記の実施の形態では、ＨＳＶ色空間、ＹＩＱ色空間、及びＣＩＥ ＬＡＢ色空間を用いた場合を例に説明したが、これに限定されるものではなく、他の色空間を用いてもよい。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、複数の撮像装置から取得した複数の撮像画像から、３枚の撮像画像を選択し、選択された３枚の撮像画像を用いて、識別対象領域に存在する物体の材質を識別している点が第１の実施の形態と異なっている。

図７に示すように、第３の実施の形態に係る物体識別装置２１０は、識別対象領域を含む範囲を撮像して、近赤外光波長領域内の第１波長帯の画像を生成する第１の撮像装置１２Ａと、第１波長帯とは異なる近赤外光波長領域内の第２波長帯の画像を生成する第２の撮像装置１２Ｂと、第１波長帯及び第２波長帯の各々とは異なる近赤外光波長領域内の第３波長帯の画像を生成する第３の撮像装置１２Ｃと、第１波長帯〜第３波長帯の各々とは異なる近赤外光波長領域内の第４波長帯の画像を生成する第４の撮像装置１２Ｄと、第１の撮像装置１２Ａ〜第４の撮像装置１２Ｄの各々から出力される４枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ２１６と、表示装置１８とを備えている。

なお、第１の撮像装置１２Ａ〜第４の撮像装置１２Ｄの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。

コンピュータ２１６は、第１の撮像装置１２Ａ〜第４の撮像装置１２Ｄから出力される濃淡画像である４枚の撮像画像を入力する画像入力部２２０と、画像入力部２２０によって入力された４枚の撮像画像から、３枚の撮像画像を選択する画像選択部２２１と、画像選択部２２１で選択された３枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部２２と、空間変換部２４と、分布記憶部２６と、識別部２８と、表示制御部３０とを備えている。

画像選択部２２１で選択される３枚の撮像画像の組み合わせは、予め定めておく。例えば、学習段階で、全ての組み合わせについて生成される特徴空間内での識別対象の分布状況を調査して、分離しやすい特徴空間を生成できる３枚の撮像画像の組み合わせを予め定めておく。３枚の撮像画像の選択のしかたによって、特徴量を増やすことができ、識別性能を向上させることができる。

次に第３の実施の形態に係る画像識別処理ルーチンの内容について図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ２５０において、第１の撮像装置１２Ａ〜第４の撮像装置１２Ｄの各々から、４枚の撮像画像を取得し、ステップ２５２において、上記ステップ２５０で取得された４枚の撮像画像から、予め定められた組み合わせの３枚の撮像画像を選択する。

そして、ステップ２５４において、上記ステップ２５２で選択された３枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ１０４において、上記ステップ２５４で抽出された画素値を、ＨＳＶ色空間の特徴量Ｈ、Ｓ、Ｖに変換し、次のステップ１０６において、各材質のＨ、Ｓの分布状況と、上記ステップ１０４で変換された特徴量Ｈ、Ｓとを照合して、識別対象領域に存在する物体の材質を識別する。

そして、ステップ１１０において、識別結果を表示装置１８に表示させて、画像識別処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる４つの波長帯の撮像画像から３つの撮像画像を選択し、選択された画像の各々の画素値を、ＨＳＶ色空間の明るさに依存しない特徴量Ｈ、Ｓに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。

なお、上記の実施の形態では、４つの撮像装置から、異なる４つの波長帯の撮像画像を取得する場合を例に説明したが、これに限定されるものではなく、５つ以上の撮像装置から、異なる５つ以上の波長帯の撮像画像を取得するようにしてもよい。この場合には、取得した５つ以上の波長帯の撮像画像から、３つの撮像画像を選択し、選択された３つの撮像画像を用いて、識別対象領域に存在する物体の材質を識別すればよい。

また、予め定められた組み合わせの３枚の撮像画像を選択する場合を例に説明したが、識別対象毎に３枚の撮像画像の組み合わせを変えてもよい。例えば、識別対象であるアスファルトに対して、４枚の撮像画像Ａ、Ｂ、Ｃ、Ｄから３枚の撮像画像Ａ、Ｂ、Ｃを選択するように、組み合わせを予め定めておき、また、識別対象である芝生に対して、３枚の撮像画像Ｂ、Ｃ、Ｄを選択するように、組み合わせを予め定めて、識別対象毎に撮像画像の組み合わせを変えるようにしてもよい。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る物体識別装置の構成は、第３の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第４の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第３の実施の形態と異なっている。

第４の実施の形態に係る物体識別装置２１０の空間変換部２４では、選択された３枚の撮像画像の各々から抽出された識別対象領域の３つの画素値を１組とし、１組の画素値を、ＨＳＶ色空間の各特徴量へ変換すると共に、１組の画素値をＹＩＱ色空間の各特徴量へ変換し、また、１組の画素値をＣＩＥ ＬＡＢ色空間の各特徴量へ変換する。

分布記憶部２６には、予め取得した複数の学習画像の各々について算出されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の分布状況が記憶されている。

識別部２８は、分布記憶部２６に記憶された物体の材質の各々に対する特徴量Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の分布状況と、空間変換部２４で変換されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値とを、Ｈ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の各々を軸とする多次元空間で照合して、変換されたＨ、Ｓ、Ｉ、Ｑ、ａ^＊、ｂ^＊の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。

このように、選択された３つの波長帯の撮像画像の画素値を、ＨＳＶ色空間、ＹＩＱ色空間、及びＣＩＥ ＬＡＢ色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。

次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第５の実施の形態では、識別対象領域の画素値を主成分分析によって得られる主成分に変換し、変換された主成分の値に基づいて、物体の材質を識別している点が第１の実施の形態と異なっている。

図９に示すように、第５の実施の形態に係る物体識別装置３１０のコンピュータ３１６は、画像入力部２０と、画像入力部２０によって入力された３枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部３２２と、主成分分析によって得られる複数の主成分の各々に変換するための変換式が記憶された主成分分析記憶部３２３と、主成分分析記憶部３２３に記憶された変換式を用いて、３枚の撮像画像の各々から抽出された画素値を、主成分分析によって得られる複数の主成分に変換する主成分変換部３２４と、予め用意した学習画像について予め算出された複数の主成分の分布状況を、物体の材質毎に記憶した分布記憶部３２６と、主成分変換部３２４で変換された各主成分を、分布記憶部３２６に記憶された各物体の材質における複数の主成分の分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部３２８と、表示制御部３０とを備えている。

また、予め様々な照明条件で撮像した学習画像を各波長帯（近赤外光波長領域内の第１波長帯、第２波長帯、第３波長帯）について用意し、用意された複数の学習画像の識別対象が撮像された領域の画素値を主成分分析して、明るさの影響が少ない主成分を選択し、画素値から選択された主成分に変換するための変換式を求め、求められた変換式が主成分分析記憶部３２３に記憶されている。

ここで、主成分分析について説明する。主成分分析は、多変量データを統合して新たな総合指標を作り出すための手法であり、多くの変数に重み（ウェイト）をつけて少数の合成変数を作る手法である。また、重みの計算では、固有値展開を利用し、合成変数ができるだけ多く元の変数の情報量を含むようにする。

次に、明るさの影響が少ない主成分を選択するための方法を以下に説明する。まず、撮影時間や場所などを様々に変えて、様々な照明条件で撮像画像を、各波長帯を利用して撮像し、これらの撮像画像の各々から画素値を抽出して、抽出された画素値をサンプリングデータとする。そして、サンプリングデータから相関行列（例えば、Ｎ×ＮもしくはＭ×Ｍの相関行列（Ｍ≧Ｎ））を計算し、相関行列を固有値展開して、固有値と固有ベクトルとを算出する。そして、固有値が大きい順に固有ベクトルを並べ、大きい固有値に対応する固有ベクトルから順に、第１主成分、第２主成分、・・・、第Ｎ主成分とする。

ここで、サンプリングデータは、様々な照明条件で撮像された撮像画像の画素値であるため、明るさの変化がサンプリングデータの変化に最も大きく影響する要因であり、明るさ変動に依存する主成分は、固有値の値が最も大きい第１主成分となる。一方、第１主成分以外の主成分は明るさ変動の影響が少ない主成分となる。従って、複数の主成分のうち、第２主成分〜第Ｎ主成分を選択し、第２主成分〜第Ｎ主成分の各々に変換するための変換式を予め求め、主成分分析記憶部３２３に記憶する。以下では、３波長帯の画像を利用して第２主成分及び第３主成分が選択され、変換式によって第２主成分及び第３主成分の各々に変換する場合を例に説明する。

主成分変換部３２４は、主成分分析記憶部３２３に記憶された変換式を用いて、複数の撮像画像の各々から抽出された識別対象領域の画素値を、第２主成分及び第３主成分に変換する。

分布記憶部３２６には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出された第２主成分、第３主成分の値と、学習画像が表わす物体の材質とに基づいて求められる材質毎の第２主成分及び第３主成分の分布状況が記憶されている。例えば、近赤外領域の３波長帯の３枚の撮像画像を複数組用意して学習画像として利用した場合の、第２主成分及び第３主成分の各々を軸とする平面上での物体の材質（綿（服）、アスファルト（路面）、芝生、空、雲）の各々に対する第２主成分及び第３主成分の分布状況を図１０に示す。なお、図１０の分布状況では、ｘ軸が第２主成分を表わし、ｙ軸が第３主成分を表わしている。

識別部３２８は、分布記憶部３２６に記憶された物体の材質の各々に対する第２主成分及び第３主成分の分布状況と、主成分変換部３２４で変換された第２主成分及び第３主成分の値とを、第２主成分及び第３主成分の各々を軸とする平面上で照合して、どの物体の材質に対する分布状況が、変換された第２主成分及び第３主成分の値が表わす点を含む分布領域を持つかを判定することにより、識別対象領域に存在する物体の材質を識別する。

次に、第５の実施の形態に係る画像識別処理ルーチンについて図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃから３枚の撮像画像を取得し、ステップ３５０において、第１の撮像装置１２Ａ〜第３の撮像装置１２Ｃから取得された３枚の撮像画像の各々から、識別対象領域内の各画素の画素値の平均値を、識別対象領域の画素値として各々抽出する。そして、ステップ３５２において、主成分分析記憶部３２３から第２主成分に変換するための変換式及び第３主成分に変換するための変換式を読み込み、これらの変換式を用いて、上記ステップ３５０で抽出された３つの画素値を、第２主成分及び第３主成分の各々に変換し、次のステップ３５４において、物体の材質の各々に対する第２主成分及び第３主成分の分布状況を分布記憶部３２６から読み込み、各材質の第２主成分及び第３主成分の分布状況と、上記ステップ３５２で変換された第２主成分及び第３主成分とを照合して、識別対象領域に存在する物体の材質を識別する。第２主成分及び第３主成分の各々を軸とする平面上において、変換された第２主成分及び第３主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部３２６に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、一方、変換された第２主成分及び第３主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部３２６に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。

そして、ステップ１１０において、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置１８に表示された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置１８に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ３５０〜ステップ３５４とステップ１１０とを実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置１８に表示させる。

このように、近赤外光波長領域内の異なる３つの波長帯の撮像画像の各々の画素値を、明るさに最も依存する第１主成分とは異なる第２主成分、第３主成分に変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を少なくして、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。

また、第２主成分及び第３主成分の各々を軸とする平面上における材質毎の第２主成分及び第３主成分の分布状況を、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。

また、明るさの影響を受けにくい第２主成分、第３主成分を軸とする特徴空間を利用できるため、環境光の変化に対して、識別結果が影響を受けにくい。

なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた第２主成分、第３主成分の分布状況を予め記憶しておき、撮像画像から得られた第２主成分、第３主成分の値と、記憶されている第２主成分、第３主成分の分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。

また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される第２主成分、第３主成分を、第２主成分及び第３主成分の各々を軸とする平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎の第２主成分、第３主成分の分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。

また、上記の第１の実施の形態〜第５の実施の形態では、３つ又は４つすべての波長帯が、近赤外光波長領域内に含まれている場合を例に説明したが、これに限定されるものではなく、３つ又は４つの波長帯が、可視光波長領域〜赤外光波長領域の範囲に含まれており、かつ、１つの波長帯又は２つの波長帯が、赤外光波長領域の少なくとも一部を含んでいればよい。

また、上記の第１の実施の形態〜第５の実施の形態では、３つ又は４つの波長帯の各々の画像を撮像するために３つ又は４つの撮像装置を備えた場合を例に説明したが、これに限定されるものではなく、１つの撮像装置によって、異なる３つ又は４つの波長帯の画像を各々出力するように構成してもよい。この場合には、例えば、撮像画像の各画素について、３つ又は４つの波長帯の各々に対応するバンドパスフィルタを設けて、各波長帯の画像が出力されるように構成すればよい。

また、上記の第５の実施の形態では、撮像画像の画像特徴量として、画素値を用いた場合を例に説明したが、これに限定されるものではなく、例えば、画素値を正規化して反射率に変換した値を、撮像画像の画像特徴量として用いてもよい。この場合には、学習画像の反射率を主成分分析して、第２主成分及び第３主成分を選択し、第２主成分及び第３主成分に変換するための変換式を予め求めておき、変換式によって、３つの波長帯の撮像画像の反射率を第２主成分、第３主成分に変換する。そして、学習画像の反射率から算出された材質毎の第２主成分及び第３主成分の分布状況と、変換された第２主成分及び第３主成分とを照合して、識別対象領域に存在する物体の材質を識別すればよい。

本発明の第１の実施の形態に係る物体識別装置を示すブロック図である。 （Ａ）第１波長帯の撮像画像を示すイメージ図、（Ｂ）第２波長帯の撮像画像を示すイメージ図、及び（Ｃ）第３波長帯の撮像画像を示すイメージ図である。 ＨＳＶ色空間を示すイメージ図である。 物体の材質毎の特徴量Ｈ、Ｓの分布状況を示すグラフである。 本発明の第１の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。 識別結果を重畳させて表示される撮像画像を示すイメージ図である。 本発明の第３の実施の形態に係る物体識別装置を示すブロック図である。 本発明の第３の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。 本発明の第５の実施の形態に係る物体識別装置を示すブロック図である。 物体の材質毎の第２主成分、第３主成分の分布状況を示すグラフである。 本発明の第５の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、２１０、３１０ 物体識別装置
１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ 撮像装置
１６、２１６、３１６ コンピュータ
１８ 表示装置
２０、２２０ 画像入力部
２２、３２２ 画素値抽出部
２４ 空間変換部
２６、３２６ 分布記憶部
２８、３２８ 識別部
３０ 表示制御部
２２１ 画像選択部
３２３ 主成分分析記憶部
３２４ 主成分変換部

Claims (4)

1. 識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、
   前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、
   予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
   を含む物体識別装置。
2. 前記複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項１記載の物体識別装置。
3. 前記赤外光波長領域の少なくとも一部分を含む波長帯は、前記近赤外光波長領域の少なくとも一部分を含む請求項１又は２記載の物体識別装置。
4. コンピュータを、
   識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び
   予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
   として機能させるためのプログラム。