JP5753218B2 - 客体の材質認識装置及びその方法 - Google Patents

Description

本発明は、カメラの客体に係わる新たな情報を提供する技術に係り、さらに詳細には、ユーザが撮影した映像に含まれた客体の材質情報を提供する材質認識技術に関する。

最近、二次元映像をキャプチャする一般的なカメラより進歩した多様な形態のカメラが開発されている。三次元情報をキャプチャしてこれをゲームに適用したり、あるいは映像をキャプチャした後、焦点が異なる映像を生成するような技術が存在する。また、ＩＴ（Information Technology）技術トレンド中の一つは、Microsoft社のPhoto Tourism、GoogleのSketchUp、Google Earthのような実世界（real word）をデジタルデータに変換し、現実感あるように示すミラーワールド（mirror world）または仮想現実（virtual reality）を生成する技術である。現在実世界と類似して、三次元で高解像度のミラーワールドを生成するために、人工衛星カメラ、depth or range camera、camera arrayのような多様なカメラシステムに活用されている。

しかし、このようなカメラで得ることができる情報は、客体から反射した光の二次元及び三次元の強度（intensity）及び色相情報、またはこれをゲームに適用したり、他の映像で生成するほどの技術に過ぎず、撮影された映像の客体に係わる物性（密度、誘電率など）、材質、厚さの情報などを知ることができない。

韓国特許公開公報１０−２０１０−００１３２１９（２０１０年２月９日公開）

本発明が解決しようとする課題は、一般的なカメラと探査レーダ装置とを使用して得られた情報を分析し、カメラで撮った映像内にある客体に係わる物性、材質、厚さの情報などを抽出可能にする客体の材質認識装置及びその方法である。

前記課題を解決するための本発明による客体の材質認識装置は、空間上に存在する多様な客体を含む空間映像を撮影する映像カメラ部と、前記客体に入射波を照射し、前記客体の表面それぞれの表面反射波、及び前記客体の内部から戻るそれぞれの内部反射波を含む空間レーダ情報を受信する探査レーダ部と、前記客体の材質に対応するそれぞれの基準物性情報を保存する情報保存部と、前記情報保存部の前記基準物性情報、前記映像カメラ部で提供された前記空間映像、及び前記探査レーダ部で提供された前記空間レーダ情報を利用し、前記客体それぞれの材質情報を認識する材質認識処理部と、を含むことを特徴とする。

前記入射波は、電磁波及び音波のうちいずれか一つに該当することを特徴とする。

前記客体の材質認識装置は、前記空間映像と前記空間レーダ情報との間で互いに対応する空間上領域をマッチングさせるマッチング処理部をさらに含むことを特徴とする。

前記客体の材質認識装置は、前記空間映像から、前記客体において特定客体の領域を設定する客体設定部をさらに含むことを特徴とする。

前記材質認識処理部は、前記空間映像から、前記客体の外形、色相、明るさ及び反射度を含む前記材質情報をそれぞれ検出することを特徴とする。

前記材質認識処理部は、前記入射波に対する前記表面反射波の第１遅延時間から、前記客体までの距離情報をそれぞれ算出することを特徴とする。

前記材質認識処理部は、前記表面反射波と前記内部反射波との間の第２遅延時間から、前記客体の厚み情報をそれぞれ算出することを特徴とする。

前記材質認識処理部は、前記入射波と前記表面反射波との間の振幅並びに極性の変化から、前記客体の物性情報を検出し、前記検出された物性情報と前記基準物性情報とを比較し、前記客体の前記材質情報をそれぞれ認識することを特徴とする。

前記課題を解決するための本発明による客体の材質認識方法は、映像カメラ部が空間上に存在する多様な客体を含む空間映像を撮影し、探査レーダ部が前記客体に入射波を照射し、前記客体の表面それぞれの表面反射波、及び前記客体の内部から戻るそれぞれの内部反射波を含む空間レーダ情報を受信する段階と、前記客体の材質に対応するそれぞれの基準物性情報、前記映像カメラ部で提供された前記空間映像、及び前記探査レーダ部で提供された前記空間レーダ情報を利用し、材質認識処理部が前記客体それぞれの材質情報を認識する段階と、を含むことを特徴とする。

前記客体の材質認識方法は、前記空間映像の撮影、及び前記空間レーダ情報受信の後、マッチング処理部が前記空間映像と前記空間レーダ情報との間で互いに対応する空間上領域をマッチングさせる段階をさらに含むことを特徴とする。

前記客体の材質認識方法は、前記空間映像の撮影、及び前記空間レーダ情報受信の後、客体設定部が前記空間映像から、前記客体において特定客体の領域を設定する段階をさらに含むことを特徴とする。

前記客体それぞれの材質情報を認識する段階は、前記空間映像から、前記客体の外形、色相、明るさ及び反射度を含む前記材質情報をそれぞれ検出することを特徴とする。

前記客体それぞれの材質情報を認識する段階は、前記入射波に対する前記表面反射波の第１遅延時間から、前記客体までの距離情報をそれぞれ算出することを特徴とする。

前記客体それぞれの材質情報を認識する段階は、前記表面反射波と前記内部反射波との間の第２遅延時間から、前記客体の厚み情報をそれぞれ算出することを特徴とする。

前記客体それぞれの材質情報を認識する段階は、前記入射波と前記表面反射波との間の振幅並びに極性の変化から、前記客体の物性情報を検出し、前記検出された物性情報と前記基準物性情報とを比較し、前記客体それぞれの前記材質情報を認識することを特徴とする。

本発明によれば、カメラで撮った映像内にある物体に係わる物性、材質、厚みの情報を共に得ることができる。従って、客体に係わる材質情報を獲得することにより、このような情報はミラーワールドまたはバーチャル現実感空間内で、ユーザのアバターが一層生動感あるインタラクションを行うのに必須なものとして使用される。例えば、ミラーワールドで、アバターが物体に力を加えるとき、変形される程度を写実的に描くためには、このような材質、物性、厚みの情報を知ってこそ可能であるが、本発明によって、材質情報を利用すれば、このようなリアルな描写が可能である。

本発明による客体の材質認識装置を説明するための一実施形態のブロック図である。 映像カメラ部及び探査レーダ部を使用して、客体に係わる情報を得ることを説明するための参照図である。 客体に入射波を照射した後、客体から表面反射波及び内部反射波を受信するところを説明するための一例の参照図である。 客体に入射波を照射した後、客体から表面反射波及び内部反射波を受信するところを説明するための他の一例の参照図である。 空間映像と空間レーダ情報とが不一致であるということを説明するための一例の参照図である。 図２に図示された空間映像で、「大理石」に該当する特定客体の領域を設定した一例の参照図である。 本発明による客体の材質認識方法を説明するための一実施形態のフローチャートである。

以下、本発明による客体の材質認識装置について、添付された図面を参照して、詳細に説明する。

図１は、本発明による客体の材質認識装置を説明するためのブロック図であり、映像カメラ部１００、探査レーダ部１１０、マッチング処理部１２０、客体設定部１３０、情報保存部１４０及び材質認識処理部１５０を含む。一方、図２は、映像カメラ部１００及び探査レーダ部１１０を使用して、客体に係わる情報を得るところを説明するための例示的な参照図である。

映像カメラ部１００は、空間上に存在する多様な客体を含む空間映像を撮影する。図２に図示されているように、映像カメラ部１００は、プラスチック、ゴム、コンクリート、大理石、木、ガラスなどの多様な客体が存在する空間に係わる映像を撮影する。映像カメラ部１００の機能は、従来の一般的なカメラに該当するので、詳細な説明は省略する。

探査レーダ部１１０は、客体に入射波を照射し、客体の表面それぞれの表面反射波、及び前記客体の内部から戻る内部反射波を含む空間レーダ情報を受信する。探査レーダ部１１０は、入射波として電磁波、音波などを客体に照射し、電磁波または音波を照射するための送信機及びアンテナを具備し、また反射する波を受信するための受信機及びアンテナを具備している。

図３は、客体に入射波を照射した後、客体から表面反射波及び内部反射波を受信するところを説明するための一例の参照図である。図３は、客体が背景媒質より物性が高い場合の、探査レーダ部１１０の動作原理を示している。例えば、背景媒質が空気（大気）に該当し、客体が大理石、木、ゴムなどに該当する場合である。

（１）探査レーダ部１１０の送信機１１２で発生した入射波パルス信号を送信アンテナを介して客体方向に入射させれば、高い物性の客体は、入射波に比べて振幅が低下し、同一の位相を有する表面反射波を探査レーダ部１１０に反射させる。すなわち、このときの表面反射波は、入射波極性である正（＋）極性と同一の正（＋）極性を有する反射波に該当し、同一位相を有する表面反射波が探査レーダ部１１０に反射される。

（２）また、入射波のうち、客体内部に侵透した波は、客体内部で反射するが、このとき、客体内部で反射した内部反射波は、入射波の極性と反対である負（−）極性を有する反射波に変換されて探査レーダ部１１０に反射される。

これによって、客体が背景媒質より物性が高い場合に、探査レーダ部１１０は、入射波に比べて振幅が小さく、同一の極性を有する表面反射波を受信し、また入射波に比べて振幅が小さく、反対極性を有する内部反射波を受信する。

図４は、客体に入射波を照射した後、客体から表面反射波及び内部反射波を受信するところを説明するための他の一例の参照図である。図４は、客体が背景媒質より物性が低い場合の、探査レーダ部１１０の動作原理を示している。

（１）探査レーダ部１１０の送信機１１２で発生した入射波パルス信号を、送信アンテナを介して、客体方向に入射させれば、低い物性の客体は、入射波に比べて振幅が低下し、反対位相を有する表面反射波を探査レーダ部１１０に反射する。すなわち、このときの表面反射波は、入射波極性である正（＋）極性と反対である負（−）極性を有する反射波に変換されて探査レーダ部１１０に反射される。

（２）また、入射波のうち、客体内部に侵透した波は、客体内部で反射するが、このとき、客体内部で反射した内部反射波は、再び表面反射波とは反対に、正（＋）極性を有する反射波に変換されて探査レーダ部１１０に反射される。

これによって、客体が背景媒質より物性が低い場合、探査レーダ部１１０は、入射波に比べて振幅が小さく、反対極性を有する表面反射波を受信し、また入射波に比べて振幅が小さく、同一の極性を有する内部反射波を受信する。

マッチング処理部１２０は、映像カメラ部１００で撮影された空間映像と、探査レーダ部１１０で受信された空間レーダ情報との間で、互いに対応する空間上領域をマッチングさせる。映像カメラ部１００と探査レーダ部１１０は、同一の空間上の客体を撮影したり、あるいは入射波を照射して反射する信号を受信するとしても、映像カメラ部１００と探査レーダ部１１０は、機構的に離隔されているので、完全に同一の位置で動作するものではない。従って、映像カメラ部１００で撮影する空間映像の領域と、探査レーダ部１１０で受信する空間レーダ情報の領域とが完全に一致しない。

図５は、空間映像と空間レーダ情報とが不一致であるということを説明するための一例の参照図である。図５に図示されているように、空間映像と空間レーダ情報とが一致する領域は、斜線部分に該当する。従って、マッチング処理部１２０は、空間映像と空間レーダ情報との共通した領域に該当する空間上の座標を互いにマッチングさせることにより、共通した領域に属する客体について、空間映像と空間レーダ情報とが互いに対応関係を維持するようにする。

客体設定部１３０は、空間映像に表示された客体において、特定客体の領域を設定する。特定客体の領域を設定するため、客体設定部１３０は、領域設定のためのブロック形成カーサ、ブロックのサイズ調整カーサ、カーサの移動などを制御する機能を担当する。

図６は、図２に図示された空間映像で、「大理石」に該当する特定客体の領域を設定した一例の参照図である。図６に図示されているように、客体設定部１３０によって、大理石に該当する領域だけが設定され、残りの領域については、ブラック処理がされているということを確認することができる。

情報保存部１４０は、客体の材質に対応するそれぞれの基準物性情報を保存している。次の表１は、客体の材質に対応する基準物性情報に係わるテーブル情報を例示したものである。

表１に記載されているように、各客体別に、電磁波による誘電率（dielectric constant by ＥＭ wave）、表面音波速度（surface acoustic wave velocity（impedance））、音波伝播速度（acoustic wave velocity（ｍ／ｓ））などにそれぞれ差があるということを確認することができる。

ここで、dielectric constant（誘電率または誘電定数）は、電荷間の媒質が電場に及ぼす影響を示す物理的単位を意味する。また、表面音波速度（surface acoustic wave velocity）は、弾性物体の表面に沿って移動する音波の速度を意味する。また、音波伝播速度（acoustic wave velocity）は、音波の進行速度を意味する。

材質認識処理部１５０は、情報保存部１４０の基準物性情報、映像カメラ部１００で提供された客体の空間映像、及び探査レーダ部１１０で提供された空間レーダ情報を利用し、客体それぞれの材質情報を認識する。

材質認識処理部１５０は、映像カメラ部１００で撮影された空間映像から、客体の外形、色相、明るさ及び反射度などを含む材質情報を検出する。撮影された空間映像は、客体に係わるそれぞれの色相情報、明るさ情報、反射度情報などを含んでいる。このような情報は、客体の材質を決定する主な映像情報に該当する。

また、材質認識処理部１５０は、入射波に係わる表面反射波の第１遅延時間から、客体までの距離情報をそれぞれ算出する。例えば、客体設定部１３０によって、大理石が特定客体として設定されたとするなら、材質認識処理部１５０は、探査レーダ部１１０で大理石に入射波を照射した時間を確認し、大理石の表面で反射した表面反射波が、探査レーダ部１１０に到着する時間を算出した後、表面反射波の到着時間から、入射波照射時間を差し引いた時間、すなわち、第１遅延時間を算出する。その後、材質認識処理部１５０は、入射波に係わる速度と第１遅延時間とから、大理石までの距離を算出することができる。

また、材質認識処理部１５０は、表面反射波と内部反射波との間の第２遅延時間から、客体の厚み情報をそれぞれ算出する。例えば、客体設定部１３０によって、大理石が特定客体として設定されたとするなら、探査レーダ部１１０で大理石に入射波を照射した時間を確認し、大理石の内部で反射した内部反射波が、探査レーダ部１１０に到着する時間を算出した後、内部反射波の到着時間から入射波照射時間を差し引いた時間を算出する。材質認識処理部１５０は、内部反射波の差し引き時間から、以前に算出した第１遅延時間を差し引くことにより、表面反射波と内部反射波との間の第２遅延時間を算出する。その後、材質認識処理部１５０は、入射波に係わる速度と第２遅延時間とから、大理石の厚みを算出することができる。

また、材質認識処理部１５０は、入射波と表面反射波との間の振幅並びに極性の変化から、客体の物性情報を検出し、検出された物性情報と基準物性情報とを比較し、客体の材質情報をそれぞれ認識する。図３に図示されているように、探査レーダ部１１０の送信機１１２で発生した入射波を客体方向に入射させれば、高い物性の客体は、入射波に比べて振幅が低下し、同一の位相を有する表面反射波を探査レーダ部１１０に反射する。探査レーダ部１１０が振幅が低下し、同一の位相を有する表面反射波を受信すれば、材質認識処理部１５０は、当該客体の物性情報として、受信された表面反射波の振幅の大きさ及び位相変化に係わる情報を検出することができる。材質認識処理部１５０は、このように検出された当該客体の物性情報と、情報保存部１４０に保存されている客体の材質に対応するそれぞれの基準物性情報とを比較し、当該客体の物性情報と一致する基準物性情報を検出する。これによって、材質認識処理部１５０は、当該客体の物性情報と一致する基準物性情報に対応する客体を検出することにより、当該客体が何であるかを認識する。

本発明による客体の材質認識装置は、客体の一地点での材質情報と厚み情報とを得ることができるので、このような客体の材質認識装置を、水平方向、垂直方向に配列または移動させながら、同一の測定を繰り返せば、客体に係わるさらに正確な材質情報及び厚み情報を知ることができる。

以下、本発明による客体の材質認識方法について、添付された図面を参照して説明する。

図７は、本発明による客体の材質認識方法について説明するための一実施形態のフローチャートである。

映像撮影部１００が、空間上に存在する多様な客体を含む空間映像を撮影し、探査レーダ部１１０が客体に入射波を照射し、客体の表面それぞれの表面反射波、及び客体の内部から戻るそれぞれの内部反射波を含む空間レーダ情報を受信する（第２００段階）。

図２に図示されているように、映像カメラ部１００は、プラスチック、ゴム、コンクリート、大理石、木、ガラスなどの多様な客体が存在する空間に係わる映像を撮影する。

図３に図示されているように、客体の物性が背景媒質より高い場合、探査レーダ部１１０が入射波を客体方向に入射させれば、高い物性の客体は、入射波に比べて振幅が低下し、同一の位相を有する表面反射波を探査レーダ部１１０に反射させ、探査レーダ部１１０は、客体から反射される表面反射波を受信する。また、入射波のうち客体内部に侵透した波は、客体内部で反射するが、このとき、客体内部で反射した内部反射波は、入射波の極性と反対である負（−）極性を有する反射波に変換されて探査レーダ部１１０に反射され、探査レーダ部１１０は、客体内部から反射される内部反射波を受信する。

一方、図４に図示されているように、客体の物性が背景媒質より低い場合、探査レーダ部１１０が入射波を客体方向に入射させれば、低い物性の客体は、入射波に比べて振幅が低下し、反対位相を有する表面反射波を探査レーダ部１１０に反射し、探査レーダ部１１０は、客体から反射する表面反射波を受信する。また、入射波のうち客体内部に侵透した波は、客体内部で反射されるが、このとき、客体内部で反射された内部反射波は、さらに表面反射波とは反対に、正（＋）極性を有する反射波に変換されて探査レーダ部１１０に反射され、探査レーダ部１１０は、客体内部から反射される内部反射波を受信する。

第２００段階後、マッチング処理部１２０が、空間映像と空間レーダ情報との間で互いに対応する空間上領域をマッチングさせる（第２０２段階）。図５に図示されているように、映像カメラ部１００で撮影する空間映像の領域と、探査レーダ部１１０で受信する空間レーダ情報の領域とが完全に一致しないので、マッチング処理部１２０は、空間映像と空間レーダ情報との共通した領域に該当する空間上の座標を互いにマッチングさせることにより、共通した領域に属する客体について、空間映像と空間レーダ情報とが互いに対応関係を維持するようにする。

第２０２段階後、客体設定部１３０が、空間映像から、客体において特定客体の領域を設定する（第２０４段階）。客体設定部１３０は、領域設定のためのブロック形成カーサ、ブロックのサイズ調整カーサ、カーサの移動などを制御する機能を担当する。図６に図示されているように、客体設定部１３０によって、大理石に該当する領域だけが設定され、残りの領域については、ブラック処理されているということを確認することができる。

第２０４段階後、情報保存部１４０に保存された客体の材質に対応するそれぞれの基準物性情報、映像カメラ部１００で提供された空間映像、及び探査レーダ部１１０で提供された空間レーダ情報を利用し、材質認識処理部１５０が、客体それぞれの材質情報を認識する（第２０６段階）。

材質認識処理部１５０は、映像カメラ部１００で撮影された空間映像から、客体の外形、色相、明るさ及び反射度などを含む材質情報を検出する。このような情報は、客体の材質を決定する主な映像情報に該当する。

また、材質認識処理部１５０は、入射波に係わる表面反射波の第１遅延時間から、客体までの距離情報をそれぞれ算出する。材質認識処理部１５０は、探査レーダ部１１０から特定客体に入射波を照射した時間を確認し、特定客体の表面で反射した表面反射波が、探査レーダ部１１０に到着する時間を算出した後、表面反射波の到着時間から入射波照射時間を差し引いた時間、すなわち、第１遅延時間を算出する。その後、材質認識処理部１５０は、入射波に係わる速度と第１遅延時間とから、特定客体までの距離を算出することができる。

また、材質認識処理部１５０は、表面反射波と内部反射波との間の第２遅延時間から、客体の厚み情報をそれぞれ算出する。探査レーダ部１１０から特定客体に入射波を照射した時間を確認し、特定客体の内部で反射された内部反射波が、探査レーダ部１１０に到着する時間を算出した後、内部反射波の到着時間から入射波照射時間を差し引いた時間を算出する。材質認識処理部１５０は、内部反射波の差し引き時間から、以前に算出した第１遅延時間を差し引くことにより、表面反射波と内部反射波との間の第２遅延時間を算出する。その後、材質認識処理部１５０は、入射波に係わる速度と第２遅延時間とから、特定客体の厚みを算出することができる。

また、材質認識処理部１５０は、入射波と表面反射波との間の振幅並びに極性の変化から客体の物性情報を検出し、検出された物性情報と基準物性情報とを比較し、客体の材質情報をそれぞれ認識する。図３に図示されているように、探査レーダ部１１０が振幅が低下し、同一の位相を有する表面反射波を受信すれば、材質認識処理部１５０は、当該客体の物性情報として受信された表面反射波の振幅の大きさ及び位相変化に係わる情報を検出し、検出された当該客体の物性情報と、情報保存部１４０に保存されている客体の材質に対応するそれぞれの基準物性情報とを比較し、当該客体の物性情報と一致する基準物性情報を検出する。これによって、材質認識処理部１５０は、当該客体の物性情報と一致する基準物性情報に対応する客体を認識する。

一方、前述の本発明の方法発明は、コンピュータで読み取り可能なコード／命令（instructions）／プログラムで具現される。例えば、コンピュータで読み取り可能な記録媒体を利用して、前記コード／命令／プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスク、マグネチックテープなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

このような本発明である客体の材質認識装置及びその方法は、理解を助けるために、図面に図示された実施形態を参照して説明したが、それらは例示的なものに過ぎず、当該分野で当業者であるならば、それらから多様な変形及び均等な他の実施形態が可能であるという点を理解するであろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲によって決定されるものである。

本発明の客体の材質認識装置及びその方法は、例えば、客体材質認識関連の技術分野に効果的に適用可能である。

１００ 映像カメラ部
１１０ 探査レーダ部
１２０ マッチング処理部
１３０ 客体設定部
１４０ 情報保存部
１５０ 材質認識処理部

Claims (9)

1. 空間上に存在する多様な客体を含む空間映像を撮影する映像カメラ部と、
   前記客体に入射波を照射し、前記客体の表面それぞれの表面反射波、及び前記客体の内部から戻るそれぞれの内部反射波を含む空間レーダ情報を受信する探査レーダ部と、
   前記客体の材質に対応するそれぞれの基準物性情報を保存する情報保存部と、
   前記情報保存部の前記基準物性情報、前記映像カメラ部で提供された前記空間映像、及び前記探査レーダ部で提供された前記空間レーダ情報を利用し、前記客体それぞれの材質情報を認識する材質認識処理部と、を含み、
   前記材質認識処理部は、
   前記空間映像から、前記客体の外形、色相、明るさ及び反射度を含む前記材質情報をそれぞれ検出し、
   前記材質認識処理部は、
   前記表面反射波と前記内部反射波との間の第２遅延時間から、前記客体の厚み情報をそれぞれ算出し、
   前記材質認識処理部は、
   前記入射波と前記表面反射波との間の振幅並びに極性の変化から、前記客体の物性情報を検出し、前記検出された物性情報と前記基準物性情報とを比較し、前記客体の前記材質情報をそれぞれ認識することを特徴とする客体の材質認識装置。
2. 前記入射波は、電磁波及び音波のうちいずれか一つに該当することを特徴とする請求項１に記載の客体の材質認識装置。
3. 前記客体の材質認識装置は、
   前記空間映像と前記空間レーダ情報との間で互いに対応する空間上領域をマッチングさせるマッチング処理部をさらに含むことを特徴とする請求項１に記載の客体の材質認識装置。
4. 前記客体の材質認識装置は、
   前記空間映像から、前記客体において特定客体の領域を設定する客体設定部をさらに含むことを特徴とする請求項１に記載の客体の材質認識装置。
5. 前記材質認識処理部は、
   前記入射波に対する前記表面反射波の第１遅延時間から、前記客体までの距離情報をそれぞれ算出することを特徴とする請求項１に記載の客体の材質認識装置。
6. 映像カメラ部が空間上に存在する多様な客体を含む空間映像を撮影し、探査レーダ部が前記客体に入射波を照射し、前記客体の表面それぞれの表面反射波、及び前記客体の内部から戻るそれぞれの内部反射波を含む空間レーダ情報を受信する段階と、
   前記客体の材質に対応するそれぞれの基準物性情報、前記映像カメラ部で提供された前記空間映像、及び前記探査レーダ部で提供された前記空間レーダ情報を利用し、材質認識処理部が前記客体それぞれの材質情報を認識する段階と、を含み、
   前記客体それぞれの材質情報を認識する段階は、
   前記空間映像から、前記客体の外形、色相、明るさ及び反射度を含む前記材質情報をそれぞれ検出し、
   前記客体それぞれの材質情報を認識する段階は、
   前記表面反射波と前記内部反射波との間の第２遅延時間から、前記客体の厚み情報をそれぞれ算出し、
   前記客体それぞれの材質情報を認識する段階は、
   前記入射波と前記表面反射波との間の振幅並びに極性の変化から、前記客体の物性情報を検出し、前記検出された物性情報と前記基準物性情報とを比較し、前記客体それぞれの前記材質情報を認識することを特徴とする客体の材質認識方法。
7. 前記客体の材質認識方法は、
   前記空間映像の撮影、及び前記空間レーダ情報受信の後、マッチング処理部が、前記空間映像と前記空間レーダ情報との間で互いに対応する空間上領域をマッチングさせる段階をさらに含むことを特徴とする請求項６に記載の客体の材質認識方法。
8. 前記客体の材質認識方法は、
   前記空間映像の撮影、及び前記空間レーダ情報受信の後、客体設定部が、前記空間映像から、前記客体において特定客体の領域を設定する段階をさらに含むことを特徴とする請求項６に記載の客体の材質認識方法。
9. 前記客体それぞれの材質情報を認識する段階は、
   前記入射波に対する前記表面反射波の第１遅延時間から、前記客体までの距離情報をそれぞれ算出することを特徴とする請求項６に記載の客体の材質認識方法。