JPH03188391A - ３次元物体認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技監分立 本発明は、３次元物体認識方式に関して、例えば、３次
元物体の自動認識装置、ロボットの目、自動走行車など
のセンサーに適用されるものである。

従」す【匪 ＦＡ（ファクトリ−オートメーション）に於ける利用を
目的として、３次元形状を有する物体の自動認識技術が
ＴＶカメラを用いる方式を中心として数多く研究されて
いる。しかしながら、上記の方式では、入力データが膨
大な量である上に、金属の様に光を鏡面反射する物体や
透明な物体は取扱うことができない。

一方、超音波を用いる方式では対象物体の概形は測定で
きても、その情報がら対象物体の識別を行ったり、位置
、回転角度を推定したり、対象物体の高精細な像を構成
することはできなかった。

対象物体が平面の場合は、例えば、「ニューラル・ネッ
トワークを用いた超音波によるロボット・アイ・システ
ム」（渡辺澄夫　外１名　電子情報通信学会　１９８９
．２．２２）に記載されているように、上記の目的を達
成する方式が知られているが、対象物体が３次元形状を
有する場合には、従来技術では対象物体の識別を行った
り、位置、回転角度を推定したり、対象物体の高精細な
像を構成することはできなかった。また、超音波による
方式を自動走行車のセンサ一部に用いると、超音波は空
気中での減衰が大きく、また外乱にも弱く、雨等の天候
時には利用できないといった欠点があった。

且−一」在 本発明は、上述のごとき実情に鑑みてなされたもので、
３次元形状を有する対象物体に超音波あるいはミリ波（
波長がミリメータ程度の電磁波）を照射し、その散乱波
から対象物体の識別、及び位置、回転角度の推定、さら
に像再生を行うための３次元物体認識方式を提供するこ
とを目的としてなされたものである。

週−一一戒。

本発明は、上記目的を達成するために、（１）超音波を
対象物体に照射し、その散乱波を測定することにより対
象物体の識別、及び位置、回転角度の推定、さらに像再
生を行う場合において、１個以上の送波器から異なる二
つの周波数のバースト波を順次、対象物体に照射し、そ
の散乱波を複数個の受波器で測定し、得られた音響ホロ
グラフィ像の位相差を取ることにより、対象物体の３次
元的な形状を構成すること、更には、（２）前記（１）
において得られた物体の概形をニューラルネットワーク
に学習させることにより、対象物体の識別、及び位置、
回転角度の推定、さらに像再生を行うこと、或いは、（
３）超音波を対象物体に照射し、その散乱波を測定する
ことにより対象物体の識別、及び位置９回転角度の推定
、さらに像再生を行う場合において、１個以上の送波器
から異なる幾つかの周波数の連続波またはバースト波を
順次、対象物体に照射し、その散乱波を複数個の受波器
で測定し、３次元的な音響ホログラフィ像を構成するこ
とにより、対象物体の３次元的な形状を構成すること、
更には、（４）前記（３）において得られた物体の概形
をニューラルネットワークに学習させることにより、対
象物体の識別、及び位置、回転角度の推定、さらに像再
生を行うこと、或いは、（５）ミリ波を対象物体に照射
し、その散乱波を測定することにより対象物体の識別、
及び位置１回転角度の推定、さらに像再生を行う場合に
おいて、１個以上の送波器から異なる二つの周波数の連
続波またはバースト波を順次、対象物体に照射し、その
散乱波を複数個の受波器で測定し、ホログラフィ法によ
って得られたホログラフィ像の位相差を取ることにより
、対象物体の３次元的な形状を構成すること、更には、
（６）前記（５）において得られた物体の概形をニュー
ラルネットワークに学習させることにより、対象物体の
識別、及び位置、回転角度の推定、さらに像再生を行う
こと、更には、（７）前記（６）において得られた物体
の概形をニューラルネットワークに学習させることによ
り、対象物体が障害物等であるか否かを判定し、自動車
等の自動制御を行うことを特徴としたものである。以下
、本発明の実施例に基づいて説明する。

まず、本発明の詳細な説明する。

対象物体に第２図のような波形の超音波（バースト波）
あるいはミリ波を照射し、その散乱波の測定値から３次
元的な形状を持つ対象物体の識別、位置１回転角度の推
定、対象物体の高精細な像の構成等を行う場合において
、まず、対象物体の概形を対構成する。その方法は、異
なる二つの周波数を用いて対象物体のホログラフィ像を
それぞれ再生し、両者の位相差を求めることに依る。次
に、こうして得られた物体の概形をニューラルネットに
学習させることにより、３次元的な形状を持つ対象物体
の識別、位置９回転角度の推定、対象物体の高精細な像
の構成等を行う。これを図示したのが第３図である。

次に１本発明の実施例について説明する。第１図は、本
発明による３次元物体認識方式の一実施例（請求項１）
を説明するためのもので、１は対象物体を、２は超音波
送波器を、３はＡ／Ｄ変換器を、４はｎＸｎの超音波レ
シーバ−アレイ、５は増幅・ノイズ除去フィルタ、６は
変換器、７は計算機をそれぞれ表わす。送波器２から異
なる二つの周波数の超音波バースト波（連続波でもよい
）を順次、対象物体１に向けて照射する（たとえば４０
　Ｋ　Ｈｚと４１ＫＨｚ）。この時、受波器４で４１１
ｊ定された超音波の音圧をＡ／Ｄ変換器３を通すことに
より計算機７の内に取込み、照射した超音波を参照波と
して、散乱波との内積を計算すれば、散乱波のコサイン
成分およびサイン成分を取りだすことができる。これよ
り散乱波の複素音圧Ｐ　（Ｒ）が求められる。

第５図は、ミリ波を用いた場合の本発明の実施例（請求
項２）を説明するためのもので、１１は対象物体を、１
２はミリ波送波器を、１３は検波器（ミリ波位相と振巾
を測定する装置、ｃｏｓ成分、ｓｕｎ成分を測定しても
同様である）を、１４はｎＸｎのミリ波レシーバ−アレ
イ、１５は増幅・ノイズ除去フィルタ、１６は変換器、
１７は計算機をそれぞれ表わす。ミリ波送波器１２がら
異なる二つの周波数のミリ波バースト波（連続波でもよ
い）を順次、対象物体１１に向けて照射する（たとえば
波長８．５と８．６ｍなど）。この時、受波器１４で測
定されたミリ波の波形を検波器１３を通すことにより計
算機１７の内に取込み、照射したミリ波を参照波として
、散乱波との内積を計算すれば、散乱波のコサイン成分
およびサイン成分を取りだすことができる。これより散
乱波の複素音圧Ｐ　（Ｒ）が求められる。

一方、複素音圧Ｐ　（Ｒ）は理論的には以下のように計
算することができる。第４図はその理論式を説明する為
のもので、２１は超音波送波器あるいはミリ波送波器を
、２２は対象物体を、２３は超音波アレイ型受波器ある
いはミリ波アレイ型受信器をそれぞれ表わす。対象物体
の表面の方程式がＺ　＝ζ（ｘ’、ｙ’）、反射係数が
ξ（ｘ’、ｙ’）であり、超音波あるいはミリ波の照射
角度をθとする。このとき、送波は Ｐｉ（ｒ）　＝　ｅｘｐ（ｉｋｉｊｒ）ここで、ｋｉ＝
（ｋｓｉｎθ＋　Ｏｓ　−ｋｃｏｓθ）で表わされるか
ら、位置ｒ＝（ｘ、ｙ、ｚ）の受波器での複素音圧ある
いは複素波形は Ｐ（ｉ）＝ｉｅｘｐ（ｉｋｒ）Ｆ（ｒ）／（４πｒ）ｆ
　ｄｘ’　ｆ　ｄｙ’ｅｘｐ（ｉＶ−ｒ）ξ（ｘ’、ｙ
’）　　−（１）ここで。

Ｖ＝　（−ｋ　（ｘ／ｒ−ｓｉｎθ＋−ｋｙ／ｒ、−ｋ
（ｚ／ｒ＋ｃｏｓθ））ｒ’＝（（ｘ’ｒｙ　　＋ζ（
ｘ’、ｙ’））Ｆ（ｒ）＝ＩＶＩ”／（−ｋ（ｚ／ｒ＋
ｃｏｓθ））で与えられる。ここで逆フーリエ変換をも
ちいれば、 ξ（ｘ’＋ｙ’）ｅｘｐ（−ｉｋ（１＋ｃｏｓθ）ζ（
ｘ’、ｙ’））＝（ｋ／（２ｘ　ｚ））”ｅｘｐ（−ｉ
ｋｘ’ｓｉｎθ）ｆｄｘｆｄｙＰ（ｒ）４ｓｒｅｘｐ（
ｉｋ（ｘｘ”ｙｙ’）／ｚ−ｉｋｒ）／１Ｆ（ｒ）　−
−・（ｚ）従って、上記（２）式の右辺をＨ（ｒ）とか
くこととすれば、 −ｋ（１＋ｃｏｓθ）ζ（ｘ’＊ｙ’）＝ａｒｇ（Ｈ（
ｋ））＋２ｎπ−（３）となる。ここで−ａｒｇ（ｘ）
は複素数Ｘの偏角を、ｎはある整数を表わす。対象物体
の３次元的な形状を求める為には上記（１）式のＰ（ｒ
）に実験で求めた値を代入しそれによってＨ（ｋ）を求
め、次に上記（３）によってζ（ｘ′、ｙ′）を計算す
れば良い。しかしながら、上記（３）式は２ｎπの不定
性があり、ζ（ｘ’、ｙ’）として求められるのは、こ
の不定性の中の主鎖だけであった。従って、ζ（ｘ’＋
ｙ’）の範囲は、 Ｏ≦ζ（ｘＺｙ’）≦２　π／　（ｋ　（１＋ｃｏｓθ
））であった。この範囲は例えば、実用的な周波数の超
音波４０ＫＨｚを用いた場合、あるいは波長８．５閣の
ミリ波を用いた場合は、約４ｍｍとなり非常に狭くなる
。そこで、本発明においては、もうひとつの波数に＋Δ
ｋを持つ波を用いて同様の測定を行い、上記（３）式の
代りに −（ｋ十Δｋ）（１＋ｃｏｓθ）ζ　（ｘ’　ｔｙ’）
＝ａｒｇ（Ｈ（ｋ＋Δｋ））＋２ｍｉ　　　・＝（４）
を得、しかるのちに、上記（４）式から上記（３）式を
減算することによって。

一Δｋ（１＋ｃｏｓθ）ζ（ｘ’＋ｙ’）＝ａｒｇ（Ｈ
Ｃｋ＋Δｋ））−ａｒｇ（）ｌ（ｋ））＋２（ｍ−ｎ）
　π−（５）を求める。この式ではζ（ｙ′、ｙ′）の
再生範囲はＯ≦ζ（ｘ’＋ｙ’）≦２π／（Δｋ（１＋
ｃｏｓ　Ｏ））となり、Δにはいくらでも小さくとれる
から、望みの範囲の高さを持っ概形を求めることができ
る。

次に３次元的な対象物体の反射率η（Ｘ’＋ｙ　＋ｚ’
）η（ｘ’ｔｙ　＋ｚ’）”ξ（ｘ’＋ｙ　ｔｚ’）δ
（ｚ′−ζ（ｘ’、ｙ’））　　−（６）と定義する。

ここで、δ（Ｘ）はデイラックｎのデルタ関数である。

上記（６）式を用いて上記（１）式を書換えれば、 Ｐ　（ｒ）＝ｉｅｘｐ　（ｉｋｒ）Ｆ　（ｒ）／　（４
ｘ　ｒ）ｆ　ｄｘ’　ｆ　ｄｙ’　／　ｄｚ’ｅｘｐ（
ｉＶ’ｒ）　ｔｙ　（ｘ’　、ｙ’）−（１）＝ｉｅｘ
ｐ　（ｉｋｒ）Ｆ　（ｒ）／　（４πｒ）ｆ　ｄｘ’　
ｆ　ｄｙ’　ｆ　ｄｚ’ｅｘｐ（ｉｋ（ｘ’ｓｉｎ　Ｏ
−ｚ　ｃｏｓθ））　η（ｘ’、ｙ’）ｅｘｐ（−ｉｋ
　（ｘｘ’＋ｙｙ’＋ｚｚ’　）／ｒ）　　　　　　　
　−（７）そこで、位Ｔｌ　ｘ＋ｙおよび波数ｋについ
て３次元フーリエ逆変換を用いることにより測定された
音圧から３次元的な対象物体の形状η（ｘ’＊ｙ’）が
求められる。

次に、ニューラルネットワークを用いた場合の本発明の
実施例を第６図に基づいて説明する。

３１は上記の様にして得られた対象物体の概形（ｎＸｎ
）を、３２は３層フィードフォーワード型のニューラル
ネットを、３３はニューラルネットの出力結果をそれぞ
れ表わす。

Ｋ種類の対象物体を識別するニューラルネットは次の様
に構成する。対象物体の概形１はｎＸｎの情報からなる
ので、ニューラルネット３２の入カニニットもｎＸｎ個
にする。中間層のユニット数は適宜に決めることができ
る。出力層のユニット数はＫにする。入力データとして
は上記の対象物体の概形（ｎＸｎの情報）を用い、教師
データとしては、対象物体が１番目の範躊に属するとき
は、（１，０，０１，、、、Ｏ）、２番目の範鴫に属す
る時は、（０，１，０，０１，、Ｏ）、、、のようにす
れば良い。こうして、入力データとそれに対する出力デ
ータの組が与えられると、周知の方式バック・プロパゲ
ーション法によって、望ましい出力をするようなニュー
ラルネットワークを構成することができる。

次に、ニューラルネットワークを用いた場合の本発明の
他の実施例について説明する。上記では、Ｋ種類の対象
物体を識別するニューラルネットを構成したが、対象物
体の置かれた位置を推定するニューラルネットは次のよ
うに構成すれば良い。

ニューラルネットの入力及び、入力層、中間層は上記と
同じである。出力層としては、Ｘ方向にＰ段階、Ｙ方向
にＱ段階、Ｚ方向にＲ段階で推定するものとすると、出
力層のユニット数を（Ｐ十〇＋Ｒ）個とする。学習デー
タは次のように構成する。対象物体の置かれている位置
が上記の段階の（ｓ、ｔ、ｕ）に属する時、Ｓ番目、（
ｓ＋ｔ）番目、（ｓ＋を十ｕ）番目のユニットだけを１
とし残りをＯとすればよい。学習方式は上記と同様であ
る。

次に、ニューラルネットワークを用いた場合の本発明の
更に他の実施例について説明する。対象物体の置かれた
角度を推定するニューラルネットは次のように構成すれ
ば良い。ニューラルネットの入力及び、入力層、中間層
は上記と同じである。

出力層としては、角度方向にＲ段階で推定するものとす
ると、出力層のユニット数をＲ個とする。

学習データは次のように構成する。対象物体の置かれて
いる位置が上記の段階のＳに属する時、Ｓ番目のユニッ
トだけを１とし残りを０とすればよい。学習方式は上記
と同様である。

次に、ニューラルネットワークを用いた場合の本発明の
更に他の実施例を第７図に基づいて説明する。４１は上
記のようにして得られた対象物体の概形（ｎ　Ｘ　ｎ）
を、４２は３層フィードフォーワード型のニューラルネ
ットを、４３はニューラルネットの出力結果をそれぞれ
表わす。ニューラルネットの入力層のユニット数はｂｘ
ｂ　（ただしｂ　＜　＝　ｎ　）で、中間層のユニット
数は適宜に選ぶことができる。出力層のユニット数は表
示したい大きさに選ぶことができるが、たとえば、ｃＸ
ｃＸｄとする。学習データは（ｃＸ　（ｎ−ｂ））Ｘ（
ｃＸ　（ｎ　　ｂ））の大きさに構成する（対象物体の
精密な形状を用いる）。本実施例のニューラルネットは
入力と出力をそれぞれ走査しながら。

学習、出力することにその特徴が在る。

次に、ニューラルネットワークを用いた場合の本発明の
更に他の実施例を第８図に基づいて説明する。５１は上
記のようにして得られた対象物体の概形（ｎ　Ｘ　ｎ　
Ｘｍ）を、５２は３層フィードフォーワード型のニュー
ラルネットを、５３はニューラルネットの出力結果をそ
れぞれ表わす。

Ｋ種類の対象物体を識別するニューラルネットは次のよ
うに構成する。対象物体の概形５１はｎＸｎＸｍの情報
からなるので、ニューラルネット５２の入カニニットも
ｎＸｎＸｍ個にする。中間層のユニット数は適宜に決め
ることができる。出力層のユニット数はＫにする。入力
データとしては上記の対象物体の概形（ｎＸｎＸｍの情
報）を用い、教師データとしては、対象物体が１番目の
範喀に属するときは、（１，０，０１，、、、Ｏ）。

２番目の簡略に属するときは、（０，１，０，０゜、、
０）１１．のようにすれば良い。こうして、入力データ
とそれに対する出力データの組が与えられると、周知の
方式パック・プロパゲーション法によって、望ましい出
力をするような二二一うルネットワークを構成すること
ができる。

次に、ニューラルネットワークを用いた場合の本発明の
更に他の実施例を第９図に基づいて説明する。６１は上
記のようにして得られた対象物体の概形（ｎＸｎＸｍ）
を、６２は３層フィードフォーワード型のニューラルネ
ットを、６３はニューラルネットの出力結果をそれぞれ
表わす。

ニューラルネットの入力層のユニット数はｂｘｂＸｍ（
ただしｂ　＜　＝　ｎ　）で、中間層のユニット数は適
宜に選ぶことができる。出力層のユニット数は表示した
い大きさに選ぶことができるが、たとえば、ｃＸｃＸｄ
とする。学習データは（ｃＸ（ｎ−ｂ））Ｘ（ｃＸ　（
ｎ−ｂ））Ｘｄの大きさに構成する（対象物体の精密な
形状を用いる）。本発明の実施例のニューラルネットは
入力と出力をそれぞれ走査しながら、学習、出力するこ
とにその特徴が在る。

夏−一来 以上の説明から明らかなように１本発明によると、３次
元形状を有する物体の識別、および、位置、回転角度の
推定、像再生が可能になる。特に、これまではＴＶカメ
ラでは認識できなかった、金属及び透明物体等の認識が
可能になる。その結果、１”Ａにおいて著しい貢献が期
待できる。

例えば、自動走行車や、運転補助のための自動車のセン
サーとしてミリ波を用いて、対象となる物体が、人、車
、障害物等であることを自動認識することができる。こ
の情報を自動車の制御機構に送るか、あるいは運転者に
音声等で知らせることによって、自動車などの自動走行
の制御やその他の運転補助機能として利用することがで
きる。

【図面の簡単な説明】

第１図は、本発明による３次元物体認識の一実施例を説
明するための図、第２図及び第３図は、本発明の詳細な
説明するための図、第４図は、散乱波の複素音圧の理論
式を説明するための図、第５回は、ミリ波を用いた場合
の本発明の詳細な説明するための図、第６図は、ニュー
ラルネットワークを用いた場合の本発明の詳細な説明す
るための図、第７図乃至第９図は、ニューラルネットワ
ークを用いた場合の本発明の他の実施例を説明するため
の図である。 １．１１・・・対象物体、２・・・超音波送波器、３・
・・Ａ／Ｄ変換器、４・・・超音波レシーバ−アレイ、
５．１５・・・増幅・ノイズ除去フィルタ、６，１６・
・・変換器、７，１７・・・計算機、１２・・・ミリ波
送波器、１３・・・検波器、１４・・・ミリ波レシーバ
−アレイ。 第 １ 図 音圧（波形） 第 図 第 図 第 図 第 図 など 第 ７ 図 第 図

Claims (1)

1. 【特許請求の範囲】 １、超音波を対象物体に照射し、その散乱波を測定する
   ことにより対象物体の識別、及び位置、回転角度の推定
   、さらに像再生を行う場合において、１個以上の送波器
   から異なる二つの周波数のバースト波を順次、対象物体
   に照射し、その散乱波を複数個の受波器で測定し、得ら
   れた音響ホログラフィ像の位相差を取ることにより、対
   象物体の３次元的な形状を構成することを特徴とする３
   次元物体認識方式。 ２、ミリ波を対象物体に照射し、その散乱波を測定する
   ことにより対象物体の識別、及び位置。 回転角度の推定、さらに像再生を行う場合において、１
   個以上の送波器から異なる二つの周波数の連続波または
   バースト波を順次、対象物体に照射し、その散乱波を複
   数個の受波器で測定し、ホログラフィ法によって得られ
   たホログラフィ像の位相差を取ることにより、対象物体
   の３次元的な形状を構成することを特徴とする３次元物
   体認識方式。