JP2878414B2 - 3次元物体認識方式 - Google Patents

3次元物体認識方式

Info

Publication number
JP2878414B2
JP2878414B2 JP2191034A JP19103490A JP2878414B2 JP 2878414 B2 JP2878414 B2 JP 2878414B2 JP 2191034 A JP2191034 A JP 2191034A JP 19103490 A JP19103490 A JP 19103490A JP 2878414 B2 JP2878414 B2 JP 2878414B2
Authority
JP
Japan
Prior art keywords
target object
wave
neural network
waves
scattered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2191034A
Other languages
English (en)
Other versions
JPH03188391A (ja
Inventor
澄夫 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2191034A priority Critical patent/JP2878414B2/ja
Publication of JPH03188391A publication Critical patent/JPH03188391A/ja
Application granted granted Critical
Publication of JP2878414B2 publication Critical patent/JP2878414B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 技術分野 本発明は、3次元物体認識方式に関して、例えば、3
次元物体の自動認識装置、ロボットの目、自動走行車な
どのセンサーに適用されるものである。
従来技術 FA(ファクトリーオートメーション)に於ける利用を
目的として、3次元形状を有する物体の自動認識技術が
TVカメラを用いる方式を中心として数多く研究されてい
る。しかしながら、上記の方式では、入力データが膨大
な量である上に、金属の様に光を鏡面反射する物体や透
明な物体は取扱うことができない。
一方、超音波を用いる方式では対象物体の概形は測定
できても、その情報から対象物体の識別を行ったり、位
置、回転角度を推定したり、対象物体の高精細な像を構
成することはできなかった。対象物体が平面の場合は、
例えば、「ニューラル・ネットワークを用いた超音波に
よるロボット・アイ・システム」(渡辺澄夫 外1名
電子情報通信学会 1989.2.22)に記載されているよう
に、上記の目的を達成する方式が知られているが、対象
物体が3次元形状を有する場合には、従来技術では対象
物体の識別を行ったり、位置、回転角度を推定したり、
対象物体の高精細な像を構成することはできなかった。
また、超音波による方式を自動走行車のセンサー部に用
いると、超音波は空気中での減衰が大きく、また外乱に
も弱く、雨等の天候時には利用できないといった欠点が
あった。
目的 本発明は、上述のごとき実情に鑑みてなされたもの
で、3次元形状を有する対象物体に超音波あるいはミリ
波(波長がミリメータ程度の電磁波)を照射し、その散
乱波から対象物体の識別、及び位置、回転角度の推定、
さらに像再生を行うための3次元物体認識方式を提供す
ることを目的としてなされたものである。
構成 本発明は、上記目的を達成するために、(1)超音波
を対象物体に照射し、その散乱波を測定することにより
対象物体の識別、及び位置、回転角度の推定、さらに像
再生を行う場合において、1個以上の送波器から異なる
二つの周波数のバースト波を順次、対象物体に照射し、
その散乱波を複数個の受波器で測定し、得られた音響ホ
ログラフィ像の位相差を取ることにより、対象物体の3
次元的な形状を構成すること、更には、(2)前記
(1)において得られた物体の概形をニューラルネット
ワークに学習させることにより、対象物体の識別、及び
位置、回転角度の推定、さらに像再生を行うこと、或い
は、(3)超音波を対象物体に照射し、その散乱波を測
定することにより対象物体の識別、及び位置、回転角度
の推定、さらに像再生を行う場合において、1個以上の
送波器から異なる幾つかの周波数の連続波またはバース
ト波を順次、対象物体に照射し、その散乱波を複数個の
受波器で測定し、3次元的な音響ホログラフィ像を構成
することにより、対象物体の3次元的な形状を構成する
こと、更には、(4)前記(3)において得られた物体
の概形をニューラルネットワークに学習させることによ
り、対象物体の識別、及び位置、回転角度の推定、さら
に像再生を行うこと、或いは、(5)ミリ波を対象物体
に照射し、その散乱波を測定することにより対象物体の
識別、及び位置、回転角度の推定、さらに像再生を行う
場合において、1個以上の送波器から異なる二つの周波
数の連続波またはバースト波を順次、対象物体に照射
し、その散乱波を複数個の受波器で測定し、ホログラフ
ィ法によって得られたホログラフィ像の位相差を取るこ
とにより、対象物体の3次元的な形状を構成すること、
更には、(6)前記(5)において得られた物体の概形
をニューラルネットワークに学習させることにより、対
象物体の識別、及び位置、回転角度の推定、さらに像再
生を行うこと、更には、(7)前記(6)において得ら
れた物体の概形をニューラルネットワークに学習させる
ことにより、対象物体が障害物等であるか否かを判定
し、自動車等の自動制御を行うことを特徴としたもので
ある。以下、本発明の実施例に基づいて説明する。
まず、本発明の概要を説明する。
対象物体に第2図のような波形の超音波(バースト
波)あるいはミリ波を照射し、その散乱波の測定値から
3次元的な形状を持つ対象物体の識別、位置、回転角度
の推定、対象物体の高精細な像の構成等を行う場合にお
いて、まず、対象物体の概形を対構成する。その方法
は、異なる二つの周波数を用いて対象物体のホログラフ
ィ像をそれぞれ再生し、両者の位相差を求めることに依
る。次に、こうして得られた物体の概形をニューラルネ
ットワークに学習させることにより、3次元的な形状を
持つ対象物体の識別、位置、回転角度の推定、対象物体
の高精細な像の構成等を行う。これを図示したのが第3
図である。
次に、本発明の実施例について説明する。第1図は、
本発明による3次元物体認識方式の一実施例(請求項
1)を説明するためのもので、1は対象物体を、2は超
音波送波器を、3はA/D変換器を、4はn×nの超音波
レシーバーアレイ、5は増幅・ノズル除去フィルタ、6
は変換器、7は計算機をそれぞれ表わす。送波器2から
異なる二つの周波数の超音波バースト波(連続波でもよ
い)を順次、対象物体1に向けて対照する(たとえば40
KHzと41KHz)。この時、受波器4で測定された超音波の
音圧をA/D変換器3を通すことにより計算機7の内に取
込み、照射した超音波を参照波として、散乱波との内積
を計算すれば、散乱波のコサイン成分およびサイン成分
を取りだすことができる。これより散乱波の複素音圧P
(R)が求められる。
第5図は、ミリ波を用いた場合の本発明の実施例(請
求項2)を説明するためのもので、11は対象物体を、12
はミリ波送波器を、13は検波器(ミリ波位相と振巾を測
定する装置、cos成分、sin成分を測定しても同様であ
る)を、14はn×nのミリ波レシーバーアレイ、15は増
幅・ノイズ除去フィルタ、16は変換器、17は計算機をそ
れぞれ表わす。ミリ波送波器12から異なる二つの周波数
のミリ波バースト波(連続波でもよい)を順次、対象物
体11に向けて照射する(たとえば波長8.5と8.6mmな
ど)。この時、受波器14で測定されたミリ波の波形を検
波器13を通すことにより計算機17の内に取込み、照射し
たミリ波を参照波として、散乱波との内積を計算すれ
ば、散乱波のコサイン成分およびサイン成分を取りだす
ことができる。これより散乱波の複素音圧P(R)が求
められる。
一方、複素音圧P(R)は理論的には以下のように計
算することができる。第4図はその理論式を説明する為
のもので、21は超音波送波器あるいはミリ波送波器を、
22は対象物体を、23は超音波アレイ型受波器あるいはミ
リ波アレイ型受信器をそれぞれ表わす。対象物体の表面
の方程式がz′=ζ(x′,y′)、反射係数がξ
(x′,y′)であり、超音波あるいはミリ波の照射角度
をθとする。このとき、送波は Pi(r)=exp(iki・r) ここで、ki=(ksinθ,0,−kcosθ) で表わされるから、位置r=(x,y,z)の受波器での複
素音圧あるいは複素波形は P(i)=iexp(ikr)F(r)/(4πr) ∫dx′∫dy′exp(iV・r)ξ(x′,y′) …(1) ここで、 V=(−k(x/r−sinθ,−ky/r,−k(z/r+cosθ)) r′=((x′,y′,ζ(x′,y′)) F(r)=|V|2/(−k(z/r+cosθ)) で与えられる。ここで逆フーリエ変換をもちいれば、 ξ(x′,y′)exp(−ik(1+cosθ)ζ(x′,y′)) ={k/(2πz)}2exp(−ikx′sinθ)∫dx∫dy P(r)4πrexp(ik(xx′+yy′)/z−ikr)/iF(r) …(2) 従って、上記(2)式の右辺をH(r)とかくことと
すれば、 −k(1+cosθ)ζ(x′,y′)=arg(H(k))+2nπ …(3) となる。ここで、arg(x)は複素数xの偏角を、nは
ある整数を表わす。対象物体の3次元的な形状を求める
為には上記(1)式のP(r)に実験で求めた値を代入
しそれによってH(k)を求め、次に上記(3)によっ
てζ(x′,y′)を計算すれば良い。しかしながら、上
記(3)式は2nπの不定性があり、ζ(x′,y′)とし
て求められるのは、この不定性の中の主値だけであっ
た。従って、ζ(x′,y′)の範囲は、 0≦ζ(x′,y′)≦2π/(k(1+cosθ)) であった。この範囲は例えば、実用的な周波数の超音波
40KHzを用いた場合、あるいは波長8.5mmのミリ波を用い
た場合は、約4mmとなり非常に狭くなる。そこで、本発
明においては、もうひとつの波数k+Δkを持つ波を用
いて同様の測定を行い、上記(3)式の代りに −(k+Δk)(1+cosθ)ζ(x′,y′)=arg(H(k+Δk))+2mπ …(4) を得、しかるのちに、上記(4)式から上記(3)式を
減算することによって、 −Δk(1+cosθ)ζ(x′,y′) =arg(H(k+Δk))−arg(H(k))+2(m−n)π …(5) を求める。この式ではζ(x′,y′)の再生範囲は 0≦ζ(x′,y′)≦2π/(Δk(1+cosθ)) となり、Δkはいくらでも小さくとれるから、望みの範
囲の高さを持つ概形を求めることができる。
次に3次元的な対象物体の反射率η(x′,y′,z′) η(x′,y′,z′)=ξ(x′,y′,z′)δ(z′−ζ(x′,y′)) …(6) と定義する。ここで、δ(x)はディラックnのデルタ
関数である。上記(6)式を用いて上記(1)式を書換
えれば、 P(r)=iexp(ikr)F(r)/(4πr) ∫dx′∫dy′∫dz′exp(iV・r)η(x′,y′) …(1) =iexp(ikr)F(r)/(4πr) ∫dx′∫dy′∫dz′exp(ik(x′sinθ−z′cosθ))η(x′, y′)exp(−ik(xx′+yy′+zz′)/r) …(7) そこで、位置x,yおよび波数kについて3次元フーリエ
逆変換を用いることにより測定された音圧から3次元的
な対象物体の形状η(x′,y′)が求められる。
次に、ニューラルネットワークを用いた場合の本発明
の実施例を第6図に基づいて説明する。31は上記の様に
して得られた対象物体の概形(n×n)を、32は3層フ
ィードフォーワード型のニューラルネットを、33はニュ
ーラルネットの出力結果をそれぞれ表わす。
K種類の対象物体を識別するニューラルネットは次の
様に構成する。対象物体の概形1はn×nの情報からな
るので、ニューラルネット32の入力ユニットもn×n個
にする。中間層のユニット数は適宜に決めることができ
る。出力層のユニット数はKにする。入力データとして
は上記の対象物体の概形(n×nの情報)を用い、教師
データとしては、対象物体が1番目の範疇に属するとき
は、(1、0、0、...、0)、2番目の範疇に属する
時は、(0、1、0、0、、、0)、、、のようにすれ
ば良い。こうして、入力データとそれに対する出力デー
タの組が与えられると、周知の方式バック・プロパゲー
ション法によって、望ましい出力をするようなニューラ
ルネットワークを構成することができる。
次に、ニューラルネットワークを用いた場合の本発明
の他の実施例について説明する。上記では、K種類の対
象物体を識別するニューラルネットを構成したが、対象
物体の置かれた位置を推定するニューラルネットは次の
ように構成すれば良い。ニューラルネットの入力及び、
入力層、中間層は上記と同じである。出力層としては、
X方向にP段階、Y方向にQ段階、Z方向にR段階で推
定するものとすると、出力層のユニット数を(P+Q+
R)個とする。学習データは次のように構成する。対象
物体の置かれている位置が上記の段階の(s,t,u)に属
する時、s番目、(s+t)番目、(s+t+u)番目
のユニットだけを1とし残りを0とすればよい。学習方
式は上記と同様である。
次に、ニューラルネットワークを用いた場合の本発明
の更に他の実施例について説明する。対象物体の置かれ
た角度を推定するニューラルネットは次のように構成す
れば良い。ニューラルネットの入力及び、入力層、中間
層は上記と同じである。出力層としては、角度方向にR
段階で推定するものとすると、出力層のユニット数をR
個とする。学習データは次のように構成する。対象物体
の置かれている位置が上記の段階のsに属する時、s番
目のユニットだけを1とし残りを0とすればよい。学習
方式は上記と同様である。
次に、ニューラルネットワークを用いた場合の本発明
の更に他の実施例を第7図に基づいて説明する。41は上
記のようにして得られた対象物体の概形(n×n)を、
42は3層フィードフォーワード型のニューラルネット
を、43はニューラルネットの出力結果をそれぞれ表わ
す。ニューラルネットの入力層のユニット数はb×b
(ただしb<=n)で、中間層のユニット数は適宜に選
ぶことができる。出力層のユニット数は表示したい大き
さに選ぶことができるが、たとえば、c×c×dとす
る。学習データは(c×(n−b))×(c×(n−
b))の大きさに構成する(対象物体の精密な形状を用
いる)。本実施例のニューラルネットは入力と出力をそ
れぞれ走査しながら、学習、出力することにその特徴が
在る。
次に、ニューラルネットワークを用いた場合の本発明
の更に他の実施例を第8図に基づいて説明する。51は上
記のようにして得られた対象物体の概形(n×n×m)
を、52は3層フィードフォーワード型のニューラルネッ
トを、53はニューラルネットの出力結果をそれぞれ表わ
す。
K種類の対象物体を識別するニューラルネットは次の
ように構成する。対象物体の概形51はn×n×mの情報
からなるので、ニューラルネット52の入力ユニットもn
×n×m個にする。中間層のユニット数は適宜に決める
ことができる。出力層のユニット数はKにする。入力デ
ータとしては上記の対象物体の概形(n×n×mの情
報)を用い、教師データとしては、対象物体が1番目の
範疇に属するときは、(1、0、0、...、0)、2番
目の範疇に属するときは、(0、1、0、0、、、
0)、、、のようにすれば良い。こうして、入力データ
とそれに対する出力データの組が与えられると、周知の
方式バック・プロパゲーション法によって、望ましい出
力をするようなニューラルネットワークを構成すること
ができる。
次に、ニューラルネットワークを用いた場合の本発明
の更に他の実施例を第9図に基づいて説明する。61は上
記のようにして得られた対象物体の概形(n×n×m)
を、62は3層フィードフォーワード型のニューラルネッ
トを、63はニューラルネットの出力結果をそれぞれ表わ
す。ニューラルネットの入力層のユニット数はb×b×
m(ただしb<=n)で、中間層のユニット数は適宜に
選ぶことができる。出力層のユニット数は表示したい大
きさに選ぶことができるが、たとえば、c×c×dとす
る。学習データは(c×(n−b))×(c×(n−
b))×dの大きさに構成する(対象物体の精密な形状
を用いる)。本発明の実施例のニューラルネットは入力
と出力をそれぞれ走査しながら、学習、出力することに
その特徴が在る。
効果 以上の説明から明らかなように、本発明によると、3
次元形状を有する物体の識別、および、位置、回転角度
の推定、像再生が可能になる。特に、これまではTVカメ
ラでは認識できなかった。金属及び透明物体等の認識が
可能になる。その結果、FAにおいて著しい貢献が期待で
きる。
例えば、自動走行車や、運転補助のための自動車のセ
ンサーとしてミリ波を用いて、対象となる物体が、人、
車、障害物等であることを自動認識することができる。
この情報を自動車の制御機構に送るか、あるいは運転者
に音声等で知らせることによって、自動車などの自動走
行の制御やその他の運転補助機能として利用することが
できる。
【図面の簡単な説明】
第1図は、本発明による3次元物体認識の一実施例を説
明するための図、第2図及び第3図は、本発明の概略を
説明するための図、第4図は、散乱波の複素音圧の理論
式を説明するための図、第5図は、ミリ波を用いた場合
の本発明の実施例を説明するための図、第6図は、ニュ
ーラルネットワークを用いた場合の本発明の実施例を説
明するための図、第7図乃至第9図は、ニューラルネッ
トワークを用いた場合の本発明の他の実施例を説明する
ための図である。 1,11……対象物体、2……超音波送波器、3……A/D変
換器、4……超音波レシーバーアレイ、5,15……増幅・
ノイズ除去フィルタ、6,16……変換器、7,17……計算
機、12……ミリ波送波器、13……検波器、14……ミリ波
レシーバーアレイ。
フロントページの続き (56)参考文献 特開 昭61−258182(JP,A) 特開 昭62−140078(JP,A) 特開 昭62−140079(JP,A) 特開 平2−39284(JP,A) 特開 平2−29285(JP,A) 特開 平2−39286(JP,A) 特開 平3−251713(JP,A) 特開 平3−251712(JP,A) 特開 平4−127009(JP,A) 特許2843356(JP,B2) (58)調査した分野(Int.Cl.6,DB名) G01S 15/89 G01S 13/89 G01B 17/00 G06F 15/62 G03H 3/00

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】超音波を対象物体に照射し、その散乱波を
    測定することにより対象物体の識別、及び位置、回転角
    度の推定、さらに像再生を行う場合において、1個以上
    の送波器から異なる二つの周波数のバースト波を順次、
    対象物体に照射し、その散乱波を複数個の受波器で測定
    し、得られた音響ホログラフィ像の位相差を取ることに
    より、対象物体の3次元的な形状を構成することを特徴
    とする3次元物体認識方式。
  2. 【請求項2】ミリ波を対象物体に照射し、その散乱波を
    測定することにより対象物体の識別、及び位置、回転角
    度の推定、さらに像再生を行う場合において、1個以上
    の送波器から異なる二つの周波数の連続波またはバース
    ト波を順次、対象物体に照射し、その散乱波を複数個の
    受波器で測定し、ホログラフィ法によって得られたホロ
    グラフィ像の位相差を取ることにより、対象物体の3次
    元的な形状を構成することを特徴とする3次元物体認識
    方式。
JP2191034A 1989-09-04 1990-07-19 3次元物体認識方式 Expired - Fee Related JP2878414B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2191034A JP2878414B2 (ja) 1989-09-04 1990-07-19 3次元物体認識方式

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP22902589 1989-09-04
JP1-229025 1989-09-04
JP2191034A JP2878414B2 (ja) 1989-09-04 1990-07-19 3次元物体認識方式

Publications (2)

Publication Number Publication Date
JPH03188391A JPH03188391A (ja) 1991-08-16
JP2878414B2 true JP2878414B2 (ja) 1999-04-05

Family

ID=26506444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2191034A Expired - Fee Related JP2878414B2 (ja) 1989-09-04 1990-07-19 3次元物体認識方式

Country Status (1)

Country Link
JP (1) JP2878414B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870698B (zh) 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统
JP7247429B1 (ja) * 2021-12-20 2023-03-28 株式会社三井E&Sマシナリー データ処理方法、計測システム、及び、プログラム
JP7300077B1 (ja) * 2021-12-20 2023-06-29 株式会社三井E&S データ処理方法、計測システム、及び、プログラム
WO2023119369A1 (ja) * 2021-12-20 2023-06-29 株式会社三井E&Sマシナリー データ処理方法、計測システム、及び、プログラム

Also Published As

Publication number Publication date
JPH03188391A (ja) 1991-08-16

Similar Documents

Publication Publication Date Title
JP2878409B2 (ja) 3次元物体撮像方式
Ambrozinski et al. Evaluation of dispersion characteristics of multimodal guided waves using slant stack transform
Sternini et al. Minimum-variance imaging in plates using guided-wave-mode beamforming
Marhenke et al. Air-coupled ultrasound time reversal (ACU-TR) for subwavelength nondestructive imaging
JP2878414B2 (ja) 3次元物体認識方式
Zimbico et al. Eigenspace generalized sidelobe canceller combined with SNR dependent coherence factor for plane wave imaging
KR960702113A (ko) 판구조물들 및 파이프들 두께의 아이. 에이. (i.a.) 측정방법 (METHOD FOR I.A. MEASURING THE THICKNESS OF PLATE CONSTRUCTONS AND PIPES)
Ambroziński et al. Robust polarization filter for separation of Lamb wave modes acquired using a 3D laser vibrometer
Rathsam et al. Analysis of absorption in situ with a spherical microphone array
Harley et al. Broadband localization in a dispersive medium through sparse wavenumber analysis
Moallemi et al. A distributed reflector localization approach to ultrasonic array imaging in non-destructive testing applications
JP2000098031A (ja) インパルスソーナー
DE102007060346A1 (de) Verfahren zur Laufzeitmessung mittels Ultraschall, insbesondere zur 2D- oder 3D-Ortung von Objekten
Jin et al. Acoussist: An acoustic assisting tool for people with visual impairments to cross uncontrolled streets
Sun et al. Improving time resolution of ultrasonic signals with frequency-domain sparse blind deconvolution (FSBD) method
Drira et al. Image source detection for geoacoustic inversion by the Teager-Kaiser energy operator
Touzé et al. Double-Capon and double-MUSICAL for arrival separation and observable estimation in an acoustic waveguide
Cobb Frequency domain method for the prediction of the ultrasonic field patterns of pulsed, focused radiators
JP2882861B2 (ja) 超音波3次元物体撮像方式
Sillanpää et al. Localizing a target inside an enclosed cylinder with a single chaotic cavity transducer augmented with supervised machine learning
Ullmann et al. A multimodal radar-ultrasound imaging concept for improved display of concealed objects
JPH0613964B2 (ja) 膜厚測定方法
Rodriguez-Molares et al. Reconstruction of specular reflectors by iterative image source localization
JP3179586B2 (ja) 超音波装置
JPH0670928A (ja) 超音波診断装置の遅延時間補正方法および超音波診断装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees