JP2879828B2 - 超音波３次元物体認識方式 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、超音波３次元物体認識方式に関し、例え
ば、３次元物体の自動認識装置、ロボットの目、FA（フ
ァクトリーオートメーション）、３次元コピア、３次元
ファクシミリ等に適用されるものである。

従来技術 FA（ファクトリーオートメーション）に於ける利用を
目的として、３次元形状を有する物体の自動認識技術が
TVカメラを用いる方式を中心として数多く研究されてい
る。しかしながら、上記の方式では、入力データが膨大
な量である上に、金属の様に光を鏡面反射する透明な物
体は取扱うことができない。

一方、超音波を用いる方式では対象物体の概形は測定
できても、その情報から対象物体の識別を行ったり、位
置、回転角度を推定したり、対象物体の高精細な像を構
成することはできなかった。対象物体が平面の場合は、
上記の目的を達成する方式が知られているが、対象物体
が３次元形状を有する場合には、従来技術では対象物体
の識別を行ったり、位置、回転角度を推定したり、対象
物体の高精細な増を構成することはできなかった。

また、３次元物体の認識のために、対象物体に超音波
を照射し、その散乱波を測定することにより、対象物体
の３次元的な形状を計測してその情報から対象物体の認
識を行う方式としては、得られた３次元像を直接ニュー
ラルネットワークに学習される方式がある。しかしなが
ら、この方式によって、対象物体の認識を、その置かれ
た位置や回転角度によらず行うためには、あらゆる位
置、あらゆる回転角度に対象物体を置いた場合の像を学
習させる必要があり、その学習データの量が膨大となる
だけでなく、認識率も低下するという実用上の問題があ
った。

目的 本発明は、上述のごとき欠点を解決するためになされ
たもので、３次元形状を有する対象物体に超音波を照射
し、その散乱液から対象物体の識別、及び位置、回転角
度の推定、さらに像再生を行うための超音波３次元物体
認識方式を提供することを目的としてなされたものであ
る。

構成 本発明は、上記目的を達成するために、（１）超音波
を対象物体に照射し、その散乱波を測定することにより
対象物体の識別、及び位置、回転角度の推定、さらに像
再生を行う超音波３次元物体認識方式において、１個以
上の送波器からバースト波を対象物体に照射し、その散
乱波を複数個の受波器で測定し、XY方向については音響
ホログラフィ法を用いて像を再生し、Ｚ方向については
時間的な分離を行うことにより像を再生し、こうして得
られた物体の概形をニューラルネットワークに学習させ
ることにより、対象物体の識別、及び位置、回転角度の
推定、さらに像再生を行うこと、更には、（２）３次元
形状を有する複数の物体をその置かれた位置および回転
角度によらず認識するために、対象物体に超音波を照射
し、その散乱波を測定し、XY方向についてはホログラフ
ィ法によって分離し、Ｚ方向については時間的に分離し
て前記対象物体の３次元像を求め、Ｚ方向に閾値操作す
ることによって対象物体の表面の形状を求め、そののち
に対象物体の重心および慣性の軸を計算することによ
り、対象物体の位置及び回転角度について正規化し、さ
らにその対象物体の特徴量を計算し、予め測定しておい
て参照となる物体の特徴量と比較することによって対象
物体の認識を行うこと、更には、（３）３次元形状を有
する複数の物体をその置かれた位置および回転角度によ
らず認識するために、対象物体に超音波を照射し、その
散乱波を測定し、XY方向についてはホログラフィ法によ
って分離し、Ｚ方向については時間的に分離して対象物
体の３次元像を求め、該３次元像をニューラルネットワ
ークに予め学習させることによって前記３次元像から対
象物体の表面の形状を求め、そののちに対象物体の重心
および慣性の軸を計算することにより、対象物体の位置
及び回転角度について正規化し、さらに、その対象物体
の特徴量を計算し、予め測定しておいた参照となる物体
の特徴量と比較することによって対象物体の認識を行う
ことを特徴としたものである。以下、本発明の実施例に
基づいて説明する。

まず、本発明の概要を説明する。

対象物体に第２図のような波形の超音波（バースト
波）を照射し、その散乱波の測定値から３次元的な形状
を持つ対象物体の識別、位置、回転角度の推定、対象物
体の高精細な像の構成等を行う場合において、まず、対
象物体の概形を再構成する。その方法は、XY方向につい
ては以下で延べるような音響ホログラフィ法を用い、Ｚ
方向については時間的に分離する方法を用いる。次に、
こうして得られた物体の概形をニューラルネットに学習
させることにより、３次元的な形状を持つ対象物体の識
別、位置、回転角度の推定、対象物体の高精細な像の構
成等を行う。これを図示したのが第３図である。

次に、本発明の基本動作について第１図に基づいて説
明する。１は対象物体、２は超音波送波器、３はA/D変
換器、４は超音波受波器（ｎ×ｎのレシーバーアレイと
増幅・ノイズ除去フィルター）、５は計算機である。超
音波送波器２から第２図に示す様なバースト波を対象物
体１に向けて照射する。第２図において波の存在する領
域ではその波形は正弦波（たとえば40KHz）である。こ
の時、超音波受波器４で測定された超音波の音圧をA/D
変換器３を通すことにより計算機５の内に取込み、表示
すると第４図のようになる。計算機５の中で、この波形
を第５図のように時間方向に切断する。切断間隔は１周
期の整数倍毎にすれば良い。この時、時間方向について
伝搬速度をかけることによって（往復距離の時間である
から、距離情報を取りだす時は1/2倍する）対象物体の
奥行に関する情報が得られる。次にXY方向に関する像再
生法であるが、切断された各区間のなかでは、測定され
た音圧は連続正弦波とみなすことができるから、通常の
音響ホログラフィ法を用いることができる。超音波レシ
ーバーアレイがｎ×ｎで、奥行方向の分割数がｍ個のと
きは得られる情報は第６図に示すようにｎ×ｎ×ｍに成
る。像の再生は、超音波レシーバーアレイを対象物体に
対して主走査方向、副走査方向にｂ×ｂ回走査しなが
ら、ニューラルネットを学習させ再生像を出力すること
により行う。

次に、本発明の請求項１の１番目の実施例を第７図に
基づいて説明する。21は上記の様にして得られた対象物
体の概形（ｎ×ｎ×ｍ）、22は３層フィードフォーワー
ド型のニューラルネット、23はニューラルネットの出力
結果をそれぞれ表わす。

Ｋ種類の対象物体を識別するニューラルネットは次の
様に構成する。対象物体の概形21はｎ×ｎ×ｍの情報か
らなるので、ニューラルネット22の入力ユニットもｎ×
ｎ×ｍ個にする。中間層のユニット数は適宜に決めるこ
とができる。出力層のユニット数はＫ個にする。入力デ
ータとしては上記の対象物体の概形（ｎ×ｎ×ｍの情
報）を用い、Ｋ種類の対象物体を識別するための教師デ
ータとしては、対象物体の範疇を示すユニットに１を出
力し、その他のユニットには０を出力するＫ次元のベク
トルを与えるように構成する。すなわち、対象物体１番
目の範疇に属するときは、（1,0,0,0,…,0）を教師デー
タとして与え、２番目の範疇に属するときは、（0,1,0,
0,…,0）を教師データとして与える。こうして、入力デ
ータとそれに対する出力データの組が与えられると、周
知の方式バック・プロパゲーション法によって、望まし
い出力をするようなニューラルネットワークを構成する
ことができる。

次に、本発明の請求項１の２番目の実施例について説
明する。上記では、Ｋ種類の対象物体を識別するニュー
ラルネットを構成したが、対象物体の置かれた位置を推
定するニューラルネットは次の様に構成すれば良い。す
なわち、ニューラルネットの入力及び、入力層、中間層
は上記と同様であるが、出力層としては、ｘ方向にＰ段
階、Ｙ方向にＱ段階、Ｚ方向にＲ段階で推定するものと
すると、出力層のユニット数を（Ｐ＋Ｑ＋Ｒ）個とす
る。学習データは次の様に構成する。すなわち、対象物
体の位置を推定するための教師データとしては、対象物
体の位置を示すユニットに１を出力し、その他のユニッ
トには０を出力する（Ｐ＋Ｑ＋Ｒ）次元のベクトルを与
えるように構成する。すなわち対象物体の置かれている
位置が（s,t,u）である場合、ｓ番目、ｓ＋ｔ番目、
（ｓ＋ｔ＋ｕ）番目のユニットだけを１として残りを０
とするベクトルを教師データとして与える。学習方式は
上記と同様である。

次に、本発明の請求項１の３番目の実施例について説
明する。対象物体の置かれた角度を推定するニューラル
ネットは次の様に構成すれば良い。すなわち、ニューラ
ルネットの入力及び、入力層、中間層は上記と同様であ
るが、出力層としては、角度方向にＲ段階で推定するも
のとすると、出力層のユニット数をＲ個とする。学習デ
ータは次の様に構成する。すなわち、対象物体の位置を
推定するための教師データとしては、対象物体の位置を
示すユニット１に出力し、その他のユニットには０を出
力する次元のベクトルを与えるように構成する。すなわ
ち、対象物体の置かれている位置がｓである場合、ｓ番
目のユニットだけを１として残りを０とするベクトルを
教師データとして与える。学習方式は上記と同様であ
る。

次に、本発明の請求項１の４番目の実施例を第８図に
基づいて説明する。31は上記の様にして得られた対象物
体の概形（ｎ×ｎ×ｍ）、32は３層フィードフォーワー
ド型のニューラルネットを、33はニューラルネットの出
力結果をそれぞれ表わす。ニューラルネットの入力層の
ユニット数はｂ×ｂ×ｍ（ただしｂ＜＝ｎ）で、中間層
のユニット数は適宜に選ぶことができる。出力層のユニ
ット数は表示したい大きさに選ぶことができるが、たと
えば、ｃ×ｃ×ｄとする。学習データは（ｃ×（ｎ−
ｂ））×（ｃ×（ｎ−ｂ））×ｄの大きさに構成する
（対象物体の精密な形状を用いる）。本発明の実施例の
ニューラルネットは入力と出力をそれぞれ走査しなが
ら、学習、出力することにその特徴が在る。

第９図は、本発明の請求項２及び３に対する実施例を
説明するための図で、図中、11は超音波照射器、12は対
象物体、13はレシーバアレイである。以下の説明におい
ては受波器の座標を（x,y,H）で、対象物体の座標を
（ｘ′,y′,z′）で表すことにする。対象物体の反射係
数をξ（ｘ′,y′）とし、表面の方程式を ｚ′＝ξ（ｘ′,y′） と仮定する。位置r0に置かれた照射器11から、対象物体
12に向けて波形ベクトルk_in＝（k sinθ,0,−k cosθ）
の超音波を時刻ｔ＝０から照射する（θは照射角度）。
この時、入射超音波の音圧P_in（r,t）は P_in（r,t）＝Θ（ωｔ−k_in・（ｒ−r0）exp（jk_in・
（ｒ−r₀）−ｊωｔ） で与えられる。ここで、ωは角周波数を、Θ（ｘ）はｘ
＜０のとき0,x≧０のとき１となる関数を表す。

以上の設定の基で、位置ｒに置かれたレシーバーによ
る時刻ｔでの測定音圧の理論値Ｐ（r,t）は Ｐ（r,t）＝jexp（jkr）Ｆ（ｒ）/4（πｒ）∫∫dx′dy′exp（jV・ｒ′） ・ξ（ｘ′,y′）Θ（|r′−r₀|＋|r′−r|） となる。ここで、簡単のため、表記 ｒ＝|r| Ｖ＝（Vx,Vy,Vz） Vx＝−ｋ（x/r−sinθ） Vy＝−ｋ（y/r） Vz＝−ｋ（z/r＋cosθ） ｒ′＝（ｘ′,y′，ξ（ｘ′,y′）） Ｆ（ｒ）＝|V|²/Vz を用いた。この式から数学的な変形を行うことで、次の
式を導くことができる。

ξ（ｘ′,y′）Θ（cT＋（１＋cosθ）ξ（ｘ′,y′））exp （−jk（１＋cosθ）ξ（ｘ′,y′） ＝（kz）²/πexp（−jkx′sinθ）∫∫dxdyP（r,T＋（ｒ＋r₀）/c） exp（jk（xx′＋yy′）/r） ここで、ｃは音速を、Ｔは時間のパラメータをそれぞ
れ表す。この式を利用すると、レシーバーアレイによっ
て測定された音圧から対象物体の形状を計算することが
できる。

この方式によって得られる対象物体の３次元像（上式
の左辺の絶対値）は、座標（ｘ′,y′,z′）における対
象物体の存在の可能性を表す値Ａ（ｘ′,y′,z′）（第
10図のようなデータの形）となり、理論的には、 となる。そこで、Ａ（ｘ′,y′,z′）から、ξ（ｘ′,
y′）を求めるためには、ｚ方向に閾値処理すればよ
い。ξ（ｘ′,y′）の推定値はこの方式で得られるが、
一般には、雑音や測定誤差などの理由によりＡ（x,y,
z）はボケを持ったものとなっているので、この像から
対象物体の表面の形状ｚ′＝ξ（ｘ′,y′）をより正確
に求めるためには、ニューラルネットワークに与えられ
た像を学習させる方式を用いてもよい。

以上のようにして、対象物体の表面を表す関数ξ
（ｘ′,y′）が求められた。以下、この関数を用いて、
対象物体の識別を行う方式を説明する。

対象物体の識別を認識を行うために上記の３次元像Ａ
（ｘ′,y′,z′）をニューラルネットワーク直接学習さ
せる方式においては、対象物体のあらゆる置かれ方につ
いて学習を行う必要があるため、膨大な学習データを必
要とし、データ収集にも、ニューラルネットワークの学
習にも時間がかかる上、認識率も低下するという欠点が
あった。

先ず、重心および慣性の主軸の定義と求め方について
述べる。

対象物体の表面を表す関数ξ（ｘ′,y′）が与えられ
た時、以下の値を次のように定義する。

m_ij＝∫∫xⁱyⁱξ（ｘ′,y′）dxdy この時、対象物体の重心の座標（gx,gy）は次のよう
に与えられる。

gx＝m₁₀/m₀₀ gy＝m₀₁/m₀₀ また、対象物体の慣性の主軸の傾きθ（０≦θ≦180
゜）は次のように計算できる。

θ＝tan^-1［｛（m₂₀′−m₀₂′） ＋sqrt（（m₂₀′−m₀₂′）^２＋4m₁₁′^２）｝/2
m₁₁′］ ここで、 m₂₀′＝m₂₀−m₁₀ ²/m₀₀ m₁₁′＝m₁₁−m₁₀m₀₁/m₀₀ m₂₀′＝m₀₂−m₀₁ ²/m₀₀ これらの時から対象物体の表面を表す関数が与えられ
た時、その重心と慣性の主軸の傾きが計算できることが
わかる。なお、ここで重心と慣性の主軸と述べたのは物
理的な意味ではなく、画像的な意味である。物理的な重
心、および慣性の主軸を求めるためには、対象物体の材
質がどのような分布になっているかを知る必要がある
が、本発明では、対象物体をその形状によって認識する
ことが目的であるから、画像的な重心と慣性の主軸が明
らかになれば十分である。

対象物体を認識するための処理は以下の通りである。

認識するべきｎ個の対象物体について、重心を原点に
して、慣性の主軸をｘ軸と一致させ超音波の測定を行い
ξ（x,y）を求めて、特徴量を予め求めておく。ここ
で、用いる特徴量としては、例えば、各辺がxyzのどれ
かの軸と平行で対象物体に外接する直方体の大きさ、あ
るいは、対象物体の与えられた高さｈより上の部分の重
心及び慣性の主軸（以下、ｈ−重心、ｈ−主軸と呼
ぶ）、また、特定の位置（x,y）での高さなどである。
特徴量としては認識するべき物体を完全に識別できるた
め必要十分に選んでおく。

次に、認識すべき物体に超音波を照射し、その散乱波
の情報から対象物体の表面の形状ξ（x,y）を既に述べ
た方法により計算し、その重心、及び慣性の主軸を算出
する。しかる後に、ξ（x,y）を重心が原点になるよう
に平行移動し、慣性の主軸がｘ軸と一致するように回転
する。こうして、平行移動と回転に関する正規化を行っ
てから、特徴量を求め、予め計算してあった対象物体の
候補の特徴量と比較することによって、どの対象物体で
あるかを判定する。なお、慣性の主軸の傾きは０≦θ≦
180゜の範囲でしか求まらないので、回転としてはθと
（θ＋180゜）の両方の場合について以下の特徴量を計
算してみる必要がある。

特徴量の比較においては、全ての特徴量を比較するよ
りも、先ず外接する直方体の大きさから該当する物体種
類を限り、次に、ｈ−重心、ｈ−慣性軸から、種類を少
なくし、最後に特定の位置（x,y）での高さを比較して
対象物体の種類を決定するといった多段階決定アルゴリ
ズムをあたえる識別木を予め構成しておくと効率的であ
る。

第11図は、以上説明した対象物体を認識するためのフ
ローチャートを示したものである。まず、入射超音波の
時間的、空間的な時空音圧データＰ（r,t）を得る（ste
p1）。音響ポログラフィ法と時間分離法を用いて、３次
元物体像Ａ（x,y,z）を得る（step2）。次に、ｚ方向に
閾値処理あるいはニューラルネットワークに学習させる
方式を適用して物体表面の方程式ｚ＝ξ（x,y）を得る
（step3）。

次に、重心、慣性主軸を算出し、ξ（x,y）を重心が
原点になるように平行移動し、慣性の主軸がｘ軸と一致
するように回転して、平行移動と回転に関する正規化を
行う（step4）。最後に、特徴量の比較をして物体の認
識を行う（step5）。

効果 以上の説明から明らかなように、本発明によると、３
次元形状を有する物体の識別、および、位置、回転角度
の推定、像再生が可能になる。特に、これまではTVカメ
ラでは認識できなかった、金属及び透明物体等の認識が
可能になる。その結果、FAにおいて著しい貢献が期待で
きる。

また、対象物体の置かれた位置及び回転角度によらな
い物体の認識が可能となる。

【図面の簡単な説明】

第１図は、本発明の基本動作を説明するための図、第２
図は、超音波波形を示す図、第３図は、本発明によるニ
ューラルネットワークの適用を説明するための図、第４
図は、測定された超音波の音圧を示す図、第５図は、第
４図に示す波形を時間方向に切断した図、第６図は、超
音波レシーバーアレイがｎ×ｎで奥行方向の分割数がｍ
個の時に得られる情報を示す図、第７図は、本発明の請
求項１の第１実施例を説明するための図、第８図は、本
発明の請求項１の第４実施例を説明するための図、第９
図は、本発明の請求項２及び３の実施例を説明するため
の図、第10図は、対象物体の存在の可能性を表す値のデ
ータの形を示す図、第11図は、対象物体を認識するため
のフローチャートである。 １……対象物体、２……超音波送波器、３……A/D変換
器、４……超音波受波器（レシーバーアレイと増幅・ノ
イズ除去フィルター）、５……計算機。

フロントページの続き (56)参考文献 特開 昭61−258182（ＪＰ，Ａ) 特開 昭62−140078（ＪＰ，Ａ) 特開 昭62−140079（ＪＰ，Ａ) 特開 平２−39284（ＪＰ，Ａ) 特開 平２−39285（ＪＰ，Ａ) 特開 平２−39286（ＪＰ，Ａ) 特開 平３−251713（ＪＰ，Ａ) 特開 平４−127009（ＪＰ，Ａ) 特開 平３−188391（ＪＰ，Ａ) 特許2843356（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01S 15/89 G01S 13/89 G01B 17/00 G06F 15/62 G03H 3/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】超音波を対象物体に照射し、その散乱波を
   測定することにより対象物体の識別、及び位置、回転角
   度の推定、さらに像再生を行う超音波３次元物体認識方
   式において、１個以上の送波器からバースト波を対象物
   体に照射し、その散乱波を複数個の受波器で測定し、XY
   方向については音響ホログラフィ法を用いて像を再生
   し、Ｚ方向については時間的な分離を行うことにより像
   を再生し、こうして得られた物体の概形をニューラルネ
   ットワークに学習させることにより、対象物体の識別、
   及び位置、回転角度の推定、さらに像再生を行うことを
   特徴とする超音波３次元物体認識方式。
2. 【請求項２】３次元形状を有する複数の物体をその置か
   れた位置および回転角度によらず認識するために、対象
   物体に超音波を照射し、その散乱波を測定し、XY方向に
   ついてはホログラフィ法によって分離し、Ｚ方向につい
   ては時間的に分離して前記対象物体の３次元像を求め、
   Ｚ方向に閾値操作することによって対象物体の表面の形
   状を求め、そののちに対象物体の重心および慣性の軸を
   計算することにより、対象物体の位置及び回転角度につ
   いて正規化し、さらにその対象物体の特徴量を計算し、
   予め測定しておいて参照となる物体の特徴量と比較する
   ことによって対象物体の認識を行うことを特徴する超音
   波３次元物体認識方式。
3. 【請求項３】３次元形状を有する複数の物体をその置か
   れた位置および回転角度によらず認識するために、対象
   物体に超音波を照射し、その散乱波を測定し、XY方向に
   ついてはホログラフィ法によって分離し、Ｚ方向につい
   ては時間的に分離して対象物体の３次元像を求め、該３
   次元像をニューラルネットワークに予め学習させること
   によって前記３次元像から対象物体の表面の形状を求
   め、そののちに対象物体の重心および慣性の軸を計算す
   ることにより、対象物体の位置及び回転角度について正
   規化し、さらに、その対象物体の特徴量を計算し、予め
   測定しておいた参照となる物体の特徴量と比較すること
   によって対象物体の認識を行うことを特徴とする超音波
   ３次元物体認識方式。