JP2882861B2 - 超音波３次元物体撮像方式 - Google Patents
超音波３次元物体撮像方式Info
- Publication number
- JP2882861B2 JP2882861B2 JP2191035A JP19103590A JP2882861B2 JP 2882861 B2 JP2882861 B2 JP 2882861B2 JP 2191035 A JP2191035 A JP 2191035A JP 19103590 A JP19103590 A JP 19103590A JP 2882861 B2 JP2882861 B2 JP 2882861B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- ultrasonic
- image
- neural network
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
- Holo Graphy (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 技術分野 本発明は、超音波３次元物体撮像方式に関し、例え
ば、３次元物体の自動認識装置、ロボットの目、FA（フ
ァクトリーオートメーション）、３次元コピア、３次元
ファクシミリ等に適用されるものである。
ば、３次元物体の自動認識装置、ロボットの目、FA（フ
ァクトリーオートメーション）、３次元コピア、３次元
ファクシミリ等に適用されるものである。
従来技術 FA（ファクトリーオートメーション）に於ける利用を
目的として、３次元形状を有する物体の自動認識技術が
TVカメラを用いる方式を中心として数多く研究されてい
る。しかしながら、物体の３次元情報を取扱うものにつ
いては十分実用化されるに至ってなく、上記TVカメラを
用いる方式では、入力データが膨大な量である上に、金
属の様に光を鏡面反射する物体や透明な物体は取扱うこ
とができないという欠点がある。また、知能ロボット実
現のための必須条件の一つとして、対象物体の識別や計
測を行い、外界を認識することのできるロボットの目の
実現が望まれている。これまでの外界認識方法として
は、光波、Ｘ線、電磁波、音波等の波動媒体を用いる各
種の方式が提案されているが、未だに決定的なものは現
れていない。
目的として、３次元形状を有する物体の自動認識技術が
TVカメラを用いる方式を中心として数多く研究されてい
る。しかしながら、物体の３次元情報を取扱うものにつ
いては十分実用化されるに至ってなく、上記TVカメラを
用いる方式では、入力データが膨大な量である上に、金
属の様に光を鏡面反射する物体や透明な物体は取扱うこ
とができないという欠点がある。また、知能ロボット実
現のための必須条件の一つとして、対象物体の識別や計
測を行い、外界を認識することのできるロボットの目の
実現が望まれている。これまでの外界認識方法として
は、光波、Ｘ線、電磁波、音波等の波動媒体を用いる各
種の方式が提案されているが、未だに決定的なものは現
れていない。
一方、超音波を用いる方式では対象物体の概形は測定
できても、その情報から対象物体の識別を行ったり、位
置、回転角度を推定したり、対象物体の高精細な像を構
成することはできなかった。例えば、平面物体を対象と
したものはあるが、対象物体が３次元形状を有する場合
には、従来技術では対象物体の識別を行ったり、位置、
回転角度を推定したり、対象物体の高精細な像を構成す
ることはできなかった。
できても、その情報から対象物体の識別を行ったり、位
置、回転角度を推定したり、対象物体の高精細な像を構
成することはできなかった。例えば、平面物体を対象と
したものはあるが、対象物体が３次元形状を有する場合
には、従来技術では対象物体の識別を行ったり、位置、
回転角度を推定したり、対象物体の高精細な像を構成す
ることはできなかった。
また、３次元物体の認識に超音波を用いる利点とし
て、以下の３点を挙げることができる。まず第一に、音
波は伝搬速度が遅いので、物体からの散乱波の位相や音
圧の時間的な変化を測定することができ、その結果、対
象物体の３次元的な情報を直接得ることができる。テレ
ビカメラを利用する方式等の光波を媒体とする方式で
は、対象物体の２次元的な像は比較的簡単に得られる
が、奥行方向の情報を正確に推定することは画像理解の
技術が必要となるために難しい。この理由から、テレビ
カメラを主たるセンサーとして作られたロボットでさえ
も、対象物体の有無および対象物体までの距離を測るた
めの目的で超音波センサーを搭載していることが多い。
超音波の持つこの長所を応用した研究として、盲人誘導
用システムの研究がある。
て、以下の３点を挙げることができる。まず第一に、音
波は伝搬速度が遅いので、物体からの散乱波の位相や音
圧の時間的な変化を測定することができ、その結果、対
象物体の３次元的な情報を直接得ることができる。テレ
ビカメラを利用する方式等の光波を媒体とする方式で
は、対象物体の２次元的な像は比較的簡単に得られる
が、奥行方向の情報を正確に推定することは画像理解の
技術が必要となるために難しい。この理由から、テレビ
カメラを主たるセンサーとして作られたロボットでさえ
も、対象物体の有無および対象物体までの距離を測るた
めの目的で超音波センサーを搭載していることが多い。
超音波の持つこの長所を応用した研究として、盲人誘導
用システムの研究がある。
第二に、超音波を用いると、金属、透明物、黒色物、
および流体等の認識が可能になる。これらの物体は、光
に対する反射の強さ、弱さ、および透明性等のために、
テレビカメラを用いて認識することは不可能に近い。FA
等への応用においては、製品の部品が金属製の場合もあ
り、そのような時に部品を認識するためには超音波によ
る方法が役立つ。上記の利点を応用したものとして、非
破壊検査に超音波映像を利用する研究があり、また、ス
ーパーマーケット等において空きビン150種類を識別す
るシステムや、ビンの中の清涼飲料水の水位や紙パック
側面のストローの有無等の自動チェック・システムなど
が実用化されている。
および流体等の認識が可能になる。これらの物体は、光
に対する反射の強さ、弱さ、および透明性等のために、
テレビカメラを用いて認識することは不可能に近い。FA
等への応用においては、製品の部品が金属製の場合もあ
り、そのような時に部品を認識するためには超音波によ
る方法が役立つ。上記の利点を応用したものとして、非
破壊検査に超音波映像を利用する研究があり、また、ス
ーパーマーケット等において空きビン150種類を識別す
るシステムや、ビンの中の清涼飲料水の水位や紙パック
側面のストローの有無等の自動チェック・システムなど
が実用化されている。
第三に、超音波による方式では、濁水中や暗室、煙の
充満している状況等でも物体認識が可能になる。この点
を利用した物としては、海底での極限作業や火災現場で
の人命救助等を行なうロボットの目に超音波を用いよう
とする研究がある。
充満している状況等でも物体認識が可能になる。この点
を利用した物としては、海底での極限作業や火災現場で
の人命救助等を行なうロボットの目に超音波を用いよう
とする研究がある。
一方、超音波を用いる物体認識法は、超音波の波長が
長いこと、受波アレイの大きさと受波器の個数とに制限
があることから、解像度の点ではテレビカメラを用いる
方式に及ばず、このことが原因で生体計測および水中使
用を目的とするもの以外は十分実用化されるには至って
いない。
長いこと、受波アレイの大きさと受波器の個数とに制限
があることから、解像度の点ではテレビカメラを用いる
方式に及ばず、このことが原因で生体計測および水中使
用を目的とするもの以外は十分実用化されるには至って
いない。
３次元物体の認識のために、対象物体に超音波を照射
し、その散乱波を測定することにより、対象物体の３次
元的な形状を計測する方式としては、例えば、「AN ULT
RASONIC ROBOT EYE FOR OBJECT IDENTIFICATION USING
NEURAL NETWORK」（S.Watanabe,M.Yoneyama,1989 ULTRA
SONICS SYMPOOSIUM P.1083〜1086）に記載されているよ
うに、得られた音圧データをそのままxy方向については
音響ホログラフィ法で分離し、Ｚ方向については時間的
に分離した後にニューラルネットワークに学習させる方
式がある。しかしながら、この方式では、学習した形状
の物体は正確に撮像できるが、未学習データの物体像の
撮像が困難であるという欠点があった。
し、その散乱波を測定することにより、対象物体の３次
元的な形状を計測する方式としては、例えば、「AN ULT
RASONIC ROBOT EYE FOR OBJECT IDENTIFICATION USING
NEURAL NETWORK」（S.Watanabe,M.Yoneyama,1989 ULTRA
SONICS SYMPOOSIUM P.1083〜1086）に記載されているよ
うに、得られた音圧データをそのままxy方向については
音響ホログラフィ法で分離し、Ｚ方向については時間的
に分離した後にニューラルネットワークに学習させる方
式がある。しかしながら、この方式では、学習した形状
の物体は正確に撮像できるが、未学習データの物体像の
撮像が困難であるという欠点があった。
目的 本発明は、上述のごとき欠点を解決するためになされ
たもので、３次元形状を有する対象物体に超音波を照射
し、その散乱波から対象物体の識別、及び位置、回転角
度の推定、さらに像再生を行うための超音波３次元物体
撮像方式を提供すること、また、ニューラルネットワー
クの入力として、対象物体の形状そのものだけではな
く、対象物体の局所的な特徴量も用いることによって、
ニューラルネットワークに画像再生の一般法則を学習さ
せ、未知の物体の像も高精細に再生するようにした超音
波３次元物体撮像方式を提供することを目的としてなさ
れたものである。
たもので、３次元形状を有する対象物体に超音波を照射
し、その散乱波から対象物体の識別、及び位置、回転角
度の推定、さらに像再生を行うための超音波３次元物体
撮像方式を提供すること、また、ニューラルネットワー
クの入力として、対象物体の形状そのものだけではな
く、対象物体の局所的な特徴量も用いることによって、
ニューラルネットワークに画像再生の一般法則を学習さ
せ、未知の物体の像も高精細に再生するようにした超音
波３次元物体撮像方式を提供することを目的としてなさ
れたものである。
構成 本発明は、上記目的を達成するために、超音波を対象
物体に照射し、その散乱波をアレイ状の複数の受波器で
測定し、XY方向については音響ホログラフィ法によって
分離し、Ｚ方向については時間的に分離して対象物体の
超音波による３次元像を求め、その後に、複数の画像処
理フィルターを用いて、局所的な画像の特徴量を複数個
求め、該画像の特徴量を入力として物体の正確な形状再
構成することをニューラルネットワークに学習させるこ
とによって行うことを特徴としたものである。
物体に照射し、その散乱波をアレイ状の複数の受波器で
測定し、XY方向については音響ホログラフィ法によって
分離し、Ｚ方向については時間的に分離して対象物体の
超音波による３次元像を求め、その後に、複数の画像処
理フィルターを用いて、局所的な画像の特徴量を複数個
求め、該画像の特徴量を入力として物体の正確な形状再
構成することをニューラルネットワークに学習させるこ
とによって行うことを特徴としたものである。
まず、本発明の概要を説明する。
対象物体に第２図のような波形の超音波（バースト
波）を照射し、その散乱波の測定値から３次元的な形状
を持つ対象物体の識別、位置、回転角度の推定、対象物
体の高精細な像の構成等を行う場合において、まず、対
象物体の概形を再構成する。その方法は、XY方向につい
ては以下で述べるような音響ホログラフィ法を用い、Ｚ
方向については時間的に分離する方法を用いる。次に、
こうして得られた物体の概形をニューラルネットに学習
させることにより、３次元的な形状を持つ対象物体の識
別、位置、回転角度の推定、対象物体の高精細な像の構
成等を行う。これを図示したのが第３図である。
波）を照射し、その散乱波の測定値から３次元的な形状
を持つ対象物体の識別、位置、回転角度の推定、対象物
体の高精細な像の構成等を行う場合において、まず、対
象物体の概形を再構成する。その方法は、XY方向につい
ては以下で述べるような音響ホログラフィ法を用い、Ｚ
方向については時間的に分離する方法を用いる。次に、
こうして得られた物体の概形をニューラルネットに学習
させることにより、３次元的な形状を持つ対象物体の識
別、位置、回転角度の推定、対象物体の高精細な像の構
成等を行う。これを図示したのが第３図である。
次に、超音波３次元物体撮像方式の一例を第１図に基
づいて説明する。１は対象物体、２は超音波送波器、３
はA/D変換器、４は超音波受波器（ｎ×ｎのレシーバー
アレイと増幅・ノイズ除去フィルター）、５は計算機で
ある。超音波送波器２から第２図に示す様なバースト波
を対象物体１に向けて照射する。第２図において波の存
在する領域ではその波形は正弦波（たとえば40K Hz）で
ある。この時、超音波受波器４で測定された超音波の音
圧をA/D変換器３を通すことにより計算機５の内に取込
み、表示すると第４図のようになる。計算機５の中で、
この波形を第５図のように時間方向に切断する。切断間
隔は１周期の整数倍毎にすれば良い。この時、時間方向
について伝搬速度をかけることによって（往復距離の時
間であるから、距離情報を取りだす時は1/2倍する）対
象物体の奥行に関する情報が得られる。次にXY方向に関
する像再生法であるが、切断された各区間のなかでは、
測定された音圧は連続正弦波とみなすことができるか
ら、通常の音響ホログラフィ法を用いることができる。
超音波レジーバーアレイがｎ×ｎで、奥行方向の分割数
がｍ個のときは得られる情報は第６図に示すようにｎ×
ｎ×ｍに成る。
づいて説明する。１は対象物体、２は超音波送波器、３
はA/D変換器、４は超音波受波器（ｎ×ｎのレシーバー
アレイと増幅・ノイズ除去フィルター）、５は計算機で
ある。超音波送波器２から第２図に示す様なバースト波
を対象物体１に向けて照射する。第２図において波の存
在する領域ではその波形は正弦波（たとえば40K Hz）で
ある。この時、超音波受波器４で測定された超音波の音
圧をA/D変換器３を通すことにより計算機５の内に取込
み、表示すると第４図のようになる。計算機５の中で、
この波形を第５図のように時間方向に切断する。切断間
隔は１周期の整数倍毎にすれば良い。この時、時間方向
について伝搬速度をかけることによって（往復距離の時
間であるから、距離情報を取りだす時は1/2倍する）対
象物体の奥行に関する情報が得られる。次にXY方向に関
する像再生法であるが、切断された各区間のなかでは、
測定された音圧は連続正弦波とみなすことができるか
ら、通常の音響ホログラフィ法を用いることができる。
超音波レジーバーアレイがｎ×ｎで、奥行方向の分割数
がｍ個のときは得られる情報は第６図に示すようにｎ×
ｎ×ｍに成る。
次に、第７図を参照して、上述のごとき超音波レシー
バアレイを用いた超音波３次元物体撮像の一例について
説明する。第７図において、21は上記の様にして得られ
た対象物体の概形（ｎ×ｎ×ｍ）、22は３層フィードフ
ォーワード型のニューラルネット、23はニューラルネッ
トの出力結果をそれぞれ表わす。
バアレイを用いた超音波３次元物体撮像の一例について
説明する。第７図において、21は上記の様にして得られ
た対象物体の概形（ｎ×ｎ×ｍ）、22は３層フィードフ
ォーワード型のニューラルネット、23はニューラルネッ
トの出力結果をそれぞれ表わす。
Ｋ種類の対象物体を識別するニューラルネットは次の
様に構成する。対象物体の概形21はｎ×ｎ×ｍの情報か
らなるので、ニューラルネット22の入力ユニットもｎ×
ｎ×ｍ個にする。中間層のユニット数は適宜に決めるこ
とができる。出力層のユニット数はＫ個にする。入力デ
ータとしては上記の対象物体の概形（ｎ×ｎ×ｍの情
報）を用い、教師データとしては、対象物体が１番目の
範疇に属するときは、（１、０、０、・・・、０）、２
番目の範疇に属する時は、（０、１、０、０、、、
０）、、、のようにすれば良い。こうして、入力データ
とそれに対する出力データの組が与えられると、周知の
方式バック・プロパゲーション法によって、望ましい出
力をするようなニューラルネットワークを構成すること
ができる。
様に構成する。対象物体の概形21はｎ×ｎ×ｍの情報か
らなるので、ニューラルネット22の入力ユニットもｎ×
ｎ×ｍ個にする。中間層のユニット数は適宜に決めるこ
とができる。出力層のユニット数はＫ個にする。入力デ
ータとしては上記の対象物体の概形（ｎ×ｎ×ｍの情
報）を用い、教師データとしては、対象物体が１番目の
範疇に属するときは、（１、０、０、・・・、０）、２
番目の範疇に属する時は、（０、１、０、０、、、
０）、、、のようにすれば良い。こうして、入力データ
とそれに対する出力データの組が与えられると、周知の
方式バック・プロパゲーション法によって、望ましい出
力をするようなニューラルネットワークを構成すること
ができる。
なお、上記では、Ｋ種類の対象物体を識別するニュー
ラルネットを構成したが、対象物体の置かれた位置を推
定するニューラルネットは次の様に構成すれば良い。す
なわち、ニューラルネットの入力及び、入力層、中間層
は上記と同様であるが、出力層としては、ｘ方向にＰ段
階、Ｙ方向にＱ段階、Ｚ方向にＲ段階で推定するものと
すると、出力層のユニット数を（Ｐ＋Ｑ＋Ｒ）個とす
る。学習データは次の様に構成する。すなわち、対象物
体の置かれている位置が上記の段階の（ｓ、ｔ、ｕ）に
属する時、ｓ番目、（ｓ＋ｔ）番目、（ｓ＋ｔ＋ｕ）番
目のユニットだけを１とし残りを０とすればよい。学習
方式は上記と同様である。
ラルネットを構成したが、対象物体の置かれた位置を推
定するニューラルネットは次の様に構成すれば良い。す
なわち、ニューラルネットの入力及び、入力層、中間層
は上記と同様であるが、出力層としては、ｘ方向にＰ段
階、Ｙ方向にＱ段階、Ｚ方向にＲ段階で推定するものと
すると、出力層のユニット数を（Ｐ＋Ｑ＋Ｒ）個とす
る。学習データは次の様に構成する。すなわち、対象物
体の置かれている位置が上記の段階の（ｓ、ｔ、ｕ）に
属する時、ｓ番目、（ｓ＋ｔ）番目、（ｓ＋ｔ＋ｕ）番
目のユニットだけを１とし残りを０とすればよい。学習
方式は上記と同様である。
次に、対象物体の置かれた角度を推定するニューラル
ネットの構成について説明する。ニューラルネットの入
力及び、入力層、中間層は上記と同様であるが、出力層
としては、角度方向にＲ段階で推定するものとすると、
出力層のユニット数をＲ個とする。学習データは次の様
に構成する。すなわち、対象物体の置かれている位置が
上記の段階のｓに属する時、ｓ番目のユニットだけを１
とし残りを０とすればよい。学習方式は上記と同様であ
る。
ネットの構成について説明する。ニューラルネットの入
力及び、入力層、中間層は上記と同様であるが、出力層
としては、角度方向にＲ段階で推定するものとすると、
出力層のユニット数をＲ個とする。学習データは次の様
に構成する。すなわち、対象物体の置かれている位置が
上記の段階のｓに属する時、ｓ番目のユニットだけを１
とし残りを０とすればよい。学習方式は上記と同様であ
る。
第８図は、他の例を説明するための図で、31は上記の
様にして得られた対象物体の概形（ｎ×ｎ×ｍ）、32は
３層フィードフォーワード型のニューラルネットを、33
はニューラルネットの出力結果をそれぞれ表わす。ニュ
ーラルネットの入力層のユニット数はｂ×ｂ×ｍ（ただ
しｂ＜＝ｎ）で、中間層のユニット数は適宜に選ぶこと
ができる。出力層のユニット数は表示したい大きさに選
ぶことができるが、たとえば、ｃ×ｃ×ｄとする。学習
データは（ｃ×（ｎ−ｂ））×（ｃ×（ｎ−ｂ））×ｄ
の大きさに構成する（対象物体の精密な形状を用い
る）。この例の場合、ニューラルネットは入力と出力を
それぞれ走査しながら、学習、出力することにその特徴
が在る。
様にして得られた対象物体の概形（ｎ×ｎ×ｍ）、32は
３層フィードフォーワード型のニューラルネットを、33
はニューラルネットの出力結果をそれぞれ表わす。ニュ
ーラルネットの入力層のユニット数はｂ×ｂ×ｍ（ただ
しｂ＜＝ｎ）で、中間層のユニット数は適宜に選ぶこと
ができる。出力層のユニット数は表示したい大きさに選
ぶことができるが、たとえば、ｃ×ｃ×ｄとする。学習
データは（ｃ×（ｎ−ｂ））×（ｃ×（ｎ−ｂ））×ｄ
の大きさに構成する（対象物体の精密な形状を用い
る）。この例の場合、ニューラルネットは入力と出力を
それぞれ走査しながら、学習、出力することにその特徴
が在る。
第９図は、本発明による３次元物体撮像方式の一実施
例を説明するための構成図で、図中、11は超音波照射
器、12は対象物体、13は受波器（レシーバーアレイ）で
ある。
例を説明するための構成図で、図中、11は超音波照射
器、12は対象物体、13は受波器（レシーバーアレイ）で
ある。
ここで、受波器の座標を（x,y,H）で、対象物体の座
標を（ｘ′,y′,z′）で表すことにする。対象物体の反
射係数をξ（ｘ′,y′）とし、表面の方程式を ｚ′＝ζ（ｘ′,y′） と仮定する。位置r0に置かれた超音波照射器11から、対
象物体12に向けて波数ベクトルk in＝（k sinθ,0,−k
cosθ）の超音波を時刻ｔ＝０から照射する（θは照射
角度）。この時、入射超音波の音圧Pin（r,t）は Pin（r,t）＝Θ（ωｔ−ｋin・（ｒ−r0）exp（jk in・（ｒ−r0）−ｊωｔ） で与えられる。ここで、ωは角周波数を、Θ（ｘ）はｘ
＜０のとき0,x≧０のとき１となる関数を表す。
標を（ｘ′,y′,z′）で表すことにする。対象物体の反
射係数をξ（ｘ′,y′）とし、表面の方程式を ｚ′＝ζ（ｘ′,y′） と仮定する。位置r0に置かれた超音波照射器11から、対
象物体12に向けて波数ベクトルk in＝（k sinθ,0,−k
cosθ）の超音波を時刻ｔ＝０から照射する（θは照射
角度）。この時、入射超音波の音圧Pin（r,t）は Pin（r,t）＝Θ（ωｔ−ｋin・（ｒ−r0）exp（jk in・（ｒ−r0）−ｊωｔ） で与えられる。ここで、ωは角周波数を、Θ（ｘ）はｘ
＜０のとき0,x≧０のとき１となる関数を表す。
以上の設定の基で、位置ｒに置かれた受波器13による
時刻ｔでの測定音圧の理論値Ｐ（r,t）は Ｐ（r,t）＝jexp（jkr）Ｆ（ｒ）／（４πｒ）∫∫dx′dy′exp（jV・ｒ′） ・ξ（ｘ′,y′）Θ（|r′−r0|＋|r′−r|） ……（１） となる。ここで、簡単のため、表記 ｒ＝|r| Ｖ＝（Vx,Vy,Vz） Vx＝−ｋ（x/r−sinθ） Vy＝−ｋ（y/r） Vz＝−ｋ（z/r＋cosθ） ｒ′＝（ｘ′,y′，ζ（ｘ′,y′）） Ｆ（ｒ）＝|V|2/Vz を用いた。この式から数学的な変形を行うことで、次の
式を導くことができる。
時刻ｔでの測定音圧の理論値Ｐ（r,t）は Ｐ（r,t）＝jexp（jkr）Ｆ（ｒ）／（４πｒ）∫∫dx′dy′exp（jV・ｒ′） ・ξ（ｘ′,y′）Θ（|r′−r0|＋|r′−r|） ……（１） となる。ここで、簡単のため、表記 ｒ＝|r| Ｖ＝（Vx,Vy,Vz） Vx＝−ｋ（x/r−sinθ） Vy＝−ｋ（y/r） Vz＝−ｋ（z/r＋cosθ） ｒ′＝（ｘ′,y′，ζ（ｘ′,y′）） Ｆ（ｒ）＝|V|2/Vz を用いた。この式から数学的な変形を行うことで、次の
式を導くことができる。
ξ（ｘ′,y′）Θ（cT＋（１＋cosθ）ζ（ｘ′,y′））exp（−jk（１＋cos
θ）ζ（ｘ′,y′）） ＝（kz）2/πexp（−jkx′sinθ）∫∫dxdyP（r,T＋（ｒ＋r0）/c） exp（jk（xx′＋yy′）/r） ……（２） ここで、ｃは音速を、Ｔは時間のパラメータをそれぞ
れ表す。この式を利用すると、レシーバーアレイ13によ
って測定された音圧から対象物体の形状を計算すること
ができる。
θ）ζ（ｘ′,y′）） ＝（kz）2/πexp（−jkx′sinθ）∫∫dxdyP（r,T＋（ｒ＋r0）/c） exp（jk（xx′＋yy′）/r） ……（２） ここで、ｃは音速を、Ｔは時間のパラメータをそれぞ
れ表す。この式を利用すると、レシーバーアレイ13によ
って測定された音圧から対象物体の形状を計算すること
ができる。
この方式によって得られる対象物体の３次元像（上式
の左辺の値）は、座標（ｘ′,y′,z′）における対象物
体の算在の可能性を表す値Ａ（ｘ′,y′,z′）となり、
理論的には、 となる。
の左辺の値）は、座標（ｘ′,y′,z′）における対象物
体の算在の可能性を表す値Ａ（ｘ′,y′,z′）となり、
理論的には、 となる。
簡単のため、Ａ（ｘ′,y′,z′）の絶対値を取ること
によって得られる画像を再びＡ（ｘ′,y′,z′）と表す
事にする。
によって得られる画像を再びＡ（ｘ′,y′,z′）と表す
事にする。
上記の様な超音波撮像方式によって得られた像Ａ
（ｘ′,y′,z′）から、正確な物体像を撮像する方法と
しては、例えば次のような方法が考えられる。
（ｘ′,y′,z′）から、正確な物体像を撮像する方法と
しては、例えば次のような方法が考えられる。
まず得られた画像に画像処理を施して、局所的な画像
の特徴量からなる画像を複数個（ｎ個）計算する。（Bi
（ｘ′,y′,z′）,i＝0,1,2,…,n）。
の特徴量からなる画像を複数個（ｎ個）計算する。（Bi
（ｘ′,y′,z′）,i＝0,1,2,…,n）。
画像Bi（ｘ′,y′,z′）の計算法は、畳み込み処理、 で表わされる。ここで、hi（x,y,z）としては、例え
ば、恒等フィルタ （この場合、得られる画像は入力画像と一致する。）
や、平滑化フィルタ や、ラプラシアン また、ｚ＝一定の平面だけを取り出すフィルタ 同様にして、特定の方角だけを向く平面だけを取り出す
フィルタなども利用することができる。
ば、恒等フィルタ （この場合、得られる画像は入力画像と一致する。）
や、平滑化フィルタ や、ラプラシアン また、ｚ＝一定の平面だけを取り出すフィルタ 同様にして、特定の方角だけを向く平面だけを取り出す
フィルタなども利用することができる。
次にこうして得られたｎ個の特徴画像から、対象物体
の精密な形状を再構成する方式について説明する。３次
元画像の再構成には第10図に示すような多層構造のニュ
ーラルネットワークが利用される。入力層の個数はｎ
個、出力数の個数は１個、中間層の個数は可変である。
ニューラルネットワークによって得られる画像をＣ
（ｘ′,y′,z′）と置く。ニューラルネットワークの学
習には、入力データとして、｛Bi（ｘ′,y′,z′）;i＝
0,…,n−１｝が用いられる。教師データはＣ（ｘ′,
y′,z′）である。入力データとそれに対する望ましい
教師データが与えられると、第10図の様な型のニューラ
ルネットワークは周知の方法、すなわちバックプロパゲ
ーションによって学習することができる。なお、ひとつ
のネットワークは得られる像のなかの一点だけを推定す
ることになるので、ニューラルネットワークは、各点を
推定するために、ｘ′,y′,z′について移動走査しなが
ら用いられる事になる。こうして、得られたニューラル
ネットワークは、もともとの像Ａ（ｘ′,y′,z′）（＝
B0（ｘ′,y′,z′））だけでなく、その画像の局所的な
特徴量から対象物体を正確に再構成する方法を学習して
いるので、未知の物体が入力として与えられた時にも、
高精細な像を構成することができる。なお、前述した第
７図、第８図のニューラルネットワークについても適用
されることはもちろんである。
の精密な形状を再構成する方式について説明する。３次
元画像の再構成には第10図に示すような多層構造のニュ
ーラルネットワークが利用される。入力層の個数はｎ
個、出力数の個数は１個、中間層の個数は可変である。
ニューラルネットワークによって得られる画像をＣ
（ｘ′,y′,z′）と置く。ニューラルネットワークの学
習には、入力データとして、｛Bi（ｘ′,y′,z′）;i＝
0,…,n−１｝が用いられる。教師データはＣ（ｘ′,
y′,z′）である。入力データとそれに対する望ましい
教師データが与えられると、第10図の様な型のニューラ
ルネットワークは周知の方法、すなわちバックプロパゲ
ーションによって学習することができる。なお、ひとつ
のネットワークは得られる像のなかの一点だけを推定す
ることになるので、ニューラルネットワークは、各点を
推定するために、ｘ′,y′,z′について移動走査しなが
ら用いられる事になる。こうして、得られたニューラル
ネットワークは、もともとの像Ａ（ｘ′,y′,z′）（＝
B0（ｘ′,y′,z′））だけでなく、その画像の局所的な
特徴量から対象物体を正確に再構成する方法を学習して
いるので、未知の物体が入力として与えられた時にも、
高精細な像を構成することができる。なお、前述した第
７図、第８図のニューラルネットワークについても適用
されることはもちろんである。
第11図は、第９図に示した３次元物体撮像方式を説明
するためのフローチャートである。以下、各ステップに
従って順に説明する。
するためのフローチャートである。以下、各ステップに
従って順に説明する。
step1:まず、音圧Ｐ（r,t）を測定する。
step2:次に、音響映像法を用いて３次元像Ａ（ｘ′,
y′,z′）を求める。
y′,z′）を求める。
step3:次に複数の画像処理フィルターを用いて畳み込み
計算を行い、複数個の特徴量Bi（ｘ′,y′,z′）（ｉ＝
0,1,…ｎ）を求める。
計算を行い、複数個の特徴量Bi（ｘ′,y′,z′）（ｉ＝
0,1,…ｎ）を求める。
step4:次に、ニューラルネットワークを適用して再構成
像Ｃ（ｘ′,y′,z′）を求める。
像Ｃ（ｘ′,y′,z′）を求める。
このようにして、対象物体の局所的な特徴量を用いる
ことにより高精細な像の再構成をすることができる。
ことにより高精細な像の再構成をすることができる。
効果 以上の説明から明らかなように、本発明によると、３
次元形状を有する物体の識別、および、位置、回転角度
の推定、像再生が可能になる。特に、これまではTVカメ
ラでは認識できなかった、金属及び透明物体等の認識が
可能になる。その結果、FAにおいて著しい貢献が期待で
きる。
次元形状を有する物体の識別、および、位置、回転角度
の推定、像再生が可能になる。特に、これまではTVカメ
ラでは認識できなかった、金属及び透明物体等の認識が
可能になる。その結果、FAにおいて著しい貢献が期待で
きる。
また、超音波によって学習したことのない３次元物体
についても高精細な像を撮像することができ、その結
果、超音波を用いた３次元物体認識において、著しい能
力向上を実現することができる。
についても高精細な像を撮像することができ、その結
果、超音波を用いた３次元物体認識において、著しい能
力向上を実現することができる。
第１図は、超音波３次元物体撮像方式の一例を説明する
ための図、第２図及び第３図は、本発明の概略を説明す
るための図、第４図は、測定された超音波の音圧を示す
図、第５図は、第４図に示す波形を時間方向に切断した
図、第６図は、超音波レシーバーアレイがｎ×ｎで奥行
方向の分割数がｍ個の時に得られる情報を示す図、第７
図は、超音波レシーバアレイを用いた超音波３次元物体
撮像の一例を説明するための図、第８図は、他の例を説
明するための図、第９図は、本発明の一実施例を説明す
るための図、第10図は、ニューラルネットワークを示す
図、第11図は、第９図における３次元物体撮像方式を説
明するためのフローチャートである。 １……対象物体、２……超音波送波器、３……A/D変換
器、４……超音波受波器（レシーバーアレイと増幅・ノ
イズ除去フィルター）、５……計算機。
ための図、第２図及び第３図は、本発明の概略を説明す
るための図、第４図は、測定された超音波の音圧を示す
図、第５図は、第４図に示す波形を時間方向に切断した
図、第６図は、超音波レシーバーアレイがｎ×ｎで奥行
方向の分割数がｍ個の時に得られる情報を示す図、第７
図は、超音波レシーバアレイを用いた超音波３次元物体
撮像の一例を説明するための図、第８図は、他の例を説
明するための図、第９図は、本発明の一実施例を説明す
るための図、第10図は、ニューラルネットワークを示す
図、第11図は、第９図における３次元物体撮像方式を説
明するためのフローチャートである。 １……対象物体、２……超音波送波器、３……A/D変換
器、４……超音波受波器（レシーバーアレイと増幅・ノ
イズ除去フィルター）、５……計算機。
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G01B 17/00 - 17/08 G01S 15/00 - 15/09 G03H 3/00 G06T 7/00
Claims (1)
- 【請求項１】超音波を対象物体に照射し、その散乱波を
アレイ状の複数の受波器で測定し、XY方向については音
響ホログラフィ法によって分離し、Ｚ方向については時
間的に分離して対象物体の超音波による３次元像を求
め、その後に、複数の画像処理フィルターを用いて、局
所的な画像の特徴量を複数個求め、該画像の特徴量を入
力として物体の正確な形状再構成することをニューラル
ネットワークに学習させることによって行うことを特徴
とする超音波３次元物体撮像方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2191035A JP2882861B2 (ja) | 1989-09-07 | 1990-07-19 | 超音波３次元物体撮像方式 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1-232320 | 1989-09-07 | ||
| JP23232089 | 1989-09-07 | ||
| JP2191035A JP2882861B2 (ja) | 1989-09-07 | 1990-07-19 | 超音波３次元物体撮像方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03251713A JPH03251713A (ja) | 1991-11-11 |
| JP2882861B2 true JP2882861B2 (ja) | 1999-04-12 |
Family
ID=26506445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2191035A Expired - Fee Related JP2882861B2 (ja) | 1989-09-07 | 1990-07-19 | 超音波３次元物体撮像方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2882861B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008054496A2 (en) * | 2006-04-05 | 2008-05-08 | California Institute Of Technology | 3- dimensional imaging by acoustic warping and defocusing |
| CN105911554A (zh) * | 2016-06-06 | 2016-08-31 | 清华大学 | 基于超声波传感器阵列的目标识别方法 |
| JP7300331B2 (ja) * | 2019-07-03 | 2023-06-29 | 株式会社日立製作所 | 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム |
-
1990
- 1990-07-19 JP JP2191035A patent/JP2882861B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03251713A (ja) | 1991-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2878409B2 (ja) | ３次元物体撮像方式 | |
| Langer et al. | Building qualitative elevation maps from side scan sonar data for autonomous underwater navigation | |
| Murino et al. | Three-dimensional image generation and processing in underwater acoustic vision | |
| CN108492323B (zh) | 融合机器视觉与听觉的水下运动物体检测与识别方法 | |
| Sung et al. | Realistic sonar image simulation using generative adversarial network | |
| Watanabe et al. | Ultrasonic robot eyes using neural networks | |
| Foresti et al. | A voting-based approach for fast object recognition in underwater acoustic images | |
| JP2882861B2 (ja) | 超音波３次元物体撮像方式 | |
| Negahdaripour et al. | Opti-acoustic stereo imaging, system calibration and 3-d reconstruction | |
| Połap et al. | Sonar digital twin layer via multi-attention networks with feature transfer | |
| JP2000098031A (ja) | インパルスソーナー | |
| CN113792755B (zh) | 一种小波深度图像融合环境感知与目标识别方法 | |
| CN117716257A (zh) | 声学深度图 | |
| JP2879828B2 (ja) | 超音波３次元物体認識方式 | |
| Song et al. | 3D reconstruction of underwater scene for marine bioprospecting using remotely operated underwater vehicle (ROV) | |
| Ge et al. | Application of neural networks to stereoscopic imaging velocimetry | |
| JP2878414B2 (ja) | ３次元物体認識方式 | |
| Nandhakumar et al. | Multisensor integration for underwater scene classification | |
| JPH04112290A (ja) | ３次元物体個数計数方式 | |
| Bikonis et al. | Computer vision techniques applied for reconstruction of seafloor 3d images from side scan and synthetic aperture sonars data | |
| Moszyński et al. | Reconstruction of 3D shape from sidescan sonar images using shape from shading technique | |
| Rikoski et al. | Trajectory sonar perception | |
| JPH04330578A (ja) | ３次元物体認識方式 | |
| Wu et al. | Acoustic camera pose refinement using differentiable rendering | |
| Patel et al. | Segmentation of 3D acoustic images for object recognition purposes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |