JP2969202B2

JP2969202B2 - ニューラルネットワークによる３次元物体の認識方法

Info

Publication number: JP2969202B2
Application number: JP3246558A
Authority: JP
Inventors: 信幸吉澤; 伸一青島; 秀信多田; 幸喜武田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-05-08
Filing date: 1991-09-02
Publication date: 1999-11-02
Anticipated expiration: 2014-11-02
Also published as: JPH0519052A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は物体の認識方法に関し、
特にニューラルネットワークによる３次元物体の認識方
法に関するものである。

【０００２】

【従来の技術】従来より、３次元物体の認識のため２次
元状に配列した超音波センサーとニューラルネットワー
クを用いる方法が提案されている（渡辺、米山 ”ニュ
ーラルネットワークを用いた超音波３次元認識法”、電
子情報通信学会技術研究報告ＵＳ９０−２９、１９９０
参照）。この方法は、明るさが変化したり影が生じる屋
外環境においても３次元物体を認識することができる利
点を有しており、その概要を図１２に示して説明する。
この方法は、図１２に示すように、２次元状に配列され
た複数個の超音波センサー１₁〜１_nから超音波センサマ
トリックスアレイ１を構成し、これらセンサ１₁〜１_nに
よる超音波撮像法を用いて奥行き方向の分解能と等価と
なる複数枚の平面画像２₁，２₂，…，２_J を撮像し、こ
れらの平面画像２₁〜２_Jをニューラルネットワーク３に
入力して３次元物体１０を認識するものとなっている。
なお、このニューラルネットワーク３は入力層４，中間
層５および出力層６から構成されている。

【０００３】

【発明が解決しようとする課題】しかし、このような従
来の３次元認識方法では (1)奥行き方向の分解能に見合った複数枚の平面画像の
撮像が必要であり、撮像に時間を要する。 (2)立体像の認識に複数枚の平面画像が必要である。従
って、人力数が多くなり、物理的に大規模なニューラル
ネットワークが必要な上、計算に時間を要する。という問題があった。本発明はこれらの問題点を解決す
るため、一枚の平面画像で立体像の認識を可能とするニ
ューラルネットワークによる３次元物体の認識方法を提
供することにある。

【０００４】

【課題を解決するための手段】このため本発明は、平面
状に配列された複数個の距離センサーを用いて、この距
離センサーの前方に対向して設置した３次元物体の表面
までの距離情報の平面分布を測定する。そしてこの物体
表面までの距離情報と背景までの距離を比較することに
より３次元物体の形状情報を背景から抽出し、当該距離
情報の平面分布もしくは，当該距離情報の平面分布から
基準面までの距離の差で定義される奥行き情報の平面分
布を、ニューラルネットワークの入力情報に用いて３次
元物体を認識するようにしたものである。

【０００５】

【作用】本発明においては、３次元物体の形状情報を損
なうことなく、２次元奥行き情報に圧縮できるので、ニ
ューラルネットワークを用いた認識における演算数を大
幅に減らすことができる。

【０００６】

【実施例】本発明の実施例を説明する前に、まず本発明
の概要を説明する。３次元物体を認識するには、形状の
計測手段および，計測した情報に基づく形状の認識手段
が必要である。本発明では認識手段としてニューラルネ
ットワークを用い、このニューラルネットワークによる
物体認識を効率的かつ確実に達成できるように、形状の
計測手段を工夫したものであり、それぞれの手段につい
て概要を説明する。

【０００７】「形状の認識手段」：この認識手段として
はバックプロパゲーションを用いたパーセプトロン型の
ニューラルネットワークを用いる。図２にその構成を示
す。このニューラルネットワーク１３は、図２に示すよ
うに入力層１４と中間層１５および出力層１６から構成
される。中間層１５は必ずしも１層でなくてもよい。こ
のニューラルネットワーク１３では、入力層１４に入力
される信号に対して出力層１６が一定の信号を出力する
ように学習させることができる。一度学習を行えば、学
習した入力信号とほぼ同様の入力信号に対し、学習した
信号を出力する。この時、入力信号の数ｎと入力層１４
の要素数Ｉ(n)は対応している。

【０００８】図２のニューラルネットワーク構成におい
ては入力層１４の要素数Ｉ(n) が増えるほど、計算機内
の所要メモリー数が増加し、かつ計算処理数も増加す
る。従って、認識情報が保障される範囲で入力数を最小
とすることが合理的である。図１２に示したように、従
来の方法では認識に複数の平面画像２₁〜２_Jを要してい
る。このとき画像の枚数をＪ、画像の要素数をＫとする
と、入力層１４の要素数Ｉ(n)としてＫ×Ｊが必要であ
る。これに対して、本発明では後述する「形状の計測手
段」を用いることによって、図１に示すように、３次元
物体１０の奥行き情報を直接測定して数値化することが
できる。いわば従来はＪ枚の画像を要した３次元物体の
再生を、奥行き方向に圧縮した１枚の奥行き情報画面１
２で行うことができる。従って、入力層１４の要素数Ｉ
(n) をＫ個の奥行き情報とすることができる。この結
果、入力層１４の要素数Ｉ(n)を従来のＪ分の１に減少
させることができる。

【０００９】「形状の計測手段」：超音波やレーザ光を
物体表面に照射し、物体表面からの反射に要する時間を
測定することによって、物体表面までの距離を直接測定
することができる。従って、これらの距離センサー１１
₁〜１１_nを図１に示すように２次元状に配列してセンサ
ーマトリックスアレイ（以下、センサーアレイと略称す
る。）１１を構成し、これを用いることによって、それ
らセンサー１１₁〜１１_nに対向する物体１０表面までの
距離情報Ａを得ることができる。また、物体１０の置か
れた基準面までの距離Ｂとその物体表面までの距離Ａの
差から、当該物体の奥行き情報１２を得ることができ
る。特にこの方法では奥行き方向に対して距離分解能の
高い測定を行うことができる。

【００１０】一方、このような本発明の方法では、用い
る距離センサーの指向性が広い場合には奥行き方向に直
交した平面内つまり水平方向の分解能が悪くなる欠点が
ある。この欠点を補うため本発明では、指向角±５度以
下の超音波センサーもしくはレーザ光センサーを用いる
必要がある。一方、従来から提案されている超音波を用
いた撮像法として、指向性の広いバースト波を１つの発
信器から物体表面に向けて照射し、反射波を複数の受信
器で同時に受信し、音響ホログラフィ法を用いて画像を
再生する方法がある。この方法は水平方向について分解
能のよい測定が行えるが、得られる画面は図１２に示し
たようにセンサーからの距離が一定の平面像であり、本
発明のように奥行き情報を一度の測定で得られるもので
はない。

【００１１】以下、本発明の実施例について図面を用い
て説明する。図３に、距離センサーとして用いた超音波
センサーアレイの構成を示す。このセンサーアレイ２１
は、周波数２００ｋＨz の送受信兼用の超音波センサー
２２（（株）ムラタ製作所製ＭＡ２００Ａ１）を３０
ｍｍ間隔で平面状に縦横に８個ずつ計６４個配列したも
のであり、図３では超音波センサー２２を縦横に３個づ
つ配列した状態を示している。このときの測定点（図中
黒丸で示す）２３は縦横１５×１５の計２２５点であ
り、図３では５×５の計２５点を示している。図４に前
記超音波センサー２２の指向性を示す。その指向性は±
３．５度である。

【００１２】また、図５に上記超音波センサーの水平方
向分解能の実験結果を示す。この実験は、図６に示すよ
うに超音波センサーつまり１つの素子２２₁ から送信し
た超音波２５を物体１０の対象物に照射し、その表面か
らの反射波２６を隣接する１つの素子２２₂ で受信し、
その出力を測定した。図６中Ｍは互に隣接する２つの素
子２２₁，２２₂の間隔２ｈの中間点を示し、Ｌはその中
間点と物体１０の対象物との距離をそれぞれ示してい
る。図５より、狭指向性の２００ｋＨz の素子（超音波
センサー）を用いた場合、その素子間隔２ｈに応じて出
力が変化することがわかる。ここで、図５中曲線ａは対
象物の距離Ｌが２００ｍｍの場合を、曲線ｂ及びｃはＬ
がそれぞれ４００ｍｍ，６００ｍｍの場合を示してい
る。従って、水平方向の識別が可能であること、また、
素子間隔１０ｍｍ程度なら十分識別可能なことがわか
る。

【００１３】一方、指向性が±２０度と広い４０ｋＨz
の素子の場合には、図５より明らかなように、素子間隔
によらず出力がほぼ同じなので、水平方向の識別が困難
である。この違いはセンサーの指向性によって生じてい
る。なお、図５中曲線ｄは前記４０ｋＨz の素子におい
て対象物の距離Ｌが２００ｍｍの場合を、曲線ｅ及びｆ
は同素子においてＬがそれぞれ４００ｍｍ，６００ｍｍ
の場合を示している。

【００１４】図７に、本実施例による形状測定系のブロ
ック図を示す。この実施例は、上記センサーアレイ２１
を構成する６４個の送受信兼用の超音波センサー２２₁
〜２２₆₄をパソコン（パーソナルコンピュータ）４０の
指令に基づき任意に選定して、それに対応したスイッチ
部３１の各スイッチ３１₁〜３１₆₄ で切り替える。そし
て、選択された超音波センサーのうちその送信センサー
素子から同期発振回路３２の同期信号（周波数２００ｋ
Ｈz ）に伴う３波長分の超音波パルスを対象物に送信す
るとともに、その信号に同期してカウンタ３７を駆動す
る。さらに受信した反射波のパルスはアンプ３４で増幅
し、そのパルスをカウンタ３７のゲート３６に入力して
該カウンタ３７を停止する。

【００１５】これにより、カウンタ３７はその間に水晶
発振回路３５からゲート３６を通して送出されるクロッ
クパルスをカウントし、そのカウント値をインタフェー
ス３９を介してパソコン４０に出力するとともに、該カ
ウント値に所定の比例定数を乗ずることによって対象物
までの距離を測定し、その距離情報に基づき対象物の奥
行き情報を得ることができる。この場合、かかる構成で
は単一の距離測定回路を用いて各距離センサー２２₁〜
２２₆₄ を切り替えている。なお図７中３３は送信用の
パワーアンプであり、３８はスイッチ部３１の各スイッ
チ３１₁ 〜３１₆₄をオン，オフ制御するコントロールロ
ジックである。

【００１６】図８に、上記実施例における６ｃｍ角の立
方体の撮像結果を示す。この実験は立方体を机の上に静
置し、机の上方６５ｃｍに下向きに上記センサーアレイ
を固定して、超音波像を撮影した。机上の測定エリアは
一辺２１ｃｍの正方形である。撮像時間は約２秒であ
る。机までの距離と立方体表面までの距離を差し引くこ
とによって、奥行き情報の水平分布を得ることができ
る。測定結果の３次元表示を図９に示す。図８の奥行き
情報を用いることによって、図９のように３次元形状を
再生できることがわかる。

【００１７】ここで、奥行き方向に対しては２ｍｍとい
う非常に優れた分解能を有しているのが本発明方法の特
長でもある。また、距離情報もしくは奥行き情報を用い
ることによって、場所や大きさ、形状が不明な物体の形
状情報を背景から抽出することができるのも本発明方法
の大きな特長である。この装置を用いて表１に示した４
種の物体をそれぞれ測定エリアの中央に静置して形状を
測定し、図２の構成のニューラルネットワーク（Ｎ．
Ｎ）１３で学習後、認識実験を行なった。

【００１８】

【００１９】このとき、ニューラルネットワーク１３の
要素数は入力層１５×１５、中間層８、出力層４のデジ
タル型である。なお、用いた超音波センサーの数は縦横
８×８の計６４個であるが、同一出願人に係る特願平２
ー４０７２１７号で先願した方法を用いて、水平方向の
分解能を向上させることによって、入力層の要素数Ｉ
(n) を１５×１５とした。学習に要した時間は約２０分
であり、奥行き方向に複数の画像を要した従来方法によ
る学習に比べて、処理時間を数１０の１以下に短縮する
ことができた。認識実験は、表１の４種の木製のサンプ
ルを机上の測定エリヤ内の任意の場所に任意の方向で設
置し、認識率を測定した。３次元物体の形状は観察位置
や方向によって異なって見える。

【００２０】従って、その認識においては、物体の位置
や方向に依存しない認識アルゴリズムが必要である。図
１０に、本実施例において用いた３次元物体のアルゴリ
ズムの一例を示す。すなわち、上記センサーアレイを用
いてそれに対向した３次元物体表面までの距離情報を測
定し、そのノイズ除去後、物体表面までの距離情報と背
景までの距離を比較して３次元物体の形状情報を抽出す
る（ステップ１００〜１０２）。そしてこの抽出した形
状情報の重心を計算したのち、該形状情報をその重心中
心に画面中央に平行移動し（ステップ１０３，１０
４）、回転させる毎に上記ニューラルネットワーク１３
に入力し、最大出力で形状を判定した（ステップ１０５
〜１０７）。

【００２１】このとき、回転は１０度毎に３５０度まで
行った。４種のサンプル（表１参照）について各５０回
づつ認識率を求めた結果、認識率９８％を得ることがで
き、本発明の有効性を確認することができた。

【００２２】上記の方法では物体認識のため形状情報を
回転した。これは形状情報が向きに依存する情報である
ためである。一方、物体の体積や、物体のセンサー方向
の表面積は位置や向きに依存しない物理量であると同時
に物体に固有の特徴量である。従って、これら位置や向
きに依存しない特徴量をニューラルネットワークの入力
情報に用いれば、前述のような回転対照法を用いなくて
も位置および向き、センサーまでの距離が自由な物体を
認識できる。

【００２３】本発明の距離測定はパルス遅延時間法によ
っているため、超音波の波長程度の距離分解能が可能で
ある。周波数１００ｋＨz の場合、２ｍｍ程度の距離分
解能が得られる。従って、奥行き情報から物体の体積を
精度良く算出できる利点がある。図１１にその実施例を
示す。この実施例では、上述した実施例（図１０参照）
と同様にセンサーアレイを用いてそれに対向した３次元
物体表面までの距離情報を測定し、そのノイズ除去後、
物体表面までの距離情報と背景までの距離を比較して３
次元物体も形状情報を抽出したのち（ステップ１２０〜
１２２）、その奥行き情報から面積および体積を入力情
報として表１の４種の物体を測定した（ステップ１２
３，１２４）。その結果、位置および向きにかかわらず
完全に識別できた。

【００２４】このように体積に基づいた認識も可能なの
が本発明方式の特長である。この方法は回転対照法に比
べてニューラルネットの入力数を削減できる上、構成も
簡単であり、学習時間および識別に要する時間とも短縮
できる大きな利点がある。同じ処理速度の計算機を用い
た比較では、回転対照法で１０秒の処理時間を要したの
が、体積に基づく認識では１秒以下に短縮できた。

【００２５】一方、本発明の方式と異なった超音波によ
る形状測定方式であるフェイズドアレイ方式では、原理
的に波長の１０倍以下の距離分解能を得るのは困難であ
る。従って、物体の高さを分解能よく測定するのは困難
である。その上、この方式では図１２に示したとおり、
距離が一定の平面画像しか撮像できないので立体像を得
るために複数枚の平面画像を撮像する必要がある。入力
情報過多によるニューラルネットワークへの負荷増を避
けるためには画像枚数に制限が生じる。一例として画像
枚数の上限を１０枚とすると、測定距離範囲を１００ｃ
ｍの場合、距離分解能は１０ｃｍとなってしまう。従っ
て、ニューラルネットワークへの負荷を低減するために
物体の体積を精度良く測定するのは益々困難になる。

【００２６】なお、本発明で用いる距離センサーは超音
波センサーやレーザ光センサーに限定するものではな
く、指向性がよいものならば良い。

【００２７】

【発明の効果】以上説明したように本発明によれば、複
数個の距離センサを平面状に配列したセンサーアレイを
用いて、該センサーアレイに対向して設置された３次元
物体の表面までの距離情報の平面分布を測定し、この物
体表面までの距離情報と背景までの距離を比較して３次
元物体の形状情報を背景から抽出し、該距離情報の平面
分布あるいは該距離情報の平面分布から基準面までの距
離の差で定義される奥行き情報の平面分布をニューラル
ネットワークの入力情報に用いることにより、３次元物
体の認識が可能になる。このため、

【００２８】(I)３次元物体の形状情報を損なうことな
く、２次元奥行き情報に圧縮することができるので、ニ
ューラルネットワークを用いた認識における演算数を大
幅に低減できる。 (II)構成が簡単で経済的，実用的である。 (III)明るさが変化したり、影が生じる屋外環境におい
ても認識が可能である。 (IV)位置や向きが不特定な物体の認識が可能である。 (V)高速認識が可能である。 (VI) 体積の精密測定が可能なため、位置および向きに
依存しない特徴量である体積に基づいた認識が可能であ
る。など、多くの利点を有している。

【図面の簡単な説明】

【図１】本発明の距離センサーによる形状測定の原理的
な説明図である。

【図２】本発明において用いるニューラルネットワーク
の説明図である。

【図３】本発明の一実施例において用いた超音波センサ
ーアレイの構成図である。

【図４】本実施例における超音波センサーの指向性を示
す図である。

【図５】本実施例における超音波センサーの水平方向分
解能の実験結果をそれぞれ示す図である。

【図６】本実施例における水平方向分解能の実験方法を
示す説明図である。

【図７】本実施例における形状測定系のブロック図であ
る。

【図８】本実施例において立方体の撮像で得られた奥行
き情報を示す図である。

【図９】図８の奥行き情報の３次元表示を示す図であ
る。

【図１０】本実施例における３次元物体の認識アルゴリ
ズムを示す説明図である。

【図１１】本実施例における体積に基づいた３次元物体
の認識アルゴリズムを示す説明図である。

【図１２】従来の超音波センサーによる形状測定の説明
図である。

【符号の説明】

１０３次元物体１１センサーアレイ１１₁〜１１_n 距離センサー１２奥行き情報画面１３ニューラルネットワーク１４入力層１５中間層１６出力層

───────────────────────────────────────────────────── フロントページの続き (72)発明者武田幸喜東京都千代田区内幸町一丁目１番６号日本電信電話株式会社内 (56)参考文献特開平３−286380（ＪＰ，Ａ) 特開平２−280078（ＪＰ，Ａ) 特開平４−158294（ＪＰ，Ａ) 特開平２−39286（ＪＰ，Ａ) 特開平４−276785（ＪＰ，Ａ) 特開平３−225482（ＪＰ，Ａ) 特開平３−251712（ＪＰ，Ａ) 特開平２−39285（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01S 7/48 - 7/64 G01S 15/00 - 15/96 G01S 17/00 - 17/95 G06F 15/18

Claims

(57)【特許請求の範囲】

【請求項１】平面状に配列された複数個の距離センサ
ーを用いて、前記距離センサーの前方に対向して設置し
た３次元物体の表面までの距離情報の平面分布を測定
し、その物体表面までの距離情報と背景までの距離を比
較することによって３次元物体の形状情報を背景から抽
出し、当該距離情報の平面分布もしくは，当該距離情報
の平面分布から基準面までの距離の差で定義される奥行
き情報の平面分布を、ニューラルネットワークの入力情
報に用いて３次元物体を認識することを特徴とするニュ
ーラルネットワークによる３次元物体の認識方法。
【請求項２】請求項１において、抽出した距離情報の
平面分布もしくは，奥行き情報の平面分布をその重心中
心に画面中央に平行移動し、回転させる毎にニューラル
ネットワークに入力し、最大出力をもって形状を判定す
ることを特徴とするニューラルネットワークによる３次
元物体の認識方法。
【請求項３】請求項１において、距離センサーとして
指向角±５度以下の超音波センサーもしくはレーザ光セ
ンサーを用いたことを特徴とするニューラルネットワー
クによる３次元物体の認識方法。
【請求項４】請求項１において、奥行き情報の平面分
布から算出した物体のセンサー方向の表面積もしくは体
積をニューラルネットワークの入力情報に用いて３次元
物体を認識することを特徴とするニューラルネットワー
クによる３次元物体の認識方法。