JPH0519052A - Recognition of three-dimensional object by neural network - Google Patents
Recognition of three-dimensional object by neural networkInfo
- Publication number
- JPH0519052A JPH0519052A JP3246558A JP24655891A JPH0519052A JP H0519052 A JPH0519052 A JP H0519052A JP 3246558 A JP3246558 A JP 3246558A JP 24655891 A JP24655891 A JP 24655891A JP H0519052 A JPH0519052 A JP H0519052A
- Authority
- JP
- Japan
- Prior art keywords
- information
- distance
- neural network
- dimensional object
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は物体の認識方法に関し、
特にニューラルネットワークによる３次元物体の認識方
法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object recognition method,
In particular, it relates to a method for recognizing a three-dimensional object by a neural network.
【０００２】[0002]
【従来の技術】従来より、３次元物体の認識のため２次
元状に配列した超音波センサーとニューラルネットワー
クを用いる方法が提案されている（渡辺、米山 ”ニュ
ーラルネットワークを用いた超音波３次元認識法”、電
子情報通信学会技術研究報告ＵＳ９０−２９、１９９０
参照）。この方法は、明るさが変化したり影が生じる屋
外環境においても３次元物体を認識することができる利
点を有しており、その概要を図１２に示して説明する。
この方法は、図１２に示すように、２次元状に配列され
た複数個の超音波センサー１1〜１nから超音波センサマ
トリックスアレイ１を構成し、これらセンサ１1〜１nに
よる超音波撮像法を用いて奥行き方向の分解能と等価と
なる複数枚の平面画像２1，２2，…，２J を撮像し、こ
れらの平面画像２1〜２Jをニューラルネットワーク３に
入力して３次元物体１０を認識するものとなっている。
なお、このニューラルネットワーク３は入力層４，中間
層５および出力層６から構成されている。2. Description of the Related Art Conventionally, a method using a two-dimensional array of ultrasonic sensors and a neural network has been proposed for recognizing a three-dimensional object (Watanabe, Yoneyama, "Ultrasonic three-dimensional recognition using a neural network." Law ", IEICE Technical Report US90-29, 1990
reference). This method has an advantage that a three-dimensional object can be recognized even in an outdoor environment in which brightness changes or a shadow is generated, and an outline thereof will be described with reference to FIG.
In this method, as shown in FIG. 12, an ultrasonic sensor matrix array 1 is composed of a plurality of ultrasonic sensors 1 1 to 1 n arranged two-dimensionally, and the ultrasonic waves generated by the sensors 1 1 to 1 n are ultrasonic waves. A plurality of plane images 2 1 , 2 2 , ..., 2 J that are equivalent to the resolution in the depth direction are imaged by using the imaging method, and these plane images 2 1 to 2 J are input to the neural network 3 to generate 3 The three-dimensional object 10 is recognized.
The neural network 3 is composed of an input layer 4, an intermediate layer 5 and an output layer 6.
【０００３】[0003]
【発明が解決しようとする課題】しかし、このような従
来の３次元認識方法では
(1)奥行き方向の分解能に見合った複数枚の平面画像の
撮像が必要であり、撮像に時間を要する。
(2)立体像の認識に複数枚の平面画像が必要である。従
って、人力数が多くなり、物理的に大規模なニューラル
ネットワークが必要な上、計算に時間を要する。
という問題があった。本発明はこれらの問題点を解決す
るため、一枚の平面画像で立体像の認識を可能とするニ
ューラルネットワークによる３次元物体の認識方法を提
供することにある。However, in such a conventional three-dimensional recognition method, (1) it is necessary to take a plurality of plane images corresponding to the resolution in the depth direction, and it takes time to take the images. (2) A plurality of plane images are required for recognizing a stereoscopic image. Therefore, the number of human resources increases, a physically large-scale neural network is required, and time is required for calculation. There was a problem. In order to solve these problems, the present invention provides a method for recognizing a three-dimensional object by a neural network, which enables recognition of a stereoscopic image with a single plane image.
【０００４】[0004]
【課題を解決するための手段】このため本発明は、平面
状に配列された複数個の距離センサーを用いて、この距
離センサーの前方に対向して設置した３次元物体の表面
までの距離情報の平面分布を測定する。そしてこの物体
表面までの距離情報と背景までの距離を比較することに
より３次元物体の形状情報を背景から抽出し、当該距離
情報の平面分布もしくは，当該距離情報の平面分布から
基準面までの距離の差で定義される奥行き情報の平面分
布を、ニューラルネットワークの入力情報に用いて３次
元物体を認識するようにしたものである。Therefore, according to the present invention, a plurality of distance sensors arranged in a plane are used, and distance information to the surface of a three-dimensional object installed facing the front of the distance sensors is provided. The plane distribution of is measured. Then, the shape information of the three-dimensional object is extracted from the background by comparing the distance information to this object surface with the distance to the background, and the plane distribution of the distance information or the distance from the plane distribution of the distance information to the reference plane is extracted. The plane distribution of the depth information defined by the difference is used as input information of the neural network to recognize a three-dimensional object.
【０００５】[0005]
【作用】本発明においては、３次元物体の形状情報を損
なうことなく、２次元奥行き情報に圧縮できるので、ニ
ューラルネットワークを用いた認識における演算数を大
幅に減らすことができる。In the present invention, since the shape information of the three-dimensional object can be compressed into the two-dimensional depth information without being damaged, the number of operations in recognition using the neural network can be greatly reduced.
【０００６】[0006]
【実施例】本発明の実施例を説明する前に、まず本発明
の概要を説明する。３次元物体を認識するには、形状の
計測手段および，計測した情報に基づく形状の認識手段
が必要である。本発明では認識手段としてニューラルネ
ットワークを用い、このニューラルネットワークによる
物体認識を効率的かつ確実に達成できるように、形状の
計測手段を工夫したものであり、それぞれの手段につい
て概要を説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Before describing the embodiments of the present invention, the outline of the present invention will be first described. To recognize a three-dimensional object, a shape measuring unit and a shape recognizing unit based on the measured information are required. In the present invention, a neural network is used as the recognition means, and the shape measuring means is devised so that the object recognition by this neural network can be achieved efficiently and surely. The outline of each means will be described.
【０００７】「形状の認識手段」：この認識手段として
はバックプロパゲーションを用いたパーセプトロン型の
ニューラルネットワークを用いる。図２にその構成を示
す。このニューラルネットワーク１３は、図２に示すよ
うに入力層１４と中間層１５および出力層１６から構成
される。中間層１５は必ずしも１層でなくてもよい。こ
のニューラルネットワーク１３では、入力層１４に入力
される信号に対して出力層１６が一定の信号を出力する
ように学習させることができる。一度学習を行えば、学
習した入力信号とほぼ同様の入力信号に対し、学習した
信号を出力する。この時、入力信号の数ｎと入力層１４
の要素数Ｉ(n)は対応している。"Shape recognition means": A perceptron type neural network using back propagation is used as this recognition means. The structure is shown in FIG. The neural network 13 is composed of an input layer 14, an intermediate layer 15 and an output layer 16 as shown in FIG. The intermediate layer 15 does not necessarily have to be one layer. In this neural network 13, the output layer 16 can be trained to output a constant signal with respect to the signal input to the input layer 14. Once learning is performed, the learned signal is output for an input signal that is substantially the same as the learned input signal. At this time, the number n of input signals and the input layer 14
The number of elements I (n) of is corresponding.
【０００８】図２のニューラルネットワーク構成におい
ては入力層１４の要素数Ｉ(n) が増えるほど、計算機内
の所要メモリー数が増加し、かつ計算処理数も増加す
る。従って、認識情報が保障される範囲で入力数を最小
とすることが合理的である。図１２に示したように、従
来の方法では認識に複数の平面画像２1〜２Jを要してい
る。このとき画像の枚数をＪ、画像の要素数をＫとする
と、入力層１４の要素数Ｉ(n)としてＫ×Ｊが必要であ
る。これに対して、本発明では後述する「形状の計測手
段」を用いることによって、図１に示すように、３次元
物体１０の奥行き情報を直接測定して数値化することが
できる。いわば従来はＪ枚の画像を要した３次元物体の
再生を、奥行き方向に圧縮した１枚の奥行き情報画面１
２で行うことができる。従って、入力層１４の要素数Ｉ
(n) をＫ個の奥行き情報とすることができる。この結
果、入力層１４の要素数Ｉ(n)を従来のＪ分の１に減少
させることができる。In the neural network configuration of FIG. 2, as the number of elements I (n) in the input layer 14 increases, the number of memories required in the computer increases and the number of calculation processes also increases. Therefore, it is rational to minimize the number of inputs within the range where the recognition information is guaranteed. As shown in FIG. 12, the conventional method requires a plurality of planar images 2 1 to 2 J for recognition. At this time, if the number of images is J and the number of image elements is K, K × J is required as the number of elements I (n) of the input layer 14. On the other hand, in the present invention, the depth information of the three-dimensional object 10 can be directly measured and digitized as shown in FIG. 1 by using the “shape measuring means” described later. In other words, one depth information screen 1 obtained by compressing in the depth direction the reproduction of a three-dimensional object that conventionally required J images.
It can be done in 2. Therefore, the number of elements I of the input layer 14
(n) can be K depth information. As a result, the number of elements I (n) of the input layer 14 can be reduced to 1 / J of the conventional one.
【０００９】「形状の計測手段」：超音波やレーザ光を
物体表面に照射し、物体表面からの反射に要する時間を
測定することによって、物体表面までの距離を直接測定
することができる。従って、これらの距離センサー１１
1〜１１nを図１に示すように２次元状に配列してセンサ
ーマトリックスアレイ（以下、センサーアレイと略称す
る。）１１を構成し、これを用いることによって、それ
らセンサー１１1〜１１nに対向する物体１０表面までの
距離情報Ａを得ることができる。また、物体１０の置か
れた基準面までの距離Ｂとその物体表面までの距離Ａの
差から、当該物体の奥行き情報１２を得ることができ
る。特にこの方法では奥行き方向に対して距離分解能の
高い測定を行うことができる。"Shape measuring means": The distance to the object surface can be directly measured by irradiating the surface of the object with ultrasonic waves or laser light and measuring the time required for reflection from the object surface. Therefore, these distance sensors 11
1 to 11 n are arranged two-dimensionally as shown in FIG. 1 to form a sensor matrix array (hereinafter abbreviated as sensor array) 11, and by using this, the sensors 11 1 to 11 n are It is possible to obtain the distance information A to the surface of the facing object 10. Further, the depth information 12 of the object can be obtained from the difference between the distance B to the reference plane on which the object 10 is placed and the distance A to the surface of the object. In particular, this method enables measurement with high distance resolution in the depth direction.
【００１０】一方、このような本発明の方法では、用い
る距離センサーの指向性が広い場合には奥行き方向に直
交した平面内つまり水平方向の分解能が悪くなる欠点が
ある。この欠点を補うため本発明では、指向角±５度以
下の超音波センサーもしくはレーザ光センサーを用いる
必要がある。一方、従来から提案されている超音波を用
いた撮像法として、指向性の広いバースト波を１つの発
信器から物体表面に向けて照射し、反射波を複数の受信
器で同時に受信し、音響ホログラフィ法を用いて画像を
再生する方法がある。この方法は水平方向について分解
能のよい測定が行えるが、得られる画面は図１２に示し
たようにセンサーからの距離が一定の平面像であり、本
発明のように奥行き情報を一度の測定で得られるもので
はない。On the other hand, such a method of the present invention has a drawback that the resolution in the plane orthogonal to the depth direction, that is, in the horizontal direction is deteriorated when the directivity of the distance sensor used is wide. In the present invention, in order to compensate for this drawback, it is necessary to use an ultrasonic sensor or laser light sensor having a directivity angle of ± 5 degrees or less. On the other hand, as an imaging method using ultrasonic waves that has been proposed in the past, a burst wave with a wide directivity is irradiated from one transmitter toward the object surface, and reflected waves are simultaneously received by a plurality of receivers. There is a method of reproducing an image using the holography method. Although this method can perform measurement with good resolution in the horizontal direction, the obtained screen is a plane image with a constant distance from the sensor as shown in FIG. 12, and depth information can be obtained by one measurement as in the present invention. It is not something that can be done.
【００１１】以下、本発明の実施例について図面を用い
て説明する。図３に、距離センサーとして用いた超音波
センサーアレイの構成を示す。このセンサーアレイ２１
は、周波数２００ｋＨz の送受信兼用の超音波センサー
２２（（株）ムラタ製作所製 ＭＡ２００Ａ１）を３０
ｍｍ間隔で平面状に縦横に８個ずつ計６４個配列したも
のであり、図３では超音波センサー２２を縦横に３個づ
つ配列した状態を示している。このときの測定点（図中
黒丸で示す）２３は縦横１５×１５の計２２５点であ
り、図３では５×５の計２５点を示している。図４に前
記超音波センサー２２の指向性を示す。その指向性は±
３．５度である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 3 shows the configuration of the ultrasonic sensor array used as the distance sensor. This sensor array 21
Is an ultrasonic sensor 22 (MA200A1 manufactured by Murata Manufacturing Co., Ltd.) with a frequency of 200 kHz for both transmission and reception.
A total of 64 pieces are arranged vertically and horizontally at a distance of mm in a total of 64 pieces, and FIG. 3 shows a state where three ultrasonic sensors 22 are arranged vertically and horizontally. At this time, the measurement points (indicated by black circles in the figure) 23 are vertical and horizontal 15 × 15 total 225 points, and in FIG. 3, 5 × 5 total 25 points are shown. FIG. 4 shows the directivity of the ultrasonic sensor 22. Its directivity is ±
It is 3.5 degrees.
【００１２】また、図５に上記超音波センサーの水平方
向分解能の実験結果を示す。この実験は、図６に示すよ
うに超音波センサーつまり１つの素子２２1 から送信し
た超音波２５を物体１０の対象物に照射し、その表面か
らの反射波２６を隣接する１つの素子２２2 で受信し、
その出力を測定した。図６中Ｍは互に隣接する２つの素
子２２1，２２2の間隔２ｈの中間点を示し、Ｌはその中
間点と物体１０の対象物との距離をそれぞれ示してい
る。図５より、狭指向性の２００ｋＨz の素子（超音波
センサー）を用いた場合、その素子間隔２ｈに応じて出
力が変化することがわかる。ここで、図５中曲線ａは対
象物の距離Ｌが２００ｍｍの場合を、曲線ｂ及びｃはＬ
がそれぞれ４００ｍｍ，６００ｍｍの場合を示してい
る。従って、水平方向の識別が可能であること、また、
素子間隔１０ｍｍ程度なら十分識別可能なことがわか
る。FIG. 5 shows the experimental result of the horizontal resolution of the ultrasonic sensor. In this experiment, as shown in FIG. 6, an ultrasonic sensor, that is, an ultrasonic wave 25 transmitted from one element 22 1 is applied to an object of the object 10, and a reflected wave 26 from the surface thereof is adjoined to one element 22 2. Received in
The output was measured. In FIG. 6, M indicates the midpoint of the interval 2h between two elements 22 1 and 22 2 adjacent to each other, and L indicates the distance between the midpoint and the object of the object 10. From FIG. 5, it can be seen that when a 200 kHz element with narrow directivity (ultrasonic sensor) is used, the output changes according to the element interval 2h. Here, the curve a in FIG. 5 is the case where the distance L of the object is 200 mm, and the curves b and c are L.
Shows the cases of 400 mm and 600 mm, respectively. Therefore, it is possible to identify in the horizontal direction, and
It can be seen that if the element spacing is about 10 mm, it can be sufficiently identified.
【００１３】一方、指向性が±２０度と広い４０ｋＨz
の素子の場合には、図５より明らかなように、素子間隔
によらず出力がほぼ同じなので、水平方向の識別が困難
である。この違いはセンサーの指向性によって生じてい
る。なお、図５中曲線ｄは前記４０ｋＨz の素子におい
て対象物の距離Ｌが２００ｍｍの場合を、曲線ｅ及びｆ
は同素子においてＬがそれぞれ４００ｍｍ，６００ｍｍ
の場合を示している。On the other hand, the directivity is as wide as ± 20 degrees, 40 kHz.
In the case of the element (3), as is clear from FIG. 5, the outputs are almost the same regardless of the element spacing, and therefore it is difficult to identify in the horizontal direction. This difference is caused by the directivity of the sensor. In addition, the curve d in FIG. 5 shows curves e and f when the distance L of the object in the 40 kHz element is 200 mm.
In the same element, L is 400 mm and 600 mm, respectively
Shows the case.
【００１４】図７に、本実施例による形状測定系のブロ
ック図を示す。この実施例は、上記センサーアレイ２１
を構成する６４個の送受信兼用の超音波センサー２２1
〜２２64をパソコン（パーソナルコンピュータ）４０の
指令に基づき任意に選定して、それに対応したスイッチ
部３１の各スイッチ３１1〜３１64 で切り替える。そし
て、選択された超音波センサーのうちその送信センサー
素子から同期発振回路３２の同期信号（周波数２００ｋ
Ｈz ）に伴う３波長分の超音波パルスを対象物に送信す
るとともに、その信号に同期してカウンタ３７を駆動す
る。さらに受信した反射波のパルスはアンプ３４で増幅
し、そのパルスをカウンタ３７のゲート３６に入力して
該カウンタ３７を停止する。FIG. 7 is a block diagram of the shape measuring system according to this embodiment. This embodiment is based on the sensor array 21.
64 ultrasonic sensors for both transmission and reception 22 1
˜22 64 are arbitrarily selected based on a command from the personal computer (personal computer) 40, and are switched by the switches 31 1 to 31 64 of the switch unit 31 corresponding thereto. Then, from the transmission sensor element of the selected ultrasonic sensor, the synchronization signal of the synchronous oscillation circuit 32 (frequency 200 k
The ultrasonic pulse for three wavelengths accompanying Hz) is transmitted to the object, and the counter 37 is driven in synchronization with the signal. Further, the pulse of the received reflected wave is amplified by the amplifier 34, and the pulse is input to the gate 36 of the counter 37 to stop the counter 37.
【００１５】これにより、カウンタ３７はその間に水晶
発振回路３５からゲート３６を通して送出されるクロッ
クパルスをカウントし、そのカウント値をインタフェー
ス３９を介してパソコン４０に出力するとともに、該カ
ウント値に所定の比例定数を乗ずることによって対象物
までの距離を測定し、その距離情報に基づき対象物の奥
行き情報を得ることができる。この場合、かかる構成で
は単一の距離測定回路を用いて各距離センサー２２1〜
２２64 を切り替えている。なお図７中３３は送信用の
パワーアンプであり、３８はスイッチ部３１の各スイッ
チ３１1 〜３１64をオン，オフ制御するコントロールロ
ジックである。As a result, the counter 37 counts the clock pulses sent from the crystal oscillation circuit 35 through the gate 36 during that period, outputs the count value to the personal computer 40 through the interface 39, and sets the count value to a predetermined value. The distance to the object can be measured by multiplying by the proportional constant, and the depth information of the object can be obtained based on the distance information. In this case, in such a configuration, each distance sensor 22 1 ...
22 64 has been switched. Note that reference numeral 33 in FIG. 7 denotes a power amplifier for transmission, and 38 denotes a control logic for controlling ON / OFF of each of the switches 31 1 to 31 64 of the switch unit 31.
【００１６】図８に、上記実施例における６ｃｍ角の立
方体の撮像結果を示す。この実験は立方体を机の上に静
置し、机の上方６５ｃｍに下向きに上記センサーアレイ
を固定して、超音波像を撮影した。机上の測定エリアは
一辺２１ｃｍの正方形である。撮像時間は約２秒であ
る。机までの距離と立方体表面までの距離を差し引くこ
とによって、奥行き情報の水平分布を得ることができ
る。測定結果の３次元表示を図９に示す。図８の奥行き
情報を用いることによって、図９のように３次元形状を
再生できることがわかる。FIG. 8 shows the result of imaging a 6 cm square cube in the above embodiment. In this experiment, the cube was placed on a desk, the sensor array was fixed downward 65 cm above the desk, and an ultrasonic image was taken. The measurement area on the desk is a 21 cm square. The imaging time is about 2 seconds. By subtracting the distance to the desk and the distance to the surface of the cube, the horizontal distribution of depth information can be obtained. A three-dimensional display of measurement results is shown in FIG. It can be seen that the three-dimensional shape can be reproduced as shown in FIG. 9 by using the depth information of FIG.
【００１７】ここで、奥行き方向に対しては２ｍｍとい
う非常に優れた分解能を有しているのが本発明方法の特
長でもある。また、距離情報もしくは奥行き情報を用い
ることによって、場所や大きさ、形状が不明な物体の形
状情報を背景から抽出することができるのも本発明方法
の大きな特長である。この装置を用いて表１に示した４
種の物体をそれぞれ測定エリアの中央に静置して形状を
測定し、図２の構成のニューラルネットワーク（Ｎ．
Ｎ）１３で学習後、認識実験を行なった。Here, it is a feature of the method of the present invention that it has a very excellent resolution of 2 mm in the depth direction. Further, it is also a great feature of the method of the present invention that the shape information of an object of which the location, size, or shape is unknown can be extracted from the background by using the distance information or the depth information. 4 using this device
The object of each kind is placed in the center of the measurement area to measure the shape, and the neural network (N.
N) 13, after learning, a recognition experiment was conducted.
【００１８】 [0018]
【００１９】このとき、ニューラルネットワーク１３の
要素数は入力層１５×１５、中間層８、出力層４のデジ
タル型である。なお、用いた超音波センサーの数は縦横
８×８の計６４個であるが、同一出願人に係る特願平２
ー４０７２１７号で先願した方法を用いて、水平方向の
分解能を向上させることによって、入力層の要素数Ｉ
(n) を１５×１５とした。学習に要した時間は約２０分
であり、奥行き方向に複数の画像を要した従来方法によ
る学習に比べて、処理時間を数１０の１以下に短縮する
ことができた。認識実験は、表１の４種の木製のサンプ
ルを机上の測定エリヤ内の任意の場所に任意の方向で設
置し、認識率を測定した。３次元物体の形状は観察位置
や方向によって異なって見える。At this time, the number of elements of the neural network 13 is the digital type of the input layer 15 × 15, the intermediate layer 8 and the output layer 4. The total number of ultrasonic sensors used was 8 × 8 (64 in total).
The number of elements in the input layer I is improved by improving the resolution in the horizontal direction by using the method previously filed in No. 407217.
(n) was set to 15 × 15. The time required for learning was about 20 minutes, and the processing time could be shortened to 1 or less of several tens as compared with the learning by the conventional method that required a plurality of images in the depth direction. In the recognition experiment, the four types of wooden samples shown in Table 1 were placed in any position in the measurement area on the desk in any direction, and the recognition rate was measured. The shape of a three-dimensional object looks different depending on the observation position and direction.
【００２０】従って、その認識においては、物体の位置
や方向に依存しない認識アルゴリズムが必要である。図
１０に、本実施例において用いた３次元物体のアルゴリ
ズムの一例を示す。すなわち、上記センサーアレイを用
いてそれに対向した３次元物体表面までの距離情報を測
定し、そのノイズ除去後、物体表面までの距離情報と背
景までの距離を比較して３次元物体の形状情報を抽出す
る（ステップ１００〜１０２）。そしてこの抽出した形
状情報の重心を計算したのち、該形状情報をその重心中
心に画面中央に平行移動し（ステップ１０３，１０
４）、回転させる毎に上記ニューラルネットワーク１３
に入力し、最大出力で形状を判定した（ステップ１０５
〜１０７）。Therefore, in the recognition, a recognition algorithm which does not depend on the position or direction of the object is required. FIG. 10 shows an example of a three-dimensional object algorithm used in this embodiment. That is, the distance information to the surface of the three-dimensional object facing the sensor array is measured using the sensor array, and after removing the noise, the distance information to the object surface and the distance to the background are compared to obtain the shape information of the three-dimensional object. Extract (steps 100-102). Then, after calculating the center of gravity of the extracted shape information, the shape information is translated to the center of the center of gravity in the center of the screen (steps 103, 10).
4), every time it is rotated, the neural network 13
And the shape is judged with the maximum output (step 105).
~ 107).
【００２１】このとき、回転は１０度毎に３５０度まで
行った。４種のサンプル（表１参照）について各５０回
づつ認識率を求めた結果、認識率９８％を得ることがで
き、本発明の有効性を確認することができた。At this time, the rotation was performed every 10 degrees up to 350 degrees. As a result of obtaining the recognition rate for each of the four types of samples (see Table 1) 50 times, a recognition rate of 98% was obtained, and the effectiveness of the present invention could be confirmed.
【００２２】上記の方法では物体認識のため形状情報を
回転した。これは形状情報が向きに依存する情報である
ためである。一方、物体の体積や、物体のセンサー方向
の表面積は位置や向きに依存しない物理量であると同時
に物体に固有の特徴量である。従って、これら位置や向
きに依存しない特徴量をニューラルネットワークの入力
情報に用いれば、前述のような回転対照法を用いなくて
も位置および向き、センサーまでの距離が自由な物体を
認識できる。In the above method, the shape information is rotated for object recognition. This is because the shape information is information depending on the direction. On the other hand, the volume of the object and the surface area of the object in the sensor direction are physical quantities that do not depend on the position and orientation, and at the same time are characteristic quantities unique to the object. Therefore, if these feature quantities that do not depend on the position and orientation are used as input information of the neural network, it is possible to recognize an object whose position, orientation, and distance to the sensor are free, without using the rotation contrast method as described above.
【００２３】本発明の距離測定はパルス遅延時間法によ
っているため、超音波の波長程度の距離分解能が可能で
ある。周波数１００ｋＨz の場合、２ｍｍ程度の距離分
解能が得られる。従って、奥行き情報から物体の体積を
精度良く算出できる利点がある。図１１にその実施例を
示す。この実施例では、上述した実施例（図１０参照）
と同様にセンサーアレイを用いてそれに対向した３次元
物体表面までの距離情報を測定し、そのノイズ除去後、
物体表面までの距離情報と背景までの距離を比較して３
次元物体も形状情報を抽出したのち（ステップ１２０〜
１２２）、その奥行き情報から面積および体積を入力情
報として表１の４種の物体を測定した（ステップ１２
３，１２４）。その結果、位置および向きにかかわらず
完全に識別できた。Since the distance measurement of the present invention is based on the pulse delay time method, it is possible to achieve distance resolution of about the wavelength of ultrasonic waves. When the frequency is 100 kHz, a distance resolution of about 2 mm can be obtained. Therefore, there is an advantage that the volume of the object can be accurately calculated from the depth information. FIG. 11 shows an example thereof. In this embodiment, the embodiment described above (see FIG. 10) is used.
In the same way as above, using the sensor array, measure the distance information to the surface of the three-dimensional object facing it, and after removing the noise,
Compare the distance information to the surface of the object with the distance to the background, and
After the shape information of the three-dimensional object is also extracted (step 120-
122), and the four types of objects in Table 1 were measured using the area and volume as input information from the depth information (step 12).
3,124). As a result, it was possible to discriminate completely regardless of the position and the orientation.
【００２４】このように体積に基づいた認識も可能なの
が本発明方式の特長である。この方法は回転対照法に比
べてニューラルネットの入力数を削減できる上、構成も
簡単であり、学習時間および識別に要する時間とも短縮
できる大きな利点がある。同じ処理速度の計算機を用い
た比較では、回転対照法で１０秒の処理時間を要したの
が、体積に基づく認識では１秒以下に短縮できた。As described above, it is a feature of the method of the present invention that the recognition based on the volume is also possible. Compared with the rotation contrast method, this method has a great advantage that the number of inputs of the neural network can be reduced, the configuration is simple, and the learning time and the time required for discrimination can be shortened. In a comparison using a computer with the same processing speed, the rotation control method required a processing time of 10 seconds, but the volume-based recognition could reduce the processing time to less than 1 second.
【００２５】一方、本発明の方式と異なった超音波によ
る形状測定方式であるフェイズドアレイ方式では、原理
的に波長の１０倍以下の距離分解能を得るのは困難であ
る。従って、物体の高さを分解能よく測定するのは困難
である。その上、この方式では図１２に示したとおり、
距離が一定の平面画像しか撮像できないので立体像を得
るために複数枚の平面画像を撮像する必要がある。入力
情報過多によるニューラルネットワークへの負荷増を避
けるためには画像枚数に制限が生じる。一例として画像
枚数の上限を１０枚とすると、測定距離範囲を１００ｃ
ｍの場合、距離分解能は１０ｃｍとなってしまう。従っ
て、ニューラルネットワークへの負荷を低減するために
物体の体積を精度良く測定するのは益々困難になる。On the other hand, it is difficult in principle to obtain a distance resolution of 10 times the wavelength or less in the phased array method which is a shape measuring method using ultrasonic waves different from the method of the present invention. Therefore, it is difficult to measure the height of the object with high resolution. Moreover, in this method, as shown in FIG.
Since only planar images with a constant distance can be captured, it is necessary to capture a plurality of planar images in order to obtain a stereoscopic image. In order to avoid an increase in the load on the neural network due to excessive input information, the number of images is limited. As an example, if the upper limit of the number of images is 10, the measurement distance range is 100c.
In the case of m, the distance resolution will be 10 cm. Therefore, it becomes more and more difficult to accurately measure the volume of the object in order to reduce the load on the neural network.
【００２６】なお、本発明で用いる距離センサーは超音
波センサーやレーザ光センサーに限定するものではな
く、指向性がよいものならば良い。The distance sensor used in the present invention is not limited to the ultrasonic sensor or the laser light sensor, but may be any one having a good directivity.
【００２７】[0027]
【発明の効果】以上説明したように本発明によれば、複
数個の距離センサを平面状に配列したセンサーアレイを
用いて、該センサーアレイに対向して設置された３次元
物体の表面までの距離情報の平面分布を測定し、この物
体表面までの距離情報と背景までの距離を比較して３次
元物体の形状情報を背景から抽出し、該距離情報の平面
分布あるいは該距離情報の平面分布から基準面までの距
離の差で定義される奥行き情報の平面分布をニューラル
ネットワークの入力情報に用いることにより、３次元物
体の認識が可能になる。このため、As described above, according to the present invention, a sensor array in which a plurality of distance sensors are arranged in a plane is used, and up to the surface of a three-dimensional object installed facing the sensor array. The plane distribution of the distance information is measured, the distance information to the surface of the object is compared with the distance to the background, and the shape information of the three-dimensional object is extracted from the background, and the plane distribution of the distance information or the plane distribution of the distance information is extracted. The three-dimensional object can be recognized by using the plane distribution of the depth information defined by the difference in the distance from the reference plane to the input information of the neural network. For this reason,
【００２８】(I)３次元物体の形状情報を損なうことな
く、２次元奥行き情報に圧縮することができるので、ニ
ューラルネットワークを用いた認識における演算数を大
幅に低減できる。
(II)構成が簡単で経済的，実用的である。
(III)明るさが変化したり、影が生じる屋外環境におい
ても認識が可能である。
(IV)位置や向きが不特定な物体の認識が可能である。
(V)高速認識が可能である。
(VI) 体積の精密測定が可能なため、位置および向きに
依存しない特徴量である体積に基づいた認識が可能であ
る。
など、多くの利点を有している。(I) Since the shape information of a three-dimensional object can be compressed into two-dimensional depth information without being damaged, the number of operations in recognition using a neural network can be greatly reduced. (II) Simple structure, economical and practical. (III) It can be recognized even in an outdoor environment where the brightness changes or a shadow occurs. (IV) It is possible to recognize an object whose position and orientation are unspecified. (V) High speed recognition is possible. (VI) Since the volume can be precisely measured, it is possible to perform recognition based on the volume, which is a feature amount that does not depend on the position and orientation. It has many advantages.
【図１】本発明の距離センサーによる形状測定の原理的
な説明図である。FIG. 1 is a principle explanatory view of shape measurement by a distance sensor of the present invention.
【図２】本発明において用いるニューラルネットワーク
の説明図である。FIG. 2 is an explanatory diagram of a neural network used in the present invention.
【図３】本発明の一実施例において用いた超音波センサ
ーアレイの構成図である。FIG. 3 is a configuration diagram of an ultrasonic sensor array used in an example of the present invention.
【図４】本実施例における超音波センサーの指向性を示
す図である。FIG. 4 is a diagram showing the directivity of the ultrasonic sensor in this embodiment.
【図５】本実施例における超音波センサーの水平方向分
解能の実験結果をそれぞれ示す図である。FIG. 5 is a diagram showing experimental results of horizontal resolution of the ultrasonic sensor in this example.
【図６】本実施例における水平方向分解能の実験方法を
示す説明図である。FIG. 6 is an explanatory diagram showing an experimental method of horizontal resolution in the present embodiment.
【図７】本実施例における形状測定系のブロック図であ
る。FIG. 7 is a block diagram of a shape measuring system in the present embodiment.
【図８】本実施例において立方体の撮像で得られた奥行
き情報を示す図である。FIG. 8 is a diagram showing depth information obtained by imaging a cube in the present embodiment.
【図９】図８の奥行き情報の３次元表示を示す図であ
る。9 is a diagram showing a three-dimensional display of the depth information of FIG.
【図１０】本実施例における３次元物体の認識アルゴリ
ズムを示す説明図である。FIG. 10 is an explanatory diagram showing a three-dimensional object recognition algorithm according to the present embodiment.
【図１１】本実施例における体積に基づいた３次元物体
の認識アルゴリズムを示す説明図である。FIG. 11 is an explanatory diagram showing a volume-based three-dimensional object recognition algorithm in the present embodiment.
【図１２】従来の超音波センサーによる形状測定の説明
図である。FIG. 12 is an explanatory diagram of shape measurement by a conventional ultrasonic sensor.
１０ ３次元物体 １１ センサーアレイ １１1〜１１n 距離センサー １２ 奥行き情報画面 １３ ニューラルネットワーク １４ 入力層 １５ 中間層 １６ 出力層10 three-dimensional object 11 sensor array 11 1 to 11 n distance sensor 12 depth information screen 13 neural network 14 input layer 15 intermediate layer 16 output layer
フロントページの続き (72)発明者 武田 幸喜 東京都千代田区内幸町一丁目１番６号 日 本電信電話株式会社内Continued front page (72) Inventor Koki Takeda 1-6 Uchisaiwaicho, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation
Claims (4)
ーを用いて、前記距離センサーの前方に対向して設置し
た３次元物体の表面までの距離情報の平面分布を測定
し、その物体表面までの距離情報と背景までの距離を比
較することによって３次元物体の形状情報を背景から抽
出し、当該距離情報の平面分布もしくは，当該距離情報
の平面分布から基準面までの距離の差で定義される奥行
き情報の平面分布を、ニューラルネットワークの入力情
報に用いて３次元物体を認識することを特徴とするニュ
ーラルネットワークによる３次元物体の認識方法。1. A plurality of distance sensors arranged in a plane are used to measure the plane distribution of distance information up to the surface of a three-dimensional object installed in front of the distance sensor, and the object surface is measured. Shape information of a three-dimensional object is extracted from the background by comparing the distance information to the background with the distance information to the background, and is defined by the plane distribution of the distance information or the difference between the plane distribution of the distance information and the reference plane. A method for recognizing a three-dimensional object by a neural network, characterized by recognizing a three-dimensional object by using the plane distribution of the depth information as input information of the neural network.
平面分布もしくは，奥行き情報の平面分布をその重心中
心に画面中央に平行移動し、回転させる毎にニューラル
ネットワークに入力し、最大出力をもって形状を判定す
ることを特徴とするニューラルネットワークによる３次
元物体の認識方法。2. The plane distribution of the extracted distance information or the plane distribution of the depth information is translated to the center of the center of the screen in parallel to the center of the screen, and is input to the neural network every time it is rotated, and the shape is output with the maximum output. A method for recognizing a three-dimensional object by a neural network, characterized in that
指向角±５度以下の超音波センサーもしくはレーザ光セ
ンサーを用いたことを特徴とするニューラルネットワー
クによる３次元物体の認識方法。3. The method for recognizing a three-dimensional object by a neural network according to claim 1, wherein an ultrasonic sensor or laser light sensor having a directivity angle of ± 5 degrees or less is used as the distance sensor.
布から算出した物体のセンサー方向の表面積もしくは体
積をニューラルネットワークの入力情報に用いて３次元
物体を認識することを特徴とするニューラルネットワー
クによる３次元物体の認識方法。4. The neural network according to claim 1, wherein the surface area or volume of the object in the sensor direction calculated from the plane distribution of the depth information is used as input information of the neural network to recognize a three-dimensional object. Recognition method for 3D objects.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3246558A JP2969202B2 (en) | 1991-05-08 | 1991-09-02 | 3D object recognition method using neural network |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13170091 | 1991-05-08 | ||
| JP3-131700 | 1991-05-08 | ||
| JP3246558A JP2969202B2 (en) | 1991-05-08 | 1991-09-02 | 3D object recognition method using neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0519052A true JPH0519052A (en) | 1993-01-26 |
| JP2969202B2 JP2969202B2 (en) | 1999-11-02 |
Family
ID=26466457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3246558A Expired - Fee Related JP2969202B2 (en) | 1991-05-08 | 1991-09-02 | 3D object recognition method using neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2969202B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08211148A (en) * | 1994-10-28 | 1996-08-20 | Siemens Ag | Object identification method |
| JPH09104420A (en) * | 1995-10-12 | 1997-04-22 | Kibun Foods Inc | Defective-tray detecting device |
| JP2004259114A (en) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | Object identification method, object identification device, and object identification program |
| EP1603071A1 (en) * | 2004-06-01 | 2005-12-07 | Fuji Jukogyo Kabushiki Kaisha | Three-dimensional object recognizing system |
| CN108229644A (en) * | 2016-12-15 | 2018-06-29 | 上海寒武纪信息科技有限公司 | The device of compression/de-compression neural network model, device and method |
| JP2018200310A (en) * | 2017-05-29 | 2018-12-20 | エレスタ・ゲーエムベーハー・オストフィルダーン・（ディイー）・ツヴァイクニーダーラッスング・バド ラガーツ | Device for monitoring position of object by sound wave |
| WO2019021456A1 (en) * | 2017-07-28 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | Learning device, recognition device, learning method, recognition method, and program |
| JPWO2020235022A1 (en) * | 2019-05-21 | 2020-11-26 |
-
1991
- 1991-09-02 JP JP3246558A patent/JP2969202B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08211148A (en) * | 1994-10-28 | 1996-08-20 | Siemens Ag | Object identification method |
| JPH09104420A (en) * | 1995-10-12 | 1997-04-22 | Kibun Foods Inc | Defective-tray detecting device |
| JP2004259114A (en) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | Object identification method, object identification device, and object identification program |
| EP1603071A1 (en) * | 2004-06-01 | 2005-12-07 | Fuji Jukogyo Kabushiki Kaisha | Three-dimensional object recognizing system |
| US7545975B2 (en) | 2004-06-01 | 2009-06-09 | Fuji Jukogyo Kabushiki Kaisha | Three-dimensional object recognizing system |
| CN108229644A (en) * | 2016-12-15 | 2018-06-29 | 上海寒武纪信息科技有限公司 | The device of compression/de-compression neural network model, device and method |
| JP2018200310A (en) * | 2017-05-29 | 2018-12-20 | エレスタ・ゲーエムベーハー・オストフィルダーン・（ディイー）・ツヴァイクニーダーラッスング・バド ラガーツ | Device for monitoring position of object by sound wave |
| WO2019021456A1 (en) * | 2017-07-28 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | Learning device, recognition device, learning method, recognition method, and program |
| JPWO2019021456A1 (en) * | 2017-07-28 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | Learning device, recognition device, learning method, recognition method, and program |
| US11681910B2 (en) | 2017-07-28 | 2023-06-20 | Sony Interactive Entertainment Inc. | Training apparatus, recognition apparatus, training method, recognition method, and program |
| JPWO2020235022A1 (en) * | 2019-05-21 | 2020-11-26 | ||
| WO2020235022A1 (en) * | 2019-05-21 | 2020-11-26 | 日本電信電話株式会社 | Depth estimation device, depth estimation method, and depth estimation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2969202B2 (en) | 1999-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100340867C (en) | Portable 3D ultrasound system | |
| US4644509A (en) | Ultrasonic audience measurement system and method | |
| TW475982B (en) | Acoustic microscope | |
| US9830523B2 (en) | Method and apparatus for recognizing object material using spatial image and spatial radar information | |
| JPH05249239A (en) | Three-dimensional measurement and topography imaging sonar | |
| US3675472A (en) | Apparatus and method for images of the interior structure of solid objects | |
| CN112731443B (en) | Three-dimensional imaging system and method for fusing single photon laser radar and short wave infrared image | |
| CN108490077A (en) | A kind of real-time 3D total focus phased array supersonic imaging method, device and storage medium | |
| JP2969202B2 (en) | 3D object recognition method using neural network | |
| CN113935379B (en) | Human body activity segmentation method and system based on millimeter wave radar signals | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| CN101692069B (en) | Construction method of C scanning TOF image of ultrasonic scanning microscope | |
| JP2002345815A (en) | Three-dimensional ultrasonic photographic system | |
| JP3151472B2 (en) | Method for generating three-dimensional object image | |
| Murino et al. | Underwater 3D imaging by FFT dynamic focusing beamforming | |
| US20050283077A1 (en) | Adaptive ultrasound imaging system | |
| CN111123284A (en) | Detection method and detection device | |
| JP3281946B2 (en) | 3D object recognition method | |
| JP7197003B2 (en) | Depth estimation device, depth estimation method, and depth estimation program | |
| JP4682577B2 (en) | Ultrasonic imaging method and ultrasonic imaging apparatus | |
| JP2554102B2 (en) | Slit optical detector | |
| JP2541774Y2 (en) | Ultrasonic microscope equipment | |
| JPH0124635Y2 (en) | ||
| JPH02280078A (en) | Object image pickup system | |
| JP2972939B2 (en) | Ultrasonic object discriminating apparatus, ultrasonic object discriminating method, and method for forming neural network in ultrasonic object discriminating apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |