JPH0618221A - Integration of multi-viewpoint distance data - Google Patents
Integration of multi-viewpoint distance dataInfo
- Publication number
- JPH0618221A JPH0618221A JP3070472A JP7047291A JPH0618221A JP H0618221 A JPH0618221 A JP H0618221A JP 3070472 A JP3070472 A JP 3070472A JP 7047291 A JP7047291 A JP 7047291A JP H0618221 A JPH0618221 A JP H0618221A
- Authority
- JP
- Japan
- Prior art keywords
- data
- areas
- obtaining
- regions
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、産業用視覚システムや
ロボットに視覚を与えるために必要な物体認識とか、Ｃ
ＡＤ／ＣＡＭにおける物体表面上の点の三次元データ入
力に有用な、多視点距離データの統合方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to object recognition necessary for giving a vision to an industrial vision system or a robot, and C
The present invention relates to a method of integrating multi-view distance data useful for inputting three-dimensional data of points on an object surface in AD / CAM.
【０００２】[0002]
【従来の技術】人間が外界から得る情報の大部分は視覚
によっており、生活する上において大変重要な役割を果
たしていることは言うまでもない。このような視覚機能
を計算機に持たせることで自動化できる分野は極めて多
岐に亙り、かつ、将来的にもその必要性は大きい。特
に、対象となる物体が三次元物体である場合の計測や処
理技術が重要であって、従来からも他方面から種々の研
究がなされている。例えば特公昭５０−３６３７４号公
報に示されているように、三次元物体の計測の一手法と
して、レーザ光を物体に当て、三角測量の原理で物体表
面の三次元形状を測定する手法があり、また、この手法
を行なう装置として、レンジファインダと呼ばれるもの
がある。レンジファインダ自体としてならば、上記以外
にも種々のタイプのものがあるが、いずれの場合も、得
られた三次元距離データはレンジデータと呼ばれ、物体
の表面形状を表現している。したがって、このデータを
適当に処理すれば、三次元物体の当該形状を求めること
ができる。2. Description of the Related Art Needless to say, most of the information that humans obtain from the outside world is visual and plays a very important role in our daily lives. There are a wide variety of fields that can be automated by providing a computer with such visual functions, and there is a great need for it in the future. In particular, measurement and processing techniques when a target object is a three-dimensional object are important, and various studies have been made from the other side even from the past. For example, as shown in Japanese Patent Publication No. 50-36374, there is a method of measuring a three-dimensional object by irradiating the object with a laser beam and measuring the three-dimensional shape of the object surface by the principle of triangulation. Also, as a device for performing this method, there is a device called a range finder. As for the range finder itself, there are various types other than the above, but in each case, the obtained three-dimensional distance data is called range data and represents the surface shape of the object. Therefore, by appropriately processing this data, the shape of the three-dimensional object can be obtained.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、三次元
物体は、単なる一方向からの計測では裏側の部分や、視
線上に他の部分による隠れ（オクルージョン）があると
き、全体の形状を得ることができない。換言すれば、三
次元物体全体の詳細な形状を知るためには、物体を互い
に異なる複数方向から計測する必要があり、そのように
して得られた複数のデータを統合して始めて、当該対象
物体としての三次元物体の形状を正確に求めることがで
きる。してみるに、従来開発されてきた技法は、対象物
体が簡単な平面や簡単な曲面で構成されている場合にの
み、適用できると言って良く、自己オクルージョンが生
じ易い物体に適しているとは言えない。さらに、複雑な
物体を取扱う場合、測定位置を最初から求めておく限
り、その位置関係を用いてデータの統合を行なうという
手法はあったが、その前提が崩れた場合、すなわち、相
互の位置関係が未知な異なる視点から得られるデータを
統合することはできなかった。本発明はまさしくこの点
に鑑みて成されたもので、位置関係が未知な異なる視点
から得られた複数の三次元距離データをも統合可能な手
法を提供せんとするものである。However, a three-dimensional object can obtain the entire shape when there is a hidden part (occlusion) on the back side or another part on the line of sight in the measurement from one direction. Can not. In other words, in order to know the detailed shape of the entire three-dimensional object, it is necessary to measure the object from different directions, and it is only after integrating the plurality of data obtained in this way that the target object As a result, the shape of the three-dimensional object can be accurately obtained. Therefore, it can be said that the conventionally developed technique can be applied only when the target object is composed of a simple flat surface or a simple curved surface, and is suitable for an object in which self-occlusion easily occurs. I can't say. Furthermore, when dealing with complicated objects, there was a method of integrating data by using the positional relationship as long as the measurement position was obtained from the beginning, but when the premise was broken, that is, mutual positional relationship. It was not possible to integrate data from different unknown perspectives. The present invention has been made in view of this point, and it is an object of the present invention to provide a method capable of integrating a plurality of three-dimensional distance data obtained from different viewpoints whose positional relationship is unknown.
【０００４】[0004]
【課題を解決するための手段】上記目的を達成するた
め、本発明では、相互の位置関係が未知であっても、異
なる視点から得られた複数のレンジデータ（三次元距離
データ）間にて対応領域を求め、その対応領域から移動
量を求めることにより、当該移動量に基づき複数の多視
点距離データの統合を行なう。本発明はまた、より下位
の発明として、対応領域の決定方法についての発明も開
示する。すなわち、異なる方向から撮った三次元距離デ
ータを、各データにおいて領域分割を行なう。そして、
他の視点からでも見える確率の高い領域を複数選択す
る。次に、その領域の特徴量を計算し、各データから複
数の領域の組を選び、それにより構成された相似な図形
を検索する。その上で、対応する領域を領域対応表に記
載し、これを繰返して対応数の多い領域を一致する領域
として決定する。さらに、本発明は、移動量の抽出に関
しても、次のような手順を提案する。まず、対応する領
域同志の重心が一致するように移動パラメータを求め、
このパラメータを繰返し処理で重心同志のずれを最小に
するように図る。また、本発明の一態様においては、各
データを小領域に分割してそれらに共に面を当てはめ、
そのずれが最小となるように移動パラメータを改善す
る。さらに繰返し処理すれば、移動パラメータの精度を
一層上げることができる。こうした手法により得られた
移動量から複数の多視点距離データを統合する。In order to achieve the above object, according to the present invention, even if mutual positional relations are unknown, a plurality of range data (three-dimensional distance data) obtained from different viewpoints can be used. By obtaining the corresponding area and obtaining the movement amount from the corresponding area, a plurality of multi-viewpoint distance data are integrated based on the movement amount. The present invention also discloses, as a lower level invention, an invention regarding a method of determining a corresponding region. That is, the three-dimensional distance data taken from different directions is divided into areas for each data. And
Select multiple areas that are likely to be seen from other viewpoints. Next, the feature amount of the area is calculated, a set of a plurality of areas is selected from each data, and a similar figure constituted by the set is searched. Then, the corresponding area is described in the area correspondence table, and this is repeated to determine the area having a large number of correspondences as the matching area. Further, the present invention also proposes the following procedure for extracting the movement amount. First, find the movement parameters so that the centers of gravity of the corresponding regions match,
This parameter is iteratively processed to minimize the deviation of the centers of gravity. Further, in one aspect of the present invention, each data is divided into small areas, and surfaces are fitted together to the small areas,
The movement parameters are improved so that the deviation is minimized. If iterative processing is further performed, the accuracy of the movement parameter can be further improved. A plurality of multi-viewpoint distance data are integrated from the movement amount obtained by such a method.
【０００５】[0005]
【実施例】本発明の多視点距離データの統合方法は、手
順を大きく二分すると、上述した通り、異なる視点から
得られた三次元距離データ（レンジデータ：以下では単
にデータと呼ぶこともある）の対応領域を求めるステッ
プと、その対応領域から移動量を求めるステップとにな
る。以降、添付の図面に即し、本発明の具体的な実施例
に関して説明する。図２は、本実施例で複雑な三次元の
対象物体として用いた「あじさいの花」である。本図
は、通常のビデオカメラによって撮影された映像に相当
する。図３は、データ獲得方法ないし装置系の一例を示
しており、撮像装置としてビデオカメラ（５１２×４８
０画素のものを例示）を有するレーザレンジファンダを
用いたデータ撮影部分を表している。このような手段に
よってデータ獲得を異なる視点から行ない、物体表面上
の三次元距離データであるレンジデータを複数得る。図
４は、図３に示されるような手法ないし装置系を利用し
て得られた、ある一方向からのレンジデータの一例を示
している。もちろん、撮像装置は上記のビデオカメラに
限定されるものではなく、レンジデータを獲得するため
に対象物体を撮像可能であり、当該三次元情報を得るこ
とができれば良い。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the method of integrating multi-view distance data of the present invention, if the procedure is roughly divided into two, as described above, three-dimensional distance data obtained from different viewpoints (range data: may be simply referred to as data hereinafter). And the step of obtaining the movement amount from the corresponding area. Hereinafter, specific embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 2 shows a “hydrangea flower” used as a complicated three-dimensional target object in this embodiment. This figure corresponds to an image taken by a normal video camera. FIG. 3 shows an example of a data acquisition method or device system. A video camera (512 × 48) is used as an imaging device.
It shows a data photographing portion using a laser range fan having 0 pixels as an example). By such means, data acquisition is performed from different viewpoints to obtain a plurality of range data which are three-dimensional distance data on the surface of the object. FIG. 4 shows an example of range data from a certain direction obtained by using the method or device system shown in FIG. Of course, the image pickup device is not limited to the above video camera, and it is sufficient that the image pickup device can pick up the target object to obtain the range data and can obtain the three-dimensional information.
【０００６】次に、図１に即し、本発明の手順の中でも
特に重要なステップとなる対応領域の決定までにつき、
説明する。まず、図１の最初の手続にて「データ獲得」
と記されているように、図３に示したレンジファインダ
により、視点方向が大幅に変化しない程度に移動した別
の視線方向から対象物体を計測し、この手続きを繰返し
て複数方向からのそれぞれのレンジデータを得る。次
に、図１中にて「領域分割」と記されているように、前
処理として、各レンジデータにおいて領域分割を行な
う。これは例えば、データの各点について距離の近いも
のに同一のラベルを付すというラベル付けにより行なう
ことができ、この処理により、同一ラベルであるものを
一領域とする。ただし、このような距離の近さに鑑みて
の領域分割に代え、点の連続性、面の連続性等に着目し
ての領域分割も可能である。いずれにしても、分割され
た領域で点数の少ないものは利用価値が低いので、ノイ
ズとして除去する。次の「領域選択」工程では、この分
割された領域の中、他視点からのデータでも見える確率
の高いもの、つまり、領域対応に関して信頼性が高いと
考えられる領域を幾つか選択する。具体的に言えば、一
般に撮像装置（カメラ）に近いもの（前面にある領域）
は、他の領域によるオクルージョンの影響が少ないと考
えられるので、そのような領域を選択する。その外、注
目する領域の周りには他の領域がない，という条件を満
足する領域を選択するという手法も可能である。Next, referring to FIG. 1, in determining the corresponding area, which is a particularly important step in the procedure of the present invention,
explain. First, in the first procedure in Figure 1, "data acquisition"
As described above, the range finder shown in FIG. 3 measures the target object from another line-of-sight direction that has moved to such an extent that the viewpoint direction does not change significantly, and repeats this procedure for each from multiple directions. Get range data. Next, as described as "area division" in FIG. 1, area division is performed on each range data as preprocessing. This can be done, for example, by labeling each point of data with a short distance with the same label, and by this processing, the areas with the same label are defined as one area. However, instead of the area division in consideration of such closeness of distance, it is also possible to perform the area division by paying attention to the continuity of points, the continuity of surfaces, and the like. In any case, a divided area with a small number of points has low utility value and is removed as noise. In the next "area selection" step, some of these divided areas are selected that have a high probability of being visible even from data from other viewpoints, that is, areas that are considered to be highly reliable in terms of area correspondence. To be more specific, generally close to the image pickup device (camera) (the area on the front)
Is considered to be less affected by occlusion by other areas, so such areas are selected. In addition, it is possible to select a region that satisfies the condition that there is no other region around the region of interest.
【０００７】次に、図１中に「領域の組合せ決定」と示
されている工程に移るが、そのためには、選択した各領
域について特徴量を計算する。特徴量としては、面積
（点の数）と重心等が一般的に選び易いが、法線と隣接
関係等、他の基準を採用することもできる。求めた特徴
量に基づき、データの選択された二領域間の対応を求め
る。ここで、特徴量として面積，重心を特徴量の計算基
準とした場合につき説明すると、領域の当該重心位置や
面積比は、他視点から得られたそれらとは若干のずれが
あるが、大幅に変わるものではないので、それらによっ
てマッチングを取ることができる。次に、図５に示され
ているように、上記で選択した複数の領域の数を越えな
い数の領域、例えば三領域を選び、それらの重心で三角
形を構成する。各領域の面積比をも含み、この三角形が
相似となるものを見付けることで、対応領域を求める。
もっとも、上記で選択する領域の数はもっと多くて良
く、重心を結んだ線分のなす形状も一般的に多角形とな
っていて良いが、当然のことながら、選択する領域の数
が増える程、計算コストに跳ね返る。逆に、三領域程度
であっても、精度としては一応十分と言えることが本発
明者の実験により分かっているので、その意味からは、
三角形の相似形状を見付けるのが、計算負担と信頼性の
両天秤のバランスを取った最も合理的な場合であるとも
言える。相似図形の検索は、二つのデータ領域間の対応
表を利用して行なえる。一例につき説明すると、領域対
応表を作成し、当初、ある値（一般には零が普通と考え
られるので、この実施例でもそのようにする）で初期化
しておく。そして、一致する図形が見付かったとき、対
応表中の該当欄に単位度数を加算し、これを全ての組合
せに対して繰返す。単位度数は、簡単には１であって良
く、したがって、対応する図形が見付かるたびに、該当
欄の数値は＋１づつインクリメントされて行く。その結
果、対応数の多いものを一致領域とする。これにより、
二つのデータ間の対応領域が決まる。Next, the process shown as "determination of combination of areas" in FIG. 1 is performed. For that purpose, a feature amount is calculated for each selected area. The area (number of points), the center of gravity, and the like are generally easy to select as the feature amount, but other criteria such as the normal line and the adjacency relationship can also be adopted. Correspondence between the two selected areas of the data is obtained based on the obtained feature amount. Here, an explanation will be given of the case where the area and the center of gravity are used as the feature amount as the calculation reference of the feature amount. It doesn't change, so you can match them. Next, as shown in FIG. 5, a number of regions that do not exceed the number of the plurality of regions selected above, for example, three regions, is selected, and a triangle is formed by their centroids. Corresponding regions are found by including the area ratios of the respective regions and finding similar triangles.
However, the number of areas selected above may be larger, and the shape of the line segment connecting the centers of gravity may be generally polygonal, but of course, the larger the number of areas selected, , Bouncing back to the computational cost. On the contrary, it is known from the experiments by the present inventor that the accuracy can be said to be sufficient even if it is about three regions.
It can be said that finding the similar shape of a triangle is the most rational case where the balance between the computational load and the reliability is balanced. The similar figure can be searched by using a correspondence table between two data areas. As an example, an area correspondence table is created and initially initialized with a certain value (zero is generally considered to be normal, and so is this embodiment as well). When a matching figure is found, the unit frequency is added to the corresponding column in the correspondence table, and this is repeated for all combinations. The unit frequency may simply be 1. Therefore, each time the corresponding figure is found, the numerical value in the relevant column is incremented by +1. As a result, the area having a large number of correspondences is set as the matching area. This allows
The corresponding area between the two data is determined.
【０００８】このようにして、対応領域決定に成功すれ
ば、次のようにして移動パラメータを求めることができ
る。まず、各データの重心を一致させる処理を行なう。
例えば、νabをデータａの領域ｂの重心ベクトルとし
て、重心間ベクトルのずれが最小となるような回転移動
成分ＲO を下記数式１）の評価関数を用いて最小二乗法
の繰返しで求める。In this way, if the corresponding area is successfully determined, the movement parameter can be obtained as follows. First, a process of matching the centers of gravity of the respective data is performed.
For example, using ν ab as the center of gravity vector of the region b of the data a, the rotational movement component R O that minimizes the shift between the center of gravity vectors is obtained by repeating the least squares method using the evaluation function of the following formula 1).
【０００９】[0009]
【数１】 [Equation 1]
【００１０】次に、χを移動前のベクトル、χ’を移動
後のベクトルとして、 χ’＝ＲO χ＋ｔO により、平行移動成分ｔO を計算する。なお、上記評価
関数による最小二乗法の繰返し処理の外にも、重心が一
致するような処理は可能であるが、本例が簡単で良い。
本実施例では、このようにして求めたＲO ，ｔO を初期
値とし、ずれが最小になるように繰返し処理を行ない、
移動パラメータＲ，ｔを計算し、その精度を上げるよう
にしている。また、この実施例では、先に少し触れたよ
うに、データは二次元テーブル５１２×４８０で表さ
れ、各点は三次元座標を持っている。そこで、図６に示
すように、これを適当な分割数、例えば１６×１６の小
領域に分割し、比較するデータにおいて、図７に示すよ
うに、その領域が後の処理に利用できる条件を満足して
いるか否かを調べる。ここでは次のような四つの条件を
挙げて見る。 条件(1) 領域内の測定点の数がしきい値以上あること。 条件(2) 領域の測定点の数の差がしきい値以下であるこ
と。 条件(3) 領域の重心の距離がしきい値以下であること。 条件(4) 領域に対して面を当てはめたときのずれの分散
がしきい値以下であること。 そして、このような条件をクリアし、求めた各領域に対
して面を当てはめる。なお、当てはめる面は平面、ｎ次
曲面等でも良いが、本実施例では領域の重心点近傍の点
からｚを手前方向として、２次曲面ｚ＝ｆ（ｘ，ｙ）を
当てはめ、次のデータ１，２を用意する。 データ１：Ｒ，ｔで移動した点により、ｆ1(ｘ，ｙ）を
計算。 データ２：ｆ2(ｘ，ｙ）を計算（この面は固定）。 しかるに、選択された領域の面のずれを最小にすること
で、データ間の移動パラメータの精度を上げることがで
きるので、本実施例ではωr を領域ｒへの重みとして、
下記のようなずれの評価関数Ｅを用い、最小二乗法を適
用する。 Ｅ＝Σωr Σ｜ｆ1(ｘ，ｙ）−ｆ2(ｘ，ｙ）｜2 このＥについて、θを回転移動成分パラメータ、ｔを平
行移動成分パラメータとし、下記数式２）が満たされる
とき、当該Ｅは最小となる。Next, with χ being the vector before movement and χ ′ being the vector after movement, the translation component t O is calculated by χ ′ = R O χ + t O. In addition to the iterative process of the least-squares method using the evaluation function, a process in which the centers of gravity match can be performed, but this example is simple.
In this embodiment, R O and t O thus obtained are used as initial values, and the iterative process is performed to minimize the deviation.
The movement parameters R and t are calculated to improve their accuracy. Further, in this embodiment, as mentioned above, the data is represented by a two-dimensional table 512 × 480, and each point has a three-dimensional coordinate. Therefore, as shown in FIG. 6, this is divided into small areas of an appropriate number of divisions, for example, 16 × 16, and in the data to be compared, as shown in FIG. Find out if you are satisfied. Here, the following four conditions are listed. Condition (1) The number of measurement points in the area must be greater than or equal to the threshold value. Condition (2) The difference in the number of measurement points in the area must be below the threshold value. Condition (3) The distance of the center of gravity of the area is less than or equal to the threshold value. Condition (4) The variance of displacement when a surface is fitted to the area is below the threshold value. Then, such a condition is cleared, and a surface is applied to each obtained area. The surface to be fitted may be a flat surface, an nth-order curved surface, or the like, but in the present embodiment, the quadratic surface z = f (x, y) is fitted from the point near the center of gravity of the region with z as the front direction, and the following data Prepare 1 and 2. Data 1: Calculate f 1 (x, y) from the points moved at R and t. Data 2: f 2 (x, y) is calculated (this plane is fixed). However, since the accuracy of the movement parameter between data can be improved by minimizing the surface deviation of the selected area, in this embodiment, ω r is set as the weight for the area r,
The least squares method is applied using the evaluation function E with the deviation as described below. E = Σω r Σ | f 1 (x, y) −f 2 (x, y) | 2 When E is the rotational movement component parameter and t is the parallel movement component parameter, the following formula 2) is satisfied: , E becomes the minimum.
【００１１】[0011]
【数２】 [Equation 2]
【００１２】しかし、実際には上記数式２）の通りに全
て零にはならないので、本実施例ではｉを繰返しの回数
として、下式３），４）により、ηの値を更新して行
く。However, in reality, all of them do not become zero as expressed by the above equation 2), so that the value of η is updated by the following equations 3) and 4) with i as the number of iterations. .
【００１３】[0013]
【数３】 [Equation 3]
【００１４】[0014]
【数４】 [Equation 4]
【００１５】他にもηの値を更新して行く手法はあり、
このこと自体は当業者に自明であるが、さらに本実施例
ではκの値も自動的に調整し、Ｅが発散した場合にはそ
の値を半分にして再計算し、また、Ｅが振動した場合に
はκの値を徐々に小さくし、振動を抑えるようにしてい
る。他の手法として、Ｅの発散や振動に対して強いよう
に、κの値を小さな一定値に設定することもできるが、
本発明者の実験においては上記の自動変動性のκを用い
ている。このように更新した値ηでＲ，ｔを計算し、デ
ータ１を移動して面当てはめを行ない、データ２と比較
しながら処理を繰返す。この繰返し処理は、終了条件
(1) Ｅが零ないしほぼ零，終了条件(2) ΔＥが零ないし
ほぼ零，終了条件(3) 繰返し回数が規定値を越えたと
き，のいずれかを満たしたときに終了する。ただし、終
了条件としては、他にも例えば、終了条件(4) Ｅやηの
振動が収まったとき，等も用いることができる。本実施
例では上記の通り、三つの条件(1) 〜(3) を用いている
が、この処理により、回転移動成分Ｒと平行移動成分ｔ
とを決定することができる。There are other methods for updating the value of η,
Although this fact is obvious to those skilled in the art, in the present embodiment, the value of κ is automatically adjusted, and when E diverges, the value is halved and recalculated, and E oscillates. In this case, the value of κ is gradually reduced to suppress vibration. As another method, the value of κ can be set to a small constant value so as to be strong against divergence and vibration of E.
In the experiment of the present inventor, the above-mentioned automatic κ is used. The values η thus updated are used to calculate R and t, the data 1 is moved to perform surface fitting, and the process is repeated while comparing with the data 2. This iterative process is the end condition
(1) E is zero or almost zero, end condition (2) ΔE is zero or almost zero, end condition (3) When the number of repetitions exceeds the specified value, the process ends when either of the following is satisfied. However, as the termination condition, for example, the termination condition (4) E or when the vibration of η is settled can be used. In this embodiment, as described above, the three conditions (1) to (3) are used. By this processing, the rotational movement component R and the parallel movement component t
Can be determined.
【００１６】先に図４に示した一方向からのデータと、
位置関係が未知なデータとの移動パラメータに関し、こ
こで具体的な計算例を挙げてみる。対応領域の部分では
選択された２０領域の中、７領域が一致し、その重心同
志を一致させるようにすることで求めた移動パラメータ
は、 （θx,θy,θz,ｔx,ｔy,ｔz) ＝(-0.38°, 7.19°,-1.18°,-29.39mm,-0.36mm,12.39mm) であったが、データを小領域に分割して面を張り、その
ずれが最小になるように繰返し処理を施した結果は、 （θx,θy,θz,ｔx,ｔy,ｔz) ＝(-0.13°, 6.82°,-0.02°,-27.59mm,-0.40mm,11.16mm) となり、このパラメータによる統合後のずれが減少し
た。Data from one direction shown in FIG. 4, and
Regarding the movement parameter with the data whose positional relationship is unknown, a concrete calculation example will be given here. In the corresponding area, 7 areas out of the 20 areas selected match, and the movement parameters obtained by matching the centers of gravity are (θ x , θ y , θ z , t x , t y, t z) = (- 0.38 °, 7.19 °, -1.18 °, -29.39mm, -0.36mm, was the 12.39Mm), span the surface by dividing the data into small areas, the deviation is minimized the result of performing an iterative process such that, (θ x, θ y, θ z, t x, t y, t z) = (- 0.13 °, 6.82 °, -0.02 °, -27.59mm, -0.40 mm, 11.16 mm), which reduces the deviation after integration due to this parameter.
【００１７】このようにして、隣接した各データについ
て上記手法で移動パラメータを求める。対応が採れない
データ間の移動パラメータについては、既知のデータを
経由して行くことでその間の移動パラメータＲ，ｔを計
算する。そして、あるデータの座標系を基準とし、デー
タを座標変換することで統合して行く。図２に示される
「あじさいの花」に関し、左から右にほぼ７°程度づつ
移動しながら全部で９つの三次元距離データを取り、そ
れらを上記手法に従って統合した結果を図８に示してお
く。図４に示されるような一方向からのみで得られたレ
ンジデータに基づいては見ることのできなかった左右の
部分が、本発明を適用して統合された図８では見えてい
る。In this way, the movement parameter is obtained by the above method for each adjacent data. For movement parameters between data that cannot be matched, movement parameters R and t between them are calculated by going through known data. Then, using the coordinate system of certain data as a reference, the data is coordinate-converted to be integrated. Regarding the "hydrangea flower" shown in FIG. 2, a total of nine three-dimensional distance data are taken while moving from left to right by about 7 °, and the results obtained by integrating them according to the above method are shown in FIG. . The left and right parts, which could not be seen based on the range data obtained from only one direction as shown in FIG. 4, are visible in FIG. 8 integrated by applying the present invention.
【００１８】[0018]
【発明の効果】本発明では、相互の位置関係が既知では
なく、未知であっても、異なる視点から得られた複数の
三次元距離データにあって対応領域を求めることによ
り、その移動量を計算しているので、当該データの統合
により物体の詳細な形状情報を得ることができる。ま
た、任意の方向から得た三次元距離データの領域対応を
採ることができるため、未知の観測系自体の移動パラメ
ータを求めることができる。例えばロボットの目として
応用すると、当該ロボット自体の移動パラメータを自動
的に計測することもできる。この外、ＣＡＤやＣＡＭに
おいての対象物体の三次元距離データの自動入力等にも
有効に利用することができ、極めて広い範囲の応用が考
えられる。According to the present invention, even if the mutual positional relationship is unknown or unknown, the amount of movement can be calculated by finding the corresponding area in a plurality of three-dimensional distance data obtained from different viewpoints. Since the calculation is performed, detailed shape information of the object can be obtained by integrating the data. Further, since the region correspondence of the three-dimensional distance data obtained from any direction can be taken, it is possible to obtain the movement parameter of the unknown observation system itself. For example, when applied as the eyes of a robot, the movement parameters of the robot itself can be automatically measured. In addition to this, it can be effectively used for automatic input of three-dimensional distance data of a target object in CAD or CAM, and an extremely wide range of applications can be considered.
【図１】本発明の多視点距離データの統合方法に従う一
実施例の重要なステップ部分の説明図である。FIG. 1 is an explanatory diagram of important steps of an embodiment according to the multi-view distance data integration method of the present invention.
【図２】本発明の具体的な実施例を説明するため、対象
物体の一例として採用したあじさいの花を、ビデオカメ
ラにより一方向から撮像したときの映像に相当する図で
ある。FIG. 2 is a diagram corresponding to an image when a hydrangea flower used as an example of a target object for describing a specific example of the present invention is imaged from one direction by a video camera.
【図３】三次元距離データないしレンジデータを獲得す
るための手法及び装置系の説明図である。FIG. 3 is an explanatory diagram of a method and apparatus system for acquiring three-dimensional distance data or range data.
【図４】対象物体としてのあじさいの花に関し、一方向
から採られたレンジデータ例の説明図である。FIG. 4 is an explanatory diagram of an example of range data taken from one direction regarding a hydrangea flower as a target object.
【図５】本発明一実施例における対応領域の求め方の説
明図である。FIG. 5 is an explanatory diagram of how to obtain a corresponding area in the embodiment of the present invention.
【図６】本発明一実施例において移動パラメータの改善
処理を行なうときに利用する小領域分割に関する説明図
である。FIG. 6 is an explanatory diagram related to small area division used when performing a movement parameter improvement process in an embodiment of the present invention.
【図７】分割された小領域の性質の一例を示す説明図で
ある。FIG. 7 is an explanatory diagram showing an example of a property of a divided small area.
【図８】本発明の一実施例に従い、全部で９つのレンジ
データを統合した結果を示す説明図である。FIG. 8 is an explanatory diagram showing a result of integrating a total of nine range data according to an embodiment of the present invention.
Claims (8)
ら得られた三次元距離データに複数の領域を設定し、該
異なる視点から得られた該データの該領域同志の対応関
係を求めることにより、移動量を求めること；を特徴と
する多視点距離データの統合方法。1. By setting a plurality of areas in three-dimensional distance data obtained from different viewpoints whose mutual positional relationships are unknown, and obtaining the correspondence between the areas obtained from the different viewpoints. A method of integrating multi-view distance data, characterized by:
し、上記複数の領域の中、他の視点からでも見える確率
の高い領域を幾つか選択し、それら領域の対応関係を求
める工程を有すること；を特徴とする請求項１に記載の
方法。2. A step of selecting a plurality of regions having a high probability of being seen from other viewpoints among the plurality of regions and obtaining a corresponding relation between the regions when obtaining the corresponding relation between the regions. The method according to claim 1, characterized in that
し、上記複数の領域の各々の特徴量を計算し、上記各デ
ータからそれぞれ複数の領域の組を選び、それにより構
成された相似な図形を検索する工程を有すること；を特
徴とする請求項１また２に記載の方法。3. When obtaining the correspondence between the areas, the feature amount of each of the areas is calculated, a set of areas is selected from each of the data, and a similar figure formed by the selection is performed. The method according to claim 1 or 2, further comprising a step of searching.
し、領域対応表を作成して上記対応する領域を該領域対
応表に記載する処理を繰返し、対応数の多い領域を一致
する領域として決定する工程を有すること；を特徴とす
る請求項１，２または３に記載の方法。4. When obtaining the correspondence between the areas, an area correspondence table is created and the corresponding area is repeatedly described in the area correspondence table, and areas having a large number of correspondences are determined as matching areas. The method according to claim 1, 2, or 3, further comprising a step.
する領域の重心が一致するようにすることでずれを最小
とし、移動パラメータを求めること；を特徴とする請求
項１，２，３または４に記載の方法。5. The movement parameter is obtained by minimizing the deviation by making the centers of gravity of the corresponding areas coincide with each other when obtaining the movement amount. The method described in.
繰返し処理によりずれを最小とすること；を特徴とする
請求項５に記載の方法。6. When obtaining the movement parameter,
The method according to claim 5, wherein the deviation is minimized by iterative processing.
ータを小領域に分割して面を当てはめることで移動パラ
メータの精度を上げること；を特徴とする請求項５また
は６に記載の方法。7. The method according to claim 5, wherein in obtaining the movement amount, the precision of the movement parameter is improved by dividing each of the data into small areas and fitting a surface to the divided areas.
理によりずれを最小とすること；を特徴とする請求項
５，６または７に記載の方法。8. The method according to claim 5, 6 or 7, wherein the deviation is minimized by iterative processing when the movement amount is obtained.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3070472A JPH0778406B2 (en) | 1991-03-11 | 1991-03-11 | Method of integrating multi-view distance data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3070472A JPH0778406B2 (en) | 1991-03-11 | 1991-03-11 | Method of integrating multi-view distance data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0618221A true JPH0618221A (en) | 1994-01-25 |
| JPH0778406B2 JPH0778406B2 (en) | 1995-08-23 |
Family
ID=13432504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3070472A Expired - Lifetime JPH0778406B2 (en) | 1991-03-11 | 1991-03-11 | Method of integrating multi-view distance data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0778406B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007069721A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Three-dimensional shape data storing/displaying method and device, and three-dimensional shape measuring method and device |
| WO2007069726A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Self-position identifying method and device, and three-dimensional shape measurement method and device |
| WO2007069724A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Three-dimensional shape data aligning method and device |
| JP2008309671A (en) * | 2007-06-15 | 2008-12-25 | Ihi Corp | Object recognition method and device |
| JP2016186488A (en) * | 2011-04-13 | 2016-10-27 | 株式会社トプコン | Three-dimensional data processing apparatus, three-dimensional data processing system, three-dimensional data processing method, and program |
| JPWO2021048985A1 (en) * | 2019-09-12 | 2021-03-18 |
-
1991
- 1991-03-11 JP JP3070472A patent/JPH0778406B2/en not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4650751B2 (en) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | Method and apparatus for aligning 3D shape data |
| JPWO2007069726A1 (en) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | Self-position identification method and apparatus and three-dimensional shape measurement method and apparatus |
| WO2007069724A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Three-dimensional shape data aligning method and device |
| US8300048B2 (en) | 2005-12-16 | 2012-10-30 | Ihi Corporation | Three-dimensional shape data recording/display method and device, and three-dimensional shape measuring method and device |
| WO2007069721A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Three-dimensional shape data storing/displaying method and device, and three-dimensional shape measuring method and device |
| JPWO2007069724A1 (en) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | Method and apparatus for aligning 3D shape data |
| WO2007069726A1 (en) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | Self-position identifying method and device, and three-dimensional shape measurement method and device |
| JP4650750B2 (en) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 3D shape data storage and display method and apparatus, and 3D shape measurement method and apparatus |
| JPWO2007069721A1 (en) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | 3D shape data storage and display method and apparatus, and 3D shape measurement method and apparatus |
| JP4650752B2 (en) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | Self-position identification method and apparatus and three-dimensional shape measurement method and apparatus |
| US8116558B2 (en) | 2005-12-16 | 2012-02-14 | Ihi Corporation | Three-dimensional shape data position matching method and device |
| US8121399B2 (en) | 2005-12-16 | 2012-02-21 | Ihi Corporation | Self-position identifying method and device, and three-dimensional shape measuring method and device |
| JP2008309671A (en) * | 2007-06-15 | 2008-12-25 | Ihi Corp | Object recognition method and device |
| JP2016186488A (en) * | 2011-04-13 | 2016-10-27 | 株式会社トプコン | Three-dimensional data processing apparatus, three-dimensional data processing system, three-dimensional data processing method, and program |
| JPWO2021048985A1 (en) * | 2019-09-12 | 2021-03-18 | ||
| WO2021048985A1 (en) * | 2019-09-12 | 2021-03-18 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0778406B2 (en) | 1995-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8140295B2 (en) | Auto-referenced sensing device for three-dimensional scanning | |
| JP4865557B2 (en) | Computer vision system for classification and spatial localization of bounded 3D objects | |
| US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
| Dang et al. | Continuous stereo self-calibration by camera parameter tracking | |
| US4893183A (en) | Robotic vision system | |
| US7376262B2 (en) | Method of three dimensional positioning using feature matching | |
| Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
| US20040170315A1 (en) | Calibration apparatus, calibration method, program for calibration, and calibration jig | |
| JP5955028B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11328478B2 (en) | System and method for efficient 3D reconstruction of objects with telecentric line-scan cameras | |
| JP2014013147A5 (en) | ||
| Munoz-Banon et al. | Targetless camera-lidar calibration in unstructured environments | |
| US6175648B1 (en) | Process for producing cartographic data by stereo vision | |
| CN116309813A (en) | Solid-state laser radar-camera tight coupling pose estimation method | |
| JP2006252275A (en) | Restoration system of camera motion and object shape | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| JPH0618221A (en) | Integration of multi-viewpoint distance data | |
| CN111429571B (en) | Rapid stereo matching method based on spatio-temporal image information joint correlation | |
| Loaiza et al. | Matching segments in stereoscopic vision | |
| JP2802034B2 (en) | 3D object measurement method | |
| JP3728460B2 (en) | Method and system for determining optimal arrangement of stereo camera | |
| Lourenço et al. | Extrinsic calibration of 2D laser range finders using planar features | |
| Yuen et al. | Natural landmark based localisation system using panoramic images | |
| Ariyawansa et al. | High-speed correspondence for object recognition and tracking | |
| Kim et al. | An improved ICP algorithm based on the sensor projection for automatic 3D registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |