JPH0778406B2

JPH0778406B2 - 多視点距離データの統合方法

Info

Publication number: JPH0778406B2
Application number: JP3070472A
Authority: JP
Inventors: 良浩河井; 正毅大島
Original assignee: Agency of Industrial Science and Technology
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1991-03-11
Filing date: 1991-03-11
Publication date: 1995-08-23
Anticipated expiration: 2010-08-23
Also published as: JPH0618221A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、産業用視覚システムや
ロボットに視覚を与えるために必要な物体認識とか、Ｃ
ＡＤ／ＣＡＭにおける物体表面上の点の三次元データ入
力に有用な、多視点距離データの統合方法に関する。

【０００２】

【従来の技術】人間が外界から得る情報の大部分は視覚
によっており、生活する上において大変重要な役割を果
たしていることは言うまでもない。このような視覚機能
を計算機に持たせることで自動化できる分野は極めて多
岐に亙り、かつ、将来的にもその必要性は大きい。特
に、対象となる物体が三次元物体である場合の計測や処
理技術が重要であって、従来からも他方面から種々の研
究がなされている。例えば特公昭５０−３６３７４号公
報に示されているように、三次元物体の計測の一手法と
して、レーザ光を物体に当て、三角測量の原理で物体表
面の三次元形状を測定する手法があり、また、この手法
を行なう装置として、レンジファインダと呼ばれるもの
がある。レンジファインダ自体としてならば、上記以外
にも種々のタイプのものがあるが、いずれの場合も、得
られた三次元距離データはレンジデータと呼ばれ、物体
の表面形状を表現している。したがって、このデータを
適当に処理すれば、三次元物体の当該形状を求めること
ができる。

【０００３】

【発明が解決しようとする課題】しかしながら、三次元
物体は、単なる一方向からの計測では裏側の部分や、視
線上に他の部分による隠れ（オクルージョン）があると
き、全体の形状を得ることができない。換言すれば、三
次元物体全体の詳細な形状を知るためには、物体を互い
に異なる複数方向から計測する必要があり、そのように
して得られた複数のデータを統合して始めて、当該対象
物体としての三次元物体の形状を正確に求めることがで
きる。してみるに、従来開発されてきた技法は、対象物
体が簡単な平面や簡単な曲面で構成されている場合にの
み、適用できると言って良く、自己オクルージョンが生
じ易い物体に適しているとは言えない。さらに、複雑な
物体を取扱う場合、測定位置を最初から求めておく限
り、その位置関係を用いてデータの統合を行なうという
手法はあったが、その前提が崩れた場合、すなわち、相
互の位置関係が未知な異なる視点から得られるデータを
統合することはできなかった。本発明はまさしくこの点
に鑑みて成されたもので、位置関係が未知な異なる視点
から得られた複数の三次元距離データをも統合可能な手
法を提供せんとするものである。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、相互の位置関係が未知であっても、異
なる複数の視点から得られた複数のレンジデータ（三次
元距離データ）間にて対応領域を求め、これにより上記
複数の視点間を移動するに要する平行移動成分と回転移
動成分とから成る移動量を求め、当該求めた移動量に基
づき、複数の多視点距離データの統合を行なう。なお、
上記における「複数の視点間を移動するに要する平行移
動成分と回転移動成分とから成る移動量」とは、視点を
固定して考え、三次元対象物体の方が動いたとするなら
ば、相対的な問題として単に移動の方向が逆になるだけ
で、上記対応領域間の平行移動成分と回転移動成分とか
ら成る移動量でもある。いずれにしてもこのような定義
に従う移動量は、以下では単に「移動量」と記す。本発
明はまた、より下位の発明として、対応領域の決定方法
についての発明も開示する。すなわち、異なる方向から
撮った三次元距離データを、各データにおいて領域分割
を行なう。そして、他の視点からでも見える確率の高い
領域を複数選択する。次に、その領域の特徴量を計算
し、各データから複数の領域の組を選び、それにより構
成された相似な図形を検索する。その上で、対応する領
域を領域対応表に記載し、これを繰返して対応数の多い
領域を一致する領域として決定する。さらに、本発明
は、移動量の抽出に関しても、一つの望ましい手順とし
て、次のような手順を提案する。まず、対応する領域同
志の重心が一致するように移動パラメータ（すなわち上
記の平行移動成分と回転移動成分）を求め、このパラメ
ータを繰返し処理で重心同志のずれを最小にするように
図る。また、本発明の一態様においては、各データを小
領域に分割してそれらに共に面を当てはめ、そのずれが
最小となるように移動パラメータを改善する。さらに繰
返し処理すれば、移動パラメータの精度を一層上げるこ
とができる。こうした手法により得られた移動量に基づ
き、複数の多視点距離データを統合する。

【０００５】

【実施例】本発明の多視点距離データの統合方法は、手
順を大きく二分すると、上述した通り、異なる視点から
得られた三次元距離データ（レンジデータ：以下では単
にデータと呼ぶこともある）の対応領域を求めるステッ
プと、その対応領域から移動量を求めるステップとにな
る。以降、添付の図面に即し、本発明の具体的な実施例
に関して説明する。図２は、本実施例で複雑な三次元の
対象物体として用いた「あじさいの花」である。本図
は、通常のビデオカメラによって撮影された映像に相当
する。図３は、データ獲得方法ないし装置系の一例を示
しており、撮像装置としてビデオカメラ（５１２×４８
０画素のものを例示）を有するレーザレンジファンダを
用いたデータ撮影部分を表している。このような手段に
よってデータ獲得を異なる視点から行ない、物体表面上
の三次元距離データであるレンジデータを複数得る。図
４は、図３に示されるような手法ないし装置系を利用し
て得られた、ある一方向からのレンジデータの一例を示
している。もちろん、撮像装置は上記のビデオカメラに
限定されるものではなく、レンジデータを獲得するため
に対象物体を撮像可能であり、当該三次元情報を得るこ
とができれば良い。

【０００６】次に、図１に即し、本発明の手順の中でも
特に重要なステップとなる対応領域の決定までにつき、
説明する。まず、図１の最初の手続にて「データ獲得」
と記されているように、図３に示したレンジファインダ
により、視点方向が大幅に変化しない程度に移動した別
の視線方向から対象物体を計測し、この手続きを繰返し
て複数方向からのそれぞれのレンジデータを得る。次
に、図１中にて「領域分割」と記されているように、前
処理として、各レンジデータにおいて領域分割を行な
う。これは例えば、データの各点について距離の近いも
のに同一のラベルを付すというラベル付けにより行なう
ことができ、この処理により、同一ラベルであるものを
一領域とする。ただし、このような距離の近さに鑑みて
の領域分割に代え、点の連続性、面の連続性等に着目し
ての領域分割も可能である。いずれにしても、分割され
た領域で点数の少ないものは利用価値が低いので、ノイ
ズとして除去する。次の「領域選択」工程では、この分
割された領域の中、他視点からのデータでも見える確率
の高いもの、つまり、領域対応に関して信頼性が高いと
考えられる領域を幾つか選択する。具体的に言えば、一
般に撮像装置（カメラ）に近いもの（前面にある領域）
は、他の領域によるオクルージョンの影響が少ないと考
えられるので、そのような領域を選択する。その外、注
目する領域の周りには他の領域がない，という条件を満
足する領域を選択するという手法も可能である。

【０００７】次に、図１中に「領域の組合せ決定」と示
されている工程に移るが、そのためには、選択した各領
域について特徴量を計算する。特徴量としては、面積
（点の数）と重心等が一般的に選び易いが、法線と隣接
関係等、他の基準を採用することもできる。求めた特徴
量に基づき、データの選択された二領域間の対応を求め
る。ここで、特徴量として面積，重心を特徴量の計算基
準とした場合につき説明すると、領域の当該重心位置や
面積比は、他視点から得られたそれらとは若干のずれが
あるが、大幅に変わるものではないので、それらによっ
てマッチングを取ることができる。次に、図５に示され
ているように、上記で選択した複数の領域の数を越えな
い数の領域、例えば三領域を選び、それらの重心で三角
形を構成する。各領域の面積比をも含み、この三角形が
相似となるものを見付けることで、対応領域を求める。
もっとも、上記で選択する領域の数はもっと多くて良
く、重心を結んだ線分のなす形状も一般的に多角形とな
っていて良いが、当然のことながら、選択する領域の数
が増える程、計算コストに跳ね返る。逆に、三領域程度
であっても、精度としては一応十分と言えることが本発
明者の実験により分かっているので、その意味からは、
三角形の相似形状を見付けるのが、計算負担と信頼性の
両天秤のバランスを取った最も合理的な場合であるとも
言える。相似図形の検索は、二つのデータ領域間の対応
表を利用して行なえる。一例につき説明すると、領域対
応表を作成し、当初、ある値（一般には零が普通と考え
られるので、この実施例でもそのようにする）で初期化
しておく。そして、一致する図形が見付かったとき、対
応表中の該当欄に単位度数を加算し、これを全ての組合
せに対して繰返す。単位度数は、簡単には１であって良
く、したがって、対応する図形が見付かるたびに、該当
欄の数値は＋１づつインクリメントされて行く。その結
果、対応数の多いものを一致領域とする。これにより、
二つのデータ間の対応領域が決まる。

【０００８】このようにして、対応領域決定に成功すれ
ば、次のようにして移動パラメータを求めることができ
る。まず、各データの重心を一致させる処理を行なう。
例えば、ν_abをデータａの領域ｂの重心ベクトルとし
て、重心間ベクトルのずれが最小となるような回転移動
成分Ｒ_O を下記数式１）の評価関数を用いて最小二乗法
の繰返しで求める。

【０００９】

【数１】

【００１０】次に、χを移動前のベクトル、χ’を移動
後のベクトルとして、 χ’＝Ｒ_O χ＋ｔ_O により、平行移動成分ｔ_O を計算する。なお、上記評価
関数による最小二乗法の繰返し処理の外にも、重心が一
致するような処理は可能であるが、本例が簡単で良い。
本実施例では、このようにして求めたＲ_O ，ｔ_O を初期
値とし、ずれが最小になるように繰返し処理を行ない、
移動パラメータＲ，ｔを計算し、その精度を上げるよう
にしている。また、この実施例では、先に少し触れたよ
うに、データは二次元テーブル５１２×４８０で表さ
れ、各点は三次元座標を持っている。そこで、図６に示
すように、これを適当な分割数、例えば１６×１６の小
領域に分割し、比較するデータにおいて、図７に示すよ
うに、その領域が後の処理に利用できる条件を満足して
いるか否かを調べる。ここでは次のような四つの条件を
挙げて見る。条件(1) 領域内の測定点の数がしきい値以上あること。条件(2) 領域の測定点の数の差がしきい値以下であるこ
と。条件(3) 領域の重心の距離がしきい値以下であること。条件(4) 領域に対して面を当てはめたときのずれの分散
がしきい値以下であること。そして、このような条件をクリアし、求めた各領域に対
して面を当てはめる。なお、当てはめる面は平面、ｎ次
曲面等でも良いが、本実施例では領域の重心点近傍の点
からｚを手前方向として、２次曲面ｚ＝ｆ（ｘ，ｙ）を
当てはめ、次のデータ１，２を用意する。データ１：Ｒ，ｔで移動した点により、ｆ₁(ｘ，ｙ）を
計算。データ２：ｆ₂(ｘ，ｙ）を計算（この面は固定）。しかるに、選択された領域の面のずれを最小にすること
で、データ間の移動パラメータの精度を上げることがで
きるので、本実施例ではω_r を領域ｒへの重みとして、
下記のようなずれの評価関数Ｅを用い、最小二乗法を適
用する。Ｅ＝Σω_r Σ｜ｆ₁(ｘ，ｙ）−ｆ₂(ｘ，ｙ）｜² このＥについて、θを回転移動成分パラメータ、ｔを平
行移動成分パラメータとし、下記数式２）が満たされる
とき、当該Ｅは最小となる。

【００１１】

【数２】

【００１２】しかし、実際には上記数式２）の通りに全
て零にはならないので、本実施例ではｉを繰返しの回数
として、下式３），４）により、ηの値を更新して行
く。

【００１３】

【数３】

【００１４】

【数４】

【００１５】他にもηの値を更新して行く手法はあり、
このこと自体は当業者に自明であるが、さらに本実施例
ではκの値も自動的に調整し、Ｅが発散した場合にはそ
の値を半分にして再計算し、また、Ｅが振動した場合に
はκの値を徐々に小さくし、振動を抑えるようにしてい
る。他の手法として、Ｅの発散や振動に対して強いよう
に、κの値を小さな一定値に設定することもできるが、
本発明者の実験においては上記の自動変動性のκを用い
ている。このように更新した値ηでＲ，ｔを計算し、デ
ータ１を移動して面当てはめを行ない、データ２と比較
しながら処理を繰返す。この繰返し処理は、終了条件
(1) Ｅが零ないしほぼ零，終了条件(2) ΔＥが零ないし
ほぼ零，終了条件(3) 繰返し回数が規定値を越えたと
き，のいずれかを満たしたときに終了する。ただし、終
了条件としては、他にも例えば、終了条件(4) Ｅやηの
振動が収まったとき，等も用いることができる。本実施
例では上記の通り、三つの条件(1) 〜(3) を用いている
が、この処理により、回転移動成分Ｒと平行移動成分ｔ
とを決定することができる。

【００１６】先に図４に示した一方向からのデータと、
位置関係が未知なデータとの移動パラメータに関し、こ
こで具体的な計算例を挙げてみる。対応領域の部分では
選択された２０領域の中、７領域が一致し、その重心同
志を一致させるようにすることで求めた移動パラメータ
は、（θ_x,θ_y,θ_z,ｔ_x,ｔ_y,ｔ_z) ＝(-0.38°, 7.19°,-1.18°,-29.39mm,-0.36mm,12.39mm) であったが、データを小領域に分割して面を張り、その
ずれが最小になるように繰返し処理を施した結果は、（θ_x,θ_y,θ_z,ｔ_x,ｔ_y,ｔ_z) ＝(-0.13°, 6.82°,-0.02°,-27.59mm,-0.40mm,11.16mm) となり、このパラメータによる統合後のずれが減少し
た。

【００１７】このようにして、隣接した各データについ
て上記手法で移動パラメータを求める。対応が採れない
データ間の移動パラメータについては、既知のデータを
経由して行くことでその間の移動パラメータＲ，ｔを計
算する。そして、あるデータの座標系を基準とし、デー
タを座標変換することで統合して行く。図２に示される
「あじさいの花」に関し、左から右にほぼ７°程度づつ
移動しながら全部で９つの三次元距離データを取り、そ
れらを上記手法に従って統合した結果を図８に示してお
く。図４に示されるような一方向からのみで得られたレ
ンジデータに基づいては見ることのできなかった左右の
部分が、本発明を適用して統合された図８では見えてい
る。

【００１８】

【発明の効果】本発明では、相互の位置関係が既知では
なく、未知であっても、異なる視点から得られた複数の
三次元距離データにあって対応領域を求めることによ
り、その移動量を計算しているので、当該データの統合
により物体の詳細な形状情報を得ることができる。ま
た、任意の方向から得た三次元距離データの領域対応を
採ることができるため、未知の観測系自体の移動パラメ
ータを求めることができる。例えばロボットの目として
応用すると、当該ロボット自体の移動パラメータを自動
的に計測することもできる。この外、ＣＡＤやＣＡＭに
おいての対象物体の三次元距離データの自動入力等にも
有効に利用することができ、極めて広い範囲の応用が考
えられる。

【図面の簡単な説明】

【図１】本発明の多視点距離データの統合方法に従う一
実施例の重要なステップ部分の説明図である。

【図２】本発明の具体的な実施例を説明するため、対象
物体の一例として採用したあじさいの花を、ビデオカメ
ラにより一方向から撮像したときの映像に相当する図で
ある。

【図３】三次元距離データないしレンジデータを獲得す
るための手法及び装置系の説明図である。

【図４】対象物体としてのあじさいの花に関し、一方向
から採られたレンジデータ例の説明図である。

【図５】本発明一実施例における対応領域の求め方の説
明図である。

【図６】本発明一実施例において移動パラメータの改善
処理を行なうときに利用する小領域分割に関する説明図
である。

【図７】分割された小領域の性質の一例を示す説明図で
ある。

【図８】本発明の一実施例に従い、全部で９つのレンジ
データを統合した結果を示す説明図である。

Claims

【特許請求の範囲】

【請求項１】相互の位置関係が未知の異なる複数の視
点から得られた複数の三元距離データの各々にそれぞれ
複数の領域を設定し、該異なる視点から得られた該複数
のデータ間の上記複数の領域同志の対応関係を求めるこ
とにより、上記複数の視点間を移動するに要する平行移
動成分と回転移動成分とから成る移動量を求め、該求め
た移動量に基づき、上記各データを統合すること；を特徴とする多視点距離データの統合方法。
【請求項２】上記領域同志の対応関係を求めるに際
し、上記複数の領域の中、他の視点からでも見える確率
の高い領域を幾つか選択し、それら領域の対応関係を求
める工程を有すること；を特徴とする請求項１に記載の
方法。
【請求項３】上記領域同志の対応関係を求めるに際
し、上記複数の領域の各々の特徴量を計算し、上記各デ
ータからそれぞれ複数の領域の組を選び、それにより構
成された相似な図形を検索する工程を有すること；を特
徴とする請求項１また２に記載の方法。
【請求項４】上記領域同志の対応関係を求めるに際
し、領域対応表を作成して上記対応する領域を該領域対
応表に記載する処理を繰返し、対応数の多い領域を一致
する領域として決定する工程を有すること；を特徴とす
る請求項１，２または３に記載の方法。
【請求項５】上記移動量を求めるに際し、上記対応す
る領域の重心が一致するようにすることでずれを最小と
して、上記平行移動成分と回転移動成分を求めること；を特徴とする請求項１，２，３または４に記載の方法。
【請求項６】上記平行移動成分と回転移動成分を求め
るに際し、繰返し処理によりずれを最小とすること；を特徴とする請求項５に記載の方法。
【請求項７】上記平行移動成分と回転移動成分を求め
るに際し、上記各データを小領域に分割して面を当ては
めることで該平行移動成分と回転移動成分の精度を上げ
ること；を特徴とする請求項５または６に記載の方法。
【請求項８】上記移動量を求めるに際し、繰返し処
理によりずれを最小とすること；を特徴とする請求項
５，６または７に記載の方法。