JP4650751B2 - 三次元形状データの位置合わせ方法と装置 - Google Patents

三次元形状データの位置合わせ方法と装置 Download PDF

Info

Publication number
JP4650751B2
JP4650751B2 JP2007550241A JP2007550241A JP4650751B2 JP 4650751 B2 JP4650751 B2 JP 4650751B2 JP 2007550241 A JP2007550241 A JP 2007550241A JP 2007550241 A JP2007550241 A JP 2007550241A JP 4650751 B2 JP4650751 B2 JP 4650751B2
Authority
JP
Japan
Prior art keywords
voxel
measurement
error distribution
data
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007550241A
Other languages
English (en)
Other versions
JPWO2007069724A1 (ja
Inventor
俊寛 林
幸弘 河野
英雄 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Publication of JPWO2007069724A1 publication Critical patent/JPWO2007069724A1/ja
Application granted granted Critical
Publication of JP4650751B2 publication Critical patent/JP4650751B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

発明の背景
発明の技術分野
本発明は、静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ方法と装置に関する。
関連技術の説明
本発明において静的な三次元形状を多視点から計測した複数の距離画像の幾何学的位置関係を推定することを「位置合わせ」と呼ぶ。
三次元形状の計測技術が普及し、様々な応用分野、例えば、機械部品・工作物等の形状計測、移動ロボットにおける自己位置の同定、地形・構造物の計測等に三次元形状データが用いられている。
ある物体の三次元計測を行って三次元形状を復元する場合、1つの視点(計測位置)からの計測ではその視点に面する表面情報は獲得できるが、物体の背面は計測できない。そのため、三次元形状の復元には、複数視点からの計測およびその計測結果を精度よく位置合わせする必要がある。
複数の視点から取得したデータを位置合わせするためには、視点と計測対象の位置関係が明らかでなければならない。この視点と計測対象の位置関係を取得する方法として、物体をステージ上に配置し回転させる方法や、リンク機構を持つアームなどに視点を持たせる方法が存在するが、共に位置関係の精度に限界がある。また、仮に精度が得られたとしても、計測物体の大きさに制限が発生してしまう。
そこで位置関係の精度の影響を受けず、かつ計測物体の大きさにも制限されない手段として、先に得られた計測データとその後で得られた計測データとを比較しながら位置合わせする手段が種々提案されている。
このうち、対応点が既知の場合には、回転と並進による自乗誤差の最小化問題として、容易に求めることができる。しかし、一般的に対応点は既知ではない。
対応点が既知でない場合の位置合わせ手段として、不変特徴量によるマッチング、直接法、およびICPアルゴリズムが既に提案されている(例えば、非特許文献1、2)。
「不変特徴量によるマッチング」は、形状に不変な局所的な特徴点(微分特徴など)を利用して2つのデータのマッチングを行うものである。
「直接法」は、二次元画像におけるオプティカルフローを三次元画像について求めるものである。
「ICP(Iterative Closest Points)アルゴリズム」は、先の計測データに対するその後の計測データの最も近傍の点を求め、回転・並進を行いながらその距離の総和が最小になる状態を一致状態となるように解を求めるものである。
また、本発明に関連する技術として、非特許文献3が開示されている。
増田健、他「複数距離画像からの形状モデル生成技術」 Paul J.Besl,"A Method for Registration of 3−D Shapes",IEEE Transactions of Pattern Analysis and Mechanical Intelligence, Vol.14, No.2, February 1992 関本清英、他「三次元レーザレーダの開発」、石川島播磨技報Vol.43 No.4(2003−7)
三次元レーザレーダのような距離センサを用いる場合、計測される三次元形状上の被計測点は、横方向及び垂直方向に離散した点群となる。この点群の間隔は、計測点からの距離が例えば50mの場合、被計測点の間隔は、例えば横方向で約315mm、垂直方向で約525mmに達する。
また、複数の計測位置から静止している三次元形状を計測する場合、三次元レーザレーダのような距離センサでは、計測位置毎に、被計測点の位置は通常異なる。
さらに、このような距離センサは、一般に測定距離に例えば約20cm前後の誤差を有する。
従って、三次元レーザレーダのような距離センサを用いる場合、以下の制約条件A〜Cがある。
条件A:計測データに点数が少ない(例えば、1フレーム=166×50点)
条件B:計測データに誤差を含む(例えば、測定距離に約20cm前後)
条件C:計測データは同じ計測点を計るとは限らない。
すなわち、得られる距離データは横方向及び垂直方向に離散した点群であり、計測毎に位置が相違するため対応点がなく、測定距離に比較的大きな誤差を含んでいる。
このような距離データを上述した「不変特徴量によるマッチング」や「直接法」で処理する場合、離散した点群であり計測点が少なく、対応点がなく、計測誤差が大きいため、正確な位置合わせはほとんど不可能である。
また、ICPアルゴリズムを用いる場合、点群の位置合わせは原理的には可能であるが、以下の問題点がある。
(1)誤差の蓄積
ICPアルゴリズムは、2つの距離データの重ね合わせ手段であり、先のデータとその後のデータとの比較を繰り返し、その差分を積分しても、対応点がほとんどないため、誤差が蓄積してしまう。
(2)計算量が多い
ICPアルゴリズムは、繰り返し計算であるため、計算量が膨大となる。すなわち、ICPアルゴリズムは、計測データの各データ点に対応するモデルデータを探索する必要があるため、モデルデータ点数および計測データ点数が増加すると計算量が増大する。具体的には、モデルデータの点数をM、計測データの点数をNとした場合、例えば全探索時の計算オーダは、O(M×N)となる。
(3)計測点が少ない場合を扱えない
ICPアルゴリズムは、密な距離データを対象としているため、離散した点群であり、空間的に疎である場合は、誤った結果に収束してしまう。
発明の要約
本発明は上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、静止している三次元形状を複数の計測位置から計測した距離データが空間的に離散した点群であり、計測毎に位置が相違して対応点がなく、比較的大きな誤差を含んでいる場合でも、誤差の蓄積がなく、少ない計算量で、正確な位置合わせができる三次元形状データの位置合わせ方法と装置を提供することにある。
本発明によれば、静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ方法であって、
新たな計測位置において、三次元形状上の座標値をコンピュータに入力するデータ入力ステップと、
前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築ステップと、
前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチングステップとを実施し、
更に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせする精密合わせステップと、
前記ボクセル位置、代表点、および誤差分布を出力装置に出力する出力ステップとを有する、ことを特徴とする三次元形状データの位置合わせ方法が提供される。
なお、上記距離に関する評価値は、当該距離の総和の代わりに、当該距離の平均値、当該距離の2乗の総和、または、当該距離の最大値であってもよく、他の適切な評価値であってもよい。
本発明の好ましい実施形態によれば、前記マッチングステップにおいて、ボクセルの内部に代表点とその誤差分布に加え、ボクセル内に物体の存在確率を表す確率値を設定し、記憶する。
また、前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、位置合わせする粗合わせステップを有する。
なお、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する上記評価値は、当該距離の総和の代わりに、当該距離の平均値、当該距離の2乗の総和、または、当該距離の最大値であってもよく、他の適切な評価値であってもよい。
また、代表点を有するボクセル間の距離に関する上記評価値は、当該距離の総和の代わりに、当該距離の総和の代わりに、当該距離の平均値、当該距離の2乗の総和、または、当該距離の最大値であってもよく、他の適切な評価値であってもよい。
または、前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする粗合わせステップを有する。
なお、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する上記評価値は、当該確率値の総和の代わりに、当該確率値の平均値、または、当該確率値の2乗の総和、または、当該確率値の最小値であってもよく、他の適切な評価値であってもよい。
また、近接するボクセルが持つ確率値の差に関する上記評価値は、当該確率値の差の総和の代わりに、当該確率値の差の平均値、当該確率値の差の2乗の総和、または、当該確率値の差の最大値であってもよく、他の適切な評価値であってもよい。
また、前記データ入力ステップの後に、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度値を利用し、照合する範囲を限定する探索範囲限定ステップを有する。
また、前記モデル構築ステップにおいて、最大のボクセルを必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。
また、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定もしくは消去する。
また、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定する。
また、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、
誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。ボクセルの分割には、例えば八分木やK−D木を用いる。
前記モデル更新ステップにおいて、前記新たに取得した誤差分布と前記既に設定したボクセル内の誤差分布とを比較し、誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。
本発明の別の実施形態によると、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、
該モデル更新ステップにおいて、新たに入力された被計測点の座標値およびそ
の誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する。
前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総乗)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせする。
前記一致度に関する評価値の算出式が次の[数1]で表わされ、
Figure 0004650751
この式において、計測点jと環境モデル上の代表点iとが対応付けられているとし、当該計測点jなる計測データが得られる確率をEM(i、j)としており、ω(j)は、環境モデルの中に計測点jと対応付けられる代表点が存在する場合は1、それ以外の場合は0としている。
また、本発明によれば、静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ装置であって、
三次元形状上の座標値をコンピュータに入力するデータ入力装置と、
前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築装置と、
前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチング装置と、
前記ボクセル位置、代表点、および誤差分布を出力装置に出力するデータ伝達装置とを備え、
先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせする、ことを特徴とする三次元形状データの位置合わせ装置が提供される。
前記マッチング装置は、ボクセルの内部に代表点とその誤差分布に加え、ボクセル内に物体の存在確率を表す確率値を設定し、記憶する。
前記三次元形状データの位置合わせ装置は、前記位置合わせ(前記精密合わせステップ)の前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、位置合わせする粗合わせステップを行う。
前記三次元形状データの位置合わせ装置は、前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする粗合わせステップを行う。
前記三次元形状データの位置合わせ装置は、 前記データ入力ステップの後に、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度値を利用し、照合する範囲を限定する探索範囲限定ステップを行う。
前記三次元形状データの位置合わせ装置は、前記精密合わせステップにおいて、誤差分布が交差する場合を同一計測点とし、その場合の距離値に分布の一致度から求めた重みを掛け合わせて誤差分布間の距離を算出する。
前記モデル構築装置は、最大のボクセルを必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。
前記三次元形状データの位置合わせ装置は、 前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを行う、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定もしくは消去する。
前記三次元形状データの位置合わせ装置は、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新装置を有し、
該モデル更新装置は、
新たに入力された被計測点の座標値に対応するボクセルを探索し、
該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定する。
前記三次元形状データの位置合わせ装置は、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新装置を有し、
該モデル更新装置は、
新たに入力された被計測点の座標値に対応するボクセルを探索し、
前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、
誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。
前記モデル更新装置は、前記新たに取得した誤差分布と前記既に設定したボクセル内の誤差分布とを比較し、誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する。
本発明の別の実施形態によると、前記三次元形状データの位置合わせ装置は、前記精密合わせステップの後に、前記環境モデルを更新するモデル更新装置を有し、
該モデル更新装置は、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する。
前記三次元形状データの位置合わせ装置は、前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値(例えば、当該一致度の総乗)が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総乗)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせする。この場合、前記一致度に関する評価値の算出式が上記[数1]で表わされる。
発明の効果
上記本発明の方法と装置によれば、三次元形状の存在する空間領域を、複数のボクセルに分割し、各ボクセル位置を記憶するので、計測対象物が大きい場合であっても、データ量をボクセル数に比例する小さいデータサイズに抑えることができる。
また、座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するので、ボクセルの分解能以上の情報を表現することができる。
また、ボクセルの内部に物体の存在確率を表す確率値を設定し、保存することによって、誤差分布が代表点の属するボクセルよりも広がっている場合においても、各ボクセルにおける物体の存在有無を代表点が属するボクセルを見つけ、その誤差分布から再計算させることなく、当該ボクセルの確率値だけで容易に判断できるので、検索時間を抑えることができる。
また、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度を利用し、照合する範囲を制限するので、検索時間を抑えることができる。
また、粗合わせステップにおいて、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、
もしくは新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせするので、誤差の蓄積を防ぎながら、短時間に代表点を有するボクセル同士の位置合わせができる。
また、先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする場合には、物体が存在しない情報も加味して位置合わせするので、精度の向上が図れる。
次いで、精密合わせステップにおいて、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離の総和が最小になるように位置合わせするので、誤差分布同士の精密な位置合わせを短時間にできる。
従って、逐次得られる計測データを本発明の環境モデルに統合することで得たモデルデータを用いて、計測データが最も一致する位置姿勢を求め、かつ誤差の蓄積を防ぐことができる。
また、本発明の環境モデルを用いると、ボクセル内に1つの代表点を持つことで点数を減少することになるため、計算量を低下することができる。すなわち、本発明で提案するデータ構造はボクセル内に1つの代表点を保存するため、計測点に対応するモデル点を探索する計算オーダを1とすることができるため、全体での計算オーダをO(N)に減少することができる。
また、点数の減少にもかかわらず、本発明の環境モデルは代表点の誤差分布とボクセルの階層化を行うことで精度が保たれる。
さらに、従来のICPアルゴリズムは疎データに対して誤った結果を出力するが、本発明の環境モデルは、ボクセル内に代表点と誤差分布を持っているため、疎データに対応した位置合わせが可能である。
従って、本発明の方法と装置によれば、複数視点の計測データを用いた三次元形状情報復元において、疎なデータであっても誤差の蓄積を防ぎながら高精度な形状取得が可能となる。また、重ね合わせ時の比較対象となるデータの量が減少するため、計算量を減少することができる。
さらに、前記モデル更新ステップにおいて、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定するので、より真値に近い形状を得ることができる。
特に、カルマンフィルタを用いたモデル更新ステップを繰り返すことで、誤差を含むデータであってもカルマンフィルタの効果により真値に収束した高精度な形状が得られる。
また、前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総和)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせすることで、環境モデル、計測データの双方の誤差を考慮して位置合わせすることができる。
本発明のその他の目的及び有利な特徴は、添付図面を参照した以下の説明から明らかになろう。
非特許文献2に開示された三次元レーザレーダの構成図である。 距離センサで計測された極座標データと誤差の関係を示す図である。 誤差分布を直方体に包含される楕円体として近似する場合を示している。 本発明の方法を実行するための装置構成図である。 本発明の方法を示すフローチャートである。 モデル構築ステップの模式図である。 構築された環境モデルの模式図である。 本発明におけるボクセルデータのデータ構造を示す図であり、各ボクセルデータのメモリレイアウト例を示している。 本発明におけるボクセルデータのデータ構造を示す図であり、レベル2(1,1,0)のボクセルが代表点を持つ場合の例を示している。 粗合わせステップS6と精密合わせステップS7のデータ処理フロー図である。 粗合わせステップS6の模式図である。 精密合わせステップS7の模式図である。 モデル更新ステップにおけるデータ処理フロー図である。 該当するボクセル内に既に設定した代表点がある場合の模式図である。 誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動する場合を示している。 誤差分布が互いに重複する場合の模式図である。 カルマンフィルタを用いたモデル更新ステップにより得られた結果を示す。 図15の一部拡大図である。 誤差を考慮した対応付けを示している。
好ましい実施例の説明
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
図1は、距離センサの一例としての三次元レーザレーダの構成図である。三次元レーザレーダは、例えば非特許文献3に開示されている。
この図に示すように、三次元レーザレーダ10は、レーダヘッド12と制御器20から構成される。レーザダイオード13から発振されたパルスレーザ光1は、投光レンズ14で平行光2に整形され、ミラー18a,18bと回転・揺動するポリゴンミラー15で二次元方向に走査され、測定対象物に照射される。測定対象物から反射されたパルスレーザ光3は、ポリゴンミラー15を介して受光レンズ16で集光され、光検出器17で電気信号に変換される。
制御器20内の時間間隔カウンタ21は、レーザダイオード13のパルス発振タイミングと同期したスタートパルス4と、光検出器17から出力されたストップパルス5の時間間隔を計測する。信号処理ボード22は、反射光が検出された時点の時間間隔t、ポリゴンミラーの回転角度θ、揺動角度φを極座標データ(r,θ,φ)として出力する。
rは計測位置(レーダヘッド設置位置)を原点とする距離であり、r=c×t/2 の式で求められる。ここでcは光速である。
判定処理ユニット23は、信号処理ボードからの極座標データを、レーダヘッド設置位置を原点とした三次元空間データ(x,y,z)へ変換して、検出処理を行うようになっている。なおこの図で24はドライブユニットである。
上述した三次元レーザレーダ10の計測範囲は、例えば、水平画角60°、垂直画角30°、最大測定距離50mである。また、位置検出精度は、例えば約20cmである。
また、計測データを各画素に対して奥行き方向の距離値を持った距離画像で表示する場合、1フレームの計測点数を、横方向166点、スキャン方向50点とすると、1フレームに166×50=8300点が表示される。この場合にフレームレートは、例えば約2フレーム/秒である。
この三次元レーザレーダ10で計測される三次元形状上の被計測点は、横方向にΔθ×r、垂直方向にΔφ×r、互いに離散した点群となる。例えば、Δθ=60/166×π/180=6.3×10−3ラジアン、Δφ=30/50×π/180=10.5×10−3ラジアン、r=50mの場合、最も近接する場合でも、被計測点の間隔は、横方向で約315mm、垂直方向で約525mmとなる。
本発明では、距離センサとして、例えば、上述した三次元レーザレーダ10を用いる。しかし、距離センサはこれに限定されず、視差を利用した距離センサ、その他の周知の距離センサを用いることができる。
図2A,図2Bは、距離センサで計測された極座標データと誤差の関係を示す図である。
図2Aに示すように、任意の計測位置を原点とする極座標値(r,θ,φ)を計測結果として計測する。距離センサによる計測結果には、図に示すような誤差分布が通常存在する。
この誤差分布は、誤差分布のr,θ,φでの存在確率をP(r,θ,φ)とした場合、誤差分布は計測の軸r,θ,φ方向に正規分布しているとし、例えば式(1)で表すことができる。ここで、r,θ,φはセンサからの計測値、σ,σθ,σφは は標準偏差、Aは規格化定数である。
図2Bに示すように、誤差分布は、通常r方向に長い切頭円錐形(左図)に内包される分布であるが、遠方においてaとbの差は小さい。従って、この誤差分布を直方体に包含される楕円体として安全サイドに近似することができる。
Figure 0004650751
図3は、本発明の方法を実行するための装置構成図である。この図に示すように、この装置は、データ入力装置32、外部記憶装置33、内部記憶装置34、中央処理装置35および出力装置36を備える。
データ入力装置32は、上述した距離センサを有し、三次元形状上の座標値を記憶装置に入力する。また、例えばゴニオメータ、オドメータ等を併用して、距
離センサの位置・姿勢や移動距離も入力するのがよい。なお、データ入力装置32は、キーボード等の通常の入力手段も有するのがよい。
外部記憶装置33は、ハードディスク、フロッピー(登録商標)ディスク、磁気テープ、コンパクトディスク等である。外部記憶装置33は、環境モデルのサイズが大きく後述する内部記憶装置34に入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の全体を保持できない場合には、環境モデルの一部範囲または全体範囲に対する入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の一部または全部を記憶し、かつ本発明の方法を実行するためのプログラムを記憶する。
内部記憶装置34は、例えばRAM,ROM等であり、環境モデルの一部範囲または全体範囲に対する入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の一部または全部を保管し、かつ演算情報を保管する。
中央処理装置35(CPU)は、モデル構築装置、マッチング装置、粗合わせと精密合わせの位置合わせ装置、モデル更新装置、データ伝達装置として機能し、演算や入出力等を集中的に処理し、内部記憶装置34と共に、プログラムを実行する。モデル構築装置は、後述のモデル構築ステップを行う装置であり、マッチング装置は、後述のマッチングステップを行う装置であり、位置合わせ装置は、後述の粗合わステップと精密合わせステップを行う装置であり、モデル更新装置は、後述のモデル更新ステップを行う装置であり、データ伝達装置は、出力装置36へデータを出力する装置である。
出力装置36は、例えば表示装置、プリンタ、外部記憶装置等であり、内部記憶装置34、および外部記憶装置33の少なくともいずれかに記憶したデータ及びプログラムの実行結果を出力するようになっている。外部装置とのインターフェイスは、LAN、USB、IEEE1394等であり、入力された三次元形状上の座標値に対して該当するボクセル内の代表点、誤差分布、ボクセル位置などを付加した結果や、環境モデル全体または環境モデル一部を要求に応じて出力する。
上述した本発明の装置は、上述した距離センサと通常のPC(コンピュータ)を組み合わせたものでもよく、或いは、全体を一体にした装置であってもよい。また、自走可能な装置内に一体的に組み込んでもよい。
図4は、本発明の方法を示すフローチャートである。
本発明の方法は、三次元形状上の被計測点の座標値から三次元形状を復元するための三次元形状データの位置合わせ方法であり、データ入力ステップS1、データ補正ステップS2、探索範囲限定ステップS3、モデル構築ステップS4、マッチングステップS5、粗合わせステップS6、精密合わせステップS7、モデル更新ステップS8及び出力ステップS9を有する。
なお、これら一連の処理のうち、S1、S2、S3、S5〜S9は、計測データが得られる毎に実施し、S4は初めて計測データが得られたときにだけ実施する。
データ入力ステップS1では、距離センサを用いて、三次元形状上の座標値をコンピュータの記憶装置に入力する。また、例えばゴニオメータ、オドメータ等を併用して、距離センサの位置・姿勢や移動距離も入力するのがよい。
なおこのデータ入力ステップS1において、三次元レーザレーダ10を用いて、三次元形状上の座標値を任意の計測位置を原点とする距離データとして原点を移動しながら順次取得するのがよい。
距離センサとして三次元レーザレーダ10を用いた場合、三次元形状上の座標値は、任意の計測位置を原点とする距離データであり、極座標値(r,θ,φ)で表される。また、各座標値の誤差分布は、極座標値(r,θ,φ)から演算で求めるか、予め別の入力手段(例えばキーボード)で入力する。
データ補正ステップS2では、距離データの補正処理を行い、距離データの精度を向上させる。また、極座標データとオドメータのデータから、任意の固定位置を原点とした三次元空間データ(x,y,z)へ変換してもよい。
距離データの補正処理では、孤立点の除去、統計的処理、等を行う。孤立点は、周囲の点から孤立して存在する点であり、計測データは複数の近接する点で構成されることから、孤立点は誤計測と仮定して除去することができる。統計的処理は、計測データが含む誤差分布を考慮して、複数回の計測を統計処理(例えば平均値等)することで、距離の補正を行う。
さらに、対象とする三次元形状が、直線近似又は平面近似できる場合にはこれらを行うのがよい。
探索範囲限定ステップS3では、距離センサの探索範囲を限定する。
探索範囲を限定せずに環境モデルに対する計測データのマッチング処理を行うと、複数の解(被計測点)が得られる可能性がある。そこで、(1)現在のセンサ位置を過去のセンサ位置の変化から推定し、センサ位置推定結果の近傍を探索する、(2)オドメータを用いてセンサ位置を推定し、探索範囲を限定する、(3)距離データのうち、距離値だけでなく、反射強度値も利用して探索結果を絞り込む、等を実施する。
図5は、ボクセルの分割に八分木を用いた場合のモデル構築ステップの模式図である。
モデル構築ステップS4では、この図に示すように、三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセル6に分割し、各ボクセル位置を記憶する環境モデルを構築する。
ボクセル6の形状は、各辺の長さが等しい立方体でも、各辺の長さが異なる直方体でもよい。
また、ボクセル6の各辺の長さは、最大のボクセル6を必要最小限の分解能に相当する大きさに設定するのがよい。以下、最大のボクセル6をレベル1のボクセルと呼ぶ。
また、単一のボクセル内に複数の被計測点が存在する場合には、単一のボクセル内に単一の被計測点のみが存在するように、例えば八分木を選んだ場合は、ボクセルを更に八分割して階層的に複数のボクセルに分割する。以下、最大のボクセル6の八分割を1回実施した空間領域をレベル2のボクセル、k回実施した空間領域をレベルk+1のボクセルと呼ぶ。
図6は、構築された環境モデルの模式図である。
マッチングステップS5では、この図に示すように、三次元形状上の座標値に対応するボクセル6の内部に代表点7とその誤差分布8を設定し記憶する。末端のボクセルは計測値の代表点を1つだけ持つことができる。各ボクセルが計測値の代表点とその誤差分布を持つことで、物体の形状を表す。また、物体の存在確率を表す確率値をボクセルに持たせることもできる。
マッチングステップS5において、代表点の絶対位置は[数3]の式(2)で与えられる。ここで、(x,y,z)は代表点のボクセルでの相対座標、Sx,Sy,Szはレベル1でのボクセルの一辺の大きさ、n(k),n(k),n(k)はレベルkでのボクセルの番地、Lは求める代表点が存在するレベルである。
Figure 0004650751
図7A,図7Bは、本発明におけるボクセルデータのデータ構造を示す図である。
この図において、図7Aは、各ボクセルデータのメモリレイアウト例である。この図において、矢印はデータへのリンクを表し、値としてはデータへのポインタを保持する。
図7Bは、レベル2(1,1,0)のボクセルが代表点を持つ場合の例を示している。なおこの図において、nullは空集合を表す。
上述したデータ構造の環境モデルは、以下の特徴を有する。
(1)内容:空間を小直方体で分割して各ボクセルに計測点の代表点と誤差分布を保持する。
(2)精度:ボクセル毎に持つ計測点の代表値相当である。
(3)存在:物体の存在の有無を表現できる。
(4)データ量:ボクセルの個数に比例してメモリを必要とするが、サイズ固定である。
(5)点群からの変換:適しており、計算量は少ない。
(6)アクセス速度:シンプルな構造をしているため、要素へのアクセスが高速である。
またこの特徴から、上述した環境モデルは、以下の効果A〜Cをすべて満たしている。
効果A:誤差を考慮した表現が可能である。
効果B:必要なメモリ量と計算量が一定量以下である。
効果C:物体の存在だけでなく、物体が存在しないことを表せる。
また図4において、粗合わせステップS6と精密合わせステップS7は、マッチングステップS5の後に実施する。
図8は、粗合わせステップS6と精密合わせステップS7のデータ処理フロー図であり、図9は粗合わせステップS6の模式図、図10は精密合わせステップS7の模式図である。
図8において、粗合わせステップS6では、図9に示すように、先の計測位置に対する環境モデルに対し、
新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、
もしくは、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする。
粗合わせステップS6における位置合わせは、環境モデルと計測データをボクセル空間上で表現すること、もしくは環境モデルはボクセル空間上で、計測データは代表点と誤差分布表現することで実施する。現在の計測データが位置(x,y,z)、姿勢(θ,φ,ψ)での計測であったとして、計測データをワールド座標に変換して環境モデルとの一致度を算出する。
一致度の算出には、例えば最短距離法を用いることができる。最短距離法を用いた場合のボクセル間の距離は、2つのボクセル空間をx(1)、x(2)、ボクセルの総数Iを、ボクセルの値x (n)とすると、[数4]の式(3)で定義できる。
計測データの最適な位置・姿勢は、位置(x,y,z)、姿勢(θ,φ,ψ)を変化させることによってεを最小にする最小自乗法によって算出できる。
また、一致度として、例えば環境モデルと計測データの両ボクセルにおいて、近接する両ボクセルの持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)を用いることができる。この場合は一致度を最小にするように、計測データの最適な位置・姿勢を変化させる。
また、環境モデルはボクセル空間上で、計測データは代表値と誤差分布表現した場合には、計測データの代表値、および誤差分布が近接する環境モデルのボクセルの確率値に関する評価値(例えば、当該確率値の総和)を用いることができる。この場合は一致度を最大にするように、計測データの最適な位置・姿勢を変化させる。
Figure 0004650751
図8において、精密合わせステップS7では、図10に示すように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせする。
精密合わせステップS7における環境モデルと計測データの位置合わせには、点群と点群の位置合わせが可能なICPアルゴリズムに誤差分布を考慮した手法を利用する。位置合わせの初期値には、粗い位置合わせにより得られた位置・姿勢を利用する。
ICPアルゴリズムに利用する誤差分布間の距離の算出には、例えば誤差分布が交差する場合を同一計測点と考え、その場合の距離値に分布の一致度から求めた重みを掛け合わせて算出する。分布の一致には例えばマハラノビス距離のような距離尺度を利用できる。
この場合の環境モデルと計測データの距離は、環境モデルデータをpMi、環境モデルデータの誤差分布をΣMi、計測データをPDi、計測データの誤差分布をΣDi、誤差分布の合成関数をw、計測データに対応する環境モデルデータの個数をNとすると、[数5]の式(4)で定義できる。ここで、Tは転置を表す。
計測データの最適な位置・姿勢は、計測データを計測した位置(x,y,z) 、姿勢(θ,φ,ψ)を変化させてPDiを移動することによりεを最小にする最小自乗法によって算出できる。
Figure 0004650751
さらに図4において、モデル更新ステップS8は、精密合わせステップS7の後に実施し、モデル構築ステップS4で構築した環境モデルを更新する。
図11は、モデル更新ステップS8におけるデータ処理フロー図である。この図に示すように、ステップST1で新たに入力された被計測点の座標値に対応するボクセルを探索し、ステップST2で該当するボクセル内に代表点がない(ボクセルが空である)場合には、ステップST3で新たに入力された被計測点の座標値と誤差分布を代表点の座標値と誤差分布として設定(新規に登録)する。
また、このステップST3において、新しい計測位置(原点)と被計測点の間には、原理的に物体が存在しないはずである。従って新しい計測位置(原点)と被計測点の間に位置するボクセル内の代表点と誤差分布を再設定、もしくは消去する。
図12は、該当するボクセル内に既に設定した代表点がある場合の模式図である。
図11のステップST2で該当するボクセル内に既に設定した代表点がある場合には、ステップST4で新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較する(すなわち異なる点か同一点かを判断する)。
この比較で、誤差分布が互いに重複する場合(図12の(A))には、ステップST5で両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定する(すなわち誤差分布を合成する)。
またこの比較で、誤差分布が互いに重複しない場合(図12の(B))には、ステップST6、ST7で単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割し新規に登録する。
分割と合成の基準は、例えば誤差分布の一致度から判断する。誤差分布の一致度には例えば、マハラノビス距離のような距離尺度を利用できる。また、2つの誤差分布に基づき、両者が同一点を表しているかを統計的検定によって判定してもよい。
ステップST5で両誤差分布から新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動したとき(即ち、ステップST8で、Yes)、ステップST2へ戻り、上述の処理を繰り返す。
なお、図13は、ステップST5で両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動する場合を示している。
ボクセル内に物体の存在確率を表す確率値を設定する場合には、モデル更新ステップS8において、ボクセル内の代表点と誤差分布の新規登録、もしくは再設定、もしくは消去、もしくは分割後に新規登録の処理に応じて、ボクセル内の確率値も統計処理によって、新規登録、もしくは再設定、もしくは消去、もしくは分割後に新規登録を行う。
図14は、誤差分布が互いに重複する場合(図12の(A))の別の模式図である。ステップST5において、2つの代表点と誤差分布を合成して新たな代表点と誤差分布を設定する手段として、カルマンフィルタを用いることができる。例えば、二次元の場合に、この図に示すように、2つの代表点をそれぞれx(1),x’(2)、2つの誤差分布をΣ(1)、Σ’(2)とし、これを合成した代表点をx(2)、誤差分布をΣ(2)とすると、代表点x(2)と誤差分布Σ(2)を算出する模式図は図14のようになる。
図4において、出力ステップS9では、ボクセル位置、及び代表点とその誤差分布を出力装置36に出力する。出力装置36が表示装置(例えばCRT)の場合、三次元画像上に立体表示するのが好ましい。また、これらのデータを別の装置(例えば制御装置、コンピュータ)に転送してもよく、プリンタで出力してもよい。
出力ステップS9において、前記自己位置とともに、前記自己位置に基づいた前記ボクセル位置、代表点、および誤差分布を出力装置に出力する。また、出力ステップS9において、ボクセルの代表点の位置を三次元形状の計測値として出力装置36に出力するとともに、該計測値の信頼性または精度を示す指標(例えば、数値)を、該ボクセルの内部の誤差分布の大きさに基づいて、出力装置36に出力してもよい。さらに、出力ステップS9において、ボクセルの代表点の位置を三次元形状の計測値として出力装置36に出力するときに、該ボクセルの内部の誤差分布の大きさ(広がり)が所定の基準値よりも大きい場合に、該計測値の信頼性または精度が所定の基準よりも低いとして、該ボクセルの前記計測値(即ち、このボクセルの代表点の位置)を出力装置36に出力しないようにしてもよい。
図4に示した処理の手順は、新たな計測位置において、新しい計測データが得られる度に、処理を繰り返し行い、内部記憶装置34および外部記憶装置33の少なくともいずれかに結果を格納する。処理を高速化するためには、内部記憶装置34に容量が許す限り結果を格納することが好ましい。
上述した本発明の方法と装置によれば、三次元形状の存在する空間領域を、複数のボクセル6に分割し、各ボクセル位置を外部記憶装置33に記憶するので、計測対象物が大きい場合であっても、データ量をボクセル数に比例する小さいデータサイズに抑えることができる。
また、座標値に対応するボクセル6の内部に代表点7とその誤差分布8を設定し記憶するので、ボクセルの分解能以上の情報を表現することができる。
また、ボクセルの内部に物体の存在確率を表す確率値を設定し、保存することによって、誤差分布が代表点の属するボクセルよりも広がっている場合においても、各ボクセルにおける物体の存在有無を代表点が属するボクセルを見つけ、その誤差分布から再計算させることなく、当該ボクセルの確率値だけで容易に判断できるので、検索時間を抑えることができる。
また、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度を利用し、照合する範囲を制限するので、検索時間を抑えることができる。
また、粗合わせステップS6において、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、
もしくは新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせするので、誤差の蓄積を防ぎながら、短時間に代表点を有するボクセル同士の位置合わせができる。
次いで、精密合わせステップS7において、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせするので、誤差分布同士の精密な位置合わせを短時間にできる。
従って、逐次得られる計測データを本発明の環境モデルに統合することで得たモデルデータを用いて、計測データが最も一致する位置姿勢を求め、かつ誤差の蓄積を防ぐことができる。
また、本発明の環境モデルを用いると、ボクセル内に1つの代表点を持つことで点数を減少することになるため、計算量を低下することができる。また、点数の減少にもかかわらず、本発明の環境モデルは代表点の誤差分布とボクセルの階層化を行うことで精度が保たれる。
さらに、従来のICPアルゴリズムは疎データに対して誤った結果を出力するが、本発明の環境モデルは、ボクセル内に代表点と誤差分布を持っているため、疎データに対応した位置合わせが可能である。
従って、本発明の方法と装置によれば、複数視点の計測データを用いた三次元形状情報復元において、疎なデータであっても誤差の蓄積を防ぎながら高精度な形状取得が可能となる。また、重ね合わせ時の比較対象となるデータの量が減少するため、計算量を減少することができる。
また、モデル構築ステップS4において、最大のボクセル9を必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル9内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割するので、データ量を小さいデータサイズに抑えると同時に、分割後のボクセルと代表点を用いて解像度を更に高めることができる。
特に、三次元形状上の複数の座標値を複数の計測位置を原点とする距離データとして取得し、該距離データの座標値を、前記代表点の座標値とし、距離データの座標値の計測誤差を代表点の誤差分布とすることにより、正確な座標値と誤差分布を用いて複数回の計測を統計的に統合することができ、一層の精度向上が可能となる。
また、原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定、もしくは消去することにより、誤った計測データの影響を除去することができる。
また、新たに入力された被計測点の座標値に対応するボクセルを探索し、該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定することにより、代表点の座標値と誤差分布を容易に設定できる。
更に、前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、
誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割する、ことにより、誤差の蓄積を回避しながら高精度な形状に収束させることができる。
従って、本発明の方法と装置によれば、誤差を含む距離データを正確な情報に補正する機能を有すると共に、これを繰り返すことにより、長時間の計測に対して高精度な形状に収束する。なおかつ、本発明の方法は、各ボクセル6に対応する代表点7とその誤差分布8を新たな計測点で更新する処理であるため計算量が小さい。また、演算は周囲のボクセルへの影響を与えずボクセル内で閉じているため、高速処理が可能である。また、計測データは最大のボクセルが必要最小限の分解能を有するボクセル構造に逐次統合可能であり、メモリサイズは固定サイズを大きく上回ることはない。
カルマンフィルタを用いたモデル更新ステップについて、詳しく説明する。
カルマンフィルタを用いたモデル更新ステップの場合には、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する。
各モデル点群の位置m(i)を状態量とし、距離センサの計測点の位置を基に、モデルを次の式[数6]で表現する。なお、本実施例では、m(i)は、ボクセル内部の代表点である(以下、同様)。
Figure 0004650751
[数6]において、
L(j)は、距離センサによる計測位置である。例えば、L(j)は、距離センサのセンサ座標系において三次元LRF(レーザレンジファインダ)の計測点j(j=1,...,N)の位置L(j)=(x(j),y(j),z(j))である。ここで、tは転置行列を示す(以下、同様)。
(R,t,m(i))は、L(j)に対する観測系モデルである。
は、距離センサを搭載した移動体(例えば、移動ロボット)のワールド座標系に対する姿勢を表す回転行列R=R(θx,θy,θz)である。なお、θx,θy,θzは、それぞれx軸、y軸、z軸周りの回転角を示す(以下、同様)。
は、距離センサを搭載した移動体(例えば、移動ロボット)のワールド座標系に対する位置を表す並進ベクトルt=(x,y,z)である。
(i)は、距離センサの計測値L(j)に加わる観測ノイズである。
は、センサ座標系の移動体座標系に対する回転行列Rs=R(θx,θy,θz)である。
は、センサ座標系の移動体座標系に対する位置を表す併進ベクトルt=(x,y,z)である。
測定対象物は静止しているものであり、測定対象物の位置t、姿勢Rを環境モデルに対して固定する。
距離センサによる計測点群と、環境モデル点群上の点i(即ち、代表点)を対応づける。この対応付けが行われたモデル点群上の点iに対して次式(4)により更新を行う。なお、距離センサによる計測点群と対応付けが行われたモデル点群上の代表点m(i)に対してのみ次の[数7]により更新を行ってよい。
Figure 0004650751
[数7]において、
添え字kは、離散時刻kでの値であることを表す。
(i)について、m’(i)はm(i)の更新値(事後推定値)を示し、mk,k−1(i)はm’k−1(i)に基づいたm(i)の予測値(事前推定値)を示す。なお、環境(測定対象物)は静止しているので、mk,k-1(i)=m’k-1(i)である。
Σmk(i)は、ボクセル内部の代表点m(i)の誤差共分散行列(即ち、上述の誤差分布)である。また、Σmk(i)について、 Σ’mk(i)はΣmk(i)の更新値(事後推定値)を示し、Σmk,k−1(i)はΣ’mk−1(i)に基づいたΣmk(i)の予測値(事前推定値)を示す。センサ座標系において三次元LRFの計測点j(j=1,…,N)の位置をL(j)で表し、その誤差共分散行列をΣ(j)で表す。ここでNは、三次元LRFで得られた計測点の総数である。三次元LRFの誤差モデルとして計測距離に関係ない一定の正規分布を仮定する。センサ座標系のx軸方向にレーザを照射する場合の誤差共分散行列をΣとする。レーザの照射方向に応じて誤差分布も姿勢を変える。Σ(j)は、基準の方向に対するレーザ照射方向を回転行列R(j)を用いてΣ(j)=R(j)Σ (j)と表される。計測点jのワールド座標系における位置z(j)、およびその誤差共分散行列Σ(j)は、それぞれz(j)=R(RL(j)+t)+t、Σ(j)=RΣ(j)R と表すことができる。
mk(i) は、 m(i)に対するカルマンゲインである。
mk(Rrk,trk,mk,k−1(i))は、L(j)、i=p(j)に対する観測系モデルである。i=p(j)は、計測点jに対応付けられた環境地図(即ち、環境モデル)上の点である。
mkは、L(j)、i=p(j)に対する観測系モデルのヤコビアン行列であり、次の[数8]で表わされる。
Figure 0004650751
カルマンフィルタの更新過程によって、環境地図のモデル点群の各点(ボクセルの代表点)の位置と誤差共分散行列の更新値m’(i)、Σ’mk(i)が得られた段階で、環境モデルの更新を以下の手順で行う。
(1)これら更新値m’(i)、Σ’mk(i)を、新たな代表点、誤差分布として再設定する。
(2)上述(1)の結果、代表点の位置が別のボクセル内に移動した場合、移動先のボクセルが代表点を保持していないときは、移動後の代表点とその誤差共分散行列を移動先のボクセルに保持させ、移動元のボクセルからは代表点等を取り除く。移動先のボクセルが既に代表点を保持しているときには、2つの代表点において、これらの両誤差分布が重複するかを判断する(上述のST4における判断と同様)。その後の処理は、図11のST4以降の処理と同じであってよい。
(3)モデル点群上の代表点m(i)と対応付けが行われなかった距離センサによる計測点について、当該計測点が含まれるボクセルが代表点を持たない場合は、計測点とその誤差分布をそのボクセルの代表点と誤差分布として追加し保持する。もし、ボクセル内に既に代表点が存在する場合には、ボクセル内にある対応付けが行われなかった他の複数の計測点を含め、既存の代表点と各計測点とが全て異なるボクセルに含まれるように、ボクセルを分割した上で分割後のボクセルに代表点等を継承させる。
上述のカルマンフィルタを用いたモデル更新ステップを繰り返すことで、序々にボクセル内の誤差共分散行列(即ち、誤差分布)の範囲が小さくなるとともに、ボクセルが分割され易くなる。ボクセルが分割されることによって、初期ボクセルのサイズ以下の変化も表現することが可能となる。
図15は、カルマンフィルタを用いたモデル更新ステップにより得られた結果を示す。図16は図15の一部拡大図である。これら図において、初期のボクセルの1辺の長さを100cmとし、再分割数を6分割まで許している。対象が存在している領域では、ボクセルの再分割を繰り返した結果、計測対象を精度良く表現している。対象が存在しない領域ではボクセルの再分割は行われず、必要十分なデータ量で環境を表現できることがわかる。また、各ボクセル内の代表点の誤差分布も小さく、環境地図を高精度で表現できている。このように、誤差を含むデータであってもカルマンフィルタの効果により、真値に収束した結果が得られる。さらに、この方法では計測データ数を増加させることによって標準偏差が小さくなり、精度のさらなる向上が期待できる。
また、測定対象物の位置・姿勢は固定しているため、更新を測定対象物の位置・姿勢と独立して行うことができる。なお、距離センサによる計測点群と対応付けが行われたモデル点群上の代表点m(i)に対してのみ、上述のカルマンフィルタによる更新を行うことで、大幅な計算コストの削減が可能になる。
前記精密合わせステップにおいて、前記近接する誤差分布間の距離の総和が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総乗)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせしてもよい。
この場合について詳しく説明する。
環境地図(環境モデル)であるモデル点群、およびセンサの計測点群双方に誤差モデルを考慮しているため、前記一致度に関する評価値(例えば、当該一致度の総乗)の算出式(以下、評価関数と言う)にも双方の誤差を取り入れることが可能である。本実施例の場合、単に最も近い点を対応付けするのではなく、尤度の概念を取り入れることによって、評価関数に環境地図上の誤差分布、および計測点の誤差分布を加味し、現時点での環境地図において、各計測点の出現確率が最大となる場合に評価関数も最大となるように定める。
具体的には、計測点jに対応付けられた環境地図上の点i=p(j)の位置が、平均値(代表点)m(i)、誤差共分散行列Σ(i)の正規分布に従うと仮定した上で、三次元LRFで計測した結果、L(j)なる計測データが得られる確率値Pr(L(j)|m(i),Σ(i))を点iと点jとの評価関数EM(i,j)とし、その総乗が最大となるように次の[数9]で評価関数を定める。
Figure 0004650751
ただし、ω(j)は、モデル点群の中に計測点jと対応付けられる点が存在する場合は1、それ以外の場合は0とする。
ここで、Pr(L(j)|q)を環境地図の点がqの位置にある場合にL(j)なる計測データが得られる確率値を表すものとし、Pr(q|m(i),Σ(i))を平均値m(i)、誤差共分散行列Σ(i)の正規分布に従うと仮定した上で環境地図の点がqの位置にある確率値を表すものとすると、数[10]が成り立つ。
Figure 0004650751
Pr(q|m(i),Σ(i))は正規分布を仮定すると、次の[数11]となる。
Figure 0004650751
一方、Pr(L(j)|q)は、L(j)をz(j)で置き換えて、次の[数12]で近似することができる。
Figure 0004650751
ここで、z(j)は、距離センサを搭載した移動体の位置t、姿勢Rに依存している。実際は、三次元LRFのセンサ座標系の中心から見たqの向きと計測点L(j)の向きとは図17に示すように異なるため、誤差共分散行列Σ(j)もqの向きに合わせて回転変換する必要があるが、対応付けられた環境地図上の点iから大きく離れたところにあるqの存在確率は低いため、十分な精度で近似できると考えられる。よって、Pr(L(j)|m(i),Σ(i))は、次の[数13]で表すことができる。
Figure 0004650751
簡単な計算によって、次の[数14]を得る。
Figure 0004650751
ただし、α(j),β(j)は次の[数15]で表すことができる。
Figure 0004650751
従って、モデル点群の点iと計測点群の点jとの対応付けの一致度を表す評価関数EM(i,j)は、平均値m(i)、誤差共分散行列Σ(i)+Σ(j)の正規分布において、z(j)が得られる確率値に近似できる。この評価関数を用いることによって、環境地図、計測データ双方の誤差を考慮した対応付けが可能となる。
計測点と環境地図(即ち、環境モデル)との対応付けについて補足説明をする。上記実施例では、誤差分布を考慮した統計的な評価関数を用いるため、評価関数の値を求めなければ対応点を定めることができない。そこで、環境地図上のモデル点群の中で対応付けする候補を予め絞り込み、その候補の中から評価関数の値を基に対応点を求める。具体的には、以下のように定めることができる。
(1)対象とする計測点jの誤差共分散行列Σ(j)の範囲(例えば標準偏差の3倍の範囲)と交わる最上位のボクセルとそのボクセルに隣接している最上位のボクセルを求め、下層のボクセルも含めこれらのボクセル内に存在する代表点を対応点の候補とする。ボクセルが階層構造となっているため、この候補点の探索には計算コストはほとんどかからない。このとき、候補となる代表点がない場合には、対応点がないものとみなす。隣接するボクセルも候補に加える理由は、ボクセル内の代表点の位置によっては、誤差共分散行列の範囲が隣接するボクセルまではみ出すことがあるからである。
(2)候補となるボクセルの代表点iと誤差共分散行列を用いて、評価関数EM(i,j)の値を求める。
(3)評価関数EM(i,j)の値が最も大きい代表点iを対応点とする。ただし、評価関数の値がある閾値未満の場合には、対応点がないものとみなす。
本実施例では、対応付けの評価関数EM(i,j)として、尤度に基づいた式を採用しており、対応点の有無に関して統計的に明確な判断尺度があるため、対応点が存在しないと考えられる場合においても無理に対応付けを行うようなことはない。なお、対応点がない場合には、対象となる計測点はこれまで未計測の部分に相当する点であると解釈し、環境地図に追加する。
実施形態として、三次元形状データの位置合わせ方法と装置について説明したが、二次元形状を三次元形状の特別な場合として見ることにより、二次元形状データの位置合わせ方法と装置の形態としても実施できる。
また、上記出力ステップにおいて、前記ボクセル位置、代表点、および誤差分布のすべてを出力しなくてもよく、例えば、これらすべてが無くても三次元形状が把握できる場合や、これらのうち1つ又は2つが必要な場合などにおいては、前記ボクセル位置、代表点、および誤差分布の少なくともいずれかを出力装置に出力してもよい。
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。

Claims (19)

  1. 静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ方法であって、
    新たな計測位置において、三次元形状上の座標値をコンピュータに入力するデータ入力ステップと、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築ステップと、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチングステップとを実施し、
    更に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離の総和が最小になるように位置合わせする精密合わせステップと、
    前記ボクセル位置、代表点、および誤差分布を出力装置に出力する出力ステップとを有する、ことを特徴とする三次元形状データの位置合わせ方法。
  2. 前記マッチングステップにおいて、ボクセルの内部に代表点とその誤差分布に加え、ボクセル内に物体の存在確率を表す確率値を設定し、記憶する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  3. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離の総和が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離の総和が最小になるように、位置合わせする粗合わせステップを有する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  4. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値の総和が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差の総和が最小になるように、位置合わせする粗合わせステップを有する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  5. 前記データ入力ステップの後に、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度値を利用し、照合する範囲を限定する探索範囲限定ステップを有する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  6. 前記精密合わせステップにおいて、誤差分布が交差する場合を同一計測点とし、その場合の距離値に分布の一致度から求めた重みを掛け合わせて誤差分布間の距離を算出する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  7. 前記モデル構築ステップにおいて、最大のボクセルを必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  8. 前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定もしくは消去する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  9. 前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  10. 前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
    誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定し、
    誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  11. 前記モデル更新ステップにおいて、前記新たに取得した誤差分布と前記既に設定したボクセル内の誤差分布とを比較し、誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
    該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
    該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項10に記載の三次元形状データの位置合わせ方法。
  12. 前記精密合わせステップの後に、前記環境モデルを更新するモデル更新ステップを有し、
    該モデル更新ステップにおいて、新たに入力された被計測点の座標値および誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  13. 前記精密合わせステップにおいて、前記近接する誤差分布間の距離の総和が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせする、ことを特徴とする請求項1に記載の三次元形状データの位置合わせ方法。
  14. 前記一致度に関する評価値の算出式が次の[数16]で表わされ、
    Figure 0004650751
    この式において、計測点jと環境モデル上の代表点iとが対応付けられているとし、当該計測点jなる計測データが得られる確率をEM(i、j)としており、ω(j)は、環境モデルの中に計測点jと対応付けられる代表点が存在する場合は1、それ以外の場合は0としている、ことを特徴とする請求項13に記載の三次元形状データの位置合わせ方法。
  15. 静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ装置であって、
    三次元形状上の座標値をコンピュータに入力するデータ入力装置と、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築装置と、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチング装置と、
    前記ボクセル位置、代表点、および誤差分布を出力装置に出力するデータ伝達装置とを備え、
    先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離の総和が最小になるように位置合わせする、ことを特徴とする三次元形状データの位置合わせ装置。
  16. 静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ方法であって、
    新たな計測位置において、三次元形状上の座標値をコンピュータに入力するデータ入力ステップと、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築ステップと、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチングステップとを実施し、
    更に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする精密合わせステップと、
    前記ボクセル位置、代表点および誤差分布の少なくともいずれかを出力装置に出力する出力ステップとを有する、ことを特徴とする三次元形状データの位置合わせ方法。
  17. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値が最小になるように、位置合わせする粗合わせステップを有する、ことを特徴とする請求項16に記載の三次元形状データの位置合わせ方法。
  18. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値が最小になるように、位置合わせする粗合わせステップを有する、ことを特徴とする請求項16に記載の三次元形状データの位置合わせ方法。
  19. 静止している三次元形状を複数の計測位置から計測し、その距離データを統合して位置合わせするための三次元形状データの位置合わせ装置であって、
    三次元形状上の座標値をコンピュータに入力するデータ入力装置と、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築装置と、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するマッチング装置と、
    前記ボクセル位置、代表点および誤差分布の少なくともいずれかを出力装置に出力するデータ伝達装置とを備え、
    先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする、ことを特徴とする三次元形状データの位置合わせ装置。
JP2007550241A 2005-12-16 2006-12-15 三次元形状データの位置合わせ方法と装置 Active JP4650751B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005363302 2005-12-16
JP2005363302 2005-12-16
PCT/JP2006/325047 WO2007069724A1 (ja) 2005-12-16 2006-12-15 三次元形状データの位置合わせ方法と装置

Publications (2)

Publication Number Publication Date
JPWO2007069724A1 JPWO2007069724A1 (ja) 2009-05-28
JP4650751B2 true JP4650751B2 (ja) 2011-03-16

Family

ID=38163026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007550241A Active JP4650751B2 (ja) 2005-12-16 2006-12-15 三次元形状データの位置合わせ方法と装置

Country Status (5)

Country Link
US (1) US8116558B2 (ja)
JP (1) JP4650751B2 (ja)
CN (1) CN101331381B (ja)
DE (1) DE112006003380T5 (ja)
WO (1) WO2007069724A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112006003361T5 (de) * 2005-12-16 2008-10-16 Ihi Corporation Verfahren und Vorrichtung für das Aufzeichnen/Anzeigen von dreidimensionalen Formdaten und Verfahren und Vorrichtung für das Messen einer dreidimensionalen Form
CN101331379B (zh) * 2005-12-16 2012-04-11 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
JP5380792B2 (ja) * 2007-06-15 2014-01-08 株式会社Ihi 物体認識方法および装置
JP5246468B2 (ja) * 2007-11-21 2013-07-24 株式会社Ihi バリまたは欠損認識方法と装置およびバリ取り方法と装置
US7865316B2 (en) * 2008-03-28 2011-01-04 Lockheed Martin Corporation System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
US8131770B2 (en) * 2009-01-30 2012-03-06 Nvidia Corporation System, method, and computer program product for importance sampling of partitioned domains
US8686992B1 (en) * 2009-03-30 2014-04-01 Google Inc. Methods and systems for 3D shape matching and retrieval
TWI409717B (zh) * 2009-06-22 2013-09-21 Chunghwa Picture Tubes Ltd 適用於電腦產品與影像顯示裝置的影像轉換方法
US8537337B2 (en) * 2009-12-22 2013-09-17 Weyerhaeuser Nr Company Method and apparatus for analyzing tree canopies with LiDAR data
DE102010017630B4 (de) 2010-06-29 2016-06-02 Leica Microsystems Cms Gmbh Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
KR20140070595A (ko) * 2011-09-13 2014-06-10 오에스아이 옵토일렉트로닉스 개선된 레이저 레인지파인더 센서
GB2505936A (en) * 2012-09-17 2014-03-19 Materialise Dental Nv 3D modelling of scanned body
CN103335604B (zh) * 2013-07-05 2015-10-28 温州大学 一种工作状态下风轮叶片全场三维变形在线监测方法
US9529454B1 (en) * 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input
CA3002917A1 (en) * 2015-10-22 2017-04-27 Greyorange Pte Ltd. Method of managing resources in a warehouse
US10949712B2 (en) * 2016-03-30 2021-03-16 Sony Corporation Information processing method and information processing device
JP6976080B2 (ja) * 2017-05-22 2021-12-01 三菱パワー株式会社 状態分析装置、状態分析方法、およびプログラム
JP7051366B2 (ja) * 2017-10-18 2022-04-11 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム
CN108088407B (zh) * 2017-12-15 2020-11-10 成都光明光电股份有限公司 光学玻璃制品形貌偏差校正方法及系统
JP7159033B2 (ja) * 2018-12-21 2022-10-24 株式会社日立製作所 3次元位置・姿勢認識装置及び方法
JP7285121B2 (ja) * 2019-04-09 2023-06-01 株式会社Ihi 荷揚げ装置
JP7285122B2 (ja) * 2019-04-09 2023-06-01 株式会社Ihi 形状導出装置
CN113613994B (zh) * 2019-04-09 2024-06-18 株式会社Ihi 形状导出装置及卸货装置
CN111060006A (zh) * 2019-04-15 2020-04-24 深圳市易尚展示股份有限公司 一种基于三维模型的视点规划方法
CN113835101A (zh) * 2021-09-30 2021-12-24 同济大学 一种基于雷达点云的车辆定位方法、装置及存储介质
CN116125490B (zh) * 2023-02-03 2023-07-04 中国科学院精密测量科学与技术创新研究院 面向滑坡体形变场时序监测的tls多目标优化选址方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63186308A (ja) * 1987-01-28 1988-08-01 Hitachi Ltd 移動体の誘導方法、および装置
JPH0618221A (ja) * 1991-03-11 1994-01-25 Agency Of Ind Science & Technol 多視点距離データの統合方法
JPH09231370A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置
JPH09229648A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入出力装置及び画像情報入出力方法
JP2000113193A (ja) * 1998-10-08 2000-04-21 Minolta Co Ltd 多視点3次元データの合成方法および記録媒体
JP2001022939A (ja) * 1999-07-12 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 3次元情報抽出方法、装置、および3次元情報抽出プログラムを記録した記録媒体
JP2001236522A (ja) * 1999-12-17 2001-08-31 Canon Inc 画像処理装置
JP2003296755A (ja) * 2001-11-27 2003-10-17 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2004005373A (ja) * 2001-11-27 2004-01-08 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2004521423A (ja) * 2001-03-12 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 8分木を用いた多数の画像からの3次元表現の生成
JP2005037379A (ja) * 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 三次元モデリング方法と装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
WO2007069726A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 自己位置同定方法と装置および三次元形状の計測方法と装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2625345A1 (fr) 1987-12-24 1989-06-30 Thomson Cgr Procede de visualisation en trois dimensions d'objets codes numeriquement sous forme arborescente et dispositif de mise en oeuvre
JPH03170345A (ja) 1989-11-28 1991-07-23 Asahi Glass Co Ltd サーマルヘッドの抵抗体オーバーコートガラス組成物
JP3170345B2 (ja) 1992-05-13 2001-05-28 日本電信電話株式会社 3次元情報抽出方法
JPH06223201A (ja) 1993-01-22 1994-08-12 Matsushita Electric Ind Co Ltd 並列画像生成装置
US5724493A (en) 1994-12-13 1998-03-03 Nippon Telegraph & Telephone Corporation Method and apparatus for extracting 3D information of feature points
JPH0981788A (ja) 1995-09-12 1997-03-28 Toshiba Corp 環境モデル入力装置
US5689629A (en) 1995-12-12 1997-11-18 The Regents Of The University Of California Iterative optimizing quantization method for reconstructing three-dimensional images from a limited number of views
US6064942A (en) 1997-05-30 2000-05-16 Rockwell Collins, Inc. Enhanced precision forward observation system and method
JPH1196374A (ja) 1997-07-23 1999-04-09 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
JP3813343B2 (ja) 1997-09-09 2006-08-23 三洋電機株式会社 3次元モデリング装置
US6026189A (en) 1997-11-13 2000-02-15 National Research Council Of Canada Method of recognizing objects within two-dimensional and three-dimensional images
US7477768B2 (en) * 1999-06-29 2009-01-13 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6476803B1 (en) * 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
US6914601B2 (en) 2001-06-12 2005-07-05 Minolta Co., Ltd. Method, apparatus, and computer program for generating three-dimensional shape data or volume data
JP2003015739A (ja) 2001-07-02 2003-01-17 Yaskawa Electric Corp 外環境地図、並びに自己位置同定装置および誘導制御装置
JP2003065736A (ja) 2001-08-24 2003-03-05 Sanyo Electric Co Ltd 3次元モデリング装置
JP4448024B2 (ja) * 2002-05-31 2010-04-07 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
CN100388317C (zh) * 2002-06-28 2008-05-14 富士通株式会社 三维图象的比较程序、比较方法及比较装置
US7317456B1 (en) 2002-12-02 2008-01-08 Ngrain (Canada) Corporation Method and apparatus for transforming point cloud data to volumetric data
US7843512B2 (en) 2004-03-31 2010-11-30 Honeywell International Inc. Identifying key video frames
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP5314244B2 (ja) 2004-10-27 2013-10-16 富山化学工業株式会社 新規な含窒素複素環化合物およびその塩
US7653235B2 (en) 2005-10-27 2010-01-26 Honeywell International Inc. Surface anomaly detection system and method

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63186308A (ja) * 1987-01-28 1988-08-01 Hitachi Ltd 移動体の誘導方法、および装置
JPH0618221A (ja) * 1991-03-11 1994-01-25 Agency Of Ind Science & Technol 多視点距離データの統合方法
JPH09231370A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置
JPH09229648A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入出力装置及び画像情報入出力方法
JP2000113193A (ja) * 1998-10-08 2000-04-21 Minolta Co Ltd 多視点3次元データの合成方法および記録媒体
JP2001022939A (ja) * 1999-07-12 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 3次元情報抽出方法、装置、および3次元情報抽出プログラムを記録した記録媒体
JP2001236522A (ja) * 1999-12-17 2001-08-31 Canon Inc 画像処理装置
JP2004521423A (ja) * 2001-03-12 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 8分木を用いた多数の画像からの3次元表現の生成
JP2003296755A (ja) * 2001-11-27 2003-10-17 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2004005373A (ja) * 2001-11-27 2004-01-08 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2005037379A (ja) * 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 三次元モデリング方法と装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
WO2007069726A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 自己位置同定方法と装置および三次元形状の計測方法と装置

Also Published As

Publication number Publication date
CN101331381B (zh) 2011-08-24
CN101331381A (zh) 2008-12-24
US20090202155A1 (en) 2009-08-13
WO2007069724A1 (ja) 2007-06-21
US8116558B2 (en) 2012-02-14
DE112006003380T5 (de) 2008-10-16
JPWO2007069724A1 (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4650751B2 (ja) 三次元形状データの位置合わせ方法と装置
JP4650752B2 (ja) 自己位置同定方法と装置および三次元形状の計測方法と装置
JP4650750B2 (ja) 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP5380792B2 (ja) 物体認識方法および装置
KR102427921B1 (ko) 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
JP5303873B2 (ja) 車両形状計測方法と装置
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
Yang et al. On solving mirror reflection in lidar sensing
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
JP5246468B2 (ja) バリまたは欠損認識方法と装置およびバリ取り方法と装置
JP6673504B2 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
D’Adamo et al. Registration of three‐dimensional scanning LiDAR sensors: An evaluation of model‐based and model‐free methods
JP7464134B2 (ja) 形状モデリング装置及び形状モデリング方法
Jiang et al. Exterior orientation of Line-Array CCD images based on quaternion spherical linear interpolation
Gubarev et al. Special cases in determining the spacecraft position and attitude using computer vision system
Steffen Visual SLAM from image sequences acquired by unmanned aerial vehicles
CN117433511B (zh) 一种多传感器融合定位方法
KR102155021B1 (ko) 점군 데이터의 3차원 직육면체 모델링 방법 및 장치
Shokrzadeh Simultaneous Localization and Mapping for Semi-Sparse Point Clouds
Aydar et al. Total least squares registration of 3D surfaces
CN116524014A (zh) 一种在线标定外参的方法、装置
Fossel Improving Light Detection and Ranging Based Simultaneous Localization and Mapping with Advanced Map Representations
Grant Graduate School

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101202

R151 Written notification of patent or utility model registration

Ref document number: 4650751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250