JP4608152B2

JP4608152B2 - Three-dimensional data processing apparatus, three-dimensional data processing method, and program providing medium

Info

Publication number: JP4608152B2
Application number: JP2001273048A
Authority: JP
Inventors: 英人竹内; 克史池内
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-09-12
Filing date: 2001-09-10
Publication date: 2011-01-05
Anticipated expiration: 2021-09-10
Also published as: JP2002175521A

Description

【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状を求める三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体に関する。特にある視点から被写体を観察して視点からの距離データを求め、異なる複数視点からの複数の距離データを合成して被写体全体の三次元形状を算出する三次元形状を求める三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】
物体の三次元形状を取得する手法にはいくつかの方法がある。三次元形状計測方法は大きく分けると、アクティブ手法（Active vision）とパッシブ手法（Passive vision）とに分類される。アクティブ手法は、さらに、レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法、スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法、光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などに分類される。一方、パッシブ手法は、一枚の画像から３次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定するステレオ法等に分類される。
【０００３】
上述のレーザー手法、あるいはステレオ法を適用して得られる計測対象の距離情報は、計測対象の表面形状を表すデータであり、レンジデータと呼ばれる。レンジデータはレーザー手法、あるいはステレオ法等を適用して得られる計測ポイントの距離データ・サンプル点の集合データである。
【０００４】
また、計測対象の表面の色彩等、肉眼で観察したと同様の撮影データをテクスチャデータと呼ぶ。レンジデータとテクスチャデータとを対応付ける処理をテクスチャマッピングといい、テクスチャマッピングにより、測定対象の三次元モデルが生成される。
【０００５】
【発明が解決しようとする課題】
しかし、一般にレンジデータは、１回の測定で測定点として設定した一方向からの測定対象のレンジデータが求められるのみであり、物体全体の三次元形状を求める場合は、複数の測定点からのレンジデータを測定位置ごとに位置合わせて合成する処理が必要になる。これはテクスチャデータについても同様である。
【０００６】
複数のレンジデータの合成には、例えば、測定対象を回転テーブルの上に設置し、撮影方向と回転テーブルの回転角度を対応付けて複数のレンジデータを取得して、回転テーブルの回転角度に基づいて複数のレンジデータ、または複数のテクスチャデータの合成を行なうことが可能であるが、回転テーブルに設置することができない大きな物体、例えば家、建物、仏像、あるいは自然界に存在する地形等については、このような手法での複数のレンジデータの合成処理は、困難である。
【０００７】
複数のレンジデータの各々は、それぞれ他のレンジデータと一部重なりを持つように測定領域が設定され、それぞれのレンジデータの重なり領域における距離データの相関を算出して相関の高い位置を複数のレンジデータの合成位置として求める処理を実行するのが一般的であった。図１にレンジデータの相関によるレンジデータの合成処理例を示す。
【０００８】
図１（ａ）に示す測定対象１０１に対し、２つのレンジデータ測定器１０２，１０３の２つの測定点からのレンジデータの位置合わせ合成を行なう場合を想定する。レンジデータ測定器１０２，１０３から取得されたレンジデータは、図１（ｂ）のように示される。ここでは説明を簡易にするためにレンジデータをある平面で切ったＸ軸上に延びる線状のデータとして示している。このとき、一方のレンジデータを固定し、他方のレンジデータをＸ軸上で移動させて、２つのレンジデータの重なり領域における相関の最も高いポイントを求めて、２つのレンジデータの位置合わせ処理を実行する。図１に示すように測定対象の表面の形状が特徴的、すなわち凹凸がある場合には、隣接する異なるレンジデータの重なり領域をレンジデータの相関から求めることは比較的容易である。
【０００９】
異なるレンジデータの重なり領域における位置合わせのアルゴリズムは、例えば以下の式を最小にするレンジデータの対応位置を求める処理によって行われる。
【００１０】
【数１】

【００１１】
上記式において、ｘ（ｉ）、ｙ（ｉ）は、レンジデータｘ、レンジデータｙのそれぞれのサンプル点（ｉ）の距離データ値であり、Ｒは回転行列、ｔは並進ベクトルである。上記式を最小にする処理は、一方のレンジデータを固定し、他方のレンジデータの移動量Ｒ，ｔを変化させる処理によって実行される。すなわち、上記式の最小値をとる移動量Ｒ，ｔを算出する処理として実行される。
【００１２】
レンジデータの位置合わせ処理の多くは、「Ｐ．Ｊ．Ｂｅｓｌ」が考案したアルゴリズムを基本とする（例えば、P.J.Besl,N.D.Mckey：A method of Registration of ３-D Shapes. IEEETrans. Pattern Analysis and Machine Intelligence Vol.14,No.2 pp239-256,1992）。この応用例として「Ｚ．Ｚｈａｎｇ」によって構成された例（Z.Zhang: Iterative Point Matching for Registration of Free-Form Curves and Surface. International Journal of Computer Vision,Vol.13, No.2, pp.119-152,1994）がある。この基本アルゴリズムは、ＩＣＰ（Iterative Closest Point）と呼ばれる。ＩＣＰでは重なり合うレンジデータ間の一番近い点同士を対応点とし、繰り返し上記式のεを最小にするように移動量Ｒ，ｔを求めることでレンジデータ間の位置合わせをを行なう。ただし、この方法は、重なり領域を持つレンジタデータ間でのみ適用可能であり、対応点を単純に近い点としているために、形状に特徴がない場合に誤対応が発生しやすいという欠点がある。
【００１３】
また、上記方法は、隣合う２つのレンジデータ間でのみ位置合わせを行なうものであり、３以上のレンジデータを順次位置合わせ処理を行なっていくと、位置合わせ誤差が順次伝播し、終端に誤差の蓄積が発生するという問題がある。物体を複数の方向からスキャンし、全体のレンジデータを撮影（測定）し、位置合わせを順次行なうと誤差が蓄積し、最悪の場合、データが閉じないことも発生し得る。
【００１４】
このような欠点を除去する方法として、複数のレンジデータを一度に位置合わせする方法の検討がなされている。代表的な手法には、「Ｎｅｕｇｅｂａｕｔｅｒ」の方法（Peter J.Neugebauter: Reconstruction of Real-World Objects Via Simultaneous Registration and Robust Combination of Multiple Range Images. International Journal of Shape Modeling, Vol/3 No.１＆２,pp７１-９０,June 1997）がある。この方法では、すべての重なり合うレンジデータにおける誤差を同時に少なくなるように、各レンジ間の移動量Ｒ，ｔを求めている。対応点は、あるレンジデータ上の点を通る撮影方向に平行な直線が、もう１つのレンジデータと交差した点を対応点としている。ただし、この方法もレンジデータから得られる表面形状の特徴のみを使用してレンジデータ相互の位置合わせを行なっている。そのため、例えば缶のような表面が均一な態様を持ち、表面形状に基づく位置合わせが難しい物体を測定対象とした場合には、複数のレンジデータ間の位置合わせは困難となる。
【００１５】
例えば、図２に示すような測定対象２０１に対して異なる測定ポイントからレンジデータを取得し、レンジデータの位置合わせ処理を相互のレンジデータから取得される距離情報（表面形状）の相関に基づいて実行しようとしても、図２（ｂ）に示すように、測定対象物表面に特徴的な凹凸が存在せず、一方のレンジデータを移動しても相関値の変化が殆ど発生しない。従って、レンジデータ相互の重なり領域の位置合わせをレンジデータの相関に基づいて実行することが難しく、測定対象物の全体の正確な表面形状の算出が困難となる。
【００１６】
上述のようなレンジデータのみの位置合わせ処理の困難性を補う手法として全周位置合わせを行なう際に、テクスチャの色の境界面を使用する方法も提案されている（石川知幸、大槻正樹、佐藤幸男：色の境界部分を用いた複数レンジデータの統合、コンピュータビジョンとイメージメディア１１０−１１，１９９８，３，１９）この方法では、物体表面に明確な色の違い（境界）がある場合に、その境界をてがかりとして対応点の補正を行なう。しかし、測定対象物に明確な色の境界が存在しない場合は、本方法は適用できない。
【００１７】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、レンジデータの相関からの位置合わせ処理が困難な測定対象であっても、正確にレンジデータの位置合わせ処理を実行することを可能とした三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体を提供することを目的とする。
【００１８】
具体的には、異なる視点からのレンジデータとテクスチャデータの複数組を生成し、重なり領域を持つレンジデータの相対移動処理を実行し、微少移動された位置において、レンジデータ相互の対応点を算出し、算出した対応点に基づいて、テクスチャデータを用いたテクスチャの相関を計算する。レンジデータの微少移動、対応点算出、算出した対応点位置におけるテクスチャデータの相関値計算を繰り返し、最も高いテクスチャ相関を持つものを対応点として出力し、出力した対応点に基づいてレンジデータの移動量を算出する構成により、表面形状に特徴のない物体においても正確な位置合わせを可能とした三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体を提供する。
【００１９】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
測定対象に対して異なる計測ポイントにおいて取得される複数のレンジデータの位置合わせ処理を実行する三次元データ処理装置であり、
前記測定対象に対して異なる計測ポイントにおいて計測されたレンジデータおよびテクスチャデータの複数の組データを入力するデータ入力手段と、
前記データ入力手段に入力されたデータ中、重なり領域を持つ２つの組データの対応点を該２つの組データ中の２つのテクスチャデータの重なり領域における相関に基づいて設定する対応点探索手段と、
前記対応点探索手段において設定された対応点に基づいて、前記２つの組データ中の２つのレンジデータの重なり領域における誤差を最小にする２つのレンジデータの相対位置を設定するための一方のレンジデータの移動量を求める移動量算出手段と、
を有することを特徴とする三次元データ処理装置にある。
【００２０】
さらに、本発明の三次元データ処理装置の一実施態様において、前記対応点探索手段は、前記重なり領域を持つ２つの組データに含まれる２つのレンジデータについて、一方のレンジデータを他のレンジデータに対して複数の異なる相対位置に移動させる微少移動手段と、前記複数の異なる相対位置の各々の位置に応じて、２つのレンジデータ間の対応点を設定する対応点算出手段と、前記対応点算出手段において設定された対応点に基づいて定まる２つの組データの重なり領域における２つのテクスチャデータの相関を算出するテクスチャ相関算出手段と、前記テクスチャ相関算出手段が算出した最も高い相関を示す２つのテクスチャデータの組に対する２つのレンジデータ対応点を出力対応点として出力する対応点出力手段とを有することを特徴とする。
【００２１】
さらに、本発明の三次元データ処理装置の一実施態様において、前記対応点探索手段は、重なり領域を持つ２つのテクスチャデータの相関を算出するテクスチャ相関算出手段を有し、該テクスチャ相関手段の算出する相関は、２つのレンジデータの輝度値、または色値のいずれかに基づくものであることを特徴とする。
【００２２】
さらに、本発明の三次元データ処理装置の一実施態様において、前記移動量算出手段により求める移動量は、一方のレンジデータの移動量を示す回転行列Ｒと、並進ベクトルｔの組として算出する構成であることを特徴とする。
【００２３】
さらに、本発明の三次元データ処理装置の一実施態様において、前記移動量算出手段は、３以上の複数のレンジデータを入力し、すべての重なり合うレンジデータにおける誤差を同時に少なくなるように、各レンジ間の移動量を求める構成を有することを特徴とする。
【００２４】
さらに、本発明の第２の側面は、
測定対象に対して異なる計測ポイントにおいて取得される複数のレンジデータの位置合わせ処理を実行する三次元データ処理方法であり、
前記測定対象に対して異なる計測ポイントにおいて計測されたレンジデータおよびテクスチャデータの複数の組データを入力するデータ入力ステップと、
前記データ入力ステップにおいて入力されたデータ中、重なり領域を持つ２つの組データの対応点を該２つの組データ中の２つのテクスチャデータの重なり領域における相関に基づいて設定する対応点探索ステップと、
前記対応点探索ステップにおいて設定された対応点に基づいて、前記２つの組データ中の２つのレンジデータの重なり領域における誤差を最小にする２つのレンジデータの相対位置を設定するための一方のレンジデータの移動量を求める移動量算出ステップと、
を有することを特徴とする三次元データ処理方法にある。
【００２５】
さらに、本発明の三次元データ処理方法の一実施態様において、前記対応点探索ステップは、前記重なり領域を持つ２つの組データに含まれる２つのレンジデータについて、一方のレンジデータを他のレンジデータに対して複数の異なる相対位置に移動させる微少移動ステップと、前記複数の異なる相対位置の各々の位置に応じて、２つのレンジデータ間の対応点を設定する対応点算出ステップと、前記対応点算出ステップにおいて設定された対応点に基づいて定まる２つの組データの重なり領域における２つのテクスチャデータの相関を算出するテクスチャ相関算出ステップと、前記テクスチャ相関算出ステップにおいて算出した最も高い相関を示す２つのテクスチャデータの組に対する２つのレンジデータ対応点を出力対応点として出力する対応点出力ステップとを含むことを特徴とする。
【００２６】
さらに、本発明の三次元データ処理方法の一実施態様において、前記対応点探索ステップは、重なり領域を持つ２つのテクスチャデータの相関を算出するテクスチャ相関算出ステップを有し、該テクスチャ相関ステップにおいて算出する相関は、２つのレンジデータの輝度値、または色値に基づくものであることを特徴とする。
【００２７】
さらに、本発明の三次元データ処理方法の一実施態様において、前記移動量算出ステップにおいて求められる移動量は、一方のレンジデータの移動量を示す回転行列Ｒと、並進ベクトルｔの組として算出することを特徴とする。
【００２８】
さらに、本発明の三次元データ処理方法の一実施態様において、前記移動量算出ステップは、３以上の複数のレンジデータを入力し、すべての重なり合うレンジデータにおける誤差を同時に少なくなるように、各レンジ間の移動量を求めるステップであることを特徴とする。
【００２９】
さらに、本発明の第３の側面は、
測定対象に対して異なる計測ポイントにおいて取得される複数のレンジデータの位置合わせ処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
前記測定対象に対して異なる計測ポイントにおいて計測されたレンジデータおよびテクスチャデータの複数の組データを入力するデータ入力ステップと、
前記データ入力ステップにおいて入力されたデータ中、重なり領域を持つ２つの組データの対応点を該２つの組データ中の２つのテクスチャデータの重なり領域における相関に基づいて設定する対応点探索ステップと、
前記対応点探索ステップにおいて設定された対応点に基づいて、前記２つの組データ中の２つのレンジデータの重なり領域における誤差を最小にする２つのレンジデータの相対位置を設定するための一方のレンジデータの移動量を求める移動量算出ステップと、
を有することを特徴とするプログラム提供媒体にある。
【００３０】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００３１】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３３】
【発明の実施の形態】
以下、本発明の三次元データ処理装置および三次元データ処理方法の実施例について、図面を参照して説明する。まず、図３に本発明の三次元データ処理装置におけるレンジデータ相互の位置合わせ処理を実行するための構成を示すブロック図を示す。
【００３４】
レンジデータ入力部３０１およびテクスチャデータ入力部３０２は、測定対象物の各測定ポイントから取得したレンジデータとテクスチャデータを入力する。例えば図４に示す構成のように、測定対象物４０１に対してそれぞれ異なる視点から測定対象を観察する測定ポイント４０２Ａ〜４０２Ｚにおいて取得されるレンジデータとテクスチャデータを順次入力する。レンジデータは、前述したレーザー手法、あるいはステレオ法等の距離データ取得手法を適用して得られる計測対象の距離情報であり、テクスチャデータは、通常のカメラ等で取得される測定対象の表面の輝度、色情報等を含むデータである。
【００３５】
図４では、測定対象４０１に対して周囲を取り巻くように測定器（撮影手段）を設置してあるが、これは一例であり、測定対象物の一部のデータを取得したい場合は、測定対象物の一部のデータを取得するために必要な１以上の測定手段を設置する構成としてもよく、また、図４に示す測定ポイント以外に測定対象４０１に対して上方あるいは下方からレンジデータ、テクスチャデータを取得するポイントを設けてもよい。また、測定ポイントを多数設定する代わりに、測定対象を例えばテーブル等に載置してカメラに対して測定対象を相対的に移動する構成としてもよい。
【００３６】
なお、個々の測定ポイント４０２Ａ〜４０２Ｚでは、測定対象４０１のレンジデータおよびテクスチャデータを同一視点からのデータの組として取得され、１つの視点に属するレンジデータとテクスチャデータの組はそれぞれのデータ取得領域においてデータの対応付けがなされているものとする。また、測定対象４０１に対して設置される各測定ポイント４０２Ａ〜４０２Ｚから取得されるレンジデータおよびテクスチャデータは、それぞれ他のポイントからの測定データの少なくてもいずれかのデータとの重なり領域を有する。
【００３７】
図３に戻り、各構成部の機能について説明する。レンジデータ入力部３０１およびテクスチャデータ入力部３０２は、図４に示すような各測定ポイントにおいて取得したレンジデータおよびテクスチャデータを取り込むものであるが、実際の測定手段から直接、データを入力する構成に限らず、データを蓄積したハードディスク等の記憶手段を介してレンジデータ、テクスチャデータを取り込む構成としてもよい。
【００３８】
データ保持部３０３は、各測定ポイントにおいて取得されたレンジデータおよびテクスチャデータを格納するとともに、レンジデータの移動量Ｒ，ｔを保持する移動量保持部を各測定ポイント毎に有する。なお、レンジデータの移動量は、下記式に含まれる移動量としての回転行列Ｒ、並進ベクトルｔである。
【００３９】
【数２】

【００４０】
上記式において、ｘ（ｉ）、ｙ（ｉ）は、レンジデータｘ、レンジデータｙのそれぞれのサンプル点（ｉ）の距離データ値であり、Ｒは回転行列、ｔは並進ベクトルである。位置合わせ処理は、上記式を最小にする処理、すなわち、上記式のεの最小値をとる移動量Ｒ，ｔを算出する処理として実行される。
【００４１】
例えば測定ポイントＡにおいて取得されたレンジデータは、レンジデータ保持部Ａ３０４に格納され、ポイントＡにおいて取得されたテクスチャデータは、テクスチャデータ保持部Ａ３０５に格納される。さらに、次に説明する対応点探索処理において求められたレンジデータＡの移動量Ｒ，ｔが移動量保持部Ａに格納される。各測定ポイントＢ〜Ｚについても同様にデータ保持部に設けられた各レンジデータ保持部Ｂ〜Ｚ、テクスチャデータ保持部Ｂ〜Ｚ、移動量保持部Ｂ〜Ｚに格納される。
【００４２】
対応点探索部３０８は、重なり領域を有する２つのデータ取得ポイントのレンジデータ、テクスチャデータ、例えば測定ポイントＡと測定ポイントＢの隣接ポイントのデータを入力して、重なり領域の位置合わせ処理を実行して対応点を求める処理を実行する。対応点探索部における処理については、図５を用いて後段で詳細に説明する。
【００４３】
移動量算出部３０９は、対応点探索部３０８において探索された重なり領域を持つ２つのレンジデータの対応点に基づいて前記式［数２］を計算し、［数２］のεを最小にするよう、一方のレンジデータの移動量を求める。移動量は前記式［数２］の移動量Ｒ，ｔである。例えばレンジデータＡと、レンジデータＢに基づいて、レンジデータＡを固定し、レンジデータＢを移動させて前記式［数２］の値を最小にするＲ，ｔを求めた場合には、移動量保持部Ｂにその求めた移動量Ｒ，ｔが格納される。
【００４４】
対応点探索部３０８においては位置合わせを実行する重なり領域を持つ２つのデータを入力して対応点がそれぞれ求められ、移動量算出部３０９は、それぞれの１組のデータに基づいて前記式［数２］に従ってεを最小にする移動量Ｒ，ｔを求める処理を実行する。移動量算出部３０９は、１組の２つのレンジデータ毎に移動量算出を実行する構成としてもよく、また、３以上のレンジデータを入力して重なり領域を持つレンジデータの組［Ａ，Ｂ］、［Ｂ，Ｃ］それぞれの前記式［数２］のε［Ａ，Ｂ］、ε［Ｂ，Ｃ］…を求めて、例えば「Ｎｅｕｇｅｂａｕｔｅｒ」の方法（Peter J.Neugebauter: Reconstruction of Real-World Objects Via Simultaneous Registration and Robust Combination of Multiple Range Images. International Journal of Shape Modeling, Vol/3 No.１＆２,pp７１-９０,June 1997）を適用して、すべての重なり合うレンジデータにおける誤差を同時に少なくなるように、各レンジ間の移動量Ｒ，ｔを求める構成としてもよい。
【００４５】
移動量出力部３０７は、移動量算出部３０９で求めた値を保持している移動量保持部Ａ〜Ｚの値を出力する。出力された移動量に基づいてレンジデータの位置が決定され、例えば測定対象全周囲の距離データが構成されて、テクスチャデータを貼り付けることにより、測定対象の三次元画像が生成される。
【００４６】
図５に対応点探索部の詳細構成を示す。図５の対応点探索部５０５には、２つの異なる測定ポイントから取得された重なり領域を持つ２つのレンジデータ、テクスチャデータが入力される。ここでは、入力データをレンジデータ保持部ｉ，５０１に格納されたレンジデータｉ、テクスチャデータ保持部ｉ，５０２に格納されたテクスチャデータｉ、レンジデータ保持部ｉ＋１，５０３に格納されたレンジデータｉ＋１、テクスチャデータ保持部ｉ＋１，５０４に格納されたテクスチャデータｉ＋１とする。
【００４７】
レンジデータ保持部ｉ，５０１に格納されたレンジデータｉと、レンジデータ保持部ｉ＋１，５０３に格納されたレンジデータｉ＋１に格納されたレンジデータは、対応点探索部５０５の微少移動部５０８に入力される。重なり領域を持つレンジデータは、その測定ポイント位置からおおよその相対位置関係が初期設定され、その初期設定位置から、微少移動部５０８において、あらかじめ定めた複数の移動バリエーションに応じてレンジデータの相対移動処理が実行される。微少移動されたポイントにおいて、対応点算出部５０７においてレンジデータ相互の対応点が算出され、設定した対応点に基づいて、同様の対応付けを行なったテクスチャデータを用いた相関がテクスチャ相関算出部５０６において計算される。テクスチャ相関算出部５０６において計算された相関は相関値保持部５０９に保持され、その相関値に対応する対応点が対応点保持部５１０に保持される。
【００４８】
微少移動部５０８における微少移動、対応点算出部５０７対応点算出処理、テクスチャ相関算出部５０６におけるテクスチャデータの相関値計算が、微少移動部５０８において実行される複数の移動バリエーションに従った様々な微少移動毎に繰り返し実行され、異なる対応点に基づいて計算されたテクスチャ相関値のうち、最も高い相関を持つものが対応点出力部５１１から出力される。
【００４９】
上記処理の詳細について、さらに、図６を用いて説明する。図６を用いて、重なり領域を持つ隣接する測定ポイントＸ，Ｙから取得された２つのレンジデータＸ，Ｙ、テクスチャデータＸ，Ｙを用いた対応点設定処理を説明する。レンジデータＸ，Ｙは、サンプル点Ｘｉ，Ｙｉの集合である。また、隣接サンプル点を結ぶことにより設定される三角メッシュの集合としてとらえることもできる。レンジデータＸにはテクスチャデータＸが対応付けられ、レンジデータＹにはテクスチャデータＹが対応付けられている。。
【００５０】
まず、レンジデータＸとレンジデータＹが微少移動部５０８に入力されると、予め定められた移動バリエーションに従って、レンジデータＹを微少移動させる。図６の例では、撮影視点（測定点）に垂直方向に一定距離レンジデータＹを移動させる処理が１つの移動バリエーションとして実行されるものとする。図６の位置において１つの移動バリエーションに基づくレンジデータＸ，Ｙの相対位置が設定されたものとする。
【００５１】
次に、対応点算出部５０７は、レンジデータＸのサンプルポイントＸｉと撮影視点（測定点）とを結ぶ線をレンジデータＹに伸ばした線との交点をＹｉ’として、このＸｉとＹｉ’を、この移動バリエーション位置における対応点として設定する。設定された対応点の位置は、対応点保持部５１０に保持される。
【００５２】
テクスチャ相関算出部５０６は、この位置におけるテクスチャデータＸとテクスチャデータＹ’との重なり領域における相関を算出する。テクスチャデータは、例えばそのＲＧＢ等の色値、あるいは輝度値を各座標位置において算出し、テクスチャデータＸの各座標（ｉ）における輝度値あるいはＲＧＢ等の色値をｘ（ｉ）とし、テクスチャデータＹ’の各座標（ｉ）における輝度値あるいはＲＧＢ等の色値をｙ’（ｉ）とし、この相関を次式によって求める。
【００５３】
【数３】

【００５４】
上記式において、テクスチャデータＸと、テクスチャデータＹ’の相関が高ければＲ＝１に近づき、相関がなければｒ＝０、逆の相関が大きくなるとｒ＝−１に近づく。上記式において求められた相関値ｒは、相関値保持部５０９に保持される。
【００５５】
異なる移動バリエーションによって新たに対応点ｙ”、ｙ”’、ｙ””…が設定されそれぞれの対応点位置が対応点保持部５１０に格納されるとともに、テクスチャ相関算出部において上記式に従って相関が算出され、算出された相関が相関値保持部５０９に保持される。対応点保持部５１０に格納される対応点と、相関値保持部５０９に保持される相関値とはそれぞれ対応付けされている。
【００５６】
予め定めた移動バリエーションに基づく複数の移動処理が終了し、全ての対応点と相関値算出処理が終了すると、算出された相関値の中でもっとも高い相関値が算出された対応点位置を対応点出力部５１１から出力する。
【００５７】
対応点出力部から出力されるテクスチャデータの相関に基づいて設定された対応点情報は、図３の移動量算出部３０９に出力され、移動量算出部３０９は、設定された対応点に基づいて、レンジデータＸ，Ｙについて前記式［数２］に従ってεを最小にする移動量Ｒ，ｔを求める処理を実行する。εを最小にする移動量Ｒ，ｔが求められると、その移動量データをレンジデータＹの移動量保持部Ｙに格納する（レンジデータＸを固定し、レンジデータンを移動させた場合）。このようにして決定された移動量に基づいて複数のレンジデータの相対位置が決定され、例えば測定対象全周囲の距離データが構成されて、テクスチャデータを貼り付けることにより、測定対象の三次元画像が生成される。
【００５８】
次に、図７、図８を用いて本発明の三次元データ処理方法において実行されるテクスチャデータに基づく対応点設定を伴う移動量設定処理の各ステップについて説明する。
【００５９】
まず、ステップＳ１０１において、レンジデータ（ｉ）を入力し、レンジデータ保持部（ｉ）に格納し、ステップＳ１０２において、テクスチャデータ（ｉ）を入力し、テクスチャデータ保持部（ｉ）に格納する。ただし、ｉ＝１〜ｎとする。ｎは測定ポイント数に対応する。このデータ入力処理をすべての測定点数ｎまで繰り返し実行する（Ｓ１０３）。
【００６０】
すべてのレンジデータ、テクスチャデータの入力が終了すると、ステップＳ１０４以下の処理を実行する。以下のフローでは測定点ｉ，ｉ＋１の２つの隣接データ（ｉ）とデータ（ｉ＋１）の処理を実行する。ステップＳ１０４は、微少移動部５０８の処理であり、レンジデータ（ｉ＋１）を予め定めた複数の移動バリエーション（平行移動、回転移動等）の１つに従って微少移動させる。
【００６１】
ステップＳ１０５は、対応点算出部５０７の処理であり、レンジデータ（ｉ）と、移動処理後のレンジデータ（ｉ＋１）のサンプル点対応付けを行なう。この処理は例えば先に図６を用いて説明した処理である。ステップＳ１０６は、対応点保持部５１０において、対応点算出部５０７で対応付けた対応点を保存する処理である。
【００６２】
ステップＳ１０７は、テクスチャ相関算出部５０６の処理であり、対応算出部５０７で対応付けた対応点をもとに、重なり領域のテクスチャ相関を求める。これは例えば上記式［数３］に基づく処理として実行される。ステップＳ１０８は、相関値保持部５０９において、テクスチャ相関算出部５０６で算出した相関値を保持する処理である。
【００６３】
設定バリエーションの移動をすべて終了したか否かをステップＳ１０９で判定し、終了していない場合は、ステップＳ１０４〜Ｓ１０８の処理を繰り返し実行する。すべての設定バリエーションの移動をすべて終了すると、ステップＳ１１０に進む。
【００６４】
ステップＳ１１０は、対応点出力部５１１において、相関値保持部の値のうち最も相関の高い値を選択し、その位置における対応点を対応点保持部５１０から選択し出力する。
【００６５】
次のステップＳ１１１は、移動量算出部３０９（図３参照）の処理であり、対応点探索部において求められ出力された対応点をもとに各レンジデータの移動量を求め、移動量を移動量保持部に保存する。移動量は、前記式［数２］のＲ，ｔである。
【００６６】
次のステップＳ１１２，Ｓ１１３は、ステップＳ１１１で求められる移動量Ｒ，ｔに基づいて算出されるεを予め定めた閾値と比較するステップである。算出されたεが閾値より小さければ、正しい対応点位置に基づく移動量が算出されたと判断し、ステップＳ１１４に進む。一方、ステップＳ１１１で求められる移動量Ｒ，ｔに基づいて算出されるεが予め定めた閾値より小さくない場合は、誤った対応点位置に基づく移動量が算出されたと判定し、ステップＳ１１３で新たな移動バリエーションを設定して、新たな移動バリエーションに基づいてステップＳ１０４以下の処理を繰り返す。
【００６７】
ステップＳ１１４は、全ての重なり領域を持つレンジデータ相互の移動量が決定されたか否かを判定し、未処理データがある場合は、ステップＳ１０４に戻り、新たな重なり領域を持つデータの組を設定し処理を実行する。
【００６８】
全てのデータについての処理が終了すると、ステップＳ１１５において、移動量保持部に保持された移動量が移動量出力部３０７から出力される。出力された移動量に基づいて複数のレンジデータの相対位置が決定され、例えば測定対象全周囲の距離データが構成されて、テクスチャデータを貼り付けることにより、測定対象の三次元画像が生成される。
【００６９】
次に、図９を用いて、本発明の三次元データ処理装置のハードウェア構成について説明する。各種処理プログラムを実行する中央演算処理装置（ＣＰＵ:Central Processing Unit）６０１は、図９の各構成部位の処理を制御する。ＲＯＭ（Read only Memory）６０２は、ＩＰＬ（Initial Program Loading）等のプログラムを記憶したメモリである。ＲＡＭ（Random Access Memory）６０３は、ＣＰＵ６０１が実行するプログラム、ＣＰＵによって実行する処理におけるワークエリアとして使用される。
【００７０】
ビデオコントローラ６０４は、ＣＰＵ６０１の制御の下、ＶＲＡＭ（Video RAM）６０５を用いてモニタである画像表示部６０６の表示制御を行なう。ＶＲＡＭ６０５は、画像表示部６０６が表示するデータ、例えばレンジデータにテクスチャデータを貼り付けた三次元モデルデータ等を一次記憶する。すなわち、表示データは、ビデオコントローラ６０４を介してＶＲＡＭ６０５に一旦書き込まれ、ビデオコントローラ６０４がＶＲＡＭ６０５に格納されたデータを画像表示部６０６に供給することで画像表示が実行される。
【００７１】
ストレージコントローラ６０７は、例えばＨＤ（Hard Disk）や、ＦＤ（Floppy Disk）等の磁気ディスク６０８、ミニディスク等の光磁気ディスク６０９、ＣＤ−ＲＯＭ（Compact Disk ROM）などの光ディスク６１０、ＲＯＭやフラッシュメモリなどの不揮発性メモリ６１１に対するアクセスを制御する機能を持つ。磁気ディスク６０８、光磁気ディスク６０９、光ディスク６１０、不揮発性メモリ６１１はデータ、例えば上述のレンジデータ、テクスチャデータ、あるいはレンジデータにテクスチャデータを貼り付けた三次元データ等の各種データ等を記憶する。記憶データは、ＣＰＵ６０１によってストレージコントローラ６０７を介して読み出される。なお、各種記憶媒体にＣＰＵ６０１が実行するプログラムを格納する構成としてもよい。例えば、対応点探索、相関算出処理等、図７、図８のフロー中の各種の処理プログラムを磁気ディスク等の記憶媒体に格納可能である。
【００７２】
通信コントローラ６１２は、電波や赤外線などによる無線通信、イーサネットなどによる優先通信を制御するようになされている。レンジデータやテクスチャデータの各種測定データ、さらにＣＰＵ６０１が実行する各種処理プログラムを、この通信コントローラ６１２を介して通信を行なうことにより、外部装置から取得する構成とすることも可能である。
【００７３】
入力デバイスコントローラ６１３は、キーボード６１４や、例えばマウス等のポインティングデバイス６１５などの制御を実行し、各入力デバイスからのコマンド、データ入力をＣＰＵ６０１に出力する。
【００７４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００７５】
【発明の効果】
以上、詳記したように、本発明の三次元データ処理装置および三次元データ処理方法によれば、レンジデータの相関に基づく位置合わせ処理が困難な測定対象であっても、テクスチャデータに基づいて対応点が高精度に設定されるので、表面形状に特徴のない物体におけるレンジデータの位置合わせが正確に実行され、高精度な三次元モデルの生成が可能となる。
【００７６】
また、本発明の三次元データ処理装置および三次元データ処理方法によれば、異なる視点からのレンジデータとテクスチャデータの組を生成し、レンジデータの相対移動処理を実行して、各微少移動ポイントにおいて、レンジデータ相互の対応点を算出し、算出した対応点に基づいて、テクスチャデータを用いたテクスチャの相関を計算して最も高い相関を示すデータに対する対応点を出力し、出力した対応点に基づいてレンジデータの移動量を算出する構成であるので、表面形状に特徴のない物体においても正確なレンジデータの位置合わせ、高精度な三次元モデルの生成が可能となる。
【図面の簡単な説明】
【図１】測定対象物のレンジデータの取得構成とレンジデータの相関について説明する図である。
【図２】測定対象物のレンジデータの取得構成と、レンジデータの相関による位置合わせが困難な例について説明する図である。
【図３】本発明の三次元データ処理装置の構成を示すブロック図である。
【図４】本発明の三次元データ処理装置におけるレンジデータ、テクスチャデータの取得構成について説明する図である。
【図５】本発明の三次元データ処理装置における対応点探索部の詳細構成について説明する図である。
【図６】本発明の三次元データ処理装置における対応点設定処理例について説明する図である。
【図７】本発明の三次元データ処理装置における処理フロー（その１）を示す図である。
【図８】本発明の三次元データ処理装置における処理フロー（その２）を示す図である。
【図９】本発明の三次元データ処理装置のハードウェア構成例を示す図である。
【符号の説明】
１０１測定対象
１０２，１０３レンジデータ測定器
２０１測定対象
３０１レンジデータ入力部
３０２テクスチャデータ入力部
３０３データ保持部
３０４レンジデータ保持部Ａ
３０５テクスチャデータ保持部Ａ
３０６移動量保持部Ａ
３０７移動量出力部
３０８対応点探索部
３０９移動量算出部
４０１測定対象
４０２測定ポイント
５０１レンジデータ保持部ｉ
５０２テクスチャデータ保持部ｉ
５０３レンジデータ保持部ｉ＋１
５０４テクスチャデータ保持部ｉ＋１
５０５対応点探索部
５０６テクスチャ相関算出部
５０７対応点算出部
５０８微少移動部
５０９相関値保持部
５１０対応点保持部
５１１対応点出力部
６０１中央演算処理装置（ＣＰＵ:Central Processing Unit）
６０２ＲＯＭ（Read only Memory）
６０３ＲＡＭ（Random Access Memory）
６０４ビデオコントローラ
６０５ＶＲＡＭ（Video RAM）
６０６画像表示部
６０７ストレージコントローラ
６０８磁気ディスク６０８
６０９光磁気ディスク
６１０光ディスク
６１１不揮発性メモリ
６１２通信コントローラ
６１３入力デバイスコントローラ
６１４キーボード
６１５ポインティングデバイス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional data processing apparatus, a three-dimensional data processing method, and a program providing medium for obtaining a three-dimensional shape of an object. A three-dimensional data processing device for obtaining a three-dimensional shape for observing a subject from a certain viewpoint to obtain distance data from the viewpoint and calculating a three-dimensional shape of the entire subject by combining a plurality of distance data from different viewpoints and The present invention relates to a three-dimensional data processing method and a program providing medium.
[0002]
[Prior art]
There are several methods for obtaining the three-dimensional shape of an object. Three-dimensional shape measurement methods are roughly classified into an active method (Active vision) and a passive method (Passive vision). The active method further emits laser light, ultrasonic waves, etc., measures the amount of reflected light and the arrival time from the object, extracts depth information, and uses a special pattern light source such as slit light. It is classified into a pattern projection method for estimating a target shape from image information such as geometric deformation of a surface pattern, and a method for obtaining three-dimensional information by forming contour lines with moire fringes by optical processing. On the other hand, the passive method is classified into monocular stereoscopic vision for estimating three-dimensional information from one image, stereo method for estimating depth information of each pixel based on the triangulation principle, and the like.
[0003]
The distance information of the measurement target obtained by applying the above laser method or the stereo method is data representing the surface shape of the measurement target, and is called range data. The range data is a set of distance data and sample points of measurement points obtained by applying a laser method or a stereo method.
[0004]
Also, photographing data similar to that observed with the naked eye, such as the color of the surface to be measured, is referred to as texture data. The process of associating range data with texture data is called texture mapping, and a three-dimensional model to be measured is generated by texture mapping.
[0005]
[Problems to be solved by the invention]
However, in general, the range data is only the range data of the measurement object from one direction set as the measurement point in one measurement, and when obtaining the three-dimensional shape of the entire object, the range data is obtained from a plurality of measurement points. A process for aligning and synthesizing the range data for each measurement position is required. The same applies to texture data.
[0006]
For synthesizing a plurality of range data, for example, a measurement target is set on a rotary table, a plurality of range data is acquired by associating a shooting direction with a rotation angle of the rotary table, and based on the rotation angle of the rotary table. It is possible to synthesize multiple range data or multiple texture data, but for large objects that cannot be installed on a rotating table, such as houses, buildings, Buddha statues, or terrain existing in nature, It is difficult to synthesize a plurality of range data by such a method.
[0007]
Each of the plurality of range data has a measurement area set so as to partially overlap with other range data, and the correlation of distance data in the overlap area of each range data is calculated, and a position with high correlation is set to a plurality of positions. It has been common to execute processing to obtain the range data combining position. FIG. 1 shows an example of range data synthesis processing by range data correlation.
[0008]
It is assumed that the range data from the two measurement points of the two range

data measuring devices

102 and 103 is subjected to alignment synthesis for the measurement object 101 shown in FIG. The range data acquired from the range

data measuring instruments

102 and 103 is shown as shown in FIG. Here, in order to simplify the explanation, the range data is shown as linear data extending on the X axis cut by a certain plane. At this time, one range data is fixed and the other range data is moved on the X-axis to obtain a point having the highest correlation in the overlapping region of the two range data, and the alignment processing of the two range data is performed. Execute. As shown in FIG. 1, when the shape of the surface of the measurement object is characteristic, that is, there are irregularities, it is relatively easy to obtain the overlapping region of different adjacent range data from the correlation of the range data.
[0009]
The alignment algorithm in the overlapping area of different range data is performed, for example, by processing for obtaining the corresponding position of the range data that minimizes the following expression.
[0010]
[Expression 1]

[0011]
In the above equation, x (i) and y (i) are distance data values of sample points (i) of the range data x and range data y, R is a rotation matrix, and t is a translation vector. The process of minimizing the above equation is executed by a process of fixing one range data and changing the movement amounts R and t of the other range data. That is, it is executed as a process for calculating the movement amounts R and t taking the minimum values of the above formula.
[0012]
Most of the range data alignment processing is based on an algorithm devised by “PJ Besl” (for example, PJBesl, NDMckey: A method of Registration of 3-D Shapes. IEEETrans. Pattern Analysis and Machine Intelligence Vol. .14, No. 2 pp239-256, 1992). As an example of this application, an example constructed by “Z. Zhang” (Z. Zhang: Iterative Point Matching for Registration of Free-Form Curves and Surface. International Journal of Computer Vision, Vol. 13, No. 2, pp. 119- 152,1994). This basic algorithm is called ICP (Iterative Closest Point). In ICP, the closest points between overlapping range data are used as corresponding points, and the movement amounts R and t are repeatedly determined so as to minimize ε in the above equation, thereby aligning the range data. However, this method can be applied only between ranger data having overlapping areas, and since the corresponding points are simply close points, there is a drawback that miscorrespondence is likely to occur when there is no feature in the shape. .
[0013]
In the above method, alignment is performed only between two adjacent range data, and when three or more range data are sequentially subjected to alignment processing, alignment errors are propagated sequentially, and errors are detected at the end. There is a problem that accumulation of. When an object is scanned from a plurality of directions, the entire range data is imaged (measured), and alignment is performed sequentially, errors accumulate, and in the worst case, the data may not close.
[0014]
As a method for removing such a defect, a method for aligning a plurality of range data at a time has been studied. Representative methods include the method of “Neugebauter” (Peter J. Neugebauter: Reconstruction of Real-World Objects Via Simultaneous Registration and Robust Combination of Multiple Range Images. International Journal of Shape Modeling, Vol / 3 No. 1 & 2, pp71- 90, June 1997). In this method, the movement amounts R and t between the ranges are obtained so that errors in all the overlapping range data are simultaneously reduced. The corresponding point is a point where a straight line passing through a point on certain range data and parallel to the shooting direction intersects with another range data. However, this method also uses only the features of the surface shape obtained from the range data to align the range data. Therefore, for example, when an object that has a uniform surface such as a can and is difficult to align based on the surface shape is to be measured, alignment between a plurality of range data becomes difficult.
[0015]
For example, range data is acquired from different measurement points with respect to the measurement target 201 as shown in FIG. 2, and the range data alignment processing is performed based on the correlation of distance information (surface shape) acquired from the mutual range data. Even if it is attempted to execute, as shown in FIG. 2B, there is no characteristic unevenness on the surface of the measurement object, and even if one of the range data is moved, the correlation value hardly changes. Therefore, it is difficult to perform the alignment of the overlapping regions of the range data based on the correlation of the range data, and it is difficult to calculate the accurate surface shape of the entire measurement object.
[0016]
As a method to compensate for the difficulty in alignment processing of only the range data as described above, there has also been proposed a method using a texture color boundary surface when performing all-round alignment (Tomoyuki Ishikawa, Masaki Otsuki, Sato) Yukio: Integration of multiple range data using color boundary parts, computer vision and image media 110-11, 1998, 3, 19) In this method, when there is a clear color difference (boundary) on the object surface, Corresponding points are corrected using the boundary as a clue. However, this method cannot be applied when there is no clear color boundary in the measurement object.
[0017]
The present invention has been made in view of the above-described problems of the prior art, and accurately executes the range data alignment process even if the measurement target is difficult to align from the range data correlation. It is an object of the present invention to provide a three-dimensional data processing apparatus, a three-dimensional data processing method, and a program providing medium that make it possible.
[0018]
Specifically, multiple sets of range data and texture data from different viewpoints are generated, the relative movement processing of range data with overlapping areas is executed, and the corresponding points of the range data are calculated at the slightly moved position Then, based on the calculated corresponding points, the correlation of the texture using the texture data is calculated. Minute movement of range data, calculation of corresponding points, correlation value calculation of texture data at the calculated corresponding point position is repeated, the one with the highest texture correlation is output as corresponding points, and range data is moved based on the output corresponding points Provided are a three-dimensional data processing apparatus, a three-dimensional data processing method, and a program providing medium capable of accurately aligning even an object having no feature in a surface shape by a configuration for calculating a quantity.
[0019]
[Means for Solving the Problems]
The present invention has been made in consideration of the above problems, and the first aspect thereof is
A three-dimensional data processing device that performs alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target,
Data input means for inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
Corresponding point search means for setting corresponding points of two sets of data having overlapping areas in the data input to the data input means based on the correlation in the overlapping areas of the two texture data in the two sets of data;
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search means A movement amount calculating means for obtaining a movement amount of data;
A three-dimensional data processing apparatus characterized by comprising:
[0020]
Furthermore, in one embodiment of the three-dimensional data processing apparatus of the present invention, the corresponding point search means converts one range data into another range data for two range data included in the two sets of data having the overlapping region. A minute movement means for moving to a plurality of different relative positions, a corresponding point calculation means for setting a corresponding point between two range data according to each position of the plurality of different relative positions, and the corresponding point A texture correlation calculating means for calculating a correlation between two texture data in an overlapping region of two sets of data determined based on corresponding points set in the calculating means, and two indicating the highest correlation calculated by the texture correlation calculating means. Corresponding point output means for outputting two range data corresponding points for the set of texture data as output corresponding points. The features.
[0021]
Furthermore, in one embodiment of the three-dimensional data processing apparatus of the present invention, the corresponding point search means includes texture correlation calculation means for calculating a correlation between two texture data having overlapping regions, and the calculation of the texture correlation means The correlation is based on either the luminance value or the color value of the two range data.
[0022]
Furthermore, in an embodiment of the three-dimensional data processing apparatus of the present invention, the movement amount obtained by the movement amount calculating means is calculated as a set of a rotation matrix R indicating the movement amount of one range data and a translation vector t. It is characterized by being.
[0023]
Furthermore, in one embodiment of the three-dimensional data processing apparatus of the present invention, the movement amount calculation means inputs a plurality of range data of three or more, and each range is set so that errors in all overlapping range data are reduced simultaneously. It has the structure which calculates | requires the movement amount between.
[0024]
Furthermore, the second aspect of the present invention provides
A three-dimensional data processing method for performing alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target,
A data input step of inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
A corresponding point search step of setting corresponding points of two sets of data having an overlapping area in the data input in the data input step based on a correlation in an overlapping area of two texture data in the two sets of data;
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search step A movement amount calculating step for obtaining a movement amount of the data;
A three-dimensional data processing method characterized by comprising:
[0025]
Furthermore, in one embodiment of the three-dimensional data processing method of the present invention, the corresponding point search step is configured to convert one range data to another range data for two range data included in the two sets of data having the overlapping region. A micro-movement step for moving to a plurality of different relative positions, a corresponding point calculating step for setting a corresponding point between two range data according to each position of the plurality of different relative positions, and the corresponding point A texture correlation calculating step for calculating a correlation between two texture data in an overlapping region of two sets of data determined based on corresponding points set in the calculating step, and two indicating the highest correlation calculated in the texture correlation calculating step. Output two range data corresponding points for texture data sets as output corresponding points Characterized in that it comprises a corresponding point output step that.
[0026]
Furthermore, in an embodiment of the three-dimensional data processing method of the present invention, the corresponding point search step includes a texture correlation calculation step for calculating a correlation between two texture data having overlapping regions, and the calculation is performed in the texture correlation step. The correlation is based on the luminance value or the color value of the two range data.
[0027]
Furthermore, in an embodiment of the three-dimensional data processing method of the present invention, the movement amount obtained in the movement amount calculating step is calculated as a set of a rotation matrix R indicating the movement amount of one range data and a translation vector t. It is characterized by that.
[0028]
Furthermore, in one embodiment of the three-dimensional data processing method of the present invention, the movement amount calculating step inputs a plurality of range data of three or more, and each range so that errors in all the overlapping range data are simultaneously reduced. It is the step which calculates | requires the movement amount between.
[0029]
Furthermore, the third aspect of the present invention provides
A program providing medium for providing a computer program that allows a computer system to execute alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target, the computer program comprising:
A data input step of inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
A corresponding point search step of setting corresponding points of two sets of data having an overlapping area in the data input in the data input step based on a correlation in an overlapping area of two texture data in the two sets of data;
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search step A movement amount calculating step for obtaining a movement amount of the data;
There is a program providing medium characterized by comprising:
[0030]
The program providing medium according to the third aspect of the present invention is a medium that provides a computer program in a computer-readable format to, for example, a general-purpose computer system that can execute various program codes. The form of the medium is not particularly limited, such as a storage medium such as a CD, FD, or MO, or a transmission medium such as a network.
[0031]
Such a program providing medium defines a structural or functional cooperative relationship between a computer program and a providing medium for realizing a function of a predetermined computer program on a computer system. . In other words, by installing a computer program in the computer system via the provided medium, a cooperative action is exhibited on the computer system, and the same effects as the other aspects of the present invention are obtained. Can do it.
[0032]
Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the three-dimensional data processing apparatus and the three-dimensional data processing method of the present invention will be described below with reference to the drawings. First, FIG. 3 is a block diagram showing a configuration for executing the mutual alignment processing of range data in the three-dimensional data processing apparatus of the present invention.
[0034]
The range data input unit 301 and the texture data input unit 302 input range data and texture data acquired from each measurement point of the measurement object. For example, as in the configuration illustrated in FIG. 4, range data and texture data acquired at measurement points 402 </ b> A to 402 </ b> Z for observing the measurement target from different viewpoints are sequentially input to the measurement target 401. The range data is distance information of the measurement target obtained by applying the distance data acquisition method such as the laser method or the stereo method described above, and the texture data is the luminance of the surface of the measurement target acquired by a normal camera or the like. , Data including color information and the like.
[0035]
In FIG. 4, a measuring instrument (imaging means) is installed so as to surround the measurement object 401, but this is an example, and when it is desired to acquire a part of data of the measurement object, the measurement object One or more measurement means necessary for acquiring a part of the data of the object may be installed. In addition to the measurement points shown in FIG. A point for acquiring data may be provided. Further, instead of setting a large number of measurement points, the measurement object may be placed on a table or the like and moved relative to the camera.
[0036]
Note that at each measurement point 402A to 402Z, the range data and texture data of the measurement target 401 are acquired as a set of data from the same viewpoint, and the set of range data and texture data belonging to one viewpoint is the respective data acquisition region. It is assumed that data is associated in FIG. In addition, the range data and texture data acquired from each of the measurement points 402A to 402Z installed for the measurement target 401 have an overlapping area with at least one of the measurement data from other points. .
[0037]
Returning to FIG. 3, the function of each component will be described. The range data input unit 301 and the texture data input unit 302 capture range data and texture data acquired at each measurement point as shown in FIG. 4, but are configured to input data directly from the actual measurement means. Not limited to this, the range data and texture data may be taken in via storage means such as a hard disk in which data is stored.
[0038]
The data holding unit 303 stores the range data and texture data acquired at each measurement point, and has a movement amount holding unit for holding the movement amounts R and t of the range data for each measurement point. The movement amount of the range data is a rotation matrix R and a translation vector t as movement amounts included in the following equation.
[0039]
[Expression 2]

[0040]
In the above equation, x (i) and y (i) are distance data values of sample points (i) of the range data x and range data y, R is a rotation matrix, and t is a translation vector. The alignment process is executed as a process for minimizing the above expression, that is, a process for calculating the movement amounts R and t that take the minimum value of ε in the above expression.
[0041]
For example, the range data acquired at the measurement point A is stored in the range data holding unit A304, and the texture data acquired at the point A is stored in the texture data holding unit A305. Further, the movement amounts R and t of the range data A obtained in the corresponding point search process described below are stored in the movement amount holding unit A. Similarly, each measurement point B to Z is stored in each range data holding unit B to Z, texture data holding unit B to Z, and movement amount holding unit B to Z provided in the data holding unit.
[0042]
The corresponding point search unit 308 inputs range data of two data acquisition points having an overlapping area, texture data, for example, data of adjacent points of the measuring point A and the measuring point B, and executes an overlapping area alignment process. The processing for obtaining corresponding points is executed. The processing in the corresponding point search unit will be described in detail later with reference to FIG.
[0043]
The movement amount calculation unit 309 calculates the equation [Equation 2] based on the corresponding points of the two range data having the overlapping area searched by the corresponding point search unit 308, and minimizes ε of [Equation 2]. Thus, the movement amount of one range data is obtained. The movement amount is the movement amount R, t in the above equation [Equation 2]. For example, based on the range data A and the range data B, when the range data A is fixed and the range data B is moved to obtain R and t that minimize the value of the formula [Equation 2], the movement is performed. The obtained movement amounts R and t are stored in the amount holding unit B.
[0044]
Corresponding point search unit 308 inputs two data having overlapping regions for which alignment is performed to obtain corresponding points, respectively, and movement amount calculation unit 309 calculates the above formula [Numerical Value] based on each set of data. 2], a process for obtaining movement amounts R and t that minimize ε is executed. The movement amount calculation unit 309 may be configured to perform movement amount calculation for each set of two range data, or input a range data of three or more range data and a set of range data [A, B ], [B, C] ε [A, B], ε [B, C]... Of the above equation [Equation 2], for example, the method of “Neugebauter” (Peter J. Neugebauter: Reconstruction of Real- Applying World Objects Via Simultaneous Registration and Robust Combination of Multiple Range Images. International Journal of Shape Modeling, Vol / 3 No.1 & 2, pp71-90, June 1997) Alternatively, the movement amounts R and t between the ranges may be obtained.
[0045]
The movement amount output unit 307 outputs the values of the movement amount holding units A to Z that hold the values obtained by the movement amount calculation unit 309. The position of the range data is determined based on the output movement amount. For example, distance data around the entire measurement target is constructed, and texture data is pasted to generate a three-dimensional image of the measurement target.
[0046]
FIG. 5 shows a detailed configuration of the corresponding point search unit. Two range data and texture data having overlapping regions acquired from two different measurement points are input to the corresponding point search unit 505 in FIG. Here, the input data is the range data i stored in the range data holding units i and 501, the texture data i stored in the texture data holding units i and 502, and the range data i + 1 stored in the range data holding units i + 1 and 503. , Texture data i + 1 stored in the texture data holding unit i + 1, 504.
[0047]
The range data i stored in the range data holding units i and 501 and the range data stored in the range data i + 1 stored in the range data holding units i + 1 and 503 are input to the minute movement unit 508 of the corresponding point search unit 505. Is done. For range data having an overlapping area, an approximate relative positional relationship is initially set from the position of the measurement point, and the relative movement of the range data is performed from the initial set position according to a plurality of predetermined movement variations in the minute movement unit 508. Processing is executed. Corresponding points between the range data are calculated by the corresponding point calculation unit 507 at the slightly moved point, and the correlation using the texture data in which similar association is performed based on the set corresponding points is the texture correlation calculating unit 506. Is calculated in The correlation calculated by the texture correlation calculation unit 506 is held in the correlation value holding unit 509, and the corresponding point corresponding to the correlation value is held in the corresponding point holding unit 510.
[0048]
The minute movement in the minute movement unit 508, the corresponding point calculation unit 507, the corresponding point calculation process, and the correlation value calculation of the texture data in the texture correlation calculation unit 506 are various minute amounts according to a plurality of movement variations executed in the minute movement unit 508. Of the texture correlation values repeatedly executed for each movement and calculated based on different corresponding points, the one having the highest correlation is output from the corresponding point output unit 511.
[0049]
Details of the above processing will be described with reference to FIG. A corresponding point setting process using two range data X, Y and texture data X, Y acquired from adjacent measurement points X, Y having an overlapping area will be described with reference to FIG. The range data X, Y is a set of sample points Xi, Yi. It can also be regarded as a set of triangular meshes set by connecting adjacent sample points. Texture data X is associated with range data X, and texture data Y is associated with range data Y. .
[0050]
First, when the range data X and the range data Y are input to the minute movement unit 508, the range data Y is slightly moved according to a predetermined movement variation. In the example of FIG. 6, it is assumed that the process of moving the constant distance range data Y in the vertical direction to the photographing viewpoint (measurement point) is executed as one movement variation. It is assumed that the relative position of the range data X and Y based on one movement variation is set at the position of FIG.
[0051]
Next, the corresponding point calculation unit 507 sets the intersection of the line connecting the sample point Xi of the range data X and the photographing viewpoint (measurement point) to the range data Y as Yi ′, and sets Xi and Yi ′ as Xi and Yi ′. As a corresponding point at this movement variation position, it is set. The position of the set corresponding point is held in the corresponding point holding unit 510.
[0052]
The texture correlation calculation unit 506 calculates the correlation in the overlapping region between the texture data X and the texture data Y ′ at this position. For texture data, for example, color values such as RGB or luminance values are calculated at each coordinate position, and the luminance value or color value such as RGB at each coordinate (i) of texture data X is x (i). The luminance value or the color value such as RGB at each coordinate (i) of Y ′ is y ′ (i), and this correlation is obtained by the following equation.
[0053]
[Equation 3]

[0054]
In the above equation, if the correlation between the texture data X and the texture data Y ′ is high, it approaches R = 1, if there is no correlation, r = 0, and if the inverse correlation increases, it approaches r = −1. The correlation value r obtained in the above equation is held in the correlation value holding unit 509.
[0055]
Corresponding points y ″, y ″ ′, y ″ ″... Are newly set by different movement variations, the corresponding point positions are stored in the corresponding point holding unit 510, and the correlation is calculated according to the above formula in the texture correlation calculating unit. Then, the calculated correlation is held in the correlation value holding unit 509. The corresponding points stored in the corresponding point holding unit 510 and the correlation values held in the correlation value holding unit 509 are associated with each other.
[0056]
When a plurality of movement processes based on a predetermined movement variation are completed, and all the corresponding points and the correlation value calculation process are completed, the corresponding point position where the highest correlation value is calculated among the calculated correlation values is the corresponding point. Output from the output unit 511.
[0057]
The corresponding point information set based on the correlation of the texture data output from the corresponding point output unit is output to the movement amount calculation unit 309 in FIG. 3, and the movement amount calculation unit 309 is based on the set corresponding point. Then, for the range data X and Y, a process of obtaining the movement amounts R and t that minimize ε is performed according to the above equation [Formula 2]. When the movement amounts R and t that minimize ε are obtained, the movement amount data is stored in the movement amount holding unit Y of the range data Y (when the range data X is fixed and the range datum is moved). The relative position of the plurality of range data is determined based on the movement amount thus determined. For example, the distance data around the entire measurement target is configured, and the texture data is pasted, so that the three-dimensional image of the measurement target is obtained. Is generated.
[0058]
Next, each step of the movement amount setting process with corresponding point setting based on texture data executed in the three-dimensional data processing method of the present invention will be described with reference to FIGS.
[0059]
First, in step S101, range data (i) is input and stored in the range data holding unit (i). In step S102, texture data (i) is input and stored in the texture data holding unit (i). However, i = 1 to n. n corresponds to the number of measurement points. This data input process is repeatedly executed up to all the measurement points n (S103).
[0060]
When the input of all the range data and texture data is completed, the processing after step S104 is executed. In the following flow, processing of two adjacent data (i) and data (i + 1) at the measurement points i and i + 1 is executed. Step S104 is processing of the minute movement unit 508, and minutely moves the range data (i + 1) according to one of a plurality of predetermined movement variations (parallel movement, rotational movement, etc.).
[0061]
Step S105 is a process of the corresponding point calculation unit 507, and performs sample point association between the range data (i) and the range data (i + 1) after the movement process. This process is, for example, the process described above with reference to FIG. Step S <b> 106 is processing for storing the corresponding points associated by the corresponding point calculation unit 507 in the corresponding point holding unit 510.
[0062]
Step S107 is a process of the texture correlation calculation unit 506, and obtains the texture correlation of the overlapping region based on the corresponding points associated by the correspondence calculation unit 507. This is executed, for example, as a process based on the above equation [Formula 3]. Step S108 is processing for holding the correlation value calculated by the texture correlation calculation unit 506 in the correlation value holding unit 509.
[0063]
In step S109, it is determined whether or not all the movements of the setting variations have been completed. If not, the processes in steps S104 to S108 are repeatedly executed. When the movement of all setting variations is completed, the process proceeds to step S110.
[0064]
In step S110, the corresponding point output unit 511 selects the value having the highest correlation among the values of the correlation value holding unit, and selects and outputs the corresponding point at that position from the corresponding point holding unit 510.
[0065]
The next step S111 is processing of the movement amount calculation unit 309 (see FIG. 3). The movement amount of each range data is obtained based on the corresponding points obtained and output by the corresponding point search unit, and the movement amount is moved. Save in the quantity holder. The amount of movement is R and t in the formula [Equation 2].
[0066]
The next steps S112 and S113 are steps for comparing ε calculated based on the movement amounts R and t obtained in step S111 with a predetermined threshold value. If the calculated ε is smaller than the threshold value, it is determined that the movement amount based on the correct corresponding point position has been calculated, and the process proceeds to step S114. On the other hand, if ε calculated based on the movement amounts R and t obtained in step S111 is not smaller than a predetermined threshold value, it is determined that the movement amount based on the wrong corresponding point position is calculated, and a new one is added in step S113. A new movement variation is set, and the processing from step S104 onward is repeated based on the new movement variation.
[0067]
In step S114, it is determined whether or not the movement amount between the range data having all the overlapping areas is determined. If there is unprocessed data, the process returns to step S104 to set a data set having a new overlapping area. Execute the process.
[0068]
When the processing for all the data is completed, the movement amount held in the movement amount holding unit is output from the movement amount output unit 307 in step S115. The relative positions of the plurality of range data are determined based on the output movement amount, for example, distance data around the entire measurement target is configured, and texture data is pasted to generate a three-dimensional image of the measurement target. .
[0069]
Next, the hardware configuration of the three-dimensional data processing apparatus of the present invention will be described using FIG. A central processing unit (CPU) 601 that executes various processing programs controls the processing of each component in FIG. A ROM (Read Only Memory) 602 is a memory that stores a program such as IPL (Initial Program Loading). A RAM (Random Access Memory) 603 is used as a work area in a program executed by the CPU 601 and a process executed by the CPU.
[0070]
The video controller 604 performs display control of the image display unit 606 that is a monitor using a VRAM (Video RAM) 605 under the control of the CPU 601. The VRAM 605 temporarily stores data displayed by the image display unit 606, for example, three-dimensional model data in which texture data is pasted on range data. That is, the display data is temporarily written in the VRAM 605 via the video controller 604, and the video controller 604 supplies the data stored in the VRAM 605 to the image display unit 606, so that the image display is executed.
[0071]
The storage controller 607 includes, for example, a magnetic disk 608 such as an HD (Hard Disk) or FD (Floppy Disk), a magneto-optical disk 609 such as a mini disk, an optical disk 610 such as a CD-ROM (Compact Disk ROM), a ROM, or a flash memory. Etc., and a function of controlling access to the nonvolatile memory 611. The magnetic disk 608, the magneto-optical disk 609, the optical disk 610, and the nonvolatile memory 611 store data, for example, various data such as the above-described range data, texture data, or three-dimensional data in which texture data is pasted on the range data. The stored data is read by the CPU 601 via the storage controller 607. It should be noted that the program executed by the CPU 601 may be stored in various storage media. For example, various processing programs in the flow of FIGS. 7 and 8 such as corresponding point search and correlation calculation processing can be stored in a storage medium such as a magnetic disk.
[0072]
The communication controller 612 controls wireless communication using radio waves or infrared rays, and priority communication using Ethernet or the like. Various measurement data such as range data and texture data, and various processing programs executed by the CPU 601 can be obtained from an external device by communicating via the communication controller 612.
[0073]
The input device controller 613 executes control of a keyboard 614 and a pointing device 615 such as a mouse, and outputs commands and data input from each input device to the CPU 601.
[0074]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. Further, what is configured by appropriately combining the above-described embodiments is also included in the scope of the present invention, and in order to determine the gist of the present invention, the column of the claims described at the beginning is referred to. Should.
[0075]
【The invention's effect】
As described above in detail, according to the three-dimensional data processing device and the three-dimensional data processing method of the present invention, even if the measurement target is difficult to perform the alignment processing based on the correlation of the range data, it is based on the texture data. Since the corresponding points are set with high accuracy, the alignment of the range data in the object having no feature in the surface shape is accurately executed, and it is possible to generate a highly accurate three-dimensional model.
[0076]
Further, according to the three-dimensional data processing apparatus and the three-dimensional data processing method of the present invention, a set of range data and texture data from different viewpoints is generated, and the relative movement processing of the range data is executed, and each minute movement point , The corresponding points between the range data are calculated, the texture correlation using the texture data is calculated based on the calculated corresponding points, and the corresponding points for the data showing the highest correlation are output. Since the movement amount of the range data is calculated based on this, accurate range data alignment and generation of a highly accurate three-dimensional model can be performed even for an object having no surface shape feature.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a range data acquisition configuration of a measurement object and a correlation between the range data.
FIG. 2 is a diagram for explaining an example of a configuration for acquiring range data of a measurement object and an example in which alignment by correlation of range data is difficult.
FIG. 3 is a block diagram showing a configuration of a three-dimensional data processing apparatus according to the present invention.
FIG. 4 is a diagram illustrating a configuration for acquiring range data and texture data in the three-dimensional data processing apparatus of the present invention.
FIG. 5 is a diagram illustrating a detailed configuration of a corresponding point search unit in the three-dimensional data processing apparatus of the present invention.
FIG. 6 is a diagram for explaining an example of corresponding point setting processing in the three-dimensional data processing apparatus of the present invention.
FIG. 7 is a diagram showing a processing flow (part 1) in the three-dimensional data processing apparatus of the present invention;
FIG. 8 is a diagram showing a processing flow (part 2) in the three-dimensional data processing apparatus of the present invention;
FIG. 9 is a diagram illustrating a hardware configuration example of a three-dimensional data processing apparatus according to the present invention.
[Explanation of symbols]
101 Measurement target
102,103 Range data measuring instrument
201 Measurement target
301 Range data input section
302 Texture data input section
303 Data holding unit
304 Range data holding unit A
305 Texture data holding unit A
306 Movement amount holding unit A
307 Movement amount output part
308 Corresponding point search unit
309 Movement amount calculation unit
401 Measurement target
402 Measurement points
501 Range data holding unit i
502 Texture data holding unit i
503 Range data holding unit i + 1
504 Texture data holding unit i + 1
505 Corresponding point search unit
506 Texture correlation calculation unit
507 Corresponding point calculation unit
508 Minute moving part
509 correlation value holding unit
510 Corresponding point holding part
511 Corresponding point output part
601 Central Processing Unit (CPU)
602 ROM (Read only Memory)
603 RAM (Random Access Memory)
604 video controller
605 VRAM (Video RAM)
606 Image display unit
607 storage controller
608 Magnetic disk 608
609 magneto-optical disk
610 optical disc
611 Nonvolatile memory
612 Communication controller
613 Input device controller
614 keyboard
615 pointing device

Claims

A three-dimensional data processing device that performs alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target,
Data input means for inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
Corresponding point search means for setting corresponding points of two sets of data having overlapping areas in the data input to the data input means based on the correlation in the overlapping areas of the two texture data in the two sets of data; ,
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search means A movement amount calculating means for obtaining a movement amount of data;
A three-dimensional data processing apparatus comprising:

The corresponding point search means includes
For the two range data included in the two sets of data having the overlapping area, a minute moving means for moving one range data to a plurality of different relative positions with respect to the other range data;
Corresponding point calculation means for setting corresponding points between two range data according to the positions of the plurality of different relative positions;
Texture correlation calculating means for calculating a correlation between two texture data in an overlapping region of two sets of data determined based on the corresponding points set in the corresponding point calculating means;
Corresponding point output means for outputting, as output corresponding points, two range data corresponding points for a set of two texture data showing the highest correlation calculated by the texture correlation calculating means;
The three-dimensional data processing apparatus according to claim 1, comprising:

The corresponding point search means includes
A texture correlation calculating means for calculating a correlation between two texture data having an overlapping region;
The three-dimensional data processing apparatus according to claim 1, wherein the correlation calculated by the texture correlation unit is based on either a luminance value or a color value of two range data.

The three-dimensional data according to claim 1, wherein the movement amount calculated by the movement amount calculation means is calculated as a set of a rotation matrix R indicating the movement amount of one of the range data and a translation vector t. Processing equipment.

The movement amount calculation unit has a configuration in which a plurality of range data of three or more are input and a movement amount between each range is obtained so that errors in all overlapping range data are simultaneously reduced. The three-dimensional data processing apparatus according to 1.

A three-dimensional data processing method for performing alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target,
A data input step of inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
A corresponding point search step of setting corresponding points of two sets of data having overlapping areas in the data input in the data input step based on a correlation in an overlapping area of two texture data in the two sets of data; ,
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search step A movement amount calculating step for obtaining a movement amount of the data;
A three-dimensional data processing method comprising:

The corresponding point search step includes:
For the two range data included in the two sets of data having the overlapping area, a minute movement step for moving one range data to a plurality of different relative positions with respect to the other range data;
A corresponding point calculating step for setting a corresponding point between two range data according to the position of each of the plurality of different relative positions;
A texture correlation calculating step of calculating a correlation between two texture data in an overlapping region of two sets of data determined based on the corresponding points set in the corresponding point calculating step;
A corresponding point output step of outputting two range data corresponding points with respect to a set of two texture data showing the highest correlation calculated in the texture correlation calculating step as output corresponding points;
The three-dimensional data processing method according to claim 6, further comprising:

The corresponding point search step includes:
A texture correlation calculating step of calculating a correlation between two texture data having an overlapping region;
7. The three-dimensional data processing method according to claim 6, wherein the correlation calculated in the texture correlation step is based on luminance values or color values of two range data.

The three-dimensional data processing method according to claim 6, wherein the movement amount obtained in the movement amount calculation step is calculated as a set of a rotation matrix R indicating the movement amount of one of the range data and a translation vector t. .

The movement amount calculating step is a step of inputting a plurality of range data of three or more and obtaining a movement amount between each range so that errors in all overlapping range data are simultaneously reduced. 7. The three-dimensional data processing method according to 6.

A program providing medium for providing a computer program that allows a computer system to execute alignment processing of a plurality of range data acquired at different measurement points with respect to a measurement target, the computer program comprising:
A data input step of inputting a plurality of sets of range data and texture data measured at different measurement points with respect to the measurement object;
A corresponding point search step of setting corresponding points of two sets of data having an overlapping area in the data input in the data input step based on a correlation in an overlapping area of two texture data in the two sets of data;
One range for setting the relative position of the two range data that minimizes the error in the overlapping region of the two range data in the two sets of data based on the corresponding points set in the corresponding point search step A movement amount calculating step for obtaining a movement amount of the data;
A program providing medium comprising: