JP5991730B2 - Measuring device, measuring method and program - Google Patents
Measuring device, measuring method and program Download PDFInfo
- Publication number
- JP5991730B2 JP5991730B2 JP2012016813A JP2012016813A JP5991730B2 JP 5991730 B2 JP5991730 B2 JP 5991730B2 JP 2012016813 A JP2012016813 A JP 2012016813A JP 2012016813 A JP2012016813 A JP 2012016813A JP 5991730 B2 JP5991730 B2 JP 5991730B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- distance image
- model
- dimensional shape
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを計測する技術に関するものである。 The present invention relates to a technique for measuring at least one of the position, posture, and deformation of an object.
近年、ロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このような目的には主にアーム型のロボットが利用され、ロボットはアームの先端に装着されたハンド等のエンドエフェクタによって部品を把持して組立を行う。部品が変形する場合、その部品上の特定の場所を把持するためには、部品の位置及び姿勢に加えてその形状を知る必要がある。非特許文献1には、複数の剛体と剛体間をつなぐ関節とによって物体をモデル化し、濃淡画像を用いたモデルフィッティングにより物体の位置、姿勢及び変形を推定する方法が開示されている。この方法では、剛体を3次元の線分の集合としてモデル化する。そして、予め与えられる位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を初期値として、各3次元の線分の投影像が撮像された画像データ上のエッジに当てはまるようにモデルフィッティングが行われる。
In recent years, with the development of robot technology, robots are starting to perform complicated tasks such as assembly of industrial products that have been performed by humans instead. For this purpose, an arm-type robot is mainly used, and the robot grips and assembles parts by an end effector such as a hand attached to the tip of the arm. When a part is deformed, in order to grasp a specific place on the part, it is necessary to know its shape in addition to the position and orientation of the part. Non-Patent
上述した複数の剛体と関節とからなるモデルを用いて、部品の位置及び姿勢を計測する場合、高精度な計測を行うためには部品の形状の近似度が上がるように剛体の数を増やす必要がある。剛体の数を増やすと関節数が増えるため、モデルフィッティング時に最適化するパラメータの数が増大する。これにより、最適化計算に時間がかかる、オーバーフィッティングが起こるため、局所解に陥りやすいという問題が生じる。非特許文献2には、関節モデルを用いて人間の運動を推定する際に、全ての関節角を同時に求めるのではなく、関節構造を階層的に表現して上位階層から逐次的に関節角を求めることで局所解を回避する方法が開示されている。
When measuring the position and orientation of a part using the above-mentioned model consisting of multiple rigid bodies and joints, it is necessary to increase the number of rigid bodies so that the approximation of the shape of the part increases in order to perform highly accurate measurement. There is. When the number of rigid bodies is increased, the number of joints increases, so that the number of parameters to be optimized during model fitting increases. As a result, the optimization calculation takes time, and overfitting occurs, so that there is a problem that it tends to fall into a local solution. In
しかしながら、非特許文献2に開示される技術では、大局的な運動を表現する上位階層の関節を推定する際にも、下位階層の関節と同じ解像度のデータを用いているため、計算に時間がかかるという問題がある。
However, in the technique disclosed in Non-Patent
そこで、本発明の目的は、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを、局所解に陥らず高速に計測することにある。 Accordingly, an object of the present invention is to measure at least one of the position, posture and deformation of an object at high speed without falling into a local solution.
本発明の計測装置は、複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の3次元形状モデルを保持する保持手段と、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする。 The measuring apparatus according to the present invention holds a plurality of three-dimensional shape models representing a measurement target object represented by a plurality of rigid bodies and joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies. and holding means, the position parameters of the measurement object, the approximate value input means for inputting Overview Once the value of the orientation parameters and deformation parameters, the range image data input means for inputting a distance image data to which the measurement object is captured , based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional to continue to update the approximate value by coarse-to-fine approach to the difference between the distance image data to approximate the level of the shape model is converted to the corresponding resolution is reduced More, the position parameters of the measurement object, and having a measuring means for measuring the attitude parameters and deformation parameters.
本発明によれば、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを、局所解に陥らず高速に計測することが可能となる。 According to the present invention, at least one of the position, posture, and deformation of an object can be measured at high speed without falling into a local solution.
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
先ず、本発明の第1の実施形態について説明する。第1の実施形態では、局所的な剛体が1自由度を持つ関節によって接続されている物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する方法について説明する。本実施形態では、このような位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体として、長方形の集合によって表される長細い平面状の物体を想定する。なお、以下の説明においては、位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体のことを、単に「物体」と称す。 First, a first embodiment of the present invention will be described. In the first embodiment, a method for estimating position parameters, posture parameters, and deformation parameters of an object in which a local rigid body is connected by a joint having one degree of freedom will be described. In the present embodiment, a long thin planar object represented by a set of rectangles is assumed as an object to be measured for such position parameters, posture parameters, and deformation parameters. In the following description, an object to be measured for position parameters, posture parameters, and deformation parameters is simply referred to as “object”.
図1は、第1の実施形態に係る位置姿勢形状計測装置1の構成を示す図である。図1に示すように、位置姿勢形状計測装置1は、3次元形状モデル保存部110、概略位置姿勢形状入力部120、距離画像入力部130、スムージング部150及び位置姿勢形状算出部160を備える。また、位置姿勢形状計測装置1には、距離画像撮像装置100が接続されている。
FIG. 1 is a diagram illustrating a configuration of a position / orientation /
距離画像撮像装置100は、物体を含むシーン中の複数の点と当該距離画像撮像装置100との距離を計測し、距離画像データを出力する。ここでいう距離画像データとは、画素毎に距離画像撮像装置100からの距離値が格納されている画像データである。本実施形態の距離画像撮像装置100では、液晶プロジェクタから物体に照射された2次元のパターン光を撮影し、三角測量により画素毎に距離画像撮像装置100からの距離を計測するアクティブ方式の距離センサを使用する。距離画像撮像装置100において使用可能な距離センサはこれに限るものではない。即ち、光切断法やTime-of-flight方式等の他のアクティブ式のものや、ステレオカメラによるパッシブ式のもの等、距離画像データを出力することができれば、いかなる距離センサを用いてもよい。
The distance
また、距離画像撮像装置100の内部パラメータ(焦点距離、主点位置、レンズ歪みパラメータ)は、物体の3次元形状モデルを距離画像データ上に投影するために必要となるパラメータである。そのため、例えば、Zhangの方法(Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000.)によって事前に距離画像撮像装置100をキャリブレーションしておく。距離画像撮像装置100により生成された距離画像データは、距離画像入力部130を介して位置姿勢形状計測装置1に入力される。
Further, internal parameters (focal length, principal point position, lens distortion parameter) of the distance
3次元形状モデル保存部110は、物体の3次元形状モデルを保存する。本実施形態では、曲げによる変形のみを考慮し、伸縮による変形は無視できる程度に小さいと仮定する。物体を構成する複数の部品がほとんど伸縮しない場合、各部品は局所的には剛体であると仮定することができる。そのため、本実施形態では、図2(a)に示すように、物体の形状を、複数の剛体と2つの剛体間を接続する関節とから構成される3次元形状モデルによって記述する。各剛体は1つ以上の3次元面から構成されるものとして、点の集合及び各点を結んで構成される面の集合によって、各剛体の3次元形状モデルが定義される。剛体間を接続する関節は1又は2自由度を持つ関節である。本実施形態では、1自由度の関節によって剛体が接続されているとする。この場合、関節毎に1自由度の関節角が変形パラメータとして推定される。また本実施形態では、位置パラメータ、姿勢パラメータ及び変形パラメータの計測を行う際に、距離画像データの解像度と物体の形状の近似レベルとを連動させる。そのため、3次元形状モデル保存部110は、複数の近似レベルに対応して複数の3次元形状モデルを保持している。近似レベルは、物体を構成する剛体の数(即ち、関節数)によって変更される。図2(b)に示すように、本実施形態では、近似レベルの異なる3つの3次元形状モデルを保持するものとする。本実施形態では、先ず、粗く近似された3次元形状モデルを用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する。その後、徐々に高精度な3次元形状モデルを用いた推定を行うcoarse-to-fineアプローチにより、高速に物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する。また、近似レベルが低い場合には、低解像度の距離画像データを利用することで局所解に陥ることを防止する。
The three-dimensional shape
概略位置姿勢形状入力部120は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する。位置姿勢形状計測装置1には、位置及び姿勢の計測の基準となる3次元座標系(基準座標系)が規定されているものとする。なお、物体の位置及び姿勢とは、基準座標系における物体の位置及び姿勢を意味する。基準座標系は、距離画像撮像装置100の中心を原点とし、距離画像撮像装置100により撮像される距離画像データの水平方向をx軸、垂直方向をy軸とし、距離画像撮像装置100の光軸方向をz軸とする座標系で定義される。なお、概略位置姿勢形状入力部120は、概略値入力手段の適用例となる構成である。
The approximate position and orientation
位置姿勢形状計測装置1は、様々な姿勢パラメータや変形パラメータで撮像された物体の距離画像データを予めテンプレートとして保持しておく。そして、概略位置姿勢形状入力部120は、入力される距離画像データと予め保持しているテンプレートとのマッチング(テンプレートマッチング)により、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を推定して入力する。但し、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値の入力方法は、これに限るものではない。例えば、時間軸方向に連続して位置パラメータ、姿勢パラメータ及び変形パラメータの計測を行う場合には、前回(前時刻)の計測値を、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。また、過去の位置パラメータ、姿勢パラメータ及び変形パラメータの計測値を基に夫々の変化量を推定し、過去の計測値と推定した変化量とから現在の計測値を予測したものを、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。また、物体のおおよその位置パラメータ、姿勢パラメータ及び変形パラメータが予めわかっている場合には、その値を、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。
The position / orientation /
距離画像入力部130は、距離画像撮像装置100から距離画像データを入力する。スムージング部150は、距離画像入力部130において入力された距離画像データに対してスムージング処理を施す。位置姿勢形状算出部160は、スムージング処理が施された距離画像データと、3次元形状モデル保存部110に保存される3次元形状モデルとに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する。
The distance
図3は、本発明の第1の実施形態に係る位置姿勢形状計測装置1の処理を示すフローチャートである。以下、図3を参照しながら、第1の実施形態に係る位置姿勢形状計測装置1の処理について詳細に説明する。
FIG. 3 is a flowchart showing processing of the position / orientation /
ステップS1010において、位置姿勢形状計測装置1は初期化処理を行う。即ち、概略位置姿勢形状入力部120は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を初期値として入力する。本実施形態では、この初期値として入力された位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を、撮像された距離画像データに基づいて逐次更新していく。なお、本実施形態では、上述したテンプレートマッチングにより推定された位置パラメータ、姿勢パラメータ及び変形パラメータを上記概略値として用いるものとする。
In step S1010, the position / orientation /
ステップS1020において、距離画像入力部130は、距離画像撮像装置100により撮像された距離画像データ(以下、計測距離画像データと称す)を入力する。なお、ここで入力される計測距離画像データの各画素には、距離画像撮像装置100からの距離値が格納されている。また、ステップS1020は、画像データ入力手段の処理例である。
In step S <b> 1020, the distance
ステップS1030において、位置姿勢形状算出部160は、位置パラメータ、姿勢パラメータ及び変形パラメータを推定する際の近似レベルLを1に設定する。近似レベルLは正の整数値をとる変数であり、最も粗い場合の近似レベルLは1であり、高精度になるにつれその値が増加するものとする。本実施形態では、物体の形状の近似レベルLを3段階で表すため、近似レベルLは1、2、3の何れかの値をとる。Lmaxは近似レベルLの最大値を表し、ここでは3である。3次元形状モデル保存部110には、各近似レベルLに対応する物体の3次元形状モデルが保存されている。本実施形態では、図2(b)に示すように、近似レベルL=1の場合、剛体が1個(関節数0)、近似レベルL=2の場合、剛体が4個(関節数3)、近似レベルL=3の場合、剛体が8個(関節数7)によって構成される3次元形状モデルが保存されている。
In step S <b> 1030, the position / orientation
ステップS1050において、スムージング部150は、ステップS1020で入力された計測距離画像データに対し、物体の形状が全体として滑らかになるように、画像平面上での近傍データを用いたスムージング処理を施す。本実施形態では、スムージング処理として、着目画素近傍N×Nピクセルの範囲において、標準偏差σのガウシアンフィルタによる平滑化が行われる。ガウシアンカーネルの標準偏差σは、計測距離画像データをどの程度平滑化されるかを決定するパラメータであり、大きくなればなるほど物体の形状は滑らかになる。その結果、位置パラメータ、姿勢パラメータ及び形状パラメータの推定処理は安定するが、形状を平滑化した分だけ推定される位置パラメータ、姿勢パラメータ及び変形パラメータが曖昧になる。本実施形態では、近似レベルLが小さい場合はσを大きくとって処理を安定化し、近似レベルLが大きくなるにつれて標準偏差σを小さくすることで最終的に位置パラメータ、姿勢パラメータ及び変形パラメータを高精度に推定できるようにする。Nは近傍を規定する範囲を示しており、その値は任意に決めてもよいし、ガウシアンカーネルの標準偏差σから求めてもよい。計測距離画像データの平滑化が行える限り、Nの設定に制限はない。また、スムージング処理は、ガウシアンフィルタの適用に限らず、平均化フィルタやメディアンフィルタを適用したり、計測距離画像データのサイズを縮小することにより、画像データの平滑化を行う処理であれば何でもよく、特に制限はない。本実施形態では、近似レベルL=1の場合、標準偏差σ=1.25、範囲N=5であり、近似レベルL=2の場合、標準偏差σ=0.75、範囲N=3に設定してガウシアンフィルタによる平滑化処理を行い、近似レベルL=3の場合は平滑化を行わない。以上のようなスムージング処理を計測距離画像データ上の全画素に対して行うことにより、形状が滑らかに処理された計測距離画像データ(以下、平滑化計測距離画像データと称す)が得られる。
In step S1050, the smoothing
次に、スムージング部150は、平滑化計測距離画像データから3次元点群の座標を算出する。即ち、スムージング部150は、平滑化計測距離画像データ上の各画素について、画素の位置に対応する視線ベクトルと、当該画素に格納される距離値とを乗算することにより、各画素に対応する3次元点群の座標を求める。以上の処理を、平滑化計測距離画像データの全画素に対して行うことにより、滑らかな形状に変換された3次元点群の座標が得られる。
Next, the smoothing
ステップS1060において、位置姿勢形状算出部160は、ステップS1050において生成された平滑化計測距離画像データに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。ここでは、近似レベルLが1より大きい場合、近似レベルL−1において算出された変形パラメータを近似レベルLにおける変形パラメータに変換したものを、変形パラメータの概略値として用いる。
In step S1060, the position / orientation /
先ず、位置姿勢形状算出部160は、ステップS1050で生成された平滑化計測距離画像データと3次元形状モデルとの対応付けを行う。即ち、位置姿勢形状算出部160は、近似レベルLに対応する物体の3次元形状モデルを構成する剛体の各3次元面上において、画像平面上で等間隔となるように、又は3次元空間上で等間隔となるようにモデル点を設定する。なお、モデル点は、3次元座標とともに3次元の法線ベクトルも保持している。3次元空間上で等間隔になるようなモデル点の設定は、事前に行っておいてもよい。一方、画像平面上で等間隔になるようにモデル点を設定する場合、位置姿勢形状算出部160は、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、距離画像撮像装置100の内部パラメータとを用いて、計測距離画像データ上に物体をレンダリングする。そして位置姿勢形状算出部160は、画像平面上の物体の領域内に等間隔にモデル点を配置する。位置姿勢形状算出部160は、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、距離画像撮像装置100の内部パラメータとを用いて、計測距離画像データ上に各モデル点を投影する。そして、計測距離画像データ上でモデル点と同じ2次元座標となる平滑化計測距離画像データの3次元点が参照されることにより、モデル点と平滑化計測距離画像データの3次元点とが対応付けられる。
First, the position / orientation /
次に、位置姿勢形状算出部160は、モデル点と平滑化計測距離画像データの3次元点との対応付けに基づいて、非線形最適化計算を用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。本実施形態では、非線形最適化手法としてGauss-Newton法を用いるものとする。なお、非線形最適化手法はGauss-Newton法に限るものではない。例えば、より計算がロバストであるLevenberg-Marquardt法を用いてもよいし、よりシンプルな方法である最急降下法を用いてもよい。また、共役勾配法やICCG法等、他の非線形最適化計算手法を用いてもよい。
Next, the position / orientation /
物体の位置パラメータ、姿勢パラメータ及び変形パラメータの算出は、各モデル点に対応する平滑化計測距離画像データの3次元点が3次元形状モデルに当てはまるように、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を反復して更新することにより行われる。より具体的には、位置姿勢形状算出部160は、平滑化計測距離画像データ中の3次元点と、モデル点を含む平面との符号付距離を、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの関数として線形近似する。
The calculation of the position parameter, posture parameter, and deformation parameter of the object is performed such that the three-dimensional point of the smoothed measurement distance image data corresponding to each model point is applied to the three-dimensional shape model. This is done by iteratively updating the approximate value of. More specifically, the position / orientation /
次に、位置姿勢形状算出部160は、符号付距離を0としたときに位置パラメータ、姿勢パラメータ及び変形パラメータの各計測値について成り立つ線形方程式を組立て、この線形方程式を連立方程式として解く。これにより、位置姿勢形状算出部160は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの微小変化を求め、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を更新する。以上の処理を繰り返すことにより、最終的な位置パラメータ、姿勢パラメータ及び変形パラメータが算出される。
Next, the position / orientation /
物体の形状の近似レベルLが増加するとともに推定される変形パラメータ(関節角)が増えることにより、最初は大まかな推定を行い、徐々に高精度に推定していくcoarse-to-fineによる推定が可能となる。また、計測距離画像データの解像度と物体の形状の近似レベルLとを連動させることにより、局所解に陥らず且つ高速に推定を行うことができる。計測距離画像データと3次元形状モデルとの誤差の最小化処理に関しては、本発明の本質に関わる事項ではないため、説明を省略する。最小化処理の詳細は、非特許文献[Y.Chen and G.Medioni,“Object modeling by registration of multiple range images,”Image and Vision Computing,10(3),pp.145−155,1992.]を参照されたい。 As the approximate level L of the shape of the object increases and the deformation parameters (joint angles) estimated increase, rough estimation is performed at first, and coarse-to-fine estimation is gradually performed with high accuracy. It becomes possible. Further, by linking the resolution of the measurement distance image data with the approximate level L of the shape of the object, the estimation can be performed at high speed without falling into a local solution. The process of minimizing the error between the measurement distance image data and the three-dimensional shape model is not a matter related to the essence of the present invention, and thus the description thereof is omitted. For details of the minimization process, see Non-Patent Document [Y. Chen and G. Medioni, “Object modeling by registration of multiple range images,” Image and Vision Computing, 10 (3), pp. 145-155, 1992.].
ステップS1070において、位置姿勢形状算出部160は、近似レベルLに1を加算する。ステップS1080において、位置姿勢形状算出部160は、近似レベルLが上限値Lmax(ここでは、3)を超えたか否かを判定する。近似レベルLが上限値Lmaxを超えた場合、処理は終了する。一方、近似レベルLが上限値Lmaxを超えていない場合、処理はステップS1050に戻る。そして、位置姿勢形状計測装置1は、より高い近似レベルLの3次元形状モデルを用いて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの更新を行う。
In step S <b> 1070, the position / orientation
以上説明したように、本実施形態においては、距離画像データの解像度と物体の形状の近似レベルLとを連動させたcoarse-to-fineアプローチにより、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの推定を行う。これにより、本実施形態によれば、局所解に陥らず且つ高速に、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定することができる。 As described above, in the present embodiment, the position parameter, the posture parameter, and the deformation parameter of the object are estimated by the coarse-to-fine approach in which the resolution of the distance image data and the approximate level L of the object shape are linked. I do. Thereby, according to the present embodiment, the position parameter, posture parameter, and deformation parameter of the object can be estimated at high speed without falling into a local solution.
次に、本発明の第2の実施形態について説明する。第1の実施形態では、3次元形状モデルの近似レベルLを距離画像データの解像度と連動させて推定を行った。これに対し、第2の実施形態では、3次元形状モデルの近似レベルLだけではなく、3次元形状モデルが表す形状の詳細度(空間周波数)も距離画像データの解像度と連動させる。これにより、第2の実施形態では、さらに安定した物体の位置パラメータ、姿勢パラメータ及び変形パラメータの推定を行うことができる。 Next, a second embodiment of the present invention will be described. In the first embodiment, the approximation level L of the three-dimensional shape model is estimated in conjunction with the resolution of the distance image data. On the other hand, in the second embodiment, not only the approximation level L of the three-dimensional shape model but also the degree of detail (spatial frequency) of the shape represented by the three-dimensional shape model is linked with the resolution of the distance image data. Thereby, in the second embodiment, it is possible to estimate the position parameter, posture parameter, and deformation parameter of the object more stably.
図4は、本発明の第2の実施形態に係る位置姿勢形状計測装置2の構成を示す図である。図4に示すように、本発明の第2の実施形態に係る位置姿勢形状計測装置2は、3次元形状モデル保存部210、概略位置姿勢形状入力部220、距離画像入力部230、モデル投影部240、スムージング部250、及び、位置姿勢形状算出部260を備える。また、位置姿勢形状計測装置2には距離画像撮像装置200が接続されている。距離画像撮像装置200、3次元形状モデル保存部210、概略位置姿勢形状入力部220、距離画像入力部230はそれぞれ、第1の実施形態に係る距離画像撮像装置100、3次元形状モデル保存部110、概略位置姿勢形状入力部120、距離画像入力部130と同一の構成であるため、これらについての説明は省略する。
FIG. 4 is a diagram showing a configuration of the position / orientation /
モデル投影部240は、3次元形状モデル保存部210に保存された3次元形状モデルを、概略位置姿勢形状入力部220により入力された位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を用いて、計測距離画像データの画像平面上に投影する。この投影処理の結果として、視点から3次元形状モデルの表面までの距離が格納された計測距離画像データ(以下、モデル距離画像データと称す)が生成される。
The
スムージング部250は、距離画像入力部230から入力された計測距離画像データと、モデル投影部240により生成されたモデル距離画像データとに対して、スムージング処理を施す。位置姿勢形状算出部260は、スムージング処理が施された計測距離画像データ及びモデル距離画像データに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する。
The smoothing
図5は、本発明の第2の実施形態に係る位置姿勢形状計測装置2の処理を示すフローチャートである。以下、図5を参照しながら、本発明の第2の実施形態に係る位置姿勢形状計測装置2の処理について説明する。なお、ステップS2010、S2020、S2030、S2070及びS2080はそれぞれ、第1の実施形態におけるステップS1010、S1020、S1030、S1070及びS1080と同一の処理であるため、これらについての説明は省略する。
FIG. 5 is a flowchart showing processing of the position / orientation /
ステップS2040において、モデル投影部240は、3次元形状モデルを計測距離画像データと同等のデータ量及び性質になるように変換を行う。具体的には、モデル投影部240は、ステップS2020において入力された計測距離画像データの画像平面上に該当する近似レベルの3次元形状モデルを投影する。これにより、計測距離画像データと同じように視点から3次元形状モデルまでの距離が格納されたモデル距離画像データが生成される。本実施形態では、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、キャリブレーション済みの距離画像撮像装置200の内部パラメータとを用いて、近似レベルLの3次元形状モデルをレンダリングする。レンダリングにより、視点から3次元形状モデルの表面までの距離がデプスバッファに格納される。モデル投影部240は、デプスバッファに格納された距離をモデル距離画像データにおいて格納される距離として取り扱う。以上の処理により、3次元形状モデルが計測距離画像データと同等のデータ形式に変換される。
In step S2040, the
ステップS2050において、スムージング部250は、ステップS2040で生成されたモデル距離画像データとステップS2020で入力された計測距離画像データとに対し、物体の形状が全体として滑らかになるように、画像平面上での近傍データを用いたスムージング処理を行う。スムージング処理については、第1の実施形態と同様であるため、説明を省略する。スムージング部250は、モデル距離画像データに対しても計測距離画像データと同様の平滑化処理を行うことにより平滑化モデル距離画像データを生成し、平滑化モデル距離画像データの各画素に対応する3次元座標を求める。但し、平滑化モデル距離画像データの場合、3次元形状モデル領域でない部分には無効な距離値が格納されているため、この部分の3次元座標は求めない。また、平滑化モデル距離画像データに関しては、各画素における3次元法線も求めておく。具体的には、着目画素を中心とする3×3画素領域内に含まれる9画素の3次元座標に平面当てはめを行い、その平面の法線ベクトルを着目画素の3次元法線とする。
In step S2050, the smoothing
以上の処理を、モデル距離画像データと計測距離画像データとの全画素に対して行うことにより、モデル距離画像データと計測距離画像データとのそれぞれについて、滑らかな形状に変換された3次元点群が得られる。 By performing the above processing on all the pixels of the model distance image data and the measurement distance image data, a three-dimensional point group converted into a smooth shape for each of the model distance image data and the measurement distance image data Is obtained.
ステップS2060において、位置姿勢形状算出部260は、ステップS2050でスムージング処理が施されたモデル距離画像データと計測距離画像データとに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。以下では、スムージング処理が施されたモデル距離画像データを、平滑化モデル距離画像データと称す。
In step S2060, the position / orientation
先ず、位置姿勢形状算出部260は、ステップS2050で生成された平滑化計測距離画像データと平滑化モデル距離画像データ間の対応付けを行う。本実施形態では、平滑化モデル距離画像データ上の画素と3次元点群との関係は既知であるとして、平滑化モデル距離画像データ上の3次元形状モデルに該当する領域の全画素に対して、計測距離画像データ上で同じ2次元座標となる平滑化計測距離画像データの3次元点を参照する。これにより、平滑化モデル距離画像データと平滑化計測距離画像データとの3次元点が対応付けられる。但し、平滑化モデル距離画像データ上の3次元形状モデルに該当する領域内の全画素に対して処理を行うのではなく、当該領域内で画像上の等間隔や3次元空間上で等間隔になるように間引いて処理してもよい。対応付け処理を行う3次元点は、データ量と計算量のトレードオフとなる。位置パラメータ、姿勢パラメータ及び変形パラメータの算出処理に十分なだけの対応付けが得られる限り、処理する3次元点の選択は何れの場合でよく、特に制限はない。以上の処理により、平滑化計測距離画像データと平滑化モデル距離画像データ間の3次元点の対応付けが行われる。
First, the position / orientation /
次に、位置姿勢形状算出部260は、平滑化計測距離画像データと平滑化モデル距離画像データ間の3次元点の対応付けに基づき、非線形最適化計算を用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。物体の位置パラメータ、姿勢パラメータ及び変形パラメータの算出は、平滑化モデル距離画像データ中の各3次元点が、対応する平滑化計測距離画像データ中の3次元点に当てはまるように物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を反復演算により補正することにより行う。より具体的には、位置姿勢形状算出部260は、平滑化計測距離画像データ中の3次元点と、平滑化モデル距離画像データ中の3次元点及び3次元法線とから、3次元空間中での点と平面との符号付距離を物体の位置パラメータ、姿勢パラメータ及び変形パラメータの関数として線形近似する。具体的な位置パラメータ、姿勢パラメータ及び変形パラメータの算出方法は、第1の実施形態と同様であるため、説明を省略する。
Next, the position / orientation /
以上のように、本実施形態においては、3次元形状モデルの近似度Lだけでなく、3次元形状モデルが表す形状の詳細度(空間周波数)も計測距離画像データの解像度と連動させる。これにより、本実施形態によれば、3次元形状モデルと計測距離画像データとの空間周波数の違いが原因で発生する、位置パラメータ、姿勢パラメータ及び形状パラメータの推定の不安定性が減少し、より安定したこれらのパラメータの推定が可能となる。 As described above, in the present embodiment, not only the degree of approximation L of the three-dimensional shape model but also the degree of detail (spatial frequency) of the shape represented by the three-dimensional shape model is linked with the resolution of the measurement distance image data. Thereby, according to this embodiment, the instability of estimation of the position parameter, the posture parameter, and the shape parameter, which is caused by the difference in the spatial frequency between the three-dimensional shape model and the measurement distance image data, is reduced and more stable. These parameters can be estimated.
上述した実施形態では、画像サイズは変えずにスムージング処理をかけることによって計測距離画像データの実効的な解像度を小さくしていた。しかしながら、計測距離画像データの解像度を小さくする方法はこれに限るものではなく、画像サイズが小さな計測距離画像データを生成するようにしてもよい。具体的には、近似レベルLに応じた画像サイズを予め設定しておき、そのサイズの計測距離画像データをバイリニア補間等の内挿アルゴリズムを用いて生成してもよい。画像サイズを小さくすることにより画素アクセスが高速化されるため、全体として処理が高速化されることが期待される。 In the above-described embodiment, the effective resolution of the measurement distance image data is reduced by performing the smoothing process without changing the image size. However, the method of reducing the resolution of the measurement distance image data is not limited to this, and measurement distance image data having a small image size may be generated. Specifically, an image size corresponding to the approximation level L may be set in advance, and measurement distance image data of that size may be generated using an interpolation algorithm such as bilinear interpolation. Since the pixel access is speeded up by reducing the image size, it is expected that the processing is speeded up as a whole.
また、上述した実施形態では、近似レベルに依らず、複数の剛体と剛体間を結ぶ関節とによって物体をモデル化していた。しかしながら、モデル化の方法はこれに限るものではなく、近似レベルが粗い場合には関節を持たずに単一の剛体だけでモデル化してもよい。変形量が少ない物体の場合には、計測距離画像データの解像度が低い場合には剛体のモデルを用いる方がオーバーフィッティングの問題がなく推定が安定することが期待される。 In the above-described embodiment, an object is modeled by a plurality of rigid bodies and joints connecting the rigid bodies regardless of the approximation level. However, the modeling method is not limited to this, and if the approximation level is rough, the modeling may be performed with only a single rigid body without a joint. In the case of an object with a small amount of deformation, if the resolution of the measurement distance image data is low, it is expected that the estimation using the rigid body model is stable because there is no problem of overfitting.
また、剛体が関節によって接続される3次元形状モデルでなくとも、形状を表す自由度が可変な3次元形状モデルであればどのようなモデルであってもよい。例えば、3次元形状モデルはNURBS曲面であり、制御点の数によって自由度を変更してもよい。さらには、近似レベルの異なる3次元形状モデルをオフラインで作っておく必要は必ずしもなく、位置パラメータ、姿勢パラメータ及び変形パラメータを計測する際にオンラインで生成してもよい。 Further, any model may be used as long as it is not a three-dimensional shape model in which a rigid body is connected by a joint as long as the degree of freedom in expressing the shape is variable. For example, the three-dimensional shape model is a NURBS curved surface, and the degree of freedom may be changed depending on the number of control points. Furthermore, it is not always necessary to create three-dimensional shape models with different approximation levels offline, and they may be generated online when measuring position parameters, posture parameters, and deformation parameters.
また、上述した実施形態においては、特に推定するパラメータの範囲に制限を設けることなく近似レベルL毎に自由に推定を行っていた。しかし、計測距離画像データの空間周波数が高くなるように解像度を変えると、場合によっては間違った推定を行ってしまうことがある。そのため、前の近似レベルLの3次元形状モデルにおける変形パラメータを、現在の近似レベルLの3次元形状モデルにおける変形パラメータに変換した値から極端に離れないような最適化を行う。これにより、coarse-to-fineアプローチによる位置パラメータ、姿勢パラメータ及び変形パラメータの推定をより安定化させることができる。具体的には、[D. G. Lowe, "Fitting parameterized three-dimensional models to images," IEEE Trans. on PAMI, vol.13, no.5, pp.441-450, 1991. ]に開示されるように、各パラメータが更新前の値に拘束されるという拘束条件を付すことにより、更新前の値からあまり離れない解を得るようにする。 Further, in the above-described embodiment, the estimation is performed freely for each approximation level L without limiting the range of parameters to be estimated. However, if the resolution is changed so that the spatial frequency of the measurement distance image data is increased, an incorrect estimation may be performed in some cases. Therefore, optimization is performed so that the deformation parameter in the previous approximate level L three-dimensional shape model is not extremely different from the value converted into the deformation parameter in the current approximate level L three-dimensional shape model. Thereby, the estimation of the position parameter, the posture parameter, and the deformation parameter by the coarse-to-fine approach can be further stabilized. Specifically, as disclosed in [DG Lowe, "Fitting parameterized three-dimensional models to images," IEEE Trans. On PAMI, vol.13, no.5, pp.441-450, 1991.] By attaching a constraint condition that each parameter is constrained to the value before update, a solution that does not deviate much from the value before update is obtained.
また、上述した実施形態においては、剛体と剛体間を結ぶ1自由度の関節とによって物体をモデル化していた。しかしながら、位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体は、このような3次元形状モデルによって表現される物体に限るものではない。即ち、例えば丸いケーブル状の物体のように、複数の円筒と2自由度の関節とによってモデル化される物体であってもよい。 In the above-described embodiment, the object is modeled by a rigid body and a joint having one degree of freedom connecting the rigid bodies. However, the object to be measured for the position parameter, the posture parameter, and the deformation parameter is not limited to the object represented by such a three-dimensional shape model. That is, for example, an object modeled by a plurality of cylinders and joints with two degrees of freedom, such as a round cable-like object.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
1、2:位置姿勢形状計測装置、100、200:距離画像撮像装置、110、210:3次元形状モデル保存部、120、220:概略位置姿勢形状入力部、130、230:距離画像入力部、240:モデル投影部、150、250:スムージング部、160、260:位置姿勢形状算出部 1, 2: Position and orientation shape measuring device, 100, 200: Distance image capturing device, 110, 210: Three-dimensional shape model storage unit, 120, 220: Approximate position and orientation shape input unit, 130, 230: Distance image input unit, 240: Model projection unit, 150, 250: Smoothing unit, 160, 260: Position and orientation shape calculation unit
Claims (11)
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、
前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする計測装置。 Holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies ;
And approximate value input means for inputting Overview Once the value of the position parameter of the measurement object, orientation parameters and deformation parameters,
Distance image data input means for inputting distance image data obtained by imaging the measurement target object;
Based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional shape By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximation level of the model becomes small , the position parameter and orientation of the measurement target object measuring device characterized in that it comprises a measuring means for measuring the parameters and variations parameters.
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、
前記距離画像データ入力手段により入力された距離画像データに対して前記複数の近似レベルで表した複数の3次元形状モデルを投影して、複数のモデル距離画像データを生成する投影手段と、
前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする計測装置。 Holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies ;
And approximate value input means for inputting Overview Once the value of the position parameter of the measurement object, orientation parameters and deformation parameters,
Distance image data input means for inputting distance image data obtained by imaging the measurement target object;
By projecting the plurality of three-dimensional shape model expressed by the plurality of approximate level on the input range image data by the distance image data input unit, a projection means for generating a plurality of model range image data,
The distance image in which the plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model range image data, which is converted to a resolution corresponding to the approximate level of the plurality of three-dimensional shape model Based on the data, the plurality of model distance image data converted to the resolution corresponding to the approximate level of the plurality of three-dimensional shape models, and the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach to the difference between the distance image data becomes smaller, the position parameter of the object, having a measuring means for measuring the attitude parameters and deformation parameters Measuring device characterized by
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力ステップと、An approximate value input step of inputting approximate values of the position parameter, posture parameter and deformation parameter of the measurement object;
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとを有することを特徴とする計測方法。Based on the plurality of 3D shape models and the distance image data converted to a resolution corresponding to an approximation level of the plurality of 3D shape models, the plurality of 3D shape models and the plurality of 3D shape models By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximate level becomes small, the position parameter, posture parameter, and And a measurement step for measuring the deformation parameter.
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記距離画像データ入力ステップにより入力された距離画像データに対して前記複数の近似レベルで表した複数の3次元形状モデルを投影して、複数のモデル距離画像データを生成する投影ステップと、
前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとを有することを特徴とする計測方法。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A measurement method to be executed,
And approximate value input step of inputting Overview Once the value of the location parameters, orientation parameters and deformation parameters of the measurement object,
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
A projection step of projecting a plurality of three-dimensional shape models represented by the plurality of approximation levels to the distance image data input in the distance image data input step, and generating a plurality of model distance image data;
Wherein a plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model distance image data, and the range image data converted to a resolution corresponding to the approximate level of the plurality of three-dimensional geometric model The plurality of model distance image data converted to the resolution corresponding to the approximation level of the plurality of three-dimensional shape models, and the distance converted to the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach as the difference between the image data is reduced, characterized in that it has a position parameter of the object, and a step of measuring the attitude parameters and deformation parameters Measurement method.
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータのうちの少なくとも何れか一つの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルと当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとをコンピュータに実行させるためのプログラム。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A program for causing a computer to execute a measurement method to be executed ,
An approximate value input step of inputting an approximate value of at least one of the position parameter, posture parameter, and deformation parameter of the measurement target object;
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
Based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional shape By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximation level of the model becomes small , the position parameter and orientation of the measurement target object program for executing the step of measuring the parameters and deformation parameters to the computer.
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータのうちの少なくとも何れか一つの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記距離画像データ入力ステップにより入力された距離画像データに対して前記複数の近似レベルで表した複数の3次元形状モデルを投影して、複数のモデル距離画像データを生成する投影ステップと、
前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の3次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとをコンピュータに実行させるためのプログラム。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A program for causing a computer to execute a measurement method to be executed,
An approximate value input step of inputting an approximate value of at least one of the position parameter, posture parameter, and deformation parameter of the measurement target object;
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
A projection step of projecting a plurality of three-dimensional shape models represented by the plurality of approximation levels to the distance image data input in the distance image data input step, and generating a plurality of model distance image data;
The distance image in which the plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model range image data, which is converted to a resolution corresponding to the approximate level of the plurality of three-dimensional shape model Based on the data, the plurality of model distance image data converted to the resolution corresponding to the approximate level of the plurality of three-dimensional shape models, and the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach to the difference between the distance image data becomes smaller, the position parameter of the object, and a step of measuring the attitude parameters and deformation parameters on a computer A program to be executed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012016813A JP5991730B2 (en) | 2012-01-30 | 2012-01-30 | Measuring device, measuring method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012016813A JP5991730B2 (en) | 2012-01-30 | 2012-01-30 | Measuring device, measuring method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013156146A JP2013156146A (en) | 2013-08-15 |
JP5991730B2 true JP5991730B2 (en) | 2016-09-14 |
Family
ID=49051474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012016813A Active JP5991730B2 (en) | 2012-01-30 | 2012-01-30 | Measuring device, measuring method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5991730B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6323993B2 (en) * | 2012-08-28 | 2018-05-16 | キヤノン株式会社 | Information processing apparatus, information processing method, and computer program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000194859A (en) * | 1998-12-25 | 2000-07-14 | Canon Inc | Object shape extraction method, object shape extraction device and recording medium |
JP4677536B1 (en) * | 2009-11-20 | 2011-04-27 | 株式会社三次元メディア | 3D object recognition apparatus and 3D object recognition method |
JP2011175477A (en) * | 2010-02-24 | 2011-09-08 | Canon Inc | Three-dimensional measurement apparatus, processing method and program |
-
2012
- 2012-01-30 JP JP2012016813A patent/JP5991730B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013156146A (en) | 2013-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP5567908B2 (en) | Three-dimensional measuring apparatus, measuring method and program | |
US8687057B2 (en) | Three-dimensional measurement apparatus and control method therefor | |
JP6324025B2 (en) | Information processing apparatus and information processing method | |
JP5430456B2 (en) | Geometric feature extraction device, geometric feature extraction method, program, three-dimensional measurement device, object recognition device | |
JP5480667B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, program | |
JP6370038B2 (en) | Position and orientation measurement apparatus and method | |
JP5627325B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
KR100855657B1 (en) | System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor | |
CN102472609A (en) | Position and orientation calibration method and apparatus | |
JP2011179907A (en) | Device and method for measuring position and attitude, and program | |
JP2012123781A (en) | Information processing device, information processing system and information processing method | |
JP2012141962A (en) | Position and orientation measurement device and position and orientation measurement method | |
JP6066562B2 (en) | Measuring device, measuring method and program | |
JP2016148649A (en) | Information processing apparatus, control method therefor, and program | |
JP5698815B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP6040264B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
CN112381952B (en) | Face contour point cloud model reconstruction method and device based on multiple cameras | |
JP6806160B2 (en) | 3D motion evaluation device, 3D motion evaluation method, and program | |
JP5991730B2 (en) | Measuring device, measuring method and program | |
JP2007034964A (en) | Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter | |
JP6584139B2 (en) | Information processing apparatus, information processing method, and program | |
JP6315542B2 (en) | Image generating apparatus and image generating method | |
JP2012225888A (en) | Position posture measurement device and position posture measurement method | |
JP6719925B2 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160812 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5991730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |