JP6004809B2 - 位置姿勢推定装置、情報処理装置、情報処理方法 - Google Patents
位置姿勢推定装置、情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP6004809B2 JP6004809B2 JP2012167647A JP2012167647A JP6004809B2 JP 6004809 B2 JP6004809 B2 JP 6004809B2 JP 2012167647 A JP2012167647 A JP 2012167647A JP 2012167647 A JP2012167647 A JP 2012167647A JP 6004809 B2 JP6004809 B2 JP 6004809B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- image
- geometric
- geometric feature
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Description
前記対象物体の3次元形状モデルに対して、前記対象物体と該対象物体を撮像する撮像装置との相対的な位置姿勢を仮想的に設定できるように、前記撮像装置を配置するための複数の異なる位置姿勢を設定する設定手段と、
前記設定手段により設定された前記撮像装置の位置姿勢ごとに、該位置姿勢または前記対象物体の位置姿勢が変化したときの、前記撮像装置において得られるべき画像の画像特徴と、前記3次元形状モデルの幾何特徴との関係が変化する度合いを求め、該求めた度合いの類似度に基づいて、幾何特徴のグループ分けを行うグループ分け手段と
を備えることを特徴とする。
本実施形態では、本発明の情報処理装置を用いた物体の位置及び姿勢(以下、位置姿勢)の推定のための位置姿勢推定用モデルの生成方法、および、生成した位置姿勢推定用モデルを用いた物体位置姿勢の推定手法に適用した場合について説明する。
(ステップS1000)
ステップS1000において、3次元形状モデル入力部110は、対象物体の3次元形状モデルを入力する。
(ステップS1100)
ステップS1100において、位置姿勢設定部120では、対象物体の3次元形状モデルの観察条件を設定する。本実施形態では、観察条件として、3次元形状モデルを観察する仮想的な撮像装置の位置姿勢設定を行う。
(ステップS1200)
次に、ステップS1200において、位置姿勢選択部130は、ステップS1100で設定された複数の位置姿勢条件の中から位置姿勢選択を行う。具体的には、未処理の位置姿勢を1つ選択して、3次元形状モデルを観察する仮想撮像装置の視点として設定する。
(ステップS1300)
次に、ステップS1300では、幾何特徴グループ分け部140は、幾何特徴間の位置姿勢パラメータへの影響の類似性を計算するために、ステップS1200で設定された仮想撮像装置の位置姿勢を用いて、幾何特徴のヤコビアンを求める。ここで、幾何特徴のヤコビアンとは、撮像装置の位置姿勢6自由度のパラメータが微小変化したときに、着目する幾何特徴と画像特徴との対応間距離が変化する度合いを表す値である。
(ステップS1400)
ステップS1400では、幾何特徴グループ分け部140は、ステップS1300で算出した、線幾何特徴および面幾何特徴のヤコビアンに基づき、位置姿勢6自由度の推定への影響が類似する特徴同士をグループ分けする。
まず、ステップS1410では、初期のクラスタとして、幾何特徴を1つのみ含むクラスタ群を生成する。すなわち全幾何特徴数がN個の場合、N個のクラスタが生成される。そして、生成したクラスタを、最下位階層のクラスタとして保存する。
(ステップS1420)
次に、各クラスタ間の全組み合わせに対して、それぞれクラスタ間のヤコビアンの類似度を算出する。ウォード法により算出される値は、類似するほど小さくなるため、ここでは、正確には非類似度が計算される。nA個の構成要素を持つあるクラスタ{A}のi番目(i=1…nA)の構成要素となる幾何特徴のヤコビアンをJki A(k=1…6)とする。また、nB個の構成要素を持つあるクラスタ{B}のj番目(j=1…nB)の構成要素となる幾何特徴のヤコビアンJkj B(k=1…6)とする。そのときのクラスタ{A}とクラスタ{B}との間のクラスタ間類似度は、以下の式より算出される。
(ステップS1430)
次に、ステップS1420で計算された類似度を参照して、もっとも非類似度ΔSABが低い組み合わせのクラスタを融合して、1つのクラスタをつくる。そして、融合したクラスタを、融合前のクラスタよりも一つ上の階層のクラスタとして保存する。
(ステップS1440)
ステップS1430の結果、全クラスタ数が1になっていれば終了し、そうでなければ、ステップS1420に戻り、全クラスタ数が1になるまで、処理を繰り返す。
(ステップS1500)
次に、ステップS1500において視点別モデル保存部150は、ステップS1400において得られた幾何特徴のグループ分け結果と、ステップS1200で選択した仮想撮像装置の位置及び姿勢と、を組にして、視点別位置姿勢推定用モデルとして保存する。
(ステップS1600)
次に、ステップS1600において、モデル作成装置2は、ステップS1200からS1500までの処理を、ステップS1100で生成した全ての仮想撮像装置の位置姿勢において実行したか否かを判定する。全位置姿勢について処理が実行されていない場合、処理はステップS1200に戻り、次の位置姿勢について処理が繰り返される。
(ステップS2000)
まず、ステップS2000では、位置姿勢推定装置1は、2次元画像撮像装置20と距離画像撮像装置30からなる撮像装置に対する物体の位置及び姿勢の概略値を入力する。本実施形態では、位置姿勢推定装置1は時間軸方向に連続して位置姿勢計測を行うものとして、前回(前時刻)の計測値を概略の位置姿勢として用いる。しかしながら、位置姿勢の概略値の入力方法はこれに限るものではない。
(ステップS2100)
次に、ステップS2100では、画像入力部160は、濃淡画像および距離画像の入力を行う。まず、2次元画像撮像装置20から濃淡画像を取得する。同様に、距離画像撮像装置30からの距離画像の取得を行う。
(ステップS2200)
次に、ステップS2200では、位置姿勢推定部180は、位置姿勢推定用モデルの中から、一つの視点別位置姿勢推定用モデルを選択することで、ステップS1400で階層型構造としてグループ分けされた幾何特徴を得る。
(ステップS2300)
次に、ステップS2300において、幾何特徴選択部170は、視点別モデル保存部150中の階層型構造としてグループ分けされた幾何特徴の中から、位置姿勢算出に用いる幾何特徴を選出する。
(ステップS2400)
次に、ステップS2400では、ステップS2100において入力された濃淡画像及び距離画像と、ステップS2300において選出した線幾何特徴および面幾何特徴との対応を算出し、対応付けた結果に基づいて計測対象物体の位置及び姿勢を推定する。以下、位置姿勢推定部180によって行われる位置姿勢推定処理について詳細な処理を詳述する。
(ステップS2500)
次に、ステップS2400で更新した位置姿勢が、収束しているか否か(すなわち、さらに反復計算を必要とするか否か)の判定を行う。収束しているか否かは、補正値がほぼ0である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ0である場合に収束したと判定する。
上述の実施形態では、幾何特徴のグループ分けとして、ウォード法による階層型クラスタリングによる方法を説明していた。しかし、幾何特徴のグループ分け手法は、これに限るものではない。
(変形例2)
上述の実施形態では、幾何特徴のグループ分けを行う基準として、幾何特徴のヤコビアンが類似する幾何特徴をグループ分けしていた。しかしながら、幾何特徴のグループ分けを行う判定基準はこれに限るものではない。
(変形例3)
上述の実施形態では、グループ分けされた幾何特徴から位置姿勢推定に利用する幾何特徴を1セットのみ選出して、位置姿勢推定処理を行っていた。しかしながら、幾何特徴の選出および位置姿勢推定処理の方法はこれに限るものではない。
(変形例4)
上述の実施形態では、幾何特徴と画像との対応に基づいて計測対象物体の位置及び姿勢の6自由度の算出を行っていた。しかしながら、位置姿勢の推定方法として、位置及び姿勢の6自由度全てを推定する方法に限るものではない。例えば、位置姿勢6自由度パラメータへの影響が類似する幾何特徴群を選出し、それらから位置姿勢6自由度の中で一部分のパラメータのみを推定してもよい。
(変形例5)
上述の実施形態では、画像および幾何特徴の対応付けに基づく位置姿勢推定手法として、非線形最小二乗法による方式を述べた。しかしながら、本発明の情報処理装置に適用する位置姿勢推定手法は、これに限るものではない。
(変形例6)
上述の実施形態・変形例では、画像および幾何特徴の対応付けに基づく位置姿勢推定手法として、非線形最小二乗法および時系列フィルタによる方式を述べた。しかしながら、本発明の位置姿勢推定装置に適用する位置姿勢推定手法は、これらに限るものではない。例えば、幾何特徴と画像との対応付けに基づくマッチングにより位置姿勢を算出する場合においても、本発明は適用可能である。
(変形例7)
上述の実施形態では、濃淡画像と距離画像を撮像する場合について説明していた。しかし、本発明の位置姿勢推定装置は、濃淡画像と距離画像を両方撮影する場合に限るものではない。
(変形例8)
上述の実施形態では、幾何特徴グループ分け部140において、位置姿勢パラメータへの影響が類似する幾何特徴をグループ分けする方法として、幾何特徴のヤコビアンに基づいてグループ分けを行う場合を説明した。しかし、幾何特徴のグループ分け方法は、ヤコビアンの類似度に従う方法に限ったものではない。例えば、3次元形状モデルのラインあるいは面上に設定されている幾何特徴群のうち、ラインあるいは面の角度や位置が類似する幾何特徴群は、位置姿勢パラメータへの影響が類似すると判定する。そして、ラインあるいは面の角度や位置が類似する幾何特徴が同一グループになるようにグループ分けしても良い。
本発明による位置姿勢推定装置1の好適な適用事例としては、以下のような形態も考えられる。すなわち、2次元画像撮像装置20および距離画像撮像装置30により得られる2次元画像と距離画像を基に被計測物体60の位置姿勢を推定し、産業用ロボットアーム(50)によりその把持などを行う利用例があげられる。以下、図8を用いて本発明の一実施例である位置姿勢推定装置1の適用例を説明する。図8では、位置姿勢推定装置1とロボット50を用いて被計測物体60を把持するロボットシステムの構成例を示す。
本実施形態では、位置姿勢の推定対象となる被計測物体の位置姿勢を、該被計測物体と同形状の3次元形状モデルを用いたモデルフィッティングにより推定する。本実施形態の対応付けでは先ず、次のような処理を行う。即ち、被計測物体を撮像した画像撮像装置に対する該被計測物体の位置姿勢の概略値(位置姿勢概略値)に基づいて、3次元形状モデルの幾何特徴(本実施形態では3次元形状モデルの線分及び面上に設定したサンプル点)の撮像画像上での位置を計算する。そして次に、サンプル点に対応する点(対応点)を該撮像画像から探索し、サンプル点と対応点との間の距離(対応間距離)を求める。この撮像画像は、本実施形態では、濃淡画像及び距離画像とする。
距離センサとしては、対象(ここでは被計測物体)に照射したレーザ光の反射光をカメラで撮影し、三角測量により距離を計測するアクティブ式のものを利用する。しかしながら、距離センサはこれに限るものではなく、距離画像を計測するものであればいかなるものであっても良い。カメラと距離センサの両者の相対的な位置姿勢は変化しないと仮定し、事前にキャリブレーションしておく。キャリブレーションの方法には、例えば、次のようなものがある。即ち、3次元形状が既知であるキャリブレーション物体を様々な方向から観察し、2次元画像に基づいたキャリブレーション物体の位置及び姿勢と、距離画像に基づいたキャリブレーション物体の位置及び姿勢の差から、相対的な位置及び姿勢を求める方法である。
画像入力部5301は、画像撮像装置5310から出力された被計測物体の濃淡画像及び距離画像を取得する。濃淡画像及び距離画像のセットは1回だけ入力するようにしても良いし、連続的に入力するようにしても良い。後者の場合、以下の処理は、それぞれのセットについて行うことになる。
幾何特徴グループ分け部5304は、位置姿勢概略値入力部5303から位置姿勢概略値を取得する。
幾何特徴グループ分け部5304は、形状モデル保持部5302が保持している視点ごとのサンプル点群(位置情報群)のうち、位置姿勢概略値入力部5303から取得した位置姿勢概略値に対応するサンプル点群を、形状モデル保持部5302から取得する。即ち、オデシックドームの各頂点のうち、位置姿勢概略値入力部5303から取得した位置姿勢概略値に最も近い視点から取得したサンプル点群を取得する。
対応付け部5305は、ステップS5503で形状モデル保持部5302から取得したそれぞれのサンプル点について対応付けを行うことで、該サンプル点の対応点を探索し、探索した対応点との距離(対応間距離)を求める。この対応付けは、濃淡画像及び距離画像のそれぞれについて行う。
対応付け評価部5306は、対応付け部5305がサンプル点ごとに求めた対応間距離を評価することで、モデルフィッティングで用いる対応間距離を特定する。対応間距離の評価は、グループごとに行う。
位置姿勢推定部5307は、対応付け評価部5306によりモデルフィッティングで用いると判定された対応間距離を用いて、位置姿勢概略値入力部5303から取得した位置姿勢概略値を補正して、より精度の高い位置姿勢を推定する。補正量は対応間距離の最小二乗法の解を求めることで計算する。最小二乗法による位置姿勢推定アルゴリズムに関しては、ここでの本質に関わるものではないため、詳細な説明は省略する。処理の詳細については、上記の文献1を参照されたい。なお、位置姿勢の推定方法は最小二乗法に限るものではなく、対応付けを行った対応間距離を縮めるように位置姿勢を補正する方法であればどのような方法でも良い。
本実施形態では、同一グループ内で標準とするサンプル点の対応間距離Dmからの差に応じて対応間距離に重み付けを行う。重みに応じて対応間距離を利用し位置姿勢推定を行うことで、精度とロバスト性の高い位置姿勢推定を行う。以下、重み付け処理の詳細を説明する。
第3及び第4の実施形態では、濃淡画像及び距離画像の両方を入力することを前提としていた。しかし、濃淡画像及び距離画像の一方だけを入力するようにしても良く、その場合、第3及び第4の実施形態で説明した処理は、入力した一方の画像について行えばよい。
第3及び第4の実施形態では、処理の流れの中で、幾何特徴グループ分け部5304でサンプル点のグループ分類を行うようにしたが、このグループ分類は、視点ごとに予め行っておくようにしても良い。この場合、幾何特徴グループ分け部5304は、位置姿勢概略値入力部5303から取得した位置姿勢概略値に最も近い視点について予め行ったグループ分類の結果を取得することになる。視点ごとに予め行ったグループ分類結果は、形状モデル保持部5302等、適当なメモリに格納しておくことになる。
第3及び第4の実施形態では、幾何特徴グループ分け部5304で、類似する対応間距離が予測されるサンプル点のグループ分け方法として、サンプル点のヤコビアンの類似度に従ってグループ分けを行う場合を説明した。ただし、サンプル点のグループ分けは、ヤコビアンの類似度に従う方法に限ったものではない。例えば、3次元形状モデルのラインあるいは面上に設定されているサンプル点群のうち、ラインあるいは面の角度や位置が類似するサンプル点群は、対応間距離の類似が予測されると仮定する。そして、ラインあるいは面の角度や位置が類似するサンプル点群が同一グループになるようにグループ分けしても良い。
第3及び第4の実施形態では、対応付けを行う基準となる3次元形状モデルの幾何特徴として、3次元形状モデル上に設定したサンプル点を用いる。ただし、幾何特徴はサンプル点に限ったものではなく、画像上の特徴と3次元形状モデル上の特徴の対応関係が探索できるものであればどのような幾何特徴を利用しても良い。例えば、サンプル点ではなく3次元形状モデルのラインあるいは面そのものを幾何特徴として、画像上に存在する類似特徴との対応付けを行い、対応間距離を求めても良い。この場合、幾何特徴のグループ分けは第3の実施形態及びその変形例3で説明した方法と同様に、ラインあるいは面のヤコビアンや角度や位置が類似する幾何特徴が同一グループになるように分類する。
本実施形態では、第3及び第4の実施形態(変形例を含む)で説明した情報処理装置5300の適用例について説明する。情報処理装置5300の適用例として好適なものの1つに、図14に示す如く、画像撮像装置5310により得られる2次元画像と距離画像を基に被計測物体の位置姿勢を推定し、産業用ロボットアームによりその把持などを行う例があげられる。以下では、図14を用いて、この例について説明する。
図11に示した、情報処理装置5300を構成する各部は何れもハードウェアで構成しても良い。しかし、画像入力部5301、幾何特徴グループ分け部5304、位置姿勢概略値入力部5303、対応付け部5305、対応付け評価部5306、位置姿勢推定部5307の各部をソフトウェアで構成し、形状モデル保持部5302をメモリで構成しても良い。この場合、このメモリを有するPC等のコンピュータに、このソフトウェア(コンピュータプログラム)をインストールし、このコンピュータのCPUがこのソフトウェアを実行することで、これら各部の動作を実現することができる。
被計測物体を含む画像に対し、該被計測物体の形状モデル上に設定されている複数の幾何特徴を対応付けることで、該被計測物体の位置姿勢を推定する情報処理装置である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (13)
- 対象物体の3次元形状モデルを入力するモデル入力手段と、
前記対象物体の3次元形状モデルに対して、前記対象物体と該対象物体を撮像する撮像装置との相対的な位置姿勢を仮想的に設定できるように、前記撮像装置を配置するための複数の異なる位置姿勢を設定する設定手段と、
前記設定手段により設定された前記撮像装置の位置姿勢ごとに、該位置姿勢または前記対象物体の位置姿勢が変化したときの、前記撮像装置において得られるべき画像の画像特徴と、前記3次元形状モデルの幾何特徴との関係が変化する度合いを求め、該求めた度合いの類似度に基づいて、幾何特徴のグループ分けを行うグループ分け手段と
を備えることを特徴とする情報処理装置。 - 前記グループ分け手段は、前記設定手段により設定された前記撮像装置の位置姿勢ごとに、前記撮像装置において得られるべき画像へ前記対象物体の3次元形状モデルを写像する関係において、前記幾何特徴のグループ分けを行う前記対象物体の3次元形状モデルの幾何特徴のヤコビアンを算出し、算出されたヤコビアンの類似度に基づいて、幾何特徴のグループ分けを行うことを特徴とする請求項1に記載の情報処理装置。
- 前記得られるべき画像は、2次元画像及び/または距離画像であることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記グループ分け手段の結果と前記設定手段によって設定された前記撮像装置の位置姿勢とを組にして、視点別モデルとして保存する視点別モデル保存手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 請求項1乃至4のいずれか1項に記載された情報処理装置によってグループ分けされた幾何特徴を有するモデルを使った位置姿勢推定装置であって、
撮像装置が撮像した画像を入力する画像入力手段と、
前記グループ分け手段でグループ分けされたグループから、幾何特徴を選出する幾何特徴選出手段と、
前記画像入力手段で入力された画像の特徴と前記幾何特徴選出手段で選出された幾何特徴とが当てはまるように、前記対象物体または前記撮像装置の位置及び姿勢を算出する算出手段とを備えることを特徴とする位置姿勢推定装置。 - 前記画像入力手段で入力された画像の特徴とは、エッジ及び/または3次元点群であることを特徴とする請求項5に記載の位置姿勢推定装置。
- 前記グループ分け手段は、前記撮像装置または前記対象物体の位置姿勢の変化に対する、前記画像の特徴と前記3次元形状モデルの幾何特徴との関係の変化の度合いが類似する幾何特徴をグループ分けし、
前記幾何特徴選出手段は、前記グループ分けされた各グループのうち少なくとも2つ以上のグループからそれぞれ少なくとも1つ以上の幾何特徴を選出する
ことを特徴とする請求項5又は6に記載の位置姿勢推定装置。 - 前記グループ分け手段は、前記撮像装置または前記対象物体の位置姿勢の変化に対する、前記画像の特徴と前記3次元形状モデルの幾何特徴との関係の変化の度合いが類似しない幾何特徴をグループ分けし、
前記幾何特徴選出手段は、前記グループにグループ分けされた各グループのうち、1つのグループから幾何特徴を選出することを特徴とする請求項5又は6に記載の位置姿勢推定装置。 - 前記画像入力手段で入力された画像は、2次元画像及び/または距離画像であることを特徴とする請求項5乃至8のいずれか1項に記載の位置姿勢推定装置。
- 請求項5乃至9のいずれか1項に記載された位置姿勢推定装置と、
被計測物体を把持するための把持手段と、
前記位置姿勢推定装置によって推定される前記被計測物体の位置姿勢に基づいて、前記把持手段を制御する制御手段と
を備えることを特徴とする情報処理装置。 - 情報処理装置が行う情報処理方法であって、
前記情報処理装置のモデル入力手段が、対象物体の3次元形状モデルを入力するモデル入力工程と、
前記情報処理装置の設定手段が、前記対象物体の3次元形状モデルに対して、前記対象物体と該対象物体を撮像する撮像装置との相対的な位置姿勢を仮想的に設定できるように、前記撮像装置を配置するための複数の異なる位置姿勢を設定する設定工程と、
前記情報処理装置のグループ分け手段が、前記設定工程で設定された前記撮像装置の位置姿勢ごとに、該位置姿勢または前記対象物体の位置姿勢が変化したときの、前記撮像装置において得られるべき画像の画像特徴と、前記3次元形状モデルの幾何特徴との関係が変化する度合いを求め、該求めた度合いの類似度に基づいて、幾何特徴のグループ分けを行うグループ分け工程と
を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至4、10の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
- コンピュータを、請求項5乃至9の何れか1項に記載の位置姿勢推定装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012167647A JP6004809B2 (ja) | 2012-03-13 | 2012-07-27 | 位置姿勢推定装置、情報処理装置、情報処理方法 |
US13/788,237 US10189162B2 (en) | 2012-03-13 | 2013-03-07 | Model generation apparatus, information processing apparatus, model generation method, and information processing method |
EP13158198.5A EP2639766A1 (en) | 2012-03-13 | 2013-03-07 | Model generation apparatus, information processing apparatus, model generation method, and information processing method |
CN201310080566.5A CN103307975B (zh) | 2012-03-13 | 2013-03-13 | 模型生成设备和方法以及信息处理设备和方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056489 | 2012-03-13 | ||
JP2012056489 | 2012-03-13 | ||
JP2012167647A JP6004809B2 (ja) | 2012-03-13 | 2012-07-27 | 位置姿勢推定装置、情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013217893A JP2013217893A (ja) | 2013-10-24 |
JP2013217893A5 JP2013217893A5 (ja) | 2015-09-10 |
JP6004809B2 true JP6004809B2 (ja) | 2016-10-12 |
Family
ID=48141730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012167647A Active JP6004809B2 (ja) | 2012-03-13 | 2012-07-27 | 位置姿勢推定装置、情報処理装置、情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10189162B2 (ja) |
EP (1) | EP2639766A1 (ja) |
JP (1) | JP6004809B2 (ja) |
CN (1) | CN103307975B (ja) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5624394B2 (ja) | 2010-07-16 | 2014-11-12 | キヤノン株式会社 | 位置姿勢計測装置、その計測処理方法及びプログラム |
JP5839971B2 (ja) * | 2010-12-14 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9469035B2 (en) * | 2011-06-29 | 2016-10-18 | Mitsubishi Electric Corporation | Component supply apparatus |
JP5977544B2 (ja) * | 2012-03-09 | 2016-08-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6092530B2 (ja) | 2012-06-18 | 2017-03-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US9280827B2 (en) * | 2013-07-03 | 2016-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining object poses using weighted features |
US9704296B2 (en) | 2013-07-22 | 2017-07-11 | Trupik, Inc. | Image morphing processing using confidence levels based on captured images |
NL2011413C2 (nl) * | 2013-09-10 | 2015-03-12 | Lely Patent Nv | Veevoerwagen. |
US9555549B2 (en) * | 2013-10-31 | 2017-01-31 | Seiko Epson Corporation | Control device, robot, robot system, and control method |
JP2015089590A (ja) * | 2013-11-05 | 2015-05-11 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP6271953B2 (ja) * | 2013-11-05 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6324025B2 (ja) * | 2013-11-05 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6253368B2 (ja) | 2013-11-25 | 2017-12-27 | キヤノン株式会社 | 三次元形状計測装置およびその制御方法 |
JP6444027B2 (ja) | 2013-12-09 | 2018-12-26 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム |
JP6393991B2 (ja) | 2014-01-24 | 2018-09-26 | トヨタ自動車株式会社 | ロボット、及びその制御方法 |
JP6265784B2 (ja) * | 2014-03-06 | 2018-01-24 | 株式会社メガチップス | 姿勢推定システム、プログラムおよび姿勢推定方法 |
DE102014005181A1 (de) * | 2014-04-03 | 2015-10-08 | Astrium Gmbh | Positions- und Lagebestimmung von Objekten |
GB2526342A (en) * | 2014-05-22 | 2015-11-25 | Nokia Technologies Oy | Point cloud matching method |
US9734631B2 (en) | 2014-07-22 | 2017-08-15 | Trupik, Inc. | Systems and methods for image generation and modeling of complex three-dimensional objects |
JP6322564B2 (ja) * | 2014-12-22 | 2018-05-09 | 日本電信電話株式会社 | 点群解析処理装置、方法、及びプログラム |
JP6584139B2 (ja) * | 2015-05-25 | 2019-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2016196512A1 (en) * | 2015-05-29 | 2016-12-08 | Abb Technology Ag | Method and system for robotic adaptive production |
US10335951B2 (en) * | 2015-07-29 | 2019-07-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, robot control apparatus, and robot system |
JP6117901B1 (ja) | 2015-11-30 | 2017-04-19 | ファナック株式会社 | 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6744747B2 (ja) * | 2016-04-01 | 2020-08-19 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN105957055B (zh) * | 2016-04-20 | 2018-10-26 | 空气动力学国家重点实验室 | 一种冰形相似度量化评估方法 |
GB2550567A (en) * | 2016-05-20 | 2017-11-29 | Nokia Technologies Oy | Point Cloud Matching Method |
JP6740033B2 (ja) * | 2016-06-28 | 2020-08-12 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法及びプログラム |
JP6514156B2 (ja) * | 2016-08-17 | 2019-05-15 | ファナック株式会社 | ロボット制御装置 |
JP2018036898A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
DE102017207063A1 (de) * | 2017-04-27 | 2018-10-31 | Robert Bosch Gmbh | Steuereinrichtung für eine Prüfvorrichtung, Prüfanordnung mit der Steuereinrichtung, Verfahren zur Ansteuerung der Prüfanordnung und Computerprogramm |
DE102017207069A1 (de) | 2017-04-27 | 2018-10-31 | Robert Bosch Gmbh | Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung |
CN108965690B (zh) | 2017-05-17 | 2021-02-26 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
WO2019015761A1 (en) * | 2017-07-20 | 2019-01-24 | Toyota Motor Europe | ELECTRONIC DEVICE, SYSTEM AND METHOD FOR DETERMINING THE INSTALLATION OF AN OBJECT |
JP7197971B2 (ja) * | 2017-08-31 | 2022-12-28 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2019063984A (ja) * | 2017-10-02 | 2019-04-25 | キヤノン株式会社 | 情報処理装置、方法及びロボットシステム |
JP6886906B2 (ja) * | 2017-10-10 | 2021-06-16 | 東芝テック株式会社 | 読取装置およびプログラム |
JP2019084601A (ja) * | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、把持システムおよび情報処理方法 |
JP6936974B2 (ja) * | 2017-12-19 | 2021-09-22 | オムロン株式会社 | 位置姿勢推定装置、位置姿勢推定方法及びプログラム |
JP7133926B2 (ja) | 2018-01-15 | 2022-09-09 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法 |
US11830131B2 (en) * | 2018-02-06 | 2023-11-28 | Veo Robotics, Inc. | Workpiece sensing for process management and orchestration |
JP6939729B2 (ja) * | 2018-07-23 | 2021-09-22 | オムロン株式会社 | 制御システム、制御方法およびプログラム |
JP7063165B2 (ja) * | 2018-07-26 | 2022-05-09 | 富士通株式会社 | 計測装置、計測方法及び計測プログラム |
JP7159033B2 (ja) * | 2018-12-21 | 2022-10-24 | 株式会社日立製作所 | 3次元位置・姿勢認識装置及び方法 |
CN111739145A (zh) * | 2019-03-19 | 2020-10-02 | 上海汽车集团股份有限公司 | 一种汽车模型显示系统 |
WO2021014538A1 (ja) * | 2019-07-22 | 2021-01-28 | オムロン株式会社 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム |
JP7316134B2 (ja) * | 2019-07-22 | 2023-07-27 | ファナック株式会社 | 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム |
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
JP7283332B2 (ja) * | 2019-09-26 | 2023-05-30 | コベルコ建機株式会社 | 容器計測システム |
CN110706292B (zh) * | 2019-09-30 | 2022-07-12 | 华中科技大学 | 一种基于机器视觉的二维工作台误差自标定方法 |
CN112785544A (zh) * | 2019-11-04 | 2021-05-11 | 深圳先进技术研究院 | 一种三维线段模型的平面提取方法、系统及电子设备 |
US11023730B1 (en) * | 2020-01-02 | 2021-06-01 | International Business Machines Corporation | Fine-grained visual recognition in mobile augmented reality |
JP7409199B2 (ja) * | 2020-04-01 | 2024-01-09 | 株式会社プロテリアル | 外観検査経路探索方法、外観検査ロボットの検査経路探索装置、検査経路探索プログラム、および、外観検査ロボット |
JP7388970B2 (ja) * | 2020-04-06 | 2023-11-29 | ファナック株式会社 | ロボットシステム |
CN113012291B (zh) * | 2021-04-01 | 2022-11-25 | 清华大学 | 基于机械手参数重建对象三维模型的方法和装置 |
KR102659185B1 (ko) * | 2021-11-16 | 2024-04-18 | 동국대학교 산학협력단 | 객체 위치 추정 장치 및 방법 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0642105A3 (en) * | 1993-08-06 | 1997-10-01 | Toyota Motor Co Ltd | Method and apparatus for generating or modifying a model of a solid object. |
JP3666108B2 (ja) | 1995-03-16 | 2005-06-29 | 株式会社デンソー | 外観検査装置 |
JPH09212643A (ja) * | 1996-02-05 | 1997-08-15 | Meidensha Corp | 三次元物体認識方法及びその装置 |
JP3796449B2 (ja) | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
EP1349114A3 (en) | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
JP4136859B2 (ja) | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
JP4599184B2 (ja) | 2005-02-02 | 2010-12-15 | キヤノン株式会社 | 指標配置計測方法、指標配置計測装置 |
JP4914039B2 (ja) | 2005-07-27 | 2012-04-11 | キヤノン株式会社 | 情報処理方法および装置 |
JP5063023B2 (ja) | 2006-03-31 | 2012-10-31 | キヤノン株式会社 | 位置姿勢補正装置、位置姿勢補正方法 |
EP2075096A1 (de) | 2007-12-27 | 2009-07-01 | Leica Geosystems AG | Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum |
JP5083715B2 (ja) * | 2008-03-10 | 2012-11-28 | 株式会社Ihi | 三次元位置姿勢計測方法および装置 |
JP5111210B2 (ja) * | 2008-04-09 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN101261118A (zh) | 2008-04-17 | 2008-09-10 | 天津大学 | 基于机器人的快速自动化三维形貌在线测量方法和系统 |
JP2009276166A (ja) | 2008-05-14 | 2009-11-26 | Panasonic Corp | 移動装置および、その位置認識方法 |
JP5094663B2 (ja) * | 2008-09-24 | 2012-12-12 | キヤノン株式会社 | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 |
JP2010134649A (ja) | 2008-12-03 | 2010-06-17 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP5290864B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定装置及び方法 |
JP5567908B2 (ja) | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
JP5602392B2 (ja) * | 2009-06-25 | 2014-10-08 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5297403B2 (ja) | 2010-02-26 | 2013-09-25 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 |
JP5746477B2 (ja) * | 2010-02-26 | 2015-07-08 | キヤノン株式会社 | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム |
JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
JP5612916B2 (ja) | 2010-06-18 | 2014-10-22 | キヤノン株式会社 | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム |
JP5624394B2 (ja) | 2010-07-16 | 2014-11-12 | キヤノン株式会社 | 位置姿勢計測装置、その計測処理方法及びプログラム |
JP5627325B2 (ja) | 2010-07-23 | 2014-11-19 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP5496008B2 (ja) | 2010-08-06 | 2014-05-21 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP5671281B2 (ja) | 2010-08-20 | 2015-02-18 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム |
JP5924862B2 (ja) * | 2010-12-15 | 2016-05-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6092530B2 (ja) | 2012-06-18 | 2017-03-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2012
- 2012-07-27 JP JP2012167647A patent/JP6004809B2/ja active Active
-
2013
- 2013-03-07 US US13/788,237 patent/US10189162B2/en active Active
- 2013-03-07 EP EP13158198.5A patent/EP2639766A1/en not_active Withdrawn
- 2013-03-13 CN CN201310080566.5A patent/CN103307975B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20130245828A1 (en) | 2013-09-19 |
CN103307975B (zh) | 2016-12-28 |
EP2639766A1 (en) | 2013-09-18 |
US10189162B2 (en) | 2019-01-29 |
JP2013217893A (ja) | 2013-10-24 |
CN103307975A (zh) | 2013-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6004809B2 (ja) | 位置姿勢推定装置、情報処理装置、情報処理方法 | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20200284573A1 (en) | Position and orientation measuring apparatus, information processing apparatus and information processing method | |
JP5924862B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP5627325B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5863440B2 (ja) | 情報処理装置および方法 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2014063475A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP2012101320A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
WO2019165561A1 (en) | Method of calibrating a mobile manipulator | |
JP2016148649A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
Bao et al. | Robotic 3D plant perception and leaf probing with collision-free motion planning for automated indoor plant phenotyping | |
Kao et al. | Object pose estimation and feature extraction based on PVNet | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 | |
Liebold et al. | Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform | |
Berriozabal | Progress in industrial photogrammetry by means of markerless solutions | |
JP2021077290A (ja) | 情報処理装置、情報処理方法、プログラム、システム及び物品の製造方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150722 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160906 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6004809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |