JP3763215B2 - 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 - Google Patents
三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 Download PDFInfo
- Publication number
- JP3763215B2 JP3763215B2 JP24664898A JP24664898A JP3763215B2 JP 3763215 B2 JP3763215 B2 JP 3763215B2 JP 24664898 A JP24664898 A JP 24664898A JP 24664898 A JP24664898 A JP 24664898A JP 3763215 B2 JP3763215 B2 JP 3763215B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- model
- matching
- target
- recognition candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、いわゆる三次元物体認識における対象部品の位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体に関する。
【０００２】
【従来の技術】
いわゆる三次元物体認識方法としてモデルベーストマッチング法がある。このモデルベーストマッチング法は、入力画像から得られる対象部品の輪郭、凹凸、模様といった特徴を直線、円、円弧、角等にして近似した特徴データを用いてマッチングすることにより三次元物体認識を行うものであり、モデル作製時にモデルの特徴データを画像から抽出してこの特徴データを用いて認識すべき対象部品の入力画像のマッチングを行うものであり、例えば特願平８−１８６１３号に提案がされている。
【０００３】
また、対象部品が曲線にて構成されている場合には、対象部品を閉曲線の特徴データとして抽出し、この特徴データにて認識すべき対象部品を閉曲線にてマッチングする技術も開示され、例えば特願平８−１００９７４号に提案がされている。
【０００４】
【発明が解決しようとする課題】
モデルベーストマッチング法は、上述の如く対象部品の輪郭、凹凸、模様を直線、円、円弧、角、閉曲線の特徴として抽出し、これら特徴データを元にして三次元位置姿勢を計算するため最低限必要な特徴グループを部品モデルとして登録し、この特徴グループによって認識すべき対象部品のマッチングを行い部品の位置姿勢を検出するものである。
そして、この方式は、マッチングに用いる特徴数が少ないため、マッチング手順が簡単であり、高速処理を行うことができるという長所を有する。
【０００５】
しかし、反面複雑な形状を有する部品や複数個の部品が入力画像に存在する場合には、特徴グループと似通った特徴群が抽出されても実際の部品の位置姿勢とは異なる場所に部品の特徴グループひいては位置姿勢が得られることがあり、部品位置決め性能や信頼性を著しく欠くことがある。
【０００６】
本発明は、上述の問題に鑑み、複雑な形状を有する部品あるいは複数個の部品があっても、正しい三次元位置姿勢を検出する三次元位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体の提供を目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成する本発明の三次元位置決め方法及びこの方法を実現するソフトウェアを記録した媒体は、それぞれ次の発明の特定事項を有する。
（１）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００８】
（２）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００９】
（３）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにしたことを特徴とする。
【００１０】
また本発明の三次元位置決め装置は次の発明特定事項を有する。
（４）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル２Ｄマッチング部と、を有する。
【００１１】
（５）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、抽出特徴を対象特徴として設定する対象特徴設定部と、この対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル３Ｄマッチング部と、を有する。
【００１２】
（６）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、確認用モデル２Ｄマッチングを行う部分、さらに、この２Ｄマッチングで照合した特徴を対象特徴として設定する対象特徴設定部、そして確認用モデル３Ｄマッチングを行う部分、を有する。
【００１３】
【発明の実施の形態】
＜基本的事項＞
本発明では、三次元位置姿勢計算をするに当って部品モデルについて必要とする特徴グループ（以後「位置姿勢計算用モデル特徴」と称す）の外に、マッチング結果を確認するための特徴グループ（以後「確認用モデル特徴」と称す）をモデル特徴として登録しておき、マッチング処理において、まず位置姿勢計算用モデル特徴を用いたマッチングにより部品を構成する特徴候補を検出し換言すれば部品の認識候補を検出し、ついでこの認識候補の示す位置姿勢において確認用モデル特徴を用いたマッチングを行い認識候補の正否を確認するもので、間違った認識候補を排除し、正しい結果を得るものである。
【００１４】
ここで、本発明の実施の形態の一例について述べる。最初は、部品モデルについて位置姿勢計算用モデル特徴を登録する。すなわち、部品モデルについて輪郭、凹凸、模様を直線、円、角等の特徴として抽出して特徴データを作製し、この特徴データの中から三次元位置姿勢計算に必要な特徴データの組を選択し特徴グループとして登録する。
【００１５】
マッチングに当っては、対象部品の画像入力から特徴を抽出し、この特徴データと予め登録した部品モデルの選択された特徴グループとのマッチングを行い、認識候補を特定することになる。
【００１６】
他方、確認用モデル特徴によるマッチングでは、まず上記位置姿勢計算用モデル特徴によるマッチングにて得た認識候補の示す位置姿勢へ確認用モデル特徴を座標変換し、この座標変換した確認用モデル特徴を用いてマッチングを行う。
この場合の特徴マッチングにおいては、認識候補の特徴データと座標変換した確認用モデル特徴との特徴データの照合に加え、座標変換した確認用モデル特徴と入力画像から抽出した特徴（以後「抽出特徴」と称す）との位置データの照合を行う。
【００１７】
この場合確認用モデル特徴マッチングとして次のような方式があげられる。
（１）認識候補の示す位置姿勢へ座標変換した確認用モデル特徴をイメージ平面上へ投影し、投影した確認用モデル特徴の二次元特徴データを計算し、この二次元特徴データと入力画像からの抽出特徴のイメージ平面上における二次元特徴データとの照合を行う。
このイメージ平面上での確認用モデル特徴のマッチングにおいては、抽出特徴の三次元情報を必要としないため、抽出特徴に対して時間のかかる三次元計測処理を行う必要が無く、高速なマッチング処理を実現できる。
【００１８】
（２）他方、対象部品について三次元マッチングの対象となる特徴（以下「対象特徴」と称す）の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、認識候補の示す位置姿勢へ座標変換した確認用モデル特徴と対象特徴のワールド座標系における三次元特徴データとの照合を行う。
このワールド座標系でのマッチングでは、特徴の三次元情報を用いて特徴データ及び位置データの照合を実際のサイズにて行うため、信頼性あるマッチング結果を得ることができる。
【００１９】
以後図を参照して部品の三次元位置決め方法を述べる。前述したイメージ上における確認用モデル特徴マッチング（確認用モデル２Ｄマッチングと称す）を図１に示す。この図１に示す手順にて部品の三次元位置決めが行われる。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 確認用モデル２Ｄマッチングを行う。
１．座標変換したモデルをイメージ平面上へ投影する。
２．投影モデルの二次元特徴データを計算する。
３．イメージ上での確認用モデルの二次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲７▼ 部品三次元位置姿勢を決定する。
【００２０】
また、前述したワールド座標系における確認用モデル特徴マッチング（確認用モデル３Ｄマッチングと称す）を図２に示す。この図２に示す手順により部品の三次元位置決めが行われる。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 抽出特徴を対象特徴として設定する。
▲７▼ 確認用モデル３Ｄマッチングを行う。
１．対象特徴の三次元位置計測を行う。
２．対象特徴の三次元特徴データを計算する。
３．ワールド座標系での確認用モデルの三次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲８▼ 部品三次元位置姿勢を決定する。
【００２１】
また、図３は前述した確認用モデル２Ｄマッチング及び確認用モデル３Ｄマッチングを組み合せた部品の三次元位置決め方法の手順を示している。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 確認用モデル２Ｄマッチングを行う。
▲７▼ ２Ｄマッチングで照合した特徴を対象特徴として設定する。
▲８▼ 確認用モデル３Ｄマッチングを行う。
▲９▼ 部品三次元位置姿勢を決定する。
【００２２】
上述の図１，図２，図３に対応した方法を実施する部品三次元位置決め装置を図４，図５，図６に示す。図４において、対象部品の画像を入力する画像入力部１、入力画像から対象部品の特徴を抽出する特徴抽出部２、対象モデル部品について部品モデルの特徴を得るモデル作製部３及びモデル保存部４を有し、位置姿勢計算用モデル特徴マッチング部５では対象部品の特徴データとモデル保存部４の特徴データとのマッチングを行って部品の認識候補を検出し、これに基づき位置姿勢計算部６で対象部品の位置姿勢を得る。
【００２３】
次にモデル座標変換部７では、認識候補の位置姿勢へ確認用部品モデルを座標変換し、確認用モデル２Ｄマッチング部８でマッチングを行う。すなわち、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行う。
そして、部品位置姿勢決定部９では、この二次元特徴マッチングの認識候補の正否を判断し、正しい場合には認識候補の位置姿勢データを用いて部品の三次元位置決めを行う。
【００２４】
図５は、図２に示す確認用モデル３Ｄマッチングによる装置を示す。図５において、図４との違いは、抽出特徴を対象特徴として設定する対象特徴設定部１０を有し、確認用モデル３Ｄマッチング部１１では対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算しそしてワールド座標系での確認用モデルの三次元特徴マッチングを行うものである。その他の処理は図４と同じである。
【００２５】
図６は、確認用モデル２Ｄマッチングと確認用モデル３Ｄマッチングとによる装置を示しており、この図６では、図４，図５に示す装置を組合せたもので図４に示す確認用モデル２Ｄマッチングを行ってこのマッチングの結果照合した特徴を対象特徴として対象特徴について確認用モデル３Ｄマッチングを行うものである。その他の処理は図４と同じである。
【００２６】
上述については、図１，図２，図３にて三次元位置決め方法、図４，図５，図６にて装置を示したものであるが、位置決め処理については、そのソフトウェアを記録したフロッピィディスク、ＣＤ−ＲＯＭ等の媒体により行われる。
【００２７】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する
（１）三次元物体認識においてその結果を確認する機能を持つため、複雑な形状を持つ部品を対象とした場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（２）三次元物体認識においてその結果を確認する機能を持つため、複数個の部品が画面内に存在する場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（３）三次元物体認識においてその結果を確認する機能を持つため、煩雑な背景や部品表面の汚れ等による環境条件が良好でない場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（４）複雑な形状を持つ部品に対しても、認識候補の確認機能によって正しい位置決めを行うことができる。
（５）部品の設置状況や環境条件が良好でない場合でも、認識候補の確認機能によって正しい位置決めを行うことができる。
（６）認識候補の確認機能によって正しい位置決めを行うことができるため、部品位置決め装置として高い信頼性を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態で三次元位置決め方法の一例のフローチャート。
【図２】三次元位置決め方法の他の例のフローチャート。
【図３】三次元位置決め方法のその他の例のフローチャート。
【図４】本発明の実施の形態で三次元位置決め装置の一例のブロック図。
【図５】三次元位置決め装置の他の例のブロック図。
【図６】三次元位置決め装置のその他の例のブロック図。
【符号の説明】
５ 位置姿勢計算用モデル特徴マッチング部
７ モデル座標変換部
８ 確認用モデル２Ｄマッチング部
１０ 対象特徴設定部
１１ 確認用モデル３Ｄマッチング部
【発明の属する技術分野】
本発明は、いわゆる三次元物体認識における対象部品の位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体に関する。
【０００２】
【従来の技術】
いわゆる三次元物体認識方法としてモデルベーストマッチング法がある。このモデルベーストマッチング法は、入力画像から得られる対象部品の輪郭、凹凸、模様といった特徴を直線、円、円弧、角等にして近似した特徴データを用いてマッチングすることにより三次元物体認識を行うものであり、モデル作製時にモデルの特徴データを画像から抽出してこの特徴データを用いて認識すべき対象部品の入力画像のマッチングを行うものであり、例えば特願平８−１８６１３号に提案がされている。
【０００３】
また、対象部品が曲線にて構成されている場合には、対象部品を閉曲線の特徴データとして抽出し、この特徴データにて認識すべき対象部品を閉曲線にてマッチングする技術も開示され、例えば特願平８−１００９７４号に提案がされている。
【０００４】
【発明が解決しようとする課題】
モデルベーストマッチング法は、上述の如く対象部品の輪郭、凹凸、模様を直線、円、円弧、角、閉曲線の特徴として抽出し、これら特徴データを元にして三次元位置姿勢を計算するため最低限必要な特徴グループを部品モデルとして登録し、この特徴グループによって認識すべき対象部品のマッチングを行い部品の位置姿勢を検出するものである。
そして、この方式は、マッチングに用いる特徴数が少ないため、マッチング手順が簡単であり、高速処理を行うことができるという長所を有する。
【０００５】
しかし、反面複雑な形状を有する部品や複数個の部品が入力画像に存在する場合には、特徴グループと似通った特徴群が抽出されても実際の部品の位置姿勢とは異なる場所に部品の特徴グループひいては位置姿勢が得られることがあり、部品位置決め性能や信頼性を著しく欠くことがある。
【０００６】
本発明は、上述の問題に鑑み、複雑な形状を有する部品あるいは複数個の部品があっても、正しい三次元位置姿勢を検出する三次元位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体の提供を目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成する本発明の三次元位置決め方法及びこの方法を実現するソフトウェアを記録した媒体は、それぞれ次の発明の特定事項を有する。
（１）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００８】
（２）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００９】
（３）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにしたことを特徴とする。
【００１０】
また本発明の三次元位置決め装置は次の発明特定事項を有する。
（４）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル２Ｄマッチング部と、を有する。
【００１１】
（５）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、抽出特徴を対象特徴として設定する対象特徴設定部と、この対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル３Ｄマッチング部と、を有する。
【００１２】
（６）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、確認用モデル２Ｄマッチングを行う部分、さらに、この２Ｄマッチングで照合した特徴を対象特徴として設定する対象特徴設定部、そして確認用モデル３Ｄマッチングを行う部分、を有する。
【００１３】
【発明の実施の形態】
＜基本的事項＞
本発明では、三次元位置姿勢計算をするに当って部品モデルについて必要とする特徴グループ（以後「位置姿勢計算用モデル特徴」と称す）の外に、マッチング結果を確認するための特徴グループ（以後「確認用モデル特徴」と称す）をモデル特徴として登録しておき、マッチング処理において、まず位置姿勢計算用モデル特徴を用いたマッチングにより部品を構成する特徴候補を検出し換言すれば部品の認識候補を検出し、ついでこの認識候補の示す位置姿勢において確認用モデル特徴を用いたマッチングを行い認識候補の正否を確認するもので、間違った認識候補を排除し、正しい結果を得るものである。
【００１４】
ここで、本発明の実施の形態の一例について述べる。最初は、部品モデルについて位置姿勢計算用モデル特徴を登録する。すなわち、部品モデルについて輪郭、凹凸、模様を直線、円、角等の特徴として抽出して特徴データを作製し、この特徴データの中から三次元位置姿勢計算に必要な特徴データの組を選択し特徴グループとして登録する。
【００１５】
マッチングに当っては、対象部品の画像入力から特徴を抽出し、この特徴データと予め登録した部品モデルの選択された特徴グループとのマッチングを行い、認識候補を特定することになる。
【００１６】
他方、確認用モデル特徴によるマッチングでは、まず上記位置姿勢計算用モデル特徴によるマッチングにて得た認識候補の示す位置姿勢へ確認用モデル特徴を座標変換し、この座標変換した確認用モデル特徴を用いてマッチングを行う。
この場合の特徴マッチングにおいては、認識候補の特徴データと座標変換した確認用モデル特徴との特徴データの照合に加え、座標変換した確認用モデル特徴と入力画像から抽出した特徴（以後「抽出特徴」と称す）との位置データの照合を行う。
【００１７】
この場合確認用モデル特徴マッチングとして次のような方式があげられる。
（１）認識候補の示す位置姿勢へ座標変換した確認用モデル特徴をイメージ平面上へ投影し、投影した確認用モデル特徴の二次元特徴データを計算し、この二次元特徴データと入力画像からの抽出特徴のイメージ平面上における二次元特徴データとの照合を行う。
このイメージ平面上での確認用モデル特徴のマッチングにおいては、抽出特徴の三次元情報を必要としないため、抽出特徴に対して時間のかかる三次元計測処理を行う必要が無く、高速なマッチング処理を実現できる。
【００１８】
（２）他方、対象部品について三次元マッチングの対象となる特徴（以下「対象特徴」と称す）の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、認識候補の示す位置姿勢へ座標変換した確認用モデル特徴と対象特徴のワールド座標系における三次元特徴データとの照合を行う。
このワールド座標系でのマッチングでは、特徴の三次元情報を用いて特徴データ及び位置データの照合を実際のサイズにて行うため、信頼性あるマッチング結果を得ることができる。
【００１９】
以後図を参照して部品の三次元位置決め方法を述べる。前述したイメージ上における確認用モデル特徴マッチング（確認用モデル２Ｄマッチングと称す）を図１に示す。この図１に示す手順にて部品の三次元位置決めが行われる。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 確認用モデル２Ｄマッチングを行う。
１．座標変換したモデルをイメージ平面上へ投影する。
２．投影モデルの二次元特徴データを計算する。
３．イメージ上での確認用モデルの二次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲７▼ 部品三次元位置姿勢を決定する。
【００２０】
また、前述したワールド座標系における確認用モデル特徴マッチング（確認用モデル３Ｄマッチングと称す）を図２に示す。この図２に示す手順により部品の三次元位置決めが行われる。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 抽出特徴を対象特徴として設定する。
▲７▼ 確認用モデル３Ｄマッチングを行う。
１．対象特徴の三次元位置計測を行う。
２．対象特徴の三次元特徴データを計算する。
３．ワールド座標系での確認用モデルの三次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲８▼ 部品三次元位置姿勢を決定する。
【００２１】
また、図３は前述した確認用モデル２Ｄマッチング及び確認用モデル３Ｄマッチングを組み合せた部品の三次元位置決め方法の手順を示している。
▲１▼ 対象部品の画像を入力する。
▲２▼ 対象部品の特徴抽出を行う。
▲３▼ 位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼ ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼ 認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼ 確認用モデル２Ｄマッチングを行う。
▲７▼ ２Ｄマッチングで照合した特徴を対象特徴として設定する。
▲８▼ 確認用モデル３Ｄマッチングを行う。
▲９▼ 部品三次元位置姿勢を決定する。
【００２２】
上述の図１，図２，図３に対応した方法を実施する部品三次元位置決め装置を図４，図５，図６に示す。図４において、対象部品の画像を入力する画像入力部１、入力画像から対象部品の特徴を抽出する特徴抽出部２、対象モデル部品について部品モデルの特徴を得るモデル作製部３及びモデル保存部４を有し、位置姿勢計算用モデル特徴マッチング部５では対象部品の特徴データとモデル保存部４の特徴データとのマッチングを行って部品の認識候補を検出し、これに基づき位置姿勢計算部６で対象部品の位置姿勢を得る。
【００２３】
次にモデル座標変換部７では、認識候補の位置姿勢へ確認用部品モデルを座標変換し、確認用モデル２Ｄマッチング部８でマッチングを行う。すなわち、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行う。
そして、部品位置姿勢決定部９では、この二次元特徴マッチングの認識候補の正否を判断し、正しい場合には認識候補の位置姿勢データを用いて部品の三次元位置決めを行う。
【００２４】
図５は、図２に示す確認用モデル３Ｄマッチングによる装置を示す。図５において、図４との違いは、抽出特徴を対象特徴として設定する対象特徴設定部１０を有し、確認用モデル３Ｄマッチング部１１では対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算しそしてワールド座標系での確認用モデルの三次元特徴マッチングを行うものである。その他の処理は図４と同じである。
【００２５】
図６は、確認用モデル２Ｄマッチングと確認用モデル３Ｄマッチングとによる装置を示しており、この図６では、図４，図５に示す装置を組合せたもので図４に示す確認用モデル２Ｄマッチングを行ってこのマッチングの結果照合した特徴を対象特徴として対象特徴について確認用モデル３Ｄマッチングを行うものである。その他の処理は図４と同じである。
【００２６】
上述については、図１，図２，図３にて三次元位置決め方法、図４，図５，図６にて装置を示したものであるが、位置決め処理については、そのソフトウェアを記録したフロッピィディスク、ＣＤ−ＲＯＭ等の媒体により行われる。
【００２７】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する
（１）三次元物体認識においてその結果を確認する機能を持つため、複雑な形状を持つ部品を対象とした場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（２）三次元物体認識においてその結果を確認する機能を持つため、複数個の部品が画面内に存在する場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（３）三次元物体認識においてその結果を確認する機能を持つため、煩雑な背景や部品表面の汚れ等による環境条件が良好でない場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（４）複雑な形状を持つ部品に対しても、認識候補の確認機能によって正しい位置決めを行うことができる。
（５）部品の設置状況や環境条件が良好でない場合でも、認識候補の確認機能によって正しい位置決めを行うことができる。
（６）認識候補の確認機能によって正しい位置決めを行うことができるため、部品位置決め装置として高い信頼性を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態で三次元位置決め方法の一例のフローチャート。
【図２】三次元位置決め方法の他の例のフローチャート。
【図３】三次元位置決め方法のその他の例のフローチャート。
【図４】本発明の実施の形態で三次元位置決め装置の一例のブロック図。
【図５】三次元位置決め装置の他の例のブロック図。
【図６】三次元位置決め装置のその他の例のブロック図。
【符号の説明】
５ 位置姿勢計算用モデル特徴マッチング部
７ モデル座標変換部
８ 確認用モデル２Ｄマッチング部
１０ 対象特徴設定部
１１ 確認用モデル３Ｄマッチング部
Claims (9)
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法。
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法。
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにした三次元位置決め方法。
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
- 対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
- 対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル２Ｄマッチング部と、を有する三次元位置決め装置。
- 対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、抽出特徴を対象特徴として設定する対象特徴設定部と、この対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル３Ｄマッチング部と、を有する三次元位置決め装置。
- 対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、確認用モデル２Ｄマッチングを行う部分、さらに、この２Ｄマッチングで照合した特徴を対象特徴として設定する対象特徴設定部、そして確認用モデル３Ｄマッチングを行う部分、を有する三次元位置決め装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24664898A JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24664898A JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000074628A JP2000074628A (ja) | 2000-03-14 |
| JP3763215B2 true JP3763215B2 (ja) | 2006-04-05 |
Family
ID=17151549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24664898A Expired - Lifetime JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3763215B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5093591B2 (ja) * | 2008-03-10 | 2012-12-12 | 株式会社Ｉｈｉ | 三次元位置姿勢計測方法および装置 |
| JP5027741B2 (ja) * | 2008-06-18 | 2012-09-19 | セコム株式会社 | 画像監視装置 |
| JP2008276805A (ja) * | 2008-08-04 | 2008-11-13 | Central Res Inst Of Electric Power Ind | 電線点検用画像の作成方法 |
| JP5393318B2 (ja) * | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
| CN103310204B (zh) * | 2013-06-28 | 2016-08-10 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| JP6040264B2 (ja) * | 2015-02-13 | 2016-12-07 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
-
1998
- 1998-09-01 JP JP24664898A patent/JP3763215B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000074628A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9594950B2 (en) | Depth mapping with enhanced resolution | |
| JP4046835B2 (ja) | 可動ロボットに対する距離データの高速面区分化方法 | |
| JP2021022383A5 (ja) | ||
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| Collins et al. | Automatic extraction of buildings and terrain from aerial images | |
| CN109271908B (zh) | 车损检测方法、装置及设备 | |
| JP2000517452A (ja) | 視認の方法 | |
| JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
| JP3763215B2 (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 | |
| TW201433774A (zh) | 車輛規格測量處理裝置、車輛規格測量方法及記錄媒體 | |
| KR20090049438A (ko) | 스테레오 영상을 이용한 사람 검출 방법 | |
| JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
| JP2008146154A (ja) | 車種判別装置 | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| JP3849228B2 (ja) | 部品の円特徴の三次元位置姿勢検出装置、その検出方法及びその記録媒体 | |
| JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
| CN116309839A (zh) | 一种基于遥测数据的跑道自动标注方法 | |
| US20220262083A1 (en) | Annotation of 3d models with signs of use visible in 2d images | |
| JPH09304019A (ja) | 対象物体の位置・姿勢検出方法 | |
| JP3867410B2 (ja) | 三次元視覚位置決め方法及び装置 | |
| JP2001076142A (ja) | 指紋画像照合方法及び装置及びこの方法を記録した記録媒体 | |
| JPH0738223B2 (ja) | 移動ロボット用画像認識装置 | |
| JPH085333A (ja) | ３次元位置姿勢認識装置 | |
| JPH01271884A (ja) | 指紋中心検出装置 | |
| US11983836B2 (en) | Annotation of 3D models with signs of use visible in 2D images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060109 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140127 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |