JP7327484B2 - テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム - Google Patents
テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム Download PDFInfo
- Publication number
- JP7327484B2 JP7327484B2 JP2021534434A JP2021534434A JP7327484B2 JP 7327484 B2 JP7327484 B2 JP 7327484B2 JP 2021534434 A JP2021534434 A JP 2021534434A JP 2021534434 A JP2021534434 A JP 2021534434A JP 7327484 B2 JP7327484 B2 JP 7327484B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- template
- data
- viewpoint
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラムに関する。
画像から物体を認識（検出）する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、認識対象となる物体のモデル（テンプレート）を予め用意しておき、入力画像とモデルとの間の画像特徴の一致度を評価することで入力画像に含まれる物体を検出する方法である。テンプレートマッチングによる物体認識は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボットビジョン、監視カメラなど、多岐にわたる分野で利用されている。
このようなテンプレートは、認識対象となる物体（以下、「対象物体」ともいう。）の３ＤＣＡＤデータを用いて作成することができる。しかし、対象物体の３ＤＣＡＤデータがない場合や、３ＤＣＡＤデータと実際の対象物体との差異が大きい場合のように、３ＤＣＡＤデータと用いることができない、又は適切でない場合がある。このような場合には、実際の対象物体を３次元計測した３次元計測データを用いてテンプレートを作成する。
従来、認識対象となる物体（以下「対象物体」ともいう。）の完全な３次元モデルを作成するためには、あらゆる角度から対象物体を撮影した３次元計測データを取得する必要があった。このため、必要な撮影回数が多くなり、計測に長時間を要していた。
このため、様々な姿勢で配置された複数個の対象物体を撮影することにより、様々な角度からの対象物体を撮影した場合と同等の３次元計測データを取得する技術が提案されている（例えば、特許文献１参照）。
しかし、このような場合でも、完全な３次元モデルを作成しようとすれば、大量の物体を、当該物体のあらゆる面をカバーするように配置する必要があるため、撮影に長時間を要していた。
本発明は、上記のような問題に鑑みてなされたものであり、対象物体の３次元計測データを用いて物体認識用のテンプレートを作成する際に必要な撮影回数を削減し、テンプレート作成の所要時間を短縮することを目的とする。
上記の課題を解決するための本発明は、
対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
前記対象物体の対称性を特定する対称性パラメータを設定する対称性パラメータ設定部と、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成する３次元データ複製部と、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成位置姿勢データ取得部と、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成する作成視点３次元データ生成部と、
を備えることを特徴とするテンプレート作成装置である。
対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
前記対象物体の対称性を特定する対称性パラメータを設定する対称性パラメータ設定部と、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成する３次元データ複製部と、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成位置姿勢データ取得部と、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成する作成視点３次元データ生成部と、
を備えることを特徴とするテンプレート作成装置である。
本発明によれば、対称性パラメータによって設定された対称性に基づいて、対象物体の部分的な３次元計測データを複製して全体の３次元データを生成するので、対象物体の３次元計測データの計測回数がより少なくて済む。このようにして生成された３次元データに基づいてテンプレートを作成するので、テンプレート作成に要する時間を短縮することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成することで、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成することで、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
また、本発明においては、
前記対称性パラメータは、前記対象物体が面対称であることを特定するパラメータであってもよいし、前記対象物体が回転対称であることを特定するパラメータであってもよいし、前記対象物体が（３６０／Ｎ）度（Ｎは２以上の自然数）の回転について対称であることを特定するパラメータであってもよい。
前記対称性パラメータは、前記対象物体が面対称であることを特定するパラメータであってもよいし、前記対象物体が回転対称であることを特定するパラメータであってもよいし、前記対象物体が（３６０／Ｎ）度（Ｎは２以上の自然数）の回転について対称であることを特定するパラメータであってもよい。
対象物体の対称性としては、例えば、面対称、回転対称、（３６０／Ｎ）度（Ｎは２以上の自然数）の回転について対称等があるが、これに限定されず、これらを組み合わせた対称性も含む。また、対象物体が面対称である場合には、対称性パラメータとして対称面を特定するパラメータを設定することができる。対象物体が回転対称である場合には、対称性パラメータとして回転軸を特定するパラメータを設定することができる。また、対象物体が（３６０／Ｎ）度（Ｎは２以上の自然数）の回転について対称である場合には、対称性パラメータとして回転軸とＮとを特定するパラメータを設定することができる。このような対称性パラメータを設定することにより、対象物体の対称性に応じた対称性を設定することができる。
また、本発明において、
前記対称性パラメータ及び前記計測視点の位置姿勢の少なくともいずれか一方について、ユーザの設定を受け付けるようにしてもよい。
前記対称性パラメータ及び前記計測視点の位置姿勢の少なくともいずれか一方について、ユーザの設定を受け付けるようにしてもよい。
このようにすれば、ユーザが、実際の対象物体の形状に応じ適切な対称性パラメータや計測視点の位置姿勢を設定することができるので、テンプレート作成に要する時間をより短縮できる。また、より正確なテンプレートの作成が可能となる。
また、本発明は、
前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。
前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。
本発明によれば、対象物体の３次元計測データに基づいて作成されたテンプレートによって物体認識が行われるので、物体認識に要する時間を短縮することができる。また、より正確なテンプレートにより高精度の物体認識が可能となる。
また、本発明は、
対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記対象物体の対称性を特定する対称性パラメータを設定すると、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成するステップと、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するステップと、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成するステップと、
を含むことを特徴とするテンプレート作成方法である。
対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記対象物体の対称性を特定する対称性パラメータを設定すると、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成するステップと、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するステップと、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成するステップと、
を含むことを特徴とするテンプレート作成方法である。
本発明によれば、対称性パラメータによって設定された対称性に基づいて、対象物体の部分的な３次元計測データを複製して全体の３次元データを生成するので、対象物体の３次元計測データの計測回数がより少なくて済む。このようにして生成された３次元データに基づいてテンプレートを作成するので、テンプレート作成に要する時間を短縮することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成することで、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
また、本発明に含まれる各ステップの順序は記載された順序に限定されるものではない。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成することで、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
また、本発明に含まれる各ステップの順序は記載された順序に限定されるものではない。
テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含むことを特徴とする物体認識処理方法である。
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含むことを特徴とする物体認識処理方法である。
本発明によれば、対象物体の３次元計測データに基づいて作成されたテンプレートによって物体認識が行われるので、物体認識に要する時間を短縮することができる。また、より正確なテンプレートにより高精度の物体認識が可能となる。
また、本発明は、
前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。
前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明は、
前記物体認識処理方法の各ステップをコンピュータに実行させるためのプログラムである。
前記物体認識処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明によれば、対象物体の３次元計測データを用いて、物体認識用のテンプレートを作成する際に必要な撮影回数を削減し、テンプレート作成の所要時間を短縮することができる。
〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
図１１に示すような、六角形のナットの対象物体２７１の３次元計測データを用いて、物体認識のためのテンプレートを作成する場合に、従来であれば、対象物体２７１の６面、すなわち斜め前方からの撮影視点ＩＭＰ１１，ＩＭＰ１２，ＩＭＰ１３，ＩＭＰ１４，ＩＭＰ１５，ＩＭＰ１６からの３次元計測を、それぞれ表（紙面手前側）と裏（紙面奥側）から行う必要があり、計１２回の３次元計測が必要となっていた。
このような対象物体２７１は、図６に示すように、ナット２７１の略円筒形の中空内部の中心軸（紙面に直交するＺ軸）の方向から見たときに、ナット２７１は、この中心軸のまわりに６０度回転させると対称となる。また、図７に示すように、ナット２７１の中心軸方向に直交する方向の平面ＰＬに対して面対称となる。
本発明では、上述のような対象物体の対称性に着目し、図８に示すように、斜め上方からの１つの３次元計測データを中心軸の周りに６０度ずつ６回回転させて複製することにより、中心軸回りに６０度回転させた部分の３次元データを生成している。さらに、このように生成された３次元データを、面ＰＬに対して面対称に複製することにより、３次元データを生成する。従って、斜め上方の１つ撮影視点からの３次元計測によって、対象物体２７１の３次元データを生成できる。
以下、本発明の適用例について、図面を参照しつつ説明する。
図１１に示すような、六角形のナットの対象物体２７１の３次元計測データを用いて、物体認識のためのテンプレートを作成する場合に、従来であれば、対象物体２７１の６面、すなわち斜め前方からの撮影視点ＩＭＰ１１，ＩＭＰ１２，ＩＭＰ１３，ＩＭＰ１４，ＩＭＰ１５，ＩＭＰ１６からの３次元計測を、それぞれ表（紙面手前側）と裏（紙面奥側）から行う必要があり、計１２回の３次元計測が必要となっていた。
このような対象物体２７１は、図６に示すように、ナット２７１の略円筒形の中空内部の中心軸（紙面に直交するＺ軸）の方向から見たときに、ナット２７１は、この中心軸のまわりに６０度回転させると対称となる。また、図７に示すように、ナット２７１の中心軸方向に直交する方向の平面ＰＬに対して面対称となる。
本発明では、上述のような対象物体の対称性に着目し、図８に示すように、斜め上方からの１つの３次元計測データを中心軸の周りに６０度ずつ６回回転させて複製することにより、中心軸回りに６０度回転させた部分の３次元データを生成している。さらに、このように生成された３次元データを、面ＰＬに対して面対称に複製することにより、３次元データを生成する。従って、斜め上方の１つ撮影視点からの３次元計測によって、対象物体２７１の３次元データを生成できる。
また、図１２に示すような、柱状の対象物体２７２の３次元計測データを用いて、物体認識のためのテンプレートを作成する場合に、従来であれば、対象物体２７２の４面、すなわち斜め前方からの撮影視点ＩＭＰ２１，ＩＭＰ２４，ＩＭＰ２５，ＩＭＰ２６からの３次元計測を、それぞれ表（紙面手前側）と裏（紙面奥側）から行う必要があり、計８回の３次元計測が必要となっていた。
このような対象物体２７２は、図９に示すように、対象物体２７２の斜め上方の撮影視点ＩＭＰ２１からみたとき、紙面に平行な面に対して面対称であり、斜め右上方の撮影視点ＩＭＰ２２と斜め左上方の撮影視点ＩＭＰ２３からみたときに紙面に直交する軸の周りにそれぞれ２回対称である。
本発明では、上述のような対象物体の対称性に着目し、図９に示すように、撮影視点ＩＭＰ２１からの１つの３次元計測データを面対称に複製し、紙面に平行な面に面対称な部分の３次元データを生成し、撮影視点ＩＭＰ２２及びＩＭＰ２３からの３次元計測データをそれぞれ１８０度回転させて、紙面に直交する軸の周りに１８０度回転させた部分の３次元データを生成する。従って、ＩＭＰ２１～２３の３つの撮影視点からの３回の３次元計測によって、対象物体２７１の３次元データを生成できる。
このような対象物体２７２は、図９に示すように、対象物体２７２の斜め上方の撮影視点ＩＭＰ２１からみたとき、紙面に平行な面に対して面対称であり、斜め右上方の撮影視点ＩＭＰ２２と斜め左上方の撮影視点ＩＭＰ２３からみたときに紙面に直交する軸の周りにそれぞれ２回対称である。
本発明では、上述のような対象物体の対称性に着目し、図９に示すように、撮影視点ＩＭＰ２１からの１つの３次元計測データを面対称に複製し、紙面に平行な面に面対称な部分の３次元データを生成し、撮影視点ＩＭＰ２２及びＩＭＰ２３からの３次元計測データをそれぞれ１８０度回転させて、紙面に直交する軸の周りに１８０度回転させた部分の３次元データを生成する。従って、ＩＭＰ２１～２３の３つの撮影視点からの３回の３次元計測によって、対象物体２７１の３次元データを生成できる。
このようにすれば、対象物体の３次元計測データの計測回数がより少なくて済む。このようにして生成された３次元データに基づいてテンプレートを作成するので、テンプレート作成に要する時間を短縮することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成した場合には、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成した場合には、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
〔実施形態〕
（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置について説明する。
（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置について説明する。
物体認識装置２は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータを用いて、テンプレートマッチングによりトレイ２６に積載された対象物体２７の位置・姿勢を認識（３次元の物体認識）するシステムである。トレイ２６上には、認識対象の物体（以下、「対象物体」ともいう。）２７がバラ積みされている。
物体認識装置２は、概略、センサユニット２０と画像処理装置２１から構成される。センサユニット２０と画像処理装置２１のあいだは有線又は無線で接続されており、センサユニット２０の出力は画像処理装置２１に取り込まれる。画像処理装置２１は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置２１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。物体認識装置２の認識結果は、例えばＰＬＣ（プログラマブルロジックコントローラ）２５やディスプレイ２２などに出力される。認識結果は、例えば、ピッキング・ロボット２８の制御、加工装置や印字装置の制御、対象物体２７の検査や計測などに利用される。
（センサユニット）
センサユニット２０は、対象物体２７の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２７の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２７にパターン光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２７の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。
センサユニット２０は、対象物体２７の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２７の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２７にパターン光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２７の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。
（画像処理装置）
画像処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
画像処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
図２は、画像処理装置２１の構成を示すブロック図である。画像処理装置２１は、テンプレート作成装置３０の構成と、物体認識処理装置３１の構成を有している。
テンプレート作成装置３０は、物体認識処理で利用するテンプレートを作成するための構成であり、撮影視点３次元位置姿勢データ取得部３００、対象物体の３次元計測データ取得部３０１、対称性パラメータ設定部３０２、３次元データ複製部３０３、テンプレート作成視点位置姿勢情報取得部３０４、テンプレート作成視点の３次元データ生成部３０５、特徴抽出部３０６、テンプレート作成部３０７、テンプレート情報出力部３０８を有する。本実施形態では、撮影視点３次元位置姿勢データ取得部３００が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、対象物体の３次元計測データ取得部３０１が本発明の「３次元計測データ取得部」に対応する。また、本実施形態では、３次元データ複製部３０３が、本発明の「３次元データ複製部」に対応する。また、本実施形態では、テンプレート作成視点位置姿勢情報取得部３０４が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の３次元データ生成部３０５が、本発明の「作成視点３次元データ生成部」に対応する。
物体認識処理装置３１は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部３１０、画像ピラミッド作成部３１１、特徴抽出部３１２、テンプレート情報取得部３１３、テンプレートマッチング部３１４、認識結果出力部３１５を有する。本実施形態では、画像取得部３１０、特徴抽出部３１２、テンプレートマッチング部３１４が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。
テンプレート作成装置３０は、物体認識処理で利用するテンプレートを作成するための構成であり、撮影視点３次元位置姿勢データ取得部３００、対象物体の３次元計測データ取得部３０１、対称性パラメータ設定部３０２、３次元データ複製部３０３、テンプレート作成視点位置姿勢情報取得部３０４、テンプレート作成視点の３次元データ生成部３０５、特徴抽出部３０６、テンプレート作成部３０７、テンプレート情報出力部３０８を有する。本実施形態では、撮影視点３次元位置姿勢データ取得部３００が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、対象物体の３次元計測データ取得部３０１が本発明の「３次元計測データ取得部」に対応する。また、本実施形態では、３次元データ複製部３０３が、本発明の「３次元データ複製部」に対応する。また、本実施形態では、テンプレート作成視点位置姿勢情報取得部３０４が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の３次元データ生成部３０５が、本発明の「作成視点３次元データ生成部」に対応する。
物体認識処理装置３１は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部３１０、画像ピラミッド作成部３１１、特徴抽出部３１２、テンプレート情報取得部３１３、テンプレートマッチング部３１４、認識結果出力部３１５を有する。本実施形態では、画像取得部３１０、特徴抽出部３１２、テンプレートマッチング部３１４が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。
（３次元データ複製処理）
図３は、テンプレート作成装置３０において行われるテンプレート作成方法としてのテンプレート作成処理の全体的な手順を示すフローチャートである。ここでは、まず、このうち、ステップＳ１０１の３次元データ複製処理について、図４Ａ及び図４Ｂを参照して説明する。図４Ａ及び図４Ｂは、３次元データ複製処理手順を説明するフローチャートである。図４Ａは対象物体が面対称の場合、図４Ｂは対称物体が回転対称又は後述するＮ回対称（Ｎは２以上の自然数）の場合である。
図３は、テンプレート作成装置３０において行われるテンプレート作成方法としてのテンプレート作成処理の全体的な手順を示すフローチャートである。ここでは、まず、このうち、ステップＳ１０１の３次元データ複製処理について、図４Ａ及び図４Ｂを参照して説明する。図４Ａ及び図４Ｂは、３次元データ複製処理手順を説明するフローチャートである。図４Ａは対象物体が面対称の場合、図４Ｂは対称物体が回転対称又は後述するＮ回対称（Ｎは２以上の自然数）の場合である。
まず、図４Ａに示すフローチャートを参照して、対象物体が面対称である場合の３次元データ複製処理手順を説明する。
ステップＳ１１において、３次元データ複製部３０３が、３次元計測時の撮影視点の３次元位置姿勢に関するデータを撮影視点３次元位置姿勢データ取得部３００から、対象物体の３次元計測データを対象物体の３次元計測データ取得部３０１から、対称性パラメータ設定部３０２から対称性パラメータをそれぞれ取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。
ステップＳ１１において、３次元データ複製部３０３が、３次元計測時の撮影視点の３次元位置姿勢に関するデータを撮影視点３次元位置姿勢データ取得部３００から、対象物体の３次元計測データを対象物体の３次元計測データ取得部３０１から、対称性パラメータ設定部３０２から対称性パラメータをそれぞれ取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。
図５は、対象物体の３次元計測データ及び撮影視点の３次元位置姿勢に関する情報を取得する構成の概略を説明する図である。
対象物体２７１に対して、３次元センサ２２０を所定の位置姿勢に配置して、対象物体２７１の３次元計測データを取得（撮影）するとともに、撮影視点の位置姿勢情報を取得する。３次元センサ２２０によって対象物体を異なる視点から撮影して３次元計測データを取得する場合には、３次元センサ２２０を固定して、対象物体２７１の姿勢を変えるようにしてもよいし、対象物体２７１を固定して、３次元センサ２２０の姿勢を変えるようにしてもよく、３次元センサ２２０と対象物体２７１の相対的な位置関係が変わればよい。図５では、３次元センサ２２０によって載置面３２上に載置された対象物体２７１を撮影して３次元計測データを取得する場合の一例を示す。ここでは、３次元センサ２２０を固定して、載置面３２の姿勢を変えてもよいし、載置面３２の姿勢を固定し、３次元センサ２２０の姿勢を変えるようにしてもよい。
また、撮影視点の３元位置姿勢は、対象物体の載置面３２に表示された平面マーカ３３や、載置面に対して固定して配置された参照物体（３ＤＣＡＤデータ等により形状が分かっている物体）を認識することによって取得してもよいし、対象物体の載置面３２をゴニオステージ上に設けることによって取得してもよい。
対象物体２７１に対して、３次元センサ２２０を所定の位置姿勢に配置して、対象物体２７１の３次元計測データを取得（撮影）するとともに、撮影視点の位置姿勢情報を取得する。３次元センサ２２０によって対象物体を異なる視点から撮影して３次元計測データを取得する場合には、３次元センサ２２０を固定して、対象物体２７１の姿勢を変えるようにしてもよいし、対象物体２７１を固定して、３次元センサ２２０の姿勢を変えるようにしてもよく、３次元センサ２２０と対象物体２７１の相対的な位置関係が変わればよい。図５では、３次元センサ２２０によって載置面３２上に載置された対象物体２７１を撮影して３次元計測データを取得する場合の一例を示す。ここでは、３次元センサ２２０を固定して、載置面３２の姿勢を変えてもよいし、載置面３２の姿勢を固定し、３次元センサ２２０の姿勢を変えるようにしてもよい。
また、撮影視点の３元位置姿勢は、対象物体の載置面３２に表示された平面マーカ３３や、載置面に対して固定して配置された参照物体（３ＤＣＡＤデータ等により形状が分かっている物体）を認識することによって取得してもよいし、対象物体の載置面３２をゴニオステージ上に設けることによって取得してもよい。
ここで、対称性パラメータとは、ある位置姿勢の撮影視点から見た対象物体と他の位置姿勢の撮影視点から見た対象物体が対称性を有する場合に、一方の位置姿勢の撮影視点からの３次元計測データを複製し、対称性を有する他方の位置姿勢からの３次元計測データとして用いるための、対称性の指標である。
このような対称性パラメータとしては、回転軸のまわりの回転対称があり、対象物体の回転軸を特定するデータが対称性パラメータとなる。
このような対称性パラメータとしては、回転軸のまわりの回転対称があり、対象物体の回転軸を特定するデータが対称性パラメータとなる。
図６に示すように、対象物体が六角形のナット２７１である場合には、ナットの略円筒形の中空内部の中心軸（紙面に直交するＺ軸）の方向から見たときに、ナット２７１は、この中心軸のまわりに６０度回転させると対称となる。すなわち、６０度ずつ回転させた場合のナット２７１の３次元形状は同一である。なお、ここでは、同一は厳密な意味での同一ではなく、テンプレートを作成するための３次元計測データという目的に応じた同一を意味する。このように対称軸の回りに（３６０／Ｎ）度回転させると同一となり、Ｎ（Ｎ＝６）回回転させるともとの形状となるような対称性を、Ｎ回対称（以下「Ｎ」を対象数という。）と称する。この場合には、対象物体の回転軸を特定するデータと、対象数Ｎが対称性パラメータとなる。
また、図７に示すように、ナット２７１は、中心軸に沿った高さ方向の１／２の位置で、高さ方向に直交する面ＰＬに対して面対称である。この場合には、対象物体の対称面を特定するデータが対称性パラメータとなる。
また、図７に示すように、ナット２７１は、中心軸に沿った高さ方向の１／２の位置で、高さ方向に直交する面ＰＬに対して面対称である。この場合には、対象物体の対称面を特定するデータが対称性パラメータとなる。
このような対称性パラメータは、ユーザが入力装置を介して設定してもよいし、ユーザが指定した対象物体の形状に応じて算出するようにしてもよい。
ステップＳ１１で取得された対称性パラメータが面対称を示すパラメータを含む場合には、ステップＳ１２において、全撮影視点の３次元計測データから対象物体の高さ（Ｈ）を算出する。対象物体の高さは、対称面に直交する方向（法線方向）の高さである。
ステップＳ１３において、まだ複製されていない撮影視点の３次元計測データを一つ取り出す。
ステップＳ１４において、３次元計測データの奥行き方向距離のみ対象物体の半分の高さで反転させたデータを複製する。このとき、複製される３次元計測データの奥行き方向をＺ軸方向とすると、Ｚ座標としてＺｏｒｇを有する３次元計測データを、対象物体の半分の高さで反転させたＺｎｅｗのＺ座標を有する３次元データを、複製データとして生成する。
ステップＳ１５において、複製により、対象物体に対する全ての視点に対する３次元データが生成された否かを判断する。
ステップＳ１５において、複製により、対象物体に対する全ての視点に対する３次元データが生成されたと判断された場合には、面対称に対する３次元データ複製処理を終了する。
ステップＳ１５において、複製により３次元データが生成されていない視点がある場合には、ステップＳ１３以降の処理を繰り返す。
ステップＳ１５において、複製により３次元データが生成されていない視点がある場合には、ステップＳ１３以降の処理を繰り返す。
次に、図４Ｂに示すフローチャートを参照して、対象物体が回転対称又はＮ回対称である場合の３次元データ複製処理手順を説明する。図４Ａと共通する処理については、同様の符号を用いて詳細な説明は省略する。
まず、ステップＳ１１において、３次元データ複製部３０３が、３次元計測時の撮影視点の３次元位置姿勢に関するデータ、対象物体の３次元計測データ、対称性パラメータをそれぞれ取得する。
以下に説明するのは、対称性パラメータが回転対称又はＮ回対称を示すパラメータを含む場合の処理である。
以下に説明するのは、対称性パラメータが回転対称又はＮ回対称を示すパラメータを含む場合の処理である。
次に、ステップＳ１６において、まだ、複製されていない撮影視点の３次元計測データを一つ取り出す。
ステップＳ１７において、Ｚ軸を対象物体の回転軸として、Ｎ回対称の場合には、すでに生成されている撮影視点の３次元計測データを、Ｚ軸回りに（３６０／Ｎ）度だけ回転させて複製することにより、当該撮影視点の３次元データを生成する。また、回転対称の場合には、すでに生成されている撮影視点の３次元計測データを、Ｚ軸回りに任意の角度だけ回転させて複製することにより、当該撮影視点の３次元データを生成する。
ここで、対象物体がＮ回対称や回転対称である場合には、回転させた３次元データと元の３次元計測データとの回転中心を一致させる必要がある。３次元データ間で回転中心を一致させるには、２次元平面に投影したシルエット画像同士を用いてテンプレートマッチングの方法で回転中心を同定することができる。また、３次元点群同士を用いてＩＣＰ（Iterative Closest Point）法による位置合わせの方法により回転中心を同定するようにしてもよい。また、上述したように対称性パラメータとしてユーザが回転中心を指定することもできるし、視野内の既知の点に対象物体の回転中心が一致するように対象物体を設置するようにしてもよい。
ここで、対象物体がＮ回対称や回転対称である場合には、回転させた３次元データと元の３次元計測データとの回転中心を一致させる必要がある。３次元データ間で回転中心を一致させるには、２次元平面に投影したシルエット画像同士を用いてテンプレートマッチングの方法で回転中心を同定することができる。また、３次元点群同士を用いてＩＣＰ（Iterative Closest Point）法による位置合わせの方法により回転中心を同定するようにしてもよい。また、上述したように対称性パラメータとしてユーザが回転中心を指定することもできるし、視野内の既知の点に対象物体の回転中心が一致するように対象物体を設置するようにしてもよい。
ステップＳ１８において、複製により、対象物体に対する全ての視点に対する３次元データが生成された否かを判断する。
ステップＳ１８において、複製により、対象物体に対する全ての視点に対する３次元データが生成されたと判断された場合には、回転対称又はＮ回対称に対する３次元データ複製処理を終了する。
ステップＳ１８において、複製により３次元データが生成されていない視点がある場合には、ステップＳ１６以降の処理を繰り返す。
ステップＳ１８において、複製により３次元データが生成されていない視点がある場合には、ステップＳ１６以降の処理を繰り返す。
図４Ａ及び図４Ｂでは、対称性パラメータが面対称を示すパラメータを含む場合と、対称性パラメータが回転対称又はＮ回対称を示すパラメータを含む場合とを分けて説明したが、対称性パラメータが面対称を示すパラメータと、回転対称又はＮ回対称を示すパラメータの両者を含む場合は、図４Ａ及び図４Ｂの両者の処理を行う。この場合の両者の処理の順序は適宜設定すればよい。
対象物体２７１が六角形のナットの場合には、例えば、図８Ａに示すように、斜め上方から対象物体を撮影した３次元計測データを、図８Ｂの撮影視点ＩＭＰ１１に対する６回対称と、中空内部の中心軸方向に直交する方向の面対称とを利用して複製し、対象物体２７１の全体の３次元データを生成する。
また、図９に示すような、柱状の対象物体２７２の場合には、撮影視点ＩＭＰ１１に対して面対称であり、撮影視点ＩＭＰ１２及びＩＭＰ１３のそれぞれに対して２回対称である。このように対称性パラメータが面対称を示すパラメータと、回転対称又はＮ回対称を示すパラメータの両者を含む場合には、撮影視点ＩＭＰ１１に対する３次元計測データの面対称による複製と、撮影視点ＩＭＰ１２及びＩＭＰ１３のそれぞれに対する２回対称による複製により、全ての視点に対する３次元計測データを生成することができる。
対象物体２７１が六角形のナットの場合には、例えば、図８Ａに示すように、斜め上方から対象物体を撮影した３次元計測データを、図８Ｂの撮影視点ＩＭＰ１１に対する６回対称と、中空内部の中心軸方向に直交する方向の面対称とを利用して複製し、対象物体２７１の全体の３次元データを生成する。
また、図９に示すような、柱状の対象物体２７２の場合には、撮影視点ＩＭＰ１１に対して面対称であり、撮影視点ＩＭＰ１２及びＩＭＰ１３のそれぞれに対して２回対称である。このように対称性パラメータが面対称を示すパラメータと、回転対称又はＮ回対称を示すパラメータの両者を含む場合には、撮影視点ＩＭＰ１１に対する３次元計測データの面対称による複製と、撮影視点ＩＭＰ１２及びＩＭＰ１３のそれぞれに対する２回対称による複製により、全ての視点に対する３次元計測データを生成することができる。
（テンプレート作成処理）
図３に戻って、テンプレート作成処理手順を説明する。
図３に戻って、テンプレート作成処理手順を説明する。
上述の３次元データ複製処理（ステップＳ１０１）に続いて、テンプレート作成視点の３次元データ生成部３０５は、ステップＳ１０２において、テンプレート作成視点位置姿勢情報取得部３０４から、対象物体に対してテンプレートを作成する視点であるテンプレート作成視点の位置姿勢に関する情報を取得する。このテンプレート作成視点の位置姿勢に関する情報は、ユーザが入力装置を介してしてもよいし、所定の方法によって複数のテンプレート作成視点の位置姿勢を設定しておくようにしてもよい。
ステップＳ１０３において、し、ステップＳ１０１で複製された対象物体の３次元データに基づき、ステップＳ１０２で取得されたテンプレート作成視点における３次元データを生成する。
ステップＳ１０４において、特徴抽出部３０６が、ステップＳ１０３で生成された、テンプレート作成視点に対する対象物体２７の３次元計測データに基づいて、対象物体２７の画像特徴を抽出する。画像特徴としては、例えば、輝度、色、輝度勾配方向、量子化勾配方向、ＨｏＧ（Histogram of Oriented Gradients）、表面の法線方向、ＨＡＡＲ－ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向（角度）を連続値で表すものであり、量子化勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す（例えば、８方向を０～７の１バイトの情報で保持する）ものである。画像特徴が得られた点を特徴点と呼ぶ。
ステップＳ１０５において、テンプレート作成部３０７が、ステップＳ１０４で抽出された画像特徴に基づいて、テンプレート作成視点に対応するテンプレートを作成する。テンプレートは、例えば、各特徴点の座標値と抽出された画像特徴とを含むデータセットである。
ステップＳ１０６において、テンプレート作成部３０７は、ステップＳ１０２で取得された全てのテンプレート作成視点に対するテンプレートが作成されたか否かを判断する。
ステップＳ１０６において、ステップＳ１０２で取得された全てのテンプレート作成視点に対するテンプレートが作成されたと判断された場合には、テンプレート作成部３０７は、テンプレート情報出力部３０８を介して、テンプレートのデータを物体認識処理装置に出力する。
ステップＳ１０６において、ステップＳ１０２で取得されたテンプレート作成視点のうち、テンプレートが作成されていないテンプレート作成視点がある場合には、ステップＳ１０３～Ｓ１０５の処理を繰り返す。
ステップＳ１０６において、ステップＳ１０２で取得された全てのテンプレート作成視点に対するテンプレートが作成されたと判断された場合には、テンプレート作成部３０７は、テンプレート情報出力部３０８を介して、テンプレートのデータを物体認識処理装置に出力する。
ステップＳ１０６において、ステップＳ１０２で取得されたテンプレート作成視点のうち、テンプレートが作成されていないテンプレート作成視点がある場合には、ステップＳ１０３～Ｓ１０５の処理を繰り返す。
（物体認識処理）
図１０のフローチャートを参照して、物体認識処理装置３１による物体認識処理方法の一例を説明する。
図１０のフローチャートを参照して、物体認識処理装置３１による物体認識処理方法の一例を説明する。
まず、ステップＳ２０１において、テンプレート情報取得部３１３は、テンプレート作成装置３０のテンプレート情報出力部３０８から出力されるテンプレートのデータを取得し、テンプレートマッチング部３１４に供給する。
次に、ステップＳ２０２において、画像取得部３１０が、対象物体を含み、物体認識処理の対象となる画像を取得する。この画像は、画像処理装置２１の内部記憶装置から読み込んでもよいし、外部のストレージ等からネットワークを介して取得してもよい。また、センサユニット２０で撮影された画像を取得するようにしてもよい。なお、認識結果をピッキング・ロボット２８の制御に用いる場合には、センサユニット２０をピッキング・ロボット２８のアームに取り付けるようにしてもよい。
次に、ステップＳ２０３において、画像ピラミッド作成部３１１が、画像取得部３１０によって取得された画像から低解像度画像を生成し、画像ピラミッドを生成する。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等のように低解像度画像から高解像度画像へと解像度を段階的に異ならせた複数の画像から画像ピラミッドを構成することができる。
次に、ステップＳ２０４において、特徴抽出部３１２は、画像ピラミッドを構成する各層画像に対して画像特徴を抽出する。抽出される画像特徴は、テンプレート作成の際の画像特徴と同種の特徴量である。画像ピラミッドの最上層である第１層画像（最も解像度が低い画像）に対する画像特徴の抽出の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する画像特徴の抽出の結果として、第２層特徴画像が得られる。
次に、ステップＳ２０５において、テンプレートマッチング部３１４は、テンプレート情報取得部３１３から供給される視点ごとのテンプレートのデータと、各テンプレートのデータに対応する特徴抽出部３１２算出した各特徴量とを用いてテンプレートマッチングを行う。
ここでは、テンプレートマッチング部３１４は、まず、第１層特徴画像と第１層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部３１４は、第１層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層（最も画像の解像度が高い層）における物体の存在位置姿勢を認識することができる。
ここでは、テンプレートマッチング部３１４は、まず、第１層特徴画像と第１層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部３１４は、第１層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層（最も画像の解像度が高い層）における物体の存在位置姿勢を認識することができる。
次に、ステップＳ２０６において、テンプレートマッチング部３１４は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部３１５に出力する。認識結果出力部３１５は、テンプレートマッチング部３１４から供給される認識情報を、外部装置や液晶パネル等に出力する。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボット２８の制御などに利用される。
（本実施形態の利点）
以上述べた構成及び処理では、指定された対称性に基づいて、対象物体の部分的な３次元計測データを複製して全体の３次元データを生成するので、対象物体の３次元計測データの計測回数がより少なくて済む。このようにして生成された３次元データに基づいてテンプレートを作成するので、テンプレート作成に要する時間を短縮することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成した場合には、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
以上述べた構成及び処理では、指定された対称性に基づいて、対象物体の部分的な３次元計測データを複製して全体の３次元データを生成するので、対象物体の３次元計測データの計測回数がより少なくて済む。このようにして生成された３次元データに基づいてテンプレートを作成するので、テンプレート作成に要する時間を短縮することができる。
また、対称性を利用して対象物体の３次元計測データを複製して、対象物体全体の３次元データを生成した場合には、計測誤差や撮影視点位置姿勢の誤差等による、複数の３次元計測データを統合する際のずれを軽減でき、より実物に近いテンプレートを作成できるので、より少ない計測回数でより正確なテンプレートを作成することができる。
＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
対象物体の３次元計測を行う場合には、撮影視点の数は、ユーザが決定してもよい。撮影視点は１視点でもよいし、複数視点でもよい。
計測視点位置姿勢は、ユーザが対象物体の対称性を考慮した上で、対象物体の全体の３次元データを生成できるように決定することができる。複製によって３次元データの生成を行いながら、次の、撮影視点を決定するようにしてもよい。
面対称な対象物体の複製の際に必要な高さは、各３次元計測データのＺ最大値（Ｚ方向の高さの最大値）近傍の測定結果の平均としてもよい。外れ値やノイズを考慮するために、各３次元計測データのＺ値（Ｚ方向の高さ）のヒストグラムを作成し、閾値以上の投票があった最大のビンのＺ値としてもよい。
また、面対称な対象物体の複製の際に必要な高さは、実測値をユーザが入力するようにしてもよい。
３次元計測データを複製する場合には、法線ベクトルや点群の色等の各３次元点に付随するデータがあれば、これらも同時に複製する。例えば、回転対称の場合には法線ベクトルも同様に回転させ、面対称の場合は奥行き成分のみを符号反転させる。
回転対称の場合には、回転させる角度は適宜設定することができるが、例えば３０度から４５度程度のように１視点で計測できる範囲に応じて設定することが好ましい。
３次元計測データの信頼性の高い範囲が分かっている場合には、その信頼性が高い範囲の３次元計測データを複製に用いるようにすれば、より正確な３次元データが生成できるので、より正確なテンプレートを生成することができる。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
対象物体の３次元計測を行う場合には、撮影視点の数は、ユーザが決定してもよい。撮影視点は１視点でもよいし、複数視点でもよい。
計測視点位置姿勢は、ユーザが対象物体の対称性を考慮した上で、対象物体の全体の３次元データを生成できるように決定することができる。複製によって３次元データの生成を行いながら、次の、撮影視点を決定するようにしてもよい。
面対称な対象物体の複製の際に必要な高さは、各３次元計測データのＺ最大値（Ｚ方向の高さの最大値）近傍の測定結果の平均としてもよい。外れ値やノイズを考慮するために、各３次元計測データのＺ値（Ｚ方向の高さ）のヒストグラムを作成し、閾値以上の投票があった最大のビンのＺ値としてもよい。
また、面対称な対象物体の複製の際に必要な高さは、実測値をユーザが入力するようにしてもよい。
３次元計測データを複製する場合には、法線ベクトルや点群の色等の各３次元点に付随するデータがあれば、これらも同時に複製する。例えば、回転対称の場合には法線ベクトルも同様に回転させ、面対称の場合は奥行き成分のみを符号反転させる。
回転対称の場合には、回転させる角度は適宜設定することができるが、例えば３０度から４５度程度のように１視点で計測できる範囲に応じて設定することが好ましい。
３次元計測データの信頼性の高い範囲が分かっている場合には、その信頼性が高い範囲の３次元計測データを複製に用いるようにすれば、より正確な３次元データが生成できるので、より正確なテンプレートを生成することができる。
なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
対象物体（２７）の３次元計測データに基づいて、該対象物体（２７）に対応するテンプレートを作成するテンプレート作成装置（３０）であって、
前記対象物体（２７１）の３次元計測データを取得する３次元計測データ取得部（３０１）と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部（３００）と、
前記対象物体の対称性を特定する対称性パラメータを設定する対称性パラメータ設定部（３０２）と、
前記計測視点に対応する前記３次元計測データと、前記対象物体（２７）の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体（２７）の３次元データを生成する３次元データ複製部（３０３）と、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成位置姿勢データ取得部（３０４）と、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成する作成視点３次元データ生成部（３０５）と、
を備えることを特徴とするテンプレート作成装置（３０）。
＜発明１＞
対象物体（２７）の３次元計測データに基づいて、該対象物体（２７）に対応するテンプレートを作成するテンプレート作成装置（３０）であって、
前記対象物体（２７１）の３次元計測データを取得する３次元計測データ取得部（３０１）と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部（３００）と、
前記対象物体の対称性を特定する対称性パラメータを設定する対称性パラメータ設定部（３０２）と、
前記計測視点に対応する前記３次元計測データと、前記対象物体（２７）の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体（２７）の３次元データを生成する３次元データ複製部（３０３）と、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成位置姿勢データ取得部（３０４）と、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成する作成視点３次元データ生成部（３０５）と、
を備えることを特徴とするテンプレート作成装置（３０）。
２：物体認識装置
２１：画像処理装置
２７：対象物体
３０：テンプレート作成装置
３１：物体認識処理装置
３００：撮影視点３次元位置姿勢データ取得部
３０１：対象物体の３次元計測データ取得部
３０２：対称性パラメータ設定部
３０３：３次元データ複製部
３０４：テンプレート作成視点位置姿勢情報取得部
３０５：テンプレート作成視点の３次元データ生成部
３１０：画像取得部
３１２：特徴抽出部
３１４：テンプレートマッチング部
２１：画像処理装置
２７：対象物体
３０：テンプレート作成装置
３１：物体認識処理装置
３００：撮影視点３次元位置姿勢データ取得部
３０１：対象物体の３次元計測データ取得部
３０２：対称性パラメータ設定部
３０３：３次元データ複製部
３０４：テンプレート作成視点位置姿勢情報取得部
３０５：テンプレート作成視点の３次元データ生成部
３１０：画像取得部
３１２：特徴抽出部
３１４：テンプレートマッチング部
Claims (9)
- 対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
前記対象物体の対称性を特定する対称性パラメータをユーザから受け付けて設定する対称性パラメータ設定部と、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成する３次元データ複製部と、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成位置姿勢データ取得部と、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成する作成視点３次元データ生成部と、
を備えることを特徴とするテンプレート作成装置。 - 前記対称性パラメータは、前記対象物体が面対称であることを特定するパラメータであることを特徴とする請求項１に記載のテンプレート作成装置。
- 前記対称性パラメータは、前記対象物体が回転対称であることを特定するパラメータであることを特徴とする請求項１又は２に記載のテンプレート作成装置。
- 前記対称性パラメータは、前記対象物体が（３６０／Ｎ）度（Ｎは２以上の自然数）の回転について対称であることを特定するパラメータであることを特徴とする請求項１又は２に記載のテンプレート作成装置。
- 前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
請求項１乃至４のいずれか１項に記載のテンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置。 - 対象物体の３次元計測データに基づいて、該対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記対象物体の対称性を特定する対称性パラメータをユーザから受け付けて設定するステップと、
前記計測視点に対応する前記３次元計測データと、前記対象物体の前記対称性パラメータに基づいて前記計測視点に対応する前記３次元計測データを複製した３次元データを用いて、該対象物体の３次元データを生成するステップと、
前記テンプレートを作成するための視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するステップと、
生成された前記対象物体の３次元データに基づいて、前記テンプレート作成視点からの３次元データを生成するステップと、
を含むことを特徴とするテンプレート作成方法。 - テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
請求項６に記載のテンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含むことを特徴とする物体認識処理方法。 - 請求項６に記載のテンプレート作成方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項７に記載の物体認識処理方法の各ステップをコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/028691 WO2021014542A1 (ja) | 2019-07-22 | 2019-07-22 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021014542A1 JPWO2021014542A1 (ja) | 2021-01-28 |
| JP7327484B2 true JP7327484B2 (ja) | 2023-08-16 |
Family
ID=74193521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021534434A Active JP7327484B2 (ja) | 2019-07-22 | 2019-07-22 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7327484B2 (ja) |
| WO (1) | WO2021014542A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010112729A (ja) | 2008-11-04 | 2010-05-20 | Omron Corp | ３次元モデルの作成方法および物体認識装置 |
| JP2017524085A (ja) | 2014-08-06 | 2017-08-24 | グリップル・リミテッドＧｒｉｐｐｌｅ Ｌｉｍｉｔｅｄ | グラウンドアンカ |
| JP2018197685A (ja) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさＤｎａ研究所 | 三次元計測装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7961934B2 (en) * | 2003-12-11 | 2011-06-14 | Strider Labs, Inc. | Probable reconstruction of surfaces in occluded regions by computed symmetry |
-
2019
- 2019-07-22 WO PCT/JP2019/028691 patent/WO2021014542A1/ja active Application Filing
- 2019-07-22 JP JP2021534434A patent/JP7327484B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010112729A (ja) | 2008-11-04 | 2010-05-20 | Omron Corp | ３次元モデルの作成方法および物体認識装置 |
| JP2017524085A (ja) | 2014-08-06 | 2017-08-24 | グリップル・リミテッドＧｒｉｐｐｌｅ Ｌｉｍｉｔｅｄ | グラウンドアンカ |
| JP2018197685A (ja) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさＤｎａ研究所 | 三次元計測装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021014542A1 (ja) | 2021-01-28 |
| JPWO2021014542A1 (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5480914B2 (ja) | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| JP6537237B2 (ja) | 情報処理装置および方法 | |
| WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| CN103562934B (zh) | 脸部位置检测 | |
| CN101630406A (zh) | 摄像机的标定方法及摄像机标定装置 | |
| JP6836561B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN114761997A (zh) | 目标检测方法、终端设备和介质 | |
| US20130287293A1 (en) | Active Lighting For Stereo Reconstruction Of Edges | |
| CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| JP2015059849A (ja) | 色と三次元形状の計測方法及び装置 | |
| JP2003065737A (ja) | 表面形状測定装置及びその方法、並びに表面状態図化装置 | |
| GB2569609A (en) | Method and device for digital 3D reconstruction | |
| Hafeez et al. | 3D surface reconstruction of smooth and textureless objects | |
| JP7327484B2 (ja) | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム | |
| JP7251631B2 (ja) | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム | |
| JP4548228B2 (ja) | 画像データ作成方法 | |
| JP6846003B2 (ja) | 造形物検査装置、造形物検査制御装置および造形物検査方法 | |
| JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
| KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN115272080A (zh) | 基于图像拼接的全局变形测量方法和系统 | |
| Sosa et al. | 3D surface reconstruction of entomological specimens from uniform multi-view image datasets | |
| Skabek et al. | Comparison of photgrammetric techniques for surface reconstruction from images to reconstruction from laser scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230717 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7327484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |