JP7251631B2 - Template creation device, object recognition processing device, template creation method, object recognition processing method, and program - Google Patents
Template creation device, object recognition processing device, template creation method, object recognition processing method, and program Download PDFInfo
- Publication number
- JP7251631B2 JP7251631B2 JP2021534891A JP2021534891A JP7251631B2 JP 7251631 B2 JP7251631 B2 JP 7251631B2 JP 2021534891 A JP2021534891 A JP 2021534891A JP 2021534891 A JP2021534891 A JP 2021534891A JP 7251631 B2 JP7251631 B2 JP 7251631B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- template
- dimensional
- template creation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラムに関する。 The present invention relates to a template creation device, an object recognition processing device, a template creation method, an object recognition processing method, and a program.
画像から物体を認識(検出)する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、認識対象となる物体のモデル(テンプレート)を予め用意しておき、入力画像とモデルとの間の画像特徴の一致度を評価することで入力画像に含まれる物体を検出する方法である。テンプレートマッチングによる物体認識は、例えばFA(Factory Automation)における検査やピッキング、ロボットビジョン、監視カメラなど、多岐にわたる分野で利用されている。 Template matching is one of methods for recognizing (detecting) an object from an image. Template matching is a method of detecting an object contained in an input image by preparing a model (template) of an object to be recognized in advance and evaluating the matching degree of image features between the input image and the model. be. Object recognition by template matching is used in a wide variety of fields, such as inspection and picking in FA (Factory Automation), robot vision, and surveillance cameras.
このようなテンプレートは、認識対象となる物体(以下、「対象物体」ともいう。)の3DCADデータを用いて作成することができる。しかし、対象物体の3DCADデータがない場合や、3DCADデータと実際の対象物体との差異が大きい場合のように、3DCADデータと用いることができない、又は適切でない場合がある。このような場合には、実際の対象物体を3次元計測した3次元計測データを用いてテンプレートを作成する。 Such a template can be created using 3D CAD data of an object to be recognized (hereinafter also referred to as "target object"). However, there are cases where the 3D CAD data cannot be used or is not suitable, such as when there is no 3D CAD data of the target object or when there is a large difference between the 3D CAD data and the actual target object. In such a case, a template is created using three-dimensional measurement data obtained by three-dimensionally measuring an actual target object.
従来、様々な視点で計測した3次元点群データを統合する際には、視野が重なっている領域では近傍にある点群データを統合する必要があった。このため、位置姿勢の認識誤差やノイズ等を含んだデータを平均化することで細部の形状情報が失われるという課題があった。(例えば、特許文献1参照)。 Conventionally, when integrating three-dimensional point cloud data measured from various viewpoints, it was necessary to integrate neighboring point cloud data in areas where fields of view overlap. Therefore, there is a problem that detailed shape information is lost by averaging data including position and orientation recognition errors, noise, and the like. (See Patent Document 1, for example).
また、特許文献2に記載された技術では、3次元空間上に設定したボクセル(立方体の箱)に各視点からの3次元計測データを重みづけして累積していく。このため、計測誤差やノイズ、視点の位置姿勢認識誤差も蓄積されていき、角や細かな形状は丸められたり消失したりする。また、物体表面のテクスチャも同様に平均化されることでぼけたり消失したりする。
Further, in the technique described in
このようにして統合して作成された3次元形状をもとに物体認識用のテンプレート作成を行うと、実物の異なる形状やテクスチャのテンプレートが作成されてしまい認識精度が低下するという課題があった。 If a template for object recognition is created based on the three-dimensional shape created by integration in this way, there is a problem that a template with a different shape and texture from the real thing is created, resulting in a decrease in recognition accuracy. .
本発明は、上記のような問題に鑑みてなされたものであり、異なる視点で計測した3次元計測データを用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the problems described above. To provide a technology capable of creating a template that is close to the real thing without
上記の課題を解決するための本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
前記対象物体の3次元計測データを取得する3次元計測データ取得部と、
前記対象物体を3次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
異なる前記計測視点に対応する前記3次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記3次元計測データに基づいて、特徴量を抽出するための基礎3次元データを生成する基礎3次元データ生成部と、
を備え、
前記基礎3次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記3次元計測データを、前記基礎3次元データを生成するために優先して用いることを特徴とするテンプレート作成装置である。The present invention for solving the above problems is
A template creation device for creating a template corresponding to a target object viewed from a viewpoint,
a template creation viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit that acquires three-dimensional measurement data of the target object;
a measurement viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. a basic three-dimensional data generation unit to
with
The basic three-dimensional data generation unit selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint to generate the basic three-dimensional data. This template creation device is characterized in that it is used preferentially to
本発明によれば、異なる計測視点で計測した3次元計測データから、特徴量を抽出するための基礎3次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する3次元計測データを優先して用いるので、異なる計測視点で計測した3次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。 According to the present invention, when generating basic three-dimensional data for extracting a feature amount from three-dimensional measurement data measured at different measurement viewpoints, three-dimensional data corresponding to a measurement viewpoint having a closer distance to the template creation viewpoint is generated. Since the measurement data is preferentially used, fine shapes and textures are not lost by smoothing three-dimensional measurement data measured from different measurement viewpoints. Therefore, a template close to the real thing can be created.
本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。 In the present invention, the distance of the measurement viewpoint to the template creation viewpoint can be evaluated in various ways. For example, it can be evaluated by the size of the angle formed by the vector from the template creation viewpoint to the center of the target object and the vector from the measurement viewpoint to the center of the target object, or by the Euclidean distance or geodesic distance between the two viewpoints. You may evaluate, but are not limited to these.
また、本発明において、3次元計測データは、3次元計測によって取得される、各点が3次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における3次元座標値をもつ形式のデータでもよいし、2次元画像の各点(各画素)にデプス値(奥行き距離の情報)が関連づけられた形式のデータでもよい。 Further, in the present invention, three-dimensional measurement data is data obtained by three-dimensional measurement and composed of a plurality of points each having three-dimensional information. Like point cloud data, each point may have a three-dimensional coordinate value in the camera coordinate system, or each point (each pixel) of a two-dimensional image is associated with a depth value (depth distance information). format data.
また、本発明において、テンプレート作成視点に対する所定の平面は、テンプレートによる物体認識の対象となる画像を取得する画像取得部をCCDカメラによって構成する場合の、CCDカメラの焦点に対するCCD平面のような画像平面である。異なる計測視点に対応する3次元計測データをテンプレート作成視点に対する所定の平面に投影し、投影された3次元計測データに基づいて、特徴量を抽出するための対象となる基礎3次元データを生成する際に、3次元空間上で3次元計測データを統合して生成する場合に比べて、メモリ使用量を小さくでき、処理時間も短縮できる。 Further, in the present invention, the predetermined plane with respect to the template creation viewpoint is an image such as a CCD plane with respect to the focal point of the CCD camera when the image acquisition unit for acquiring the image to be object recognition by the template is composed of a CCD camera. It is flat. Three-dimensional measurement data corresponding to different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data to be used for extracting feature amounts is generated based on the projected three-dimensional measurement data. In this case, the amount of memory used can be reduced and the processing time can be shortened as compared with the case where the three-dimensional measurement data are integrated and generated in the three-dimensional space.
本発明において、
前記基礎3次元データ生成部は、前記基礎3次元データのうち、前記所定の平面に投影された、より優先される前記3次元計測データに含まれない部分を、前記3次元計測データを前記所定の平面に投影されたデータによって補うようにしてもよい。In the present invention,
The basic three-dimensional data generation unit converts a portion of the basic three-dimensional data projected onto the predetermined plane, which is not included in the three-dimensional measurement data with higher priority, into the three-dimensional measurement data as the predetermined may be supplemented by data projected onto the plane of .
このようにすれば、基礎3次元データを生成する際に、より優先される計測視点に対応する3次元計測データが選択的に用いられるので、異なる計測視点に対応する3次元計測データが均されることがなく、対象物体の細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。 In this way, when generating the basic three-dimensional data, the three-dimensional measurement data corresponding to the measurement viewpoint with higher priority is selectively used, so that the three-dimensional measurement data corresponding to different measurement viewpoints are leveled. without losing detailed shapes and textures of the target object. Therefore, a template close to the real thing can be created.
また、本発明は、
前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。In addition, the present invention
an image acquisition unit that acquires an image including the target object;
a feature extraction unit that extracts a feature amount from the acquired image;
a template matching unit that recognizes the target object included in the acquired image by template matching using a template created by the template creation device;
and an object recognition processing device.
本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。 According to the present invention, object recognition is performed using a template that is close to the real thing and that reflects the detailed shape and texture of the target object, so object recognition can be performed with higher accuracy.
また、本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
前記対象物体の3次元計測データを取得するステップと、
前記対象物体を3次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
前記選択された前記計測視点に対応する前記3次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
前記投影された前記3次元計測データに基づいて、特徴量を抽出するための基礎3次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記3次元計測データを優先して用いて基礎3次元データを生成するステップと、
を含むテンプレート作成方法である。In addition, the present invention
A template creation method for creating a template corresponding to a target object viewed from a viewpoint, comprising:
obtaining information about the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
obtaining three-dimensional measurement data of the target object;
acquiring data on the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
selecting the measurement viewpoint having a closer distance to the template creation viewpoint;
a step of projecting the three-dimensional measurement data corresponding to the selected measurement viewpoint onto a predetermined plane with respect to the template creation viewpoint;
When generating basic three-dimensional data for extracting a feature amount based on the projected three-dimensional measurement data, giving priority to the three-dimensional measurement data corresponding to the measurement viewpoint closer to the distance. generating basic three-dimensional data using
It is a template creation method including
本発明によれば、異なる計測視点で計測した3次元計測データから、特徴量を抽出するための基礎3次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する3次元計測データを優先して用いるので、異なる計測視点で計測した3次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
また、本発明に含まれる各ステップの順序は、記載された順序に限定されるものではない。According to the present invention, when generating basic three-dimensional data for extracting a feature amount from three-dimensional measurement data measured at different measurement viewpoints, three-dimensional data corresponding to a measurement viewpoint having a closer distance to the template creation viewpoint is generated. Since the measurement data is preferentially used, fine shapes and textures are not lost by smoothing three-dimensional measurement data measured from different measurement viewpoints. Therefore, a template close to the real thing can be created.
Also, the order of each step included in the present invention is not limited to the described order.
本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。 In the present invention, the distance of the measurement viewpoint to the template creation viewpoint can be evaluated in various ways. For example, it can be evaluated by the size of the angle formed by the vector from the template creation viewpoint to the center of the target object and the vector from the measurement viewpoint to the center of the target object, or by the Euclidean distance or geodesic distance between the two viewpoints. You may evaluate, but are not limited to these.
また、本発明において、3次元計測データは、3次元計測によって取得される、各点が3次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における3次元座標値をもつ形式のデータでもよいし、2次元画像の各点(各画素)にデプス値(奥行き距離の情報)が関連づけられた形式のデータでもよい。 Further, in the present invention, three-dimensional measurement data is data obtained by three-dimensional measurement and composed of a plurality of points each having three-dimensional information. Like point cloud data, each point may have a three-dimensional coordinate value in the camera coordinate system, or each point (each pixel) of a two-dimensional image is associated with a depth value (depth distance information). format data.
また、本発明は、
テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法である。In addition, the present invention
An object recognition processing method for recognizing a target object using a template,
obtaining an image containing the target object;
extracting features from the acquired image;
a step of recognizing the target object by template matching using a template created by the template creating method;
An object recognition processing method including
本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。 According to the present invention, object recognition is performed using a template that is close to the real thing and that reflects the detailed shape and texture of the target object, so object recognition can be performed with higher accuracy.
また、本発明は、
前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。In addition, the present invention
A program for causing a computer to execute each step of the template creation method.
また、本発明は、
前記物体認識方法の各ステップをコンピュータに実行させるためのプログラムである。In addition, the present invention
A program for causing a computer to execute each step of the object recognition method.
本発明によれば、異なる視点で計測した3次元計測を用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することが可能となる。 According to the present invention, when creating a template for object recognition using three-dimensional measurements measured from different viewpoints, a technique is provided that can create a template that is close to the real thing without losing detailed shapes and textures. can be provided.
〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
図8は、本発明におけるテンプレート作成方法の原理を説明する図である。
図8(A)は、視点VPからの対象物体227のテンプレートを作成する例である。ここでは、視点VPから対象物体227の中心227cに至る矢印を実線で表示している。[Example of application]
Hereinafter, application examples of the present invention will be described with reference to the drawings.
FIG. 8 is a diagram for explaining the principle of the template creation method according to the present invention.
FIG. 8A is an example of creating a template of the
従来は、視点VPから対象物体227のテンプレートを作成する場合には、IMPa,IMPb,IMPcの複数の異なる視点から対象物体227を3次元センサ220によって取得された3次元計測データを3次元空間上で統合していた。視点IMPa,IMPb,IMPcからそれぞれ取得された3次元計測データIMa,IMb,IMcを図8(B)の左側に模式的に示す。このとき、3次元センサ220の視点位置姿勢認識の誤差や、計測誤差、ノイズ等により、各3次元計測データ図8(B)の左側に示すように、3次元計測データIMa,IMb,IMcは必ずしも一致しない。このような3次元計測データを3次元空間で統合されたデータIM0では、図8(B)の右側に示すように、各3次元計測データが平均化されることにより、対象物体の形状が均されてしまう。
Conventionally, when creating a template of the
これに対して、本発明では、視点VPから対象物体227のテンプレートを作成する場合には、複数の異なる視点から対象物体227を3次元センサ220によって取得された3次元計測データのうち、視点位置がテンプレート作成視点VPの位置に最も近いデータをテンプレート作成視点VPの画像平面上に投影したものを優先して用いる。そして、テンプレート作成視点VPの画像平面上に投影されていない画素を、テンプレート作成視点VPの位置から遠い視点位置からの対象物体の3次元計測データの投影によって補う。
このため、3次元センサ220の視点位置姿勢認識の誤差はあるものの、対象物体227の形状情報は失われない。
また、3次元センサによって取得された3次元計測データを3次元空間上で統合するのではなく、テンプレート作成視点VPの画像平面上に投影した2次元データとして統合するため、メモリ使用量が少なく、処理時間を短縮することができる。On the other hand, in the present invention, when creating a template of the
Therefore, although there is an error in recognition of the viewpoint position and orientation of the three-
In addition, the three-dimensional measurement data acquired by the three-dimensional sensor is not integrated in the three-dimensional space, but is integrated as two-dimensional data projected onto the image plane of the template creation viewpoint VP. Processing time can be shortened.
〔実施形態〕
(物体認識装置の全体構成)
図1を参照して、本発明の実施形態に係る物体認識装置について説明する。[Embodiment]
(Overall configuration of object recognition device)
An object recognition device according to an embodiment of the present invention will be described with reference to FIG.
物体認識装置2は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット20から取り込まれたデータを用いて、テンプレートマッチングによりトレイ26に積載された物体27の位置・姿勢を認識(3次元の物体認識)するシステムである。トレイ26上には、認識対象の物体27がバラ積みされている。
The
物体認識装置2は、概略、センサユニット20と画像処理装置21から構成される。センサユニット20と画像処理装置21のあいだは有線又は無線で接続されており、センサユニット20の出力は画像処理装置21に取り込まれる。画像処理装置21は、センサユニット20から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置21の処理としては、例えば、距離計測(測距)、3次元形状認識、物体認識、シーン認識などが含まれてもよい。物体認識装置2の認識結果は、例えばPLC(プログラマブルロジックコントローラ)25やディスプレイ22などに出力される。認識結果は、例えば、ピッキング・ロボット28の制御、加工装置や印字装置の制御、対象物体27の検査や計測などに利用される。
The
(センサユニット)
センサユニット20は、対象物体27の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット20は、対象物体27の3次元計測を行うために必要な構成(センサ、照明装置、投光装置など)を含んでもよい。例えば、ステレオマッチング(ステレオビジョン、ステレオカメラ方式などとも呼ばれる。)によって奥行き距離を計測する場合には、センサユニット20に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体27にパターン光を投射する投光装置がセンサユニット20に設けられる。空間コード化パターン投影方式により3次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット20に設けられる。他にも、照度差ステレオ法、TOF(タイムオブフライト)法、位相シフト法など、対象物体27の3次元情報を取得可能な方法であればいかなる方式を用いてもよい。(sensor unit)
The
(画像処理装置)
画像処理装置21は、例えば、CPU(プロセッサ)、RAM(メモリ)、不揮発性記憶装置(ハードディスク、SSDなど)、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、CPUが、不揮発性記憶装置に格納されたプログラムをRAMに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置21の構成はこれに限られず、後述する構成のうちの全部又は一部を、FPGAやASICなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。(Image processing device)
The
図2は、画像処理装置21の構成を示すブロック図である。画像処理装置21は、テンプレート作成装置30の構成と、物体認識処理装置31の構成を有している。
テンプレート作成装置30は、物体認識処理で利用するテンプレートを作成するための構成であり、複数視点3次元計測データ取得部300、撮影視点3次元位置姿勢データ取得部301、テンプレート作成視点位置情報取得部302、テンプレート作成視点の3次元データ生成部303、特徴抽出部304、テンプレート作成部305、テンプレート情報出力部306を有する。本実施形態では、複数視点3次元計測データ取得部300が本発明の「3次元計測データ取得部」に対応する。また、本実施形態では、撮影視点3次元位置姿勢データ取得部301が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、テンプレート作成視点位置情報取得部302が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の3次元データ生成部303が本発明の「基礎3次元データ生成部」に対応する。
物体認識処理装置31は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部310、画像ピラミッド作成部311、特徴抽出部312、テンプレート情報取得部313、テンプレートマッチング部314、認識結果出力部315を有する。本実施形態では、画像取得部310、特徴抽出部312、テンプレートマッチング部314が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。FIG. 2 is a block diagram showing the configuration of the
The template generation device 30 is configured to generate a template used in object recognition processing, and includes a multi-viewpoint three-dimensional measurement data acquisition unit 300, an imaging viewpoint three-dimensional position and orientation
The object recognition processing device 31 is configured to execute object recognition processing by template matching, and includes an
(テンプレート作成処理)
図3のフローチャートを参照して、テンプレート作成装置30によるテンプレート作成処理の一例を説明する。(Template creation process)
An example of template creation processing by the template creation device 30 will be described with reference to the flowchart of FIG.
ステップS101において、テンプレート作成視点の3次元データ生成部303が、異なる視点から撮影した対象物体の3次元計測データ、撮影視点の3次元位置姿勢に関する情報、テンプレート作成視点位置に関する情報を取得する。ここでは、複数の異なる視点からの対象物体の3次元計測データは、複数視点3次元計測データ取得部300によって取得される。このため、テンプレート作成視点の3次元データ生成部303は、異なる視点から撮影した対象物体の3次元計測データを、この複数視点3次元計測データ取得部300から取得する。また、複数視点3次元計測データ取得部が複数の異なる視点から対象物体を撮影して当該対象物体の3次元計測データを取得する際の撮影視点の3次元位置姿勢データが、撮影視点3次元位置姿勢データ取得部301によって取得される。このため、テンプレート作成視点の3次元データ生成部303は、撮影視点の3次元位置姿勢に関する情報を、この撮影視点3次元位置姿勢データ取得部301から取得する。そして、テンプレート作成視点の位置姿勢に関するデータは、テンプレート作成視点位置情報取得部302によって取得されるので、テンプレート作成視点の3次元データ生成部303は、テンプレート作成視点位置姿勢に関するデータを、テンプレート作成視点位置情報取得部302から取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。
In step S101, the template creation viewpoint 3D
図4は、異なる複数の視点から対象物体の3次元計測データ及び撮影視点の3次元位置姿勢に関する情報を取得する構成の概略を説明する図である。
対象物体27に対して、3次元センサ220を所定の位置姿勢に配置して、対象物体27の3次元計測データを取得(撮影)するとともに、撮影視点の位置姿勢情報を取得する。3次元センサ220によって対象物体を複数の異なる視点から撮影して3次元計測データを取得する場合には、3次元センサ220を固定して、対象物体27の姿勢を変えるようにしてもよいし、対象物体27を固定して、3次元センサ220の姿勢を変えるようにしてもよく、3次元センサ220と対象物体27の相対的な位置関係が変わればよい。図4では、3次元センサ220によって載置面32上に載置された対象物体27を撮影して3次元計測データを取得する場合の一例を示す。ここでは、3次元センサ220を固定して、載置面32の姿勢を変えてもよいし、載置面32の姿勢を固定し、3次元センサ220の姿勢を変えるようにしてもよい。
また、撮影視点の3元位置姿勢は、対象物体の載置面32に表示された平面マーカ33や、載置面に対して固定して配置された参照物体(3DCADデータ等により形状が分かっている物体)を認識することによって取得してもよいし、対象物体の載置面32をゴニオステージ上に設けることによって取得してもよい。FIG. 4 is a diagram illustrating an outline of a configuration for acquiring three-dimensional measurement data of a target object from a plurality of different viewpoints and information on the three-dimensional position and orientation of the shooting viewpoints.
A three-
In addition, the three-dimensional position and orientation of the shooting viewpoint are the
図5は、テンプレート作成視点と撮影視点との例を示している。この例では、対象物体27を包含する正八十面体の42個の頂点をテンプレート作成視点VPとし、ここでは一つの頂点VP1(黒丸で図示)にテンプレート作成視点を設定している。なお、テンプレート作成視点VPの数や配置は、要求される分解能、対象物体27の形状や取り得る姿勢などに応じて適宜設定すればよい。テンプレート作成視点VPの数や位置は、ユーザが指定したものを、テンプレート作成視点位置情報取得部302が取得するようにしてもよいし、テンプレート作成視点位置情報取得部302が自動で設定したものを保持しておくようにしてもよい。図5に示す例では、正八十面体の中心に対象物体を配置しているので、この正八十面体の頂点の位置を指定することで、テンプレート作成視点の位置とともに姿勢も一義的に定まるが、テンプレート作成視点の位置姿勢の設定方法はこれに限られない。なお、図5では、正八十面体の頂点のうち、紙面手前側に存在する頂点を白丸で示している。
FIG. 5 shows an example of template creation viewpoints and shooting viewpoints. In this example, 42 vertices of the regular octasahedron containing the
図5において、矢印IMP1、矢印IMP2及び矢印IMP3がそれぞれ第1の撮影視点、第2の撮影視点及び第3の撮影視点を示す。ここでは、例として3つの撮影視点を示しているが、これに限られるものではない。 In FIG. 5, an arrow IMP1, an arrow IMP2, and an arrow IMP3 indicate the first shooting viewpoint, the second shooting viewpoint, and the third shooting viewpoint, respectively. Three shooting viewpoints are shown here as an example, but the present invention is not limited to this.
図3のフローチャートに戻り、ステップS102において、テンプレートを作成していない視点位置を選択する。ここでは、テンプレートを作成していない視点位置として、図5の黒丸の視点位置が選択されたものとする。 Returning to the flowchart of FIG. 3, in step S102, a viewpoint position for which no template has been created is selected. Here, it is assumed that the viewpoint position indicated by the black circle in FIG. 5 is selected as the viewpoint position for which no template is created.
次に、ステップS103において、テンプレート作成視点ベクトルと全ての撮影視点ベクトルとの角度を算出する。ここでは、全ての撮影視点が、矢印IMP1、矢印IMP2、矢印IMP3であるとする。
テンプレート作成視点ベクトルとは、テンプレート作成視点VPから対象物体の中心に向かうベクトルである。図5において黒丸で示されるテンプレート作成視点については、テンプレート作成視点ベクトルは、正八十面体の黒丸で示される頂点から、この正八十面体の中心に一致するように配置された対象物体の中心に向うベクトルである。そして、撮影視点ベクトルとは、複数視点3次元計測データ取得部300によって対象物体27を撮影する際の、撮影視点から対象物体の中心に向うベクトルである。図5において、第1の撮影視点、第2の撮影視点及び第3の撮影視点に対応する撮影視点ベクトルは、それぞれ矢印IMP1、矢印IMP2及び矢印IMP3の方向ベクトルである。
ここでは、黒丸で示された正八十面体の頂点から中心に向かうベクトルと、矢印IMP1、矢印IMP2及び矢印IMP3の方向のベクトルとの角度を算出する。Next, in step S103, angles between the template creation viewpoint vector and all the shooting viewpoint vectors are calculated. Here, assume that all shooting viewpoints are arrow IMP1, arrow IMP2, and arrow IMP3.
The template creation viewpoint vector is a vector directed from the template creation viewpoint VP to the center of the target object. For the template creation viewpoint indicated by the black circle in FIG. 5, the template creation viewpoint vector is the center of the target object arranged so as to coincide with the center of the octahedron from the vertex indicated by the black circle of the regular octahedron. is a vector pointing to The imaging viewpoint vector is a vector that points from the imaging viewpoint to the center of the target object when the
Here, the angles between the vectors pointing from the vertices of the regular octahedron indicated by black circles to the center and the vectors in the directions of arrows IMP1, IMP2, and IMP3 are calculated.
ステップS104において、未投影の撮影視点、計測データの中から最も角度が小さいものを選択する。ここでは、全ての撮影視点が未投影であるとする。図5の例では、矢印IMP1の撮影視点に対する撮影視点ベクトルとテンプレート作成視点ベクトルとの角度が最も小さいので、矢印IMP1で示される第1の撮影視点と、この第1の撮影視点から撮影された3次元計測データを選択する。 In step S104, the one with the smallest angle is selected from the unprojected imaging viewpoints and measurement data. Here, it is assumed that all shooting viewpoints are unprojected. In the example of FIG. 5, since the angle between the shooting viewpoint vector and the template creation viewpoint vector with respect to the shooting viewpoint of the arrow IMP1 is the smallest, the first shooting viewpoint indicated by the arrow IMP1 and the shooting from this first shooting viewpoint are obtained. Select 3D measurement data.
次に、ステップS105において、矢印IMP1で示される第1の撮影視点から、複数視点3次元計測データ取得部300によって撮影された3次元計測データを、ステップS102で選択されたテンプレート作成視点VP1に対する画像平面に投影する。図6(A)は、矢印IMP1で示される第1の撮影視点から撮影された3次元計測データを画像平面に投影した画像を模式的に示したものである。図6(A)~(C)では、各撮影視点からの3次元計測データに対応する部分を実線で示し、比較のために統合後のデータを破線で示している。本実施形態では、画像平面が、本発明の「所定の平面」に対応する。 Next, in step S105, the three-dimensional measurement data captured by the multi-viewpoint three-dimensional measurement data acquisition unit 300 from the first shooting viewpoint indicated by the arrow IMP1 is converted into an image for the template creation viewpoint VP1 selected in step S102. Project onto a plane. FIG. 6A schematically shows an image obtained by projecting three-dimensional measurement data taken from a first shooting viewpoint indicated by an arrow IMP1 onto an image plane. In FIGS. 6A to 6C, a solid line indicates a portion corresponding to three-dimensional measurement data from each shooting viewpoint, and a dashed line indicates integrated data for comparison. In this embodiment, the image plane corresponds to the "predetermined plane" of the invention.
このように、テンプレート作成視点に対する画像平面上に、異なる撮影視点から撮影された3次元計測データを投影し、該平面上で統合処理を行うようにしたので、メモリ使用量が小さく処理時間も短縮できる。 In this way, the three-dimensional measurement data shot from different shooting viewpoints are projected onto the image plane for the template creation viewpoint, and integrated processing is performed on this plane, so the amount of memory used is small and the processing time is shortened. can.
そして、ステップS106において、全ての撮影視点について、当該撮影視点から撮影された3次元計測データを、テンプレート作成視点VP1に対する画像平面に投影したか否かを判断する。 Then, in step S106, it is determined whether or not the three-dimensional measurement data taken from all the shooting viewpoints have been projected onto the image plane with respect to the template creation viewpoint VP1.
ステップS106において、Noと判断された場合、すなわち、全ての撮影視点のうち、当該撮影視点から撮影された3次元計測データのうち、テンプレート作成視点VP1に対する画像平面に投影していない撮影視点が存在している場合には、ステップS104に戻る。図5の例では、未投影の撮影視点のうちで、テンプレート作成視点ベクトルとなす角度が最も小さい、矢印IMP3で示される第3の撮影視点からの撮影視点ベクトルと、この第3の撮影視点から撮影された3次元計測データを選択し、ステップS105に進む。同様に、次に、ステップS106からステップS104に戻った際には、矢印IMP2で示される第2の撮影視点からの撮影視点ベクトルと、第2の撮影視点から撮影された3次元計測データが選択される。図6(B)は、矢印IMP3で示される第3の撮影視点から撮影された3次元計測データを画像平面に投影した画像を模式的に示したものである。そして、図6(C)は、矢印IMP2で示される第2の撮影視点から撮影された3次元計測データを画像平面に投影した画像を模式的に示したものである。このように、第1の撮影視点から第3の撮影視点からの3次元計測データを画像平面に投影して統合した画像を図6(D)に模式的に示す。 If it is determined No in step S106, that is, among all the shooting viewpoints, among the three-dimensional measurement data taken from the shooting viewpoint, there is a shooting viewpoint that is not projected onto the image plane for the template creation viewpoint VP1. If so, the process returns to step S104. In the example of FIG. 5, the shooting viewpoint vector from the third shooting viewpoint indicated by the arrow IMP3, which has the smallest angle with the template creation viewpoint vector among the unprojected shooting viewpoints, and The photographed three-dimensional measurement data is selected, and the process proceeds to step S105. Similarly, when returning from step S106 to step S104, the imaging viewpoint vector from the second imaging viewpoint indicated by the arrow IMP2 and the three-dimensional measurement data captured from the second imaging viewpoint are selected. be done. FIG. 6B schematically shows an image obtained by projecting three-dimensional measurement data taken from a third shooting viewpoint indicated by an arrow IMP3 onto an image plane. FIG. 6C schematically shows an image obtained by projecting the three-dimensional measurement data taken from the second shooting viewpoint indicated by the arrow IMP2 onto the image plane. FIG. 6D schematically shows an image in which the three-dimensional measurement data from the first shooting viewpoint to the third shooting viewpoint are projected onto the image plane and integrated in this way.
このように、テンプレート作成視点から近い撮影視点から順に、テンプレート作成視点に対する画像平面に投影し、撮影点群データが存在しない画素、すなわち、より優先される撮影点群データに含まれない部分について他の撮影視点からの点群データを補う。これにより、対象物体の細かな形状やテクスチャが失われることがなく、実物に近いテンプレートの作成が可能となる。 In this way, the shooting viewpoints closest to the template creation viewpoint are projected onto the image plane with respect to the template creation viewpoint, and the pixels for which no shooting point cloud data is present, that is, the portions not included in the higher priority shooting point cloud data are Supplement the point cloud data from the shooting viewpoint. As a result, it is possible to create a template that is close to the real thing without losing the detailed shape and texture of the target object.
ステップS106において、Yesと判断された場合、すなわち、全ての撮影視点について、当該撮影視点から撮影された3次元計測データを、テンプレート作成視点VP1に対する画像平面に投影したと判断された場合には、ステップS107に進む。 If it is determined Yes in step S106, that is, if it is determined that the three-dimensional measurement data captured from all the shooting viewpoints has been projected onto the image plane for the template creation viewpoint VP1, The process proceeds to step S107.
ステップS107においては、特徴抽出部304が、ステップS102で選択されたテンプレート作成視点VP1に対する画像平面に投影された全撮影視点からの対象物体27の3次元計測データに基づいて、対象物体27の画像特徴を抽出する。画像特徴としては、例えば、輝度、色、輝度勾配方向、量子化勾配方向、HoG(Histogram of Oriented Gradients)、表面の法線方向、HAAR-like、SIFT(Scale-Invariant Feature Transform)などを用いることができる。輝度勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向(角度)を連続値で表すものであり、量子化勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す(例えば、8方向を0~7の1バイトの情報で保持する)ものである。特徴抽出部304は、テンプレート作成視点に対する画像平面に投影された画像60の全ての点(画素)について画像特徴を求めてもよいし、所定の規則に従ってサンプリングした一部の点について画像特徴を求めてもよい。画像特徴が得られた点を特徴点と呼ぶ。
In step S107, the
ステップS108において、テンプレート作成部305が、ステップS107で抽出された画像特徴に基づいて、テンプレート作成視点VP1に対応するテンプレートを作成する。テンプレートは、例えば、各特徴点の座標値と抽出された画像特徴とを含むデータセットである。
In step S108, the
ステップS102~S108の処理が、ステップS101で取得された全てのテンプレート作成視点VPについて行われる(ステップS109)。全てのテンプレート作成視点VPについてテンプレートの作成が完了すると、テンプレート作成部305は、テンプレート情報出力部306を介して、テンプレートのデータを物体認識処理装置31に出力する(ステップS110)。
The processing of steps S102 to S108 is performed for all template creation viewpoints VP acquired in step S101 (step S109). When template creation is completed for all template creation viewpoints VP, the
(物体認識処理)
図7のフローチャートを参照して、物体認識処理装置31による物体認識処理方法の一例を説明する。(Object recognition processing)
An example of the object recognition processing method by the object recognition processing device 31 will be described with reference to the flowchart of FIG.
まず、ステップS201において、テンプレート情報取得部313は、テンプレート作成装置30のテンプレート情報出力部306から出力されるテンプレートのデータを取得し、テンプレートマッチング部314に供給する。
First, in step S<b>201 , the template
次に、ステップS202において、画像取得部310が、対象物体を含み、物体認識処理の対象となる画像を取得する。この画像は、画像処理装置21の内部記憶装置から読み込んでもよいし、外部のストレージ等からネットワークを介して取得してもよい。また、センサユニット20で撮影された画像を取得するようにしてもよい。なお、認識結果をピッキング・ロボット28の制御に用いる場合には、センサユニット20をピッキング・ロボット28のアームに取り付けるようにしてもよい。
Next, in step S202, the
次に、ステップS203において、画像ピラミッド作成部311が、画像取得部310によって取得された画像から低解像度画像を生成し、画像ピラミッドを生成する。例えば、第1層画像として160画素×120画素、第2層画像として320画素×240画素等のように低解像度画像から高解像度画像へと解像度を段階的に異ならせた複数の画像から画像ピラミッドを構成することができる。
Next, in step S203, the image
次に、ステップS204において、特徴抽出部312は、画像ピラミッドを構成する各層画像に対して画像特徴を抽出する。抽出される画像特徴は、テンプレート作成の際の画像特徴と同種の特徴量である。画像ピラミッドの最上層である第1層画像(最も解像度が低い画像)に対する画像特徴の抽出の結果として、第1層画像と同じ解像度を有し、第1層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像(以下、「第1層特徴画像」ともいう。)が得られる。同様に、第2層画像に対する画像特徴の抽出の結果として、第2層特徴画像が得られる。
Next, in step S204, the
次に、ステップS205において、テンプレートマッチング部314は、テンプレート情報取得部313から供給される視点ごとのテンプレートのデータと、各テンプレートのデータに対応する特徴抽出部312算出した各特徴量とを用いてテンプレートマッチングを行う。
ここでは、テンプレートマッチング部314は、まず、第1層特徴画像と第1層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部314は、第1層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第2層特徴画像の探索範囲を設定し、第2層特徴画像と第2層用の視点ごとのテンプレートを用いてマッチング処理を行う。第3層画像、第4層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層(最も画像の解像度が高い層)における物体の存在位置姿勢を認識することができる。Next, in step S205, the
Here, the
次に、ステップS206において、テンプレートマッチング部314は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部315に出力する。認識結果出力部315は、テンプレートマッチング部314から供給される認識情報を、外部装置や液晶パネル等に出力する。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボット28の制御などに利用される。
Next, in step S<b>206 , the
(本実施形態の利点)
以上述べた構成及び処理では、異なる視点から撮影した対象物体の3次元計測データを3次元空間において統合処理するのではなく、異なる視点から撮影した対象物体の3次元計測データをテンプレート作成視点に対する画像平面に投影することにより得られたデータに基づいて、対象物体の画像特徴を抽出することにより、テンプレートのデータを生成している。このように、画像平面において統合処理を行うため、メモリ使用量が小さく処理時間も短縮できる。従って、テンプレート作成処理を高速化できる。
また、異なる視点から撮影した対象物体の3次元計測データのうち、テンプレート作成視点に近い視点の撮影点群データを優先的に使用して統合する。このように、テンプレート作成視点に近い視点の撮影点群データから順に画像平面に投影し、点群が存在しない画素だけを、他の撮影視点からの撮影点群データによって補う。このため、対象物体の細かな形状やテクスチャが失われることなく、実物に近いテンプレートを作成することができる。(Advantages of this embodiment)
In the configuration and processing described above, the three-dimensional measurement data of the target object photographed from different viewpoints is not integrated in a three-dimensional space, but the three-dimensional measurement data of the target object photographed from different viewpoints is used as an image for the template creation viewpoint. The template data is generated by extracting the image features of the target object based on the data obtained by projecting onto the plane. In this way, since the integration process is performed on the image plane, the amount of memory used is small and the processing time can be shortened. Therefore, template creation processing can be speeded up.
In addition, among the three-dimensional measurement data of the target object photographed from different viewpoints, the photographed point group data of viewpoints close to the template creation viewpoint are preferentially used and integrated. In this way, the captured point cloud data of the viewpoints closest to the template creation viewpoint are sequentially projected onto the image plane, and only the pixels where no point cloud exists are supplemented with the captured point cloud data from other capturing viewpoints. Therefore, a template that is close to the real object can be created without losing the detailed shape and texture of the target object.
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。<Others>
The above-described embodiment is merely an example of the configuration of the present invention. The present invention is not limited to the specific forms described above, and various modifications are possible within the technical scope of the present invention.
また、テンプレート作成視点は、上述のように正多面体の頂点を視点として採用してもよいし、対象物体の中心を中心とする天球上を等間隔にサンプリングする任意の方法によって作成してもよい。
テンプレート作成視点と撮影視点との距離の指標は、テンプレート作成視点ベクトルと撮影視点ベクトルとの角度に限られず、テンプレート作成視点と撮影視点間のユークリッド距離や測地線距離を用いてもよい。
また、テンプレート作成視点と撮影視点とが遠い場合、例えば、テンプレート作成視点ベクトルと撮影視点ベクトルとのなす角度が所定の閾値以上である場合には、そのような撮影視点に対しては、ステップS105の投影処理を行わないようにしてもよい。対象物体の計測点の法線ベクトルにより、テンプレート作成視点から見える点か否かを判別することができるので、テンプレート作成視点から見えない点については、ステップS105の投影処理を行わないようにしてもよい。In addition, the template creation viewpoint may be created by adopting the vertices of the regular polyhedron as the viewpoint as described above, or by an arbitrary method of sampling the celestial sphere centered at the center of the target object at equal intervals. .
The index of the distance between the template creation viewpoint and the shooting viewpoint is not limited to the angle between the template creation viewpoint vector and the shooting viewpoint vector, and the Euclidean distance or the geodesic distance between the template creation viewpoint and the shooting viewpoint may be used.
If the template creation viewpoint is far from the shooting viewpoint, for example, if the angle formed by the template creation viewpoint vector and the shooting viewpoint vector is greater than or equal to a predetermined threshold value, step S105 is performed for such a shooting viewpoint. may not be projected. Since it is possible to determine whether or not a point is visible from the template creation viewpoint based on the normal vector of the measurement point of the target object, the projection processing in step S105 may not be performed for points that are not visible from the template creation viewpoint. good.
なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
<発明1>
視点から見た対象物体(27)に対応するテンプレートを作成するテンプレート作成装置(30)であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部(302)と、
前記対象物体(27)の3次元計測データを取得する3次元計測データ取得部(300)と、
前記対象物体(37)を3次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部(301)と、
異なる前記計測視点に対応する前記3次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記3次元計測データに基づいて、特徴量を抽出するための基礎3次元データを生成する基礎3次元データ生成部(303)と、
を備え、
前記基礎3次元データ生成部(303)は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記3次元計測データを、前記基礎3次元データを生成するために優先して用いることを特徴とするテンプレート作成装置(30)。In order to allow comparison between the constituent elements of the present invention and the configurations of the embodiments, the constituent elements of the present invention will be described below with reference numerals in the drawings.
<Invention 1>
A template creation device (30) for creating a template corresponding to a target object (27) viewed from a viewpoint,
a template creation viewpoint position and orientation data acquisition unit (302) for acquiring data relating to the position and orientation of the template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit (300) for acquiring three-dimensional measurement data of the target object (27);
a measurement viewpoint position/orientation data acquisition unit (301) for acquiring data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object (37);
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. A basic three-dimensional data generation unit (303) to
with
The basic three-dimensional data generation unit (303) selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint into the basic three-dimensional data. A template creation device (30) characterized by being preferentially used for creating.
2:物体認識装置
21:画像処理装置
27:対象物体
30:テンプレート作成装置
31:物体認識処理装置
300:複数視点3次元計測データ取得部
301:撮影視点3次元位置姿勢データ取得部
302:テンプレート作成視点位置情報取得部
303:テンプレート作成視点の3次元データ生成部
310:画像取得部
312:特徴抽出部
314:テンプレートマッチング部2: Object recognition device 21: Image processing device 27: Target object 30: Template creation device 31: Object recognition processing device 300: Multi-viewpoint 3D measurement data acquisition unit 301: Shooting viewpoint 3D position and orientation data acquisition unit 302: Template creation Viewpoint position information acquisition unit 303: Template creation Viewpoint three-dimensional data generation unit 310: Image acquisition unit 312: Feature extraction unit 314: Template matching unit
Claims (7)
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
前記対象物体の3次元計測データを取得する3次元計測データ取得部と、
前記対象物体を3次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
異なる前記計測視点に対応する前記3次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記3次元計測データに基づいて、特徴量を抽出するための基礎3次元データを生成する基礎3次元データ生成部と、
前記基礎3次元データに基づいて前記特徴量を抽出する特徴抽出部と、
前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するテンプレート作成部と、
を備え、
前記基礎3次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記3次元計測データを、前記基礎3次元データを生成するために優先して用いることを特徴とするテンプレート作成装置。 A template creation device for creating a template corresponding to a target object viewed from a viewpoint,
a template creation viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit that acquires three-dimensional measurement data of the target object;
a measurement viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. a basic three-dimensional data generation unit to
a feature extraction unit that extracts the feature amount based on the basic three-dimensional data;
a template creation unit that creates the template for each of the template creation viewpoints based on the feature amount extracted for the template creation viewpoint;
with
The basic three-dimensional data generation unit selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint to generate the basic three-dimensional data. A template creation device characterized in that it is used preferentially to
前記取得された画像から前記特徴量を抽出する特徴抽出部と、
請求項1又は2に記載のテンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識する
テンプレートマッチング部と、
を備えた物体認識処理装置。 an image acquisition unit that acquires an image including the target object;
a feature extraction unit that extracts the feature amount from the acquired image;
A template matching unit that recognizes the target object included in the acquired image by template matching using a template created by the template creation device according to claim 1 or 2;
object recognition processing device.
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
前記対象物体の3次元計測データを取得するステップと、
前記対象物体を3次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
前記選択された前記計測視点に対応する前記3次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
前記投影された前記3次元計測データに基づいて、特徴量を抽出するための基礎3次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記3次元計測データを優先して用いて基礎3次元データを生成するステップと、
前記基礎3次元データに基づいて前記特徴量を抽出するステップと、
前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するステップと、
を含むテンプレート作成方法。 A template creation method for creating a template corresponding to a target object viewed from a viewpoint, comprising:
obtaining information about the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
obtaining three-dimensional measurement data of the target object;
acquiring data on the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
selecting the measurement viewpoint having a closer distance to the template creation viewpoint;
a step of projecting the three-dimensional measurement data corresponding to the selected measurement viewpoint onto a predetermined plane with respect to the template creation viewpoint;
When generating basic three-dimensional data for extracting a feature amount based on the projected three-dimensional measurement data, giving priority to the three-dimensional measurement data corresponding to the measurement viewpoint closer to the distance. generating basic three-dimensional data using
a step of extracting the feature amount based on the basic three-dimensional data;
creating the template for each of the template creation viewpoints based on the feature amount extracted for the template creation viewpoint;
Template creation method including.
前記対象物体を含む画像を取得するステップと、
前記取得された画像から前記特徴量を抽出するステップと、
請求項4に記載のテンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法。 An object recognition processing method for recognizing a target object using a template,
obtaining an image containing the target object;
extracting the feature quantity from the acquired image;
a step of recognizing the target object by template matching using a template created by the template creation method according to claim 4;
An object recognition processing method comprising:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/028679 WO2021014538A1 (en) | 2019-07-22 | 2019-07-22 | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021014538A1 JPWO2021014538A1 (en) | 2021-01-28 |
JP7251631B2 true JP7251631B2 (en) | 2023-04-04 |
Family
ID=74193515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021534891A Active JP7251631B2 (en) | 2019-07-22 | 2019-07-22 | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7251631B2 (en) |
WO (1) | WO2021014538A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7417882B2 (en) * | 2021-08-09 | 2024-01-19 | 株式会社Mujin | Computing systems, methods and non-transitory computer-readable media |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043308A (en) | 2010-08-20 | 2012-03-01 | Canon Inc | Position and attitude determination method, position and attitude determination device, object model generation method, object model generation device and program |
JP2013217893A (en) | 2012-03-13 | 2013-10-24 | Canon Inc | Model generation device, position posture estimation device, information processor, model generation method, position posture estimation method, information processing method |
JP2018081410A (en) | 2016-11-15 | 2018-05-24 | セイコーエプソン株式会社 | Computer program |
-
2019
- 2019-07-22 WO PCT/JP2019/028679 patent/WO2021014538A1/en active Application Filing
- 2019-07-22 JP JP2021534891A patent/JP7251631B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043308A (en) | 2010-08-20 | 2012-03-01 | Canon Inc | Position and attitude determination method, position and attitude determination device, object model generation method, object model generation device and program |
JP2013217893A (en) | 2012-03-13 | 2013-10-24 | Canon Inc | Model generation device, position posture estimation device, information processor, model generation method, position posture estimation method, information processing method |
JP2018081410A (en) | 2016-11-15 | 2018-05-24 | セイコーエプソン株式会社 | Computer program |
Also Published As
Publication number | Publication date |
---|---|
WO2021014538A1 (en) | 2021-01-28 |
JPWO2021014538A1 (en) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110568447B (en) | Visual positioning method, device and computer readable medium | |
CN106595528B (en) | A kind of micro- binocular stereo vision measurement method of telecentricity based on digital speckle | |
TWI729995B (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
JP6363863B2 (en) | Information processing apparatus and information processing method | |
CN106228507B (en) | A kind of depth image processing method based on light field | |
JP6426968B2 (en) | INFORMATION PROCESSING APPARATUS AND METHOD THEREOF | |
CN110728671B (en) | Dense reconstruction method of texture-free scene based on vision | |
WO2021140886A1 (en) | Three-dimensional model generation method, information processing device, and program | |
JP6733267B2 (en) | Information processing program, information processing method, and information processing apparatus | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
US9704255B2 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
JP2011129082A (en) | Three-dimensional object recognition device and three-dimensional object recognition method | |
CN114766042A (en) | Target detection method, device, terminal equipment and medium | |
Weinmann et al. | Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds | |
WO2012037085A1 (en) | Active lighting for stereo reconstruction of edges | |
Sun et al. | High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm | |
JP7298687B2 (en) | Object recognition device and object recognition method | |
JP7251631B2 (en) | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program | |
KR101000859B1 (en) | HDRI-Panorama image generation apparatus and method with fisheye lens | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
KR102195762B1 (en) | Acquisition method for high quality 3-dimension spatial information using photogrammetry | |
KR101673144B1 (en) | Stereoscopic image registration method based on a partial linear method | |
WO2022209166A1 (en) | Information processing device, information processing method, and calibrating target | |
JP2014178967A (en) | Three-dimensional object recognition device and three-dimensional object recognition method | |
JP7327484B2 (en) | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7251631 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |