JP7178802B2 - 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method - Google Patents

2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method Download PDF

Info

Publication number
JP7178802B2
JP7178802B2 JP2018106983A JP2018106983A JP7178802B2 JP 7178802 B2 JP7178802 B2 JP 7178802B2 JP 2018106983 A JP2018106983 A JP 2018106983A JP 2018106983 A JP2018106983 A JP 2018106983A JP 7178802 B2 JP7178802 B2 JP 7178802B2
Authority
JP
Japan
Prior art keywords
region
image
unit
orientation
extracts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018106983A
Other languages
Japanese (ja)
Other versions
JP2019211968A (en
Inventor
將暢 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2018106983A priority Critical patent/JP7178802B2/en
Priority to PCT/JP2019/020071 priority patent/WO2019235210A1/en
Publication of JP2019211968A publication Critical patent/JP2019211968A/en
Application granted granted Critical
Publication of JP7178802B2 publication Critical patent/JP7178802B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

この発明は、画像上での物体の位置姿勢を推定する２次元位置姿勢推定装置及び２次元位置姿勢推定方法に関する。 The present invention relates to a two-dimensional position/posture estimation apparatus and a two-dimensional position/posture estimation method for estimating the position/posture of an object on an image.

従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置姿勢を推定する２次元位置姿勢推定装置が知られている（例えば特許文献１参照）。なお、物体の位置姿勢には、物体の位置（ｘ，ｙ）及び姿勢（θ）が含まれる。この従来の２次元位置姿勢推定装置では、物体のモデル（テンプレート）を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置姿勢を推定する。 Conventionally, a two-dimensional position/orientation estimation apparatus is known that estimates the position/orientation of an object, which is a target, from an image using a technique called template matching (see, for example, Patent Document 1). Note that the position and orientation of the object include the position (x, y) and orientation (θ) of the object. In this conventional two-dimensional position and orientation estimation apparatus, an object model (template) is registered in advance, and the degree of matching of image features between the image and the template is evaluated to estimate the position and orientation of the object on the image. do.

特開２０１６－２０７１４７号公報JP 2016-207147 A

しかしながら、従来の２次元位置姿勢推定装置では、テンプレートマッチングによって物体の位置姿勢を推定するために、物体毎に膨大な数のテンプレートを用意する必要がある。また、従来の２次元位置姿勢推定装置では、総当たりによるマッチングを行うため、演算コスト及び処理時間が増大する。
そこで、類似度の高いテンプレートを階層的にまとめてテンプレートを削減することで、高効率にテンプレートマッチングを行う技術が開示されている。しかしながら、この技術でも、テンプレートを予め用意する必要がある点には変わりがない。すなわち、この技術でも、テンプレートを予め用意するための手間（労力及び時間）が削減されているわけではなく、改善すべき余地がある。 However, in the conventional two-dimensional position and orientation estimation apparatus, it is necessary to prepare a huge number of templates for each object in order to estimate the position and orientation of the object by template matching. In addition, in the conventional two-dimensional position and orientation estimation apparatus, since matching is performed by round-robin, calculation cost and processing time increase.
In view of this, a technology has been disclosed that performs template matching with high efficiency by hierarchically grouping together templates with a high degree of similarity to reduce the number of templates. However, even with this technique, there is no change in the need to prepare a template in advance. That is, even with this technique, the labor (labor and time) required to prepare the template in advance is not reduced, and there is room for improvement.

この発明は、上記のような課題を解決するためになされたもので、テンプレートを用いずに、画像上での物体の位置姿勢を検出可能な２次元位置姿勢推定装置を提供することを目的としている。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a two-dimensional position and orientation estimation apparatus capable of detecting the position and orientation of an object on an image without using a template. there is

この発明に係る２次元位置姿勢推定装置は、画像を取得する画像取得部と、画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出することを特徴とする。 A two-dimensional position/orientation estimation apparatus according to the present invention includes an image acquisition unit that acquires an image; an area extraction unit that extracts an object area, which is an area representing a target object, from the image acquired by the image acquisition unit; a position/orientation estimator for estimating the position of the object based on the reproducible unique point and the orientation of the object based on the reproducible unique direction from the region based on the object region extracted by the region extractor; , the region extracting unit extracts a region representing the work surface from the image by threshold processing, extracts a region obtained by filling the hole in the region, and extracts the object region by taking the difference between the two regions. characterized by

この発明によれば、上記のように構成したので、テンプレートを用いずに、画像上での物体の位置姿勢が検出可能となる。 According to this invention, since it is configured as described above, it is possible to detect the position and orientation of an object on an image without using a template.

この発明の実施の形態１に係る２次元位置姿勢推定装置を備えたロボットピッキングシステムの構成例を示す図である。1 is a diagram showing a configuration example of a robot picking system including a two-dimensional position/orientation estimation apparatus according to Embodiment 1 of the present invention; FIG. この発明の実施の形態１に係る２次元位置姿勢推定装置の構成例を示す図である。1 is a diagram showing a configuration example of a two-dimensional position/orientation estimation apparatus according to Embodiment 1 of the present invention; FIG. この発明の実施の形態１に係る２次元位置姿勢推定装置の動作例を示すフローチャートである。4 is a flow chart showing an operation example of the two-dimensional position/orientation estimation apparatus according to Embodiment 1 of the present invention; この発明の実施の形態１における画像取得部により取得された画像の一例を示す図である。It is a figure which shows an example of the image acquired by the image acquisition part in Embodiment 1 of this invention. 図５Ａ～図５Ｃは、この発明の実施の形態１における領域抽出部による動作を説明するための図である。5A to 5C are diagrams for explaining the operation of the region extracting section according to Embodiment 1 of the present invention. 図６Ａ、図６Ｂは、この発明の実施の形態１における位置推定部及び姿勢推定部による動作を説明するための図である。6A and 6B are diagrams for explaining the operations of the position estimator and posture estimator according to Embodiment 1 of the present invention.

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る２次元位置姿勢推定装置３を備えたロボットピッキングシステムの構成例を示す図である。
２次元位置姿勢推定装置３は、例えば、ＦＡ（ファクトリーオートメーション）等における物体のピッキング動作又はロボットの教示作業等の位置決めガイド等に適用可能である。以下では、一例として、２次元位置姿勢推定装置３をロボットピッキングシステムに適用し、このロボットピッキングシステムが、２次元位置姿勢推定装置３により推定された対象である物体１１の位置姿勢に基づいて、当該物体１１のピッキングを行う場合を示す。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
FIG. 1 is a diagram showing a configuration example of a robot picking system provided with a two-dimensional position/orientation estimation device 3 according to Embodiment 1 of the present invention.
The two-dimensional position/orientation estimation device 3 can be applied, for example, to a positioning guide such as an object picking operation in FA (factory automation) or a robot teaching operation. In the following, as an example, the two-dimensional position/orientation estimation device 3 is applied to a robot picking system. A case of picking the object 11 is shown.

ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、作業面１２上に配置された物体１１のピッキングを行う。なお、作業面１２上に配置される物体１１は１つに限らず複数でもよいが、複数の物体１１が存在する場合には各物体１１は作業面１２上に重ならずに配置されているものとする。このロボットピッキングシステムは、図１に示すように、ロボット１、カメラ（撮像装置）２、２次元位置姿勢推定装置３及びロボットコントローラ４を備えている。 A robot picking system is arranged, for example, in a production line of a factory, and picks an object 11 arranged on a work surface 12 . The number of objects 11 placed on the work surface 12 is not limited to one, and a plurality of objects 11 may be placed. shall be This robot picking system includes a robot 1, a camera (imaging device) 2, a two-dimensional position/orientation estimation device 3, and a robot controller 4, as shown in FIG.

ロボット１は、アームの先端にエンドエフェクタ１０１（図１ではハンド）を有し、このエンドエフェクタ１０１を用いて物体１１のピッキングを行う。 The robot 1 has an end effector 101 (a hand in FIG. 1) at the tip of its arm, and uses this end effector 101 to pick an object 11 .

カメラ２は、エンドエフェクタ１０１に取付けられ、撮像領域を撮像して画像を得る。このカメラ２により得られた画像を示すデータ（画像データ）は２次元位置姿勢推定装置３に出力される。
なお、カメラ２により得られる画像は、撮像領域に物体１１が存在する場合に、その物体１１を示す領域（物体領域）とその他の領域（背景領域）とを判別可能な画像であればよく、その形式は問わない。カメラ２は、例えば２次元画像を得てもよい。この２次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な２次元画像を用いてもよい。また、カメラ２は、物体１１にある程度の奥行きがある場合には、距離画像を得てもよい。 The camera 2 is attached to the end effector 101 and captures an imaging area to obtain an image. Data (image data) representing an image obtained by the camera 2 is output to the two-dimensional position/orientation estimation device 3 .
The image obtained by the camera 2 may be an image that can distinguish between an area (object area) showing the object 11 and another area (background area) when the object 11 exists in the imaging area. Any format is acceptable. Camera 2 may, for example, obtain two-dimensional images. The two-dimensional image generally includes a color or monochrome visible image, but is not limited to this, and if the above discrimination is not easy with a visible image, a near-infrared image or a multispectral image, etc. Special two-dimensional images may also be used. Also, the camera 2 may obtain a distance image when the object 11 has a certain depth.

２次元位置姿勢推定装置３は、カメラ２により得られた画像に基づいて、当該画像上での物体１１の位置姿勢を推定する。なお、物体１１の位置姿勢とは、物体１１の位置（ｘ，ｙ）及び姿勢（θ）を意味する。この２次元位置姿勢推定装置３による推定結果を示すデータ（推定結果データ）はロボットコントローラ４に出力される。なお、２次元位置姿勢推定装置３の構成例は後述する。 Based on the image obtained by the camera 2, the two-dimensional position and orientation estimation device 3 estimates the position and orientation of the object 11 on the image. The position and orientation of the object 11 mean the position (x, y) and orientation (θ) of the object 11 . Data (estimation result data) indicating the result of estimation by the two-dimensional position/orientation estimation device 3 is output to the robot controller 4 . A configuration example of the two-dimensional position/orientation estimation device 3 will be described later.

ロボットコントローラ４は、２次元位置姿勢推定装置３による推定結果に基づいて、ロボット１が有するアームの動作量を算出し、物体１１のピッキングを行うようにロボット１の動作を制御する。 The robot controller 4 calculates the amount of movement of the arm of the robot 1 based on the estimation results from the two-dimensional position/orientation estimation device 3 and controls the movement of the robot 1 so as to pick the object 11 .

次に、２次元位置姿勢推定装置３の構成例について、図２を参照しながら説明する。
２次元位置姿勢推定装置３は、図２に示すように、画像取得部３０１、領域抽出部３０２、位置推定部３０３、姿勢推定部３０４及び出力部３０５を備えている。なお、２次元位置姿勢推定装置３は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。 Next, a configuration example of the two-dimensional position and orientation estimation device 3 will be described with reference to FIG.
The two-dimensional position/posture estimation device 3 includes an image acquisition unit 301, a region extraction unit 302, a position estimation unit 303, a posture estimation unit 304, and an output unit 305, as shown in FIG. The two-dimensional position and orientation estimation device 3 is implemented by a processing circuit such as a system LSI (Large Scale Integration) or a CPU (Central Processing Unit) that executes programs stored in a memory or the like.

画像取得部３０１は、カメラ２により得られた画像を取得する。 An image acquisition unit 301 acquires an image obtained by the camera 2 .

領域抽出部３０２は、画像取得部３０１により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部３０２は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部３０２による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。 A region extraction unit 302 extracts an object region from the image acquired by the image acquisition unit 301 by image processing. That is, the region extraction unit 302 extracts an object region from the image based on the degree of change in contrast. A method for extracting the object region by the region extracting unit 302 may be, for example, threshold processing or a background subtraction method. .

位置推定部３０３は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する。なお、領域抽出部３０２により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。また、再現性のある一意の点とは、物体１１の姿勢に依存せずに一意に定まる点である。
位置推定部３０３は、例えば、再現性のある一意の点として領域抽出部３０２により抽出された物体領域に基づく領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。画像上の基準点としては、例えば画像の中心点が挙げられる。 The position estimation unit 303 estimates the position of the object 11 based on reproducible unique points from the area based on the object area extracted by the area extraction unit 302 . Note that the regions based on the object region extracted by the region extraction unit 302 include the object region, a convex hull region of the object region, a geometric approximation of the object region, and a geometric shape of the object region. It includes one or more of the smallest enclosing area or the smallest area that geometrically circumscribes the object area. Geometric shapes include rectangles, ellipses, and the like. A reproducible unique point is a point that is uniquely determined without depending on the orientation of the object 11 .
The position estimating unit 303 uses, for example, the centroid of the area based on the object area extracted by the area extracting unit 302 as a reproducible unique point, and calculates the distance between the centroid and an arbitrarily set reference point on the image. A position of the object 11 is estimated based on the relative relationship. The reference point on the image is, for example, the center point of the image.

姿勢推定部３０４は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する。
姿勢推定部３０４は、例えば、再現性のある一意の方向として領域抽出部３０２により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて、物体１１の姿勢を推定する。基準方向としては、例えば画像の水平方向が挙げられる。 The posture estimation unit 304 estimates the posture of the object 11 based on a reproducible unique direction from the region based on the object region extracted by the region extraction unit 302 .
The posture estimation unit 304 uses, for example, the long axis direction of the region based on the object region extracted by the region extraction unit 302 as a reproducible unique direction, and the relative direction between the long axis direction and an arbitrarily set reference direction. Based on the relationship, the pose of object 11 is estimated. The reference direction is, for example, the horizontal direction of the image.

出力部３０５は、位置推定部３０３による推定結果及び姿勢推定部３０４による推定結果を示すデータをロボットコントローラ４に出力する。 The output unit 305 outputs data indicating the result of estimation by the position estimation unit 303 and the result of estimation by the orientation estimation unit 304 to the robot controller 4 .

なお、位置推定部３０３及び姿勢推定部３０４は、「領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく当該物体１１の姿勢を推定する位置姿勢推定部」を構成する。 Note that the position estimating unit 303 and the posture estimating unit 304 extract "the position and the reproducible unique direction of the object 11 based on a reproducible unique point from the area based on the object area extracted by the area extracting unit 302. A position/orientation estimator for estimating the orientation of the object 11 based on

次に、図２に示す２次元位置姿勢推定装置３の動作例について、図３を参照しながら説明する。
一般的に、物体１１の姿勢を表現する場合、オイラー角（α，β，γ）及び四元数（ｗ，ｘ，ｙ，ｚ）に代表されるように、ある基準からの回転量（角度）で表現する場合が多い。この場合、物体１１自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、姿勢推定部３０４は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体１１の姿勢が表現可能である。
また、画像上で物体１１の姿勢を表現する場合、主にＺ軸（カメラ２の光軸方向）周りの回転量で表現する場合が多い。よって、Ｚ軸周りに回転対称な形状を有する物体１１に対しては、姿勢の表現が不可能（不必要）である。このことから、画像上での姿勢推定が必要な物体１１は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体１１として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。よって、以下では、姿勢推定部３０４は長軸方向を用いることで物体１１の姿勢を表現する。
また、物体１１の位置に関しても同様であり、位置推定部３０３は、物体領域に基づく領域から再現性のある一意の点を導出することで、基準となるテンプレートを用いずに物体１１の位置を表現可能となる。また、物体領域に基づく領域の図心は一意に定まる特徴点であるため、以下では、位置推定部３０３は図心を用いることで物体１１の位置を表現する。 Next, an operation example of the two-dimensional position/orientation estimation device 3 shown in FIG. 2 will be described with reference to FIG.
In general, when expressing the posture of the object 11, the amount of rotation (angle ) is often expressed. In this case, the object 11 itself does not have its reference, so the user has to arbitrarily set the reference. Moreover, there is no particular limitation regarding the setting of the criteria. Therefore, posture estimation section 304 can express the posture of object 11 without using a reference template by deriving a unique reproducible direction from a region based on the object region.
Moreover, when expressing the posture of the object 11 on the image, it is often expressed mainly by the amount of rotation around the Z-axis (optical axis direction of the camera 2). Therefore, it is impossible (unnecessary) to express the posture of the object 11 having a shape that is rotationally symmetrical about the Z axis. For this reason, the object 11 whose pose needs to be estimated on the image is limited to one having some geometric feature in its shape. Assuming that the object 11 has some geometric feature in its shape, the long axis direction of the area based on the object area is uniquely determined. Therefore, hereinafter, posture estimation section 304 expresses the posture of object 11 by using the longitudinal direction.
The same applies to the position of the object 11. The position estimation unit 303 derives a unique point with reproducibility from the area based on the object area, thereby estimating the position of the object 11 without using a reference template. can be expressed. Further, since the centroid of the area based on the object area is a feature point that is uniquely determined, the position estimation unit 303 expresses the position of the object 11 by using the centroid.

この実施の形態１に係る２次元位置姿勢推定装置３の動作例では、図３に示すように、まず、画像取得部３０１は、カメラ２により得られた画像を取得する（ステップＳＴ１）。 In the operation example of the two-dimensional position/orientation estimation apparatus 3 according to the first embodiment, as shown in FIG. 3, the image acquisition unit 301 first acquires an image obtained by the camera 2 (step ST1).

次いで、領域抽出部３０２は、画像取得部３０１により取得された画像から、画像処理によって物体領域を抽出する（ステップＳＴ２）。ここでは、領域抽出部３０２は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部３０１により例えば図４に示すような画像が取得されたとする。この画像には、物体１１、作業面１２及びその他の背景が含まれている。実施の形態１に係る２次元位置姿勢推定装置３では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、実施の形態１に係る２次元位置姿勢推定装置３では、まず、例えば図５Ａに示すように、閾値処理によって画像から作業面１２を示す領域（図５Ａに示すグレーの領域）５０１を抽出することが望ましい。一般的に、生産ラインでは、物体１１は作業面１２上に配置されている場合がほとんどである。そのため、実施の形態１における領域抽出部３０２では、作業面１２を示す領域５０１と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域（図５Ｂに示すグレーの領域）５０２との差分をとることで、物体領域（図５Ｃに示すグレーの領域）５０３が抽出可能である。 Next, the region extraction unit 302 extracts an object region by image processing from the image acquired by the image acquisition unit 301 (step ST2). Here, it is assumed that the region extraction unit 302 extracts an object region from an image by threshold processing. Assume that the image acquisition unit 301 acquires an image as shown in FIG. 4, for example. This image includes an object 11, a work surface 12 and other backgrounds. Since the two-dimensional position/orientation estimation apparatus 3 according to Embodiment 1 does not prepare a template, it is not easy to directly extract an object region from an image. Therefore, in the two-dimensional position and orientation estimation apparatus 3 according to Embodiment 1, first, as shown in FIG. 5A, for example, an area (gray area shown in FIG. 5A) indicating the work surface 12 is extracted from the image by threshold processing. It is desirable to Generally, in most production lines, the object 11 is placed on the work surface 12 . Therefore, in the region extracting unit 302 according to the first embodiment, a region 501 indicating the work surface 12 and a region (gray region shown in FIG. 5B) 502 obtained by filling the region by closing processing or the like are performed on the region. By taking the difference, an object area (gray area shown in FIG. 5C) 503 can be extracted.

次いで、位置推定部３０３は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する（ステップＳＴ３）。ここでは、位置推定部３０３は、再現性のある一意の点として上記領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。 Next, the position estimating section 303 estimates the position of the object 11 based on reproducible unique points from the area based on the object area extracted by the area extracting section 302 (step ST3). Here, the position estimation unit 303 uses the centroid of the region as a reproducible unique point, and estimates the position of the object 11 based on the relative relationship between the centroid and an arbitrarily set reference point on the image. presume.

具体的には、位置推定部３０３は、まず、再現性のある一意の点として領域抽出部３０２により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が（ｕｉ，ｖｉ）（ｉ，ｊ＝１，・・・，Ｎ）で表される場合、位置推定部３０３は、当該領域の０次モーメント及び１次モーメントを用いて、下式（１）～（４）から、当該領域の図心を導出する。なお、Ｎは上記領域を構成する点の個数である。また、式（１）～（４）において、ｍ００は上記領域の０次モーメントを表し、（ｍ１０，ｍ０１）は当該領域の１次モーメントを表し、（ｕ（バー），ｖ（バー））は当該領域の図心を表す。

Figure 0007178802000001
Specifically, the position estimation unit 303 first derives the centroid of the area based on the object area extracted by the area extraction unit 302 as a unique point with reproducibility. Here, when the coordinates of the points forming the above region are represented by (u i , v i ) (i, j=1, . and the first moment, the centroid of the region is derived from the following equations (1) to (4). Note that N is the number of points forming the region. In the formulas (1) to (4), m 00 represents the 0th order moment of the above region, (m 10 , m 01 ) represents the 1st order moment of the region, (u (bar), v (bar )) represents the centroid of the region.

Figure 0007178802000001

そして、位置推定部３０３は、導出した領域の図心及び基準点に基づいて、下式（５）から物体１１の位置を推定する。なお、式（５）において、（ｕ０，ｖ０）は基準点を表し、（ｘ，ｙ）は物体１１の位置を表す。

Figure 0007178802000002
The position estimator 303 then estimates the position of the object 11 from the following equation (5) based on the derived centroid and reference point of the region. Note that (u 0 , v 0 ) represents the reference point and (x, y) represents the position of the object 11 in Equation (5).

Figure 0007178802000002

また、姿勢推定部３０４は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する（ステップＳＴ４）。ここでは、姿勢推定部３０４は、再現性のある一意の方向として上記領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて物体１１の姿勢を推定する。 Also, posture estimation section 304 estimates the posture of object 11 based on a reproducible unique direction from the region based on the object region extracted by region extraction section 302 (step ST4). Here, posture estimating section 304 uses the long axis direction of the region as a reproducible unique direction, and estimates the posture of object 11 based on the relative relationship between the long axis direction and an arbitrarily set reference direction. do.

具体的には、基準方向が画像上の水平方向である場合、姿勢推定部３０４は、上記領域の２次モーメント及び当該領域の図心に基づいて、下式（６）～（９）から、長軸方向の水平方向からの回転角度を導出することで物体１１の姿勢を推定する。式（６）～（９）において、（ｍ２０，ｍ０２，ｍ１１）は上記領域の２次モーメントを表し、θは回転角度を表す。

Figure 0007178802000003
Specifically, when the reference direction is the horizontal direction on the image, posture estimation section 304 uses the following equations (6) to (9) based on the second-order moment of the region and the centroid of the region to obtain: The posture of the object 11 is estimated by deriving the angle of rotation of the longitudinal direction from the horizontal direction. In equations (6) to (9), (m 20 , m 02 , m 11 ) represent the secondary moment of the above region, and θ represents the rotation angle.

Figure 0007178802000003

例えば、領域抽出部３０２が図５Ｃに示すような物体領域５０３を抽出したとする。また、位置推定部３０３及び姿勢推定部３０４が用いる領域が、図６Ａに示すように物体領域５０３を包含する最小の矩形領域６０１であるとする。この場合、位置推定部３０３により導出される図心６０２及び姿勢推定部３０４により導出される長軸方向６０３は図６Ｂに示すようになる。 For example, assume that the region extraction unit 302 has extracted an object region 503 as shown in FIG. 5C. It is also assumed that the area used by position estimation section 303 and posture estimation section 304 is the smallest rectangular area 601 that includes object area 503 as shown in FIG. 6A. In this case, the centroid 602 derived by the position estimation unit 303 and the longitudinal direction 603 derived by the posture estimation unit 304 are as shown in FIG. 6B.

また、位置推定部３０３は、例えば図５Ｃに示す物体領域５０３及び図６Ａに示す矩形領域６０１等のように複数の領域を用いてそれぞれに対して物体１１の位置の推定を行い、それらの推定結果に基づいて物体１１の位置を推定してもよい。これにより、位置推定部３０３は、位置推定の精度の向上を図ることができる。姿勢推定部３０４についても同様である。 Further, the position estimation unit 303 estimates the position of the object 11 using a plurality of regions such as the object region 503 shown in FIG. 5C and the rectangular region 601 shown in FIG. The position of object 11 may be estimated based on the results. Accordingly, the position estimation unit 303 can improve the accuracy of position estimation. The same applies to posture estimation section 304 .

また上記では、位置推定部３０３が、上記領域の図心を導出する場合を示した。しかしながら、これに限らず、位置推定部３０３は、例えば上記領域の外郭の特徴点（例えば図５Ｃに示す物体領域の直角部分５０４）を用いて、物体１１の位置を推定してもよい。
また上記では、姿勢推定部３０４が、上記領域の長軸方向を導出する場合を示した。しかしながら、これに限らず、姿勢推定部３０４は、例えば、上記領域の図心と当該領域の外郭の特徴点とを結ぶ線分を用いて、物体１１の姿勢を推定してもよい。 In the above, the case where the position estimating unit 303 derives the centroid of the area has been described. However, the position estimator 303 is not limited to this, and may estimate the position of the object 11 using, for example, feature points on the outline of the above region (for example, the right-angled portion 504 of the object region shown in FIG. 5C).
In the above, the case where posture estimation section 304 derives the long axis direction of the region has been described. However, the posture estimation unit 304 is not limited to this, and may estimate the posture of the object 11 using, for example, line segments connecting the centroid of the region and feature points on the outline of the region.

次いで、出力部３０５は、位置推定部３０３による推定結果及び姿勢推定部３０４による推定結果を示すデータをロボットコントローラ４に出力する（ステップＳＴ５）。その後、ロボットコントローラ４は、２次元位置姿勢推定装置３による推定結果に基づいて、物体１１のピッキングを行うようにロボット１の動作を制御する。これにより、ロボットピッキングシステムは、物体１１の位置姿勢が不定の場合であっても当該物体１１をピッキング可能となる。 Next, the output section 305 outputs data indicating the estimation result by the position estimation section 303 and the estimation result by the attitude estimation section 304 to the robot controller 4 (step ST5). After that, the robot controller 4 controls the motion of the robot 1 to pick the object 11 based on the estimation result by the two-dimensional position/orientation estimation device 3 . As a result, the robot picking system can pick the object 11 even if the position and orientation of the object 11 are indefinite.

以上のように、この実施の形態１によれば、２次元位置姿勢推定装置３は、画像を取得する画像取得部３０１と、画像取得部３０１により取得された画像から、対象である物体１１を示す領域である物体領域を抽出する領域抽出部３０２と、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく当該物体１１の姿勢を推定する位置姿勢推定部とを備えた。これにより、実施の形態１に係る２次元位置姿勢推定装置３は、テンプレートを用いずに、多様な物体１１に対して画像上での位置姿勢が検出可能となる。 As described above, according to the first embodiment, the two-dimensional position/orientation estimation apparatus 3 includes the image acquisition unit 301 that acquires an image, and the object 11 that is the target from the image acquired by the image acquisition unit 301. and a region based on the object region extracted by the region extracting unit 302, the position of the object 11 based on a reproducible unique point and a reproducible unique point. a position/orientation estimator for estimating the orientation of the object 11 based on the direction. As a result, the two-dimensional position/orientation estimation apparatus 3 according to Embodiment 1 can detect the positions and orientations of various objects 11 on the image without using templates.

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 It should be noted that, within the scope of the present invention, any component of the embodiment can be modified or any component of the embodiment can be omitted.

１ ロボット
２ カメラ（撮像装置）
３ ２次元位置姿勢推定装置
４ ロボットコントローラ
１１ 物体
１２ 作業面
１０１ エンドエフェクタ
３０１ 画像取得部
３０２ 領域抽出部
３０３ 位置推定部
３０４ 姿勢推定部
３０５ 出力部 1 robot 2 camera (imaging device)
3 two-dimensional position and orientation estimation device 4 robot controller 11 object 12 work surface 101 end effector 301 image acquisition unit 302 region extraction unit 303 position estimation unit 304 posture estimation unit 305 output unit

Claims (7)

画像を取得する画像取得部と、
前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく前記物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする２次元位置姿勢推定装置。 an image acquisition unit that acquires an image;
a region extracting unit for extracting an object region, which is a region indicating a target object, from the image acquired by the image acquiring unit;
a position/orientation estimator for estimating a position of the object based on a unique reproducible point and a pose of the object based on a unique reproducible direction from the object region-based region extracted by the region extractor; with
The region extracting unit extracts a region indicating a work surface from an image by threshold processing, extracts a region obtained by filling holes in the region, and extracts an object region by taking a difference between the two regions.
A two-dimensional position and orientation estimation device characterized by: 前記画像取得部により取得される画像は２次元画像又は距離画像である
ことを特徴とする請求項１記載の２次元位置姿勢推定装置。 The two-dimensional position and orientation estimation device according to claim 1, wherein the image acquired by the image acquiring unit is a two-dimensional image or a range image. 前記領域抽出部は、前記画像取得部により取得された画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する
ことを特徴とする請求項１又は請求項２記載の２次元位置姿勢推定装置。 3. The two-dimensional position and orientation estimation according to claim 1, wherein the region extraction unit extracts an object region from the image acquired by the image acquisition unit based on a degree of change in contrast. Device. 前記位置姿勢推定部は、前記領域抽出部により抽出された物体領域に基づく領域として、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を用いる
ことを特徴とする請求項１から請求項３のうちの何れか１項記載の２次元位置姿勢推定装置。 The position/orientation estimating unit extracts a region based on the object region extracted by the region extracting unit, the object region, a convex hull region of the object region, a region obtained by approximating the object region with a geometric shape, and the object region. one or more of the smallest area that includes the geometric shape of 2. The two-dimensional position/orientation estimation device according to any one of . 前記位置姿勢推定部は、再現性のある一意の点として前記領域抽出部により抽出された物体領域に基づく領域の図心を用い、当該図心と基準点との相対関係に基づいて前記物体の位置を推定する
ことを特徴とする請求項１から請求項４のうちの何れか１項記載の２次元位置姿勢推定装置。 The position and orientation estimation unit uses the centroid of the region based on the object region extracted by the region extraction unit as a reproducible unique point, and uses the centroid of the object based on the relative relationship between the centroid and the reference point. 5. The two-dimensional position and orientation estimation device according to any one of claims 1 to 4, wherein the position is estimated. 前記位置姿勢推定部は、再現性のある一意の方向として前記領域抽出部により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と基準方向との相対関係に基づいて前記物体の姿勢を推定する
ことを特徴とする請求項１から請求項４のうちの何れか１項記載の２次元位置姿勢推定装置。 The position and orientation estimating unit uses the longitudinal direction of the region based on the object region extracted by the region extracting unit as a reproducible unique direction, and uses the longitudinal direction of the object region based on the relative relationship between the longitudinal direction and the reference direction. 5. The two-dimensional position and orientation estimation device according to any one of claims 1 to 4, wherein the orientation of an object is estimated. 画像取得部が、画像を取得するステップと、
領域抽出部が、前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出するステップと、
位置姿勢推定部が、前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点を用いた前記物体の位置及び再現性のある一意の方向を用いて当該物体の姿勢を推定するステップとを有し、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする２次元位置姿勢推定方法。 an image acquisition unit acquiring an image;
a step in which an area extracting unit extracts an object area, which is an area indicating a target object, from the image acquired by the image acquiring unit;
A position/orientation estimating unit calculates a pose of the object using a position of the object using a unique reproducible point and a unique reproducible direction from a region based on the object region extracted by the region extracting unit. and estimating
The region extracting unit extracts a region indicating a work surface from an image by threshold processing, extracts a region obtained by filling holes in the region, and extracts an object region by taking a difference between the two regions.
A two-dimensional position and orientation estimation method characterized by :
JP2018106983A 2018-06-04 2018-06-04 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method Active JP7178802B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018106983A JP7178802B2 (en) 2018-06-04 2018-06-04 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method
PCT/JP2019/020071 WO2019235210A1 (en) 2018-06-04 2019-05-21 Two-dimensional position/attitude deduction apparatus and two-dimensional position/attitude deduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018106983A JP7178802B2 (en) 2018-06-04 2018-06-04 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method

Publications (2)

Publication Number Publication Date
JP2019211968A JP2019211968A (en) 2019-12-12
JP7178802B2 true JP7178802B2 (en) 2022-11-28

Family

ID=68770903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018106983A Active JP7178802B2 (en) 2018-06-04 2018-06-04 2D Position and Posture Estimation Apparatus and 2D Position and Posture Estimation Method

Country Status (2)

Country Link
JP (1) JP7178802B2 (en)
WO (1) WO2019235210A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260315A (en) 2005-03-18 2006-09-28 Juki Corp Method and device for detecting component position

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015780A (en) * 1983-07-08 1985-01-26 Hitachi Ltd Robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260315A (en) 2005-03-18 2006-09-28 Juki Corp Method and device for detecting component position

Also Published As

Publication number Publication date
JP2019211968A (en) 2019-12-12
WO2019235210A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
WO2019114339A1 (en) Method and device for correcting motion of robotic arm
JP6271953B2 (en) Image processing apparatus and image processing method
JP5671281B2 (en) Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP6331517B2 (en) Image processing apparatus, system, image processing method, and image processing program
JP5863440B2 (en) Information processing apparatus and method
JP4479194B2 (en) Motion identification device and object posture identification device
US20170345147A1 (en) Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same
JP2019063984A (en) Information processor, method, and robot system
US20130230235A1 (en) Information processing apparatus and information processing method
US10043279B1 (en) Robust detection and classification of body parts in a depth map
JP2018119833A (en) Information processing device, system, estimation method, computer program, and storage medium
JP2011179909A (en) Device and method for measuring position and attitude, and program
JP2016170050A (en) Position attitude measurement device, position attitude measurement method and computer program
US20150104068A1 (en) System and method for locating fiducials with known shape
CN109934869B (en) Position and orientation estimation device, position and orientation estimation method, and recording medium
CN116249607A (en) Method and device for robotically gripping three-dimensional objects
JP6626338B2 (en) Information processing apparatus, control method for information processing apparatus, and program
JP6922348B2 (en) Information processing equipment, methods, and programs
CN117576094B (en) 3D point cloud intelligent sensing weld joint pose extraction method, system and equipment
JP2017130067A (en) Automatic image processing system for improving position accuracy level of satellite image and method thereof
JP2015111128A (en) Position attitude measurement device, position attitude measurement method, and program
JP2010184300A (en) Attitude changing device and attitude changing method
JP2020042575A (en) Information processing apparatus, positioning method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221115

R150 Certificate of patent or registration of utility model

Ref document number: 7178802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150