WO2018135063A1 - マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法 - Google Patents

マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法 Download PDF

Info

Publication number
WO2018135063A1
WO2018135063A1 PCT/JP2017/038713 JP2017038713W WO2018135063A1 WO 2018135063 A1 WO2018135063 A1 WO 2018135063A1 JP 2017038713 W JP2017038713 W JP 2017038713W WO 2018135063 A1 WO2018135063 A1 WO 2018135063A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
marker
angle
axis
lens
Prior art date
Application number
PCT/JP2017/038713
Other languages
English (en)
French (fr)
Inventor
田中 秀幸
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to CN201780082133.XA priority Critical patent/CN110140023B/zh
Priority to EP17892772.9A priority patent/EP3550259B1/en
Priority to JP2018562879A priority patent/JPWO2018135063A1/ja
Priority to US16/475,558 priority patent/US10928191B2/en
Publication of WO2018135063A1 publication Critical patent/WO2018135063A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • the present invention relates to a marker for estimating the posture and position of an object, and a posture estimation method and a position / orientation estimation method using the marker.
  • planar pattern that can measure the position and orientation of an object in a three-dimensional space by imaging with a monocular camera has been devised, and is generally called a planar visual marker.
  • planar visual markers are used by being affixed to objects in the field of augmented reality (AR), robotics, and the like, but the present applicant has also developed various planar visual markers. (See Patent Documents 1 to 3 and Non-Patent Document 1).
  • the present invention has been made to solve the above-described problems, and provides a marker that realizes position and orientation estimation with higher accuracy, and a posture estimation method and a position and posture estimation method using this marker. For the purpose.
  • the present invention is a marker for estimating the posture of an object, and a first line-of-sight angle estimating means for estimating a line-of-sight angle around at least one axis with respect to the object;
  • a marker that has a smaller line-of-sight angle resolution than the first line-of-sight angle estimation means and includes second line-of-sight angle estimation means for estimating the line-of-sight angle around the axis.
  • the present invention provides a posture estimation method using a marker for estimating the posture of an object, and uses at least one gaze angle estimation means to at least one object.
  • the first step of provisionally determining the gaze angle around the axis and the second gaze angle estimation means having a smaller gaze angle resolution than the first gaze angle estimation means Among the candidate values obtained in the second step and the second step, the value closest to the line-of-sight angle temporarily determined in the first step is set as the estimated value of the line-of-sight angle around the axis.
  • An attitude estimation method using a marker having three steps is provided.
  • the present invention provides a position and orientation estimation method using a marker for obtaining an estimated value of a position and orientation by obtaining an optimal solution using both the position and orientation of an object as variables.
  • the gaze angle temporarily determined in the first step A third step in which the closest value is an estimated value of the gaze angle around the axis, and a fourth step of obtaining the estimated value of the position using the estimated value of the gaze angle obtained in the third step Position and orientation using a marker with To provide a constant method.
  • the present invention it is possible to provide a marker that realizes position and orientation estimation with higher accuracy, a posture estimation method and a position and orientation estimation method using this marker.
  • FIG. 4 is a graph showing the relationship between the position X of a moving mark and the line-of-sight angle ⁇ in the standard variable moire patterns VS1 and VS2 shown in FIG. 4 is a graph showing a relationship between a position X of a moving mark and a viewing angle ⁇ in the high sensitivity variable moire patterns VH1 and VH2 shown in FIG. It is sectional drawing which shows the structure of the high sensitivity variable moire pattern VH1 and VH2 shown by FIG.
  • the center of a moving mark M which will be described later, is defined as a gazing point P0
  • the axis parallel to the Y axis and passing through the gazing point P0 is parallel to the Y1 axis and the Z axis perpendicular to the plane B
  • the axis passing through the gazing point P0 is taken as the Z1 axis.
  • the line L connecting the observation viewpoint VP and the gazing point P0 shown in FIG. when a plane including the Z1 axis and the Y1 axis orthogonal to the Z1 axis is a plane P1, and a plane including the line L and the Y1 axis is a plane P2, the plane P1 and the plane P2
  • the angle SA formed by is referred to as the viewing angle around the Y axis.
  • variable moire pattern is an interference fringe pattern in which the pattern changes (appears to move) according to the viewing angle, as described in Patent Document 1, and the posture of the marker is unique within a certain viewing angle range. It has a function to determine.
  • an observable line-of-sight angle range of ⁇ 25 to 30 degrees is referred to as a standard variable moire pattern, and a higher sensitivity is referred to as a high sensitivity variable moire pattern.
  • variable moire pattern a line that appears to move according to the viewing angle is called a movement mark.
  • the position on the X axis where the movement mark is observed corresponds to the line-of-sight angle SA to the gazing point P0 which is the center of the movement mark M shown in FIG. That is, assuming that the center of the variable moiré pattern forming a rectangle is the origin 0, the major axis direction of the variable moiré pattern is the X axis, and the minor axis direction is the Y axis, the position of the movement mark M on the X axis and around the Y axis The relationship of the line-of-sight angle ⁇ is illustrated in FIG.
  • the straight line graph eq0 represents the trajectory of the main movement mark M seen near the center when the variable moiré pattern is viewed from the front
  • the straight line graphs eq1 and eq2 are the movement marks M in the direction of the end of the variable moiré pattern. It represents the trajectory of the movement mark that appears from the direction of the other end when it moves.
  • the distance F on the line-of-sight angle between the trajectories is called a period. That is, the line-of-sight angle until the adjacent movement mark comes to the same position as the current movement mark on the variable moire pattern is a cycle, and FIG. 2 shows the case where the cycle is 2 ⁇ .
  • FIG. 3 is a plan view showing the configuration of the planar visual marker 1 according to the embodiment of the present invention.
  • the planar visual marker 1 is arranged in parallel with the rectangular AR marker 2 including the two-dimensional pattern code and two adjacent sides of the AR marker 2 on the same plane as the AR marker 2.
  • Flat rectangular standard variable moire patterns VS1 and VS2, flat rectangular high-sensitivity variable moire patterns VH1 and VH2 arranged at positions facing the standard variable moire patterns VS1 and VS2 across the AR marker 2, and four corners Are provided with reference points RP1 to RP4.
  • the major axes of the standard variable moire patterns VS1 and VS2 are arranged so as to be orthogonal to the y-axis and the x-axis, which are rotation axes, respectively, and the major axes of the high-sensitivity variable moire patterns VH1 and VH2 are also rotation axes. They are arranged so as to be orthogonal to the y-axis and the x-axis.
  • the high sensitivity variable moire patterns VH1 and VH2 shown in FIG. 3 have a sensitivity n (n is a number larger than 1) times that of the standard variable moire patterns VS1 and VS2, that is, the line-of-sight angle resolution is higher. (1 / n) times. At this time, the moving speed of the moving mark with respect to the change in the line-of-sight angle is increased by n times.
  • the period of the high-sensitivity variable moire pattern is set to (1 / n) times the period of the standard variable moire pattern.
  • FIG. 4A the relationship between the movement mark position X and the line-of-sight angle ⁇ in the standard variable moire patterns VS1 and VS2 is shown in FIG. 4A, and the position X and line-of-sight angle of the movement mark in the high-sensitivity variable moire patterns VH1 and VH2, respectively.
  • the relationship of ⁇ is shown in FIG. 4B.
  • the straight line graph eqS0 shown in FIG. 4A passes through the origin and the point (x1, ⁇ 1), and the straight line graphs eqS1, eqS2 are parallel to the straight line graph eqS0.
  • the straight line graph eqH0 shown in FIG. 4B passes through the origin and the point (x1, ⁇ 1 / 2), and the straight line graphs eqH1 and eqH2 are parallel to the straight line graph eqH0.
  • the cycle of the standard variable moire patterns VS1 and VS2 is 2 ⁇ 1
  • the cycle of the high sensitivity variable moire patterns VH1 and VH2 is ⁇ 1
  • the standard variable moire pattern VS1 It can be seen that the period is (1/2) times that of VS2.
  • both the standard variable moire pattern and the high sensitivity variable moire pattern are composed of a lenticular lens LL having a focal length f disposed on the stripe pattern ST, and the lens pitch p of the lenticular lens and the stripes.
  • the pattern pitches SP are almost equal.
  • FIG. 5 it is assumed that when the standard variable moire pattern is observed from the viewpoint VP1 along the line of sight L1, a movement mark is seen at the center lens position. If the viewpoint is moved from there, that is, the movement mark is observed to move when the line of sight is tilted, the next mark is moved along the line of sight L2 when the line of sight is tilted by an angle of 2 ⁇ 1 to the position of the viewpoint VP2. The mark becomes visible at the center lens position.
  • the relationship between the period ⁇ , the lens pitch p, and the focal length f can be expressed as the following equation (1).
  • the period ⁇ can be changed by the ratio (p / f) between the lens pitch and the focal length. From this, when the period ⁇ is desired to be (1 / n) times, the ratio between the lens pitch and the focal length may be set to the following value (2).
  • the standard variable moiré pattern and the high-sensitivity variable moiré pattern are replaced with a lens array by replacing the lens pitch p with the center-to-center distance between adjacent lenses and the focal length f with the focal length of each lens. The same can be said even if it consists of.
  • step S1 the line-of-sight angle around at least one axis with respect to the object is provisionally determined using the first line-of-sight angle estimation means. Specifically, for example, by observing the movement marks appearing in the standard variable moire patterns VS1 and VS2 shown in FIG. 3, the y-axis of the object to which the planar visual marker 1 is attached using the graph of FIG. 4A and A line-of-sight angle around the x-axis is provisionally determined.
  • step S2 a candidate value for the gaze angle around the axis is obtained by using the second gaze angle estimation means having a smaller gaze angle resolution than the first gaze angle estimation means. Specifically, for example, by observing the movement marks appearing in the high-sensitivity variable moire patterns VH1 and VH2 shown in FIG. 3, using the graph of FIG. 4B, the candidate values for the gaze angles around the y-axis and the x-axis are obtained. Desired.
  • step S3 the value closest to the line-of-sight angle temporarily determined in step S1 among the candidate values obtained in step S2 is set as the estimated value of the line-of-sight angle around the axis.
  • this method can be said to be a method of reminimizing the reprojection error while fixing the viewing angle as the posture parameter obtained by the above method.
  • the position estimation using the planar visual marker as described above is performed by PnP (Perspective-n-Points) for obtaining a plurality of correspondences between a three-dimensional position of a point on the marker and an observation coordinate on the image. It is done by solving the problem.
  • the number of points used for solving this problem is 4, and the surrounding visual reference points RP1 to RP4 are used in the planar visual marker 1 shown in FIG.
  • reprojection refers to calculating where in the image coordinate system X i , Y i (image plane) the feature point on the marker is observed using the estimated position and orientation of the marker. At this time, an error (a distance on the image plane) between the point actually observed on the image and the reprojected point is referred to as a reprojection error.
  • the reprojection error is minimized by finely correcting the marker position and orientation based on the marker position and orientation obtained first. This minimization is performed by iterative calculation using a nonlinear optimization method such as Newton method or Marquardt method.
  • steps S1 to S3 shown in FIG. 8 are the same as steps S1 to S3 shown in FIG.
  • step S4 shown in FIG. 8 the estimated value of the position is obtained using the estimated value of the line-of-sight angle obtained in step S3. Specifically, the reprojection error is calculated only for the position parameter by using the estimated value of the gaze angle obtained by the attitude estimation method according to the embodiment of the present invention shown in FIG. The position information can be corrected with higher accuracy by performing the minimization again.
  • the minimization method is not particularly limited, and a method of performing a fixed attitude parameter in the nonlinear optimization method, a method of searching for the minimum value of the reprojection error by a search algorithm while slightly changing the position parameter, etc. Can be considered.
  • planar visual marker 1 according to the embodiment of the present invention shown in FIG. 3 will be described.
  • the dot mark D may be used in combination with the high sensitivity variable moire pattern VH as the line-of-sight angle detection means.
  • the broken line of FIG. 9 shows the rotating shaft AX.
  • a high sensitivity moire pattern VH2 having higher sensitivity than the high sensitivity variable moire pattern VH1 may be used in combination.
  • the posture estimation method shown in FIG. 6 is applied between the high-sensitivity variable moire pattern VH1 and the high-sensitivity variable moire pattern VH2, thereby further improving the accuracy of eye-gaze angle estimation.
  • a dot mark D may be used instead of the standard variable moire pattern VS shown in FIG. 10, and as shown in FIG. 12, a lens array type is used as the standard variable moire pattern.
  • the lens array type high sensitivity variable moire pattern VHP may be used as the standard variable moire pattern VSP as the high sensitivity variable moire pattern.
  • high-sensitivity variable moire patterns VH1 and VH2 may be used instead of the lens array type high-sensitivity variable moire pattern VHP shown in FIG. 12, and as shown in FIG. Instead of the lens array type standard variable moire pattern VSP shown in FIG. 12, standard variable moire patterns VS1 and VS2 may be used.
  • the function of the lens array type standard variable moire pattern VSP shown in FIG. 12 may be replaced with the dot marks D at the four corners. As shown in FIG. The function of the lens array type standard variable moire pattern VSP shown in FIG.
  • the pattern VSB and the high sensitivity variable moire pattern VHB may be arranged with the major axis direction aligned.
  • the functions of the standard variable moire pattern VSA and the standard variable moire pattern VSB shown in FIG. 17 may be replaced with dot marks D at the four corners.
  • the position and posture can be estimated with higher accuracy than in the past.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供する。 上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカであって、対象物に対する少なくとも一つの軸周りの視線角度を推定するための標準可変モアレパターンVS1,VS2と、標準可変モアレパターンVS1,VS2よりも視線角度の分解能が小さく、上記軸周りの視線角度を推定するための高感度可変モアレパターンVH1,VH2とを備えたマーカ1を提供する。

Description

マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法
 本発明は、対象物の姿勢や位置を推定するためのマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法に関するものである。
 単眼カメラで撮像することにより3次元空間における対象物の位置や姿勢を計測することが可能となる平面パターンが考案されており、一般的に平面視覚マーカと呼ばれている。
 このような平面視覚マーカは、拡張現実(Augmented Reality:AR)やロボティクスの分野等において物体に貼り付けて使用されているが、本出願人によっても種々の平面視覚マーカにつき開発が進められてきている(特許文献1~3及び非特許文献1参照)。
特開2012-145559号公報 特開2014-102246号公報 国際公開WO/2015/045834号公報
H.Tanaka, K.Ogata, and Y.Matsumoto,"Improving the Accuracy of Visual Markers",in Proc. 2016 IEEE Int. Symposium on Robotics and Intelligent Sensors, 2016
 しかし、既存の平面視覚マーカを用いて対象物の位置や姿勢を推定する場合には、精度の良い全地球測位システム(Global Positioning System:GPS)による測位と同じレベルの精度は得られないという問題がある。
 本発明は、上記のような問題を解決するためになされたもので、より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供することを目的とする。    
 上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカであって、対象物に対する少なくとも一つの軸周りの視線角度を推定するための第一の視線角度推定手段と、第一の視線角度推定手段よりも視線角度の分解能が小さく、上記軸周りの視線角度を推定するための第二の視線角度推定手段とを備えたマーカを提供する。
 また、上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカを用いた姿勢推定方法であって、第一の視線角度推定手段を用いて、対象物に対する少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める第二のステップと、第二のステップで求められた候補値のうち、第一のステップで仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする第三のステップとを有するマーカを用いた姿勢推定方法を提供する。
 また、上記課題を解決するため、本発明は、対象物の位置と姿勢の双方を変数とした最適解を得ることにより、位置と姿勢の推定値を得るためのマーカを用いた位置姿勢推定方法であって、第一の視線角度推定手段を用いて少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める第二のステップと、第二のステップで求められた候補値のうち、第一のステップで仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする第三のステップと、第三のステップで得られた視線角度の推定値を用いて、前記位置の推定値を求める第四のステップとを有するマーカを用いた位置姿勢推定方法を提供する。
 本発明によれば、より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供することができる。
視線及び視線角度の定義を説明するための図である。 可変モアレパターンにおける周期の定義を説明するための図である。 本発明の実施の形態に係る平面視覚マーカ1の構成を示す平面図である。 図3に示された標準可変モアレパターンVS1,VS2における移動マークの位置Xと視線角度θの関係を示したグラフである。 図3に示された高感度可変モアレパターンVH1,VH2における移動マークの位置Xと視線角度θの関係を示したグラフである。 図3に示された高感度可変モアレパターンVH1,VH2の構成を示す断面図である。 本発明の実施の形態に係る姿勢推定方法を示すフローチャートである。 本発明の実施の形態に係る位置姿勢推定方法を説明するための図である。 本発明の実施の形態に係る位置姿勢推定方法を示すフローチャートである。 図3に示された平面視覚マーカ1の第一の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第二の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第三の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第四の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第五の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第六の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第七の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第八の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第九の変形例を説明するための図である。 図3に示された平面視覚マーカ1の第十の変形例を説明するための図である。
 以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
 最初に、図1及び図2を参照しつつ、用語の定義を説明する。なお、以下ではY軸周りの事象を例として説明するが、任意の軸周りの事象も同様に定義されることはいうまでもない。
 図1において、後述する移動マークMの中心を注視点P0とし、測定対象物のなす平面B上においてY軸と平行で注視点P0を通る軸をY1軸、平面Bと垂直なZ軸と平行で注視点P0を通る軸をZ1軸とする。
 ここで、図1に示された観測視点VPと注視点P0を結ぶ線Lを視線という。また、図1に示されるように、Z1軸と、Z1軸に直交するY1軸とを含む平面を平面P1、線LとY1軸とを含む平面を平面P2とするとき、平面P1と平面P2のなす角SAをY軸周りの視線角度という。
 また、可変モアレパターンとは、特許文献1に記載されているように、見る角度に応じて模様が変化する(移動して見える)干渉縞パターンであり、ある視線角度範囲においてマーカの姿勢を一意に決定する機能を有するものである。
 また、以下においては、例えば観測可能な視線角度範囲が±25~30度のものを標準可変モアレパターン、それよりも高感度のものを高感度可変モアレパターンという。
 また、可変モアレパターンの中で、見る角度に応じて移動するように見える線を移動マークという。
 一方、移動マークが観測されるX軸上の位置は、図1に示された移動マークMの中心である注視点P0への視線角度SAと対応している。すなわち、矩形をなす可変モアレパターンの中心を原点0とし、可変モアレパターンの長軸方向をX軸、短軸方向をY軸としたとき、移動マークMのX軸上の位置とY軸周りの視線角度θの関係を図示すると図2のようになる。ここで、直線グラフeq0は当該可変モアレパターンを正面から見たときに中央付近に見えるメインの移動マークMの軌跡を表し、直線グラフeq1,eq2は移動マークMが可変モアレパターンの端部方向に移動したときに、他端の方向から現れる移動マークの軌跡を表す。このとき、軌跡間の視線角度上の距離Fを周期という。つまり、可変モアレパターン上で隣の移動マークが現在の移動マークと同じ位置に来るまでの視線角度が周期となり、図2においては、周期が2αの場合が図示されている。
 図3は、本発明の実施の形態に係る平面視覚マーカ1の構成を示す平面図である。図3に示されるように、平面視覚マーカ1は、二次元パターンコードを含む矩形のARマーカ2と、ARマーカ2と同一平面上において、ARマーカ2の隣接する二辺にそれぞれ平行に配置された平面矩形状の標準可変モアレパターンVS1,VS2と、ARマーカ2を挟んで標準可変モアレパターンVS1,VS2と対向する位置に配置された平面矩形状の高感度可変モアレパターンVH1,VH2と、四隅に配置された参照点RP1~RP4とを備える。
 すなわち、標準可変モアレパターンVS1,VS2の長軸はそれぞれ、回転軸であるy軸,x軸と直交するように配置され、高感度可変モアレパターンVH1,VH2の長軸もそれぞれ、回転軸であるy軸,x軸と直交するように配置される。
 また、図3に示された高感度可変モアレパターンVH1,VH2は、一般的に、標準可変モアレパターンVS1,VS2よりも感度がn(nは1より大きな数)倍、つまり視線角度の分解能が(1/n)倍とされる。このとき、視線角度の変化に対する移動マークの移動速度がn倍にされるが、そのためには高感度可変モアレパターンの周期が標準可変モアレパターンの周期の(1/n)倍とされる。
 一例として、nが2の場合、それぞれ標準可変モアレパターンVS1,VS2における移動マークの位置Xと視線角度θの関係は図4A、高感度可変モアレパターンVH1,VH2における移動マークの位置Xと視線角度θの関係は図4Bに示される。なお、図4Aに示された直線グラフeqS0は原点と点(x1,α1)を通り、直線グラフeqS1,eqS2は直線グラフeqS0と平行なものである。また、図4Bに示された直線グラフeqH0は原点と点(x1,α1/2)を通り、直線グラフeqH1,eqH2は直線グラフeqH0と平行なものである。
 図4A及び図4Bに示されるように、標準可変モアレパターンVS1,VS2の周期は2α1であるのに対して、高感度可変モアレパターンVH1,VH2の周期はα1であり、標準可変モアレパターンVS1,VS2に比して周期が(1/2)倍となっていることが分かる。
 以下において、図5を参照しつつ、高感度可変モアレパターンの周期を標準可変モアレパターンの周期の(1/n)倍とする方法について説明する。なお、ここでは前提として、標準可変モアレパターン及び高感度可変モアレパターンは共に、縞模様STの上に配設された焦点距離fのレンチキュラーレンズLLからなるものとし、レンチキュラーレンズのレンズピッチpと縞模様のピッチSPはほとんど等しいものとする。
 図5において、視点VP1から視線L1に沿って上記標準可変モアレパターンを観測したとき、中央のレンズの位置に移動マークが見えたとする。そこから視点を移動して、すなわち視線を傾けてゆくと移動マークが動くように観測されるが、2α1の角度だけ視線を傾けて視点VP2の位置にくると、視線L2に沿って隣の移動マークが中央のレンズの位置に見えるようになる。
 このとき、上記視線の傾き、すなわち周期をθとすると、周期θとレンズピッチp及び焦点距離fの関係は、以下の式(1)のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
 従って、周期θはレンズピッチと焦点距離の比(p/f)によって変えることができることになる。このことから、周期θを(1/n)倍にしたいときは、レンズピッチと焦点距離の比を以下の値(2)とすればよいことになる。
Figure JPOXMLDOC01-appb-M000002
 なお、上記において、レンズピッチpを隣接するレンズの中心間距離、焦点距離fを個々のレンズの焦点距離とそれぞれ読み替えることにより、標準可変モアレパターンや高感度可変モアレパターンがレンチキュラーレンズではなくレンズアレイからなる場合でも同様に考えることができる。
 以下において、図6を参照しつつ、本発明の実施の形態に係る姿勢推定方法を説明する。なお、図3に示された平面視覚マーカ1を用いて姿勢推定を行う場合を一つの具体例として、本姿勢推定方法を説明する。
 一般的に、姿勢推定においても高精度であることが望まれるが、上記のように高感度可変モアレパターンの周期は標準可変モアレパターンよりも周期が短いことから、図4Bからも分かるように、高感度可変モアレパターンにおける移動マークの位置と視線角度の関係は一対多となる。このことから、観測された移動マークの位置に応じて視線角度を一意に決めることができないため、精度の異なる視線角度推定手段を併用し、まずは相対的に精度の低い視線角度推定手段を用いて大まかな視線角度を得た上で、それより精度の高い視線角度推定手段を用いて最終的な精度の高い視線角度を求める方法が採用される。
 ステップS1において、第一の視線角度推定手段を用いて、対象物に対する少なくとも一つの軸周りの視線角度を仮決定する。具体的には、例えば図3に示された標準可変モアレパターンVS1,VS2に現れる移動マークを観測することにより、図4Aのグラフを用いて平面視覚マーカ1が付された対象物のy軸及びx軸周りの視線角度が仮決定される。
 次に、ステップS2において、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める。具体的には、例えば図3に示された高感度可変モアレパターンVH1,VH2に現れる移動マークを観測することにより、図4Bのグラフを用いてy軸及びx軸周りの視線角度の候補値が求められる。
 そして、ステップS3において、ステップS2で求められた候補値のうち、ステップS1で仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする。このようにして、上例においては、y軸及びx軸周りの高精度な視線角度を得ることができることになる。
 以下においては、上記のような方法により姿勢が高精度に推定できた後に、対象物の位置の推定精度も向上させる方法について説明する。本方法は簡潔に述べると、上記のような方法により得られた姿勢パラメータとしての視線角度を固定した上で、再投影誤差を再最小化する方法といえる。
 一般的に、上記のような平面視覚マーカを使用した位置の推定は、マーカ上の点の三次元位置とその画像上での観測座標との複数の対応を求めるPnP(Perspective-n-Points)問題を解くことで行われる。ここで、本問題を解くために用いられる点の数は4であり、図3に示された平面視覚マーカ1では周囲の4つの参照点RP1~RP4が用いられる。
 このとき、位置だけでなく姿勢も同時に求められ、具体的には図7に示されるカメラ座標系Xc,Yc,Zcをマーカ座標系Xm,Ym,Zmに移す並進移動と回転移動を表す同次変換行列が求められる。
 そのとき、推定精度を高めるため、再投影誤差の最小化が行われる。ここで、再投影とは、推定したマーカの位置姿勢を用いて、マーカ上の特徴点が画像座標系Xi,Yi(画像平面)のどこに観測されるかを計算することをいう。このとき、実際に画像上で観測される点と再投影した点との間の誤差(画像平面上での距離)を再投影誤差という。この再投影誤差が最小となるよう、最初に求めたマーカの位置姿勢を基にマーカの位置姿勢を微修正するのが再投影誤差の最小化である。なお、この最小化は、ニュートン法やマルカート法等の非線形最適化手法による繰り返し計算によって行われる。
 以上を前提として、本発明の実施の形態に係る位置姿勢推定方法を、図8を参照しつつ説明する。なお、図8に示されたステップS1からステップS3までは、図6に示されたステップS1からステップS3までと同じであるので説明を省略する。
 図8に示されたステップS4では、ステップS3で得られた視線角度の推定値を用いて、上記位置の推定値を求める。具体的には、図6に示された本発明の実施の形態に係る姿勢推定方法により得られた視線角度の推定値を用いて、すなわち姿勢パラメータを固定して位置パラメータだけに関して上記再投影誤差の最小化を再度行うことにより、位置情報をより高精度に修正することができる。
 なお、最小化の手法は特に問わず、非線形最適化手法の中で姿勢パラメータを固定して行う方法や、位置パラメータを微小に変化させつつ探索アルゴリズムによって再投影誤差の最小値を探索する方法等が考えられる。
 以下において、図3に示された本発明の実施の形態に係る平面視覚マーカ1の変形例について説明する。
 図9に示されるように、視線角度検出手段として標準可変モアレパターンの替わりに、ドットマークDを高感度可変モアレパターンVHと組み合わせて使用してもよい。なお、図9の破線は回転軸AXを示す。
 また、図10に示されるように、標準可変モアレパターンVSと高感度可変モアレパターンVH1の他に、高感度可変モアレパターンVH1よりさらに感度の高い高感度モアレパターンVH2を併用してもよい。このような構成においては、さらに高感度可変モアレパターンVH1と高感度可変モアレパターンVH2の間において、図6に示された姿勢推定方法が適用され、視線角度の推定精度がより高められる。
 また、図11に示されるように、図10に示された標準可変モアレパターンVSの替わりにドットマークDを使用してもよく、図12に示されるように、標準可変モアレパターンとしてレンズアレイ型標準可変モアレパターンVSPを、高感度可変モアレパターンとしてレンズアレイ型高感度可変モアレパターンVHPを使用してもよい。
 また、図13に示されるように、図12に示されたレンズアレイ型高感度可変モアレパターンVHPの替わりに高感度可変モアレパターンVH1,VH2を使用してもよく、図14に示されるように、図12に示されたレンズアレイ型標準可変モアレパターンVSPの替わりに標準可変モアレパターンVS1,VS2を使用してもよい。
 また、図15に示されるように、図12に示されたレンズアレイ型標準可変モアレパターンVSPの機能を、四隅のドットマークDに代替させてもよく、図16に示されるように、図13に示されたレンズアレイ型標準可変モアレパターンVSPの機能を、四隅のドットマークDに代替させてもよい。
 また、図17に示されるように、移動マークの移動方向と回転軸が直交する標準可変モアレパターンVSA及び高感度可変モアレパターンVHAと、移動マークの移動方向と回転軸が平行となる標準可変モアレパターンVSB及び高感度可変モアレパターンVHBを長軸方向を揃えて配置してもよい。
 また、図18に示されるように、図17に示された標準可変モアレパターンVSA及び標準可変モアレパターンVSBの機能を、四隅のドットマークDに代替させてもよい。
 以上より、本発明の実施の形態に係る平面視覚マーカ1、姿勢推定方法及び位置姿勢推定方法によれば、位置や姿勢を従来より高精度に推定することができる。
1 平面視覚マーカ
VS,VS1,VS2,VSA,VSB 標準可変モアレパターン
VSP レンズアレイ型標準可変モアレパターン
VH,VH1,VH2,VHA,VHB 高感度可変モアレパターン
VHP レンズアレイ型高感度可変モアレパターン
P レンズピッチ
f 焦点距離
D ドットマーク

 

Claims (8)

  1.  対象物の姿勢を推定するためのマーカであって、
     前記対象物に対する少なくとも一つの軸周りの視線角度を推定するための第一の視線角度推定手段と、
     前記第一の視線角度推定手段よりも前記視線角度の分解能が小さく、前記軸周りの視線角度を推定するための第二の視線角度推定手段とを備えたマーカ。
  2.  前記第一の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ、レンズアレイ、又はドットマークのうちいずれか一つからなる請求項1に記載のマーカ。
  3.  前記第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ、又はレンズアレイからなる請求項1に記載のマーカ。
  4.  前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをp、焦点距離をfとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比が、nを1より大きな数としてtan(tan-1(p/f)/n)である請求項1に記載のマーカ。
  5.  対象物の姿勢を推定するためのマーカを用いた姿勢推定方法であって、
     第一の視線角度推定手段を用いて、前記対象物に対する少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、
     前記第一の視線角度推定手段よりも前記視線角度の分解能が小さな第二の視線角度推定手段を用いて、前記軸周りの視線角度の候補値を求める第二のステップと、
     前記第二のステップで求められた前記候補値のうち、前記第一のステップで仮決定された前記視線角度に最も近い値を、前記軸周りの視線角度の推定値とする第三のステップとを有するマーカを用いた姿勢推定方法。
  6.  前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをp、焦点距離をfとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比を、nを1より大きな数としてtan(tan-1(p/f)/n)とする請求項5に記載のマーカを用いた姿勢推定方法。
  7.  対象物の位置と姿勢の双方を変数とした最適解を得ることにより、前記位置と前記姿勢の推定値を得るためのマーカを用いた位置姿勢推定方法であって、
     第一の視線角度推定手段を用いて少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、
     前記第一の視線角度推定手段よりも前記視線角度の分解能が小さな第二の視線角度推定手段を用いて、前記軸周りの視線角度の候補値を求める第二のステップと、
     前記第二のステップで求められた前記候補値のうち、前記第一のステップで仮決定された前記視線角度に最も近い値を、前記軸周りの視線角度の推定値とする第三のステップと、
     前記第三のステップで得られた前記視線角度の推定値を用いて、前記位置の推定値を求める第四のステップとを有するマーカを用いた位置姿勢推定方法。
  8.  前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをp、焦点距離をfとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比を、nを1より大きな数としてtan(tan-1(p/f)/n)とする請求項7に記載のマーカを用いた位置姿勢推定方法。

     
PCT/JP2017/038713 2017-01-17 2017-10-26 マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法 WO2018135063A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780082133.XA CN110140023B (zh) 2017-01-17 2017-10-26 标记器和使用了标记器的姿势推定方法及位置姿势推定方法
EP17892772.9A EP3550259B1 (en) 2017-01-17 2017-10-26 Marker and posture estimation method using marker
JP2018562879A JPWO2018135063A1 (ja) 2017-01-17 2017-10-26 マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法
US16/475,558 US10928191B2 (en) 2017-01-17 2017-10-26 Marker, and posture estimation method and position and posture estimation method using marker

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017006009 2017-01-17
JP2017-006009 2017-03-24

Publications (1)

Publication Number Publication Date
WO2018135063A1 true WO2018135063A1 (ja) 2018-07-26

Family

ID=62908058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038713 WO2018135063A1 (ja) 2017-01-17 2017-10-26 マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法

Country Status (5)

Country Link
US (1) US10928191B2 (ja)
EP (1) EP3550259B1 (ja)
JP (1) JPWO2018135063A1 (ja)
CN (1) CN110140023B (ja)
WO (1) WO2018135063A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031980A1 (ja) * 2018-08-10 2020-02-13 株式会社エンプラス レンズマーカ画像の補正方法、補正装置、プログラム、および記録媒体
WO2023032851A1 (ja) * 2021-09-06 2023-03-09 パナソニックIpマネジメント株式会社 マーカ、検出装置、及び、検出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036256B (zh) * 2016-12-12 2020-10-27 国立研究开发法人产业技术综合研究所 标记器和标记器的制造方法
US10817764B2 (en) * 2018-09-21 2020-10-27 Beijing Jingdong Shangke Information Technology Co., Ltd. Robot system for processing an object and method of packaging and processing the same
DE102022201012A1 (de) * 2022-02-01 2023-08-03 Robert Bosch Gesellschaft mit beschränkter Haftung Kalibriersystem zum Kalibrieren eines Kamerasystems und zugehöriges Kalibriersystem

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267879A (ja) * 2005-03-25 2006-10-05 Canon Inc 画像処理方法、画像処理装置、マーカ
US20110017826A1 (en) * 2009-07-23 2011-01-27 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
JP2012145559A (ja) 2010-12-24 2012-08-02 National Institute Of Advanced Industrial & Technology マーカ
JP2014501908A (ja) * 2010-10-07 2014-01-23 株式会社ソニー・コンピュータエンタテインメント 頭の位置及び向きのトラッキング
JP2014102246A (ja) 2012-10-24 2014-06-05 National Institute Of Advanced Industrial & Technology 位置姿勢検出システム
WO2015045834A1 (ja) 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 マーカ画像処理システム
WO2016024555A1 (ja) * 2014-08-12 2016-02-18 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1026242A (en) 1911-08-14 1912-05-14 Isabel M Cutler Advertising device.
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
KR100538419B1 (ko) * 2003-02-04 2005-12-22 가부시키가이샤 구라레 투과형 스크린 및 배면 투사형 표시장치
JP4689380B2 (ja) * 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
EP1828862A2 (en) * 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP4888579B2 (ja) * 2010-04-21 2012-02-29 パナソニック電工株式会社 視機能検査装置
WO2012047222A1 (en) * 2010-10-07 2012-04-12 Sony Computer Entertainment Inc. 3-d glasses with illuminated light guide
WO2014157461A1 (ja) * 2013-03-29 2014-10-02 シャープ株式会社 照明装置及び表示装置
EP3499180B1 (en) * 2016-09-13 2021-06-09 National Institute of Advanced Industrial Science and Technology Marker and attitude estimating method using marker
CN110036256B (zh) * 2016-12-12 2020-10-27 国立研究开发法人产业技术综合研究所 标记器和标记器的制造方法
US20200003559A1 (en) * 2017-02-10 2020-01-02 Enplas Corporation Marker
JP2018194435A (ja) * 2017-05-17 2018-12-06 株式会社エンプラス マーカユニット
JP2019027953A (ja) * 2017-07-31 2019-02-21 株式会社エンプラス マーカユニット

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267879A (ja) * 2005-03-25 2006-10-05 Canon Inc 画像処理方法、画像処理装置、マーカ
US20110017826A1 (en) * 2009-07-23 2011-01-27 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
JP2014501908A (ja) * 2010-10-07 2014-01-23 株式会社ソニー・コンピュータエンタテインメント 頭の位置及び向きのトラッキング
JP2012145559A (ja) 2010-12-24 2012-08-02 National Institute Of Advanced Industrial & Technology マーカ
JP2014102246A (ja) 2012-10-24 2014-06-05 National Institute Of Advanced Industrial & Technology 位置姿勢検出システム
WO2015045834A1 (ja) 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 マーカ画像処理システム
WO2016024555A1 (ja) * 2014-08-12 2016-02-18 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H.TANAKAK.OGATAYMATSUMOTO: "Improving the Accuracy of Visual Markers", PROC. 2016 IEEE INT. SYMPOSIUM ON ROBOTICS AND INTELLIGENT SENSORS, 2016
See also references of EP3550259A4
TANAKA, HIDEYUKI: "A solution to pose ambiguity of visual markers using moire patterns", IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2014, 14 September 2014 (2014-09-14), pages 3129 - 3134, XP032676546, DOI: 10.1109/IROS.2014.6942995 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031980A1 (ja) * 2018-08-10 2020-02-13 株式会社エンプラス レンズマーカ画像の補正方法、補正装置、プログラム、および記録媒体
WO2023032851A1 (ja) * 2021-09-06 2023-03-09 パナソニックIpマネジメント株式会社 マーカ、検出装置、及び、検出方法

Also Published As

Publication number Publication date
US20190339071A1 (en) 2019-11-07
EP3550259A4 (en) 2020-07-22
EP3550259B1 (en) 2021-11-10
CN110140023B (zh) 2021-07-30
CN110140023A (zh) 2019-08-16
US10928191B2 (en) 2021-02-23
EP3550259A1 (en) 2019-10-09
JPWO2018135063A1 (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
WO2018135063A1 (ja) マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法
JP6083747B2 (ja) 位置姿勢検出システム
EP2188589B1 (en) System and method for three-dimensional measurement of the shape of material objects
JP5036260B2 (ja) 位置姿勢算出方法及び装置
WO2016024555A1 (ja) マーカとマーカを用いた姿勢推定方法
Orghidan et al. Camera calibration using two or three vanishing points
JP6079333B2 (ja) 校正装置、方法及びプログラム
JP5713624B2 (ja) 三次元計測方法
Zhang et al. A robust and rapid camera calibration method by one captured image
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
Hansen et al. Online continuous stereo extrinsic parameter estimation
CN109716061B (zh) 标记器和使用了标记器的姿势推定方法
US11754386B2 (en) Method and system for capturing and measuring the position of a component with respect to a reference position and the translation and rotation of a component moving relative to a reference system
CN109544643A (zh) 一种摄像机图像校正方法及装置
Luhmann Eccentricity in images of circular and spherical targets and its impact to 3D object reconstruction
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
JP6441581B2 (ja) フレキシブルディスプレイの曲げモーションに対する光検出
Yang et al. Eccentricity error compensation for geometric camera calibration based on circular features
JP6109213B2 (ja) 情報処理装置および方法、プログラム
CN115375773A (zh) 单目激光散斑投影系统的外参数标定方法和相关装置
JP2006329817A (ja) 3次元計測におけるターゲット座標の取得方法およびそれに用いられるターゲット
Balcaen et al. Stereo-DIC uncertainty estimation using the epipolar constraint and optimized three camera triangulation
JP2012026816A (ja) 寸法測定方法および装置
JP2000339473A (ja) 2次元動画像中の特徴点の追跡方法
JP2010281685A (ja) 位置計測システム及び位置計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892772

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018562879

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017892772

Country of ref document: EP

Effective date: 20190702

NENP Non-entry into the national phase

Ref country code: DE