JP6755030B2 - マーカとマーカを用いた姿勢推定方法 - Google Patents

マーカとマーカを用いた姿勢推定方法 Download PDF

Info

Publication number
JP6755030B2
JP6755030B2 JP2018539640A JP2018539640A JP6755030B2 JP 6755030 B2 JP6755030 B2 JP 6755030B2 JP 2018539640 A JP2018539640 A JP 2018539640A JP 2018539640 A JP2018539640 A JP 2018539640A JP 6755030 B2 JP6755030 B2 JP 6755030B2
Authority
JP
Japan
Prior art keywords
posture
pattern
axis
marker
detection pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018539640A
Other languages
English (en)
Other versions
JPWO2018051843A1 (ja
Inventor
田中 秀幸
秀幸 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Publication of JPWO2018051843A1 publication Critical patent/JPWO2018051843A1/ja
Application granted granted Critical
Publication of JP6755030B2 publication Critical patent/JP6755030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、姿勢を推定するためのマーカと、本マーカを用いた姿勢推定方法に関するものである。
単眼カメラで撮像することにより3次元空間における位置や姿勢を計測することが可能となる平面パターンが考案されており、一般的に平面視覚マーカと呼ばれている。
このような平面視覚マーカは、拡張現実(Augmented Reality:AR)やロボティクスの分野等において物体に貼り付けて使用され、上記姿勢は、平面視覚マーカの輪郭形状の見かけ上における歪みから射影変換の原理によって推定される。
しかし、条件によっては平面視覚マーカMの画像上への投影が図13Aに示される透視投影よりも図13Bに示される正投影に近くなり、当該平面視覚マーカがカメラに対して図14に示される平面視覚マーカM1,M2のいずれの姿勢を有するかが一意に推定できないという姿勢の不定性の問題が発生する。
このため、これまでに、本願発明者によって4つのモアレ(干渉縞)パターンを備えた平面視覚マーカが提案されている(特許文献1参照)。
国際公開WO/2016/024555号公報
しかし、平面視覚マーカを浅い角度で見たとき、すなわち後述する視線角度が大きいときには、ある座標軸周りにおける視線角度が正負いずれであっても見かけのパターンが一致したり、パターンの判別ができなくなったりしてしまうため、当該物体の姿勢を一意に推定できないという問題がある。
本発明は、上記のような問題を解決するためになされたもので、平面性を維持しつつ広い角度範囲で姿勢を一意に推定することのできるマーカと、本マーカを用いた姿勢推定方法を提供することを目的とする。
上記課題を解決するため、本発明は、二次元パターンコードと、二次元パターンコードがなす二次元平面上の第一の軸周りにおいて、二次元パターンコードの観測方向に応じて異なる色または模様が観測されるように光を反射する反射面を有した第一の姿勢検知パターンとを備えたマーカを提供する。
また、上記課題を解決するため、本発明は、二次元パターンコードと、二次元パターンコードがなす二次元平面上の第一の軸周りにおいて、二次元パターンコードの観測方向に応じて異なる光を発する第一の姿勢検知パターンとを備えたマーカを用いた姿勢推定方法であって、マーカの撮像画像を用いて上記光の色若しくは上記光が描く模様を特定する第1のステップと、第1のステップで特定された色若しくは模様に応じて、マーカの上記第一の軸周りにおける姿勢を判定する第2のステップと、第2のステップで判定された上記第一の軸周りにおける姿勢と、撮像画像を構成する要素の位置関係に応じて、マーカの姿勢を決定する第3のステップとを有するマーカを用いた姿勢推定方法を提供する。
本発明によれば、平面性を維持しつつ広い角度範囲で姿勢を一意に推定することのできるマーカと、本マーカを用いた姿勢推定方法を提供することができる。
視線及び視線角度の定義を説明するための図である。 姿勢反転の定義を説明するための図である。 本発明の実施の形態1に係る平面視覚マーカ1の構成を示す平面図である。 図3に示された姿勢検知パターンFyの構造を示す斜視図である。 図4に示された姿勢検知パターンFyの他の構造を説明するための図であり、それぞれ、図5(a)は図4に示された姿勢検知パターンFyを同図のX軸に沿って切断したときの断面構造を示す断面図、図5(b)は姿勢検知パターンFyにおける一連の側面3aに描かれた文字「A」を示す図、図5(c)は姿勢検知パターンFyにおける一連の側面3bに描かれた文字「B」を示す図である。 図4に示される並設された複数の三角柱3をX軸に沿って切断したときの断面構造を示す断面図である。 図3及び図4に示された姿勢検知パターンFyの機能を説明するための図であって、姿勢検知パターンFyを視線角度が正の方向から見たときの見え方を示す模式図である。 図3及び図4に示された姿勢検知パターンFyの機能を説明するための図であって、姿勢検知パターンFyを視線角度が負の方向から見たときの見え方を示す模式図である。 図3に示された平面視覚マーカ1を用いた姿勢推定方法を示すフローチャートである。 図4に示された姿勢検知パターンFyの構造における他の例を示す斜視図である。 直交する二軸周りの姿勢反転を同時に検知できる姿勢検知パターンFの構成を示す平面図である。 図10に示された姿勢検知パターンFの作成方法の一例を説明するための第一の図であって、姿勢検知パターンFyの構造を示す斜視図である。 図10に示された姿勢検知パターンFの作成方法の一例を説明するための第二の図であって、図11Aに示された姿勢検知パターンFyを上から見たときの平面図である。 図10に示された姿勢検知パターンFの作成方法の一例を説明するための第三の図であって、図11Bに示された姿勢検知パターンFyを交わる二つの破線に沿って切断して得られる姿勢検知パターンFy3の構成を示す平面図である。 本発明の実施の形態2に係る平面視覚マーカ10の構成を示す平面図である。 平面視覚マーカの姿勢における不定性の問題を説明するための第一の図であって、平面視覚マーカMの画像上への透視投影を示す図である。 平面視覚マーカの姿勢における不定性の問題を説明するための第一の図であって、平面視覚マーカMの画像上への正投影を示す図である。 平面視覚マーカの姿勢における不定性の問題を説明するための第二の図である。
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
最初に、図1及び図2を参照しつつ、用語の定義を説明する。なお、以下ではX軸周りの事象を例として説明するが、任意の軸周りの事象も同様に定義されることはいうまでもない。
図1に示された観測視点VPと対象物体Bの中心である原点0を結ぶ線Lを、視線という。また、図1に示されるように、対象物体BにおけるXY平面上の垂線をなすZ軸と、Z軸に直交するX軸とを含む平面を平面P1、視線を示す線LとX軸とを含む平面を平面P2とするとき、平面P1と平面P2のなす角SAをX軸周りの視線角度という。
従って、図2に示されるように、観測視点VPのY座標が正であるときはX軸周りの視線角度の符号は正(+)となり、観測視点VPのY座標が負であるときはX軸周りの視線角度の符号は負(−)となる。このとき、上記視線角度の符号が正負逆になることを、X軸周りにおける姿勢反転という。
[実施の形態1]
図3は、本発明の実施の形態1に係る平面視覚マーカ1の構成を示す平面図である。図3に示されるように、平面視覚マーカ1は、二次元パターンコードを含む矩形のARマーカ2と、ARマーカ2と同一平面上において、ARマーカ2の隣接する二辺にそれぞれ平行に配置された平面矩形状の姿勢検知パターンFx,Fyとを備える。
ここで、姿勢検知パターンFx,Fyは、たとえ浅い角度から平面視覚マーカ1を見た場合であっても、見た目、すなわち外観によって平面視覚マーカ1の姿勢反転を検知できるパターン(FDP:Flip Detection Pattern)を有し、姿勢検知パターンFxは、図3に示されたX軸周りの姿勢反転を検知し、姿勢検知パターンFyは、図3に示されたY軸周りの姿勢反転を検知する。
そして、本機能を実現するため、姿勢検知パターンFx,Fyは、図3に示されるように、ARマーカ2の近傍において、ARマーカ2と同一平面上で互いに直交するよう、すなわちそれぞれX軸若しくはY軸に直交するよう配置される。
なお、図3において、姿勢検知パターンFxはARマーカ2の左側(XY平面上の第2及び第3象限)に配置されてもよく、姿勢検知パターンFyはARマーカ2の下側(XY平面上の第3及び第4象限)に配置されてもよい。従って、ARマーカ2周辺における姿勢検知パターンFx,Fyのレイアウトは合計4通りあることになる。
図4は、図3に示された姿勢検知パターンFyの構造を示す斜視図である。なお、図3に示された姿勢検知パターンFxも図4に示された姿勢検知パターンFyと同様な構造を有するため、以下における姿勢検知パターンFyについての説明は、姿勢検知パターンFxにも当てはめることができる。
図4に示されるように、姿勢検知パターンFyは、対応する側面が同一平面、すなわちXY平面上に位置すると共に、中心軸がいずれもY軸に平行となるようX軸方向に並設された複数の三角柱3,4により構成される。
なお、図4に示された姿勢検知パターンFyは、合計8個の三角柱3,4が並設された構造を有するが、並設される三角柱3,4の数は8個に限られず、1個以上であれば任意の数であってもよい。
ここで、各々の三角柱3,4は、3つの側面のうちXY平面上にない2つの隣接する側面は、撮像画像においても識別しやすい異なる色に塗り分けられている。
例えば、図4に示されるように、第1及び第4象限に並設された三角柱3の側面3aは白色、側面3bは黒色に塗られ、第2及び第3象限に並設された三角柱4の側面4aは黒色、側面4bは白色に塗られている。このことから、姿勢検知パターンFyは、姿勢反転の判定で基準とするY軸と直交するX軸方向において、三角柱3の側面は原点0から正の向きに黒色、白色の順に交互に塗られ、三角柱4の側面は原点0から負の向きに黒色、白色の順に交互に塗られていることになる。
なお、上記における黒色及び白色は、上記のように撮像画像において識別しやすい異なる色であれば、他の色であってもよく、例えば上記の黒色と白色を入れ替えた構成としてもよい。
また、上記において、同じ色に塗られた一連の側面においては、当該一連の側面全体を特定の色に塗るのではなく、当該一連の側面全体に文字や図形等の図柄(模様)を描くようにしてもよい。すなわち、例えば、図5(b)に示されるように、上記の白色に塗られた一連の側面3aには全体として文字「A」を描き、図5(c)に示されるように、上記の黒色に塗られた一連の側面3bには全体として文字「B」を描くようにしてもよい。なお、このような模様の利用は、図9及び図10に示された後述する姿勢検知パターンFy,Fにも適用することができる。
また、上記のように三角柱3,4の隣接する側面が異なる色に塗られたことにより、当該側面で反射される光の色が異なるものとなることはいうまでもないが、自ら異なる色の光を発する構成としてもよい。また、姿勢検知パターンFyは、上記三角柱3,4の替わりに、円柱や半円柱等の柱状体により構成してもよい。
図6は、図4に示される並設された複数の三角柱3をX軸に沿って切断したときの断面構造を示す断面図である。図6に示されるように、各三角柱3はいずれも、頂角VAを挟む2つの側面3a,3bのうちXの値が小さい方の側面3bが黒色に塗られており、Xの値が大きい方の側面3aが白色に塗られている。
これらの三角柱3において、その高さhを変えた場合には姿勢検知パターンFyの厚さと見た目の粗さが変わることになるものの、視線角度と色の濃淡変化の関係は本質的には変わらない。一方、頂角VAを変えた場合には、視線角度が0度付近での白黒濃淡のコントラストが変わり、頂角VAが小さくなるほど視線角度の絶対値が小さい範囲から上記コントラストが強く見えるようになる。
図7A及び図7Bは、図3及び図4に示された姿勢検知パターンFyの機能を説明するための図であり、図7Aは姿勢検知パターンFyを視線角度が正の方向から見たときの見え方を示す模式図であり、図7Bは姿勢検知パターンFyを視線角度が負の方向から見たときの見え方を示す模式図である。ここで、姿勢検知パターンFyは、XY平面に対する垂線をなすZ軸とY軸を含む平面により分割して得られる二つの空間、すなわちXの値が正の空間と負の空間、へ互いに異なる色の光を反射する機能を有するが、以下において本機能を詳しく説明する。
上記のように三角柱3,4の隣接する二つの側面3a,3b,4a,4bは白と黒に交互に塗られているため、白黒の細かい縞模様からなる外観を呈することになるが、白又は黒の各縞の太さの割合が視線角度に応じて変化するため、姿勢検知パターンFyを上記Xの値が正の空間、すなわち視線角度が正の方向から見たときには、図7Aに示されるように、三角柱4については側面4aが有する黒色が多めに見え、三角柱3については側面3aが有する白色が多めに見えることになる。
他方で、姿勢検知パターンFyを上記Xの値が負の空間、すなわち視線角度が負の方向から見たときには、図7Bに示されるように、三角柱4については側面4bが有する白色が多めに見え、三角柱3については側面3bが有する黒色が多めに見えることになる。従って、図7Aと図7Bを対比すれば、姿勢検知パターンFyを視線角度が正の方向から見たときと負の方向から見たときとでは、黒色に見える領域と白色に見える領域のX軸方向における位置関係が逆になることが分かる。
なお、図5に示されるように当該側面に模様を描いた場合には、姿勢検知パターンFyのある回転軸周りの回転の方向に応じて、側面3aに描かれた図柄と側面3bに描かれた模様が切り替わって見えることになる。従って、このような見え方におけるパターンの変化を画像認識することにより、姿勢検知パターンFyの傾きの方向を判別することができる。
図8は、本発明の実施の形態1に係る平面視覚マーカ1を用いた姿勢推定方法を示すフローチャートである。以下において、上記姿勢推定方法を図8を用いて説明する。
最初のステップS1においては、平面視覚マーカ1の撮像画像を用いて、二つの姿勢検知パターンFx,Fyから発せられる光の色をそれぞれ特定する。具体的には、例えば姿勢検知パターンFyについていえば、黒色に見える領域と白色に見える領域が、図7Aと図7Bのいずれの位置関係にあるかを特定する。
次に、ステップS2において、ステップS1において特定された色に応じて、平面視覚マーカ1の所定軸周りにおける姿勢を判定する。具体的には、例えば、従来から用いられているARマーカ2により予め平面視覚マーカ1の姿勢を推定し、推定された姿勢から予想される色とステップS1で特定された色とが一致するか否かを判断する。
そして、これら2つの色が一致しない場合には、姿勢検知パターンFxについてはX軸周り、姿勢検知パターンFyについてはY軸周りにおける平面視覚マーカ1の実際の姿勢が、上記の予め推定された姿勢に対して反転関係にあると判定する。なお、上記2つの色が一致した場合には、上記のX軸周り、若しくはY軸周りにおける平面視覚マーカ1の実際の姿勢が、上記の予め推定された姿勢と正転関係にあると判定する。
次に、ステップS3において、ステップS2において判定された姿勢及び撮像画像を構成する要素の位置関係に応じて、平面視覚マーカ1の姿勢を決定する。具体的には、例えば、ステップS2において判定されたX軸及びY軸周りの姿勢が上記正転関係であれば、予め推定された通り、平面視覚マーカ1の撮像画像を構成するARマーカ2の要素の位置関係に応じて平面視覚マーカ1の実際の姿勢を最終決定する。一方、ステップS2においてX軸周り若しくはY軸周りの姿勢が上記反転関係にあると判定された場合には、当該軸周りの姿勢について、上記の予め推定された姿勢を反転モデルに従って変換し、得られた変換後の姿勢を平面視覚マーカ1の当該軸周りにおける実際の姿勢として最終決定する。
なお、上記反転モデルによる変換は、例えば国際公開WO/2015/045834号公報に記載された方法等の公知の手法を用いて実現することができる。
図9は、図4に示された姿勢検知パターンFyの構造における他の例を示す斜視図である。なお、図9に示された例は、姿勢検知パターンFxの構造にも同様に適用できることはいうまでもない。
図9に示されるように、姿勢検知パターンFy2は、姿勢検知パターンFyを構成する図4に示された三角柱3,4の白色に塗られた側面3a,4bのみを残した構造を有し、これら側面3a,4bの裏面と、XY平面上に位置する三角柱3,4の側面部分は共に黒色に塗られたものである。
なお、図9に示された構造は、例えば、上記XY平面上に設けたY軸に平行な複数のガイド(図示していない)に、板状の上記側面3a,4bを嵌め込むことによって実現される。
このような構造を有する姿勢検知パターンFy2は、観測方向(視線角度)に応じた白黒模様を呈するため、上記姿勢検知パターンFyと同様な機能を奏するものといえる。
ところで、上記のように、姿勢検知パターンFx,Fy,Fy2はいずれも、X軸やY軸といった一軸周りの姿勢反転を検知する機能を有するものであるが、このような機能を持った複数の姿勢検知パターンを同一平面上において一体的に形成してもよい。以下においては、一例として、一個のパターンにより、直交する二軸周りの姿勢反転を同時に検知できる姿勢検知パターンFについて説明する。
図10は、上記姿勢検知パターンFの構成を示す平面図である。なお、図10において、黒色部分は図4で示された黒色の側面3b,4aに、白色部分は図4で示された白色の側面3a,4bにそれぞれ対応する。
図10に示されるように、姿勢検知パターンFは、X軸に平行な縞模様を形成することによりX軸周りの姿勢反転を検知するパターンと、Y軸に平行な縞模様を形成することによりY軸周りの姿勢反転を検知するパターンとを合体させたものである。
このような構成を有する姿勢検知パターンFは、直交するX軸及びY軸周りの姿勢反転を同時に検知する機能を有するため、図3に示された平面視覚マーカ1において、二つの姿勢検知パターンFx,Fyに替えて、一つの姿勢検知パターンFを用いてもよい。
図11Aから図11Cは、図10に示された姿勢検知パターンFの作成方法の一例を説明するための図であり、それぞれ、図11Aは姿勢検知パターンFyの構造を示す斜視図、図11Bは図11Aに示された姿勢検知パターンFyを上から見たときの平面図、図11Cは図11Bに示された姿勢検知パターンFyを交わる二つの破線に沿って切断して得られる姿勢検知パターンFy3の構成を示す平面図である。なお、図10と同様に、図11B及び図11Cの黒色部分は図11Aに示された姿勢検知パターンFyの黒色側面に、白色部分は同姿勢検知パターンFyの白色側面にそれぞれ対応する。
ここで、図11Bに示された姿勢検知パターンFyの平面形状は全体として正方形をなし、図11Cに示された姿勢検知パターンFy3はこの正方形の二つの対角線に沿って姿勢検知パターンFyを切断したものとされる。そして、このような方法により得られた姿勢検知パターンFyを図11Cの原点を中心として90度回転させ、回転前の位置にあるもう一つ別の姿勢検知パターンFyと合体させることにより、図10に示された姿勢検知パターンFが作成される。
以上のように、本発明の実施の形態1に係る平面視覚マーカ1及びそれを用いた姿勢推定方法によれば、姿勢検知パターンFx,Fy,Fは平面形状を有すると共に視線角度に応じた白黒模様などを呈するため、たとえ視線角度が大きい場合、すなわち平面視覚マーカ1を浅い角度から観測した場合であっても、平面視覚マーカ1の平面性を維持しつつ平面視覚マーカ1の姿勢を正確に検知することができる。
なお、図3に示された平面視覚マーカ1は、二つの姿勢検知パターンFx,Fyを備えるが、例えば、平面視覚マーカを貼付する対象物体Bの取り得る姿勢に制限があり、ある一軸周りについてのみ姿勢の自由度を有するような場合、当該対象物体Bの姿勢を決定するためには、姿勢検知パターンFx,Fy,Fy2と同様な構成を有し、当該一軸周りの姿勢を検知する姿勢検知パターンを一つ備えた平面視覚マーカを用いれば足りることになることはいうまでもない。
[実施の形態2]
図12は、本発明の実施の形態2に係る平面視覚マーカ10の構成を示す平面図である。図12に示されるように、平面視覚マーカ10は、矩形のARマーカ2と、ARマーカ2の頂点に対応して平面視覚マーカ10の四隅に設けられた参照点RP1〜RP4と、ARマーカ2の隣接する二辺にそれぞれ並設された姿勢検知パターンFx,Fyと、ARマーカ2を挟んで姿勢検知パターンFxと対向する位置に配設された可変モアレパターンVMPxと、ARマーカ2を挟んで姿勢検知パターンFyと対向する位置に配設された可変モアレパターンVMPyを備える。
ここで、可変モアレパターンVMPx,VMPyは、特開2012−145559号公報に記された公知のパターンであって、描かれた模様の上に設けられたレンズにより観測方向に応じた干渉縞(模様データ)を生成する機能を有し、分割された観測方向範囲毎に、観測された模様データの位置に応じて観測方向を一意に推定できるものとされている。
なお、上記の可変モアレパターンVMPx,VMPyは視線角度に応じて黒色の線が一次元的に動いて見えるものであるが、このような可変モアレパターンVMPx,VMPyに替えて、黒色のドットが二次元的に動いて見える公知の可変モアレパターン(H.Tanaka, Y.Sumi, and Y.Matsumoto,”A high-accuracy visual marker based on a microlens array”,in Proceedings of 2012 IEEE/RSJ International Conference of Intelligent Robots and Systems,pp.4192-4197,2012参照)等を用いてもよい。
また、上記の姿勢検知パターンFx,Fyとして、図4に示された構造のほか、図9に示された構造を有するものを用いてもよく、二つの姿勢検知パターンFx,Fyに替えて図10に示された一つの姿勢検知パターンFを用いてもよい。
また、このような構成を有する平面視覚マーカ10を用いることによっても、図3に示された平面視覚マーカ1を用いた場合と同様に、図8に示された姿勢推定方法により、平面視覚マーカ10の姿勢を一意に決定することができる。
本発明の実施の形態2に係る平面視覚マーカ10によれば、姿勢検知パターンにより生成される模様のコントラストが低くなる視線角度の小さい範囲では可変モアレパターンを用いて姿勢決定を行い、それ以外の範囲では姿勢検知パターンを用いて姿勢決定を行うことができるため、平面視覚マーカ10の平面性を維持しつつ、視線角度の全範囲において平面視覚マーカ10の姿勢をより精度よく一意に決定することができる。
1,10 平面視覚マーカ
2 ARマーカ
3,4 三角柱
3a,3b,4a,4b 側面
F,Fx,Fy,Fy2,Fy3 姿勢検知パターン
VMPx,VMPy モアレパターン形成部
SA 視線角度












Claims (9)

  1. 二次元パターンコードと、
    前記二次元パターンコードがなす二次元平面上の第一の軸周りにおいて、前記二次元パターンコードの観測方向に応じて異なる色または模様が観測されるように光を反射する反射面を有した第一の姿勢検知パターンとを備え
    前記第一の姿勢検知パターンは、前記二次元平面に対する垂線と前記二次元平面上の第一の軸とを含む平面により分割して得られる二つの空間のうちの一方の空間から観察した場合、その一方の空間と他方の空間において、互いに異なる色または模様が観測されるように光を反射するマーカ。
  2. 第二の姿勢検知パターンをさらに備え、前記第二の姿勢検知パターンは、前記二次元平面に対する垂線と前記二次元平面上の第一の軸とを含む平面により分割して得られる二つの空間のうちの一方の空間から観察した場合、その一方の空間と他方の空間において、異なる色または模様が観測されるように光を反射する請求項1に記載のマーカ。
  3. 前記第一及び第二の姿勢検知パターンはそれぞれ、前記異なる色または模様が観測されるように光を反射する隣接した二つの側面が異なる色に配色され、若しくは異なる模様が付された少なくとも一つの三角柱からなり、前記第一の姿勢検知パターンを構成する前記三角柱の中心軸は前記第一の軸と平行となるよう配設され、前記第二の姿勢検知パターンを構成する前記三角柱の中心軸は前記第二の軸と平行となるよう配設されたものである請求項に記載のマーカ。
  4. 前記第一及び第二の姿勢検知パターンはそれぞれ、対応する側面がいずれも同一平面上に位置し、かつ、中心軸が互いに平行となるよう並設された複数の前記三角柱からなる請求項に記載のマーカ。
  5. 前記二次元パターンコードは矩形をなし、
    前記第一の姿勢検知パターンは、前記矩形を構成する第一の辺に対して平行に配設されると共に、前記第二の姿勢検知パターンは、前記矩形を構成し前記第一の辺に隣接する第二の辺に対して平行に配設された請求項2に記載のマーカ。
  6. 前記第一及び第二の姿勢検知パターンは、同一平面上において一体的に形成された請求項2に記載のマーカ。
  7. 模様の上に設けられたレンズによって観測方向に応じた模様データが生成され、分割された前記観測方向の範囲毎に、観測された前記模様データの位置に応じて前記観測方向が一意に推定される模様データ生成手段をさらに備えた請求項1に記載のマーカ。
  8. 二次元パターンコードと、前記二次元パターンコードがなす二次元平面上の第一の軸周りにおいて、前記二次元パターンコードの観測方向に応じて異なる光を発する第一の姿勢検知パターンとを備えたマーカを用いた姿勢推定方法であって、
    前記マーカの撮像画像を用いて前記光の色若しくは前記光が描く模様を特定する第1のステップと、
    前記第1のステップで特定された前記色若しくは前記模様に応じて、前記マーカの前記第一の軸周りにおける姿勢を判定する第2のステップと、
    前記第2のステップで判定された前記第一の軸周りにおける姿勢と、前記撮像画像を構成する要素の位置関係に応じて、前記マーカの姿勢を決定する第3のステップとを有する前記マーカを用いた姿勢推定方法。
  9. 前記マーカは、前記二次元平面上の第二の軸周りにおいて前記二次元パターンコードの観測方向に応じて異なる光を発する第二の姿勢検知パターンをさらに備え、
    前記第1のステップでは、前記第一及び第二の姿勢検知パターンからの前記光を特定し、
    前記第2のステップでは、前記マーカの前記第一及び第二の軸周りにおける姿勢を判定し、
    前記第3のステップでは、前記第2のステップで判定された前記第一及び第二の軸周りにおける姿勢に応じて、前記マーカの姿勢を決定する請求項に記載のマーカを用いた姿勢推定方法。
JP2018539640A 2016-09-13 2017-09-05 マーカとマーカを用いた姿勢推定方法 Active JP6755030B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016178590 2016-09-13
JP2016178590 2016-09-13
PCT/JP2017/031925 WO2018051843A1 (ja) 2016-09-13 2017-09-05 マーカとマーカを用いた姿勢推定方法

Publications (2)

Publication Number Publication Date
JPWO2018051843A1 JPWO2018051843A1 (ja) 2019-06-24
JP6755030B2 true JP6755030B2 (ja) 2020-09-16

Family

ID=61619198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539640A Active JP6755030B2 (ja) 2016-09-13 2017-09-05 マーカとマーカを用いた姿勢推定方法

Country Status (5)

Country Link
US (1) US11030770B2 (ja)
EP (1) EP3499180B1 (ja)
JP (1) JP6755030B2 (ja)
CN (1) CN109716061B (ja)
WO (1) WO2018051843A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135063A1 (ja) * 2017-01-17 2018-07-26 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法
US11378392B2 (en) 2018-08-15 2022-07-05 National Institute Of Advanced Industrial Science And Technology Marker
US11747206B2 (en) 2019-02-05 2023-09-05 Ppg Industries Ohio, Inc. Light-based protractor and use thereof for detection of color associated with physical coatings
WO2021157484A1 (ja) * 2020-02-06 2021-08-12 大日本印刷株式会社 マーカー、マーカーの製造方法、検出対象物
US11311805B2 (en) 2020-03-02 2022-04-26 Universal City Studios Llc Handheld object characteristic assessment system and method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
JP2007034866A (ja) * 2005-07-29 2007-02-08 Hitachi Appliances Inc 移動体の走行制御方法及び自走式掃除機
EP1946243A2 (en) * 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
JP5842248B2 (ja) * 2010-12-24 2016-01-13 国立研究開発法人産業技術総合研究所 マーカ
JP5728372B2 (ja) 2011-11-30 2015-06-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6083747B2 (ja) 2012-10-24 2017-02-22 国立研究開発法人産業技術総合研究所 位置姿勢検出システム
CN102980528B (zh) * 2012-11-21 2015-07-08 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
WO2015045834A1 (ja) 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 マーカ画像処理システム
WO2016024555A1 (ja) * 2014-08-12 2016-02-18 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法
CN104567727B (zh) 2014-12-24 2017-05-24 天津大学 利用立体靶标对线结构光轮廓传感器的全局统一校准方法
CN105509654A (zh) 2015-12-31 2016-04-20 天津市东方龙光电测控技术有限公司 多角度移动标靶结构

Also Published As

Publication number Publication date
US11030770B2 (en) 2021-06-08
EP3499180A4 (en) 2019-06-26
EP3499180B1 (en) 2021-06-09
EP3499180A1 (en) 2019-06-19
CN109716061B (zh) 2020-12-01
US20190228541A1 (en) 2019-07-25
JPWO2018051843A1 (ja) 2019-06-24
CN109716061A (zh) 2019-05-03
WO2018051843A1 (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
JP6755030B2 (ja) マーカとマーカを用いた姿勢推定方法
EP2188589B1 (en) System and method for three-dimensional measurement of the shape of material objects
WO2016024555A1 (ja) マーカとマーカを用いた姿勢推定方法
US20130106833A1 (en) Method and apparatus for optical tracking of 3d pose using complex markers
US11692815B2 (en) Imaging system with calibration target object
CN110140023B (zh) 标记器和使用了标记器的姿势推定方法及位置姿势推定方法
US10107617B2 (en) Feature point matching method of planar array of four-camera group and measuring method based on the same
JP4977436B2 (ja) 光源位置推定装置
US20220092345A1 (en) Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison
KR20220034110A (ko) 반사 및/또는 부분 반사 표면을 갖는 물체를 광학적으로 측정하고 대응하는 측정의 배열을 위한 방법 및 시스템
US11378392B2 (en) Marker
JP6710370B2 (ja) マーカとマーカの製造方法
JP2003294433A (ja) 複数の三次元形状計測装置の座標系を一致させる方法
JP2005121674A (ja) 複数の三次元形状計測装置の座標系を一致させる方法
WO2021094636A1 (es) Método y sistema para el seguimiento espacial de objetos
Yasuda et al. 360 degrees Three-Dimensional measurement using five measuring systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200818

R150 Certificate of patent or registration of utility model

Ref document number: 6755030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250