JP6749267B2 - マーカ搭載用ユニット - Google Patents

マーカ搭載用ユニット Download PDF

Info

Publication number
JP6749267B2
JP6749267B2 JP2017037956A JP2017037956A JP6749267B2 JP 6749267 B2 JP6749267 B2 JP 6749267B2 JP 2017037956 A JP2017037956 A JP 2017037956A JP 2017037956 A JP2017037956 A JP 2017037956A JP 6749267 B2 JP6749267 B2 JP 6749267B2
Authority
JP
Japan
Prior art keywords
substrate
marker
mounting unit
hole
upper substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017037956A
Other languages
English (en)
Other versions
JP2018146236A (ja
Inventor
康幸 福田
康幸 福田
遼 佐々木
遼 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enplas Corp
Original Assignee
Enplas Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enplas Corp filed Critical Enplas Corp
Priority to JP2017037956A priority Critical patent/JP6749267B2/ja
Priority to US16/489,968 priority patent/US20200011655A1/en
Priority to CN201880014324.7A priority patent/CN110337579A/zh
Priority to PCT/JP2018/005333 priority patent/WO2018159312A1/ja
Publication of JP2018146236A publication Critical patent/JP2018146236A/ja
Application granted granted Critical
Publication of JP6749267B2 publication Critical patent/JP6749267B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32Fiducial marks and measuring scales within the optical system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/005Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、マーカ搭載用ユニットに関する。
拡張現実感(Augmented Reality、以下、「AR」ともいう)およびロボティクス等の分野において、物体の位置および姿勢等を認識するために、いわゆる視認マーカが使用されている。前記マーカとしては、例えば、ARマーカが一般的である。また、前記マーカの他の例としては、例えば、黒の縞模様の上に、レンチキュラレンズが配置されたマーカが報告されている(特許文献1)。前記マーカは、一般的に、RAS(Rotation Angle Scale;回転角度)マーカと呼ばれる。カメラ等の検出機器によって、前記マーカに現れる像を検出すると、前記マーカに対する前記カメラの視認角度に依存して、前記像は、濃淡パターンが変化する。このため、前記マーカの濃淡パターンを検出することによって、前記マーカの回転角度を判断することができる。
前記視認マーカは、通常、基板上に配置されており、前記基板には、前記カメラが検出すべき領域の目印となる複数の検出基準部が設けられ、マーカユニットとして使用されている。前記マーカユニットの一例を、図7に示す。図7は、RASマーカが搭載されたマーカユニットの概略図であり、図7(A)は、上面図、図7(B)は、V−V方向の断面図である。
マーカユニット5は、上表面が黒色の下基板41と、上表面が白色の介在基板42と、透明の上基板40と、RASマーカ43とを含み、下基板41の上に、介在基板42が配置され、介在基板42の上に、上基板40とRASマーカ43とが配置されている。介在基板42と上基板40とは、それぞれ対応する箇所に、円状の貫通孔を有しており、下基板41の黒色の表面が露出することで、円形の検出基準部412が形成されている。また、上基板40は、隣り合う検出基準部412の間に、RASマーカ43が配置されている。
特開2012−145559号公報
マーカユニット5について、RASマーカ43の像431を検出する前提として、検出基準部412を精度良く検出することが重要となるが、検出精度が十分ではないという問題がある。
そこで、本発明は、例えば、RASマーカ等のマーカを搭載するためのユニットであって、前記検出基準部を精度よく検出できるマーカ搭載用ユニットを提供することを目的とする。
前記目的を達成するために、本発明のマーカ搭載用ユニットは、
下基板と上基板とを含み、
前記下基板の上に、前記上基板が積層された積層体であり、
前記下基板は、検出基準部となる凸部を有し、
前記上基板は、前記下基板の凸部と対応する箇所に貫通孔を有し、
前記下基板の凸部は、前記上基板の貫通孔に挿入されており、
前記上基板は、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲の相対透過率が99%以下であることを特徴とする。
本発明のマーカ搭載用ユニットは、前述のように、前記上基板の少なくとも一方の表面において、前記上基板の貫通孔の周囲の相対透過率を前述の通りとすることによって、前記検出基準部を精度よく検出できる。
図1(A)は、実施形態1のマーカ搭載用ユニットの一例を示す上面図であり、図1(B)は、図1(A)のI−I方向から見たマーカ搭載用ユニットの断面図である。 図2は、実施形態1のマーカ搭載用ユニットの変形例を示す上面図である。 図3は、実施形態2のマーカ搭載用ユニットの一例を示す断面図である。 図4は、実施形態3のマーカ搭載用ユニットの一例を示す断面図である。 図5(A)は、実施形態4のマーカユニットの一例を示す上面図であり、図5(B)は、図5(A)のII−II方向から見たマーカユニットの断面図であり、図5(C)は、実施形態4のマーカユニットの変形例を示す上面図であり、図5(D)は、図5(C)のIII−III方向から見たマーカユニットの断面図である。 図6(A)は、実施形態5のマーカ搭載用ユニットの一例を示す平面図であり、図6(B)は、図6(A)のIV−IV方向から見たマーカユニットの断面図である。 図7(A)は、従来のマーカユニットの一例を示す上面図であり、図7(B)は、図7(A)のV−V方向から見たマーカユニットの断面図である。 図8は、参照のマーカユニットの一例を示す断面図である。 図9(A)は、所定の角度で撮影した実施例および比較例の各マーカユニットの写真(生画像)であり、図9(B)は、図9(A)の写真を2値化処理した画像である。
本発明者らは、図7に示す従来のマーカユニット5に関して、検出基準部412の検出精度が十分ではないことについて、鋭意研究を行った。その結果、マーカユニット5において、上基板40の表面を基準とした場合に、検出基準部412を有する下基板41の表面が、前記基準よりも極めて低い位置に存在することで、検出精度に影響を与えているとの着想を得た。そこで、発明者らは、図8に示すように、下基板41に凸部412を設け、凸部412の上表面412aを前記検出基準とし、下基板41の凸部412を上基板40の貫通孔に挿入した形態を見出すに到った。この形態のマーカユニット6によれば、例えば、上基板40の上表面が、マーカ43の上表面となる。このため、マーカ43の上表面(上基板40の上表面)と、検出基準部412a(凸部412の上表面)とが、より近い位置になる。このため、カメラ等の検出機器から、マーカ43の距離と検出基準部412aの距離とがより近くなり、これによって、検出機器による、前記マーカの検出条件と前記検出基準部の検出条件とがより近くなる。このため、結果として、回転軸の軸ずれが改善され、前記検出基準部の検出精度を向上できる。
しかしながら、前記マーカ搭載用ユニットにおいて、前記下基板に凸部を設けても、さらなる検出精度の向上が望まれる。そこで、本発明者らは、さらに研究を行った。その結果、以下の知見を得た。すなわち、マーカユニット6における検出基準部412aの検出は、まず、マーカユニット6が撮影され、つぎに、その生画像が、2値化処理、つまり、実際の色を多段階の階調(例えば、128階調、256階調等)の白と黒とに置き換える画像処理がされ、この画像処理された2値化画像に基づいて、検出基準部412aが解析される。しかしながら、マーカユニット6において、検出基準部412aは、下基板41の凸部412の表面であり、検出装置の検出角度によっては、凸部412により影が生じる場合がある。そして、生画像において影が撮影された場合、多段階の階調に画像処理すると、2値化画像において、影の部分と検出基準部412aとが一体となって黒色で表わされることになる。この場合、2値化画像においては、例えば、実際とは異なって、検出基準部412aの形状が歪んでいたり、大きさが大きくなったり、中心がずれて表わされることになる。すると、実際の検出基準部412aとは異なる2値化画像に基づいて解析されることになり、結果的に検出精度が低下するおそれがある。この知見に基づき、本発明者らは、前記上基板の相対透過率を前述のような条件に設定することを見出した。本発明のマーカ登載用ユニットによれば、前記下基板の凸部による影の発生を抑制し、それによって2値化画像における形状の歪みや中心のずれを防止し、結果的に、検出基準部の検出精度を向上できる。
本発明のマーカ搭載用ユニットは、例えば、前記上基板が、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲が粗面化された透明基板である。
本発明のマーカ搭載用ユニットは、例えば、前記上基板が、両面において、少なくとも前記上基板の貫通孔の周囲が粗面化された透明基板である。
本発明のマーカ搭載用ユニットは、例えば、前記上基板が、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲の相対透過率が30%以下である。
本発明のマーカ搭載用ユニットは、例えば、前記上基板が、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲が白色膜を有する透明基板である。
本発明のマーカ搭載用ユニットは、例えば、前記上基板が、両面において、少なくとも前記上基板の貫通孔の周囲が白色膜を有する透明基板である。
本発明のマーカ搭載用ユニットは、例えば、前記第1基板の凸部の上表面が黒色である。
本発明のマーカ搭載用ユニットは、例えば、前記積層体が、さらに、介在基板を有し、前記下基板、前記介在基板および前記上基板が、この順序で積層され、前記介在基板は、前記下基板の凸部と対応する箇所に貫通孔を有する基板であり、前記下基板の凸部は、前記介在基板の貫通孔および前記上基板の貫通孔に挿入されている。
本発明のマーカ搭載用ユニットは、例えば、前記積層体が、さらに、介在基板を有し、前記下基板、前記介在基板および前記上基板が、この順序で積層され、前記介在基板は、前記下基板の凸部と対応する箇所に貫通孔を有し、且つ、前記貫通孔の周囲に、上方向に突出する筒部を有する基板であり、前記上基板における前記貫通孔は、前記下基板の凸部および前記介在基板の筒部に対応し、前記下基板の凸部は、前記介在基板の筒部内の貫通孔に挿入され、前記介在基板の筒部は、前記上基板の貫通孔に挿入されている。
本発明のマーカ搭載用ユニットは、例えば、前記介在基板が、上表面が白色の基板である。
つぎに、本発明について、具体的に説明する。本発明は、以下の例には何ら限定されない。以下、前記マーカ搭載用ユニットの前記積層体において、前記下基板側を下方向といい、前記上基板側を上方向という。
本発明における下基板は、検出基準部となる凸部を有する。前記凸部の平面(例えば、前記凸部の平面方向における断面、具体例は、凸部の上面)の形状は、特に制限されず、例えば、円形、角形等があげられる。前記円形は、例えば、真円、楕円等であり、真円が好ましい。前記角形は、例えば、三角形、四角形等の多角形であり、四角形は、例えば、正方形、長方形等である。前記凸部の平面の大きさは、特に制限されず、円形の場合、その直径は、例えば、1〜25mmであり、円形以外の場合、その面積は、例えば、前記円形の直径の条件から求められる面積が例示できる。
前記凸部の形状は、例えば、その断面が前記上表面と同じである柱状であり、例えば、円柱状、角柱状等である。前記凸部の高さは、特に制限されず、例えば、0.4〜10mmである。
前記下基板において、前記検出基準部の数および位置は、特に制限されず、本発明のマーカ搭載用ユニットにマーカを搭載した際、例えば、前記検出基準部が、前記カメラが検出すべき領域の目印となる個数および位置で形成されていればよい。
前記下基板の色は、特に制限されず、例えば、前記積層体の上表面から見た際に、その凸部の上表面が、その周囲と判別可能な色である。前記下基板は、例えば、前記凸部の上表面のみが、その周囲と判別可能な色でもよいし、全てが、その周囲と判別可能な色でもよい。前記色は、例えば、黒色である。前記下基板は、例えば、黒色樹脂製の基板があげられる。前記黒色樹脂は、例えば、透明樹脂に、黒色の着色剤を添加して調製できる。前記着色剤は、例えば、マスターバッチ、ドライカラー等があげられる。前記透明樹脂は、ポリカーボネート(PC)、アクリル系樹脂(例えば、ポリメタクリル酸メチル(PMMA))、シクロオレフィンポリマー(COP)、シクロオレフィンコポリマー(COC)等があげられる。
本発明における上基板は、前述のように、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲の相対透過率が99%以下であればよい。
前記相対透過率の上限は、例えば、99%以下、80%以下、30%以下である。その下限は、特に制限されず、例えば、1%以上、5%以上、10%以上でもよく、また、実質的に光を透過しなくてもよい(相対透過率0%)。
前記上基板において、前記相対透過率を満たすのは、いずれの表面でもよい。すなわち前記上基板は、例えば、前記下方向の下表面と前記上方向の上表面との両方が、前記相対透過率を満たしてもよいし、いずれか一方の表面が、前記相対透過率を満たしてもよい。ここで、「表面の相対透過率」とは、いずれか一方の表面側から光を照射した際における相対透過率である。
本発明において、「相対透過率」とは、波長550nmにおける下記基準試料の測定透過率を100%としたときの、波長550nmにおける前記上基板の測定透過率の相対値(%)を意味する。前記基準試料は、厚さが0.8mmであり、両表面が平滑(鏡面)なポリカーボネート板(製品名:ユーピロンS−3000R、三菱エンジニアリングプラスチックス社)である。
前記相対透過率の算出方法は、例えば、以下の通りである。まず、分光光度計の光源と積分球との間に、試料(前記基準試料または前記上基板)を配置し、可視光領域の光を波長掃引しながら前記試料に照射し、積分球内の検出器で、受光する各波長の光量を検出する。検出された光のうち、波長550nmにおける光の透過率を測定透過率として求める。そして、前記基準試料の波長550nmにおける測定透過率を100%とし、それに対する、前記上基板の波長550nmにおける測定透過率の相対値を求め、これを前記上基板の相対透過率とする。前記上基板の光量の検出には、前記上基板を単独で使用する。また、前記上基板は、少なくとも一方の表面であって、少なくとも前記上基板の貫通孔の周囲において検出された光量に基づいて算出される相対透過率が、前記条件を満たしていればよい。
前記上基板は、いずれかの表面において、少なくとも前記上基板の貫通孔の周囲が、前記相対透過率を満たしていればよい。前記上基板において前記相対透過率を満たす領域Xは、特に制限されず、例えば、前記積層体の上表面において、前記検出基準部の中心から外周までの距離を相対値1とした場合、前記検出基準部の中心から前記領域Xの外周までの距離Xの相対値は、例えば、1.2、2、5である。具体例として、例えば、前記検出基準部が円形であり、その半径が0.5〜12.5mmの場合、前記検出基準部の中心から前記領域Xの外周までの距離は、0.6〜62.5mmである。前記上基板は、例えば、いずれかの表面において、マーカを搭載する領域を除いて、前記相対透過率を満たしてもよい。
前記上基板は、所定の領域Xが前記相対透過率を満たせばよく、前記相対透過率を示す前記領域Xの形態は、特に制限されない。
前記上基板は、例えば、前記相対透過率を満たす樹脂製の基板でもよいし、また、前記相対透過率を満たさない樹脂製の基板から調製することもできる。前者の基板としては、例えば、アクリロニトリル−ブタジエン−スチレン共重合合成樹脂(ABS)、ポリエチレンテレフタレート(PET)、ポリスチレン(PS)等の樹脂製基板があげられる。後者の基板としては、例えば、透明基板が使用でき、前記透明基板は、前記相対透過率を満たさないものでもよい。前記透明基板は、例えば、ポリカーボネート(PC)、アクリル系樹脂(例えば、ポリメタクリル酸メチル(PMMA))、シクロオレフィンポリマー(COP)、シクロオレフィンコポリマー(COC)等の透明樹脂製基板があげられる。
前記透明基板の場合、例えば、前記透明基板が元来有する透過率を、前記相対透過率に低下させる処理を行うことで、前記上基板を得ることができる。前記透明基板は、例えば、所望の領域を粗面化処理することにより、前記相対透過率を満たす粗面化された領域Xを有する上基板を得ることができる。前記粗面化処理は、特に制限されず、例えば、ブラスト加工、放電加工、エッチング加工、レーザー加工等があげられる。
また、前記透明基板は、例えば、所望の領域に、前記相対透過率を満たす膜を形成することにより、前記相対透過率を満たす前記膜を有する上基板を得ることができる。前記膜は、例えば、印刷膜、塗膜、シール等があげられる。前記印刷膜の形成方法は、例えば、スクリーン印刷、シルク印刷、凸版印刷、凹版印刷、オフセット印刷等があげられる。前記塗膜の形成方法は、例えば、吹き付けによる塗装等があげられる。前記シールは、例えば、接着層を有するフィルムが使用でき、前記透明基板の前記所望の領域に、前記接着層を介してフィルムを積層することで、前記上基板を得ることができる。前記フィルムは、例えば、樹脂製フィルム、紙等があげられ、前記接着層は、例えば、両面テープがあげられる。
前記膜の色は、特に制限されず、前記下基板の凸部の上表面とコントラスト差が大きい色が好ましい。前記下基板の凸部の上表面の色が黒の場合、前記下基板の前記膜の色は、例えば、白色が好ましい。
前記上基板の貫通孔は、例えば、前記下基板の凸部と実質的に同じ形状であり、且つ、前記上基板の貫通孔の孔面積は、例えば、前記下基板の凸部の平面(例えば、平面方向における断面、具体例は、前記凸部の上表面)の面積と実質的に同じである。
本発明のマーカ搭載用ユニットは、前記積層体における前記上基板が、所定の領域において前記相対透過率を満たしていればよく、その積層形態は、特に制限されない。以下に、前記積層体の形態を例示するが、本発明は、これらには制限されない。
[実施形態1]
実施形態1は、本発明のマーカ搭載用ユニットの例である。図1に、本実施形態のマーカ搭載用ユニットの一例として、二層の基板で構成される例を示す。図1(A)は、マーカ搭載用ユニット1の平面図であり、図1(B)は、図1(A)のI−I方向から見たマーカ搭載用ユニット1の断面図である。
図1(A)および(B)に示すとおり、マーカ搭載用ユニット1は、前記第1基板となる下基板11と前記第2基板となる上基板10とを含み、下基板11の上に、上基板10が積層された積層体である。下基板11は、四隅に円状の凸部112を有し、凸部112の上表面が検出基準部112aとなる。上基板10は、下基板11の凸部112と対応する箇所に、円状の貫通孔102を有する。上基板10は、例えば、円状の貫通孔102の間に、マーカ配置領域101を有する。点線で囲んだマーカ配置領域101は、例えば、RAS等のマーカになる領域であり、上基板10におけるマーカ配置領域101の上表面は、例えば、前記マーカの上表面を兼ねる。
マーカ搭載用ユニット1において、前記マーカの搭載方法は、特に制限されず、例えば、前記マーカがRASマーカ等である場合、上基板10の下表面であって、マーカ配置領域101に対応する領域に、黒縞模様等の被検出部を形成することによって、上基板10におけるマーカ配置領域10を、RASマーカ等のマーカにすることができる。本発明において、「マーカの配置」とは、前記マーカ搭載用ユニットに対して、物理的に独立したマーカを置くという形態でもよいし、前記マーカ搭載用ユニットを構成する部材の所定の領域に、RASマーカ等のマーカ機能を付与することで、前記領域をマーカとする形態の意味も含む。
本発明において、「凸部が貫通孔に挿入されている」とは、前記貫通孔と前記凸部との位置関係を意味するものであり、例えば、前記貫通孔を有する上基板と、前記凸部を有する下基板とを別個に準備し、前者の貫通孔に後者の凸部に挿入する動作により形成された状態には限定されず、一方の基板に対して、他方の基板の成形材料を密着させて成形した状態でもよい。
マーカ搭載用ユニット1において、下基板11の凸部112の上表面112aと、上基板10の上表面との位置関係は、特に制限されない。下基板11の凸部112の上表面112aは、例えば、上基板10の上表面に対してフラットな位置でもよいし、上基板10の上表面よりも低い位置または高い位置でもよい。前者の場合、下基板11の凸部112の上表面112aと、上基板10の上表面との間に、段差がないということができ、後者の場合、下基板11の凸部112の上表面112aと、上基板10の上表面との間に、段差があるということもできる。下基板11の凸部112の上表面112aと上基板10の上表面との高さの差は、特に制限されない。マーカ搭載用ユニット1の全体において、上基板10の下表面を基準として、上基板10の上表面までの高さを1とした場合、前記基準から下基板11の凸部の上表面までの高さの相対値は、例えば、0.8〜1.2である。
下基板11において、検出基準部112a(凸部112)の数および位置は、特に制限されず、マーカ搭載用ユニット1にマーカ(図示せず)を搭載した際に、例えば、検出基準部112aが、前記カメラが検出すべき領域の目印となる個数および位置で形成されていればよい。図1のマーカ搭載用ユニット1において、検出基準部112aは、4つであり、検出基準部112aの位置は、例えば、マーカ配置領域101の長手方向の両端部付近である。
本発明において、検出基準部112aの個数および位置は、この例には制限されない。本発明のマーカ搭載用ユニットにおける、検出基準部112aの他の例を、図2の上面図に示す。図2に示すように、マーカ搭載用ユニット1は、例えば、前記マーカ配置領域1つに対して、4つの検出基準部112aを有してもよい。
上基板10において、前記マーカが搭載されるマーカ配置領域101の形、数および位置は、特に制限されず、マーカ搭載用ユニット1に搭載するマーカの形、数および位置に応じて、適宜決定できる。
[実施形態2]
実施形態2は、本発明のマーカ搭載用ユニットの他の例である。図3に、本実施形態のマーカ搭載用ユニットの一例として、三層の基板で構成される例を示す。図3は、マーカ搭載用ユニット2の断面図である。本実施形態において、特に示さない限り、実施形態1の記載を援用できる。
図3に示すとおり、マーカ搭載用ユニット2は、前記第1基板となる下基板11と、前記第2基板となる上基板10と、さらに、介在基板20とを含み、下基板11の上に、介在基板20を介して、上基板10が積層された積層体である。介在基板20は、上基板10と同様に、下基板11の凸部112に対応する箇所に、円状の貫通孔201を有する。前記積層体において、下基板11の凸部112は、介在基板20の円形の貫通孔201および上基板10の円形の貫通孔102に挿入されている。
下基板11の凸部112と、介在基板20の貫通孔201とは、例えば、前者の形状と後者の形状とが、実質的に同じ形状であり、且つ、前者の平面(例えば、平面方向における断面、具体例は、上面112a)の面積と、後者の貫通孔201の孔面積とが、実質的に同じであることが好ましい。「面積が実質的に同じ」とは、例えば、凸部112の平面の面積が、貫通孔201の孔面積に対して、0.8〜1倍の範囲である。
介在基板20は、下基板11の凸部112と対応する箇所に、貫通孔201を有する。貫通孔201の形状は、特に制限されず、例えば、凸部112の形状と同じ形状あり、具体例として、円形、角形等があげられる。
介在基板20において、貫通孔201の数および位置は、特に制限されず、下基板11における凸部112に対応することから、前記実施形態1における凸部112の記載を援用できる。
マーカ搭載用ユニット2において、介在基板20は、例えば、反射基板である。介在基板20は、例えば、その上表面が、白色であり、また、介在基板20の全体が、白色でもよい。
[実施形態3]
実施形態3は、本発明のマーカ搭載用ユニットの他の例であり、第2基板となる介在基板が筒部を有する形態である。図4に、本実施形態のマーカ搭載用ユニットの一例を示す。図4は、マーカ搭載用ユニット2の断面図である。本実施形態において、特に示さない限り、実施形態1および2の記載を援用できる。
図4に示すとおり、マーカ搭載用ユニット2は、前記第1基板となる下基板11と、前記第2基板となる介在基板20とを含み、介在基板20の上に、さらに、上基板10が積層された積層体である。介在基板20は、下基板11の凸部112と対応する箇所に、円状の貫通孔201を有し、貫通孔201の周囲に、上方向に突出する筒部202を有する。上基板10は、介在基板20の筒部202に対応する箇所に、円状の貫通孔を有する。前記積層体において、下基板11の凸部112は、介在基板20の筒部202内の貫通孔201に挿入されている。また、前記積層体において、介在基板20の筒部202は、上基板10の貫通孔に挿入されている。
マーカ搭載用ユニット2において、下基板11の凸部112の上表面112aと、上基板10の上表面との位置関係は、特に制限されない。下基板11の凸部112の上表面112aは、例えば、上基板10の上表面に対してフラットな位置でもよいし、上基板10の上表面よりも低い位置または高い位置でもよい。前者の場合、下基板11の凸部112の上表面112aと、上基板10の上表面との間に、段差がないということができ、後者の場合、下基板11の凸部112の上表面112aと、上基板10の上表面との間に、段差があるということもできる。下基板11の凸部112の上表面112aと上基板10の上表面との高さの差は、特に制限されない。マーカ搭載用ユニット2の全体において、介在基板20の下表面を基準として、上基板10の上表面までの高さを1とした場合、前記基準から下基板11の凸部の上表面までの高さの相対値は、例えば、0.8〜1.2である。
マーカ搭載用ユニット2において、下基板11の凸部112の上表面112aと、介在基板20の筒部202の上表面200aとの位置関係は、特に制限されない。下基板11の凸部112の上表面112aは、例えば、介在基板20の筒部202の上表面200aに対してフラットな位置でもよいし、介在基板20の筒部202の上表面200aよりも低い位置または高い位置でもよい。前者の場合、下基板11の凸部112の上表面112aと、介在基板20の筒部202の上表面200aとの間に、段差がないということができ、後者の場合、下基板11の凸部112の上表面112aと、介在基板20の筒部202の上表面200aとの間に、段差があるということもできる。下基板11の凸部112の上表面112aと介在基板20の筒部202の上表面200aとの高さの差は、特に制限されない。マーカ搭載用ユニット2の全体において、介在基板20の下表面を基準として、介在基板20の筒部202の上表面200aまでの高さを1とした場合、前記基準から下基板11の凸部の上表面までの高さの相対値は、例えば、0.8〜1.2である。
下基板11の凸部112と、介在基板20の筒部202の内部とは、例えば、前者の形状と後者の形状とが、実質的に同じ形状であり、且つ、前者の平面(例えば、凸部112の平面方向における断面、具体例は、上面112a)の面積と、後者の内部空間の平面(例えば、筒部202の内部空間であって、平面方向における断面)の面積とが、実質的に同じであることが好ましい。「面積が実質的に同じ」とは、例えば、凸部112の平面の面積が、筒部202の内部空間の平面の面積に対して、0.8〜1倍である。
介在基板20の筒部202と、上基板10の貫通孔の内部とは、例えば、前者の形状と後者の形状とが、実質的に同じ形状であり、且つ、前者(介在基板20の筒部202)の外周で囲まれる平面の面積と、後者の内部空間の平面(例えば、上基板10の貫通孔の内部空間であって、平面方向における断面)の面積とが、実質的に同じであることが好ましい。「面積が実質的に同じ」とは、例えば、介在基板20の筒部202の平面の面積が、上基板10の貫通孔の内部空間の平面の面積に対して、0.8〜1倍である。
介在基板20の筒部202の形状は、特に制限されず、例えば、その内部が凸部112の形状と同じ形状ある。筒部202の形状は、例えば、中空の円筒状、中空の角筒状等があげられる。筒部202の内壁は、例えば、面方向に対して垂直でもよいし、テーパでもよい。後者の場合、テーパは、上から下に向かって広がる形状があげられる。
マーカ搭載用ユニット2において、介在基板20は、例えば、反射基板である。介在基板20は、例えば、その上表面が、白色であり、また、介在基板20の全体が、白色でもよい。
[実施形態4]
実施形態4は、さらにマーカを有するマーカ搭載用ユニットの例である。本実施形態は、前記マーカを備えることから、マーカユニットの例ともいう。図5に、本実施形態のマーカユニットの一例を示す。図5(A)および(B)は、図3のマーカ搭載用ユニット2にマーカ33を搭載したマーカユニット3の概略図であり、図5(A)は、マーカユニット3の上面図であり、図5(B)は、図5(A)のII−II方向から見たマーカユニット3の断面図である。本実施形態において、特に示さない限り、実施形態1〜3の記載を援用できる。
図5(A)および(B)に示すとおり、マーカユニット3は、図3のマーカ搭載用ユニット2において、介在基板20上であり、且つ、上基板10のマーカ配置領域101に、マーカ33が配置されている。本発明のマーカ搭載用ユニットおよび本発明のマーカユニットは、前記検出基準部の構成が特徴であり、搭載されるマーカの種類は、何ら制限されない。本実施形態では、レンチキュラレンズを用いたいわゆるRASマーカを例示したが、これには制限されず、その他の二次元パターンコード等でもよい。前記二次元パターンコードは、特に制限されず、例えば、ARマーカ、QRマーカ等があげられる。ARマーカは、例えば、ARToolKit、ARTag、CyberCode、ARToolKitPlus等があげられる。
また、本発明のマーカ搭載用ユニットおよび本発明のマーカユニットは、前述のように、前記検出基準部の構成が特徴であり、搭載されるマーカの位置も、何ら制限されない。例えば、図5(A)において、中心部に、前記マーカを搭載する場合は、例えば、上基板10が、対応する箇所に前記マーカ配置領域を有し、前記マーカ配置領域にマーカを搭載すればよい。
本発明のマーカ搭載ユニットおよび本発明のマーカユニットは、例えば、前記上基板の前記マーカ配置領域の上表面が、前記マーカの上表面を兼ねる。前記マーカが、例えば、RASマーカ等の場合、前記上基板の下表面であって、前記マーカ配置領域に対応する領域に、前記マーカの被検出部(例えば、検出可能な縞模様、ドット模様等)を形成した状態で、前記上基板と前記下基板と任意で前記介在基板を、前述のように配置する。これによって、前記上基板の前記マーカ配置領域に相対する箇所が、本発明のマーカユニットにおける前記マーカとなる。なお、これには限定されず、例えば、前記上基板において、前記マーカ配置領域が貫通孔であり、前記マーカ搭載ユニットにおいて、前記下基板の上または任意で介在基板の上であって、前記マーカ配置領域に対応する箇所に、別途調製したマーカを配置してもよい。この場合、前記マーカの上表面は、例えば、前記検出基準部である前記凸部の上表面と同等の高さ位置であることが好ましい。
図5に示すマーカ33の一例について、以下に説明する。なお、本発明において、マーカは、以下の説明には何ら制限されない。
マーカ33は、複数のレンズユニットを有するレンズ本体を含み、前記複数のレンズユニットは、平面方向において連続的に配置されている。前記複数のレンズユニットが配置されている方向を、配置方向または幅方向といい、平面方向において前記配置方向に対する垂直方向を、長さ方向という。
前記レンズ本体における前記レンズユニットは、例えば、シリンドリカルレンズがあげられる。前記レンズ本体は、例えば、透光性部材である。前記透光性部材は、特に制限されず、例えば、樹脂およびガラス等があげられる。前記樹脂は、例えば、ポリカーボネート、ポリメタクリル酸メチル(PMMA)等のアクリル系樹脂、シクロオレフィンポリマー(COP)、シクロオレフィンコポリマー(COC)等があげられる。
前記レンズ本体は、一方の表面側が、光を集める機能を有する集光部を有し、他方の表面側に、複数の被検出部を有する。前記被検出部は、例えば、前記レンズ本体の前記長さ方向に沿って伸びる線であり、前記レンズ本体の他方の表面側において、複数の線により、縞模様が形成されている。前記複数の被検出部は、例えば、光学的に検出可能な像として、前記レンズ本体の上面側に投影され、光学的に検出できる。
前記被検出部は、光学的に検出できればよく、例えば、着色膜があげられる。前記着色膜の色は、特に制限されず、例えば、黒である。前記着色膜は、例えば、塗膜であり、塗料により形成できる。前記塗料は、特に制限されず、例えば、液体塗料でもよいし、粉体塗料でもよい。前記塗料は、例えば、塗布および/または固化することによって、前記塗膜を形成できる。前記塗布方法は、例えば、スプレー塗布、スクリーン印刷等があげられる。前記固化方法は、例えば、前記液体塗料の乾燥、前記塗料中の硬化成分(例えば、ラジカル重合性化合物等)の硬化、前記粉末塗料の焼き付け等があげられる。
前記被検出部により形成される模様は、何ら制限されない。前記模様が、例えば、前記縞模様の場合、縞模様を形成する色の濃さは、例えば、同じでもよいし、濃淡であってもよい。
マーカ33を、例えば、白色の物体の上に置いた場合、マーカ33の前記レンズ本体の上面から入射した光のうち、前記被検出部に到達した光は、前記被検出部(例えば、黒色の着色膜)に吸収され、それ以外の光は、前記レンズ本体を透過して、前記物体の表面で反射する。このため、前記レンズ本体の上面には、白色の背景上に、前記被検出部の像(例えば、黒色の線)が投影される。このため、マーカユニット3において、マーカ33が配置される介在基板20は、反射板の役割を果たすことから、例えば、介在基板22マーカ33の被検出部が黒色で形成されている場合、マーカ33の下に位置する介在基板20は、その上面が白色であることが好ましい。
図5(A)および(B)においては、図3のマーカ搭載用ユニット2にマーカ33が搭載されたマーカユニット3の例を示したが、これには限定されない。図5(C)および(D)には、図4のマーカ搭載用ユニット2にマーカ33を搭載したマーカユニット3の断面図を示す。図5(C)および(D)に示すとおり、マーカユニット3は、図4のマーカ搭載用ユニット2において、介在基板20上であり、且つ、上基板10のマーカ配置領域101に、マーカ33が配置されてもよい。また、図示していないが、例えば、図1のマーカ搭載用ユニット1において、下基板11上であり、且つ、上基板10のマーカ配置領域101に、マーカ33が配置されてもよい。
[実施形態5]
実施形態5は、本発明のマーカ搭載用ユニットの他の例として、前記実施形態3と同様に、三層の基板で構成される変形例を示す。図6は、本実施形態のマーカ搭載用ユニット4の概略図であり、(A)は、平面図であり、(B)は、(A)のIV−IV方向から見た断面図である。
前記実施形態3におけるマーカ搭載用ユニット2は、図4に示すように、その上面側において、下基板11の凸部112の上面112aの全周が、介在基板20の筒部202の上面200aに囲まれ、さらに、その全周が、上基板10に囲まれた形態である。これに対して、本実施形態におけるマーカ搭載用ユニット4は、その上面側において、下基板11の凸部112の上面112aの全周が、介在基板20の筒部202の上面200aに囲まれているが、その全周は、上基板10に囲まれていない形態である。
マーカ搭載用ユニット2における凸部112上面の検出基準部の検出は、一般に、凸部112と、その全周を囲む基板(図6において介在基板20)とのエッジの検出により行われる。このため、三層の基板で構成される場合、例えば、凸部112の全周を囲む基板(介在基板20)は、その全周が、さらに他の基板(上基板10)で囲まれることは必須ではない。
[実施例1]
図5(C)および(D)に示す、3層の積層体からなるマーカユニットを作製し、2値化処理における、影の影響を確認した。前記マーカユニットにおいて、検出基準部間におけるマーカは、RASマーカとした。
比較例の上基板として、厚さ0.8mmの表面が平滑なポリカーボネート板(製品名:ユーピロンS−3000R、三菱エンジニアリングプラスチックス社)を使用した(上基板A)。他方、実施例の上基板として、下記表1に示す基板を使用した。各実施例の上基板は、前記比較例で使用した上基板Aに、下記表1に示す表面処理を施して調製した。粗面化処理は、放電加工処理によって行い、白塗り処理は、耐候性の高い白色顔料の塗装処理によって行った。
そして、前記各上基板について相対透過率の算出を行った。まず、分光光度計の光源と積分球との間に、試料(前記比較例の上基板Aおよび前記実施例の上基板)を配置し、可視光領域の光を波長掃引しながら前記試料に照射し、積分球内の検出器で、受光する各波長の光量を検出した。検出された光のうち、波長550nmにおける光の透過率を測定透過率として求めた。そして、前記比較例の上基板Aの波長550nmにおける測定透過率を100%とし、それに対する、前記実施例の上基板の波長550nmにおける測定透過率の相対値を求め、これを前記上基板の相対透過率とした。前記上基板の光量の検出には、前記上基板を単独で使用し、可視光領域の光は、表面処理を行った表面に対して照射した。前記比較例の上基板および各実施例の上基板の相対透過率の算出結果を、前記表1にあわせて示す。
前記マーカユニットの上表面と前記上表面に対する法線との角度0°として、+30°に傾斜させた角度にカメラをセットした。そして、前記カメラにより、前記各マーカユニットの写真を撮影した(生画像)。この生画像から、さらに、2値化画像を得た。これらの結果を、図9に示す。図9(A)は、前記傾斜角度から撮影した各マーカユニットの生画像であり、図9(B)は、各マーカユニットの前記生画像に対する2値化画像である。
比較例Aは、図9(A)に示すように、下基板の凸部と、凸部を覆う介在基板の筒部とにより、影が発生し、生画像において、上基板を介して前記影が確認された。そして、図9(B)に示すように、2値化画像においては、円形の検出基準部だけでなく、影の部分も黒色に変換され、両者が一体となった円形が確認された。この2値化画像に基づくと、真の検出基準部と比較して、見かけの検出基準部は、大きく、形状も変形し、その中心もずれたものとして解析されるため、結果的に、分析精度に影響がでることがわかった。これに対して、実施例B〜Eは、図9(A)の生画像において、比較例Aよりも影の発生が抑制されており、その結果、図9(B)の2値化画像において、真の検出基準部と比較して、見かけの検出基準部の大きさ、形状、中心も、変化が抑制された。具体的に、実施例BおよびCは、図9(B)に示すように、影に起因して、検出基準部の周りに黒い領域が見えているが、検出基準部に由来する黒領域と、影に由来する黒領域との間に、白い線も確認されている。白い線によって、両者は分断されていることから、比較例Aと異なり、影による影響を抑制できるといえる。また、図9(B)に示すように、実施例DおよびEは、影に由来する黒領域がほとんど確認されなかった。このため、各実施例によれば、影による影響を抑制し、分析精度を向上できることがわかった。
以上のように、本発明のマーカ搭載用ユニットによれば、前述のように、前記上基板の少なくとも一方の表面において、前記上基板の貫通孔の周囲の透過率を前述の通りとすることによって、前記検出基準部を精度よく検出できる。
1、2、5 マーカ搭載用ユニット
3、4 マーカユニット
10、40 上基板
11、41 下基板
20、42 介在基板
101、401 マーカ配置領域
112 凸部
202 筒部
33、43 マーカ
331、431 像

Claims (10)

  1. 下基板と上基板とを含み、
    前記下基板の上に、前記上基板が積層された積層体であり、
    前記下基板は、検出基準部となる凸部を有し、
    前記上基板は、前記下基板の凸部と対応する箇所に貫通孔を有し、
    前記下基板の凸部は、前記上基板の貫通孔に挿入されており、
    前記上基板は、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲の相対透過率が99%以下であることを特徴とするマーカ搭載用ユニット。
  2. 前記上基板は、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲が粗面化された透明基板である、請求項1記載のマーカ登載用ユニット。
  3. 前記上基板は、両面において、少なくとも前記上基板の貫通孔の周囲が粗面化された透明基板である、請求項2記載のマーカ登載用ユニット。
  4. 前記上基板は、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲の相対透過率が30%以下である、請求項1から3のいずれか一項に記載のマーカ搭載用ユニット。
  5. 前記上基板は、少なくとも一方の表面において、少なくとも前記上基板の貫通孔の周囲が白色膜を有する透明基板である、請求項1から4のいずれか一項に記載のマーカ登載用ユニット。
  6. 前記上基板は、両面において、少なくとも前記上基板の貫通孔の周囲が白色膜を有する透明基板である、請求項5記載のマーカ登載用ユニット。
  7. 前記第1基板の凸部の上表面が黒色である、請求項1から6のいずれか一項に記載のマーカ搭載用ユニット。
  8. 前記積層体は、さらに、介在基板を有し、
    前記下基板、前記介在基板および前記上基板が、この順序で積層され、
    前記介在基板は、前記下基板の凸部と対応する箇所に貫通孔を有する基板であり、
    前記下基板の凸部は、前記介在基板の貫通孔および前記上基板の貫通孔に挿入されている、請求項1から7のいずれか一項に記載のマーカ登載用ユニット。
  9. 前記積層体は、さらに、介在基板を有し、
    前記下基板、前記介在基板および前記上基板が、この順序で積層され、
    前記介在基板は、前記下基板の凸部と対応する箇所に貫通孔を有し、且つ、前記貫通孔の周囲に、上方向に突出する筒部を有する基板であり、
    前記上基板における前記貫通孔は、前記下基板の凸部および前記介在基板の筒部に対応し、
    前記下基板の凸部は、前記介在基板の筒部内の貫通孔に挿入され、
    前記介在基板の筒部は、前記上基板の貫通孔に挿入されている、請求項1から8のいずれか一項に記載のマーカ搭載用ユニット。
  10. 前記介在基板は、上表面が白色の基板である、請求項8または9記載のマーカ搭載用ユニット。

JP2017037956A 2017-03-01 2017-03-01 マーカ搭載用ユニット Expired - Fee Related JP6749267B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017037956A JP6749267B2 (ja) 2017-03-01 2017-03-01 マーカ搭載用ユニット
US16/489,968 US20200011655A1 (en) 2017-03-01 2018-02-15 Marker mounting unit
CN201880014324.7A CN110337579A (zh) 2017-03-01 2018-02-15 标记搭载用单元
PCT/JP2018/005333 WO2018159312A1 (ja) 2017-03-01 2018-02-15 マーカ搭載用ユニット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017037956A JP6749267B2 (ja) 2017-03-01 2017-03-01 マーカ搭載用ユニット

Publications (2)

Publication Number Publication Date
JP2018146236A JP2018146236A (ja) 2018-09-20
JP6749267B2 true JP6749267B2 (ja) 2020-09-02

Family

ID=63369971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017037956A Expired - Fee Related JP6749267B2 (ja) 2017-03-01 2017-03-01 マーカ搭載用ユニット

Country Status (4)

Country Link
US (1) US20200011655A1 (ja)
JP (1) JP6749267B2 (ja)
CN (1) CN110337579A (ja)
WO (1) WO2018159312A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115066591A (zh) * 2020-02-06 2022-09-16 大日本印刷株式会社 标记、标记的制造方法以及检测对象物
EP4350287A1 (de) * 2022-10-04 2024-04-10 Manfred Mödder Markierungsvorrichtung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05312521A (ja) * 1992-05-13 1993-11-22 Nec Corp ターゲットマーク
JP2001267202A (ja) * 2000-03-15 2001-09-28 Matsushita Electric Ind Co Ltd 重ね合わせ測定マーク及びその測定方法と重ね合わせ測定マークを有する半導体装置
JP4565248B2 (ja) * 2001-01-30 2010-10-20 株式会社ニコン 位置検出装置およびその調整方法
WO2016024555A1 (ja) * 2014-08-12 2016-02-18 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法
CN106154765B (zh) * 2015-04-23 2018-12-21 中芯国际集成电路制造(上海)有限公司 套刻测量装置

Also Published As

Publication number Publication date
WO2018159312A1 (ja) 2018-09-07
US20200011655A1 (en) 2020-01-09
CN110337579A (zh) 2019-10-15
JP2018146236A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6749267B2 (ja) マーカ搭載用ユニット
US20230068581A1 (en) Marker, method for manufacturing marker, and detection target
US20200158500A1 (en) Marker unit
US20200118293A1 (en) Marker unit
US20190293841A1 (en) Marker
WO2018212052A1 (ja) マーカユニット
WO2018116954A1 (ja) マーカ
WO2018131678A1 (ja) マーカ搭載用ユニット
WO2018131680A1 (ja) マーカ搭載用ユニット
WO2019074036A1 (ja) マーカ
WO2018131679A1 (ja) マーカ搭載用ユニットおよびその製造方法
WO2023013407A1 (ja) 測定システム
WO2018096848A1 (ja) マーカおよびマーカセット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200811

R150 Certificate of patent or registration of utility model

Ref document number: 6749267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees