JP6670712B2 - 自己位置推定装置、移動体及び自己位置推定方法 - Google Patents

自己位置推定装置、移動体及び自己位置推定方法 Download PDF

Info

Publication number
JP6670712B2
JP6670712B2 JP2016177231A JP2016177231A JP6670712B2 JP 6670712 B2 JP6670712 B2 JP 6670712B2 JP 2016177231 A JP2016177231 A JP 2016177231A JP 2016177231 A JP2016177231 A JP 2016177231A JP 6670712 B2 JP6670712 B2 JP 6670712B2
Authority
JP
Japan
Prior art keywords
spot
coordinates
calculated
self
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016177231A
Other languages
English (en)
Other versions
JP2018044769A (ja
Inventor
太紀 飯村
太紀 飯村
山本 健次郎
健次郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016177231A priority Critical patent/JP6670712B2/ja
Publication of JP2018044769A publication Critical patent/JP2018044769A/ja
Application granted granted Critical
Publication of JP6670712B2 publication Critical patent/JP6670712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Description

本発明は、自己位置推定装置、移動体及び自己位置推定方法に係り、特に、3次元距離センサを搭載した場合に好適な自己位置推定装置、移動体及び自己位置推定方法に関する。
従来から、自己位置を高精度に推定する技術として、衛星信号を利用し移動体の位置を推定する衛星測位利用の位置推定技術や、走行環境周辺の特徴的な形状や点を検出し地図と比較することにより移動体の絶対位置を推定するマップマッチング位置測定技術が種々提案されている。しかしながら、衛星信号を利用した位置推定では、衛星信号が遮断される時間帯は利用できなくなり、また、地図と比較することで位置推定するマップマッチングでは、周囲の視界が開けていたり、周囲の固定物の形状が災害などにより変化していたりすると利用できなくなる。
そのため、自己位置推定手法として、移動体の移動量を検出し加算することで移動体の相対位置を推定するオドメトリ技術が多く用いられる。この技術は、画像センサで輝度勾配が特徴的な路面上の特徴点を検出し、画像センサから特徴点までの距離を計測し、特徴点の移動方向と移動量を算出することで、移動体の3次元の移動方向と移動量を算出する技術である。
例えば、特開2015−158418号公報に記載されているように、車両の挙動量を検出し、カメラにより取得された画像におけるパターン光の位置から、路面に対する車両の姿勢角を算出し、カメラにより取得された画像の路面上の複数の特徴点の時間変化に基づいて、車両の姿勢変化量を算出し、更に、車両の初期位置及び姿勢角に、姿勢変化量を加算することで、車両の現在位置及び姿勢角を算出するものである。
特開2015−158418号公報
上記従来技術では、投光器とカメラの間の基線長と、各スポット光の画像上の座標とから、三角測量の原理を用いて、路面に対するカメラの距離及び姿勢角を算出し、画像センサで検出した特徴点の画像上位置の時間変化と、前記距離及び姿勢角をもとに、移動体の3次元の移動方向と移動量を算出しており、これにより、振動など前後左右の加速度によって姿勢変動が生じても、移動体の自己位置を精度よく算出することができものの、しかしながら、振動などによって、移動体の姿勢が短時間で大きく変動する場合は、カメラで検出した画像にブレが生じ、特徴点を検出できなかったり、特徴点を検出できたとしても、画像の変動量が大きいため、特徴点の画像上位置の時間変化を正しく検出できなかったりするため、自己位置推定できない。このような場合は、画像情報を使わず、例えば、距離センサで検出した路面までの距離情報のみを使って、路面上の特徴的な形状を追跡することで自己位置推定するが、路面上に反射率の異なる計測対象が混在すると、計測距離の精度が悪化するため、路面上の同一形状を追跡することが困難となり、自己位置推定できない。
本発明は、このような課題を解決するものであり、振動などにより短時間で姿勢が大きく変化する場合や、路面上に反射率の異なるものが混在している場合でも、自己位置推定する自己位置推定装置、移動体及び自己位置推定方法を提供することを目的とす
る。
上記課題を解決するために、本発明では、距離センサからの信号に基づいて地面の各スポットからの距離を所定の軸に投影した座標を算出する座標算出部と、前記座標算出部で算出した前記各スポットに対応する座標に基づいて統計的な処理を施して所定の仮想面を抽出する面抽出部と、前記面抽出部で抽出した面から座標が相対的に離れているスポットを抽出し、以前に検出したスポットとその後に検出したスポットを対応付け、並進量と回転量を算出するマッチング部と、前記マッチング部で算出した並進量と回転量を加算することで、位置と姿勢を算出する位置姿勢推定部とを有するように構成した。
具体的には、代表的な本発明の自律移動装置等の1つは、3次元距離センサを下向きに
備える自己位置推定装置および移動体であって、移動体に備える3次元距離センサで検出
した路面上の各スポットの光軸座標を算出する光軸座標算出部と、前記光軸座標算出部で
算出した各スポットの光軸座標をもとに、光軸座標の平面を抽出する平面抽出部と、前記
平面抽出部で抽出した平面から光軸座標が離れているスポットを抽出し、前記抽出したス
ポットの光軸座標と前記平面との距離を算出する垂直成分算出部と、前記垂直成分算出部
で算出した前記距離、または、前記垂直成分算出部で抽出した平面から光軸座標が離れて
いるスポット位置をもとに、1フレーム前に検出したスポットと現在検出したスポットを
対応付け、1フレーム前から現在までの移動体の並進量と回転量を算するマッチング部と
、前記マッチング部で算出した前記移動体の並進量と回転量を、1フレーム前に算出した
前記移動体の位置と姿勢に加算することで、現在の前記移動体の位置と姿勢を算出する位
置姿勢推定部と、を有することで、振動などにより短時間で姿勢が大きく変化する場合や
、路面上に反射率の異なるものが混在している場合に測距精度が悪化しても位置が不変な
路面凹凸のピーク位置を追跡することで、低処理負荷に自己位置推定するものである。
上記態様の自己位置推定装置によれば、振動などにより短時間で姿勢が大きく変化する
場合や、路面上に反射率の異なるものが混在している場合でも、自己位置推定することができる。
実施例1の形態による移動体の構成を示すブロック図である。 実施例1の形態による3次元距離センサの詳細を表している。 実施例1の形態による光軸座標算出部と平面抽出部の詳細を表している。 実施例1の形態による垂直成分算出部の詳細を表している。 実施例1の形態によるマッチング部の詳細を表している。
以下、図面を用いて実施例を説明する。
本実施例では、3次元距離センサを搭載した自動車やロボットなどの移動体において、本発明の自己位置推定装置により、移動体の自己位置と姿勢を算出する。
図1は、本実施例による移動体100の構成を示している。
移動体100は、3次元距離センサ200と、光軸座標算出部300と、平面抽出部301と、垂直成分算出部302と、マッチング部303と、位置姿勢推定部304と、位置情報400で構成される。
3次元距離センサ200は、自己位置推定を実施するためのセンサであり、複数方向の計測対象までの距離を検出するセンサである。例えば、レーザスキャナや距離画像カメラやミリ波レーダがあるが、他に画像ブレによらない3次元の測距方式のセンサであれば、その限りではない。前記3次元距離センサ200は、姿勢が大きく変動しても、検出範囲内に路面500が含まれるように、下向きに搭載する。
光軸座標算出部300は、前記3次元距離センサ200で検出した各スポットの距離と方向をもとに、各スポットの光軸座標を算出する。
平面抽出部301は、前記光軸座標算出部300で算出した各スポットの光軸座標をもとに、光軸座標の代表的な平面を抽出する。
垂直成分算出部302は、前記平面抽出部301で抽出した前記平面から各スポットの光軸座標までの距離を、垂直成分として算出する。
マッチング部303は、前記垂直成分算出部302で算出した各スポットの前記垂直成分を参考に、前記3次元距離センサ200で1フレーム前に検出した各スポットのなかから、現在検出した各スポットと同一のスポットを探索し、対応付ける。
位置姿勢推定部304は、前記マッチング部303で対応付けた1フレーム前に検出したスポットと現在検出したスポットの検出距離と方向をもとに、1フレーム前の移動体100から現在の移動体100への移動量と姿勢変化量を推定し、推定した前記移動量と姿勢変化量と、後述の位置姿勢情報400に格納された移動体100の位置と姿勢の時系列情報をもとに、現在の移動体100の位置と姿勢を推定する。推定した前記位置と姿勢を位置姿勢情報400に格納する。
位置姿勢情報400は、1フレーム以上前に位置姿勢推定部304で推定した移動体100の位置と姿勢情報が時系列情報として格納されている。
図2は、3次元距離センサ200の詳細を表している。
3次元距離センサ200は、光軸S100を中心としてX軸方向30度Y軸方向30度の範囲でスポット光S104を照射する。ここで光軸は、3次元距離センサ200を光学的に見立てたときに、光学中心を結んだ光の軸線を意味する。
3次元距離センサ200の距離計測において、地面500はX軸方向に150の領域に区分けされY軸方向に200の領域に区分けされている。スポット光S104は座標(0,0)から座標(149,0)の方向に、まず、スポットS105が座標(0,0)に照射され、スポット光S104の照射角度と、スポット光S104が照射されてから3次元距離センサ200に戻る時間に基づいて、スポットS105の3次元座標を計測する。次に、
スポット光S104は座標(1,0)で照射されて同様に3次元座標の計測を継続する。座標(149,0)まで照射されると、走査の列を次に移して、座標(0,1)から座標(149、1)に走査する。このように、座標(149,199)までの各スポットS105の3次元座標を得る。
座標(0,0)から座標(149,199)までの走査は約0.1秒で行われる。この走査が終了すると各座標の3次元座標は記憶領域に記憶される。この座標(0,0)から座標(149,199)まで取得した3次元座標を1フレームと称する。所定の1フレームの3次元座標の取得が終了すると、同様な動作を繰り返し、次の0.1秒にて次のフレームの3次元座標を取得する
図3は、光軸座標算出部300と平面抽出部301の詳細を表している。
光軸座標算出部300は、3次元距離センサ200で検出した路面500上の各スポットS105の距離と方向をもとに、各スポットS105から光軸S100に対して垂線を下した位置について3次元距離センサ200からの距離を、各スポットの光軸S100上の座標(光軸座標)S102として算出する。算出された光軸座標は、座標(0,0)〜から座標(149、199)に対応づけて記憶される。
光軸S100は、3次元距離センサ200が検出する範囲の中心となる軸である。
S102は、光軸座標算出部300で算出した各スポットの光軸100上の座標S101を、各スポットS104に対して、3次元空間にプロットしなおした光軸座標である。
光軸座標算出部300で算出した各スポットの光軸座標S101(S102)は、平面抽出部301に出力される。
平面抽出部301では、3次元空間にプロットしなおした前記光軸座標S102(光軸座標算出部300で算出され座標(0,0)〜から座標(149、199)に対応づけて記憶されている。)から、平面S103を抽出する。平面S103は、例えば、3次元空間に、法線ベクトルと原点からの平面までの距離をパラメータとする平面モデルを作成し、平面モデルと各スポットの光軸座標S102の距離の2乗和が最小となるように、平面モデルの前記パラメータを最適化することで、抽出する。平面S103は図3において簡略化のために線状的に記載されているが実際は面として構成される。前記最適化は、全スポットの光軸座標が平面モデル上にあると仮定し最適化する最小2乗法があり、処理負荷が小さく、移動体100の高速移動時など、高速処理が必要な場合に有効であるが、スポットのなかに、平面モデル上に乗らない光軸座標(外れ値)がある場合は、誤差を含む平面が抽出される。ここで、RANSAC(RAndom SAmple Consensus)やLMedS(Least Median Squares)などのロバスト推定法を用いることで、処理負荷は増大するが、外れ値を除去しながら、誤差を含まない平面を抽出することができる。その他、スミルノフ・グラブス検定や、トンプソン検定、マハラノビス距離を用いた検定など、統計検定による様々な外れ値除去手法があるが、要求される処理負荷と精度を満たす手法であれば、どの手法を用いてもよい。
平面抽出部301で抽出した平面S103は、垂直成分算出部302に出力される。平面抽出手法に最小2乗法を用いた場合は、全スポットの光軸座標の平面からの距離2乗値の平均値も、垂直成分算出部302に出力される。平面抽出手法にRANSACやLMedSなどのロバスト推定手法、または、統計検定による外れ値除去手法を用いた場合は、外れ値として検出されたスポットと平面との距離の最大値が垂直成分算出部302に出力される。
図4は、垂直成分算出部302の詳細を表している。
垂直成分算出部302は、平面抽出部301で抽出した平面S103から閾値S200以上離れたスポットの光軸座標S201を抽出し、前記抽出した光軸座標S201の平面からの距離S202を算出する。図4において距離S202は簡略化された光軸座標S102に対して記載されているが実際は二次元的な各光軸座標S102に対して算出される。前記閾値は、平面抽出部301で算出した値を用いる。例えば、平面抽出部301の平面抽出で最小2乗法を用いた場合は、全スポットの光軸座標の平面からの距離2乗値の平均値を、前記閾値とする。平面抽出でロバスト推定手法または統計検定による外れ値除去手法を用いた場合は、外れ値として検出されたスポットと平面との距離の最大値を、前記閾値とする。垂直成分算出部302で算出した閾値S200の範囲外にある各スポットの光軸座標、および前記スポットの平面からの距離S202は、マッチング部303に出力される。
垂直成分算出部302により、路面にある凹凸のピーク近傍を抽出することができる。路面上に反射率の異なる計測対象が混在する場合、3次元距離センサの測定精度は悪化するが、スポット全体で一様に精度が悪化するため、路面にある凹凸のピーク位置は不変である。よって、垂直成分302は、測定精度の悪化によらない不変量を抽出する処理である。
図5は、マッチング部303の詳細を表している。
マッチング部303は、1フレーム前に検出したスポットの光軸座標S300のなかで平面から離れた路面凹凸のピーク近傍S302および平面からピーク近傍までの距離S304と、現在検出したスポットの光軸座標S301のなかで平面から離れた路面凹凸のピーク近傍S303および平面からピーク近傍までの距離S305を参考に、1フレーム前と現在に検出した同一スポットの対応S308を同定する(2次元的な座標において同定される)。ここで、1フレーム前に検出したスポットの光軸座標S300に対してマッチングをしているが、1フレームよりも前の光軸座標S300に対してマッチングをしても良く、また、検出された直近のフレームを用いずに、選択的な過去の2つフレームを互いにマッチングをして用いても良い。
前記対応306を同定する手法としては、例えば、平面からピーク近傍までの距離S304、S305の勾配を算出し、勾配の近いスポットを対応付ける手法があり、低処理負荷であるが、前記勾配が類似するスポットが複数存在すると、誤対応が発生することがある。
もう1つの手法としては、1フレーム前に検出したスポットS302と現在検出したスポットS303をそれぞれ2次元座標S306、S307に投影し、投影したスポットの2次元座標を参考に、ICP(Iterative Closest Point)を用いて対応S308を得る手法がある。ICPは、点群同士の位置を回転と並進により近づけていき、点群同士の位置が最小値をとるような回転と並進を同定することで、点群の対応を求める手法であり、点群の座標の次元が低いほど、処理負荷が小さくなる。よって、スポットS302とスポットS303の座標を2次元S306、S307に投影することで、低負荷で処理することができる。ただし、この場合は、1軸の回転(ヨー角)と、2次元の並進(X座標とY座標)のみが算出される。そこで、平面抽出部301で抽出した1フレーム前の平面パラメータと現在の平面パラメータを用いて、残りの2軸の回転(ロール角とピッチ角)と、1次元の並進(Z座標)を算出する。
マッチング部303により、測定精度の悪化によらない路面凹凸のピーク近傍のスポットを対応づけるため、測定精度の悪化によらないスポットの対応結果が得られる。さらに、対応付けた結果として、対応づいたスポットの相対的な移動量(3軸の回転と3次元の並進)が算出されるが、前記移動量は、移動体100の移動量の符号が逆転したものなので、マッチング部303で算出された前記移動量の符号を逆転することで、1フレーム前から現在までの移動体100の移動量(3軸の回転と3次元の並進)が算出される。
位置姿勢推定部304では、前記マッチング部303で算出した前記移動体100の移動量を、位置姿勢情報400に格納した1フレーム前の移動体100の位置と姿勢に加算することで、現在の移動体100の3次元位置と3軸姿勢を算出する。
以上のような構成により、本発明の自己位置推定は、路面までの距離情報のみを用いて、振動などにより短時間で姿勢が大きく変化する場合や、路面上に反射率の異なるものが混在している場合でも、低処理負荷な自己位置推定を実施することができる。
100 移動体
200 3次元距離センサ
300 光軸座標算出部
301 平面抽出部
302 垂直成分算出部
303 マッチング部
304 位置姿勢推定部
400 位置姿勢情報
500 路面

Claims (8)

  1. 距離センサからの信号に基づいて地面の各スポットからの距離を所定の軸に投影した座
    標を算出する座標算出部と、
    前記座標算出部で算出した前記各スポットに対応する座標に基づいて統計的な処理を施
    して所定の仮想面を抽出する面抽出部と、
    前記面抽出部で抽出した面から座標が相対的に離れているスポットを抽出し、以前に検
    出したスポットとその後に検出したスポットを対応付け、並進量と回転量を算出するマッ
    チング部と、
    前記マッチング部で算出した並進量と回転量を加算することで、位置と姿勢を算出する
    位置姿勢推定部とを有することを特徴とする自己位置推定装置。
  2. 請求項1において、前記所定の軸は光軸であり、前記投影した座標は光軸座標であるこ
    とを特徴とする自己位置推定装置。
  3. 請求項2において、前記所定の仮想面は平面座標であることを特徴とする自己位置推定
    装置。
  4. 請求項3において、前記光軸と前記仮想面の距離を算出して前記面抽出部で抽出した面か
    ら座標が相対的に離れているスポットを抽出することを特徴とする自己位置推定装置。
  5. 請求項1において、前記距離センサは3次元距離センサであることを特徴とする自己位
    置推定装置。
  6. 請求項1乃至5のいずれかにおいて、以前に検出したスポットとその後に検出したスポ
    ットを対応付けをフレーム毎に行うことを特徴とする自己位置推定装置。
  7. 自己位置推定装置を有する移動体であって、
    前記自己位置推定装置は、
    距離センサからの信号に基づいて地面の各スポットからの距離を所定の軸に投影した座
    標を算出する座標算出部と、
    前記座標算出部で算出した前記各スポットに対応する座標に基づいて統計的な処理を施
    して所定の仮想面を抽出する面抽出部と、
    前記面抽出部で抽出した面から座標が相対的に離れているスポットを抽出し、以前に検
    出したスポットとその後に検出したスポットを対応付け、並進量と回転量を算出するマッ
    チング部と、
    前記マッチング部で算出した並進量と回転量を加算することで、位置と姿勢を算出する
    位置姿勢推定部とを有することを特徴とする移動体。
  8. 距離センサからの信号に基づいて地面の各スポットからの距離を所定の軸に投影した座
    標を座標算出部で算出し、
    前記座標算出部で算出した前記各スポットに対応する座標に基づいて統計的な処理を施
    して所定の仮想面を面抽出部で抽出し、
    前記面抽出部で抽出した面から座標が相対的に離れているスポットを抽出し、以前に検
    出したスポットとその後に検出したスポットを対応付けてマッチング部で並進量と回転量
    を算出し、
    前記マッチング部で算出した並進量と回転量を加算して位置姿勢推定部で位置と姿勢を
    算出する自己位置推定方法。
JP2016177231A 2016-09-12 2016-09-12 自己位置推定装置、移動体及び自己位置推定方法 Active JP6670712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016177231A JP6670712B2 (ja) 2016-09-12 2016-09-12 自己位置推定装置、移動体及び自己位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016177231A JP6670712B2 (ja) 2016-09-12 2016-09-12 自己位置推定装置、移動体及び自己位置推定方法

Publications (2)

Publication Number Publication Date
JP2018044769A JP2018044769A (ja) 2018-03-22
JP6670712B2 true JP6670712B2 (ja) 2020-03-25

Family

ID=61693600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016177231A Active JP6670712B2 (ja) 2016-09-12 2016-09-12 自己位置推定装置、移動体及び自己位置推定方法

Country Status (1)

Country Link
JP (1) JP6670712B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121838A1 (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 外界認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181541A (ja) * 1998-12-21 2000-06-30 Komatsu Ltd 自走式車輌
US7272474B1 (en) * 2004-03-31 2007-09-18 Carnegie Mellon University Method and system for estimating navigability of terrain
JP5639874B2 (ja) * 2010-12-24 2014-12-10 株式会社日立製作所 運転支援装置
JP2013205130A (ja) * 2012-03-28 2013-10-07 Zenrin Co Ltd 路面形状データの生成方法、路面形状データ生成装置およびコンピュータプログラム
JP5861605B2 (ja) * 2012-09-28 2016-02-16 株式会社デンソー 駐車支援システム及び位置決め体付き輪止め
JP6432825B2 (ja) * 2014-08-22 2018-12-05 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム

Also Published As

Publication number Publication date
JP2018044769A (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN110869700B (zh) 用于确定车辆位置的系统和方法
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
US10762643B2 (en) Method for evaluating image data of a vehicle camera
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
Wangsiripitak et al. Avoiding moving outliers in visual SLAM by tracking moving objects
CN110243360A (zh) 机器人在运动区域的地图构建及定位方法
CN110345937A (zh) 一种基于二维码的导航定姿定位方法和系统
KR20160003776A (ko) 자세 추정 방법 및 로봇
JP6827642B2 (ja) 車輪付き車両用自己較正センサシステム
KR20180076815A (ko) Qr 마커와 레이저 스캐너를 이용하여 광범위 실내 공간에서 로봇의 위치를 인식하기 위한 방법 및 장치
JP2008076252A (ja) 自己位置認識システム
TW202013251A (zh) 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法
US11927438B2 (en) Methods and systems for calibrating fiducial markers relative to an object
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN114236564B (zh) 动态环境下机器人定位的方法、机器人、装置及存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
US20090226094A1 (en) Image correcting device and method, and computer program
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
US20160282875A1 (en) Moving object controller, landmark, and moving object control method
CN115565058A (zh) 机器人、避障方法、装置和存储介质
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
JP6670712B2 (ja) 自己位置推定装置、移動体及び自己位置推定方法
CN116524014B (zh) 一种在线标定外参的方法、装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6670712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150