JP6399436B2 - 移動体の経路計画方法と装置 - Google Patents

移動体の経路計画方法と装置 Download PDF

Info

Publication number
JP6399436B2
JP6399436B2 JP2014109717A JP2014109717A JP6399436B2 JP 6399436 B2 JP6399436 B2 JP 6399436B2 JP 2014109717 A JP2014109717 A JP 2014109717A JP 2014109717 A JP2014109717 A JP 2014109717A JP 6399436 B2 JP6399436 B2 JP 6399436B2
Authority
JP
Japan
Prior art keywords
obstacle
target point
route
current position
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014109717A
Other languages
English (en)
Other versions
JP2015225490A (ja
Inventor
裕樹 池田
裕樹 池田
肇 坂野
肇 坂野
生川 俊則
俊則 生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2014109717A priority Critical patent/JP6399436B2/ja
Publication of JP2015225490A publication Critical patent/JP2015225490A/ja
Application granted granted Critical
Publication of JP6399436B2 publication Critical patent/JP6399436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、自律的に認識した走行可能領域のうち幅が広い経路を自律的に選択して走行する自律移動可能な移動体の経路計画方法と装置に関する。
無人走行可能な移動体の操縦手段は、遠隔操縦、半自律走行、及び自律走行に大別することができる。
半自律走行は例えば特許文献1に、自律走行は例えば特許文献2に開示されている。
遠隔操縦は、ラジコン的な制御手段であり、操縦者が操作デバイス(ジョイスティックやハンドル、ペダルなど)により旋回方向や速度を指示し、移動体はそれに従って走行する。操縦画面には移動体のカメラで撮影した進行方向画像が表示されているので、操縦者はそれを見ながら車を運転するような感覚で操縦するものである。
半自律走行(又はコマンド操縦と呼ぶ)は、移動体自身が、走行可能な領域や分岐路を認識しながら走行する。操縦画面上には、移動体の搭載カメラで撮影した進行方向の画像に、移動体の搭載センサで認識した進入可能分岐路が矢印などで重畳表示される。分岐路に入るかどうかの判断と指示は操縦者が行う。操縦者が何もしなければ、どの分岐路にも入らず、移動体が認識した走行可能領域のうち最も幅が広く見える方へ走行する。
自律走行(又はウェイポイント操縦と呼ぶ)は、経由すべき地図上のポイント群(ウェイポイント)を走行開始前に与えておき、移動体は搭載センサで走行可能な領域を認識しながらウェイポイントを順次通過していくものである。
ウェイポイント操縦では、操縦者は走行開始の指示をしたりカメラ画像を確認したりすることはあるが、走行中に進行方向を指示することは無い。
特開2011−170844号公報 特開2011−170843号公報
上述したように、半自律走行において、移動体は、自律的に認識した走行可能領域のうち幅が広い経路を自律的に選択して走行する。
この場合、従来の経路計画手段では、1回の制御サイクルごとに経路計画をやり直すため、自律的に認識した環境認識のノイズや移動体の位置や姿勢の変化によって、経路の頻繁な切り替わりが発生することがあった。
図1、図2は、従来の経路の切り替わりの説明図である。
例えば、図1(A)(B)のように静止した障害物3が移動体1の進行方向に存在する場合、障害物3の位置が変化したと誤認して、左に避ける経路2aと右に避ける経路2bが切り替わる現象が発生する。その結果、静止した障害物3の前で移動体1が右往左往し、最終的には障害物3に衝突する可能性もある。
また、たとえ環境認識の精度が良く、認識された障害物3の位置に全く変化が無いとしても、図2(A)(B)のように移動体1から見た障害物3の回避のしやすさが変化し、経路2a,2bが突然切り替わる現象が発生する可能性がある。
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、自律的に認識した環境認識のノイズや位置や姿勢の変化による経路の頻繁な切り替わりを防止することができる自律移動可能な移動体の経路計画方法と装置を提供することにある。
本発明によれば、前方の障害物位置を検出可能な障害物センサを有する自律移動可能な移動体の経路計画方法であって、
コンピュータにより、
(A)前記障害物センサによる障害物位置から、移動体の前方の探索領域に障害物位置を含む局所地図を設定し、
(B)探索領域内において、移動体の現在位置から障害物に遮られずに見通すことができる視野角内の前記障害物より遠い位置に1又は複数の仮目標点を設定し、
(C)前記仮目標点のうち、前記直前経路が向かう方向に最も近いものを実目標点として選択し、
(D)現在位置と実目標点を結ぶ線上に間隔を隔てた複数の探索点を順に設定し、互いに間隔を隔てて前記探索点を通る直線上に位置し、障害物までの最短距離が最大又は第1閾値以上となる複数の更新点を設定し、各更新点の位置を結ぶ経路を現在位置から前記実目標点までの新経路として生成する、ことを特徴とする移動体の経路計画方法が提供される。
前記(B)において、前記仮目標点を、現在位置から最も離れた前記探索領域の端部、現在位置から一定距離の位置、又は移動体の走行速度に比例する距離の位置に設定する。
また、本発明によれば、前方の障害物位置を検出可能な障害物センサを有する自律移動可能な移動体の経路計画装置であって、
前記障害物センサによる障害物位置から移動体の前方の探索領域に障害物位置を含む局所地図を設定する探索領域設定部と、
探索領域内において、移動体の現在位置から障害物に遮られずに見通すことができる視野角内の前記障害物より遠い位置に1又は複数の仮目標点を設定する仮目標点設定部と、
前記仮目標点のうち、前記直前経路が向かう方向に最も近いものを実目標点として選択する実目標点選択部と、
現在位置と実目標点を結ぶ線上に間隔を隔てた複数の探索点を順に設定し、互いに間隔を隔てて前記探索点を通る直線上に位置し、障害物までの最短距離が最大又は第1閾値以上となる複数の更新点を設定し、各更新点の位置を結ぶ経路を現在位置から前記実目標点までの新経路として生成する新経路生成部と、を有する、ことを特徴とする移動体の経路計画装置が提供される。
上記本発明の方法と装置によれば、障害物センサによる障害物位置から、移動体の前方の探索領域に障害物位置を含む局所地図を設定する。次いで、探索領域内において、移動体の現在位置から障害物に遮られずに見通すことができる位置に仮目標点を設定し、仮目標点のうち、直前経路が向かう方向に最も近いものを実目標点として選択する。
これにより、実目標点は、局所地図上の仮目標点に近接し、障害物に遮られずに見通すことができ、直前経路が向かう方向に最も近い点となる。従って、現在位置から実目標点までの経路を新経路とすることにより、新経路がたどり着く先を予め決めておくことができ、かつ環境認識結果に多少のぶれがあっても、直前経路に近い経路になり、経路の突然の切り替わりが低減される。
従って、意図しない経路の切り替わりがなくなり、移動体が右往左往しなくなり走行が安定し、移動体が障害物に衝突する可能性を大幅に低下することができる。
従来の経路の切り替わりを示す第1の説明図である。 従来の経路の切り替わりを示す第2の説明図である。 本発明の経路計画装置を備えた移動体の全体構成図である。 本発明の経路計画装置の全体構成図である。 本発明による移動体の経路計画方法の全体フロー図である。 本発明による経路生成の説明図である。 仮目標点の設定方法の説明図である。
以下、本発明の実施形態を図面に基づいて説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
図3は、本発明の経路計画装置20を備えた移動体10の全体構成図である。
この図において、移動体10は、前方の障害物位置を検出可能な障害物センサ12を有し、自律移動可能に構成されている。障害物センサ12は、この例では、カメラ13とレーザセンサ14である。
カメラ13は、例えば1又は複数のデジタルカメラであり、移動体10の前方を撮影し、所定の周期(例えば制御サイクル)で画像データを出力する。例えば、一定の間隔を隔てた1対のカメラ13を用いることで、画像データから前方の障害物3の位置を検出することができる。
レーザセンサ14は、例えば1又は複数のレーザレーダであり、移動体10の前方の障害物3の位置(以下、障害物位置)を検出し、所定の周期(例えば制御サイクル)で障害物3の位置データを出力する。
なお、本発明において、前方の障害物位置を検出可能である限りで、障害物センサ12は、カメラ13又はレーザセンサ14のいずれか一方のみでもよい。
図3において、移動体10は、さらに、操舵用アクチュエータ15、ブレーキ/アクセル用アクチュエータ16、車両制御用コンピュータ17、及びアンテナ18を備える。
操舵用アクチュエータ15は、移動体10の進行方向を変更する。
ブレーキ/アクセル用アクチュエータ16は、移動体10のブレーキとアクセルを動作させる。
車両制御用コンピュータ17は、操舵用アクチュエータ15及びブレーキ/アクセル用アクチュエータ16を作動、停止させる機能を有している。
車両制御用コンピュータ17は、さらにアンテナ18と図示しない無線LANを介して、外部の遠隔操縦装置(図示せず)と送受信するようになっている。
遠隔操縦装置は、例えば、カメラ13の画像を表示する表示部(図示せず)と遠隔操縦手段(図示せず)を備え、移動体10を遠隔操縦可能に構成されている。
上述した構成により、移動体10は、遠隔操縦可能であると共に、車両制御用コンピュータ17により自律移動可能に構成されている。
なお、本発明において、操舵用アクチュエータ15、ブレーキ/アクセル用アクチュエータ16、車両制御用コンピュータ17、アンテナ18、及び遠隔操縦装置は必須ではなく、これらを省略することができる。
図3において、移動体10は、さらに本発明の経路計画装置20を備える。経路計画装置20は、例えば経路計画用コンピュータ(PC)である。
なお、経路計画装置20は、移動体10に独立して設けられるのが好ましいが、車両制御用コンピュータ17に搭載してもよく、或いは無線LANを介して接続された遠隔操縦装置に搭載してもよい。
経路計画装置20(経路計画用コンピュータ)は、障害物センサ12(この例ではカメラ13とレーザセンサ14)の検出データを所定の周期(例えば制御サイクル)で受信し、移動体10の前方の探索領域Cに障害物位置を含む局所地図を設定する。
この局所地図は、車両制御用コンピュータ17に出力され、車両制御用コンピュータ17はこの局所地図を基に自律移動可能に構成されている。
また、移動体10は、本発明の経路計画装置20により、遠隔操縦装置からの入力信号がない場合には、局所地図から自律的に認識した走行可能領域のうち幅が広い経路を自律的に選択するように構成されている。
図4は、本発明の経路計画装置20の全体構成図である。
この図において、本発明の経路計画装置20は、記憶装置21、探索領域設定部22、仮目標点設定部23、実目標点選択部24、及び新経路生成部25を有する。
記憶装置21は、コンピュータの記憶媒体(RAM,ROM,ハードディスクなど)であり、探索領域Cを記憶する。
探索領域設定部22は、障害物センサ12(この例ではカメラ13とレーザセンサ14)による障害物位置から移動体10の前方の探索領域Cに障害物位置を含む局所地図を設定する。探索領域Cは、例えば50m×50mの矩形領域であるが、障害物位置を含む限りで、任意の大きさ及び形状に設定することができる。
なお、探索領域Cは、遠隔操縦装置の表示部(図示せず)とは相違し、コンピュータの記憶装置21に記憶される仮想上の領域である。なお、この探索領域Cを、遠隔操縦装置による表示範囲と一致させてもよい。
探索領域Cは、制御サイクル毎に更新される。従って移動体10の前進中は、探索領域Cは、制御サイクル毎に変化する。探索領域Cは、経路計画装置20の記憶装置21に制御サイクル毎に記憶される。
仮目標点設定部23は、後述する図7に示すように、探索領域C内において、移動体10の現在位置Sから障害物3に遮られずに見通すことができる位置に1又は複数の仮目標点5を設定する。
仮目標点5の設定は、経路計画装置20(経路計画用コンピュータ)により、現在位置Sから障害物3に遮られずに見通すことができる位置に自動的に設定される。なお本発明はこれに限定されず、上述した遠隔操縦装置の表示部を介して、オペレータの遠隔操縦により仮目標点5を設定してもよい。
実目標点選択部24は、仮目標点5のうち、直前経路4(図6)が向かう方向に最も近いものを実目標点6として選択する。直前経路4とは、直前の経路、すなわちその制御サイクルの前の経路を意味する。
新経路生成部25は、現在位置Sから実目標点6までの経路を新たな経路(以下、新経路9と呼ぶ)として生成する。
図5は、本発明による移動体の経路計画方法の全体フロー図である。
この図において、本発明の制御方法は、S1〜S5の各ステップ(工程)からなる。
また、図6は、本発明による経路生成の説明図である。
ステップS1では、障害物センサ12(この例ではカメラ13とレーザセンサ14)による障害物位置から、移動体10の前方の探索領域Cに障害物位置を含む局所地図を設定する。
ステップS2では、図6(A)に示すように、探索領域C内において、移動体10の現在位置Sから障害物3に遮られずに見通すことができる位置に1又は複数の仮目標点5を設定する。
図7は、仮目標点5の設定方法の説明図である。
この図において、(A)は仮目標点5を探索領域Cの上端に設定した場合、(B)(C)は仮目標点5を現在位置Sから十分離れた距離に設定した場合、そのうち(C)はカーブ道路における場合を示している。
図7(A)のように、仮目標点5を、探索領域C内において、移動体10の現在位置Sから最も離れた探索領域Cの端部(この例では上端)に設定する。この場合、現在位置Sから障害物3に遮られずに見通すことができる視野角(破線の間)の中央に仮目標点5を設定するのがよい。
図7(B)(C)のように、仮目標点5を現在位置Sから十分離れた距離に設定する場合、仮目標点5を、現在位置Sから一定距離の位置、又は移動体10の走行速度に比例する距離の位置に設定するのがよい。また、この場合、図7(A)と同様に、現在位置Sから障害物3に遮られずに見通すことができる視野角(破線の間)の中央に仮目標点5を設定するのがよい。
図5において、ステップS3では、仮目標点5が複数か否かを判断する。仮目標点5が1つ(ステップS3でNo)の場合、ステップS5に移行する。この場合、仮目標点5を実目標点6とする。
仮目標点5が複数(ステップS3でYes)の場合、ステップS4に移行し、図6(B)に示すように、直前経路4が向かう方向に最も近い仮目標点5を実目標点6として選択する。
ステップS5では、図6(C)に示すように、現在位置Sから実目標点6までの経路を新たな経路(新経路9)として生成する。
ステップS5において、図6(C)に示すように、はじめに探索領域Cの現在位置Sと実目標点6を結ぶ線上(L1上)に間隔を隔てた複数の探索点7を順に設定する。現在位置Sと実目標点6を結ぶ線L1は、この例では直線であるが、円弧でも2次曲線でもよい。また、探索点7の間隔は、一定でも、変化してもよい。
次に、互いに間隔を隔てて探索点7を通る直線上(L2上)に位置し、障害物3までの最短距離が最大又は第1閾値以上となる複数の更新点8を設定する。探索点7を通る直線L2は、線L1に直交することが好ましいが斜めに交差してもよい。また、直線L2の間隔は、一定でも、変化してもよい。
最短距離の第1閾値は、例えば移動体10が自由に旋回できる値に設定するのがよい。なおこの図において、半径が第1閾値以上の円の中心に更新点8を示している。
次いで、各更新点8の位置を結ぶ経路を新経路9とする。
なお、新経路9の生成方法はこの例に限定されず、その他の周知の方法であってもよい。
上述した本発明の方法と装置によれば、障害物センサ12による障害物位置から、移動体10の前方の探索領域Cに障害物位置を含む局所地図を設定する。次いで、探索領域C内において、移動体10の現在位置Sから障害物3に遮られずに見通すことができる位置に仮目標点5を設定し、仮目標点5のうち、直前経路4が向かう方向に最も近いものを実目標点6として選択する。
これにより、実目標点6は、局所地図上の仮目標点5に近接し、障害物3に遮られずに見通すことができ、直前経路4が向かう方向に最も近い点となる。従って、現在位置Sから実目標点6までの経路を新経路9とすることにより、新経路9がたどり着く先を予め決めておくことができ、かつ環境認識結果に多少のぶれがあっても、直前経路4に近い経路になり、経路の突然の切り替わりが低減される。
従って、意図しない経路の切り替わりがなくなり、移動体10が右往左往しなくなり走行が安定し、移動体10が障害物3に衝突する可能性を大幅に低下することができる。
なお、本発明は上述した実施形態に限定されず、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内でのすべての変更を含むものである。
C 探索領域、L1 現在位置と実目標点を結ぶ線、
L2 探索点を通る直線、S 現在位置、1 移動体、2a、2b 経路、
3 障害物、4 直前経路、5 仮目標点、6 実目標点、7 探索点、
8 更新点、9 新経路、10 移動体、12 障害物センサ、
13 カメラ(デジタルカメラ)、14 レーザセンサ(レーザレーダ)、
15 操舵用アクチュエータ、16 ブレーキ/アクセル用アクチュエータ、
17 車両制御用コンピュータ、18 アンテナ、
20 経路計画装置(経路計画用コンピュータ)、21 記憶装置、
22 探索領域設定部、23 仮目標点設定部、24 実目標点選択部、
25 新経路生成部

Claims (3)

  1. 前方の障害物位置を検出可能な障害物センサを有する自律移動可能な移動体の経路計画方法であって、
    コンピュータにより、
    (A)前記障害物センサによる障害物位置から、移動体の前方の探索領域に障害物位置を含む局所地図を設定し、
    (B)探索領域内において、移動体の現在位置から障害物に遮られずに見通すことができる視野角内の前記障害物より遠い位置に1又は複数の仮目標点を設定し、
    (C)前記仮目標点のうち、前記直前経路が向かう方向に最も近いものを実目標点として選択し、
    (D)現在位置と実目標点を結ぶ線上に間隔を隔てた複数の探索点を順に設定し、互いに間隔を隔てて前記探索点を通る直線上に位置し、障害物までの最短距離が最大又は第1閾値以上となる複数の更新点を設定し、各更新点の位置を結ぶ経路を現在位置から前記実目標点までの新経路として生成する、ことを特徴とする移動体の経路計画方法。
  2. 前記(B)において、前記仮目標点を、現在位置から最も離れた前記探索領域の端部、現在位置から一定距離の位置、又は移動体の走行速度に比例する距離の位置に設定する、ことを特徴とする請求項1に記載の移動体の経路計画方法。
  3. 前方の障害物位置を検出可能な障害物センサを有する自律移動可能な移動体の経路計画装置であって、
    前記障害物センサによる障害物位置から移動体の前方の探索領域に障害物位置を含む局所地図を設定する探索領域設定部と、
    探索領域内において、移動体の現在位置から障害物に遮られずに見通すことができる視野角内の前記障害物より遠い位置に1又は複数の仮目標点を設定する仮目標点設定部と、
    前記仮目標点のうち、前記直前経路が向かう方向に最も近いものを実目標点として選択する実目標点選択部と、
    現在位置と実目標点を結ぶ線上に間隔を隔てた複数の探索点を順に設定し、互いに間隔を隔てて前記探索点を通る直線上に位置し、障害物までの最短距離が最大又は第1閾値以上となる複数の更新点を設定し、各更新点の位置を結ぶ経路を現在位置から前記実目標点までの新経路として生成する新経路生成部と、を有する、ことを特徴とする移動体の経路計画装置。
JP2014109717A 2014-05-28 2014-05-28 移動体の経路計画方法と装置 Active JP6399436B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014109717A JP6399436B2 (ja) 2014-05-28 2014-05-28 移動体の経路計画方法と装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014109717A JP6399436B2 (ja) 2014-05-28 2014-05-28 移動体の経路計画方法と装置

Publications (2)

Publication Number Publication Date
JP2015225490A JP2015225490A (ja) 2015-12-14
JP6399436B2 true JP6399436B2 (ja) 2018-10-03

Family

ID=54842189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014109717A Active JP6399436B2 (ja) 2014-05-28 2014-05-28 移動体の経路計画方法と装置

Country Status (1)

Country Link
JP (1) JP6399436B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6927090B2 (ja) * 2018-03-05 2021-08-25 トヨタ自動車株式会社 経路生成装置
JP7180219B2 (ja) * 2018-09-10 2022-11-30 株式会社豊田自動織機 自律走行体
JP7180449B2 (ja) * 2019-02-28 2022-11-30 株式会社豊田自動織機 自律走行体
US11813753B2 (en) * 2020-02-19 2023-11-14 Fanuc Corporation Collision avoidance motion planning method for industrial robot
CN113320543B (zh) * 2021-06-29 2024-03-22 东软睿驰汽车技术(沈阳)有限公司 行车方法、装置、车辆及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844247B2 (ja) * 2003-07-28 2006-11-08 松下電工株式会社 自律移動のための経路生成装置及び該装置を用いた自律移動装置
JP5666322B2 (ja) * 2010-01-20 2015-02-12 株式会社Ihiエアロスペース 経路生成装置と方法および経路生成装置を備える移動装置

Also Published As

Publication number Publication date
JP2015225490A (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
US11845473B2 (en) Autonomous driving apparatus including a driving state switcher
JP6448118B2 (ja) 移動体の経路計画方法と装置
US9849832B2 (en) Information presentation system
US9914458B2 (en) Control system of automated driving vehicle
EP3088280B1 (en) Autonomous driving vehicle system
JP6399436B2 (ja) 移動体の経路計画方法と装置
JP4451858B2 (ja) 無人車両
US10789845B2 (en) Parking assistance method and parking assistance device
US9896098B2 (en) Vehicle travel control device
JP4682973B2 (ja) 移動経路作成方法、自律移動体および自律移動体制御システム
JP5498178B2 (ja) 無人移動体の制御方法及び無人移動体
JP6104715B2 (ja) 経路生成方法と装置
JP5382770B2 (ja) 無人移動体システム
JP5366711B2 (ja) 半自律型車両の遠隔操縦システム
JP6450413B2 (ja) 車両制御装置
JP5187757B2 (ja) 無人移動体システム
EP4049916A1 (en) Vehicle control method, vehicle control system, and vehicle
JP2017151499A (ja) 障害物回避方法および装置
JP4467533B2 (ja) 折線追従移動ロボットおよび折線追従移動ロボットの制御方法
JP2012153324A (ja) 軌道算出装置
JP2014016858A (ja) 無人移動体システム
JPH10230862A (ja) 車両用駐車補助装置
JPWO2016163035A1 (ja) 移動筐体制御インタフェース
JP2018045273A (ja) 表示装置
JP5969903B2 (ja) 無人移動体の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180824

R150 Certificate of patent or registration of utility model

Ref document number: 6399436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250