JP6501602B2 - レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 - Google Patents
レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 Download PDFInfo
- Publication number
- JP6501602B2 JP6501602B2 JP2015088419A JP2015088419A JP6501602B2 JP 6501602 B2 JP6501602 B2 JP 6501602B2 JP 2015088419 A JP2015088419 A JP 2015088419A JP 2015088419 A JP2015088419 A JP 2015088419A JP 6501602 B2 JP6501602 B2 JP 6501602B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- current
- curve
- point
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Description
ステップS1にて、ECU20は、所定時間である基準フレーム時間(規定時間ともいう。)ΔT[s]毎に、つまり、カメラ16による車両前方の画像の撮像毎(フレーム毎)に、撮像された画像(多値画像であるグレースケール画像)を画像メモリ42に取り込む(記憶する)。
dist<−D、又は dist>Dの場合、wd=0 …(1)
−D≦dist≦Dの場合、wd={1−(dist/D)2}2 …(2)
カーブ開始点を推定する際、まず、カーブ開始点候補点を検出する。
Ypt・t−1=−V×ΔT …(3)
Ypt.t−2=−V×2ΔT …(4)
なお、この場合においても、過去時点t−2の情報は、過去時点t−1で既に座標変換されているので、それを使用すれば、(4)式は、次の(5)式に置換できる。
Ypt.t−2=(Ypt・t−1)−V×ΔT …(5)
ステップS7にて、カーブ開始点Ct*を推定し決定したとき、カーブ開始点推定部38は、運転アシスト部40に対して、現時点tの原点位置O(車両10の位置)からカーブ開始点Ct*までの距離Yc[m]を供給すると共に、近似二次曲線のデータを供給する。
以上説明したように、上述した実施形態に係るレーン検出装置11は、撮像装置としてのカメラ16と、レーン検出部30と、レーンメモリ44(記憶部)と、走行情報検出部としての速度センサ22及びヨーレートセンサ24と、レーン推定部34と、を備える。
カメラ16は、路面を含む車両10の前方を撮像する。レーン検出部30は、カメラ16により撮像され画像メモリ42(記憶部)に記憶された画像から前記路面に形成されているレーンマークを検出し、検出した前記レーンマークからレーンを検出する。レーンメモリ44は、レーン検出部30により検出された現時点tのレーンLtと、現時点tより規定時間ΔT、2ΔT前にレーン検出部30により検出された過去時点t−1、t−2のレーンLt−1、Lt−2(図3、図6A:特徴点の点列)と、を記憶する。速度センサ22及びヨーレートセンサ24は、レーンLt、レーンLt−1、Lt−2を検出したときの車両10の車速vとヨーレートyr(走行情報)をそれぞれ検出する。レーン推定部34は、過去時点t−1、t−2のレーンLt−1、Lt−2を現時点tの走行情報(車速v及びヨーレートyr)に基づいて座標変換した座標変換後の過去時点のレーンLt−1´、Lt−2´と、現時点tのレーンLt(図6B、Lt、Lt−1´、Lt−2´参照)と、に基づき、現時点tのより確かなレーンLt*(図7右下の図参照)を二次曲線近似手法により推定する。
12…カーブ開始点検出装置 13…操舵アシスト装置
14…運転アシスト装置 16…カメラ(撮像装置)
20…ECU 22…速度センサ
24…ヨーレートセンサ 30…レーン検出部
32…走行情報検出部 34…レーン推定部
36…カーブ開始点検出部 38…カーブ開始点推定部
40…運転アシスト部 42…画像メモリ
44…レーンメモリ 46…走行情報メモリ
50…操舵装置 52…制動装置
54…加速装置
Claims (8)
- 路面を含む車両の前方を撮像する撮像装置と、
前記撮像装置により撮像された画像から前記路面に形成されているレーンマークを検出し、検出した前記レーンマークからレーンを検出するレーン検出部と、
前記レーン検出部により検出された現時点のレーンと、前記現時点より規定時間前に前記レーン検出部により検出された過去時点のレーンと、を記憶するレーン記憶部と、
前記レーンを検出したときの前記車両の走行情報を検出する走行情報検出部と、
前記過去時点のレーンを前記現時点の前記走行情報に基づいて座標変換した座標変換後の過去時点のレーンと、前記現時点のレーンと、に基づき、現時点のより確かなレーンを曲線近似により推定するレーン推定部と、
を備えるレーン検出装置であって、
前記現時点の前記走行情報は、前記現時点の車速及びヨーレート若しくは舵角であり、
前記レーン推定部は、
前記現時点のレーンと、座標変換後の前記過去時点のレーンと、を重ね合わせて前記現時点のより確かなレーンを推定する際、原則として、座標変換後の前記過去時点のレーンの重み係数を、前記現時点のレーンの重み係数よりも小さくして重ね合わせ、例外として、前記現時点のレーン中に欠けがある場合、座標変換後の前記過去時点のレーン中、欠けがある前記現時点のレーンに対応する位置にあるレーンの重み係数を小さくしないで、前記現時点のレーンの重み係数を用いて重ね合わる
ことを特徴とするレーン検出装置。 - 請求項1に記載のレーン検出装置を有するカーブ開始点検出装置であって、
前記レーン推定部で推定された前記現時点のより確かなレーンは、自車位置から前方に延びる近似曲線のレーンであり、
さらに、
前記自車位置から後方に延びる過去時点のレーンを現時点の前記走行情報に基づいて座標変換した座標変換後の前記自車位置から後方に延びる過去時点のレーンと、前記自車位置から後方に延びる現時点のレーンとに基づき、前記自車位置から後方に延びる現時点のより確かなレーンを直線近似により推定する自車後方直線レーン推定部と、
前記自車位置から前方に延びる前記近似曲線のレーンに、前記自車位置から後方に延びる現時点のより確かな近似直線レーンを重ね合わせ、前記近似直線レーンを前記自車位置から前方に延長した直線と、前記近似曲線のレーンとの間の車幅方向の距離が閾値距離以上となった点を現時点のカーブ開始点候補点に検出すると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点を検出し、前記現時点で検出した前記カーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義したガウス分布関数の最大値を合わせると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義した前記ガウス分布関数の最大値を合わせ、各前記ガウス分布関数を足し合わせた合成分布関数の最大値の位置を、より確かなカーブ開始点として推定するカーブ開始点推定部と、
を備えることを特徴とするカーブ開始点検出装置。 - 請求項1に記載のレーン検出装置を有するカーブ開始点検出装置であって、
前記レーン推定部で推定された前記現時点のより確かなレーンは、自車位置から前方に延びる近似曲線のレーンであり、
さらに、
前記自車位置から後方に延びる過去時点のレーンを現時点の前記走行情報に基づいて座標変換した座標変換後の前記自車位置から後方に延びる過去時点のレーンと、前記自車位置から後方に延びる現時点のレーンとに基づき、前記自車位置から後方に延びる現時点のより確かなレーンを直線近似により推定する自車後方直線レーン推定部と、
前記自車位置から前方に延びる前記近似曲線のレーンに、前記自車位置から後方に延びる現時点のより確かな近似直線レーンを重ね合わせ、前記近似直線レーンを前記自車位置から前方に延長した直線と、前記近似曲線のレーンとの間の車幅方向の距離が閾値距離以上となった点を現時点のカーブ開始点候補点に検出すると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点を検出し、前記現時点で検出した前記カーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義したガウス分布関数の最大値を合わせると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義した他のガウス分布関数の最大値を合わせ、前記他のガウス分布関数の前記最大値は、前記ガウス分布関数の前記最大値よりも小さくされ、前記最大値を有する前記ガウス分布関数及び前記最大値より小さい最大値を有する前記他のガウス分布関数を足し合わせた合成分布関数の最大値の位置を、より確かなカーブ開始点として推定するカーブ開始点推定部と、
を備えることを特徴とするカーブ開始点検出装置。 - 請求項2又は3に記載のカーブ開始点検出装置を有する操舵アシスト装置であって、
さらに、前記車両の操舵アシスト力を生成するアクチュエータを有し、前記カーブ開始点推定部で推定されたより確かな前記カーブ開始点を用いて、前記アクチュエータによる前記車両の操舵アシスト力の付与開始タイミングを決定する
ことを特徴とする操舵アシスト装置。 - 路面を含む車両の前方を撮像する撮像装置により撮像された画像から前記路面に形成されているレーンマークを検出し、検出したレーンマークから前記車両が走行するレーンを検出するレーン検出ステップと、
前記レーン検出ステップにより検出された現時点のレーンと、前記現時点より規定時間前に前記レーン検出ステップで検出された過去時点のレーンと、を記憶するレーン記憶ステップと、
前記レーンを検出したときの前記車両の走行情報を検出する走行情報検出ステップと、
前記過去時点のレーンを前記現時点の前記走行情報に基づいて座標変換した座標変換後の過去時点のレーンと、前記現時点のレーンと、に基づき、現時点のより確かなレーンを曲線近似により推定するレーン推定ステップと、
を備えるレーン検出方法であって、
前記現時点の前記走行情報は、前記現時点の車速及びヨーレート若しくは舵角であり、
前記レーン推定ステップでは、
前記現時点のレーンと、座標変換後の前記過去時点のレーンと、を重ね合わせて前記現時点のより確かなレーンを推定する際、原則として、座標変換後の前記過去時点のレーンの重み係数を、前記現時点のレーンの重み係数よりも小さくして重ね合わせ、例外として、前記現時点のレーンと、座標変換後の前記過去時点のレーンと、を重ね合わせて前記現時点のより確かなレーンを推定する際、前記現時点のレーン中に欠けがある場合、座標変換後の前記過去時点のレーン中、欠けがある前記現時点のレーンに対応する位置にあるレーンの重み係数を小さくしないで、前記現時点のレーンの重み係数を用いて重ね合わせる
ことを特徴とするレーン検出方法。 - 請求項5に記載のレーン検出方法が適用されたカーブ開始点検出方法であって、
前記レーン推定ステップで推定された前記現時点のより確かなレーンは、自車位置から前方に延びる近似曲線のレーンであり、
さらに、
前記自車位置から後方に延びる過去時点のレーンを現時点の前記走行情報に基づいて座標変換した座標変換後の前記自車位置から後方に延びる過去時点のレーンと、前記自車位置から後方に延びる現時点のレーンとに基づき、前記自車位置から後方に延びる現時点のより確かなレーンを直線近似により推定する自車後方直線レーン推定ステップと、
前記自車位置から前方に延びる前記近似曲線のレーンに、前記自車位置から後方に延びる現時点のより確かな近似直線レーンを重ね合わせ、前記近似直線レーンを前記自車位置から前方に延長した直線と、前記近似曲線のレーンとの間の車幅方向の距離が閾値距離以上となった点を現時点のカーブ開始点候補点に検出すると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点を検出し、前記現時点で検出した前記カーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義したガウス分布関数の最大値を合わせると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義した前記ガウス分布関数の最大値を合わせ、各前記ガウス分布関数を足し合わせた合成分布関数の最大値の位置を、より確かなカーブ開始点として推定するカーブ開始点推定ステップと、
を備えることを特徴とするカーブ開始点検出方法。 - 請求項5に記載のレーン検出方法が適用されたカーブ開始点検出方法であって、
前記レーン推定ステップで推定された前記現時点のより確かなレーンは、自車位置から前方に延びる近似曲線のレーンであり、
さらに、
前記自車位置から後方に延びる過去時点のレーンを現時点の前記走行情報に基づいて座標変換した座標変換後の前記自車位置から後方に延びる過去時点のレーンと、前記自車位置から後方に延びる現時点のレーンとに基づき、前記自車位置から後方に延びる現時点のより確かなレーンを直線近似により推定する自車後方直線レーン推定ステップと、
前記自車位置から前方に延びる前記近似曲線のレーンに、前記自車位置から後方に延びる現時点のより確かな近似直線レーンを重ね合わせ、前記近似直線レーンを前記自車位置から前方に延長した直線と、前記近似曲線のレーンとの間の車幅方向の距離が閾値距離以上となった点を現時点のカーブ開始点候補点に検出すると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点を検出し、前記現時点で検出した前記カーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義したガウス分布関数の最大値を合わせると共に、前記過去時点のレーン中の前記座標変換後のカーブ開始点候補点に対し、前記自車位置から前方に延長した前記直線の方向に沿って定義した他のガウス分布関数の最大値を合わせ、前記他のガウス分布関数の前記最大値は、前記ガウス分布関数の前記最大値よりも小さくされ、前記最大値を有する前記ガウス分布関数及び前記最大値より小さい最大値を有する前記他のガウス分布関数を足し合わせた合成分布関数の最大値の位置を、より確かなカーブ開始点として推定するカーブ開始点推定ステップと、
を備えることを特徴とするカーブ開始点検出方法。 - 請求項6又は7に記載のカーブ開始点検出方法が適用された操舵アシスト方法であって、
さらに、より確かな前記カーブ開始点を用いて、前記車両の操舵アシスト力を生成するアクチュエータによる前記車両の操舵アシスト力の付与開始タイミングを決定する操舵アシスト開始タイミング決定ステップを
有することを特徴とする操舵アシスト方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015088419A JP6501602B2 (ja) | 2015-04-23 | 2015-04-23 | レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 |
US15/136,364 US10147003B2 (en) | 2015-04-23 | 2016-04-22 | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015088419A JP6501602B2 (ja) | 2015-04-23 | 2015-04-23 | レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016203814A JP2016203814A (ja) | 2016-12-08 |
JP6501602B2 true JP6501602B2 (ja) | 2019-04-17 |
Family
ID=57146856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015088419A Expired - Fee Related JP6501602B2 (ja) | 2015-04-23 | 2015-04-23 | レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10147003B2 (ja) |
JP (1) | JP6501602B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6413953B2 (ja) * | 2015-06-29 | 2018-10-31 | 株式会社デンソー | 車線逸脱回避システム |
KR102528002B1 (ko) * | 2016-08-17 | 2023-05-02 | 현대모비스 주식회사 | 탑뷰 영상 생성 장치 및 그 방법 |
EP3570262A4 (en) * | 2017-01-10 | 2019-12-18 | Mitsubishi Electric Corporation | VEHICLE DETECTION DEVICE AND METHOD DETECTION METHOD |
US11400927B2 (en) * | 2018-01-29 | 2022-08-02 | Ford Global Technologies, Llc | Collision avoidance and mitigation |
CN109308468B (zh) * | 2018-09-21 | 2021-09-24 | 电子科技大学 | 一种车道线检测方法 |
US10748303B2 (en) * | 2018-10-03 | 2020-08-18 | Gentex Corporation | Rear facing lane detection overlay |
US10933880B2 (en) * | 2019-01-17 | 2021-03-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing lane curvature estimates |
CN111213154A (zh) * | 2019-03-08 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 一种车道线检测方法、设备、移动平台及存储介质 |
DE102019112413A1 (de) * | 2019-05-13 | 2020-11-19 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge |
JP7100608B2 (ja) * | 2019-06-06 | 2022-07-13 | 本田技研工業株式会社 | 車両制御装置、車両、車両制御装置の動作方法およびプログラム |
US11900696B2 (en) * | 2019-08-28 | 2024-02-13 | Toyota Motor Europe | Method and system for processing a plurality of images so as to detect lanes on a road |
CN111391856A (zh) * | 2020-03-31 | 2020-07-10 | 东风汽车集团有限公司 | 汽车自适应巡航的前方弯道检测系统及方法 |
KR102283237B1 (ko) * | 2020-05-29 | 2021-07-29 | 서울대학교산학협력단 | 데이터 주도 기계학습 기반 차량 조향 특성 모델 실시간 규명 장치 및 방법 |
US11618476B2 (en) | 2020-06-05 | 2023-04-04 | Toyota Research Institute, Inc. | Curvilinear coordinate systems for predicting vehicle behavior |
JP2022037779A (ja) * | 2020-08-25 | 2022-03-09 | トヨタ自動車株式会社 | 路上障害物検出装置、路上障害物検出方法およびプログラム |
US11679766B2 (en) * | 2020-11-23 | 2023-06-20 | Fca Us Llc | Techniques for vehicle lane level localization using a high-definition map and perception sensors |
CN113119978A (zh) * | 2021-05-10 | 2021-07-16 | 蔚来汽车科技(安徽)有限公司 | 车道边沿提取方法和装置、自动驾驶系统、车辆以及存储介质 |
CN115123218B (zh) * | 2022-09-02 | 2022-11-22 | 小米汽车科技有限公司 | 车辆的检测方法、装置及其电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4733545B2 (ja) * | 2006-03-27 | 2011-07-27 | 富士重工業株式会社 | 車線認識装置 |
JP4687563B2 (ja) * | 2006-05-23 | 2011-05-25 | 株式会社デンソー | 車両用レーンマーク認識装置 |
JP2009009331A (ja) | 2007-06-27 | 2009-01-15 | Nissan Motor Co Ltd | 白線検出装置および白線検出方法 |
JP5469509B2 (ja) * | 2010-03-31 | 2014-04-16 | パナソニック株式会社 | 車線位置検出装置および車線位置検出方法 |
US9090263B2 (en) * | 2010-07-20 | 2015-07-28 | GM Global Technology Operations LLC | Lane fusion system using forward-view and rear-view cameras |
US8527172B2 (en) * | 2010-10-20 | 2013-09-03 | GM Global Technology Operations LLC | Vehicle collision avoidance and warning system |
JP5673597B2 (ja) | 2011-11-18 | 2015-02-18 | 株式会社デンソー | 車両用挙動制御装置 |
-
2015
- 2015-04-23 JP JP2015088419A patent/JP6501602B2/ja not_active Expired - Fee Related
-
2016
- 2016-04-22 US US15/136,364 patent/US10147003B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016203814A (ja) | 2016-12-08 |
US10147003B2 (en) | 2018-12-04 |
US20160314360A1 (en) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6501602B2 (ja) | レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 | |
US8340866B2 (en) | Vehicle and steering control device for vehicle | |
JP5124875B2 (ja) | 車両走行支援装置、車両、車両走行支援プログラム | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
US9912933B2 (en) | Road surface detection device and road surface detection system | |
JP4433887B2 (ja) | 車両用外界認識装置 | |
US9613280B2 (en) | System and method for front detecting of vehicle | |
US20180137376A1 (en) | State estimating method and apparatus | |
US11024051B2 (en) | Object detection device | |
WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
JP6787157B2 (ja) | 車両制御装置 | |
US20100189306A1 (en) | Lane marker recognition apparatus and lane marker recognition method used by said apparatus | |
JP6693893B2 (ja) | 走路認識装置 | |
JP4744537B2 (ja) | 走行レーン検出装置 | |
JP2018091652A (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム | |
JP6408935B2 (ja) | 走行区画線認識装置 | |
JP5039013B2 (ja) | 車両走行支援装置、車両、車両走行支援プログラム | |
JP6434743B2 (ja) | 走路端部推定装置 | |
KR101738425B1 (ko) | 다차선 검출을 위한 관심 영역 설정 장치 및 방법 | |
JP2019132762A (ja) | 自車位置推定装置 | |
JP5832850B2 (ja) | 車線監視システム及び車線監視方法 | |
US20170124880A1 (en) | Apparatus for recognizing vehicle location | |
JP4768499B2 (ja) | 車載周辺他車検出装置 | |
JP2013183311A (ja) | 車載カメラの姿勢角推定装置及び検出システム | |
JP5823251B2 (ja) | 車線監視システム及び車線監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6501602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |