JP6669059B2 - 位置算出装置 - Google Patents
位置算出装置 Download PDFInfo
- Publication number
- JP6669059B2 JP6669059B2 JP2016252970A JP2016252970A JP6669059B2 JP 6669059 B2 JP6669059 B2 JP 6669059B2 JP 2016252970 A JP2016252970 A JP 2016252970A JP 2016252970 A JP2016252970 A JP 2016252970A JP 6669059 B2 JP6669059 B2 JP 6669059B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- map
- correlation
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 65
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 33
- 240000004050 Pentaglottis sempervirens Species 0.000 description 18
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
Description
実施形態に係る位置算出装置の構成について、図1を参照して説明する。図1は、実施形態に係る位置算出装置の構成を示すブロック図である。
上述の如く構成された位置算出装置10によれば、地図情報と俯瞰画像とが照合されることにより、車両1の位置を比較的高精度に求めることができる。つまり、当該位置算出装置10では、地図上の位置(例えば緯度、経度)に基づいて、車両1の位置が比較的高精度に求められる。
俯瞰画像生成装置15は、生成された俯瞰画像を示す信号を中央演算装置11に送信する。
H(u)=F(u)G(u)/[|F(u)||G(u)|]^α
と表せる。画像測位装置16は、相関分布H(u)により示される相関画像(即ち、相関分布H(u)を逆フーリエ変換することによりえられる実領域での画像)において相関値が最大となる位置を求めることにより、地図上の車両1の位置及び向きを求める。
当該位置算出装置10によれば、地図情報(本実施例では、擬似路面画像)と、車両1の周辺を撮像した画像に基づく俯瞰画像とが照合されることにより求められる地図上の車両1の位置及び向きから、車両1の位置及び向きが求められる。このため、車両1の位置及び向きを比較的高精度に求めることができる。当該位置算出装置10により求められた車両1の位置及び向きを、例えば運転支援システムや自動運転システム等で採用すれば、これらのシステムの制御精度の向上を図ることができる。
上述の実施形態では、路面画像撮像装置14が備えるカメラにより撮像された画像から俯瞰画像が生成されている。しかしながら、路面画像撮像装置14に代えて、例えばLIDAR(Laser Imaging Detection and Ranging)により、車両1の周辺環境を示す画像を取得し、該取得された画像に基づいて俯瞰画像が生成されてもよい。
Claims (6)
- 自車両の位置を取得する取得手段と、
地図情報を格納する格納手段と、
前記自車両の周辺の構造物を含む周辺環境を検出する検出手段と、
前記取得された位置及び前記地図情報に基づいて、前記自車両の周辺の地図を抽出して、前記抽出された地図と前記検出された周辺環境に基づく周辺画像とを比較して、前記抽出された地図上の前記自車両の位置及び向きを算出する算出手段と、
前記算出された位置及び前記算出された向きに基づいて、前記抽出された地図を、前記周辺画像に重畳して表示する表示手段と、
前記自車両のユーザの補正指示を入力可能な入力手段と、
前記入力手段を介して前記補正指示が入力された場合、前記入力された補正指示を参照して、前記算出された位置及び前記算出された向きを補正する補正手段と、
を備え、
前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、
前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、探索範囲を設定し、前記設定された探索範囲に基づいて、前記算出された位置及び前記算出された向きを補正する
ことを特徴とする位置算出装置。 - 前記算出手段は、前記抽出された地図と前記周辺画像との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出することを特徴とする請求項1に記載の位置算出装置。
- 前記算出手段は、前記抽出された地図に基づく画像及び前記周辺画像各々に所定の周波数解析を施すことにより得られる、前記抽出された地図と前記周辺画像との相関関係としての、相関値の分布を示す相関画像に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出し、
前記補正指示は、前記表示手段により重畳して表示された前記抽出された地図と前記周辺画像との位置ずれを補正するための指示を含み、
前記補正手段は、前記入力された補正指示に含まれる位置ずれを補正するための指示に基づいて、前記相関画像上の探索範囲を設定し、前記設定された探索範囲における前記相関値に基づいて、前記算出された位置及び前記算出された向きを補正する
ことを特徴とする請求項1又は2に記載の位置算出装置。 - 前記検出手段は、前記自車両の周辺を撮像するカメラを有し、
前記検出手段は、前記カメラにより前記自車両の周辺を撮像することにより、前記周辺環境を検出し、
前記算出手段は、前記カメラにより撮像された画像から前記自車両の周辺の俯瞰画像を、前記周辺画像として、生成し、前記生成された俯瞰画像と前記抽出された地図との相関関係に基づいて、前記抽出された地図上の前記自車両の位置及び向きを算出する
ことを特徴とする請求項1乃至3のいずれか一項に記載の位置算出装置。 - 前記地図情報は、車線を示す線データを含み、
前記表示手段は、前記抽出された地図として、前記自車両の周辺の車線を示す線データを、前記周辺画像に重畳して表示する
ことを特徴とする請求項1乃至4のいずれか一項に記載の位置算出装置。 - 前記地図情報は、道路標示及び標識を示すデータを含み、
前記表示手段は、前記抽出された地図として、前記自車両の周辺の道路標示及び標識の少なくとも一方を示すデータを、前記周辺画像に重畳して表示する
ことを特徴とする請求項1乃至5のいずれか一項に記載の位置算出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252970A JP6669059B2 (ja) | 2016-12-27 | 2016-12-27 | 位置算出装置 |
DE102017125356.4A DE102017125356B4 (de) | 2016-12-27 | 2017-10-30 | Positionsberechnungsvorrichtung |
US15/799,226 US10731996B2 (en) | 2016-12-27 | 2017-10-31 | Position calculating apparatus |
US16/912,117 US11519738B2 (en) | 2016-12-27 | 2020-06-25 | Position calculating apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252970A JP6669059B2 (ja) | 2016-12-27 | 2016-12-27 | 位置算出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018105742A JP2018105742A (ja) | 2018-07-05 |
JP6669059B2 true JP6669059B2 (ja) | 2020-03-18 |
Family
ID=62510348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016252970A Active JP6669059B2 (ja) | 2016-12-27 | 2016-12-27 | 位置算出装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10731996B2 (ja) |
JP (1) | JP6669059B2 (ja) |
DE (1) | DE102017125356B4 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6669059B2 (ja) | 2016-12-27 | 2020-03-18 | トヨタ自動車株式会社 | 位置算出装置 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
EP3825650A1 (en) * | 2018-04-03 | 2021-05-26 | Mobileye Vision Technologies Ltd. | Systems and methods for determining navigational parameters |
JP7131131B2 (ja) * | 2018-06-29 | 2022-09-06 | マツダ株式会社 | 車両用ライン検出装置および該方法 |
KR102682524B1 (ko) * | 2018-09-11 | 2024-07-08 | 삼성전자주식회사 | 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치 |
US11408739B2 (en) | 2019-05-16 | 2022-08-09 | International Business Machines Corporation | Location correction utilizing vehicle communication networks |
JP7176478B2 (ja) | 2019-06-14 | 2022-11-22 | トヨタ自動車株式会社 | 画像認識装置 |
JP7524809B2 (ja) * | 2021-03-26 | 2024-07-30 | トヨタ自動車株式会社 | 走行道路特定装置、走行道路特定方法及び走行道路特定用コンピュータプログラム |
JP2023082783A (ja) | 2021-12-03 | 2023-06-15 | トヨタ自動車株式会社 | 車載通知装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000074679A (ja) | 1998-09-01 | 2000-03-14 | Toyota Motor Corp | ナビゲーション装置および自車位置補正方法 |
JP4277717B2 (ja) * | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | 車両位置推定装置およびこれを用いた運転支援装置 |
JP2005326168A (ja) | 2004-05-12 | 2005-11-24 | Fuji Photo Film Co Ltd | 運転支援システム、車両、および運転支援方法 |
JP4377284B2 (ja) * | 2004-06-02 | 2009-12-02 | 株式会社ザナヴィ・インフォマティクス | 車載ナビゲーション装置 |
JP5181766B2 (ja) | 2008-03-25 | 2013-04-10 | マツダ株式会社 | 車両の運転支援装置 |
JP6225889B2 (ja) * | 2014-11-19 | 2017-11-08 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
JP6313198B2 (ja) | 2014-11-28 | 2018-04-18 | 株式会社デンソー | 車両制御装置 |
JP6363518B2 (ja) | 2015-01-21 | 2018-07-25 | 株式会社デンソー | 区画線認識装置 |
JP6363517B2 (ja) | 2015-01-21 | 2018-07-25 | 株式会社デンソー | 車両の走行制御装置 |
JP6440539B2 (ja) * | 2015-03-13 | 2018-12-19 | 三菱電機株式会社 | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 |
JP6358160B2 (ja) | 2015-04-17 | 2018-07-18 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
JP6380422B2 (ja) | 2016-02-05 | 2018-08-29 | トヨタ自動車株式会社 | 自動運転システム |
US9672734B1 (en) * | 2016-04-08 | 2017-06-06 | Sivalogeswaran Ratnasingam | Traffic aware lane determination for human driver and autonomous vehicle driving system |
KR101866728B1 (ko) * | 2016-04-25 | 2018-06-15 | 현대자동차주식회사 | 네비게이션 장치, 차량 및 차량의 제어방법 |
US10072328B2 (en) | 2016-05-24 | 2018-09-11 | Emagin Corporation | High-precision shadow-mask-deposition system and method therefor |
JP6776717B2 (ja) | 2016-08-12 | 2020-10-28 | トヨタ自動車株式会社 | 道路区画線検出装置 |
US10641612B2 (en) * | 2016-12-19 | 2020-05-05 | Alpine Electronics, Inc. | Method and apparatus for correcting current position in navigation system via human-machine interface |
JP6669059B2 (ja) | 2016-12-27 | 2020-03-18 | トヨタ自動車株式会社 | 位置算出装置 |
JP6805105B2 (ja) | 2017-09-28 | 2020-12-23 | 株式会社デンソー | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 |
JP7111454B2 (ja) | 2017-09-28 | 2022-08-02 | 株式会社デンソー | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 |
JP6996353B2 (ja) | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | 物体認識装置及び車両走行制御システム |
-
2016
- 2016-12-27 JP JP2016252970A patent/JP6669059B2/ja active Active
-
2017
- 2017-10-30 DE DE102017125356.4A patent/DE102017125356B4/de active Active
- 2017-10-31 US US15/799,226 patent/US10731996B2/en active Active
-
2020
- 2020-06-25 US US16/912,117 patent/US11519738B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200326191A1 (en) | 2020-10-15 |
US11519738B2 (en) | 2022-12-06 |
DE102017125356A1 (de) | 2018-06-28 |
US20180180422A1 (en) | 2018-06-28 |
DE102017125356B4 (de) | 2024-09-12 |
US10731996B2 (en) | 2020-08-04 |
JP2018105742A (ja) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6669059B2 (ja) | 位置算出装置 | |
JP5747787B2 (ja) | 車線認識装置 | |
Rose et al. | An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS | |
KR100873474B1 (ko) | 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법 | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
JP5968064B2 (ja) | 走行レーン認識装置および走行レーン認識方法 | |
CN112074885A (zh) | 车道标志定位 | |
KR20220033477A (ko) | 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법 | |
JP6252252B2 (ja) | 自動運転装置 | |
JP5501101B2 (ja) | 位置標定装置、位置標定方法および位置標定プログラム | |
JP2009250718A (ja) | 車両位置検出装置及び車両位置検出方法 | |
JP2018040693A (ja) | 運転支援装置、運転支援方法 | |
JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
JP2018048949A (ja) | 物体識別装置 | |
JP2007278813A (ja) | 車両位置測位装置 | |
KR20200119092A (ko) | 차량 및 차량의 위치 검출 방법 | |
JP4848931B2 (ja) | 角速度センサの信号補正装置 | |
KR20180137904A (ko) | 차량 주행 정보의 보정 장치 및 방법 | |
JP7234840B2 (ja) | 位置推定装置 | |
CN115917255A (zh) | 基于视觉的位置和转弯标记预测 | |
JP5549468B2 (ja) | 地物位置取得装置、方法およびプログラム | |
EP3835724B1 (en) | Self-location estimation method and self-location estimation device | |
US20230373535A1 (en) | Vehicle controller, method, and computer program for controlling vehicle | |
US11636693B2 (en) | Robust lane-boundary association for road map generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6669059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |