KR20190104304A - 점군을 포함하는 라이다 지도 생성 방법 - Google Patents
점군을 포함하는 라이다 지도 생성 방법 Download PDFInfo
- Publication number
- KR20190104304A KR20190104304A KR1020190108743A KR20190108743A KR20190104304A KR 20190104304 A KR20190104304 A KR 20190104304A KR 1020190108743 A KR1020190108743 A KR 1020190108743A KR 20190108743 A KR20190108743 A KR 20190108743A KR 20190104304 A KR20190104304 A KR 20190104304A
- Authority
- KR
- South Korea
- Prior art keywords
- point
- point group
- map
- trajectory
- group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 33
- 230000001133 acceleration Effects 0.000 description 19
- 238000013507 mapping Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/006—Theoretical aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Navigation (AREA)
Abstract
Description
도 2는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 도면이다.
도 3은 한 주기 내에서 라이다가 이동하는 경우에 발생할 수 있는 왜곡을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서 사용될 수 있는 궤적 추정 과정을 설명하기 위한 의사 코드이다.
도 5a는 본 발명의 일 실시예에서 사용될 수 있는 지면 제거 과정을 설명하기 위한 도면이다.
도 5b는 본 발명의 일 실시예에서 사용될 수 있는 군집화 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에서 사용될 수 있는 세그먼트 기반 맵핑 과정을 설명하기 위한 의사 코드이다.
도 7a 내지 도 8b는 본 발명의 일 실시예에 따른 지도 생성 방법의 성능을 종래의 방법과 비교 설명하기 위한 도면이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 지도 생성 장치를 설명하기 위한 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 지도 생성 방법을 설명하기 위한 순서도이다.
Claims (4)
- 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
상기 궤적(Odometry)을 추정하는 단계는,
상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
[수학식 9]
여기서, 는 상기 궤적의 회전 행렬이고,는 상기 궤적의 이동 행렬이며,
상기 점군 지도를 생성하는 단계는,
상기 제2 점군에서 지면에 해당하는 점군은 제거하는 단계를 포함하는,
점군을 포함하는 라이다 지도 생성 방법 - 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
상기 궤적(Odometry)을 추정하는 단계는,
상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
[수학식 9]
여기서, 는 상기 궤적의 회전 행렬이고,는 상기 궤적의 이동 행렬이며,
상기 점군 지도를 생성하는 단계는,
상기 제2 지점으로부터 기 설정된 반경 이내에 해당하는 점은 유클리디안 거리 기반의 클러스터링을 수행하여 군집화 하는 단계를 포함하는,
점군을 포함하는 라이다 지도 생성 방법.
- 지도 생성 장치가, 제1 지점에서 측정한 제1 점군의 특징과 제2 지점에서 측정한 제2 점군의 특징을 비교하여, 상기 제1 지점으로부터 상기 제2 지점까지의 이동 경로인 궤적(Odometry)을 추정하는 단계;
상기 지도 생성 장치가, 상기 제1 점군과 동일한 좌표계를 갖도록 상기 궤적에 기초하여 상기 제2 점군을 위치 변환 및 회전 변환하는 단계; 및
상기 지도 생성 장치가, 상기 제1 점군의 군집화된 객체의 특징과 상기 제2 점군의 군집화된 객체의 특징을 비교하여, 상기 제2 점군을 상기 제1 점군에 누적하여 점군 지도를 생성하는 단계를 포함하는,
상기 궤적(Odometry)을 추정하는 단계는,
상기 제2 점군에 속한 모든 점에 대해서 곡률을 계산하고, 기 설정된 임계치와 비교하여 모서리에 속하는 점과 평면에 속하는 점으로 분류하는 단계; 및
상기 제2 점군에 속한 점 중에서 모서리에 속하는 점은 상기 제1 점군의 선에 투영시키고, 상기 제2 점군에 속한 점 중에서 평면에 속하는 점은 상기 제1 점군의 평면에 투영시켜서, 다음의 수학식 9를 생성하는 단계를 포함하는,
[수학식 9]
여기서, 는 상기 궤적의 회전 행렬이고,는 상기 궤적의 이동 행렬이며,
상기 점군 지도를 생성하는 단계는,
상기 제1 점군의 군집과 상기 제2 점군의 군집을 매칭한 쌍들에 대해 RANSAC를 적용하여 이상치를 제거하고, 가장 많은 매칭 쌍에 의해 지지되는 변환 행렬을 구하는 단계를 포함하는,
점군을 포함하는 라이다 지도 생성 방법.
- 제3항에 있어서,
상기 변환 행렬을 구하는 단계는,
상기 변환 행렬을 이용하여 상기 제2 점군을 변환하고, 상기 변환된 제2 점군을 상기 제1 점군에 누적하는 단계를 포함하는,
점군을 포함하는 라이다 지도 생성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190108743A KR102083911B1 (ko) | 2019-09-03 | 2019-09-03 | 점군을 포함하는 라이다 지도 생성 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190108743A KR102083911B1 (ko) | 2019-09-03 | 2019-09-03 | 점군을 포함하는 라이다 지도 생성 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170163759A Division KR102063534B1 (ko) | 2017-11-30 | 2017-11-30 | 라이다를 이용한 지도 생성 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190104304A true KR20190104304A (ko) | 2019-09-09 |
KR102083911B1 KR102083911B1 (ko) | 2020-03-04 |
Family
ID=67951626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190108743A KR102083911B1 (ko) | 2019-09-03 | 2019-09-03 | 점군을 포함하는 라이다 지도 생성 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102083911B1 (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111323031A (zh) * | 2019-11-25 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种偏航识别方法、装置、电子设备及存储介质 |
CN111708048A (zh) * | 2020-08-19 | 2020-09-25 | 深圳市速腾聚创科技有限公司 | 点云的运动补偿方法、装置和系统 |
CN112765709A (zh) * | 2021-01-15 | 2021-05-07 | 北京房江湖科技有限公司 | 基于点云数据的户型图重建方法及装置 |
KR102334177B1 (ko) * | 2020-07-21 | 2021-12-03 | 대한민국 | 실내대피를 위한 3차원 실내지도 구축 방법 및 시스템 |
WO2022073172A1 (zh) * | 2020-10-09 | 2022-04-14 | 浙江大学 | 一种基于点线特征的机器人全局最优视觉定位方法及装置 |
KR20220081776A (ko) * | 2020-12-09 | 2022-06-16 | 주식회사 맵퍼스 | 점군 정합 방법 및 점군 정합 장치 |
US11592559B2 (en) | 2020-02-24 | 2023-02-28 | Ford Global Technologies, Llc | Vehicle sensor fusion |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120099952A (ko) * | 2011-03-02 | 2012-09-12 | 한국과학기술원 | 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 |
KR20140102108A (ko) * | 2013-02-13 | 2014-08-21 | (주)다인디지컬처 | 3차원 실내공간 정보 구축을 위한 라이다 데이터 모델링 방법 및 시스템 |
JP2016009246A (ja) * | 2014-06-23 | 2016-01-18 | 株式会社Ihiエアロスペース | 環境地図生成制御装置、移動体、及び環境地図生成方法 |
JP2016045150A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
JP2016057108A (ja) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
KR20160057755A (ko) * | 2014-11-14 | 2016-05-24 | 재단법인대구경북과학기술원 | 지도 기반 측위 시스템 및 그 방법 |
KR20160121452A (ko) * | 2015-04-10 | 2016-10-19 | 주식회사 소프트그래피 | 철도 시설물 정보 생성 시스템 및 방법 |
JP2017500595A (ja) * | 2013-10-31 | 2017-01-05 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 正確な車線レベル地図の生成方法 |
KR20170008505A (ko) * | 2015-07-14 | 2017-01-24 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
KR20170083662A (ko) * | 2016-01-08 | 2017-07-19 | 서울대학교산학협력단 | 센서 오차에 강건한 지도 작성 장치 |
-
2019
- 2019-09-03 KR KR1020190108743A patent/KR102083911B1/ko active IP Right Grant
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120099952A (ko) * | 2011-03-02 | 2012-09-12 | 한국과학기술원 | 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 |
KR20140102108A (ko) * | 2013-02-13 | 2014-08-21 | (주)다인디지컬처 | 3차원 실내공간 정보 구축을 위한 라이다 데이터 모델링 방법 및 시스템 |
JP2017500595A (ja) * | 2013-10-31 | 2017-01-05 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 正確な車線レベル地図の生成方法 |
JP2016009246A (ja) * | 2014-06-23 | 2016-01-18 | 株式会社Ihiエアロスペース | 環境地図生成制御装置、移動体、及び環境地図生成方法 |
JP2016045150A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
JP2016057108A (ja) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
KR20160057755A (ko) * | 2014-11-14 | 2016-05-24 | 재단법인대구경북과학기술원 | 지도 기반 측위 시스템 및 그 방법 |
KR20160121452A (ko) * | 2015-04-10 | 2016-10-19 | 주식회사 소프트그래피 | 철도 시설물 정보 생성 시스템 및 방법 |
KR20170008505A (ko) * | 2015-07-14 | 2017-01-24 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
KR20170083662A (ko) * | 2016-01-08 | 2017-07-19 | 서울대학교산학협력단 | 센서 오차에 강건한 지도 작성 장치 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111323031A (zh) * | 2019-11-25 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种偏航识别方法、装置、电子设备及存储介质 |
US11592559B2 (en) | 2020-02-24 | 2023-02-28 | Ford Global Technologies, Llc | Vehicle sensor fusion |
KR102334177B1 (ko) * | 2020-07-21 | 2021-12-03 | 대한민국 | 실내대피를 위한 3차원 실내지도 구축 방법 및 시스템 |
CN111708048A (zh) * | 2020-08-19 | 2020-09-25 | 深圳市速腾聚创科技有限公司 | 点云的运动补偿方法、装置和系统 |
WO2022073172A1 (zh) * | 2020-10-09 | 2022-04-14 | 浙江大学 | 一种基于点线特征的机器人全局最优视觉定位方法及装置 |
US11964401B2 (en) | 2020-10-09 | 2024-04-23 | Zhejiang University | Robot globally optimal visual positioning method and device based on point-line features |
KR20220081776A (ko) * | 2020-12-09 | 2022-06-16 | 주식회사 맵퍼스 | 점군 정합 방법 및 점군 정합 장치 |
CN112765709A (zh) * | 2021-01-15 | 2021-05-07 | 北京房江湖科技有限公司 | 基于点云数据的户型图重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102083911B1 (ko) | 2020-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102063534B1 (ko) | 라이다를 이용한 지도 생성 방법 | |
KR102083911B1 (ko) | 점군을 포함하는 라이다 지도 생성 방법 | |
WO2023000294A1 (zh) | 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质 | |
CN114526745B (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
US20200124421A1 (en) | Method and apparatus for estimating position | |
CN104236548B (zh) | 一种微型无人机室内自主导航方法 | |
KR102627453B1 (ko) | 위치 추정 장치 및 방법 | |
KR101711964B1 (ko) | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 | |
AU2024205221A1 (en) | Method of and apparatus for analyzing images | |
EP3451296A1 (en) | Multidimensional evidence grids and system and methods for applying same | |
Zhang et al. | Vision-aided localization for ground robots | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN113741503B (zh) | 一种自主定位式无人机及其室内路径自主规划方法 | |
JP2019504418A (ja) | 移動物体の位置を判定するための方法およびシステム | |
KR102125538B1 (ko) | 자율 주행을 위한 효율적인 맵 매칭 방법 및 그 장치 | |
KR102387679B1 (ko) | 지오아크를 이용한 3차원 운송수단 국소화 | |
KR102083913B1 (ko) | 라이다를 이용한 지도 생성 장치 | |
US20250029332A1 (en) | Building modeling method using aerial lidar and computer program recorded on recording medium to execute the same | |
Shetty | GPS-LiDAR sensor fusion aided by 3D city models for UAVs | |
CN118089704B (zh) | 一种基于自适应特征提取的slam方法及装置 | |
KR20220084910A (ko) | 벡터 맵을 이용한 이동체의 맵 매칭 위치 추정 방법 | |
Zhou et al. | Localization for unmanned vehicle | |
Wei | Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework | |
Andert et al. | Radar-aided optical navigation for long and large-scale flights over unknown and non-flat terrain | |
Roger-Verdeguer et al. | Visual odometry with failure detection for the aegis UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20190903 Patent event code: PA01071R01D Filing date: 20171130 Application number text: 1020170163759 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190916 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200217 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200226 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20200227 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20240314 Start annual number: 5 End annual number: 5 |