JP7336223B2 - 自己位置推定方法 - Google Patents
自己位置推定方法 Download PDFInfo
- Publication number
- JP7336223B2 JP7336223B2 JP2019057026A JP2019057026A JP7336223B2 JP 7336223 B2 JP7336223 B2 JP 7336223B2 JP 2019057026 A JP2019057026 A JP 2019057026A JP 2019057026 A JP2019057026 A JP 2019057026A JP 7336223 B2 JP7336223 B2 JP 7336223B2
- Authority
- JP
- Japan
- Prior art keywords
- self
- estimated
- algorithm
- position estimation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 claims description 212
- 238000012937 correction Methods 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 10
- 230000004807 localization Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 description 36
- 230000036544 posture Effects 0.000 description 30
- 239000011159 matrix material Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Optics & Photonics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
前記複数のアルゴリズムは、SLAM(Simultaneous Localization and Mapping)のアルゴリズムである第Aアルゴリズムと、該SLAMと異なるアルゴリズムである第Bアルゴリズムとを含んでおり、
前記第Bアルゴリズムにより得られた前記自己位置の推定値である第B自己位置推定値と、前記特定した自己位置である自己位置特定値とのうちのいずれか一方の自己位置に応じて、前記第Aアルゴリズムにより得られる前記自己位置の推定値である第A自己位置推定値を補正することを間欠的に実行する補正ステップを備えることを基本構成とする。
また、前記基本構成を有する本発明では、前記複数のアルゴリズムのそれぞれ毎に、各アルゴリズムの推定処理により得られる一つ以上の状態量であって、各アルゴリズムにより推定された前記自己位置の確からしさに関連する状態量を学習済のニューラルネットワークに入力し、当該入力された状態量から該ニューラルネットワークにより前記複数のアルゴリズムのそれぞれ毎の重み係数を決定するステップをさらに備えており、
前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、前記決定された重み係数により合成して得られる自己位置を、前記移動体の自己位置特定値として特定することが好ましい(第2発明)。
これによれば、前記複数のアルゴリズムのそれぞれ毎の重み係数を決定するニューラルネットワークは、各アルゴリズム毎に、各アルゴリズムの推定処理(移動体の自己位置を推定する処理)により得られる一つ以上の状態量が入力され、これらの状態量から、各アルゴリズム毎の重み係数を決定する。
この場合、各アルゴリズム毎の状態量は、各アルゴリズムにより推定された移動体の自己位置の確からしさに関連する状態量であるので、各アルゴリズム毎の当該状態量は、該アルゴリズムの推定処理が、移動体の自己位置の信頼性の高い推定値を求める上で、どの程度適切になされたかの度合いを反映したものとなる。
このため、前記ニューラルネットワークの事前学習によって、該ニューラルネットワークは、各アルゴリズムに対応する重み係数が、該アルゴリズムによる自己位置の推定処理を他のアルゴリズムよりも適切に行い得る状況では相対的に高くなり、且つ、該アルゴリズムによる自己位置の推定処理を適切に行うことが他のアルゴリズムよりも困難な状況では相対的に低くなるように、入力される各アルゴリズム毎の状態量の全体に応じて各アルゴリズム毎の重み係数を決定できるようになる。
また、前記ニューラルネットワークにより決定される各アルゴリズム毎の重み係数は、各アルゴリズムにより推定された移動体の自己位置の精度ではなく、各アルゴリズム毎の前記状態量に依存して決定されるものであるので、該重み係数は、移動体の移動環境の場所の影響を受けにくいものとなる。
そして、第2発明によれば、前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、上記の如く決定された重み係数により合成して得られる位置が、前記移動体の自己位置特定値として特定される。
これにより、第2発明によれば、移動体の移動環境の影響を受け難い態様で移動体の自己位置の推定を行うことが可能となる。
第1及び第2自己位置推定処理部11,12の処理が以下に説明する如く実行される。第1自己位置推定処理部11には、LRF6及びオドメトリ用センサ5のそれぞれの検出情報が入力されると共に、移動体1の移動環境のマップデータ(例えば、2次元の占有格子地図等)とが入力される。この場合、マップデータは、自己位置推定処理装置10のメモリにあらかじめ記憶保持され、あるいは、外部のサーバ等から随時、ダウンロードされる。
Claims (4)
- 複数のセンサの検出情報から、該複数のセンサのうちの一つ以上のセンサの検出情報を各々用いる複数のアルゴリズムのそれぞれにより移動体の自己位置を推定し、該複数のアルゴリズムのそれぞれにより得られた前記自己位置の推定値から、前記移動体の自己位置を特定する自己位置推定方法であって、
前記複数のアルゴリズムは、SLAM(Simultaneous Localization and Mapping)のアルゴリズムである第Aアルゴリズムと、該SLAMと異なるアルゴリズムである第Bアルゴリズムとを含んでおり、
前記第Bアルゴリズムにより得られた前記自己位置の推定値である第B自己位置推定値と、前記特定した自己位置である自己位置特定値とのうちのいずれか一方の自己位置に応じて、前記第Aアルゴリズムにより得られる前記自己位置の推定値である第A自己位置推定値を補正することを間欠的に実行する補正ステップを備えており、
前記補正ステップでは、所定期間における前記第B自己位置推定値及び前記自己位置特定値のうちの前記一方の自己位置の時系列と、該所定期間における前記第A自己位置推定値の時系列とに基づいて、前記第A自己位置推定値の時系列により示される軌道を、前記一方の自己位置の時系列により示される軌道に近づけるように前記第A自己位置推定値を補正するためのパラメータを決定し、当該決定したパラメータを用いて前記所定期間以後の前記第A自己位置推定値を補正することを特徴とする自己位置推定方法。 - 複数のセンサの検出情報から、該複数のセンサのうちの一つ以上のセンサの検出情報を各々用いる複数のアルゴリズムのそれぞれにより移動体の自己位置を推定し、該複数のアルゴリズムのそれぞれにより得られた前記自己位置の推定値から、前記移動体の自己位置を特定する自己位置推定方法であって、
前記複数のアルゴリズムは、SLAM(Simultaneous Localization and Mapping)のアルゴリズムである第Aアルゴリズムと、該SLAMと異なるアルゴリズムである第Bアルゴリズムとを含んでおり、
前記第Bアルゴリズムにより得られた前記自己位置の推定値である第B自己位置推定値と、前記特定した自己位置である自己位置特定値とのうちのいずれか一方の自己位置に応じて、前記第Aアルゴリズムにより得られる前記自己位置の推定値である第A自己位置推定値を補正することを間欠的に実行する補正ステップと、
前記複数のアルゴリズムのそれぞれ毎に、各アルゴリズムの推定処理により得られる一つ以上の状態量であって、各アルゴリズムにより推定された前記自己位置の確からしさに関連する状態量を学習済のニューラルネットワークに入力し、当該入力された状態量から該ニューラルネットワークにより前記複数のアルゴリズムのそれぞれ毎の重み係数を決定するステップとを備えており、
前記複数のアルゴリズムのそれぞれにより推定された前記自己位置を、前記決定された重み係数により合成して得られる自己位置を、前記移動体の自己位置特定値として特定することを特徴とする自己位置推定方法。 - 請求項1又は2記載の自己位置推定方法において、
前記複数のセンサは、前記移動体の外界を撮像するカメラを含み、
前記第Aアルゴリズムは、前記移動体の自己位置の推定のために、前記カメラの撮像画像から特徴点を検出し、当該検出された特徴点と、該撮像画像よりも過去の撮像画像から検出された特徴点とのマッチングを行う処理を逐次実行するように構成されたVisual_SLAMのアルゴリズムであることを特徴とする自己位置推定方法。 - 請求項1~3のいずれか1項に記載の自己位置推定方法において、
前記複数のセンサは、前記移動体の外界物までの距離を測定する測距センサを含み、
前記第Bアルゴリズムは、前記測距センサによる測距データと、粒子フィルタとを用いて前記移動体の自己位置を推定するアルゴリズムであることを特徴とする自己位置推定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057026A JP7336223B2 (ja) | 2019-03-25 | 2019-03-25 | 自己位置推定方法 |
CN202010112109.XA CN111738047A (zh) | 2019-03-25 | 2020-02-24 | 自身位置推测方法 |
US16/820,725 US11662742B2 (en) | 2019-03-25 | 2020-03-17 | Self-position estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057026A JP7336223B2 (ja) | 2019-03-25 | 2019-03-25 | 自己位置推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160594A JP2020160594A (ja) | 2020-10-01 |
JP7336223B2 true JP7336223B2 (ja) | 2023-08-31 |
Family
ID=72605828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057026A Active JP7336223B2 (ja) | 2019-03-25 | 2019-03-25 | 自己位置推定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11662742B2 (ja) |
JP (1) | JP7336223B2 (ja) |
CN (1) | CN111738047A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950712B (zh) * | 2021-02-25 | 2023-03-24 | 深圳市慧鲤科技有限公司 | 定位方法及装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014115247A (ja) | 2012-12-12 | 2014-06-26 | Honda Motor Co Ltd | 車両位置推定装置およびセンサ情報統合装置 |
JP2014211862A (ja) | 2013-04-02 | 2014-11-13 | パナソニック株式会社 | 自律移動装置及び自律移動装置の自己位置推定方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11315556A (ja) * | 1997-12-19 | 1999-11-16 | Carnegie Mellon Univ | 土工機械の自律制御を最適化する学習システムおよび方法 |
KR100834761B1 (ko) | 2005-11-23 | 2008-06-05 | 삼성전자주식회사 | 이동 로봇의 자기 위치 인식 방법 및 장치 |
JP5370122B2 (ja) * | 2009-12-17 | 2013-12-18 | 富士通株式会社 | 移動体位置推定装置及び移動体位置推定方法 |
KR102016551B1 (ko) * | 2014-01-24 | 2019-09-02 | 한화디펜스 주식회사 | 위치 추정 장치 및 방법 |
WO2016185659A1 (ja) * | 2015-05-15 | 2016-11-24 | 株式会社デンソー | 移動体位置検出装置、移動体位置検出方法 |
JP6516261B2 (ja) * | 2015-10-08 | 2019-05-22 | 国立大学法人東京工業大学 | 計測システム |
WO2017130397A1 (ja) * | 2016-01-29 | 2017-08-03 | 富士通株式会社 | 位置推定装置、位置推定方法および位置推定プログラム |
US10593060B2 (en) * | 2017-04-14 | 2020-03-17 | TwoAntz, Inc. | Visual positioning and navigation device and method thereof |
-
2019
- 2019-03-25 JP JP2019057026A patent/JP7336223B2/ja active Active
-
2020
- 2020-02-24 CN CN202010112109.XA patent/CN111738047A/zh active Pending
- 2020-03-17 US US16/820,725 patent/US11662742B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014115247A (ja) | 2012-12-12 | 2014-06-26 | Honda Motor Co Ltd | 車両位置推定装置およびセンサ情報統合装置 |
JP2014211862A (ja) | 2013-04-02 | 2014-11-13 | パナソニック株式会社 | 自律移動装置及び自律移動装置の自己位置推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US11662742B2 (en) | 2023-05-30 |
US20200310435A1 (en) | 2020-10-01 |
CN111738047A (zh) | 2020-10-02 |
JP2020160594A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780608B (zh) | 位姿信息估计方法、装置和可移动设备 | |
US9386209B2 (en) | Method and apparatus for estimating position | |
KR102440358B1 (ko) | 관성 기반 항법 장치 및 상대사전적분에 따른 관성 기반 항법 방법 | |
JP6442193B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム | |
KR101956447B1 (ko) | 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법 | |
JP7034264B2 (ja) | 自己位置推定方法 | |
KR101738750B1 (ko) | 실외 환경에서의 강인한 위치 인식 방법 및 장치 | |
JP5012615B2 (ja) | 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP2007303886A (ja) | 位置推定装置、位置推定方法及びプログラム記録媒体 | |
JP2013534616A (ja) | 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム | |
JP4171459B2 (ja) | 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体 | |
JP6229041B2 (ja) | 基準方向に対する移動要素の角度偏差を推定する方法 | |
JP4696088B2 (ja) | 自律移動体および移動方法 | |
JP7336223B2 (ja) | 自己位置推定方法 | |
JP7456857B2 (ja) | 自己位置推定装置 | |
JP5267100B2 (ja) | 運動推定装置及びプログラム | |
US20220066466A1 (en) | Self-position estimation method | |
Zhong et al. | CalQNet-detection of calibration quality for life-long stereo camera setups | |
JP5056436B2 (ja) | 三次元地図生成装置、及びプログラム | |
US20240134033A1 (en) | Method for determining a movement state of a rigid body | |
WO2023162017A1 (ja) | 位置姿勢推定装置、位置姿勢推定システム、およびセンサ設置方法 | |
KR101767169B1 (ko) | 비전 센서 기반 자이로 드리프트 감소 장치 및 방법 | |
JP2024005342A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
CN115371667A (zh) | 便携终端、步行机器人、存储介质及位置运算支援方法 | |
CN117470262A (zh) | 支持车辆导航的基础设施 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |