JP7120109B2 - 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 - Google Patents
車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 Download PDFInfo
- Publication number
- JP7120109B2 JP7120109B2 JP2019056506A JP2019056506A JP7120109B2 JP 7120109 B2 JP7120109 B2 JP 7120109B2 JP 2019056506 A JP2019056506 A JP 2019056506A JP 2019056506 A JP2019056506 A JP 2019056506A JP 7120109 B2 JP7120109 B2 JP 7120109B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- surface condition
- vehicle
- detection signal
- condition determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 79
- 238000001514 detection method Methods 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 43
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 8
- 239000002352 surface water Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/35—Road bumpiness, e.g. pavement or potholes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Description
第1の態様の他の態様に係る路面状態判定装置は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得する取得部と、前記第1の検出信号を用いて、路面状態の種類を判定する制御部と、を備え、前記制御部は、前記第1の検出信号を用いて路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第1の周波数以下の振幅が第1の振幅より大きい場合に前記種類は流れのある湿潤路であると判定する。
第1の態様の他の態様に係る路面状態判定装置は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得する取得部と、前記第1の検出信号を用いて、路面状態の種類を判定する制御部と、を備え、前記制御部は、前記第1の検出信号を用いて路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第2の周波数以下の振幅が第3の振幅より大きい場合に前記種類は冠水している湿潤路であると判定する。
第2の態様の他の態様に係る路面状態判定方法は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得し、前記第1の検出信号を用いて、路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第1の周波数以下の振幅が第1の振幅より大きい場合に前記路面状態の種類は流れのある湿潤路であると判定すること、を備える。
第2の態様の他の態様に係る路面状態判定方法は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得し、前記第1の検出信号を用いて、路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第2の周波数以下の振幅が第3の振幅より大きい場合に前記路面状態の種類は冠水している湿潤路であると判定すること、を備える。
図1に示すように、第1の実施形態に係る車両における路面状態判定装置100は、車両500に搭載されて用いられる。路面状態判定装置100は、少なくとも制御部および取得部を備えていれば良く、運転支援システム10は、路面状態判定装置100に加え、検出器としてのレーダECU21、ミリ波レーダ211、カメラECU22、カメラ221、イベントカメラECU26、イベントカメラ261および運転支援実行装置31を備えている。なお、検出器としては、イベントカメラECU26およびイベントカメラ261に加えて、少なくともカメラECU22およびカメラ221が備えられていれば良い。第1の実施形態における車両500は、さらに、回転角センサ23、車輪速度センサ24およびヨーレートセンサ25を備えている。車両500はさらに、車輪501、制動装置502、制動ライン503、ステアリングホイール504、フロントガラス510、フロントバンパ520およびリアバンパ521を備えている。車両500は、内燃機関および電動機の少なくとも一方を車両走行用の駆動力源505として備えている。
(1)凍結路であるか否かは、路面の凹凸を判定することによって実行されても良い。すなわち、水面は平滑な平面または表面張力により平滑な球面を有しているのに対して、凍結面は氷粒によって非平滑であり凹凸な表面を有する。そこで、路面状態の絶対的変位に加えて、あるいは、路面状態の絶対的変位を用いることなく、進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を用いて凍結路であるか否かが判定されても良い。凍結路の表面には、図8に示すように凹部DOおよび凸部POが存在する。図8に示すように、自車両M0が進行するに連れて対象物DO、POに対応する変化画素DO1、PO1の位置が自車両M0から離間する場合、すなわち、凸部POの一の外部エッジに対応する変化画素PO1の場合には、路面は凸状路面であると判定することが可能であり、自車両M0が進行するに連れて対象物DO、POに対応する変化画素DO1、PO1の位置が自車両M0に近接する場合、すなわち、凹部DOの一の内部エッジに対応する変化画素DO1の場合には、路面は凹状路面であると判定することができる。外部エッジおよび内部エッジは太陽光または前照灯により形成される輝度境界線に相当する。なお、図8において変化画素DO1、PO1の変位は、対象物DO、POの右側を自車両M0が矢印で示す各位置を通過する際に観察される変位を模式的に示している。実際には、破線で示す対象物DO、POの輪郭DO2、PO2が自車両M0との距離に応じて変形して見えることにより変化画素DO1、PO1の位置は変位するが、図8においては、自車両M0に対する各変化画素DO1、PO1の変位を示すことを目的として対象物DO、POの輪郭DO2、PO2の変形は表していない。以上の考え方により、路面状態が凸状路面および凹状路面の少なくともいずれか一方であると判定された場合には、路面状態は凍結路であると判定することができる。路面状態の絶対的変位を用いた判定に加えて、進行する車両に対する路面状態の相対的変位を用いることによって、路面状態が凍結路であるとの判定精度を向上させることができる。また、路面状態が湿潤状態である場合、流水に伴う変位は、進行する車両に対する路面状態の相対的変位としては現れないので、進行する車両に対する路面状態の相対的変位を用いることによって、路面状態が湿潤路であるとの判定精度を向上させることができる。さらに、路面状態が氷結路であるとの判定は、氷結路判定が予め定められた距離にわたり継続される場合に決定されても良く、あるいは、交差点や北側路面といった凍結が発生しやすい、あるいは、凍結路が生成されやすい道路地形の特徴を加えて考慮して実行されても良い。
Claims (11)
- 車両(500)における路面状態判定装置(100)であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得する取得部(103)と、
前記第1の検出信号を用いて、路面状態の種類を判定する制御部(101、Pr2)と、を備え、
前記制御部は、前記第1の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定する、路面状態判定装置。 - 車両(500)における路面状態判定装置(100)であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得する取得部(103)と、
前記第1の検出信号を用いて、路面状態の種類を判定する制御部(101、Pr2)と、を備え、
前記制御部は、前記第1の検出信号を用いて路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第1の周波数以下の振幅が第1の振幅より大きい場合に前記種類は流れのある湿潤路であると判定する、路面状態判定装置。 - 車両(500)における路面状態判定装置(100)であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得する取得部(103)と、
前記第1の検出信号を用いて、路面状態の種類を判定する制御部(101、Pr2)と、を備え、
前記制御部は、前記第1の検出信号を用いて路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第2の周波数以下の振幅が第3の振幅より大きい場合に前記種類は冠水している湿潤路であると判定する、路面状態判定装置。 - 請求項2に記載の路面状態判定装置において、
前記制御部はさらに、前記第1の周波数以下の振幅が前記第1の振幅よりも小さい第2の振幅以下である場合、前記種類は凍結路であると判定する、路面状態判定装置。 - 請求項3に記載の路面状態判定装置において、
前記制御部はさらに、前記第2の周波数以下の振幅が前記第3の振幅よりも小さい第4の振幅以下である場合に前記種類は凍結路であると判定する、路面状態判定装置。 - 請求項2から5のいずれか一項に記載の路面状態判定装置において、
前記取得部はさらに、路面状態の撮像結果を第2の検出信号として取得し、
前記制御部は、前記第2の検出信号を用いて、路面状態が湿潤状態であると判定した場合に、前記周波数解析を用いる判定を実行する、路面状態判定装置。 - 請求項1から5のいずれか一項に記載の路面状態判定装置において、
前記制御部は、路面の内、前記変化画素が存在する領域を対象として前記路面状態の種類を判定する、路面状態判定装置。 - 車両の運転支援システム(10)であって、
請求項1から請求項7のいずれか一項に記載の路面状態判定装置(100)と、
前記第1の検出信号を出力する第1の検出器(261)と、
前記路面状態判定装置によって判定された路面状態に応じて、運転支援を実行する運転支援実行装置(31)と、
を備える運転支援システム。 - コンピュータによって実行される路面状態判定方法であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得し、
前記第1の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記路面状態の種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定すること、
を備える、路面状態判定方法。 - コンピュータによって実行される路面状態判定方法であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得し、
前記第1の検出信号を用いて、路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第1の周波数以下の振幅が第1の振幅より大きい場合に前記路面状態の種類は流れのある湿潤路であると判定すること、
を備える、路面状態判定方法。 - コンピュータによって実行される路面状態判定方法であって、
路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第1の検出信号として取得し、
前記第1の検出信号を用いて、路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第2の周波数以下の振幅が第3の振幅より大きい場合に前記路面状態の種類は冠水している湿潤路であると判定すること、
を備える、路面状態判定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019056506A JP7120109B2 (ja) | 2019-03-25 | 2019-03-25 | 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 |
PCT/JP2020/004840 WO2020195231A1 (ja) | 2019-03-25 | 2020-02-07 | 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 |
DE112020001535.1T DE112020001535T5 (de) | 2019-03-25 | 2020-02-07 | Fahrbahnoberflächenzustands-bestimmungsvorrichtung für fahrzeuge, fahrassistenzsystem und fahrbahnoberflächenzustands-bestimmungsverfahren |
US17/483,650 US11970171B2 (en) | 2019-03-25 | 2021-09-23 | Road surface condition determination device for vehicle, driving assistance system, and road surface condition determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019056506A JP7120109B2 (ja) | 2019-03-25 | 2019-03-25 | 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020157804A JP2020157804A (ja) | 2020-10-01 |
JP2020157804A5 JP2020157804A5 (ja) | 2021-04-15 |
JP7120109B2 true JP7120109B2 (ja) | 2022-08-17 |
Family
ID=72610761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019056506A Active JP7120109B2 (ja) | 2019-03-25 | 2019-03-25 | 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7120109B2 (ja) |
DE (1) | DE112020001535T5 (ja) |
WO (1) | WO2020195231A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7406182B2 (ja) * | 2020-12-11 | 2023-12-27 | トヨタ自動車株式会社 | 関連値情報の更新システム及び関連値情報の更新方法 |
CN116295227B (zh) * | 2023-05-25 | 2023-07-28 | 湖南联智科技股份有限公司 | 一种路面平整度检测的方法、系统及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009053818A (ja) | 2007-08-24 | 2009-03-12 | Toshiba Corp | 画像処理装置及びその方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005075959A1 (ja) * | 2004-02-10 | 2005-08-18 | Nihon University | 摩擦係数推定方法及び装置 |
JP4527747B2 (ja) * | 2007-04-17 | 2010-08-18 | 日本電信電話株式会社 | 水面波挙動検出装置、水面波挙動検出方法、及び、水面波挙動検出プログラム |
JP2017182139A (ja) | 2016-03-28 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
JP7017891B2 (ja) | 2017-09-20 | 2022-02-09 | 大和ハウス工業株式会社 | 空調システム |
-
2019
- 2019-03-25 JP JP2019056506A patent/JP7120109B2/ja active Active
-
2020
- 2020-02-07 WO PCT/JP2020/004840 patent/WO2020195231A1/ja active Application Filing
- 2020-02-07 DE DE112020001535.1T patent/DE112020001535T5/de active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009053818A (ja) | 2007-08-24 | 2009-03-12 | Toshiba Corp | 画像処理装置及びその方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112020001535T5 (de) | 2021-12-09 |
US20220009502A1 (en) | 2022-01-13 |
JP2020157804A (ja) | 2020-10-01 |
WO2020195231A1 (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11097724B2 (en) | Apparatus and system for controlling travel of vehicle | |
CN108263279B (zh) | 基于传感器整合的行人检测和行人碰撞避免装置及方法 | |
US11919511B2 (en) | Driving support control device for vehicle, driving support system, and driving support method | |
JP6011489B2 (ja) | 車載制御装置 | |
JP6090381B2 (ja) | 衝突防止システム | |
CN106846394B (zh) | 积雪覆盖行进路径表面状况检测 | |
US9594964B2 (en) | Vision-based wet road surface detection using texture analysis | |
US10745004B2 (en) | Object recognizing device and collision avoidance system | |
CN106841195B (zh) | 湿路面状况检测 | |
US11834039B2 (en) | Falling object determination device, driving support system, and falling object determination method | |
JP7111454B2 (ja) | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 | |
CN110799387B (zh) | 车辆中的制动辅助装置以及制动辅助控制方法 | |
WO2020195231A1 (ja) | 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 | |
WO2019064875A1 (ja) | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 | |
CN104136281A (zh) | 行驶控制装置以及行驶控制方法 | |
US11970171B2 (en) | Road surface condition determination device for vehicle, driving assistance system, and road surface condition determination method | |
JP7111634B2 (ja) | 車両における対象物検出装置、対象物検出システムおよび対象物検出方法 | |
US20210323545A1 (en) | Driver assistance apparatus | |
JP6254866B2 (ja) | 車両制御装置 | |
JP4807763B1 (ja) | 車外監視装置 | |
JP7243452B2 (ja) | 車両における物体検出装置、および車両における物体検出方法 | |
US20240132052A1 (en) | Vehicle travel control device | |
KR20240019048A (ko) | 영상 판독에 기반하여 주차 환경에 관한 알림을 제공하는차량용 전자장치 및 방법 | |
CN117922577A (en) | Vehicle travel control device | |
CN114670817A (zh) | 车辆及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7120109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |