JP7063184B2 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP7063184B2 JP7063184B2 JP2018151605A JP2018151605A JP7063184B2 JP 7063184 B2 JP7063184 B2 JP 7063184B2 JP 2018151605 A JP2018151605 A JP 2018151605A JP 2018151605 A JP2018151605 A JP 2018151605A JP 7063184 B2 JP7063184 B2 JP 7063184B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- traveling direction
- objects
- recognition device
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 64
- 230000010354 integration Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 description 75
- 238000010586 diagram Methods 0.000 description 27
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000000052 comparative effect Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/804—Relative longitudinal speed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Description
前記物体認識装置は、
前記車両の周囲の状況を検出するセンサ装置と、
前記センサ装置による検出結果を示すセンサ検出情報が格納される記憶装置と、
プロセッサと
を備える。
前記プロセッサは、
前記センサ検出情報に基づいて、前記車両の周囲の物体を検出し、
前記物体の検出位置を基準として、前記物体と同一と判定される距離である統合判定距離を初期設定し、
前記センサ検出情報に基づいて、前記物体の進行方向を推定し、
前記統合判定距離を前記進行方向に沿って拡大し、
前記統合判定距離に基づいて、検出された複数の物体が同一物体に属するか否かを判定し、
前記複数の物体が前記同一物体に属すると判定した場合、前記複数の物体を前記同一物体として統合する。
前記物体の横方向は、前記進行方向と直交する平面方向である。
前記プロセッサは、前記統合判定距離を前記横方向に沿って拡大することを禁止する。
前記センサ装置は、更に、前記車両の状態を検出する。
前記センサ検出情報は、更に、前記車両の速度を示す。
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度を算出し、
前記進行方向に沿った前記統合判定距離の拡大量を前記絶対速度に応じて増加させる。
前記センサ装置は、更に、前記車両の状態を検出する。
前記センサ検出情報は、更に、前記車両の速度を示す。
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度と前記絶対速度の信頼度を算出し、
前記信頼度が閾値以上である前記物体について、前記進行方向に沿った前記統合判定距離の拡大量を前記絶対速度に応じて増加させる。
前記プロセッサは、前記信頼度が前記閾値未満である前記物体については、前記進行方向に沿って前記統合判定距離を拡大することを禁止する。
前記プロセッサは、前記信頼度が前記閾値未満である前記物体については、前記進行方向に沿った前記統合判定距離の前記拡大量を一定に設定する。
前記センサ装置は、更に、前記車両の状態を検出する。
前記センサ検出情報は、更に、前記車両の速度を示す。
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度を算出し、
前記絶対速度に基づいて、前記進行方向を推定する。
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の形状の長手方向を推定し、
前記長手方向を前記進行方向と推定する。
図1は、本実施の形態に係る車両1を説明するための概念図である。車両1は、車両1の周囲の状況を検出するセンサ装置を備えている。センサ装置としては、ライダー(LIDAR: Laser Imaging Detection and Ranging)、レーダ、カメラ、等が例示される。車両1は、センサ装置を用いて、車両1の周囲の物体T(物標)を検出する。
図9は、本実施の形態に係る物体認識装置10の構成例を示すブロック図である。物体認識装置10は、車両1に搭載されており、車両1の周囲の物体Tを認識する「物体認識処理」を行う。この物体認識装置10は、センサ装置20及び制御装置100を備えている。
図10は、本実施の形態に係るプロセッサ110(制御装置100)による物体認識処理を示すフローチャートである。尚、図10に示される処理フローは、一定サイクル毎に繰り返し実行される。
ステップS100において、プロセッサ110は、物体検出処理を行う。具体的には、プロセッサ110は、センサ検出情報200(周辺状況情報)に基づいて、車両1の周囲の物体Tを検出する。例えば、プロセッサ110は、ライダーによって計測される点群の位置を示す点群情報に基づいて物体Tを検出する。また、プロセッサ110は、カメラによって撮像される撮像情報に基づいて物体Tを検出する。これらの物体検出方法は周知である。
ステップS200において、プロセッサ110は、統合判定距離DFを設定する距離設定処理を行う。上述の通り、統合判定距離DFは、物体Tと同一と判定される距離であり、統合判定範囲RFを包含する概念である。統合判定距離DFの設定の詳細については、後に説明される。
ステップS300において、プロセッサ110は、上述の統合判定処理を行う。すなわち、プロセッサ110は、複数の物体Tが同一物体に属するか否かを判定する。複数の物体Tが同一物体に属すると判定するための条件は、統合条件である。統合判定処理は、複数の物体Tが統合条件を満たすか否かを判定する処理であると言うこともできる。
ステップS400において、プロセッサ110は、物体統合処理を行う。すなわち、プロセッサ110は、統合条件を満たす複数の物体Tを同一物体として統合する。例えば、同一物体の位置及び形状は、統合された複数の物体Tを覆う矩形に基づいて算出される。同一物体の速度は、統合された複数の物体Tのそれぞれの速度の重み付け平均等により算出される。
ステップS500において、プロセッサ110は、複数の物体Tのそれぞれを単独物体として認識する。
上述の通り、本実施の形態によれば、統合判定距離DFを設定する際に、物体Tの進行方向Pが用いられる。進行方向Pを推定する方法としては、様々な例が考えられる。
図11は、物体Tの進行方向Pを推定する方法の第1の例を説明するための概念図である。第1の例では、プロセッサ110は、センサ検出情報200に基づいて、物体Tの絶対速度Vを算出する。物体Tの絶対速度Vは、車両1の速度と物体Tの相対速度から算出される。車両1の速度は、車両状態情報から得られる。そして、プロセッサ110は、算出された絶対速度Vの方向を進行方向Pと推定する。
図12は、物体Tの進行方向Pを推定する方法の第2の例を説明するための概念図である。第2の例では、プロセッサ110は、絶対速度Vの履歴に基づいて、物体Tの進行方向Pを推定する。基準タイミングにおける物体Tの位置及び進行方向Pは既知であるとする。例えば、第1の例と同じ手法で、基準タイミングにおける進行方向Pが得られる。プロセッサ110は、基準タイミング以降の絶対速度V(速度ベクトル)を積分し、物体Tの位置及び進行方向Pの変化量を算出する。そして、プロセッサ110は、基準タイミングにおける物体Tの位置及び進行方向Pに変化量を加えることによって、所望のタイミングにおける物体Tの進行方向Pを推定する。
図13は、物体Tの進行方向Pを推定する方法の第3の例を説明するための概念図である。第3の例では、プロセッサ110は、センサ検出情報200に基づいて、物体Tの形状の長手方向を推定する。そして、プロセッサ110は、その長手方向を物体Tの進行方向Pと推定する。本手法は、静止している物体Tにも適用可能である。
次に、本実施の形態に係る物体認識処理のステップS200(距離設定処理)について詳しく説明する。ステップS200としては、様々な例が考えられる。
図15は、ステップS200の第1の例を示すフローチャートである。
図16は、ステップS200の第2の例を示すフローチャートである。第1の例と重複する説明は適宜省略される。ステップS210とステップS250は、第1の例と同様である。
上述の第2の例では、進行方向Pに沿った統合判定距離DFの拡大量は、物体Tの絶対速度Vに応じて増加する。しかしながら、算出される絶対速度Vの信頼度が低い場合もあり得る。例えば図18において、物体TXがセンサ視野の境界付近に位置している。このような物体TXについて算出(推定)される絶対速度Vの信頼度は低い。信頼度の低い絶対速度Vに基づいて統合判定距離DFが設定されると、統合判定距離DFの精度が却って低下する。そこで、第3の例では、絶対速度Vの信頼度に応じて、統合判定距離DFの設定方法が変更される。
図20は、ステップS200の第4の例を示すフローチャートである。第4の例は、第3の例の変形例である。第3の例と重複する説明は、適宜省略される。
物体Tの横方向Qは、物体Tの進行方向Pと直交する平面方向である(図6参照)。第5の例では、横方向Qに沿った統合判定距離DFについて検討する。
本実施の形態に係る物体認識装置10は、車両1の運転を支援する「運転支援制御」に適用されてもよい。そのような運転支援制御として、自動運転制御、追従走行制御、衝突回避制御、等が例示される。
10 物体認識装置
20 センサ装置
100 制御装置
110 プロセッサ
120 記憶装置
200 センサ検出情報
300 物体情報
DF 統合判定距離
RF 統合判定範囲
Claims (8)
- 車両に搭載される物体認識装置であって、
前記車両の周囲の状況を検出するセンサ装置と、
前記センサ装置による検出結果を示すセンサ検出情報が格納される記憶装置と、
プロセッサと
を備え、
前記プロセッサは、
前記センサ検出情報に基づいて、前記車両の周囲の複数の物体のそれぞれの位置を検出し、
前記複数の物体のそれぞれについて、前記検出位置を基準として、前記物体と同一と判定される距離である統合判定距離を初期設定し、
前記センサ検出情報に基づいて、前記複数の物体のそれぞれの進行方向を推定し、
前記複数の物体のそれぞれの前記統合判定距離を前記複数の物体のそれぞれの前記進行方向に沿って拡大し、
前記複数の物体のそれぞれの前記統合判定距離に基づいて、前記複数の物体が同一物体に属するか否かを判定し、
前記複数の物体が前記同一物体に属すると判定した場合、前記複数の物体を前記同一物体として統合する
物体認識装置。 - 請求項1に記載の物体認識装置であって、
前記物体の横方向は、前記進行方向と直交する平面方向であり、
前記プロセッサは、前記統合判定距離を前記横方向に沿って拡大することを禁止する
物体認識装置。 - 請求項1又は2に記載の物体認識装置であって、
前記センサ装置は、更に、前記車両の状態を検出し、
前記センサ検出情報は、更に、前記車両の速度を示し、
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度を算出し、
前記進行方向に沿った前記統合判定距離の拡大量を前記絶対速度に応じて増加させる
物体認識装置。 - 請求項1又は2に記載の物体認識装置であって、
前記センサ装置は、更に、前記車両の状態を検出し、
前記センサ検出情報は、更に、前記車両の速度を示し、
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度と前記絶対速度の信頼度を算出し、
前記信頼度が閾値以上である前記物体について、前記進行方向に沿った前記統合判定距離の拡大量を前記絶対速度に応じて増加させる
物体認識装置。 - 請求項4に記載の物体認識装置であって、
前記プロセッサは、前記信頼度が前記閾値未満である前記物体については、前記進行方向に沿って前記統合判定距離を拡大することを禁止する
物体認識装置。 - 請求項4に記載の物体認識装置であって、
前記プロセッサは、前記信頼度が前記閾値未満である前記物体については、前記進行方向に沿った前記統合判定距離の前記拡大量を一定に設定する
物体認識装置。 - 請求項1乃至5のいずれか一項に記載の物体認識装置であって、
前記センサ装置は、更に、前記車両の状態を検出し、
前記センサ検出情報は、更に、前記車両の速度を示し、
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の絶対速度を算出し、
前記絶対速度に基づいて、前記進行方向を推定する
物体認識装置。 - 請求項1乃至6のいずれか一項に記載の物体認識装置であって、
前記プロセッサは、
前記センサ検出情報に基づいて、前記物体の形状の長手方向を推定し、
前記長手方向を前記進行方向と推定する
物体認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151605A JP7063184B2 (ja) | 2018-08-10 | 2018-08-10 | 物体認識装置 |
US16/433,183 US11247671B2 (en) | 2018-08-10 | 2019-06-06 | Object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151605A JP7063184B2 (ja) | 2018-08-10 | 2018-08-10 | 物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020027415A JP2020027415A (ja) | 2020-02-20 |
JP7063184B2 true JP7063184B2 (ja) | 2022-05-09 |
Family
ID=69405032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018151605A Active JP7063184B2 (ja) | 2018-08-10 | 2018-08-10 | 物体認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11247671B2 (ja) |
JP (1) | JP7063184B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7172786B2 (ja) | 2019-03-22 | 2022-11-16 | トヨタ自動車株式会社 | 車両制御システム |
JP2023082783A (ja) | 2021-12-03 | 2023-06-15 | トヨタ自動車株式会社 | 車載通知装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006188129A (ja) | 2005-01-05 | 2006-07-20 | Hitachi Ltd | 衝突負荷低減車両システム |
JP2009186276A (ja) | 2008-02-05 | 2009-08-20 | Honda Motor Co Ltd | 物体検知装置 |
JP2014035669A (ja) | 2012-08-09 | 2014-02-24 | Honda Motor Co Ltd | 物体位置検知装置 |
WO2017164017A1 (ja) | 2016-03-22 | 2017-09-28 | 株式会社デンソー | 車両検知装置 |
JP2018097765A (ja) | 2016-12-16 | 2018-06-21 | 株式会社デンソー | 物体検出装置、及び物体検出方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3229558B2 (ja) * | 1997-02-21 | 2001-11-19 | 三菱電機株式会社 | 車間距離検出装置 |
JP6643166B2 (ja) * | 2016-03-31 | 2020-02-12 | 株式会社デンソー | 物体認識装置及び物体認識方法 |
US20180288320A1 (en) * | 2017-04-03 | 2018-10-04 | Uber Technologies, Inc. | Camera Fields of View for Object Detection |
-
2018
- 2018-08-10 JP JP2018151605A patent/JP7063184B2/ja active Active
-
2019
- 2019-06-06 US US16/433,183 patent/US11247671B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006188129A (ja) | 2005-01-05 | 2006-07-20 | Hitachi Ltd | 衝突負荷低減車両システム |
JP2009186276A (ja) | 2008-02-05 | 2009-08-20 | Honda Motor Co Ltd | 物体検知装置 |
JP2014035669A (ja) | 2012-08-09 | 2014-02-24 | Honda Motor Co Ltd | 物体位置検知装置 |
WO2017164017A1 (ja) | 2016-03-22 | 2017-09-28 | 株式会社デンソー | 車両検知装置 |
JP2018097765A (ja) | 2016-12-16 | 2018-06-21 | 株式会社デンソー | 物体検出装置、及び物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020027415A (ja) | 2020-02-20 |
US20200047748A1 (en) | 2020-02-13 |
US11247671B2 (en) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922561B2 (en) | Object recognition device and vehicle travel control system | |
WO2018056212A1 (ja) | 物体検知装置及び物体検知方法 | |
KR20190113918A (ko) | 운전 지원 방법 및 운전 지원 장치 | |
JP6363516B2 (ja) | 車両の走行制御装置 | |
WO2016117602A1 (ja) | 車両制御装置及び車両制御方法 | |
KR102075329B1 (ko) | 차량 제어 방법 및 차량 제어 장치 | |
JP5785578B2 (ja) | 車両周辺監視装置 | |
WO2017179469A1 (ja) | 車両制御装置、及び車両制御方法 | |
JP5417832B2 (ja) | 車両用運転支援装置 | |
KR102024986B1 (ko) | 차로 유지 제어 장치 및 방법 | |
WO2016208500A1 (ja) | 運転支援装置及び運転支援方法 | |
JP7063184B2 (ja) | 物体認識装置 | |
JP6809023B2 (ja) | 操舵補助装置及び操舵補助方法 | |
JP6497329B2 (ja) | 車両用走行制御装置 | |
JP2020111300A (ja) | 車両運転支援システム及び方法 | |
JP6481627B2 (ja) | 車両用走行制御装置 | |
CN111483459B (zh) | 车辆控制装置 | |
JP2020111302A (ja) | 車両運転支援システム及び方法 | |
JP5147511B2 (ja) | 車両の接触回避支援装置 | |
JP2009252032A (ja) | 車両の接触回避支援装置 | |
US20190291725A1 (en) | Drive assist device, drive assist method and non-transitory computer readable storage medium for storing programs thereof | |
WO2021172532A1 (ja) | 駐車支援装置および駐車支援方法 | |
JP7453785B2 (ja) | 駐車支援装置、及び駐車支援システム | |
JP3900111B2 (ja) | 車両用外界認識装置 | |
WO2019186716A1 (ja) | 車載装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7063184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |