JP7420277B2 - 運転状態判定装置、方法、及びプログラム - Google Patents
運転状態判定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP7420277B2 JP7420277B2 JP2022551488A JP2022551488A JP7420277B2 JP 7420277 B2 JP7420277 B2 JP 7420277B2 JP 2022551488 A JP2022551488 A JP 2022551488A JP 2022551488 A JP2022551488 A JP 2022551488A JP 7420277 B2 JP7420277 B2 JP 7420277B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- distance
- driving
- determination
- shoulder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 29
- 238000012806 monitoring device Methods 0.000 description 11
- 238000011017 operating method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出する位置検出手段と、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
前記算出された肩幅に基づいて1以上の判定しきい値を決定するしきい値決定手段と、
前記検出された2以上の部位の位置と、前記1以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。
前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する付記1に記載の運転状態判定装置。
前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する付記1又は2に記載の運転状態判定装置。
前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する付記1から3何れか1つに記載の運転状態判定装置。
前記判定しきい値は、人体の特定の部位間の距離のしきい値を示す付記1から4何れか1つに記載の運転状態判定装置。
前記2以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する付記5に記載の運転状態判定装置。
前記2以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第1の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第2の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第1の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第2の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第1の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第2の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する付記5又は6に記載の運転状態判定装置。
前記2以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第3の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第4の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第3の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第4の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第3の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第4の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する付記5から7何れか1つに記載の運転状態判定装置。
前記運転者画像は、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ前記運転者の顔の位置より前記車両の前方側の位置から前記運転席を撮影することで得られた画像である付記1から8何れか1つに記載の運転状態判定装置。
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて1以上の判定しきい値を決定し、
前記検出された2以上の部位の位置と、前記1以上の判定しきい値とを用いて、前記運転者の運転状態を判定する運転状態判定方法。
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて1以上の判定しきい値を決定し、
前記検出された2以上の部位の位置と、前記1以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
11:位置検出手段
12:肩幅算出手段
13:しきい値決定手段
14:判定手段
20:カメラ
100:運転状態判定装置
101:位置検出部
102:肩幅推定部
103:しきい値決定部
104:脇見運転判定部
105:ながら運転判定部
200:カメラ
Claims (9)
- 運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出する位置検出手段と、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す1以上の判定しきい値を決定するしきい値決定手段と、
前記検出された2以上の部位の位置の間の距離を計算し、該計算した距離と、前記1以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。 - 前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する請求項1に記載の運転状態判定装置。
- 前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する請求項1又は2に記載の運転状態判定装置。
- 前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する請求項1から3何れか1項に記載の運転状態判定装置。
- 前記2以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する請求項1から4何れか1項に記載の運転状態判定装置。 - 前記2以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第1の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第2の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第1の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第2の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第1の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第2の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する請求項1から5何れか1項に記載の運転状態判定装置。 - 前記2以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第3の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第4の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第3の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第4の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第3の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第4の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する請求項1から6何れか1項に記載の運転状態判定装置。 - 運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す1以上の判定しきい値を決定し、
前記検出された2以上の部位の位置の間の距離を計算し、該計算した距離と、前記1以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する運転状態判定方法。 - 運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、2以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す1以上の判定しきい値を決定し、
前記検出された2以上の部位の位置の間の距離を計算し、該計算した距離と、前記1以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/036005 WO2022064592A1 (ja) | 2020-09-24 | 2020-09-24 | 運転状態判定装置、方法、及びコンピュータ可読媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022064592A1 JPWO2022064592A1 (ja) | 2022-03-31 |
JPWO2022064592A5 JPWO2022064592A5 (ja) | 2023-05-18 |
JP7420277B2 true JP7420277B2 (ja) | 2024-01-23 |
Family
ID=80844613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551488A Active JP7420277B2 (ja) | 2020-09-24 | 2020-09-24 | 運転状態判定装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230311899A1 (ja) |
JP (1) | JP7420277B2 (ja) |
WO (1) | WO2022064592A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024080952A (ja) * | 2022-12-05 | 2024-06-17 | 矢崎総業株式会社 | 運転者監視装置および監視プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008002838A (ja) | 2006-06-20 | 2008-01-10 | Takata Corp | 車両乗員検出システム、作動装置制御システム、車両 |
JP2017010560A (ja) | 2015-06-24 | 2017-01-12 | スズキ株式会社 | 車両の運転支援装置 |
WO2018150485A1 (ja) | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
JP6725121B1 (ja) | 2019-11-13 | 2020-07-15 | 株式会社スワローインキュベート | 視線検出方法、視線検出装置、及び制御プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09219810A (ja) * | 1996-02-09 | 1997-08-19 | Toyota Motor Corp | 移動体のキャビン内撮影装置 |
-
2020
- 2020-09-24 WO PCT/JP2020/036005 patent/WO2022064592A1/ja active Application Filing
- 2020-09-24 JP JP2022551488A patent/JP7420277B2/ja active Active
- 2020-09-24 US US18/024,933 patent/US20230311899A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008002838A (ja) | 2006-06-20 | 2008-01-10 | Takata Corp | 車両乗員検出システム、作動装置制御システム、車両 |
JP2017010560A (ja) | 2015-06-24 | 2017-01-12 | スズキ株式会社 | 車両の運転支援装置 |
WO2018150485A1 (ja) | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
JP6725121B1 (ja) | 2019-11-13 | 2020-07-15 | 株式会社スワローインキュベート | 視線検出方法、視線検出装置、及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2022064592A1 (ja) | 2022-03-31 |
US20230311899A1 (en) | 2023-10-05 |
JPWO2022064592A1 (ja) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573193B2 (ja) | 判定装置、判定方法、および判定プログラム | |
CN111566612A (zh) | 基于姿势和视线的视觉数据采集系统 | |
US9606623B2 (en) | Gaze detecting apparatus and method | |
CN108162858B (zh) | 车载监控装置及其方法 | |
US11216968B2 (en) | Face direction estimation device and face direction estimation method | |
KR20160108362A (ko) | 차량 미러 조절 | |
KR20200095384A (ko) | 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 | |
JP2018511376A (ja) | 車両のドライバの疲労状態及び/又は睡眠状態を判定する方法及び装置 | |
KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
JP7420277B2 (ja) | 運転状態判定装置、方法、及びプログラム | |
US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
JP2017024711A (ja) | 乗員の視線方向を予測する方法および装置 | |
CN115376113A (zh) | 驾驶员分心检测方法、驾驶员监控系统及存储介质 | |
JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
WO2021166742A1 (ja) | 物体測距装置、方法、及びコンピュータ可読媒体 | |
JP7267222B2 (ja) | 処理装置、処理方法、報知システム及びプログラム | |
JP4825737B2 (ja) | 開眼度判定装置 | |
JP7175381B2 (ja) | 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 | |
JP6847323B2 (ja) | 視線検出装置および視線検出方法 | |
WO2023095297A1 (ja) | 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体 | |
JP7416276B2 (ja) | 不安全運転検出装置、方法、及びプログラム | |
JP2020149507A (ja) | 乗員観察装置 | |
JP2020194224A (ja) | 運転者判定装置、運転者判定方法、および運転者判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7420277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |