JP7380409B2 - 車両用記録装置、情報記録方法 - Google Patents
車両用記録装置、情報記録方法 Download PDFInfo
- Publication number
- JP7380409B2 JP7380409B2 JP2020079895A JP2020079895A JP7380409B2 JP 7380409 B2 JP7380409 B2 JP 7380409B2 JP 2020079895 A JP2020079895 A JP 2020079895A JP 2020079895 A JP2020079895 A JP 2020079895A JP 7380409 B2 JP7380409 B2 JP 7380409B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- vehicle
- mode
- automatic driving
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000012545 processing Methods 0.000 claims description 155
- 238000012544 monitoring process Methods 0.000 claims description 107
- 238000001514 detection method Methods 0.000 claims description 66
- 230000009471 action Effects 0.000 claims description 61
- 230000006854 communication Effects 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 40
- 238000013500 data storage Methods 0.000 claims description 39
- 230000001815 facial effect Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 45
- 230000005856 abnormality Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 17
- 230000010391 action planning Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 206010062519 Poor quality sleep Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 238000013439 planning Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000005357 flat glass Substances 0.000 description 3
- 238000007562 laser obscuration time method Methods 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4046—Behavior, e.g. aggressive or erratic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
また、上記目的を達成するための第2の車両用記録装置は、自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと車両を自律的に走行させる自律走行モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、自律走行モードは、自動運転処理部が運転席乗員に運転操作の引き継ぎを要求する処理である引継ぎ要求処理を実行している状態である権限移譲モードを含み、車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、自動運転処理部の動作モードを示す信号を取得するモード取得部(G11)と、動作モードに応じて記録対象を変更する記録対象設定部(G2)と、記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、記録対象となり得る複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、情報取得部は、乗員状態データの1つとして、運転席乗員の顔画像を取得可能に構成されており、モード取得部は、自動運転処理部との通信により、自動運転処理部が引き継ぎ要求処理を実行中であるかを取得し、記録対象設定部は、自動運転処理部が引継ぎ要求処理を実施している場合には顔画像を記録対象に含める一方、自動運転処理部が乗員関与モードで動作している場合には顔画像を記録対象から除外する。
周辺監視センサ11は、自車両周辺の外部環境についての情報を収集する装置である。周辺監視センサ11としては、例えば、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、ソナー等を採用することができる。なお、ミリ波レーダは、所定方向に向けてミリ波又は準ミリ波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車両に対する物体の相対位置や相対速度を検出するデバイスである。ミリ波レーダは、検出結果として、例えば検出方向及び距離毎の受信強度及び相対速度を示すデータまたは検出物の相対位置及び受信強度を示すデータを生成する。LiDARは、レーザ光を照射することによって、検出方向ごとの反射点の位置を示す3次元点群データを生成するデバイスである。
ここでは図7を用いて自動運転ECU20の機能及び作動について説明する。自動運転ECU20は、ストレージ23に保存されている自動運転プログラムを実行することにより、図7に示す種々の機能ブロックに対応する機能を提供する。すなわち、自動運転ECU20は機能ブロックとして、周辺環境認識部F1、乗員状態認識部F2、自車状態取得部F3、操作内容取得部F4、モード制御部F5、行動計画部F6、制御実行部F7、異常検出部F8、及び作動状態出力部F9を備える。
ここでは図8を用いて運行記録ユニット30の機能及び作動について説明する。運行記録ユニット30は、ストレージ33に保存されているプログラムを実行することにより、図8に示す種々の機能ブロックに対応する機能を提供する。すなわち、運行記録ユニット30は機能ブロックとして、情報取得部G1、記録対象設定部G2、記録処理部G3、及び異常検出部G4を備える。情報取得部G1はモード取得部G11を備える。また、運行記録ユニット30は、記録対象設定記憶部Mdと、データ格納部Mmと、を備える。
次に、図12に示すフローチャートを用いて運行記録ユニット30の作動の流れについて説明する。図12に示すフローチャートは、例えば車両の走行用電源がオンとなったタイミングで開始されればよい。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。なお、図12での図示は省略しているが、情報取得部G1は、各種データや映像信号を逐次取得している。情報取得部G1による各種情報の取得はステップS1に含めることもできる。
上記の構成では、運転モードに応じて記録対象とする項目が変更される。例えば運転モードに応じて、乗員の顔部画像などの運転席乗員の状態を示すデータを記録対象とするか否かが変更される。このような構成によれば、運転席乗員の状態を常時記録するわけでない。例えば運転席乗員に運転責任が発生しない、レベル4~5モードでは、運転席乗員の状態を示すデータを記録対象から除外することが可能となる。故に、保存されるデータ量を抑制できる。また、上記構成によれば、レベル3モード時には、運転席乗員の状態を示すデータとして、DSM12aが撮像した運転席乗員の顔画像を記録対象に設定する。これにより、緊急時に、運転席乗員が運転可能な状態であったか否かを検証することができる。なお、レベル3モードは、運転席乗員に運転責任が発生する運転モードの一例に相当する。
以上ではレベル5まで実行可能に構成されている態様を例示したが、これに限らない。自動運転ECU20はレベル3までの自動運転を実行するものであってもよい。その場合、運行記録ユニット30は、レベル3までの記録対象のデータセットを備えていればよい。また、自動運転ECU20は、自動運転レベル0、2、及び4に相当するモードのみを備えるものであってもよい。自動運転ECU20の動作モードは、完全手動運転モードと、運転支援モードと、自律走行モードの3段階であってもよい。記録対象設定記憶部Mdには、自動運転ECU20が提供可能な運転モード毎の記録対象設定データが保存されていれば良い。
周辺監視カメラの搭載位置は前後左右の4箇所に限定されない。図15に示すように、前端、後端、左右のサイドミラー、フロントガラスの室内側上端部、リアガラスの室内面の6箇所に設けられていても良い。また、ルーフ部にも、右斜め前方、左斜め前方、右斜め後方、左斜め後方のそれぞれに光軸が向けられた4つの周辺監視カメラが搭載されていても良い。ミリ波レーダについても同様に多数設けられていても良い。加えて、自動運転システム1は、周辺監視センサ11として、車両の前方を検知範囲に含むLiDARや、車両の後方を検知範囲に含むLiDARを備えていても良い。LiDARは、たとえばルーフ上に搭載することができる。また、自動運転システム1は、周辺監視センサ11として、それぞれ検知範囲及び設置位置が異なる複数のソナーを備えていても良い。ソナーは、バンパやサイドシルなどに搭載可能である。
自律走行モードにおいて観測データを記録対象とする周辺監視センサ11の組み合わせは、走行シーンや、実行中の行動、及び予定行動に応じて変更されてもよい。自動運転ECU20が実行/予定している行動において注意が必要な方向を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、注意の必要性が少ない方向を検出方向とする周辺監視センサ11の観測データは記録対象から除外してもよい。そのような構成は例えば図15に示すように、周辺監視カメラなどが多数(例えば8個以上)搭載されている車両において特に好適である。周辺監視センサ11が多いほど、データ量は膨大となるためである。
図17に示すように自車両が灯火装置として、運転モードを外部に通知するためのランプ(以降、運転モード通知灯51)を備える場合には、記録対象設定部G2は自律走行モード時、運転モード通知灯51の点灯状態を記録対象に設定しても良い。そのような構成によれば、自律走行モードである場合に、当該事実を適正に外部に通知していたかを検証可能となる。なお、運転モード通知灯51は、点灯の有無や点灯色などによって、自律走行モードであるか乗員関与モードであるかなどを明示する装置とすることができる。運転モード通知灯は自動運転ECU20が出力するステータス情報に基づき、ボディECU17が制御しても良い。
自動運転システム1の構成としては多様な構成を採用可能である。例えば自動運転システム1は図21に示すように、複数のECU41~46が自装置と対応付けられている周辺監視センサ11での観測データに基づく認識処理を実行し、LAN99に出力するように構成されていても良い。例えば、前方カメラECU41、周辺監視カメラECU42、前方レーダECU43、後側方レーダECU44、ソナーECU45、及びLiDAR-ECU46を備え、各ECU41~46が、各自に対応づけられている周辺監視センサ11での観測データに基づく認識処理を実行するように構成されていてもよい。この場合、自動運転ECU20は、各ECUから認識結果を取得して、統合(いわゆるフュージョン)し、制御判断を実行するように構成可能である。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。上記の処理部21、31はCPUや、MPU、GPU(Graphics Processing Unit)、DFP、NPUなど、複数種類のプロセッサを組み合わせて実現されていてもよい。さらに、例えば処理部21、31が提供すべき機能の一部は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)、などを用いて実現されていても良い。
本開示には、以下の技術思想も含まれる。なお、下記の自動運転処理部とは、自動運転ECU20に相当する。
自動運転機能が搭載された車両で使用され、自動運転機能を提供するコンピュータである自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
自動運転処理部の動作状態に対応する運転モードを示す信号を取得する運転モード取得部(G11)と、
運転モードに応じて記録対象を変更する記録対象設定部(G2)と、
記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
運転モードごとの記録対象の設定は、所定サーバとの無線通信によって変更可能に構成されている。当該構成によれば、運転モードごとの記録対象を随時変更することができる。故に、法律等の改正に柔軟に対応可能となる。
記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば衝突の可能性がある前後方向の情報は生データとして記録しつつも、危険性の低い左右方向の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存されるデータ量を抑制可能となる。
記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば、対向車や道路横断中の歩行者との衝突の可能性がある前方及び左右方向についての生データは記録しつつも、危険性の低い後方の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存されるデータ量を抑制可能となる。
自動運転処理部は、周辺監視センサから検出能力が低下していることを示す信号が入力された場合に、HMIシステムと連携して運転席乗員に対して、周辺監視センサの検出能力が低下していることを通知する処理を実行するものであって、
記録処理部は、上記通知に対して、運転席乗員が運転モードを、当該検出能力が低下しているセンサを用いずに利用可能な動作モードへと切り替える操作を所定時間以内に行ったか否かを記録する。当該構成によれば、運転席乗員が自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
記録処理部は、走行用電源がオンまたはオフとなったことに基づいて、自動運転処理部のソフトウェアが最新の状態であるか否かを示すデータをデータ格納部に保存する。当該構成によれば、運転席乗員が、自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
データ格納部は、データの削除が可能な上書き可能領域(M1)と、データの削除ができない上書き禁止領域(M2)とを備え、
記録処理部は、
記録対象設定部によって記録対象に設定されてあって、情報取得部が取得するデータは上書き可能領域に保存する一方、
所定の記録イベントが生じた場合には、当該発生時点から過去所定時間以内に取得されたデータを上書き禁止領域に保存する。なお、記録イベントとしては、ODDの退出や、MRMの実行、自動運転レベルのダウン、運転席乗員によるオーバーライドなどが含まれる。当該構成によれば、イベント発生時の状況を示すデータが削除される恐れを低減できる。
記録処理部は、記録対象に設定されているデータに、改ざん防止用のハッシュ値を付与して保存する。上記構成によれば、保存データの一部が改ざんされる恐れを低減できる。または、保存データが不正に改ざんされた場合にはその旨を検出することが可能となる。
周辺監視センサの観測データには、車両の前方を撮像する前方カメラ(11a)の撮影画像が含まれており、
自律走行モード時における前方カメラの撮像画像に関連するデータが所定期間は保存されるように、データ格納部内の保存データを管理する、データ管理部(G5)を備える。なお、所定期間としては6ヶ月や3ヶ月を設定可能である。当該構成によれば、自律走行時の前方状況を示すデータが残りやすくなる。
データ管理部は、前方カメラの撮像画像データは、直近1か月間分は観測データ又は所定の解像度を保つデータ形式で保存する一方、それより過去に撮像されたデータは解像度またはフレームレートを低下させた形式で保存する。当該構成によれば、データ保存量を抑制できる。また、有用性が高い直近のデータは、情報量が多い形式で保存されるため、事故原因等の解析性が損なわれる恐れを低減できる。
自動運転処理部は、自律走行モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、自動化レベル5に相当するレベル5モードの少なくとも1つを備えるとともに、自律走行モード時には、車載センサの出力に基づいて自律走行機能の制御余裕度を評価するものであって、
記録処理部は、制御余裕度に応じてデータ格納部に保存する情報の密度を変更する。なお、制御余裕度はシステムの安定度に対応する。当該構成によれば制御余裕度が低い状況下においてはデータの保存量が増えるため、事後解析性が高まる。一方、制御余裕度が高い状況下においてはデータの保存量を抑制できる。
上記技術思想(10)の欄に記載の車両用記録装置において、制御余裕度が所定の閾値以上である場合には、所定の第1保存間隔でデータを取得及び保存する一方、制御余裕度が所定の閾値未満である場合には、第1保存間隔よりも短い第2保存間隔で、データの取得及び保存を実施する。
車両を自律走行させる自動運転機能を提供する自動運転装置であって、
運転操作の自動化レベルが異なる複数の動作モードを備え、
周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
車両を自律走行させる自律走行モードである場合に、周辺環境認識部の認識結果に基づき、次に実施予定の行動を含む行動計画を生成する行動計画部(F6)と、
行動計画部が生成した行動計画に基づき、走行アクチュエータの制御量を決定し、走行アクチュエータに制御信号を出力する制御実行部(F7)と、を備え、
周辺監視センサの観測データ、周辺環境認識部の認識結果、行動計画部が計画した次に実施予定の行動を示す予定行動、及び、制御実行部が決定した走行アクチュエータの制御量の少なくとも2つを記録用のデータセットとして記録装置(30)に出力する動作状態出力部(F9)と、を備える。
技術思想(12)に記載の自動運転装置であって、
動作状態出力部は、自律走行モード時、予定行動に関連する方向の周辺監視センサの観測データと、予定行動に関連する方向に対する環境認識部による認識結果を記録用のデータセットとして記録装置に出力する。
技術思想(13)の欄に記載の自動運転装置であって、
動作状態出力部は、自律走行モード時、予定行動として、右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、側方、及び斜め後方の少なくとも一部を検出範囲に含む周辺監視センサの観測データと、上記の方向に対する周辺環境認識部の認識結果を記録用のデータセットとして記録装置に出力する。
技術思想(13)または(14)の欄に記載の車両用記録装置であって、
動作状態出力部は、自律走行モード時、予定行動として、減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する周辺環境認識部の認識結果を、記録用のデータセットとして記録装置に出力する。
技術思想(13)から(15)の何れかの欄に記載の車両用記録装置であって、
動作状態出力部は、自律走行モード時、予定行動として、交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する周辺環境認識部の認識結果を、記録用のデータセットとして、記録装置に出力する。
車両を自動走行させる自動運転機能を提供する自動運転装置であって、
動作モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードと、を備え、
周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
乗員状態センサ(12a)から運転席乗員の状態を示す乗員状態データを取得する乗員状態認識部(F2)と、
レベル3モード又はレベル4モード時において、運転席乗員に運転権限を移譲する可能性がある場合には、乗員状態データを記録する記録処理部(G3)と、を備え、
記録処理部は、
レベル3モードでは、乗員状態データを記録し、
レベル4モードでは、車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に乗員状態データを記録する一方、退出残余時間が閾値以上である場合には乗員状態データは記録しないように構成されている。
Claims (13)
- 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
前記車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
前記自動運転処理部の前記動作モードを示す信号を取得するモード取得部(G11)と、
前記動作モードに応じて記録対象を変更する記録対象設定部(G2)と、
前記記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
記録対象となり得る前記複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、
前記情報取得部は、前記乗員状態データの1つとして、前記運転席乗員の顔画像を取得可能に構成されており、
前記記録対象設定部は、前記自動運転処理部が前記レベル3モードで動作している場合には前記顔画像を記録対象に含める一方、前記自動運転処理部が前記乗員関与モードで動作している場合には前記顔画像を記録対象から除外する、車両用記録装置。 - 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと車両を自律的に走行させる自律走行モードとを備える、自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
前記自律走行モードは、前記自動運転処理部が運転席乗員に運転操作の引き継ぎを要求する処理である引継ぎ要求処理を実行している状態である権限移譲モードを含み、
前記車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
前記自動運転処理部の動作モードを示す信号を取得するモード取得部(G11)と、
前記動作モードに応じて記録対象を変更する記録対象設定部(G2)と、
前記記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
記録対象となり得る前記複数種類の情報には、前記運転席乗員の状態を示す乗員状態データが含まれ、
前記情報取得部は、前記乗員状態データの1つとして、前記運転席乗員の顔画像を取得可能に構成されており、
前記モード取得部は、前記自動運転処理部との通信により、前記自動運転処理部が前記引継ぎ要求処理を実行中であるかを取得し、
前記記録対象設定部は、前記自動運転処理部が前記引継ぎ要求処理を実施している場合には前記顔画像を記録対象に含める一方、前記自動運転処理部が前記乗員関与モードで動作している場合には前記顔画像を記録対象から除外する、車両用記録装置。 - 請求項2に記載の車両用記録装置であって、
前記情報取得部は、
前記自動運転処理部が前記車両を自律的に走行させる自律走行モードとなっている場合、前記自動運転処理部から、周辺環境の認識結果を示す環境認識結果と、実施予定の行動である予定行動の情報と、走行アクチュエータの制御量との少なくとも1つを取得するとともに、周辺監視センサから観測データを取得し、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記環境認識結果、前記予定行動の情報、及び、前記制御量の少なくとも何れか1つと、前記周辺監視センサの前記観測データとを記録対象に設定する、車両用記録装置。 - 請求項3に記載の車両用記録装置であって、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記予定行動に関連する方向の前記周辺監視センサの前記観測データと、前記予定行動に関連する方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。 - 請求項4に記載の車両用記録装置であって、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであって且つ前記予定行動として右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、車線変更方向側の側方、及び、車線変更方向側の斜め後方の少なくとも一部を検出範囲に含む、少なくとも1つの前記周辺監視センサの前記観測データと、上記の方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。 - 自律走行中であることを外部に通知するための灯火装置である運転モード通知灯(51)を備える車両で使用される、請求項2から5の何れか1項に記載の車両用記録装置であって、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記運転モード通知灯の作動状態を記録対象に含める、車両用記録装置。 - 請求項2から6の何れか1項に記載の車両用記録装置であって、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記車両の周辺に存在する他車両の識別情報を記録対象に含める、車両用記録装置。 - 請求項7に記載の車両用記録装置であって、
前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記車両の周辺に存在する前記他車両の前記識別情報と、前記他車両の挙動を示すデータを記録対象に含める、車両用記録装置。 - 請求項2から8の何れか1項に記載の車両用記録装置であって、
前記自動運転処理部は、前記自律走行モード時、現在の状況が前記車両に対して設定されている自動運転許可条件を充足しているか否かを判定するものであって、
前記記録処理部は、前記自動運転処理部が前記自動運転許可条件を充足しなくなったと判定した場合には、その判定根拠を示すデータを前記自動運転処理部から取得して前記データ格納部に保存する、車両用記録装置。 - 請求項2から9の何れか1項に記載の車両用記録装置であって、
前記記録処理部は、前記自動運転処理部が前記引継ぎ要求処理を実施した場合には、前記引継ぎ要求処理の実行に至った理由を示すデータを前記自動運転処理部から取得して前記データ格納部に記録する、車両用記録装置。 - 請求項2から10の何れか1項に記載の車両用記録装置であって、
前記記録対象となり得る複数種類の情報には、前記車両の前方を撮像する前方カメラ(11a)の撮影映像が含まれており、
前記記録処理部は、前記自動運転処理部が前記自律走行モードで動作している場合、
前記前方カメラの撮像データを上書き可能な態様で保存するとともに、
所定の記録イベントが生じた場合には、その時点から過去所定時間以内に撮影された前記前方カメラの所定時間分の撮像データを、上書きできない態様で保存するように構成されており、
前記データ格納部は、前記前方カメラの前記所定時間分の映像データを、2000セット以上記録可能な容量を有している、車両用記録装置。 - 請求項2から11の何れか1項に記載の車両用記録装置であって、
前記自動運転処理部は、前記自律走行モードとして、自動運転レベル3に相当するレベル3モードと、自動運転レベル4に相当するレベル4モードと、を備え、
前記記録対象設定部は、
前記レベル3モードの間には、前記乗員状態データを記録対象に設定し続け、
前記レベル4モードでは、前記車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に前記乗員状態データを記録対象に含める一方、前記退出残余時間が前記閾値以上である場合には前記乗員状態データは記録対象から除外するように構成されている、車両用記録装置。 - 自動運転機能を提供するコンピュータであって、動作モードとして、自動運転レベル0から2の何れかに相当する乗員関与モードと自動運転レベル3に相当するレベル3モードとを備える、自動運転処理部(20)の作動状態を記録するための、プロセッサ(31)によって実行される情報記録方法であって、
車両に搭載されたセンサ類から、記録対象となりうる複数種類の情報を取得するとともに、前記自動運転処理部の動作モードを示す信号を取得するモード取得ステップ(S1)と、
前記動作モードに応じて記録対象を変更する記録対象設定ステップ(S2)と、
前記記録対象設定ステップで設定された記録対象に該当する情報を、所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する記録ステップ(S3、S5)と、を備え、
記録対象となり得る前記複数種類の情報には、運転席乗員の顔画像のデータが含まれており、
前記記録対象設定ステップは、前記レベル3モードが適用されている場合には前記顔画像を記録対象に含める一方、前記乗員関与モードが適用されている場合には前記顔画像を記録対象から除外するように構成されている、情報記録方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020079895A JP7380409B2 (ja) | 2020-04-29 | 2020-04-29 | 車両用記録装置、情報記録方法 |
PCT/JP2021/015694 WO2021220845A1 (ja) | 2020-04-29 | 2021-04-16 | 車両用記録装置、情報記録方法 |
US18/049,447 US20230063930A1 (en) | 2020-04-29 | 2022-10-25 | Vehicle recording device and information recording method |
JP2023134129A JP2023160848A (ja) | 2020-04-29 | 2023-08-21 | 車両用記録装置、運行状況記録プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020079895A JP7380409B2 (ja) | 2020-04-29 | 2020-04-29 | 車両用記録装置、情報記録方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023134129A Division JP2023160848A (ja) | 2020-04-29 | 2023-08-21 | 車両用記録装置、運行状況記録プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021174413A JP2021174413A (ja) | 2021-11-01 |
JP2021174413A5 JP2021174413A5 (ja) | 2022-07-07 |
JP7380409B2 true JP7380409B2 (ja) | 2023-11-15 |
Family
ID=78279929
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020079895A Active JP7380409B2 (ja) | 2020-04-29 | 2020-04-29 | 車両用記録装置、情報記録方法 |
JP2023134129A Pending JP2023160848A (ja) | 2020-04-29 | 2023-08-21 | 車両用記録装置、運行状況記録プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023134129A Pending JP2023160848A (ja) | 2020-04-29 | 2023-08-21 | 車両用記録装置、運行状況記録プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230063930A1 (ja) |
JP (2) | JP7380409B2 (ja) |
WO (1) | WO2021220845A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7469167B2 (ja) * | 2020-07-07 | 2024-04-16 | 本田技研工業株式会社 | 制御装置及び制御方法並びに車両 |
DE112020007365T5 (de) * | 2020-12-28 | 2023-05-17 | Honda Motor Co., Ltd. | Fahrzeugsteuervorrichtung, fahrzeugsteuerverfahren und programm |
BE1028777B1 (nl) * | 2021-03-25 | 2022-06-01 | Ivex | Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen |
WO2023106235A1 (ja) * | 2021-12-06 | 2023-06-15 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、および車両制御システム |
CN117636270B (zh) * | 2024-01-23 | 2024-04-09 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018190024A1 (ja) | 2017-04-11 | 2018-10-18 | 株式会社デンソー | 車両のデータ記憶装置 |
-
2020
- 2020-04-29 JP JP2020079895A patent/JP7380409B2/ja active Active
-
2021
- 2021-04-16 WO PCT/JP2021/015694 patent/WO2021220845A1/ja active Application Filing
-
2022
- 2022-10-25 US US18/049,447 patent/US20230063930A1/en active Pending
-
2023
- 2023-08-21 JP JP2023134129A patent/JP2023160848A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018190024A1 (ja) | 2017-04-11 | 2018-10-18 | 株式会社デンソー | 車両のデータ記憶装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230063930A1 (en) | 2023-03-02 |
WO2021220845A1 (ja) | 2021-11-04 |
JP2023160848A (ja) | 2023-11-02 |
JP2021174413A (ja) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7380409B2 (ja) | 車両用記録装置、情報記録方法 | |
CN106997203B (zh) | 车辆自动化及操作者参与等级预测 | |
US11347218B2 (en) | Portable universal autonomous driving system | |
JP7466396B2 (ja) | 車両制御装置 | |
CN114555443A (zh) | 使用驾驶员辅助来检测和解决异常驾驶员行为 | |
US11586210B2 (en) | Preemptive logical configuration of vehicle control systems | |
WO2022009900A1 (ja) | 自動運転装置、車両制御方法 | |
US20230118619A1 (en) | Parking-stopping point management device, parking-stopping point management method, and vehicle device | |
US20230120095A1 (en) | Obstacle information management device, obstacle information management method, and device for vehicle | |
US20220198842A1 (en) | Predictive analytics for vehicle health | |
WO2020009060A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 | |
CN111532269B (zh) | 车辆控制装置 | |
DE112022003364T5 (de) | Komplementäres steuersystem für ein autonomes fahrzeug | |
CN112238861B (zh) | 车辆控制装置 | |
US20230373530A1 (en) | Vehicle control device and vehicle control method | |
US11648938B2 (en) | Braking data mapping | |
CN116128053A (zh) | 用于自主运载工具的方法和系统以及计算机可读介质 | |
WO2023228781A1 (ja) | 処理システム及び情報提示装置 | |
JP7444295B2 (ja) | 処理装置、処理方法、処理プログラム、処理システム | |
US20240038069A1 (en) | Processing device, processing method, processing system, and storage medium | |
WO2023189578A1 (ja) | 移動体制御装置、移動体制御方法、及び、移動体 | |
WO2023090203A1 (ja) | 自動運行装置、車両制御方法 | |
KR20230113427A (ko) | 자율 주행 차량을 제어하는 방법 및 장치 | |
Carlsson | A system for the provision and management of route characteristic information to facilitate predictive driving strategies | |
DE112020002741T5 (de) | Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und bildgebungsvorrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |