WO2021101302A1 - 자율주행차량의 이벤트 데이터 기록을 위한 시스템 - Google Patents

자율주행차량의 이벤트 데이터 기록을 위한 시스템 Download PDF

Info

Publication number
WO2021101302A1
WO2021101302A1 PCT/KR2020/016445 KR2020016445W WO2021101302A1 WO 2021101302 A1 WO2021101302 A1 WO 2021101302A1 KR 2020016445 W KR2020016445 W KR 2020016445W WO 2021101302 A1 WO2021101302 A1 WO 2021101302A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
trigger signal
event
autonomous driving
event data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/016445
Other languages
English (en)
French (fr)
Inventor
이건창
임화평
박승욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200155377A external-priority patent/KR102870272B1/ko
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Priority to US17/778,521 priority Critical patent/US12482303B2/en
Priority to CN202080080487.2A priority patent/CN114730508A/zh
Priority to DE112020005125.0T priority patent/DE112020005125T5/de
Priority to JP2022529945A priority patent/JP7759875B2/ja
Publication of WO2021101302A1 publication Critical patent/WO2021101302A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers

Definitions

  • the present invention relates to a system for recording event data in an autonomous vehicle.
  • Event Data Recorder is capable of recording, storing, and extracting driving information or crash information for a certain period of time before and after the accident when a crash or accident occurs under certain conditions while the vehicle is running.
  • EDR Event Data Recorder
  • ACU airbag control module
  • EDR includes vehicle speed, brake operation, engine rotational speed (RPM), accelerator pedal, throttle valve operation, steering wheel angle, and seat belt.
  • Items such as wearing condition, crash severity (Crash Severity; Delta-V or Acceleration), tire pressure, gear position, and air-bag deployment data are recorded. do.
  • An autonomous vehicle operates in such a way that the autonomous driving system recognizes the environment, determines (determines) actions in each situation, and controls actuators, based on information collected from inside and outside the vehicle. If an error occurs in the process of recognition-decision-control in an autonomous vehicle, it can lead to an accident.Therefore, the recording conditions and items of the EDR system used in general vehicles are not suitable for properly identifying the cause of the accident in an autonomous vehicle. May not.
  • the present invention proposes a method of operating an EDR system suitable for properly identifying the cause of an accident in an autonomous vehicle.
  • a method of collecting and recording event data by a vehicle ie, an autonomous vehicle operating completely or partially in an autonomous driving mode.
  • the method includes receiving a trigger signal indicating the occurrence of one of a plurality of predefined events from subsystems of the autonomous driving system, and a recognition-decision-control process of the autonomous driving system before and after the event occurs.
  • Collecting event data including at least data related to, and recording the event data in an internal storage, and uploading the event data to a remote server communicatively connected to the autonomous vehicle.
  • the event data includes at least one of camera images inside/outside the autonomous vehicle, occupant recognition data of the autonomous vehicle, software version information of ECUs mounted on the vehicle, and information related to recently used V2X messages. It may contain one more.
  • the event data may further include object recognition information (eg, location, class, relative speed, etc.) suitable for reconstructing an external environment map surrounding the autonomous vehicle before and after the occurrence of the event. I can.
  • a data item or recording period constituting the event data may be different for at least some of the plurality of events.
  • the receiving of the trigger signal includes receiving a trigger signal indicating that the autonomous vehicle has left the lane from a subsystem that performs an autonomous driving function based at least in part on lane recognition information. It may include steps. In some embodiments, the receiving of the trigger signal includes from a subsystem that performs an autonomous driving function based at least in part on a time to collision (TCC), through braking based on the current speed of the vehicle. It may include receiving a trigger signal indicating that the collision cannot be avoided. In some embodiments, the receiving of the trigger signal includes receiving a trigger signal indicating that an emergency maneuver (EM) or a minimal risk maneuver (MRM) has been initiated from a subsystem of the autonomous driving system. It may include steps. In some embodiments, receiving the trigger signal may include receiving a trigger signal indicating that an intrusion into the vehicle internal network has been detected from the subsystem of the autonomous driving system.
  • TCC time to collision
  • MRM minimal risk maneuver
  • the recording period is extended while the type of the event and the occurrence time thereof are additionally recorded. It may further include the step of.
  • an autonomous driving system that controls a vehicle to operate completely or partially in an autonomous driving mode, a wireless communication system that enables communication between the vehicle and an external system, and an EDR that collects and manages event data.
  • a vehicle system including the system is provided.
  • the EDR system (1) receives a trigger signal indicating the occurrence of one of a plurality of predefined events from the subsystems of the autonomous driving system, and (2) recognition of the autonomous driving system before and after the event occurs. It is configured to collect event data including at least data related to the decision-control process, (3) record the event data in an internal storage, and upload the event data to a remote server through the wireless communication system.
  • FIG. 1 is a functional block diagram depicting a vehicle according to an exemplary embodiment of the present invention.
  • FIGS. 2A, 2B, and 2C are conceptual diagrams showing exemplary architectures in which an EDR system may be deployed in an autonomous vehicle.
  • FIG. 3 is a conceptual diagram illustrating a change in parameter D according to a recognized lane geometry and whether a lane is deviated.
  • FIG. 4 is a flowchart illustrating a method of determining an occurrence of an event to trigger an EDR system by an LKAS system according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of determining occurrence of an event to trigger an EDR system based on TTC according to an embodiment of the present invention.
  • 6A-6D illustrate some exemplary scenarios in which emergency maneuvering (EM) occurs in an autonomous driving system.
  • EM emergency maneuvering
  • FIG. 7 is a flowchart illustrating a method of triggering recording of an EDR system upon initiation of a minimum risk start (MRM) according to an embodiment of the present invention.
  • MRM minimum risk start
  • FIG 8 illustrates an external environment map surrounding an autonomous vehicle.
  • FIG 9 illustrates autonomous driving data to be stored by the EDR system according to an embodiment of the present invention.
  • first, second, A, B, (a) and (b) may be used. These terms are for distinguishing the constituent element from other constituent elements, and the nature, order, or order of the constituent element is not limited by the term.
  • a part'includes' or'includes' a certain element it means that other elements may be further included rather than excluding other elements unless otherwise stated.
  • the'... Terms such as'sub' and'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.
  • FIG. 1 is a functional block diagram depicting a vehicle according to an exemplary embodiment of the present invention.
  • the vehicle is configured to operate completely or partially in an autonomous driving mode, and thus may be referred to as a "self-driving vehicle".
  • the autonomous driving system 120 receives information from the sensor system 110 and, in an automated manner, based on the received information (e.g., setting steering to avoid detected obstacles). The above control process can be executed.
  • Vehicles can be completely autonomous or partially autonomous. In partially autonomous vehicles, some functions may be temporarily or continuously controlled manually by the driver. Further, the partially autonomous vehicle may be configured to be switchable between a fully manual operation mode and a partially autonomous operation and/or a fully autonomous operation mode.
  • the vehicle may include various functional systems such as the sensor system 110, the autonomous driving system 120, the wireless communication system 130, and the intrusion detection system 140.
  • a vehicle may include more or fewer (sub) systems and each (sub) system may include multiple components. Also, the (sub) systems of the vehicle can be connected to each other. Thus, one or more of the described functions of the vehicle may be divided into additional functional or physical components or combined into fewer functional or physical components.
  • the sensor system 110 includes one or more sensors configured to detect information about the environment surrounding the vehicle.
  • the sensor system 110 may include a satellite navigation device (GPS), a radar unit, a lidar (LIDAR) unit, a camera, an inertial measurement unit (IMU), a microphone, and the like.
  • the sensor system 110 may further include a sensor configured to monitor the vehicle's internal system (eg, fuel gauge, engine oil temperature, wheel speed sensor, etc.).
  • the autonomous driving system 120 may be configured to control the operation of the vehicle and its components.
  • the autonomous driving system 120 may include a recognition subsystem 121, a judgment subsystem 122 and a control subsystem 123.
  • Recognition subsystem 121 includes data (e.g., images, videos) captured by the sensor system to identify objects and/or features within the environment in which the vehicle is placed, including lane information, traffic signals, other vehicles, pedestrians, obstacles, etc. , Depth data, etc.). Recognition subsystem 121 may use sensor fusion algorithms, object recognition algorithms, video tracking or other computer vision techniques. The sensor fusion algorithm can provide various evaluations based on data from the sensor system. Evaluation may include evaluation of individual objects and/or features in the environment in which the vehicle is placed, evaluation of a specific situation, and/or evaluation of the impact on possible driving based on the specific situation.
  • data e.g., images, videos
  • Recognition subsystem 121 may use sensor fusion algorithms, object recognition algorithms, video tracking or other computer vision techniques.
  • the sensor fusion algorithm can provide various evaluations based on data from the sensor system. Evaluation may include evaluation of individual objects and/or features in the environment in which the vehicle is placed, evaluation of a specific situation, and/or evaluation of the impact on possible driving based on
  • the determination subsystem 122 is based on various evaluations of the recognition subsystem 121, based on an action (e.g., lane maintenance, lane change, left and right turn, low-speed vehicle overtaking, U-turn, emergency stop, shoulder stop) based on various evaluations of the recognition subsystem 121 , Parking, etc.). In addition, the determination subsystem 122 may plan a path to a destination or an obstacle avoidance path.
  • an action e.g., lane maintenance, lane change, left and right turn, low-speed vehicle overtaking, U-turn, emergency stop, shoulder stop
  • the determination subsystem 122 may plan a path to a destination or an obstacle avoidance path.
  • the control subsystem 123 controls the movement of the vehicle by controlling actuators required for the vehicle to travel according to the behavior for each driving situation determined by the determination subsystem 122.
  • the control subsystem 123 may control a steering unit configured to adjust steering of the vehicle.
  • the control subsystem 123 may control a throttle unit that controls an operating speed of an engine and/or a motor, thereby controlling the speed of the vehicle.
  • the control subsystem 123 may control a braking unit configured to slow down the vehicle.
  • Subsystems 121, 122, 123 of the autonomous driving system 120 cooperate with each other to provide various autonomous driving functions or ADAS (Advanced Dirver Assistance System) functions, such as ACC (Adaptive Cruise Control), LKAS (Lane Keeping Assist system), Forward Collision-Avoidance Assist (FCA), Autonomous Emergency Braking (AEB), and the like can be supported.
  • ADAS Advanced Dirver Assistance System
  • ACC Adaptive Cruise Control
  • LKAS Lane Keeping Assist system
  • FCA Forward Collision-Avoidance Assist
  • AEB Autonomous Emergency Braking
  • the subsystems 121, 122, and 123 of the autonomous driving system 120 may be implemented in a plurality of electronic control units (ECUs) or computer systems in a vehicle that perform one or more autonomous driving functions.
  • ECUs electronice control units
  • the wireless communication system 130 enables communication between a vehicle and an external system (eg, another vehicle or a server).
  • the wireless communication system 130 may wirelessly communicate with one or more devices directly or through a communication network.
  • the wireless communication system 130 is one or more of various wireless communication technologies such as cellular communication (eg, GSM, CDMA, LTE, 5G, etc.), a communication protocol of IEEE 802.11 (eg, WiFi, Bluetooth, ZigBee, etc.), and DRSC. Can be used.
  • the Intrusion Detection System (IDS) 140 is configured to detect and respond to security threats to the in-vehicle network.
  • the autonomous driving system 120 may generate data indicating whether one or more autonomous driving functions are currently activated.
  • the autonomous driving system 120 may generate data indicating whether an adaptive cruise control (ACC) function is currently activated.
  • the autonomous driving system 120 may generate data indicating whether the driving of the vehicle is currently completely automatically controlled rather than manually.
  • ACC adaptive cruise control
  • the vehicle further includes an EDR system 150 configured to receive data from several (sub) systems in the vehicle including the sensor system 110.
  • One or more (sub) systems may provide data to the EDR system 150 via a data bus (eg, a CAN bus, an Ethernet bus, etc.).
  • the EDR system 150 may collect data and/or analog signals provided or shared by respective (sub) systems from the data bus in real time.
  • the EDR system 150 may periodically sample data from (sub) systems.
  • the EDR system 150 may generate a time stamp for each sampled data point.
  • One or more (sub) systems detect the occurrence of one or more pre-set events, and provide trigger signals notifying the occurrence of the event to the EDR system 150, thereby causing the EDR system to generate event-related data (hereinafter referred to as'EDR data'). May be referred to as) to write to non-volatile memory.
  • Each trigger signal may include a unique identifier capable of uniquely identifying a related event or trigger condition.
  • the EDR system may apply different data items and/or recording periods to be recorded.
  • the vehicle may be configured to upload EDR data to a remote server (not shown) that collects and manages EDR data from multiple vehicles through the wireless communication system 130.
  • the remote server may be operated by a vehicle manufacturer or a service provider that provides EDR data management services.
  • FIGS. 2A, 2B, and 2C are conceptual diagrams showing exemplary architectures in which an EDR system may be deployed in an autonomous vehicle.
  • an EDR system specialized for an autonomous vehicle may be built into the main controller (integrated ECU) of the autonomous vehicle as a sub-module.
  • the EDR system may receive trigger signals not only from the main controller, but also from an airbag control module (ACM) located outside the main controller, an intrusion detection system (IDS), or the like.
  • the autonomous vehicle may further include an EDR system that operates in the same manner as a typical conventional EDR system, which is built into the airbag controller (ACU) as a sub-module.
  • the EDR system in an autonomous vehicle may be embedded as a sub-module in an airbag controller (ACU), like a conventional typical EDR system.
  • the EDR system may receive trigger signals not only from the airbag controller (ACU), but also from the main controller and IDS system of the autonomous driving system located outside the airbag controller (ACU).
  • the autonomous vehicle may be equipped with an independent electronic control unit (ECU) that performs an EDR function.
  • the EDR system may receive trigger signals notifying the occurrence of an event from an airbag controller (ACU) on a vehicle network, a main controller of an autonomous driving system, an IDS system, and the like.
  • ACU airbag controller
  • the conventional EDR system is configured to record predefined data items upon receiving an event trigger signal from an airbag control unit (ACU).
  • ACU airbag control unit
  • Such an event may in particular be a traffic collision.
  • a collision accident can be detected when deployment of an irreversible safety device such as an airbag or a pretensioner is triggered, for example.
  • a collision accident may also be detected when an acceleration/deceleration exceeding a predefined threshold (eg, a speed change of 8 km/h or more within 150 ms) occurs.
  • a predefined threshold eg, a speed change of 8 km/h or more within 150 ms
  • These trigger conditions used in general vehicles may not be suitable for adequately determining the cause of an accident in an autonomous vehicle.
  • the present disclosure presents various event trigger conditions suitable for an autonomous vehicle and data items suitable for reconfiguring an environment inside and outside the vehicle surrounding the events.
  • subsystems of the autonomous driving control system may determine whether an event that satisfies a preset event condition has occurred, and when an event
  • the computer vision system may recognize a lane by analyzing image data output from a camera sensor, and provide lane recognition information to the lane keeping system.
  • the lane recognition information includes not only the distance to the lane marking, but also lane geometry parameters such as a heading angle and curvature.
  • A denotes a curvature rate
  • B denotes a curvature
  • C denotes a heading angle
  • D denotes a lateral offset.
  • the lane recognition information may include a quality signal indicating reliability of the lane geometry measurement. The quality signal can be classified into a total of 4 levels (Very Low Quality, Low Quality, High Quality, and Very High Quality).
  • the degree of lane departure is determined using the size of the parameter D, which is included in the lane recognition information, indicating the lateral distance between the vehicle and the lane, and when excessive lane departure is detected. It is possible to generate a trigger signal that triggers the recording of the EDR system.
  • FIG. 4 is a flowchart illustrating a method of determining an occurrence of an event to trigger an EDR system by an LKAS system according to an embodiment of the present invention.
  • the LKAS system receives lane recognition information from the computer vision system while driving (S410).
  • the LKAS system may determine whether a quality signal indicating the reliability of the lane geometry measurement included in the lane recognition information is equal to or higher than a preset level (eg,'High Quality') (S420).
  • a preset level eg,'High Quality'
  • the parameter (D) indicating the lateral distance between the vehicle and the lane included in the lane recognition information is It is determined whether or not a preset threshold (thr) is exceeded (S430).
  • a preset threshold e.g.,'High Quality'
  • the LKAS system generates a trigger signal that triggers recording of the EDR system (S450).
  • the quality signal is less than a preset level (eg,'High Quality') ('No' in S420)
  • sensor fusion that is, different sensors (GPS, camera sensor, radar sensor, lidar sensor, etc.) It may be determined whether the lane is departed by using the data obtained from (S440). For example, map the location information of the vehicle to a precision map, use data obtained from a camera sensor for a vehicle surround view monitor (SVM), or use a virtual device based on the location of other vehicles recognized using a radar sensor or a lidar sensor. It is also possible to determine a lane and determine whether to deviate from a lane based on an imaginary lane.
  • the LKAS system When the lane departure is detected based on the sensor fusion ('Yes' in S440), the LKAS system generates a trigger signal that triggers recording of the EDR system (S450).
  • Time To Collision is one of the most widely used metrics when determining the possibility of a collision with an obstacle (vehicle or pedestrian) in front or behind.
  • TTC is used not only for the Forward Collision-Avoidance Assist (FCA) system, but also to measure the risk of collision with obstacles around the vehicle. For example, when there is a cut-in vehicle in a short distance, the TTC may be a criterion for determining whether the host vehicle accelerates or decelerates.
  • TTC is generally defined as'relative distance/relative speed', and acceleration of the vehicle is also considered to more accurately measure the risk of collision.
  • the autonomous driving system can calculate the TTC by estimating the relative distance and relative speed of an obstacle in front of a radar sensor, a camera sensor, a lidar sensor, an ultrasonic sensor, or data fusion of these.
  • a more accurate TTC calculation may be made using the location and speed of nearby vehicles obtained through V2V communication. If the steering angle or brake state value of the surrounding vehicle is directly acquired through V2V communication, it will be possible to predict the movement of the surrounding vehicle far ahead of the environmental sensor. In addition, if the V2V communication is used, information on surrounding information vehicles can be obtained even when a field of view is not secured.
  • FCA or similar collision mitigation systems are fundamentally aimed at mitigating the damage caused by collisions.
  • the basic concept is to reduce the damage by reducing the collision energy as much as possible by pre-braking.
  • emergency braking is performed immediately before the collision, and the vehicle can be stopped immediately before the accident, but it may be difficult to avoid the collision itself even if the FCA operates normally above the medium speed where the inertia acts relatively high.
  • emergency braking is already performed immediately before the collision, so in the actual collision situation, a significant portion of the speed energy has been canceled, so the damage caused by the accident can be reduced that much.
  • the recording of the EDR system may be triggered before the actual collision occurs.
  • FIG. 5 is a flowchart illustrating a method of determining occurrence of an event to trigger an EDR system based on TTC according to an embodiment of the present invention.
  • the subsystem of the autonomous driving system may calculate the TTC (S510) and determine whether the calculated TTC is extremely short (S520). For example, the subsystem may determine whether the calculated TTC is shorter than a preset threshold (eg, 2 sec).
  • a preset threshold eg, 2 sec
  • the subsystem When it is determined that the calculated TTC is extremely short (that is, if the calculated TTC is shorter than a preset threshold value;'Yes' in S520), the subsystem immediately generates a trigger signal for triggering recording of the EDR system (S550). At the same time, the subsystem can perform emergency braking by controlling the braking system.
  • the subsystem determines whether a collision cannot be avoided by performing braking based on the current speed of the vehicle (S530). For example, the subsystem may determine that the collision cannot be avoided when the deceleration required to avoid the collision exceeds a predetermined maximum deceleration (limit deceleration) of the vehicle. Alternatively, if it is determined that the current speed of the vehicle exceeds the critical speed, the subsystem may determine that the collision cannot be avoided. When it is determined that the collision cannot be avoided by performing braking based on the current speed of the vehicle ('Yes' in S530), the subsystem generates a trigger signal that triggers recording of the EDR system (S550).
  • the subsystem will determine the required deceleration and (braking, etc.) until the next TTC is determined. Comparison between the vehicle's limit decelerations (corresponding to the changed vehicle speed) may be repeatedly performed (S540).
  • EMF Emergency Manoeuver
  • EM is a maneuver performed by an autonomous driving system in the event of a sudden and unexpected event where there is a risk of a vehicle colliding with another object for the purpose of avoiding or mitigating a collision.
  • the autonomous driving system can detect whether the vehicle is in imminent danger of colliding with a road user in front or on the side of the vehicle due to a sudden and unexpected event. If the time is too short to safely switch control back to the driver, emergency maneuvering (EM) is initiated automatically. To avoid or mitigate an impending collision, emergency maneuver (EM) may perform protective deceleration or automatic avoidance maneuvering up to the maximum braking performance of the vehicle.
  • the autonomous driving system may generate a trigger signal that triggers recording of the EDR system when the emergency maneuver (EM) is started.
  • 6A-6D illustrate some exemplary scenarios in which emergency maneuvering (EM) occurs in an autonomous driving system.
  • EM emergency maneuvering
  • FCA Forward Collision-Avoidance Assist
  • the autonomous driving system is used when a failure occurs in the autonomous vehicle such as a defect in the autonomous driving sensor, the intrusion detection system (IDS) detects intrusion into the vehicle's internal network, or requires manual control of the driver for other reasons. You can ask the driver to switch control.
  • IDS intrusion detection system
  • MRM Minimal Risk Manoeuver
  • the drive system can detect whether the driver has resumed manual control after issuing a changeover request. If the driver does not resume manual control within a certain period of time, the MRM can be initiated immediately. When the vehicle detects that the driver has taken over manual control of the vehicle, the MRM can be terminated.
  • the MRM may automatically perform one or more of the following actions: (a) slowing the vehicle in the lane with a deceleration of less than 4 m/s2; (b) Stopping a vehicle in a lane other than a high-speed lane (eg, a low-speed lane, an emergency lane, or a roadside).
  • MRM Initiation of MRM can trigger recording of the EDR system.
  • the MRM control may be operated in various ways depending on the case that caused the cause, and sometimes a situation in which the event duration is long may occur. Depending on the cause of the MRM initiation, the recording method of the EDR system may be different.
  • the EDR system may continuously store information about the recognition-decision-control process of the autonomous driving system while the MRM is being performed. have.
  • the identifier (ID) and the time of the fault of the faulty sensor are stored, while recording of the EDR system until the user receives driving control rights. ) Can be driven.
  • the sensitivity to the event may be increased by lowering a decision criterion or a threshold of a trigger condition for determining the occurrence of an event that triggers recording of the EDR system from the moment the MRM is initiated. For example, if a sudden acceleration/deceleration showing a speed change of 8km/h or more is detected within 150 ms before the MRM start, the EDR system records are triggered, but during the MRM operation, acceleration/deceleration showing a speed change of 4km/h or more within 150 ms is detected. This can trigger the recording of the EDR system.
  • FIG. 7 is a flowchart illustrating a method of triggering recording of an EDR system upon initiation of an MRM according to an embodiment of the present invention.
  • the driving system may estimate the duration of the MRM control based on the situation that causes the MRM initiation (S720). If the estimated duration is shorter than the preset threshold ('short' in S710), the driving system may immediately trigger the recording of the EDR system (S750).
  • the driving system If the estimated duration is longer than the preset threshold ('long' in S710), the driving system lowers the threshold of the trigger condition or the decision criterion for determining the occurrence of the event that triggers the recording of the EDR system. Can be (S730). Thereafter, the driving system may monitor the occurrence of an event that triggers recording of the EDR system by applying a relaxed decision criterion or a threshold of a trigger condition (S740). When the occurrence of an event that satisfies the relaxed decision criterion is detected ('Yes' in S740), the driving system may trigger recording of the EDR system (S750).
  • a new trigger signal may be generated before data recording of the EDR system according to any one trigger signal is terminated.
  • the EDR system may extend the data recording time and store the type of the event (or trigger signal) that has occurred and the occurrence time of the event.
  • the trigger signal may include an identifier that uniquely identifies the type of event.
  • the data items recorded during the extended time period may be the same as or less than the data items recorded in the time period corresponding to the initial trigger signal.
  • the vehicle may include an Intrusion Detection System (IDS) configured to detect and respond to security threats to the vehicle's internal network.
  • IDS Intrusion Detection System
  • the intrusion detection system detects an intrusion into an in-vehicle network, it may generate a trigger signal that triggers recording of the EDR system.
  • the EDR system may apply differently the data items to be recorded and/or recording periods for at least some of the trigger signals.
  • Self-driving vehicles operate in a way that recognizes the environment, determines (determines) actions in each situation, and controls actuators, based on information collected from inside and outside the vehicle. If an error occurs in the process, it can lead to an accident. Therefore, it is desirable to record and store information on the self-driving vehicle's recognition-decision-control process in order to properly identify the cause of the autonomous vehicle's accident.
  • the present invention proposes EDR data items suitable for identifying the cause of an event occurring in an autonomous vehicle.
  • these data items may be useful for reconfiguring an external environment map (as shown in FIG. 8) surrounding the autonomous vehicle at the time of the event and reconfiguring the internal environment of the vehicle.
  • EDR data may include a software version, autonomous driving data, camera images inside/outside a vehicle, occupant recognition data, V2X messages, and the like.
  • the software version represents the software version of each electronic control unit (ECU) mounted on the vehicle.
  • the occupant recognition data may indicate a driver's state (eg, distraction, drowsiness, unresponsiveness), the presence of a passenger, and the like.
  • the EDR data may include information on recent V2X messages exchanged with infrastructure and surrounding vehicles through V2X communication.
  • the autonomous driving data includes ⁇ cognitive data>, ⁇ decision data>, and ⁇ control data>.
  • the ⁇ cognitive data> of autonomous driving data may include the following information.
  • -Classification of detected obstacles Includes perceived dynamic obstacle information (eg, class of objects such as pedestrians, bicycles, motorcycles, passenger cars, buses, etc.) that may cause an accident during vehicle operation.
  • perceived dynamic obstacle information eg, class of objects such as pedestrians, bicycles, motorcycles, passenger cars, buses, etc.
  • -Lane recognition information Includes lane geometry parameters (curvature, curvature rate, heading angle, lateral offset) output from a computer vision system and a quality indicator indicating the reliability of lane geometry measurement.
  • Information on the used positioning technology includes, for example, information such as GPS, V2X, whether a precision map is used, and a version of the used precision map.
  • TTC Time To Collision
  • ⁇ Judgment Data> of autonomous driving data may include the following information.
  • -Object data analyzed after surrounding recognition Includes the class of the recognized objects, x,y coordinates/size/relative speed (using sensor fusion), and the speed and direction of the own vehicle movement. These data can be useful to reconstruct a map of the external environment surrounding the autonomous vehicle at the time of the event.
  • -Behavioral scenarios of the determined driving situation For example, lane maintenance, lane change, left/right turn, U-turn, emergency stop, shoulder stop, parking, cut-in for nearby vehicles, vehicle in front Cut-out, etc.
  • the ⁇ control data> of autonomous driving data may include the following information.
  • actuator control information such as steering wheel torque, acceleration/deceleration pedals, etc.
  • actuator control information such as steering wheel torque, acceleration/deceleration pedals, etc.
  • the various methods, apparatuses, systems, and subsystems described in this disclosure may include a processor, memory, disk or other mass storage, communication interface, input/output (I/O) devices, and other peripheral devices.
  • Branches can also be implemented by a general-purpose computer.
  • a general purpose computer may function as an apparatus for executing the above-described method by loading software instructions into a processor and then executing the instructions to perform the functions described in the present disclosure.
  • a module may be implemented as a custom very-large-scale integration (VLSI) circuit or as a hardware circuit including semiconductors such as gate arrays, logic chips, and transistors.
  • VLSI very-large-scale integration
  • the module may also be implemented as a programmable hardware device such as a field programmable gate array (FPGA), programmable array logic, programmable logic devices, and the like.
  • FPGA field programmable gate array
  • the various methods described in the present disclosure may be implemented with instructions stored in a non-transitory recording medium that can be read and executed by one or more processors.
  • the non-transitory recording medium includes, for example, all types of recording devices in which data is stored in a form readable by a computer system.
  • the non-transitory recording medium includes a storage medium such as an erasable programmable read only memory (EPROM), a flash drive, an optical drive, a magnetic hard drive, and a solid state drive (SSD).
  • EPROM erasable programmable read only memory
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

자율주행차량의 이벤트 데이터 기록을 위한 시스템을 개시한다. 본 개시는 차량의 사고원인을 적절히 규명하는 데에 적합한 EDR 시스템의 운용 방식을 제시한다. 자율주행제어 시스템의 서브시스템들은 기설정된 조건을 만족하는 이벤트가 발생하였는지 판단하고, 이벤트 발생이 검출되면 EDR 시스템에 그 이벤트와 관련된 데이터 항목들의 기록을 트리거하는 트리거 신호를 전달할 수 있다. EDR 시스템은 이벤트 발생 당시의 자율주행차량을 둘러싼 외부 환경 맵을 재구성하거나 차량의 내부 환경을 재구성하는 데에 유용한 데이터 항목들을 기록할 수 있다.

Description

자율주행차량의 이벤트 데이터 기록을 위한 시스템
본 발명은 자율주행차량에서 이벤트 데이터를 기록하는 시스템에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
이벤트 데이터 레코더(Event Data Recorder; EDR)는 차량 운행 중 일정 조건의 충돌(Crash)이나 사고(Event)가 발생하면 사고 전·후 일정 시간 동안의 운행정보나 충돌정보를 기록, 저장, 추출할 수 있는 데이터 기록 장치로서, 일반적으로 차량의 에어백 제어모듈(ACU)에 내장된다.
EDR에는 차량의 속도(Speed), 브레이크 작동상태, 엔진회전수(RPM), 가속페달(Accelerator Pedal), 스로틀밸브(Throttle Valve) 작동상태, 조향핸들 각도(Steering Wheel Angle), 안전벨트(Seat Belt) 착용상태, 충돌의 치명도(Crash Severity; Delta-V or Acceleration), 타이어 공기압력(Tire Pressure), 변속기어 위치(Gear Position), 에어백의 전개정보(Air-bag Deployment Data) 등과 같은 항목들이 기록된다.
자율주행차량은 차량 내/외부로부터 수집된 정보를 기초로, 자율주행시스템이 환경을 인식하고 상황별 행동을 판단(결정)하고 액츄에이터 등을 제어하는 방식으로 동작한다. 자율주행차량에서 인식-판단-제어 과정에서 오류가 발생하면 사고로 연결될 수 있는 바, 일반 차량에 사용되는 EDR 시스템의 기록 조건이나 기록 항목들은 자율주행차량의 사고원인을 적절히 규명하는 데에 적합하지 않을 수 있다.
본 발명은 자율주행차량의 사고원인을 적절히 규명하는 데에 적합한 EDR 시스템의 운용 방식을 제안한다.
본 개시의 일 측면에 따르면, 자율주행모드로 완전히 혹은 부분적으로 동작하는 차량(즉, 자율주행차량)이 이벤트 데이터를 수집 및 기록하는 방법이 제공된다. 상기 방법은, 자율주행시스템의 서브시스템들로부터 미리 정의된 복수의 이벤트들 중 하나의 발생을 지시하는 트리거 신호를 수신하는 단계와, 상기 이벤트 발생 전후의 상기 자율주행시스템의 인식-판단-제어 과정에 관련된 데이터를 적어도 포함하는 이벤트 데이터를 수집하는 단계와, 상기 이벤트 데이터를 내부 저장소에 기록하고, 상기 자율주행 차량과 통신가능하게 연결된 원격 서버에 상기 이벤트 데이터를 업로드하는 단계를 포함한다.
일부 실시예에서, 상기 이벤트 데이터는 상기 자율주행 차량 내/외부의 카메라 이미지, 상기 자율주행차량의 탑승자 인지 데이터, 상기 차량에 탑재된 ECU들의 소프트웨어 버전 정보, 및 최근 사용된 V2X 메시지 관련 정보 중 적어도 하나를 더 포함할 수 있다. 일부 실시예에서, 상기 이벤트 데이터는 상기 이벤트의 발생 전후의 자율주행차량을 둘러싼 외부 환경 맵을 재구성하는 데에 적합한 (예컨대, 객체의 위치, 클래스, 상대 속도 등과 같은) 객체 인식 정보를 더 포함할 수 있다. 일부 실시예에서, 상기 이벤트 데이터를 구성하는 데이터 항목 또는 기록 기간은 상기 복수의 이벤트들의 적어도 일부에 대해 상이할 수 있다.
일부 실시예에서, 상기 트리거 신호를 수신하는 단계는, 차선 인지 정보에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터, 상기 자율주행차량이 차선을 이탈하였음을 지시하는 트리거 신호를 수신하는 단계를 포함할 수 있다. 일부 실시예에서, 상기 트리거 신호를 수신하는 단계는, 충돌예상시간(Time To Collision: TCC)에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터, 상기 차량의 현재 속도 기준으로 제동을 통해 충돌을 피할 수 없음을 지시하는 트리거 신호를 수신하는 단계를 포함할 수 있다. 일부 실시예에서, 상기 트리거 신호를 수신하는 단계는 상기 자율주행시스템의 서브시스템으로부터 긴급 기동(Emergency Maneuver; EM) 또는 최소 위험 기동(Minimal Risk Maneuver; MRM)이 개시되었음을 지시하는 트리거 신호를 수신하는 단계를 포함할 수 있다. 일부 실시예에서, 상기 트리거 신호를 수신하는 단계는 상기 자율주행시스템의 서브시스템으로부터 차량 내부 네트워크로의 침입을 탐지하였음을 지시하는 트리거 신호를 수신하는 단계를 포함할 수 있다.
일부 실시예에서, 상기 이벤트 데이터의 기록 기간의 종료 이전에 새로운 이벤트의 발생을 지시하는 새로운 트리거 신호가 수신되는 경우에, 상기 기록 기간을 연장하는 한편 발생한 이벤트의 종류 및 그 발생 시간을 추가로 기록하는 단계를 더 포함할 수 있다.
본 개시의 일 측면에 따르면, 차량을 자율주행모드로 완전히 혹은 부분적으로 동작하도록 제어하는 자율주행시스템과, 상기 차량과 외부 시스템간의 통신을 가능하게 하는 무선통신 시스템과 이벤트 데이터를 수집 및 관리하는 EDR 시스템을 포함하는 차량 시스템은 제공한다. 상기 EDR 시스템은 (1) 상기 자율주행시스템의 서브시스템들로부터 미리 정의된 복수의 이벤트들 중 하나의 발생을 지시하는 트리거 신호를 수신하고, (2) 상기 이벤트 발생 전후의 상기 자율주행시스템의 인식-판단-제어 과정에 관련된 데이터를 적어도 포함하는 이벤트 데이터를 수집하고, (3) 상기 이벤트 데이터를 내부 저장소에 기록하고, 상기 무선통신 시스템을 통해 원격 서버에 상기 이벤트 데이터를 업로드하도록 구성된다.
도 1은 본 발명의 예시적인 실시예에 따른 차량을 묘사하는 기능 블록도이다.
도 2a, 도 2b 및 도 2c는 자율주행차량에서 EDR 시스템이 전개될 수 있는 예시적인 아키텍쳐들을 보이는 개념도이다.
도 3은 인지된 차선 지오메트리와 차선 이탈 여부에 따른 매개변수 D의 변화를 예시하는 개념도이다.
도 4는 본 발명의 일 실시예에 따른, LKAS 시스템이 EDR 시스템을 트리거할 이벤트 발생을 판단하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른, TTC 기반으로 EDR 시스템을 트리거할 이벤트 발생을 판단하는 방법을 도시한 흐름도이다.
도 6a 내지 도 6d는 자율주행 시스템에서 긴급 기동(EM)이 발생하는 몇몇 예시적인 시나리오들이 예시한다.
도 7은 본 발명의 일 실시예에 따른, 최소위험기동(MRM)의 개시에 따라 EDR 시스템의 기록을 트리거하는 방법을 도시한 흐름도이다.
도 8은 자율주행차량을 둘러싼 외부 환경 맵을 예시한다.
도 9는 본 발명의 일 실시예에 따른, EDR 시스템에 의해 저장될 자율주행 데이터를 예시한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 예시적인 실시예에 따른 차량을 묘사하는 기능 블록도이다.
차량은 자율주행모드로 완전히 혹은 부분적으로 동작하도록 구성되고, 따라서 "자율주행차량" 이라고 지칭될 수 있다. 예를 들어, 자율주행 시스템(120)은 센서 시스템(110)으로부터 정보를 수신하고, 자동화된 방식으로, 수신된 정보를 기반으로 (예컨대, 검출된 장애물을 피하기 위해 조향을 설정하는 것과 같은) 하나 이상의 제어 프로세스를 실행할 수 있다.
차량은 완전히 자율적이거나 부분적으로 자율적일 수 있다. 부분 자율 차량에서, 일부 기능은 일시적으로 혹은 지속적으로 운전자에 의해 수동으로 제어될 수 있다. 또한, 부분 자율 차량은 완전 수동 동작 모드와 부분 자율 동작 및/또는 완전 자율 동작 모드 사이에서 전환 가능하도록 구성될 수 있다.
차량은 센서 시스템(110), 자율주행 시스템(120), 무선통신 시스템(130), 침입탐지 시스템(140)과 같은 다양한 기능 시스템들을 포함할 수 있다. 차량은 더 많거나 적은 (서브) 시스템들을 포함할 수 있고 각각의 (서브) 시스템은 복수의 구성요소들을 포함할 수 있다. 또한, 차량의 (서브) 시스템은 서로 연결될 수 있다. 따라서, 차량의 기술된 기능의 하나 이상은 추가적인 기능적 또는 물리적 컴포넌트들로 나누어지거나 더 적은 기능적 또는 물리적 컴포넌트들로 결합될 수 있다.
센서 시스템(110)은 차량을 둘러싼 환경에 대한 정보를 검출하도록 구성된 하나 이상의 센서를 포함한다. 예를 들어, 센서 시스템(110)은 위성 항법 장치(GPS), 레이더 유닛, 라이더(LIDAR) 유닛, 카메라, 관성 측정 유닛(IMU), 마이크로폰 등을 포함할 수 있다. 센서 시스템(110)은 차량의 내부 시스템을 모니터링하도록 구성된 센서(예를 들면, 연료 게이지, 엔진 오일 온도, 휠 속도 센서 등)를 추가로 포함할 수 있다.
자율주행 시스템(120)은 차량과 그 구성 요소의 작동을 제어하도록 구성될 수 있다. 자율주행 시스템(120)은 인식 서브시스템(121), 판단 서브시스템(122) 및 제어 서브시스템(123)을 포함할 수 있다.
인식 서브시스템(121)은 차선 정보, 교통 신호, 다른 차량, 보행자, 장애물 등을 포함한, 차량이 놓여진 환경 내의 객체 및/또는 특징을 식별하기 위해 센서 시스템에 의해 캡쳐된 데이터(예컨대, 이미지, 비디오, 심도 데이터 등)를 처리 및 분석하도록 구성된다. 인식 서브시스템(121)은 센서 퓨전 알고리즘, 객체 인식 알고리즘, 비디오 트래킹 또는 기타 컴퓨터 비전 기법을 사용할 수 있다. 센서 퓨전 알고리즘은 센서 시스템의 데이터를 기반으로 다양한 평가를 제공할 수 있다. 평가는 차량이 놓여진 환경에서 개별 객체 및/또는 특징의 평가, 특정 상황에 대한 평가, 및/또는 상기 특정 상황에 기초하여 가능한 주행에 대한 영향의 평가를 포함할 수 있다.
판단 서브시스템(122)은 인식 서브시스템(121)의 다양한 평가를 기초로, 주행 상황(시나리오)별 행동(예컨대, 차선유지, 차선변경, 좌우회전, 저속차량 추월, 유턴, 비상정지, 갓길정차, 주차 등)을 판단한다. 또한, 판단 서브시스템(122)은 목적지까지의 경로를 계획하거나 장애물 회피 경로를 계획할 수도 있다.
제어 서브시스템(123)은 판단 서브시스템(122)에 의해 결정된 주행 상황별 행동에 따라, 차량이 운행하는 데 필요한 액츄에이터들을 제어함으로써 차량의 움직임을 제어한다. 예컨대, 제어 서브시스템(123)은 차량의 조향을 조절하도록 구성된 조향 유닛을 제어할 수 있다. 다른 예로, 제어 서브시스템(123)은 엔진 및/또는 모터의 동작 속도를 제어하는 스로틀 유닛을 제어하여 그 결과 차량의 속도를 제어할 수 있다. 또 다른 예로, 제어 서브시스템(123)은 차량을 감속시키도록 구성된 제동 유닛을 제어할 수 있다.
자율주행 시스템(120)의 서브 시스템들(121, 122, 123)은 서로 협업하여 다양한 자율주행 기능들 혹은 ADAS(Advanced Dirver Assistance System) 기능들, 예컨대, ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist system), FCA(Forward Collision-Avoidance Assist), AEB(Autonomous Emergency Braking) 등을 지원할 수 있다. 자율주행 시스템(120)의 서브 시스템들(121, 122, 123)은 하나 이상의 자율주행 기능을 수행하는 차량 내 복수의 전자제어유닛(ECU) 혹은 컴퓨터 시스템에 구현될 수 있다.
무선통신 시스템(130)은 차량과 외부 시스템(예컨대, 다른 차량 또는 서버 등) 간의 통신을 가능하게 한다. 예를 들어, 무선통신 시스템(130)은 하나 이상의 장치들과 직접 또는 통신 네트워크를 통해 무선 통신할 수 있다. 무선통신 시스템(130)은 셀룰러 통신(예컨대, GSM, CDMA, LTE, 5G 등), IEEE 802.11의 통신 프로토콜(예컨대, WiFi, Bluetooth, ZigBee 등), DRSC 등의 다양한 무선통신기술들 중 하나 또는 복수를 사용할 수 있다.
침입탐지 시스템(Intrusion Detection System: IDS; 140)은 차량 내부 네트워크에 대한 보안 위협을 탐지하고 대응하도록 구성된다.
자율주행 시스템(120), 그 서브시스템들(121, 122, 123)은 물론 도 1에 도시되지 않은 다른 서브 시스템은 하나 이상의 자율주행 기능들이 현재 활성화되어 있는지를 나타내는 데이터를 생성할 수 있다. 예를 들어, 자율주행 시스템(120)은 어댑티브 크루즈 컨트롤(Adaptive Cruise Control; ACC) 기능이 현재 활성화되어 있는지 여부를 나타내는 데이터를 생성할 수 있다. 다른 예로서, 자율주행 시스템(120)은 차량의 주행이 현재 수동이 아닌 완전히 자동 제어되고 있는지 여부를 나타내는 데이터를 생성할 수도 있다.
차량은 센서 시스템(110)을 포함한 차량 내 여러 (서브) 시스템들로부터 데이터를 수신하도록 구성된 EDR 시스템(150)을 추가로 포함한다. 하나 이상의 (서브) 시스템들은 데이터 버스(예컨대, CAN 버스, Ethernet 버스 등)를 통해 EDR 시스템(150)에 데이터를 제공할 수 있다. EDR 시스템(150)은 데이터 버스로부터 각 (서브) 시스템들에 의해 제공된 혹은 공유된 데이터 및/또는 아날로그 신호를 실시간으로 수집할 수 있다. EDR 시스템(150)은 (서브) 시스템들로부터의 데이터를 주기적으로 샘플링할 수 있다. EDR 시스템(150)은 각 샘플링된 데이터 포인트에 대한 타임 스탬프를 생성할 수 있다.
하나 이상의 (서브) 시스템들은 사전에 설정된 하나 이상의 이벤트들의 발생을 검출하고, 이벤트 발생을 알리는 트리거 신호들을 EDR 시스템(150)에 제공하고, 그리하여 EDR 시스템으로 하여금 이벤트와 관련된 데이터(이하 'EDR 데이터'로 지칭될 수 있음)를 비휘발성 메모리에 기록하도록 트리거할 수 있다. 각 트리거 신호들은 관련 이벤트 혹은 트리거 조건을 고유하게 식별할 수 있는 고유 식별자를 포함할 수 있다. 적어도 일부 트리거 신호에 대해 EDR 시스템은 기록할 데이터 항목들 및/또는 기록 기간들을 상이하게 적용할 수 있다.
차량은, 무선통신 시스템(130)을 통해, 다수의 차량으로부터 EDR 데이터를 수집 및 관리하는 원격 서버(미도시)에, EDR 데이터를 업로드하도록 구성될 수 있다. 원격 서버는 차량 제조사에 의해 운용되거나 EDR 데이터 관리 서비스를 제공하는 서비스 사업자에 의해 운용될 수 있다.
도 2a, 도 2b 및 도 2c는 자율주행차량에서 EDR 시스템이 전개될 수 있는 예시적인 아키텍쳐들을 보이는 개념도이다.
도 2a에 예시된 바와 같이, 자율주행차량에는 자율주행차량에 특화된 EDR 시스템이 자율주행 시스템의 메인제어기(통합 ECU) 내에 서브 모듈로서 내장될 수 있다. EDR 시스템은 메인제어기뿐만 아니라, 메인 제어기 외부에 위치한 에어백제어모듈(ACM), 침입탐지시스템(Intrusion Detection System; IDS) 등으로부터 이벤트 발생을 알리는 트리거 신호들을 수신할 수도 있다. 또한, 자율주행차량에는 에어백제어기(ACU) 내에 서브 모듈로서 내장된, 종래의 전형적인 EDR 시스템과 동일하게 동작하는 EDR 시스템을 더 포함할 수도 있다.
도 2b에 예시된 바와 같이, 자율주행차량에서 EDR 시스템은, 종래의 전형적인 EDR 시스템과 같이, 에어백제어기(ACU) 내에 서브 모듈로서 내장될 수도 있다. EDR 시스템은 에어백제어기(ACU)뿐만 아니라, 에어백제어기(ACU) 외부에 위치한 자율주행 시스템의 메인제어기, IDS 시스템 등으로부터 이벤트 발생을 알리는 트리거 신호들을 수신할 수도 있다.
도 2c에 예시된 바와 같이, 자율주행차량에는 EDR 기능을 수행하는 독립된 전자제어유닛(ECU)이 탑재될 수도 있다. EDR 시스템은 차량 네트워크 상의 에어백제어기(ACU), 자율주행 시스템의 메인 제어기, IDS 시스템 등으로부터 이벤트 발생을 알리는 트리거 신호들을 수신할 수도 있다.
EDR 트리거 조건의 다양화
종래의 EDR 시스템은 에어백 제어 유닛(Airbag Control Unit; ACU)로부터 이벤트 트리거 신호를 수신하면, 사전에 규정된 데이터 항목들을 기록하도록 구성되어 있다. 그러한 이벤트는 특히 충돌 사고(traffic collision)일 수 있다. 충돌 사고는, 예를 들어, 에어백 또는 프리텐션너(pretensioner) 등의 비가역 안전장치의 전개가 트리거되는 때에 감지될 수 있다. 충돌 사고는, 또한, 사전 정의된 임계 값을 초과하는 가감속(예컨대, 150 ms 내에 8km/h 이상의 속도 변화)이 발생할 때 감지될 수도 있다. 일반 차량에 사용되는 이러한 트리거 조건들은 자율주행차량의 사고원인을 적절히 규명하는 데에 적합하지 않을 수 있다. 본 개시는 자율주행차량에 적합한 다양한 이벤트 트리거 조건들과 이벤트들을 둘러싼 차량 내외부의 환경을 재구성하는 데에 적합한 데이터 항목들을 제시한다. 본 개시에 따르면, 자율주행제어 시스템의 서브시스템들은 기설정된 이벤트 조건을 만족하는 이벤트가 발생하였는지 판단하고, 이벤트 발생이 검출되면 EDR 시스템에 이벤트 트리거 신호를 전달할 수 있다.
(1) 차선 이탈
ADAS(Advance Driver Assistance System) 기술 중 차선 유지 시스템(Lane Keeping Assist System; LKAS)가 작동하는 상황에서, 차선 인지가 올바르게 되어있으나, 차량이 차로에서 크게 벗어났다고 판단되는 시점에, EDR 시스템의 기록이 트리거될 수 있다.
컴퓨터 비전 시스템은 카메라 센서로부터 출력되는 이미지 데이터를 분석하여 차선을 인지하고, 차선 인지 정보를 차선 유지 시스템에 제공할 수 있다. 차선 인지 정보는 차선 표시(lane marking)까지의 거리뿐만 아니라, 헤딩 앵글(heading angle), 곡률(curvature)와 같은 차선 지오메트리 매개변수들을 포함한다. 차선 인지 정보는 차량과 차선의 상대적인 운동을 묘사하는 3차 함수(y = Ax^3 + Bx^2 + Cx + D) 형태의 도로 방정식으로 제공될 수 있다. 여기서, A는 곡률변화량(curvature rate)를, B는 곡률(curvature)를, C는 헤딩 앵글(heading angle)를, D는 횡방향 거리(lateral offset)를 의미한다. 또한, 차선 인지 정보는 차선 지오메트리 측정의 신뢰도를 나타내는 품질 신호(quality signal)를 포함할 수 있다. 품질 신호는 총 4개의 레벨(Very Low Quality, Low Quality, High Quality, Very High Quality)로 구분될 수 있다.
도 3은 인지된 차선 지오메트리와 차선 이탈 여부에 따른 매개변수 D(= 0, 0.5)의 변화를 예시하는 개념도이다. 본 발명의 일 실시예에 따르면, 차량과 차선과의 횡방향 거리를 나타내는, 차선 인지 정보에 포함된, 매개변수(D)의 크기를 이용하여 차선 이탈 정도를 판단하고, 과도한 차선 이탈이 감지되면 EDR 시스템의 기록을 트리거하는 트리거 신호를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른, LKAS 시스템이 EDR 시스템을 트리거할 이벤트 발생을 판단하는 방법을 도시한 흐름도이다.
LKAS 시스템은 구동하는 동안 컴퓨터 비전 시스템으로부터 차선 인지 정보를 수신한다(S410). LKAS 시스템은 차선 인지 정보에 포함된 차선 지오메트리 측정의 신뢰도를 나타내는 품질 신호가 기설정된 레벨(예컨대, 'High Quality') 이상인지 여부를 판단할 수 있다(S420).
LKAS 시스템은, 품질 신호가 기설정된 레벨(예컨대, 'High Quality') 이상이면(S420의 'Yes'), 차선 인지 정보에 포함된 차량과 차선과의 횡방향 거리를 나타내는 매개변수(D)가 기설정된 임계값(threshold; thr)을 초과하는지 여부를 판단한다(S430). LKAS 시스템은, 매개변수(D)가 기설정된 임계값을 초과하면(S430의 'Yes'), EDR 시스템의 기록을 트리거하는 트리거 신호를 생성한다(S450).
LKAS 시스템은, 품질 신호가 기설정된 레벨(예컨대, 'High Quality') 미만이면(S420의 'No'), 센서 퓨전, 즉, 상이한 센서들(GPS, 카메라 센서, 레이더 센서, 라이다 센서 등)로부터 획득된 데이터를 이용하여 차선 이탈 여부를 판단할 수 있다(S440). 예컨대, 차량의 위치 정보를 정밀 지도에 매핑하거나, 차량 SVM(surround view monitor)용 카메라 센서로부터 얻어진 데이터를 이용하거나, 레이더 센서 혹은 라이다 센서를 이용하여 인식된 다른 차량들의 위치를 기초로 가상의 차선을 결정하고, 가상의 차선을 기준을 차선 이탈 여부를 판단할 수도 있다. LKAS 시스템은, 센서 퓨전에 기초하여 차선 이탈이 검출되면(S440의 'Yes'), EDR 시스템의 기록을 트리거하는 트리거 신호를 생성한다(S450).
(2) 임박한 충돌예상시간(Time To Collision; TTC)
충돌예상시간(Time To Collision; TTC)은 전방 혹은 후방의 장애물(차량 혹은 보행자)과의 충돌가능성을 판단할 때 가장 널리 사용되는 메트릭 중 하나이다. TTC는 전방충돌방지보조(Forward Collision-Avoidance Assist; FCA) 시스템 뿐만 아니라, 차량 주변에 존재하는 장애물과의 충돌 위험도를 측정하기 위해서도 사용된다. 예를 들어, 근거리 컷인(Cut-in) 차량이 있을 경우, TTC는 자차가 가속 또는 감속 할지 판단하는 기준이 될 수 있다.
TTC는 일반적으로 '상대거리/상대속도'로 정의되며, 충돌 위험을 보다 정확하게 측정할 수 있도록 차량의 가속도(acceleration)가 고려되기도 한다. 자율주행 시스템은 레이더 센서, 카메라 센서, 라이다 센서, 초음파 센서 혹은 이들의 데이터 퓨전을 통해 전방 장애물의 상대거리와 상대속도를 추정하여 TTC를 계산할 수 있다. 대안적으로, V2V통신을 통해 얻어지는 주변 차량의 위치 및 속도 등을 이용하여 보다 정확한 TTC 계산이 이루어질 수 있다. V2V 통신을 통해, 주변 차량의 조향각이나 브레이크 상태 값 등을 직접 획득한다면, 주변 차량의 움직임을 환경 센서보다 훨씬 앞서 예측이 가능할 것이다. 또한, V2V 통신을 이용하면 시야가 확보되지 않는 경우에도, 주변 정보 차량에 대한 정보를 획득 가능하다.
FCA 또는 이와 유사한 충돌 완화 시스템은 근본적으로 충돌에 대한 피해를 경감시키기 위한 목적을 가지고 있다. 즉, 충돌이 발생하더라도 사전제동에 의해 충돌에너지를 최대한 줄임으로써 피해를 경감시키는 것이 기본적 컨셉이다. 저속 주행의 경우에서는 충돌 직전에 긴급제동을 수행하여 사고발생 직전에 차량을 정차 시킬 수 있지만, 상대적으로 관성이 높게 작용하는 중속 이상에서는 FCA가 정상적으로 작동하더라도 충돌 자체를 피하기는 어려울 수 있다. 다만, 충돌이 발생하더라도 이미 충돌직전부터 긴급제동이 수행되기 때문에 실제 충돌상황에서는 상당부분의 속도에너지가 상쇄된 상태이므로 사고로 인한 피해는 그만큼 경감될 수 있는 것이다.
본 발명의 일 실시예에 따르면, TTC가 매우 짧거나 현재 속도 기준으로 긴급제동을 수행하여도 충돌을 피할 수 없다고 판단된 경우, 실제 충돌이 일어나기에 앞서, EDR 시스템의 기록이 트리거될 수 있다.
도 5는 본 발명의 일 실시예에 따른, TTC 기반으로 EDR 시스템을 트리거할 이벤트 발생을 판단하는 방법을 도시한 흐름도이다.
자율주행시스템의 서브 시스템(예컨대, FCA 또는 이와 유사한 충돌 완화 시스템)은 TTC를 산출하고(S510), 산출된 TTC가 극히 짧은지 여부를 판단할 수 있다(S520). 예컨대, 서브 시스템은 산출된 TTC가 기설정된 임계값(예컨대, 2sec)보다 짧은지 여부를 판단할 수 있다.
서브 시스템은 산출된 TTC가 극히 짧다고 판단되면(즉, 산출된 TTC가 기설정된 임계값보다 짧으면; S520의 'Yes'), 즉시 EDR 시스템의 기록을 트리거하는 트리거 신호를 생성한다(S550). 동시에, 서브 시스템은 제동 시스템을 제어하여 긴급제동을 수행할 수 있다.
산출된 TTC가 기설정된 임계값보다 짧지 않으면(S520의 'No'), 서브 시스템은 차량의 현재 속도 기준으로 제동을 수행하여 충돌을 피할 수 없는지 여부를 판단한다(S530). 예컨대, 서브 시스템은 충돌을 피하기 위해 필요한 감속도가 차량의 사전에 결정된 최대 감속도(한계 감속도)를 초과하는 경우에 충돌을 피할 수 없다고 판단할 수도 있다. 혹은, 서브 시스템은 차량의 현재 속도가 임계속도를 초과한다고 판단되면, 충돌을 피할 수 없다고 판단할 수 있다. 서브 시스템은 차량의 현재 속도 기준으로 제동을 수행하여 충돌을 피할 수 없다고 판단되면(S530의 'Yes'), EDR 시스템의 기록을 트리거하는 트리거 신호를 생성한다(S550).
충돌을 피하기 위해 필요한 감속도가 차량의 사전에 결정된 최대 감속도(한계 감속도)를 초과하지 않으면(S530의 'No'), 서브 시스템은, 다음 TTC가 결정되기 전까지, 필요 감속도와 (제동 등에 변경된 차량의 속도에 대응하는) 차량의 한계 감속도 간의 비교를 반복적으로 수행할 수 있다(S540).
(3) 긴급 기동(Emergency Maneuver; EM)이 구동된 상황
긴급 기동(Emergency Manoeuver; EM)은, 충돌을 피하거나 경감할 목적으로, 차량이 다른 물체와 충돌할 위험이 있는 갑작스런 예기치않은 이벤트의 경우에 자율주행 시스템에 의해 수행되는 기동이다.
자율주행 시스템은 갑작스러운 예기치않은 이벤트로 인해, 예컨대, 차량의 전방 또는 측면의 도로 사용자와 차량이 충돌할 임박한 위험에 처해 있는지 여부를 감지할 수 있다. 운전자에게 컨트롤을 안전하게 다시 전환하기에 시간이 너무 짧은 경우에는, 긴급 기동(EM)이 자동으로 시작된다. 임박한 충돌을 피하거나 완화하기 위해, 긴급 기동(EM)은, 차량의 최대 제동 성능까지 보호 감속을 수행하거나 자동 회피 기동을 수행할 수 있다. 자율주행 시스템은, 긴급 기동(EM)이 시작되면, EDR 시스템의 기록을 트리거하는 트리거 신호를 생성할 수 있다.
도 6a 내지 도 6d는 자율주행 시스템에서 긴급 기동(EM)이 발생하는 몇몇 예시적인 시나리오들이 예시된다.
- 차간거리유지 제어불가(종방향 제어 불가; 도 6a 참조): 차로유지 및 차간거리유지 제어 중에 충돌위험이 예상되는 경우에는 전방충돌방지보조(Forward Collision-Avoidance Assist; FCA) 시스템의 긴급제동 기능이 작동할 수 있다. 그러나, 선행차량이 급제동 혹은 추돌로 인하여 긴급하게 정지하여 자차와 선행차량의 충돌위험이 예상되는 경우, FCA 시스템의 긴급제동보다 짧은 시간에 차량의 최대 제동 성능까지 긴급제동이 수행될 수 있다.
- 차로유지 제어불가(횡방향 제어 불가; 도 6b 참조): 전동식 파워 스티어링(Motor-Driven Power Steering; MDPS) 결함 등으로 인해, 현재 주행차로를 이탈하여 주변차로에 위치한 차량과 충돌할 것으로 예상되는 경우, 긴급제동이 수행될 수 있다.
- 주행 중 엔진 꺼짐(종방향, 횡방향 제어 불가; 도 6c 참조): 차로유지 및 차간거리유지 제어 중에 엔진이 꺼지는 경우, 즉시 긴급제동이 수행될 수 있다.
- 전방 장애물 회피 후 위험 상황(도 6d 참조): 전방 장애물에 대한 회피 기동 후에 차량의 거동에 이상이 발생한 경우(예컨대, 차선을 이탈하거나 주행 차로로 복귀하는 것이 불가능한 경우), 즉시 긴급제동이 수행될 수 있다.
(4) MRM(Minimum Risk Maneuver)이 구동된 상황
자율주행 센서의 결함 등 자율주행차량에 장애가 발생하거나 침입탐지 시스템(Intrusion Detection System; IDS)이 차량 내부 네트워크로의 침입을 탐지하거나 혹은 다른 원인으로 운전자의 수동 제어가 필요한 경우에, 자율 주행 시스템은 운전자에게 제어권 전환을 요구할 수 있다.
최소 위험 기동(Minimal Risk Manoeuver; MRM)은, 예컨대 운전자가 제어권 전환 요구(transition demand)에 응답하지 않는 경우, 주율주행 시스템에 의해 자동으로 수행되는 교통 위험을 최소화하는 것을 목적으로 하는 절차를 의미한다.
주율주행 시스템은 전환 요구를 발행한 후 운전자가 수동 제어를 재개했는지 여부를 감지할 수 있다. 운전자가 일정 시간 내에 수동 제어를 재개하지 않은 경우, MRM이 즉시 개시될 수 있다. 운전자가 차량의 수동 제어를 인계 받았다는 것을 차량이 감지하면 MRM은 종료될 수 있다. MRM은 다음 조치 중 하나 이상을 자동으로 수행할 수 있다: (a) 4 m/s²이하의 감속도로, 차선 내에서 차량을 감속시키는 것; (b) 고속 차선 이외의 다른 차선(예컨대, 저속 차선, 비상 차선 또는 노변)에 차량을 정지시키는 것.
MRM의 개시는 EDR 시스템의 기록을 트리거할 수 있다. MRM 제어는 원인이 된 케이스에 따라 다양한 방식으로 운용될 수 있으며, 때로는 이벤트 지속시간(event duration)이 긴 상황도 발생할 수 있다. MRM의 개시의 원인에 따라, EDR 시스템의 기록 방식도 상이할 수 있다.
일부 실시예에서, 운전자가 제어권 전환 요구(transition demand)에 응답하지 않아 MRM이 개시된 경우에, EDR 시스템은 자율주행 시스템의 인식-판단-제어 과정에 관한 정보를 MRM이 수행되는 동안 지속적으로 저장할 수 있다.
일부 실시예에서, 자율주행 센서의 고장(fault)으로 인한 MRM이 개시된 경우에, 고장난 센서의 식별자(ID)와 고장 시점을 저장하는 한편, 사용자가 운전 제어권을 받을 때까지 EDR 시스템의 기록(recording)을 구동할 수 있다.
일부 실시예에서, MRM이 개시된 순간부터 EDR 시스템의 기록을 트리거하는 이벤트의 발생을 판정하기 위한 결정 기준 혹은 트리거 조건의 임계값(Threshold)를 낮추어, 이벤트에 대한 민감도를 높일 수 있다. 예컨대, MRM 개시 전에는 150 ms 내에 8km/h 이상의 속도 변화를 보이는 급격한 가감속을 검출하면 EDR 시스템의 기록을 트리거하되, MRM이 수행되는 동안에는 150 ms 내에 4km/h 이상의 속도 변화를 보이는 가감속을 검출하면 EDR 시스템의 기록을 트리거할 수 있다.
도 7은 본 발명의 일 실시예에 따른, MRM의 개시에 따라 EDR 시스템의 기록을 트리거하는 방법을 도시한 흐름도이다.
MRM 개시의 원인이 되는 상황의 발생이 검출되면(S710), 주율주행 시스템은 MRM 개시의 원인이 되는 상황 등을 기초로 MRM 제어의 지속시간(duration)을 추정할 수 있다(S720). 추정된 지속시간이 기설정된 임계값보다 짧으면(S710의 'short'), 주율주행 시스템은 즉시 EDR 시스템의 기록을 트리거할 수 있다(S750).
추정된 지속시간이 기설정된 임계값보다 길면(S710의 'long'), 주율주행 시스템은 EDR 시스템의 기록을 트리거하는 이벤트의 발생을 판정하기 위한 결정 기준 혹은 트리거 조건의 임계값(Threshold)를 낮출 수 있다(S730). 이후, 주율주행 시스템은 완화된 결정 기준 혹은 트리거 조건의 임계값(Threshold)를 적용하여, EDR 시스템의 기록을 트리거하는 이벤트의 발생을 모니터링할 수 있다(S740). 주율주행 시스템은 완화된 결정 기준을 만족하는 이벤트의 발생이 검출되면(S740의 'Yes'), EDR 시스템의 기록을 트리거할 수 있다(S750).
한편, EDR 시스템의 기록을 트리거하는 다양한 트리거 신호를 사용하는 경우에, 어느 한 트리거 신호에 따른 EDR 시스템의 데이터 기록이 종료되기 전에 새로운 트리거 신호가 발생할 수 있다. 이와 같이 복수의 트리거 신호가 연속적으로 발생하는 경우에, EDR 시스템은 데이터 기록 시간을 연장하는 한편 발생한 이벤트(혹은 트리거 신호)의 종류 및 그 이벤트의 발생 시간을 저장할 수 있다. 트리거 신호는 이벤트의 종류를 고유하게 식별하는 식별자를 포함할 수 있다. 이때, 연장된 시간구간 동안에 기록되는 데이터 항목들은 최초의 트리거 신호에 대응하는 시간구간에 기록되는 데이터 항목들과 동일하거나 더 적을 수 있다.
(5) 차량 네트워크에 대한 보안 위협이 감지된 경우
차량에는 차량 내부 네트워크에 대한 보안 위협을 탐지하고 대응하도록 구성된 침입탐지 시스템(Intrusion Detection System; IDS)이 포함되어 있을 수 있다. 침입탐지 시스템은 차량내 네트워크로의 침입을 탐지한 경우에, EDR 시스템의 기록을 트리거하는 트리거 신호를 생성할 수 있다.
이와 같이 EDR 시스템이 다양한 트리거 신호들을 수신하도록 구성될 때, EDR 시스템은 적어도 일부 트리거 신호에 대해 기록할 데이터 항목들 및/또는 기록 기간들을 상이하게 적용할 수 있다.
자율주행차량에 적합한 EDR 데이터 항목
자율주행차량은 차량 내/외부로부터 수집된 정보를 기초로, 자율주행 시스템이 환경을 인식하고, 상황별 행동을 판단(결정)하고, 액츄에이터 등을 제어하는 방식으로 동작하므로, 인식-판단-제어 과정에서 오류가 발생하면 사고로 연결될 수 있다. 따라서, 자율주행차량의 사고원인을 적절히 규명하기 위해서는 자율주행차량의 인식-판단-제어 과정에 관한 정보를 기록하고 보관하는 것이 바람직하다.
본 발명은 자율주행차량에서 발생한 이벤트의 원인을 규명하기에 적합한 EDR 데이터 항목들을 제안한다. 특히, 이들 데이터 항목들은 이벤트 발생 당시의 자율주행차량을 둘러싼 (도 8과 같은) 외부 환경 맵을 재구성하고, 차량의 내부 환경을 재구성하는 데에 유용할 수 있다.
본 발명의 일 실시예에 따른 EDR 데이터는 소프트웨어 버전, 자율주행 데이터, 차량 내/외부의 카메라 이미지, 탑승자 인지 데이터, V2X 메시지 등을 포함할 수 있다.
소프트웨어 버전은 차량에 탑재된 각 전자제어유닛(ECU)들의 소프트웨어 버전을 나타낸다. 탑승자 인지 데이터는 운전자의 상태(예컨대, 주의분산, 졸음, 무반응 상태), 동승자 존부 등을 나타낼 수 있다. 또한, EDR 데이터에는 V2X 통신을 통해 인프라 및 주변 차량과 주고받은 최근 V2X 메시지들에 관한 정보가 포함될 수 있다.
도 9에 예시된 바와 같이, 자율주행 데이터는 <인지 데이터>, <판단 데이터>, 및 <제어 데이터>를 포함한다.
자율주행 데이터의 <인지 데이터>는 다음과 같은 정보를 포함할 수 있다.
- 탐지한 장애물 분류: 차량운행시 사고를 유발할 수 있는 인지된 동적 장애물 정보(예컨대, 보행자, 자전거, 이륜차, 승용차, 버스 등과 같은 객체의 클래스)를 포함한다.
- 차선 인지 정보: 컴퓨터 비전 시스템에서 출력된 차선 지오메트리 매개변수들(curvature, curvature rate, heading angle, lateral offset) 및 차선 지오메트리 측정의 신뢰도를 나타내는 품질 지시자(quality indicator)를 포함한다.
- 차량의 위치 정보 및 사용된 측위 기술: 사용된 측위 기술에 관한 정보는, 예컨대 GPS, V2X, 정밀지도 사용 여부, 사용된 정밀지도의 버전 등의 정보를 포함한다.
- 인지된 충돌예상시간(Time To Collision; TTC)
자율주행 데이터의 <판단 데이터>는 다음과 같은 정보를 포함할 수 있다.
- 자율주행 기능들(LKA, FCA 등)의 활성화 여부
- 주변 인지 후 분석된 객체 데이터: 인지된 객체들의 클래스, x,y 좌표/크기/상대속도 (sensor fusion 이용), 자차 이동 속력 및 방향 등을 포함한다. 이들 데이터는 이벤트 발생 당시의 자율주행차량을 둘러싼 외부 환경 맵을 재구성하는 데에 유용할 수 있다.
- 판단된 주행 상황의 행동 시나리오 (횡방향, 종방향 시나리오): 예컨대, 차로유지, 차로변경, 좌/우회전, 유턴, 비상정지, 갓길정차, 주차, 근접차량 컷인(Cut-in), 전방차량 컷아웃(Cut-out) 등
자율주행 데이터의 <제어 데이터>는 다음과 같은 정보를 포함할 수 있다.
- 운전자 제어 정보: 스티어링 휠 토크, 가/감속 페달 등의 액츄에이터 제어 정보
- 자율주행 제어 정보: 스티어링 휠 토크, 가/감속 페달 등의 액츄에이터 제어 정보
전술한 예시적인 실시예는 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 일부 예들에서, 본 개시에서 설명된 다양한 방법들, 장치들, 시스템들, 서브시스템들은 프로세서, 메모리, 디스크 또는 다른 대용량 스토리지, 통신 인터페이스, 입/출력(I/O) 디바이스들 및 기타 주변 장치들을 가지는 범용 컴퓨터에 의해 구현될 수도 있다. 범용 컴퓨터는 소프트웨어 명령어들을 프로세서에 로딩한 다음, 본 개시에 설명된 기능을 수행하기 위해 명령들을 실행함으로써 상술한 방법을 실행하는 장치로 기능할 수 있다.
본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 ...부(unit) 혹은 모듈로 라벨링되었음을 이해해야 한다. 예를 들어, 모듈은 커스텀 VLSI(very-large-scale integration) 회로 또는 게이트 어레이, 논리 칩, 트랜지스터와 같은 반도체를 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈은 또한 필드 프로그래머블 게이트 어레이(field programmable gate array: FPGA), 프로그래머블 어레이 로직, 프로그래머블 로직 디바이스들 등과 같은 프로그래머블 하드웨어 디바이스로 구현될 수 있다.
한편, 본 개시에서 설명된 다양한 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2019년 11월 22일에 한국에 출원한 특허출원번호 제10-2019-0151529호 및, 2020년 11월 19일에 한국에 출원한 특허출원번호 제10-2020-0155377호에 대해 우선권을 주장한다.

Claims (18)

  1. 자율주행모드로 완전히 혹은 부분적으로 동작하는 차량이 이벤트 데이터를 수집 및 기록하는 방법에 있어서,
    자율주행시스템의 서브시스템들로부터 미리 정의된 복수의 이벤트들 중 하나의 발생을 지시하는 트리거 신호를 수신하는 단계;
    상기 이벤트 발생 전후의 상기 자율주행시스템의 인식-판단-제어 과정에 관련된 데이터를 적어도 포함하는 이벤트 데이터를 수집하는 단계; 및
    상기 이벤트 데이터를 내부 저장소에 기록하고, 상기 차량과 통신가능하게 연결된 원격 서버에 상기 이벤트 데이터를 업로드하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 이벤트 데이터는,
    상기 차량 내/외부의 카메라 이미지, 상기 차량의 탑승자 인지 데이터, 상기 차량에 탑재된 ECU들의 소프트웨어 버전 정보, 및 최근 사용된 V2X 메시지 관련 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 이벤트 데이터는,
    상기 이벤트의 발생 전후의 차량을 둘러싼 외부 환경 맵을 재구성하는 데에 적합한 객체 인식 정보를 더 포함하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    상기 이벤트 데이터를 구성하는 데이터 항목 또는 기록 기간은 상기 복수의 이벤트들의 적어도 일부에 대해 상이한 것을 특징으로 하는, 방법.
  5. 제1항에 있어서,
    상기 이벤트 데이터는,
    관련된 이벤트 또는 트리거 조건을 나타내는 정보와 함께 기록되고 업로드되는 것을 특징으로 하는, 방법.
  6. 제1항에 있어서,
    상기 트리거 신호를 수신하는 단계는,
    차선 인지 정보에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터, 상기 차량이 차선을 이탈하였음을 지시하는 트리거 신호를 수신하는 단계를 포함하는 것을 특징으로 하는, 방법.
  7. 제1항에 있어서,
    상기 트리거 신호를 수신하는 단계는,
    충돌예상시간(Time To Collision: TCC)에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터, 상기 차량의 현재 속도 기준으로 제동을 통해 충돌을 피할 수 없음을 지시하는 트리거 신호를 수신하는 단계를 포함하는 것을 특징으로 하는, 방법.
  8. 제1항에 있어서,
    상기 트리거 신호를 수신하는 단계는,
    상기 자율주행시스템의 서브시스템으로부터 긴급 기동(Emergency Maneuver; EM) 또는 최소 위험 기동(Minimal Risk Maneuver; MRM)이 개시되었음을 지시하는 트리거 신호를 수신하는 단계를 포함하는 것을 특징으로 하는, 방법.
  9. 제1항에 있어서,
    상기 트리거 신호를 수신하는 단계는,
    상기 자율주행시스템의 서브시스템으로부터 차량 내부 네트워크로의 침입을 탐지하였음을 지시하는 트리거 신호를 수신하는 단계를 포함하는 것을 특징으로 하는, 방법.
  10. 제1항에 있어서,
    상기 이벤트 데이터의 기록 기간의 종료 이전에 새로운 이벤트의 발생을 지시하는 새로운 트리거 신호가 수신되는 경우에, 상기 기록 기간을 연장하는 한편 발생한 이벤트의 종류 및 그 발생 시간을 추가로 기록하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
  11. 차량 시스템으로서,
    차량을 자율주행모드로 완전히 혹은 부분적으로 동작하도록 제어하는 자율주행시스템;
    상기 차량과 외부 시스템간의 통신을 가능하게 하는 무선통신 시스템; 및
    이벤트 데이터를 수집 및 관리하는 EDR 시스템
    을 포함하고,
    상기 EDR 시스템은,
    (1) 상기 자율주행시스템의 서브시스템들로부터 미리 정의된 복수의 이벤트들 중 하나의 발생을 지시하는 트리거 신호를 수신하고, (2) 상기 이벤트 발생 전후의 상기 자율주행시스템의 인식-판단-제어 과정에 관련된 데이터를 적어도 포함하는 이벤트 데이터를 수집하고, (3) 상기 이벤트 데이터를 내부 저장소에 기록하고, 상기 무선통신 시스템을 통해 원격 서버에 상기 이벤트 데이터를 업로드하도록 구성된 것을 특징으로 하는, 차량 시스템.
  12. 제11항에 있어서,
    상기 이벤트 데이터는,
    관련된 이벤트 또는 트리거 조건을 나타내는 정보와 함께 기록되고 전송되는 것을 특징으로 하는, 방법.
  13. 제11항에 있어서,
    상기 트리거 신호는,
    차선 인지 정보에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터 수신되는, 상기 차량이 차선을 이탈하였음을 지시하는 트리거 신호를 포함하는 것을 특징으로 하는, 차량 시스템.
  14. 제11항에 있어서,
    상기 트리거 신호는,
    충돌예상시간(Time To Collision: TCC)에 적어도 부분적으로 기초하여 자율주행 기능을 수행하는 서브시스템으로부터 수신되는, 상기 차량의 현재 속도 기준으로 제동을 통해 충돌을 피할 수 없음을 지시하는 트리거 신호를 포함하는 것을 특징으로 하는, 차량 시스템.
  15. 제11항에 있어서,
    상기 트리거 신호는,
    상기 자율주행시스템의 서브시스템으로부터 긴급 기동(Emergency Maneuver; EM) 또는 최소 위험 기동(Minimal Risk Maneuver; MRM)이 개시되었음을 지시하는 트리거 신호를 포함하는 것을 특징으로 하는, 차량 시스템.
  16. 제11항에 있어서,
    상기 트리거 신호는,
    상기 자율주행시스템의 서브시스템으로부터 차량 내부 네트워크로의 침입을 탐지하였음을 지시하는 트리거 신호를 포함하는 것을 특징으로 하는, 차량 시스템.
  17. 제11항에 있어서,
    상기 EDR 시스템은,
    상기 이벤트 데이터의 기록 기간의 종료 이전에 새로운 이벤트의 발생을 지시하는 새로운 트리거 신호가 수신되는 경우에, 상기 기록 기간을 연장하는 한편 발생한 이벤트의 종류 및 그 발생 시간을 추가로 기록하는 단계를 더 포함하는 것을 특징으로 하는, 차량 시스템.
  18. 제11항에 있어서,
    상기 EDR 시스템은,
    상기 자율주행시스템의 메인 제어기 혹은 에어백 제어기(Airbag Control Unit; ACU) 내에 기능 모듈로서 내장되거나, 별개의 전자제어유닛(Electronic Control Unit)로서 차량 내부 네트워크에 연결된 것을 특징으로 하는, 차량 시스템.
PCT/KR2020/016445 2019-11-22 2020-11-20 자율주행차량의 이벤트 데이터 기록을 위한 시스템 Ceased WO2021101302A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/778,521 US12482303B2 (en) 2019-11-22 2020-11-20 System for recording event data of autonomous vehicle
CN202080080487.2A CN114730508A (zh) 2019-11-22 2020-11-20 用于记录自主车辆的事件数据的系统
DE112020005125.0T DE112020005125T5 (de) 2019-11-22 2020-11-20 System zum aufzeichnen von ereignisdaten eines autonomen fahrzeugs
JP2022529945A JP7759875B2 (ja) 2019-11-22 2020-11-20 自律走行車両のイベントデータ記録のためのシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0151529 2019-11-22
KR20190151529 2019-11-22
KR1020200155377A KR102870272B1 (ko) 2019-11-22 2020-11-19 자율주행차량의 이벤트 데이터 기록을 위한 시스템
KR10-2020-0155377 2020-11-19

Publications (1)

Publication Number Publication Date
WO2021101302A1 true WO2021101302A1 (ko) 2021-05-27

Family

ID=75981355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016445 Ceased WO2021101302A1 (ko) 2019-11-22 2020-11-20 자율주행차량의 이벤트 데이터 기록을 위한 시스템

Country Status (5)

Country Link
US (1) US12482303B2 (ko)
JP (1) JP7759875B2 (ko)
CN (1) CN114730508A (ko)
DE (1) DE112020005125T5 (ko)
WO (1) WO2021101302A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596650A (zh) * 2022-05-11 2022-06-07 中电科创智联(武汉)有限责任公司 一种用于汽车紧急事件记录的系统
JP2023132114A (ja) * 2022-03-10 2023-09-22 株式会社日立製作所 エッジ装置及び分散システム
CN117854175A (zh) * 2022-09-30 2024-04-09 阿波罗智联(北京)科技有限公司 自动驾驶数据记录方法、装置、电子设备及存储介质
US12065153B1 (en) * 2021-12-16 2024-08-20 Zoox, Inc. Resolving vehicle issues based on log data

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117755078A (zh) * 2022-09-19 2024-03-26 现代自动车株式会社 车辆控制装置及方法
CN115685964A (zh) * 2022-10-27 2023-02-03 神龙汽车有限公司 一种燃油适配纯电动汽车的edr实现架构和方法
EP4478685A1 (en) * 2023-06-16 2024-12-18 Zenseact AB Methods and system for monitoring driving experiences of an automated driving system of a vehicle
JP2025010941A (ja) * 2023-07-10 2025-01-23 トヨタ自動車株式会社 自動運転システム
JP2025036856A (ja) * 2023-09-05 2025-03-17 トヨタ自動車株式会社 自動運転システム
CN118116104A (zh) * 2023-10-23 2024-05-31 北京航迹科技有限公司 记录车辆事件的方法、装置、设备、存储介质和程序产品
US12592143B2 (en) * 2023-11-21 2026-03-31 Schon Mobility Inc. System and device for threat monitoring
CN117746530A (zh) * 2023-12-22 2024-03-22 常州星宇车灯股份有限公司 车辆事件记录装置及其方法
DE102024204708A1 (de) * 2024-05-22 2025-11-27 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen eines Auslöseereignisses für ein Notmanöver eines zumindest teilweise automatisiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, sowie Unterstützungssystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219685A1 (en) * 2006-03-16 2007-09-20 James Plante Vehicle event recorders with integrated web server
US20080126137A1 (en) * 2006-06-08 2008-05-29 Kidd Scott D Method and apparatus for obtaining and using event data recorder triage data
JP2011096063A (ja) * 2009-10-30 2011-05-12 Sharp Corp ドライブレコーダ装置
US20110213526A1 (en) * 2010-03-01 2011-09-01 Gm Global Technology Operations, Inc. Event data recorder system and method
KR20190093791A (ko) * 2018-01-17 2019-08-12 (주)오펠솔루션 이벤트에 의한 데이터 레이블링 시스템 및 그 방법

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235484A (ja) * 1995-02-28 1996-09-13 Fujitsu Ten Ltd 事故時のデータ記録装置
US6088635A (en) * 1998-09-28 2000-07-11 Roadtrac, Llc Railroad vehicle accident video recorder
US20070088488A1 (en) * 2005-10-14 2007-04-19 Reeves Michael J Vehicle safety system
US8139820B2 (en) * 2006-12-13 2012-03-20 Smartdrive Systems Inc. Discretization facilities for vehicle event data recorders
US20080147267A1 (en) * 2006-12-13 2008-06-19 Smartdrive Systems Inc. Methods of Discretizing data captured at event data recorders
US20100013929A1 (en) * 2008-07-19 2010-01-21 Chih-Wei Lo Event Data Recorder with Lane Departure Warning Function
US8935045B2 (en) * 2010-01-26 2015-01-13 Intellectual Discovery Co., Ltd. Apparatus and method for controlling video recording in black box for vehicle
TWI453615B (zh) * 2011-11-25 2014-09-21 智慧型行車紀錄與檢視系統
RS63951B1 (sr) * 2012-04-13 2023-02-28 Wi Tronix Llc Postupak za snimanje, obradu i emitovanje podataka sa pokretnog sredstva
RS61595B1 (sr) * 2013-09-10 2021-04-29 Wi Tronix Llc Metoda za detekciju prenosa mobilnog uređaja pokretnosti
US20150112542A1 (en) * 2013-10-23 2015-04-23 Xrs Corporation Transportation event recorder for vehicle
JP6079705B2 (ja) * 2014-06-23 2017-02-15 トヨタ自動車株式会社 車両用緊急通報装置
US9578047B2 (en) * 2015-01-13 2017-02-21 GM Global Technology Operations LLC Method and system for reflectometry based communication network monitoring, intrusion detection, and message authentication
EP3073449A1 (en) * 2015-03-23 2016-09-28 Continental Automotive GmbH Apparatus and method for recording data associated with a vehicle
EP3159853B1 (en) 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
CN105976450A (zh) * 2016-04-27 2016-09-28 百度在线网络技术（北京）有限公司 无人驾驶车辆的数据处理方法和装置、黑匣子系统
JP6853494B2 (ja) * 2016-09-05 2021-03-31 日本電気株式会社 ドライブレコーダ
JP6817531B2 (ja) * 2016-09-05 2021-01-20 日本電気株式会社 運転状況記録装置
US10520904B2 (en) 2016-09-08 2019-12-31 Mentor Graphics Corporation Event classification and object tracking
JP6756977B2 (ja) * 2016-09-28 2020-09-16 日本電気株式会社 ドライブレコーダ
GB2571476A (en) 2016-12-01 2019-08-28 Walmart Apollo Llc Autonomous vehicle with secondary camera system for use with encountered events during travel
JP6778626B2 (ja) * 2017-02-01 2020-11-04 株式会社デンソーテン 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
JP6790977B2 (ja) * 2017-04-11 2020-11-25 株式会社デンソー 車両のデータ記憶装置
JP7123530B2 (ja) * 2017-05-24 2022-08-23 株式会社デンソーテン 通信装置、通信システム、及び通信方法
EP3619689A1 (de) * 2017-06-02 2020-03-11 Audi AG Verfahren und vorrichtung zum situationsabhängigen speichern von daten eines systems
US10686815B2 (en) * 2017-09-11 2020-06-16 GM Global Technology Operations LLC Systems and methods for in-vehicle network intrusion detection
US10498749B2 (en) * 2017-09-11 2019-12-03 GM Global Technology Operations LLC Systems and methods for in-vehicle network intrusion detection
EP3712028B1 (en) * 2017-11-17 2025-03-05 Sony Semiconductor Solutions Corporation Information processing device and information processing method
WO2019138994A1 (ja) * 2018-01-11 2019-07-18 パイオニア株式会社 情報記録装置、情報記録方法、及び情報記録用プログラム
US11615141B1 (en) * 2018-01-11 2023-03-28 Lytx, Inc. Video analysis for efficient sorting of event data
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US10909782B1 (en) * 2018-02-14 2021-02-02 EMC IP Holding Company LLC Data management for vehicle event data recorder
KR20190101909A (ko) * 2018-02-23 2019-09-02 주식회사 비트센싱 위험물 감지를 위한 차량용 레이더 시스템
JP2019156068A (ja) * 2018-03-09 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10846955B2 (en) * 2018-03-16 2020-11-24 Micron Technology, Inc. Black box data recorder for autonomous driving vehicle
US20190302766A1 (en) * 2018-03-28 2019-10-03 Micron Technology, Inc. Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle
DE102018205203A1 (de) * 2018-04-06 2019-10-10 Robert Bosch Gmbh Datenrekorderanordnung für ein Fahrzeug
WO2019231135A1 (ko) * 2018-05-29 2019-12-05 엘지전자 주식회사 차량 침입 감지 및 방지 시스템
WO2020022042A1 (ja) * 2018-07-25 2020-01-30 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラムを記憶する記憶媒体
EP3618011B1 (en) * 2018-08-31 2023-08-09 Denso Ten Limited Data collection apparatus, on-vehicle device, data collection system, and data collection method
US20200077292A1 (en) * 2018-08-31 2020-03-05 Denso Ten Limited Data collection apparatus, data collection system, data collection method, and on-vehicle device
US20200074761A1 (en) * 2018-08-31 2020-03-05 Denso Ten Limited On-vehicle device, data collection system, and data collection apparatus
JP6992726B2 (ja) * 2018-10-26 2022-01-13 日本電気株式会社 運転支援装置、運転支援方法、プログラム
WO2020145589A1 (ko) * 2019-01-09 2020-07-16 현대자동차주식회사 차량 생성 데이터를 수집 및 관리하는 방법 및 시스템
US11410475B2 (en) * 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US11373466B2 (en) * 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US11455847B2 (en) * 2019-03-07 2022-09-27 GM Global Technology Operations LLC Method and apparatus for obtaining event related data
CN110322592A (zh) 2019-07-24 2019-10-11 重庆长安汽车股份有限公司 一种车载数据记录器、车载数据记录方法及汽车
KR102237421B1 (ko) 2019-08-05 2021-04-08 엘지전자 주식회사 자율 주행 시스템에서 데이터 기반의 어플레이케이션 갱신방법 및 이를 위한 장치
CN110570538B (zh) * 2019-08-07 2022-05-10 华为技术有限公司 智能驾驶汽车中黑匣子数据的管理方法、装置和设备
CN110473310B (zh) 2019-08-26 2022-04-12 爱驰汽车有限公司 汽车行驶数据记录方法、系统、设备及存储介质
JP7327042B2 (ja) * 2019-09-26 2023-08-16 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御方法、および記録制御プログラム
US11418956B2 (en) * 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system
JP7083331B2 (ja) * 2019-12-09 2022-06-10 本田技研工業株式会社 車両制御システム
JP7066670B2 (ja) * 2019-12-09 2022-05-13 本田技研工業株式会社 車両制御システム
JP7129964B2 (ja) * 2019-12-09 2022-09-02 本田技研工業株式会社 車両制御システム
JP6964649B2 (ja) * 2019-12-09 2021-11-10 本田技研工業株式会社 車両制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219685A1 (en) * 2006-03-16 2007-09-20 James Plante Vehicle event recorders with integrated web server
US20080126137A1 (en) * 2006-06-08 2008-05-29 Kidd Scott D Method and apparatus for obtaining and using event data recorder triage data
JP2011096063A (ja) * 2009-10-30 2011-05-12 Sharp Corp ドライブレコーダ装置
US20110213526A1 (en) * 2010-03-01 2011-09-01 Gm Global Technology Operations, Inc. Event data recorder system and method
KR20190093791A (ko) * 2018-01-17 2019-08-12 (주)오펠솔루션 이벤트에 의한 데이터 레이블링 시스템 및 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12065153B1 (en) * 2021-12-16 2024-08-20 Zoox, Inc. Resolving vehicle issues based on log data
JP2023132114A (ja) * 2022-03-10 2023-09-22 株式会社日立製作所 エッジ装置及び分散システム
JP7649765B2 (ja) 2022-03-10 2025-03-21 株式会社日立製作所 エッジ装置及び分散システム
US12606208B2 (en) 2022-03-10 2026-04-21 Hitachi, Ltd. Edge device and distributed system
CN114596650A (zh) * 2022-05-11 2022-06-07 中电科创智联(武汉)有限责任公司 一种用于汽车紧急事件记录的系统
CN114596650B (zh) * 2022-05-11 2022-08-09 中电科创智联(武汉)有限责任公司 一种用于汽车紧急事件记录的系统
CN117854175A (zh) * 2022-09-30 2024-04-09 阿波罗智联(北京)科技有限公司 自动驾驶数据记录方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2023504386A (ja) 2023-02-03
CN114730508A (zh) 2022-07-08
DE112020005125T5 (de) 2022-07-21
JP7759875B2 (ja) 2025-10-24
US12482303B2 (en) 2025-11-25
US20230040552A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2021101302A1 (ko) 자율주행차량의 이벤트 데이터 기록을 위한 시스템
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
KR102870272B1 (ko) 자율주행차량의 이벤트 데이터 기록을 위한 시스템
US10614639B2 (en) In-vehicle control device and in-vehicle recording system
US12412436B2 (en) Information processing device, information processing method and program
EP3998769B1 (en) Abnormality detection device, abnormality detection method, program, and information processing system
JP2008102762A (ja) 画像収集システム、記録装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP2020091589A (ja) ドライブレコーダ
WO2020241971A1 (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
JP2024155537A (ja) フィルタリング装置、フィルタリング方法及びプログラム
CN111667601A (zh) 用于获取事件相关数据的方法和设备
CN113870599A (zh) 事件信息管理装置和方法以及事件信息记录装置
US20240274001A1 (en) Method for processing accident information and vehicle operation control server using the same
US12447952B2 (en) Vehicle control apparatus for synchronizing event data
US20240161608A1 (en) Accident information collection and processing method and vehicle operation control server using the same
CN109017634B (zh) 车载网络系统
CN111640324A (zh) 运行控制装置以及车辆
JP7126587B1 (ja) 情報記録送信装置
JP7825976B2 (ja) ドライブレコーダ及び記録方法
EP4497645A1 (en) Vehicle, apparatus, computer program, and method for an autonomous or assisted driving system
US20240400011A1 (en) Control device and remote control method
JP7282255B2 (ja) 車両システム
JP2025092269A (ja) 車両用制御システム
CN120735699A (zh) 一种车辆和通信系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20889075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022529945

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20889075

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17778521

Country of ref document: US