KR20230132685A - Vehicle accident analysis system and method, and user terminal - Google Patents
Vehicle accident analysis system and method, and user terminal Download PDFInfo
- Publication number
- KR20230132685A KR20230132685A KR1020220046255A KR20220046255A KR20230132685A KR 20230132685 A KR20230132685 A KR 20230132685A KR 1020220046255 A KR1020220046255 A KR 1020220046255A KR 20220046255 A KR20220046255 A KR 20220046255A KR 20230132685 A KR20230132685 A KR 20230132685A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- time
- vehicle
- autonomous driving
- driving record
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 20
- 238000010295 mobile communication Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/02—Registering or indicating driving, working, idle, or waiting time only
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Traffic Control Systems (AREA)
Abstract
차량 사고 분석 시스템 및 방법과 사용자 단말이 개시된다. 본 발명의 일 실시예에 따른 차량 사고 분석 시스템은 유무선 통신 기능을 구비하여 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득하고, 획득된 자율 주행 기록 데이터 및 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터 및 사고 분석 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공하되, 자율 주행 기록 데이터 및 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 자율 주행 기록 데이터 및 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 차량 사고 분석 데이터를 생성하는 차량 사고 분석 서버; 및 유무선 통신 기능을 구비하고 차량 사고 분석 데이터를 수신하여 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 출력하기 위한 사용자 단말을 포함한다.A vehicle accident analysis system and method and a user terminal are disclosed. The vehicle accident analysis system according to an embodiment of the present invention is equipped with a wired and wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and time information included in each of the obtained autonomous driving record data and image data. Vehicle accident analysis data is generated and provided, including accident situation data and accident analysis data synchronized based on A vehicle accident analysis server that generates vehicle accident analysis data to be played in correspondence with each other based on the requested playback time; and a user terminal equipped with a wired or wireless communication function and configured to receive vehicle accident analysis data and output it on a screen according to a playback request signal input by the user.
Description
개시되는 실시예들은 차량 사고 분석 시스템 및 방법과 사용자 단말과 관련된다.The disclosed embodiments relate to a vehicle accident analysis system and method and a user terminal.
차량 운전자가 증가함에 따라, 운전자의 편의를 증대시키기 위해 매년 다양한 기능을 추가 보유한 신차가 개발되고 있는 실정이다.As the number of car drivers increases, new cars with various additional functions are being developed every year to increase driver convenience.
예를 들어, 자율 주행 차량은 주행 중 차량이 차로를 벗어나지 않도록 하는 기술을 제공하는 차선 이탈방지 보조 시스템(lane keeping assist system), 방향 지시등을 켜지 않고 차선을 변경하는 경우를 감지하여 운전자에게 알림을 통보하고 능동형 차량 안전 시스템을 동작시키는 기술을 제공하는 차선 유지 보조 시스템(lane departure warning system), 차량 전방에 장착된 레이다를 사용하여 앞차와의 간격을 적절하게 자동으로 유지하는 기술을 제공하는 적응형 순향 제어 장치(adaptive cruise control or smart cruise control) 등을 이용하여 자율 주행을 구현하여, 운전자가 핸들과 가속 페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 주행할 수 있도록 서비스를 제공하고 있다. For example, autonomous vehicles have a lane keeping assist system that provides technology to prevent the vehicle from leaving its lane while driving, and a lane keeping assist system that detects when changing lanes without turning on the turn signal and notifies the driver. Lane departure warning system, which provides technology to notify and operate active vehicle safety systems, and adaptive system, which provides technology to automatically maintain an appropriate distance from the vehicle in front using a radar mounted on the front of the vehicle. By implementing autonomous driving using adaptive cruise control or smart cruise control, we provide a service that allows drivers to drive to their destination on their own without having to operate the steering wheel, accelerator pedal, or brakes.
상술한 자율 주행 차량은 운전자의 편의 등의 이유로 판매량이 급격하게 증가하고 있지만, 다양한 예측 불가 상황이 발생하는 도로 상황, 비 자율 주행 차량과 함께 운행하고 있는 상황, 자율 주행 차량의 오작동 등으로 교통 사고가 종종 발생하고 있는 실정이다. The sales of the above-mentioned self-driving vehicles are rapidly increasing due to reasons such as driver convenience, but traffic accidents occur due to various unpredictable road conditions, situations when driving together with non-autonomous vehicles, and malfunctions of self-driving vehicles. This is happening often.
개시되는 실시예들은 자율 주행 차량에서의 교통 사고 발생 시 사고 원인을 명확하고 용이하게 파악할 수 있도록 하기 위한 차량 사고 분석 시스템 및 방법과 사용자 단말을 제공하기 위한 것이다.The disclosed embodiments are intended to provide a vehicle accident analysis system and method and a user terminal to clearly and easily determine the cause of the accident when a traffic accident occurs in an autonomous vehicle.
일 실시예에 따른 차량 사고 분석 시스템은, 유무선 통신 기능을 구비하여 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득하고, 획득된 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터 및 사고 분석 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공하되, 상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 상기 차량 사고 분석 데이터를 생성하는 차량 사고 분석 서버; 및 유무선 통신 기능을 구비하고 상기 차량 사고 분석 데이터를 수신하여 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 출력하기 위한 사용자 단말을 포함한다.A vehicle accident analysis system according to an embodiment is equipped with a wired or wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and combines the acquired autonomous driving record data and the image data with time information included in each. Generate and provide vehicle accident analysis data, including accident situation data and accident analysis data synchronized based on And a vehicle accident analysis server that generates the vehicle accident analysis data so that the video data is played in correspondence with each other based on the playback requested time. and a user terminal equipped with a wired or wireless communication function for receiving the vehicle accident analysis data and outputting it on a screen according to a playback request signal input by the user.
또한, 상기 차량 사고 분석 서버는, 상기 자율 주행 기록 데이터 및 상기 영상 데이터의 상기 시간정보가 모두 GPS(global positioning system) 시간인 경우, 상기 시간정보를 기준으로 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화할 수 있다. In addition, when the time information of the autonomous driving record data and the video data are both GPS (global positioning system) time, the vehicle accident analysis server analyzes the autonomous driving record data and the video data based on the time information. They can be synchronized with each other.
또한, 상기 차량 사고 분석 서버는, 상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 상기 제1 시간정보를 기준으로 상기 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화할 수 있다.In addition, the vehicle accident analysis server, when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, based on the first time information The time difference with the second time information is set as a correction time to correct the second time information, and then the autonomous driving record data and the image data can be synchronized with each other.
또한, 상기 차량 사고 분석 서버는, 상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우, 사고 파악 알고리즘을 이용한 머신 러닝을 통해 상기 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화할 수 있다.In addition, the vehicle accident analysis server is a machine using an accident identification algorithm when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time and different reference times are applied. After determining the time of accident occurrence from the video data through running and matching the second time information at the time of the accident with the first time information at the time of the accident in the autonomous driving record data, the timelines are corrected to correspond to each other. , the autonomous driving record data and the video data can be synchronized.
또한, 상기 자율 주행 기록 데이터는, 상기 자율 주행 차량에 장착된 GPS 장치, 라이다(lidar), 레이더(radar), 초음파 센서(ultrasonic sensor), 컴퓨터 시스템 및 촬영 기기를 비롯한 차량 센서를 통해 획득된 데이터일 수 있다.In addition, the autonomous driving record data is obtained through vehicle sensors including GPS devices, lidar, radar, ultrasonic sensors, computer systems, and imaging devices mounted on the autonomous vehicle. It could be data.
또한, 상기 자율 주행 기록 데이터는, 자율 주행 기능의 온오프, 자율 주행 전환 요청(take over request), 자율 주행 전환(take over), 최소 위험 기동(minimal risk maneuver), 고장(faults), 차량 속도(speed), 차선 변경(lane change), 감속(deceleration), 시야각(field of view) 및 차량 간 거리(distance between vehicles) 중 적어도 하나 이상의 항목을 포함할 수 있다.In addition, the autonomous driving record data includes on/off of autonomous driving functions, autonomous driving take over requests, autonomous driving take overs, minimal risk maneuvers, faults, and vehicle speed. It may include at least one of speed, lane change, deceleration, field of view, and distance between vehicles.
또한, 상기 사용자 단말은, 상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우, 상기 영상 데이터를 재생할 때 상기 영상 데이터의 재생 시간에 대응되는 상기 자율 주행 기록 데이터의 적어도 하나 이상의 항목을 함께 재생할 수 있다.In addition, when a playback request is made for any one of the autonomous driving record data and the video data, the user terminal may play at least one of the autonomous driving record data corresponding to the playback time of the video data when playing the video data. More than one item can be played together.
또한, 상기 자율 주행 기록 데이터 및 상기 영상 데이터는 각각 해당 자율 주행 차량의 식별정보 및 차종 정보를 포함할 수 있다.Additionally, the autonomous driving record data and the image data may each include identification information and vehicle model information of the corresponding autonomous vehicle.
또한, 상기 영상 데이터는, 상기 자율 주행 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 타 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 상기 자율 주행 차량 주변의 교통 영상 기록 장치에 의해서 촬영된 동영상 데이터 및 이동통신 단말기에 의해서 촬영된 정지영상 및 동영상 중 적어도 하나 이상의 포함할 수 있다.In addition, the video data includes video data captured by a vehicle video recording device installed in the autonomous vehicle, video data captured by a vehicle video recording device provided in another vehicle, and traffic video recording around the autonomous vehicle. It may include at least one of video data captured by the device and still images and videos captured by the mobile communication terminal.
또한, 상기 사고 발생 시의 자율 주행 기록 데이터 및 영상 데이터는 상기 자율 주행 차량에 사고가 발생한 시점을 기준으로 기 설정된 전후 시간의 데이터를 포함할 수 있다.Additionally, the autonomous driving record data and image data at the time of the accident may include data from a preset time before and after the time when the accident occurred in the autonomous vehicle.
다른 실시예에 따른 사용자 단말은, 유무선 통신 기능을 구비하여 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득하고, 획득된 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터 및 사고 분석 데이터를 포함하여 차량 사고 분석 데이터를 생성하고, 상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 화면 상에 출력한다.A user terminal according to another embodiment is equipped with a wired or wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and bases the acquired autonomous driving record data and image data on time information included in each. Generate vehicle accident analysis data including accident situation data and accident analysis data synchronized with the autonomous driving record data and the video data when a playback request occurs for any one of the autonomous driving record data and the video data. are output on the screen in correspondence based on the playback requested time.
다른 실시예에 따른 차량 사고 분석 방법은, 차량 사고 분석 서버가 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득하는 단계; 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공하는 단계; 및 사용자 단말이 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 상기 차량 사고 분석 데이터를 출력하는 단계를 포함하고, 상기 차량 사고 분석 데이터를 생성하는 단계에서, 상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 상기 차량 사고 분석 데이터를 생성한다.A vehicle accident analysis method according to another embodiment includes the steps of a vehicle accident analysis server acquiring autonomous driving record data and image data of an autonomous vehicle; Generating and providing vehicle accident analysis data including accident situation data synchronized with the autonomous driving record data and the video data based on time information included in each; And a step of the user terminal outputting the vehicle accident analysis data on a screen according to a playback request signal input by the user, and in the step of generating the vehicle accident analysis data, the autonomous driving record data and the video data. When a playback request is made for any one of the above, the vehicle accident analysis data is generated so that the autonomous driving record data and the video data are played in correspondence with each other based on the playback requested time.
또한, 상기 차량 사고 분석 데이터를 생성하는 단계는, 상기 자율 주행 기록 데이터를 기초하여 상기 자율 주행 차량과 관련된 적어도 하나 이상의 사고 분석 데이터를 생성하는 단계를 더 포함하고, 상기 차량 사고 분석 데이터를 생성할 때, 상기 사고 분석 데이터를 포함하여 생성할 수 있다.In addition, the step of generating the vehicle accident analysis data further includes generating at least one accident analysis data related to the autonomous vehicle based on the autonomous driving record data, and generating the vehicle accident analysis data. When, it can be generated including the accident analysis data.
또한, 상기 차량 사고 분석 데이터를 생성하는 단계에서, 상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 상기 제1 시간정보를 기준으로 상기 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화할 수 있다.In addition, in the step of generating the vehicle accident analysis data, when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, the first time information Based on the information, the time difference with the second time information is set as a correction time to correct the second time information, and then the autonomous driving record data and the image data can be synchronized with each other.
또한, 상기 차량 사고 분석 데이터를 생성하는 단계에서, 상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우, 사고 파악 알고리즘을 이용한 머신 러닝을 통해 상기 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화할 수 있다.In addition, in the step of generating the vehicle accident analysis data, when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time and different reference times are applied, the accident is identified. Through machine learning using an algorithm, the time of accident occurrence is identified from the video data, and the second time information at the time of the accident occurs is matched with the first time information at the time of the accident in the autonomous driving record data, so that the timelines correspond to each other. After correction, the autonomous driving record data and the video data can be synchronized.
개시되는 실시예들에 따르면, 사고 발생 시의 자율 주행 기록 데이터 및 영상 데이터를 타임라인에 따라 동기화하여 제공하기 때문에 자율 주행 차량에서의 교통 사고 발생 시 사고 원인을 명확하고 용이하게 파악할 수 있다는 효과를 기대할 수 있다. According to the disclosed embodiments, autonomous driving record data and video data at the time of an accident are synchronized and provided according to a timeline, so that when a traffic accident occurs in an autonomous vehicle, the cause of the accident can be clearly and easily identified. You can expect it.
또한, 개시되는 실시예들은 자율 주행 차량에서의 교통 사고 발생 시, 운전자 및 자율 주행 기능 중 사고 원인의 책임 비중을 명확히 판단할 수 있다.Additionally, the disclosed embodiments can clearly determine the proportion of responsibility for the cause of the accident among the driver and autonomous driving functions when a traffic accident occurs in an autonomous vehicle.
또한, 개시되는 실시예들은 자율 주행 차량에서 발생한 교통 사고 상황에 대한 자율 주행 기록 데이터 및 영상 데이터를 동기화하여 동시에 확인할 수 있기 때문에, 보험사 입장에서 사고 원인 분석을 비롯한 사고 처리를 보다 용이하게 수행할 수 있다.In addition, since the disclosed embodiments can synchronize and simultaneously check autonomous driving record data and video data for traffic accident situations that occur in autonomous vehicles, it is possible for insurance companies to more easily perform accident processing, including accident cause analysis, there is.
도 1은 일 실시예에 따른 차량 사고 분석 시스템을 설명하기 위한 블록도
도 2 내지 도 3는 일 실시예에 따른 차량 사고 분석 방법을 설명하기 위한 예시도
도 4는 다른 실시예에 따른 차량 사고 분석 시스템을 설명하기 위한 블록도
도 5는 일 실시예에 따른 차량 사고 분석 방법을 설명하기 위한 흐름도
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram for explaining a vehicle accident analysis system according to an embodiment
Figures 2 and 3 are exemplary diagrams for explaining a vehicle accident analysis method according to an embodiment
Figure 4 is a block diagram illustrating a vehicle accident analysis system according to another embodiment.
Figure 5 is a flowchart illustrating a vehicle accident analysis method according to an embodiment
FIG. 6 is a block diagram illustrating and illustrating a computing environment including a computing device according to an embodiment.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The detailed description below is provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that a detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is merely for describing embodiments of the present invention and should in no way be limiting. Unless explicitly stated otherwise, singular forms include plural meanings. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, and one or more than those described. It should not be construed to exclude the existence or possibility of any other characteristic, number, step, operation, element, or part or combination thereof.
도 1은 일 실시예에 따른 차량 사고 분석 시스템을 설명하기 위한 블록도이다.1 is a block diagram for explaining a vehicle accident analysis system according to an embodiment.
이하에서는, 일 실시예에 따른 차량 사고 분석 방법을 설명하기 위한 예시도인 도 2 내지 도 3을 참고하여 설명하기로 한다.Hereinafter, a vehicle accident analysis method according to an embodiment will be described with reference to FIGS. 2 and 3, which are exemplary diagrams for explaining the method.
도 1을 참고하면, 차량 사고 분석 시스템(500)은 차량 사고 분석 서버(100) 및 사용자 단말(200)을 포함한다.Referring to FIG. 1, the vehicle accident analysis system 500 includes a vehicle accident analysis server 100 and a user terminal 200.
보다 상세히 설명하면, 차량 사고 분석 서버(100)는 유무선 통신 기능을 구비하여 자율 주행 차량(미도시)의 자율 주행 기록 데이터 및 영상 데이터를 획득하고, 획득된 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터 및 사고 분석 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공할 수 있다. In more detail, the vehicle accident analysis server 100 is equipped with a wired and wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle (not shown), and the obtained autonomous driving record data and the image data Vehicle accident analysis data can be generated and provided, including accident situation data and accident analysis data synchronized based on the time information included in each.
이때, 자율 주행 기록 데이터와 영상 데이터를 시간정보를 기초로 동기화한다는 것은 자율 주행 기록 데이터와 영상 데이터를 동일한 시간기준에 따른 타임라인에 따라 매칭시키는 것을 의미할 수 있다. 동기화된 자율 주행 기록 데이터와 영상 데이터 중 어느 하나의 재생 요청이 발생하는 경우 재생 요청된 시간에 대응되는 자율 주행 기록 데이터와 영상 데이터를 동시에 화면 상에 출력할 수 있다. At this time, synchronizing autonomous driving record data and video data based on time information may mean matching autonomous driving record data and video data according to a timeline based on the same time standard. When a request for playback of either synchronized autonomous driving record data or video data occurs, the autonomous driving record data and video data corresponding to the requested playback time can be output on the screen at the same time.
또한, 사고 분석 데이터는 자율 주행 기록 데이터 또는 영상 데이터를 기초로 기 설정된 사고 분석 알고리즘에 따라 분석된 데이터를 의미할 수 있다. 이때, 사고 분석 알고리즘은 사고 상황을 파악하는데 필요한 항목을 파악할 수 있도록 기 학습된 알고리즘을 의미할 수 있다. 예를 들어, 사고 분석 데이터는 사고 일시, 사고 현장 날씨, 사고 당시 주변 교통상황, 사고 당시 자율주행 여부, 차량 속도 등을 포함할 수 있으며, 이에 한정되지 않고 운용자의 필요에 따라 추가 및 변경할 수 있다.Additionally, accident analysis data may refer to data analyzed according to a preset accident analysis algorithm based on autonomous driving record data or image data. At this time, the accident analysis algorithm may refer to a previously learned algorithm that can identify the items necessary to identify the accident situation. For example, accident analysis data may include the date and time of the accident, weather at the accident site, surrounding traffic conditions at the time of the accident, whether autonomous driving was performed at the time of the accident, vehicle speed, etc., but is not limited to this and can be added and changed according to the operator's needs. .
상술한 자율 주행 기록 데이터는, 자율 주행 차량에 장착된 GPS 장치, 라이다(lidar), 레이더(radar), 초음파 센서(ultrasonic sensor), 컴퓨터 시스템 및 촬영 기기를 비롯한 차량 센서를 통해 획득된 데이터일 수 있다. 이때, 도 1에 개시된 자율주행 데이터 저장 장치(300)가 자율 주행 차량에 탑재되어 상술한 GPS 장치, 라이다, 레이더, 초음파 센서, 컴퓨터 시스템 및 촬영 기기를 비롯한 차량 센서로부터 데이터(예를 들어, 차량 위치, 속도, 조향, 센서 데이터, 영상 정보 등)를 수집할 수 있다. 예를 들어, 자율주행 데이터 저장 장치(300)는 DSSAD(Data Storage System for Automated Driving)일 수 있다.The above-mentioned autonomous driving record data is data acquired through vehicle sensors including GPS devices, lidar, radar, ultrasonic sensors, computer systems, and imaging devices mounted on autonomous vehicles. You can. At this time, the self-driving data storage device 300 disclosed in FIG. 1 is mounted on the self-driving vehicle and stores data (e.g., Vehicle location, speed, steering, sensor data, video information, etc.) can be collected. For example, the autonomous driving data storage device 300 may be a Data Storage System for Automated Driving (DSSAD).
구체적으로, 도 2를 참고하면, 자율 주행 기록 데이터는 자율 주행 기능의 온오프(ON/OFF), 자율 주행 전환 요청(take over request), 자율 주행 전환(take over), 최소 위험 기동(minimal risk maneuver) 및 고장(faults) 중 적어도 하나 이상의 항목을 포함할 수 있다. 또한, 자율 주행 기록 데이터는 차량 속도(speed), 차선 변경(lane change), 감속(deceleration), 시야각(field of view) 및 차량 간 거리(distance between vehicles) 중 적어도 하나 이상의 항목을 추가로 포함할 수 있다. 도 2에서 도시하는 바와 같이, 자율주행 데이터 저장 장치(300)는 특정 기간(예를 들어 6개월) 동안에 상술한 항목에 대한 발생 이벤트를 저장할 수 있다.Specifically, referring to Figure 2, autonomous driving record data includes ON/OFF of autonomous driving function, take over request, take over, and minimal risk maneuver. It may include at least one of maneuver and faults. In addition, autonomous driving record data may additionally include at least one of vehicle speed, lane change, deceleration, field of view, and distance between vehicles. You can. As shown in FIG. 2, the autonomous driving data storage device 300 can store events that occur for the above-mentioned items during a specific period (eg, 6 months).
상기 영상 데이터는 자율 주행 차량에 구비된 차량 영상 기록 장치(400)에 의해서 촬영된 동영상 데이터, 타 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 자율 주행 차량 주변의 교통 영상 기록 장치에 의해서 촬영된 동영상 데이터 및 사용자의 이동통신 단말에 의해서 촬영된 정지영상 및 동영상 중 적어도 하나 이상의 포함할 수 있다. 예를 들어, 사용자의 이동통신 단말은 사고 발생 후 운전자, 동승자 또는 주변 사람들의 휴대폰일 수 있다.The video data is video data captured by a vehicle video recording device 400 installed in an autonomous vehicle, video data captured by a vehicle video recording device installed in another vehicle, and traffic video recording devices around the autonomous vehicle. It may include at least one of video data captured by the user and still images and videos captured by the user's mobile communication terminal. For example, the user's mobile communication terminal may be the mobile phone of the driver, passenger, or people around after an accident occurs.
한편, 영상 데이터는 보험사측 담당자에 의해서 차량 영상 기록 장치(400)에 장착된 메모리 카드가 수거됨에 따라 차량 사고 분석 서버(100)에 수집되거나, 또는 차량 영상 기록 장치(400), 교통 영상 기록 장치, 이동통신 단말을 비롯한 영상 제공 측의 유무선 통신 기능을 통해 수집될 수 있다.Meanwhile, video data is collected in the vehicle accident analysis server 100 as the memory card mounted on the vehicle video recording device 400 is collected by the insurance company representative, or the vehicle video recording device 400 or the traffic video recording device , can be collected through the wired and wireless communication functions of the video provider, including mobile communication terminals.
상술한 차량 영상 기록 장치(400)는 블랙박스일 수 있으며, 이에 한정되지 않고, 자율 주행 차량의 외부 및 내부에 장착된 동영상을 촬영할 수 있는 장치라면 모두 가능하다 할 것이다. 이때, 차량 영상 기록 장치(400)은 식별정보가 할당되어 촬영된 영상 데이터를 제공할 때 함께 제공될 수 있다.The vehicle video recording device 400 described above may be a black box, but is not limited to this, and any device capable of recording video mounted on the outside or inside of an autonomous vehicle may be used. At this time, the vehicle image recording device 400 may be provided together with identification information assigned to provide captured image data.
또한, 상기 교통 영상 기록 장치는 교통 정보를 수집하는 CCTV(closed-circuit television)일 수 있다.Additionally, the traffic video recording device may be a closed-circuit television (CCTV) that collects traffic information.
상기 자율 주행 기록 데이터 및 상기 영상 데이터는 각각 해당 자율 주행 차량의 식별정보 및 차종 정보를 포함할 수 있다.The autonomous driving record data and the image data may each include identification information and vehicle type information of the corresponding autonomous vehicle.
상기 사고 발생 시의 자율 주행 기록 데이터 및 영상 데이터는 자율 주행 차량에 사고가 발생한 시점을 기준으로 기 설정된 전후 시간의 데이터를 포함할 수 있다.The autonomous driving record data and video data at the time of the accident may include data from a preset time before and after the accident occurred in the autonomous vehicle.
차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 자율 주행 기록 데이터 및 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 차량 사고 분석 데이터를 생성할 수 있다.When a playback request is made for any one of autonomous driving record data and video data, the vehicle accident analysis server 100 provides vehicle accident analysis data so that the autonomous driving record data and video data are played in correspondence with each other based on the playback requested time. can be created.
일 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터의 시간정보가 모두 GPS(global positioning system) 시간인 경우, 시간정보를 기준으로 자율 주행 기록 데이터 및 영상 데이터를 서로 동기화할 수 있다.As an example, when the time information of the autonomous driving record data and video data is all GPS (global positioning system) time, the vehicle accident analysis server 100 may synchronize the autonomous driving record data and video data with each other based on the time information. there is.
예를 들어, 자율 주행 기록 데이터 및 영상 데이터의 사고 발생 시점의 시간이 모두 GPS 시간으로 오후 2시인 경우, 자율 주행 기록 데이터와 영상 데이터의 시간기준이 동일한 것으로 판단하여, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터에 포함된 각각의 시간정보를 기초로 서로 동기화할 수 있다.For example, if the time at the time of accident occurrence in both the autonomous driving record data and the video data is 2 PM in GPS time, the time standard of the autonomous driving record data and the video data is determined to be the same, and the vehicle accident analysis server 100 can be synchronized with each other based on the respective time information included in the autonomous driving record data and video data.
상술한 시간기준은 해당 데이터에 적용되는 시간을 의미할 수 있다. 예를 들어, 시간기준은 GPS 시간을 적용한 시간이거나, 또는 사용자의 수동조작을 통해 입력되거나, 또는 사전에 장치에 셋팅된 시간일 수 있다.The above-mentioned time standard may refer to the time applied to the corresponding data. For example, the time standard may be a time applied to GPS time, input through a user's manual operation, or a time set in advance in the device.
다른 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 제1 시간정보를 기준으로 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화할 수 있다.As another example, when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, the vehicle accident analysis server 100 provides the first time information based on the first time information. After correcting the second time information by setting the time difference with the time information as a correction time, the autonomous driving record data and the image data can be synchronized with each other.
예를 들어, 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간이 GPS 시간으로 오후 2시이고, 영상 데이터의 사고 발생 시점의 제2 시간이 비 GPS 시간으로 오후 2시 30분인 경우, 차량 사고 분석 서버(100)는 제1 시간과 제2 시간 간의 시간차인 30분을 보정시간을 설정하고, 상기 제1 시간을 기준으로 상기 제2 시간을 30분 빠르게 보정하여 제1 시간 및 제2 시간의 시간기준이 동일하도록 할 수 있다. 이때, 영상 데이터의 제2 시간의 시간차이는 초기 시간설정 오류, 초기 시간설정 후 시간이 점차 지연되는 현상, 차량 영상 기록 장치(400)의 온오프에 따른 시간 초기화 등의 이유로 발생할 수 있다. 이때, 차량 사고 분석 서버(100)는 제1 시간과 제2 시간의 시간기준이 서로 다른 경우 서로 간에 시간차가 발생한다고 파악할 수 있다. For example, if the first time of accident occurrence in autonomous driving record data is 2:00 PM in GPS time, and the second time of accident occurrence in video data is 2:30 PM in non-GPS time, vehicle accident analysis The server 100 sets the correction time to 30 minutes, which is the time difference between the first time and the second time, and corrects the second time 30 minutes faster based on the first time to change the times of the first time and the second time. The standards can be made the same. At this time, the time difference between the second time of the image data may occur for reasons such as an initial time setting error, a phenomenon in which time is gradually delayed after the initial time setting, and time initialization due to turning on and off the vehicle image recording device 400. At this time, the vehicle accident analysis server 100 may determine that a time difference occurs when the time standards of the first time and the second time are different from each other.
다른 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우, 사고 파악 알고리즘을 이용한 머신 러닝을 통해 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화할 수 있다.As another example, the vehicle accident analysis server 100 uses a machine using an accident identification algorithm when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time and different reference times are applied. After determining the time of accident occurrence from video data through running and matching the second time information at the time of the accident with the first time information at the time of the accident in the autonomous driving record data, the timelines are corrected to correspond to each other, The autonomous driving record data and the video data can be synchronized.
예를 들어, 차량 사고 분석 서버(100)는 사고 파악 알고리즘을 이용한 머신 러닝을 통해 영상 데이터로부터 사고 발생 시점을 파악하고 사고 발생 시점의 제2 시간정보(예를 들어, 오후 2시 30분)을 확인할 수 있다. 차량 사고 분석 서버(100)는 자율 주행 기록 데이터로부터 사고 발생 시점의 제1 시간정보(예를 들어, 오후 2시)를 확인할 수 있다. 차량 사고 분석 서버(100)는 영상 데이터의 사고 발생 시점의 제2 시간정보를 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로 간의 타임라인을 대응되게 동기화시킬 수 있는 것이다. 즉, 동기화 후 영상 데이터의 사고 발생 시점의 제2 시간정보는 오후 2시로 보정되는 것이고, 사고 발생 시점 전후의 제2 시간정보 역시 보정된 사고 발생 시점의 제2 시간정보를 기준으로 보정되는 것이다.For example, the vehicle accident analysis server 100 determines the time of accident occurrence from video data through machine learning using an accident identification algorithm and provides second time information (for example, 2:30 p.m.) at the time of accident occurrence. You can check it. The vehicle accident analysis server 100 may check first time information (for example, 2 PM) at the time of accident occurrence from autonomous driving record data. The vehicle accident analysis server 100 matches the second time information at the time of the accident in the video data with the first time information at the time of the accident in the autonomous driving record data to synchronize the timelines. That is, after synchronization, the second time information at the time of the accident in the video data is corrected to 2 PM, and the second time information before and after the time of the accident is also corrected based on the corrected second time information at the time of the accident.
이때, 사고 파악 알고리즘은 기존 다양한 사고 영상을 기초로 학습 처리를 수행하여 영상 데이터로부터 사고 발생 시점을 추출할 수 있는 알고리즘을 의미할 수 있다.At this time, the accident identification algorithm may refer to an algorithm that can extract the time of accident occurrence from video data by performing learning processing based on various existing accident images.
사용자 단말(200)은 유무선 통신 기능을 구비하고 차량 사고 분석 데이터(100)를 수신하여 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 출력하기 위한 구성일 수 있다. The user terminal 200 may be equipped with a wired or wireless communication function and may be configured to receive vehicle accident analysis data 100 and output it on the screen according to a playback request signal input by the user.
도 3과 같이, 사용자 단말(200)은 자율 주행 기록 데이터(A) 및 영상 데이터(B) 중 어느 하나에 대해 재생 요청이 발생되는 경우, 영상 데이터를 재생할 때 영상 데이터의 재생 시간에 대응되는 자율 주행 기록 데이터의 적어도 하나 이상의 항목을 함께 재생할 수 있다. 즉, 사용자는 사용자 단말(200)의 화면 상에서 동일 시간에 발생한 영상 데이터(사고시점 동영상)와 자율 주행 기록 데이터(사고시점 DSSAD)를 동시에 확인할 수 있는 것이다. 만약, 사용자에 의해서 사고시점의 처음이 아니라 특정 시간의 재생 요청이 발생한 경우, 사용자 단말(200)은 화면 상에 재생 요청이 발생한 시간의 영상 데이터 및 자율 주행 기록 데이터를 출력할 수 있다. 이로 인해, 보험사 담당자를 비롯한 사용자는 본인이 확인하고자 하는 시간의 영상 데이터와 이에 매칭되는 자율 주행 기록 데이터를 빠르게 확인할 수 있고, 양 데이터를 비교 분석하여 사고 원인 분석을 보다 빠르고 신속하게 파악할 수 있다는 효과를 기대할 수 있는 것이다.As shown in FIG. 3, when a playback request is made for either autonomous driving record data (A) or video data (B), the user terminal 200 displays the autonomous driving record data (A) and video data (B) corresponding to the playback time of the video data when playing the video data. At least one or more items of driving record data can be played together. In other words, the user can simultaneously check video data (video at the time of accident) and autonomous driving record data (DSSAD at the time of accident) that occurred at the same time on the screen of the user terminal 200. If a playback request is made by the user at a specific time other than the beginning of the accident, the user terminal 200 may output video data and autonomous driving record data at the time the playback request occurred on the screen. As a result, users, including insurance company representatives, can quickly check the video data for the time they want to check and the autonomous driving record data that matches it, and can compare and analyze both data to more quickly identify the cause of the accident. can be expected.
상술한 사용자 단말(200)은 휴대폰, 테블릿 등을 비롯하여 이동통신 기능을 구비한 휴대 가능한 형태의 이동통신 단말 및 테스크톱과 같은 유선 단말을 모두 포함할 수 있다.The user terminal 200 described above may include all portable mobile communication terminals with mobile communication functions, including mobile phones and tablets, and wired terminals such as desktops.
도 4는 다른 실시예에 따른 차량 사고 분석 시스템을 설명하기 위한 블록도이다.Figure 4 is a block diagram for explaining a vehicle accident analysis system according to another embodiment.
이하에서 개시하는 사용자 단말(200)은 도 1에 개시된 차량 사고 분석 서버(100) 및 사용자 단말(200)의 역할을 사용자 단말(200)이 단독으로 구현할 수 있는 경우를 설명하기 위한 것이다. 이에, 설명의 편의를 위해 생략하였지만, 도 1에서 개시하는 차량 사고 분석 서버(100)의 역할을 사용자 단말(200)이 모두 수행할 수 있음은 당연하다 할 것이다.The user terminal 200 disclosed below is intended to explain a case in which the user terminal 200 can independently implement the roles of the vehicle accident analysis server 100 and the user terminal 200 disclosed in FIG. 1. Accordingly, although omitted for convenience of explanation, it is natural that the user terminal 200 can perform all of the roles of the vehicle accident analysis server 100 shown in FIG. 1.
도 4를 참고하면, 사용자 단말(200)은 유무선 통신 기능을 구비하여 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득하고, 획득된 자율 주행 기록 데이터 및 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터 및 사고 분석 데이터를 포함하여 차량 사고 분석 데이터를 생성할 수 있다.Referring to FIG. 4, the user terminal 200 is equipped with a wired or wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and uses the time information included in each of the obtained autonomous driving record data and image data. Vehicle accident analysis data can be generated, including accident situation data and accident analysis data synchronized as a basis.
사용자 단말(200)은 자율 주행 기록 데이터 및 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 자율 주행 기록 데이터 및 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 화면(미도시) 상에 출력할 수 있다.When a playback request is made for either autonomous driving record data or video data, the user terminal 200 outputs the autonomous driving record data and video data on a screen (not shown) in correspondence with each other based on the playback requested time. can do.
도 5는 일 실시예에 따른 차량 사고 분석 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 방법은 예를 들어, 전술한 차량 사고 분석 시스템(500)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.Figure 5 is a flowchart for explaining a vehicle accident analysis method according to an embodiment. The method shown in FIG. 5 may be performed, for example, by the vehicle accident analysis system 500 described above. In the illustrated flow chart, the method is divided into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
101 단계에서, 차량 사고 분석 서버(100)는 자율 주행 차량의 자율 주행 기록 데이터 및 영상 데이터를 획득할 수 있다.In step 101, the vehicle accident analysis server 100 may acquire autonomous driving record data and image data of the autonomous vehicle.
자율주행 데이터 저장 장치(300)가 자율 주행 차량에 탑재되어 GPS 장치, 라이다, 레이더, 초음파 센서, 컴퓨터 시스템 및 촬영 기기를 비롯한 차량 센서로부터 데이터(예를 들어, 차량 위치, 속도, 조향, 센서 데이터, 영상 정보 등)를 수집할 수 있다. 예를 들어, 자율주행 데이터 저장 장치(300)는 DSSAD(Data Storage System for Automated Driving)일 수 있다.The autonomous driving data storage device 300 is mounted on an autonomous vehicle and provides data (e.g., vehicle location, speed, steering, sensor, etc.) from vehicle sensors including GPS devices, lidar, radar, ultrasonic sensors, computer systems, and imaging devices. data, video information, etc.) can be collected. For example, the autonomous driving data storage device 300 may be a Data Storage System for Automated Driving (DSSAD).
구체적으로, 자율 주행 기록 데이터는 자율 주행 기능의 온오프(ON/OFF), 자율 주행 전환 요청(take over request), 자율 주행 전환(take over), 최소 위험 기동(minimal risk maneuver) 및 고장(faults) 중 적어도 하나 이상의 항목을 포함할 수 있다. 또한, 자율 주행 기록 데이터는 차량 속도(speed), 차선 변경(lane change), 감속(deceleration), 시야각(field of view) 및 차량 간 거리(distance between vehicles) 중 적어도 하나 이상의 항목을 추가로 포함할 수 있다. 도 2에서 도시하는 바와 같이, 자율주행 데이터 저장 장치(300)는 특정 기간(예를 들어 6개월) 동안에 상술한 항목에 대한 발생 이벤트를 저장할 수 있다.Specifically, autonomous driving record data includes ON/OFF of autonomous driving functions, take over requests, take overs, minimal risk maneuvers, and faults. ) may include at least one or more items. In addition, autonomous driving record data may additionally include at least one of vehicle speed, lane change, deceleration, field of view, and distance between vehicles. You can. As shown in FIG. 2, the autonomous driving data storage device 300 can store events that occur for the above-mentioned items during a specific period (eg, 6 months).
상기 영상 데이터는 자율 주행 차량에 구비된 차량 영상 기록 장치(400)에 의해서 촬영된 동영상 데이터, 타 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 자율 주행 차량 주변의 교통 영상 기록 장치에 의해서 촬영된 동영상 데이터 및 사용자의 이동통신 단말에 의해서 촬영된 정지영상 및 동영상 중 적어도 하나 이상의 포함할 수 있다. 예를 들어, 사용자의 이동통신 단말은 사고 발생 후 운전자, 동승자 또는 주변 사람들의 휴대폰일 수 있다.The video data is video data captured by a vehicle video recording device 400 installed in an autonomous vehicle, video data captured by a vehicle video recording device installed in another vehicle, and traffic video recording devices around the autonomous vehicle. It may include at least one of video data captured by the user and still images and videos captured by the user's mobile communication terminal. For example, the user's mobile communication terminal may be the mobile phone of the driver, passenger, or people around after an accident occurs.
한편, 영상 데이터는 보험사측 담당자에 의해서 차량 영상 기록 장치(400)에 장착된 메모리 카드가 수거됨에 따라 차량 사고 분석 서버(100)에 수집되거나, 또는 차량 영상 기록 장치(400), 교통 영상 기록 장치, 이동통신 단말을 비롯한 영상 제공 측의 유무선 통신 기능을 통해 수집될 수 있다.Meanwhile, video data is collected in the vehicle accident analysis server 100 as the memory card mounted on the vehicle video recording device 400 is collected by the insurance company representative, or the vehicle video recording device 400 or the traffic video recording device , can be collected through the wired and wireless communication functions of the video provider, including mobile communication terminals.
103 단계에서, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공할 수 있다.In step 103, the vehicle accident analysis server 100 may generate and provide vehicle accident analysis data including accident situation data synchronized based on time information included in each of the autonomous driving record data and image data.
이때, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 자율 주행 기록 데이터 및 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 차량 사고 분석 데이터를 생성할 수 있다.At this time, when a playback request is made for any one of the autonomous driving record data and the video data, the vehicle accident analysis server 100 is configured to play the autonomous driving record data and the video data in correspondence with each other based on the playback requested time. Analysis data can be generated.
일 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터 및 영상 데이터의 상기 시간정보가 모두 GPS(global positioning system) 시간인 경우, 시간정보를 기준으로 자율 주행 기록 데이터 및 영상 데이터를 서로 동기화할 수 있다.As an example, the vehicle accident analysis server 100 may synchronize the autonomous driving record data and video data with each other based on the time information when the time information of the autonomous driving record data and image data is all GPS (global positioning system) time. You can.
상술한 시간기준은 해당 데이터에 적용되는 시간을 의미할 수 있다. 예를 들어, 시간기준은 GPS 시간을 적용한 시간이거나, 또는 수동으로 사용자의 입력 또는 사전에 장치에 셋팅된 시간일 수 있다.The above-mentioned time standard may refer to the time applied to the corresponding data. For example, the time standard may be a time applied to GPS time, or a time manually input by the user or set in the device in advance.
다른 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 제1 시간정보를 기준으로 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화할 수 있다.As another example, when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, the vehicle accident analysis server 100 provides the first time information based on the first time information. After correcting the second time information by setting the time difference with the time information as a correction time, the autonomous driving record data and the image data can be synchronized with each other.
다른 예로, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우, 사고 파악 알고리즘을 이용한 머신 러닝을 통해 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화할 수 있다.As another example, the vehicle accident analysis server 100 uses a machine using an accident identification algorithm when the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time and different reference times are applied. After determining the time of accident occurrence from video data through running and matching the second time information at the time of the accident with the first time information at the time of the accident in the autonomous driving record data, the timelines are corrected to correspond to each other, The autonomous driving record data and the video data can be synchronized.
이때, 사고 파악 알고리즘은 기존 다양한 사고 영상을 기초로 학습 처리를 수행하여 영상 데이터로부터 사고 발생 시점을 추출할 수 있는 알고리즘을 의미할 수 있다.At this time, the accident identification algorithm may refer to an algorithm that can extract the time of accident occurrence from video data by performing learning processing based on various existing accident images.
한편, 103 단계에서, 차량 사고 분석 서버(100)는 자율 주행 기록 데이터를 기초하여 자율 주행 차량과 관련된 적어도 하나 이상의 사고 분석 데이터를 생성할 수 있다. 차량 사고 분석 서버(100)는 차량 사고 분석 데이터를 생성할 때, 상기 사고 분석 데이터를 포함하여 생성할 수 있다.Meanwhile, in step 103, the vehicle accident analysis server 100 may generate at least one accident analysis data related to the autonomous vehicle based on the autonomous driving record data. When generating vehicle accident analysis data, the vehicle accident analysis server 100 may generate the vehicle accident analysis data including the accident analysis data.
105 단계에서, 사용자 단말(200)은 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 차량 사고 분석 데이터를 출력할 수 있다.In step 105, the user terminal 200 may output vehicle accident analysis data on the screen according to a playback request signal input by the user.
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 6 is a block diagram illustrating and illustrating a computing environment including a computing device according to an embodiment. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 차량 사고 분석 서버(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자 단말(200)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be vehicle accident analysis server 100. Additionally, computing device 12 may be user terminal 200.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, a computer-readable storage medium 16, and a communication bus 18. Processor 14 may cause computing device 12 to operate in accordance with the example embodiments noted above. For example, processor 14 may execute one or more programs stored on computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which, when executed by the processor 14, cause computing device 12 to perform operations according to example embodiments. It can be.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or an appropriate combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, another form of storage medium that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14 and computer-readable storage medium 16.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. Input/output device 24 may be coupled to other components of computing device 12 through input/output interface 22. Exemplary input/output devices 24 include, but are not limited to, a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touch screen), a voice or sound input device, various types of sensor devices, and/or imaging devices. It may include input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included within the computing device 12 as a component constituting the computing device 12, or may be connected to the computing device 12 as a separate device distinct from the computing device 12. It may be possible.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims described below but also by equivalents to these claims.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 차량 사고 분석 서버
200: 사용자 단말
300: 자율주행 데이터 저장 장치
400: 차량 영상 기록 장치
500: 차량 사고 분석 시스템.10: Computing environment
12: Computing device
14: processor
16: Computer-readable storage medium
18: communication bus
20: Program
22: input/output interface
24: input/output device
26: Network communication interface
100: Vehicle accident analysis server
200: user terminal
300: Self-driving data storage device
400: Vehicle video recording device
500: Vehicle accident analysis system.
Claims (15)
상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 상기 차량 사고 분석 데이터를 생성하는 차량 사고 분석 서버; 및
유무선 통신 기능을 구비하고 상기 차량 사고 분석 데이터를 수신하여 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 출력하기 위한 사용자 단말을 포함하는, 차량 사고 분석 시스템.
Equipped with a wired or wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and synchronize the acquired autonomous driving record data and image data based on the time information included in each to analyze accident situation data and accident Generate and provide vehicle accident analysis data, including data,
When a playback request is made for any one of the autonomous driving record data and the video data, the vehicle accident analysis data is generated so that the autonomous driving record data and the video data are played in correspondence with each other based on the playback requested time. Vehicle accident analysis server; and
A vehicle accident analysis system comprising a user terminal having a wired or wireless communication function and receiving the vehicle accident analysis data and outputting it on a screen according to a playback request signal input by the user.
상기 차량 사고 분석 서버는,
상기 자율 주행 기록 데이터 및 상기 영상 데이터의 상기 시간정보가 모두 GPS(global positioning system) 시간인 경우, 상기 시간정보를 기준으로 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화하는, 차량 사고 분석 시스템.
In claim 1,
The vehicle accident analysis server,
When the time information of the autonomous driving record data and the video data are both GPS (global positioning system) time, a vehicle accident analysis system that synchronizes the autonomous driving record data and the video data with each other based on the time information.
상기 차량 사고 분석 서버는,
상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 상기 제1 시간정보를 기준으로 상기 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화하는, 차량 사고 분석 시스템.
In claim 1,
The vehicle accident analysis server,
If the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, the time difference with the second time information is calculated based on the first time information. A vehicle accident analysis system that corrects the second time information by setting it as a correction time and then synchronizes the autonomous driving record data and the image data with each other.
상기 차량 사고 분석 서버는,
상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우,
사고 파악 알고리즘을 이용한 머신 러닝을 통해 상기 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화하는, 차량 사고 분석 시스템.
In claim 1,
The vehicle accident analysis server,
When the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, different reference times are applied,
Through machine learning using an accident identification algorithm, the time of accident occurrence is identified from the video data, and the second time information at the time of the accident occurs is matched with the first time information at the time of the accident in the autonomous driving record data to create a mutual timeline. A vehicle accident analysis system that synchronizes the autonomous driving record data and the image data after correspondingly correcting them.
상기 자율 주행 기록 데이터는,
상기 자율 주행 차량에 장착된 GPS 장치, 라이다(lidar), 레이더(radar), 초음파 센서(ultrasonic sensor), 컴퓨터 시스템 및 촬영 기기를 비롯한 차량 센서를 통해 획득된 데이터인, 차량 사고 분석 시스템.
In claim 1,
The autonomous driving record data is,
A vehicle accident analysis system, which is data acquired through vehicle sensors including GPS devices, lidar, radar, ultrasonic sensors, computer systems, and imaging devices mounted on the autonomous vehicle.
상기 자율 주행 기록 데이터는,
자율 주행 기능의 온오프, 자율 주행 전환 요청(take over request), 자율 주행 전환(take over), 최소 위험 기동(minimal risk maneuver), 고장(faults), 차량 속도(speed), 차선 변경(lane change), 감속(deceleration), 시야각(field of view) 및 차량 간 거리(distance between vehicles) 중 적어도 하나 이상의 항목을 포함하는, 차량 사고 분석 시스템.
In claim 1,
The autonomous driving record data is,
On/off of autonomous driving functions, take over request, take over, minimal risk maneuver, faults, vehicle speed, lane change ), a vehicle accident analysis system comprising at least one of deceleration, field of view, and distance between vehicles.
상기 사용자 단말은,
상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우, 상기 영상 데이터를 재생할 때 상기 영상 데이터의 재생 시간에 대응되는 상기 자율 주행 기록 데이터의 적어도 하나 이상의 항목을 함께 재생하는, 차량 사고 분석 시스템.
In claim 6,
The user terminal is,
When a playback request is made for any one of the autonomous driving record data and the video data, when playing the video data, at least one item of the autonomous driving record data corresponding to the playback time of the video data is played together. , vehicle accident analysis system.
상기 자율 주행 기록 데이터 및 상기 영상 데이터는 각각 해당 자율 주행 차량의 식별정보 및 차종 정보를 포함하는, 차량 사고 분석 시스템.
In claim 1,
The autonomous driving record data and the image data each include identification information and vehicle model information of the corresponding autonomous vehicle.
상기 영상 데이터는,
상기 자율 주행 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 타 차량에 구비된 차량 영상 기록 장치에 의해서 촬영된 동영상 데이터, 상기 자율 주행 차량 주변의 교통 영상 기록 장치에 의해서 촬영된 동영상 데이터 및 이동통신 단말기에 의해서 촬영된 정지영상 및 동영상 중 적어도 하나 이상의 포함하는, 차량 사고 분석 시스템.
In claim 1,
The video data is,
Video data captured by a vehicle video recording device provided in the autonomous vehicle, video data captured by a vehicle video recording device provided in another vehicle, and video data captured by a traffic video recording device around the autonomous vehicle. And a vehicle accident analysis system comprising at least one of still images and videos captured by a mobile communication terminal.
상기 사고 발생 시의 자율 주행 기록 데이터 및 영상 데이터는 상기 자율 주행 차량에 사고가 발생한 시점을 기준으로 기 설정된 전후 시간의 데이터를 포함하는, 차량 사고 분석 시스템.
In claim 1,
The autonomous driving record data and image data at the time of the accident include data of a preset time before and after the accident occurred in the autonomous vehicle.
상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 화면 상에 출력하는, 사용자 단말.
Equipped with a wired or wireless communication function to acquire autonomous driving record data and image data of an autonomous vehicle, and synchronize the acquired autonomous driving record data and image data based on the time information included in each to analyze accident situation data and accident generate vehicle accident analysis data, including data;
When a playback request is made for any one of the autonomous driving record data and the video data, the user terminal outputs the autonomous driving record data and the video data on the screen in correspondence with each other based on the playback requested time.
상기 자율 주행 기록 데이터 및 상기 영상 데이터를 각각에 포함된 시간정보를 기초로 동기화한 사고 상황 데이터를 포함하여 차량 사고 분석 데이터를 생성하여 제공하는 단계; 및
사용자 단말이 사용자에 의해서 입력된 재생 요청 신호에 따라 화면 상에 상기 차량 사고 분석 데이터를 출력하는 단계를 포함하고,
상기 차량 사고 분석 데이터를 생성하는 단계에서, 상기 자율 주행 기록 데이터 및 상기 영상 데이터 중 어느 하나에 대해 재생 요청이 발생되는 경우 상기 자율 주행 기록 데이터 및 상기 영상 데이터가 재생 요청된 시간을 기초로 서로 대응되게 재생되도록 상기 차량 사고 분석 데이터를 생성하는, 차량 사고 분석 방법.
A vehicle accident analysis server acquiring autonomous driving record data and image data of an autonomous vehicle;
Generating and providing vehicle accident analysis data including accident situation data synchronized with the autonomous driving record data and the video data based on time information included in each; and
A user terminal comprising the step of outputting the vehicle accident analysis data on a screen according to a playback request signal input by the user,
In the step of generating the vehicle accident analysis data, when a playback request is made for any one of the autonomous driving record data and the video data, the autonomous driving record data and the video data correspond to each other based on the playback requested time. A vehicle accident analysis method for generating the vehicle accident analysis data to be reproduced.
상기 차량 사고 분석 데이터를 생성하는 단계는,
상기 자율 주행 기록 데이터를 기초하여 상기 자율 주행 차량과 관련된 적어도 하나 이상의 사고 분석 데이터를 생성하는 단계를 더 포함하고,
상기 차량 사고 분석 데이터를 생성할 때, 상기 사고 분석 데이터를 포함하여 생성하는, 차량 사고 분석 방법.
In claim 12,
The step of generating the vehicle accident analysis data is,
Further comprising generating at least one accident analysis data related to the autonomous vehicle based on the autonomous driving record data,
When generating the vehicle accident analysis data, a vehicle accident analysis method including the accident analysis data.
상기 차량 사고 분석 데이터를 생성하는 단계에서,
상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 시간차가 발생하는 경우, 상기 제1 시간정보를 기준으로 상기 제2 시간정보와의 시간차를 보정시간으로 설정하여 상기 제2 시간정보를 보정한 후 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 서로 동기화하는, 차량 사고 분석 방법.
In claim 12,
In the step of generating the vehicle accident analysis data,
If the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, and a time difference occurs, the time difference with the second time information is calculated based on the first time information. A vehicle accident analysis method that corrects the second time information by setting it as a correction time and then synchronizes the autonomous driving record data and the image data with each other.
상기 차량 사고 분석 데이터를 생성하는 단계에서,
상기 자율 주행 기록 데이터의 제1 시간정보가 GPS 시간이고 상기 영상 데이터의 제2 시간정보가 비 GPS 시간으로 서로 다른 기준시간을 적용한 경우,
사고 파악 알고리즘을 이용한 머신 러닝을 통해 상기 영상 데이터로부터 사고 발생 시점을 파악하고 상기 사고 발생 시점의 제2 시간정보를 상기 자율 주행 기록 데이터의 사고 발생 시점의 제1 시간정보와 매칭시켜 서로의 타임라인이 대응되게 보정한 후, 상기 자율 주행 기록 데이터 및 상기 영상 데이터를 동기화하는, 차량 사고 분석 방법.In claim 12,
In the step of generating the vehicle accident analysis data,
When the first time information of the autonomous driving record data is GPS time and the second time information of the image data is non-GPS time, different reference times are applied,
Through machine learning using an accident identification algorithm, the time of accident occurrence is identified from the video data, and the second time information at the time of the accident occurs is matched with the first time information at the time of the accident in the autonomous driving record data to create a mutual timeline. After correspondingly correcting, the vehicle accident analysis method synchronizes the autonomous driving record data and the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2022/020045 WO2023171884A1 (en) | 2022-03-08 | 2022-12-09 | Vehicle accident analysis system and method, and user terminal |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220029532 | 2022-03-08 | ||
KR20220029532 | 2022-03-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230132685A true KR20230132685A (en) | 2023-09-18 |
Family
ID=88196368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220046255A KR20230132685A (en) | 2022-03-08 | 2022-04-14 | Vehicle accident analysis system and method, and user terminal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230132685A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200143309A (en) | 2018-12-19 | 2020-12-23 | 주식회사 만도 | Safety control system and method of self-driving vehicles |
-
2022
- 2022-04-14 KR KR1020220046255A patent/KR20230132685A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200143309A (en) | 2018-12-19 | 2020-12-23 | 주식회사 만도 | Safety control system and method of self-driving vehicles |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210327299A1 (en) | System and method for detecting a vehicle event and generating review criteria | |
US10943135B2 (en) | Information processing apparatus, image delivery system, information processing method, and computer-readable recording medium | |
US11137763B2 (en) | Generating and fusing traffic scenarios for automated driving systems | |
US11556744B1 (en) | Auto labeler | |
Holstein et al. | Ethical and social aspects of self-driving cars | |
US20180342165A1 (en) | Deploying human-driven vehicles for autonomous vehicle routing and localization map updating | |
US20180017799A1 (en) | Heads Up Display For Observing Vehicle Perception Activity | |
CN108574811B (en) | Image recording system, image recording method, and image recording program | |
US20210287387A1 (en) | Lidar point selection using image segmentation | |
US11904853B2 (en) | Apparatus for preventing vehicle collision and method thereof | |
US11164450B2 (en) | Traffic flow at intersections | |
JP5962898B2 (en) | Driving evaluation system, driving evaluation method, and driving evaluation program | |
US20230343108A1 (en) | Systems and methods for detecting projection attacks on object identification systems | |
KR20230132685A (en) | Vehicle accident analysis system and method, and user terminal | |
US20230350778A1 (en) | Simulation evaluation pipeline | |
US20220242455A1 (en) | Unforeseen vehicle driving scenarios | |
US20230418586A1 (en) | Information processing device, information processing method, and information processing system | |
WO2022004448A1 (en) | Information processing device, information processing method, information processing system, and program | |
KR20200033514A (en) | Vehicle accident video sharing method and apparatus | |
Sahawneh et al. | Requirements for the Next-Generation Autonomous Vehicle Ecosystem | |
WO2023171884A1 (en) | Vehicle accident analysis system and method, and user terminal | |
US20230274586A1 (en) | On-vehicle device, management system, and upload method | |
CN110717475A (en) | Automatic driving scene classification method and system | |
JP2005114736A (en) | Data processing unit for support device in automobile, and method of preparing fusioned situation data for at least one support device with respect to automobile | |
EP4357872A1 (en) | Information-generating method, information-generating device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |