KR102180933B1 - 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치 - Google Patents

딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치 Download PDF

Info

Publication number
KR102180933B1
KR102180933B1 KR1020190164859A KR20190164859A KR102180933B1 KR 102180933 B1 KR102180933 B1 KR 102180933B1 KR 1020190164859 A KR1020190164859 A KR 1020190164859A KR 20190164859 A KR20190164859 A KR 20190164859A KR 102180933 B1 KR102180933 B1 KR 102180933B1
Authority
KR
South Korea
Prior art keywords
accident
accidental
accidental error
calculating
learning
Prior art date
Application number
KR1020190164859A
Other languages
English (en)
Inventor
이용구
이성재
신호정
김진수
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190164859A priority Critical patent/KR102180933B1/ko
Priority to PCT/KR2020/014494 priority patent/WO2021118047A1/ko
Application granted granted Critical
Publication of KR102180933B1 publication Critical patent/KR102180933B1/ko
Priority to US17/839,191 priority patent/US20220309593A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

본 발명은 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 방법은 (a) 사고 영상 데이터를 획득하는 단계; 및 (b) 상기 획득된 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 단계;를 포함할 수 있다.

Description

딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치{A Method and Apparatus for Accidental Negligence Evaluation of Accident Image Using Deep Learning}
본 발명은 사고과실 평가 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치에 관한 것이다.
사고 과실 평가 시스템은 사고 당시의 상황을 녹화한 동영상을 활용하여 블랙박스 장착 차량의 사고 과실 비율을 평가해주는 시스템이다. 사고 상황에서 과실 비율은 차선, 신호등, 속도 등 차량의 주행에 영향을 미치는 다양한 요인에 의해 결정된다.
보통 보험사 직원, 사고 당사자의 합의에 의해 과실 비율이 결정되며, 다양한 환경적 요인은 모두 고려할 수 없는 문제점이 존재하여 변호사, 법원 등 법에 의해 과실 비율이 결정되기도 한다.
변호사 선임, 법원 소송 등으로 과실 비율을 정할 경우, 비용적, 시간적 소모가 크다는 단점이 존재하여 보통 보험사 직원, 사고 당사자의 합의에 의해 주관적으로 과실 비율이 정해지는 실정이다.
경찰의 경우, 과학수사대에서는 여러 블랙박스 영상을 확보하여 사고 상황을 재구성한 후, 조사를 하게 된다. 이는 다수의 블랙박스 영상 확보, 재구성 시간 소모 등에 문제점이 존재한다.
[특허문헌 1] 한국공개특허 제10-2018-0024756호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명은 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 상기 사고과실 판별 모델을 학습시키기 위한 사고과실 평가 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하기 위한 사고과실 평가 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 방법은 (a) 사고 영상 데이터를 획득하는 단계; 및 (b) 상기 획득된 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 단계;를 포함할 수 있다.
실시예에서, 상기 사고과실 평가 방법은, 상기 (b) 단계 이전에, 사고 영상 학습데이터 및 상기 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득하는 단계; 및 상기 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 상기 사고과실 판별 모델을 학습시키는 단계;를 더 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 특징맵(feature map)을 산출하는 단계; 및 상기 특징맵에 기반하여 상기 사고 과실 정보를 산출하는 단계;를 포함할 수 있다.
실시예에서, 상기 특징맵을 산출하는 단계는, 상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 시간 정보 및 공간 정보 중 적어도 하나를 추출하는 단계; 및 상기 시간 정보 및 공간 정보 중 적어도 하나에 기반하여 상기 특징맵을 산출하는 단계;를 포함할 수 있다.
실시예에서, 상기 사고 과실 정보는, 사고 과실 비율을 포함할 수 있다.
실시예에서, 상기 사고과실 평가 방법은, 상기 (b) 단계 이전에, 상기 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득하는 단계; 및 상기 시선 위치가 상대 차량의 관심 영역에 포함되는지 여부에 따라 고의성 점수를 산출하는 단계;를 더 포함할 수 있다.
실시예에서, 상기 사고과실 평가 방법은, 상기 고의성 점수를 산출하는 단계 이후에, 상기 시선 위치가 상기 상대 차량의 관심 영역에 포함되는 경우, 상기 상대 차량의 운행 상태에 대응하는 상기 차량의 조작 제어가 수행되는지 여부에 따라 상기 고의성 점수에 가중치를 부여하는 단계;를 더 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 고의성 점수 및 상기 가중치 중 적어도 하나와 상기 사고 영상 데이터를 상기 사고과실 판별 모델에 적용하여 상기 사고 과실 정보를 산출하는 단계;를 포함할 수 있다.
실시예에서, 딥러닝을 이용한 사고 영상의 사고과실 평가 장치는, 사고 영상 데이터를 획득하는 입력부; 및 상기 획득된 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 제어부;를 포함할 수 있다.
실시예에서, 상기 입력부는, 사고 영상 학습데이터 및 상기 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득하고, 상기 제어부는, 상기 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 상기 사고과실 판별 모델을 학습시킬 수 있다.
실시예에서, 상기 제어부는, 상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 특징맵(feature map)을 산출하고, 상기 특징맵에 기반하여 상기 사고 과실 정보를 산출할 수 있다.
실시예에서, 상기 제어부는, 상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 시간 정보 및 공간 정보 중 적어도 하나를 추출하고, 상기 시간 정보 및 공간 정보 중 적어도 하나에 기반하여 상기 특징맵을 산출할 수 있다.
실시예에서, 상기 사고 과실 정보는, 사고 과실 비율을 포함할 수 있다.
실시예에서, 상기 딥러닝을 이용한 사고 영상의 사고과실 평가 장치는 상기 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득하는 센서부;를 더 포함하고, 상기 제어부는, 상기 시선 위치가 상대 차량의 관심 영역에 포함되는지 여부에 따라 고의성 점수를 산출할 수 있다.
실시예에서, 상기 제어부는, 상기 시선 위치가 상기 상대 차량의 관심 영역에 포함되는 경우, 상기 상대 차량의 운행 상태에 대응하는 상기 차량의 조작 제어가 수행되는지 여부에 따라 상기 고의성 점수에 가중치를 부여할 수 있다.
실시예에서, 상기 제어부는, 상기 고의성 점수 및 상기 가중치 중 적어도 하나와 상기 사고 영상 데이터를 상기 사고과실 판별 모델에 적용하여 상기 사고 과실 정보를 산출할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출함으로써, 제3자의 입장에서 변호사 또는 법률로 상호간 합의된 과실 측정 자료를 이용하여 신뢰도 높일 수 있다.
또한, 본 발명의 일 실시예에 의하면, 도로교통법에 무지한 일반인도 용이하도록 사고과실 판별 모델을 설계할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 경미한 사고의 경우, 본 특허 기술을 통해 산정된 과실 비율로 변호사를 간편하게 대체할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 카셰어링 업체, 보험사, 변호사 등 본 기술을 통해 과실 비율 산정에 있어서 빠른 판단과 업무 처리 절차에 있어서 시간 감소를 달성할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 과정을 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 딥러닝 기반의 사고과실 판별 모델을 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 특징 추출의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 과정(100)을 도시한 도면이다.
도 1을 참고하면, 딥러닝을 이용한 사고 영상의 사고과실 평가 과정(100)은 사고과실 판별 모델의 학습 과정(110) 및 사고과실 판별 모델의 평가 과정(120)을 포함할 수 있다.
학습 과정(110)에서, 사고 영상 학습데이터 및 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득할 수 있다. 예를 들어, 사고 영상 학습 데이터는 차량의 전면에 부착되는 녹화 영상 및 차량의 후면에 부착되는 녹화 영상을 포함할 수 있다.
또한, 학습 과정(110)에서, 입력된 사고 영상 학습데이터와 과실 비율 학습 데이터, 즉, 해당 사고 영상이 촬영된 차량의 과실 비율을 정답으로 하여 사고과실 판별 모델을 학습시킨다. 즉, 사고과실 판별 모델은 딥러닝 기반으로 학습될 수 있다.
또한, 학습 과정(110)에서, 사고 과실 비율을 평가하기 위해서, 사고 영상 학습데이터에 포함된 신호등, 차선 등 공간 정보와 속도, 사고 발생 이전의 상태 정보 등의 시간 정보가 이용될 수 있다. 따라서 본 발명에 따른 사고과실 판별 모델은 공간 정보와 시간 정보를 모두 학습할 수 있는 딥러닝 네트워크를 사용할 수 있다.
즉, 본 발명에 따른 사고과실 판별 모델은 입력 정보(사고 영상)에 따른 출력값(과실 비율)이 일치하도록 학습을 진행할 수 있다.
평가 과정(120)에서, 사고 영상 데이터가 입력되는 경우, 학습이 완료된 사고과실 판별 모델을 이용하여 사고 과실 정보(예:과실 비율)를 판별할 수 있다.
예를 들어, 사고 상황이 담긴 블랙박스 영상을 사고과실 판별 모델에 입력하면 과실 비율이 측정될 수 있다.
도 2a는 본 발명의 일 실시예에 따른 딥러닝 기반의 사고과실 판별 모델을 도시한 도면이다. 도 2b는 본 발명의 일 실시예에 따른 특징 추출의 예를 도시한 도면이다.
도 2a를 참고하면, 사고 영상 데이터가 동영상 형태인 경우, 입력된 동영상은 여러 프레임으로 이루어진 이미지이다. 즉, 동영상은 여러 프레임 이미지의 합성으로 표현될 수 있다.
이 경우, 본 발명에 따른 사고과실 판별 모델은 한 개의 프레임 안에서 컨볼루션을 진행하여 특징을 추출하여 특징맵을 생성할 수 있다. 단일 프레임에서 컨볼루션을 진행하므로 시간 정보에 대한 손실이 발생할 수 있다.
도 2b를 참고하면, 해당 컨볼루션은 2D 이미지상에서 표현될 수 있다. 이 경우, 하얀색으로 표현된 이미지의 픽셀을 필터(filter)가 돌아다니며 특징을 추출하여 출력으로 특징맵을 생성할 수 있다.
여기서, 도 2b의 경우, 단일 프레임에서 특징맵을 추출하는 것을 나타낸다. 따라서 필터는 단순 직사각형으로 표현될 수 있다.
일 실시예에서, 3D 컨볼루션은 다수의 프레임에서 특징맵을 추출하는 것이므로, 필터의 모양이 직육면체 형태로 표현될 수 있다.
도 2a 및 2b를 참고하면, 본 발명에 따른 사고과실 판별 모델은 공간 정보와 시간 정보를 모두 포함하여 학습할 수 있다. 즉, 단일 프레임이 아닌, 다수의 프레임을 컨볼루션하는 방식이다. 이러한 방식을 통해 추돌 전의 정보까지 추출하여 과실 여부를 판단할 수 있다.
본 발명에 따른 사고과실 판별 모델은 특징맵의 뒷부분에 사고 과실을 11단계로 분류할 수 있는 네트워크를 적용하여 사고 과실을 판단할 수 있다. 예를 들어, 사고과실 판별 모델의 출력값이 사고 과실 비율(0~100%)로 나타낼 수 있다.
학습 과정에서는 사고과실 판별 모델을 통해 출력된 값과, 입력된 과실 비율을 비교하여 두 개의 값에 차이가 발생하지 않도록 하는 과정을 의미할 수 있다. 즉, 본 발명에 따른 사고과실 판별 모델은 정답과 예측값의 차이를 줄여나가는 방식으로 학습되는 모델이다.
과실 비율 평가 과정에서, 학습된 사고과실 판별 모델에 사고 영상 데이터(예: 블랙박스 영상)을 입력되는 경우, 사고 영상 데이터에 대한 과실 비율이 출력될 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 방법을 도시한 도면이다.
도 3을 참고하면, 일 실시예에서, 사고과실 판별 모델의 학습 과정에 있어서, S303 단계 이전에, 사고 영상 학습데이터 및 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득하고, 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 사고과실 판별 모델을 학습시킬 수 있다.
S301 단계는, 사고 영상 데이터를 획득하는 단계이다.
S303 단계는, 획득된 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 단계이다.
일 실시예에서, 사고과실 판별 모델을 이용하여 사고 영상 데이터로부터 특징맵(feature map)을 산출하고, 특징맵에 기반하여 사고 과실 정보를 산출할 수 있다.
일 실시예에서, 사고과실 판별 모델을 이용하여 사고 영상 데이터로부터 시간 정보 및 공간 정보 중 적어도 하나를 추출하고, 시간 정보 및 공간 정보 중 적어도 하나에 기반하여 특징맵을 산출할 수 있다.
일 실시예에서, 사고 과실 정보는, 사고 과실 비율을 포함할 수 있다.
일 실시예에서, S303 단계 이전에, 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득하고, 시선 위치가 상대 차량의 관심 영역에 포함되는지 여부에 따라 고의성 점수를 산출할 수 있다.
일 실시예에서, 고의성 점수를 산출한 후, 시선 위치가 상대 차량의 관심 영역에 포함되는 경우, 상대 차량의 운행 상태에 대응하는 차량의 조작 제어가 수행되는지 여부에 따라 고의성 점수에 가중치를 부여할 수 있다.
이 경우, 고의성 점수 및 가중치 중 적어도 하나와 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출할 수 있다.
일 실시예에서, 카셰어링 업체, 보험사, 변호사 등 다양한 교통사고에 관해 사고처리를 담당하는 이해관계자는 과실 측정에 있어서 주관적인 의견이 포함될 수 있기 때문에, 본 발명의 다양한 실시예에 따라, 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출함으로써, 제3자의 입장에서 변호사 또는 법률로 상호간 합의된 과실 측정 자료를 이용하여 신뢰도 높일 수 있다.
또한, 본 발명에 따르면, 도로교통법에 무지한 일반인도 용이하도록 사고과실 판별 모델을 설계할 수 있다.
또한, 본 발명에 따르면, 경미한 사고의 경우, 본 특허 기술을 통해 산정된 과실 비율로 변호사를 간편하게 대체할 수 있다.
또한, 본 발명에 따르면, 카셰어링 업체, 보험사, 변호사 등 본 기술을 통해 과실 비율 산정에 있어서 빠른 판단과 업무 처리 절차에 있어서 시간 감소를 달성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 사고 영상의 사고과실 평가 장치(400)의 기능적 구성을 도시한 도면이다.
도 4를 참고하면, 사고과실 평가 장치(400)는 입력부(410), 제어부(420), 센서부(430) 및 저장부(440)를 포함할 수 있다.
입력부(410)는 사고 영상 데이터를 획득할 수 있다. 일 실시예에서, 입력부(410)는 사고 영상 데이터가 사진 이미지인 경우 카메라(camera)로 구현되고, 사고 영상 데이터가 비디오 영상인 경우 비디오 카메라(video camera)로 구현될 수 있다. 일 실시예에서, 입력부(410)는 사고 영상 데이터를 통신 네트워크를 통해 외부 전자장치로부터 수신하는 경우 송수신기 또는 통신부로 구현될 수 있다.
제어부(420)는 획득된 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출할 수 있다.
일 실시예에서, 제어부(420)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(420)는 CP(communication processor)라 지칭될 수 있다. 제어부(420)는 본 발명의 다양한 실시예에 따른 사고과실 평가 장치(400)의 동작을 제어할 수 있다.
센서부(430)는 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득할 수 있다.
저장부(440)는 사고 영상 데이터, 사고 영상 학습데이터 및 과실 비율 학습 데이터를 저장할 수 있다. 또한, 저장부(440)는 학습이 완료된 사고과실 판별 모델을 저장할 수 있다. 또한, 일 실시예에서, 저장부(440)는 고의성 점수, 고의성 점수에 부여된 가중치 및 사고 과실 정보를 저장할 수 있다.
일 실시예에서, 저장부(440)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(440)는 제어부(420)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 4를 참고하면, 사고과실 평가 장치(400)는 입력부(410), 제어부(420), 센서부(430) 및 저장부(440)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 사고과실 평가 장치(400)는 도 4에 설명된 구성들이 필수적인 것은 아니어서, 도 4에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
100: 사고과실 평가 과정
110: 학습 과정
120: 평가 과정
400: 사고과실 평가 장치
410: 입력부
420: 제어부
430: 센서부
440: 저장부

Claims (16)

  1. 사고 영상 데이터를 획득하는 단계;
    상기 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득하는 단계;
    상기 시선 위치가 상대 차량의 관심 영역에 포함되는지 여부에 따라 고의성 점수를 산출하는 단계;
    상기 시선 위치가 상기 상대 차량의 관심 영역에 포함되는 경우, 상기 상대 차량의 운행 상태에 대응하는 상기 차량의 조작 제어가 수행되는지 여부에 따라 상기 고의성 점수에 가중치를 부여하는 단계; 및
    상기 고의성 점수 및 상기 가중치 중 적어도 하나와 상기 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 단계;
    를 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 방법.
  2. 제1항에 있어서,
    상기 사고 과실 정보를 산출하는 단계 이전에,
    사고 영상 학습데이터 및 상기 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득하는 단계; 및
    상기 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 상기 사고과실 판별 모델을 학습시키는 단계;
    를 더 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 방법.
  3. 제1항에 있어서,
    상기 사고 과실 정보를 산출하는 단계는,
    상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 특징맵(feature map)을 산출하는 단계; 및
    상기 특징맵에 기반하여 상기 사고 과실 정보를 산출하는 단계;
    를 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 방법.
  4. 제3항에 있어서,
    상기 특징맵을 산출하는 단계는,
    상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 시간 정보 및 공간 정보 중 적어도 하나를 추출하는 단계; 및
    상기 시간 정보 및 공간 정보 중 적어도 하나에 기반하여 상기 특징맵을 산출하는 단계;
    를 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 방법.
  5. 제1항에 있어서,
    상기 사고 과실 정보는, 사고 과실 비율을 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 사고 영상 데이터를 획득하는 입력부;
    상기 사고 영상 데이터에 대한 차량의 운전자의 시선 위치를 획득하는 센서부; 및
    상기 시선 위치가 상대 차량의 관심 영역에 포함되는지 여부에 따라 고의성 점수를 산출하고,
    상기 시선 위치가 상기 상대 차량의 관심 영역에 포함되는 경우, 상기 상대 차량의 운행 상태에 대응하는 상기 차량의 조작 제어가 수행되는지 여부에 따라 상기 고의성 점수에 가중치를 부여하고,
    상기 고의성 점수 및 상기 가중치 중 적어도 하나와 상기 사고 영상 데이터를 사고과실 판별 모델에 적용하여 사고 과실 정보를 산출하는 제어부;
    를 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 장치.
  10. 제9항에 있어서,
    상기 입력부는, 사고 영상 학습데이터 및 상기 사고 영상 학습데이터에 대응하는 과실 비율 학습데이터를 획득하고,
    상기 제어부는, 상기 사고 영상 학습데이터 및 과실 비율 학습데이터를 이용하여 상기 사고과실 판별 모델을 학습시키는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 특징맵(feature map)을 산출하고,
    상기 특징맵에 기반하여 상기 사고 과실 정보를 산출하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 사고과실 판별 모델을 이용하여 상기 사고 영상 데이터로부터 시간 정보 및 공간 정보 중 적어도 하나를 추출하고,
    상기 시간 정보 및 공간 정보 중 적어도 하나에 기반하여 상기 특징맵을 산출하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 장치.
  13. 제9항에 있어서,
    상기 사고 과실 정보는, 사고 과실 비율을 포함하는,
    딥러닝을 이용한 사고 영상의 사고과실 평가 장치.


  14. 삭제
  15. 삭제
  16. 삭제
KR1020190164859A 2019-12-11 2019-12-11 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치 KR102180933B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190164859A KR102180933B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치
PCT/KR2020/014494 WO2021118047A1 (ko) 2019-12-11 2020-10-22 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치
US17/839,191 US20220309593A1 (en) 2019-12-11 2022-06-13 Method and apparatus for accidental negligence evaluation of accident image using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164859A KR102180933B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102180933B1 true KR102180933B1 (ko) 2020-11-19

Family

ID=73679123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164859A KR102180933B1 (ko) 2019-12-11 2019-12-11 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치

Country Status (3)

Country Link
US (1) US20220309593A1 (ko)
KR (1) KR102180933B1 (ko)
WO (1) WO2021118047A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342298B1 (ko) 2021-04-26 2021-12-21 국민대학교산학협력단 3d 시뮬레이터 기반의 과실비율 산정 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
KR101763389B1 (ko) * 2016-07-05 2017-07-31 (주) 이즈테크놀로지 운전 부주의 경고 방법 및 시스템
KR20180024756A (ko) 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 영상 데이터를 이용한 교통사고 분석시스템
KR20180129044A (ko) * 2017-05-25 2018-12-05 (주)에이다스원 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
KR20190126024A (ko) * 2019-08-23 2019-11-08 엘지전자 주식회사 교통 사고 처리 장치 및 교통 사고 처리 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3513265A4 (en) * 2016-09-14 2020-04-22 Nauto Global Limited SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US20190077353A1 (en) * 2017-09-13 2019-03-14 International Business Machines Corporation Cognitive-based vehicular incident assistance
KR102147100B1 (ko) * 2018-04-04 2020-08-25 한국과학기술연구원 복수의 영상 장비를 사용하여 관심 객체 식별에 의한 비디오 요약을 생성하는 방법 및 이를 수행하는 시스템
GB2599253A (en) * 2019-05-17 2022-03-30 Aioi Nissay Dowa Insurance Services Usa Corp Systems and method for calculating liability of a driver of a vehicle
US20220073104A1 (en) * 2019-05-30 2022-03-10 Lg Electronics Inc. Traffic accident management device and traffic accident management method
US11507857B2 (en) * 2019-10-01 2022-11-22 TeleLingo Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
KR101763389B1 (ko) * 2016-07-05 2017-07-31 (주) 이즈테크놀로지 운전 부주의 경고 방법 및 시스템
KR20180024756A (ko) 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 영상 데이터를 이용한 교통사고 분석시스템
KR20180129044A (ko) * 2017-05-25 2018-12-05 (주)에이다스원 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
KR20190126024A (ko) * 2019-08-23 2019-11-08 엘지전자 주식회사 교통 사고 처리 장치 및 교통 사고 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342298B1 (ko) 2021-04-26 2021-12-21 국민대학교산학협력단 3d 시뮬레이터 기반의 과실비율 산정 장치 및 방법
KR102429372B1 (ko) 2021-04-26 2022-08-03 국민대학교산학협력단 3d 시뮬레이터 기반의 과실비율 산정 장치 및 방법

Also Published As

Publication number Publication date
US20220309593A1 (en) 2022-09-29
WO2021118047A1 (ko) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2019105342A1 (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
Bloom et al. Self-driving cars and data collection: Privacy perceptions of networked autonomous vehicles
CN107341438A (zh) 基于计算机视觉的车内安全监测的方法和装置
CN106611512B (zh) 前车起步的处理方法、装置和系统
ES2727829T3 (es) Sistema y método de supervisión de pantógrafos
US9336630B2 (en) Method and apparatus for providing augmented reality
KR20210034097A (ko) 자율주행 차량들을 위한 카메라 평가 기술들
CN105355052A (zh) 一种车辆图像的合成方法和装置
KR101834838B1 (ko) 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
CN107972585A (zh) 结合雷达信息的自适应3d环视场景重建系统与方法
US20210158098A1 (en) A method and a system training a model to perform semantic segmentation on foggy images
US20210192215A1 (en) Platform for the management and validation of contents of video images, picture or similar, generated by different devices
KR102180933B1 (ko) 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치
CN112614102A (zh) 一种车辆检测方法、终端及其计算机可读存储介质
Martin et al. Identification of performance limitations of sensing technologies for automated driving
Miclea et al. Visibility detection in foggy environment
CN114170585A (zh) 危险驾驶行为的识别方法、装置、电子设备及存储介质
KR101738025B1 (ko) 블랙박스를 이용한 사고판단시스템 및 그 구동방법
Haloi et al. Characterizing driving behavior using automatic visual analysis
KR102089230B1 (ko) 영상을 이용한 차량의 속도 예측 장치 및 방법
JP6969245B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
CN111191603A (zh) 车内人员识别方法、装置、终端设备及介质
CN116152790B (zh) 一种安全带检测方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant