KR102574770B1 - 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법 - Google Patents
인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법 Download PDFInfo
- Publication number
- KR102574770B1 KR102574770B1 KR1020230041307A KR20230041307A KR102574770B1 KR 102574770 B1 KR102574770 B1 KR 102574770B1 KR 1020230041307 A KR1020230041307 A KR 1020230041307A KR 20230041307 A KR20230041307 A KR 20230041307A KR 102574770 B1 KR102574770 B1 KR 102574770B1
- Authority
- KR
- South Korea
- Prior art keywords
- accident
- image
- original
- accident image
- time
- Prior art date
Links
- 206010039203 Road traffic accident Diseases 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Traffic Control Systems (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법이 개시된다. 본 발명의 일 실시예에 따른 교통사고 영상 처리 서버는 원본 사고영상과 관련된 식별 데이터를 생성하고, 생성된 상기 식별 데이터를 상기 원본 사고영상과 매칭하여 저장하는 전처리 수행부; 사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악하고, 파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 사본 사고영상의 파일명을 상기 원본 사고영상의 원본 파일명으로 설정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장하는 사고 시점 탐색부; 및 상기 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 선택하는 영상 처리부를 포함한다.
Description
개시되는 실시예들은 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법과 관련된다.
보험사는 교통사고 발생에 대한 보험처리를 보다 체계적으로 수행하기 위해 교통사고 현장에 대한 영상을 수집하고 있는 실정이다.
차량용 블랙박스는 차량에 장착된 카메라 및 각종 센서를 통해 교통사고 발생 당시의 영상 데이터 및 센싱 데이터를 획득하고, 이를 보험사 서버로 제공할 수 있다.
한편, 보험사 서버는 차량, 보험사 직원 또는 보험 가입자를 통해 교통사고 영상을 수집하지만, 이를 실제 보험처리에 이용하기 위해 교통사고 영상 각각을 육안으로 확인하여 교통사고 관련 부분을 수작업으로 체크하고 있는 실정이다.
개시된 실시예들은 블랙박스 영상의 전처리를 통해 사고 관련 부분을 자동으로 탐지하기 위한 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법을 제공하고자 한다.
일 실시예에 따른 교통사고 영상 처리 서버는, 원본 사고영상과 관련된 식별 데이터를 생성하고, 생성된 상기 식별 데이터를 상기 원본 사고영상과 매칭하여 저장하는 전처리 수행부; 사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악하고, 파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 사본 사고영상의 파일명을 상기 원본 사고영상의 원본 파일명으로 설정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장하는 사고 시점 탐색부; 및 상기 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 선택하는 영상 처리부를 포함한다.
상기 전처리 수행부는, 상기 원본 사고영상을 기초로 제1 메타 데이터를 생성하고, 생성된 상기 제1 메타 데이터를 포함하는 상기 원본 사고영상에 제1 해시값을 추가하여 저장할 수 있다.
상기 전처리 수행부는, 상기 원본 사고영상에 포함된 원본 메타 데이터인 제1-1 메타 데이터에 제1-2 메타 데이터를 추가하여 상기 제1 메타 데이터를 생성하고, 상기 제1-2 메타 데이터는 사용자 기본 정보 및 동영상 기본 정보를 포함하는 추가 메타 데이터일 수 있다.
상기 사용자 기본 정보는, 사용자 아이디, 상기 원본 사고영상의 업로드 시점, 상기 원본 파일명, 접속 아이피 정보 및 접속 경로 정보를 포함할 수 있다.
상기 동영상 기본 정보는, 상기 원본 사고영상의 파일 사이즈, 상기 원본 사고영상의 촬영 시점 및 상기 원본 사고영상이 촬영된 위치 정보를 포함할 수 있다.
상기 사고 시점 탐색부는, 상기 원본 사고영상에서 전방에 대한 사고 전 시점, 사고 시점 및 사고 후 시점을 파악하고, 파악된 시점의 사고영상을 트림(trim)하여 전방 사고영상의 사본으로 저장하되, 상기 원본 사고영상의 원본 파일명을 기초로 저장하고, 상기 원본 사고영상에서 상기 전방 사고영상의 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점을 기준으로 후방에 대한 사고 전 시점, 사고 시점 및 사고 후 시점을 파악하고, 파악된 시점의 사고영상을 트림하여 후방 사고영상의 사본으로 저장하되, 상기 원본 사고영상의 원본 파일명을 기초로 저장할 수 있다.
상기 사고 시점 탐색부는, 상기 전방 사고영상의 사본을 저장할 때, 상기 전방 사고영상에서 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점 각각을 레이블링하여 저장하고, 상기 후방 사고영상의 사본을 저장할 때, 상기 후방 사고영상에서 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점 각각을 레이블링하여 저장할 수 있다.
상기 사고 시점 탐색부는, 상기 전방 사고영상의 사본을 저장할 때, 상기 원본 파일 정보, 상기 전방 사고영상과 관련된 제1-3 메타 데이터 및 상기 전방 사고영상과 관련된 제2-1 해시값을 매칭하여 저장하고, 상기 후방 사고영상의 사본을 저장할 때, 상기 원본 파일 정보, 상기 후방 사고영상과 관련된 제1-4 메타 데이터 및 상기 후방 사고영상과 관련된 제2-2 해시값을 매칭하여 저장할 수 있다.
상기 영상 처리부는, 상기 전방 사고영상 및 상기 후방 사고영상으로부터 상기 충돌 상황이 인식된 영상을 파악하여 상기 충돌 상황이 인식된 영상을 기초로 상기 분석 대상 영상으로 결정하되, 상기 전방 사고영상 및 상기 후방 사고영상 각각의 사고 전 시점, 사고 시점 및 사고 후 시점에 대한 영상에서 상기 충돌 상황이 인식된 화면의 값을 1, 인식되지 않은 화면의 값을 0으로 표시하고, 이들을 합산한 값이 큰 사고영상을 상기 분석 대상 영상으로 결정하고, 상기 분석 대상 영상은 적어도 하나 이상일 수 있다.
일 실시예에 따른 교통사고 영상 처리 방법은, 원본 사고영상과 관련된 식별 데이터를 생성하는 단계; 생성된 상기 식별 데이터를 상기 원본 사고영상과 매칭하여 저장하는 단계; 사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악하는 단계; 파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 원본 사고영상의 원본 파일명을 파일명으로 결정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장하는 단계; 및 상기 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 결정하는 단계를 포함할 수 있다.
개시되는 실시예들에 따르면, 블랙박스 영상으로부터 보험사 사고 처리 시 필요한 사고시점을 자동으로 정확하게 파악할 수 있다는 효과를 기대할 수 있다.
또한, 개시되는 실시예들에 따르면, 블랙박스 영상으로부터 실제 충돌시점을 포함하는 영상만을 별도로 획득할 수 있기 때문에, 보험사 사고 처리에 요구되는 업무 부담을 줄일 수 있다.
또한, 개시되는 실시예들에 따르면, 블랙박스 영상으로부터 사고시점을 파악할 때, 블랙박스 영상인 원본 사고영상을 유지할 수 있도록 영상 처리를 수행하기 때문에 원본 사고영상을 비롯한 추가되는 정보를 법적 증거자료로 활용할 수 있다.
도 1은 일 실시예에 따른 교통사고 영상 처리 서버와 타 구성들 간의 연결 관계를 설명하기 위한 블록도
도 2는 일 실시예에 따른 교통사고 영상의 처리 방법을 간략히 설명하기 위한 예시도
도 3 내지 도 8은 일 실시예에 따른 교통사고 영상을 처리하는 방법을 설명하기 위한 예시도
도 9는 일 실시예에 따른 교통사고 영상 처리 방법을 설명하기 위한 흐름도
도 10은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 교통사고 영상의 처리 방법을 간략히 설명하기 위한 예시도
도 3 내지 도 8은 일 실시예에 따른 교통사고 영상을 처리하는 방법을 설명하기 위한 예시도
도 9는 일 실시예에 따른 교통사고 영상 처리 방법을 설명하기 위한 흐름도
도 10은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 교통사고 영상 처리 서버와 타 구성들 간의 연결 관계를 설명하기 위한 블록도이다.
이하에서는, 일 실시예에 따른 교통사고 영상의 처리 방법을 간략히 설명하기 위한 예시도인 도 2 및 일 실시예에 따른 교통사고 영상을 처리하는 방법을 설명하기 위한 예시도인 도 3 내지 도 8을 참조하여 설명하기로 한다.
도 1을 참고하면, 교통사고 영상 처리 서버(100)는 원본 사고영상을 전달하는 사용자 단말(400) 및 교통사고 관련 보험 처리를 수행하는 보험사 서버(500)와 통신 연결되어, 서로 간에 정보 송수신을 수행할 수 있다. 상기 원본 사고영상은 블랙박스 영상의 원본일 수 있다.
도 2를 참고하면, 교통사고 영상 처리 서버(100)는 사용자(예를 들어, 보험 가입자)에 의해서 사용자 단말(400)을 통해 전송되는 원본 사고영상(도 2의 보험 가입자 영상)을 수신할 수 있다. 이때, 원본 사고영상은 전방 사고영상 및 후방 사고영상을 포함할 수 있다. 이에 한정되지 않고, 원본 사고영상은 차량에 장착된 영상 촬영장치(미도시)의 위치에 따라 좌측 또는 우측에 대한 사이드 사고영상을 추가로 포함할 수 있다. 즉, 원본 사고영상은 차량에 장착된 영상 촬영장치의 위치에 따라 해당 방향에 대한 사고영상을 포함할 수 있는 것이다.
교통사고 영상 처리 서버(100)는 원본 사고영상에 케이스 번호 등과 같은 메타 데이터를 추가 생성하고, 원본 사고영상으로부터 사고 시점(time of car accident, TCA)(도 2의 TCA 0s)을 탐색할 수 있다.
이후, 교통사고 영상 처리 서버(100)는 사고 시점(TCA)을 기준으로 사고 전 시점(before a car accident, BCA) 및 사고 후 시점(after a car accident, ACA)을 파악할 수 있다. 상기 사고 시점은 교통사고 발생 시점을 의미하는 것으로, 과거 교통사고 발생 시 영상을 비롯한 정보들을 기초로 사전 학습된 인공지능 모델을 통해 파악될 수 있다. 본 실시예서의 사고 시점은 충돌 상황을 포함하거나, 또는 포함하지 않을 수 있다. 또한, 사고 시점은 설명의 편의를 위해 충돌 상황을 포함하는 사고 시점을 의미하거나, 또는 상기 사고 전 시점, 사고 시점 및 사고 후 시점을 모두 포함하는 의미로 사용될 수도 있다. 상기 사고 시점은 인공지능 모델을 통해 교통사고를 나타내는 특정 차량 간 충돌 장면, 파손 장면 등의 인식을 통해 파악될 수 있다.
예를 들어, 사고 전 시점(BCA)은 사고 시점으로부터 3초 전(-3s)일 수 있으며, 이에 한정되지 않고 운용자에 의해서 임의로 설정될 수 있다. 사고 후 시점(ACA)은 사고 시점으로부터 3초 후(+3s)일 수 있으며, 이에 한정되지 않고 운용자에 의해서 임의로 설정될 수 있다.
상술한 사고 전 시점 및 사고 후 시점은 과거 교통사고 정보를 기초로 보험 처리 시 요구되는 교통사고 발생 시점을 기준으로 교통사고 발생 전 특정 시점 및 교통사고 발생 후 특정 시점을 반영하여 결정될 수 있다. 예를 들어, 사고보험 처리 시 블랙박스 영상 중 사고발생 전 후를 파악할 때 주로 검토하는 특정 시점(전후 시점) 등의 과거 경험치를 통해 결정될 수 있으며, 이러한 정보는 인공지능 모델을 사전 학습할 때 입력값으로 반영될 수 있다. 다른 예로, 인공지능 모델의 학습을 통해 정상 상태의 영상과 차이가 발생하는 영상이 주로 발생하는 시점 중 정상 상태의 영상과의 차이가 기준치 이상인 시점을 사고 시점으로 결정하고, 사고 시점 전 영상 중 정상 상태의 영상과의 차이가 기준치 미만인 시점을 사고 전 시점으로 설정하도록 할 수 있다.
교통사고 영상 처리 서버(100)는 원본 사고영상을 기초로 파악된 탐색 결과를 포함하여 생성된 원본 사고영상의 사본(이하, 사본 교통사고 영상이라 하기로 함) 및 원본 사고영상을 매칭하여 저장할 수 있다. 이때, 교통사고 영상 처리 서버(100)는 원본 증명을 위해 원본 사고영상 및 사본 교통사고 영상을 기초로 생성된 해시값(hash value)을 매칭하여 저장할 수 있다. 상술한 교통사고 영상 처리 방법에 대한 상세 설명은 후술하기로 한다.
도 1을 참고하면, 교통사고 영상 처리 서버(100)는 전처리 수행부(110), 사고 시점 탐색부(130) 및 영상 처리부(150)를 포함할 수 있다.
전처리 수행부(110)는 원본 사고영상과 관련된 식별 데이터를 생성하고, 생성된 식별 데이터를 원본 사고영상과 매칭하여 저장할 수 있다. 이때, 식별 데이터는 원본 사고영상을 분석할 때 참고될 수 있는 정보 및 원본 증명을 위한 정보를 포함하는 추가정보를 의미할 수 있다. 예를 들어, 식별 데이터는 후술하는 메타 데이터 및 해시값을 포함할 수 있다.
전처리 수행부(110)는 사용자에 의해서 제공된 원본 사고영상을 분석하기 위해 사용자 정보 등의 메타 데이터(도 3의 create meta inf.)를 생성하여 관련 원본사고 영상과 매칭하여 저장 및 관리할 수 있는 것이다.
도 3을 참고하면, 전처리 수행부(110)는 원본 사고영상(original video)을 기초로 제1 메타 데이터를 생성하고, 생성된 제1 메타 데이터를 포함하는 원본 사고영상에 제1 해시값(add hash value)을 추가하여 저장(video file storage)할 수 있다. 예를 들어, 원본 사고영상의 파일명(F.name)(이하, 원본 파일명이라 하기로 함)은 원본 사고영상이 촬영된 날짜시분초를 나타내는 202301311423일 수 있으며, 이에 한정되지 않는다.
전처리 수행부(110)는 원본 사고영상에 포함된 원본 메타 데이터인 제1-1 메타 데이터에 제1-2 메타 데이터를 추가하여 제1 메타 데이터를 생성할 수 있다. 상기 제1-1 메타 데이터는 원본 메타 데이터를 의미하는 것으로, 원본 사고영상 파일에 기록된 메타 데이터일 수 있다. 상기 제1-2 메타 데이터는 사용자 기본 정보 및 동영상 기본 정보를 포함하는 추가 메타 데이터일 수 있다.
상기 사용자 기본 정보는 사용자 아이디, 원본 사고영상의 업로드 시점, 원본 파일명, 접속 아이피 정보 및 접속 경로 정보를 포함할 수 있다. 상기 사용자 아이디는 이용자 계정명이고, 원본 사고영상의 업로드 시점은 원본 사고영상을 교통사고 영상 처리 서버(100)에 업로드 완료한 시점이며, 원본 파일명은 사용자에 의해서 업로드된 원 파일명이고, 접속 아이피는 사용자 단말(400)이 원본 사고영상을 전송하기 위해 접속한 IP 정보이고, 및 접속 경로 정보는 웹 및 앱을 등을 통해 사용자 단말(400)이 원본 사고영상을 전송하기 위해 이용한 접속 경로 정보를 의미할 수 있다.
상기 동영상 기본 정보는 원본 사고영상의 파일 사이즈, 원본 사고영상의 촬영 시점 및 원본 사고영상이 촬영된 위치 정보를 포함할 수 있다. 상기 원본 사고영상의 파일 사이즈는 사용자 단말(400)로부터 전송된 동영상 파일의 크기이고, 원본 사고영상이 촬영된 위치 정보는 원본 사고영상이 촬영된 GPS 정보를 의미할 수 있다. 추가로, 동영상 기본 정보는 원본 사고영상 파일에 기록된 메타 데이터(이하, 원본 메타 데이터라 하기로 함) 정보를 포함할 수 있다.
상술한 전처리 수행부(110)는 사용자 단말(400)로부터 전송되는 원본 사고영상을 기초로 사고보험 처리와 관련된 후술하는 동작을 보다 원활히 처리하기 위해 요구되는 추가 메타 데이터를 더 포함할 수 있도록 처리하되, 원본 사고영상을 변경하지 않고 추가 메타 데이터를 포함하여 원본 사고영상의 사본(사본 사고영상)(도 3의 source copy file)을 생성할 수 있다. 이때, 전처리 수행부(110)는 원본 사고영상에 대한 원본 증명을 위해 해시값을 생성하여, 원본 사고영상, 사본 사고영상 및 제1 메타 데이터와 함께 서로 매칭하여 저장할 수 있다.
즉, 본 실시예에서는 사고보험 처리를 위한 원본 사고영상을 분석할 때, 원본 사고영상은 원본 상태로 유지하면서, 추가되는 정보를 포함시켜 원본 사고영상의 사본을 생성하여 저장 및 관리하는 것이다.
사고 시점 탐색부(130)는 사전 학습된 인공지능 모델을 이용하여 원본 사고영상으로부터 사고 시점(TCA)을 파악하고, 파악된 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장할 수 있다. 상기 기 설정된 분석 시점은 사고 전 시점, 사고 시점 및 사고 후 시점을 포함할 수 있다.
예를 들어, 도 4 및 도 6과 같이, 사고 시점 탐색부(130)는 원본 사고영상(Record S.로부터 Record E.까지의 동영상)으로부터 파악된 사고 시점(TCA)을 기준으로 사고 전 시점(BCA) 및 사고 후 시점(ACA)을 추가로 파악한 후, 사고 전 시점, 사고 시점 및 사고 후 시점 각각에 레이블링을 하고, 해당 부분만 추출(trim)(도 4의 Trim Video 부분)하여 사본 형태로 저장할 수 있다.
이때, 사본 사고영상은 사고 전 시점, 사고 시점 및 사고 후 시점 각각의 스틸 컷 형태이거나, 또는 사고 전 시점, 사고 시점 및 사고 후 시점 각각 별도 구분된 동영상 형태이거나, 또는 사고 전 시점으로부터 사고 후 시점을 포함하는 하나의 동영상 형태일 수 있다.
상기 사고 전 시점은 사고 시점으로부터 사전 설정된 사고 전 시점(예를 들어, 3초 전), 사고 시점은 충돌 시점, 사고 후 시점은 사고 시점으로부터 사전 설정된 시간이 지난 시점(예를 들어, 3초 후)일 수 있으며, 이에 한정되지 않고, 운용자에 따라 각각의 시점에 매칭되는 조건을 변경하여 설정할 수 있다. 예를 들어, 본 실시예는 사고 전 시점을 사고 원인이 발생한 시점(예를 들어, 차선이탈 시작 시점, 특정 대상이 차량을 향해 날아오는 것을 감지한 시점, 전방 차량이 급 정차를 한 시점 등) 등으로 설정할 수 있는 것이다. 다른 예로, 상기 사고 시점은 충돌 상황을 미 포함할 수도 있다.
사고 시점 탐색부(130)는 원본 사고영상으로부터 분석 시점별로 레이블링을 수행할 때, 사전 학습된 인공지능 모델을 통해 파악된 원본 사고영상에서의 사고 관련 부분을 별도 식별 처리할 수 있다.
예를 들어, 사고 시점 탐색부(130)는 원본 사고영상 내에서 충돌 부분, 파편이 날아오는 부분, 차량이 파손된 부분 등과 같은 사고 관련 부분에 별도의 표시마크(손가락 표시 등)를 추가할 수 있으며, 이는 사본 사고영상에 반영되어, 함께 저장될 수 있다. 상술한 표시마크는 운용자의 필요에 따라 사본 사고영상에 표시되는 형태가 아니라 별도의 참조정보 형태로 사본 사고영상과 함께 매칭되어 저장될 수 있음은 당연하다 할 것이다. 이러한 사고 관련 부분에 대한 표시마크 및 참조정보는 이후 교통사고 과실 여부 판단 시 중점적으로 판단해야 할 부분을 신속하게 인식할 수 있도록 하기 때문에, 관련 처리를 보다 간소화하고 빠르게 처리할 수 있도록 하는 효과를 기대할 수 있다. 상기 표시마크는 중요도에 따라 등급으로 구분될 수 있다. 예를 들어, 사고 시점 탐색부(130)는 교통사고와 직접적인 관련이 있는 사고 관련 부분(예를 들어, 충돌 부분)은 가장 높은 1등급 표시마크로 표시될 수 있도록 하고, 교통사고와 직접적인 관련도가 낮은 사고 관련 부분(예를 들어, 해당 도로 상의 가로등의 점멸 상태)은 상대적으로 낮은 등급의 표시마크로 표시될 수 있도록 할 수 있다.
사고 시점 탐색부(130)는 사본 사고영상의 파일명을 원본 사고영상의 원본 파일명으로 설정하고 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장할 수 있다. 상기 원본 파일 정보는 원본 메타 데이터를 비롯하여 원본 사고영상 파일에 기록에 정보를 의미할 수 있다.
본 실시예에서, 사본 사고영상의 파일명을 원본 사고영상의 원본 파일명으로 설정하는 것은 원본 파일명과 동일하게 설정하거나, 또는 원본 파일명을 포함하도록 설정하거나, 또는 원본 파일명을 파악할 수 있는 형태로 설정하는 것을 의미할 수 있다.
일 예로, 도 4 및 도 5를 참고하면, 사고 시점 탐색부(130)는 원본 사고영상에서 전방에 대한 사고 전 시점(BCA), 사고 시점(TCA) 및 사고 후 시점(ACA)을 파악하고, 파악된 시점의 사고영상을 트림(trim)하여 전방 사고영상의 사본으로 저장하되, 원본 사고영상의 원본 파일명을 기초로 저장할 수 있다. 예를 들어, 전방 사고영상의 사본의 파일명은 TV_F_202301111423일 수 있다. 즉, 사고 시점 탐색부(130)는 원본 파일명인 202301111423에 전방 및 사본임을 인식할 수 있는 TV_F를 추가한 TV_F_202301111423를 전방 사고영상의 사본의 파일명으로 설정하여, 원본 사고영상과의 연관성이 보장될 수 있도록 하는 것이다.
이때, 사고 시점 탐색부(130)는 전방 사고영상의 사본의 파일명을 설정할 때, 원본 파일명에 해당 영상이 촬영된 위치 정보를 추가할 수 있다. 상기 위치 정보는 GPS 정보일 수 있고, 전방 사고영상의 사본이 저장될 때 해당 위치 정보가 지도 상에서 매핑(mapping)되어 저장될 수 있다.
사고 시점 탐색부(130)는 전방 사고영상의 사본을 저장할 때, 전방 사고영상에서 사고 전 시점, 사고 시점 및 사고 후 시점 각각을 레이블링하여 저장할 수 있다. 이때, 레이블링은 전방 사고영상에서 사고 전 시점, 사고 시점 및 사고 후 시점 각각을 인식하고, 빠르게 검색할 수 있도록 하기 위한 것일 수 있다. 이를 위해, 레이블링 시의 레이블링 정보는 전방 사고영상의 사본에서 레이블링 각각을 식별할 수 있는 고유정보를 포함할 수 있다. 추가로, 레이블링 정보는 해당 전방 사고영상의 사본을 식별할 수 있는 고유정보를 추가로 포함할 수 있다. 예를 들어, 레이블링 정보는 레이블링별 고유정보 및 레이블링이 인식된 해당 전방 사고영상의 사본의 고유정보를 포함할 수 있는 것이다.
사고 시점 탐색부(130)는 전방 사고영상의 사본을 저장할 때, 원본 파일 정보, 전방 사고영상과 관련된 제1-3 메타 데이터 및 전방 사고영상과 관련된 제2-1 해시값을 매칭하여 저장할 수 있다.
다른 예로, 도 6 및 도 7을 참고하면, 사고 시점 탐색부(130)는 원본 사고영상에서 전방 사고영상의 사고 전 시점(BCA), 사고 시점(TCA) 및 사고 후 시점(ACA)을 기준으로 후방에 대한 사고 전 시점(BCA), 사고 시점(TCA) 및 사고 후 시점(ACA)을 파악하고, 파악된 시점의 사고영상을 트림(trim)하여 후방 사고영상의 사본으로 저장하되, 원본 사고영상의 원본 파일명을 기초로 저장할 수 있다.
이때, 사고 시점 탐색부(130)는 후방 사고영상의 사본을 저장할 때, 트림된 전방 사고영상의 사본의 사고 전 시점으로부터 사고 후 시점까지의 타임 라인(time line)에 맞춰서 트림한 후방 사고 영상의 사본을 저장할 수 있다.
예를 들어, 후방 사고영상의 사본의 파일명은 TV_R_202301111423일 수 있다. 즉, 사고 시점 탐색부(130)는 원본 파일명인 202301111423에 후방 및 사본임을 인식할 수 있는 TV_R을 추가한 TV_R_202301111423를 후방 사고영상의 사본의 파일명을 설정하여, 원본 사고영상과의 연관성이 보장될 수 있도록 하는 것이다.
이때, 사고 시점 탐색부(130)는 후방 사고영상의 사본의 파일명을 설정할 때, 원본 파일명에 해당 영상이 촬영된 위치 정보를 추가할 수 있다. 상기 위치 정보는 GPS 정보일 수 있고, 후방 사고영상의 사본이 저장될 때 해당 위치 정보가 지도 상에서 매핑(mapping)되어 저장될 수 있다.
도 6에서 도시하는 바와 같이, 후방에 대한 사고 전 시점은 전방 사고영상의 사고 전 시점과 동일 시점일 수 있다. 즉, 사고 시점 탐색부(130)는 교통사고 영상을 분석할 때 동일시점에 대한 전방과 후방의 영상이 모두 분석될 수 있도록 하는 것이다.
한편, 본 실시예에서는 전방 사고영상 및 후방 사고영상만을 예시로 하여 설명하였지만, 사용자 단말(400)로부터 제공되는 원본 사고영상이 좌측 또는 우측의 사이드 사고영상 등을 포함하는 경우, 이에 상술한 전방 및 후방의 영상 처리와 동일한 조건을 적용하여 사고 전 시점, 사고 시점 및 사고 후 시점을 각각 파악하여 사본 형태로 저장할 수 있음은 당연하다 할 것이다.
사고 시점 탐색부(130)는 후방 사고영상의 사본을 저장할 때, 후방 사고영상에서 사고 전 시점, 사고 시점 및 사고 후 시점 각각을 레이블링하여 저장할 수 있다.
사고 시점 탐색부(130)는 후방 사고영상의 사본을 저장할 때, 원본 파일 정보, 후방 사고영상과 관련된 제1-4 메타 데이터 및 후방 사고영상과 관련된 제2-2 해시값을 매칭하여 저장할 수 있다.
본 실시예에서, 메타 데이터는 원본 사고영상 파일에 기록된 제1-1 메타 데이터, 원본 사고영상에 대한 식별 처리 시 추가 생성된 제1-2 메타 데이터, 전방 사고영상에 대한 분석 시점 파악 시 생성된 제1-3 메타 데이터 및 후방 사고영상에 대한 분석 시점 파악 시 생성된 제1-4 메타 데이터를 포함할 수 있다. 또한, 해시값은 초반 원본 사고영상에 대한 식별 처리 시 생성된 제1 해시값 및 전후방 사고영상에 대한 분석 시점 파악 시 생성된 제2 해시값(제2-1 해시값 및 제2-2 해시값 포함)을 포함할 수 있다. 즉, 본 실시예는 사고보험 처리를 위해 원본 사고영상을 분석하되, 원본 사고영상은 사용자에 의해서 업로드된 상태를 유지하고, 추가되는 정보를 포함하여 사본 형태로 저장하는 것이다. 이때, 원본 입증을 위해 해시값을 생성하여 사고영상을 저장할 때 매칭시켜 저장하되, 원본 사고영상에 대한 추가 처리가 발생할 때마다 해시값을 신규로 생성할 수 있다. 이는 메타 데이터를 비롯한 추가 정보에도 동일하게 적용될 수 있다.
영상 처리부(150)는 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 선택할 수 있다. 상기 적어도 하나 이상의 사본 사고영상은 전방 사고영상의 사본 및 후방 사고영상의 사본 각각에 포함된 사고 전 시점, 사고 시점 및 사고 후 시점에 대한 사고영상을 포함할 수 있다. 본 실시예에는, 사본 사고영상 각각이 스틸 컷 이미지 형태로, 사고 전 시점, 사고 시점 및 사고 후 시점에 대한 전방 및 후방 사고영상의 사본으로 6개의 스틸 컷 이미지를 포함하는 것일 수 있다. 이에 한정되지 않고, 사본 사고 영상이 전방 사고영상에 대해 사고 전 시점부터 사고 후 시점을 포함하는 하나의 동영상 및 후방 사고영상에 대해 사고 전 시점부터 사고 후 시점을 포함하는 하나의 동영상으로, 총 2개의 동영상을 포함하는 경우도 가능하다 할 것이다.
영상 처리부(150)는 전방 사고영상 및 후방 사고영상으로부터 충돌 상황이 인식된 영상을 파악하여 충돌 상황이 인식된 영상을 기초로 분석 대상 영상으로 결정하되, 전방 사고영상 및 후방 사고영상 각각의 사고 전 시점, 사고 시점 및 사고 후 시점에 대한 영상에서 충돌 상황이 인식된 화면의 값을 1, 인식되지 않은 화면의 값을 0으로 표시하고, 이들을 합산한 값이 큰 사고영상을 상기 분석 대상 영상으로 결정할 수 있다. 상기 분석 대상 영상은 적어도 하나 이상일 수 있다. 예를 들어, 분석 대상 영상은 사고 전 시점, 사고 시점 및 사고 후 시점 각각에 대한 전방 및 후방 사고영상의 사본일 수 있다.
도 8을 참고하면, 영상 처리부(150)는 사고 전 시점(BCA), 사고 시점(TCA) 및 사고 후 시점(ACA)에 대해 전방 사고영상 또는 후방 사고영상을 대상으로, 전방 기록(front record), 후방 기록(rear record)에 대해 체크하여 분석 대상 영상이 전방 기록인지 또는 후방 기록인지 여부를 파악할 수 있다. 즉, 영상 처리부(150)는 교통사고 분석 시 전방 사고영상 또는 후방 사고영상 중 어느 영상을 분석 대상 영상으로 할지 여부를 결정하는 것이다. 이때, 영상 처리부(150)는 해당 교통사고의 추돌(예를 들어, 1차 추돌, 다중 추돌) 및 이에 대응되는 차량의 수(예를 들어, 1중, 다중)에 따라 전방 사고영상 및 후방 사고영상 중 어느 하나, 또는 전후방 사고영상 모두를 분석 대상 영상으로 결정할 수 있다.
영상 처리부(150)는 사고 전 시점, 사고 시점, 사고 후 시점 각각에 대한 전후방 사고영상에서 충돌 상황이 인식된 화면의 값을 1, 인식되지 않은 화면의 값을 0으로 표시하고, 이들을 모두 합산한 값(Sub total)이 큰(0 < N) 영상을 분석 대상 영상으로 결정하여 분석을 진행할 수 있도록 할 수 있다. 이때, 충돌 상황이 인식됨은 정상 상황과 달리 교통사고 발생 시 발생할 수 있는 상황(예를 들어, 차량들 간에 충돌한 상황, 충돌로 인해 파손된 상황, 파편이 발생한 상황, 사람이 다친 상황 등)이 인식됨을 의미하는 것일 수 있다.
예를 들어, 영상 처리부(150)는 전방 사고영상(front record) 중 사고 전 시점에 대한 영상에서 충돌 상황이 인식되지 않아 0을 체크하고, 사고 시점 및 사고 후 시점에 대한 영상에서 충돌 상황이 인식되어 각각 1을 체크한 경우, 이들 모두를 합산한 값 2(도 8의 Sub total 2)를 획득할 수 있다. 또한, 영상 처리부(150)는 후방 사고영상(rear record) 중 사고 전 시점 및 사고 시점에 대한 영상에서 충돌 상황이 인식되지 않아 0을 체크하고, 사고 후 시점에 대한 영상에서 충돌 상황이 인식되어 1을 체크한 경우, 이들 모두를 합산 값 1(도 8의 Sub total 1)을 획득할 수 있다. 이러한 경우, 영상 처리부(150)는 전방 사고영상과 후방 사고영상 중 합산한 값이 더 큰 전방 사고영상을 분석 대상 영상으로 결정할 수 있는 것이다.
도 8에서 전방 기록, 즉, 전방 사고영상은 전방 사고영상 기준으로 충돌(TCA) 이후 추가 충돌(ACA)이 일어난 상황을 의미할 수 있다. 후방 기록, 즉, 후방 사고영상은 전방 충돌(TCA) 이후 후방 진행 차량이 충돌(ACA)한 상황을 의미할 수 있다. 도 8과 같은 경우, 영상 처리부(150)는 전방 기록, 즉, 전방 사고영상을 분석 대상 영상으로 결정할 수 있다.
영상 처리부(150)를 통해 획득된 분석 대상 영상은 사고보험 처리를 위한 구성(미도시)으로 전달될 수 있다. 이때, 영상 처리부(150)는 분석 대상 영상뿐만 아니라 분석 대상 영상과 관련된 각종 정보(원본 사고영상, 사고영상의 사본, 원본 파일 정보 및 추가되는 정보 등)를 매칭하여 함께 전달할 수 있다.
한편, 본 실시예의 전처리 수행부(110), 사고 시점 탐색부(130) 및 영상 처리부(150)를 포함하는 교통사고 영상 처리 서버(100)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(central processing unit), 범용 그래픽 처리 장치 (general purpose graphics processing unit), 텐서 처리 장치(tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 교통사고 영상 처리 서버(100) 내 각 구성은 메모리(미도시)에 저장된 컴퓨터 프로그램을 판독하여 본 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 실시예에 따라 교통사고 영상 처리 서버(100) 내 각 구성은 신경망의 학습을 위한 연산을 수행할 수 있다. 교통사고 영상 처리 서버(100) 내 각 구성은 딥러닝(deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
상기 뉴럴 네트워크 모델은 딥 뉴럴 네트워크일 수 있다. 본 개시에서, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일 한 의미로 사용될 수 있다. 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경 망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.
컨벌루셔널 뉴럴 네트워크는 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는, 최소 한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있다. CNN은 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은 2차원 구 조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2 차원(예를 들어, 2 차원 이미지 인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서, 이미지 데이터는 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.
컨벌루셔널 뉴럴 네트워크에서, 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는 n*n 형태의 행렬로 구성될 수 있다. 컨벌루셔널 필터는, 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분 곱 (즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이 미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0], [0,1,0], [0,1,0]] 와 같이 구성될 수 있다. 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미 지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이 어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터 와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성 분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파에 의하여 업데이트 될 수 있다.
컨벌루셔널 레이어의 출력에는, 서브샘플링 레이어가 연결되어 컨벌 루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입 력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 개시에 포함될 수 있다.
컨벌루셔널 뉴럴 네트워크는, 하나 이상의 컨벌루셔널 레이어, 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.
컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이 다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이 어의 모든 노드에 연결된 구조를 의미할 수 있다.
사용자 단말(400)은 차량에 정착된 유무선 통신이 가능한 블랙박스이거나, 또는 휴대폰과 같은 이동통신 단말이거나, 또는 데스크톱 PC와 같은 유선 단말일 수 있다. 이때, 사용자는 운전자를 비롯한 보험 가입자를 의미할 수 있으나, 이에 한정되지 않는다. 본 실시예에서는 원본 사고영상을 교통사고 영상 처리 서버(100)로 전달하는 대상을 사용자라 할 수 있다.
보험사 서버(500)는 교통사고 영상 처리 서버(100)와 통신 연결되어 정보를 송수신할 수 있다.
예를 들어, 보험사 서버(500)는 원본 사고영상 및 분석 대상 영상을 비롯하여 보험 처리를 위한 각종 정보를 사전 협의에 따라 교통사고 영상 처리 서버(100)로부터 수신할 수 있다.
보험사 서버(500)는 교통사고 영상 처리 서버(100)와 원활한 정보 공유를 위해 정보의 형식, 파일명, 정보가 포함하고 있는 용어 등을 사전에 통일 또는 공유할 수 있다.
도 9는 일 실시예에 따른 교통사고 영상 처리 방법을 설명하기 위한 흐름도이다. 도 9에 도시된 방법은 예를 들어, 전술한 교통사고 영상 처리 서버 (100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 9에서의 교통사고 영상 처리 방법은 상술한 도 1 내지 도 8에 개시된 동일 구성에서 수행되는 것으로, 설명의 편의를 위해 중복되는 상세 설명은 생략하기로 한다.
1100 단계에서, 교통사고 영상 처리 서버(100)는 전처리 수행부(110)를 통해 원본 사고영상과 관련된 식별 데이터를 생성하고, 생성된 식별 데이터를 원본 사고영상과 매칭하여 저장할 수 있다.
1200 단계에서, 교통사고 영상 처리 서버(100)는 사고 시점 파악부(130)를 통해 사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악할 수 있다.
교통사고 영상 처리 서버(100)는 사고 시점 파악부(130)를 통해 파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 원본 사고영상의 원본 파일명을 파일명으로 결정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장할 수 있다.
1300 단계에서, 영상 처리부(150)는 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 결정할 수 있다.
이때 결정된 분석 대상 영상은 이후 교통사고 보험 처리 시, 예를 들어, 과실 비율 판정 등에 사용될 수 있다.
도 10은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 컴퓨팅 장치(12)는 일 실시예에 따른 교통사고 영상 처리 서버(100)에 포함된 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
Claims (10)
- 원본 사고영상과 관련된 식별 데이터를 생성하고, 생성된 상기 식별 데이터를 상기 원본 사고영상과 매칭하여 저장하는 전처리 수행부;
사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악하고, 파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 사본 사고영상의 파일명을 상기 원본 사고영상의 원본 파일명으로 설정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장하는 사고 시점 탐색부; 및
상기 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 선택하는 영상 처리부를 포함하는, 교통사고 영상 처리 서버.
- 청구항 1에 있어서,
상기 전처리 수행부는, 상기 원본 사고영상을 기초로 제1 메타 데이터를 생성하고, 생성된 상기 제1 메타 데이터를 포함하는 상기 원본 사고영상에 제1 해시값을 추가하여 저장하는, 교통사고 영상 처리 서버.
- 청구항 2에 있어서,
상기 전처리 수행부는, 상기 원본 사고영상에 포함된 원본 메타 데이터인 제1-1 메타 데이터에 제1-2 메타 데이터를 추가하여 상기 제1 메타 데이터를 생성하고,
상기 제1-2 메타 데이터는 사용자 기본 정보 및 동영상 기본 정보를 포함하는 추가 메타 데이터인, 교통사고 영상 처리 서버.
- 청구항 3에 있어서,
상기 사용자 기본 정보는, 사용자 아이디, 상기 원본 사고영상의 업로드 시점, 상기 원본 파일명, 접속 아이피 정보 및 접속 경로 정보를 포함하는, 교통사고 영상 처리 서버.
- 청구항 3에 있어서,
상기 동영상 기본 정보는, 상기 원본 사고영상의 파일 사이즈, 상기 원본 사고영상의 촬영 시점 및 상기 원본 사고영상이 촬영된 위치 정보를 포함하는, 교통사고 영상 처리 서버.
- 청구항 3에 있어서,
상기 사고 시점 탐색부는,
상기 원본 사고영상에서 전방에 대한 사고 전 시점, 사고 시점 및 사고 후 시점을 파악하고, 파악된 시점의 사고영상을 트림(trim)하여 전방 사고영상의 사본으로 저장하되, 상기 원본 사고영상의 원본 파일명을 기초로 저장하고,
상기 원본 사고영상에서 상기 전방 사고영상의 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점을 기준으로 후방에 대한 사고 전 시점, 사고 시점 및 사고 후 시점을 파악하고, 파악된 시점의 사고영상을 트림하여 후방 사고영상의 사본으로 저장하되, 상기 원본 사고영상의 원본 파일명을 기초로 저장하는, 교통사고 영상 처리 서버.
- 청구항 6에 있어서,
상기 사고 시점 탐색부는,
상기 전방 사고영상의 사본을 저장할 때, 상기 전방 사고영상에서 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점 각각을 레이블링하여 저장하고,
상기 후방 사고영상의 사본을 저장할 때, 상기 후방 사고영상에서 상기 사고 전 시점, 상기 사고 시점 및 상기 사고 후 시점 각각을 레이블링하여 저장하는, 교통사고 영상 처리 서버.
- 청구항 6에 있어서,
상기 사고 시점 탐색부는,
상기 전방 사고영상의 사본을 저장할 때, 상기 원본 파일 정보, 상기 전방 사고영상과 관련된 제1-3 메타 데이터 및 상기 전방 사고영상과 관련된 제2-1 해시값을 매칭하여 저장하고,
상기 후방 사고영상의 사본을 저장할 때, 상기 원본 파일 정보, 상기 후방 사고영상과 관련된 제1-4 메타 데이터 및 상기 후방 사고영상과 관련된 제2-2 해시값을 매칭하여 저장하는, 교통사고 영상 처리 서버.
- 청구항 6에 있어서,
상기 영상 처리부는,
상기 전방 사고영상 및 상기 후방 사고영상으로부터 상기 충돌 상황이 인식된 영상을 파악하여 상기 충돌 상황이 인식된 영상을 기초로 상기 분석 대상 영상으로 결정하되, 상기 전방 사고영상 및 상기 후방 사고영상 각각의 사고 전 시점, 사고 시점 및 사고 후 시점에 대한 영상에서 상기 충돌 상황이 인식된 화면의 값을 1, 인식되지 않은 화면의 값을 0으로 표시하고, 이들을 합산한 값이 큰 사고영상을 상기 분석 대상 영상으로 결정하고,
상기 분석 대상 영상은 적어도 하나 이상인, 교통사고 영상 처리 서버.
- 교통사고 영상 처리 서버에 의해 수행되는 방법으로서,
상기 교통사고 영상 처리 서버가 원본 사고영상과 관련된 식별 데이터를 생성하는 단계;
생성된 상기 식별 데이터를 상기 원본 사고영상과 매칭하여 저장하는 단계;
사전 학습된 인공지능 모델을 이용하여 상기 원본 사고영상으로부터 사고 시점을 파악하는 단계;
파악된 상기 사고 시점을 기준으로 기 설정된 분석 시점별로 레이블링 한 적어도 하나 이상의 사본 사고영상을 생성하여 상기 원본 사고영상과 매칭하여 저장하되, 상기 원본 사고영상의 원본 파일명을 파일명으로 결정하고 상기 원본 사고영상과 관련된 원본 파일 정보 및 추가 생성되는 정보도 함께 매칭하여 저장하는 단계; 및
상기 적어도 하나 이상의 사본 사고영상으로부터 충돌 상황이 인식된 사고영상을 선별하고, 선별된 사본 사고영상을 분석 대상 영상으로 결정하는 단계를 포함하는, 교통사고 영상 처리 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230018592 | 2023-02-13 | ||
| KR20230018592 | 2023-02-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102574770B1 true KR102574770B1 (ko) | 2023-09-06 |
Family
ID=87973825
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230041307A KR102574770B1 (ko) | 2023-02-13 | 2023-03-29 | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법 |
| KR1020230043797A KR102617762B1 (ko) | 2023-02-13 | 2023-04-03 | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 과실비율 판정 서버 및 방법 |
| KR1020230043802A KR102582593B1 (ko) | 2023-02-13 | 2023-04-03 | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 정보 제공 서버 및 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230043797A KR102617762B1 (ko) | 2023-02-13 | 2023-04-03 | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 과실비율 판정 서버 및 방법 |
| KR1020230043802A KR102582593B1 (ko) | 2023-02-13 | 2023-04-03 | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 정보 제공 서버 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (3) | KR102574770B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101384550B1 (ko) * | 2013-11-26 | 2014-04-14 | (주)피타소프트 | 동영상 파일 기록 장치, 동영상 파일 변경 검출 시스템 및 방법 |
| KR20140116285A (ko) * | 2013-03-21 | 2014-10-02 | 주식회사 케이티 | 블랙박스 영상 제공 방법 및 이를 위한 장치 |
| KR101464973B1 (ko) | 2013-02-08 | 2014-11-26 | (주)엔티모아 | 보험사 연계형 블랙박스를 이용한 교통사고 처리 시스템 |
| KR101475946B1 (ko) * | 2013-04-25 | 2014-12-23 | 지투지솔루션(주) | 차량용 블랙박스 및 차량용 블랙박스 저장방법 |
| KR102101090B1 (ko) * | 2018-09-20 | 2020-04-14 | 주식회사 에스원 | 차량 사고 영상 공유 방법 및 그 장치 |
| KR20220023742A (ko) * | 2021-04-08 | 2022-03-02 | 주식회사 엘케이글로벌컴퍼니 | 차량 사고 데이터 제공 및 획득 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6679152B1 (ja) * | 2019-05-27 | 2020-04-15 | 東京海上日動火災保険株式会社 | 事故分析装置、事故分析方法及びプログラム |
| KR102174611B1 (ko) * | 2019-08-12 | 2020-11-06 | 한성대학교 산학협력단 | 블랙박스 장치 및 이를 이용한 영상 생성 방법 |
| KR102326793B1 (ko) * | 2019-11-07 | 2021-11-16 | (주) 더 네이버스 | 사고 영상 분석 시스템 및 이를 이용한 분석 방법 |
-
2023
- 2023-03-29 KR KR1020230041307A patent/KR102574770B1/ko active IP Right Grant
- 2023-04-03 KR KR1020230043797A patent/KR102617762B1/ko active IP Right Grant
- 2023-04-03 KR KR1020230043802A patent/KR102582593B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101464973B1 (ko) | 2013-02-08 | 2014-11-26 | (주)엔티모아 | 보험사 연계형 블랙박스를 이용한 교통사고 처리 시스템 |
| KR20140116285A (ko) * | 2013-03-21 | 2014-10-02 | 주식회사 케이티 | 블랙박스 영상 제공 방법 및 이를 위한 장치 |
| KR101475946B1 (ko) * | 2013-04-25 | 2014-12-23 | 지투지솔루션(주) | 차량용 블랙박스 및 차량용 블랙박스 저장방법 |
| KR101384550B1 (ko) * | 2013-11-26 | 2014-04-14 | (주)피타소프트 | 동영상 파일 기록 장치, 동영상 파일 변경 검출 시스템 및 방법 |
| KR102101090B1 (ko) * | 2018-09-20 | 2020-04-14 | 주식회사 에스원 | 차량 사고 영상 공유 방법 및 그 장치 |
| KR20220023742A (ko) * | 2021-04-08 | 2022-03-02 | 주식회사 엘케이글로벌컴퍼니 | 차량 사고 데이터 제공 및 획득 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102582593B1 (ko) | 2023-09-25 |
| KR102617762B1 (ko) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817956B2 (en) | Image-based vehicle damage determining method and apparatus, and electronic device | |
| EP3520045B1 (en) | Image-based vehicle loss assessment method, apparatus, and system, and electronic device | |
| CN111931664A (zh) | 混贴票据图像的处理方法、装置、计算机设备及存储介质 | |
| WO2018229549A2 (en) | System and method for digital environment reconstruction | |
| CN108388834A (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
| CN108345838A (zh) | 利用模拟图像训练自动交通灯检测模型 | |
| CN113343461A (zh) | 自动驾驶车辆的仿真方法、装置、电子设备及存储介质 | |
| WO2018191421A1 (en) | Image-based vehicle damage determining method, apparatus, and electronic device | |
| JP2023505122A (ja) | クラウドソーシングされたオンデマンドａｉデータの注釈、収集、処理 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN110647853A (zh) | 计算机执行的车辆定损方法及装置 | |
| CN114549369B (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| CN112016545A (zh) | 一种包含文本的图像生成方法及装置 | |
| JP2021111273A (ja) | 学習モデルの生成方法、プログラム及び情報処理装置 | |
| KR102479671B1 (ko) | 차량 부품 정보를 제공하기 위한 방법 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| KR102574770B1 (ko) | 인공지능 모델을 이용한 블랙박스 영상 기반의 교통사고 영상 처리 서버 및 방법 | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| Schennings | Deep convolutional neural networks for real-time single frame monocular depth estimation | |
| CN114463608A (zh) | 任务处理方法及相关设备 | |
| CN112818847A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
| CN116343158B (zh) | 车道线检测模型的训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |