KR20240055648A

KR20240055648A - 자율 차량 데이터 및 영상 데이터의 동기화 장치 및 방법

Info

Publication number: KR20240055648A
Application number: KR1020230135095A
Authority: KR
Inventors: 우사무엘
Original assignee: 단국대학교 산학협력단
Priority date: 2022-10-20
Filing date: 2023-10-11
Publication date: 2024-04-29

Abstract

자율 차량 데이터 및 영상 데이터의 동기화 장치 및 방법이 제공된다. 일 실시예에 따른 동기화 장치는 자율 차량으로부터 자율 차량의 운행 관련 로그 데이터를 획득하는 제1 데이터 획득 모듈, 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득하는 제2 데이터 획득 모듈, 로그 데이터 및 영상 데이터의 시간 정보를 동기화하는 동기화 모듈, 및 동기화된 시간 정보에 기반하여 로그 데이터 및 영상 데이터를 연계하여 제공하는 데이터 제공 모듈을 포함한다.

Description

자율 차량 데이터 및 영상 데이터의 동기화 장치 및 방법{APPARATUS AND METHOD FOR SYNCHRONIZING AUTONOMOUS VEHICLE DATA AND VIDEO DATA}

개시되는 실시예들은 자율 차량 데이터와 블랙박스 등에서 획득된 영상 데이터를 동기화하기 위한 기술과 관련된다.

최근 자율주행 기능을 탑재한 차량이 증가하면서 각종 자율주행 차량들이 수동 운전 차량(운전자가 직접 운전하는 차량)과 함께 도로를 운행하는 경우가 증가하고 있다.

일반 차량과 달리, 레벨3 이상의 자율주행 차량은 DSSAD(Data Storage System for Automated Driving)이 장착되어 차량의 6개월간 운행 정보를 기록하도록 규정되어 있다. 자율주행차 이전의 차량에는 EDR(event data recorder)가 장착되어 있으며, EDR은 사고시점 전후 5초간의 기록만 저장한다. 그러나 DSSAD는 EDR과 달리 장기간의 대용량 데이터를 저장하게 된다. 신속한 사고 조사를 위해서는 DSSAD에 저장된 대용량 데이터를 단시간 내에 빠르게 획득하고 분석해야 하며, 또한 차량용 블랙박스 영상과 DSSAD 저장 데이터를 연계한 복합적 분석 기술이 필요하다. 그러나 대부분의 경우 블랙박스의 시간 정보와 차량의 DSSAD의 시간 정보가 상이하여 이를 연계하는데 어려움이 존재한다.

개시되는 실시예들은 자율 차량 데이터와 블랙박스 등에서 획득된 영상 데이터를 동기화하기 위한 기술을 제공하기 위한 것이다.

예시적인 실시예에 따르면, 자율 차량으로부터 자율 차량의 운행 관련 로그 데이터를 획득하는 제1 데이터 획득 모듈, 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득하는 제2 데이터 획득 모듈, 로그 데이터 및 영상 데이터의 시간 정보를 동기화하는 동기화 모듈; 및 동기화된 시간 정보에 기반하여 로그 데이터 및 영상 데이터를 연계하여 제공하는 데이터 제공 모듈을 포함하는 자율 차량 데이터 및 영상 데이터의 동기화 장치가 제공된다.

일 실시예에서, 동기화 모듈은, 로그 데이터에 포함된 위치 정보 및 영상 데이터에 포함된 위치 정보를 이용하여 로그 데이터 및 영상 데이터의 시간 정보를 동기화하도록 구성될 수 있다.

일 실시예에서, 영상 데이터는 블랙박스 장치에 의해 획득된 자율 차량의 운행 관련 메시지를 포함하며, 동기화 모듈은 운행 관련 메시지, 및 운행 관련 메시지와 대응되는 로그 데이터의 특정 데이터 필드를 이용하여 로그 데이터 및 영상 데이터의 시간 정보를 동기화하도록 구성될 수 있다.

일 실시예에서, 운행 관련 메시지는, 자율 차량의 운전자 보조 시스템(ADAS, Advanced Driver Assistance System)에서 생성되는 메시지일 수 있다.

일 실시예에서, 운행 관련 메시지는, 유선 또는 무선 통신망을 통해 자율 차량으로부터 수신될 수 있다.

일 실시예에서, 운행 관련 메시지는, 블랙박스 장치에 구비된 카메라 모듈을 통해 자율 차량의 내부 디스플레이를 촬영한 영상으로부터 획득될 수 있다.

일 실시예에서, 운행 관련 메시지는, 블랙박스 장치에 의해 영상 데이터의 추가 데이터 영역에 기록되며, 동기화 모듈은, 영상 데이터의 추가 데이터 영역에 기록된 운행 관련 메시지를 추출하도록 구성될 수 있다.

일 실시예에서, 운행 관련 메시지는, 블랙박스 장치에 의해 영상 데이터의 화면 표시 영역의 적어도 일부에 기록되어 영상 데이터와 함께 디스플레이되며, 동기화 모듈은, 영상 데이터의 화면 표시 영역에 디스플레이된 운행 관련 메시지를 인식하여 추출하도록 구성될 수 있다.

다른 예시적인 실시예에 따르면, 컴퓨팅 장치에서 수행되는 방법으로서, 자율 차량으로부터 자율 차량의 운행 관련 로그 데이터를 획득하는 단계, 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득하는 단계, 로그 데이터 및 영상 데이터의 시간 정보를 동기화하는 단계, 및 동기화된 시간 정보에 기반하여 로그 데이터 및 영상 데이터를 연계하여 제공하는 단계를 포함하는 자율 차량 데이터 및 영상 데이터의 동기화 방법이 제공된다.

일 실시예에서, 동기화하는 단계는, 로그 데이터에 포함된 위치 정보 및 영상 데이터에 포함된 위치 정보를 이용하여 로그 데이터 및 영상 데이터의 시간 정보를 동기화하도록 구성될 수 있다.

일 실시예에서, 영상 데이터는, 블랙박스 장치에 의해 획득된 자율 차량의 운행 관련 메시지를 포함하며, 동기화하는 단계는 운행 관련 메시지, 및 운행 관련 메시지와 대응되는 로그 데이터의 특정 데이터 필드를 이용하여 로그 데이터 및 영상 데이터의 시간 정보를 동기화하도록 구성될 수 있다.

일 실시예에서, 운행 관련 메시지는, 블랙박스 장치에 의해 영상 데이터의 추가 데이터 영역에 기록되며, 동기화하는 단계는, 영상 데이터의 추가 데이터 영역에 기록된 운행 관련 메시지를 추출하도록 구성될 수 있다.

일 실시예에서, 운행 관련 메시지는, 블랙박스 장치에 의해 영상 데이터의 화면 표시 영역의 적어도 일부에 기록되어 영상 데이터와 함께 디스플레이되며, 동기화하는 단계는 영상 데이터의 화면 표시 영역에 디스플레이된 운행 관련 메시지를 인식하여 추출하도록 구성될 수 있다.

개시되는 실시예들에 따를 경우, 자율 차량의 DSSAD 데이터와 블랙박스의 영상 데이터를 연계하여 동시에 분석할 수 있게 된다. 따라서 사고 발생시 차량용 블랙박스 영상과 DSSAD 저장 데이터를 연계한 복합적 분석을 용이하게 수행할 수 있다.

도 1은 일 실시예에 따른 차량 데이터 분석 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 장치를 좀 더 상세하게 설명하기 위한 블록도
도 3은 일 실시예에 따른 블랙박스 장치의 화면 하단 영역에 자율 차량의 속도 및 RPM 정보와 함께 자율 차량의 ADAS 정보가 디스플레이되는 예를 나타낸 예시도
도 4는 자율 차량의 로그 데이터 및 블랙박스 영상 데이터의 타임라인 연계 분석을 수행하는 과정을 설명하기 위한 예시도
도 5는 일 실시예에 따른 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 방법을 설명하기 위한 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

자율주행 기술레벨을 분류하는 기준은 여러 가지이나, 일반적으로는 미국자동차공학회(SAE International)에서 레벨 0에서 레벨 5까지 6단계로 세분화된 내용을 정의한 것이 국제적으로 통용되고 있다. 예를 들어, 레벨 1은 운전자 보조 단계로서 속도, 차선 유지 시스템 등 운전자를 보조하는 수준의 특정 기능만 자동화된 상태로 운전자는 속도와 방향을 항상 통제하여야 한다. 레벨 2는 부분 자동화 단계로서 고속도로 같은 일정한 조건에서 차선 간격 유지, 방향 조정, 가속, 감속 등 운전자를 보조하며 운전자는 항상 주변 상황을 주시하고 필요시 적극적으로 주행에 개입하게 된다. 레벨 3는 제한된 조건에서 자율주행이 가능한 조건부 자동화 단계로서 주행 시 운전자의 적극적 개입은 필요 없지만 주변 상황을 주시하면서 돌발 상황 등 자율주행 한계 조건에 도달하면 운전자가 개입하게 된다. 레벨 4는 특정한 도로 조건에서 모든 안전 제어가 가능한 고도 자동화 단계로서 정해진 도로 조건의 모든 상황에서 자율주행 가능하나, 악천후 등 특정 상황에서는 운전자가 개입하므로 주행 제어 장치 필요한 단계이다. 마지막으로 레벨 5는 완전 자동화 단계로서 운전자가 불필요하며 탑승자만으로 주행이 가능한 단계이다. 이 단계에서 탑승자는 목적지만 입력하면 시스템이 모든 주행을 담당하며, 방향 조작이나 가속 감속을 위한 제어장치가 불필요해진다.

도 1은 일 실시예에 따른 차량 데이터 분석 시스템(100)을 설명하기 위한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 차량 데이터 분석 시스템(100)은 자율 차량(102), 블랙박스 장치(104) 및 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)를 포함한다.

자율 차량(102)은 앞서 설명한 자율 주행 기술 레벨 중 어느 하나의 레벨을 가지는 차량일 수 있다. 자율 차량(102)은 운행 과정에서 다양한 종류의 운행 관련 로그 데이터를 생성할 수 있다. 자율 차량(102)의 운행 관련 로그 데이터는 자율 차량의 운행 과정에서 발생되는 모든 종류의 데이터를 포함할 수 있다. 예를 들어, 로그 데이터는 자율 차량(102)의 위치, 속도, 엔진 회전수(RPM), 브레이크 상태, 엑셀 스위치 또는 브레이크 스위치 조작 정보, 기어 단수 등 기본적인 주행과 관련된 데이터를 포함할 수 있다. 다른 예에서, 로그 데이터는 첨단 운전자 보조 시스템(ADAS, Advanced Driver Assistance System) 관련 정보를 포함할 수 있다. ADAS는 자율 차량(102)에서 디양한 첨단 기술을 사용하여 운전자를 보조하는 차량 내의 전자 시스템을 의미한다. 현재 사용하는 대표적인 ADAS 기능은 차간 거리 유지 시스템(Advanced Cruise Control, ACC), 자동 차선 유지 시스템(Automated Lane Keeping System, ALKS), 자동 긴급 제동 시스템(Autonomous Emergency Braking, AEB) 등이 있다.

몇몇 실시예에서, 자율 차량(102)의 운행 관련 로그 데이터는 자율 주행 데이터 저장 시스템(DSSAD, Data Storage System for Automated Driving)에 기록된 데이터일 수 있다. DSSAD는 자율 차량(102)의 물리적인 사고가 발생하거나, 물리적인 사고가 발생하지 않았더라도 시스템 이상으로 인해 피해가 발생하였을 때 자율주행과 관련된 정보를 저장하고 저장된 정보를 확인함으로써 자율주행시스템과 사람 운전자 간의 책임 소재 규명에 도움을 주는 장치를 의미한다.

블랙박스 장치(104)는 자율 차량(102)에 탑재되어 차량의 전방, 후방 또는 측면 등 주변 환경을 촬영 및 기록하는 장치이다. 일 실시예에서, 블랙박스 장치(104)는 자율 차량(102)과 독립적인 위치 측정 수단을 포함할 수 있다. 예를 들어, 블랙박스 장치(104)는 GPS 또는 GLONASS 등의 범지구 위성 항법 시스템(global navigation satellite system, GNSS)을 구비할 수 있다. 이 경우 블랙박스 장치(104)는 촬영된 영상의 위치 정보를 영상 데이터와 함께 기록할 수 있다. 일 실시예에서, 위치 정보는 영상 데이터의 부가 데이터 영역에 기록될 수 있으나, 개시되는 실시예들은 특정한 위치 정보의 저장 영역에 제한되는 것은 아니다.

몇몇 실시예들에서 블랙박스 장치(104)는 가속도 센서를 포함할 수 있다. 이 경우 블랙박스 장치(104)는 자율 차량(102)의 영상 데이터와 함께 영상 촬영 시점의 차량의 거동과 관련된 정보, 예를 들어 자율 차량(102)의 가속, 감속 또는 방향 전환 등과 관련된 정보를 저장할 수 있다.

몇몇 실시예들에서, 블랙박스 장치(104)는 자율 차량(102)과 유선 또는 무선 통신을 이용하여 연결되며, 자율 차량(102)으로부터 운행 관련 메시지의 적어도 일부를 수신하여 영상 데이터와 함께 저장할 수 있다. 일 실시예에서, 블랙박스 장치(104)는 자율 차량(102)의 데이터 출력 포트와 유선으로 연결되어 자율 차량(104)으로부터 운행 관련 메시지를 획득하도록 구성될 수 있다. 예를 들어 데이터 출력 포트는 OBD(On Board Diagnostics) II 포트일 수 있다. 다른 실시예에서, 블랙박스 장치(104)는 자율 차량(102)과 무선으로 연결되어 자율 차량(102)으로부터 운행 관련 메시지를 획득하도록 구성될 수 있다. 예를 들어, 블랙박스 장치(104)는 무선인터넷(WiFi), 블루투스(Bluetooth), 또는 그 밖의 무선 통신 수단을 이용하여 자율 차량(102) 연결되어 운행 관련 메시지를 획득하도록 구성될 수 있다.

일 실시예에서, 블랙박스 장치(104)는 자율 차량(102)의 계기반을 촬영하도록 구성되는 내부 카메라 모듈(미도시)을 더 포함할 수 있다. 자율 차량(102)은 차량의 운행 관련 메시지 중 적어도 일부를 계기반에 디스플레이하도록 구성될 수 있다. 예를 들어, 자율 차량(102)은 차간 거리 유지 시스템(ACC), 자동 차선 유지 시스템(ALKS), 또는 자동 긴급 제동 시스템(AEB)의 동작 여부 등을 계기반에 디스플레이하도록 구성될 수 있다. 블랙박스 장치(104)는 내부 카메라 모듈을 이용하여 촬영된 계기반 영상에 대한 오브젝트 탐지 등을 통해 상기 운행 관련 메시지 정보를 획득하고, 획득한 메시지 정보를 영상 데이터와 함께 저장할 수 있다. 이와 같이 블랙박스 장치(104)가 내부 카메라 모듈을 구비할 경우, 자율 차량(102)과 유선 또는 무선 통신 수단을 통해 연결되지 않고도 로그 데이터 중 적어도 일부를 계기반 영상으로부터 획득할 수 있다.

자율 차량 데이터 및 영상 데이터의 동기화 장치(106)는 자율 차량(102)으로부터 획득된 로그 데이터 및 블랙박스 장치(104)로부터 획득된 영상 데이터를 연계하여 제공하는 장치이다. 예를 들어, 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)는 자율 차량(102)의 사고 발생 시 로그 데이터와 영상 데이터를 동기화하여 제공함으로써 자율 차량(102)의 사고 원인을 분석하기 위한 근거 자료를 제공하는데 사용할 수 있다.

도 2는 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)를 좀 더 상세하게 설명하기 위한 블록도이다. 도시된 바와 같이 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)는, 제1 데이터 획득 모듈(202), 제2 데이터 획득 모듈(204), 동기화 모듈(206), 및 데이터 제공 모듈(208)을 포함한다.

제1 데이터 획득 모듈(202)은 자율 차량(102)으로부터 자율 차량(102)의 운행 관련 로그 데이터를 획득한다. 제1 데이터 획득 모듈(202)은 자율 차량(102)과 유선 또는 무선 통신 수단을 통해 연결되어 상기 로그 데이터를 획득하도록 구성될 수 있다.

제2 데이터 획득 모듈(204)은 자율 차량(102)에 장착된 블랙박스 장치(104)로부터 영상 데이터를 획득한다. 제2 데이터 획득 모듈(204)은 블랙박스 장치(104)와 유선 또는 무선 통신 수단을 통해 연결되어 상기 영상 데이터를 획득하도록 구성될 수 있다.

동기화 모듈(206)은 로그 데이터 및 영상 데이터의 시간 정보를 동기화한다. 많은 경우 블랙박스 장치(104)는 자율 차량(102)과는 별개의 독립적인 장치이므로, 블랙박스 장치(104)의 시간 정보와 자율 차량(102)의 시간 정보는 차이가 있는 경우가 많다. 특히 자율 차량과 관련된 사고의 경우 사고 전후 시점에 대한 매우 정밀한 분석이 요구되므로, 자율 차량(102)에서 수집된 로그 데이터 및 블랙박스 장치(104)에서 수집된 영상 데이터 간의 정확한 시간 동기화가 필수적이다. 이에 개시되는 실시예들에서는 다양한 기술적 수단을 이용하여 로그 데이터 및 영상 데이터 간의 시간 정보를 동기화하도록 구성된다.

일 실시예에서, 동기화 모듈(206)은 로그 데이터에 포함된 위치 정보 및 영상 데이터에 각각 포함된 위치 정보를 이용하여 로그 데이터와 영상 데이터의 시간 정보를 동기화할 수 있다. 예를 들어, 자율 차량(102) 및 블랙박스 장치(104)에 각각 GPS 등의 위성 항법 시스템(GNSS)이 구비되어 있는 경우, 동기화 모듈(206)은 로그 데이터와 영상 데이터에 포함된 위성 항법 시스템 기반의 시간 정보를 이용하여 로그 데이터와 영상 데이터를 동기화할 수 있다.

다른 실시예에서, 동기화 모듈(206)은 로그 데이터 및 영상 데이터에 각각 포함된 가속도 센서 데이터를 이용하여 로그 데이터와 영상 데이터의 시간 정보를 동기화할 수 있다. 예를 들어, 자율 차량(102) 및 블랙박스 장치(104)가 각각 가속도 센서를 구비하고 있는 경우, 동기화 모듈(206)은 로그 데이터와 영상 데이터에 포함된 가속도 센서 정보를 이용하여 로그 데이터와 영상 데이터를 동기화할 수 있다.

예를 들어, 동기화 모듈(206)은 로그 데이터에 포함된 가속도 센서 데이터의 최대값 및 영상 데이터에 포함된 가속도 센서 데이터의 최대값을 비교하여 시간 정보의 동기화를 위한 기준점을 설정하도록 구성될 수 있다. 예를 들어 자율 차량(102)이 전방의 장애물 등을 식별하고 급정거하거나 다른 차량 등과 충돌한 경우 가속도 센서 데이터에도 큰 변화가 감지될 수 있으며, 이는 자율 차량(102) 및 블랙박스 장치(104)에 구비된 가속도 센서에서 각각 독립적으로 감지될 수 있다. 따라서 이와 같이 가속도 센서 데이터의 가속도 센서 정보를 이용할 경우 사고 시점을 기준으로 로그 데이터와 영상 데이터를 정확히 동기화할 수 있다.

한편, 동기화 모듈(206)은 로그 데이터에 포함된 가속도 센서 데이터 및 영상 데이터에 포함된 가속도 센서 데이터 간의 패턴 매칭을 통하여 로그 데이터와 영상 데이터를 동기화할 수도 있다. 전술한 바와 같이 자율 차량(102)과 블랙박스 장치(104)는 각각 독립적인 가속도 센서를 이용하여 가속도 센서 데이터를 수집한다. 그러나 블랙박스 장치(104)는 자율 차량(102)의 내부에 설치되어 고정되어 있으므로, 로그 데이터와 영상 데이터에 포함된 가속도 센서 데이터는 동일하지는 않더라도 차량의 주행에 따라 유사한 패턴을 가질 가능성이 높다. 따라서 앞선 예와 같이 센서 데이터의 최대값을 이용하지 않더라도, 두 가속도 센서 데이터 간의 패턴 매칭을 이용하여 로그 데이터와 영상 데이터를 정렬할 경우 로그 데이터와 영상 데이터를 정확히 동기화할 수 있다.

다른 실시예에서, 동기화 모듈(206)은 블랙박스 장치(104)에 의해 획득된 자율 차량(204)의 운행 관련 메시지를 이용하여 로그 데이터와 영상 데이터의 시간 정보를 동기화할 수 있다.

또 다른 실시예에서, 블랙박스 장치(104)로부터 획득되는 영상 데이터가 블랙박스 장치(104)에 의해 획득된 자율 차량(102)의 운행 관련 메시지를 포함하는 경우, 동기화 모듈(206)은 영상 데이터에 포함된 운행 관련 메시지를 이용하여 시간 정보를 동기화할 수 있다. 구체적으로, 동기화 모듈(206)은 영상 데이터에 포함된 운행 관련 메시지 및 자율 차량(102)으로부터 수신되는 로그 데이터의 특정 데이터 필드를 이용하여 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화할 수 있다. 이때 상기 운행 관련 메시지는, 자율 차량(102)의 운전자 보조 시스템(ADAS, Advanced Driver Assistance System)에서 생성되는 메시지일 수 있다.

예를 들어, 블랙박스 장치(104)로부터 획득되는 영상 데이터에 자동 차선 유지 시스템(ALKS)의 ON 또는 OFF 상태 정보가 포함되어 있는 경우, 동기화 모듈(206)은 해당 상태 정보와 자율 차량(102)으로부터 수신되는 로그 데이터의 ALKS 상태 관련 데이터 필드 정보를 이용하여 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화할 수 있다.

전술한 바와 같이, 운행 관련 메시지는 유선 또는 무선 통신망을 통해 자율 차량(102)으로부터 블랙박스 장치(104)로 제공되거나, 또는 블랙박스 장치(104)에 구비된 카메라 모듈을 통해 자율 차량의 내부 디스플레이를 촬영한 영상으로부터 획득될 수 있다. 몇몇 실시예들에서, 획득된 운행 관련 메시지는 블랙박스 장치(104)에 의해 영상 데이터의 추가 데이터 영역에 기록되며, 이 경우 동기화 모듈(206)은 영상 데이터의 추가 데이터 영역에 기록된 운행 관련 메시지를 추출하도록 구성될 수 있다.

다른 실시예들에서, 운행 관련 메시지는 블랙박스 장치(104)에 의해 영상 데이터의 화면 표시 영역의 적어도 일부에 기록되어 영상 데이터와 함께 디스플레이될 수 있다. 도 3은 일 실시예에 따른 블랙박스 장치(104)의 화면 하단 영역에 자율 차량(102)의 속도 및 RPM 정보와 함께 자율 차량(102)의 ADAS 정보가 디스플레이되는 예를 나타낸 예시도이다. 이 경우 동기화 모듈(206)은 영상 데이터의 화면 표시 영역에 디스플레이된 운행 관련 메시지를 인식하여 운행 관련 메시지를 추출하도록 구성될 수 있다. 동기화 모듈(206)은 다양한 이미지 인식 알고리즘 등을 이용하여 영상 데이터의 화면 표시 영역에 디스플레이된 운행 관련 메시지를 인식할 수 있다.

마지막으로 데이터 제공 모듈(208)은 동기화된 시간 정보에 기반하여 로그 데이터 및 영상 데이터를 연계하여 사용자에게 제공한다. 예를 들어, 시간 정보가 동기화된 로그 데이터 및 영상 데이터는 자율 차량(102) 도 4에 도시된 것과 같이 사고 발생시 타임라인 연계 분석을 통해 사고의 정확한 원인을 파악하고 과실 비율을 계산하는 데 사용될 수 있다.

도 5는 일 실시예에 따른 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 방법(500)을 설명하기 위한 흐름도이다. 도시된 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예컨대 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)에서 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

단계 502에서, 제1 데이터 획득 모듈(202)은 자율 차량(102)으로부터 자율 차량(102)의 운행 관련 로그 데이터를 획득한다.

단계 504에서, 제2 데이터 획득 모듈(204)은 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득한다.

단계 506에서, 동기화 모듈(206)은 로그 데이터 및 영상 데이터의 시간 정보를 동기화한다.

단계 508에서, 데이터 제공 모듈(208)은 동기화된 시간 정보에 기반하여 로그 데이터 및 영상 데이터를 연계하여 제공한다.

도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 몇몇 실시예들에서, 컴퓨팅 장치(12)는 일 실시예에 따른 자율 차량 데이터 및 영상 데이터의 동기화 장치(106)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 차량 데이터 분석 시스템
102: 자율 차량
104: 블랙박스 장치
106: 자율 차량 데이터 및 영상 데이터의 동기화 장치
202: 제1 데이터 획득 모듈
204: 제2 데이터 획득 모듈
206: 동기화 모듈
208: 데이터 제공 모듈

Claims

자율 차량으로부터 상기 자율 차량의 운행 관련 로그 데이터를 획득하는 제1 데이터 획득 모듈;
상기 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득하는 제2 데이터 획득 모듈;
상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하는 동기화 모듈; 및
상기 동기화된 시간 정보에 기반하여 상기 로그 데이터 및 상기 영상 데이터를 연계하여 제공하는 데이터 제공 모듈을 포함하는 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 1에 있어서,
상기 동기화 모듈은, 상기 로그 데이터에 포함된 위치 정보 및 상기 영상 데이터에 포함된 위치 정보를 이용하여 상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 1에 있어서,
상기 영상 데이터는, 상기 블랙박스 장치에 의해 획득된 상기 자율 차량의 운행 관련 메시지를 포함하며,
상기 동기화 모듈은, 상기 운행 관련 메시지, 및 상기 운행 관련 메시지와 대응되는 상기 로그 데이터의 특정 데이터 필드를 이용하여 상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 3에 있어서,
상기 운행 관련 메시지는, 상기 자율 차량의 운전자 보조 시스템(ADAS, Advanced Driver Assistance System)에서 생성되는 메시지인, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 3에 있어서,
상기 운행 관련 메시지는, 유선 또는 무선 통신망을 통해 상기 자율 차량으로부터 수신되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 3에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 구비된 카메라 모듈을 통해 상기 자율 차량의 내부 디스플레이를 촬영한 영상으로부터 획득되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 3에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 의해 상기 영상 데이터의 추가 데이터 영역에 기록되며,
상기 동기화 모듈은, 상기 영상 데이터의 상기 추가 데이터 영역에 기록된 상기 운행 관련 메시지를 추출하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
청구항 3에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 의해 상기 영상 데이터의 화면 표시 영역의 적어도 일부에 기록되어 상기 영상 데이터와 함께 디스플레이되며,
상기 동기화 모듈은, 상기 영상 데이터의 상기 화면 표시 영역에 디스플레이된 상기 운행 관련 메시지를 인식하여 추출하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 장치.
컴퓨팅 장치에서 수행되는 방법으로서,
자율 차량으로부터 상기 자율 차량의 운행 관련 로그 데이터를 획득하는 단계;
상기 자율 차량에 장착된 블랙박스 장치로부터 영상 데이터를 획득하는 단계;
상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하는 단계; 및
상기 동기화된 시간 정보에 기반하여 상기 로그 데이터 및 상기 영상 데이터를 연계하여 제공하는 단계를 포함하는 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 9에 있어서,
상기 동기화하는 단계는, 상기 로그 데이터에 포함된 위치 정보 및 상기 영상 데이터에 포함된 위치 정보를 이용하여 상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 9에 있어서,
상기 영상 데이터는, 상기 블랙박스 장치에 의해 획득된 상기 자율 차량의 운행 관련 메시지를 포함하며,
상기 동기화하는 단계는, 상기 운행 관련 메시지, 및 상기 운행 관련 메시지와 대응되는 상기 로그 데이터의 특정 데이터 필드를 이용하여 상기 로그 데이터 및 상기 영상 데이터의 시간 정보를 동기화하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 11에 있어서,
상기 운행 관련 메시지는, 상기 자율 차량의 운전자 보조 시스템(ADAS, Advanced Driver Assistance System)에서 생성되는 메시지인, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 11에 있어서,
상기 운행 관련 메시지는, 유선 또는 무선 통신망을 통해 상기 자율 차량으로부터 수신되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 11에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 구비된 카메라 모듈을 통해 상기 자율 차량의 내부 디스플레이를 촬영한 영상으로부터 획득되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 11에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 의해 상기 영상 데이터의 추가 데이터 영역에 기록되며,
상기 동기화하는 단계는, 상기 영상 데이터의 상기 추가 데이터 영역에 기록된 상기 운행 관련 메시지를 추출하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.
청구항 11에 있어서,
상기 운행 관련 메시지는, 상기 블랙박스 장치에 의해 상기 영상 데이터의 화면 표시 영역의 적어도 일부에 기록되어 상기 영상 데이터와 함께 디스플레이되며,
상기 동기화하는 단계는, 상기 영상 데이터의 상기 화면 표시 영역에 디스플레이된 상기 운행 관련 메시지를 인식하여 추출하도록 구성되는, 자율 차량 데이터 및 영상 데이터의 동기화 방법.