KR20180127245A - 비디오 게임을 활용한 차량 사고 예측 방법 - Google Patents

Abstract

본 발명은 비디오 게임을 활용한 차량 사고 예측 방법에 관한 것으로서, 본 발명의 차량 사고 예측 시스템의 차량 사고 예측 방법은, 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 단계, 및 상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계를 포함한다.

Description

비디오 게임을 활용한 차량 사고 예측 방법{Method for Predicting Vehicle Collision Using Data Collected from Video Games}

본 발명은 자동차들의 충돌 방지를 위한 차량 사고 예측 방법에 관한 것으로서, 특히, 비디오 게임으로부터 수집된 사고 데이터를 활용하는 차량 사고 예측 방법에 관한 것이다.

오늘날 사용되고 있는 대부분의 자동차 위함 차량 탐지 알고리즘은 사람이 고안한 특정 규칙에 기반하고 있고, 많은 양의 데이터를 활용한 딥러닝이 빠르게 발전하고 있음에도 이러한 기술이 자동차 사고 예측 알고리즘 개발에는 활용되지 않고 있다. 딥러닝을 활용하는데 있어 가장 큰 기술적 어려움은 바로 데이터 수집이다. 딥러닝을 활용해 자동차 사고 예측 알고리즘을 만들기 위해서는 많은 양의 사고 데이터를 수집해야 하는데, 이는 굉장히 많은 시간과 비용이 필요하여 현실적으로 불가능하다.

따라서, 효율적으로 사고 데이터를 수집하는 방법과, 사고 데이터를 이용한 효과적인 딥러닝 차량 사고 예측 방법의 개발이 요구되고 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 높은 수준의 그래픽 해상도를 사용하는 비디오 게임을 활용하여 가상 세계의 사고 데이터를 수집해, 딥러닝 차량 사고 예측 알고리즘의 설계에 적용하고, 도메인 적응 기법을 이용하여 해당 알고리즘의 실제 세상 데이터에 대한 성능을 개선하는 것이 가능한, 빠르고 효과적인 차량 사고 예측 방법을 제공하는 데 있다.

먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 차량 사고 예측 시스템의 차량 사고 예측 방법은, 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 단계; 및 상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계를 포함한다.

상기 차량 사고 예측 방법은, 실제 현실에서 동영상을 촬영하여 획득한 차량 충돌 및 비충돌 이미지들을 포함하는 현실 도메인의 데이터를 상기 비디오 프로그램의 장면이 될 비디오 프로그램 도메인의 데이터로 각 이미지들을 매핑시켜 변환하고 상기 알고리즘을 적용하는 단계를 더 포함할 수 있다.

상기 가상의 사고 데이터를 수집하는 단계에서, 상기 비디오 프로그램의 화면 내부의 도시에서 도로를 자율 주행하면서, 특정 차량과 충돌 이전의 소정의 시간동안의 복수의 이미지들을 포함하는 충돌 이미지들 및 충돌이 없는 정상 주행 시간 동안의 복수의 비충돌 이미지들을 메모리에 저장한다.

상기 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계는, 입력 이미지 내의 차량을 탐지하여 바운딩 박스의 정보를 추출하는 단계; 및 상기 입력 이미지에서 대상 차량의 바운딩 박스에 대한 분석에 상기 훈련된 학습 데이터를 적용하여 해당 차량에 대한 위험 또는 안전 여부를 판단하는 단계를 포함한다.

상기 입력 이미지에서 상기 대상 차량의 바퀴 각도, 차체 각도, 거리, 또는 속도에 대한 정보를 더 반영하여 학습을 수행하고 축적된 훈련 학습 데이터를 이용해 해당 차량에 대한 위험 또는 안전 여부를 판단할 수 있다.

상기 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계는, CNN(Convolutional Neural Network)에 기반한 상기 학습 알고리즘을 이용해 상기 훈련된 학습 데이터를 축적하기 위하여, 판단 대상 시점 이전의 d개의 이미지(d는 자연수)를 상기 바운딩 박스의 내부와 외부를 구분하는 정보로 이루어진 바이너리 맵으로 각각 변환하는 단계; 각각의 상기 바이너리 맵을 기초로 2개의 인접 이미지들의 바운딩 박스의 각 화소의 이동 벡터를 포함하는 (d-1) 개의 광학 흐름정보를 산출하는 단계; 및 상기 d개의 이미지, 상기 d개의 바이너리 맵, 상기 (d-1)개의 광학 흐름정보를 CNN 학습 알고리즘으로 훈련시키는 단계를 포함할 수 있다.

또한, 본 발명의 다른 실시예에 따른 차량 사고 예측 시스템은, 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 수집부; 및 상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 예측부를 포함한다.

그리고, 본 발명의 다른 실시예에 따른 기록매체는, 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 기능; 및 상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 기능을 실현하기 위한 컴퓨터가 읽을 수 있는 코드로 구현된다

본 발명에 따른 차량 사고 예측 방법에 따르면, 딥러닝 기반의 차량 사고 예측 알고리즘을 이용하여 여러 대의 차량 중 어떤 차량이 사고 위험을 동반하고 있는지를 잘 예측할 수 있으며, 실제 세상 데이터에 대해 95.1%의 ROC-AUC(Receiver Operating Characteristic -Area Under the Curve)로 특정 차량의 1초 내 충돌 여부를 탐지 가능하여 기존의 규칙을 기반으로 한 사고 예측 알고리즘 대비 혁신적인 성능 개선이 가능하다. 더 나아가 본 발명의 딥러닝 기반의 알고리즘에 따라 다른 차량의 바퀴 각도, 차체 각도, 차량 간 거리, 상대 속도 등의 변화에 적응하여 빠르게 높은 예측 성능을 발휘할 수 있다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 차량 사고예측 시스템의 3단계 위험 차량 탐지 알고리즘 프레임워크를 설명하기 위한 도면이다.
도 2는 본 발명의 사고 데이터로 수집될 이미지들의 예시이다.
도 3은 본 발명의 수집된 사고 데이터의 차량에 부여된 바운딩 박스의 예시를 나타낸다.
도 4는 본 발명의 차량 사고 예측 알고리즘에서의 객체 검출과 객체 분류를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 CNN 기반의 객체 분류기를 설명하기 위한 도면이다.
도 6은 본 발명의 객체 분류기가 운전자 차량에서 관찰하는 특정 대상 차량의 바퀴 각도(wheel angle), 차체 각도(orientation), 속도(velocity)에 따른 충돌 사고 확률 판단의 예를 보여준다.
도 7은 GAN(Generative Adversarial Network)을 이용한 기존의 도메인 적응 기법과 본 발명의 도메인 적응 기법의 차이를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량 사고 예측 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

도 1은 본 발명의 차량 사고예측 시스템의 3단계 위험 차량 탐지 알고리즘 프레임워크를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 차량 사고예측 시스템(또는 장치)은, 첫째 높은 수준의 그래픽 해상도를 사용하는 비디오 게임(예, GTA V(Grand Theft Auto V))을 활용하여 가상 세계에서의 차량 충돌 및 비충돌 이미지들을 포함하는 사고 데이터를 수집한다(S10). S10 단계에서, 비디오 게임과 같은 컴퓨터에서 실행되는 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집한다. 게임 플레이어 차량이 비디오 프로그램 상에서 가상의 도로를 주행하면서 전후좌우로 보이는 장면들로부터 수집하는 사고 데이터의 이미지들이, 실제 현실 세계에서 운전자가 운전하는 운전자 차량에 차량에 장착된 카메라를 이용하여 현실 세계에서 획득할 수 있는 사고 데이터이 이미지들을 대신하여 학습 알고리즘에 이용됨으로써 학습 효과를 증대시킬 수 있게 된다.

다음에, 수집된 사고 데이터를 활용하여 딥러닝 차량 사고 예측 알고리즘의 설계에 적용한다(S20). S20 단계에서, 수집된 가상의 사고 데이터를 CNN(Convolutional Neural Network)과 같은 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행한다.

다음에, GAN(Generative Adversarial Network)(Shrivastava et al., 2017, Lee et al. 2018)와 같은 알고리즘을 이용한 도메인 적응 기법으로 해당 알고리즘의 실제 현실 데이터에 대한 성능을 개선한다(S30). S30 단계에서, 실제 현실에서 동영상을 촬영하여 획득한 차량 충돌 및 비충돌 이미지들을 포함하는 현실 도메인의 데이터를 비디오 게임(프로그램)의 장면이 될 비디오 게임(프로그램) 도메인의 데이터로 각 이미지들을 매핑시켜 변환하고 위와 같은 알고리즘을 적용해 훈련된 학습 데이터에 더 반영하여 성능을 개선한다.

본 발명에서는 이와 같은 3단계 위험 차량 탐지 알고리즘을 이용하여 빠르고 효과적인 차량 사고 예측 방법을 제공하고자 한다.

<데이터 수집>

본 발명에서는 사고 데이터를 수집하기 위하여 "GTA V"라는 높은 수준의 그래픽을 자랑하는 비디오 게임을 활용하여 사고 데이터를 수집하는 것을 예로 들어 설명한다. 다만, 가상 세계에서의 차량 충돌 및 비충돌 이미지를 포함하는 사고 데이터를 수집하기 위하여, 기타 다른 상용 비디오 게임, VR(Virtual Reality) 게임, AR(Augumented Reality) 게임 등이나 임의로 제작한 동영상 등 비디오 프로그램(또는 콘텐츠)을 활용하여 그에 포함된 차량 충돌 및 비충돌 이미지 등을 사고 데이터로 수집할 수 있다.

도 2는 본 발명의 사고 데이터로 수집될 이미지들의 예시이다.

사고 데이터의 수집을 위해, 본 발명의 차량 사고예측 시스템은 해당 게임의 실행 상태를 변경할 수 있는 내부 함수를 이용하여 사고 데이터 수집 알고리즘을 수행하는 수집부를 포함한다. 사고 데이터 수집 알고리즘은, 게임 플레이어 차량으로 하여금 게임(프로그램) 화면 내부의 도시에서 도로를 자율적으로 주행하게 하는 동시에, 무작위로 플레이어 주위의 특정 차량을 조종 불능 상태로 만들 수 있다.

도 3은 본 발명의 수집된 사고 데이터의 차량에 부여된 바운딩 박스의 예시를 나타낸다.

게임 플레이어 차량이 도로 주행 중에 특정 차량과 충돌하면, 상기 수집부는 사고 순간으로부터 소정의 주기로 미리 정해진 수 또는 미리 정해진 시간 동안의 충돌 이미지들, 예를 들어 충돌 이전부터 충돌까지 0.1초 간격(또는 소정의 프레임 간격)으로 10개의 스크린샷을 사고 데이터로 메모리에 저장한다. 이때, 각 이미지에 대한 모든 차량들의 경계를 나타내는 바운딩 박스(bounding box)(310, 320, 330, 340)와 그에 대응되는 차량 ID(vehicle identification), 및 어떤 차량이 소정의 시간 내에 충돌 위험이 있는 차량인지 여부에 대한 정보가 함께 저장된다.

또한, 상기 수집부는 특정 차량을 조종 불능 상태로 만들지 않고 자율적으로 주행을 하면서 충돌없는 동안의 비충돌 정상주행 이미지들도 소정의 주기로 소정의 시간동안 스크린샷을 수집하여 메모리에 저장한다. 정상주행 이미지들에 대해서도 마찬가지로 모든 차량들의 바운딩 박스와 그에 대응되는 차량 ID를 함께 저장한다.

이와 같은 상기 수집부가 수행하는 사고 데이터 수집 알고리즘은 소정의 시간 동안, 예를 들어, 24시간 동안 50000장에 해당하는 매우 다양한 사고 데이터를 효율적으로 수집할 수 있다.

<딥러닝 차량 사고 예측 알고리즘>

본 발명의 차량 사고예측 시스템은 위와 같이 수집한 차량 충돌 이미지들 및 비충돌 정상 이미지들을 포함하는 사고 데이터를 CNN 등의 학습 알고리즘에 적용하여 훈련된 학습 데이터를 축적하고 이를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 예측부를 포함한다.

도 4는 본 발명의 차량 사고 예측 알고리즘에서의 객체 검출과 객체 분류를 설명하기 위한 도면이다.

차량 사고 예측 알고리즘은 훈련된 학습 데이터를 기초로, 한장 또는 여러장의 이미지를 받아, 주어진 이미지(들)로부터 각 차량의 특정 시간 내의 충돌 여부를 판단하여 충돌 여부에 대한 정보를 출력한다. 이를 위하여 상기 예측부는 도 4와 같이 객체 검출 단계를 수행하는 객체 검출기(Object Detector)와 객체 분류 단계를 수행하는 객체 분류기(Object Classifier)를 포함할 수 있다. 먼저, 객체 검출 단계에서는 특정 입력 이미지가 주어졌을 때 객체 검출기가 해당 이미지의 모든 차량들을 탐지하여 바운딩 박스들을 추출하며, 그 다음, 객체 분류 단계에서는 객체 분류기가 입력 이미지에서 위험 여부를 알고 싶은 대상 차량(예, 실제 운전자 차량에 장착된 시스템과 연동하는 운전자 차량의 카메라가 촬영한 영상 내의 전후방 등의 차량)의 바운딩 박스에 대한 분석에 상기 훈련된 학습 데이터를 적용하여 해당 차량에 대한 위험 또는 안전 차량 여부를 판단한 결과, 예를 들어, 2가지 종류(위험(dangerous) 또는 안전(safe))으로 분류한 결과를 출력한다.

상기 객체 검출기는 Yolo(Redmond et al.)와 같은 상용의 검출기 제품이 사용될 수 있다. 하지만, 상기 객체 분류기는 이미지와 함께 바운딩 박스의 정보를 입력받으므로 기존의 분류기를 사용하지 않고, 도 5와 같은 CNN(Convolutional Neural Network)에 기반한 객체 분류기를 이용한다.

도 5는 본 발명의 일 실시예에 따른 CNN 기반의 객체 분류기를 설명하기 위한 도면이다.

도 5를 참조하면, 운전자 차량에서 특정 차량에 대한 위험 여부를 알고 싶은 시점(판단 대상 시점) t=d(d는 자연수)로부터 t=1까지 일정한 시간 간격(예, 1프레임)으로 d장의 이미지와 각 이미지에 존재하는 특정 차량의 바운딩 박스가 상기 객체 분류기의 입력으로 주어진다.

객체 분류기는 먼저 바운딩 박스의 꼭지점 좌표(예, x, y 좌표), 바운딩 박스의 너비, 바운딩 박스의 높이 등을 포함하는 바운딩 박스의 정보를 기초로, 각 이미지를 그와 같은 너비와 높이를 가진 바이너리 맵(binary map)으로 변환한다. 예를 들어, 각 이미지의 바운딩 박스 바이너리 맵은 화소(또는 픽셀)마다 0 또는 1의 값을 갖는 맵일 수 있고 이때 바운딩 박스 내부의 값은 1, 바운딩 박스 외부의 값은 0을 가진다.

또한, 객체 분류기는 d장의 이미지로부터 d-1개의 광학 흐름(optical flow) 정보를 추출한다. 광학 흐름 정보는 2개의 인접 이미지들의 바운딩 박스의 각 화소의 이동 벡터를 포함한다. 상기 광학 흐름 정보는 바이너리 맵으로부터 용이하게 산출될 수 있으며, 경우에 따라서는 바이너리 맵으로 변환 전의 이미지로부터 산출될 수 있다.

그 다음, 객체 분류기는, d개의 이미지와 d개의 바운딩 박스 바이너리 맵, 및 d-1개의 광학 흐름 정보를 채널 축으로 쌓아 이에 대해 일반적인 회선 신경망(CNN) 학습 알고리즘으로 훈련시켜서, 충돌 사고 판단에 적용될 훈련된 학습 데이터를 축적하게 된다. 이와 같이 축적된 상기 훈련된 학습 데이터는 대상 차량의 위험 또는 안전의 판단에 이용된다.

도 6은 본 발명의 객체 분류기가 운전자 차량에서 관찰하는 특정 대상 차량의 바퀴 각도(wheel angle), 차체 각도(orientation), 속도(velocity)에 따른 충돌 사고 확률 판단의 예를 보여준다. 도 6의 (a)는 (b)와 같이 대상 차량의 레인(lane)에 대한 바퀴(앞바퀴) 각도(wheel angle)가 -30도 ~ +30까지 달라짐에 따른 충돌 사고 확률(p)의 그래프를 나타내고, 도 6의 (c)는 (d)와 같이 대상 차량의 레인(lane)에 대한 차체 각도(orientation)가 0도 ~ +180까지 달라짐에 따른 충돌 사고 확률(p)의 그래프를 나타내며, 도 6의 (e)는 운전자 차량에 대한 대상 차량의 상대적인 속도(velocity), V=-1(멀어짐), 0(정지), +1(가까와짐) 등에 대한 충돌 사고 여부의 판단에 대한 실험 과정을 보여준다.

도 6과 같이, CNN 학습 기반의 본 발명의 객체 분류기는, 입력 이미지에서 대상 차량의 바퀴 각도(wheel angle), 자체 각도(orientation), 운전자 차량과의 상대적인 거리와 같은 시각 정보 뿐만 아니라, 여러 이미지들 간의 상관관계로부터 시간에 따른 객체 이동을 분석하여 차량간의 상대적인 속도(velocity)를 더 반영해, CNN 학습을 수행하고 축적된 훈련 학습 데이터를 이용해 해당 차량에 대한 위험 또는 안전 여부를 잘 판단할 수 있음을 확인할 수 있었다.

특히 도 6의 (e)에서와 같이, 상대 차량이 멀어지거나 멈춰있을 때(예, V=-1, 0)에는 충돌 사고 확률이 0인 반면, 가까워 지면(V=+1) 모델이 예측하는 사고 확률이 증가하는 것을 확인함으로써, 시간 정보를 복수의 이미지로부터 타당하게 추출했음을 확인할 수 있었다.

<도메인 적응 단계>

다음에, 본 발명의 차량 사고 예측 시스템은, GAN(Generative Adversarial Network)(Shrivastava et al., 2017, Lee et al. 2018)와 같은 알고리즘을 이용한 도메인 적응 기법으로 차량 사고 예측 알고리즘의 실제 현실 데이터에 대한 성능을 개선하기 위한 적응부를 포함할 수 있다.

도 7은 GAN(Generative Adversarial Network)을 이용한 기존의 도메인 적응 기법과 본 발명의 도메인 적응 기법의 차이를 설명하기 위한 도면이다.

도 7의 Approach1(Srivastava et al.)과 같이, 종래의 GAN을 이용한 도메인 적응 기법은 충돌 및 비충돌 이미지들의 인공데이터(Synthetic Data)를 실제 현실 데이터(Real Data)처럼 변환하고(G_x->y), 변환된 이미지에 대해 딥러닝 알고리즘을 훈련해(F) 사고 확률(p)을 추정한다. 그러나 이와 같은 방식은 인공데이터를 현실데이터로 변환과 새로운 도메인에 대한 적응 훈련이 용이하지 않다는 문제점이 있다.

본 발명은 도 7의 Approach2와 같이, 차량 사고 예측 알고리즘의 실제 현실세계에 적용시의 매칭 성능을 개선시키기 위하여, GAN(Generative Adversarial Network) 알고리즘을 이용한 도메인 적응 기법을 제안한다. 위와 같이 비디오 게임에서 수집한 데이터와 실제 현실의 데이터는 다른 도메인의 데이터이기 때문에 비디오 게임에서만 수집한 데이터로 만든 딥러닝 알고리즘을 이용한 충돌 사고 판단의 성능은 실제 현실의 세계에 적용시 성능이 저하될 수 있다.

이를 해결하기 위해 본 발명에서는 도 7의 Approach2처럼 GAN 알고즘을 기초로 주어진 실제 현실 도메인의 입력 데이터를 비디오 게임(프로그램) 도메인의 데이터로 변환하여, 이를 위에서 기술한 본 발명의 차량 사고 예측 알고리즘의 입력으로 사용한다. 즉, 본 발명의 예측부(predictor)는 객체 분류기(classifier)에서 인공 사고 데이터를 사용하여 CNN 학습을 수행하여 훈련하되(Train a predictor), 실제 현실에서 동영상을 촬영하여 획득한 차량 충돌 및 비충돌 정상주행 이미지들을 포함하는 현실 도메인의 데이터(이미지 데이터)를 비디오 프로그램의 장면들이 될 비디오 게임(프로그램) 도메인의 데이터로 각 이미지들을 매핑시켜 변환하며(G_y->x), 변환된 이미지들을 더 이용하고 반영하여 CNN 학습(F)을 수행한다. 현실 데이터로부터 인공 데이터로의 이미지 데이터 변환은 실제 현실 세계의 도로, 도로 주변의 표지판, 장애물, 전후좌우 차량, 기타 배경 등에 대한 해상도 처리, 다른 유사 객체로의 대체 등 게임 그래픽 환경에 맞게 데이터를 변환하는 것이다.

이와 같이 본 발명의 현실 데이터를 인공 데이터로 변환하여, 인공 데이터에 대해 CNN 학습 훈련된 객체 분류기에 입력하여 추가적인 학습과 훈련으로 업데이트되도록 한다는 점에서, Approach1의 종래 방법과는 차이가 있다. 본 발명에서 제안하는 도메인 적응 기법은 "Real Data -> Synthetic Data"로의 매핑이 "Synthetic Data -> Real Data"로의 매핑보다 보다 학습하기 쉬울 때 성능이 향상될 수 있는 장점이 있으며, 새로운 도메인이 나올 때마다 새로운 알고리즘을 훈련할 필요가 없다는 장점이 있다.

실험을 통해 본 발명의 제안하는 도메인 기법을 사용했을 시, 종래의 Approach1 방법은 사고 예측 정확도의 성능이 적용전 94.3%에서 적용후 93.1%의 ROC-AUC로 떨어짐을 확인하였다. 반면, 본 발명의 3단계의 위험 차량 탐지 알고리즘 프레임 워크를 적용한 사고 예측 정확도의 성능은 실제 현실 데이터에 대해 94.3%에서 95.1%의 ROC-AUC로 향상됨을 확인할 수 있었다.

이와 같은 본 발명의 일 실시예에 따른 차량 사고 예측 시스템의 차량 사고 예측 방법을 위해 입출력 데이터 처리에 사용되는 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 판독 가능한 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등의 저장 매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.

나아가 본 발명의 일 실시예에 따른 차량 사고 예측 시스템의 수집부, 예측부, 적응부 등의 각부 구성은, 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 도 8과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.

컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

상술한 바와 같이, 본 발명에 따른 차량 사고 예측 시스템의 차량 사고 예측 방법은, 딥러닝 기반의 차량 사고 예측 알고리즘을 이용하여 여러 대의 차량 중 어떤 차량이 사고 위험을 동반하고 있는지를 잘 예측할 수 있으며, 실제 현실 데이터에 대해 95.1%의 ROC-AUC(Receiver Operating Characteristic-Area Under the Curve)로 특정 차량의 1초 내 충돌 여부를 탐지 가능하여 기존의 규칙을 기반으로 한 사고 예측 알고리즘 대비 혁신적인 성능 개선이 가능하다. 더 나아가 본 발명의 딥러닝 기반의 알고리즘에 따라 다른 차량의 바퀴 각도, 차체 각도, 차량 간 거리, 상대 속도 등의 변화에 적응하여 빠르게 높은 예측 성능을 발휘할 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

1. 차량 사고 예측 시스템의 차량 사고 예측 방법에 있어서,
   비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 단계; 및
   상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계
   를 포함하는 것을 특징으로 하는 차량 사고 예측 방법.
2. 제1항에 있어서,
   실제 현실에서 동영상을 촬영하여 획득한 차량 충돌 및 비충돌 이미지들을 포함하는 현실 도메인의 데이터를 상기 비디오 프로그램의 장면이 될 비디오 프로그램 도메인의 데이터로 각 이미지들을 매핑시켜 변환하고 상기 학습 데이터에 더 반영하는 단계
   를 더 포함하는 것을 특징으로 하는 차량 사고 예측 방법.
3. 제1항에 있어서,
   상기 가상의 사고 데이터를 수집하는 단계에서,
   상기 비디오 프로그램의 화면 내부의 도시에서 도로를 자율 주행하면서, 특정 차량과 충돌 이전의 소정의 시간동안의 복수의 이미지들을 포함하는 충돌 이미지들 및 충돌이 없는 정상 주행 시간 동안의 복수의 비충돌 이미지들을 메모리에 저장하는 것을 특징으로 하는 차량 사고 예측 방법.
4. 제1항에 있어서,
   상기 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계는,
   입력 이미지 내의 차량을 탐지하여 바운딩 박스의 정보를 추출하는 단계; 및
   상기 입력 이미지에서 대상 차량의 바운딩 박스에 대한 분석에 상기 훈련된 학습 데이터를 적용하여 해당 차량에 대한 위험 또는 안전 여부를 판단하는 단계
   를 포함하는 것을 특징으로 하는 차량 사고 예측 방법.
5. 제4항에 있어서,
   상기 입력 이미지에서 상기 대상 차량의 바퀴 각도, 차체 각도, 거리, 또는 속도에 대한 정보를 더 반영하여 학습을 수행하고 축적된 훈련 학습 데이터를 이용해 해당 차량에 대한 위험 또는 안전 여부를 판단하는 것을 특징으로 하는 차량 사고 예측 방법.
6. 제1항에 있어서,
   상기 차량의 충돌 사고 여부에 대한 판단을 수행하는 단계는,
   CNN(Convolutional Neural Network)에 기반한 상기 학습 알고리즘을 이용해 상기 훈련된 학습 데이터를 축적하기 위하여,
   판단 대상 시점 이전의 d개의 이미지(d는 자연수)를 상기 바운딩 박스의 내부와 외부를 구분하는 정보로 이루어진 바이너리 맵으로 각각 변환하는 단계;
   각각의 상기 바이너리 맵을 기초로 2개의 인접 이미지들의 바운딩 박스의 각 화소의 이동 벡터를 포함하는 (d-1) 개의 광학 흐름정보를 산출하는 단계; 및
   상기 d개의 이미지, 상기 d개의 바이너리 맵, 상기 (d-1)개의 광학 흐름정보를 CNN 학습 알고리즘으로 훈련시키는 단계
   를 포함하는 것을 특징으로 하는 차량 사고 예측 방법.
7. 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 수집부; 및
   상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 예측부
   를 포함하는 것을 특징으로 하는 차량 사고 예측 시스템.
8. 비디오 프로그램의 실행 상태를 변경하여 게임 플레이어 차량과의 충돌 이미지들 및 비충돌 이미지들을 포함하는 가상의 사고 데이터를 수집하는 기능; 및
   상기 가상의 사고 데이터를 학습 알고리즘에 적용하여 훈련된 학습 데이터를 기반으로 차량의 충돌 사고 여부에 대한 판단을 수행하는 기능
   을 실현하기 위한 컴퓨터가 읽을 수 있는 코드로 구현된 기록매체.

Images