KR102468307B1 - 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법 - Google Patents

Abstract

본 발명은 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법에 관한 것이다. 본 발명은 각 차량에 탑재되는 차량 제어 단말로 이루어진 차량 제어 단말 그룹, 네트워크, 중앙학습서버를 포함하는 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템에 있어서, 차량 제어 단말은 사용자의 음성을 인식하는 음성 인식부와 사용자의 표정을 인식하는 영상 인식부를 구비하는 인식부; 음성 인식부에서 사용자의 발화한 소리와, 표정 인식부에서 표정변화에 해당하는 사용자 반응에 대해서 사고와 관련된 이벤트인지 판별하는 이벤트 판별 수단 및 발화한 소리에 해당하는 음성 신호로부터 음성 특징 데이터를 추출하고, 표정변화에 해당하는 영상 신호로부터 영상 특징 데이터를 추출하고, 음성 특징 데이터 및 영상 특징 데이터 중 적어도 하나에 대해서 음성 신호 또는 영상 신호가 나타내는 감정에 대해 라벨링을 수행하는 이벤트 라벨링 수단을 포함한다. 본 발명은 주차 및 주행시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지하여 자동으로 라벨링하고, 입력되는 영상을 재학습을 통해 다시 라벨링에 활용함으로써, 객체 탐색 및 이벤트 탐지 효율을 높일 뿐만 아니라 정확도를 높일 수 있다.

Description

주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법{Vehicle black box event detection system during parking and driving, and Event learning method thereof}

본 발명은 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법에 관한 것으로, 보다 구체적으로 주차 및 주행시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지하여 사용자 반응에 따라 자동으로 라벨링하고, 입력되는 영상과 반응에 따른 재학습을 통해 이벤트 감지와 라벨링에 활용하여 이벤트 감지의 정밀도를 높이기 위한 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법에 관한 것이다.

기존 주차시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지할 수 있는 시스템은 있었는데, 차량에서 발생하는 객체의 움직임들을 학습하여 유사하거나 새로운 상황에 대해 이벤트를 감지하고, 새로운 이벤트들을 지속적으로 학습하여 적용하지는 못하였다.

또한 딥러닝의 발전으로 객체탐지에 대한 성능이 괄목할 정도로 성장하면서, 자율주행을 위한 객체 탐지 또는 차량 안전을 위한 이벤트 탐지에 활용되고 있으나, 자율주행과 사고 발생시 증거 자료로 활용하기 위해서 여전히 상당한 한계점을 내포하고 있다.

즉 객체 탐지 후 발생하는 동작을 탐지하는 것은 딥러닝과 같은 머신러닝을 활용한 것이 아니라, 객체 탐지 후 객체의 중앙 포인트를 중심으로 정해진 룰에 의해 동작을 감지하는 방식이어서 새로운 환경이나 이벤트에 대해 성능이 낮아지는 단점이 있다. 또한 현재 객체 탐색은 차량에 설치된 카메라 전체를 활용하는 것이 아니라 하나의 카메라에 인식된 객체에 대해 몇가지의 방향에 대한 시나리오를 정해 동작을 추정하는 방식이다. 그러나 주행시 발생하는 이벤트는 자동차가 후방에서 전방으로 추월하다 발생하는 등 연속적으로 발생하는 경우가 대부분인데, 이러한 문제에 대해 속수무책일 수 밖에 없다.

이에 따라 주차 및 주행시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지하여 자동으로 라벨링하고, 입력되는 영상을 재학습을 통해 다시 라벨링에 활용하여, 객체 탐색 및 이벤트 탐지 효율을 높일 뿐만 아니라 정확도를 높이기 위한 기술개발이 요구되고 있다.

(선행기술 001) 등록특허공보 제1427718호, 이벤트 발생을 자동으로 감지 및 전송하는 개인 휴대용 블랙박스 장치와 시스템 및 그의 작동 제어 방법

(선행기술 002) 등록특허공보 제2161803호, 차량용 블랙박스 및 이를 이용한 충격 이벤트의 판정기준 전환방법

본 발명은 상기 문제점을 해결하기 위한 것으로, 주차 및 주행시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지하여 자동으로 라벨링하고, 입력되는 영상을 재학습을 통해 다시 라벨링에 활용함으로써, 객체 탐색 및 이벤트 탐지 효율을 높일 뿐만 아니라 정확도를 높이기 위한 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법을 제공한다.

또한 본 발명은, 기존 차량에서 수집되는 영상이 중요 이벤트인지 아닌지를 판별하기 위해서 사람이 직접 영상을 일일이 검수하면서 영상 시나리오를 라벨링하고 영상의 중요 이벤트 시간을 체크하는 문제점을 해결함으로써, 고품질의 데이터를 빠르게 자동으로 라벨링해서 학습할 수 있도록 하기 위한 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법을 제공하기 위한 것이다.

본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위해 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템은, 차량에 탑재되는 차량 제어 단말로 이루어진 차량 제어 단말 그룹, 네트워크, 중앙학습서버를 포함하는 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템에서, 차량 제어 단말은 사용자의 음성을 인식하는 음성 인식부와 사용자의 표정을 인식하는 영상 인식부를 구비하는 인식부, 음성 인식부에서 사용자의 발화한 소리(욕설, 놀라서 반응하는 소리 포함)와, 표정을 인식하는 영상 인식부에서 표정변화(화난 감정, 두려워하는 감정, 놀란 감정 포함)에 해당하는 사용자 반응에 대해서 사고와 관련된 이벤트인지 판별하는 이벤트 판별 수단 및 발화한 소리에 해당하는 음성 신호로부터 음성 특징 데이터를 추출하고, 표정변화에 해당하는 영상 신호로부터 영상 특징 데이터를 추출하고, 음성 특징 데이터 및 영상 특징 데이터 중 적어도 하나에 대해서 음성 신호 또는 영상 신호가 나타내는 감정에 대해 라벨링을 수행하는 이벤트 라벨링 수단을 포함한다.

이때 차량 제어 단말은, 후방 카메라, 좌측 카메라, 전방 카메라, 우측 카메라로 이루어진 카메라를 더 포함할 수 있다.

또한 이벤트 라벨링 수단은, 각 방향의 카메라 별로 영상에서 이벤트가 발생한 순서와 중요도에 대해 라벨링을 수행하는 것이 바람직하다.

또한 이벤트 라벨링 수단은 이벤트 판별 수단에 의해 이벤트로 판별시 사용자의 반응을 이벤트 판별 수단으로부터 제공받아 네트워크를 통해 중앙학습서버로 제공하여, 학습 이벤트로 활용되도록 하는 것이 바람직하다.

아울러 차량 제어 단말은 이벤트 판별 수단 및 이벤트 라벨링 수단으로 이루어진 이벤트 마이너 모듈을 통해 제공된 복수의 초광각 카메라를 활용해 촬영된 이미지에서 각 이미지의 위치정보를 확인하고, 복수로 입력되는 이미지 간에 중첩되는 영역 내에 위치하는 특정 포인트에 대한 좌표를 연산하여, 연산된 좌표에 기초하여, 복수의 이미지를 조합하여 어라운드뷰를 생성하는 이벤트 탐지 모듈을 더 포함할 수 있다.

삭제

본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법은, 주차 및 주행시 차량용 블랙박스를 통해 입력되는 영상의 이벤트를 감지하여 자동으로 라벨링하고, 입력되는 영상을 재학습을 통해 다시 라벨링에 활용함으로써, 객체 탐색 및 이벤트 탐지 효율을 높일 뿐만 아니라 정확도를 높일 수 있다.

뿐만 아니라 본 발명은, 기존 사람이 직접 영상을 검수하면서 영상 시나리오를 라벨링하고 영상의 중요 이벤트 시간을 체크하던 문제점을 해결함으로써, 고품질의 데이터를 빠르게 자동으로 라벨링해서 학습할 수 있도록 할 수 있다. 다만 본 발명의 효과는 이런 문언적 기재에만 한정되지 않고, 통상의 기술자가 본 발명을 통해 유추할 수 있는 것까지 모두 포함한다.

도 1은 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템을 나타내는 도면이다.
도 2는 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 차량 제어 단말의 구성요소를 나타내는 도면이다.
도 3은 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 중 차량 제어 단말의 구성요소와 중앙학습서버와의 관계를 나타내는 도면이다.
도 4, 5는 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 중 차량 제어 단말의 구동 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 중 중앙학습서버의 구성요소를 나타내는 블록도이다.

첨부된 도면을 참조하여 본 발명을 설명한다. 실시예는 본 발명을 쉽게 설명하기 위한 것이며, 본 발명이 여기에 한정되지 않는다. 용어는 실시예를 설명하기 위한 것이며, 포함하다 또는 가지다 등의 용어는 구성요소 등이 존재한다는 것을 의미한다. 본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 전송하는 경우, 구성요소는 다른 구성요소로 직접 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 다른 구성요소를 통하여 데이터 또는 신호를 전송할 수 있음을 의미한다.

도 1은 본 발명의 실시예에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템을 나타낸다. 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템(1)은 각 차량(10)에 탑재되는 차량 제어 단말(100)로 이루어진 차량 제어 단말 그룹(100g), 네트워크(200), 중앙학습서버(300) 및 스마트 디바이스(400)를 포함할 수 있다.

네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 무선 망일 수 있다. 네트워크(200)는 각 차량(10)에 탑재되는 차량 제어 단말(100)로 이루어진 차량 제어 단말 그룹(100g), 중앙학습서버(300) 및 스마트 디바이스(400), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.

도 2는 본 발명의 실시예에 따른 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 중 차량 제어 단말의 구성요소를 나타내는데, 차량 제어 단말(100)은 수집장치모듈(110), MPU(120), 송수신부(130) 및 입출력부(140)를 포함한다.

한편 차량(10)의 자율주행화가 가속화되고 있는데, 차량(10)의 자율주행을 위해서는 사람의 눈과 귀와 같은 오감의 역할을 해 줄 다양한 센서들이 필요하다. 뿐만 아니라 도로 위에서 발생하는 다양한 사건 및 사고들로 인해, 사고 발생시 귀책 사유를 증명해 줄 수 있는 자료들이 요구되므로, 수집장치모듈(110)은 카메라(111), 인식부(112), 진동센서(113) 등을 포함하는 다양한 센서들을 구비하는 것이 바람직하다.

수집장치모듈(110)에 사용되는 사람의 눈의 역할을 하는 카메라(111)의 경우에는 차량(10) 외부를 향하여 시야각이 형성되며, 기존의 전, 후방으로만 부착되던 것에서 더 나아가 좌측 및 우측에 추가 설치되고, 초광각 카메라를 활용해 운전자의 시야를 벗어난 사각지대를 해소하는 것이 바람직하다.

아울러 MPU(120)는 이벤트 마이너 모듈(Event miner module, 121) 및 이벤트 탐지 모듈(Event detection module, 122)을 포함할 수 있다.

이벤트 탐지 모듈(122)은 이벤트 마이너 모듈(121)을 통해 제공된 복수의 초광각 카메라를 활용해 촬영된 이미지에서 각 이미지의 위치정보를 확인하고, 복수로 입력되는 이미지 간에 중첩되는 영역 내에 위치하는 특정 포인트에 대한 좌표를 연산하여, 연산된 좌표에 기초하여, 복수의 이미지를 조합하는 어라운드뷰를 생성하여 활용할 수 있다.

구체적으로, 이벤트 탐지 모듈(122)은 초광각 카메라에서 입력되는 이미지를 합성하여 어라운드뷰 이미지를 생성하는 경우, 이미지의 경계 영역 등에서 에지(Edge) 증가, 깨짐현상 등의 왜곡현상이 발생할 수 있으므로 왜곡을 피하기 위해 초광각 카메라에서 입력되는 이미지는 캘리브레이션을 수행하는 알고리즘을 구비하는 것이 바람직하다.

이후, 이벤트 탐지 모듈(122)은 캘리브레이션된 각 초광각 카메라의 이미지에 기초하여 파라미터를 보정하여 복수의 이미지를 조합하여 어라운드뷰를 생성한다. 여기서 이벤트 탐지 모듈(122)에 의해 보정되는 파라미터로는 focal length, longitudinal translation, vertical translation, horizontal translation, roll rotation, camera intrinsic 중 적어도 하나 이상을 포함하는 것이 바람직하다.

이에 따라, 이벤트 탐지 모듈(122)은 이벤트 판별 수단(121a) 및 이벤트 라벨링 수단(121b)으로 이루어진 이벤트 마이너 모듈(121)을 통해 제공된 복수의 초광각 카메라를 활용해 촬영된 이미지에서 각 이미지의 위치정보를 확인하고, 복수로 입력되는 이미지 간에 중첩되는 영역 내에 위치하는 특정 포인트에 대한 좌표를 연산하여, 연산된 좌표에 기초하여 복수의 이미지를 조합하는 어라운드뷰를 생성하여 이벤트 판별 수단(121a)에 대한 이벤트 판별을 대행할 수 있다.

이벤트 탐지 모듈(122)은 우선 차량(10) 주변에서 일어나는 이벤트를 정확히 추적하기 위하여 차량(10) 주변에서 발생 또는 위치하는 자동차, 행인, 장애물, 차량 신호 등을 인식하는 객체 탐색 수단(122a)을 구비한다.

또한 객체 탐색 수단(122a)은, 탐색된 객체가 도 4와 같이 카메라(111) 중 후방 카메라(111, c1)에서 좌측 카메라(111, c2)로 그리고 전방 카메라(111, c3)로 시계방향처럼 순차적으로 이동하는 경우 지속적으로 객체를 추적하는 주변 객체 추적 수단(122b)이 추가로 구비될 수 있다.

주변 객체 추적 수단(122b)은 각 방향 카메라에 의해 촬영되는 카메라 이미지에서 R, G ,B 각 색평면에 대한 히스토그램 상관 관계의 유사성을 통해 객체의 카메라 전환시 동일 객체에 대한 인식을 수행할 뿐만 아니라, 이미지에서의 객체에 해당하는 픽셀 정보뿐만 아니라 생성된 어라운드뷰 상에서의 360° 상에서의 객체의 위치정보도 분석할 수 있다.

한편 현재 주차 및 주행시 발생하는 이벤트를 탐지하는 방법은 단순히 객체를 탐지해서 중앙 포인트로 추적을 수행하여 이벤트를 탐지하는 방식을 사용하고 있으나, 주차 및 주행시 발생하는 하기의 표 1에서 제시하는 다양한 이벤트에 대해 성능이 취약한 단점이 있다.

구분	시나리오
주행중	일반도로에서 저속으로 차량이 주행 중 갓길에서 보행하던 사람이 차 앞으로 길을 건너는 상황
	일반도로 및 고속도로 등 자동차 전용도로에서 주행자의 다른 길에서 공사 중으로 막혀 있는 길을 회피하기 위해 다른 차량이 주행자의 차로로 진입하는 상황
	차량이 주행중인 상황에서 주행자의 차량이 우측 진출로로 빠져 나가려는 데 사각지대 정차차량이 급 출발하는 상황
	앞에 주행하던 차량이 도로 위에 결빙으로 인해 차가 미끄러지면서 주행자의 차량으로 접근하는 상황
주차시	주변 행인이 일정시간 배회 후 차량으로 와서 손을 들어 돌을 차량에 던져 위해를 가하려고 하는 경우
	주변 행인이 일정시간 배회 후 차량으로 와서 방망이, 망치 등을 들고 팔을 휘둘러서 차량에 위해를 가하려고 하는 경우
	주변 행인이 일정시간 배회 후 차량 옆에 앉아서 분필, 락카 등으로 차량에 낙서를 하거나 못, 돌 같은 물체로 차량에 상처를 내거나 타이어를 터트리려고 하는 경우
	갓길에 정차 시 주정차 단속원이 자동차를 견인하거나 스티커를 붙이려고 하는 경우
	좁은 주차 환경에서 옆에 주차되어 있던 차량에서 차에 탑승하기 위해 문을 빠르게 열어 차량의 문이 자동차의 위해를 가할 수 있는 경우

따라서 본 발명에서 MPU(120)는 객체의 포인트의 이동을 학습한 모델을 통해서 이벤트 판별 수단(121a)에 의해 이벤트를 탐지하며, 이를 위해서 학습데이터에 대한 수집 방법 역시 필요하다.

기존에는 차량(10)에서 수집되는 영상이 표 1에서 제시하는 상황과 같은 중요 이벤트인지 아닌지를 판별하기 위해서는 사람이 직접 영상을 일일이 검수하면서 영상 시나리오를 라벨링하고, 영상의 중요 이벤트 시간을 체크해야 되기 때문에 많은 시간과 인력이 소비되는 점이 있었는데, 본 발명은 고품질의 데이터를 빠르게 자동으로 라벨링해서 학습하기 위해서 도 5에서 볼 수 있는 바와 같이, 차량(10)의 차량 제어 단말(100)에서 수집되는 데이터를 빠르게 학습하고 학습된 모델을 차량(10)의 차량 제어 단말(100)에 배포하는 학습 배포 순환 시스템을 제공한다.

주행시 길에서는 다양한 이벤트가 발생한다. 주행 중 주변 차량이 난폭 운전을 하면서 운전자의 차량의 돌진할 경우 등 위험 상황이 발생할 수 있다. 주행 중 표 1과 같이 위험한 상황이 발생한 경우 항상 사고로 이어지지는 않지만, 다양한 환경 변수에 의해 사고로 이어지기도 한다.

운전자는 주행 중 발생한 이벤트에 소리, 표정 등으로 반응을 한다. 이를 위해 인식부(112)는 사용자의 음성을 인식하는 마이크 등으로 형성 가능한 음성 인식부(112a)와 사용자의 표정을 인식하는 차량 내부를 향하여 시야각이 형성된 카메라인 영상 인식부(112b)를 구비하는 것이 바람직하다.

사건 발생시 운전자가 반응하면 운전자의 목소리를 인식하는 음성 인식부(112a)와, 사용자의 표정을 인식하는 영상 인식부(112b) 각각에서 사용자의 발화한 소리(욕설, 놀라서 반응하는 소리 포함)와, 표정변화(화난 감정, 두려워하는 감정, 놀란 감정 포함)를 학습한 이벤트 판별 수단(121a)에서 사고와 관련된 이벤트인지 판별한다.

여기서 이벤트 판별 수단(121a)은 이벤트 마이너 모듈(121)에 구비되며, 이벤트 판별 수단(121a)이 이벤트 판별시 음성 인식에 대한 사고와 관련된 이벤트인지의 판별을 위한 파라미터로 운전자의 음성 신호로부터 피치, ZCR(Zero Crossing Rate), MFCC(mel-scaled power spectrogram), RMSE(root mean square energy), 템포, 박자 및 STFT(Short-time fourier transform) 중 적어도 하나를 포함하는 것이 바람직하다.

이벤트 라벨링 수단(121b)은 발화한 소리에 해당하는 음성 신호로부터 음성 특징 데이터를 추출하고, 표정 변화에 해당하는 영상 신호로부터 영상 특징 데이터를 추출하고, 음성 특징 데이터 및 영상 특징 데이터 중 적어도 하나에 대해서 음성 신호 또는 영상 신호가 나타내는 감정에 대해 라벨링을 수행할 수 있다.

또한 이벤트 라벨링 수단(121b)은 이벤트 판별 수단(121a)에 의해 이벤트로 판별시 사용자의 반응을 이벤트 판별 수단(121a)으로부터 제공받아 네트워크(200)를 통해 중앙학습서버(300)로 제공함으로써, 학습 이벤트로 활용되도록 할 수 있다.

본 발명에서, 이벤트 라벨링 수단(121b)은 라벨링 수행시 각 방향의 카메라(111) 별로 영상에서 이벤트가 발생한 순서와 중요도를 라벨링을 수행할 수 있다.

이를 위해 이벤트 라벨링 수단(121b)은 음성 신호로부터 음성 특징 데이터를 추출하고, 음성 신호가 나타내는 감정에 대해 학습한 가우스 믹스처 모델(GMM: Gaussian Mixture Model) 또는 히든 마르코프 모델(HMM: Hidden Markov Model)을 활용할 수 있다.

본 발명의 다른 실시예로, 이벤트 라벨링 수단(121b)은 음성 신호로부터 음성 특징 데이터를 추출시 네트워크(200)를 통한 중앙학습서버(300)로의 액세스를 통해 중앙학습서버(300) 상의 분산 파일 프로그램에 의해 DCS DB에 분산 저장된 각 운전자 카테고리 분류 데이터인 수집 데이터를 분석하고, 분석된 음성 신호의 특징 데이터와 운전자의 음성 신호 간의 특징 데이터를 비교하여 이벤트 발생 여부를 분석할 수 있다.

이벤트 라벨링 수단(121b)은 분산 파일 프로그램에 의해 DCS DB에 분산 저장된 수집 데이터 중 표 1의 이벤트에 해당하는 파라미터인 피치, ZCR(Zero Crossing Rate), MFCC(mel-scaled power spectrogram), RMSE(root mean square energy), 템포, 박자 및 STFT(Short-time fourier transform) 등의 평균값과 운전자에 의해 제공된 음성 신호의 파라미터 간의 분석을 수행하고, 분석한 결과로 매칭되는 파라미터 간의 조합에 따른 표 1의 이벤트와 같은 특징 정보를 추출할 뿐만 아니라, 네트워크(200)를 통해 스마트 디바이스(400) 전송을 통해 운전자 확인 이후 확인 정보를 네트워크(200)를 통해 중앙학습서버(300)로 제공하여, 특징 정보를 복수의 머신러닝 알고리즘 중 적어도 하나 이상을 이용하여 계속적으로 학습하는 머신러닝 알고리즘이 중앙학습서버(300) 상에서 수행될 수 있도록 할 수 있다.

중앙학습서버(300)는 이벤트 발생 여부 결과의 정확도 향상을 위해 다수의 상호 보완적인 머신러닝 알고리즘들로 구성된 앙상블 구조를 적용할 수 있다.

결정 트리 분류 알고리즘은 트리 구조로 학습하여 결과를 도출하는 방식으로 결과 해석 및 이해가 용이하고, 데이터 처리 속도가 빠르며 탐색 트리 기반으로 룰 도출이 가능할 수 있다. DT의 낮은 분류 정확도를 개선하기 위한 방안으로 RF를 적용할 수 있다. 랜덤 포레스트 분류 알고리즘은 다수의 DT를 앙상블로 학습한 결과를 도축하는 방식으로, DT보다 결과 이해가 어려우나 DT보다 결과 정확도가 높을 수 있다.

DT 또는 RF 학습을 통해 발생 가능한 과적합의 개선 방안으로 SVM을 적용할 수 있다. SVM 분류 알고리즘은 서로 다른 분류에 속한 데이터를 평면 기반으로 분류하는 방식으로, 일반적으로 높은 정확도를 갖고, 구조적으로 과적합(overfitting)에 낮은 민감도를 가질 수 있다.

한편 사용자의 반응은 이벤트를 자동으로 라벨링을 수행하는 차량의 이벤트 마이너 모듈(121)의 이벤트 라벨링 수단(121b)에 전달된다. 중앙학습서버(300)와 신호 및 데이터 송수신을 통해 학습 이벤트로 라벨링되는 경우, 차량의 이벤트 마이너 모듈(121)은 네트워크(200)를 통해 중앙학습서버(300)로 학습할 데이터를 판별하는 기능부로, 사전 정의된 임계치, 영상 학습 시간에 따라서 학습할 데이터를 판별하는 역할을 한다.

이벤트 라벨링 수단(121b)은 도 3과 같이 카메라 별로 영상에서 이벤트가 발생한 순서와 중요도를 라벨링을 수행한다.

이벤트 라벨링 수단(121b)은 송수신부(130) 중 송신부(131)를 제어하여 라벨링한 데이터와 영상을 함께 네트워크(200)를 통해 중앙학습서버(300)로 전송할 수 있다.

구체적으로, 주차시 발생하는 이벤트에 대해서는 차량(10)의 진동센서(113)를 통해 진동이 발생하거나, 경적이 울린 경우 또는 카메라(111)의 진동이 발생한 경우 사건 이벤트 발생으로 보고 이벤트 마이너 모듈(121)은 라벨링 해서 차량의 송수신부(130) 중 송신부(131)를 통해 이벤트 라벨링 수단(121b)에 의해 라벨링한 데이터와 카메라(111)에 의해 촬영된 영상을 함께 5G 통신망과 같은 무선 통신망을 통해서 중앙학습서버(300)로 전송할 수 있다.

도 6을 참조하면, 중앙학습서버(300)는 통신모듈(310)을 통해 차량 제어 단말(100)로부터 제공된 영상에 대해서 객체 탐색 모듈(321)과 포인트 디텍터 모듈(322)을 통해 각각 영상에서 객체를 탐색하고, 포인트를 탐색할 수 있다. 객체 탐색 모듈(321)은 입력된 영상에서 객체 탐색을 통해 차량, 사람 등 차량 주변에 발생할 수 있는 객체를 탐색하며, 포인트 디텍터 모듈(322)은 탐색결과 출력되는 결과물에 대해서 객체의 클래스 뿐만 아니라, 객체의 바운딩 박스 포인트를 제공할 수 있다.

포인트 디텍터 모듈(322)에 의해 제공되는 바운딩 박스 포인트는 (xmin, ymin, ymax, ymin), (width, height, xcenter, ycenter) 중 하나의 형식일 수 있다.

객체 탐색 모듈(321)에 의해 제공되는 차량의 객체는 다시 방향지시등, 브레이크등의 객체 정보를 포함할 수 있다. 이에 따라, 객체 탐색 모듈(321)은 사람의 객체는 사람의 움직임을 예측할 수 있는 skeleton 데이터를 획득하고, 각 좌표와 중심좌표와의 거리(d)를 산출한 후, 각 좌표를 중심좌표와의 거리(d)로 나누어서 각 skeleton 좌표에 대한 스켈링(scaling)된 좌표를 산출하는 정규화를 진행할 수 있다. 또한 객체 탐색 모듈(321)은 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle을 같이 산출할 수 있다.

한편 중앙학습서버(300)는 영상을 학습하는 경우, 시간과 공간을 학습할 수 있는 LSTM을 기반으로 이벤트를 학습한다. LSTM 순환 신경망은 시-공간적 특징의 시퀀스를 처리하고 시-공간적 특징의 출력을 반환하도록 설계된다. LSTM(Long Short-Term Memory models) 기반 학습 모델(323)은 객체 탐색 모듈(321)과 포인트 디텍터 모듈(322)에 의해 처리된 이미지에서 획득된 바운딩 박스 포인트, skeleton 데이터, joint angle, 객체 라벨의 특징과 차량 제어 단말(100)의 이벤트 마이너 모듈(121)이 판단한 상황 시나리오 특징 벡터를 추출해 행동패턴에 대한 학습을 수행한다.

LSTM 기반 학습 모델(323)에 의해 LSTM 기반을 통해 학습된 모델은 중앙학습서버(300) 상의 데이터베이스(330) 중 인식모델 데이터베이스(331)에 행동패턴으로 저장된다. 이후 LSTM 기반 학습 모델(323)은 학습된 모델을 네트워크(200)에 해당하는 무선 통신망을 통해 OTA(over-the-air) 방식으로 서비스로 연결된 개별 차량(10)의 차량 제어 단말(100)으로 배포함으로써, 차량 제어 단말(100) 상에서 새로운 모델로 업데이트될 수 있도록 한다.

한편 학습된 모델은 개별 차량의 차량 제어 단말(100) 상으로 배포되어 이벤트 판단 수단(121)을 통해 영상 입력부를 통해 영상을 입력 받고 시-공간 두 단위로 나누어 왜곡보정과 같은 영상보정을 거쳐 공간단위에서 객체 탐색 수단(122a)을 통해 객체를 탐색하고, 시간단위에서는 프레임의 변화를 이해하는 프레임 이해 모듈을 통해 영상의 시-공간적 특징을 이해하는 LSTM 모델을 통해 분석할 수 있다.

아래 수학식과 같이 LSTM모델에서 분석한 확률값(P_LSTM)에 가중치(W_lstm) 값을 곱하는 연산을 수행해 출력되는 결과값(P_result)에서, 가장 큰 값을 가지는 행동 클래스(Class)를 차량에서 입력된 영상에 시나리오 클래스 패턴으로 선택하여 이벤트를 예측한다.

주행시 표 1에서 정리한 시나리오가 발생시 MPU(120)는 입출력부(140)를 통해 운전자에게 또는 자율주행 제어모듈(123)에 이벤트를 전달해서 위험으로부터 회피할 수 있도록 도와준다.

주차시에는 주변으로부터 표 1에서 제시한 상황이 발생할 경우 차량(10)의 잠금 기능이 재활성화 되면서 위험상황을 발생시키는 사람에게 입출력부(140)를 통해 경고를 주고, 메시지를 네트워크(200)를 통해 운전자가 운영하는 스마트 디바이스(400)에 전송하도록 송수신부(130)를 제어하여, 문자 메세지, 메일 등 운전자인 사용자에게 사전에 설정한 방법을 통해 전달하여 빠르게 대처할 수 있도록 한다.

이상과 같이, 본 발명의 바람직한 실시예에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

한편 본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것도 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수 있다.

1 : 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템
100 : 차량 제어 단말 100g : 차량 제어 단말 그룹
110 : 수집장치모듈 111 : 카메라
112 : 인식부 113 : 진동센서
120 : MPU 121 : 이벤트 마이너 모듈
122 : 이벤트 탐지 모듈 123 : 자율주행 제어모듈
130 : 송수신부 140 : 입출력부
200 : 네트워크 300 : 중앙학습서버
310 : 통신모듈 320 : 제어부
321 : 객체 탐색 모듈 322 : 포인트 디텍터 모듈
323 : LSTM 기반 학습 모듈 330 : 데이터베이스
400 : 스마트 디바이스

Claims (6)

1. 차량(10)에 탑재되는 차량 제어 단말(100)로 이루어진 차량 제어 단말 그룹(100g), 네트워크(200), 중앙학습서버(300)를 포함하는 차량용 블랙박스 이벤트 감지시스템(1)에 있어서,
   차량 제어 단말(100)은,
   사용자의 음성을 인식하는 음성 인식부(112a)와 사용자의 표정을 인식하는 영상 인식부(112b)를 구비하는 인식부(112),
   상기 음성 인식부(112a)에서 사용자가 발화한 소리와, 상기 표정을 인식하는 영상 인식부(112b)에서 표정변화에 해당하는 사용자 반응에 대해서 사고와 관련된 이벤트인지 판별하는 이벤트 판별 수단(121a) 및
   발화한 소리에 해당하는 음성 신호로부터 음성 특징 데이터를 추출하고, 표정변화에 해당하는 영상 신호로부터 영상 특징 데이터를 추출하고, 상기 음성 특징데이터 및 영상 특징 데이터 중 적어도 하나에 대해서 음성 신호 또는 영상 신호가 나타내는 감정에 대해 라벨링을 수행하는 이벤트 라벨링 수단(121b)을 포함하고,
   차량 제어 단말(100)은 후방 카메라(111, c1), 좌측 카메라(111, c2), 전방 카메라(111, c3), 우측 카메라(111, c4)로 이루어진 카메라(111)를 포함하고,
   이벤트 라벨링 수단(121b)은 각 방향의 카메라(111) 별로 영상에서 이벤트가 발생한 순서와 중요도에 대해 라벨링을 수행하고,
   이벤트 라벨링 수단(121b)은 이벤트 판별 수단(121a)에 의해 이벤트로 판별시 사용자의 반응을 이벤트 판별 수단(121a)으로부터 제공받아 네트워크(200)를 통해 중앙학습서버(300)로 제공하여, 학습 이벤트로 활용되도록 하고,
   차량 제어 단말(100)은 이벤트 판별 수단(121a) 및 이벤트 라벨링 수단(121b)으로 이루어진 이벤트 마이너 모듈(121)을 통해 제공된 복수의 카메라를 활용해 촬영된 이미지에서 각 이미지의 위치정보를 확인하고, 복수로 입력되는 이미지 간에 중첩되는 영역 내에 위치하는 특정 포인트에 대한 좌표를 연산하여, 연산된 좌표에 기초하여, 복수의 이미지를 조합하여 어라운드뷰를 생성하는 이벤트 탐지 모듈(122)을 더 포함하는 것을 특징으로 하는 차량용 블랙박스 이벤트 감지시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images