KR20190052417A

KR20190052417A - 기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치

Info

Publication number: KR20190052417A
Application number: KR1020170148086A
Authority: KR
Inventors: 최범석
Original assignee: 한국전자통신연구원
Priority date: 2017-11-08
Filing date: 2017-11-08
Publication date: 2019-05-16

Abstract

기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 차량에 설치된 다종의 센서들을 기반으로 차량에 대한 다종의 센싱 데이터를 수집하고, 타임 스탬프를 기반으로 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성하고, 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 타임 동기화 데이터 중 차량의 제동과 관련된 학습 대상 프레임을 추출하고, 학습 대상 프레임을 이용하여 차량의 충돌 방지 모델을 학습시키고, 충돌 방지 모델을 통해 다종의 센싱 데이터를 실시간으로 분석하여 차량을 자동으로 제동한다.

Description

기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치 {METHOD FOR AUTO BRAKING OF CAR USING LEARNING MODEL AND APPARATUS USING THE SAME}

본 발명은 차량을 자동으로 제동하기 위한 기술에 관한 것으로, 특히 차량에서 수집된 데이터들을 이용하여 기계 학습 모델을 학습시키고, 이를 통해 차량이 충돌 가능 상황임을 스스로 인지하도록 하여 자동으로 제동을 수행하도록 하는 기술에 관한 것이다.

최근 졸음 운전이나 전방 부주의 운전으로 인한 자동차 추돌 사고가 자주 일어나고 있다. 이와 같은 졸음 운전이나 전방 부주의 운전으로 인한 사고 발생시에는 운전자나 차량 탑승자가 사망하는 경우가 많아, 이를 방지하기 위한 대책마련이 시급한 상황이다.

이에 따라, 최근에는 기계학습 기술을 이용하여 자동차가 제동을 해야하는 상황을 미리 학습시키고, 제동이 필요한 상황에 운전자에게 알람을 울리거나 제동 장치를 작동하여 사고를 미연에 방지하는 기술들이 개발되고 있다.

그러나, 자동차의 제동이 필요한 상황에 대해 기계 학습 모델을 학습시키기 위한 학습 데이터를 수집하는 데에는 많은 시간과 인력 또는 비용이 필요하다는 단점이 존재하였다.

한국 공개 특허 제10-2014-0118157호, 2014년 10월 8일 공개(명칭: 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법)

본 발명의 목적은 차량이 자동으로 제동 상황을 인지하기 위한 기계 학습 데이터를 생성하여 제공하는 것이다.

또한, 본 발명의 목적은 차량이 운행하는 동안에 자동 제동을 위한 학습 데이터를 생성하여 제공함으로써 차량의 충돌 방지를 위한 학습 데이터를 보다 수월하게 획득하는 것이다.

또한, 본 발명의 목적은 운전습관이나 차량에 적합한 충돌 방지 학습을 통해 운전자 별로 적합한 충돌 방지 모델을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 차량의 자동 제동 방법은 차량에 설치된 다종의 센서들을 기반으로 상기 차량에 대한 다종의 센싱 데이터를 수집하는 단계; 타임 스탬프를 기반으로 상기 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성하는 단계; 상기 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 상기 타임 동기화 데이터 중 상기 차량의 제동과 관련된 학습 대상 프레임을 추출하는 단계; 및 상기 학습 대상 프레임을 이용하여 상기 차량의 충돌 방지 모델을 학습시키고, 상기 충돌 방지 모델을 통해 상기 다종의 센싱 데이터를 실시간으로 분석하여 상기 차량을 자동으로 제동하는 단계를 포함한다.

이 때, 제동하는 단계는 상기 학습 대상 프레임에 포함된 영상 데이터 및 스피드 센싱 데이터 중 하나 이상을 상기 충돌 방지 모델에 입력하여 상기 차량에 대한 브레이크 압력 값을 추론하는 단계; 및 상기 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 상기 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만이 되도록 상기 충돌 방지 모델을 반복적으로 학습시키는 단계를 포함할 수 있다.

이 때, 추출하는 단계는 상기 타임 동기화 데이터의 전체 프레임 중 상기 브레이크 센싱 데이터를 통해 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출하는 단계; 및 상기 제1 학습 대상 프레임 중 상기 영상 데이터 및 상기 스피드 센싱 데이터 중 하나 이상에 기반한 제2 학습 대상 프레임을 추출하는 단계를 포함할 수 있다.

이 때, 학습시키는 단계는 상기 제1 학습 대상 프레임 및 상기 제2 학습 대상 프레임 중 하나 이상을 이용하여 상기 충돌 방지 모델을 학습시킬 수 있다.

이 때, 제2 학습 대상 프레임을 추출하는 단계는 상기 영상 데이터를 기반으로 추출된 장애물 정보 및 상기 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 상기 제2 학습 대상 프레임을 추출할 수 있다.

이 때, 제1 학습 대상 프레임의 길이는 상기 전체 프레임의 길이보다 짧고, 상기 제2 학습 대상 프레임의 길이는 상기 제1 학습 대상 프레임의 길이보다 짧을 수 있다.

이 때, 기설정된 기준 압력은 상기 차량이 완전히 정지한 상태에 상응하는 압력일 수 있다.

이 때, 다종의 센서들은 상기 브레이크 센서, 카메라 센서 및 스피드 센서 중 하나 이상을 포함할 수 있다.

이 때, 제동하는 단계는 상기 차량의 운행 중 실시간으로 수집되는 영상 데이터 및 스피드 센싱 데이터 중 적어도 하나를 상기 충돌 방지 모델에 입력하는 단계; 및 상기 충돌 방지 모델을 통해 추론되는 브레이크 압력 값에 상응하게 상기 차량을 자동으로 제동하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 차량의 자동 제동 장치는, 차량에 설치된 다종의 센서들을 기반으로 상기 차량에 대한 다종의 센싱 데이터를 수집하고, 타임 스탬프를 기반으로 상기 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성하고, 상기 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 상기 타임 동기화 데이터 중 상기 차량의 제동과 관련된 학습 대상 프레임을 추출하고, 상기 학습 대상 프레임을 이용하여 상기 차량의 충돌 방지 모델을 학습시키고, 상기 충돌 방지 모델을 통해 상기 다종의 센싱 데이터를 실시간으로 분석하여 상기 차량을 자동으로 제동하는 프로세서; 및 상기 다종의 센싱 데이터, 상기 타임 동기화 데이터 및 상기 충돌 방지 모델 중 하나 이상을 저장하는 메모리를 포함한다.

이 때, 프로세서는 상기 학습 대상 프레임에 포함된 영상 데이터 및 스피드 센싱 데이터 중 하나 이상을 상기 충돌 방지 모델에 입력하여 상기 차량에 대한 브레이크 압력 값을 추론하고, 상기 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 상기 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만이 되도록 상기 충돌 방지 모델을 반복적으로 학습시킬 수 있다.

이 때, 프로세서는 상기 타임 동기화 데이터의 전체 프레임 중 상기 브레이크 센싱 데이터를 통해 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출하고, 상기 제1 학습 대상 프레임 중 상기 영상 데이터 및 상기 스피드 센싱 데이터 중 하나 이상에 기반한 제2 학습 대상 프레임을 추출할 수 있다.

이 때, 프로세서는 상기 제1 학습 대상 프레임 및 상기 제2 학습 대상 프레임 중 하나 이상을 이용하여 상기 충돌 방지 모델을 학습시킬 수 있다.

이 때, 프로세서는 상기 영상 데이터를 기반으로 추출된 장애물 정보 및 상기 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 상기 제2 학습 대상 프레임을 추출할 수 있다.

이 때, 프로세서는 상기 차량의 운행 중 실시간으로 수집되는 영상 데이터 및 스피드 센싱 데이터 중 적어도 하나를 상기 충돌 방지 모델에 입력하고, 상기 충돌 방지 모델을 통해 추론되는 브레이크 압력 값에 상응하게 상기 차량을 자동으로 제동할 수 있다.

본 발명에 따르면, 차량이 자동으로 제동 상황을 인지하기 위한 기계 학습 데이터를 생성하여 제공할 수 있다.

또한, 본 발명은 차량이 운행하는 동안에 자동 제동을 위한 학습 데이터를 생성하여 제공함으로써 차량의 충돌 방지를 위한 학습 데이터를 보다 수월하게 획득할 수 있다.

또한, 본 발명은 운전습관이나 차량에 적합한 충돌 방지 학습을 통해 운전자 별로 적합한 충돌 방지 모델을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 차량의 자동 제동 방법을 나타낸 동작 흐름도이다.
도 2 내지 도 3은 본 발명에 따른 학습 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 차량의 자동 제동 방법을 상세하게 나타낸 동작 흐름도이다.
도 5는 본 발명에 따른 타임 동기화 데이터와 학습 대상 프레임의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 차량의 자동 제동 장치를 나타낸 블록도이다.
도 7는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 차량의 자동 제동 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 차량에 설치된 다종의 센서들을 기반으로 차량에 대한 다종의 센싱 데이터를 수집한다(S110).

이 때, 다종의 센서들은 브레이크 센서, 카메라 센서 및 스피드 센서 중 하나 이상을 포함할 수 있다.

이 때, 다종의 센싱 데이터는 차량의 운전자가 운전을 시작하면 다종의 센서들을 기반으로 수집될 수 있다.

예를 들어, 운전자에 의해 차량의 주행이 시작되는 경우, 브레이크 센싱 데이터, 영상 데이터 및 스피드 센싱 데이터가 타임 스탬프 정보와 함께 메모리에 저장될 수 있다. 이 때, 데이터가 저장되는 저장 모듈은 차량의 내부에 있을 수도 있고, 외부서버에 위치할 수도 있다.

이 때, 브레이크 센싱 데이터는 차량의 운전자가 브레이크에 가하는 브레이크 압력 값, 즉 제동 강도에 상응할 수 있다. 또한, 영상 데이터는 카메라 센서를 통해 촬영된 동영상 이미지에 상응할 수 있으며, 카메라 센서의 위치에 따라 차량의 전방 영상 데이터, 후방 영상 데이터 그리고 측면 영상 데이터로 각각 수집될 수 있다. 또한, 스피드 센싱 데이터는 차량의 스피드 정보에 상응할 수 있으며, 차량에 부착된 속도계를 기반으로 획득될 수도 있다.

이 때, 본 발명에서는 주로 브레이크 센싱 데이터와 함께 영상 데이터 및 스피드 센싱 데이터를 이용하였으나, 차량의 제동과 관련이 있는 경우에는 다른 종류의 센서를 통해 수집된 센싱 데이터를 이용할 수도 있다.

또한, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 타임 스탬프를 기반으로 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성한다(S120).

이 때, 다종의 센싱 데이터는 타임 스탬프 정보와 함께 저장될 수 있으므로, 타임 스탬프 정보를 기준으로 동기화를 수행할 수 있다.

예를 들어, 차량의 운행이 시작되는 시점부터 차량의 운행이 종료되는 시점까지 타임 동기화 데이터를 생성할 수 있다.

또한, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 타임 동기화 데이터 중 차량의 제동과 관련된 학습 대상 프레임을 추출한다(S130).

이 때, 타임 동기화 데이터의 전체 프레임 중 브레이크 센싱 데이터를 통해 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출할 수 있다.

이 때, 기설정된 기준 압력은 차량이 완전히 정지한 상태에 상응하는 압력일 수 있다.

예를 들어, 기설정된 기준 압력이 N이라고 가정한다면, 타임 동기화 데이터의 전체 프레임 중 브레이크 압력 값이 N이상에 해당하는 프레임을 검출할 수 있다. 이 후, 검출된 프레임의 앞 뒤로 50개의 프레임들을 추출하여 100개의 프레임들에 상응하게 제1 학습 대상 프레임을 추출할 수 있다.

이 때, 제1 학습 대상 프레임의 길이는 전체 시스템의 처리 속도나 효율에 따라 설정 또는 변경할 수 있다.

이 때, 제1 학습 대상 프레임 중 영상 데이터 및 스피드 센싱 데이터 중 하나 이상에 기반한 제2 학습 대상 프레임을 추출할 수 있다.

이 때, 영상 데이터를 기반으로 추출된 장애물 정보 및 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 제2 학습 대상 프레임을 추출할 수 있다.

즉, 제1 학습 대상 프레임은 브레이크 정보를 고려하여 추출된 것이므로, 운전자가 어떤 상황에서 브레이크를 사용하였는지 판단하기 어려울 수 있다. 따라서, 장애물 정보나 감속 패턴을 통해 운전자가 브레이크를 사용하는 원인을 학습하도록 할 수 있다.

예를 들어, 제1 학습 대상 프레임에 포함된 영상 데이터에 장애물 정보가 존재하는 경우, 제1 학습 대상 프레임 중 장애물 정보가 나타나는 부분부터 브레이크가 사용된 부분까지를 제2 학습 대상 프레임으로 추출할 수 있다.

다른 예를 들어, 운전자의 운전습관에 따라 특정 시점에 반복적으로 브레이크를 사용하여 차량의 속도를 줄이는 경우, 제1 학습 대상 프레임에서 해당 감속 패턴에 해당하는 부분부터 브레이크가 사용된 부분까지를 제2 학습 대상 프레임으로 추출할 수 있다.

이 때, 운전자의 운전습관에 따른 감속 패턴을 고려하여 차량의 자동 제동을 위한 학습을 수행시킴으로써 개개인의 운전자마다 가장 적합한 충돌 방지 모델이 제공될 수 있다.

이 때, 제1 학습 대상 프레임의 길이는 전체 프레임의 길이보다 짧고, 제2 학습 대상 프레임의 길이는 제1 학습 대상 프레임의 길이보다 짧을 수 있다.

이와 같이, 본 발명에서는 다종의 센서들을 통해 수집되는 모든 데이터들을 이용하지 않고도 차량의 충돌 방지 모델을 학습시킬 수 있으므로 데이터 연산을 위한 부하를 감소시킬 수 있고, 전체 시스템 효율을 향상시킬 수 있다.

또한, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 학습 대상 프레임을 이용하여 차량의 충돌 방지 모델을 학습시키고, 충돌 방지 모델을 통해 다종의 센싱 데이터를 실시간으로 분석하여 차량을 자동으로 제동한다(S140).

이 때, 충돌 방지 모델은 기계 학습 모델에 상응할 수 있고, 학습 대상 프레임은 학습 데이터에 상응할 수 있다. 따라서, 학습 대상 프레임을 충돌 방지 모델의 입력 값으로 적용하여 충돌 방지 모델의 학습을 수행할 수 있다.

이 때, 학습 대상 프레임에 포함된 영상 데이터 및 스피드 센싱 데이터 중 하나 이상을 충돌 방지 모델에 입력하여 차량에 대한 브레이크 압력 값을 추론할 수 있다.

이 때, 스피드 센싱 데이터는 선택적으로 입력시킬 수도 있다.

이 때, 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만이 되도록 충돌 방지 모델을 반복적으로 학습시킬 수 있다.

즉, 기계 학습 모델을 통해 추론된 추론값과 실제로 해당 프레임에서 추출된 값을 비교하여 오차를 산출할 수 있고, 해당 오차가 작아지도록 반복학습을 수행하면서 기계 학습 모델의 학습을 수행할 수 있다.

예를 들어, 기설정된 기준오차가 L에 상응하는 경우, 충돌 방지 모델을 통해 추론된 브레이크 압력 값 B1과 학습 대상 프레임에 포함된 브레이크 센싱 데이터에서 추출된 브레이크 압력 값 B2 간의 오차가 L보다 작아질 때까지 반복학습을 수행할 수 있다.

이 때, 제1 학습 대상 프레임 및 제2 학습 대상 프레임 중 하나 이상을 이용하여 충돌 방지 모델을 학습시킬 수 있다.

이 때, 차량의 자동 제동을 수행하기 위해 차량의 운행 중 실시간으로 수집되는 영상 데이터 및 스피드 센싱 데이터 중 적어도 하나를 충돌 방지 모델에 입력할 수 있다. 이 때, 차량의 자동 제동을 수행하기 위해 입력값을 제공받는 충돌 방지 모델은 반복학습을 통해 신뢰도 있는 결과를 추론하는 모델에 해당할 수 있다. 즉, 본 발명의 일실시예에 따르면 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만인 충돌 방지 모델에 해당할 수 있다.

이 때, 충돌 방지 모델을 통해 추론되는 브레이크 압력 값에 상응하게 차량을 자동으로 제동할 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 차량의 자동 제동을 위해 필요한 정보를 송수신할 수 있다. 특히, 다종의 센서들로부터 센싱 데이터를 수신하거나, 차량의 제동을 위한 명령을 차량의 제어 장치에게 제공할 수도 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 상술한 차량의 자동 제동 과정에서 발생하는 다양한 정보를 저장할 수 있다.

이와 같은 차량의 자동 제동 방법을 통해, 차량이 자동으로 제동 상황을 인지하기 위한 기계 학습 데이터를 생성하여 제공할 수 있다.

또한, 차량이 운행하는 동안에 자동 제동을 위한 학습 데이터를 생성하여 제공함으로써 차량의 충돌 방지를 위한 학습 데이터를 보다 수월하게 획득할 수 있다.

또한, 운전습관이나 차량에 적합한 충돌 방지 학습을 통해 운전자 별로 적합한 충돌 방지 모델을 제공할 수도 있다.

도 2 내지 도 3은 본 발명에 따른 학습 과정의 일 예를 나타낸 도면이다.

먼저, 도 2를 참조하면, 본 발명에 따른 충돌 방지 모델의 학습을 위해 차량에 설치된 카메라 센서(211), 스피드 센서(212) 및 브레이크 센서(213)에서 각각 영상 데이터, 스피드 센싱 데이터 및 브레이크 센싱 데이터를 수집할 수 있다.

이 때, 각각의 센싱 데이터는 무선 통신 또는 유선 통신을 기반으로 수집될 수 있으며, 각각의 센싱 데이터는 타임 스탬프 정보를 포함할 수 있다.

이 후, 수집된 각각의 센싱 데이터를 타임 스탬프를 기반으로 동기화하여 충돌 방지 모델의 학습에 실질적으로 이용되는 학습 데이터를 생성할 수 있다. 예를 들어, 본 발명의 일실시예에 따른 학습 대상 프레임이 학습 데이터에 상응할 수 있다.

이 후, 학습 데이터를 충돌 방지 모델에 입력하여 기계 학습을 수행할 수 있다. 예를 들어, 도 3에 도시된 것과 같이, 학습 데이터에 포함된 영상 프레임과 스피드 센싱 데이터를 각각 기계 학습 모델에 해당하는 충돌 방지 모델의 입력값으로 제공하여 브레이크 강도를 추론하도록 할 수 있다.

이 때, 추론된 강도가 학습 데이터에 포함된 실제 브레이크 센싱 정보와 얼마나 차이(Loss)가 나는지 비교하고, 이 차이가 작아질 수 있도록 반복적으로 기계 학습을 수행할 수 있다.

도 4는 본 발명의 일실시예에 따른 차량의 자동 제동 방법을 상세하게 나타낸 동작 흐름도이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 차량의 자동 제동 방법은 먼저 차량에 설치된 다종의 센서들을 기반으로 다종의 센싱 데이터를 수집할 수 있다(S410).

이 후, 다종의 센싱 데이터에 각각 포함된 타임 스탬프를 기반으로 타임 동기화 데이터를 생성할 수 있다(S420).

이 때, 타임 동기화 데이터는 다종의 센싱 데이터를 시간을 기준으로 동기화한 데이터에 상응할 수 있다.

이 후, 타임 동기화 데이터의 전체 프레임 중 브레이크 센싱 데이터를 기반으로 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출할 수 있다(S430).

이 후, 제1 학습 대상 프레임을 기반으로 제2 학습 대상 프레임을 추출할 수 있다(S440).

예를 들어, 영상 데이터를 기반으로 추출된 장애물 정보 및 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 제2 학습 대상 프레임을 추출할 수 있다.

이 후, 제1 학습 대상 프레임 및 제2 학습 대상 프레임 중 하나 이상을 이용하여 충돌 방지 모델을 학습시킬 수 있다(S450).

이 후, 학습 대상 프레임의 브레이크 센싱 데이터와 충돌 방지 모델을 통해 추론된 브레이크 압력 값의 오차가 기설정된 기준오차 미만인지 여부를 판단할 수 있다(S455).

단계(S455)의 판단결과 오차가 기설정된 기준오차 미만이 아니면, 충돌 방지 모델을 반복적으로 학습시키도록 할 수 있다.

또한, 단계(S455)의 판단결과 오차가 기설정된 기준오차 미만이면, 해당 충돌 방지 모델을 이용하여 차량의 자동 제동을 수행할 수 있다(S460).

도 5는 본 발명에 따른 타임 동기화 데이터와 학습 대상 프레임의 일 예를 나타낸 도면이다.

도 5를 참조하면, 본 발명에 따른 타임 동기화 데이터는 영상 데이터(510), 스피드 센싱 데이터(520) 및 브레이크 센싱 데이터(530)가 시간 축(540)을 기준으로 동기화된 데이터에 상응할 수 있다.

이 때, 각각의 센싱 데이터는 수집될 때 타임 스탬프 정보를 포함하고 있기 때문에, 시간을 기준으로 동기화를 수행할 수 있다.

이 때, 본 발명에서는 충돌 방지 모델을 학습시키기 위해 도 5에 도시된 타임 동기화 데이터를 모두 사용하지 않고, 타임 동기화 데이터에 상응하는 전체 프레임 중에서 일부의 학습 대상 프레임(550)을 추출하여 학습 데이터로 사용할 수 있다.

이 때, 학습 대상 프레임(550)은 브레이크 센싱 데이터(530)를 고려하여 1차적으로 추출될 수 있고, 1차적으로 추출된 부분에서 또다시 영상 데이터(510) 및 스피드 센싱 데이터(520) 중 적어도 하나를 고려하여 2차적으로 추출될 수 있다.

따라서, 1차적으로 추출되는 제1 학습 대상 프레임의 길이는 타임 동기화 데이터의 전체 프레임의 길이보다 짧을 수 있고, 2차적으로 추출되는 제2 학습 대상 프레임의 길이는 제1 학습 대상 프레임의 길이보다 짧게 생성될 수 있다.

이와 같이 본 발명에서는 학습 데이터를 센싱 데이터의 전체가 아닌 일부분만 사용하므로 차량의 자동 제어를 위한 전체 시스템의 효율을 향상시킬 수 있다.

도 6은 본 발명의 일실시예에 따른 차량의 자동 제동 장치를 나타낸 블록도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 차량의 자동 제동 장치는 통신부(610), 프로세서(620) 및 메모리(630)를 포함한다.

통신부(610)는 차량의 자동 제동을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(610)는 다종의 센서들로부터 센싱 데이터를 수신하거나, 차량의 제동을 위한 명령을 차량의 제어 장치에게 제공할 수도 있다.

프로세서(620)는 차량에 설치된 다종의 센서들을 기반으로 차량에 대한 다종의 센싱 데이터를 수집한다.

또한, 프로세서(620)는 타임 스탬프를 기반으로 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성한다.

또한, 프로세서(620)는 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 타임 동기화 데이터 중 차량의 제동과 관련된 학습 대상 프레임을 추출한다.

또한, 프로세서(620)는 학습 대상 프레임을 이용하여 차량의 충돌 방지 모델을 학습시키고, 충돌 방지 모델을 통해 다종의 센싱 데이터를 실시간으로 분석하여 차량을 자동으로 제동한다.

메모리(630)는 다종의 센싱 데이터, 타임 동기화 데이터 및 충돌 방지 모델 중 하나 이상을 저장한다.

또한, 메모리(630)는 상술한 차량의 자동 제동 과정에서 발생하는 다양한 정보를 저장할 수 있다.

이와 같은 차량의 자동 제동 장치를 이용함으로써, 차량이 자동으로 제동 상황을 인지하기 위한 기계 학습 데이터를 생성하여 제공할 수 있다.

도 7는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 7을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 입력 장치(740), 사용자 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

211: 카메라 212: 스피드 센서
213: 브레이크 센서 510: 영상 데이터
520: 스피드 센싱 데이터 530: 브레이크 센싱 데이터
540: 시간 축 550: 학습 대상 프레임
610: 통신부 620: 프로세스
630: 메모리 700: 컴퓨터 시스템
710: 프로세서 720: 버스
730: 메모리 731: 롬
732: 램 740: 사용자 입력 장치
750: 사용자 출력 장치 760: 스토리지
770: 네트워크 인터페이스 780: 네트워크

Claims

차량에 설치된 다종의 센서들을 기반으로 상기 차량에 대한 다종의 센싱 데이터를 수집하는 단계;
타임 스탬프를 기반으로 상기 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성하는 단계;
상기 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 상기 타임 동기화 데이터 중 상기 차량의 제동과 관련된 학습 대상 프레임을 추출하는 단계; 및
상기 학습 대상 프레임을 이용하여 상기 차량의 충돌 방지 모델을 학습시키고, 상기 충돌 방지 모델을 통해 상기 다종의 센싱 데이터를 실시간으로 분석하여 상기 차량을 자동으로 제동하는 단계
를 포함하는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 1에 있어서,
상기 제동하는 단계는
상기 학습 대상 프레임에 포함된 영상 데이터 및 스피드 센싱 데이터 중 하나 이상을 상기 충돌 방지 모델에 입력하여 상기 차량에 대한 브레이크 압력 값을 추론하는 단계; 및
상기 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 상기 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만이 되도록 상기 충돌 방지 모델을 반복적으로 학습시키는 단계를 포함하는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 2에 있어서,
상기 추출하는 단계는
상기 타임 동기화 데이터의 전체 프레임 중 상기 브레이크 센싱 데이터를 통해 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출하는 단계; 및
상기 제1 학습 대상 프레임 중 상기 영상 데이터 및 상기 스피드 센싱 데이터 중 하나 이상에 기반한 제2 학습 대상 프레임을 추출하는 단계를 포함하는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 3에 있어서,
상기 학습시키는 단계는
상기 제1 학습 대상 프레임 및 상기 제2 학습 대상 프레임 중 하나 이상을 이용하여 상기 충돌 방지 모델을 학습시키는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 3에 있어서,
상기 제2 학습 대상 프레임을 추출하는 단계는
상기 영상 데이터를 기반으로 추출된 장애물 정보 및 상기 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 상기 제2 학습 대상 프레임을 추출하는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 3에 있어서,
상기 제1 학습 대상 프레임의 길이는 상기 전체 프레임의 길이보다 짧고, 상기 제2 학습 대상 프레임의 길이는 상기 제1 학습 대상 프레임의 길이보다 짧은 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 2에 있어서,
상기 기설정된 기준 압력은
상기 차량이 완전히 정지한 상태에 상응하는 압력인 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 1에 있어서,
상기 다종의 센서들은
상기 브레이크 센서, 카메라 센서 및 스피드 센서 중 하나 이상을 포함하는 것을 특징으로 하는 차량의 자동 제동 방법.
청구항 2에 있어서,
상기 제동하는 단계는
상기 차량의 운행 중 실시간으로 수집되는 영상 데이터 및 스피드 센싱 데이터 중 적어도 하나를 상기 충돌 방지 모델에 입력하는 단계; 및
상기 충돌 방지 모델을 통해 추론되는 브레이크 압력 값에 상응하게 상기 차량을 자동으로 제동하는 단계를 포함하는 것을 특징으로 하는 차량의 자동 제동 방법.
차량에 설치된 다종의 센서들을 기반으로 상기 차량에 대한 다종의 센싱 데이터를 수집하고, 타임 스탬프를 기반으로 상기 다종의 센싱 데이터를 시간을 기준으로 동기화하여 타임 동기화 데이터를 생성하고, 상기 다종의 센서들 중 브레이크 센서에서 수집된 브레이크 센싱 데이터를 기반으로 상기 타임 동기화 데이터 중 상기 차량의 제동과 관련된 학습 대상 프레임을 추출하고, 상기 학습 대상 프레임을 이용하여 상기 차량의 충돌 방지 모델을 학습시키고, 상기 충돌 방지 모델을 통해 상기 다종의 센싱 데이터를 실시간으로 분석하여 상기 차량을 자동으로 제동하는 프로세서; 및
상기 다종의 센싱 데이터, 상기 타임 동기화 데이터 및 상기 충돌 방지 모델 중 하나 이상을 저장하는 메모리
를 포함하는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 10에 있어서,
상기 프로세서는
상기 학습 대상 프레임에 포함된 영상 데이터 및 스피드 센싱 데이터 중 하나 이상을 상기 충돌 방지 모델에 입력하여 상기 차량에 대한 브레이크 압력 값을 추론하고, 상기 학습 대상 프레임에 포함된 브레이크 센싱 데이터와 상기 충돌 방지 모델이 추론한 브레이크 압력 값 간의 오차가 기설정된 기준오차 미만이 되도록 상기 충돌 방지 모델을 반복적으로 학습시키는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 11에 있어서,
상기 프로세서는
상기 타임 동기화 데이터의 전체 프레임 중 상기 브레이크 센싱 데이터를 통해 추출된 브레이크 압력 값이 기설정된 기준 압력 이상인 프레임을 기준으로 기설정된 범위에 상응하게 제1 학습 대상 프레임을 추출하고, 상기 제1 학습 대상 프레임 중 상기 영상 데이터 및 상기 스피드 센싱 데이터 중 하나 이상에 기반한 제2 학습 대상 프레임을 추출하는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 12에 있어서,
상기 프로세서는
상기 제1 학습 대상 프레임 및 상기 제2 학습 대상 프레임 중 하나 이상을 이용하여 상기 충돌 방지 모델을 학습시키는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 12에 있어서,
상기 프로세서는
상기 영상 데이터를 기반으로 추출된 장애물 정보 및 상기 스피드 센싱 데이터를 기반으로 추출된 감속 패턴 중 하나 이상을 고려하여 상기 제2 학습 대상 프레임을 추출하는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 12에 있어서,
상기 제1 학습 대상 프레임의 길이는 상기 전체 프레임의 길이보다 짧고, 상기 제2 학습 대상 프레임의 길이는 상기 제1 학습 대상 프레임의 길이보다 짧은 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 11에 있어서,
상기 기설정된 기준 압력은
상기 차량이 완전히 정지한 상태에 상응하는 압력인 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 10에 있어서,
상기 다종의 센서들은
상기 브레이크 센서, 카메라 센서 및 스피드 센서 중 하나 이상을 포함하는 것을 특징으로 하는 차량의 자동 제동 장치.
청구항 11에 있어서,
상기 프로세서는
상기 차량의 운행 중 실시간으로 수집되는 영상 데이터 및 스피드 센싱 데이터 중 적어도 하나를 상기 충돌 방지 모델에 입력하고, 상기 충돌 방지 모델을 통해 추론되는 브레이크 압력 값에 상응하게 상기 차량을 자동으로 제동하는 것을 특징으로 하는 차량의 자동 제동 장치.