KR102180800B1 - 차량의 주행상태 판단장치 및 그 판단방법 - Google Patents

Abstract

본 발명은 차량에 장착된 센서를 이용하면서 그 차량 주행에 따라 전처리 수행된 특징값들 중 일부 학습데이터들만 이용하여, 신속하고 정확하게 차량의 비정상 주행상태를 판단할 수 있는 차량의 주행상태 판단장치 및 그 판단방법을 개시한다. 그리고 본 발명의 차량의 주행상태 판단장치는 차량 주행에 따른 로우 데이터를 감지하는 센서; 상기 로우 데이터를 전처리(pre-processing)하여 매트릭스 형태의 PSD 데이터를 출력하는 전처리부; 상기 전처리된 데이터에서 제1 특징값을 추출하는 제1 추출부 및 상기 제1 특징값에서 관심영역의 특징 성분들만 추출하여 제2 특징값으로 출력하는 제2 추출부를 구비하는 특징값 추출부; 상기 제2 특징값을 입력받아 학습하면서 새롭게 입력된 로우 데이터에 대한 차량의 주행상태를 판단하는 딥러닝부(deep learning unit)를 포함하여 구성된다.

Description

차량의 주행상태 판단장치 및 그 판단방법{Apparatus and Method for determining traveling status of vehicle}

본 발명은 차량의 주행상태 판단장치에 관한 것으로, 특히 차량에 장착되거나 부착되는 센서를 이용하면서, 그 차량 주행에 따라 전처리 수행된 특징값들 중 일부 학습데이터들만 이용하여 차량의 비정상주행 상태를 판단할 수 있는 차량의 주행상태 판단장치 및 그 판단방법에 관한 것이다.

차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 자율주행 시스템(Autonomous Driving System) 또는 운전 보조 시스템(Advanced Driver Assistance System: ADAS)을 위한 다양한 방법들이 개발되고 있다. 그리고 이러한 기술들은 실질적으로 차량주행의 안전성을 향상시키는 것이라 할 것이다.

그러나 여전히 차량주행의 안전성에 반하여 사고로 이어질 수 있는 비정상적인 주행상태가 해소되지 않고 있다. 예를 들면 차량의 운전 중에 운전자가 졸거나 또는 부주의한 상태 등을 말할 수 있고 이러한 비정상적인 주행상태는 차량 사고를 초래한다는 점에서 실질적인 대응방안이 필요하였다.

종래에 이러한 비정상적인 차량 주행상태를 검출하고 경고음을 출력하여 안전 운전을 유도하는 다양한 방법이 종래에도 제공된 바 있다. 비정상적 주행상태를 검출하는 방법의 예로, 한국등록특허 제191035호에는 차량 내의 소정위치에 장착된 카메라로 운전자의 눈동자 움직임을 수집하여 비정상주행상태를 야기할 수 있는 졸음운전을 판정하여 경고하는 발명이 제안된 바 있다.

다른 예로, 조향각 센서로 차량의 주행 방향을 검출하여 차량의 주행 방향이 갑자기 틀어지거나 지그재그로 진행하는 경우 비정상 주행상태를 판단하는 발명도 있다. 또 다른 예로 카메라로 차선을 감지하여 주행 차선을 이탈 여부를 감지하고, 주행 차선을 반복적으로 이탈하면 비정상 주행상태로 판단하는 발명도 제안되고 있다.

그러나 이와 같은 선행특허들은 차량에 센서나 카메라와 같은 기기들을 추가로 장착해야 하고, 이를 차량의 ECU 등과 연결해야 하는 번거로움이 있다.

상기 비정상 주행상태를 판단함에 있어 기계학습 알고리즘을 활용하는 경우도 있다. 기계학습에서 로우 데이터로부터 의미있는 학습데이터를 추출하기 위해 전처리 및 특징값 추출이 선행되고, 이러한 일련의 과정은 뚜렷한 주행패턴을 학습시키기 위함이다. 그러나 이 경우에도 기계학습에 적용되는 특징값들(학습데이터)에는 비정상 주행상태의 판단에 불필요한 데이터 등을 포함하는 경우도 있어, 비정상 주행상태 여부를 정확하게 판단하는데 방해요소로 작용하기도 한다.

이와 같이 종래에는 상기한 문제점들로 인하여 차량의 비정상 주행상태에 대하여 빠르고 신속하게 대처하는데 어려움이 있었던 것이고, 이로 인한 차량 사고를 방지하기 위한 과정에도 한계가 있었던 것이다.

따라서 본 발명의 목적은, 차량에 장착된 센서나 스마트폰의 내장센서를 활용하여 차량의 비정상 주행상태를 신속하고 정확하게 판단할 수 있도록 하는 차량의 주행상태 판단장치 및 그 방법을 제공하는 것이다.

본 발명의 다른 목적은, 차량 주행에 따라 측정된 값들 중 일부 의미가 있는 특징값들 만을 이용하여 학습할 데이터를 줄임으로써, 신속하게 차량의 정상주행 또는 비정상주행상태를 판단하는 차량의 주행상태 판단장치 및 그 방법을 제공하는 것이다.

즉 본 발명의 상기한 목적들은 방대하고 무분별한 로우 데이터로부터 의미 있는 데이터를 추출하고, 학습에 이용되는 입력의 수를 줄이면서 기계학습의 성능을 향상시키고, 학습 및 처리 시간를 단축하고자 하는 것이다.

이와 같은 목적을 달성하기 위한 본 발명은, 차량 주행에 따른 로우 데이터를 감지하는 센서; 상기 로우 데이터를 전처리(pre-processing)하여 매트릭스 형태의 PSD(power spectrum density) 데이터를 출력하는 전처리부; 상기 전처리된 데이터에서 제1 특징값을 추출하는 제1 특징값 추출부 및 상기 제1 특징값에서 관심영역의 특징 성분들만 추출하여 제2 특징값으로 출력하는 제2 특징값 추출부를 구비하는 특징값 추출부; 및 상기 제2 특징값을 입력받아 학습하면서 새롭게 입력된 전처리된 로우 데이터에 대한 차량의 주행상태를 판단하는 딥 러닝부(deep learning unit)를 포함하는 차량의 주행상태 판단장치를 제공한다.

본 실시 예에 따르면, 상기 관심영역을 정의하는 관심영역 선택부를 더 포함하며, 상기 관심영역 선택부는, 상기 제1 특징값의 사전(prior) 특징 벡터를 연산자(∧) 규칙을 기반으로 하여 정제하는 데이터 정제부, 및 정제된 데이터를 이용하여 히스토그램(histogram)을 작성하고 관심영역을 선택하여 상기 제2 특징값 추출부로 정보를 제공하는 히스토그램 작성 및 분석부를 포함한다.

여기서 상기 제1 특징값은 상기 PSD 데이터의 각 행(row)에 대한 분산값으로 사전 (prior) 특징벡터이고, 상기 제2 특징값은 상기 사전 특징벡터에서 관심영역의 특징 성분들만 추출하여 출력되는 사후(posterior) 특징벡터이다.

그리고 상기 제2 특징값 추출부는 상기 관심영역 선택부가 제공하는 플래그(flag) 정보를 기반으로 상기 관심영역의 특징 성분들을 추출한다.

그리고 상기 관심영역은 상기 정제된 데이터의 히스토그램에서 높은 빈도를 가지는 인덱스 영역이다.

또한, 상기 관심영역 선택부는 기계학습 시 학습데이터 분석을 위해 1회만 수행하여 상기 관심영역 플래그 정보를 제2 특징값 추출부에 제공한다.

본 실시 예에 따르면, 실시간 비정상 주행 판단을 위해 센서가 감지한 로우 데이터는 상기 특징값 추출부를 통해 상기 딥러닝부로 직접 제공된다.

본 실시 예에 따르면, 상기 센서는 차량에 내장된 IMU 센서 또는 차량에 장착되는 휴대단말장치의 IMU(Inertial Measurement Unit) 센서일 수 있다.

본 실시 예에 따르면 상기 센서가 감지한 로우 데이터의 X축, Y축 및 Z축 정보 중에서 파형 변화가 가장 심한 정보를 이용한다.

본 발명의 다른 특징에 따르면, 차량의 주행상태 판단장치가, 차량 주행에 따른 로우 데이터를 감지하는 단계; 감지된 로우 데이터를 전처리하는 단계; 전처리된 로우 데이터에서 각 행(row)의 PSD(power spectrum density) 데이터의 분산값을 연산하여 사전 특징벡터인 제1 특징값을 추출하는 단계; 상기 제1 특징값에서 관심영역의 특징 성분들만 추출하여 사후 특징벡터인 제2 특징값을 추출하는 단계; 및 상기 제2 특징값을 입력받아 학습하면서 차량의 비정상 주행 상태를 판단하는 단계를 포함하는 것을 특징으로 하는 차량의 주행상태 판단방법을 제공한다.

그리고 상기 관심영역의 특징 성분들 추출은, 상기 제1 특징값에 포함된 다수의 사전 특징 벡터들을 각각 연산자(∧) 규칙을 기반으로 하여 정제(filtering)하는 단계; 상기 정제된 데이터에서 값의 유무를 카운트하여 해당 인덱스의 도수 값을 1씩 증가하여 히스토그램(histogram)을 작성하는 단계; 및 상기 히스토그램에서 높은 빈도를 가지는 인덱스 영역을 관심영역으로 선택하여 제2 특징값 추출부로 제공하는 단계를 포함하여 수행된다.

상기 관심영역의 특징성분들을 추출하는 모든 단계는, 기계학습 과정에서만 수행된다.

상기 차량의 비정상 주행 상태를 실시간 판단 시, 상기 관심영역의 특징성분들을 추출하는 모든 단계는 비활성화되며, 센서가 감지한 로우 데이터는 전처리한 후 제1 및 제2 특징값을 추출하여 차량의 비정상 주행상태를 판단하도록 직접 제공된다.

상기 감지된 로우 데이터의 X축, Y축 및 Z축 정보 중에서 파형 변화가 가장 심한 정보를 상기 전처리 수행한다.

이상과 같은 본 발명의 차량의 주행상태 판단장치 및 그 방법에 따르면, 차량에 내장된 IMU 센서 또는 스마트폰과 같이 휴대단말장치를 활용하여 차량 주행에 따른 진동정보를 감지하고 특징값을 제공하고 있어, 별도 기기의 추가설치 없이 용이하게 차량의 주행상태를 판단할 수 있다.

그리고 본 발명은 전처리 수행된 특징값을 그대로 사용하지 않고 그 특징값들의 일부만 추출하여 기계학습을 위한 학습데이터로 제공하기 때문에, 분석해야 할 학습데이터를 줄일 수 있어 차량의 주행상태를 더 빠르게 판단할 수 있는 효과가 있다.

즉, 학습 및 실시간 주행상태 판단을 위해 사전 추출된 특징값 전부를 이용하는 것이 아니고 이러한 특징값 중에서도 비정상 주행패턴을 더 잘 특징짓는 관심영역의 특징값을 추출하여 이용함으로써 기계학습의 성능이 향상되고, 기계학습에 이용되는 입력의 수를 줄여 처리 시간이 저감되는 효과를 제공하는 것이다.

도 1은 본 발명의 바람직한 실시 예에 따른 차량의 주행상태 판단장치를 설명하는 구성도
도 2는 본 발명에 적용되는 로우 데이터의 예시 파형도
도 3은 본 발명인 차량의 주행상태 감지장치에 적용된 IMU 센서의 다른 실시 예 상태를 보인 도면
도 4는 본 발명의 바람직한 실시 예에 따른 차량의 주행상태를 판단하는 방법을 보인 흐름도

본 발명은 IMU 센서가 감지한 데이터를 전처리한 후 일련의 의미있는 특징값만 추출하여 학습시킴으로써, 차량의 주행상태를 빠르게 판단할 수 있게 하는 특징을 제공하는 것이고, 이하, 도면에 도시한 실시 예에 기초하면서 본 발명의 이러한 특징에 대하여 더욱 상세하게 설명하기로 한다.

도 1을 참고하여 차량의 주행상태 판단장치(100)에 대해 살펴보면, 차량 주행에 따라 로우 데이터(raw data)를 감지하는 IMU(inertial measurement unit) 센서(101)가 구비된다. 이러한 로우 데이터는 차량의 비정상주행상태(예를 들면 급제동(sudden braking), 차선이탈(weaving), 음주(지그재그 주행), 졸음운전 등) 또는 정상주행상태 등을 판단할 수 있는 기본 데이터라 할 것이다.

로우 데이터의 예는 도 2에 도시하였다. 도 2a는 급제동시의 로우 데이터 파형, 도 2b는 차선 이탈시의 로우 데이터 파형, 도 2c는 정상주행시의 로우 데이터 파형을 각각 나타내며, 각각의 로우 데이터 파형은 속도 벡터가 단위시간 동안 변하는 벡터량을 나타내는 가속도를 의미한다.

그리고 본 발명에 따르면 상기 IMU 센서(101)가 감지한 로우 데이터의 X축, Y축, Z축 중 가장 변화가 심하다고 볼 수 있는 정보만을 이용하게 된다. 즉 IMU 센서(101)의 3축 가속도 데이터를 모두 사용하지 않고 비정상 주행에 따른 파형 변화가 가장 큰 데이터만을 이용하는 것이고, 이는 주행 판단을 수행함에 있어 가장 유리하기 때문이다.

실시 예에서는 도 2에 도시한 바와 같이 Z축 파형을 이용하고 있다. 상기 Z축 정보(즉, 진동정보를 말함)를 이용하는 것이 X축이나 Y축 정보를 이용하는 것에 비하여 차량의 주행상태를 쉽게 감지할 수 있기 때문이다. 아울러 상기 Z축이 비정상 주행상태를 가장 많이 포함하고 있다고 볼 수 있다.

그러나 파형 변화가 가장 큰 데이터만을 이용하는 것이기 때문에 X축 또는 Y축 파형의 변화폭이 크다면 그 X축 또는, Y축 파형 데이터를 이용하게 된다. 파형 데이터의 변화 폭이 달라지는 것은 도 3에 도시한 바와 같이 스티어링 휠(조향 핸들)에 부착한 IMU 센서의 설치 방향에 달라지기 때문에, 설치 방향을 참고하여 주행판단에 유리한 파형 데이터를 선택하면 된다.

본 발명은 차량에 이미 장착된 IMU 센서(101) 이외에, 센서를 모듈화하여 제공할 수도 있다. 또한, 도 3에 도시한 바와 같이 차량의 스티어링 휠에 스마트폰(101a)을 장착하여 로우 데이터를 획득할 수도 있다. 즉 스마트 폰(101a)의 IMU 센서는 3축 가속도계와 3축 각속도계를 내장하고 있어 진행방향, 횡 방향, 높이 방향의 가속도와 롤링(roll), 피치(pitch), 요(yaw) 각속도의 측정이 가능하며, 측정된 값들을 통해 차량 속도와 자세각 등을 산출할 수 있기 때문이다.

로우 데이터를 전처리(pre-processing)하는 전처리부(110)(pre-processing unit)가 구비된다. 전처리부(110)는 로우 데이터의 값을 정량화하는 것으로 다양한 실시 예를 적용할 수 있으며, 본 실시 예에서는 분할부(data segmentation)(112) 및 변환부(spectrogram data using STFT)(114)에 의해 수행된다.

상기 분할부(112)는 로우 데이터를 정해진 양만큼 분할하여 일정량의 데이터 집합 S_i(i= 1, 2, ‥‥ )를 출력하고, 상기 변환부(114)는 단구간 퓨리에 변환(STFT: short time Fourier transform) 방법을 이용하여 스펙트로그램(spectrogram) 행렬(m×n) P_i를 출력한다. 여기서 P_i의 각 성분은 PSD(Power Spectral Density) 데이터이다. 즉 이러한 전처리부(110)의 구성에 따라 로우 데이터는 미리 정해진 양만큼 분할되고, PSD 형태로 변환되는 것이다.

상기 전처리 된 스펙트로그램 행렬에서 특징값을 추출하도록 제1 특징값 추출부(122) 및 제2 특징값 추출부(124)로 이루어진 특징값 추출부(120)가 구비된다.

제1 특징값 추출부(122)는 상기 변환부(114)의 행렬 데이터를 입력받아 각 행(row)의 PSD 데이터의 분산값을 연산하여 m개의 원소를 가지는 특징벡터 F_i를 출력한다. 상기 F_i를 사전(prior) 특징 벡터라고 하기로 한다.

제2 특징값 추출부(124)는 상기 사전 특징 벡터의 부분집합으로 아래에서 설명하는 관심영역 선택부(130)에 의해 선택된 관심영역의 특징 성분들만 추출하여 특징 벡터 f_i를 출력한다. 상기 f_i를 사후(posterior) 특징 벡터라고 하기로 한다.

이와 같이 특징값 추출부(120)는 스펙트로그램 행렬의 PSD 데이터에서 사전(prior) 특징 벡터를 추출하고, 사전(prior) 특징 벡터에서 관심영역 성분을 추출하여 상기 사후(posterior) 특징 벡터를 출력하는 것이다.

상기 관심영역을 정의하는 관심영역 선택부(130)(Selection of region of interest)는 규칙기반 데이터 정제부(132)(Rule-basce data refinement)와 히스토그램 작성/분석부(134)(Construct and analyze histogram)를 포함하고 있다. 실시 예에서는 관심영역 정보는 기계학습을 위해 1회만 수행되어 제공되며, 추후 딥러닝 모델이 업데이트가 되기까지는 실행되지 않는다. 물론, 이는 일 실시 예에 불과하며, 경우에 따라 학습이 이루어지는 도중에도 관심영역의 특징 성분을 추출하는 과정이 수행될 수도 있을 것이다.

규칙기반 데이터 정제부(132)는 연산자 '∧'에 의하여 데이터를 정제하며, 이러한 데이터 정제는 서로 다른 두 특징 벡터에 중복되는 값의 유무를 판단하는 것이다. 그리고 판단 결과 일치하는 값이 있으면 해당 인덱스 위치에 기록하고 일치하는 값이 없으면 해당 인덱스 위치를 빈칸(empty)으로 처리한다.

히스토그램 작성/분석부(134)는 정제된 벡터데이터의 각 인덱스에 값이 기록된 경우를 카운트하여 해당하는 인덱스의 도수 값을 1씩 증가시키는 방법으로 모든 정제된 데이터에 대해 히스토그램을 작성하고, 분석과정을 통해 높은 빈도를 가지는 인덱스 영역을 관심영역으로 선택하는 기능을 한다. 그리고 히스토그램 작성/분석부(134)는 관심영역에 대한 정보를 소정 식별정보들을 가지는 플래그(flag) 형태로 제2 특징값 추출부(124)에 제공한다.

상기 관심영역 선택부(130)가 제공하는 플래그 정보를 기반으로 상기 제2 특징값 추출부(124)가 추출한 특징벡터 f_i를 입력받아 기계 학습하고, 기계 학습이 완료된 이후에는 새롭게 입력되는 로우 데이터를 전처리 및 특징값 추출한 새로운 특징벡터를 입력받아 비정상 주행상태인지를 판단하는 딥 러닝부(deep learning)(140)가 구비된다.

여기서 딥러닝의 실시간 비정상 주행판단의 경우, 본 실시 예는 새롭게 입력되는 로우 데이터를 상기 전처리부(110) 및 특징값 추출부(120)를 통해 바로 딥 러닝부(140)로 제공되고, 상기 관심영역 선택부(130)는 비활성화된다.

다음에는 이와 같이 구성된 차량의 주행상태 판단장치를 이용하여 차량의 주행상태를 판단하는 방법에 대하여 도 4를 함께 참조하여 살펴본다.

본 발명에 따르면 기계학습을 위한 충분한 학습데이터를 획득해야 한다. 따라서 차량에 내장된 IMU 센서(101)는 차량이 주행하게 되면, 도 2에 도시한 급제동(sudden braking)이나 차선이탈(weaving)과 같은 비정상주행상태와 관련된 정보를 입력받는다(s100).

도 2를 보면 IMU 센서(101)의 3축 가속도 데이터 중 파형 변화폭이 가장 큰 Z축 정보를 이용하게 된다. 이처럼 파형 변화폭이 크다는 것은 비정상 주행정보를 가장 많이 포함하고 있다고 볼 수 있기 때문이다. 물론 X축 또는 Y축 파형의 변화폭이 더 크다면 Z축 정보 대신 변화폭이 큰 X축 또는 Y축 파형정보를 이용하게 될 것이고, 이는 IMU 센서(101)가 설치된 위치에 따라 달라지기 때문이다.

감지된 로우 데이터(예컨대 Z축 정보)는 전처리부(110)로 전달된다.

그러면 전처리부(110)의 분할부(112)는 로우 데이터의 Z축 정보를 정해진 양만큼씩 분할하여 일정량의 데이터 집합 S_i(i= 1, 2, ‥‥ )를 출력한다(s112). 그리고 출력된 데이터 집합 S_i(i= 1, 2, ‥‥ )은 변환부(114)에서 단구간 퓨리에 변환(STFT)으로 변환되어 매트릭스(m×n) 형태의 PSD 데이터인 스펙트럼그램 행렬(P_i)로 출력된다(s114).

이와 같이 전처리된 데이터는 특징값 추출부(120)로 전달되고, 특징값 추출부(120)가 2단계 특징값 추출단계를 통해 실질적으로 기계학습에 이용되는 사후 특징벡터를 추출하게 되는데, 구체적으로 설명한다.

제1 특징값 추출부(122)는 상기 변환부(114)가 출력하는 행렬 데이터를 입력받고 행렬 데이터의 각 행(row)의 PSD 데이터의 분산값을 연산하여 m개의 원소를 가지는 사전 특징벡터 F_i를 출력한다(s120). 실시 예에서는 제1 특징값 추출부(122)가 출력하는 사전 특징벡터 F_i를 딥러닝부(140)로 직접 전달하지 않는다. 이는 실질적으로 학습 성능을 향상시킴과 동시에 학습에 이용되는 입력의 수를 줄임으로써, 학습 및 처리시간이 증가하는 것을 최소화하기 위함이다.

따라서 학습에 필요한 보다 의미있는 특징 데이터만을 추출하기 위하여, 먼저 상기 제1 특징값 추출부(122)의 출력데이터인 사전 특징벡터 F_i를 소정 규칙을 기반으로 하여 정제한다. 즉 규칙기반 데이터 정제부(132)가 제1 특징값 추출부(122)에서 출력되어 버퍼(buffer, 부호 미도시)에 저장된 다수의 사전 특징벡터 F_i에 대하여 새롭게 정의된 규칙기반 연산자 '∧' 를 이용하여 데이터를 정제하는 과정을 수행한다(s130).

데이터를 정제하는 과정을 살펴보면, 상기 버퍼에 사전 특징 벡터 F_1={1, 2, 3, 4}, F_2={2, 4, 5, 6}, 그리고 F_3={1, 5, 3, 2}이 있다고 가정한다.

그러면, 규칙기반 데이터 정제부(132)는 각 사전 특징벡터의 공통으로 존재하는 값을 기록하기 위하여 규칙기반 연산자 '∧'을 사용하는데, 예를 들면 사전 특징 벡터 F_1과 F_2를 규칙기반 연산 처리하여 F_1 ∧ F_2 = {_, 2, _, 4}을 나타낸다.

상세 규칙은 다음과 같다. 사전 특징벡터 F_1의 첫 번째 인덱스 원소 1은 사전 특징벡터 F_2에 일치하는 값이 없으므로 F_1 ∧ F_2의 첫 번째 인덱스 위치에는 빈칸(_, empty) 상태로 기록한다. 다음 사전 특징 벡터 F_1의 두 번째 인덱스 원소 2는 사전 특징벡터 F_2에 공통으로 존재하는 값이므로 F_1 ∧ F_2의 두 번째 인덱스 위치에 그 값을 기록한다. 사전 특징벡터 F_1의 세 번째 인덱스 원소 3은 사전 특징벡터 F_2에 일치하는 값이 없으므로 F_1 ∧ F_2의 세 번째 인덱스 위치는 빈칸으로 처리하며 사전 특징 벡터 F_1의 네 번째 인덱스 원소 4는 사전 특징벡터 F_2에 일치하는 값이 있으므로 해당하는 인덱스 위치에 값이 기록된다.

이와 같이 사전 특징벡터 F_1의 각각의 원소는 인덱스에 따라 순차적으로 사전 특징벡터 F_2 집합에 공통으로 존재하는 값이 존재하는지 비교하고, 비교 결과 서로 일치하는 값이 있으면 해당 인덱스 위치에 기록하고 반면 일치하는 값이 없을 경우 빈칸으로 남겨준다. 이러한 과정에 따라 F_1 ∧ F_2 = {_, 2, _, 4}와 같이 연산되며, 그 연산된 결과를 상기 사전 특징 벡터 F_1이 사전 특징 벡터 F_2에 의해 정제되었다고 한다.

이와 같은 방식으로 사전 특징 벡터 F_1 ∧ F_3 를 연산하면 F_1 ∧ F_3 = {1, 2, 3, _ }가 된다.

따라서 규칙기반 데이터 정제부(132)가 상기 버퍼로부터 획득한 다수의 사전 특징 벡터에 대해 데이터 정제를 위한 조합은 다음과 같이 표현할 수 있다.

사전 특징벡터 F_1을 기준으로 하면 F_1 ∧ F_2, F_1 ∧ F_3, ‥, F_1 ∧ F_i가 되고, 사전 특징벡터 F_2을 기준으로 하면 F_2 ∧ F_3, ‥, F_2 ∧ F_i가 되며, 최종적으로 사전 특징벡터 F_i-1 는 F_i-1 ∧ F_i가 된다.

히스토그램 작성/분석부(134)는 상기 정제된 데이터를 이용하여 히스토그램을 작성한다(s140). 히스토그램은 상기 정제된 데이터를 참조하여 빈칸 상태가 아닌 값이 기록된 인덱스의 도수 값을 1씩 증가시키면서 작성하게 된다. 이러한 히스토그램 작성은 상기 정제된 모든 데이터를 대상으로 한다.

그러면 히스토그램 작성/분석부(134)는 작성된 히스토그램에서 높은 빈도를 가지는 인덱스 영역을 추출할 수 있고, 추출된 상기 인덱스 영역을 관심영역으로 선택한다(s150). 이와 같이 선택된 관심영역을 참조하면 차량의 정상주행 또는 어떤 원인으로 인한 비정상주행 상태에 관한 분포특성 등을 알 수 있을 것이다.

제2 특징값 추출부(124)는 제1 특징값 추출부(122)가 제공하는 사전 특징 벡터에서 관심영역의 특징값을 추출하며 이렇게 추출된 특징값이 학습 데이터로 이용되는 사후 특징 벡터(f_i)가 된다. 여기서 상기 관심영역의 특징값 추출은 제2 특징값 추출부(124)가 상기 관심영역 선택부(130)에서 제공하는 플래그(flag) 정보를 기반으로 수행하게 된다(s160).

그리고 제2 특징값 추출부(124)가 추출한 사후 특징 벡터(f_i)들은 딥러닝부(140)로 제공되고, 딥러닝부(140)가 기계 학습한다(s170).

본 실시 예에 따르면 딥러닝부(140)가 학습이 완료되면 관심영역 선택부(130)는 비활성화되지만 특징값 추출부(120)의 제2 특징값 추출부(124)는 상기 관심영역 정보를 기억하고 있다가 새로운 사전 특징 데이터가 입력되면 관심영역의 특징값을 추출하여 사후 특징값을 출력하고 딥러닝부(140)는 사후 특징값을 이용하여 현재 주행상태를 판단한다.

상기 새로운 로우 데이터는 도 4의 화살표로 표시한 바와 같이 전처리부(110) 및 특징값 추출부(120)를 거쳐 딥 러닝부(140)에 바로 입력된다. 그러면 딥러닝부(150)는 제2 특징값 추출부(124)가 제공하는 사후 특징 벡터(f_i) 정보를 기초로 차량의 비정상 주행상태를 판단하게 된다(s180).

그리고 차량의 비정상 주행상태 판단결과에 따라, 차량의 주행상태 판단장치 또는 이와 연계된 차량의 ECU는 차량의 주행상태를 제어하거나 운전자가 인지할 수 있도록 안내하는 후속동작이 수행될 것이다.

이와 같이 본 발명은 차량 주행에 따라 측정된 무분별한 로우 데이터로부터 사전 특징벡터를 추출하고 상기 사전 특징벡터의 성분 중에서도 규칙기반 데이터 정제 및 히스토그램 작성/분석을 통해 결정된 관심영역 성분, 즉 보다 의미 있는 사후 특징데이터를 추출하여 학습에 이용함으로써, 학습 및 처리 시간을 최소화하면서 기계학습의 성능을 향상시킬 수가 있음을 알 수 있다.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.

101: IMU 센서 110: 전처리부
112: 분할부 114: 변환부
120: 특징값 추출부 122: 제1 특징값 추출부
124: 제2 특징값 추출부 130: 관심영역 선택부
132: 규칙기반 데이터 정제부 134: 히스토그램 작성/분석부
140: 딥 러닝부

Claims (13)

1. 차량 주행에 따른 로우 데이터를 감지하는 센서;
   상기 로우 데이터를 전처리(pre-processing)하여 매트릭스 형태의 PSD(power spectrum density) 데이터를 출력하는 전처리부;
   상기 전처리된 데이터에서 제1 특징값을 추출하는 제1 특징값 추출부 및 상기 제1 특징값에서 관심영역의 특징 성분들만 추출하여 제2 특징값으로 출력하는 제2 특징값 추출부를 구비하는 특징값 추출부;
   상기 제1 특징값의 사전(prior) 특징 벡터를 연산자(∧) 규칙을 기반으로 하여 정제하는 데이터 정제부, 및 정제된 데이터를 이용하여 히스토그램(histogram)을 작성하고 관심영역을 선택하여 상기 제2 특징값 추출부로 정보를 제공하는 히스토그램 작성 및 분석부를 구비하여 상기 관심영역을 정의하는 관심영역 선택부; 및
   상기 제2 특징값에 따른 관심영역을 입력받아 학습하면서 새롭게 입력된 전처리된 로우 데이터에 대한 차량의 주행상태를 판단하는 딥러닝부(deep learning unit)를 포함하고,
   상기 연산자(∧) 규칙은,
   하나의 사전(prior) 특징 벡터의 각각의 원소가 인덱스에 따라 순차적으로 다른 하나의 사전 특징벡터 집합에 공통으로 존재하는 값이 존재하는지 비교하고, 비교 결과에 따라 상기 인덱스의 위치에 기록하거나 빈칸으로 표현하는 것을 특징으로 하는 차량의 주행상태 판단장치.
2. 삭제
3. 제1항에 있어서,
   상기 제1 특징값은 상기 PSD 데이터의 각 행(row)에 대한 분산값으로 사전 (prior) 특징벡터이고,
   상기 제2 특징값은 상기 사전 특징벡터에서 관심영역의 특징 성분들만 추출하여 출력되는 사후(posterior) 특징벡터인 차량의 주행상태 판단장치.
4. 제1항에 있어서,
   상기 제2 특징값 추출부는,
   상기 관심영역 선택부가 제공하는 플래그(flag) 정보를 기반으로 상기 관심영역의 특징 성분들을 추출하는 차량의 주행상태 판단장치.
5. 제4항에 있어서,
   상기 관심영역은 상기 정제된 데이터의 히스토그램에서 높은 빈도를 가지는 인덱스 영역인 차량의 주행상태 판단장치.
6. 제1항에 있어서,
   상기 관심영역 선택부는 기계 학습시 학습데이터 분석을 위해 1회만 수행하여 관심영역 정보를 제2 특징값 추출부에 제공하는 차량의 주행상태 판단장치.
7. 제1항에 있어서,
   실시간 비정상 주행 판단을 위해 센서가 감지한 로우 데이터는 상기 특징값 추출부를 통해 상기 딥러닝부로 직접 제공되는 차량의 주행상태 판단장치.
8. 제1항에 있어서,
   상기 센서는, 차량에 내장된 IMU 센서 또는 차량에 장착되는 휴대단말장치의 IMU(Inertial Measurement Unit) 센서인 차량의 주행상태 판단장치.
9. 제8항에 있어서,
   상기 센서가 감지한 로우 데이터의 X축, Y축 및 Z축 정보 중에서 파형 변화가 가장 심한 정보만을 이용하는 차량의 주행상태 판단장치.
10. 차량의 주행상태 판단장치가,
    차량 주행에 따른 로우 데이터를 감지하는 단계;
    감지된 로우 데이터를 전처리하는 단계;
    전처리된 로우 데이터에서 각 행(row)의 PSD(power spectrum density) 데이터의 분산값을 연산하여 사전 특징벡터인 제1 특징값을 추출하는 단계;
    상기 제1 특징값에서 관심영역의 특징 성분들만 추출하여 사후 특징벡터인 제2 특징값을 추출하는 단계; 및
    상기 제2 특징값을 입력받아 학습하면서 차량의 비정상 주행 상태를 판단하는 단계를 포함하고,
    상기 관심영역의 특징 성분들 추출은,
    상기 제1 특징값에 포함된 다수의 사전 특징 벡터들을 각각 연산자(∧) 규칙을 기반으로 하여 정제(filtering)하는 단계;
    상기 정제된 데이터에서 값의 유무를 카운트하여 해당 인덱스의 도수 값을 1씩 증가하여 히스토그램(histogram)을 작성하는 단계; 및
    상기 히스토그램에서 높은 빈도를 가지는 인덱스 영역을 관심영역으로 선택하여 제2 특징값 추출부로 제공하는 단계를 포함하고,
    상기 연산자(∧) 규칙은,
    하나의 사전(prior) 특징 벡터의 각각의 원소가 인덱스에 따라 순차적으로 다른 하나의 사전 특징벡터 집합에 공통으로 존재하는 값이 존재하는지 비교하고, 비교 결과에 따라 상기 인덱스의 위치에 기록하거나 빈칸으로 표현하는 것을 특징으로 하는 것을 특징으로 하는 차량의 주행상태 판단방법.
11. 삭제
12. 제10항에 있어서,
    상기 관심영역의 특징성분들을 추출하는 모든 단계는, 기계학습 과정에서만 수행되는 차량의 주행상태 판단방법.
13. 제10항에 있어서,
    상기 차량의 비정상 주행 상태를 실시간 판단 시, 상기 관심영역의 특징성분들을 추출하는 모든 단계는 비활성화되며,
    센서가 감지한 로우 데이터는 전처리한 후 제1 및 제2 특징값을 추출하여 차량의 비정상 주행상태를 판단하도록 직접 제공되는 차량의 주행상태 판단방법.

Images