KR20150066308A - 운전자 운행 상태 판단 장치 및 그 방법 - Google Patents

Abstract

본 발명은 운전자 운행 상태 판단 장치 및 그 방법에 관한 것으로, 운전자 운행 상태 별로 차량의 전자 제어 장치로부터 수집된 데이터에 기초하여 운전자 운행 상태 모델을 생성하는 상태 모델 생성부; 상기 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집하는 정보 수집부; 수집되는 상기 차량 내부 정보와 기 생성된 상기 운전자 운행 상태 모델을 비교하는 비교부; 비교 결과를 토대로 상기 운전자 운행 상태를 판단하는 운전자 운행 상태 판단부; 및 상기 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 상기 운전자 및 외부 차량의 운전자에게 경고를 발생시키는 경고 발생부;를 포함하는 것을 특징으로 한다.

Description

운전자 운행 상태 판단 장치 및 그 방법{APPARATUS AND METHOD FOR DETERMINING DRIVING CONDITION OF DEIVER}

본 발명은 운전자 운행 상태 판단 장치 및 그 방법에 관한 것으로, 보다 자세하게는 차량 내부 정보를 토대로 운전자의 상태를 판단하여 운전자 보조 기능을 수행하는 운전자 운행 상태 판단 장치 및 그 방법에 관한 것이다.

기존의 초기 운전자 보조 시스템들은 ACC(Adaptive Cruise Control), LDWS(Lane Departure Warning System), LKAS(Lane Keeping Assistance System)와 같이 종,횡 방향에 대해 운전자 주행에 직접 관여하는 운전자 보조 기능을 수행하였다.

최근에는, 카메라 센서를 이용한 눈 폐쇄상태 인지 및 시선 탐지 기반 운전자의 졸음 여부 판단, 심박수 측정기를 이용한 운전자의 졸음 여부 판단, 그리고 적외선 감지기를 이용한 운전자 체온 기반 운전자의 졸음 및 음주 여부 판단 등을 알려주는 운전자 보조 시스템이 다양하게 연구되고 있다.

그러나 이러한 운전자 보조 시스템들은 운전자의 상태판단뿐 아니라 운전자의 주행 보조에서 모두 외부 센서를 사용해야 하는 제약조건이 있으며, 외부 센서는 외부 요인에 의해 에러를 포함하게 되고, 운전자 보조 기능에 제한이 있는 문제점이 있었다. 예를 들어 날씨(비), 도로상태(차선희박), 터널 같은 외부 요인이 있는 경우 또는 운전자의 자세가 반듯하지 않은 경우 등에서 운전자 보조 기능을 수행하기는 어려웠다.

이와 관련하여, 한국공개특허 제2013-0057166호는 "운전자 부주의 운전 판단 장치"를 개시하고 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 차량의 전자 제어 장치(ECU:electronic control unit)로부터 제공되는 차량 내부 정보를 토대로 운전자의 주행 패턴을 분석하고 운전자의 상태를 판단하여, 운전자 부주의 운전으로 판단되면 운전자에게 경고를 발생시키고 비상등을 점등시켜 외부 차량의 운전자에게 경고하는 운전자 운행 상태 판단 장치 및 그 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 운전자 운행 상태 판단 장치는 운전자 운행 상태 별로 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집하는 정보 수집부; 상기 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교하는 비교부; 비교 결과를 토대로 현재 상기 운전자 운행 상태를 판단하는 운전자 운행 상태 판단부; 및 상기 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 상기 운전자 및 외부 차량의 운전자에게 경고를 발생시키는 경고 발생부;를 포함한다.

또한, 차량 내부 정보는 조향각 각도, 조향각 속도, 엑셀 페달 압력, 브레이크 페달 압력, 회전 속도계(RPM:Revolution Per Minute), 주행속도, 방향지시등 및 변속기 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.

또한, 상기 운전자 운행 상태 모델은 기 설정된 기준에 따라 정상 운행, 급 주행, 음주 운전 및 졸음 운전 상태 모드 중 어느 하나로 정의되는 것을 특징으로 한다.

또한, 상기 비교부는, 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 상기 운전자의 상태 별로 제 1, 2, 3 및 4 사분면으로 구분된 좌표에 위치시켜, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교하는 비 모델링부; 및 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자의 상태를 정상 운행, 급 주행, 음주 운전 및 졸음 운전 중 어느 하나를 포함하는 운전자 운행 상태 모델을 모델링하여, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교하는 모델링부;를 포함하는 것을 특징으로 한다.

또한, 상기 모델링부는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자 운행 상태 모델의 파라미터를 학습하는 학습부; 및 상기 운전자 운행 상태 모델의 성능을 평가하는 성능 평가부;를 더 포함하는 것을 특징으로 한다.

또한, 상기 운전자 운행 상태 모델은 은닉 마르코프 모델을 이용하여 모델링 되는 것을 특징으로 한다.

또한, 상기 은닉 마르코프 모델의 파라미터는 상기 운전자의 주행 행동을 주행 차선유지, 주행 차선변경 및 주행 방향 변경으로 구분하는 은닉 데이터 정보와 운전자의 상태 정보를 정상 운행과 급 주행, 음주 운전 및 졸음 운전 상태를 포함하는 부주의 운행으로 구분하는 클래스 정보를 포함하는 것을 특징으로 한다.

또한, 상기 비 모델링부는 상기 좌표에 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트를 표시하여, 기 수집되는 차량 내부 정보의 포인트와 현재 수집되는 차량 내부 정보의 포인트 간의 거리를 비교하는 것을 특징으로 한다.

또한, 상기 운전자 운행 상태 판단부는, 상기 비 모델링부의 비교 결과, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 가까운 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 상기 운전자 운행 상태를 인식하여 상기 운전자의 상태를 판단하는 것을 특징으로 한다.

또한, 상기 운전자 운행 상태 판단부는, 상기 모델링부의 비교 결과, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 높은 유사도를 가지는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태 모델을 인식하여 상기 운전자의 상태를 판단하는 것을 특징으로 한다.

또한, 상기 경고 발생부는, 상기 운전자에게 시각적 또는 청각적 또는 촉각적인 경고를 발생시키는 제1 경고부; 및 상기 외부 차량의 운전자에게 비상등을 점등하는 경고를 발생시키는 제2 경고부;를 포함하는 것을 특징으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 운전자 운행 상태 판단 방법은 정보 수집부에 의해, 운전자 운행 상태 별로 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집하는 단계; 비교부에 의해, 상기 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교하는 단계; 운전자 운행 상태 판단부에 의해, 비교 결과를 토대로 현재 상기 운전자 운행 상태를 판단하는 단계; 및 경보 발생부에 의해, 상기 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 상기 운전자 및 외부 차량의 운전자에게 경고를 발생시키는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교하는 단계는, 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 상기 운전자의 상태 별로 제 1, 2, 3 및 4 사분면으로 구분된 좌표에 위치시켜, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교하는 단계; 및 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자의 상태를 정상 운행, 급 주행, 음주 운전 및 졸음 운전 중 어느 하나를 포함하는 운전자 운행 상태 모델을 모델링하여, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교하는 단계;를 포함하는 것을 특징으로 한다.

또한, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교하는 단계는, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자 운행 상태 모델의 파라미터를 학습하는 단계; 및 상기 운전자 운행 상태 모델의 성능을 평가하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교하는 단계는, 상기 좌표에 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트를 표시하여, 기 수집되는 차량 내부 정보의 포인트와 현재 수집되는 차량 내부 정보의 포인트 간의 거리를 비교하는 것을 특징으로 한다.

또한, 특징점 간의 거리 비교 결과를 토대로 현재 상기 운전자 운행 상태를 판단하는 단계는, 비교 결과, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 가까운 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 상기 운전자 운행 상태를 인식하여 상기 운전자의 상태를 판단하는 것을 특징으로 한다.

또한, 특징점 간의 유사도 비교 결과를 토대로 현재 상기 운전자 운행 상태를 판단하는 단계는, 비교 결과, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 높은 유사도를 가지는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태 모델을 인식하여 상기 운전자의 상태를 판단하는 것을 특징으로 한다.

또한, 상기 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 상기 운전자 및 외부 차량의 운전자에게 경고를 발생시키는 단계는, 상기 운전자에게 시각적 또는 청각적 또는 촉각적인 경고를 발생시키는 단계; 및 상기 외부 차량의 운전자에게 비상등을 점등하는 경고를 발생시키는 단계;를 포함하는 것을 특징으로 한다.

상기와 같은 구성을 갖는 본 발명에 의한 운전자 운행 상태 판단 장치 및 그 방법은 차량의 전자 제어 장치(ECU:electronic control unit)로부터 제공되는 차량 내부 정보를 토대로 운전자의 주행 패턴을 분석하고 운전자의 상태를 판단하여, 운전자 부주의 운전(졸음운전 또는 음주운전)으로 판단되는 경우 운전자에게 경고를 발생시킴으로써 차량의 주행안정성을 도모할 수 있는 효과가 있다.

또한, 운전자 부주의 운전으로 판단되는 경우 비상등을 점등시켜 외부 차량의 운전자의 방어운전을 유도함으로써, 추돌 사고와 같은 교통 사고 발생 확률을 감소시킬 수 있는 효과가 있다.

또한, 본 발명은 외부 센서의 개입 없이 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보만을 이용함으로써, 추가적인 설치비용 및 유지비용을 최소화할 수 있는 효과가 있다.

도 1은 본 발명에 따른 운전자 운행 상태 판단 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 운전자 운행 상태 판단 장치에 채용되는 비교부의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 운전자 운행 상태 판단 장치에 채용되는 운전자 상태 판단부의 세부 구성을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 비 모델링부를 이용하여 운전자의 운행 상태를 판단하는 과정을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명에 따른 운전자 운행 상태 판단 장치에 적용되는 은닉 마르코프 모델의 그래프 모델을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 운전자 운행 상태 판단 방법의 순서를 설명하기 위한 순서도이다.
도 8은 본 발명에 따른 운전자 운행 상태 판단 방법에서 경고를 발생시키는 단계를 설명하기 위한 도면이다.
도 9는 본 발명에 따른 운전자 운행 상태 판단 방법에서 차량 내부 정보를 비교하여 운전자의 상태를 판단하는 순서를 설명하기 위한 순서도이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선, 각 도면의 구성요소에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하에서는, 본 발명의 실시예에 따른 운전자 운행 상태 판단 장치 및 그 방법에 대하여 첨부된 도면을 참고로 하여 상세히 설명한다.

도 1은 본 발명에 따른 운전자 운행 상태 판단 장치의 구성을 설명하기 위한 도면이다.

도 1을 참조하여 설명하면, 본 발명에 따른 운전자 운행 상태 판단 장치(100)는 크게 정보 수집부(110), 비교부(120), 운전자 운행 상태 판단부(130) 및 경보 발생부(140)를 포함한다.

정보 수집부(110)는 차량(10)의 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집한다. 정보 수집부(110)는 On-Board Diagnostics(OBD) 단자를 통해 전자 제어 장치(ECU:Electronic Control Unit)로부터 운전자의 주행 이력을 포함하는 차량 내부 정보를 시간에 따른 배열 시퀀스 형태로 수집한다. 이때, 차량 내부 정보는 조향각 각도, 조향각 속도, 엑셀 페달 압력, 브레이크 페달 압력, 회전 속도계(RPM:Revolution Per Minute), 주행속도, 방향 지시등 및 변속기 정보 중 적어도 어느 하나를 포함한다.

비교부(120)는 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교한다.

운전자 운행 상태 판단부(130)는 비교 결과를 토대로 운전자 운행 상태를 판단한다.

경고 발생부(140)는 운전자 운행 상태 판단부(130)의 판단 결과. 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 차량용 HVI(Human Vehicle Interface) 기술을 이용하여 운전자 및 외부 차량의 운전자에게 경고를 발생시킨다. 경고 발생부(140)는 해당 차량(10)의 운전자에게 경고를 발생시키는 제1 경고부(141) 및 외부 차량의 운전자에게 경고를 발생시키는 제2 경고부(142)를 포함한다.

제1 경고부(141)는 해당 차량(10)의 운전자에게 시각적 또는 청각적 또는 촉각적인 경고를 발생시킨다. 즉, 제1 경고부(141)는 알람이나 램프 또는 진동을 통해 운전자에게 경고를 발생시킨다.

제2 경고부(142)는 외부 차량(10)의 운전자에게 비상등을 점등하는 경고를 발생시킨다.

도 2는 본 발명에 따른 운전자 운행 상태 판단 장치에 채용되는 비교부의 세부 구성을 설명하기 위한 도면이다.

비교부(120)는 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교한다.

이를 위해, 비교부(120)는 비 모델링부(121)와 모델링부(122)를 포함하며 비교부(120)의 특징 추출은 정보의 특성을 분석하여 각 패턴을 표현하는 가장 핵심적인 정보들을 특징으로 찾는 과정으로, 정보를 원래 형태 그대로 사용하지 않고, 핵심적인 특징만 사용하여, 계산량 및 메모리를 절약하고 불필요한 정보를 제거할 수 있다. 본 발명의 차량 내부 정보는 정보 차원이 높지 않고 불필요한 정보가 적어 특징 추출 과정을 거치치 않고 정보 원형을 그대로 사용하여도 문제가 없지만 판단율을 높이는 것이 목적이라면 상기와 같은 특징 추출 과정을 거치는 것이 바람직하다.

비 모델링부(121)는 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 상기 운전자의 상태 별로 제 1, 2, 3 및 4 사분면으로 구분된 좌표에 위치시켜, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교한다. 이때, 본 발명에서는 제 1 사분면은 정상 운행, 제 2 사분면은 급 주행, 제 3 사분면은 음주 운전 및 제 4 사분면은 졸음 운전 상태로 구분하기로 하나 이에 한정되는 것은 아니다.

보다 자세하게, 비 모델링부(121)는 운전자의 상태 별 즉, 운전자의 정상 운행, 급 주행, 음주 운전 및 졸음 운전 상태 시 수집되는 차량 내부 정보를 분리하여 데이터베이스에 저장하고, 좌표에 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트를 표시한 다음 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 따른 포인트를 표시하여, 기 수집되는 차량 내부 정보의 포인트와 현재 수집되는 차량 내부 정보의 포인트 간의 거리를 비교한다. 이를 이용하여 운전자의 운행 상태를 판단하는 과정에 대해서는 이후 도 4에서 자세하게 설명하기로 한다.

모델링부(122)는 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자의 상태를 정상 운행, 급 주행, 음주 운전 및 졸음 운전 중 어느 하나를 포함하는 운전자 운행 상태 모델을 모델링하여, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교한다. 모델링부(122)는 은닉 마르코프 모델을 이용하여 운전자 운행 상태 모델을 모델링한다. 본 발명에 따른 은닉 마르코프 모델의 파라미터는 운전자의 주행 행동을 주행 차선유지(주행 차선 가속, 주행차선 정속, 주행차선 감속), 주행 차선변경(왼쪽 차선변경 가속, 왼쪽 차선변경 정속, 왼쪽 차선변경 감속, 오른쪽 차선변경 가속, 오른쪽 차선변경 정속, 오른쪽 차선변경 감속) 및 주행 방향 변경(좌회전, 우회전, U턴)으로 구분하는 은닉 데이터 정보와 운전자의 상태 정보를 정상 운행 및 부주의 운행(급 주행, 음주 운전, 졸음 운전)으로 구분하는 클래스 정보를 포함한다. 여기, 은닉 마르코프 모델에 대해서는 이후 도 5 내지 도 6에서 자세하게 설명하기로 한다.

또한, 모델링부(122)는 학습부(123) 및 성능 평가부(124)를 더 포함한다.

학습부(123)는 정의된 운전자 정상 운행 모델, 급 주행, 음주 운전 및 졸음 운전을 포함하는 운전자 부주의 상태 모델의 파라미터를 학습한다. 학습부(123)는 기계학습 방법을 이용하여 은닉 마르코프 모델의 파라미터를 학습하며, 은닉 상태를 포함하는 Maximum Likelihood Estimation(MLE) 방법으로 Expectation Maximization(EM) 알고리즘을 사용한다.

성능 평가부(124)는 운전자 운행 상태 모델의 성능을 평가한다. 성능 평가부(124)는 운전자 운행 상태 모델의 성능이 만족 될 때까지 다수회 피드백을 하는 역할을 한다.

도 3은 본 발명에 따른 운전자 운행 상태 판단 장치에 채용되는 운전자 상태 판단부의 세부 구성을 설명하기 위한 도면이다.

도 3을 참조하여 설명하면, 본 발명에 따른 운전자 운행 상태 판단부(130)는 비교 결과를 토대로 현재 전자 운행 상태를 판단한다.

이를 위해, 운전자 운행 상태 판단부(130)는 제1 판단부(131) 및 제2 판단부(132)를 포함한다.

제1 판단부(131)는 비 모델링부(121)의 비교 결과, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 가까운 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태를 인식하여 상기 운전자의 상태를 판단한다.

제2 판단부(132)는 모델링부(1220의 비교 결과, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 높은 유사도를 가지는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태 모델을 인식하여 상기 운전자의 상태를 판단한다.

도 4는 본 발명에 따른 비 모델링부를 이용하여 운전자의 운행 상태를 판단하는 과정을 설명하기 위한 도면이다.

도 4를 참조하여 설명하면, 추출된 특징점을 운전자의 상태 별로 구분된 제 1, 2, 3 및 4 사분면에 위치시키는 특징점의 좌표를 생성한다. 추출된 특징점을 2차원 그래프로 먼저 생성하고 이를 토대로 특징점의 좌표를 생성한다. 본 발명에서는 제 1 사분면은 정상 운행, 제 2 사분면은 급 주행, 제 3 사분면은 음주 운전 및 제 4 사분면은 졸음 운전 상태로 구분하기로 하나 이에 한정되는 것은 아니다.

도 5는 본 발명에 따른 운전자 운행 상태 판단 장치에 적용되는 은닉 마르코프 모델의 그래프 모델을 설명하기 위한 도면이고, 도 6은 본 발명에 따른 운전자 운행 상태 판단 장치가 차량 내부 정보를 운전자 운행 상태 모델로 분류되는 과정을 설명하기 위한 도면이다.

본 발명은 순차 정보를 갖는 패턴인식을 위해서 정보에 내포되어 있는 시간성을 적절히 표현하고 그것으로부터 원하는 정보를 추론할 수 있는 모델인 은닉 마르코프 모델을 사용하여 운전자의 상태를 판단하는 장치를 만들 수 있다. 알고자 하는 것은 운전자 운행 상태 정보이지만, 수집 가능한 정보는 차량 내부 정보이기 때문에 마르코프 모델이 아닌 은닉 마르코프 모델을 사용한다.

이러한 은닉 마르코프 모델은 도 3에 도시된 바와 같이 그래프 모델로 표현이 가능하다. Observations은 수집 가능한 정보(차량 내부 정보)를 의미하며, Hidden States는 은닉 데이터 정보를 의미한다.

본 발명에 따른 은닉 마르코프 모델의 파라미터는 운전자의 주행 행동을 주행 차선유지(주행 차선 가속, 주행차선 정속, 주행차선 감속), 주행 차선변경(왼쪽 차선변경 가속, 왼쪽 차선변경 정속, 왼쪽 차선변경 감속, 오른쪽 차선변경 가속, 오른쪽 차선변경 정속, 오른쪽 차선변경 감속) 및 주행 방향 변경(좌회전, 우회전, U턴)으로 구분하는 은닉 데이터 정보와 운전자의 상태 정보를 정상 운행 및 부주의 운행(급 주행, 음주 운전, 졸음 운전)으로 구분하는 클래스 정보를 포함한다.

이러한 은닉 마르코프 모델을 이용하여 운전자 운행 상태를 판단하기 위해서는 먼저, 은닉 마르코프 모델의 파라미터를 학습해야 한다. 파라미터는 아래와 같이 3개(initial state distribution: 초기상태분산, transition matrix: 천이 매트릭스, emission matrix: 방사 매트릭스)를 포함하며, 3개의 파라미터를 주어졌을 때 추론 및 예측 문제해결이 가능하다. 본 발명에서는 데이터 시퀀스가 주어졌을 때 차량 내부 정보가 어떤 클래스(운전자 운행 상태)에 속하는지를 알아내는 분류 문제에 초점을 둔다.

이를 토대로 차량 내부 정보를 수집하여 운전자 운행 상태를 판단하는 과정은 도면에 도시된 바와 같이 차량 내부 정보인 조향각 정보, 엑셀 페달 압력 정보, 브레이크 페달 압력 정보, 주행속도 정보, 회전 속도계 정보, 변속기 정보, 방향지시등 정보 등이 시간에 따른 배열 시퀀스 형태(Input Sequences)로 들어오면, 분류하고자 하는 운전자 운행 상태에 따라 기 생성된 모델을 학습하고, 학습된 모델을 바탕으로, 새로운 운전자 주행이력을 포함하는 차량 내부 정보를 각 모델과의 관계를 분류(Temporal Features)한 다음 운전자의 상태를 판단(Driver condition)한다. 이때, 각 모델과의 관계를 분류는 기 수집된 차량 내부 정보에 기초하여 기 생성된 특징점 좌표에서 수집되는 차량 내부 정보에 따른 포인트를 표시하고, 포인트의 위치와 특징점의 위치와 비교함으로써 이루어진다. 이때, 분류 방법은 지도학습의 대표적인 방법인 모수적 접근방법의 베이지안 분류기 또는 비모수적 접근방법의 kNN 분류기를 사용한다. 이때, 모수적 접근방법은 모델링부(122)의 방법 비 모수적 접근방법은 비 모델링부(121)의 방법이다. 각 각의 방법은 서로 다른 장단점을 가지며, 베이지안 분류기를 사용하는 경우, 각 모델 별 파라미터를 학습해야 하는 모수적 방법이지만, 학습과정을 끝내고 새로운 정보로 데스트할 때, 학습된 모델의 대표 정보만을 사용하므로, 실시간성이 우수하다. 반면, kNN 분류기를 사용하는 경우, 비모수적 방법을 사용하므로 학습할 파라미터가 없고, 비선형 결정경계에 대응이 가능하지만, 테스트 시 모든 데이터와의 관계를 계산해야 함으로 실시간성이 떨어질 수 있다.

따라서, 본 발명은 도 5에 도시된 바와 같이 은닉 마르코프 모델을 이용한다. 즉, 차량 내부 정보를 이용하여 운전자 운행 상태 판단 문제가 주어지면, 베이시안 네트워크를 사용하여 은닉 마르코프 모델기반 그래프 모델을 만들고, 분류하고자 하는 각 운전자 운행 상태의 모델 파라미터를 학습하는 과정을 실시한다. 각각의 운전자 운행 상태 모델이 학습이 되면, 새로운 차량 내부 정보가 들어왔을 때 확률적으로 발생 가능성이 가장 높은 모델로 운전자 운행 상태를 판단하게 된다.

도 7은 본 발명에 따른 운전자 운행 상태 판단 방법의 순서를 설명하기 위한 순서도이고, 도 8은 본 발명에 따른 운전자 운행 상태 판단 방법에서 경고를 발생시키는 단계를 설명하기 위한 도면이다.

도 7을 참조하여 설명하면, 본 발명에 따른 운전자 운행 상태 판단 방법은 앞서 설명한 운전자 운행 상태 판단 장치를 이용하는 것으로 이하 중복되는 설명은 생략하기로 한다.

먼저, 운전자 운행 상태 별로 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집한다(S100). 이때, 차량 내부 정보는 조향각 각도, 조향각 속도, 엑셀 페달 압력, 브레이크 페달 압력, 회전 속도계(RPM:Revolution Per Minute), 주행속도, 방향 지시등 및 변속기 정보 중 적어도 어느 하나를 포함한다.

다음, 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교하는 비교한다(S110). S110 단계는 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 상기 운전자의 상태 별로 제 1, 2, 3 및 4 사분면으로 구분된 좌표에 위치시켜, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교하는 방법과 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자의 상태를 정상 운행, 급 주행, 음주 운전 및 졸음 운전 중 어느 하나를 포함하는 운전자 운행 상태 모델을 모델링하여, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교하는 방법 중 어느 하나로 이루어질 수 있다.

다음, 비교 결과를 토대로 현재 운전자 운행 상태를 판단한다(S120). S120 단계는 특징점 거리 간의 비교 결과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 가까운 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태를 인식하여 운전자의 상태를 판단하고, 특징점 유사도 간의 비교 결과 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 높은 유사도를 가지는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태 모델을 인식하여 운전자의 상태를 판단한다.

마지막으로, 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 도 8에 도시된 바와 같이 운전자에게 시각적 또는 청각적인 경고를 발생시키고 운전자에게 비상등을 점등하는 경고를 발생시킨다(S130). 한편, 운전자의 운행 상태가 정상 운행 상태로 판단되는 경우 경고를 미 발생시킨다(S140).

도 9는 본 발명에 따른 운전자 운행 상태 판단 방법에서 차량 내부 정보를 비교하여 운전자의 상태를 판단하는 순서를 설명하기 위한 순서도이다.

도 9를 참조하여 설명하면, 먼저, 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교한다(S200).

다음, 차량 내부 정보의 모델링 여부를 판단한다(S210).

다음. 차량 내부 정보를 모델링 하지 않는 경우, 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 상기 운전자의 상태 별로 제 1, 2, 3 및 4 사분면으로 구분된 좌표에 위치시켜, 기 수집되는 차량 내부 정보로부터 추출되는 특징점의 위치와 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 거리를 비교한다(S220,S230).

다음. 특징점 간의 거리 비교 결과, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 가까운 기 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태를 인식하여 운전자의 상태를 인식한다(S240)

한편, 차량 내부 정보를 모델링 하는 경우, 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 운전자 운행 상태 모델의 파라미터를 학습한다(S250).

다음, 기 수집되는 차량 내부 정보로부터 추출되는 특징점을 토대로 상기 운전자의 상태를 정상 운행, 급 주행, 음주 운전 및 졸음 운전 중 어느 하나를 포함하는 운전자 운행 상태 모델을 모델링하여, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점 간의 유사도를 비교한다(S260).

다음, 특징점 간의 유사도 비교 결과, 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 가장 높은 유사도를 가지는 현재 수집되는 차량 내부 정보로부터 추출되는 특징점에 해당하는 운전자 운행 상태 모델을 인식한다(S270).

마지막으로 상기와 같이 인식된 운전자의 상태 또는 운전자 운행 상태 모델을 토대로 운전자의 상태를 판단한다(S280).

이처럼, 본 발명에 의한 운전자 운행 상태 판단 장치 및 그 방법은 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보를 토대로 운전자의 주행 패턴을 분석하고 운전자의 상태를 판단하여, 졸음 운전 또는 음주 운전과 같은 운전자 부주의 운전으로 판단되는 경우 운전자에게 경고를 발생시키고, 비상등을 점등시켜 외부 차량의 운전자의 방어운전을 유도함으로써, 차량의 주행안전성을 크게 향상시킬 수 있으며 불의의 교통 사고를 예방할 수 있다.

이상에서, 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

100 : 운전자 운행 상태 판단 장치
110 : 정보 수집부 120 : 비교부
130 : 운전자 운행 상태 판단부
140 : 경고 발생부

Claims (1)

1. 운전자 운행 상태 별로 차량의 전자 제어 장치로부터 제공되는 차량 내부 정보를 수집하는 정보 수집부;
   상기 전자 제어 장치로부터 기 수집되는 차량 내부 정보로부터 추출되는 특징점과 현재 수집되는 차량 내부 정보로부터 추출되는 특징점을 비교하는 비교부;
   비교 결과를 토대로 현재 상기 운전자 운행 상태를 판단하는 운전자 운행 상태 판단부; 및
   상기 운전자 운행 상태가 운전자 부주의 상태로 판단되는 경우 상기 운전자 및 외부 차량의 운전자에게 경고를 발생시키는 경고 발생부;
   를 포함하는 것을 특징으로 하는 운전자 운행 상태 판단 장치.

Images