KR101710007B1 - 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법 및 이를 수행하는 시스템 - Google Patents

Abstract

본 발명은 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법 및 이를 수행하는 시스템에 관한 것이다. 상기 방법은 운전자가 응시하는 영역 구분을 위한 관심영역 설정 단계, 운전행위 데이터를 수집하는 데이터 수집 및 변환 단계, 상기 수집한 데이터를 상기 운전자의 운전행위별로 분할하는 전처리 단계, 상기 분할된 데이터를 운전행위별 문법으로 표현하는 기계 학습 단계 및 상기 기계 학습 결과의 효과를 측정하기 위해 독립적인 테스트 데이터로 운전행위를 인식하고 기술하는 테스트 단계를 포함한다. 이러한 단계들을 통해 생성된 안전 운전 문법으로 실제 주행시 운전행위를 판단하여 운전자에게 경고를 하거나 차량을 제어하는 단계를 더 포함한다.

Description

운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법 및 이를 수행하는 시스템{METHODS FOR LINGUISTICALLY MODELING OF DRIVER'S BEHAVIOR AND RECOGNIZING OF DRIVER'S BEHAVIOR, AND SYSTEMS FOR PERFORMING THE SAME}

본 발명은 운전자의 운전행위 분석을 통한 운전자 안전 관련 기술로서, 구체적으로 아이 트랙커(EYE TRACKER)를 이용한 운전자의 운전행위 분석을 통한 운전자 안전 관련 기술이다.

최근 자동차 업계의 중요한 이슈 중 하나는 교통사고를 줄이기 위한 운전자 안전관련 기술의 개발이다. 특히 초보 운전자 및 고령 운전자의 경우 안전에 대해 더욱 민감하다.

교통사고의 원인은 운전자 부주의, 도로 상태 등에 따른 돌발 상황 등 다양한 요인이 있을 수 있다. 그 중에서도 졸음 운전, 운전중 휴대폰 사용, 운전 중 DMB 등 멀티미디어 기기 사용 등의 운전자 부주의에 의한 교통사고 발생이 심각한 것으로 나타나고 있다. 국내의 경우 경찰청의 2013년 교통사고 통계에 따르면 65.7%가 안전거리 미확보, 안전운전 불이행 등 운전 부주의로 인한 사고였다. 이러한 교통사고를 감소시키기 위한 일환으로 최근 자동차 업계는 HVI(Human Vehicle Interaction)관련 기술 개발에 집중하고 있다. 본 발명인 아이 트랙커(EYE TRACKER)를 이용하여 운전자의 머리 및 시선 방향을 추적하여 운전행위를 분석하고 그 결과를 운전자에게 제공하는 기술 또한 HVI 관련 기술에 포함된다. 이러한 운전자의 머리 및 시선 방향을 추적하여 분석하는 선행 기술 중 일본 특허출원 번호 제23117418호(이하, 선행문헌 1이라 한다)는 운전 기술 판별 장치 및 운전 기술 판별 프로그램을 제시하고 있다. 상기 선행문헌 1은 운전자의 시선 정보, 운전 조작 정보 및 차의 거동 정보 등을 취득하여 운전자의 운전 위험 여부를 판단하는 장치 및 프로그램에 관한 것이다. 선행문헌 1은 이러한 기능을 제공하기 위해 해당 위치에 시선을 두었는지를 개별로 소정 시간마다 취득하여 판단한다. 또한 일본 특허출원 번호 제20301008호(이하 선행문헌 2라 한다)는 차량 운전자의 안구 운동을 측정하여 측정된 안구 운동으로부터 차량 충돌 시간을 계측하여 차분 안구 운동의 검출 유무 및 차량 충돌 시간에 기초한 충돌사고의 위험을 판정한 후, 이에 대한 경보를 제공하는 장치를 개시하고 있다. 선행문헌 2의 경우 측정된 안구 운동으로부터 시선의 정류를 수반하지 않은 저주파의 진동적 안구 운동인 차분 안구 운동을 검출하는 방식을 사용하고 있다.

상기 선행문헌들 외에도 많은 선행기술들이 운전행위 분석결과를 이용하여 운전자가 볼 수 없는 부분에 위험 요소가 존재하거나 운전자가 부주의한 상태에 있을 경우, ADAS(Advanced Driver Assistance System) 기능의 일종인 ACC(Adaptive Cruise Control) 기능을 수행하거나 차량 운전자에게 경고를 함으로써 안전 운전을 가능하게 한다.

상기 선행문헌들을 포함한 기존의 아이 트랙커(EYE TRACKER)를 이용한 기술들은 대부분 원시 데이터(raw data)에 신호처리와 필터링 방법을 적용하여 단위 신호특징을 정의하고 이의 변화를 모델링(예를 들어, HMM)하여 인식하는 방법들이었다. 그러나 상기 HMM(Hidden Markov Model)과 같은 방법들은 환경 변화에 따른 노이즈에 취약한 단점이 있다.

본 발명의 실시예들은 아이 트랙커(EYE TRACKER)를 이용하여 획득한 운전자의 시선 데이터와 가용한 차량 및 주변 상황 데이터 등의 시간적 변화를 심볼릭 시퀀스(symbolic sequence)화함으로써 운전자의 운전행위를 파악하고 각 운전 행위별 안전 운전 문법으로 분석하여 운전도중에 운전에 위험판단이 있을 경우 경고하고 차량을 제어하는 방법을 제공하기 위한 것이다. 또한 상기 방법과 같은 기능을 제공할 수 있는 구성을 가지는 시스템을 제공하기 위한 것이다.

본 발명은 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법 및 이를 수행하는 시스템을 제공한다.

본 발명의 일 측면에 따르면, 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법을 제공한다. 상기 방법은 운전자가 응시하는 영역 구분을 위한 관심영역 설정 단계, 운전행위 데이터를 수집하는 데이터 수집 및 변환 단계, 상기 수집한 데이터를 상기 운전자의 운전행위별로 분할하는 전처리 단계와 상기 분할된 데이터를 운전행위별 문법으로 표현하는 기계 학습 단계를 포함한다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법은 상기 기계 학습 결과의 효과를 측정하기 위해 독립적인 테스트 데이터로 운전행위를 인식하고 평가하는 테스트 단계를 더 포함할 수 있다.

상기 운전행위 데이터는 운전자의 머리 위치 및 동공의 좌표 값을 가지는 운전자 데이터를 포함할 수 있다.

상기 운전행위 데이터는 외부 데이터 - 상기 외부 데이터는 주변 환경 정보, 위치 정보 및 차량 상태 정보를 포함함 - 를 더 포함할 수 있다.

상기 데이터 수집 및 변환 단계는 운전자가 응시하는 위치를 경관 카메라로부터 얻은 영상으로 프로젝션하여 상기 운전자가 응시하는 관심영역을 판단하는 단계를 포함할 수 있다.

상기 데이터 수집 및 변환 단계는 시간에 따라 상기 수집한 운전 행위 데이터를 심볼릭 시퀀스(symbolic sequence)로 표현하는 단계를 포함할 수 있다.

상기 전처리 단계는 HMM(Hidden Markov Model)을 이용하는 것을 특징으로 할 수 있다.

상기 기계 학습 단계에서 문법은 문맥자유문법(CFG: Context-Free Grammar), 문맥감지문법(CSG: Context Sensitive Grammar), 결정론적(Deterministic) 및 확률론적(Probabilistic) 문법 중 어느 하나를 포함하는 것을 특징으로 할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법은 상기 심볼릭 시퀀스를 상기 외부 데이터에 대응하는 안전 운전 행위 문법으로 파싱하여 안전 운전 행위 여부를 판단하는 운전행위 판단 단계를 더 포함할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법은 상기 운전행위 판단 단계의 결과 안전 운전 행위가 아닌 경우 상기 운전자에게 경고하고 차량을 제어하는 경고 및 제어 단계를 더 포함할 수 있다.

상기 경고 및 제어 단계는 상기 경고를 운전자에게 시각적 표시 방법, 청각적 표시 방법 및 촉각적 표시 방법 중 적어도 하나로 제공하는 단계를 포함할 수 있다.

상기 데이터 수집 및 변환 단계는 양 눈의 시선 방향과 동공 사이의 베이스 라인(baseline) 거리를 바탕으로 머리 프레임 기반의 응시 깊이를 삼각측량법으로 구하는 단계를 더 포함할 수 있다.

본 발명의 또다른 측면에 따르면, 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템을 제공한다. 상기 시스템은 운전자 데이터를 포함하는 제1 데이터를 획득하는 제1 데이터 획득부와 상기 획득한 데이터를 처리하여 심볼릭 시퀀스(symbolic sequence)로 변환하는 운전상태 판단부를 포함한다.

상기 운전자 데이터는 운전자의 머리 위치 및 동공의 좌표 값을 포함할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템은 외부 데이터 - 상기 외부 데이터는 주변 상황 정보, 위치 정보 및 차량 상태 정보 중 적어도 하나를 포함함 - 를 포함하는 제2 데이터를 획득하는 제2 데이터 획득부를 더 포함할 수 있다.

상기 운전 상태 판단부는 상기 제1 데이터 획득부로부터 획득한 제1 데이터 및 상기 제2 데이터 획득부로부터 획득한 제2 데이터를 처리하는 데이터 처리부와 상기 처리한 데이터를 상기 제2 데이터에 대응하는 안전 운전 행위 문법으로 파싱하여 안전성을 판단하는 판단부를 포함할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템은 상기 운전상태 판단부에서 안전 운전 행위가 아니라고 판단되는 경우 운전자에게 경고하고 차량을 제어하는 경고 및 제어부를 더 포함할 수 있다.

상기 경고 및 제어부는 상기 운전상태 판단부의 판단 결과를 기반으로 상기 운전자에 대한 경고를 표시하는 표시부와 상기 운전상태 판단부의 판단 결과를 기반으로 차량을 자동 제어 하는 제어부를 포함할 수 있다.

상기 표시부는 시각적 표시 방법, 청각적 표시 방법 및 촉각적 표시 방법 중 적어도 하나의 표시 방법으로 경고를 표시할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템은 상기 운전 상태 판단부에서 처리된 데이터 및 안전 운전 행위 문법을 저장하는 저장부를 더 포함할 수 있다.

본 발명의 실시예들은 운전자가 응시하는 영역을 기반으로 이를 심볼릭 언어 기법(symbolic linguistic method)으로 분석하는 방법 및 시스템에 관한 것이다. 본 발명의 측면들을 다음과 같은 장점을 가질 수 있다. 본 발명에서 이용하는 심볼릭 언어 기법(symbolic linguistic method)에서 문법은 HMM같은, 확률적 유한 상태 머신 표현들(finite state machine representations)의 일부 제한들에 민감하지 않다. 유한 상태 머신들(finite state machines)은 단일 가설 또는 병렬로 일련의 가설들을 모델링하기에 적합하다. 그러나 변화(variation)가 더 두드러질수록, 추가적인 가설을 단일 유한 상태 모델로 정리하기가 매우 어려워진다. 대조적으로, 심볼릭 언어 기법(symbolic linguistic method)에서 문법과 연관된 생성 프로세스는 이벤트들의 훨씬 더 길고 복잡한 시퀀스를 도출할 수 있고, 비결정적이다. 이러한 문법들은 또한 단일의, 컴팩트한 표현을 사용하는 것을 허용한다. 그러므로 상기 기술한 바와 같이 운전자의 운전행위를 심볼릭 언어 기법(symbolic linguistic method)으로 분석하는 방법은 환경변화에 따른 노이즈에 강한 방식으로 기존 기술들의 단점을 극복할 수 있는 장점을 가진다.

본 발명은 아이 트랙커(EYE TRACKER)를 이용하여 운전자의 운전행위의 시선 데이터와 가용한 차량 상태, 위치 및 주변 상황 데이터 등의 시간적 변화를 언어적으로 모델링하여 운전행위를 인식하는 방법을 제공함으로써 환경 변화에 따른 노이즈에 강한 운전행위 분석 방법을 제공한다. 또한, 분석된 운전자의 운전행위가 위험하다고 판단될 경우 운전자에게 경고를 함으로써 차량 제어를 할 수 있다. 이와 같이, 상기 언어적 모델링으로 시퀀스화된 운전행위에 대한 분석을 다양한 운전 행위에 적용하고 그 결과를 운전자에게 다양한 방식으로 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 안전 운전 행위 문법을 생성하는 과정을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 운전행위를 판단하고 경고 및 제어하는 과정을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 아이 트랙커(EYE TRACKER) 및 경관 카메라(SCENE CAMERA)의 차량내 설치 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 관심영역(ROI: Region of Interest) 지정의 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 운전자 머리 및 동공 위치 추적의 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 차선 변경시 운전자의 머리와 동공의 움직임 변화의 일 예를 나타낸 그래프이다.
도 7은 본 발명의 일 실시예에 따른 운전자의 운전행위를 언어적으로 모델링 하여 인식하는 시스템을 나타낸 개략적 블록도이다.
도 8은 실험 예 1에서 관심영역(ROI: Region of Interest)의 지정을 도시하는 도면이다.
도 9는 실험 예 1에서 사용한 아이 트랙킹 시스템 및 분석 툴을 도시하는 도면이다.
도 10은 실험 예 1에서 측정 결과의 일 예를 나타낸 도면이다.
도 11은 실험 예 2에서 관심영역(ROI: Region of Interest)의 지정을 도시하는 도면이다.
도 12는 실험 예 2에서 사용한 스티어링 휠 회전 각도 및 좌우 방향 지시등 신호 심볼을 나타낸 도면이다.

본 발명은 다양한 변경이 가능하고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 도시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 예에 불과하며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 단수의 표현은 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 본 출원에서 “포함하다” 또는 “가지다”등의 용어는 기술되는 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 명시할 뿐이고, 하나 또는 그 이상의 다른 특징들이 부가될 수 있다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명은 운전자 시선 데이터, 차량 및 주변 상황 정보 등의 시간적 변화를 언어적으로 모델링하여 운전행위를 인식하고 실제 주행 상황에서 운전자의 운전 행위가 주변 상황 정보, 차량 제어 정보, 위치 정보 등의 외부 데이터에 대응하는 안전 운전 행위 문법에 맞는지 등을 분석한다. 상기 분석 결과 상기 운전 행위가 안전 운전 행위인지를 판단하고 위험 상황인 경우 경고 및 차량 제어를 하여 운전자의 안전을 보장한다. 바람직하게는, 본 발명은 초보 운전자나 고령 운전자의 안전 운전을 지원할 수 있다. 이하 본 발명의 바람직한 실시예들을 도면을 참조하여 기술한다.

도 1은 본 발명의 일 실시예에 따른 안전 운전 행위 문법을 생성하는 과정을 나타내는 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 운전행위를 판단하고 경고 및 제어하는 과정을 나타내는 흐름도이다.

도 1 및 도 2를 참조하면, 상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법은 관심영역(ROI: Region of Interest) 설정 단계(S11), 데이터 수집 및 변환 단계(S12), 전처리 단계(S13), 기계 학습 단계(S14) 및 테스트 단계(S15)를 포함한다. 상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법은 운전행위 판단 단계(S21)와 경고 및 제어 단계(S22)를 더 포함할 수 있다.

상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법을 수행하기 위해 도 3의 예와 같이 아이 트랙커(eye tracker) 카메라(10)와 외부 경관(scene) 카메라(20)를 차량 내부에 설치한다. 도 3의 예에서는 3대의 아이 트랙커(eye tracker) 카메라(10)와 1대의 경관(scene) 카메라(20)를 차량의 대시보드 위에 설치하였다.

상기 관심영역 설정 단계(S11)에서는, 도 4에 도시된 바와 같이, 운전자의 시선 데이터를 언어적으로 모델링하기 위해 운전자가 응시하는 영역을 관심영역(ROI: Region of Interest)들로 분할할 수 있다. 상기 관심영역은 세부적으로 정하거나 대략적으로 정할 수 있으며 분석 목적에 따라 다양하게 정할 수 있다. 상기 관심 영역 설정시 운전자에게 각각 할당된 물체들을 응시하도록 하여 각각의 물체를 바라볼 때 운전자가 응시하는 영역으로 허용가능한 영역을 추정할 수 있다. 또한 각 관심영역은 응시 깊이에 따라 근거리 및 원거리를 구분해서 나눌 수도 있다. 이렇게 설정된 각 관심영역에 대해 심볼(symbol)를 지정한다.

상기 데이터 수집 및 변환단계(S12)에서는 도 5에 도시된 바와 같이 머리 프레임(head frame)(머리 위치)과 양 눈의 동공의 x, y, z 좌표 값을 실시간으로 측정한다. 예를 들어, 상기 측정을 위해 3대의 아이 트랙커(eye tracker) 카메라를 이용하여 머리 좌표계를 추정하고 동공의 위치 및 양 눈의 시선 방향을 측정할 수 있다. 이러한 측정은 도 6의 차선 변경시 시간에 따른 머리 및 동공 움직임 변화 그래프처럼 측정될 수 있다. 선택적으로, 상기 측정된 양 눈의 시선 방향과 동공 사이의 베이스 라인 거리를 바탕으로 머리 프레임 기반의 응시 깊이를 삼각측량법으로 구할 수 있다. 이렇게 구한 응시 깊이 값은 에러가 많기 때문에 상기 경관(scene) 카메라와 연동하여 좀 더 정확한 깊이 값을 구할 수 있다. 그러므로, 운전자가 바라보는 위치를 단순히 2차원적으로 판단하는 것이 아니라 응시 깊이에 따라 근거리인지 원거리인지를 파악하여 3차원적으로 판단할 수도 있다. 상기 경관(scene) 카메라가 3차원 측정이 가능하다면 좀 더 정확한 응시 지점을 얻을 수 있다. 상기 측정으로 운전자가 응시하는 위치를 경관(scene) 카메라로부터 얻은 영상으로 프로젝션하여 운전자가 어느 관심영역을 응시하는지를 알 수 있다. 이렇게 수집된 데이터 중 어느 관심영역을 응시하는지 불명확한 데이터는 필터링 할 수 있다(S121). 그런 다음 상기 데이터는 시간에 따라 운전자가 응시하는 관심영역의 심볼로 구성된 시퀀스로 변환될 수 있다.

이 단계에서 운전자의 머리 위치 및 동공의 좌표 등의 운전자 데이터로 얻은 응시 영역뿐만 아니라 주변 환경 정보, 위치 정보 및 차량 상태 정보 등의 외부 데이터도 함께 심볼화하여 하나의 심볼릭 시퀀스(symbolic sequence)로 변환할 수 있다. 차량 상태 정보의 심볼화의 예로, 스티어링 휠의 좌회전 중 작은 각도 회전은 q, 큰 각도 회전은 p로, 회전이 없는 경우는 r로, 스티어링 휠의 우회전 중 작은 각도 회전은 t, 큰 각도 회전은 u로 표현할 수 있다.

상기 전처리 단계(S13)는 기계 학습(Machine Learning)을 위해 수집한 데이터 시퀀스를 각각의 운전 행위별로 분할(segmentation)하는 과정이다. 이 과정을 위해 HMM(Hidden Markov model)을 이용할 수 있다.

상기 기계 학습 단계(S14)는 상기 분할된 시퀀스(문장)를 훈련 데이터로 이용하여 운전행위별 문법으로 표현하는 단계이다. 상기 문법은 문맥자유문법(CFG: Context-Free Grammar), 문맥감지문법(CSG: Context Sensitive Grammar), 결정론적(Deterministic) 또는 확률론적(Probabilistic) 문법 등으로 구현할 수 있다.

상기 테스트 단계(S15)는 기계 학습(Machine Learning)단계(S14)에서 나온 결과의 효과를 측정하기 위해 독립적인 테스트 데이터로 운전행위를 인식하고 평가하는 단계이다. 평가 결과 소정의 기준을 만족하는 문법들을 최종 결과 문법으로 저장한다.

안전 운전 행위에 대한 훈련 데이터로 상기 단계들(S11~S15)을 거쳐 안전 운전 행위 문법이 생성되고 저장될 수 있다. 실제 운전 상황에서 수집된 데이터를 상기 안전 행위 문법으로 분석하여 안전 운전 여부를 판단하고 운전자에게 경고 및 차량 제어를 하기와 같이 수행할 수 있다.

상기 안전 운전 여부를 판단하기 위한 상기 운전행위 판단 단계(S21)는 실제 운전행위를 주변 상황 정보, 위치 정보, 차량 상태 정보 등의 외부 데이터에 대응하는 안전 운전 행위 문법과 비교 및 분석하여 안전성을 측정하고 필요한 정보를 제공하는 단계이다. 상기 운전행위 판단 단계(S21)는 데이터 수집 및 변환 단계(S211), 비교 및 판단 단계(S212), 및 판단결과 처리 단계(S213)를 포함한다. 상기 데이터 수집 및 변환 단계(S211)는 상기 안전 운전 문법을 생성하기 위한 단계들 중 하나인 데이터 수집 및 변환 단계(S12)와 동일한 기능을 수행한다. 단지 훈련 데이터가 아닌 실제 주행상황 데이터가 수집 및 변환된다는 점에 차이가 있다. 상기 비교 및 판단 단계(S212)는 상기 데이터 수집 및 변환 단계(S211)을 거쳐 생성된 심볼릭 시퀀스(symbolic sequence)를 현재 차량 상태, 위치 및 주변 상황 정보 등의 외부 데이터에 대응하는 안전 운전 행위 문법으로 파싱(parsing)하여 안전 운전 행위인지 여부를 판단한다. 구체적으로, 상기 비교 및 판단 단계(S212)에서는 운전자의 운전행위가 안전 운전 행위인지 전체적으로 판단할 뿐만 아니라 운전자의 운전행위가 안전 운전 행위에는 속하나 상기 안전 운전 행위 중 일부 행위가 잘못되거나 빠진 행위가 있는지 여부도 판단할 수 있다. 상기 판단 결과 처리 단계(S213)는 상기 비교 및 판단 단계(S212)에서 판단된 결과를 제시하기 위한 경고 신호 및 차량 제어 신호를 생성하는 단계이다.

상기 경고 및 제어 단계(S22)는 상기 판단 결과 처리 단계(S213)에서 생성된 신호가 수신되면 운전자에게 경고하고 차량을 제어하는 단계이다. 상기 경고 및 제어 단계(S22)는 경고 단계(S221)와 차량 제어 단계(S222)를 포함한다. 상기 경고 단계(S221)은 상기 경고 신호를 수신하여 운전자에게 시각적, 청각적 및 촉각적 방법 중 적어도 하나를 이용하여 위험을 경고하는 단계이다. 상기 시각적 경고 방법으로는 예를 들어, 경고등 점멸, 위험 메시지 디스플레이 등이 있을 수 있다. 상기 청각적 경고 방법으로는 음성 위험 메시지, 경고음 등이 있을 수 있다. 상기 촉각적 경고 방법으로는 좌석 등의 운전자의 신체와 맞닿는 부분에 장치를 설치하여 진동 유형 및 세기로 위험 정도를 표현하는 방법 등이 있을 수 있다. 상기 제어 단계(S222)는 상기 차량 제어 신호를 수신하여 급박한 위험 등을 회피하기 위한, 예를 들어, 감속같은, 차량 제어를 수행하는 단계이다.

도 7은 본 발명의 일 실시예에 따른 운전자의 운전행위를 언어적으로 모델링 하여 인식하는 시스템의 개략적 블록도를 도시한다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템은 크게 데이터 획득부(100), 운전상태 판단부(200) 그리고 경고 및 제어부(300)를 포함한다. 본 발명의 일 실시예에 따른 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템은 선택적으로 저장부(400)를 더 포함할 수 있다. 상기 데이터 획득부(100)는 제1 데이터 획득부(110) 및 제2 데이터 획득부(120)를 포함한다.

상기 제1 데이터 획득부(110)는 운전자 데이터, 즉 운전자의 머리 및 동공 위치와 운전자가 바라보는 경관을 아이 트랙커(eye tracker) 카메라와 경관(scene) 카메라를 통해 획득한다.

상기 제2 데이터 획득부(120)는 주변 상황, 위치, 차량 상태 등의 외부 데이터를 외부 카메라 및 차량 시스템 등으로부터 획득한다.

상기 운전상태 판단부(200)는 데이터 처리부(210) 및 판단부(220)를 포함한다. 상기 데이터 처리부(210)는 제1 데이터 획득부(110)와 제2 데이터 획득부(120)로부터 얻은 데이터를 처리한다. 특히, 제1 데이터 획득부(110)로부터 획득한 정보로 운전자가 응시하는 영역을 상기 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법 중 데이터 수집 및 변환 단계(S12)와 동일한 방법을 사용하여 일련의 심볼릭 시퀀스(symbolic sequence)로 변환한다. 이 때, 제2 데이터 획득부(120)로부터 획득한 주변 상황 정보, 위치정보, 차량 상태 정보 등의 외부 데이터 또한 제1 데이터 획득부(110)로부터 획득한 정보와 같이 심볼을 부여하여 일련의 심볼릭 시퀀스(symbolic sequence)로 변환할 수도 있다.

상기 판단부(220)는 상기 외부 데이터에 대응하는 안전 운전 행위 문법을 이용하여 상기 데이터 처리부(210)에서 처리된 상기 운전자 데이터의 심볼릭 시퀀스(symbolic sequence)를 파싱함으로써 안전 운전 행위 여부를 판단한다. 선택적으로, 상기 운전자 데이터와 상기 외부 데이터의 심볼릭 시퀀스(symbolic sequence)를 합한 일련의 시퀀스를 대응하는 안전 운전 행위 문법을 이용하여 파싱함으로써 안전 운전인지 여부를 판단할 수도 있다.

상기 경고 및 제어부(300)는 표시부(310) 및 제어부(320)를 포함할 수 있다. 상기 판단부(220)에서 판단된 결과에 따라 운전자의 운전행위가 안전 운전 행위가 아닌 경우 상기 표시부(310)를 통해 운전자에게 경고를 할 수 있다. 상기 경고는 음성 등의 청각적 방법, 경고등 또는 경고 메시지 디스플레이 등의 시각적 방법 및 진동 등을 통한 촉각적 방법 등을 통해 제공될 수 있다. 또한, 상기 제어부(320)는 상기 판단된 결과에 따라 브레이크 제어, 속도 제어, 차간 거리 제어 등의 차량 제어를 할 수 있다.

상기 저장부(400)는 제1 데이터획득부(110) 및 제2 데이터 획득부(120)으로부터 획득한 데이터, 상기 데이터를 심볼릭 시퀀스(symbolic sequence)로 변환한 결과, 운전자의 운전행위별 안전 운전 문법 등을 저장할 수 있다.

상기 설명한 바와 같은 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법을 사용한 실험 예들은 다음과 같다.

실험 예 1

1. 실험 디자인

본 발명의 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법을 실험하였다. 우선 도 3에 도시된 바와 같이 2개의 적외선 플래쉬(30)를 가진 3대의 아이 트랙커(eye tracker)카메라(10)와 1대의 경관(scene)카메라(20)를 차량 내부에 설치하였다. 설치된 카메라들에 대해 3단계(1단계: 아이 트랙커(eye tracker)카메라들간 조정, 2단계: 피실험자와 1단계간의 조정, 3단계: 경관(scene) 카메라와 2단계간 조정)의 카메라 조정 단계가 피실험자에 대해 수행되었다. 그런 다음, 심볼로 표시된 관심영역(ROI: Region of Interest)들이 단순한 실험에 의해 설정되었다. 상기 조정 단계 후에, 피실험자 각각은 할당된 물체들(전방, 왼쪽 사이드 미러, 리어 미러, 오른쪽 사이드 미러)을 응시했다. 이 단계는 피실험자가 할당된 물체들을 응시할 때 각각의 물체를 바라보는 운전자가 응시하는 영역으로 허용가능한 영역의 추정을 위해 수행되었다. 본 실험에서 설정된 관심영역들은 도 8에 도시된 바와 같다. 이 실험에서는 응시 깊이까지 고려하지는 않았다. 그런 다음, 운전자의 머리 위치, 동공의 위치 및 시선 방향을 추적하고 경관 데이터를 차선 변경 상황에서 수집하였다.

2. 장치

본 실험은 SMART EYE PRO 아이 트랙커를 사용하여 수행되었다. 2개의 적외선 플래시들(30)을 가진 3대의 카메라가 대시보드 위에 부착되었다. 피실험자들의 눈 움직임은 양쪽 눈 모두로부터 60Hz의 비율로 샘플링되었다. 분석을 위해, SMART EYE PRO로부터의 아이 트랙킹 데이터를 전문적으로 다룰 수 있는 툴 MAPPS가 사용되었다. 본 실험에 사용된 아이 트랙킹 시스템 SMART EYE PRO 및 분석 툴 MAPPS를 도 9에 도시하였다.

3. 데이터 획득

분석 툴 MAPPS를 사용하여, 경관(scene)카메라 상에 관심영역(ROI: Region of Interest)을 설정하고 이차원 데이터(고정된 추적 카메라에 기반하여 주정된 시선 방향 벡터 위치)로 추적된 출력을 시선 방향과 경관의 이차원 교차로 변환하였다. 이를 통해, 좌표 데이터가 심볼릭 데이터(symbolic data)로 변경된다. 그런 다음 부정확한 데이터를 필터링하는 전처리 과정을 거쳐 문법을 만들기 위한 데이터를 획득하였다. 도 10은 실시간 시선 추적과 좌표 데이터 및 심볼릭 ROI 시퀀스(symbolic ROI sequence)의 일 예를 도시한다.

4. 실험

(1) 피실험자

6명의 피실험자(4명 남자, 2명 여자, 24세~56세, 운전경력 평균 9년)를 모집하여 참가에 대한 코스 교육을 받도록 했다.

(2) 절차

상기 3단계 카메라 조정 후에 피실험자들이 아이-트랙킹 시스템에 적응하도록 짧게 훈련받았다. 각 피실험자들은 자연스런 운전 상태에서 차선 변경을 40번(왼쪽 20번 및 오른쪽 20번) 수행했다. 상기 운전 행위 동안 피실험자들의 눈 움직임 및 경관 데이터가 기록되었다. 운전 환경은 3km의 긴 직선 일반도로였고 피실험자들은 데이터 수집이 끝날 때까지 지속적인 왕복 운전을 했다.

5. 실험 결과

(1) 데이터 분석

총 120번의 왼쪽 차선 변경 및 120번의 오른쪽 차선 변경의 심볼릭 ROI 센텐스(symbolic ROI sentences)이 실험으로부터 수집되었다. 그런 다음 Pate가 문맥자유문법 심볼릭 ROI 센텐스 데이터(context free grammar Symbolic ROI(Region of Interest) sentence data)를 변환하고 체크하는데 사용되었다.

(2) 결과

확률적 문맥자유문법(SCFG: Stochastic Context Free Grammar)을 차선 변경 맥락에서 운전자의 운전행위 패턴을 인식하는데 사용했다. 그 결과 왼쪽 및 오른쪽 차선 변경에 대한 문맥자유문법(CFG: Context Free Grammar)이 아래와 같이 발견되었다.

왼쪽 차선 변경 CFG

오른쪽 차선 변경 CFG

실험 예 2

상기 실험 예 1이 실제 도로에서 반복 주행하면서 왼쪽 및 오른쪽 차선 변경에 대한 운전자의 운전행위 중 시선 데이터를 언어적으로 모델링하여 분석하였다면 본 실험 예 2는 실험실에서 시뮬레이션을 이용하여 시선 데이터 뿐만 아니라 일부 차량 상태 데이터도 언어적으로 모델링하여 분석하였다. 도 11은 실험 예 2에서 관심영역의 지정을 도시한 것이다. 실험 예 1보다 더 상세히 관심영역을 구분하여 설정하였다. 관심영역 설정 후의 실험 과정은 상기 실험 예 1과 같은 순서로 진행되었다. 피실험자들은 시뮬레이션을 이용하여 왼쪽 차선 변경 및 오른쪽 차선 변경을 수행하였다. 도 12는 실험 예 2에서 사용한 스티어링 휠 각도 및 좌우측 방향 지시등 온/오프(on/off)에 따라 정한 심볼을 도시한다. 도 12를 참조하면, 스티어링 휠의 좌회전 중 작은 각도 회전은 q, 큰 각도 회전은 p로, 회전이 없는 경우는 r로, 스티어링 휠의 우회전 중 작은 각도 회전은 t, 큰 각도 회전은 u로 표현하였다. 또한 좌측 방향지시등이 켜진 경우는 x로, 우측 방향지시등이 켜진 경우는 y로, 그리고 어떤 방향지시등도 켜지지 않은 경우는 y로 심볼을 지정하였다. 하기의 표 1은 시뮬레이션을 이용하여 피실험자 1이 오른쪽으로 차선 변경 시 나타나는 운전자의 시선 데이터, 차량 속도 데이터, 스티어링 휠 각도 데이터 및 좌우측 방향 지시등 데이터의 일 예이다.

* R: 시선 집중 관심영역(ROI) * Sp: 차량 속도(Km/h)

* W: 스티어링 휠 각도 * Sn: 신호(좌우측 방향지시등 온/오프)

* F: 기록 동안 응시 순서, 0.15초 최소 응시 시간

이러한 심볼릭 시퀀스(symbolic sequence)화를 통해 운전자의 운전행위를 언어적으로 모델링할 수 있다.

이러한 실험 결과들을 통해 안전 운전에 해당하는 데이터를 수집하여 안전 운전 행위 문법을 생성하고 실제 운전 환경에서 운전자의 운전행위를 언어적으로 모델링하여 상기 안전 운전 행위 문법으로 분석할 수 있다. 그 결과 안전 운전 행위가 아니라고 판단되면 운전자에게 다양한 방식으로 경고를 하거나 적절한 차량 제어를 할 수 있다.

전술한 실시예들은 예시를 위한 것이며 하기의 청구범위에 의해 정의되는 본 발명의 범위를 한정하는 것이 아닌 것으로 이해되어야 한다. 따라서, 다른 실시 예들 또한 하기 청구범위에서 정의되는 기술적 사상의 범위내에 있을 수 있다. 예를 들어, 본 발명의 기술 분야의 통상의 지식을 가진 자라면 본 발명의 범위를 벗어남 없이 다양한 변경을 만들 수 있다. 부가적으로, 상기 기술된 단계들의 일부는 순서 독립적이므로 기술된 것과 다른 순서로 수행될 수 있다. 또한 상기 기술된 단계들 중 일부 단계가 생략되거나 다른 단계가 더 포함될 수 있다.

10: 아이트랙커 카메라 20: 경관 카메라
30: 적외선 플래쉬 100: 데이터 획득부
110: 제1 데이터 획득부 111: 머리 및 동공 위치 획득부
112: 경관 획득부 120: 제2 데이터 획득부
121: 주변 상황 획득부 122: 위치 정보 획득부
123: 차량 상태 정보 획득부 200: 운전상태 판단부
210: 데이터 처리부 220: 판단부
300: 경고 및 제어부 310: 표시부
320: 제어부 400: 저장부

Claims (20)

1. 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법에 있어서, 상기 방법은
   운전자가 응시하는 영역 구분을 위해 원근 거리를 고려하여 관심영역을 설정하는 단계;
   운전자가 응시하는 위치를 경관 카메라로부터 얻은 영상으로 프로젝션하여 상기 운전자가 응시하는 관심영역을 판단하여 시간에 따라 운전행위 데이터를 수집하여 언어적 심볼릭 시퀀스(linguistic symbolic sequence)로 표현하는 데이터 수집 및 변환 단계;
   상기 수집한 데이터를 상기 운전자의 운전행위별로 분할하는 전처리 단계; 및
   상기 분할된 데이터를 운전행위별 문법으로 표현하는 기계 학습 단계를 포함하되, 학습된 문법을 기반으로 문법적 언어 해석을 통하여 운전자의 운전행위를 인식하는 것을 특징으로 하는, 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
2. 제1항에 있어서,
   상기 기계 학습 결과의 효과를 측정하기 위해 독립적인 테스트 데이터로 운전행위를 인식하고 평가하는 테스트 단계를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
3. 제2항에 있어서,
   상기 운전행위 데이터는 운전자의 머리 위치 및 동공의 좌표 값을 가지는 운전자 데이터를 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
4. 제3항에 있어서,
   상기 운전행위 데이터는 외부 데이터 - 상기 외부 데이터는 주변 환경 정보, 위치 정보 및 차량 상태 정보를 포함함 - 를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
5. 삭제
6. 삭제
7. 제4항에 있어서
   상기 전처리 단계는 HMM(Hidden Markov Model)을 이용하는 것을 특징으로 하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
8. 제7항에 있어서,
   상기 기계 학습 단계에서 문법은 문맥자유문법(CFG: Context-Free Grammar), 문맥감지문법(CSG: Context Sensitive Grammar), 결정론적(Deterministic) 및 확률론적(Probabilistic) 문법 중 어느 하나를 포함하는 것을 특징으로 하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
9. 제8항에 있어서,
   상기 언어적 심볼릭 시퀀스를 상기 외부 데이터에 대응하는 안전 운전 행위 문법으로 파싱하여 안전 운전 행위 여부를 판단하는 운전행위 판단 단계를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
10. 제9항에 있어서,
    상기 운전행위 판단 단계의 결과 안전 운전 행위가 아닌 경우 운전자에게 경고하고 차량을 제어하는 경고 및 제어 단계를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
11. 제10항에 있어서,
    상기 경고 및 제어 단계는 상기 경고를 운전자에게 시각적 표시 방법, 청각적 표시 방법 및 촉각적 표시 방법 중 적어도 하나로 제공하는 단계를 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
12. 제11항에 있어서,
    상기 데이터 수집 및 변환 단계는,
    양 눈의 시선 방향과 동공 사이의 베이스 라인(baseline) 거리를 바탕으로 머리 프레임 기반의 응시 깊이를 삼각측량법으로 구하는 단계를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 방법.
13. 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템에 있어서, 상기 시스템은
    운전자가 응시하는 영역 구분을 위해 원근 거리를 고려하여 설정한 관심영역을 기준으로 운전자가 응시하는 위치를 경관 카메라로부터 얻은 영상으로 프로젝션하여 상기 운전자가 응시하는 관심영역을 판단한 운전자 데이터를 포함하는 제1 데이터를 시간에 따라 획득하는 제1 데이터 획득부; 및
    상기 획득한 제1 데이터를 처리하여 언어적 심볼릭 시퀀스(linguistic symbolic sequence)로 변환하는 운전상태 판단부를 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
14. 제13항에 있어서,
    상기 운전자 데이터는 운전자의 머리 위치 및 동공의 좌표 값을 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
15. 제14항에 있어서,
    외부 데이터 - 상기 외부 데이터는 주변 상황 정보, 위치 정보 및 차량 상태 정보 중 적어도 하나를 포함함 - 를 포함하는 제2 데이터를 획득하는 제2 데이터 획득부를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
16. 제15항에 있어서,
    상기 운전 상태 판단부는
    상기 제1 데이터 획득부로부터 획득한 제1 데이터 및 상기 제2 데이터 획득부로부터 획득한 제2 데이터를 처리하여 언어적 심볼릭 시퀀스로 변환하는 데이터 처리부; 및
    상기 처리한 제1 데이터 및 제2 데이터를 상기 제2 데이터에 대응하는 안전 운전 행위 문법으로 파싱하여 안전성을 판단하는 판단부를 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
17. 제16항에 있어서,
    상기 운전상태 판단부에서 안전 운전 행위가 아니라고 판단되는 경우 운전자에게 경고하고 차량을 제어하는 경고 및 제어부를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
18. 제 17항에 있어서,
    상기 경고 및 제어부는
    상기 운전상태 판단부의 판단 결과를 기반으로 상기 운전자에 대한 경고를 표시하는 표시부; 및
    상기 운전상태 판단부의 판단 결과를 기반으로 차량을 제어하는 제어부를 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
19. 제18항에 있어서,
    상기 표시부는 시각적 표시 방법, 청각적 표시 방법 및 촉각적 표시 방법 중 적어도 하나의 표시 방법으로 경고를 표시하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.
20. 제19항에 있어서,
    상기 운전 상태 판단부에서 처리된 데이터 및 안전 운전 행위 문법을 저장하는 저장부를 더 포함하는 운전자의 운전행위를 언어적으로 모델링하여 인식하는 시스템.

Images