KR102401607B1 - 운전자의 운행 집중도 레벨 분석방법 - Google Patents

운전자의 운행 집중도 레벨 분석방법 Download PDF

Info

Publication number
KR102401607B1
KR102401607B1 KR1020140173388A KR20140173388A KR102401607B1 KR 102401607 B1 KR102401607 B1 KR 102401607B1 KR 1020140173388 A KR1020140173388 A KR 1020140173388A KR 20140173388 A KR20140173388 A KR 20140173388A KR 102401607 B1 KR102401607 B1 KR 102401607B1
Authority
KR
South Korea
Prior art keywords
concentration level
driver
driving concentration
information
driving
Prior art date
Application number
KR1020140173388A
Other languages
English (en)
Other versions
KR20160067681A (ko
Inventor
장영민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140173388A priority Critical patent/KR102401607B1/ko
Publication of KR20160067681A publication Critical patent/KR20160067681A/ko
Application granted granted Critical
Publication of KR102401607B1 publication Critical patent/KR102401607B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Abstract

본 발명은 외부환경변수 제거 모듈이 운전자의 생체정보를 검출하여 생체정보에 대해 외부환경잡음을 제거하는 단계; 집중도지표 생성 모듈이 외부환경잡음이 제거된 생체정보로부터 특징정보를 추출하는 단계; 집중도지표 생성 모듈이 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및 운행집중도레벨 판별 모듈이 운행 집중도 레벨 지표를 기 등록된 운전자의 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 한다.

Description

운전자의 운행 집중도 레벨 분석방법{METHOD FOR ANALYZING DRIVING CONCENTRATION LEVEL OF DRIVER}
본 발명은 운전자의 운행 집중도 레벨 분석방법에 관한 것으로서, 보다 상세하게는 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하는 운전자의 운행 집중도 레벨 분석방법에 관한 것이다.
최근 운전자 생체정보를 기반으로 운전자의 상태(감성,의도,집중도)를 모니터링하기 위한 연구가 많이 이루어지고 있다. 운전자의 집중도를 분석하는 운전자의 운행 집중도 레벨 분석 방법은 차량의 조향각도, 사용자의 뇌파정보 및 시선정보를 이용하였다.
즉, 종래의 운전자의 운행 집중도 레벨 분석방법은 차량 주행중 조향각의 변화와 전방 카메라 센서를 통해 취득된 차량운행상태 정보를 근거로 운전자의 운전 집중도를 판정할 수 있는 인덱스를 산출하거나, 머리의 전두엽 영역에서 발생하는 신호를 SMR파, Mid-Bata파, Theta 주파수 영역으로 분류한 후 집중도 추출 알고리즘을 적용하여 집중도 지표를 추출하거나, 또는 디스플레이 장치에 표시되는 주행 정보 및 주행 상황에 따라 운전자가 시선을 집중하는 시간과 인지하는 시간에 대한 반응 속도를 정량화하고 학습하여 운전자의 집중도를 분석하였다.
그러나, 종래의 운전자의 운행 집중도 레벨 분석방법은 운전자의 집중도를 분석하기 위하여 생체신호나 차량의 조향각도 또는 핸들의 변화되는 각도 등과 같이 간단한 정보를 이용하고 있다. 그 결과, 환경에 대한 변화 및 다수의 운전자의 운전 습관이나 상태에 대한 정보를 전혀 고려하지 않고, 일정한 경계치 값을 이용하여 단순하고 부정확한 문제점이 있었다.
이로 인하여 종래의 운전자의 운행 집중도 레벨 분석방법은 운행중의 다양한 환경에서 운전자의 집중도 분석에 대한 오류 상황 발생 빈도수가 높아질 수 있고, 다수의 운전자 개개인의 특성을 반영하지 못했다. 게다가, 분석 오류 발생률이 높고, 운전자의 집중도 판별 분석이 부정확하게 이루어지는 문제점이 있었다.
본 발명의 배경기술은 대한민국 특허등록번호 제10-1338582호(2013.12.02)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
본 발명의 다른 목적은 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
본 발명의 또 다른 목적은 외부환경과 운전자의 생체정보를 분석하고 기 등록된 기준 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하는 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
본 발명의 또 다른 목적은 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
본 발명의 또 다른 목적은 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킨 운전자의 운행 집중도 레벨 분석방법을 제공하는 것이다.
본 발명의 일 측면에 따른 운전자의 운행 집중도 레벨 분석방법은 외부환경변수 제거 모듈이 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계; 집중도지표 생성 모듈이 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계; 상기 집중도지표 생성 모듈이 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및 운행집중도레벨 판별 모듈이 상기 운행 집중도 레벨 지표를 기 등록된 운전자의 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 상기 시선정보에 대해 기 저장된 기저선 모델을 적용하여 상기 외부환경잡음을 제거하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보는 운전자의 시선정보와 뇌파정보 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서, 상기 시선정보는 응시점, 응시시간, 응시횟수, 동공크기 및 눈깜박임을 포함하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 상기 기저선 모델을 적용하여 외부 밝기에 따른 동공크기 변화, 동공 적응시간, 눈깜박임 변화에 대한 외부환경잡음을 제거하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는 ICA 필터를 통해 상기 뇌파정보에서 운전자의 움직임 잡음을 제거하여 뇌신호 정보를 검출하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 패턴인식 알고리즘을 이용하여 상기 생체정보로부터 상기 특징정보를 추출하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 응시시간, 응시횟수, 동공크기 변화, 동공기울기 변화 및 눈 깜박임 횟수 중 어느 하나 이상에 대해 상기 특징정보를 추출하는 것을 특징으로 한다.
본 발명에서, 상기 생체정보로부터 특징정보를 추출하는 단계는 뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출하는 것을 특징으로 한다.
본 발명에서, 상기 운행 집중도 레벨 지표의 영역은 응시시간과 응시횟수, 동공크기, 동공기울기, 눈깜박임, 뇌신호 알파, 뇌신호 베타를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 운행 집중도 레벨을 판별하는 단계는 계층적 SVM(Support Vector Machine)을 이용하여 운전자 집중도 레벨의 카테고리를 분류하는 단계; 및 상기 카테고리를 분류한 상태에서, Naive Bayes 확률 모델을 이용하여 상기 운행 집중도 레벨을 정의하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는 상기 운전자 집중도 레벨을 평범한 상태와 집중도 발생 상태로 분류하는 단계; 및 상기 집중도 발생 상태에서 집중도 완전 저하 및 집중도 유지 상태로 분류하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는 상기 카테고리는 상기 운행 집중도 레벨 지표와 상기 기준 운행 집중도 레벨 지표 간의 유클리디안 디스턴스를 이용한 유사도를 기반으로 판별되는 것을 특징으로 한다.
본 발명에서, 상기 운행 집중도 레벨을 정의하는 단계는 상기 생체정보 및 외부환경정보를 Naive Bayes 확률 모델을 통해 인지하여 상기 운행 집중도 레벨을 정의하는 것을 특징으로 한다.
본 발명에서, 상기 운행 집중도 레벨은 기 설정된 단계로 구분되는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 운전자의 운행 집중도 레벨 분석방법은 관리 서버가 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표의 기준값을 검출하여 운행집중도 분석 모듈로 전달하는 단계; 상기 운행집중도 분석 모듈이 운전자의 생체정보로부터 특징정보를 추출하여 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하며, 상기 기준값을 토대로 상기 기준 운행 집중도 레벨 지표를 변경한 후, 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계; 및 상기 운행집중도레벨 출력 모듈이 상기 운행 집중도 레벨을 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 운전자 얼굴 인식모듈이 운전자의 얼굴을 인식하고, 외부환경 검출 모듈이 외부환경정보를 검출하면, 판단 모듈이 상기 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 상기 외부환경 검출 모듈의 상기 외부환경정보가 기 등록되어 있는지 여부에 따라 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 상기 운전자 얼굴이 인식되지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다.
본 발명에서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 인식된 상기 운전자 얼굴이 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다.
본 발명에서, 상기 판단 모듈은 상기 외부환경정보가 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 한다.
본 발명에서, 상기 판단 모듈은 상기 생체정보 또는 상기 외부환경정보에 따라 상기 기준 운행 집중도 레벨 지표의 기준값을 검출하여 상기 운행집중도 분석 모듈로 전달하고, 상기 운행집중도 분석 모듈은 상기 기준 운행 집중도 레벨 지표의 기준값에 따라 상기 기준 운행 집중도 레벨 지표를 변경하는 것을 특징으로 한다.
본 발명에서, 상기 관리 서버는 상기 판단 모듈로부터 전달받은 상기 생체정보와 상기 외부환경정보를 기 저장된 생체정보 및 외부환경정보와 각각 비교하여 유사도에 따라 기준 운행 집중도 레벨 지표의 기준값을 검출한 후 검출된 상기 기준 운행 집중도 레벨 지표의 기준값을 상기 운행집중도 분석 모듈로 전달하는 것을 특징으로 한다.
본 발명에서, 상기 운행 집중도 레벨을 판별하는 단계는 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계; 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계; 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 한다.
본 발명은 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 한다.
본 발명은 외부환경과 운전자의 생체정보를 분석하고 기 등록된 기준 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하고, 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨다.
본 발명은 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킬 수 있다.
도 1 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 운전자 인식 모듈의 동작을 개념적으로 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 빛의 강도 변화에 대한 외부환경변수 제거를 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 동공크기에 대한 외부환경변수 제거를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 눈깜박임에 대한 외부환경변수 제거를 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 뇌신호에 대한 외부환경변수 제거를 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 뇌신호의 특징을 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 운행 집중도 레벨 지표를 예시적으로 나타낸 도면이다.
도 9 는 본 발명의 일 실시예에 따른 운행집중도레벨 판별 모듈의 동작 과정을 도시한 도면이다.
도 10 은 본 발명의 일 실시예에 따른 관리 서버가 운행 집중도 레벨 지표의 기준값을 생성하는 과정을 도시한 도면이다.
도 11 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법의 순서도이다.
도 12 는 본 발명의 일 실시예에 따른 운행 집중도 레벨 판별 단계를 도시한 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다.
도 1 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 운전자 인식 모듈의 동작을 개념적으로 나타낸 도면이며, 도 3 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 빛의 강도 변화에 대한 외부환경변수 제거를 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 동공크기에 대한 외부환경변수 제거를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 눈깜박임에 대한 외부환경변수 제거를 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 외부환경변수 제거 모듈의 뇌신호에 대한 외부환경변수 제거를 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 뇌신호의 특징을 나타낸 도면이며, 도 8 은 본 발명의 일 실시예에 따른 운행 집중도 레벨 지표를 예시적으로 나타낸 도면이며, 도 9 는 본 발명의 일 실시예에 따른 운행집중도레벨 판별 모듈의 동작 과정을 도시한 도면이며, 도 10 은 본 발명의 일 실시예에 따른 관리 서버가 운행 집중도 레벨 지표의 기준값을 생성하는 과정을 도시한 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석장치는 외부환경 검출 모듈(10), 운전자 인식 모듈(20), 판단 모듈(30), 생체정보 검출 모듈(40), 운행집중도 분석 모듈(50), 관리 서버(60) 및 운행집중도 분석 모듈(50)을 포함한다.
외부환경 검출 모듈(10)은 차량의 외부환경을 검출하고, 검출된 외부환경정보를 판단 모듈(30)에 입력한다. 외부환경정보에는 날씨 정보, 도로노면상태 정보, 차량 이동량 정보, 고속도로 정보, 도심도로 정보, 차량 상태 정보 등이 포함될 수 있다. 외부환경정보는 차량에 기 설치된 센서를 통해 검출될 수 있으나, 상기한 센서 등을 통해 검출된 정보를 바탕으로 별도로 계산 및 추정될 수도 있다.
운전자 인식 모듈(20)은 운전자 얼굴의 시각 정보 및 청각 정보를 이용하여 운전자 얼굴을 인식하는 것으로써, 시각 정보와 청각 정보를 융합한 융합 정보를 이용하여 운전자 개인인증을 한다. 이에 인식된 운전자 정보는 개인 및 상황에 맞는 경계치 값으로 설정된다.
이를 위해, 운전자 인식 모듈(20)은 도 2 에 도시된 바와 같이 생물학 기반의 선택적 주의집중 모델과 Adaboost 방법을 융합하여 얼굴을 검출하며, MFCC(Mel Frequency Cepstral Coefficient) 정보를 이용하여 음성정보에 대해 13차원의 특징점을 추출한다.
운전자 인식 모듈(20)은 영상에 대해서는 I-(2D)2LDA 방법을 이용하고 음성정보에 대해서는 I-LDA 방법을 이용하여 운전자를 인식함으로써, 영상과 음성의 개인인증을 대표하는 대표 성분을 표현하는 시각 특징정보 및 청각 특징정보를 각각 추출한다. 이어 운전자 인식 모듈(20)은 상기한 바와 같이 추출한 시각 특징정보와 청각 특징정보를 동시 입력으로 하고 점진적으로 운전자를 식별할 수 있는 기계학습 알고리즘인 모델을 이용하여 운전자를 판별 분석한다.
판단 모듈(30)은 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 외부환경 검출 모듈(10)의 외부환경정보가 기 등록되어 존재하는지 여부에 따라 관리 서버(60)로 생체정보와 외부환경정보를 전달한다. 여기서 생체정보에 대해서는 후술한다.
더욱 상세히 설명하면, 판단 모듈(30)은 인식된 운전자가 기 등록되어 있고 외부환경정보가 기 등록되어 존재하고 있으면 상기한 생체정보와 외부환경정보를 관리 서버(60)로 전달하지 않는다.
반면에, 판단 모듈(30)은 운전자 인식결과 운전자가 인식되지 않거나 또는 운전자가 기 등록되어 있더라도 외부환경정보가 등록되어 있지 않으면 관리 서버(60)로 생체정보와 외부환경정보를 전달함과 더불어, 기준 운행 집중도 레벨 지표의 기준값을 운행집중도 분석 모듈(50)로 전달한다. 운행 집중도 레벨 지표 및 그 기준값에 대해서는 후술한다.
여기서, 판단 모듈(30)이 기준 운행 집중도 레벨 지표의 기준값을 운행집중도 분석 모듈(50)로 전달하는 이유는, 현재 운전자가 응시하고 있는 외부 영역의 밝기정보(조명)와, 주행하고 있는 장소(고속도로, 도심), 복잡도(교통량), 환경(도로노면상태,날씨) 등의 정보를 토대로, 외부 상황에 따라서 운행 집중도의 기준값이 다르게 적용하기 위함이다. 이와 같이 운행 집중도 레벨의 기준값을 다르게 적용하여 차량 운행 집중도의 정확도를 높일 수 있다. 일 예로, 외부 영역의 밝기 값과 관련하여, 동공크기 및 눈깜박임의 외부환경 잡음을 제거하여 운전자의 심리적 요소만을 고려하여 집중도 레벨을 정의하기 위함이다. 또한, 장소와 복잡도 및 환경과 관련하여, 외부 날씨, 교통량, 운행 장소에 따라 운전자의 운행 집중도 레벨 지표의 기준값을 다르게 설정하여 운행 집중도 레벨 판별 분석의 정확도를 높일 수 있다.
생체정보 검출 모듈(40)은 운전자의 생체정보를 검출하는 것으로서, 운전자의 뇌파정보(알파 신호, 베타 신호)를 검출하는 뇌파정보 검출기(41) 및 운전자의 시선정보를 검출하는 시선 추적기(42)를 포함한다. 이러한 생체정보 검출 모듈(40)은 웨어러블 형태로 제작될 수 있다.
운행집중도 분석 모듈(50)은 생체정보 검출 모듈(40)에 의해 검출된 운전자의 생체정보에 대해 외부환경잡음을 제거하고 외부환경잡음이 제거된 생체정보로부터 특징정보를 추출하여 이 특징정보를 기반으로 운행 집중도 레벨 지표를 생성한다. 이어 운행집중도 분석 모듈(50)은 생성된 운행 집중도 레벨 지표를 기 등록된 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별한다. 여기서, 기준 운행 집중도 레벨 지표에는 차량에 저장되는 것으로서 사전에 등록된 운전자에 의해 학습된 기준 집중도 레벨 지표, 및 관리 서버(60)에 의해 관리되는 것으로서 다수의 운전자에 의해 획득되어 평균적인 생체정보 및 외부환경정보를 기반으로 생성된 기준 집중도 레벨 지표가 있다. 이에 대해서는 후술한다.
운행집중도 분석 모듈(50)은 운전자의 생체정보에서 외부환경변수를 제거하는 외부환경변수 제거 모듈(51)과, 외부환경변수가 제거된 생체정보로부터 특징정보를 검출 추출하고 이 특징정보를 기반으로 운행 집중도 지표를 생성하는 집중도지표 생성 모듈(52) 및 생성된 운행 집중도 지표와 기준 집중도 레벨 지표를 비교하여 운행 집중도 레벨을 판별하는 운행집중도레벨 판별 모듈(53)을 포함한다.
외부환경변수 제거 모듈(51)은 운전자 안구 운동 및 뇌파 정보에 대하여 외부환경변수를 제거한다. 외부환경변수 제거 모듈(51)은 복잡한 실세계 및 차량 환경내에서 즉각적으로 반응하는 동공크기변화나 눈 깜박임 등의 안구운동, 및 뇌파정보에 대해 외부환경잡음을 제거하여 운전자의 심리적 요소만을 검출하며, 이를 위해 운전자의 생체정보 각각에 대해 기 설정된 기저선(Base-line) 모델을 적용한다.
시선정보에는 응시점, 응시시간, 응시횟수, 동공크기, 및 눈 깜박임 등의 정보가 포함되며, 이들 중 외부 환경변화에 대하여 동공크기와 눈 깜박임 변화가 민감하게 반응한다. 동공크기는 외부 빛의 강도에 따라 적응적으로 조절되어 빛의 양을 받아들이며(생물학적), 이에 인지 심리학적 요소를 포함하고 있다.
명암도 변화에 따른 동공크기가 변화하므로, 외부환경변수 제거 모듈(51)은 도 3 에 도시된 바와 같이 최적화 알고리즘을 통하여 대표 곡선을 추출하고 운전자가 응시하고 있는 영역의 빛의 강도(밝기 변화)에 따른 적응 수식을 도출하여 이를 토대로 외부환경변화에 대한 외부환경잡음을 제거한다.
또한 동공은 갑작스럽게 변화하는 환경내에서 적응시간을 필요로 한다(생물학적). 이에 갑작스럽게 변화하는 환경에 적응하는 시간은 인지 심리학적 요소가 아니므로, 외부환경변수 제거 모듈(51)은 적응하는 시간을 제거하여 측정한다. 즉, 외부환경변수 제거 모듈(51)은 도 4 에 도시된 바와 같이 영상의 밝기 변화에 따른 동공 적응 시간을 체크하고, 피험자를 대상으로 얻은 각 동공 크기 변화 곡선에 대해 각 자극레벨의 대표곡선을 추출한 후, 얻어진 대표곡선을 기준으로 동공 적응 시간, 예를 들어 3.22초를 검출한다.
또한, 눈 깜박임의 경우에 있어서는, 보통의 평범한 사람들은 분당 14회의 눈 깜박임 변화를 보이나, 긴장을 한다거나 극도로 스트레스가 심한 경우 분당 60회의 눈 깜박임 변화도 보인다. 이를 닐슨효과라 한다. 이에 외부환경변수 제거 모듈(51)은 평상시 운전자의 눈 깜박임 변화를 체크하여 운행상황에서 집중도에 따른 눈 깜박임의 기저선 모델을 체크한다. 일 예로, 도 5 를 참조하면, 피험자를 대상으로 6단계의 밝기 강도가 다른 자극 영상에 대해 30초간 아무런 심리적 영향없이 눈 깜박임 횟수를 측정할 경우, 각 자극 밝기 영상에서 피험자의 눈 깜박임 횟수는 평균 7회임을 확인할 수 있다. 따라서, 도 5 에 도시된 바와 같이 특징을 기반으로 눈깜박임의 기저선 모델을 체크할 수 있다.
또한, 사람의 뇌파 정보는 어떠한 생각을 할때 심지어는 꿈을 꾸고 있을때도 뇌파 정보는 추출된다. 따라서, 운전자의 움직임 정보에 의한 뇌파 정보는 운전자의 심리적 요소인 집중도와는 별게로 불필요한 노이즈잡음 정보로써 제거해야 하는 정보이다. 이에 외부환경변수 제거 모듈(51)은 운전자가 운행중에 얻어진 뇌파정보에 대해 운전자의 집중도와 관련된 뇌파 정보를 추출하기 위하여 ICA(ICA(Independent Component Analysis) 필터를 이용하여 운전자의 움직임 잡음을 제거하고 실질적인 집중도와 관련되 뇌 신호(알파, 베타)만을 추출한다. 즉, 외부환경변수 제거 모듈(51)은 22개의 뇌 영역에서 측정된 뇌파 원신호에서 ICA 필터(독립성분 분석 필터)를 이용하여 운전자의 움직임 정보를 제거한다. 도 6 에는 22개의 뇌 영역에서 ICA 필터를 통해 제거된 순수한 뇌신호 정보가 도시되었다.
집중도지표 생성 모듈(52)은 상기한 바와 같이 외부환경변수가 제거된 생체정보로부터 특징정보를 검출하고 이 특징정보를 기반으로 해당 운행환경에서의 운행 집중도 지표를 생성한다.
즉, 집중도지표 생성 모듈(52)은 시선정보(응시시간, 응시횟수, 동공크기변화, 동공기울기 변화, 눈 깜박임 횟수)에 대해서는 PCA(Passive cutaneous anaphylaxis reaction), LDA(Linear discriminate analysis) 및 BPR(Bio pattern recognition) 등의 패턴인식 알고리즘을 이용하여 특징정보를 검출하고, 뇌파정보에 대해서는 뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출함으로써, 6축의 운행 집중도 레벨 지표를 추출한다. 도 7 에는 뇌신호의 종류와 뇌의 상태 등이 도시되었다. 한편, 상기한 바와 같이 생성된 운행 집중도 레벨 지표에는 도 8 에 도시된 바와 같이 응시시간, 눈깜박임, 동공크기, 동공기울기, 뇌신호 알파, 및 뇌신호 베타가 포함된다.
집중도레벨 판별 모듈(53)은 차량 운행중 운전자의 생체정보를 토대로 운전자의 운행 집중도 레벨을 판별하는 것으로서, 상기한 바와 같이 생성된 운행 집중도 레벨 지표를 기계학습 알고리즘을 이용하여 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 관리 서버(60)에 기 등록된 기준 운행 집중도 레벨 지표와 비교 판별 분석한다.
운행집중도레벨 판별 모듈(53)은 도 9 에 도시된 바와 같이, 생체정보를 입력으로 받고 Multi-class SVM(Support Vector Machine)를 이용하여 각 운행 집중도 레벨에 맞도록 운행 집중도 레벨의 카테고리를 분류한다. 이 경우, Multi-class SVM(Support Vector Machine)는 현재의 차량 주행 환경내에서 8번을 거쳐 얻어진 운전자의 집중도 레벨 지표가 어디에 분류되는지, 즉 평범한 상태인지 또는 집중도 발생 상태인지로 분류하고, 집중도 발생 상태에서는 집중도 완전 저하 또는 집중도 유지 상태로 분류한다. 이 경우, 생성된 운행 집중도 레벨 지표와 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 생성된 운행 집중도 레벨 지표와 관리 서버(60)의 기준 운행 집중도 레벨 지표간의 유클리디안 디스턴스를 이용하여 유사도가 ±20% 내외일 경우 동일한 것으로 판단한다.
이어, 집중도레벨 판별 모듈(53)은 확률 모델 기반의 운행 집중도 레벨을 표시하는 Naive bayes를 이용하여 카테고리(Multi-class SVM(Support Vector Machine)에 의해 분류)내에서 운전자의 생체정보 및 환경정보를 기반으로 가장 최적의 운행 집중도 레벨을 분류한다. 이 경우, 집중도 카테고리가 집중도 유지 상태에 있는 상황에서, 운행 집중도 레벨은 0~100%까지 총 5단계로 정의될 수 있으며, 일 예로 집중도 레벨 하(1~19%), 집중도 레벨 중하(20~39%), 집중도 레벨 중(40~59%), 집중도 레벨 상중(60~79%), 및 집중도 레벨 상(80~100%) 등으로 정의될 수 있다.
관리 서버(60)는 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표를 검출하여 운행집중도 분석 모듈(50)로 전달한다. 여기서, 관리 서버(60)는 클라우드 서버 등이 채용될 수 있다. 이를 통해 운전자 집중도 분석을 위한 메커니즘에 대한 사용 가용성을 향상시킬 수 있다.
관리 서버(60)는 외부환경정보 및 운전자의 생체정보를 저장하고, 운전자가 등록되지 않은 운전자이거나, 등록이 되었다 하더라도 운전자가 처음으로 겪는 외부상황(날씨, 도로 노면, 교통량, 도심, 고속도로 등)일 때, 기존 수많은 다른 차량의 운전자로부터 수집된 정보(운행 집중도 레벨 및 생체정보)에서 가장 일치하는 정보를 검색한다. 이와 같이 검색된 정보는 운전자 집중도 카테고리 분류 및 집중도 레벨 지표의 기준값을 검출하는데 활용된다.
즉, 관리 서버(60)는 도 10 에 도시된 바와 같이, 다량한 차량의 ADAS(Advanced Driver Assistance System) 정보 뿐만 아니라, 날씨, 교통량, 차종, 도심, 고속도로, 속력 등의 정보 및 운전자를 통해 얻어지 운행 집중도 관련 생체 정보를 무선 통신망을 통해 수집한다. 이어 관리 서버(60)는 하둡 맵-리듀스 프로그램(Hadoop map-reduce program)을 실행시킨다. 하둡 맵 리듀스 프로그램은 얻어진 차량 외부 및 운전자의 운행 집중도 데이터를 Output value로 설정하고 이를 리듀서로 보내고, 리듀서는 맵퍼로부터 받은 Output Key, Value를 Input Key, Value로 사용한다. 하둡 맵리듀스 프로그램에 입력된 현재 운행 중인 차량의 데이터와 기존 저장되어진 차량 외부환경정보와 운전자의 생체정보를 Input Key로 비교하여 가장 유사한 값을 최적의 데이터 값으로 설정하여 HDFS(Hadoop Distributed File System)에 결과 파일로 저장하는 구조를 가진다.
마지막으로, 운행집중도레벨 출력부(70)는 운행 집중도 레벨을 음성, 핵팁, 공조, 영상 중 어느 하나 이상을 이용하여 출력하되, 단계별로 서로 방식으로 출력한다. 일 예로, 운행 집중도 레벨 출력부는 집중도 완전 저하 상태에서는 운전자의 안전운행을 지원하기 위해 음성장치, 햅틱장치, 공조장치, 영상장치 등의 장치를 이용하여 알람 경고 서비스를 제공한다. 또한 집중도 레벨 하 상태에서는 운전자를 자각시키기 위해 공조장치, 음성장치, 영상장치 등을 통해 알람 경고 서비스를 제공하며, 집중도 레벨 중하 상태에서는 영상장치와 음성장치를 이용하여 위험 경고 서비스를 제공하며, 집중도 레벨 중이나 상중 상태에서는 다양한 영상 장치와 음성 장치 등으로 다양한 색상과 음성으로 알람 경고 서비스를 제공한다.
이하, 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법을 도 11 과 도 12 를 참조하여 상세하게 설명한다.
도 11 은 본 발명의 일 실시예에 따른 운전자의 운행 집중도 레벨 분석방법의 순서도이고, 도 12 는 본 발명의 일 실시예에 따른 운행 집중도 레벨 판별 단계를 도시한 순서도이다.
도 11 을 참조하면, 먼저 생체정보 검출 모듈(40)이 운전자의 생체정보, 즉 시선정보와 뇌파정보를 검출하고(S110), 검출된 생체정보를 운행집중도 분석 모듈(50)로 입력한다.
운행집중도 분석 모듈(50)의 외부환경변수 제거 모듈(51)은 검출된 생체정보 중 뇌파정보에서 외부환경잡음인 뇌파 잡음을 기 저장된 기저선 모델을 이용하여 제거하고(S120), 외부환경잡음이 제거된 뇌파정보를 집중도지표 생성 모듈(52)로 입력한다.
집중도지표 생성 모듈(52)은 외부환경잡음이 제거된 뇌파정보로부터 뇌파정보의 특징정보를 검출한다(S130).
한편, 외부환경변수 제거 모듈(51)은 시선정보에서 외부환경잡음인 시선잡음을 기저선 모델을 이용하여 제거하고(S140), 외부환경잡음을 제거한 시선정보를 운행집중도 분석 모듈(50)로 입력한다.
외부환경변수 제거 모듈(51)은 외부환경잡음이 제거된 시선정보로부터 특징정보를 검출하고(S150), 검출된 시선정보의 특징정보를 집중도지표 생성 모듈(52)로 입력한다.
집중도지표 생성 모듈(52)은 상기한 바와 같이 각각 입력받은 뇌파정보의 특징정보와 시선정보의 특징정보를 이용하여 운행 집중도 레벨 지표를 생성한다(S160).
한편, 외부환경 검출 모듈(10)은 차량의 외부환경을 검출하여 외부환경정보를 생성하여 판단 모듈(30)로 입력하는 한편, 운전자 인식 모듈(20)은 운전자의 시각정보 및 청각정보를 검출한다(S210).
이 경우 운전자 인식 모듈(20)은 운전자의 얼굴을 인식하고(S220), 인식 결과를 판단 모듈(30)에 입력한다.
판단 모듈(30)은 운전자 인식 모듈(20)의 인식 결과 운전자가 기 등록된 운전자 정보 중에 존재하는지 여부를 판단하고(S220), 판단 결과 운전자가 존재하는 것으로 판단되면, 검출된 외부환경정보가 기 등록되어 존재하는지 여부를 판단한다(S230).
단계(S230)에서의 판단 결과 외부환경정보가 존재하면, 운행집중도레벨 판별 모듈(53)은 상기한 생체정보와 외부환경정보를 토대로 학습을 통해 기 등록된 운전자의 기준 운행 집중도 레벨 지표를 검출한다(S220),
반면에, 단계(S230)에서의 판단 결과 운전자가 존재하지 않거나, 단계(S240)에서의 판단 결과 외부환경정보가 존재하지 않으면, 판단 모듈(30)은 해당 생체정보 및 외부환경정보를 관리 서버(60)로 전달한다.
이에 관리 서버(60)는 판단 모듈(30)로부터 전달받은 생체정보 및 외부환경정보를 이용하여 기준 운행 집중도 레벨의 기준값을 검출(S310)하여 운행집중도레벨 판별 모듈(53)로 입력한다.
이때, 운행집중도레벨 판별 모듈(53)은 상기한 바와 가티 판단 모듈(30) 또는 관리 서버(60)로부터 전달받은 기준값을 이용하여 기준 운행 집중도 판별 레벨을 검출한다(S320).
이와 같이 생체정보 및 외부환경정보를 토대로 운행 집중도 레벨 지표의 기준값을 다르게 적용운전자 차량 운행 집중도의 정확도를 높일 수 있다.
한편, 상기한 바와 같이 운행 집중도 지표 및 기준 운행 집중도 지표(단계(S250)에서 검출된 기준 운행 집중도 지표, 또는 단계(S320)에서 검출된 기준 운행 집중도 지표)가 검출되면, 운행집중도레벨 판별 모듈(53)은 운행 집중도 레벨 지표를 기준 운행 집중도 레벨 지표(단계(S250)에서 검출된 기준 운행 집중도 지표, 또는 단계(S320)에서 검출된 기준 운행 집중도 지표 중 어느 하나)와 비교 분석하여 운행 집중도 레벨을 판별한다(S400).
즉, 도 12 에 도시된 바와 같이, 운행집중도레벨 판별 모듈(53)은 생체정보의 특징정보를 입력으로 받고 Multi-class SVM(Support Vector Machine)를 이용하여 각 운행 집중도 레벨에 맞도록 운행 집중도 레벨의 카테고리를 분류한다(S410).
이 경우, 운전자집중도레벨판별 모듈은 Multi-class SVM(Support Vector Machine)를 이용하여 운행 집중도 레벨이 평범한 상태인지 또는 집중도 발생 상태인지로 분류하고, 집중도 발생 상태이면(S420), 집중도 완전 저하 또는 집중도 유지 상태로 분류한다(S430). 이 경우, 생성된 운행 집중도 레벨 지표와 기 등록된 운전자의 기준 운행 집중도 레벨 지표, 또는 생성된 운행 집중도 레벨 지표와 관리 서버(60)의 기준 운행 집중도 레벨 지표간의 유클리디안 디스턴스를 이용하여 유사도 ±20% 내외는 동일한 것으로 판단한다.
이어 운전자집중도레벨 판별 모듈은 확률 모델 기반의 운행 집중도 레벨을 표시하는 Naive bayes를 통해, Multi-class SVM(Support Vector Machine)에 의해 분류된 카테고리내에서 운전자의 생체정보 및 환경정보를 기반으로 가장 최적의 운행 집중도 레벨을 분류한다(S440).
일 예로, 운전자집중도레벨판별 모듈은 집중도 레벨 하(1~19%), 집중도 레벨 중하(20~39%), 집중도 레벨 중(40~59%), 집중도 레벨 상중(60~79%), 및 집중도 레벨 상(80~100%) 등으로 판별한다.
상기한 바와 같이 운행 집중도 레벨이 분류되면, 운행집중도레벨 출력부(70)는 도 11 에 도시된 바와 같이 운행 집중도 레벨을 출력한다(S450).
이 경우, 운행집중도레벨 출력부(70)는 집중도 레벨 완전 저하 상태에서는 음성장치, 핵틱장치, 공조장치, 영상장치 등을 이용하여 알람 경고 서비스를 제공하고, 집중도 레벨 하 상태에서는 공조장치와 음성장치 및 영상장치를 이용하여 운전자를 자각시키기 위한 동작을 수행하며, 집중도 레벨 중하 상태에서 영상장치와 음성장치를 이용하여 위험을 경고하며, 집중도 레벨 중 상태에서는 영상장치의 영상을 주황색으로 표시하여 집중이 필요함을 알리는 메시지를 출력하며, 집중도 레벨 상중 상태에서는 영상장치를 통해 안전함을 알리는 집중도 표시를 수행하며, 집중도 레벨 상 상태에서는 안전함을 알리는 집중도 표시를 수행한다.
이와 같은 본 실시예는 운전자의 생체정보를 이용하여 운전자의 운행 집중도 레벨을 분석하고, 측정된 운행 집중도 레벨을 기반으로 차량 운행시 발생할 수 있는 운전 부주의를 방지하여 운전자의 안전운행을 도모할 수 있도록 한다.
또한, 본 실시예는 운전자 집중도 레벨을 토대로 차량 운행의 안정성과 안락함을 확보할 수 있도록 한다.
또한, 본 실시예는 외부환경과 운전자의 생체정보를 분석하고 기 등록된 집중도 레벨 지표와 비교 판별 분석하여 운행 상황에 적합한 최적의 운행 집중도 레벨을 정의할 수 있도록 하고, 차량 내에서 발생하는 외부 환경변수를 제거하고 운전자의 심리적 요소인 집중도 레벨만을 측정하기 위한 기저선(Base-line) 모델을 적용하여 운전자 집중도 분석의 효용성을 향상시킨다.
게다가, 본 실시예는 클라우드 기반의 빅 데이터(Big data) 공간에 정보를 저장하고 검색에 활용하여, 운전자 집중도 분석을 위한 메커니즘의 사용 가용성을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 외부환경 검출 모듈
20: 운전자 인식 모듈
30: 판단 모듈
40: 생체정보 검출 모듈
41: 뇌파정보 검출기
42: 시선 추적기
50: 운행집중도 분석 모듈
51: 외부환경변수 제거 모듈
52: 집중도지표 생성 모듈
53: 운행집중도레벨 판별 모듈
60: 관리서버
70: 운행집중도레벨 출력부

Claims (23)

  1. 외부환경변수 제거 모듈이 운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계;
    집중도지표 생성 모듈이 상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계;
    상기 집중도지표 생성 모듈이 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및
    운행집중도레벨 판별 모듈이 상기 운행 집중도 레벨 지표를 기 등록된 운전자의 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하고,
    상기 기준 운행 집중도 레벨 지표는 상기 기준 운행 집중도 레벨 지표의 기준값을 토대로 변경되고,
    상기 기준값은 상기 생체정보 또는 외부환경정보에 따라 검출되며,
    상기 운행 집중도 레벨을 판별하는 단계는 계층적 SVM(Support Vector Machine)을 이용하여 운전자 집중도 레벨의 카테고리를 분류하는 단계; 및 상기 카테고리를 분류한 상태에서, Naive Bayes 확률 모델을 이용하여 상기 운행 집중도 레벨을 정의하는 단계를 포함하며,
    상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는 상기 운전자 집중도 레벨을 평범한 상태와 집중도 발생 상태로 분류하는 단계; 및 상기 집중도 발생 상태에서 집중도 완전 저하 및 집중도 유지 상태로 분류하는 단계를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  2. 제 1 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
    시선정보에 대해 기 저장된 기저선 모델을 적용하여 상기 외부환경잡음을 제거하는 것을 특징으로 하는 운전자 운행 집중도 레벨 분석방법.
  3. 제 2 항에 있어서, 상기 생체정보는 운전자의 시선정보와 뇌파정보 중 어느 하나 이상을 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  4. 제 3 항에 있어서, 상기 시선정보는 응시점, 응시시간, 응시횟수, 동공크기 및 눈깜박임을 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  5. 제 4 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
    상기 기저선 모델을 적용하여 외부 밝기에 따른 동공크기 변화, 동공 적응시간, 눈깜박임 변화에 대한 외부환경잡음을 제거하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  6. 제 3 항에 있어서, 상기 생체정보에 대해 외부환경잡음을 제거하는 단계는
    ICA 필터를 통해 상기 뇌파정보에서 운전자의 움직임 잡음을 제거하여 뇌신호 정보를 검출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  7. 제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
    패턴인식 알고리즘을 이용하여 상기 생체정보로부터 상기 특징정보를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  8. 제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
    응시시간, 응시횟수, 동공크기 변화, 동공기울기 변화 및 눈 깜박임 횟수 중 어느 하나 이상에 대해 상기 특징정보를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  9. 제 1 항에 있어서, 상기 생체정보로부터 특징정보를 추출하는 단계는
    뇌 영역의 집중도와 관련된 전전두옆의 Fp1과 Fp2 영역, Visual Coltex 영역인 O1과 O2 영역, Ground의 Cz 영역, 및 Reference가 되는 A1과 A2 영역에 대하여 뇌신호를 추출하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  10. 제 1 항에 있어서, 상기 운행 집중도 레벨 지표의 영역은 응시시간과 응시횟수, 동공크기, 동공기울기, 눈깜박임, 뇌신호 알파, 뇌신호 베타를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서, 상기 운전자 집중도 레벨의 카테고리를 분류하는 단계는
    상기 카테고리는 상기 운행 집중도 레벨 지표와 상기 기준 운행 집중도 레벨 지표 간의 유클리디안 디스턴스를 이용한 유사도를 기반으로 판별되는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  14. 제 1 항에 있어서, 상기 운행 집중도 레벨을 정의하는 단계는
    상기 생체정보 및 외부환경정보를 Naive Bayes 확률 모델을 통해 인지하여 상기 운행 집중도 레벨을 정의하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  15. 제 14 항에 있어서, 상기 운행 집중도 레벨은 기 설정된 단계로 구분되는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  16. 관리 서버가 운전자의 생체정보 및 외부환경정보와의 유사도에 따라 기 등록된 기준 운행 집중도 레벨 지표의 기준값을 검출하여 운행집중도 분석 모듈로 전달하는 단계;
    상기 운행집중도 분석 모듈이 운전자의 생체정보로부터 특징정보를 추출하여 상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하며, 상기 기준값을 토대로 상기 기준 운행 집중도 레벨 지표를 변경한 후, 상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계; 및
    운행집중도레벨 출력 모듈이 상기 운행 집중도 레벨을 출력하는 단계를 포함하는 운전자의 운행 집중도 레벨 분석방법.
  17. 제 16 항에 있어서,
    운전자 얼굴 인식모듈이 운전자의 얼굴을 인식하고, 외부환경 검출 모듈이 외부환경정보를 검출하면, 판단 모듈이 상기 운전자 얼굴 인식모듈의 운전자 얼굴 인식결과 및 상기 외부환경 검출 모듈의 상기 외부환경정보가 기 등록되어 있는지 여부에 따라 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 단계를 더 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  18. 제 17 항에 있어서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 상기 운전자 얼굴이 인식되지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  19. 제 17 항에 있어서, 상기 판단 모듈은 상기 운전자 얼굴 인식결과 인식된 상기 운전자 얼굴이 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  20. 제 19 항에 있어서, 상기 판단 모듈은 상기 외부환경정보가 기 등록되어 있지 않으면, 상기 관리 서버로 상기 생체정보와 상기 외부환경정보를 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  21. 제 17 항에 있어서, 상기 판단 모듈은 상기 생체정보 또는 상기 외부환경정보에 따라 상기 기준 운행 집중도 레벨 지표의 기준값을 검출하여 상기 운행집중도 분석 모듈로 전달하고, 상기 운행집중도 분석 모듈은 상기 기준 운행 집중도 레벨 지표의 기준값에 따라 상기 기준 운행 집중도 레벨 지표를 변경하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  22. 제 17 항에 있어서, 상기 관리 서버는 상기 판단 모듈로부터 전달받은 상기 생체정보와 상기 외부환경정보를 기 저장된 생체정보 및 외부환경정보와 각각 비교하여 유사도에 따라 기준 운행 집중도 레벨 지표의 기준값을 검출한 후 검출된 상기 기준 운행 집중도 레벨 지표의 기준값을 상기 운행집중도 분석 모듈로 전달하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
  23. 제 16 항에 있어서, 상기 운행 집중도 레벨을 판별하는 단계는
    운전자의 생체정보를 검출하여 상기 생체정보에 대해 외부환경잡음을 제거하는 단계;
    상기 외부환경잡음이 제거된 상기 생체정보로부터 특징정보를 추출하는 단계;
    상기 특징정보를 기반으로 운행 집중도 레벨 지표를 생성하는 단계; 및
    상기 운행 집중도 레벨 지표를 상기 기준 운행 집중도 레벨 지표와 비교 분석하여 운행 집중도 레벨을 판별하는 단계를 포함하는 것을 특징으로 하는 운전자의 운행 집중도 레벨 분석방법.
KR1020140173388A 2014-12-04 2014-12-04 운전자의 운행 집중도 레벨 분석방법 KR102401607B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173388A KR102401607B1 (ko) 2014-12-04 2014-12-04 운전자의 운행 집중도 레벨 분석방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173388A KR102401607B1 (ko) 2014-12-04 2014-12-04 운전자의 운행 집중도 레벨 분석방법

Publications (2)

Publication Number Publication Date
KR20160067681A KR20160067681A (ko) 2016-06-14
KR102401607B1 true KR102401607B1 (ko) 2022-05-25

Family

ID=56191882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173388A KR102401607B1 (ko) 2014-12-04 2014-12-04 운전자의 운행 집중도 레벨 분석방법

Country Status (1)

Country Link
KR (1) KR102401607B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190138449A (ko) * 2018-06-05 2019-12-13 국방과학연구소 조종사의 각성 상태를 정량화하는 장치 및 방법
KR102625398B1 (ko) * 2018-08-17 2024-01-17 현대자동차주식회사 차량 및 그 제어방법
CN115268718B (zh) * 2022-09-23 2023-02-03 深圳市心流科技有限公司 用于专注力训练的图像显示方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061939A (ja) * 2001-08-28 2003-03-04 Pioneer Electronic Corp 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
JP2010057664A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用乗員体調管理装置
JP2011198170A (ja) * 2010-03-23 2011-10-06 Oki Software Co Ltd ユーザ同定システム、ユーザ同定サーバ、携帯機器、ユーザ同定プログラム及び携帯機器のプログラム
JP2012118951A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 車載装置および運転支援システム
JP2012239475A (ja) * 2011-05-13 2012-12-10 Honda Motor Co Ltd 脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3739113B2 (ja) * 1995-07-10 2006-01-25 日産ディーゼル工業株式会社 覚醒度低下検出装置
JP5444898B2 (ja) * 2009-07-09 2014-03-19 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム
KR101306922B1 (ko) * 2011-12-15 2013-09-10 동국대학교 산학협력단 뇌파 측정 장치 및 뇌파 측정 방법
KR102013609B1 (ko) * 2012-08-14 2019-08-23 엘지전자 주식회사 운전자의 생체 신호 측정 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061939A (ja) * 2001-08-28 2003-03-04 Pioneer Electronic Corp 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
JP2010057664A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用乗員体調管理装置
JP2011198170A (ja) * 2010-03-23 2011-10-06 Oki Software Co Ltd ユーザ同定システム、ユーザ同定サーバ、携帯機器、ユーザ同定プログラム及び携帯機器のプログラム
JP2012118951A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 車載装置および運転支援システム
JP2012239475A (ja) * 2011-05-13 2012-12-10 Honda Motor Co Ltd 脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法

Also Published As

Publication number Publication date
KR20160067681A (ko) 2016-06-14

Similar Documents

Publication Publication Date Title
KR102305914B1 (ko) 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
Hashemi et al. Driver safety development: Real-time driver drowsiness detection system based on convolutional neural network
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
Mandal et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state
US20220095975A1 (en) Detection of cognitive state of a driver
Dong et al. Driver inattention monitoring system for intelligent vehicles: A review
Jo et al. Vision-based method for detecting driver drowsiness and distraction in driver monitoring system
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
US20170267251A1 (en) System And Method For Providing Context-Specific Vehicular Driver Interactions
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
Rezaei et al. Simultaneous analysis of driver behaviour and road condition for driver distraction detection
Tayibnapis et al. A novel driver fatigue monitoring using optical imaging of face on safe driving system
KR102401607B1 (ko) 운전자의 운행 집중도 레벨 분석방법
Koay et al. Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021)
Alam et al. Vision-based driver’s attention monitoring system for smart vehicles
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
Mašanović et al. Driver monitoring using the in-vehicle camera
Mittal et al. Driver drowsiness detection using machine learning and image processing
Kannan et al. Driver drowsiness detection and alert system
Diddi et al. Head pose and eye state monitoring (HEM) for driver drowsiness detection: Overview
AU2021103045A4 (en) Drowsy detection using image processing
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Ibrahim et al. The Application of Driving Fatigue Detection and Monitoring Technologies in Transportation Sector: A Review
Modak et al. Human head pose and eye state based driver distraction monitoring system
Priya et al. Comparison of Multimodal Features for Detecting Driver Drowsiness using different dataset

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right