KR20170036168A

KR20170036168A - 차량 운전자 상태 모니터링 시스템 및 그 방법

Info

Publication number: KR20170036168A
Application number: KR1020150134606A
Authority: KR
Inventors: 전인호; 김명국
Original assignee: 유정시스템(주)
Priority date: 2015-09-23
Filing date: 2015-09-23
Publication date: 2017-04-03

Abstract

본 발명은 운전자의 졸음 상태뿐만 아니라 다양한 생체 정보를 종합적으로 감시 및 고려하여 보다 정확한 운전자 상태 감시가 가능한 차량 운전자 상태 모니터링 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 차량 운전자 상태 모니터링 시스템은 운전자의 심박수, 호흡 정보, 피부 전기전도도, 피부 온도 중에서 선택된 적어도 복수 개의 생체 신호를 측정하기 위한 센서 모듈과; 상기 센서 모듈에 의해 측정되는 생체 신호를 수치화하고, 상기 운전자의 비운전 상태 또는 운전을 시작한 후 소정 시간이 경과하기 전 상태(이하, '정상 상태'라 통칭함)에서 측정되는 생체 신호를 기반으로 임계치를 추출하는 생체신호 수치화 모듈; 및 상기 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 생체 신호를 상기 임계치와 대비하는 처리를 통해 상기 운전자의 현상태를 판단하는 운전자상태 판단 모듈을 포함하는 것을 특징으로 한다.

Description

차량 운전자 상태 모니터링 시스템 및 그 방법{SYSTEM AND METHOD FOR MONITORING DRIVER CONDITION}

본 발명은 차량 운전자의 운전 중 상태를 실시간 모니터링하는 기술에 관한 것으로서, 보다 상세하게는 웨어러블 형태로 구성되어 운전자에게 착용되는 센서 모듈로부터 측정되는 다수 종류의 데이터를 가공 및 처리하여 졸음은 물론 스트레스, 피로도, 체온 등 다양한 생체 상태를 검출할 수 있는 차량 운전자 상태 모니터링 시스템 및 그 방법에 관한 것이다.

일반적으로 자동차는 많은 기본적인 안전 문제들을 포함하고 있으며, 이러한 안전 문제들은 운전자의 실수와 브레이크 고장과 같은 자동차 결함을 포함할 수 있다.

예측 가능한 안전 문제들에 따른 피해를 최소화하기 위해 자동차에는 안전 벨트와 에어백 등과 같이 안전 장치들이 장착되고 있다.

그러나 이러한 장치들이 근본적으로 안전 문제를 해결할 수는 없으며, 자동차 사고들 중 많은 부분을 차지하는 운전자의 실수(예를 들어 졸음운전 등)를 방지할 수 있는 방법이 요구된다.

이러한 필요성에 기인하여, 최근 운전자 상태 감시 시스템에 대한 논의 및 개발이 진행 중이고, 특히 졸음 여부의 정확한 판단 및 경고 처리 등에 대한 개발이 활발하게 진행되고 있다.

일반적으로 개발되는 운전자 상태 감시 시스템은 예컨대, 선행특허 1과 같이 차량 내부의 센서(예를 들어, 카메라 등)를 이용하여 운전자의 졸음 상태만을 감시하고, 이를 근거로 주행 위험 요소를 파악하는 방식이 일반적이다.

그러나, 졸음 상태 감시만으로는 운전자 사고를 유발할 수 있는 제반 생체 상태에 대한 종합적 판단이 어렵기 때문에 보다 정확하게 운전자 상태를 감시하여 경고 처리와 차량 제어를 수행할 수 있는 방안이 요구된다.

선행특허 1. 한국등록특허 제100291378호 (등록일: 2001.03.12)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 운전자의 졸음 상태뿐만 아니라 다양한 생체 정보를 감시 및 종합하여 졸음 외에 운전자 생체 상태에 따라 유발될 수 있는 안전사고를 미연에 방지할 수 있도록 하는 차량 운전자 상태 모니터링 시스템 및 그 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 운전자의 운전 습관 내지 방식에 상관없이 항시 정확한 생체 신호 측정이 가능한 차량 운전자 상태 모니터링 시스템 및 그 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 차량 운전자 상태 모니터링 시스템은, 운전자의 심박수, 호흡 정보, 피부 전기전도도, 피부 온도 중에서 선택된 적어도 복수 개의 생체 신호를 측정하기 위한 센서 모듈과; 상기 센서 모듈에 의해 측정되는 생체 신호를 수치화하고, 상기 운전자의 비운전 상태 또는 운전을 시작한 후 소정 시간이 경과하기 전 상태(이하, '정상 상태'라 통칭함)에서 측정되는 생체 신호를 기반으로 임계치를 추출하는 생체신호 수치화 모듈; 및 상기 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 생체 신호를 상기 임계치와 대비하는 처리를 통해 상기 운전자의 현상태를 판단하는 운전자상태 판단 모듈을 포함하는 것을 특징으로 한다.

본 발명에 따른 차량 운전자 상태 모니터링 시스템 및 그 방법에 의하면, 운전자의 졸음 상태뿐만 아니라 다양한 생체 정보를 종합적으로 감시 및 고려하여 보다 정확한 운전자 상태 감시가 가능하고, 이에 따라 안전사고 방지의 극대화가 가능한 효과가 있다.

또한, 차량에 구비되는 다양한 센서들을 웨어러블(wearable) 형태로 구성하여, 운전자의 운전 습관 내지 방식에 상관없이 항시 정확한 생체 신호를 측정할 수 있고, 이에 따라 운전 상태 감시의 정확도를 더욱 향상시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 블록 구성도.
도 2는 본 발명에 따른 밴드 타입 센서 모듈을 도시한 개략도.
도 3은 본 발명에 따른 안전벨트 타입 센서 모듈을 도시한 개략도.
도 4는 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 졸음 상태 판단을 위한 처리 흐름을 나타낸 블록 순서도.
도 5는 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 긴장 정도 판단을 위한 처리 흐름을 나타낸 블록 순서도.
도 6은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 피로도 판단을 위한 처리 흐름을 나타낸 블록 순서도.
도 7은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 디스플레이부에 표시되는 운전자 상태 정보의 일 실시예.

본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 블록 구성도이고, 도 2는 본 발명에 따른 밴드 타입 센서 모듈을 도시한 개략도이고, 도 3은 본 발명에 따른 안전벨트 타입 센서 모듈을 도시한 개략도이다.

도 1 내지 도 3을 참조하면, 본 발명에 따른 차량 운전자 상태 모니터링 시스템은 센서 모듈(10), 생체신호 수치화 모듈, 생체신호변화 판단 모듈(23), 운전자상태 판단 모듈(25), 통신 모듈(30), 및 전자제어유닛(ECU)(40)를 포함하고, 바람직하게는 운전자 특성 저장부(50), 경보부(61) 및 디스플레이부(60)를 더 포함할 수 있다.

본 발명의 센서 모듈(10)은 차량 운전자의 심박수, 호흡 정보, 피부 전기전도도, 피부 온도 중에서 선택된 적어도 어느 하나의 생체 신호를 측정하기 위한 구성으로서, 세부적으로는 밴드 타입 센서 모듈(10a)과, 안전벨트 타입 센서 모듈 (10b)로 구분될 수 있다.

먼저, 본 발명의 밴드 타입 센서 모듈(10a)은 차량 운전자의 손목에 착용한 가능한 형태로 구성된 밴드(17)와 상기 밴드(17)에 부착되어 운전자의 다양한 생체 정보를 측정하는 다수 종류의 센서를 포함한다.

밴드(17)에 부착되는 센서는 운전자의 피부 전기전도도를 측정하는 GSR (Galvanic Skin Response) 센서(11), 운전자의 심박수를 측정하는 PPG(Photo Plethysmo Graph)(13) 센서, 운전자의 피부 온도를 측정하는 피부온도 센서(15)를 포함한다.

여기서, 밴드(17)에 부착되는 센서 중 적어도 GSR 센서(11)와, 피부온도 센서(15)는 운전자의 피부와 직접적으로 접촉되어 피부 전기전도도와 피부 온도를 감지할 수 있는 구조로 밴드(17)에 장착된다.

그리고, 이러한 다수의 센서가 부착되는 밴드(17)는 벨크로형, 탄성 압박형, 후크 걸림형 등과 같이 밴드(17)를 손목 상에 착탈 가능하게 하는 형태라면 특별한 한정없이 채용 가능하다.

다음으로, 본 발명의 안전벨트 타입 센서 모듈(10b)은 차량 운전석에 장착된 안전벨트(18)와 상기 안전벨트(18)에 부착되어 운전자의 호흡수(respiration rate) 및 호흡량을 측정하는 호흡 센서(19)를 포함한다.

호흡 센서(19)는 운전자가 안전벨트(18)를 착용시 이에 부착되어 있는 호흡 센서(19)가 복부 또는 흉부에 밀착될 수 있게 구성되어, 운전자의 호흡에 따른 복부의 팽창 및 수축량과 그 간격 시간을 감지하여 운전자의 호흡수 및 호흡량을 측정할 수 있는 압전 센서로 구성할 수 있다.

본 발명의 생체신호 수치화 모듈(21)은 센서 모듈(10)에 의해 측정되는 각 생체 신호를 데이터 분석에 용이한 수치로 변환하고, 입력 데이터를 분석하는 기능을 한다.

여기서, 생체 신호의 수치화란, 예컨대 호흡 센서(19)에 의해 측정되는 호흡 관련 신호가 입력되면, 생체신호 수치화 모듈(21)은 상기 입력 신호를 디지털 신호로 변환하여 현 호흡량 및 호흡수에 해당하는 수치를 산출하게 된다.

그리고, PPG 센서(13)에 의해 PPG 신호가 입력되면, 생체신호 수치화 모듈(21)은 상기 입력 신호로부터 R-R Peak를 검출하여 심박수를 산출하게 된다.

마찬가지로, 생체신호 수치화 모듈(21)은 GSR 센서(11)로부터 GSR 신호가 입력되면 해당 GSR 신호로부터 피부 전기전도도 수치를 산출하고, 피부온도 센서(15)로부터 온도 관련 신호가 입력되면 해당 입력 신호를 디지털 신호로 변환하여 운전자의 현 피부 온도를 산출하게 된다.

한편, 본 발명에서 사용하는 용어 운전자의 '정상 상태'란, 바람직하게는 운전자가 운전을 하고 있지 않은 비운전 상태를 지칭하나, 더 넓게는 운전자 운전을 시작한 후 미소한 시간(예컨대, 수분)이 경과하기 전 상태를 포함할 수 있다.

또한, 생체신호 수치화 모듈(21)은 운전자의 정상 상태서 측정되는 생체 신호를 기반으로 임계치를 추출하는 기능을 한다. 여기서, 임계치란 운전자의 졸음 상태, 피로도, 긴장 정도 등을 판단하기 위한 기준값 내지 문턱값으로서 특정 수치 또는 일정 범위로 설정될 수 있다. 이에 대한 자세한 내용은 후술하기로 한다.

본 발명의 생체신호변화 판단 모듈(23)은 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 다양한 생체 신호의 변화를 파악하여 변화값을 판단하고, 이에 따라 도출되는 변화값을 운전자상태 판단 모듈(25)과 통신 모듈(30)로 전송하는 기능을 한다.

본 발명의 운전자상태 판단 모듈(25)은 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 생체 신호를 전술한 임계치와 대비하는 처리를 통해 운전자의 현상태를 판단하는 기능을 한다.

구체적으로, 운전자상태 판단 모듈(25)은 호흡 센서(19)에 의해 측정되는 호흡 정보를 근거로 운전자의 졸음 상태를 판단하고, GSR 센서(11)에 의해 측정되는 피부 전기전도도 정보를 근거로 운전자의 긴장 정도를 판단하고, PPG 센서(13)에 의해 측정되는 심박수 변이도 정보를 근거로 운전자의 피로도를 판단하며, 피부온도 센서(15)에 의해 측정되는 온도 정보를 통해 운전자의 현 피부 온도를 제공하도록 구성된다.

이와 같이, 운전자상태 판단 모듈(25)이 센서 모듈(10)로부터 제공되는 다양한 생체 신호를 기반으로 운전자의 현 상태를 판단하기 위한 구체적인 알고리즘에 대해서는 후술하기로 한다.

본 발명의 통신 모듈(30)은 생체신호변화 판단 모듈(23)에 의해 도출되는 생체 신호 변화값을 전자제어유닛(ECU)(40)으로 전송하고, 운전자상태 판단 모듈(25)에 의해 처리되는 운전자 상태 정보를 전자제어유닛(ECU)(40)으로 송신하기 위한 구성으로서, 유선 또는 무선 통신 인터페이스(예컨대, CAN 통신)를 포함한다.

또한, 통신 모듈(30)은 전자제어유닛(ECU)(40)으로부터 현재 차량을 운전하는 운전자에 고유하게 할당된 식별정보와 같은 외부정보를 수신하여 운전자상태 판단 모듈 (25)에 전송하는 기능을 한다.

본 발명의 차량 운전자 상태 모니터링 시스템은 다수의 운전자 각각에 대하여 개별적으로 고유하게 측정하여 추출된 임계치 정보와, 상기 다수의 운전자 각각에 대하여 고유하게 할당되어 있는 식별정보를 저장하는 운전자 특성 저장부(50)를 더 포함할 수 있다.

상기 경우, 운전자상태 판단 모듈(25)은 임의의 운전자 탑승시 상기 탑승 운전자에게 고유한 식별정보를 차량의 전자제어유닛(ECU)(40)으로부터 제공받아 해당 식별정보 즉, 현 운전자에 매칭 저장되어 있는 임계치 정보를 불러와 이를 기준으로 전술한 운전자 상태 판단 업무를 처리하도록 구성된다.

본 발명의 전자제어유닛(ECU)(40)은 차량의 엔진, 자동변속기, ABS 따위의 상태를 컴퓨터로 제어하는 전자제어 장치로서, 특히 통신 모듈(30)을 통해 입력되는 생체 신호 내지 운전자 상태 정보에 따라, 차량에 탑재된 디스플레이부(60) 내지 경보부(61)를 제어하여 운전자에 제공할 수 있도록 구성된다.

본 발명의 디스플레이부(60)는 차량에 탑재되어 다양한 정보를 문자 또는 이미지 형태로 표시할 수 있는 구성으로서, 예컨대, 차량에 매립 또는 장착되어 있는 네비게이션 표시장치 또는 블랙박스 표시장치 등으로 구성될 수 있다.

본 발명의 경보부(61)는 운전자상태 판단 모듈(25)에 의해 판단된 운전자 상태가 사고를 유발할 수 있는 상태 예컨대, 졸음확률 증가상태, 졸음 상태, 스트레스 상태, 고피로도 상태, 저체온 상태일 경우, 이를 운전자에게 시각, 청각, 또는 촉각적으로 알려 운전자를 환기시키기 위한 구성에 해당한다.

일 실시예에 따르면, 경보부(61)는 전술한 디스플레이부(60)를 비롯하여 소정의 경고음을 출력할 수 있는 스피커, 또는 스티어링휠이나 운전석 시트에 장착되어 경고성 진동을 발생시킬 수 있는 진동소자 등으로 구성될 수 있다.

이하에서는, 센서 모듈(10)에 의해 측정되는 다양한 생체 신호를 기반으로 운전자의 현 상태를 판단하기 위한 알고리즘에 대해 상세히 설명하도록 한다.

도 4는 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 졸음 상태 판단을 위한 처리 흐름을 나타낸 블록 순서도이다.

도 4를 참조하여, 운전자의 졸음 상태 여부를 판단하기 위한 알고리즘을 설명하면 다음과 같다.

(1) 차량의 안전벨트(18)에 부착되어 있는 호흡 센서(19)를 통해 현 운전자의 정상 상태에서의 호흡 정보(즉, 운전자의 호흡에 따른 복부의 팽창 및 수축량)를 측정 및 수집한다(S10).

(2) 운전자의 정상 상태에서의 호흡 신호의 수집이 완료되면, 이를 디지털 신호로 변환하여 수치화한 후, 해당 운전자에 고유한 호흡수 임계치와 호흡량 임계치를 각각 추출(S111)하게 된다. 일 실시예에 따르면, 호흡수 임계치는 정상 상태에서 수집된 호흡 신호에서 단위 시간당 피크의 수로 산출할 수 있고, 호흡량은 정상 상태에서 수집된 측정 신호의 평균 피크로 산출할 수 있다.

(3) 운전자의 운전이 시작되면, 생체신호변화 판단 모듈(23)은 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 호흡 신호의 변화를 파악하여 변화값을 판단하고, 이에 따라 도출되는 변화값을 운전자상태 판단 모듈(25)과 통신 모듈(30)로 전송한다.

(4) 운전자상태 판단 모듈(25)은 생체신호변화 판단 모듈(23)로부터 입력되는 정보 즉, 운전 상태에서 실시간으로 측정되는 호흡 정보를 통해 해당 운전자가 졸음 확률 증가 상태에 있는지 졸음 확률 감소 상태에 있는지를 판단하게 된다(S12).

구체적으로, 운전 상태에서 실시간으로 측정되는 현재 호흡수가 호흡수 임계치보다 크고, 동시에 현재 호흡량이 호흡량 임계치보다 작을 경우 해당 운전자는 졸음 확률 증가 상태에 있는 것으로 판단한다.

만약, 운전 상태에서 실시간으로 측정되는 현재 호흡수가 호흡수 임계치보다 작거나 같고, 동시에 현재 호흡량이 호흡량 임계치보다 크거나 같을 경우 해당 운전자는 졸음 확률 감소 상태에 있는 것으로 판단한다(S13).

참고로, 상기에서는 운전 상태에서 실시간으로 측정되는 현재 호흡수가 호흡수 임계치와 같을 경우, 해당 운전자가 졸음 확률 감소 상태에 있는 것으로 설명 및 도시하였으나, 상기 경우 해당 운전자가 졸음 확률 증가 상태에 있는 것으로 구성할 수도 있음은 당연하다.

(5) 운전자상태 판단 모듈(25)은 상기 단계 'S12'의 판단 결과, 운전자가 현재 졸음 확률 증가 상태에 있는 것으로 결정되면, 다음과 같은 처리를 통해 졸음 상태를 판정하게 된다.

즉, 입력되는 현재 호흡수는 호흡수 임계치보다 크고, 현재 호흡량은 호흡량 임계치보다 작게 나오는 횟수 내지 변화가 설정 구간(예컨대, 일정 시간)동안 임계 횟수(예컨대, 3회)를 만족(S14)하는지 여부를 판단하고, 판단 결과 이를 만족할 경우 해당 운전자를 졸음 상태로 판정하게 된다(S15).

상기 경우, 운전자상태 판단 모듈(25)은 전술한 경보부(61)를 제어하여 운전자의 주의를 환기시킬 수 있도록 동작한다.

도 5는 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 긴장 정도 판단을 위한 처리 흐름을 나타낸 블록 순서도이다.

도 5를 참조하여, 운전자의 긴장 정도를 판단하기 위한 알고리즘을 설명하면 다음과 같다.

(1) 운전자의 손목에 착용되어 있는 GSR 센서(11)를 통해 현 운전자의 정상 상태에서의 GSR 신호 즉, 피부 전기전도도 정보를 측정 및 수집한다(S20).

(2) 운전자의 정상 상태에서의 GSR 신호의 수집이 완료되면, 이를 디지털 신호로 변환하여 수치화한 후, 해당 운전자에 고유한 피부 전기전도도 임계치를 추출 (S21)하게 된다.

(3) 운전자의 운전이 시작되면, 생체신호변화 판단 모듈(23)은 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 GSR 신호의 변화를 파악하여 변화값을 판단하고, 이에 따라 도출되는 변화값을 운전자상태 판단 모듈(25)과 통신 모듈(30)로 전송한다.

(4) 운전자상태 판단 모듈(25)은 생체신호변화 판단 모듈(23)로부터 입력되는 정보 즉, 운전 상태에서 실시간으로 측정되는 피부 전기전도도 정보를 통해 해당 운전자의 스트레스 내지 긴장 정도를 판단하게 된다(S22,S24,S26).

구체적으로, 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 피부 전기전도도 임계치보다 크거나 같을 경우에는 스트레스 상태로 판단(S23)하고, 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 전기전도도 임계치보다 작을 경우에는 측정되는 피부 전기전도도의 기울기를 이용하여 긴장 정도를 판단(S24,S26)하게 된다.

긴장 정도의 판단에 대해 설명하면 다음과 같다. 운전 중 측정되는 피부 전기전도도의 기울기가 제1 피부 전기전도도 기울기 임계치보다 크면 흥분 상태(S25)로 판단하고, 제2 피부 전기전도도 기울기 임계치보다 작거나 같으면 이완 상태 (S27)로 판단하며, 기울기 변화가 없을 경우 정상 상태로 판단한다.

여기서, 제1 피부 전기전도도 기울기 임계치는 흥분 상태에서 나타나는 피부 전기전도도 기울기의 평균치로 설정할 수 있고, 제2 피부 전기전도도 기울기 임계치는 이완 상태에서 나타나는 피부 전기전도도 기울기의 평균치로 설정할 수 있다.

그리고, 전술한 단계를 통해 도출되는 스트레스 또는 간장 정도는 디스플레이부(60) 또는 경보부(61)를 통해 운전자에게 제공될 수 있다.

도 6은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 피로도 판단을 위한 처리 흐름을 나타낸 블록 순서도이다.

도 6을 참조하여, 운전자의 피로도를 판단하기 위한 알고리즘을 설명하면 다음과 같다.

(1) 운전자의 손목에 착용되어 있는 PPG 센서(13)를 통해 운전자의 현재 PPG 신호 즉, 심박수 정보를 실시간 측정한다(S30).

(2) 생체신호변화 판단 모듈(23)은 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 PPG 신호의 변화를 파악하여 변화값을 판단하고, 이에 따라 도출되는 변화값을 운전자상태 판단 모듈(25)과 통신 모듈(30)로 전송한다.

(3) 운전자상태 판단 모듈(25)은 생체신호변화 판단 모듈(23)로부터 입력되는 정보 즉, PPG 신호를 이용하여 R-R 간격(Interval)을 계산하여 해당 운전자의 심박수 변이도(Heart Rate Variation; HRV)를 추출하게 된다(S32).

그리고, 운전자상태 판단 모듈(25)은 시간영역 분석법(SDNN, RMSSD, pNN50) 및 주파수영역 분석법(LF/HF Ratio)을 통한 심박수 변이도(HRV)를 분석(S32)하여 해당 운전자의 피로도를 판단(S33)하게 된다.

그리고, 전술한 단계를 통해 도출되는 피로도는 디스플레이부(60) 또는 경보부(61)를 통해 운전자에게 제공될 수 있다.

도 7은 본 발명에 따른 차량 운전자 상태 모니터링 시스템의 디스플레이부에 표시되는 운전자 상태 정보의 일 실시예이다.

본 발명에 따른 차량 운전자 상태 모니터링 시스템에 의하면, 운전자의 현 생체 상태에 대한 정보 즉, 졸음 상태, 심박수, 피로도, 스트레스, 긴장 정도, 피부 온도 등을 모니터링할 수 있으며, 이러한 생체 상태 정보는 차량에 탑재된 디스플레이부(60)를 통해 도 7과 같이 시청각적으로 표시 제공될 수 있다.

한편, 상기에서 설명 및 도시한 본 발명의 차량 운전자 상태 모니터링 시스템은 기능상 다수의 모듈(21,23,25)로 분류하여 설명하였으나, 이러한 각 모듈 구성들은 하나의 통합 모듈(20) 즉, 하나의 인쇄회로기판 상에 실장되어 전술한 각 모듈의 기능을 시계열적으로 처리하는 다수의 회로부 및 중앙처리장치를 포함하는 형태로 구성될 수 있음은 물론이다.

본 발명의 차량 운전자 상태 모니터링 시스템은 센서 모듈(10)로부터 입력되는 다양한 생체 신호를 융합한 통합 인식 알고리즘을 구현할 수 있는데, 이러한 생체 신호 통합 알고리즘으로써 분류기 앙상블(Classifier Ensemble) 알고리즘을 사용할 수 있다.

상기 경우, 재샘플링(Adaboost) 기법을 이용하여 각 분류기별 신뢰도를 출력하고, Class Count는 M=3(Level 1: Normal / Level 2: Drowsy / Level 3: Sleep), 그리고 호흡 센서(19), PPG 센서(13), GSR 센서(11), 피부온도 센서(15) 알고리즘에 따른 운전자 상태 판별 분류기 적용에 의해 Classifier T=4로 구성될 수 있다.

그리고, 가중다수투표(Weighted Majority Voting) 기법으로 앙상블 결합 (Classifier Ensemble Combinaton)을 실시함으로써 다수 센서 융합 알고리즘을 구현하고, 이에 의해 운전자의 다양한 생체 상태를 종합적으로 모니터링할 수 있게 된다.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

10: 센서 모듈 10a: 밴드 타입 센서모듈
10b: 안전벨트 타입 센서 모듈 11: GSR 센서
13: PPG 센서 15: 피부온도 센서
17: 밴드 18: 안전벨트
19: 호흡 센서 20: 통합 모듈
21: 생체신호 수치화 모듈 23: 생체신호변화 판단 모듈
25: 운전자상태 판단 모듈 30: 통신 모듈
50: 운전자 특성 저장부

Claims

운전자의 심박수, 호흡 정보, 피부 전기전도도, 피부 온도 중에서 선택된 적어도 복수 개의 생체 신호를 측정하기 위한 센서 모듈;
상기 센서 모듈에 의해 측정되는 생체 신호를 수치화하고, 상기 운전자의 비운전 상태 또는 운전을 시작한 후 소정 시간이 경과하기 전 상태(이하, '정상 상태'라 통칭함)에서 측정되는 생체 신호를 기반으로 임계치를 추출하는 생체신호 수치화 모듈; 및
상기 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 생체 신호를 상기 임계치와 대비하는 처리를 통해 상기 운전자의 현상태를 판단하는 운전자상태 판단 모듈을 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
차량의 안전벨트에 부착되어 상기 운전자의 호흡수 및 호흡량을 측정하기 위한 호흡 센서를 포함하는 상기 센서 모듈;
상기 운전자의 정상 상태에서 상기 호흡 센서로부터 입력되는 호흡 신호를 기반으로 상기 정상 상태에서의 호흡수 임계치와 호흡량 임계치를 각각 추출하는 상기 생체신호 수치화 모듈; 및
상기 운전 상태에서 실시간으로 측정되는 현재 호흡수가 상기 호흡수 임계치보다 크고, 현재 호흡량이 상기 호흡량 임계치보다 작을 경우 졸음 확률 증가 상태로 판단하는 상기 운전자상태 판단 모듈로 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제2 항에 있어서,
상기 운전자상태 판단 모듈은, 상기 현재 호흡수가 상기 호흡수 임계치보다 크고 상기 현재 호흡량이 상기 호흡량 임계치보다 작게 나오는 횟수가 임계 횟수를 만족할 경우 졸음 상태로 판단하는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
상기 운전자의 손목에 착용 가능하게 구성된 밴드; 및 상기 밴드에 부착되어 상기 운전자의 피부 전기전도도를 측정하는 GSR 센서를 포함하는 상기 센서 모듈;
상기 운전자의 정상 상태에서 상기 GSR 센서로부터 입력되는 GSR 신호를 기반으로 상기 정상 상태에서의 피부 전기전도도 임계치를 추출하는 상기 생체신호 수치화 모듈; 및
상기 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 상기 피부 전기전도도 임계치보다 클 경우에는 스트레스 상태로 판단하고, 상기 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 상기 피부 전기전도도 임계치보다 작을 경우에는 상기 피부 전기전도도의 기울기가 제1 기울기 임계치보다 크면 흥분 상태로 판단하고, 제2 기울기 임계치보다 작으면 이완 상태로 판단하는 상기 운전자상태 판단 모듈로 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
상기 운전자의 손목에 착용 가능하게 구성된 밴드; 및 상기 밴드에 부착되어 상기 운전자의 현 심박수를 측정하는 PPG 센서를 포함하는 상기 센서 모듈;
상기 PPG 센서로부터 입력되는 PPG 신호 이용하여 R-R 간격(Interval)을 계산하여 상기 운전자의 심박수 변이도(HRV)를 추출하는 상기 생체신호 수치화 모듈; 및
시간영역 분석법 또는 주파수영역 분석법을 이용하여, 상기 운전 상태에서 실시간으로 측정되는 심박수 변이도(HRV)를 분석하여 상기 운전자의 피로도를 판단하는 상기 운전자상태 판단 모듈로 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
상기 센서 모듈은 상기 운전자의 손목에 착용 가능하게 구성된 밴드; 및 상기 밴드에 부착되어 상기 운전자의 피부 온도를 측정하는 피부온도 센서를 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
다수의 운전자 각각에 대하여 고유하게 측정하여 추출된 상기 임계치 정보와; 상기 다수의 운전자 각각에 대하여 고유하게 할당되어 있는 식별정보를 저장하는 운전자 특성 저장부를 더 포함하고,
상기 운전자상태 판단 모듈은 임의의 운전자 탑승시 상기 탑승 운전자에게 고유한 식별정보를 차량의 전자제어유닛(ECU)으로부터 제공받아 해당 식별정보에 매칭되어 있는 임계치 정보를 불러와 상기 대비하는 처리를 수행하도록 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
제1 항에 있어서,
상기 운전자상태 판단 모듈에 의해 판단되는 운전자의 현상태 정보를 차량의 전자제어유닛(ECU)으로 전송하기 위한 통신 모듈을 더 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 시스템.
센서 모듈을 통해 운전자의 심박수, 호흡 정보, 피부 전기전도도, 피부 온도 중에서 선택된 적어도 복수 개의 생체 신호를 측정하는 제1 단계;
상기 센서 모듈에 의해 측정되는 생체 신호를 수치화하고, 상기 운전자의 비운전 상태 또는 운전을 시작한 후 소정 시간이 경과하기 전 상태(이하, '정상 상태'라 통칭함)에서 측정되는 생체 신호를 기반으로 임계치를 추출하는 제2 단계;
상기 운전자의 운전 상태에서 실시간으로 측정되어 수치화되는 생체 신호를 상기 임계치와 대비하는 처리를 통해 상기 운전자의 현상태를 판단하는 제3 단계를 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 방법.
제9 항에 있어서,
차량의 안전벨트에 부착되는 호흡 센서를 포함하는 상기 센서 모듈을 통해 상기 운전자의 호흡수 및 호흡량을 측정하는 상기 제1 단계;
상기 운전자의 정상 상태에서 상기 호흡 센서로부터 입력되는 호흡 신호를 기반으로 상기 정상 상태에서의 호흡수 임계치와 호흡량 임계치를 각각 추출하는 상기 제2 단계; 및
상기 운전 상태에서 실시간으로 측정되는 현재 호흡수가 상기 호흡수 임계치보다 크고, 현재 호흡량이 상기 호흡량 임계치보다 작을 경우 졸음 확률 증가 상태로 판단하는 상기 제3 단계로 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 방법.
제10 항에 있어서,
상기 현재 호흡수가 상기 호흡수 임계치보다 크고, 상기 현재 호흡량이 상기 호흡량 임계치보다 작게 나오는 횟수가 임계 횟수를 만족할 경우 졸음 상태로 판단하는 제4 단계를 더 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 방법.
제9 항에 있어서,
상기 운전자의 손목에 착용 가능하게 구성된 밴드에 부착되는 GSR 센서를 포함하는 상기 센서 모듈을 통해 상기 운전자의 피부 전기전도도를 측정하는 상기 제1 단계;
상기 운전자의 정상 상태에서 상기 GSR 센서로부터 입력되는 GSR 신호를 기반으로 상기 정상 상태에서의 피부 전기전도도 임계치를 추출하는 상기 제2 단계; 및
상기 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 상기 피부 전기전도도 임계치보다 클 경우에는 스트레스 상태로 판단하고, 상기 운전 상태에서 실시간으로 측정되는 피부 전기전도도가 상기 피부 전기전도도 임계치보다 작을 경우에는 상기 피부 전기전도도의 기울기가 제1 피부 전기전도도 기울기 임계치보다 크면 흥분 상태로 판단하고, 제2 피부 전기전도도 기울기 임계치보다 작으면 이완 상태로 판단하는 상기 제3 단계로 구성되는 것을 특징으로 하는 차량 운전자 상태 모니터링 방법.
제9 항에 있어서,
상기 제1 단계는, 상기 운전자의 손목에 착용 가능하게 구성된 밴드에 부착되는 PPG 센서를 포함하는 상기 센서 모듈을 통해 상기 운전자의 현 심박수를 측정하고,
상기 PPG 센서로부터 입력되는 PPG 신호 이용하여 R-R 간격(Interval)을 계산하여 상기 운전자의 심박수 변이도(HRV)를 추출하는 제4 단계; 및 시간영역 분석법 또는 주파수영역 분석법을 이용하여, 상기 운전 상태에서 실시간으로 측정되는 심박수 변이도(HRV)를 분석하여 상기 운전자의 피로도를 판단하는 제5 단계를 더 포함하는 것을 특징으로 하는 차량 운전자 상태 모니터링 방법.