KR102154999B1

KR102154999B1 - 운전자 졸음 감지 시스템 및 그 방법

Info

Publication number: KR102154999B1
Application number: KR1020190040374A
Authority: KR
Inventors: 신미영; 이현정
Original assignee: 경북대학교 산학협력단
Priority date: 2019-04-05
Filing date: 2019-04-05
Publication date: 2020-09-11

Abstract

본 발명의 운전자 졸음 감지 시스템은 RRI(R-R peak Interval)를 산출하는 감지부, 상기 RRI 값을 리커런스 플롯(Recurrence Plot)을 사용하여 이미지로 변환하는 변환부 및 상기 이미지를 통하여 운전자의 상태를 판단하는 판단부를 포함한다.
본 발명에 따르면, ReLU-RP 등을 사용하여 웨어러블 장비를 사용하여도 정확하게 사용자의 졸음 여부를 판단할 수 있는 효과가 있다.

Description

운전자 졸음 감지 시스템 및 그 방법{System for detecting drowsiness of driver and method thereof}

본 발명은 운전자 졸음 감지 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 차량 운전자의 졸음상태를 정확하게 모니터하고 경고하여, 졸음운전에 의한 차량사고를 예방하기 위한 운전자 졸음 감지 시스템 및 그 방법에 관한 것이다.

졸음 운전은 교통사고의 중요한 원인으로, 치명적인 교통사고의 36%, 전체 교통사고의 43 ~ 54%가 졸음 운전으로 인한 것이다. 따라서, 운전자의 졸음을 감지하여 운전자에게 경고음을 발생하는 시스템은 교통 사고를 줄일 수 있는 매우 중요한 기술이다.

지금까지 운전 중 졸음(Drowsiness)을 감지하는 기술에 대한 연구는 대부분 졸음상태에 들어섰을 때 비교적 큰 변화를 보이는 뇌파(Electroencephalogram, EEG), 눈꺼풀 개폐시간(Blinking Duration) 또는 머리가 숙여지는 정도 등을 중심으로 진행되어 왔다.

종래 기술인 대한민국 등록특허 제10-0209610호는 EEG 신호를 이용한 졸음 방지 장치를 개시하고 있으나, EEG 및 심박수를 감지하는 센서류의 장착은 운전자가 피관리의식을 받게 되어 민감해질 수 있다는 문제가 있다. 따라서, 운전자가 의식하지 않는 상황에서 졸음을 감지할 수 있는 방법이 필요하다.

종래 기술인 대한민국 등록특허 제10-0291378호는 운전자의 눈이 닫혀진 상태로 있는지를 검출하고 눈이 닫혀진 상태의 지속 시간을 이용하여 졸음을 감지하고 있다. 다만, 이는 다른 장애물에 의해 눈이 가려지는 등의 장애가 발생할 수 있는 단점이 있다.

대한민국 등록특허 제10-0209610호 (1999.04.22. 등록). 대한민국 등록특허 제10-0291378호 (1997.11.07. 등록).

상술한 문제를 해결하고자 하는 본 발명의 과제는 간단한 장치와 프로세스로 차량 운전자의 졸음 상태를 정확히 모니터 할 수 있을 뿐만 아니라, 운전자가 차량 운전에 위험한 상태에 빠지기 전에 운전자의 상태를 미리 파악하여 졸음운전에 의한 차량 사고를 예방할 수 있는 운전자 졸음 감지 시스템 및 그 방법을 제공하는 데 있다.

상술한 과제를 해결하기 위하여, 본 발명은 RRI(R-R peak Interval)를 산출하는 감지부, 상기 RRI 값을 리커런스 플롯(Recurrence Plot)을 사용하여 이미지로 변환하는 변환부 및 상기 이미지를 통하여 운전자의 상태를 판단하는 판단부를 포함할 수 있다.

상기 감지부는 ECG(electrocardiogram) 센서 또는 PPG(photoplethysmogram) 센서를 포함할 수 있다.

상기 변환부는 상기 RRI 값을 Bin-RP(a Binarized Recurrence Plot), Cont-RP(a Continuos Recurrence Plot) 및 ReLU-RP(a Rectified Linear Unit Recurrence Plot)으로 이루어진 군으로부터 선택되는 어느 하나를 사용하여 이미지로 변환할 수 있다.

상기 ReLU-RP에 사용되는 Rectified Linear Unit 함수는 상기 함수에 입력되는 입력값이 임계값 미만이면 0으로 나타내고, 상기 입력값이 상기 임계값 이상이면 해당 입력값을 사용할 수 있다.

상기 임계값은 0.075 이상 0.33이하일 수 있다.

상기 판단부는 상기 Bin-RP를 사용하여 변환된 이미지를 RQA(Recurrence Quantification Analysis)를 사용하여 정량화할 수 있다.

상기 판단부는 상기 변환된 이미지를 CNN(a Convolutional Neural Network)에 적용하여 운전자의 졸음 여부를 판단할 수 있다.

상술한 과제를 해결하기 위하여, 본 발명은 RRI를 산출하는 단계, 상기 RRI 값을 리커런스 플롯을 사용하여 이미지로 변환하는 단계 및 상기 이미지를 통하여 운전자의 상태를 판단하는 단계를 포함할 수 있다.

상기 산출하는 단계는 ECG 센서 또는 PPG 센서를 사용하여 RRI를 산출할 수 있다.

상기 변환하는 단계는 상기 RRI 값을 Bin-RP, Cont-RP 및 ReLU-RP으로 이루어진 군으로부터 선택되는 어느 하나를 사용하여 이미지로 변환할 수 있다.

상기 임계값은 0.075 이상 0.33이하일 수 있다.

상기 판단하는 단계는 상기 Bin-RP를 사용하여 변환된 이미지를 RQA를 사용하여 분류할 수 있다.

상기 판단하는 단계는 상기 변환된 이미지를 CNN에 적용하여 운전자의 졸음 여부를 판단할 수 있다.

이처럼 본 발명은 간단한 장치와 프로세스로 운전자의 졸음 상태를 정확히 모니터하여 운전자가 차량 운전에 위험한 상태에 빠지기 전에 운전자의 상태를 미리 파악하여 경고할 수 있고, 이로써 졸음운전에 의한 차량 사고를 방지 또는 예방할 수 있는 효과가 있다.

또한, 본 발명은 ReLU-RP 등을 사용하여, 웨어러블 장비를 사용하여도 정확하게 사용자의 졸음 여부를 판단할 수 있는 효과가 있다.

도 1은 운전자 졸음 감지 시스템을 나타낸 도면이다.
도 2는 운전자 졸음 감지 시스템의 감지부를 나타낸 도면이다.
도 3은 운전자 졸음 감지 시스템의 변환부를 나타낸 도면이다.
도 4는 운전자 졸음 감지 시스템의 판단부를 나타낸 도면이다.
도 5는 운전자 졸음 감지 방법을 나타낸 도면이다.
도 6은 운전자 졸음 감지 방법의 전체적인 프로세스를 나타낸 도면이다.
도 7(a)는 실험자를 대상으로 실험하고 있는 사진이다.
도 7(b)는 실험자의 ECG 및 PPG를 측정하기 위한 웨어러블 장치 사진이다.
도 8(a)는 Bin-RP에 따른 리커런스 패턴의 예시도이다.
도 8(b)는 Cont-RP에 따른 리커런스 패턴의 예시도이다.
도 8(c)는 ReLU-RP에 따른 리커런스 패턴의 예시도이다.
도 9(a)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 Bin-RP에 따라 나타낸 도면이다.
도 9(b)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 Cont-RP에 따라 나타낸 도면이다.
도 9(c)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 ReLU-RP에 따라 나타낸 도면이다.
도 10(a)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 Bin-RP에 따라 나타낸 도면이다.
도 10(b)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 Cont-RP에 따라 나타낸 도면이다.
도 10(c)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 ReLU-RP에 따라 나타낸 도면이다.
도 11(a)는 졸린 상태에서의 ECG 신호와, 서로 다른 임계값들로부터 다양한 ReLU-RP를 나타낸 도면이다.
도 11(b)는 깨어있는 상태에서의 ECG 신호와, 서로 다른 임계값들로부터 다양한 ReLU-RP를 나타낸 도면이다.
도 12은 ECG를 이용하여 Bin-RP, Cont-RP 및 ReLU-RP의 졸음 감시 성능을 비교한 도면이다.
도 13는 PPG를 이용하여 Bin-RP, Cont-RP 및 ReLU-RP의 졸음 감시 성능을 비교한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에서 사용되는 “부” 또는 “부분” 등의 일부분을 나타내는 표현은 해당 구성요소가 특정 기능을 포함할 수 있는 장치, 특정 기능을 포함할 수 있는 소프트웨어, 또는 특정 기능을 포함할 수 있는 장치 및 소프트웨어의 결합을 나타낼 수 있음을 의미하나, 꼭 표현된 기능에 한정된다고 할 수는 없으며, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시 예에 따른, 운전자 졸음 감지 시스템에 관하여 상세히 설명하면 다음과 같다.

심전도(electrocardiogram, ECG)는 정해진 시간에 심장의 전기적 활동을 해석하는 것이다. 심전도는 피부에 부착된 전극과 신체 외부의 장비에 의해 기록된다. 기록은 이렇게 몸에 침투하지 않는 장비로 만들어지며 이 과정에 대한 용어를 심전도라고 한다. 심전도 기록은 심장의 전기적 활동에 대한 기록이다.

RRI(R-R peak Interval)는 심전도에서 R에서 다음의 R까지의 간격을 말하며 심박수 평가에 주로 사용된다. 심전도 파형(PQRST) 중에서 R은 심방이 흥분하는 경우에 발생하는 파형을 말한다. RRI가 주로 사용되는 이유는 R은 심전도 파형 중 가장 큰 전압변화를 보이기 때문에 관찰하기 용이하기 때문이나, 심전도 파형 중 다른 파형이 사용될 수도 있다. 본 발명의 권리범위는 이에 한정되지 않는다.

도 1은 본 발명의 일 실시 예에 따른 운전자 졸음 감지 시스템을 나타낸 도면이다.

도 1에 따르면, 본 발명은 RRI(R-R peak Interval)를 산출하는 감지부(100), 감지부(100)에서 산출된 RRI 값을 리커런스 플롯(Recurrence Plot)을 사용하여 이미지로 변환하는 변환부(200), 변환된 이미지를 통하여 운전자의 상태를 판단하는 판단부(300)를 포함할 수 있다.

감지부(100)는 ECG(electrocardiogram) 또는 PPG(photoplethysmogram)로부터 심박변이도(heart rate variability, HRV)를 측정하고, 상기 심박변이도에서 RRI를 산출할 수 있다. 다만, RRI는 심박변이도로부터 산출될 수 있을 뿐만 아니라, ECG 또는 PPG로부터 곧바로 산출될 수도 있다.

심박변이도는 임상에서 일반적으로 사용되고 있는 분당 평균 심박동수와 다르게 RRI 사이의 변화 추이를 정량화한 것으로서, 심전도 신호에서 RRI를 시계열 신호로 변환하여 시간축에 재배열한 신호이다.

감지부(100)는 심박변이도가 RRI의 특성을 포함하고 있는 점을 이용하여, 상기 심박변이도로부터 RRI를 역으로 산출할 수 있다. 다만, 본 발명에 있어서 RRI를 산출하는 방법은 이에 한정되지 않는다고 할 것이다.

또한, 본 발명의 일 실시예에 따른 운전자 졸음 감지 시스템은, 상기 구성들에 의하여 운전자가 졸음 상태라고 판단되면, 운전자에게 경고를 하는 경고부(미도시)를 더 포함할 수 있다. 경고부(미도시)는 시각적, 청각적 경고 등을 모두 포함하는 개념으로서, 운전자를 졸음 상태에서 벗어나도록 하는 모든 수단을 의미할 수 있다.

리커런스 플롯(Recurrence Plot, RP)은 반복 플롯을 말하며, 위상 공간을 통한 궤적의 주기적 성질을 시각화하는 방법을 말한다.

도 2는 본 발명의 일 실시 예에 따른 운전자 졸음 감지 시스템의 감지부를 나타낸 도면이다.

도 2에 따르면, 감지부(100)는 ECG(electrocardiogram) 센서 또는 PPG(photoplethysmogram) 센서를 포함할 수 있다.

ECG 센서 또는 PPG 센서는 웨어러블 장치에 포함될 수 있다. ECG 센서 또는 PPG 센서는 심전도와 관련된 다른 센서들에 비하여 크기가 작고 비용이 저렴하며 상대적으로 쉽게 심전도와 관련된 신호를 측정할 수 있다는 장점이 있다.

도 3은 본 발명의 일 실시 예에 따른 운전자 졸음 감지 시스템의 변환부를 나타낸 도면이다.

도 3에 따르면, 변환부(200)는 상기 RRI 값을 Bin-RP(a Binarized Recurrence Plot), Cont-RP(a Continuos Recurrence Plot) 및 ReLU-RP(a Rectified Linear Unit Recurrence Plot)으로 이루어진 군으로부터 선택되는 어느 하나를 사용하여 이미지로 변환할 수 있다.

상기 Bin-RP(a Binarized Recurrence Plot)는 미리 지정된 임계값보다 작은 값을 갖는 셀(cell)은 1로 표시되고, 다른 셀은 0으로 표시되는 리커런스 플롯(Recurrence Plot)을 말한다.

상기 Cont-RP(a Continuos Recurrence Plot)는 각 셀(cell)이 위상 공간에서 두 상태 사이의 실제 거리를 나타내는 비임계 리커런스 플롯을 말한다.

상기 ReLU-RP(a Rectified Linear Unit Recurrence Plot)는 수정된 ReLU(rectified linear unit) 함수로서 상기 Cont-RP를 필터링하여 얻을 수 있는 새로운 리커런스 플롯을 말한다.

상기 ReLU-RP(a Rectified Linear Unit Recurrence Plot)의 각 셀(cell) R_i,j는 다음과 같은 Rectified Linear Unit 함수(이하, 수학식 1)를 사용하여 결정될 수 있다.

상기 수학식 1은, 입력값이 임계값 미만이면 0으로 나타내고, 입력값이 임계값 이상이면 해당 입력값을 그대로 사용할 수 있다. 이때, 상기 D는 위상공간에서 두 상태(state)의 좌표값인 si와 sj 사이의 거리(distance)이며, ε은 미리 지정된 임계값을 의미할 수 있다. 임계값은 상황에 따라 달라질 수 있다.

다만, 임계값이 너무 크면 상기 ReLU-RP의 대부분의 셀(cell)이 0으로 변환되어 Cont-RP로부터 너무 많은 정보가 손실된다. 그에 비하여, 임계값이 너무 작을 경우, 결과적으로 ReLU-RP는 Cont-RP와 유사해질 수 있다. 이하, 상세히 서술할 [실험례]에서는, 상기 임계값이 0.075 이상 0.33이하인 경우에 최고의 성능이 관찰된다.

도 4는 본 발명의 일 실시 예에 따른 운전자 졸음 감지 시스템의 판단부를 나타낸 도면이다.

도 4에 따르면, 판단부(300)는 상기 Bin-RP를 사용하여 변환된 이미지를 RQA(Recurrence Quantification Analysis)를 사용하여 정량화할 수 있다.

상기 RQA(Recurrence Quantification Analysis)는 리커런스 플롯의 구조를 정량화하기 위한 분석 방법을 의미할 수 있다. 다만, 상기 RQA는 시간의 경과에 따른 다양한 변화를 완전히 나타내지 못한다는 단점이 존재한다. 한편, 상기 RQA는 수면 단계 분류, 수면 무호흡 등을 살피기 위하여 사용될 수 있다.

상기 RQA는 REC(recurrence), DET(determinism), Ratio, Lmax(longest diagonal size), Lmean(average diagonal length), DIV(divergence), Vmax(maximum vertical line length), Vmean(average vertical line length), LAM(laminarity) 및 ENTR(entropy) 등의 특징(feature)을 포함할 수 있다. 따라서 RQA는 위의 특징들을 수치화하고 분석하여 운전자의 졸음 상태와 깨어있는 상태의 차이점을 분석할 수 있다.

판단부(300)는 상기 RQA로 정량화된 수치를 LR(Logistic Regression), KNN(K-Nearest Neighbor), SVM(Support Vector Machine) 및 RF(Random Forest)로 이루어진 군으로부터 선택되는 어느 하나 이상으로 분류하여 운전자의 졸음 여부를 판단할 수 있다.

상기 LR(Logistic Regression, 선형 회기분석)은 분류(classification)에 사용되는 알고리즘을 말한다. LR은 주어진 데이터를 대표하는 하나의 직선을 찾는 것으로서 상기 직선을 회귀선이라고 부르고 이 선을 함수로 표현한 것을 회기식이라고 한다. 이때, 주어진 데이터를 대표하는 기준에 따라 회기선이 달라질 수 있다.

상기 KNN(K-Nearest Neighbor, K-최근접 이웃)은 분류에 사용되는 알고리즘을 말한다. 학습 데이터셋에서 가장 가까운 하나의 이미지만을 찾는 것이 아니라, 가장 가까운 k개의 이미지를 찾는 것이다. 이 경우, k는 자연수인 것이 바람직하며, 상황에 따라 k 값을 다양하게 선택할 수 있다.

상기 SVM(Support Vector Machine, 서포트 벡터 머신)은 분류에 사용되는 알고리즘을 말한다. 주로 패턴 인식, 자료 분석을 위하여 사용된다.

상기 RF(Random Forest, 랜덤 포레스트)는 분류에 사용되는 알고리즘을 말한다. 특히, 다수의 결정 트리(tree)들을 학습하는 앙상블 방법이다.

판단부(300)는 상기 변환된 이미지를 CNN(Convolutional Neural Network)에 적용하여 운전자의 졸음 여부를 판단할 수도 있다.

상기 CNN은 심층 신경망(DNN: Deep Neural Network)의 한 종류로, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망을 의미한다. CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 또 다른 일 실시 예에 따른, 운전자 졸음 감지 방법에 관하여 상세히 설명하면 다음과 같다.

도 5는 본 발명의 또 다른 실시 예에 따른 운전자 졸음 감지 방법을 나타낸 도면이며, 도 6은 본 발명의 또 다른 일 실시 예에 따른 운전자 졸음 감지 방법의 전체적인 프로세스를 나타낸 도면이다.

도 5에 따르면, 본 발명은 RRI를 산출하는 단계(S100), 상기 RRI 값을 리커런스 플롯을 사용하여 이미지로 변환하는 단계(S200) 및 상기 이미지를 통하여 운전자의 상태를 판단하는 단계(S300)를 포함할 수 있다.

상기 산출하는 단계(S100)는 ECG 센서 또는 PPG 센서를 사용하여 RRI를 산출할 수 있다.

상기 산출하는 단계(S100)는 ECG 또는 PPG로부터 심박변이도를 측정하고, 상기 심박변이도에서 RRI를 산출할 수 있다. 다만, RRI는 심박변이도로부터 산출될 수 있을 뿐만 아니라, ECG 또는 PPG로부터 곧바로 산출될 수도 있다. 다만, 본 발명의 권리범위는 이에 한정되지 않는다.

상기 변환하는 단계(S200)는 상기 RRI 값을 Bin-RP, Cont-RP 및 ReLU-RP으로 이루어진 군으로부터 선택되는 어느 하나를 사용하여 이미지로 변환할 수 있다.

상기 ReLU-RP에 사용되는 Rectified Linear Unit 함수는 상기 함수에 입력되는 입력값이 임계값 미만이면 0으로 나타내고, 상기 입력값이 상기 임계값 이상이면 해당 입력값을 그대로 사용할 수 있다.

상기 임계값은 0.075 이상 0.33이하인 것이 바람직하다.

상기 판단하는 단계(S300)는 상기 Bin-RP를 사용하여 변환된 이미지를 RQA(Recurrence Quantification Analysis)를 사용하여 분류할 수 있다.

상기 판단하는 단계(S300)는 상기 RQA로 정량화된 수치를 LR(Logistic Regression), KNN(K-Nearest Neighbor), SVM (Support Vector Machine) 및 RF(Random Forest)로 이루어진 군으로부터 선택되는 어느 하나에 적용하여 운전자의 졸음 여부를 판단할 수 있다.

상기 판단하는 단계(S300)는 상기 변환된 이미지를 CNN(a Convolutional Neural Network)에 적용하여 운전자의 졸음 여부를 판단할 수 있다.

이하, 본 발명에 대한 구체적인 실험례 를 살펴본다.

도 7(a)는 운전 시뮬레이션 환경에서 실험자를 대상으로 실험하고 있는 사진이며, 도 7(b)는 HRV(Heart Rate Variability)를 측정하기 위한 장치로서 POLAR H7 스트랩(왼쪽)과 마이크로소프트 BAND 2(오른쪽)이다.

좀 더 정확한 실험을 위하여, RRI 측정 결과를 리샘플링하여 1Hz로 조절하고 소음 제거 처리를 거치는 등의 사전 처리 과정을 더 포함할 수 있고, 수많은 표본을 활용할 수 있으나, 자세한 설명은 생략하도록 한다.

도 8(a)는 Bin-RP에 따른 리커런스 패턴(Recurrence Pattern)의 예시도이며, 도 8(b)는 Cont-RP에 따른 리커런스 패턴의 예시도이고, 도 8(c)는 ReLU-RP에 따른 리커런스 패턴의 예시도이다.

결과적으로, Bin-RP는 대각선으로 표현되는 리커런스 패턴에 초점을 맞추며, ReLU-RP는 Bin-RP와 Cont-RP에서 강조되지 않았던 리커런스 패턴이 시각화됨을 알 수 있다.

이상과 같은 조건으로, ECG 및 PPG를 이용하여 운전자의 졸음 상태를 감지하는 실험을 진행하였고, 도 9 내지 도 13과 같은 결과가 도출되었다.

도 9(a)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 Bin-RP에 따라 나타낸 도면이며, 도 9(b)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 Cont-RP에 따라 나타낸 도면이고, 도 9(c)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 ECG 신호를 ReLU-RP에 따라 나타낸 도면이다.

도 9에 따르면, ReLU-RPs는 Cont-RP의 수직(또는 수평) 선 패턴을 강조하는데, 이는 특정 시간 동안 상태가 매우 느리게 변경되거나 변경되지 않음을 나타낸다. 실제로 이러한 징후는 졸린 샘플보다 깨어 있는 샘플의 ReLU-RPs에서 더 분명하게 나타나는데, 이를 통하여 깨어 있는 샘플에서는 RRI의 전반적인 추세가 거의 바뀌지 않았지만 졸린 샘플에서는 시간이 지남에 따라 RRI의 전반적인 추세가 크게 변화했음을 확인할 수 있다.

도 9에 따르면, 졸음 상태의 ReLU-RP는 수직(또는 수평) 라인의 짧은 길이를 나타내고, 깨어 있는 상태의 ReLU-RP는 수직(또는 수평) 라인의 긴 길이를 나타낸다. 이는 Bin-RPs보다 두 상태 사이의 구별성을 더 잘 보여주는 결과를 낳는다.

도 9에 따르면, Cont-RPs가 ReLU-RPs보다 더 많은 정보를 가지고 있다고 하더라도, 그러한 정보들이 졸음과 깨어 있는 상태를 구별하는 데 도움이 되지 않는 것으로 보인다. 대부분의 경우, Cont-RPs는 ReLU-RPs와 상당히 유사했지만, 경우에 따라서는 Cont-RPs가 ReLU-RPs보다 더 많은 정보를 유지함으로써 오히려 두 상태 사이의 차이를 모호하게 만들었음을 확인할 수 있다.

도 10(a)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 Bin-RP에 따라 나타낸 도면이며, 도 10(b)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 Cont-RP에 따라 나타낸 도면이고, 도 10(c)는 졸린 상태(왼쪽) 및 깨어있는 상태(오른쪽)에서의 PPG 신호를 ReLU-RP에 따라 나타낸 도면이다.

도 10에 따르면, 도 9의 경우와 마찬가지로, ReLU-RP가 Cont-RP보다 더 졸음 상태를 파악하기 용이하다는 것이 확인된다.

도 11(a)는 졸린 상태에서의 ECG 신호와, 서로 다른 임계값들로부터 다양한 ReLU-RP를 나타낸 도면이며, 도 11(b)는 깨어있는 상태에서의 ECG 신호와, 서로 다른 임계값들로부터 다양한 ReLU-RP를 나타낸 도면이다.

도 11에 따르면, 임계값이 각각 0.15, 0.20, 0.25 및 0.33인 경우에 졸린 상태와 깨어있는 상태의 ReLU-RP가 명확하게 구별되는 것이 확인된다.

즉, 임계값이 0.075 미만인 경우는 너무 많은 값들이 소거되지 않아 졸린 상태와 깨어있는 상태를 구별하는 것이 효과적이지 않고, 임계값이 0.33보다 더 큰 경우는 지나치게 많은 값들이 소거되어 상대적으로 졸린 상태와 깨어있는 상태를 구별하기 어려워진다.

도 12은 ECG를 이용하여 Bin-RP, Cont-RP 및 ReLU-RP의 졸음 감시 성능을 비교한 도면이며, 도 13는 PPG를 이용하여 Bin-RP, Cont-RP 및 ReLU-RP의 졸음 감시 성능을 비교한 도면이다.

도 12 및 도 13에 따르면, 예측 정확도(prediction accuracy), 정밀도(precision), 리콜(recall) 및 F값(F-score) 모두에서 확인할 수 있듯, ReLU-RP는 졸린 상태와 깨어 있는 상태를 구별하는 데 있어서 Bin-RP와 Cont-RP보다 분류 능력이 더 우수한 것으로 밝혀졌다.

상술한 바와 같이, 도 9 내지 도 13의 구체적인 실험례에 따르면, ECG 센서 또는 PPG 센서를 통하여 감지한 RRI를 ReLU-RP로 이미지로 변환한 경우, 다른 리커런스 플롯들 보다 운전자의 졸음 상태를 판단하기 훨씬 용이하다는 현저한 효과가 발생함을 확인할 수 있었다. 또한, 상기 [수학식 1]에 사용되는 임계값이 0.075 이상 0.33 미만인 경우 그 효과가 훨씬 현저해짐을 확인할 수 있었다.

한편, 상술한 바와 같이 실시 예들을 제시하고 있는 본 발명에 따른 운전자 졸음 감지 방법은 컴퓨터(또는 휴대용 컴퓨터)로 판독 가능한 기록 매체에 컴퓨터가 실행할 수 있는 코드로서 구현될 수 있는데, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 이러한 컴퓨터 판독 가능의 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

그리고, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 여기에서, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 개재의 범위 내에 있게 된다.

100: 감지부
200: 변환부
300: 판단부

Claims

RRI(R-R peak Interval)를 산출하는 감지부;
상기 RRI 값을 ReLU-RP(a Rectified Linear Unit Recurrence Plot)을 사용하여 이미지로 변환하는 변환부; 및
상기 ReLU-RP를 이용하여 생성한 이미지를 통하여 운전자의 상태를 판단하는 판단부;를 포함하는, 운전자 졸음 감지 시스템.
제1항에 있어서,
상기 감지부는,
ECG(electrocardiogram) 센서 또는 PPG(photoplethysmogram) 센서를 포함하는 것인, 운전자 졸음 감지 시스템.
삭제
제1항에 있어서,
상기 ReLU-RP에 사용되는 Rectified Linear Unit 함수는,
상기 함수에 입력되는 입력값이 임계값 미만이면 0으로 나타내고, 상기 입력값이 상기 임계값 이상이면 해당 입력값을 사용하는 것인, 운전자 졸음 감지 시스템.
제4항에 있어서,
상기 임계값은 0.075 이상 0.33이하인 것인, 운전자 졸음 감지 시스템.
삭제
제1항에 있어서,
상기 판단부는,
상기 변환된 이미지를 기계학습에 적용하여 운전자의 졸음 여부를 판단하는 것인, 운전자 졸음 감지 시스템.
RRI(R-R peak Interval)를 산출하는 단계;
상기 RRI 값을 ReLU-RP(a Rectified Linear Unit Recurrence Plot)을 사용하여 이미지로 변환하는 단계; 및
상기 이미지를 통하여 운전자의 상태를 판단하는 단계;를 포함하는, 운전자 졸음 감지 방법.
제8항에 있어서,
상기 산출하는 단계는,
ECG(electrocardiogram) 센서 또는 PPG(photoplethysmogram) 센서를 사용하여 RRI를 산출하는 것인, 운전자 졸음 감지 방법.
삭제
제8항에 있어서,
상기 ReLU-RP에 사용되는 Rectified Linear Unit 함수는,
상기 함수에 입력되는 입력값이 임계값 미만이면 0으로 나타내고, 상기 입력값이 상기 임계값 이상이면 해당 입력값을 사용하는 것인, 운전자 졸음 감지 방법.
제11항에 있어서,
상기 임계값은 0.075 이상 0.33이하인 것인, 운전자 졸음 감지 방법.
삭제
제8항에 있어서,
상기 판단하는 단계는,
상기 변환된 이미지를 기계학습에 적용하여 운전자의 졸음 여부를 판단하는 것인, 운전자 졸음 감지 방법.