KR102096617B1 - 이미지와 ｐｐｇ 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템 - Google Patents

Abstract

본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부; 상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및 상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하여 운전자의 이미지 데이터(눈, 입)와 생리학 데이터(PPG) 모두 고려함으로써 정확도 높은 운전자의 졸음상태를 파악할 수 있는 효과가 있다.

Description

이미지와 ＰＰＧ 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템{DRIVER DROWSINESS DETECTION SYSTEM USING IMAGE AND PPG DATA BASED ON MULTIMODAL DEEP LEARNING}

본 발명은 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템에 관한 것으로써, 더욱 상세하게는 이미지에서 필요한 데이터의 특징만을 추출하는 전처리 과정을 통해 필요한 데이터만을 수집하고, 멀티모달 네트워크에서 이미지 데이터와 PPG(Photoplethysmogram)를 하나로 융합한 후, 분류네트워크에서 융합된 데이터를 통해 운전자의 졸음 상태를 파악하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템에 관한 것이다.

주행 중 발생하는 졸음은 운전자가 인식하지 못한 상태에서 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 고속도로 주행 시 운전자의 졸음이 발생한다면 연쇄 추돌 사고로 이어질 수 있으며 막대한 인명 피해를 발생시킨다. 우리나라에서 졸음운전으로 인해 발생하는 사고는 아래의 [표 1]과 같이 매년 꾸준하게 발생하고 있다.

	2014년	2015년	2016년
사고(건)	2426	2701	2433
사망(명)	130	108	98
부상(명)	4679	5525	4899

<졸음운전 사고 현황>

운전자의 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 방법들이 존재한다. 전통적인 방법들은 크게 세 가지 방식으로 분류할 수 있다.

첫 번째로 차량의 변화를 관찰하여 운전자의 상태를 판단하는 방법이 있다. 차선을 이탈하는 상태가 일정 시간 지속되나 차선 변경 신호 없이 차선을 가로지를 시 경보를 울리는 방법들이 대표적이다.

두 번째로 운전자의 뇌파, 심장 박동 등의 생리학 데이터를 기반으로 운전자의 상태를 인식하는 방법이 있다. 이 방식은 의학적으로 졸음 관련 환자를 치료할 때 사용되는 만큼 높은 정확도를 가지지만 운전자에게 측정 장비를 착용하여 변화를 관찰하기에는 어려움이 있어 실세계에서 적용하기 어려운 방법이다.

마지막으로 운전자의 시각적 특징을 기반으로 운전자의 상태를 파악하는 방법이 있다. 졸음 발생 시 운전자의 눈이 감기거나 목이 기울어지는 등의 시각적 변화를 이용하여 운전자의 상태를 인식한다.

이러한 전통적인 방법들은 운전자들이 가지는 개개인의 서로 다른 특성을 모두 반영하지 못하여 일반화된 졸음 감지 모델을 도출하는데 한계가 있다.

이하에서, 아래의 [표 2]를 통해 전통적인 졸음 인식 모델들에 대해 좀 더 구체적으로 살펴본다.

	Feature	Accuracy
모델 A	eye	99.35(%)
모델 B	eye	95.21(%)
모델 C	mouth	86.00(%)
모델 D	eye, head posture	88.57(%)

<전통적인 졸음 인식 모델>

운전이라는 제한적인 상황에서 상태를 파악하기 위해 이미지 데이터를 사용한다. 이때 운전자의 얼굴로부터 졸음 변화를 감지할 수 있는 특징들을 추출하여 변화를 관찰하여 운전자의 상태를 파악한다.

모델 A는 추출된 특징으로 눈을 관찰하여 운전자의 상태를 파악하며 눈의 상태를 다음과 같이 분류한다. 눈이 감긴 정도(Percentage of Eye Closure)와 감긴 눈의 지속상태(Eye Closure Duration)를 확인하여 운전자의 상태를 파악하며 눈의 상태를 결정하기 전에 눈의 유효성 검사를 한다. PCA(Pri- ncipal Component Analysis)를 통해 눈의 특징을 파악하며 LDA(Linear Discriminant Analysis)를 통해 눈의 특징 클래스를 분류한다.

또한, 모델 B도 눈을 관찰하며 운전자의 안경 착용 유무를 모두 반영한다.

이처럼 눈은 운전자의 상태를 파악할 수 있는 중요한 요소이다.

모델 C와 같이 입을 사용하여 운전자의 피곤한 상태를 파악할 수도 있다.

[표 2]에는 기재되지 않았지만, 운전자의 얼굴 이미지로부터 입을 추출하며 이때 바이올라-존스 알고리즘 (Viola-Jones Algorithm)을 사용하여 운전자의 피곤한 상태를 파악하는 모델도 존재한다.

상기 바이올라-존스 알고리즘은 객체를 감지하며 얼굴의 특징 추출할 때 사용하기 적절한데, 상기 바이올라-존스 알고리즘을 통해 추출된 입은 SVM(Support Vector Ma-chine)을 사용하여 입의 상태를 관찰한 후 운전자의 피곤한 상태를 파악한다.

상기 [표 2]의 모델 D는 눈뿐만 아니라 목의 움직임을 함께 반영하여, 입체적인 움직임을 가지는 목의 변화를 관찰하기 위하여 관찰된 얼굴의 기준 위치 정보를 결정한다.

다음으로 관찰된 얼굴 위치와 기준 위치 정보를 비교하여 목의 움직임 상태를 여섯 가지(left, right, forward or backward inclination, left or right rotation)중 하나로 결정한다. 눈과 목의 상태 변화를 관찰하여 두 특징이 모두 졸음 상태이면 위험, 하나의 특징만 졸음이면 경고를 출력한다.

상술한 바와 같이 [표 2]와 같은 전통적인 모델들은 좋은 성능을 보이지만, 정의한 알고리즘을 통해 운전자의 상태를 파악하기 때문에 일반화된 특징을 파악하는데 한계가 있고, 특징의 변화를 지정된 알고리즘으로 관찰하기 때문에 추출된 특징의 유효성이 정확도에 큰 영향을 미치기 때문에 제시된 정확도는 운전자의 상태 파악의 정확도라고 보기 어렵다.

대한민국 등록특허공보 제10-1208428호(2012.11.29)

본 발명은 상술한 문제점을 해결하기 위해 이미지에서 필요한 데이터의 특징만을 추출하는 전처리 과정을 통해 필요한 데이터만을 수집하고, 멀티모달 네트워크에서 이미지 데이터와 PPG(Photoplethysmogram)를 하나로 융합한 후, 분류네트워크에서 융합된 데이터를 통해 운전자의 졸음 상태를 파악하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템을 제공하는데 목적이 있다.

상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부; 상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및 상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 전처리부는 차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집하는 이미지 수집부; 상기 운전자 얼굴 이미지로부터 눈과 입의 위치정보를 추출하는 주제어부; 및 상기 운전자의 혈류량 변화를 통하여 심박수를 측정한 값인 PPG를 수집하는 PPG 수집부;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 주제어부는 MTCNN(Multi-Task Cascaded Convol- utional Networks)을 사용하여 운전자 얼굴 이미지로부터 필요한 눈과 입의 위치정보를 추출하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 주제어부는 상기 PPG 수집부가 수집한 PPG를 표준화하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 멀티모달 네트워크는 상기 전처리부에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 특징을 추출하는 컨볼루션 신경망; 상기 컨볼루션 신경망에서 추출한 상기 눈과 입의 특징을 하나의 레이어로 재구성하는 레이어 재구성부; 및 상기 레이어와 상기 주제어부에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성하는 JR 구성부;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 JR 구성부는 상기 컨볼루션 신경망이 추출한 눈과 입의 특징과, 상기 주제어부(120)가 표준화한 PPG를 연속적으로 이어 붙이는 결합적 방식(Concatenation)으로 융합하거나, 또는 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 분류 네트워크는 상기 멀티모달 네트워크에서 융합된 눈과 입의 특징 및 PPG의 융합 데이터를 수신하고, 시간변화를 고려한 RNN(Recurrent Neural Networks)을 적용하여 정상, 가벼운 졸음, 깊은 졸음으로 운전자의 졸음 상태를 분류하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 RNN은 데이트 게이트와 리셋 게이트를 통하여 필요한 정보와 필요하지 않은 정보를 구분하고, 과거 정보라도 중요한 경우 현재에 반영이 가능한 GRU셀로 구성되는 것을 특징으로 한다.

본 발명은 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 운전자의 이미지 데이터(눈, 입)와 생리학 데이터(PPG)를 사용하여 운전자의 졸음상태를 정확도가 높게 파악할 수 있는 효과가 있다.

도 1은 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 구성도이다.
도 2는 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 상세 구성도이다.
도 3은 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 컨볼루션 신경망을 통해 눈, 입 이미지로부터 특징을 추출을 도시한 도면이다.
도 4는 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 JR 구성부에 의한 데이터 구성방식을 도시한 도면이다.
도 5는 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 가상 주행 환경을 실사도면이다.
도 6은 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 데이터 구성을 도시한 도면이다.
도 7은 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템의 멀티모달 학습 기반의 운전자 졸음감지 모델 구조도이다.
도 8은 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템 모델에 대한 실험 결과 confusion matrix이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

운전 상태에 발생하는 졸음은 운전자가 인식하지 못한 상태에서 발생하기 때문에 지속적인 관찰이 필요하다. 본 발명에서는 제안한 이미지와 PPG를 함께 반영하는 멀티모달 기반 모델의 구조를 제시한다.

그전에 상술한 바와 같은 전통적인 모델 외에 아래 [표 3]과 같은 딥 러닝 기반 졸음 인식 모델 E와 F에 대해서 살펴보면 다음과 같다.

	Feature	Model	Accuracy
모델 E	image	CNN	88.0(%)
모델 F	image	Baseline-2	93.8(%)

<딥 러닝 기반 졸음 인식 모델>

보다 구체적으로, 딥 러닝 기반의 졸음 감지 모델은 운전자의 얼굴 이미지를 사용한다. 모델 E는 운전자의 얼굴 이미지를 학습하며 얼굴 이미지가 가지고 있는 운전자의 얼굴 크기, 다양한 피부색, 눈 모양 및 크기 등 다양한 정보를 파악하기 위하여 CNN(Convolutional Neural Networks)을 사용하여 운전자의 상태를 졸음, 정상 상태로 분류한다.

또한, 모델 F는 운전자의 얼굴 이미지로부터 추출한 왼쪽 눈과 오른쪽 눈, 입, 그리고 전체 얼굴 이미지를 동시에 학습한다. 동시에 더 빠른 시간에 운전자의 상태를 파악하기 위해 왼쪽 눈과 입 두 개만을 사용하는 모델도 가능하다.

이러한 특징들을 추출하기 위하여 MTCNN(Multi-Task Cascaded Convol- utional Networks)을 사용하는데, 상기 MTCNN은 운전자의 얼굴 이미지의 눈과 입의 위치 정보를 추출하고, 추출된 특징들을 활용하여 학습된 모델 중 두 가지 데이터(눈, 입)를 사용하는 모델(Baseline-2 Model)이 높은 성능을 보였으며, 운전자의 상태를 정상, 하품, 졸음 세 가지 상태로 분류한다.

상술한 바와 같은 딥 러닝 기반 졸음 인식 모델을 바탕으로 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템에 대해 상세히 설명한다.

도 1에 도시된 바와 같이 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 크게 전처리부(100), 멀티모달 네트워크(200), 및 분류 네트워크(300)를 포함한다.

상기 전처리부(100)는 필요한 데이터의 특징만을 추출하여 불필요한 부분을 제거하고 필요한 데이터만을 수집한다.

상기 멀티모달 네트워크(200)는 눈과 입의 이미지 데이터와 PPG(Photoplethysmogram)를 하나로 융합한다.

그리고, 상기 분류 네트워크(300)는 상기 멀티모달 네트워크(200)에서 융합된 융합 데이터를 가지고 운전자의 졸음상태를 파악한다.

상기 전처리부(100)는 도 2에 도시된 바와 같이 이미지 수집부(110), 주제어부(120), 및 PPG 수집부(130)를 포함한다.

상기 이미지 수집부(110)는 차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집한다.

상기 주제어부(120)는 상기 운전자 얼굴 이미지로부터 눈과 입을 추출한다.

이때, 상기 주제어부(120)는 MTCNN(Multi-Task Cascaded Convol- utional Networks)을 사용하여 운전자 얼굴 이미지로부터 필요한 눈과 입의 위치정보를 추출해주는데, 상기 눈과 입의 위치정보는 높은 검출율과 정확도를 가진다.

본 발명에 따른 주제어부(120)가 MTCNN을 통해 눈과 입의 위치정보를 추출하는 것은, 눈과 입이 졸음 발생 시 나타나는 변화(예를 들어, 잦은 하품 발생 후 눈이 감긴 상태가 관찰된다면 운전자의 상태를 졸음이라고 판단하기에 충분)를 포함하고 있기 때문이다.

상기 PPG 수집부(130)는 혈류량의 변화를 통하여 사람의 심박수를 측정한 값인 PPG를 수집한다.

상기 PPG는 졸음 발생 시 부교감신경으로 인하여 감소하는 특징을 보이며 이미지 특징과 함께 활용이 가능하다.

한편, 상기 PPG는 운전자마다 서로 다른 특성을 가지고 있기 때문에 상기 주제어부(120)에 의해 표준화되어 사용된다.

상기 전처리부(100)에서 추출된 각각의 데이터는 서로 다른 형태로 구성되어 있으며, 졸음 발생시 나타나는 변화도 다르게 나타나기 때문에, 상기 멀티모달 네트워크(200)는 상기 추출된 각각의 데이터에서 이질성을 제거하고 동시에 데이터의 특징만을 추출한다.

상기 멀티모달 네트워크(200)는 컨볼루션 신경망(210), 레이어 재구성부(220), 및 JR 구성부(230)를 포함한다.

상기 컨볼루션 신경망(CNN:Convolutional Neural Networks 210)은 전처리부(100)에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 위치정보 데이터의 공간적인 특징을 파악한다.

즉, 상기 컨볼루션 신경망(210)은 도 3에 도시된 바와 같은 구조를 가지고 있어 입력된 눈, 입 이미지로부터 눈과 입의 특징만을 추출한다.

추출된 눈과 입의 특징은 상기 레이어 재구성부(220)에 의해 하나의 레이어로 재구성되며 이때 레이어의 크기는 임의로 조정할 수 있다.

상기 JR 구성부(230)는 상기 레이어 재구성부(220)에 의해 눈과 입의 특징을 추출하여 재구성한 레이어와 상기 주제어부(120)에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성한다.

이때, 상기 JR 구성부(230)는 도 4에 도시된 바와 같이 두 가지 방식으로 서로 다른 데이터를 융합하여 상기 분류 네트워크(300)에서 사용될 하나의 데이터로 재구성한다.

즉, 상기 JR 구성부(230)는 상기 컨볼루션 신경망(210)으로부터 추출한 눈, 입과 상기 주제어부(120)에 의해 표준화한 PPG를 연속적으로 이어 붙이는 결합적 방식(Concatenation)으로 융합하는 첫 번째 방식, 또는 상기 컨볼루션 신경망(210)으로부터 추출한 눈, 입과 상기 주제어부(120)에 의해 표준화한 PPG를 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하는 두 번째 방식으로 상기 분류 네트워크(300)에서 사용될 하나의 데이터로 재구성한다.

상기 JR 구성부(230)에 의해 재구성된 상기 분류 네트워크(300)에서 사용될 하나의 데이터는 눈, 입, PPG의 특징을 모두 포함하고 있다.

운전자의 상태를 분류할 때 나타나는 특징들은 시간 변화를 가진다.

특히 졸음 상태를 파악하기 위해서는 이전에 나타나는 변화들을 관찰하여 정의할 수 있다. 이러한 시간 변화를 고려하기 위하여 RNN(Recurrent Neural Networks)을 적용한다. 이전 데이터와 현재 데이터를 함께 고려하기 때문에 시간적인 특징을 파악할 수 있다.

하지만, 시간이 오래된 과거 데이터는 현재까지 전달이 어려운 단점을 가진다. 이를 해결하기 위하여 상기 분류 네트워크(300)는 RNN 구성 셀을 GRU를 사용한다.

상기 GRU는 과거의 정보를 모두 현재로 전달하는 것이 아닌 업데이트 게이트와 리셋 게이트를 통하여 필요한 정보와 필요하지 않은 정보를 구분하기 때문에 가벼우며 오래된 과거 정보라도 중요하다면 현재에 고려가 가능하다.

상기 JR 구성부(230)에서 눈, 입, PPG의 특징을 모두 가진 하나의 데이터로 재구성된 입력데이터를 수신한 상기 분류 네트워크(300)는 운전자의 상태를 분류한 상태 정보를 출력한다.

상기 상태 정보는 운전 발생시 졸음, 가벼운 졸음, 및 깊은 졸음이 있지만, 상기 분류 네트워크(300)는 운전 발생시 졸음이 측정된다면 이미 위험한 상태라 할 수 있기 때문에, 가벼운 졸음(졸음 전에 나타나는 변화이며 운전자가 위험에 빠질 수 있는 상태) 및 깊은 졸음으로 구분지어 운전자의 상태를 파악한다.

본 발명에서 사용하는 학습 데이터는 운전자의 영상 데이터와 PPG 데이터를 수집하였으며 발명된 시스템의 성능을 검증과 사용된 특징 데이터가 운전자의 상태를 파악하는데 미치는 영향을 파악하기 위하여 단일 데이터만을 사용한 모델, 바이모달 모델, 멀티모달 모델로 크게 3 가지 방식으로 나누어 실험을 진행하였다.

본 발명에서 총 8명(남: 5, 여: 3)을 수집하였으며 개인마다 6시간의 주행 실험을 진행하여 총 48시간의 데이터를 수집하였다.

실제 주행시 운전 프로그램, 장비를 직접 구축했다. 프로그램은 실제 유럽을 배경으로 한 유로트럭을 사용하였다. 실제 주행 환경과 유사하며 장거리 운전이 가능하여 졸음 발생 환경에 적절하다. 실내에 구축된 가상환경은 실제와 비슷한 상태를 유지하였으며 그림 5와 같이 구축하였다. 주행 중 운전자로부터 얼굴 이미지 데이터를 수집하기 위하여 액션캠(Sony FDR-X3000)을 사용하였으며 PPG 데이터를 수집하기 위하여 스마트 워치(Samsung Gear S3)를 사용하였다.

수집된 데이터 48시간 중 사용이 불가능한 데이터(노이즈 발생 및 데이터 누락)는 제외되어 약 20시간의 데이터가 사용 가능하다.

상기 전처리부(100)는 20시간의 영상 데이터로부터 눈과 입의 특징을 추출하고 동시에 PPG 데이터 존재를 확인하되 누락이 발생하는 구간은 고려하지 않는다.

또한, 이미지와 PPG는 수집 디바이스의 차이로 인해 서로 다른 프레임 값을 가진다. 3배의 차이로 인해 이미지 프레임이 PPG 값을 갖지 못하는 구간에는 동일한 PPG 값을 주어 같은 프레임 값을 가진다.

Training Data	20 (hours)
Extracted Feature	eye	mouth	PPG
Frame	30	30	10
Resolution	64×32	128×64	-
Number of Dataset	32,603

<학습 데이터 구성>

이렇게 추출한 데이터는 기간 변화를 포함하기 위하여 90개의 채널로 구성되어 상기 [표 4]와 같이 약 30,000여 개의 데이터로 구성된다.

한 개의 데이터는 눈, 입, PPG의 3초간 변화를 모두 포함하고 있으며 도 6a와 같이 구성된다.

이와 달리 바이모달을 사용한 모델과 멀티모달 모델은 상기 멀티모달 네트워크(200)의 JR 구성부(230)에서 시간적 변화를 고려하기 때문에 처음 데이터 구성을 1초간의 변화를 포함하여, 도 6b와 같이 구성된다.

이렇게 구성된 데이터는 상기 멀티모달 네트워크(200)에서 하나의 데이터로 재구성되며, 이때 상기 멀티모달 네트워크(200)는 3초간의 변화를 고려하기 위하여 1초간의 변화를 포함한 3개의 데이터를 융합하여 사용한다.

본 발명에서는 총 세 방식으로 분류하여 실험을 진행하였으며 제안된 모델에서 사용하는 데이터가 단일로 존재하였을 때 운전자 상태 파악에 얼마만큼의 영향을 미치는지 파악하였다.

이를 기반으로 도 7와 같이 설계된 구조에서 눈과 입만을 사용한 바이모달 모델과 눈, 입, PPG를 모두 사용한 멀티모달 모델의 성능을 비교하여 PPG가 미치는 영향을 확인하였다.

먼저, 사용되는 눈, 입, PPG가 단일로 존재하였을 때의 성능을 파악하여 운전자 상태 분류에 미치는 영향을 확인한다. 각 데이터의 공간적인 특징을 파악할 수 있는 CNN과 시간적인 특징을 파악할 수 있는 RNN을 사용하였다.

이때 PPG는 하나의 순간 값으로 존재하기 때문에 공간적 특징을 가지고 있지 않으므로 이를 통해 운전자의 상태를 파악하기 어렵다. 하지만, 시간적 변화를 가지고 있기 때문에 운전자의 시간적 특징을 파악할 수 있는 RNN만을 적용한다.

상기 PPG 데이터를 제외한 눈, 입만을 사용한 바이모달 모델과 눈, 입, PPG를 모두 사용하는 멀티모달 모델을 고려한다. 이미지와 큰 이질성을 가지는 PPG 데이터의 유무에 따른 결과를 통하여 PPG가 이미지와 함께 사용되었을 때 미치는 영향을 확인하며 도 6a와 같은 구조를 가진다.

본 발명이 제안하는 모델은 눈, 입, PPG를 모두 사용하여 운전자의 상태를 파악하는 것이다. 도 6b와 같은 구조를 가지며 표준화한 PPG는 JR를 구성하는데 사용한다.

바이모달 모델과 멀티모달 모델 모두 사용된 데이터가 상술한 바와 같이 상기 JR 구성부(230)에서의 융합 방식(concatenation, sorting)에 따라 두 가지 실험을 진행한다.

본 발명과 같이 운전자의 상태를 세 클래스로 분류하는 연구를 비교하며 사용된 학습 데이터 및 구성 모델이 다르기 때문에 완벽한 비교는 어렵지만 정확도 및 민감도 등을 비교하여 제안된 모델의 성능을 검증하였다.

모든 실험은 10-ford cross validation 을 하였으며 전체 실험의 평균 결과값과 가장 높은 성능을 보인 경우를 제시하였다.

단일 데이터만을 사용한 실험 결과는 아래의 [표 5] 내용과 같다. CNN과 RNN을 사용하였을 때 CNN이 약간의 향상된 성능을 보인다. 또한 눈, 입은 단일 데이터만으로도 괜찮은 성능을 보이며 졸음 상태를 파악하는데 있어 중요한 요소임을 확인하였다.

	Accuracy
CNN(eye)	89.30%
CNN(mouth)	90.55%
RNN(eye)	84.51%
RNN(mouth)	90.30%
RNN(PPG)	64.20%

<단일 데이터 실험 결과>

반면에 PPG만을 사용하였을 때 운전자의 상태를 파악하지 못하였으며 눈, 입에 비해 현저히 떨어지는 성능을 보였다. 이를 통하여 PPG만으로는 운전자의 상태를 파악하기 어렵다는 것을 확인하였다.

PPG를 제외한 눈, 입을 사용한 바이모달 모델과 눈, 입, PPG를 모두 사용한 멀티모달 모델의 실험결과는 아래의 [표 6]과 같다. 도출된 정확도는 10-ford 의 평균 값이며 PPG를 사용하지 않은 바이모달 모델은 눈, 입을 함께 사용함으로서 약간의 향상된 성능을 보였다.

	Accuracy(avg)
Bi-modal (Concatenation)	91.15%
Bi-modal (Sorting)	90.08%
Multimodal (Concatenation)	91.30%
Multimodal (Sorting)	92.76%

<바이모달, 멀티모달 모델 실험 결과>

눈, 입, PPG를 모두 사용한 본 발명에 따른 멀티모달 모델은 바이모달 모델보다 더 나은 성능을 보였으며 이를 통하여 단일 데이터를 사용한 것보다 두 가지 이상의 데이터를 함께 고려하였을 때 나은 성능을 보이는 것을 확인하였다.

단일로 사용되었을 때 운전자의 상태를 파악하지 못했던 PPG 데이터도 눈, 입과 함께 사용하였을 때는 눈, 입만으로 파악하지 못했던 운전자의 상태를 결정짓는데 어느 정도의 영향을 미치는 것을 확인할 수 있다.

본 발명에서는 모델의 정확한 분석을 위하여 confusion matrix를 제시한다.

운전자의 상태를 세개의 클래스(정상, 가벼운 졸음, 깊은 졸음)로 분류할 때 정확한 성능을 확인한다.

도 8은 본 발명에 따라 실험한 모델에 대한 실험 결과를 confusion matrix로 정리한 것이다.

먼저, 도 8a, 도 8b 각각은 눈, 입을 CNN에 적용하였을 때이며 RNN보다 약간의 향상된 성능을 가지고 있어 CNN을 제시한다. 정상과 가벼운 졸음을 분류하는 것을 확인하였을 때 전체적으로 괜찮은 성능을 가진다. 하지만 깊은 졸음을 파악하는 것에는 낮은 정확도를 보이며 깊은 졸음 상태를 정상으로 분류하는 위험한 경우가 존재하여 실제로 사용하기에는 부적절하다.

도 8c, 도 8d는 바이모달 모델의 결과이며 각각 JR 구성부(230)에 의해 상기 눈, 입을 연속적으로 이어붙이는 결합적 방식(Concatenation)와 시간순으로 정렬하는 정렬방식(Sorting)으로 JR에서 융합 방식이 다르다.

단일 데이터를 사용할 때보다 약간 정상과 가벼운 졸음을 잘 분류한다. 또한, 깊은 졸음 상태를 정상으로 잘못 판단하는 경우는 없어 단일 데이터보다 향상된 성능을 가진다.

하지만, 단일 데이터보다 깊은 졸음 판단에 있어 낮은 성능을 가지며 JR 방식에 따른 큰 차이는 존재하지 않음을 확인할 수 있다.

도 8e, 도 8f는 PPG를 추가한 멀티모달 모델이 가지는 confusion matrix 이다. 기존의 바이모달 모델과 같이 정상, 가벼운 졸음을 잘 분류한다. 동시에 깊은 졸음의 분류 정확도가 향상된 것을 확인할 수 있다. PPG는 단일 데이터로 사용하였을 때 운전자의 상태를 파악하는데 있어 어려움이 있었지만 눈, 입과 함께 사용하였을 때 운전자의 깊은 졸음을 파악하는 데 있어 영향을 미친다고 볼 수 있으며 이러한 결과를 통해 PPG도 운전자 상태 파악에 있어 함께 사용하기 적절한 데이터를 확인할 수 있다.

전체적인 confusion matrix를 비교하였을 때 실제 평균 정확도가 높은 도 7f 보다 깊은 졸음 판단에 있어, 도 7e가 더 좋은 성능의 모델임을 확인하였다.

이는 JR 방식이 정렬이 아닌 결합일 때 PPG의 정보가 활용되는 것을 반증한다. 또한, [8] 연구에서 도출된 정확도와 비교하여 성능을 검증한다. 비록 같은 환경에서 이루어진 실험이 아니기 때문에 정확한 비교가 힘들지만 같은 수의 클래스로 분류하는 딥 러닝 모델이므로 정확도를 지표로 사용한다. 두 모델의 정확도는 아래의 [표 7]과 같으며 본 발명에서 제안한 모델에서 최상의 정확도를 비교한다.

Model	Accuacy
multimodal (concatenation)	96.15%
related art(관련기술)	93.80%

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 전처리부
100 : 이미지 수집부
120 : 주제어부
130 : PPG 수집부
200 : 멀티모달 네트워크
210 : 컨볼루션 신경망
220 : 레이어 재구성부
230 : JR 구성부
300 : 분류 네트워크

Claims (8)

1. 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부;
   상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및
   상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하고,
   상기 전처리부는
   차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집하는 이미지 수집부;
   상기 운전자 얼굴 이미지로부터 눈과 입의 위치정보를 추출하는 주제어부; 및
   상기 운전자의 혈류량 변화를 통하여 심박수를 측정한 값인 PPG를 수집하는 PPG 수집부;를 포함하고,
   상기 주제어부는 상기 PPG 수집부가 수집한 PPG를 표준화하고,
   상기 멀티모달 네트워크는
   상기 전처리부에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 특징을 추출하는 컨볼루션 신경망;
   상기 컨볼루션 신경망에서 추출한 상기 눈과 입의 특징을 하나의 레이어로 재구성하는 레이어 재구성부; 및
   상기 레이어와 상기 주제어부에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성하는 JR 구성부;를 포함하고,
   상기 JR 구성부는 상기 컨볼루션 신경망이 추출한 눈과 입의 특징과, 상기 주제어부(120)가 표준화한 PPG를 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하여 하나의 데이터로 재구성하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.
   
2. 삭제
3. 제 1항에 있어서,
   상기 주제어부는
   MTCNN(Multi-Task Cascaded Convol- utional Networks)을 사용하여 운전자 얼굴 이미지로부터 필요한 눈과 입의 위치정보를 추출하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.
   
4. 삭제
5. 삭제
6. 삭제
7. 제 1항에 있어서,
   상기 분류 네트워크는
   상기 멀티모달 네트워크에서 융합된 눈과 입의 특징 및 PPG의 융합 데이터를 수신하고, 시간변화를 고려한 RNN(Recurrent Neural Networks)을 적용하여 정상, 가벼운 졸음, 깊은 졸음으로 운전자의 졸음 상태를 분류하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.
   
8. 제 7항에 있어서,
   상기 RNN은
   데이트 게이트와 리셋 게이트를 통하여 필요한 정보와 필요하지 않은 정보를 구분하고, 과거 정보라도 중요한 경우 현재에 반영이 가능한 GRU셀로 구성되는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.

Images