KR102543604B1 - 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템 - Google Patents

Abstract

멀티모달을 이용한 운전자 피로 감지 방법은, EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계; EEG 모듈 DNN을 통해 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 단계; 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계; 자이로스코프 모듈 DNN을 통해 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 단계; 비젼 모듈을 통해 운전자의 영상 데이터를 획득하는 단계; 비젼 모듈 DNN을 통해 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 단계; 및 다중 모드 운전자 피로 감지 DNN을 통해 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 단계;를 포함한다. 이에 따라, 운전자의 졸음 상태를 인식하여 자동차 추돌 사고를 예방할 수 있다.

Description

멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템{METHOD FOR DETECTING DRIVER FATIGUE BASED MULTIMODAL, RECORDING MEDIUM AND SYSTEM FOR PERFORMING THE METHOD}

본 발명은 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템에 관한 것으로서, 더욱 상세하게는 운전자들의 졸음 감지를 위한 EEG, 자이로스코프 및 이미지 처리 기술을 적용한 멀티모달 시스템에 관한 것이다.

운전 중 운전자의 졸음이 많은 사고의 주요 요인으로 조사됐다. 2010 년에 실시된 미국 교통 안전 재단은 치명적 사고의 16.5 %가 졸음 운전자와 관련된 것으로 추정되는 경찰 보고서를 분석하였다. 전국을 대표하는 전화 설문 조사에 따르면 운전자의 41.0 %가 어느 시점에서 운전하는 동안 '잠들거나 고개를 끄덕였다'고 인정했다.

정신 피로는 또한 심각한 사고의 주요 원인 중 하나이며, 특히 모든 교통 사고의 20 ~ 30 %를 차지하는 것으로 여겨지는 교통 및 항공 분야에서 더욱 문제가 된다. 이는 충분한 수면을 취하지 못하는 운전자, 약물 치료, 교대 근무자, 수면 장애가 있는 사람 및 장시간 근무를 위해 많은 집중이 필요한 상업 운전자에게 발생한다.

비상시에는 운전 중 운전자의 대응이 매우 중요하지만, 운전자의 졸음은 반응 시간을 늘리므로 위험도를 높인다. 또한, 운전자가 도로에 대한 주의를 기울이고 올바른 결정을 내리는 데 악영향을 준다.

수면은 미국 수면 의학 학회(American Academy of Sleep Medicine)에 따라 세 가지 주요 단계로 분류 할 수 있다. 각성(wakefulness), 비 급속 안구 운동(NREM) 및 급속 안구 운동(REM)로 분류되고, NREM은 깨어있음에서 수면(졸음)으로 전환되는 N1, 가벼운 수면의 N2 및 깊은 수면의 N3의 세 단계로 세부적으로 분류될 수 있다.

운전자 졸음에 대한이 연구는 주로 NREM의 N1 단계에 집중되어 있다. 운전자 피로라는 용어는 운전을 포함하여 다양한 인지 및 정신 운동 작업의 수행을 손상시키는 정신적인 각성이 감소된 상태로 정의되었고, 이를 감지하기 위한 여러 가지 이론이 제시되었다.

예를 들어, 차량 기반 시스템에서는 차선 이탈, 스티어링 휠 움직임, 브레이크에 가해지는 힘, 가속기 사용 및 운전 행동 패턴과 같은 차량 매개 변수가 모니터링된다. 이러한 차량 데이터는 운전자의 상태에 대한 자세한 정보를 제공하지만 날씨, 교통, 차량 성능 및 운전자의 감정 상태와 같은 현재 주행 조건의 영향을 크게 받는다. 따라서, 모니터링되는 매개 변수의 변경은 운전자의 졸음으로 인한 것이 아닐 가능성이 있다는 문제점이 존재한다.

한편, 운전자는 졸음을 경험하는 동안 하품, 얼굴 만지기, 자주 깜박임, 눈 감음, 머리 자세 및 이러한 징후의 조합과 같은 여러 가지 행동 징후를 나타낸다. 운전자가 나타내는 이러한 증상은 이미지 획득 및 처리 기술을 사용하는 카메라를 사용하여 감지된다.

이러한 이미지 수집 및 처리 기술에서 많은 개선이 있었지만 피사체의 조명, 주변 영역, 안경의 눈부심 및 거울의 반사가 예측의 정확도에 영향을 미치는 한계가 있다. 또한, 피사체의 얼굴이 카메라 시야를 벗어나는 경우에도 운전자의 변화를 감지 할 수 없는 문제가 있다.

KR 10-2018-0131045 A KR 10-2143343 B1 KR 10-2016-0038914 A

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 DNN을 기반으로 멀티모달을 이용한 운전자 피로 감지 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 멀티모달을 이용한 운전자 피로 감지 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.

본 발명의 또 다른 목적은 상기 멀티모달을 이용한 운전자 피로 감지 방법을 수행하기 위한 시스템을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법은, EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계; EEG 모듈 DNN을 통해 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 단계; 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계; 자이로스코프 모듈 DNN을 통해 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 단계; 비젼 모듈을 통해 운전자의 영상 데이터를 획득하는 단계; 비젼 모듈 DNN을 통해 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 단계; 및 다중 모드 운전자 피로 감지 DNN을 통해 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 단계;를 포함한다.

본 발명의 실시예에서, 상기 EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계는, 연속 웨이블릿 변환(CWT)을 사용하여 생리학적 데이터의 알파파를 분석하는 단계;를 포함할 수 있다.

본 발명의 실시예에서, 상기 EEG 모듈 DNN을 통해 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 단계는, 운전자의 상태를 각성 및 졸음 상태로 분류하는 단계;를 포함할 수 있다.

본 발명의 실시예에서, 상기 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계는, 머리의 회전 각도가 평균 위치를 계산하는 단계;를 포함할 수 있다.

본 발명의 실시예에서, 상기 비젼 모듈을 통해 운전자의 영상 데이터를 획득하는 단계는, 하품, 눈 감기, 눈 감고 하품, 빠른 눈 깜빡임 및 머리 흔들기 중 적어도 하나의 졸음 행동 징후를 감지하는 단계;를 포함할 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 멀티모달을 이용한 운전자 피로 감지 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 시스템은, 운전자의 생리학적 데이터를 획득하는 EEG 모듈; 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 EEG 모듈 DNN; 운전자의 머리 움직임을 추적하는 자이로스코프 모듈; 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 자이로스코프 모듈 DNN; 운전자의 영상 데이터를 획득하는 비젼 모듈; 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 비젼 모듈 DNN; 및 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 다중 모드 운전자 피로 감지 DNN;을 포함한다.

본 발명의 실시예에서, 상기 다중 모드 운전자 피로 감지 DNN은, 3개의 입력 뉴런, 한 차원이 400 개의 장단기 기억 셀(LSTM)로 구성된 RNN(Recurrent Neural Network), 400 개의 뉴런으로 구성된 NN, NN의 3 개의 은닉층 및 NN의 출력 계층을 포함할 수 있다.

본 발명의 실시예에서, 상기 EEG 모듈 DNN은, 원시 데이터가 입력으로 제공되는 1 차원의 200 개의 장기 단기 기억 셀(LSTM)로 구성된 RNN, 100 개의 노드 또는 뉴런으로 구성되어 차원을 줄이는 NN, NN의 3 개의 은닉층 및 하나의 노드로 구성된 출력층을 포함할 수 있다.

본 발명의 실시예에서, 상기 자이로스코프 모듈 DNN은, 원시 데이터가 입력으로 제공되는 21 개의 입력 노드로 구성된 NN의 입력층, 220 개의 뉴런이 있는 두 개의 은닉층 및 9 개의 출력 노드로 구성되는 출력층을 포함할 수 있다.

본 발명의 실시예에서, 상기 비젼 모듈 DNN은, 노드 정보 간의 태그된 거리 각각에 대해 14 개의 입력 노드로 구성된 NN의 입력층, 100 개의 은닉층 및 드라이버의 상태를 나타내는 4 개의 출력층을 포함할 수 있다.

이와 같은 멀티모달을 이용한 운전자 피로 감지 방법에 따르면, 운전자의 졸음 상태를 인식하여 자동차 추돌 사고를 예방할 수 있다. 본 발명은 강력하고 안정적인 멀티모달을 이용한 운전자 피로 감지 시스템 구축을 위해 3가지 예측 모듈과 Deep Neural Networks(DNN)을 적용하였다.

본 발명에 따른 시스템은 EEG, 자이로스코프 및 이미지 처리 모듈에서 구동 시뮬레이터 플랫폼에서 획득한 다중 모드 시계열 데이터로 구성된다. 상기 데이터는 세 개의 분리된 모듈에서 개별적으로 처리되며, EEG 모듈은 운전자의 졸음을 예측, 자이로스코프 모듈은 운전자의 머리 활동 예측, 비젼 모듈은 운전자의 안면 행동 신호를 예측한다.

이러한 예측 결과는 다중 모드 운전자 피로 감지 DNN을 통해 운전자의 피로 상태를 최종적으로 감지한다. 실험 결과, 본 발명의 시스템은 운전자의 졸음 상태를 식별하는데 93.91%의 감지 정확도로 우수한 성능을 보였다.

도 1은 본 발명의 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 시스템의 블록도이다.
도 2는 도 1의 멀티모달을 이용한 운전자 피로 감지 시스템에서 피로를 감지하는 인자들을 설명하기 위한 개념도이다.
도 3은 도 1의 멀티모달을 이용한 운전자 피로 감지 시스템을 활용하여 피로를 감지하는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 다중 모드 분류를 위해 심층 신경망의 구조의 예시를 나타낸 도면이다.
도 5는 본 발명의 다중 모드 DNN의 텐서 보드를 보여주는 그래프이다.
도 6은 본 발명의 EEG 모듈에서 사용하는 8채널 EEG 전극 배치의 예시를 보여주는 도면이다.
도 7은 본 발명의 EEG 모듈의 심층 신경망의 구조의 예시를 나타낸 도면이다.
도 8은 본 발명의 자이로스코프 모듈의 심층 신경망의 구조의 예시를 나타낸 도면이다.
도 9는 본 발명의 비젼 모듈의 심층 신경망의 구조의 예시를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법의 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 시스템의 블록도이다. 도 2는 도 1의 멀티모달을 이용한 운전자 피로 감지 시스템에서 피로를 감지하는 인자들을 설명하기 위한 개념도이다.

본 발명에 따른 멀티모달을 이용한 운전자 피로 감지 시스템(10, 이하 시스템)은 예를 들어, Google의 TensorFlow를 사용하여 프로그래밍되는 동안 인간의 생리 신호 기반 시스템에 EEG를 사용하여 운전자의 피로를 감지하는 하이브리드 멀티모달 시스템을 제안하고, 머리 동작의 자이로스코프 데이터 및 행동 기반 측정을 위한 이미지 프로세스를 제안한다. TensorFlow는 유연한 수치 계산 코어를 사용하고 데스크톱, 모바일 및 에지 장치와 같은 다양한 플랫폼에서 사용할 수 있는 기계 학습 및 딥 러닝을 위한 오픈 소스 소프트웨어 라이브러리이다.

도 1을 참조하면, 본 발명에 따른 시스템(10)은 운전자의 생리학적 데이터를 획득하는 EEG 모듈(110), 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 EEG 모듈 DNN(310), 운전자의 머리 움직임을 추적하는 자이로스코프 모듈(130), 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 자이로스코프 모듈 DNN(330), 운전자의 영상 데이터를 획득하는 비젼 모듈(150), 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 비젼 모듈 DNN(350) 및 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 다중 모드 운전자 피로 감지 DNN(500)을 포함한다.

상기 EEG 모듈(110), 상기 EEG 모듈 DNN(310) 및 상기 자이로스코프 모듈(130), 상기 자이로스코프 모듈 DNN(330), 상기 비젼 모듈(150), 상기 비젼 모듈 DNN(350) 및 상기 다중 모드 운전자 피로 감지 DNN(500)의 구성은 상기 시스템(10)에서 실행되는 상기 멀티모달을 이용한 운전자 피로 감지를 수행하기 위한 소프트웨어에 의해 제어될 수 있다.

상기 시스템(10)은 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 130), 상기 자이로스코프 모듈 DNN(330), 상기 비젼 모듈(150), 상기 비젼 모듈 DNN(350) 및 상기 다중 모드 운전자 피로 감지 DNN(500)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.

상기 시스템(10)은 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.

상기 시스템(10)은 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.

본 발명은 보다 견고하고 신뢰할 수 있는 운전자 피로 감지 시스템을 구축하기 위해 심층 신경망(DNN)을 사용하여 운전자 피로를 감지하는 다중 모드 시스템을 제안한다.

도 2를 참조하면, 본 발명의 시스템은 운전 시뮬레이터 플랫폼에서 EEG, 자이로스코프 및 이미지 처리 시스템에서 수집한 다중 모드 시계열 데이터로 구성된다. 이 데이터는 EEG 모듈이 운전자의 졸음을 예측하고, 자이로스코프 모듈이 운전자의 머리 활동을 예측하며, 비젼 모듈이 운전자의 얼굴 행동 징후를 예측하는 3 개의 개별 모듈에서 개별적으로 처리된다.

상기 모듈들의 예측은 데이터를 처리한 다음 운전자 피로 상태를 예측하는 다중 모드 운전자 피로 감지 DNN(500)에 대한 입력으로 제공된다. 각 모듈은 각 센서에서 획득한 데이터 유형에 따라 설계된 별도의 NN으로 구성되며 본 발명의 졸음 감지 시스템에 따라 값을 예측한다.

본 발명의 시스템(10)의 주요 장점은 운전자가 피로 상태인지 여부뿐만 아니라 피로 상태에서 운전자가 나타내는 생리적 및 행동 특성도 예측한다. 또한, 적용하는 센서 데이터 유형에 따라 추가 모듈을 추가할 수 있다.

상기 EEG 모듈(EM, 110)과 같은 개별 모듈을 사용함에 따라 특정 데이터 유형에 따라 개발된 EEG 모듈 DNN(310)을 사용하여 운전자가 경험하는 졸음 및 각성 상태를 정확하게 감지할 수 있다. 마찬가지로, 상기 자이로스코프 모듈(GM) DNN(330)을 사용하여 운전자의 머리 움직임을 확인할 수 있으며, 비젼 모듈(VM) DNN(350)을 사용하여 얼굴 행동 징후를 찾을 수 있다.

운전자의 피로는 주로 단조롭고 반복적인 환경에서 장시간 운전할 때 발생하는 반면, 전문 운전자는 야간 운전의 늦은 시간에 졸음이 발생한다. 본 발명에서는 빠른 깜박임, 고개 끄덕임, 눈을 감고 있을 때 하품, 운전자 콘솔 조정으로 자주 산만해짐, 눈을 감김, 하품 등 자이로스코프 센서 및 이미지 처리를 사용하여 운전자가 나타내는 행동 징후를 통해 피로를 감지한다.

상기 EEG 모듈(110)에서 감지하는 EEG 신호는 깨어있는 상태와 수면 상태 또는 졸음 단계 사이의 전환을 감지하는데 사용된다. 하품, 눈을 감고 있을 때의 하품, 빠른 깜빡임과 같은 행동 징후는 대부분 피로 또는 졸음으로 인해 비자발적 행동을 유발한다. 한 모듈의 단점은 다른 모듈의 장점으로 보완될 수 있다.

운전자의 피로를 효과적으로 감지하려면 운전자의 졸음을 효과적으로 감지하는 것이 중요하다. 수면 각성주기는 운전자의 신체적 피로에 기여하는 건강, 신체적 부상, 규칙적인 음식 섭취와 같은 다른 요인과 함께 운전자 피로의 주요 요인 중 하나이다. 정신적 피로를 유발하는 요인 중 일부는 단조로운 운전, 지루함 등이다.

따라서, 본 발명에서는 운전자의 두 가지 상태, i) 정상적인 운전 상태, 즉 운전자가 적절한 사전 수면을 취했고 어떤 식으로든 신체적으로 아프지 않은 상태, ii) 피로 운전 상태에 있는 다른 상태는 정상적인 수면주기 동안 24 시간 이내에 최소 8 시간의 수면을 취하지 않았으며 신체가 아프거나 피로에 기여하는 요인 중 하나를 경험하고 있는 것으로 분류한다. 따라서, 본 발명에서 고려되는 두 가지 주요 범주는 운전자의 정상 주행 상태와 피로 주행 상태이다.

피로와 관련된 성능, 지각, 전기 생리학적, 생리학적, 생화학적 측정과 같은 변수를 측정하기 위해 수행된 많은 연구가 있지만 졸음은 운전자에게 나타나는 피로의 주요 지표로 간주된다.

본 발명의 다중 모드 연구의 경우 EEG, 자이로스코프 및 이미지 처리 데이터가 고려된다. EEG의 경우 운전자의 생리학적 데이터는 운전자의 각성 및 졸음 상태로 분류된다. 자이로스코프의 경우 운전자가 보여주는 졸음의 행동 징후는 운전자가 빠른 머리 움직임을 나타내는 고개를 끄덕이는 상태로 분류되며, 음악 볼륨 조절, 실내 온도 조절기 변경과 같은 드라이버 콘솔에 대한 빈번한 변경 등이 있다.

이러한 동작은 도 3과 같이 운전자의 시야가 다른 섹션으로 나뉘는 섹션 번호를 통해 운전자의 머리 자세를 추적하기 위해 운전자 헤드셋에 있는 자이로스코프에 의해 해석된다. 예를 들어, 섹션 5는 머리의 회전 각도가 평균 위치에서 x 축과 y 축을 따라 양쪽으로 약 20 도인 영역이다. 다른 섹션은 도 3과 같이 연속적으로 나뉜다. 따라서, 운전자의 머리 자세는 1에서 9까지의 섹션 번호에 따라 외부의 영역 또는 신호 손실에 대해 0으로 분류된다.

영상 처리의 경우 하품, 눈 감기, 눈 감고 하품과 같은 졸음의 행동 징후를 감지한다. 이와 같은 뇌파로 인한 졸음의 징후는 모두 정상적인 운전 상태에서도 자이로스코프 및 영상 처리가 발생할 수 있지만 운전자가 경험하는 피로 수준에 따라 발생할 가능성과 빈도가 증가한다.

따라서, 본 발명의 시스템(10)의 경우 도 4와 같이 EEG 모듈, 자이로스코프 모듈 및 비젼 모듈의 예측을 입력으로 사용하는 심층 신경망이 제안된다. 이러한 개별 모듈에는 센서에서 기록되는 데이터 유형에 맞게 특별히 설계된 신경망이 포함되어 있다. 다중 모드 데이터는 세 개의 개별 모듈에서 분석되고 예측은 개별적으로 도출된다.

비젼 모듈 결과의 경우 해당 시간에 따라 예측값이 저장되며, 데이터가 없을 경우, 예를 들어, 비젼 모듈은 '4'로 태그가 지정된다. 첫 번째 시나리오의 모든 데이터는 '1'로 태그가 지정된 EEG 모듈에서 졸음을 감지한 데이터를 제외하고 0으로 태그가 지정된다.

첫 번째 시나리오를 '0'으로 태깅하여 운전자의 정상 상태에서 안전한 주행을 위한 뇌파, 자이로스코프 및 비젼 모듈의 모든 특성을 기록한다. 뇌파 센서에서 졸음을 보인 '1'로 데이터를 태깅하여 언제라도 졸음이 발생할 수 있으므로 운전자의 정상 상태에서도 졸음의 특성을 기록하고 한다.

두 번째 시나리오의 경우, 운전자가 EEG 모듈의 예측과 함께 졸음을 경험한 것으로 감지되면 피로 상태에서 기록되고 운전자의 하품 행위를 수행한 예측 데이터가 '2'로 태깅된다. 다른 데이터는 '0'으로 태깅된다.

세 번째 시나리오의 경우 운전자가 피로 단계에 있고 고개를 끄덕이는 행동을 할 때 예측 데이터가 기록된다. 따라서, 운전자가 졸음을 경험하는 경우 EEG 모듈의 예측에 따라 모든 데이터는 '3 '으로 태깅되고 다른 데이터는 '0'으로 태깅된다.

네 번째 시나리오의 경우와 마찬가지로 피로 상태에서 데이터가 기록되고 운전자는 극도로 졸린 상태이다. 따라서, EEG 예측을 기반으로 운전자가 졸린 것으로 확인되면 데이터는 '4'로 태깅되고 다른 데이터는 '0'으로 태깅된다.

마지막으로 다섯 번째 시나리오의 경우 운전자가 피로 상태에 있고 운전 중 수면 중일 때 데이터가 기록된다. 이 경우 뇌파 모듈의 예측을 바탕으로 운전자가 졸린 것으로 확인되면 데이터는 '5'로, 다른 모든 데이터는 '0'으로 태깅된다. 데이터가 기록되는 시나리오에 대한 다중 모드 태깅 정보는 아래의 표 1에 나타내었다.

[표 1]

태깅에서 이러한 정보의 조합은 운전자가 표현한 행동 징후 또는 생리적 징후와 관련하여 피로 특성에 대한 자세한 정보를 제공한다. 또한 운전자의 정상적인 상태에서도 운전자가 경험하는 졸음에 대한 정보를 제공한다. 정상적인 상태에서도 장시간 연속 주행은 피로 상태로 이어질 수 있다. 따라서, 이러한 속성을 기반으로 데이터에 태그를 지정하여 각 센서의 데이터 특성을 알아 내고 예측을 통해 졸음을 경험하는 동안 운전자가 표현하는 행동을 내부적으로 볼 수 있다. 시나리오 4와 5는 또한 운전자가 운전 중 졸음과 피로 상태를 경험할 때 운전자의 행동 특성에 대한 통찰력을 제공한다.

본 발명에서 제안된 졸음 감지에서 제안된 멀티모달 DNN의 구조는 도 4와 같다. 도 4 및 이하 도면에서 점선 화살표는 드롭 아웃이 적용되는 연결을 나타내고 실선은 드롭 아웃이 적용되지 않은 연결을 나타낸다.

도 4를 참조하면, 드라이버 모니터링 플랫폼을 사용하는 다중 모드 데이터 수집의 초기 원시 데이터는 예측을 위해 각각의 EEG 모듈(EM), 자이로스코프 모듈(GM) 및 비젼 모듈(VM)에서 개별적으로 처리된다. 예측 결과는 시계열 기반이며 제안된 DNN에 대한 입력으로 제공된다.

입력은 3 개의 뉴런으로 구성되며, 비상시 운전자가 반응하는데 필요한 안전 반응 시간이 3 초이기 때문에 이전 시간 인스턴스 수를 3 개로 선택한다. 이전 시간 인스턴스의 기록은 이전 시간 예측의 정보를 전송한다. 이전 시간 인스턴스의 수가 증가하면 예측의 민감도가 감소하고 이전 시간 인스턴스의 수가 감소하면 예측의 민감도가 증가한다.

예를 들어, 이 데이터는 한 차원의 400 개의 장단기 기억 셀(LSTM)로 구성된 RNN(Recurrent Neural Network)에 입력으로 제공된다. 그런 다음 RNN의 출력이 NN에 대한 입력으로 제공된다. NN은 또한 400 개의 뉴런으로 구성된다. NN은 3 개의 은닉층으로 구성되며 모든 은닉층은 드롭 아웃 기능과 함께 ReLU(rectifier linear unit)를 사용한다.

NN의 출력 계층은 시그모이드 함수(SF)를 사용하여 피로의 6 가지 다른 생리적 및 행동 징후와 운전자의 정상 상태를 분류한다. RNN을 제외한 DNN의 모든 계층은 DNN의 모든 계층에서 빠른 최적화를 위해 드롭 아웃 기능과 아담 최적화(AO, adam optimization)가 있는 Xavier 초기화(XI)를 사용한다.

본 발명에서 제안된 DNN에 대한 예측 비용과 정확성을 계산하였다. 예측 비용은 로짓으로 시그모이드 교차 엔트로피의 평균을 찾아 계산된다. 로짓이 있는 시그모이드 교차 엔트로피는 각 클래스가 독립적이고 상호 배타적이지 않은 이산 분류 작업 또는 다중 레이블 분류에서 확률 오류를 측정한다. 예측 정확도는 제안된 다중 모드 DNN의 예측 값과 실제 예측 값 사이의 평균을 찾아 계산한다.

태그 지정 정보 또는 해당 인스턴스에서 예측의 실제 값은 고려되는 모든 이전 시간 인스턴스의 태그 데이터 모드로 간주되며 태그 지정 값을 동일화하기 위해 하나의 핫 태그 지정 방법으로 변환되므로, 태그의 가치가 클수록 태그의 중요성이 크다는 것을 DNN에 잘못 전달한 결과에 영향을 주지 않는다.

따라서, 비용 및 정확도 기능을 사용하여 제안된 다중 모드 DNN의 성능을 확인할 수 있다. 제안된 DNN의 성능을 확인하기 위해 모듈 중 하나의 입력이 테스트를 위해 남겨진다. 입력 노드의 수만 3 개에서 2 개로 변경되는 제안된 DNN의 성능 분석을 위해 EM과 GM 및 EM과 VM의 조합을 고려하였다. EEM은 피로를 예측하기 위한 가장 중요한 데이터 세트로 간주되기 때문에 두 모듈의 조합에서 고려된다. 제안된 다중 모드 DNN에 의해 생성된 텐서 보드는 도 5와 같다.

상기 EEG 모듈(EM, 110)은 뇌파 모듈로도 불리며, EEG 헤드셋을 이용할 수 있다.

뇌파는 깨어있는 상태와 수면 사이의 전환을 나타내는 좋은 지표이기 때문에 인간의 생리학적 신호 기반 시스템을 측정하는 가장 널리 사용되는 방법 중 하나이다. 또한, 수면의 여러 단계 사이의 전환을 감지할 수도 있다. 피질 신경 세포 사이의 통신에 의해 생성된 억제 및 흥분성 시냅스 후 전위는 피질에서 합산되어 EEG 전극에 의해 기록되는 두피 표면으로 확장된다.

뇌파 신호를 기록하는 데는 두 가지 유형이 있다. 단극법은 두피에 배치된 활성 전극과 귓불에 배치된 기준 전극 사이의 전압 차이를 기록한다. 양극법은 두 활성 두피 전극 사이의 전압 차이를 기록한다. 일반적으로, 1Hz ~ 100Hz 범위의 주파수와 함께 10μV ~ 100μV의 진폭이 EEG 신호로 측정된다.

전극은 전극의 위치와 대뇌 피질의 기저 영역 사이의 관계에 따라 배치된다. 뇌파 및 임상 신경 생리학을 위한 국제 협회의 헌법에 따라 표준 및 널리 사용되는 10-20 전극 배치 시스템이 개발되었다. 그러나, 최근에는 다중 채널 EEG 하드웨어 시스템의 개발로 인해 10-10 및 10-5 시스템과 같은 고밀도 전극 설정이 개발되었다.

본 발명에서는 연구를 위해 도 6과 같이 8 채널 10-20 전극 배치 시스템을 사용하였다. 신호 수집에 사용되는 전극은 건식 스파이크 및 비 스파이크 전극이다. 스파이크 전극은 C3, C4, P7, P8, O1 및 O2와 같이 머리카락이 많은 영역에 배치되고, 스파이크가 아닌 전극은 FP1 및 FP2와 같이 이마 영역에 배치된다. 예를 들어, 접지 전극은 오른쪽 귓불에 배치되고 각기 전두엽(F), 측두엽(T), 중앙엽(C), 두정엽(P) 및 후두엽(O)에 배치될 수 있다.

측정된 EEG 신호는 주파수와 진폭에 따라 알파, 베타, 델타 및 세타 서브 밴드로 나눌 수 있다. 알파파(8 ~ 13Hz)는 깨어 있지만 눈을 감고 긴장을 풀고 있는 상태에서 주로 발견된다. 알파파는 일반적으로 수면의 N1 단계와 관련이 있으며, 여기서 깨어있는 상태에서 수면(졸음)으로 전환된다. 피사체가 눈을 뜨거나 외부 요인으로 인해 방해를 받으면 알파파의 진폭이 감소한다. 따라서, 알파파는 졸음이나 피로를 감지하는데 가장 관련성이 높다.

베타파(13-30Hz)는 기민하고, 흥분되는 감정과 관련이 있다. 델타파(1-5Hz)와 세타파(4-8Hz)는 일반적으로 깊은 수면에 있는 상태와 관련이 있다. 이러한 저주파 신호의 발생은 피사체가 얕은 수면 또는 졸린 상태에서 깊은 수면으로 이동함에 따라 증가하고 알파파는 감소한다.

상기 EEG 모듈(110)의 주요 목적은 연속 웨이블릿 변환(CWT)을 사용하여 신호를 분석하여 알파파 발생을 효율적으로 예측하고 고속 푸리에 변환(FFT)을 사용하여 시스템을 검증하는 것이다.

운전자가 마이크로 수면 또는 졸음에 빠지면 알파파의 진폭이 증가하고, 이 현상은 O1 및 O2 전극이 있는 후두부 또는 후두엽에서 잘 관찰된다. 이 현상은 눈을 잠깐 감거나 깜빡이는 속도가 더 높을 때 발생할 수 있으며, 이는 FP1 및 FP2 전극의 신호 변동으로 관찰할 수 있다.

본 발명에서 제안된 EEG 모듈 DNN의 구조는 도 7과 같다.

도 7을 참조하면, DNN은 데이터를 Tensor로 처리하고 처리 전반에 걸쳐 초기 정보를 유지하므로 TensorFlow에서 개발되었다. EEG의 데이터 유형은 시계열 데이터이므로, 처음에는 RNN(Recurrent Neural Network)이 사용되었고, 출력은 다음 계층의 신경망(NN)에 입력으로 제공된다.

상기 EEG 모듈 DNN(310)의 원시 데이터는 1 차원의 200 개의 장기 단기 기억 셀(LSTM)로 구성된 RNN에 입력으로 제공된다. LSTM은 또한 LSTM의 과적 합을 크게 줄여주는 드롭 아웃 기능을 활용한다. LSTM은 시계열 기반 데이터 분류, 처리 및 예측에 적합하다. RNN의 출력이 수집되어 NN에 입력으로 제공된다.

NN은 100 개의 노드 또는 뉴런으로 구성되며 RNN에서 NN으로 연결되면 차원이 200에서 100으로 줄어든다. NN은 3 개의 은닉층으로 구성되며 모든 은닉층은 드롭 아웃 기능과 함께 ReLU(rectifier linear unit)를 사용한다. 데이터의 추세 또는 특징 패턴은 결정 매개변수인 ReLU와 같은 활성화 기능으로 도출된다.

ReLU를 사용하면 다른 활성화 기능에 비해 빠른 학습이 가능하며 그라디언트가 사라지는 문제가 없다. 유일한 문제는 평균 출력이 0이 아니며 학습 과정을 늦출 수 있는 신경망의 다음 계층에 바이어스를 유발한다는 것이다. 따라서, 3 개의 은닉층 후에 뉴런은 하나의 노드가 있는 출력층에 연결된다. NN의 출력 계층은 운전자의 피로 상태를 분류하기 위해 시그모이드 함수(SF)를 사용한다.

SF는 'S'자 모양의 곡선 또는 시그모이드 곡선으로 구성된다. SF는 값이 큰 양수일 때 단계 함수 또는 임계 값과 유사하다. SF의 출력은 1에 가깝다. RNN을 제외한 심층 신경망의 모든 계층은 드롭 아웃 함수와 함께 Xavier 초기화(XI)를 사용한다. XI는 입력 및 출력 뉴런의 수를 기반으로 가중치 초기화의 척도를 자동으로 결정한다. XI는 데이터가 네트워크 깊숙이 도달하도록 한다. XI는 또한 더 빠른 학습을 위해 가중치가 효율적으로 분산되도록 하며 거의 모든 유형의 뉴런에서 작동한다.

적응 모멘트 추정이라고도 하는 Adam Optimizer(AO)는 DNN의 모든 계층에서 빠른 최적화를 위해 사용된다. 학습률이 계산되고 운동량 변화도 AO에 저장된다. 첫 번째 모멘트 평균과 두 번째 모멘트는 기울기의 중심이 아닌 분산이 각각 계산되고 해당 값은 일반적으로 다른 최적화 기술을 능가하는 AO의 매개변수를 업데이트하는데 사용된다. DNN에 대한 예측 비용과 정확성을 계산하였고, 비용 함수는 아래의 수학식 1과 같이 정의된다.

[수학식 1]

여기서, H(x)는 시그모이드 함수, W는 가중치, x는 입력, b는 바이어스, y는 예측, m은 총 입력 수이다. 따라서, Cost(W)는 각 세대에 따라 운전자 피로를 예측하는 비용을 제공한다. 예측의 정확도는 DNN의 예측 값과 실제 예측 값 사이의 평균을 찾아 계산한다. 따라서, 비용 및 정확도 기능으로 제안된 DNN의 성능을 확인할 수 있다.

상기 자이로스코프 모듈(130)에서 사용하는 자이로스코프 센서는 이미지 처리 기반 머리 포즈 추정과 달리 강력한 데이터를 제공하기 때문에 머리 포즈 추정에 사용하였다. 일반적으로, 이미지 처리에서 머리 방향은 얼굴 특징의 도움으로 측정되므로 얼굴 특징이 카메라에 보이지 않으면 시스템이 작동하지 않는다. 조명의 변화는 머리 포즈 추정에도 영향을 미친다. 따라서, 이러한 문제를 방지하기 위해 머리 자세 추정에 자이로스코프 센서를 사용한다.

본 발명에서 제안된 시스템(10)에 사용된 자이로스코프 센서는 예를 들어 Arduino 기반 MPU-6050 가속도계와 자이로스코프 센서일 수 있다. 센서에는 16 비트 아날로그에서 디지털로의 변환을 위한 하드웨어가 포함되어 있으므로 x, y 및 z 축 채널을 동시에 기록할 수 있고, 3 축 가속도계, 자이로스코프, 롤, 피치 및 요(yaw) 데이터를 측정할 수 있다. 그런 다음 자이로스코프 센서는 실시간 데이터를 컴퓨터로 스트리밍하는데 사용되는 Arduino Uno 보드에 연결될 수 있다.

상기 자이로스코프 모듈(130)은 행동 징후를 기반으로 운전자의 피로를 감지하는데 사용된다. 피로한 운전자는 일반적으로 고개를 자주 끄덕이고, 자동차의 다른 콘솔을 조작하고 머리를 흔들어서 주의를 산만하게 하는 것과 같은 행동 징후를 보인다. 따라서, 본 발명에서는 자이로스코프 센서를 사용하여 머리의 움직임을 추적하는 위의 요소를 고려한다.

자이로스코프 데이터 수집, 사전 처리 및 태깅 Arduino Uno 보드에 연결된 자이로스코프 센서는 실시간 데이터를 컴퓨터로 스트리밍하는데 사용된다. 그런 다음 Matlab을 사용하여 실시간 데이터를 기록하고 시각화 모델을 개발하여 머리의 방향과 관찰된 원시 데이터를 확인한다.

NN에 기반한 피로 감지 머리 움직임 데이터는 NN에 입력으로 제공된다. 본 발명에서 제안된 자이로스코프 모듈 DNN의 구조는 도 8과 같다. DNN의 입력 계층은 각 원시 데이터 유형에 대해 계산된 평균, SD 및 PCA 값을 나타내는 21 개의 입력 노드로 구성된다. 출력 계층은 9 개의 출력 노드로 구성되며 각 노드는 드라이버 표시 영역의 각 섹션을 나타낸다. DNN의 입력 레이어와 출력 레이어 사이에 220 개의 뉴런이 있는 두 개의 은닉 레이어가 있다.

DNN의 모든 계층은 시그모이드 함수를 사용하는 출력 계층을 제외하고 누수 ReLU를 활성화 함수로 사용한다. DNN의 모든 레이어는 XI 및 드롭 아웃 기능을 사용한다. AO는 빠른 최적화를 가능하게 하므로 DNN의 모든 레이어에 사용된다.

본 발명에서 제안된 NN에 대한 예측 비용과 정확성이 계산되었다. 예측 비용은 로짓으로 시그모이드 교차 엔트로피의 평균을 구하여 계산했으며, 예측의 정확도는 제안 된 자이로스코프 모듈 NN의 예측 섹션 번호와 섹션 번호의 실제 값 사이의 감소 된 평균을 구하여 계산된다. 따라서, 비용 및 정확도 기능을 통해 제안된 비젼 모듈 NN의 성능을 확인할 수 있다.

상기 비젼 모듈(150)은 카메라 시스템을 포함할 수 있다. 예를 들어, 카메라를 GigE(기가비트 이더넷) 케이블로 컴퓨터에 연결한 다음 pylon 뷰어 소프트웨어가 60 초 동안 초당 5 프레임의 속도로 이미지를 캡처하도록 구성할 수 있다. 카메라는 운전 시뮬레이터 플랫폼에 장착되고, 수집된 이미지는 운전자의 행동 기반 징후를 감지하는데 사용할 수 있다.

운전자가 피로 상태에서 졸릴 때 나타나는 여러 가지 행동 징후가 있다. 예를 들어, 졸린 운전자는 빠른 깜박임, 임의의 방향으로 머리 흔들기, 자주 하품, 위의 징후 중 하나 또는 모두의 조합과 같은 특징적인 얼굴 움직임을 나타낸다. 비젼 모듈의 주요 목표는 비젼 기반 접근 방식으로 이러한 행동 징후를 감지하는 것이다.

본 발명에서 일 실시예로 제안된 비젼 모듈 신경망 시스템의 구조는 도 9와 같다.

상기 비젼 모듈(150)은 태그가 지정된 데이터가 NN에 대한 입력으로 제공된다. NN의 입력 레이어는 노드 정보 간의 태그된 거리 각각에 대해 14 개의 입력 노드로 구성된다. NN의 출력 계층은 드라이버의 상태를 나타내는 4 개의 출력 노드로 구성된다. NN의 입력 레이어와 출력 레이어 사이에는 100 개의 히든 뉴런이 있다.

NN의 입력 계층에서 사용되는 활성화 함수는 누출된 ReLU이다. ReLU 함수 대신 누수 ReLU를 사용하는 이유는 큰 기울기가 ReLU를 통과할 때 뉴런이 활성화되지 않는 방식으로 가중치가 업데이트 될 가능성이 있기 때문이다. 따라서, 훈련 과정에서 ReLU 유닛이 죽어가는 문제가 있는데, 이는 죽어가는 ReLU 문제라고도 한다. 따라서, 누출된 ReLU는 함수가 0이 되는 대신 0.01 정도의 작은 음의 기울기를 가짐으로써 이러한 문제를 극복한다.

NN의 모든 계층은 내부 공변 이동을 줄여 심층 네트워크 훈련을 가속화하는 배치 정규화(BN)를 사용한다. BN에서 정규화는 각 훈련 미니 배치에 대해 수행되므로 정규화 프로세스가 모델 아키텍처의 일부가 되고, 학습률을 더 높일 수 있다.

NN의 출력 계층은 시그모이드 함수를 사용하여 운전자의 얼굴 졸음 상태를 분류한다. AO는 빠른 최적화에도 사용된다. 본 발명에서 제안된 NN에 대한 예측 비용과 정확성이 계산되었다. 예측 비용은 로짓이 있는 시그모이드 교차 엔트로피의 평균을 찾아 계산된다. 로짓이 있는 시그모이드 교차 엔트로피는 각 클래스가 독립적이고 상호 배타적이지 않은 이산 분류 작업 또는 다중 레이블 분류에서 확률 오류를 측정한다. 명확성을 위해 로지스틱 손실 계산 함수는 다음의 수학식 2와 같다.

[수학식 2]

여기서, x는 로짓이고, z는 레이블이다. 로짓은 기본적으로 예측의 원시 값을 반환하는 NN의 최종 뉴런 계층의 원시 출력이다. 이 원시 예측 값은 예측 비용을 제공하는 시그모이드 함수를 사용하여 교차 엔트로피의 평균 값을 계산하는 데 사용된다. 본 발명에서 제안된 비젼 모듈 NN의 예측값과 실제 예측값 사이의 평균을 구하여 예측의 정확도를 계산한다. 따라서, 비용 및 정확도 기능으로 제안된 비젼 모듈 NN의 성능을 확인할 수 있다.

본 발명은 각 모듈의 결과를 먼저 개별적으로 검출한 후, EEG, 자이로스코프 및 이미지 처리 데이터를 사용하여 운전자 피로를 감지하는 결합된 다중 모드 접근 방식을 제안한다.

본 발명에서는 운전 중 정상 및 피로 시나리오를 기반으로 운전자 피로를 예측하는 프레임 워크를 제시하였다. 수집된 EEG 데이터는 느껴지는 스트레스의 정도와 소음, 온도 및 기타 산만 함과 같은 주변 환경의 영향에 의해 영향을 받는다. 동일한 피험자를 대상으로 실험을 반복하더라도 뇌파 데이터의 값이 달라진다. 따라서, 실제 환경의 영향을 받는 실제 뇌파 데이터를 더 많이 수집 할 필요가 있다.

본 발명에서는 CWT 태그 데이터를 사용하여 운전자의 졸음 상태를 예측할 수 있는 새로운 DNN 모델을 제안하고 사용한다. CWT 태그 데이터의 결과는 기존의 FFT 태그 데이터 세트보다 더 나은 성능을 보여주었다. 예측의 정확성에서 본 발명에서 제안된 모델은 각성에서 졸음으로 전환되는 N1 단계를 감지하는데 활용될 수 있음을 알 수 있다.

수집된 이미지 데이터는 조명과 프레임의 얼굴 특징에 크게 영향을 받는다. 시스템은 얼굴 특징이 시스템 프레임 내에 존재할 때 운전자의 상태를 감지하는데 있어 견고하다. 얼굴 특징이 없으면 시스템이 운전자의 상태를 감지할 수 없다. 따라서, 이러한 단점은 졸음을 감지하는데 다른 모듈을 사용하여 극복된다. 비젼 모듈 NN은 운전자의 상태를 잘 감지했으며 128 x 128 픽셀 태그 데이터의 결과는 256 x 256 픽셀 태그 데이터보다 더 나은 성능을 나타낸다.

따라서, 예측의 정확성을 통해 훈련된 비젼 모듈 NN이 운전자 행동 측정을 기반으로 졸음을 감지하는데 활용될 수 있음을 확인했다. 수집된 자이로스코프 데이터는 운전자의 시야를 다양한 섹션으로 나누는데 도움이 된다. 이 방법은 머리를 움직이는 이유가 많은 실제 요인을 포함하므로 운전자의 머리 움직임을 결정하는데 도움이 된다. 운전자의 머리 자세는 운전자 행동 측정을 기반으로 졸음을 판단하는데 도움이 되며 자이로스코프에서 스트리밍되는 데이터는 이미지 데이터에 비해 더 강력하다. 자이로스코프 모듈 NN의 결정은 비젼 모듈 NN을 보완한다.

자이로스코프 모듈 NN은 운전자의 머리 자세 또는 머리 활동의 감지를 잘 수행하였다. 따라서, 예측의 정확성을 통해 훈련된 자이로스코프 모듈 NN이 운전자 행동 측정을 기반으로 졸음을 감지하는데 활용될 수 있음을 알 수 있다.

개별 모듈에서 훈련된 신경망은 높은 정확도와 낮은 예측 비용을 보여 주며, 다중 모드 피로 감지를 위한 활용을 실현할 수 있다. 다중 모드 예측 데이터 세트는 세 가지 센서의 생리적 및 행동 측정을 기반으로 정상 및 피로 상태의 졸음 정보로 구성된다.

또한, 센서 수가 증가함에 따라 새로운 모듈을 시스템에 추가할 수 있으며 각 모듈에 대해 맞춤 제작 된 NN을 사용하면 각 데이터 세트 유형에 대해 높은 정확도를 보장한다. 동일한 시스템을 제조업과 같은 다른 환경에 적용할 수 있으며, 공작 기계를 작동하는 동안 비젼의 학습 매개 변수만 변경하고 자이로스코프 매개 변수에서 안전 섹션을 정의하여 공작 기계 작업자의 안전을 향상시킬 수 있다. 따라서, 본 발명에서 제안된 멀티모달 시스템은 TensorFlow를 사용하여 EEG, 자이로스코프 및 이미지 처리를 사용하여 운전자 피로를 정확히 감지할 수 있다.

도 10은 본 발명의 일 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법의 흐름도이다.

본 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법은, 도 1의 시스템(10)과 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 시스템(10)과 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.

또한, 본 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법은 멀티모달을 이용한 운전자 피로 감지를 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.

도 10을 참조하면, 본 실시예에 따른 멀티모달을 이용한 운전자 피로 감지 방법은, 예를 들어, Arduino 기반 MPU-6050 가속도계와 자이로스코프 센서(11)에서 EEG 모듈을 통해 운전자의 생리학적 데이터를 획득한다(단계 S121). 상기 EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계는, 연속 웨이블릿 변환(CWT)을 사용하여 생리학적 데이터의 알파파를 분석할 수 있다.

또한, 이와 별개로 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적한다(단계 S131). 이때, 상기 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계는, 머리의 회전 각도가 평균 위치를 계산할 수 있다.

비젼 모듈을 통해 운전자의 영상 데이터를 획득한다(단계 S151). 이때, 하품, 눈 감기, 눈 감고 하품, 빠른 눈 깜빡임 및 머리 흔들기 중 적어도 하나의 졸음 행동 징후를 감지할 수 있다.

상기 데이터들은 운전 시뮬레이터 플랫폼에서 각각 EEG, 자이로스코프 및 이미지 처리 시스템에서 수집한 다중 모드 시계열 데이터로 구성된다(12).

상기 EEG 모듈 DNN을 통해(단계 S123) 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지한다(단계 S125). 이때, 운전자의 상태를 각성 및 졸음 상태로 분류할 수 있다.

또한, 이와 독립적으로, 자이로스코프 모듈 DNN을 통해(단계 S133) 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지한다(단계 S135). 또한, 비젼 모듈 DNN을 통해(단계 S153) 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지한다(단계 S155).

이후, 다중 모드 운전자 피로 감지 DNN을 통해 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하여(단계 S200), 운전자의 피로 상태를 분류한다(단계 S300).

이와 같은 멀티모달을 이용한 운전자 피로 감지 방법에 따르면, 운전자의 졸음 상태를 인식하여 자동차 추돌 사고를 예방할 수 있다. 본 발명은 강력하고 안정적인 멀티모달을 이용한 운전자 피로 감지 시스템 구축을 위해 3가지 예측 모듈과 Deep Neural Networks(DNN)을 적용하였다.

본 발명에 따른 시스템은 EEG, 자이로스코프 및 이미지 처리 모듈에서 구동 시뮬레이터 플랫폼에서 획득한 다중 모드 시계열 데이터로 구성된다. 상기 데이터는 세 개의 분리된 모듈에서 개별적으로 처리되며, EEG 모듈은 운전자의 졸음을 예측, 자이로스코프 모듈은 운전자의 머리 활동 예측, 비젼 모듈은 운전자의 안면 행동 신호를 예측한다.

이러한 예측 결과는 다중 모드 운전자 피로 감지 DNN을 통해 운전자의 피로 상태를 최종적으로 감지한다. 실험 결과, 본 발명의 시스템은 운전자의 졸음 상태를 식별하는데 93.91%의 감지 정확도로 우수한 성능을 보였다.

이와 같은, 멀티모달을 이용한 운전자 피로 감지 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

2010년에 The US Foundation for Traffic Safety의 발표에 따르면 자동차 추돌 사고의 주요 원인 중 하나인 졸음 운전은 치명적인 충돌사고의 16.5%가 졸음운전에 의한 것이라고 분석하였으며, 이를 예방하는 데 본 발명의 시스템이 자동차 시장에서 활용될 수 있을 것으로 예상된다.

10: 멀티모달을 이용한 운전자 피로 감지 시스템
110: EEG 모듈
130: 자이로스코프 모듈
150: 비젼 모듈
310: EEG 모듈 DNN
330: 자이로스코프 모듈 DNN
350: 비젼 모듈 DNN
500: 다중 모드 운전자 피로 감지 DNN

Claims (11)

1. EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계;
   EEG 모듈 DNN을 통해 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 단계;
   자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계;
   자이로스코프 모듈 DNN을 통해 상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 단계;
   비젼 모듈을 통해 운전자의 영상 데이터를 획득하는 단계;
   비젼 모듈 DNN을 통해 상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 단계; 및
   다중 모드 운전자 피로 감지 DNN을 통해 상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 단계;를 포함하되,
   상기 EEG 모듈 DNN은, 원시 데이터가 입력으로 제공되는 1 차원의 200 개의 장기 단기 기억 셀(LSTM)로 구성된 RNN, 100 개의 노드 또는 뉴런으로 구성되어 차원을 줄이는 NN, NN의 3 개의 은닉층 및 하나의 노드로 구성된 출력층을 포함하고,
   상기 자이로스코프 모듈 DNN은, 원시 데이터가 입력으로 제공되는 21 개의 입력 노드로 구성된 NN의 입력층, 220 개의 뉴런이 있는 두 개의 은닉층 및 9 개의 출력 노드로 구성되는 출력층을 포함하고,
   상기 비젼 모듈 DNN은, 노드 정보 간의 태그된 거리 각각에 대해 14 개의 입력 노드로 구성된 NN의 입력층, 100 개의 은닉층 및 드라이버의 상태를 나타내는 4 개의 출력층을 포함하고,
   상기 다중 모드 운전자 피로 감지 DNN은, 3개의 입력 뉴런, 한 차원이 400 개의 장단기 기억 셀(LSTM)로 구성된 RNN(Recurrent Neural Network), 400 개의 뉴런으로 구성된 NN, NN의 3 개의 은닉층 및 NN의 출력 계층을 포함하되,
   상기 EEG 모듈 DNN, 자이로스코프 모듈 DNN, 비젼모듈 DNN 에서 예측된 결과는 시계열 기반으로 상기 다중 모드 운전자 피로 감지 DNN 에 대한 입력으로 제공되는, 멀티모달을 이용한 운전자 피로 감지 방법.
   
2. 제1항에 있어서, 상기 EEG 모듈을 통해 운전자의 생리학적 데이터를 획득하는 단계는,
   연속 웨이블릿 변환(CWT)을 사용하여 생리학적 데이터의 알파파를 분석하는 단계;를 포함하는, 멀티모달을 이용한 운전자 피로 감지 방법.
   
3. 제1항에 있어서, 상기 EEG 모듈 DNN을 통해 상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 단계는,
   운전자의 상태를 각성 및 졸음 상태로 분류하는 단계;를 포함하는, 멀티모달을 이용한 운전자 피로 감지 방법.
   
4. 제1항에 있어서, 상기 자이로스코프 모듈을 통해 운전자의 머리 움직임을 추적하는 단계는,
   머리의 회전 각도가 평균 위치를 계산하는 단계;를 포함하는, 멀티모달을 이용한 운전자 피로 감지 방법.
   
5. 제1항에 있어서, 상기 비젼 모듈을 통해 운전자의 영상 데이터를 획득하는 단계는,
   하품, 눈 감기, 눈 감고 하품, 빠른 눈 깜빡임 및 머리 흔들기 중 적어도 하나의 졸음 행동 징후를 감지하는 단계;를 포함하는, 멀티모달을 이용한 운전자 피로 감지 방법.
   
6. 제1항 내지 제5항 중 어느 하나의 항에 따른 상기 멀티모달을 이용한 운전자 피로 감지 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
   
7. 운전자의 생리학적 데이터를 획득하는 EEG 모듈;
   상기 생리학적 데이터를 기초로 운전자의 졸음 상태를 감지하는 EEG 모듈 DNN;
   운전자의 머리 움직임을 추적하는 자이로스코프 모듈;
   상기 운전자의 머리 움직임을 기초로 운전자의 머리 활동을 감지하는 자이로스코프 모듈 DNN;
   운전자의 영상 데이터를 획득하는 비젼 모듈;
   상기 운전자의 영상 데이터를 기초로 운전자의 얼굴 행동 징후를 감지하는 비젼 모듈 DNN; 및
   상기 감지된 운전자의 졸음 상태, 머리 활동 및 얼굴 행동 징후를 기초로 운전자의 피로 상태를 감지하는 다중 모드 운전자 피로 감지 DNN;을 포함하되,
   상기 EEG 모듈 DNN은, 원시 데이터가 입력으로 제공되는 1 차원의 200 개의 장기 단기 기억 셀(LSTM)로 구성된 RNN, 100 개의 노드 또는 뉴런으로 구성되어 차원을 줄이는 NN, NN의 3 개의 은닉층 및 하나의 노드로 구성된 출력층을 포함하고,
   상기 자이로스코프 모듈 DNN은, 원시 데이터가 입력으로 제공되는 21 개의 입력 노드로 구성된 NN의 입력층, 220 개의 뉴런이 있는 두 개의 은닉층 및 9 개의 출력 노드로 구성되는 출력층을 포함하고,
   상기 비젼 모듈 DNN은, 노드 정보 간의 태그된 거리 각각에 대해 14 개의 입력 노드로 구성된 NN의 입력층, 100 개의 은닉층 및 드라이버의 상태를 나타내는 4 개의 출력층을 포함하고,
   상기 다중 모드 운전자 피로 감지 DNN은, 3개의 입력 뉴런, 한 차원이 400 개의 장단기 기억 셀(LSTM)로 구성된 RNN(Recurrent Neural Network), 400 개의 뉴런으로 구성된 NN, NN의 3 개의 은닉층 및 NN의 출력 계층을 포함하되,
   상기 EEG 모듈 DNN, 자이로스코프 모듈 DNN, 비젼모듈 DNN 에서 예측된 결과는 시계열 기반으로 상기 다중 모드 운전자 피로 감지 DNN 에 대한 입력으로 제공되는, 멀티모달을 이용한 운전자 피로 감지 시스템.
   
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images