KR20190083155A - 운전자 상태 검출 장치 및 그 방법 - Google Patents

Abstract

본 발명은 차량 주행 중 운전자의 졸림 상태 및 부주의 상태를 판단하여 이를 운전자에게 경고할 수 있도록 한 운전자 상태 검출 장치 및 그 방법에 관한 것으로서, 상기 장치는, 차량 주행중 운전자의 영상을 획득하는 영상 획득부; 상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 랜드마크 검출부; 및 상기 검출된 랜드마크중 눈영역에 대해 눈감김 여부 분류기를 이용하여 눈감김 여부의 판단 및 랜드마크의 좌표 변화에 운전자의 헤드포즈 상태를 검출하고, 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 제어부를 포함한다.

Description

운전자 상태 검출 장치 및 그 방법{Apparatus and method for detecting state of vehicle driver}

본 발명은 운전자 상태 검출 장치 및 그 방법에 관한 것으로서, 특히 차량 주행 중 운전자의 졸림 상태 및 부주의 상태를 판단하여 이를 운전자에게 경고할 수 있도록 한 운전자 상태 검출 장치 및 그 방법에 관한 것이다.

현재 운전자의 졸음 감지 기술은 운전자의 생체신호(뇌파, 체온 등)을 이용하는 방법, 운전자의 운전패턴을 분석하는 방법, 운전석 부근의 카메라 센서를 이용한 운전자 동공 검출을 이용한 졸음을 감지하는 방법이 있다.

운전자의 생체신호를 이용하는 방법은, 정확한 졸음 판단을 할 수 있으나 운전자의 몸에 센서를 부착해야 하는 불편함이 존재한다.

운전 패턴을 분석하는 방법은 주행중 차선을 벗어나거나 주행이 부자연스러울 경우 졸음으로 판단하는데 모든 운전자에게 적용 가능한 일반화된 졸음 판단이 어렵다.

카메라 기반 운전자 동공 검출 방법은 운전자의 눈이 작은 경우 혹은 눈이 부셔 실눈을 뜰 경우 문제 동공이 잘 검출되지 않아 오작동이 발생할 수 있다. 또한, 기존 카메라 기반 운전자 동공 검출 방법은 얼굴 검출, 눈 검출, 동공검출, 눈감김 검출 등의 프로세스가 복잡한 문제점이 있다.

따라서, 본 발명의 목적은, 운전석 대시보드 부근에 부착된 카메라로부터 획득한 영상을 이용하여 실시간으로 정확하게 운전자의 졸음 및 주의 분산을 판단하여 운전자에게 경고할 수 있도록 한 운전자 상태 검출 장치 및 그 방법을 제공함에 있다.

좀 더 구체적으로 살펴보면, 본 발명은, 주행 중 운전석 대시보드 부근의 카메라로부터 획득한 영상을 이용하여 운전자의 졸음 및 부주의를 감지하는 장치 및 방법으로서, 사람의 얼굴을 학습한 분류기를 이용하여 얼굴을 검출하고, 검출한 얼굴의 랜드마크를 검출하여 얼굴의 각도를 추정하고 이를 바탕으로 운전자 부주의를 판단하며, 또한, 상기 검출된 랜드마크를 이용하여 얼굴에서 눈영역을 추출하여 눈의 감김 여부를 분류기를 이용하여 판단한 후, 이를 바탕으로 운전자 졸음여부를 판단하도록 한 운전자 상태 검출 장치 및 그 방법을 제공함에 그 목적이 있는 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 측면에 따른 운전자 상태 검출 장치는, 차량 주행중 운전자의 영상을 획득하는 영상 획득부; 상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 랜드마크 검출부; 및 상기 검출된 랜드마크중 눈영역에 대한 랜드마크의 좌표 변화에 따라 운전자의 눈감김 여부 및 운전자의 헤드포즈 상태를 검출하고, 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 제어부를 포함할 수 있다.

상기 운전자 상태 검출 장치는, 상기 영상 획득부로부터 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리부; 및 상기 전처리부에서 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출부를 더 포함할 수 있다.

상기 얼굴 영역 검출부는, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리부에서 전처리된 영상을 MCT 이미지로 변환하고, 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출한다.

상기 랜드마크 검출부에서 검출되는 랜드마크는 LBF Regressor를 이용하여 검출한다.

상기 제어부는, 상기 랜드마크 검출부에서 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대해 눈감김 분류기를 이용하여 눈감김 여부를 판단하는 눈감김 여부 판단부; 상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크의 회전각도에 따른 운전자의 헤드 포즈를 추정하는 헤드포즈 추정부; 및 상기 눈감김 여부 판단부에서 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단한 후, 그 결과를 사용자 인터페이스에 경고하는 운전자 상태 판단부를 포함할 수 있다.

상기 눈감김 여부 판단부에서 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출한다.

상기 눈감김 여부 판단부에서의 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 등 기계학습 기반의 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단한다.

상기 운전자 상태 판단부는, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단한다.

상기 헤드포즈 추정부는, 상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정한다.

상기 운전자 상태 판단부는, 상기 헤드포즈 추정부에서 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단한다.

한편, 본 발명의 다른 측면에 따른 운전자 상태 검출 방법은, 차량 주행중 운전자의 영상을 획득하는 단계; 상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 단계; 및 상기 검출된 랜드마크 중 눈영역을 이용하여 운전자의 눈감김 여부 및 운전자의 헤드포즈 상태를 검출하고, 상기 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 단계를 포함할 수 있다.

상기 방법은, 상기 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리 단계; 및 상기 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출 단계를 더 포함할 수 있다.

상기 얼굴 영역 검출 단계는, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리된 영상을 MCT 이미지로 변환하는 단계; 및 상기 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출하는 단계를 포함할 수 있다.

상기 랜드마크를 검출하는 단계에서 랜드마크는 LBF Regressor를 이용하여 검출한다.

상기 판단하는 단계는, 상기 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대해 눈감김 분류기를 이용하여 눈감김 여부를 판단하는 단계; 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 랜드마크의 위치 변화 따른 운전자의 헤드 포즈를 추정하는 단계; 및 상기 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계 및 상기 판단 결과에 따라 운전자 졸음 운전 및 주의 분산 상태에 대한 경고를 사용자 인터페이스를 통해 수행하는 단계 포함한다.

상기 눈감김 여부를 판단하는 단계에서, 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출한다.

상기 눈감김 여부를 판단하는 단계에서, 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단한다.

상기 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계에서, 운전자의 졸음 운전 판단은, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단한다.

상기 운전자의 헤드 포즈를 추정하는 단계는, 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정한다.

상기 운전자의 주의 분산 상태를 판단하는 단계는, 상기 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단한다.

본 발명은 주행 중 운전석 대시보드 부근의 카메라로부터 획득한 영상을 이용하여 운전자의 졸음 및 부주의를 감지하는 장치 및 방법으로서, 사람의 얼굴을 학습한 분류기를 이용하여 얼굴을 검출하고, 검출한 얼굴의 랜드마크를 검출하여 얼굴의 각도를 추정하고 이를 바탕으로 운전자 부주의를 판단하며, 또한, 랜드마크를 이용하여 얼굴에서 눈영역을 추출하여 눈의 감김 여부를 분류기를 이용하여 판단한 후, 이를 바탕으로 운전자 졸음여부를 판단하도록 한 것으로서, 다음과 같은 효과를 가질 수 있다.

먼저, 본 발명에 따르면, 카메라센서 기반으로 운전자 졸음 및 부주의를 판단함에 있어 얼굴검출, 랜드마크 검출, 눈감김 판단, 헤드포즈 계산을 통해 간단하게 문제를 해결할 수 있는 효과를 가진다.

또한, 본 발명에 따르면, 랜드마크를 통해 눈영역을 추출하여 눈감김 여부를 판단함으로써 기존 알고리즘에서와 같이 눈영역을 찾기 위해 얼굴 전체를 스캔하지 않아도 되고, 랜드마크로 간단하게 헤드 포즈를 계산할 수 있다.

또한, 본 발명에 따르면, 기존 방법에서 동공 검출을 이용하였으나, 본 발명은 동공 검출 프로세스 없이 보다 우수한 성능을 제공할 수 있다.

도 1은 본 발명에 따른 운전자 상태 검출 장치에 대한 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 랜드마크 검출부에서 검출된 랜드마크의 일 예를 나타낸 도면.
도 3은 본 발명에서 검출된 랜드마크를 이용하여 운전자의 눈의 Open/Closed 상태를 판단하기 위한 일 영상화면을 나타낸 도면.
도 4는 본 발명에서 운전자의 헤드 포즈 상태를 정의한 도면.
도 5는 본 발명에 따른 운전자 상태 검출 방법에 대한 동작 플로우챠트를 나타낸 도면.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.

도 1은 본 발명에 따른 운전자 상태 검출 장치에 대한 블록 구성을 나타낸 도면, 도 2는 도 1에 도시된 랜드마크 검출부에서 검출된 랜드마크의 일 예를 나타낸 도면, 도 3은 본 발명에서 검출된 랜드마크를 이용하여 운전자 눈 감김 여부(Open/Closed)에 대한 상태를 판단하기 위한 일 영상화면을 나타낸 도면, 도 4는 본 발명에서 운전자의 헤드 포즈 상태를 정의한 도면이다.

먼저, 도 1에 도시된 바와 같이, 본 발명에 따른 운전자 상태 검출 장치는, 영상 획득부(10), 전처리부(20), 얼굴영역 검출부(30), 랜드마크 검출부(40), 데이터베이스(50), 눈감김 여부 판단부(60), 졸음운전 판단부(70), 헤드포즈 추정부(80), 주의 분산 판단부(90) 및 사용자 인터페이스(100)를 포함할 수 있다.

영상 획득부(10)는 차량 주행중 운전자의 영상을 획득한 후, 획득한 운전자의 영상(이미지 프레임)을 전처리부(20)로 제공한다. 여기서, 영상 획득부(10)는 운전자의 얼굴 영상을 촬영하기 위한 카메라로서 운전자의 얼굴 영상을 정확하게 획득하기 위해 차량 내부 대시 보드 상에 부착될 수 있다.

전처리부(20)는 영상 획득부(10)로부터 제공되는 이미지 프레임에 대한 효율적 이미지 처리를 위해 그레이스케일 변환 및 노이즈 제거 등의 전처리 과정을 수행한 후, 전처리된 이미지를 얼굴 영역 검출부(30)로 제공한다.

얼굴 영역 검출부(30)는 상기 전처리부(20)를 통해 전처리된 이미지로부터 얼굴 영역을 검출한다. 여기서, 얼굴 영역을 검출하는 방법은, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 사용할 수 있다. MCT는 조도변화에 강인하여 차량주행환경에서와 같이 조도변화(그림자, 광원 위치변화)가 심한 환경에 적합하다.

얼굴 영역 검출부(30)에서의 얼굴 영역 검출은, 먼저 전처리부(20)에서 전처리된 이미지를 MCT 이미지로 변환한다. 그리고, MCT 변환이미지에서 다중스케일 이미지 피라미드를 생성하고, 이미지 피라미드에서 얼굴을 탐색하고, 검출된 얼굴 리스트 중에서 가장 크기가 큰 얼굴을 운전자 얼굴로 사용한다. 이와 같이 검출된 운전자의 얼굴 영역에 대한 이미지는 랜드마크 검출부(40)로 제공된다.

랜드마크 검출부(40)는 상기 얼굴 영역 검출부(30)를 통해 검출된 운전자의 얼굴 영역으로부터 운전자 얼굴에 대한 랜드마크를 도 2와 같이 검출하여 검출된 얼굴 랜드마크에 대한 정보는 눈감김 여부 판단부(60)와 헤드포즈 추정부(80)로 각각 제공한다. 여기서, 얼굴 랜드마크는 도 2와 같이 얼굴의 주요 지점을 나타내는 것으로, 도 2에서는 68개의 랜드마크를 표시하고 있으며 처리속도를 위해 68개가 아닌 보다 작은 개수의 랜드마크를 이용할 수도 있다. 랜드마크 검출은 속도가 빠르고 정확도가 높은 LBF Regressor같은 방법을 이용할 수 있다.

눈 감김 여부 판단부(60)는 랜드마크 검출부(40)에서 검출된 운전자 얼굴 랜드마크를 이용하여 운전자의 눈영역을 추출하고, 추출된 눈영역의 랜드마크의 상태를 데이터베이스(50)에 기 모델링된 눈감김 및 눈뜬 상태의 모델링값과 비교하여 운전자 눈감김 여부를 판단한다.

구체적으로, 눈감김 여부 판단부(60)에서의 눈 영역 추출 및 눈감김 여부를 판단하는 동작에 대하여 살펴보자.

먼저, 눈 감김 여부 판단부(60)는 랜드마크 검출부(50)에서 검출된 얼굴 랜드마크를 이용하여 눈 영역을 추출한다.

그리고, SVM 혹은 AdaBoost 분류기를 이용하여 추출한 눈 영역에 대해 눈의 감김 여부(Closed/Open)를 분류한다. 즉, 데이터베이스(50)의 눈을 감은(Closed Eye) 데이터베이스와 눈을 뜬(Open Eye) 데이터베이스를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단한다. 예를 들어, 도 2에 도시된 바와 같이 왼쪽 눈 영역은 랜드마크(37번, 40번), 오른쪽 눈 영역은 랜드마크(43번, 46번)을 이용하여 눈 영역을 추출한다.

랜드마크 37번의 좌표가 (x1, y1), 40번 좌표가 (x2, y2) 일 때 왼쪽 눈 영역 ROI Rect 값은 x = x1, y = y1-(x2-x1)/2, width = x2 - x1, height = x2 - x1로 설정된다. 오른쪽 눈 영역도 동일한 방식으로 추출된다. 추출되는 눈 영역은 도 3과 같다. 여기서, 도 3 (a)는 운전자가 운을 뜬 상태이고, (b)는 운전자가 눈을 감은 상태를 나타낸다.

졸음운전 판단부(70)는 상기 눈 감김 여부 판단부(60)에서 제공되는 판단 정보에 따라 운전자의 졸음 운전 여부를 판단한다.

구체적으로 살펴보면, 졸음 운전 판단부(70)은 눈감김 여부 판단부(60)에서 판단 결과 정보 즉, 운전자가 현재 눈 감고 있는 상태인지 아니면 눈을 뜨고 있는 상태인지 판단한 결과정보를 이용하여 즉, 운전자의 눈 감김 상태의 지속 여부로 판단한다.

졸음 운전 판단부(70)는 눈 감김 여부 판단부(60)에서의 매 프레임 운전자의 눈 감김 여부를 판단하고, 판단 결과, 1초 이상 감은 눈 상태가 지속될 경우 졸음으로 판단한다. 또한, 전체 누적 초당 평균 눈 감김 횟수를 계산하여 정보를 유지하면서 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측한다. 평소보다 눈 감김 횟수가 많으면 눈이 피로하거나 졸린 것으로 판단한다. 피로도 기준은 시스템 개발자 및 운전자가 조정할 수 있다. 운전자의 눈이 피로하거나 졸음 운전 상태로 판단되면 졸음 운전 판단부(70)는 사용자 인터페이스(100)을 통해 경고를 출력한다. 여기서, 경고는 졸음 경고 메시지, 졸음 경고음 중 적어도 하나의 방법을 이용할 수 있다.

한편, 도 1에 도시된 헤드포드 추정부(80)는 랜드마크 검출부(40)에서 검출된 랜드마크를 이용하여 운전자의 헤드 포즈 상태를 추정한다.

운전자의 헤드 포즈 상태를 추정하는 동작에 대하여 구체적으로 살펴보면, 먼저, 운전자의 헤드 포즈는 운전자가 정면을 바라보는 것을 기준으로 회전 각도에 따라 Yaw, Roll, Pitch로 분류할 수 있다. Yaw, Roll, Pitch는 정의는 도 4와 같다.

Pitch 계산은 기준 눈의 수평축에서 현재 눈의 수평축이 떨어진 정도로 측정한다. 수평축은 도 2의 37번, 40번, 43번, 46번 랜드마크의 y좌표 평균값으로 계산하고, y좌표값의 변동 값으로 Pitch 값을 측정한다.

한편, Yaw 값은 도 2의 28번, 34번, 46번 랜드마크 사이의 각도로 Yaw 값을 계산한다. 오른쪽으로 고개를 돌릴 경우 각도 값이 작아진다. Roll 값은 28번, 29번, 30번, 31번, 34번을 연결하는 수직 축의 기울어진 정도로 계산한다.

이와 같이, 헤드포드 추정부(80)는 랜드마크 검출부(40)로부터 제공되는 운전자의 얼굴 영역의 눈 영역에 대한 랜드마크의 좌표 변화를 판단하여 운전자의 포즈상태인 pitch, roll 및 yaw 변화량을 검출하는 것이다.

주의 분산 판단부(90)는 상기 헤드포즈 추정부(80)에서 검출된 운전자의 헤드 포즈 상태 즉, 운전자의 헤드에 대한 pitch, roll, yaw값을 기 설정된 기준 값과 비교하고, 해당 포즈 상태의 지속 여부를 판단하여 운전자의 주의 분산 여부를 판단하게 된다. 즉, 운전자의 헤드 포즈가 일상 범위를 벗어나 일정 시간 지속될 경우 부주의 경고가 필요하다고 판단한다. 이를 위해서는 상시 운전중일 때 헤드 포즈의 범위의 설정이 필요한데 해당 범위는 운전자가 개별적으로 설정할 수도 있고 통계를 기반으로 헤드 포즈 기준을 설정할 수 도 있다. 예를 들어, Pitch, Yaw, Roll이 60도 이상으로 1초 이상 유지될 때 사용자 인터페이스(100)를 통해 경고를 수행할 수 있다. 또한, 운전자 헤드 포즈가 일상 범위를 벗어날 경우 운전자 얼굴 검출이 되지 않을 수 있으므로 얼굴 검출이 지속적으로(1초 이상) 되지 않는 경우에도 사용자 인터페이스(100)를 통해 부주의 경고를 제공할 수 있다.

상기한 바와 같은, 본 발명에 따른 운전자 상태 검출 장치의 동작과 상응하는 본 발명에 따른 운전자 상태 검출 방법에 대하여 첨부한 도 5를 참조하여 단계적으로 설명하기로 한다.

도 5는 본 발명에 따른 운전자 상태 검출 방법에 대한 동작 플로우챠트를 나타낸 도면이다.

도 5에 도시된 바와 같이, 먼저 차량 주행중 차량 대시보드에 설치된 카메라를 이용하여 운전자의 영상을 획득한다(S501)

이어, 상기 획득된 운전자 영상(이미지 프레임)에 대한 효율적 이미지 처리를 위해 그레이스케일 변환 및 노이즈 제거 등의 전처리 과정을 수행한다(S502).

상기 S502 단계를 통해 전처리된 이미지로부터 얼굴 영역을 검출한다(S503). 여기서, 얼굴 영역을 검출하는 방법은, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 사용할 수 있다. MCT는 조도변화에 강인하여 차량주행환경에서와 같이 조도변화(그림자, 광원 위치변화)가 심한 환경에 적합하다.

상기 S503 단계에서의 얼굴 영역 검출은, 먼저 전처리된 이미지를 MCT 이미지로 변환하고, MCT 변환이미지에서 다중스케일 이미지 피라미드를 생성한 후, 이미지 피라미드에서 얼굴을 탐색하고, 탐색된 얼굴 리스트 중에서 가장 크기가 큰 얼굴을 운전자 얼굴 영역으로 검출하는 것이다.

이어, 상기 S503단계를 통해 검출된 운전자의 얼굴 영역으로부터 운전자 얼굴에 대한 랜드마크를 도 2와 같이 검출한다(S504). 여기서, 얼굴 랜드마크는 도 2와 같이 얼굴의 주요 지점을 나타내는 것으로, 도 2에서는 68개의 랜드마크를 표시하고 있으며 처리속도를 위해 68개가 아닌 보다 작은 개수의 랜드마크를 이용할 수도 있다. 랜드마크 검출은 속도가 빠르고 정확도가 높은 LBF Regressor같은 방법을 이용할 수 있다.

상기 S504단계를 통해 운전 얼굴에 대한 랜드마크가 검출되면, 검출된 운전자 얼굴 랜드마크를 이용하여 운전자의 졸음운전 및 주의 분산 행위를 판단한다(S505).

상기 S505단계의 구체적인 방법을 살펴보면, 먼저 상기 S504단계를 통해 운전 얼굴에 대한 랜드마크가 검출되면, 검출된 운전자 얼굴 랜드마크를 이용하여 운전자의 눈영역을 추출한다.

그리고, 상기 추출된 눈영역에 대해 기 모델링된 눈감김 및 눈뜬 상태의 모델링값과 비교하여 운전자 눈감김 여부를 판단한다.

구체적으로, 눈 영역 추출 및 눈감김 여부를 판단하는 방법에 대하여 살펴보자.

먼저, 상기 S504단계를 통해 검출된 얼굴 랜드마크를 이용하여 눈 영역을 추출한 후, SVM 혹은 AdaBoost 분류기를 이용하여 추출한 눈 영역에 대해 눈의 감김 여부(Closed/Open)를 분류한다. 즉, 데이터베이스의 눈을 감은(Closed Eye) 데이터베이스와 눈을 뜬(Open Eye) 데이터베이스를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단한다. 예를 들어, 도 2에 도시된 바와 같이 왼쪽 눈 영역은 랜드마크(37번, 40번), 오른쪽 눈 영역은 랜드마크(43번, 46번)을 이용하여 눈 영역을 추출한다.

랜드마크 37번의 좌표가 (x1, y1), 40번 좌표가 (x2, y2) 일 때 왼쪽 눈 영역 ROI Rect 값은 x = x1, y = y1-(x2-x1)/2, width = x2 - x1, height = x2 - x1로 설정된다. 오른쪽 눈 영역도 동일한 방식으로 추출된다. 추출되는 눈 영역은 도 3과 같다. 여기서, 도 3 (a)는 운전자가 운을 뜬 상태이고, (b)는 운전자가 눈을 감은 상태를 나타낸다.

그리고, 한편, 운전자의 주의 분산 행위를 판단하는 방법을 살펴보면, 먼저 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크를 이용하여 운전자의 헤드 포즈 상태를 추정하게 되는데, 운전자의 헤드 포즈는 운전자가 정면을 바라보는 것을 기준으로 회전 각도에 따라 Yaw, Roll, Pitch로 분류할 수 있다. Yaw, Roll, Pitch는 정의는 도 4와 같다.

Pitch 계산은 기준 눈의 수평축에서 현재 눈의 수평축이 떨어진 정도로 측정한다. 수평축은 도 2의 37번, 40번, 43번, 46번 랜드마크의 y좌표 평균값으로 계산하고, y좌표값의 변동 값으로 Pitch 값을 측정한다.

한편, Yaw 값은 도 2의 28번, 34번, 46번 랜드마크 사이의 각도로 Yaw 값을 계산한다. 오른쪽으로 고개를 돌릴 경우 각도 값이 작아진다. Roll 값은 28번, 29번, 30번, 31번, 34번을 연결하는 수직 축의 기울어진 정도로 계산한다.

이와 같이, 상기 검출된 운전자의 얼굴 영역의 눈 영역에 대한 랜드마크의 좌표 변화를 판단하여 운전자의 포즈상태인 pitch, roll 및 yaw 변화량을 검출한다.

이어, 상기와 같이, 운전자의 졸음 운전 여부 및 주의 분산 행위를 판단하여, 운전자가 졸음을 운전을 하고 있는지, 아니면 주의 분산 행위를 하고 있는지를 판단한다(S506).

판단 결과, 운전자의 졸음운전 또는/그리고 주의 분산 행위가 이루어지고 있는 상태라고 판단되면, 사용자 인터페이스를 통해 운전자에게 이를 경고하게 되는 것이다(S507).

구체적으로 살펴보면, 먼저 운전자가 현재 눈 감고 있는 상태인지 아니면 눈을 뜨고 있는 상태인지 판단한 결과정보를 이용하여 즉, 운전자의 눈 감김 상태의 지속 여부로 판단한다. 매 프레임 운전자의 눈 감김 여부를 판단하고, 판단 결과, 1초 이상 감은 눈 상태가 지속될 경우 졸음으로 판단한다. 또한, 전체 누적 초당 평균 눈 감김 횟수를 계산하여 정보를 유지하면서 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측한다. 평소보다 눈 감김 횟수가 많으면 눈이 피로하거나 졸린 것으로 판단한다. 피로도 기준은 시스템 개발자 및 운전자가 조정할 수 있다. 운전자의 눈이 피로하거나 졸음 운전 상태로 판단되면 사용자 인터페이스를 통해 경고를 출력한다. 여기서, 경고는 졸음 경고 메시지, 졸음 경고음 중 적어도 하나의 방법을 이용할 수 있다.

한편, 상기 검출된 운전자의 헤드 포즈 상태 즉, 운전자의 헤드에 대한 pitch, roll, yaw값을 기 설정된 기준 값과 비교하고, 해당 포즈 상태의 지속 여부를 판단하여 운전자의 주의 분산 여부를 판단하게 된다. 즉, 운전자의 헤드 포즈가 일상 범위를 벗어나 일정 시간 지속될 경우 부주의 경고가 필요하다고 판단한다. 이를 위해서는 상시 운전중일 때 헤드 포즈의 범위의 설정이 필요한데 해당 범위는 운전자가 개별적으로 설정할 수도 있고 통계를 기반으로 헤드 포즈 기준을 설정할 수 도 있다. 예를 들어, Pitch, Yaw, Roll이 60도 이상으로 1초 이상 유지될 때 사용자 인터페이스를 통해 경고를 수행할 수 있다. 또한, 운전자 헤드 포즈가 일상 범위를 벗어날 경우 운전자 얼굴 검출이 되지 않을 수 있으므로 얼굴 검출이 지속적으로(1초 이상) 되지 않는 경우에도 사용자 인터페이스를 통해 부주의 경고를 제공할 수 있다.

이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 영상 획득부
20 : 전처리부
30 : 얼굴영역 검출부
40 : 랜드마크 검출부
50 : 데이터베이스
60 : 눈감김 여부 판단부
70 : 졸음운전 판단부
80 : 헤드포즈 추정부
90 : 주의 분산 판단부
100 : 사용자 인터페이스

Claims (20)

1. 차량 주행중 운전자의 영상을 획득하는 영상 획득부;
   상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 랜드마크 검출부;
   상기 검출된 랜드마크중 눈영역에 대해 눈감김 여부 분류기를 통한 눈감김 여부 판단 및 랜드마크의 좌표 변화에 따라 운전자의 헤드포즈 상태를 검출하고, 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 제어부를 포함하는 것인 운전자 상태 검출 장치.
   
2. 제1항에 있어서,
   상기 영상 획득부로부터 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리부; 및
   상기 전처리부에서 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출부를 더 포함하는 것인 운전자 상태 검출장치.
   
3. 제2항에 있어서,
   상기 얼굴 영역 검출부는,
   MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리부에서 전처리된 영상을 MCT 이미지로 변환하고, 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출하는 것인 운전자 상태 검출장치.
   
4. 제1항에 있어서,
   상기 랜드마크 검출부에서 검출되는 랜드마크는 LBF Regressor를 이용하여 검출하는 것인 운전자 상태 검출장치.
   
5. 제1항에 있어서,
   상기 제어부는,
   상기 랜드마크 검출부에서 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대한 눈감김 여부 분류기를 이용하여 운전자의 눈감김 여부를 판단하는 눈감김 여부 판단부;
   상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크의 회전각도에 따른 운전자의 헤드 포즈를 추정하는 헤드포즈 추정부; 및
   상기 눈감김 여부 판단부에서 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단한 후, 그 결과를 사용자 인터페이스에 경고하는 운전자 상태 판단부를 포함하는 것인 운전자 상태 검출 장치.
   
6. 제5항에 있어서,
   상기 눈감김 여부 판단부에서 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출하는 것인 운전자 상태 검출 장치.
   
7. 제6항에 있어서,
   상기 눈감김 여부 판단부에서의 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단하는 것인 운전자 상태 검출장치.
   
8. 제7항에 있어서,
   상기 운전자 상태 판단부는, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단하는 것인 운전자 상태 검출장치.
   
9. 제5항에 있어서,
   상기 헤드포즈 추정부는,
   상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정하는 것인 운전자 상태 검출장치.
   
10. 제9항에 있어서,
    상기 운전자 상태 판단부는,
    상기 헤드포즈 추정부에서 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단하는 것인 운전자 상태 검출장치.
    
11. 차량 주행중 운전자의 영상을 획득하는 단계;
    상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 단계; 및
    상기 검출된 랜드마크중 눈영역에 대하여 눈감김 여부 분류기를 이용하여 운전자의 눈감김 여부 판단 및 랜드마크의 좌표 변화에 따라 운전자의 헤드포즈 상태를 검출하고, 상기 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 단계를 포함하는 것인 운전자 상태 검출 방법.
    
12. 제11항에 있어서,
    상기 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리 단계; 및
    상기 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출 단계를 더 포함하는 것인 운전자 상태 검출방법.
    
13. 제12항에 있어서,
    상기 얼굴 영역 검출 단계는,
    MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리된 영상을 MCT 이미지로 변환하는 단계; 및
    상기 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출하는 단계를 포함하는 것인 운전자 상태 검출방법.
    
14. 제11항에 있어서,
    상기 랜드마크를 검출하는 단계에서 랜드마크는 LBF Regressor를 이용하여 검출하는 것인 운전자 상태 검출방법.
    
15. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대해 눈감김 여부 분류기를 통해 운전자의 눈감김 여부를 판단하는 단계;
    상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 랜드마크의 회전각도에 따른 운전자의 헤드 포즈를 추정하는 단계;
    상기 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계; 및
    상기 판단 결과에 따라 운전자 졸음 운전 및 주의 분산 상태에 대한 경고를 사용자 인터페이스를 통해 수행하는 단계 포함하는 것인 운전자 상태 검출 방법.
    
16. 제15항에 있어서,
    상기 눈감김 여부를 판단하는 단계에서, 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출하는 것인 운전자 상태 검출 방법.
    
17. 제16항에 있어서,
    상기 눈감김 여부를 판단하는 단계에서, 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단하는 것인 운전자 상태 검출방법.
    
18. 제17항에 있어서,
    상기 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계에서, 운전자의 졸음 운전 판단은, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단하는 것인 운전자 상태 검출방법.
    
19. 제15항에 있어서,
    상기 운전자의 헤드 포즈를 추정하는 단계는, 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정하는 것인 운전자 상태 검출방법.
    
20. 제19항에 있어서,
    상기 운전자의 주의 분산 상태를 판단하는 단계는, 상기 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단하는 것인 운전자 상태 검출방법.

Images