KR101139963B1

KR101139963B1 - 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치

Info

Publication number: KR101139963B1
Application number: KR1020100047664A
Authority: KR
Inventors: 홍기천
Original assignee: 수원대학교산학협력단
Priority date: 2010-05-20
Filing date: 2010-05-20
Publication date: 2012-07-11
Also published as: KR20110128059A

Abstract

본 발명은 카메라로부터 촬영된 운전자의 얼굴이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단하여 경보신호를 출력함으로써, 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치에 관한 것으로서, 운전자의 얼굴을 촬영하는 카메라부; 상기 카메라부에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부; 상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 저장부; 및 상기 카메라부, 상기 이미지 검출부, 상기 저장부를 제어하여, 상기 이미지 검출부로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 제어부를 포함하여, 카메라를 부착한 내비게이터 등에 적용되어 차량 내 운전자의 졸음운전을 방지하여 안전운전을 도모할 수 있다.

Description

운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치{Method and apparatus for preventing driver from driving while drowsy based on detection of driver's pupils}

본 발명은 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치에 관한 것으로, 보다 상세하게는 카메라로부터 촬영된 운전자의 얼굴이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단하여 경보신호를 출력함으로써, 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치에 관한 것이다.
본 발명은 국가연구개발사업의 일환으로, 과제고유번호 : GRRC수원2009-B4, 연구사업명 : 경기도 지역협력연구센터 육성 지원 사업, 연구기간 : 2008년 07월 01일-2011년 06월 30일, 연구과제명 : "지능형 감시를 위한 이벤트 추출시스템 개발"에 관한 것이다.

영상 처리와 해석에 있어서, 인간의 얼굴은 시각적인 판별과 신원 확인에 대한 중요한 요소이다. 1990년대 초부터, 얼굴 인식과 얼굴 표정 해석에 대한 분석이 광범위하게 개발되어왔다. 최근에, 영상의 흐름 속에서 얼굴 검색과 신원확인을 위하여, 엠펙 세븐(MPEG-7) 얼굴 서술자(face descriptor)들이 제안되어왔다. 종래의 얼굴 인식 알고리즘에 반하여 상기 얼굴 서술자의 주요한 기능은 가능한 한 신속하고 효과적으로 조회 이미지와 똑같은 얼굴 이미지들을 검색하는 것이다.

얼굴인식기술이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다. 얼굴 인식 기술은 다른 생체인식기술인 지문인식 등과 다르게 자신의 신체 일부를 인식장치에 직접 접촉시키지 않아도 되고 생체정보의 획득방법에서 강제성이 적지만 얼굴은 조명 및 포즈(자세)의 변화에 따라 자체의 변화가 심하고 주변 환경에 매우 민감하기 때문에 인식률이 타 생체 인식 시스템에 비해 낮은 단점이 있다.

기존에도 얼굴을 검출하고 인식하는 기술들로서, 대우전자(주)의 "사람 얼굴의 화상처리를 이용한 개인인식방법"(공개번호 10-1995-29985), 한국전자통신연구원의 "얼굴 구성요소 검출시스템 및 그 검출방법(공개번호 10-1998-20738), 한국과학기술원의 "얼굴의 컬러모델과 타원체 근사모델을 이용한 실시간 얼굴추적방법 및 그 기록매체"(공개번호 10-2000-60745), 삼성전자(주)의 "가버필터링반응값의 차원공간 변환을 이용한 얼굴 인식 방법 및 그 장치"(공개번호 10-2001-87487) 등 많이 있으나, 이 모두 얼굴 인식률에 있어서 한계에 부딪혀 실용성이 떨어지게 되었다.

이를 개선하기 위하여, 본 발명자는 "얼굴 검출 및 인증 장치 및 그 방법"이란 명칭으로 한국특허출원 04-96171(04. 11. 23)(공개 06-57109(06. 05. 26), 등록 702225(07. 03. 26))을 했고, 이러한 기술을 응용하여 본 발명을 출원하였다.

본 발명자는 "얼굴 검출 및 인증 장치 및 그 방법"을 응용한 눈동자 추적 기술로 졸음운전 판단이나 눈동자 좌표계를 통한 마우스 작동 기술, 응시 위치 추적 기술 등의 이와 관련 응용분야에 대한 연구를 활발히 진행하고 있다.

1. 대우전자(주)의 "사람 얼굴의 화상처리를 이용한 개인인식방법"(공개번호 10-1995-29985) 2. 한국과학기술원의 "얼굴의 컬러모델과 타원체 근사모델을 이용한 실시간 얼굴추적방법 및 그 기록매체"(공개번호 10-2000-60745) 3. 삼성전자(주)의 "가버필터링반응값의 차원공간 변환을 이용한 얼굴 인식 방법 및 그 장치"(공개번호 10-2001-87487) 4. 홍기천외 "얼굴 검출 및 인증 장치 및 그 방법"이란 명칭으로 한국특허출원 04-96171(04. 11. 23)(공개 06-57109(06. 05. 26), 등록 702225(07. 03. 26))

[1] P. Viola and M.J. Jones, "Robust real-time object detection", Technical Report Series, Compaq Cambridge research Laboratory, CRL 2001/01,Feb. 2001. [2] 박성훈, 이재호, 김회율, "Haar-like feature/LDA를 이용한 얼굴 인식", 2004년 제 16회 영상처리 및 이해에 관한 워크샵 발표 발명집, 2004년 1월. [3] Alexander Kuranov, Rainer Lienhart, and Vadim Pisarevsky. An Empirical Analysis of Boosting Algorithms for Rapid Objects With an Extended Set of Haar-like Features. Intel Technical Report MRL-TR-july02-01, 2002. [4] Kicheon Hong, Jihong Min, Wonchan Lee, and Jungchul Kim. Real Time Face Detection and Recognition System Using Haar-Like Feature/HMM in Ubiquitous Network Environments. ICCSA 2005, LNCS 3480, pp. 1154-1161, 2005. [5] Gernet Hoffman. CIE-Lab Color Space http://www.fho-emden.de/~hoffmann/cielab03022003.pdf [6] Trahanias, P.E., Karakos, D., Venetsanopoulos, A. N.: Directional Processing of Color Images: Theory and Experimental Results. IEEE Trans. on Image Processing 5(1996)868-880 [7] Samet, H., Tamminen, M. A general approach to connected component labeling of images. Computer Science Technical Report TR-1649. Univ. Maryland, College Park, Md., Aug. 1986 [8] Kun Peng, Liming Chen, Su Ruan, Georgy Kukharev. A Robust Algorithm for Eye Detection on Gray Intensity Face without Spectacles. October 2005. [9] K.M. Lam, H. Yan, Location and extracting the ey e in human face images, Pattern Recognit. 29(1996) 771-779. [10] W. min Huang and R, Mariani, Face detection and precise eyes location, in: Proc. Int. Conf. on Pattern Recognition (ICPR'00), 2000. [11] J. Huang, H. Wechsler, Eye detection using optimal wavelet packets and radial basis functions(rbfs)m Int. J. Pattern Recognit. Artif. Intell. 13(7)(1999)1009-1025. [12] 정도영, 홍기천의 "얼굴 특징 정보를 이용한 향상된 눈동자 추적을 통한 졸음 운전 정보 시스템 구현, 디지털산업정보학회, 2009년 5월 15일

이러한 눈동자 추적 기술을 구현하기 위해, 본 발명은 할라이크 특징(Haar-like feature)을 이용한 눈 영역 검출 및 검출된 눈 영역 데이터에서 임계치를 이용한 눈동자 검출 방법을 사용하였고(참고논문 [1]), 정상적인 눈동자의 이미지와 졸리운 상태의 눈동자의 이미지를 비교하여, 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 얼굴 검출을 통해 수행되는 눈 검출은 실시간으로 입력되는 동영상에서 얼굴과 눈을 정하는 것으로, 눈 영역 검출에 있어 얼굴 영역을 검출하는 이유는 눈 영역 검출 시 얼굴 영역 내에서 만의 처리 과정을 통하여 빠른 검출 속도 및 검출률을 높이는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 복잡한 배경 및 일정하지 않은 조명에서의 얼굴 검출과 눈동자의 검출시 여러 가지 조명상황에 대한 조명 보정을 통하여 조명의 영향을 제거하고, 검출된 눈동자영역의 라벨링을 통하여 노이즈를 제거하여, 정확도와 검출률을 높여, 졸음유무를 판단하는 보다 신뢰성 있는 운전자 눈동자 검출을 이용하는 졸음 운전 방지 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 상술한 목적을 달성하기 위하여, 본 발명의 일 양태에 의하면, 운전자의 얼굴을 촬영하는 카메라부; 상기 카메라부에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부; 상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 저장부; 및 상기 카메라부, 상기 이미지 검출부, 상기 저장부를 제어하여, 상기 이미지 검출부로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 제어부를 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치를 제공한다.

본 발명의 다른 양태에 의하면, 본 발명은 운전자의 얼굴을 촬영하는 얼굴촬영단계(S200); 상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 얼굴영역을 검출하는 얼굴영역 검출단계(S210); 상기 검출된 얼굴 영역으로부터 눈동자 영역 데이터를 검출하는 눈동자 영역 데이터 검출하여, 상기 검출된 눈동자가 정상상태인 경우 저장하는 눈동자 영역 데이터 검출 및 저장단계(S220); 상기 눈동자 영역 데이터 검출 및 저장단계(S220)에서 상기 정상상태 눈동자 영역 데이터를 저장하면, 상기 얼굴영역 검출단계(S210)로부터 졸음상태의 눈동자 영역 데이터를 졸음상태 눈동자 영역 데이터를 검출하는 단계(S230); 상기 졸음상태 눈동자 영역 데이터와 상기 저장된 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계(S240)를 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 제공한다.

본 발명의 또다른 양태에 의하면, 본 발명은 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 수행하는 컴퓨터 판독 가능 프로그램을 저장한 기록매체에 있어서, 상기 컴퓨터 판독 가능 프로그램은 운전자의 얼굴을 촬영하는 얼굴촬영단계를 수행하는 프로그램코드; 상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 눈동자 영역 데이터를 검출하는 눈동자 영역 데이터 검출단계를 수행하는 프로그램코드; 상기 눈동자 영역 데이터 검출단계에서 검출된 눈동자가 정상상태인 경우 저장하는 저장단계를 수행하는 프로그램코드; 상기 눈동자 영역 데이터 검출단계로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부에 저장된 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계를 수행하는 프로그램코드를 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 수행하는 컴퓨터 판독 가능 프로그램을 저장한 기록매체를 제공한다.

바람직하기로는 상기 촬영된 운전자의 얼굴로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단하는 것을 특징으로 한다.

바람직하기로는 상기 촬영된 운전자의 얼굴로부터 눈동자 영역 데이터를 검출하기 전에, 할라이크 특징(Haar-like feature)을 이용하여 얼굴 영역 데이터를 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이고, 그 검출된 얼굴 영역 데이터로부터 상기 눈동자 영역 데이터를 검출하는 것을 특징으로 한다.

바람직하기로는 복잡한 배경 및 일정하지 않은 조명에서의 얼굴 영역 검출과 눈동자 영역 검출시 조명 상황에 대한 조명 보정을 통하여 조명의 영향을 제거하는 것을 특징으로 한다.

더욱 바람직하기로는 상기 조명 보정은 RGB 컬러공간 영상을 이용하는 대신 명도값을 따로 검출하기에 용이한 Lab 컬러공간영상으로 변환하고, 명도값은 실제 조명의 상태와는 차이가 있기 때문에, 실제 조명의 상태에 맞게 변환하고자 메디안 필터링(Median Filtering)을 적용하여, 이런 일련의 과정을 통해 검출된 조명에 역상을 취하여 원 이미지와 합성함으로써 조명의 편차값을 줄이는 것을 특징으로 한다.

바람직하기로는 검출된 눈동자영역의 라벨링을 통하여 노이즈를 제거하는 것을 특징으로 한다.

더욱 바람직하기로는 상기 라벨링을 통한 노이즈 제거는 적절한 임계치로 이진화된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 라벨링 기법을 사용하여 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택하고, 다른 라벨들을 제거함으로써 검출하고자 하는 눈동자 영역 외의 다른 노이즈 영역을 제거하는 것을 특징으로 한다.

바람직하기로는 상기 졸음여부판단결과는 경보기에 제어신호를 보내어 경보신호를 출력하도록 함을 특징으로 한다.

바람직하기로는 상기 졸음여부판단결과는 차량의 에어컨디셔너 장치에 제어신호를 보내어 에어컨디셔너가 가동되어 차량 내 공기순환을 지시함을 특징으로 한다.

바람직하기로는 조도가 어두운 경우에 얼굴을 촬영하는 적외선 카메라를 더 포함하는 것을 특징으로 한다.

바람직하기로는 촬영된 얼굴로부터 입모양을 검출하여 운전자가 하품하는지 여부를 판단하는 것을 더 포함하는 것을 특징으로 한다.

본 발명은 신체의 어떠한 접촉도 없이 단순히 카메라에서 입력되는 이미지로 처리되기 때문에 인간과 기계의 편리한 인터페이스(HCI)가 구현될 수 있어, 카메라를 부착한 차량용 내비게이터 등에 적용되어 차량 내 운전자의 졸음운전을 방지하여 안전운전을 도모할 수 있다.

도 1은 본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치의 블록도이다.
도 2는 본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 설명하기 위한 흐름도이다.

이하, 본 발명의 바람직한 실시예에 의한 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치 및 그를 수행하는 컴퓨터 판독가능 프로그램을 저장한 기록매체에 대하여 첨부된 도면을 참조하여 보다 상세하게 설명하기로 한다.

본 발명에서는 눈동자 추적 시스템의 구현을 위해 언어로 C++을 사용하였고, OpenCV 라이브러리를 이용하여 영상을 처리하였다. OS는 Windows XP를 사용하였는데, 후에 구현된 눈동자 추적 시스템은 WinCE를 이용하여 임베디드 보드인 HYBUS사의 X-Hyper255B TKU3에 적용하였다.

본 발명에서 구현한 눈동자 추적 시스템의 타켓보드는 HYBUS사의 X-Hyper255B TKUIII이다. X-Hyper255B TKUIII의 하드웨어적 사양은 표 1과 같다. LCD는 6.4인치의 크기를 가지고 있으며, 이 LCD 및 USB로 연결된 캠 디바이스 컨트롤을 위해 관련 Board Support Package를 이용하였다. 또한, 프로그램 컴파일러로 Embedded Visual C++을 사용하여 Windows상의 개발환경인 Visual C++과의 연계성을 높였다.

<표 1> X-Hyper255B TKUIII의 하드웨어 사양

Item	Description
Compiler	Embedded Visual C++
Device Drivers Frame	Buffer (6.4" TFT LCD)?Touch Screen UART (Console) USB Host Sound (Microphone / Speaker) PCMCIA
OS	WinCE 5.0

도 1은 본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치의 블록도이다. 도에 의하면, 본 발명의 바람직한 실시예에 의한 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치는 운전자의 얼굴(10)을 촬영하는 카메라부(110); 상기 카메라부(110)에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부(120); 상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 저장부(130); 상기 카메라부(110), 상기 이미지 검출부(120), 상기 저장부(130)를 제어하여, 상기 이미지 검출부(120)로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 제어부(100)를 포함한다.

도 1에서, 본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치는 차량용 내비게이터에 설치되어 운전자가 졸음운전 방지를 원하는 경우 스위치(20)를 조작하여 제어부(100)의 제어하에 카메라부(110)로 하여금 운전자의 얼굴을 촬영하도록 한다.

본 발명의 제어부(100)는 졸음여부판단결과를 출력하는데, 상기 졸음여부판단결과는 경보기(140)에 제어신호를 보내어 운전자에게 경보신호를 출력하도록 한다.

또한, 본 발명의 제어부(100)로부터 출력되는 상기 졸음여부판단결과는 차량의 에어컨작동부(150)에 제어신호를 보내 에어컨디셔너가 가동되어 차량 내 공기순환을 지시하도록 한다.

또한, 본 발명의 저장부(130)는 ROM 및 RAM으로 이루어져 ROM에는 본 발명에 적용되는 할라이크 특징 및 아다부스트 학습알고리즘의 소프트웨어프로그램이 저장되어, 제어부(100)의 지령에 의해 눈동자 영역의 검출에 사용된다. 또한, 저장부(130)의 RAM에는 정상상태 눈동자 영역 데이터를 임시로 보관할 수도 있다.

도 2는 본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 설명하기 위한 흐름도이다.

도 2에 의하면, 본 발명의 다른 양태에 의한, 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 설명하고 있는데, 운전자의 얼굴을 촬영하는 얼굴촬영단계(S200); 상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 얼굴영역을 검출하는 얼굴영역 검출단계(S210), 상기 검출된 얼굴 영역으로부터 눈동자 영역 데이터를 검출하는 눈동자 영역 데이터 검출하여, 상기 검출된 눈동자가 정상상태인 경우 저장하는 눈동자 영역 데이터 검출 및 저장단계(S220); 상기 눈동자 영역 데이터 검출 및 저장단계(S220)에서 상기 정상상태 눈동자 영역 데이터를 저장하면, 상기 얼굴영역 검출단계(S210)로부터 졸음상태의 눈동자 영역 데이터를 졸음상태 눈동자 영역 데이터를 검출하는 단계(S230), 상기 졸음상태 눈동자 영역 데이터와 상기 저장된 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계(S240)를 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 제공한다.

상기 정상상태 눈동자 영역 데이터 검출 및 저장단계(S220)에서 상기 정상상태 눈동자 영역 데이터가 검출되어 저장되지 않으면, 단계 S210으로 진행하여 상기 정상상태 눈동자 영역 데이터가 저장될 때까지 반복수행하여, 저장되면 단계 S230으로 진행한다.

상기 졸음판단단계(S240)에서 검출된 졸음상태 눈동자 영역 데이터가 정상상태인 것으로 판단되면 단계 S230으로 진행하여 졸음상태로 판단될 때까지 반복수행하고, 졸음상태로 판단되면 졸음여부판단결과를 출력하여 경보기 또는 에어컨을 작동시키는 단계(S25)를 수행한다.

본 발명에서는 상기 촬영된 운전자의 얼굴로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단한다.

또한, 상기 촬영된 운전자의 얼굴로부터 눈동자 영역 데이터를 검출하기 전에, 할라이크 특징(Haar-like feature)을 이용하여 얼굴 영역 데이터를 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이고, 그 검출된 얼굴 영역 데이터로부터 상기 눈동자 영역 데이터를 검출한다.

또한, 복잡한 배경 및 일정하지 않은 조명에서의 얼굴 영역 검출과 눈동자 영역 검출시 조명 상황에 대한 조명 보정을 통하여 조명의 영향을 제거한다.

여기서, 상기 조명 보정은 RGB 컬러공간 영상을 이용하는 대신 명도값을 따로 검출하기에 용이한 Lab 컬러공간영상으로 변환하고, 명도값은 실제 조명의 상태와는 차이가 있기 때문에, 실제 조명의 상태에 맞게 변환하고자 메디안 필터링(Median Filtering)을 적용하여, 이런 일련의 과정을 통해 검출된 조명에 역상을 취하여 원 이미지와 합성함으로써 조명의 편차값을 줄인다.

또한, 상기 검출된 눈동자영역의 라벨링을 통하여 노이즈를 제거한다.

여기서, 상기 라벨링을 통한 노이즈 제거는 적절한 임계치로 이진화된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 라벨링 기법을 사용하여 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택하고, 다른 라벨들을 제거함으로써 검출하고자 하는 눈동자 영역 외의 다른 노이즈 영역을 제거한다.

본 발명에서, 조도가 어두운 경우에 얼굴을 촬영하는 적외선 카메라를 더 포함하도록 구성할 수 있다.

더욱이, 본 발명에서 촬영된 얼굴로부터 입모양을 검출하여 운전자가 하품하는지 여부를 판단하는 것을 더 포함하도록 설계하여, 졸음운전예방을 더욱 확실히 할 수 있다.

지금까지 본 발명의 졸음운전 방지 장치 및 방법과 그를 수행하는 컴퓨터 판독가능 프로그램을 저장한 기록매체에 대하여 설명하였으나, 이하 본 발명에 적용되는 얼굴 검출에 대하여 설명하기로 한다.

할라이크 특징(Haar-like feature)과 아다부스트(AdaBoost) 학습 알고리즘은 본 발명에 적용되는 얼굴 검출 알고리즘 중의 하나이다. 할라이크특징(Haar-like feature)은 얼굴 검색 시 주로 사용하는 기법으로 많은 프로토타입이 존재하는데 이러한 프로트타입들은 아다부스트(AdaBoost) 학습 알고리즘에 의해서 얼굴을 잘 표현하는 것들만 사용하게 되기 때문에 보다 효율적인 얼굴 검출이 가능하다 (참고논문 [2]).

할라이크특징(Haar-like feature)은 비올라(Viola)가 처음 얼굴 검출에서 사용한 인식자로써 방식이 간단하고 계산방법에 있어서도 단순 합연산만을 이용한다. 이는 얼굴을 검출하는데 있어 픽셀을 이용한 연산이 아닌 특징을 이용하여 각 영역 안에 있는 픽셀들의 값을 더하여 영역합을 구하고 그 값들에 가중치(weight)를 곱한 합만을 계산한다는 것으로 동영상에서의 얼굴 검출에 용이하게 쓰일 수 있게 된다.

즉, 본 발명에서는, 단순 합에 대한 연산만 계산하여 방법 및 방식이 간단한 Haar-like feature를 사용하여 얼굴과 눈 검출에 있어서 pixel을 이용한 연산이 아닌 얼굴과 눈의 특징을 이용하여 각 영역 안에 있는 픽셀들의 값을 더하여 영역의 합을 구하고 그 값들에 가중치(weight)를 곱한 합만을 계산한다.

본 발명에서는 할라이크특징(Haar-like feature) 프로토타입 얼굴과 눈을 잘 표현하게 할 수 있도록 아다부스트(AdaBoost) 학습 알고리즘에 의해서 생성된 프로토타입을 이용하여 효율적인 얼굴 검출과 눈 검출이 가능하다 (참조논문 [2]).

본 발명에서는 얼굴 및 눈 판단율 향상을 위하여, AdaBoost 학습 알고리즘을 사용하여 얼굴과 눈으로의 판단 확률을 높이며 이 알고리즘의 장점은 그룹화(classifier) 단계(stage)가 올라갈수록 각 Haar-like feature의 프로토타입들의 위치가 얼굴의 미세한 정보까지도 나타내는 장점을 가지고 있다. AdaBoost 학습 알고리즘으로 얻은 특징값들은 단계별로 그룹화한다． 이러한 그룹화는 더 강력한 인식 알고리즘을 구현하기 위한 것으로 단계를 거듭할수록 전 단계보다 더 많은 수의 특징값을 만들어서 그룹화를 한다.

다음, Haar-like feature를 이용한 얼굴 및 눈 검출 방법에 의하면, 얼굴과 눈의 영상 이미지 데이터를 받아 얼굴과 눈 부분에 윈도우를 씌운 후 그 영역에 대해서 Haar-like feature 값을 구한다. 그 다음 AdaBoost 학습 알고리즘을 통해 선택된 Haar-like feature를 그룹화하여 저장한다. 이때 첫 번째 단계의 그룹에서는 가장 적은 9개의 Haar-like feature 가 들어간다. 단계는 총 25단계로 그룹화되고 이때에는 200개의 프로토타입이 들어가게 된다. 이렇게 그룹화한 데이터들은 텍스트 파일로 저장이 되어 얼굴 검출과 눈 검출에 있어서 hidden cascade로 사용이 된다. 본 발명에서는 얼굴 검출의 경우 24*24크기의 윈도우로 정해졌고 25개의 단계로 높은 단계로 올라갈수록 Haar-like feature의 개수도 증가하고 각각의 프로토타입들도 세밀한 부분까지 위치하게 된다(참고논문 [3]). 또한 눈 검출의 경우 35*16크기의 윈도우로 19개의 단계로 구현하였다.

이러한 Haar-like feature를 이용한 얼굴과 눈검출의 원리는 트레이닝된 얼굴의 그룹을 이용하여 얼굴 영역의 세밀한 정보를 얻기 위하여 영상을 피라미드 구조의 형식으로 줄여나가며 얼굴 영역을 결정을 하게 된다. 얼굴 영역은 줄인 영상을 복원하는 과정에 여러 개의 후보영역이 생기게 되며, 그 영역의 평균을 낸 한 영역을 출력으로 하게 된다(참고논문 [4]).

본 발명에서는 검출된 얼굴 이미지 데이터 내에서 눈 영역을 검출하게 되기 때문에 복잡한 배경에서 눈 영역만 검출했을 경우보다 나은 검출 확률 및 빠른 검출 성능을 보일 수 있다.

본 발명에서는 눈동자 검출 시, 조명으로 인한 영향을 최소화하기 위해 조명 보정을 사용하였다. 조명보정은 영상정보 내에서 조명에 해당하는 부분, 즉 밝기값 만을 검출하여 그 편차값을 줄이는 작업이라고 할 수 있다. 영상정보 내에서 조명이 비춰지는 부분의 화소(pixel)는 대체로 RGB값이 각각 255에 근접한 큰 값으로 나타난다는 점으로 조명을 분리해낼 수 있지만, 이 경우에 있어서는 그 오차가 심해 실제 조명에 해당하는 부분만을 검출하는데 어려움이 있다. 이에 본 발명에서는 RGB 컬러공간 영상을 이용하는 대신 명도값을 따로 검출하기에 용이한 Lab 컬러공간영상으로 변환하였다(참고논문 [5]). 여기서의 명도값은 실제 조명의 상태와는 차이가 있기 때문에, 실제 조명의 상태에 맞게 변환하고자 메디안 필터링(Median Filtering)을 적용하였다(참고논문 [6]). 이런 일련의 과정을 통해 검출된 조명에 역상을 취하여 원 이미지와 합성함으로써 조명의 편차값을 줄일 수 있었다.

또한, 본 발명은 라벨링을 통한 노이즈 제거를 수행한다. 적절한 임계치와 대칭성 조사를 통해 검출된 눈동자 영역은 어떠한 임계치를 사용하더라도 노이즈를 포함하는 경우가 많기 때문에, 본 발명에서는 이런 노이즈를 제거하기 위해 라벨링을 사용하였다. 라벨링은 적절한 임계치로 이진화 된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 방법이다(참고논문 [7]). 여기서 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택, 다른 라벨들을 제거함으로써 검출하고자 하는 눈동자 영역외의 다른 노이즈영역을 제거할 수 있다.

본 발명에서는 눈동자영역의 기하학적 특성을 이용하여 특정 Label을 선출하는 방법을 택하였다. 눈동자 영역은 일반적으로 기하학적 원의 형태로 되어있고, ROI(Region of Interest) 지정 시 그 면적이 가장 큰 공간임을 이용한다면 눈동자 검출은 좀 더 정확해질 수 있다(참고논문 [8]).

본 발명은 눈동자의 추적 방식을 통하여 졸음 판단을 수행한다.

Haar-like feature와 조명보정을 이용하여 검출된 눈 영역 데이터는 영상의 밝기 값만을 이용하여 흑백 이미지를 얻은 후 임계치를 이용하여 영상을 이진화한다. 눈동자 영역의 경우 밝기값이 매우 낮기 때문에 적절한 임계치를 이용하여 영역을 분리하면 눈동자와 눈썹 등의 부분을 검출하게 되고, 검출된 영역에서 눈동자는 기하학적으로 그 구성 면적이 눈썹이나 그 외의 다른 부분보다 크고, 원모양으로 구성되어 있으므로 영역의 기하학적 특성에 따른 라벨링(Labeling)을 통해 눈동자를 검출할 수 있다(참고논문 [9],[10],[11]).

본 발명에서, 눈동자 이외에 머리카락이나 눈썹 등의 부분이 검출이 되지 않는 이유는 눈동자의 위치가 눈 영역에서 가운데 있으므로 ROI(Region of Interest)를 지정, 어느 정도 밖에 있는 부분은 검색을 하지 않기 때문이다.

본 발명에서 졸음 유무는 이진화와 대칭성 조사를 마친 이미지를 통해 판단한다. 눈동자는 어느 정도 원의 형태를 갖는다는 조건하에 검출되었으므로, 눈을 흐릿하게 뜬다든지 할 경우에 눈동자의 영역이 원의 형태가 아니게 된다. 결과적으로 눈을 지속적으로 감고 있거나 고개가 기울어져 눈동자 나 얼굴의 검출이 계속 이루어지지 않을 경우 졸음운전으로 판단되는 확률은 높아지는 것이다.

본 발명에서는 눈동자 검출을 위해, 트레이닝 된 얼굴 영역과 눈 영역을 이용한 결과와, 트레이닝 된 눈 영역만을 이용한 결과를 비교해 보았는데, 얼굴 검출이 선행되었을 경우에 검출률이 양호하다.

또한 본 발명에서는 조명보정을 통해 빛의 영향으로 눈동자가 검출되지 않는 경우를 최소화하고, 보완하고, Labeling을 통해 눈동자를 검출했을 때의 효과를 알아보았다.

얼굴 및 눈 영역 검출 실험 결과, 본 발명에서는 복잡한 배경 하에서의 얼굴 검출을 실험한 결과 원하는 얼굴 영상을 얻었다. 그 방법으로는 화면에서 얼굴이 있을 시에 얼굴 영역만을 자동으로 검출하여 저장하는 방식을 이용하였고, 여기서 검출된 얼굴 영역을 이용, 같은 방법으로 다시 눈 영역 검출하였다.

그리고 이것과는 별도의 다른 방법으로서 복잡한 배경 하에서 직접 눈 영역을 검출하는 경우, 두 결과는 표 2에서 비교해 볼 수 있다.

<표 2> 눈 영역 검출 방법에 따른 실험결과

	검출실패	잘못된검출	검출성공	검출률
눈 검출	2	5	43	86%
얼굴 검출 ?눈 검출	2	2	46	92%

표 2의 결과를 살펴보면 눈 검출만 시행했을 때에도 결과 그리 나쁜 편은 아니지만, 실험 도중 자칫 배경을 눈 영역으로 오인식 되는 경우를 발견할 수 있었다. 특히 배경이 매우 복잡하고 트레이닝 된 눈 영역의 학습정도가 낮을수록 그 오인식의 영향이 커지게 된다는 점에서도 얼굴 영역 검출과 병행하는 것이 나은 결과를 나타내었다.

이하, 조명의 영향에 관한 실험 결과를 설명한다. 조명보정은 앞서 언급했던 Lab 컬러공간영상 모델을 이용하여, 역조명의 합성을 통해 조명의 영향을 제거함으로써 이루어진다. 실제 운전 시 햇빛을 받아 눈동자 검출이 되지 않는 경우를 조명보정을 통해 보완하는데 초점을 맞추었다. 실험은 4가지의 조명상태에 대해 조명보정을 사용했을 때와 그렇지 않았을 때로 구분되어, 각각 20회씩 실시하였다. 표 3은 전체적인 실험 결과를 보여주고 있다.

<표 3> 조명의 영향에 따른 눈동자 검출 실험

조 명 상 태	조명보정 유무	검출 실패	잘못된 검출	검출 성공	검출률
매우 강한 조명	일반	16	2	2	10%
매우 강한 조명	조명보정	6	ㆍ	14	70%
강한 조명	일반	13	ㆍ	4	20%
강한 조명	조명보정	2	1	17	85%
중간 조명	일반	ㆍ	2	18	90%
중간 조명	조명보정	ㆍ	2	18	90%
어두운 조명	일반	14	3	3	15%
어두운 조명	조명보정	6	1	13	65%

실험 결과를 보면, 중간 정도의 조명인 경우를 제외하고는 조명보정 적용 시에 일반검출시보다 검출률의 향상이 두드러짐을 알 수 있다. 특히 검출 실패율 면에서 많은 향상을 보였는데, 이는 Haar-like feature가 인식할 수 없을 만큼 악화되었던 눈 영역의 특징을 일정 수준 복원했기 때문으로 추정된다.

강한 조명에서 조명보정을 적용하지 않을시, 눈동자 검출이 원활하게 이루어지지 않는다. 이는 눈으로 많은 조명이 들어와 임계치에 따른 이진화시 눈동자 영역의 정보를 대다수 잃게 됨으로써 눈동자 추적을 어렵게 만들고 있기 때문이며, 조명보정을 통해 처리된 이미지는 비교적 눈동자 추적을 잘 해낼 수 있다.

라벨링의 효과를 살펴보면, 표 4는 정상적인 환경에서 적절한 임계치와 대칭성 조사를 통해 눈동자 영역을 20회 검출했을 때, 노이즈 발생 정도를 측정한 결과를 보여주고 있다.

<표 4> 눈동자 검출 시 노이즈 발생 빈도

노이즈 발생안됨	노이즈 발생	노이즈 발생률
6	14	70%

표 4의 실험 결과에 따르면 일반 검출 시에 눈동자영역 외에 눈동자 주변의 다른 부분이 검출되는 형태 즉, 노이즈가 나타나는 비율이 과반 수 이상인데 이는 눈동자 주변의 대칭인 어두운 영역도 같이 검출되었기 때문이다. 이 실험에서 노이즈가 발생한 14개의 결과 중, 7개를 선정하여 노이즈를 제거하기 위해 라벨링을 사용하는 실험을 실시하였다.

라벨링 적용 시 눈동자 검출에 실패하는 경우는 앞서 검출된 영역의 기하학적 특성이 눈동자의 그것과 맞지 않기 때문이다. 즉, 원의 형상이 아니거나 영역들 중 가장 큰 부분을 차지하고 있지 못해 검출에 실패한 경우이다. 그 외의 결과는 모두 그 전의 노이즈를 제거한 모습으로 좀 더 정확한 눈동자 검출이 된다.

본 발명의 전체적인 알고리즘 성능을 보면, 조명보정과 라벨링을 통하여 얼굴 검출 후 눈동자 검출을 하는 경우가 가장 적절한 환경을 의미한다. 즉, 조명환경이 좋지 못한 경우에 조명보정을 적용하지 않은 경우 결과가 매우 좋지 않아, 특히 그 성능의 격차가 많이 벌어지고 있다. 얼굴검출 후에 눈 검출 하는 방법은 직접 눈검출 하는 결과에 비해 약간의 향상이 있고, 라벨링을 적용했을 때도 적용하지 않았을 때에 비해 비슷한 정도의 향상이 있다.

본 발명은 임베드 환경시 눈동자 검출 총 소요 시간이 표 5를 보면 알 수 있듯이 총 걸리는 시간은 1초 정도라 실시간으로 실제 운전 시에 졸음운전으로 판단하는데 드는 시간으로는 다소 적절하지 않은 수치지만 자동차와 연결된 높은 사양의 시스템으로 졸음 운전 판단을 빨리 내릴 수가 있다.

<표 5> 눈동자 검출 총 소요 시간

	얼굴 검출	눈영역 검출	조명보정 & Labelling	총 걸리는 시간
소요시간	0.3초	0.2초	0.5-0.8초	1초

본 발명에서는 Haar-like feature를 이용하여 얼굴과 눈을 검출하고 검출된 눈 영역을 기반으로 눈동자를 추적하여 졸음운전을 판단하는 원리에 대해서 설명하였다. 이것은 복잡한 배경이 아닌 검출된 얼굴에서의 눈 영역 검출을 통해 좀 더 빠른 검출속도와 검출률의 향상을 얻을 수 있었다. 또한 눈동자 추적 시 조명의 영향을 최소화하는 방법과 기하학적 구조에 입각하여 눈동자를 검출함으로써 눈동자 검출의 정확도를 높이는 방법에 대해 설명하였다. 본 발명은 신체의 어떠한 접촉도 없이 단순히 카메라에서 입력되는 이미지로 처리되기 때문에 인간과 기계의 편리한 인터페이스(HCI)가 구현될 수 있지만, 얼굴 자체의 변화가 심하다는 점 때문에 정확한 졸음 판단이 어려울 수도 있으나, 운전자의 상태를 알 수 있는 생체 센서와 하품을 할 때의 입모양 검출, 적외선 센서로 이루어진 카메라 등을 복합적으로 사용한다면 졸음운전의 판단 확률을 충분히 높일 수 있고, 알고리즘과 프로세서의 개발을 통해서 실생활에 적용할 수 있다. 또한, 운전자의 졸음운전시 얼굴의 이동 및 눈꺼플의 깜박임 정도를 판단비교함으로써 졸음운전의 판단 확률을 더욱 높일 수 있다. 이러한 본 발명의 변형예 기술은 모두 본 발명에 속하는 것으로 본다.

본 발명은 카메라를 부착한 내비게이터 등에 적용되어 차량 내 운전자의 졸음운전을 방지하여 안전운전을 도모할 수 있다.

10...얼굴 20...작동 스위치
100...제어부 110...카메라부
120...이미지검출부 130...저장부
140...경보기 150...에어컨작동부

Claims

삭제
차량 운전 중 운전자의 졸음 운전 방지 장치에 있어서,
운전자의 얼굴을 촬영하는 카메라부;
상기 카메라부에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부;
상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 저장부; 및
상기 카메라부, 상기 이미지 검출부, 상기 저장부를 제어하여, 상기 이미지 검출부로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 제어부를 포함하며,
상기 제어부는 촬영된 운전자의 얼굴로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치.
차량 운전 중 운전자의 졸음 운전 방지 장치에 있어서,
운전자의 얼굴을 촬영하는 카메라부;
상기 카메라부에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부;
상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 저장부; 및
상기 카메라부, 상기 이미지 검출부, 상기 저장부를 제어하여, 상기 이미지 검출부로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 제어부를 포함하며,
상기 제어부는 상기 촬영된 운전자의 얼굴로부터 눈동자 영역 데이터를 검출하기 전에, 할라이크 특징(Haar-like feature)을 이용하여 얼굴 영역 데이터를 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이고, 그 검출된 얼굴 영역 데이터로부터 상기 눈동자 영역 데이터를 검출하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치.
제2항 또는 제3항에 있어서, 상기 제어부는 RGB 컬러공간 영상을 이용하는 대신 명도값을 따로 검출하기에 용이한 Lab 컬러공간영상으로 변환하고, 명도값은 실제 조명의 상태와는 차이가 있기 때문에, 실제 조명의 상태에 맞게 변환하고자 메디안 필터링(Median Filtering)을 적용하여, 이런 일련의 과정을 통해 검출된 조명에 역상을 취하여 원 이미지와 합성함으로써 조명의 편차값을 줄이는 조명 보정을 수행하는 것을 특징으로 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치.
제2항 또는 제3항에 있어서, 상기 제어부는 임계치로 이진화된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 라벨링 기법을 사용하여 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택하고, 다른 라벨들을 제거함으로써 검출하고자 하는 눈동자 영역 외의 다른 노이즈 영역을 제거하는 라벨링을 수행하는 것을 특징으로 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치.
삭제
삭제
차량 운전 중 운전자의 졸음 운전 방지 방법에 있어서,
운전자의 얼굴을 촬영하는 얼굴촬영단계(S200);
상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 얼굴영역을 검출하는 얼굴영역 검출단계(S210);
상기 검출된 얼굴 영역으로부터 눈동자 영역 데이터를 검출하는 눈동자 영역 데이터 검출하여, 상기 검출된 눈동자가 정상상태인 경우 저장하는 눈동자 영역 데이터 검출 및 저장단계(S220);
상기 눈동자 영역 데이터 검출 및 저장단계(S220)에서 상기 정상상태 눈동자 영역 데이터를 저장하면, 상기 얼굴영역 검출단계(S210)로부터 졸음상태의 눈동자 영역 데이터를 검출하는 단계(S230),
상기 졸음상태 눈동자 영역 데이터와 상기 저장된 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계(S240)를 포함하며,
상기 졸음판단단계(S240)는 상기 촬영된 운전자의 얼굴로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법.
차량 운전 중 운전자의 졸음 운전 방지 방법에 있어서,
운전자의 얼굴을 촬영하는 얼굴촬영단계(S200);
상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 얼굴영역을 검출하는 얼굴영역 검출단계(S210);
상기 검출된 얼굴 영역으로부터 눈동자 영역 데이터를 검출하는 눈동자 영역 데이터 검출하여, 상기 검출된 눈동자가 정상상태인 경우 저장하는 눈동자 영역 데이터 검출 및 저장단계(S220);
상기 눈동자 영역 데이터 검출 및 저장단계(S220)에서 상기 정상상태 눈동자 영역 데이터를 저장하면, 상기 얼굴영역 검출단계(S210)로부터 졸음상태의 눈동자 영역 데이터를 검출하는 단계(S230),
상기 졸음상태 눈동자 영역 데이터와 상기 저장된 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계(S240)를 포함하며,
상기 졸음판단단계(S240)는 상기 촬영된 운전자의 얼굴로부터 눈동자 영역 데이터를 검출하기 전에, 할라이크 특징(Haar-like feature)을 이용하여 얼굴 영역 데이터를 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이고, 그 검출된 얼굴 영역 데이터로부터 상기 눈동자 영역 데이터를 검출하는 것을 특징으로 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법.
제8항 또는 제9항에 있어서, RGB 컬러공간 영상을 이용하는 대신 명도값을 따로 검출하기에 용이한 Lab 컬러공간영상으로 변환하고, 명도값은 실제 조명의 상태와는 차이가 있기 때문에, 실제 조명의 상태에 맞게 변환하고자 메디안 필터링(Median Filtering)을 적용하여, 이런 일련의 과정을 통해 검출된 조명에 역상을 취하여 원 이미지와 합성함으로써 조명의 편차값을 줄이는 조명 보정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법.
제8항 또는 제9항에 있어서, 임계치로 이진화된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 라벨링 기법을 사용하여 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택하고, 다른 라벨들을 제거함으로써 검출하고자 하는 눈동자 영역 외의 다른 노이즈 영역을 제거하는 라벨링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법.
삭제
삭제