KR101669447B1

KR101669447B1 - 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법

Info

Publication number: KR101669447B1
Application number: KR1020150042181A
Authority: KR
Inventors: 반성범; 신주현; 최원웅; 채승훈
Original assignee: 조선대학교산학협력단
Priority date: 2015-03-26
Filing date: 2015-03-26
Publication date: 2016-11-09
Also published as: KR20160115119A

Abstract

본 발명은 운전자를 촬영한 영상에서 눈 영역을 검출하고, 검출된 눈 영역의 두께에 따라 개폐 상태를 인식하고 졸음 여부를 판단할 수 있는 운전자 졸음 인식 시스템 및 그 인식 방법에 관한 것으로, 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법은 (a) 영역 검출부를 이용하여, 입력된 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 검출하는 단계, (b) 상태 판단부를 이용하여, 검출된 상기 눈 영역의 두께로 눈 개폐 상태를 판단하는 단계 및 (c) 시간의 흐름에 따른 눈 개폐 상태의 패턴을 분석하여, 운전자의 졸음 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법{System and the method for recognizing drowsiness}

본 발명은 영상 처리 기반의 운전자 졸음 인식 기술에 관한 것으로, 더 상세하게는 운전자를 촬영한 영상에서 눈 영역을 검출하고, 검출된 눈 영역의 두께에 따라 개폐 상태를 인식하고 졸음 여부를 판단할 수 있는 운전자 졸음 인식 시스템 및 그 인식 방법에 관한 것이다.

최근 차량용 임베디드 시스템의 발전과 자동차 편의, 안전 기술 요구사항이 증가함에 따라 IT기술과 자동차를 융합한 분야에 대한 연구개발이 확대되고 있다[1].

특히 안전 운전에 대한 운전자들의 요구사항 증가 및 차량 안전시스템의 적용이 지속적으로 증가하고 있다. 그러나 자동차 사고의 원인 중 가장 높은 사망률이 나타나는 피로에 의한 졸음운전과 전방 주시 태만과 같은 운전부하에 대한 관리기능 부재는 완전히 해결되지 못한 과제이다[2].

현재까지 기술 제안된 운전자 졸음 감지 방법에는 운전자의 고개 기울기에 따른 감지 시스템, 맥박의 변화에 따른 졸음감지 시스템, 차선 이탈에 따른 경보 시스템, 운전자의 영상을 이용하는 시스템 등이 있다[3-6]

이러한 종래 기술들은 정확한 졸음 상태의 판단 작업의 정확성이 다소 떨어지는 문제가 있으며, 촬영 환경 및 사용자의 신체 조건에 따라 정확한 사용자의 졸음 상태를 판단할 수 있는 기준이 애매모호한 문제점이 있다.

[1] J. M. Choi, H. Song, S. H. Park, and C. D. Lee, "Implementation of driver fatigue monitoring system," The Journal of Korea Information and Communications Society, vol. 37, no. 8, pp. 711-720, August 2012. [2] H. Song, C. D. Lee, B. H. Choi, and J. S. Yoo, "Robust doze detection system in various light source environment," In Proceeding on Institute of Electronics and Engineer of Korea Summer Conference , vol. 34, no. 1, pp. 925-928, June 2011. [3] H. Song, J. M. Choi, C. D. Lee, B. H. Choi, and J. S. Yoo, "Implementation of a safe driving assistance system and doze detection," Journal of the Institute of Electronics and Engineer of Korea, vol. 49, no. 3, pp. 30-39, May 2012. [4] M. S. Park, K. H. Lee, and H. Y. Kim, "Development of driving simulator for detecting driver's condition based on bio-signal," In Proceeding on The Korean Society of Automotive Engineers 2013 Annual Conference, pp. 1534-1538, May 2013. [5] H. D. Kim, H. C. Yang, and K. B. Sim, "Emotion recognition method using physiological signals and gestures," Journal of Intelligence and Information Systems, vol. 17, no. 3, pp. 322-327, June 2007. [6] H. K. Jeong and Y. J. Jeong, "A lane departure warning algorithm based on images surrounding the vehicle," Journal of Korean Institute of Information Technology, vol. 11, no. 5, pp. 121-130, May 2013.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명은 외부 조명 변화에서도 고품질의 눈 영역을 추출하여 운전자의 졸음을 정확하게 인식하고 판단할 수 있는 시스템 및 방법을 제공하는데 기술적 목적이 있다.

본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템은 운전자의 얼굴 영상을 촬영하여 출력하는 이미지 출력부, 출력된 상기 영상에서 운전자의 얼굴 영역과 눈 영역을 검출하는 영역 검출부 및 검출된 상기 눈 영역의 두께로 눈 개폐 상태 및 졸음 여부를 판단하는 상태 판단부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법은 (a) 영역 검출부를 이용하여, 입력된 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 검출하는 단계 및 (b) 상태 판단부를 이용하여, 검출된 상기 눈 영역의 두께로 눈 개폐 상태 및 졸음 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명은 눈 영역의 인식에 있어서 조명의 영향을 최소화할 수 있음에 따라, 저가형 카메라를 이용하여도 운전자 졸음을 정확하게 인식할 수 있으며, 경보 장치 외에도 하드웨어에 접목이 가능한 효과가 있다.

또한, 본 발명은 카메라에서 인가되는 영상을 통해 졸음패턴과 비교하여 졸음운전으로 판단하여, 운전자에게 경고 메시지를 출력함으로써 교통사고로 인한 인명피해 및 경제적 손실을 미연에 방지할 수 있다.

도 1은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템의 전체 구성도.
도 2는 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 이미지 출력부의 상세 구성도.
도 3은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 히스토그램 평활화 실시예를 나타내는 도면.
도 4는 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 영역 검출부의 상세 구성도.
도 5는 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 얼굴 영역 검출을 나타내는 실시예 화면.
도 6은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 눈 영역 검출을 나타내는 실시예 화면.
도 7은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, CIE L*a*b 색 공간 개념을 나타내는 도면.
도 8은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 색 공간 변환 개념을 나타내는 도면.
도 9는 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 이진화 실시예를 나타내는 도면.
도 10은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 라벨링 기법으로 눈 이외의 후보 영역을 제거한 실시예를 나타내는 도면.
도 11은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 상태 판단부의 상세 구성도.
도 12는 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, 눈 개폐 상태를 판단하는 개념을 나타내는 도면.
도 13은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템에 있어서, K-means 알고리즘에 2차원으로 학습시켜 눈의 개폐상태를 판단하는 개념을 나타내는 그래프.
도 14는 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법에 있어서, 눈 개폐 상태 패턴으로 졸음 상태를 판단하는 개념을 나타내는 도면.
도 15는 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법의 전체 흐름도.
도 16은 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법에 있어서, S10 단계의 상세 흐름도.
도 17은 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법에 있어서, S20 단계의 상세 흐름도.
도 18는 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법을 적용한 눈 개폐 상태 인식 실시예 화면.
도 19는 본 발명에 따른 영상 기반의 운전자 졸음 인식 방법에 따른 운전자 상황을 나타내는 실시예 화면.

이하, 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.

도 1은 본 발명에 따른 영상 기반의 운전자 졸음 인식 시스템의 전체 구성을 나타내는 도면으로, 이미지 출력부(10), 영역 검출부(20), 상태 판단부(30) 및 졸음 경고부(40)를 포함한다.

상기 이미지 출력부(10)는 운전자의 얼굴 영상을 촬영하여 출력하며, 도 2에 도시된 바와 같이, 실시간 영상 입력부(11) 및 제1영상 보정부(12)를 포함한다.

상기 실시간 영상 입력부(11)는 차량 전면유리 상단에 고정되어, 운전자의 얼굴 전면을 촬영하며, 촬영된 운전자의 얼굴 영상을 실시간으로 입력하며, 상기 제1영상 보정부(12)는 입력받은 운전자의 얼굴 영상을 명도에 따라 운전자 영상 보정 처리(Histogram equalization) 실시하고, 전체 영상을 자동으로 출력한다.

즉, 차량 내부의 조명 변화는 외부로부터 들어오는 햇빛, 야간의 가로등과 같은 조명 등 다양한 변화가 있으며, 영상을 이용하는 인식 시스템의 경우 조명 환경에 매우 민감하게 작용한다.

본 발명에 따른 히스토그램 평활화는 영상 내에서 화소 값들이 일부 영역에 몰려 있을 경우 선형적으로 변형시켜 화소 값을 평활화한다. 도 3의 (a), (c) 는 외부 조명 변화 따른 얼굴 밝기 변화를 나타낸다. 원 영상의 명도가 낮을 경우 얼굴과 눈의 특징값을 추출하는데 어려워지고 잡음이 많이 생겨 인식률이 현저히 낮아진다. 따라서 본 발명은 히스토그램 평활화를 통해 도 3의 (b), (d) 와 같이 영상 개선을 수행한다.

상기 영역 검출부(20)는 출력된 상기 영상에서 운전자의 얼굴 영역과 눈 영역을 검출하며, 도 4에 도시된 바와 같이, 얼굴/눈 영역 검출부(21), 제2영상 보정부(22), 윤곽선 검출부(23), 후보 영역 제거부(24)를 포함한다.

상기 얼굴/눈 영역 검출부(21)는 하르-라이크(Haar-like), 아다부스트(Adaboost), 케스케이드(Cascade) 알고리즘 중 적어도 어느 하나 이상의 알고리즘을 적용하여, 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 추출하며, 그 내용을 보다 상세하게 설명하면 다음과 같다.

본 발명에 따른 얼굴 영역 검출은 얼굴 검출 방법은 얼굴 이미지를 학습하는 "학습 단계"와 실제 이미지에서 얼굴 이미지만 추출해 내는 "실행 단계"로 나뉘어져 있다. 학습 단계에서는 다수의 약한 분류기 노드를 이용하여 각각의 특징 중 얼굴 이미지를 검출함에 있어 중요하게 적용될 수 있는 정도를 측정하고 아다부스트 알고리즘을 이용하여 최상위 특징만을 추출해내는 작업을 수행한다. 계산량이 적은 수 많은 약한 분류기 노드를 사용하고 이를 아다부스트 알고리즘으로 조합하여 강한 분류기 노드로 만들어 사용한다. 다수의 강한 분류기 노드를 캐스케이드 구조로 구성하여 도 5와 같이 얼굴을 검출할 수 있다

또한, 본 발명에 따른 눈 영역 검출은 아다부스트 학습단계에서 눈을 검출하기 위해 먼저 눈 모양을 포함하는 영상과 눈 모양을 포함하고 있지 않는 영상의 특징을 추출한다. 특징 중에서 매칭 확률에 따라 약한 분류기 노드와 강한 분류기 노드로 분류하여 구성한다. 그리고 실행단계에서는 약한 분류기 노드를 적용하고 단계적으로 강한 분류기 노드를 적용하여 도 6과 같이 눈 영역을 검출한다.

상기 제2영상 보정부(22)는 상기 얼굴/눈 영역 추출부와 연결되어, 검출된 눈 영역을 보정 처리(히스토그램 평활화)를 하며, 상기 윤곽선 검출부(23)는 추출된 상기 눈 영역과 후보 영역을 CIE L*a*b 색상 공간 영역으로 변환하여, 눈 윤곽선을 검출한다.

CIE L*a*b* 은 도 7에 도시된 바와 같이, 균일한 색상 공간 좌표로서 눈과 매우 근사한 차이를 보여주기 때문에 세계적으로 표준화되어 있는 색상 공간으로 L* 성분은 조도(Lightness)를 표현하며 L*=100은 흰색(광원), L*=0은 검은색이다. a*, b* 성분은 색도 변화를 표현하고 a*는 Red, Green, b*는 Yellow, Blue의 색도를 나타낸다.

본 발명에 따른 윤곽선 검출부(23)는 도 8에 도시된 바와 같이, 추출된 눈 영역과 후보 영역을 CIE L*a*b 색상 공간 영역으로 변환하여 L* 영역만을 추출한다.

상기 후보 영역 제거부(24)는 도 9에 도시된 바와 같이, 눈 영역을 이진화한 후, 라벨링 기법으로 눈 영역 이외에 후보 영역을 제거하며, 본 발명의 실시예에서는 눈 영역 이진화를 위해 임계값을 자동으로 결정하는 Otsu의 이진화 방법을 사용하였다. Otsu의 이진화 방법은 임계값 T를 기준으로 영상 픽셀들을 두 클래스로 분류했을 때 두 클래스 간의 인트라-클래스 변화량(intra-class variance)를 최소화하거나 또는 인터-클래스 변화량(inter-class variance)를 최대화하는 T를 찾는 이진화 방법이다. 입력 영상에서 임계값 T보다 어두운 픽셀들의 비율을 α, 밝기 평균을

, 분산을

, T보다 밝은 픽셀들의 비율을 β, 밝기 평균을

, 분산을

라 했을 때 (α+β=1), 인트라-클래스 분산과 인터-클래스 분산은 각각 다음 수학식 1 및 수학식 2와 같이 계산된다.

[수학식 1]

[수학식 2]

수학식 1을 최소화시키는 것은 수학식 2를 최대화시키는 것과 같으며 둘 중 어느 기준을 사용해도 상관없지만, 계산상으로는 수학식 2를 최대화시키는 것이 효율적이다. 즉, Otsu의 이진화 알고리즘은 임계값 T를 0 부터 255까지 단계적으로 변화시키면서 수학식 2를 계산하고 수학식 2가 최대가 되는 T 값을 찾아서 영상을 이진화하는 방법이다.

또한, 본 발명에 따른 라벨링은 인접한 화소에 모두 같은 번호를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙이는 영상처리 방법으로 라벨링은 검출된 눈 영역과 눈 이외의 영역의 픽셀 개수 비교를 통해 후보영역을 제거하는 방법으로 사용하며, 본 발명의 실시예에서는 도 10와 같이 라벨링을 통해 눈썹, 안경, 머리카락과 같은 후보영역을 제거한다.

상기 상태 판단부(30)는 검출된 상기 눈 영역의 두께로 눈 개폐 상태 및 졸음 여부를 판단하며, 도 11에 도시된 바와 같이, 개폐 상태 판단부(31) 및 졸음 판단부(32)를 포함한다.

상기 개폐 상태 판단부(31)는 눈 개폐상태는 추출된 눈 영역의 Pixel의 Projection 결과(두께분포 값)와 전체 Pixel의 개수를 K-means 알고리즘에 2차원으로 학습시켜 눈의 개방과 폐쇄 상태를 구별한다. 즉, 눈의 개폐상태를 인식하기 위해서는 눈동자의 Pixel 값을 이용하는데, 도 12에 도시된 바와 같이, X축으로 1Pixel씩 이동하면서 Y축 방향으로 투영을 수행한다. 즉, 도 13에 도시된 바와 같이, 눈동자가 검출될 경우 프로젝션 결과는 눈동자에서 높은 값을 보여주며, 눈동자가 검출되지 않을 경우 변화량이 작은 프로젝션 결과를 가진다. 이와 같은 프로젝션 결과를 이용하여 눈의 개폐상태를 판단하는 것이다.

상기 졸음 판단부(32)는 눈의 개폐 상태에 따른 시간 패턴으로 졸음여부를 판단하며, 본 발명의 실시예에서는 도 14에 도시된 바와 같이, 정상상태의 눈 개폐상태 빈도수와 졸음상태의 눈 개폐상태 빈도수의 시간에 따른 패턴 비교하여 통해 졸음 여부를 판단한다.

상기 졸음 경보부(40)는 상기 상태 판단부(30)과 연결되어, 운전자의 졸음 상태로 판단된 경우, 경고 메시지, 경보음, 경광 중 적어도 어느 하나 이상을 발생시킨다.

도 15은 본 발명에 따른 운전자 졸음 인식 방법의 전체 흐름도로, 이미지 출력부를 이용하여, 촬영된 운전자의 얼굴 영상을 입력하는 단계(S10)를 수행하며, 상기 S10 단계는 도 16에 도시된 바와 같이, 상기 실시간 영상 입력부(11)를 이용하여, 촬영된 운전자의 얼굴 영상을 실시간으로 입력하는 단계(S11) 및 제1영상 보정부(12)를 이용하여, 입력된 운전자의 얼굴 영상에 관하여 명도에 따라 영상 보정 처리(Histogram equalization)하는 단계(S13)를 수행한다.

다음으로, 상기 영역 검출부(20)를 이용하여, 입력된 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 검출하는 단계(S20)를 수행하며, 상기 S20 단계는 도 17에 도시된 바와 같이, 상기 얼굴/눈 영역 추출부(21)를 이용하여, 하르-라이크(Haar-like), 아다부스트(Adaboost), 캐스케이드(Cascade) 알고리즘 중 적어도 어느 하나 이상의 알고리즘을 적용하여, 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 추출하는 단계(S21), 상기 제2영상 보정부(22)를 이용하여, 검출된 눈 영역을 보정 처리 하는 단계(S23), 상기 윤곽선 검출부(23)를 이용하여, 추출된 상기 눈 영역과 후보 영역을 CIE L*a*b 색상 공간 영역으로 변환하는 단계(S25)를 수행한다. 또한, 상기 후보 영역 제거부(24)를 이용하여, 눈 영역을 이진화하는 단계(S27) 및 라벨링 기법으로 눈 영역 이외에 후보 영역을 제거하는 단계(S29)를 수행하며, 본 발명에 있어서, 상기 S29 단계를 통해 눈썹, 안경, 머리카락과 같은 후보영역을 제거할 수 있다.

다음으로, 상기 상태 판단부(30)를 이용하여, 검출된 상기 눈 영역의 두께로 눈 개폐 상태를 판단하는 단계(S30)를 수행하며, 본 발명에 따른 상기 S30 단계는, 검출된 눈 영역을 X축(가로 방향)으로 1픽셀 씩 이동한 후, Y축(세로 방향)으로 투영하여 눈 영역의 두께 분포를 측정하여 프로젝션(projection) 결과와 눈 영역의 전체 픽셀 개수를 2차원 K-means 알고리즘으로 학습하여 눈 개폐 상태를 판단하는 단계를 말한다.

다음으로, 시간의 흐름에 따른 눈 개폐 상태의 패턴을 분석하여, 운전자의 졸음 여부를 판단하는 단계(S40)를 수행하고, 상기 S40 단계에서 판단된 결과가 졸음 상태(S50), 상기 졸음 경고부(40)를 통해 경고 메시지, 경보음, 경광 중 적어도 어느 하나 이상을 발생시키는 단계(S60)를 수행한다.

이러한 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법의 성능을 확인하기 위해 다음과 같은 실험을 실시하였다.

실험 환경은 도 18과 같이 연구실, 자동차 내부에 웹캠(HD 1080p)을 설치하여 실험하였고, 6명의 인원을 대상으로 1명당 5 frame/s씩 100 frame을 추출하였다. 눈 개폐상태 인식 실험을 위해 6개의 동영상으로부터 600장의 단일사진을 사용한다. 알고리즘 성능을 실험한 결과 다음 표1과 같이, 600장 중 559장이 성공하여 인식률은 93.1%로 나타났다.

[표 1]

또 다른 실험에서는 운전석 상단에 설치되어 있는 카메라에서 인가되는 영상으로 도 19과 같이 6가지의 조건을 같은 진행 방법으로 실험한다.

그 결과, 도 19의 (a) 영상의 경우 영상 보정을 통해 정확히 눈 영역을 판단하였고, 도 19의 (b) 영상은 Projection에서 미비한 차이를 보였으나 2차원의 K-means 알고리즘으로 판단한 결과 눈 영역을 정확히 판단하였다. 그리고 도 19의 (c), (d), (f) 영상은 정확하게 개폐상태를 판단해 냈으며, 도 19의 (c)과 같이 고개를 밑으로 숙이고 있는 영상은 전방 미 주시로 판단하여 졸음과 같은 경고 메시지를 출력한다.

이상에서 설명한 바와 같이, 본 발명은 눈 영역의 인식에 있어서 조명의 영향을 최소화할 수 있음에 따라, 저가형 카메라를 이용하여도 운전자 졸음을 정확하게 인식할 수 있으며, 운전자에게 경고 메시지를 출력함으로써 교통사고로 인한 인명피해 및 경제적 손실을 미연에 방지할 수 있는 것이다.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법으로 구현할 수 있다.

10 : 이미지 출력부
11 : 실시간 영상 입력부
12 : 제1영상 보정부
20 : 영역 검출부
21 : 얼굴/눈 영역 검출부
22 : 제2영상 보정부
23 : 윤곽선 검출부
24 : 후보 영역 제거부
30 : 상태 판단부
31 : 개폐 상태 판단부
32 : 졸음 판단부
40 : 졸음 경고부
100 : 운전자 졸음 인식 시스템

Claims

운전자의 얼굴 영상을 촬영하여 출력하는 이미지 출력부;
출력된 상기 영상에서 운전자의 얼굴 영역과 눈 영역을 검출하는 영역 검출부 및
검출된 상기 눈 영역의 두께로 눈 개폐 상태 및 졸음 여부를 판단하는 상태 판단부를 포함하고,
상기 이미지 출력부는,
촬영된 운전자의 얼굴 영상을 실시간으로 입력하는 실시간 영상 입력부 및
입력된 운전자의 얼굴 영상에 관하여 명도에 따라 영상 보정 처리(Histogram equalization)하는 제1영상 보정부를 포함하며,
상기 영역 검출부는,
하르-라이크(Haar-like), 아다부스트(Adaboost), 케스케이드(Cascade) 알고리즘 중 적어도 어느 하나 이상의 알고리즘을 적용하여, 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 추출하는 얼굴과 눈 영역 추출부;
추출된 상기 눈 영역과 후보 영역을 CIE L*a*b 색상 공간 영역으로 변환하여, 눈 윤곽선을 검출하는 윤곽선 검출부 및
눈 영역을 이진화한 후, 라벨링 기법으로 눈 영역 이외에 후보 영역을 제거하는 후보 영역 제거부를 포함하고,
상기 상태 판단부는,
검출된 눈 영역의 두께 분포 값을 분석하여 눈의 개폐 상태를 판단하는 개폐상태 판단부 및
눈의 개폐 상태에 따른 시간 패턴으로 졸음여부를 판단하는 졸음 판단부를 포함하며,
상기 개폐 상태 판단부는,
검출된 눈 영역을 X축(가로 방향)으로 1픽셀 씩 이동한 후, Y축(세로 방향)으로 투영하여 눈 영역의 두께 분포를 측정하여 프로젝션(projection) 결과를 산출하고, 상기 프로젝션(projection) 결과와 눈 영역의 전체 픽셀 개수를 2차원 K-means 알고리즘으로 학습하여 눈 개폐 상태를 판단하는 것을 특징으로 하는 영상 기반의 운전자 졸음 인식 시스템.
삭제
삭제
제1항에 있어서,
상기 영역 검출부는,
상기 얼굴과 눈 영역 추출부와 연결되어, 검출된 눈 영역을 보정 처리하는 제2영상 보정부를 더 포함하는 것을 특징으로 하는 영상 기반의 운전자 졸음 인식 시스템.
삭제
삭제
(a) 영역 검출부를 이용하여, 입력된 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 검출하는 단계;
(b) 상태 판단부를 이용하여, 검출된 상기 눈 영역의 두께로 눈 개폐 상태를 판단하는 단계 및
(c) 시간의 흐름에 따른 눈 개폐 상태의 패턴을 분석하여, 운전자의 졸음 여부를 판단하는 단계를 포함하고,
상기 (a) 단계는,
얼굴과 눈 영역 추출부를 이용하여, 하르-라이크(Haar-like), 아다부스트(Adaboost), 케스케이드(Cascade) 알고리즘 중 적어도 어느 하나 이상의 알고리즘을 적용하여, 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 추출하는 단계;
윤곽선 검출부를 이용하여, 추출된 상기 눈 영역과 후보 영역을 CIE L*a*b 색상 공간 영역으로 변환하여, 눈 윤곽선을 검출하는 단계;
후보 영역 제거부를 이용하여, 눈 영역을 이진화하는 단계 및
라벨링 기법으로 눈 영역 이외에 후보 영역을 제거하는 단계를 포함하며,
상기 (b) 단계는,
검출된 눈 영역을 X축(가로 방향)으로 1픽셀 씩 이동한 후, Y축(세로 방향)으로 투영하여 눈 영역의 두께 분포를 측정하여 프로젝션(projection) 결과를 산출하고, 상기 프로젝션(projection) 결과와 눈 영역의 전체 픽셀 개수를 2차원 K-means 알고리즘으로 학습하여 눈 개폐 상태를 판단하는 단계를 포함하며,
상기 (a) 단계 이전에,
(d) 이미지 출력부를 이용하여, 촬영된 운전자의 얼굴 영상을 입력하는 단계를 더 포함하고,
상기 (d) 단계는,
실시간 영상 입력부를 이용하여, 촬영된 운전자의 얼굴 영상을 실시간으로 입력하는 단계 및
입력된 운전자의 얼굴 영상에 관하여 명도에 따라 영상 보정 처리하는 단계를 포함하는 것을 특징으로 하는 영상 기반의 운전자 졸음 인식 방법.
삭제
삭제
삭제