KR102288753B1 - 운전자 모니터링 장치 및 방법 - Google Patents

운전자 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102288753B1
KR102288753B1 KR1020170137210A KR20170137210A KR102288753B1 KR 102288753 B1 KR102288753 B1 KR 102288753B1 KR 1020170137210 A KR1020170137210 A KR 1020170137210A KR 20170137210 A KR20170137210 A KR 20170137210A KR 102288753 B1 KR102288753 B1 KR 102288753B1
Authority
KR
South Korea
Prior art keywords
driver
image
unit
face
highlight
Prior art date
Application number
KR1020170137210A
Other languages
English (en)
Other versions
KR20190044818A (ko
Inventor
반규대
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170137210A priority Critical patent/KR102288753B1/ko
Publication of KR20190044818A publication Critical patent/KR20190044818A/ko
Application granted granted Critical
Publication of KR102288753B1 publication Critical patent/KR102288753B1/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00268—
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Abstract

운전자 모니터링 장치 및 방법이 개시된다. 본 발명의 운전자 모니터링 장치는 운전자의 얼굴을 촬영한 RGB 영상과 적외선 영상을 획득하는 영상 획득부; 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 판단하여 판단 결과에 따라 RGB 영상과 적외선 영상 중 적어도 하나를 통해 운전자의 상태를 분석하는 영상 처리부; 및 영상 처리부의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트가 발생되었는지 여부에 따른 난반사 알림을 출력하는 출력 제어부를 포함하는 것을 특징으로 한다.

Description

운전자 모니터링 장치 및 방법{APPARATUS FOR MONITORING DRIVER AND METHOD THEREOF}
본 발명은 운전자 모니터링 장치 및 방법에 관한 것으로서, 보다 상세하게는 운전자의 얼굴을 촬영하고 촬영된 영상을 분석하여 운전자의 졸음 및 부주의를 판단하는 운전자 모니터링 장치 및 방법에 관한 것이다.
최근 들어 자동차에는 소비자의 편의 그리고 안전을 위한 장치가 많이 보급되고 있다. 편의 장치로써 주차 보조를 위한 전/후/좌/우측 카메라와 자동차의 상태를 한눈에 파악할 수 있는 통합 디스플레이 장치의 보급이 보편화되고 있는 추세에 있다.
한편, 자동차의 안전을 위한 장치로서, 차선 이탈 경보 장치나 앞차와의 간격을 감지하는 장치 등이 서서히 보급되고 있으며, 여기에 더불어 운전자의 졸음 운전이나 기타 다른 이유로 운전자가 정상적인 운전을 하지 못할 때 발생할 수 있는 사고를 미연에 방지하기 위한 운전자 상태 인식 기술에 대한 연구가 진행되고 있다.
즉, 운전자가 졸고 있거나, 갑작스러운 신체 상태의 변화로 운전을 제대로 할 수 없다고 판단되는 경우, 이를 운전자에게 경고하거나 주위의 주행 중인 차량에게 경고하여 추가적인 사고를 방지할 수 있도록 하는 운전자 모니터링 시스템이 제시되었다.
종래의 운전자 모니터링 시스템은 적외선 카메라 및 적외선 조명을 사용하여 운전자의 얼굴 영상을 획득한 후, 영상처리를 통해 운전자의 시선 방향과 눈 개폐 여부를 확인하여 전방 주시 태만 여부를 확인한다. 또한 운전자가 전방을 주시하지 않는다고 판단되면 음성, 소리 등의 신호를 출력하여 운전자에게 경고하는 기능을 구비한다.
본 발명의 배경기술은 대한민국 공개특허공보 10-2013-0054636호(2013.05.27)의 '적외선 카메라 및 3Ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법'에 개시되어 있다.
종래의 운전자 상태 감지 시스템에는 주로 입력 영상으로 태양광의 영향을 최소화를 목적으로 적외선(IR 혹은 NIR) 영상을 사용한다. 이는 루프가 있는 차량의 특성상 태양광의 밝은 빛이 측면으로 들어오는 경우가 많고, 운전자의 얼굴 영상에 국부적으로 강한 조명이 있을 경우 영상 판단부에서 수행되는 얼굴 검출, 눈 검출 등이 실패할 경우가 많아지기 때문이다. 적외선 카메라에는 기본적으로 가시광선을 제거하는 필터가 내장되어 있다.
그러나, 카메라 근처의 적외선 조명은 안경 렌즈 부근에서 난반사가 발생하는 경우가 많아 시선 검출 등 주요 판단부에서 오류를 발생시킬 여지가 많다. 따라서, 이러한 문제를 해결하기 위해 조명 타이밍을 조절하거나 디밍 제어 등 추가적인 처리가 요구된다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 RGB 영상과 적외선 영상을 분석하여 안경으로 인한 조명의 난반사 오류를 최소화함으로써 안경을 착용한 운전자의 동공을 정확하게 검출하고 이를 기반으로 운전자를 정확하게 모니터링할 수 있도록 한 운전자 모니터링 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 운전자 모니터링 장치는 운전자의 얼굴을 촬영한 RGB 영상과 적외선 영상을 획득하는 영상 획득부; 상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 판단하여 판단 결과에 따라 RGB 영상과 적외선 영상 중 적어도 하나를 통해 운전자의 상태를 분석하는 영상 처리부; 및 상기 영상 처리부의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트가 발생되었는지 여부에 따른 난반사 알림을 출력하는 출력 제어부를 포함하는 것을 특징으로 한다.
본 발명의 상기 영상 획득부는 NIR 대역의 광을 운전자에게 조명하는 NIR 조명부; 및 RGB 영상과 IR 영상을 획득하는 카메라 센서를 포함하는 것을 특징으로 한다.
본 발명의 상기 영상 처리부는 상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한 후, 설정된 주영상을 통해 운전자의 얼굴을 검출하는 얼굴 검출부; 상기 얼굴 검출부를 통해 검출된 얼굴에서 얼굴의 모양을 이루는 특징점을 검출하는 특징점 검출부; 상기 특징점 검출부에 의해 검출된 눈영역에서 하이라이트 영역이 발생하였는지 여부를 판단하는 하이라이트 판단부; 상기 하이라이트 판단부의 판단 결과 눈영역에서 하이라이트 영역이 발생되지 않은 것으로 판단되면 운전자의 동공을 검출하는 주영상 동공 검출부; 상기 얼굴 검출부에 의해 검출된 운전자의 얼굴 및 상기 주영상 동공 검출부를 통해 검출된 운전자의 동공을 이용하여 운전자의 시선을 추정하는 시선 추정부를 포함하는 것을 특징으로 한다.
본 발명의 상기 출력 제어부는 상기 시선 추정부에 의해 추정된 운전자의 시선에 따라 운전자 부주의 경보를 상기 출력부를 통해 출력하는 것을 특징으로 한다.
본 발명의 상기 하이라이트 판단부는 눈 영역의 픽셀값이 기 설정된 설정값 이상인 영역이 기 설정된 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단하는 것을 특징으로 한다.
본 발명의 상기 영상 처리부는 상기 하이라이트 판단부의 판단 결과 눈영역에서 하이라이트 영역이 존재하는 것으로 판단되면 보조영상에서 운전자의 동공을 검출하는 보조영상 동공 검출부를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 영상 처리부는 상기 보조영상 동공 검출부에 의해 운전자의 동공이 검출되지 않으면 상기 특징점 검출부에 의해 검출된 특징점을 토대로 운전자의 눈개폐 여부를 판단하는 눈개폐 판단부를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 출력 제어부는 상기 눈개폐 판단부의 판단 결과 운전자의 눈이 감긴 것으로 판단되면 운전자의 눈이 감긴 시간에 따라 졸음 운전 경보를 상기 출력부를 통해 출력하는 것을 특징으로 한다.
본 발명의 상기 출력 제어부는 상기 보조영상 동공 검출부에 의해 운전자의 동공이 검출되지 않으면 눈 영역에 하이라이트 영역이 존재함을 안내하기 위해 난반사 알림을 상기 출력부를 통해 출력하는 것을 특징으로 한다.
본 발명의 상기 영상 처리부는 상기 눈개폐 판단부의 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면 상기 특징점 추출부를 통해 추출된 특징점을 통해 운전자의 얼굴각을 추정하는 얼굴각 추정부를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 출력 제어부는 상기 얼굴각 추정부에 의해 추정된 운전자의 얼굴각에 따라 운전자 부주의 경보를 상기 출력부를 통해 출력하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 운전자 모니터링 방법은 영상 획득부가 운전자의 얼굴을 촬영한 RGB 영상과 NIR(Near-infrared) 영상을 획득하는 단계; 영상 처리부가 상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 판단하여 판단 결과에 따라 RGB 영상과 적외선 영상 중 적어도 하나를 통해 운전자의 상태를 분석하는 단계; 및 출력 제어부가 상기 영상 처리부의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트가 발생되었는지 여부에 따른 난반사 알림을 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 RGB 영상과 NIR(Near-infrared) 영상을 획득하는 단계는, NIR 조명부가 NIR 대역의 광을 운전자에게 조명하고, 카메라 센서가 RGB 영상과 IR 영상을 각각 획득하는 것을 특징으로 한다.
본 발명의 상기 운전자의 상태를 분석하는 단계는 RGB 영상과 적외선 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한 후, 설정된 주영상을 통해 운전자의 얼굴을 검출하는 단계; 검출된 운전자의 얼굴에서 얼굴의 모양을 이루는 특징점을 검출하는 단계; 눈영역에서 하이라이트 영역이 존재하는지 여부를 판단하는 단계; 상기 판단 결과 눈영역에서 하이라이트 영역이 존재하지 않으면 운전자의 동공을 검출하는 단계; 및 운전자의 얼굴 및 운전자의 동공을 이용하여 운전자의 시선을 추정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 하이라이트 영역이 존재하는지 여부를 판단하는 단계에서, 눈 영역의 픽셀값이 기 설정된 설정값 이상인 영역이 기 설정된 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단하는 것을 특징으로 한다.
본 발명의 상기 운전자의 상태를 분석하는 단계는 상기 판단 결과 눈영역에서 하이라이트 영역이 존재하는 것으로 판단되면 보조영상에서 운전자의 동공을 검출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 운전자의 상태를 분석하는 단계는 운전자의 동공이 검출되지 않으면 운전자 얼굴의 특징점을 토대로 운전자의 눈개폐 여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 운전자의 상태를 분석하는 단계는 상기 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면 운전자의 특징점을 통해 운전자의 얼굴각을 추정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 운전자 모니터링 장치 및 방법은 RGB 영상과 적외선 영상을 분석하여 안경으로 인한 조명의 난반사 오류를 최소화함으로써 안경을 착용한 운전자의 동공을 정확하게 검출하고 이를 기반으로 운전자를 정확하게 모니터링할 수 있도록 한다.
도 1 은 본 발명의 일 실시예에 따른 운전자 모니터링 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 영상 획득부의 블럭 구성도이다.
도 3 은 본 발명의 일 실시예에 따른 영상 처리부의 블럭 구성도이다.
도 4 는 본 발명의 일 실시예에 따른 RGB 영상에서의 눈영역에 하이라이트 영역의 유무를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 NIR 영상에서의 눈영역에 하이라이트 영역의 유무를 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 운전자 모니터링 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 운전자 모니터링 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 영상 획득부의 블럭 구성도이며, 도 3 은 본 발명의 일 실시예에 따른 영상 처리부의 블럭 구성도이며, 도 4 는 본 발명의 일 실시예에 따른 RGB 영상에서의 눈영역에 하이라이트 영역의 유무를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 NIR 영상에서의 눈영역에 하이라이트 영역의 유무를 나타낸 도면이다.
도 1 은 본 발명의 일 실시예에 따른 운전자 모니터링 장치는 영상 획득부(10), 영상 처리부(20), 출력 제어부(30) 및 출력부(40)를 포함한다.
영상 획득부(10)는 운전자의 얼굴을 촬영한 RGB 영상과 적외선, 예를 들어 NIR(Near-infrared) 영상을 획득하는 것으로써, NIR 조명부(11) 및 카메라 센서부(12)를 포함한다.
NIR 조명부(11)는 NIR 대역의 광을 운전자에게 조명한다.
카메라 센서부(12)는 RGB 영상과 IR 영상을 획득한다. 카메라 센서부(12)로는 RGB 영상과 IR 영상을 모두 획득할 수 있는 RGB-IR 센서가 채용될 수 있다.
즉, 영상 획득부(10)는 RGB 영상과 NIR 영상을 동시에 얻을 수 있는 카메라 센서부(12)를 사용하여 스펙트럼별로 구분된 영상을 획득하고, NIR 조명을 구비하여 야간에도 운전자의 얼굴 영상을 획득한다.
기존의 센서는 베이어(bayer) 구조로 R, B 픽셀 하나와 G 픽셀 두개로 컬러 영상 데이터를 얻는다. 각 픽셀은 NIR 영역의 파장에도 감도를 지니고 있지만, NIR 대역의 빛은 일상적인 어플리케이션에서 영상의 선명도와 해상도를 떨어뜨리는 효과가 있어 IR 컷 필터를 장착하는 경우가 대부분이다.
RGB-IR 센서는 R, G, B 픽셀에서 가시광선 대역의 컬러 영상을 획득하고 동시에 IR 픽셀에서 적외선 영상을 획득할 수 있다. 즉 카메라 렌즈 하나를 통과하는 빛으로 RGB 영상과 IR 영상을 동시에 얻을 수 있다.
통상적으로, 운전자의 얼굴을 촬영하고 영상 분석을 통해 졸음 및 부주의를 판단하는 것은, 운전자가 자동차를 운전하는 시간 및 장소에 관계없이 지속되어야 한다.
태양광, 다른 차량의 전조등, 거리의 가로등 등이 포함되는 자동차 외부의 조명은 예측 불가능하게 바뀐다. 이는 카메라에서 촬영되는 운전자의 얼굴이 정면 외 상, 하, 좌, 우 혹은 복합적인 조명 조건에 노출되는 것을 의미한다.
또한, 자동차 실내로 들어오는 외부 조명은 전면 윈드쉴드 외에도 측면 윈도우를 통과하여 들어오며 이는 외부 조명이 운전자의 얼굴을 촬영하는 카메라의 촬영 방향과 일치하지 않는 측면으로 들어옴을 의미한다.
국부적인 혹은 측면으로 들어오는 조명은 얼굴 검출 및 눈 검출, 얼굴 특징점 검출 등에 영향을 주며, 대부분 인식률을 떨어지게 하거나, 오동작을 일으키는 등 운전자 모니터링 시스템에 부정적인 요인으로 작용한다.
대부분의 경우, 주변 조명의 영향을 최소화하고 주야에 관계없는 동작을 위해 카메라 근처 혹은 떨어진 위치에 운전자 얼굴을 비추는 조명을 장착한다. 그러나 운전자가 안경을 착용한 경우 안경에서 난반사를 일으켜, 눈(동공, 시선) 검출을 방해하며, 결국 운전자 인식의 정확도 저하를 가져온다.
따라서, 본 실시예서는 NIR 영상과 RGB 영상을 모두 이용하여 안경을 착용한 운전자에 대해서도 얼굴 인식 정확도를 향상시킬 수 있도록 한다.
영상 처리부(20)는 영상 획득부(10)에 의해 획득된 RGB 영상과 NIR 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는 여부를 판단하여 판단 결과에 따라 RGB 영상과 NIR 영상 중 적어도 하나를 통해 운전자의 상태를 분석한다.
즉, 영상 처리부(20)는 영상 획득부(10)에 의해 획득된 RGB 영상과 NIR 영상을 분석하여 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 기반으로 운전자의 얼굴, 얼굴의 특징점 및 동공 등을 검출하고, 이들 운전자의 얼굴, 얼굴의 특징점 및 동공을 분석하여 운전자의 얼굴각이나 시선 등을 추정한다.
이러한 영상 처리부(20)는 얼굴 검출부(11), 특징점 검출부(12), 하이라이트 판단부(13), 주영상 동공 검출부(14), 시선 추정부(15), 보조영상 동공 검출부(16), 눈개폐 판단부(17) 및 얼굴각 추정부(18)를 포함한다.
얼굴 검출부(11)는 영상 획득부(10)에 의해 획득된 RGB 영상과 NIR 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한다.
얼굴 검출부(11)는 주영상으로 NIR 영상을 설정한다. NIR 조명하에서 NIR 픽셀의 감도가 상대적으로 우수하여 노이즈에 강인하므로, NIR 영상이 상대적으로 더 우수한 화질을 얻을 수 있다. 따라서, 얼굴 검출부(11)는 주영상을 NIR 영상으로 설정하는 것이다.
그러나 얼굴 검출부(11)는 RGB 영상도 주영상으로 설정할 수 있는데, 이는 RGB 영상도 야간 운전자 모니터링이 가능하기 때문이다. 이는 영상 획득부(10)의 카메라 센서부(12)가 가시광선 컷 필터를 사용하지 않으므로, 카메라 센서부(12)의 R, G, B 픽셀이 모두 NIR 조명의 영향을 받기 때문이다.
또한, 얼굴 검출부(11)는 주영상에 대해 AdaBoost 등의 컴퓨터 비전, 패턴인식 기법을 활용하여 영상에서 얼굴을 검출한다.
특징점 검출부(12)는 얼굴 검출부(21)를 통해 검출된 얼굴에서 얼굴의 모양을 이루는 특징점을 검출한다.
즉, 특징점 검출부(12)는 AAM(Active Appearance Model), Random Forest 등의 컴퓨터 비전 기법을 활용하여, 얼굴의 턱선, 눈, 코, 입의 외각 포인트 등 얼굴의 모양을 이루는 여러 개의 특징점을 찾는다. 얼굴의 특징점이 검출되면 각 포인트의 x, y 위치를 활용하여 얼굴의 롤(roll), 피치(pitch), 요(yaw) 등의 얼굴의 회전각을 추정할 수 있다.
하이라이트 판단부(13)는 특징점 검출부(12)에 의해 검출된 눈영역에서 하이라이트 영역이 존재하는지 여부를 판단한다.
즉, 하이라이트 판단부(13)는 NIR 조명이 안경을 쓴 운전자의 안경 부근에서 난반사를 일으켜 NIR 영상에 하이라이트 영역(bolb)이 존재하는지를 판단한다. 이 경우, 하이라이트 판단부(13)는 눈 영역의 픽셀값이 기 설정된 설정값 이상인 영역이 기 설정된 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단한다.
도 4 및 도 5 에는 위치의 같은 조명하에서 RGB 영상과 NIR 영상에서 얼굴의 눈 부근에 난반사로 인해 하이라이트 영역이 발생될 수 있음이 도시되었다.
통상적으로, 영상의 하이라이트 영역에서는 픽셀값이 최대값이 될 수 있다. 예를 들어 영상의 픽셀값이 0~255 값을 가질 수 있다고 하면, 하이라이트 영역은 픽셀값이 255값을 가질 수 있다.
따라서, 하이라이트 판단부(13)는 얼굴이 검출된 영역에서 미리 지정된 눈 위치 예상 영역, 즉 눈영역의 픽셀값이 기 설정된 설정값 이상이고, 눈영역의 픽셀값이 설정값 이상인 영역의 크기가 설정 범위 이상이면 안경에 의해 하이라이트 영역이 존재하는 것으로 판단한다.
주영상 동공 검출부(14)는 하이라이트 판단부(13)의 판단 결과 눈영역에서 하이라이트 영역이 존재하지 않은 것으로 판단되면 운전자의 동공을 검출한다. 즉, NIR조명이 안경에서 난반사 되지 않아 하이라이트 영역이 존재하지 않는 경우, 주영상 동공 검출부(14)는 영상에서 운전자의 동공을 검출한다.
이 경우, 주영상 동공 검출부(14)는 얼굴의 특징점 검출의 결과를 이용하여 눈의 외각을 구성하는 포인트들을 엮어서 눈 위치를 지정한 후 임계치로 이진화하거나, 눈 예상 위치에서 패턴인식 기법을 활용하여 영상 검출기를 사용해 동공 위치를 검출한다.
시선 추정부(15)는 얼굴 검출부(21)에 의해 검출된 운전자의 얼굴 및 주영상 동공 검출부(14)를 통해 검출된 운전자의 동공을 이용하여 운전자의 시선을 추정한다. 운전자의 시선은 추정은 롤(roll), 피치(pitch) 및 요(yaw)의 값이 될 수도 있고, 개략적으로 정면, 왼쪽 위, 왼쪽 중간, 왼쪽 아래 등으로 근사화될 수도 있다.
보조영상 동공 검출부(16)는 하이라이트 판단부(13)의 판단 결과 눈영역에서 하이라이트 영역이 존재하는 것으로 판단되면 보조영상에서 운전자의 동공을 검출한다. 주영상인 NIR 영상에서 NIR 조명의 난반사로 하이라이트 영역이 존재하는 경우, NIR 픽셀은 설정값 이상이 되어 영상의 특징(엣지, 점 선, 면 등) 구분이 불가능하지만, RGB 영상에서는 특징 구분이 가능하여 동공 검출이 가능하다.
다만, 운전자가 선글라스를 착용한 경우에는 RGB 영상으로도 눈동자의 검출이 불가능할 수 있다. 이 경우에는 판정부를 통해 눈 영역에 하이라이트 영역이 존재함을 안내하기 위해 난반사 알림을 출력부(40)를 통해 출력할 수 있다.
눈개폐 판단부(17)는 보조영상 동공 검출부(16)에 의해 운전자의 동공이 검출되지 않으면 특징점 검출부(12)에 의해 검출된 특징점을 토대로 운전자의 눈개폐 여부를 판단한다. 운전자가 선글라스를 착용하지 않았음에도 불구하고 보조영상에서의 동공 검출도 불가능한 경우에는 눈을 감았을 확률이 높다.
눈개폐 판단부(17)는 특징점 검출부에 의해 검출된 특징점에 있어 위 눈꺼풀과 아래 눈꺼풀의 특징 포인트의 거리를 검출하거나, 컴퓨터 비전을 활용하여 감은 눈 검출기를 사용하여 눈개폐 여부를 판단한다.
얼굴각 추정부(18)는 눈개폐 판단부(17)의 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면 특징점 추출부를 통해 추출된 특징점을 통해 운전자의 얼굴각을 추정한다.
출력 제어부(30)는 영상 처리부(20)의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부(40)를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트 영역이 존재하는지 여부에 따른 난반사 알림을 출력한다.
즉, 출력 제어부(30)는 시선 추정부(15)에 의해 추정된 운전자의 시선에 따라 운전자 부주의 경보를 출력부(40)를 통해 출력하거나, 얼굴각 추정부(18)에 의해 추정된 운전자의 얼굴각에 따라 운전자 부주의 경보를 출력부(40)를 통해 출력할 수 있다.
또한, 출력 제어부(30)는 눈개폐 판단부(17)의 판단 결과 운전자의 눈이 감긴 것으로 판단되면 운전자의 눈이 감긴 시간에 따라 졸음 운전 경보를 출력부(40)를 통해 출력한다.
게다가, 출력 제어부(30)는 보조영상 동공 검출부(16)에 의해 운전자의 동공이 검출되지 않으면 눈 영역에 하이라이트 영역이 존재함을 안내하기 위해 난반사 알림을 출력부(40)를 통해 출력한다.
출력부(40)는 상기한 출력 제어부(30)의 제어신호에 따라 운전자 부주의 경보를 출력하거나 난반사 알림을 출력한다.
출력부(40)는 상기한 운전자 부주의 정보 및 난반사 알림을 영상 또는 음성으로 출력할 수 있다. 출력부(40)로는 차량의 클러스터 등이 채용될 수 있다.
이하 본 발명의 일 실시예에 따른 운전자 모니터링 방법을 도 6 을 참조하여 상세하게 설명한다.
도 6 은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
도 6 을 참조하면, 먼저 영상 획득부(10)가 NIR 대역의 광을 운전자에게 조명하고, 운전자의 얼굴을 촬영한 RGB 영상과 NIR 영상을 획득한다(S10).
이어 얼굴 검출부(11)는 영상 획득부(10)에 의해 획득된 RGB 영상과 NIR 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한다. 이 경우, 얼굴 검출부(11)는 주영상으로 NIR 영상을 설정하고, 주영상에 대해 AdaBoost 등의 컴퓨터 비전, 패턴인식 기법을 활용하여 영상에서 얼굴을 검출한다(S20).
얼굴 검출부(11)에 의해 얼굴이 검출됨에 따라, 특징점 검출부(12)는 AAM, Random Forest 등의 컴퓨터 비전 기법을 활용하여, 얼굴의 턱선, 눈, 코, 입의 외각 포인트 등 얼굴의 모양을 이루는 여러 개의 특징점을 검출한다(S30).
하이라이트 판단부(13)는 특징점 검출부(12)에 의해 검출된 눈영역에서 하이라이트 영역이 존재하는지 여부를 판단한다(S40).
이 경우, 하이라이트 판단부(13)는 NIR 조명이 안경을 쓴 운전자의 안경 부근에서 난반사를 일으켜 NIR 영상에 하이라이트 영역(bolb)이 존재하는지 여부를 판단하는데, 눈 영역의 픽셀값이 설정값 이상인 영역이 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단한다.
단계(S40)에서의 판단 결과 하이라이트 영역이 존재하는 것으로 판단되면, 주영상 동공 검출부(14)는 운전자의 동공을 검출한다(S50). 이 경우, 주영상 동공 검출부(14)는 특징점 검출부(12)의 특징점 검출 결과를 이용하여 눈의 외각을 구성하는 포인트들을 엮어서 눈 위치를 지정한 후 임계치로 이진화하거나, 눈 예상 위치에서 패턴인식 기법을 활용하여 동공 위치를 검출한다.
운전자의 동공이 검출됨에 따라, 시선 추정부(15)는 얼굴 검출부(21)에 의해 검출된 운전자의 얼굴 및 주영상 동공 검출부(14)를 통해 검출된 운전자의 동공을 이용하여 운전자의 시선을 추정한다(S60).
출력 제어부(30)는 시선 추정부(15)에 의해 추정된 운전자의 시선에 따라 운전자 부주의 경보를 출력부(40)를 통해 출력한다(S120).
한편, 단계(S40)에서의 판단 결과 하이라이트 영역이 존재하는 것으로 판단되면, 보조영상 동공 검출부(16)는 보조영상에서 운전자의 동공을 검출하고, 이 경우 운전자의 동공이 실제로 검출되면(S70), 단계(S60)으로 리턴한다.
반면에, 운전자의 동공이 실제로 검출되지 않으면, 출력 제어부(30)는 눈 영역에 하이라이트 영역이 존재함을 안내하기 위해 난반사 알림을 출력부(40)를 통해 출력한다(S80).
한편, 눈개폐 판단부(17)는 보조영상 동공 검출부(16)에 의해 운전자의 동공이 검출되지 않으면 특징점 검출부(12)에 의해 검출된 특징점을 토대로 운전자의 눈개폐 여부를 판단한다(S90).
단계(S90)에서의 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면, 얼굴각 추정부(18)는 특징점 추출부를 통해 추출된 특징점을 통해 운전자의 얼굴각을 추정한다(S100).
출력 제어부(30)는 얼굴각 추정부(18)에 의해 추정된 운전자의 얼굴각에 따라 운전자 부주의 경보를 출력부(40)를 통해 출력한다(S120).
반면에, 단계(S90)에서의 판단 결과 운전자의 눈이 감긴 것으로 판단되면, 출력 제어부(30)는 운전자의 눈이 감긴 것으로 판단하고(S110), 눈이 감긴 시간에 따라 졸음 운전 경보를 출력부(40)를 통해 출력한다(S120).
이와 같이, 본 발명의 일 실시예에 따른 운전자 모니터링 장치 및 방법은 RGB 영상과 적외선 영상을 분석하여 안경으로 인한 조명의 난반사 오류를 최소화함으로써 안경을 착용한 운전자의 동공을 정확하게 검출하고 이를 기반으로 운전자를 정확하게 모니터링할 수 있도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 영상 획득부 11: NIR 조명부
12: 카메라 센서부 20: 영상 처리부
21: 얼굴 검출부 12: 특징점 검출부
13: 하이라이트 판단부 14: 주영상 동공 검출부
15: 시선 추정부 16: 보조영상 동공 검출부
17: 눈개폐 판단부 18: 얼굴각 추정부
30: 출력 제어부 40: 출력부

Claims (18)

  1. 운전자의 얼굴을 촬영한 RGB 영상과 적외선 영상을 획득하는 영상 획득부;
    상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 판단하여 판단 결과에 따라 RGB 영상과 적외선 영상 중 적어도 하나를 통해 운전자의 상태를 분석하는 영상 처리부; 및
    상기 영상 처리부의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트가 발생되었는지 여부에 따른 난반사 알림을 출력하는 출력 제어부를 포함하고,
    상기 영상 처리부는 상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한 후, 설정된 주영상을 통해 운전자의 얼굴을 검출하는 얼굴 검출부; 상기 얼굴 검출부를 통해 검출된 얼굴에서 얼굴의 모양을 이루는 특징점을 검출하는 특징점 검출부; 상기 특징점 검출부에 의해 검출된 눈영역에서 하이라이트 영역이 발생하였는지 여부를 판단하는 하이라이트 판단부; 상기 하이라이트 판단부의 판단 결과 눈영역에서 하이라이트 영역이 발생되지 않은 것으로 판단되면 운전자의 동공을 검출하는 주영상 동공 검출부; 및 상기 얼굴 검출부에 의해 검출된 운전자의 얼굴 및 상기 주영상 동공 검출부를 통해 검출된 운전자의 동공을 이용하여 운전자의 시선을 추정하는 시선 추정부를 포함하고,
    상기 영상 처리부는 상기 하이라이트 판단부의 판단 결과 눈영역에서 하이라이트 영역이 존재하는 것으로 판단되면 보조영상에서 운전자의 동공을 검출하는 보조영상 동공 검출부; 및 상기 보조영상 동공 검출부에 의해 운전자의 동공이 검출되지 않으면 상기 특징점 검출부에 의해 검출된 특징점을 토대로 운전자의 눈개폐 여부를 판단하는 눈개폐 판단부를 더 포함하는 것을 특징으로 하는 운전자 모니터링 장치.
  2. 제 1 항에 있어서, 상기 영상 획득부는
    NIR 대역의 광을 운전자에게 조명하는 NIR 조명부; 및
    RGB 영상과 IR 영상을 획득하는 카메라 센서를 포함하는 것을 특징으로 하는 운전자 모니터링 장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 출력 제어부는
    상기 시선 추정부에 의해 추정된 운전자의 시선에 따라 운전자 부주의 경보를 상기 출력부를 통해 출력하는 것을 특징으로 하는 운전자 모니터링 장치.
  5. 제 1 항에 있어서, 상기 하이라이트 판단부는
    눈 영역의 픽셀값이 기 설정된 설정값 이상인 영역이 기 설정된 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단하는 것을 특징으로 하는 운전자 모니터링 장치.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서, 상기 출력 제어부는
    상기 눈개폐 판단부의 판단 결과 운전자의 눈이 감긴 것으로 판단되면 운전자의 눈이 감긴 시간에 따라 졸음 운전 경보를 상기 출력부를 통해 출력하는 것을 특징으로 하는 운전자 모니터링 장치.
  9. 제 1 항에 있어서, 상기 출력 제어부는
    상기 보조영상 동공 검출부에 의해 운전자의 동공이 검출되지 않으면 눈 영역에 하이라이트 영역이 존재함을 안내하기 위해 난반사 알림을 상기 출력부를 통해 출력하는 것을 특징으로 하는 운전자 모니터링 장치.
  10. 제 1 항에 있어서, 상기 영상 처리부는
    상기 눈개폐 판단부의 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면 상기 특징점 검출부를 통해 추출된 특징점을 통해 운전자의 얼굴각을 추정하는 얼굴각 추정부를 더 포함하는 것을 특징으로 하는 운전자 모니터링 장치.
  11. 제 10 항에 있어서, 상기 출력 제어부는
    상기 얼굴각 추정부에 의해 추정된 운전자의 얼굴각에 따라 운전자 부주의 경보를 상기 출력부를 통해 출력하는 것을 특징으로 하는 운전자 모니터링 장치.
  12. 영상 획득부가 운전자의 얼굴을 촬영한 RGB 영상과 NIR(Near-infrared) 영상을 획득하는 단계;
    영상 처리부가 상기 영상 획득부에 의해 획득된 RGB 영상과 적외선 영상 중 적어도 하나에서 운전자 눈 영역에 하이라이트 영역이 존재하는지 여부를 판단하여 판단 결과에 따라 RGB 영상과 적외선 영상 중 적어도 하나를 통해 운전자의 상태를 분석하는 단계; 및
    출력 제어부가 상기 영상 처리부의 처리 결과에 운전자의 졸음 또는 부주의를 판단하여 출력부를 통해 운전자 부주의 경보를 출력하거나 눈 영역에 하이라이트가 발생되었는지 여부에 따른 난반사 알림을 출력하는 단계를 포함하고,
    상기 운전자의 상태를 분석하는 단계는, RGB 영상과 적외선 영상 중 어느 하나를 주영상으로 설정하고 나머지 하나를 보조영상으로 설정한 후, 설정된 주영상을 통해 운전자의 얼굴을 검출하는 단계; 검출된 운전자의 얼굴에서 얼굴의 모양을 이루는 특징점을 검출하는 단계; 눈영역에서 하이라이트 영역이 존재하는지 여부를 판단하는 단계; 상기 판단 결과 눈영역에서 하이라이트 영역이 존재하지 않으면 운전자의 동공을 검출하는 단계; 및 운전자의 얼굴 및 운전자의 동공을 이용하여 운전자의 시선을 추정하는 단계를 포함하고,
    상기 운전자의 상태를 분석하는 단계는, 상기 판단 결과 눈영역에서 하이라이트 영역이 존재하는 것으로 판단되면 보조영상에서 운전자의 동공을 검출하되, 보조영상에서 운전자의 동공이 검출되지 않으면 운전자 얼굴의 특징점을 토대로 운전자의 눈개폐 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  13. 제 12 항에 있어서, 상기 RGB 영상과 NIR(Near-infrared) 영상을 획득하는 단계는, NIR 조명부가 NIR 대역의 광을 운전자에게 조명하고, 카메라 센서가 RGB 영상과 IR 영상을 각각 획득하는 것을 특징으로 하는 운전자 모니터링 방법.
  14. 삭제
  15. 제 12 항에 있어서, 상기 하이라이트 영역이 존재하는지 여부를 판단하는 단계에서,
    눈 영역의 픽셀값이 기 설정된 설정값 이상인 영역이 기 설정된 설정 범위 이상이면 하이라이트 영역이 존재하는 것으로 판단하는 것을 특징으로 하는 운전자 모니터링 방법.
  16. 삭제
  17. 삭제
  18. 제 12 항에 있어서, 상기 운전자의 상태를 분석하는 단계는
    상기 판단 결과 운전자의 눈이 감기지 않은 것으로 판단되면 운전자의 특징점을 통해 운전자의 얼굴각을 추정하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
KR1020170137210A 2017-10-23 2017-10-23 운전자 모니터링 장치 및 방법 KR102288753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170137210A KR102288753B1 (ko) 2017-10-23 2017-10-23 운전자 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170137210A KR102288753B1 (ko) 2017-10-23 2017-10-23 운전자 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190044818A KR20190044818A (ko) 2019-05-02
KR102288753B1 true KR102288753B1 (ko) 2021-08-11

Family

ID=66581750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170137210A KR102288753B1 (ko) 2017-10-23 2017-10-23 운전자 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102288753B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210013924A (ko) 2019-07-29 2021-02-08 현대자동차주식회사 운전자 모니터링 장치 및 방법
CN114697630A (zh) * 2020-12-28 2022-07-01 比亚迪半导体股份有限公司 驾驶员状态监测方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296382A (ja) * 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296382A (ja) * 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Also Published As

Publication number Publication date
KR20190044818A (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
JP4888838B2 (ja) 運転者撮像装置および運転者撮像方法
US7835834B2 (en) Method of mitigating driver distraction
EP1732028B1 (en) System and method for detecting an eye
WO2016038784A1 (ja) ドライバ状態判定装置
US8102417B2 (en) Eye closure recognition system and method
US9662977B2 (en) Driver state monitoring system
US9646215B2 (en) Eye part detection apparatus
US20150098633A1 (en) Face detection apparatus, face detection method, and program
JP5761074B2 (ja) 撮像制御装置及びプログラム
US7620216B2 (en) Method of tracking a human eye in a video image
KR20180119258A (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
EP2060993B1 (en) An awareness detection system and method
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
JP6601351B2 (ja) 視線計測装置
KR102630368B1 (ko) 운전자 감시 카메라의 보정장치 및 그 방법
KR102288753B1 (ko) 운전자 모니터링 장치 및 방법
JP4989249B2 (ja) 目検知装置、居眠り検知装置及び目検知装置の方法
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP2014146267A (ja) 歩行者検出装置、運転支援装置
JP4568836B2 (ja) 実時間瞳孔位置検出システム
US20210357619A1 (en) Video processing device, video processing method, and recording medium for video processing
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
TWI630818B (zh) Dynamic image feature enhancement method and system
JP6852407B2 (ja) ドライバ状態検出装置
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant