KR20160067694A - 운전자 상태 감시 시스템 및 그의 동작 방법 - Google Patents

운전자 상태 감시 시스템 및 그의 동작 방법 Download PDF

Info

Publication number
KR20160067694A
KR20160067694A KR1020140173414A KR20140173414A KR20160067694A KR 20160067694 A KR20160067694 A KR 20160067694A KR 1020140173414 A KR1020140173414 A KR 1020140173414A KR 20140173414 A KR20140173414 A KR 20140173414A KR 20160067694 A KR20160067694 A KR 20160067694A
Authority
KR
South Korea
Prior art keywords
driver
image frame
face image
nir
face
Prior art date
Application number
KR1020140173414A
Other languages
English (en)
Inventor
서용준
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140173414A priority Critical patent/KR20160067694A/ko
Publication of KR20160067694A publication Critical patent/KR20160067694A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Abstract

운전자 상태 감시 시스템 및 그의 동작 방법이 개시된다.
본 발명의 일 면에 따른 운전자 상태 감시 시스템은 운전자를 향해 NIR(Near Infrared) 조명을 점등하는 NIR 제어부, 상기 NIR 조명이 점등된 상태에서 상기 운전자의 얼굴이 촬영된 제1 얼굴 영상 프레임과 상기 NIR 조명이 소등된 상태에서 상기 운전자의 얼굴이 촬영된 제2 얼굴 영상 프레임을 번갈아 획득하거나, 혹은 상기 제1 얼굴 영상 프레임만 선택적으로 획득하는 영상 획득부, 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상 프레임을 생성하는 영상 처리부, 및 상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 DSM(Driver Status Monitoring) 수행부를 포함한다.

Description

운전자 상태 감시 시스템 및 그의 동작 방법{System for monitoring the driver status and method thereof}
본 발명은 운전자 상태 감시 시스템에 관한 것으로, 특히 운전자 상태 감시 시스템을 위한 운전자 영상 획득 기술에 관한 것이다.
현대 사회에서 차량의 폭발적인 증가와 더불어 각종 교통사고에 의한 사망자도 증가하는 추세다. 이러한 교통사고 사망자를 최대한 줄이기 위하여 자동차의 안정성 향상과 보행자 보호를 위해 사고를 미리 방지하기 위한 기술이 개발되고 있다. 예컨대, 안전 운전을 위해 차량에는 졸음운전 경보 시스템, 야간 장애물 감지 시스템, 차의 위험상태 경보 시스템 등의 안전운전 보조 시스템이 장착되고 있다.
안전 운전 보조 시스템 중 운전자 상태 감시 시스템(Driver Status Monitoring, DSM)은 졸음 또는 운전과 관계 없는 불필요한 행동으로 인한 운전자의 전방 주시 태만을 경고하는 시스템이다. 도 1에 도시된 바와 같이, 종래의 운전자 상태 감시 시스템(10)은 NIR 카메라(11), ECU(12)로 구성되어 있다. 종래의 운전자 상태 감시 시스템(10)은 NIR 카메라(11)는 NIR LED를 이용하여 운전자의 얼굴 부위에 적외선을 투사하고, 적외선이 투사된 운전자의 얼굴 영상을 획득한다. ECU(12)는 NIR 카메라(11)로부터 획득되는 운전자의 얼굴 영상을 영상 처리하여 눈, 코, 입을 검출하며, 운전자의 시선이 향하는 방향과 눈 개폐 여부를 확인한다. 운전자의 시선이 향하는 방향과 눈 개폐 여부를 통해 ECU(12)는 운전자의 상태를 파악할 수 잇고, 그에 따라 운전자의 전방 주시 태만 여부를 확인할 수 있다. 운전자의 전방 주시 태만이 판단되면, ECU(12)는 부저 등과 같은 출력 장치를 통해 경고 신호를 출력하여 운전자에게 경고한다.
그러나, 종래의 운전자 상태 감시 시스템(10)은 운전자가 안경이나 그 밖의 자연광(태양광)을 반사하는 장신구를 착용한 경우, 태양광의 적외선 성분으로 인한 반사 물체 뒤의 영상 패턴이 포화되는 문제점이 있다. 예컨대, 종래의 운전자 상태 감시 시스템(10)은 도 2에 예시된 바와 같이 안경을 착용한 운전자의 얼굴 영상 패턴이 포화된 영상을 획득함에 따라, 얼굴 패턴(특히, 눈의 패턴) 인식의 어려움이 존재한다.
본 발명은 운전자 상태 감시 시스템에서 태양광 반사에 의한 패턴 인식 저하를 방지하기 위한 운전자 영상을 획득할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
본 발명은 운전자 상태 감시 시스템에서 태양광 반사에 의한 패턴 인식 저하를 방지하기 위한 운전자 영상을 획득할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 운전자 상태 감시 시스템은 운전자를 향해 NIR(Near Infrared) 조명을 점등하는 NIR 제어부, 상기 NIR 조명이 점등된 상태에서 상기 운전자의 얼굴이 촬영된 제1 얼굴 영상 프레임과 상기 NIR 조명이 소등된 상태에서 상기 운전자의 얼굴이 촬영된 제2 얼굴 영상 프레임을 번갈아 획득하거나, 혹은 상기 제1 얼굴 영상 프레임만 선택적으로 획득하는 영상 획득부, 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상 프레임을 생성하는 영상 처리부, 및 상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 DSM(Driver Status Monitoring) 수행부를 포함한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 포함하는 운전자 상태 감시(Driver Status Monitoring, DSM) 시스템의 동작 방법은 현재 주간 시간대인지 또는 야간 시간대인지 판단하는 단계, 상기 시간대 판단 결과에 따라, 상기 NIR(Near Infrared) 조명이 점등된 상태에서 운전자의 얼굴이 촬영된 제1 얼굴 영상 프레임과 상기 NIR 조명이 소등된 상태에서 상기 운전자의 얼굴이 촬영된 제2 얼굴 영상 프레임을 획득하거나, 혹은 상기 제1 얼굴 영상 프레임만 선택적으로 획득하는 단계, 상기 제1 및 제2 얼굴 영상 프레임이 획득된 경우, 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상 프레임을 생성하는 단계, 및 상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 단계를 포함한다.
본 발명에 따르면, 태양광이 반영된 얼굴 영상 프레임과 적외선과 태양광이 함께 반영된 얼굴 영상 프레임을 획득하고, 두 영상 간의 영상차에 따라 생성되는 차영상 프레임을 이용하여 운전자의 운전자의 전방 주시 태만 여부를 확인함으로써, 안경 등과 같은 태양광을 반사하는 장신구에 의한 빛 반사를 저감할 수 있으며, 그에 따라 운전자의 얼굴 영상에서 얼굴 및 눈의 패턴을 인식하는 성능의 저하를 방지할 수 있다.
도 1은 종래의 운전자 상태 감시 시스템을 예시한 도면.
도 2는 빛 반사에 의해 얼굴 영상 패턴이 포화된 영상을 예시한 도면.
도 3은 본 발명의 실시예에 따른 운전자 상태 감시 시스템 구성도.
도 4는 본 발명의 실시예에 따른 운전자 상태 감시 시스템의 영상 획득 및 NIR LED 점멸 주기를 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 운전자 상태 감시 시스템의 얼굴 패턴 검출과정을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 운전자 상태 감시 시스템의 눈 패턴 영상에서 선명도를 조절을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 운전자 상태 감시 시스템의 동작 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
최근 차량에 구현된 운전자 상태 감시 시스템(Driver Status Monitoring, DSM)은 졸음 또는 운전과 관계 없는 불필요한 행동으로 인한 운전자의 전방 주시 태만을 경고하는 시스템이다. 이때, 운전자 상태 감시 시스템은 운전자의 얼굴이 촬영된 얼굴 영상을 이용하여 운전자의 전방 주시 태만 여부를 확인한다.
본 발명의 실시예에 따른 운전자 상태 감시 시스템은 NIR(Near Infrared, 근적외선) LED(Light Emitting Diode)의 점멸을 제어하여 태양광(자연광)이 반영된 얼굴 영상과 적외선과 태양광이 함께 반영된 얼굴 영상을 획득하고, 두 영상 간의 영상차에 따른 차영상을 생성하며, 이를 이용하여 운전자의 전방 주시 태만 여부를 확인한다.
이를 위해, 도 3에 도시된 바와 같이 본 발명의 실시예에 따른 운전자 상태 감시 시스템(100)는 영상 획득부(110), 영상 저장부(120), NIR 제어부(130), 영상 처리부(140) 및 DSM 수행부(150)를 포함한다.
영상 획득부(110)는 운전자의 얼굴 영상 프레임을 획득하며, 카메라이다. 이때, 영상 획득부(110)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라센서와, 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서, 카메라센서는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다.
영상 획득부(110)는 운전자의 얼굴 영상 프레임을 획득한다. 예컨대, 영상 획득부(110)는 도 4에 도시된 바와 같이, 카메라 영상 프레임 입력(V_sync) 신호가 입력되는 매주기마다, 운전자의 얼굴이 촬영된 영상 프레임을 획득한다.
영상 획득부(110)에서 획득되는 얼굴 영상 프레임은 영상 저장부(120)에 실시간으로 저장된다. 이때, 얼굴 영상 프레임은 획득 순서대로 프레임 번호가 할당되어 저장될 수 있다. 여기서, 영상 저장부(120)는 데이터(얼굴 영상 프레임) 저장을 위한 수단으로서, 비휘발성 메모리일 수 있다.
NIR 제어부(130)는 근적외선(NIR) 조명을 발광하는 NIR LED가 일정 주기마다 점멸(점등 및 소등)하도록 제어한다. 여기서, NIR LED는 운전자의 얼굴을 향해 NIR 조명이 점등되도록 차량의 소정 위치에 장착된다.
이때, NIR 제어부(130)는 영상 획득부(110)의 동작주기와 다른 주기마다 NIR LED가 점멸하도록 제어할 수 있다. 예컨대, NIR 제어부(130)의 NIR LED 제어에 따라, 영상 획득부(110)는 NIR과 태양광이 발광된 상태에서의 얼굴 영상 프레임(제1 얼굴 영상 프레임)과 태양광만 발광된 상태에서의 얼굴 영상 프레임(제2 얼굴 영상 프레임)을 번갈아 획득할 수 있다. 예컨대, 홀수 번째(1, 3, 5, …번째)의 영상 프레임은 NIR과 태양광이 모두 발광된 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임(제1 얼굴 영상 프레임)이며, 짝수 번째(2, 4, 6, …번째)의 영상 프레임은 NIR이 발광되지 않은 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임(제2 얼굴 영상 프레임)이다.
또는, NIR 제어부(130)은 영상 획득부(110)에서 운전자의 얼굴 영상 프레임을 획득할때마다 항상 NIR LED를 점등할 수 있다. 이에 따라, 영상 획득부(110)는 NIR이 발광된 상태에서의 얼굴 영상 프레임만 선택적으로 획득할 수 있다. 이러한 경우, 몇 번째의 영상 프레임인지에 상관 없이, 매 얼굴 영상 프레임은 NIR과 태양광이 모두 발광된 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임(제1 얼굴 영상 프레임)이다. 이와 같이, NIR 제어부(130)에서 NIR LED의 동작 주기를 제어하는 것은 이후의 주야 판단부(160)에 의해 주간 시간대인지 야간 시간대인지에 따라 달리 동작할 수 있다.
영상 처리부(140)는 제1 얼굴 영상 프레임과 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상(Differential Image) 프레임을 생성한다. 이때, 영상 처리부(140)은 얼굴 영상 프레임을 획득하는 주기마다 NIR 제어부(130)에 의해 NIR LED가 점등과 소등을 번갈아가면서 동작한 경우 차영상 프레임을 생성한다.
영상 처리부(140)는 NIR과 태양광이 모두 발광된 상태의 얼굴 영상 프레임(제1 얼굴 영상 프레임)과 NIR이 발광되지 않은 상태의 얼굴 영상 프레임(제2 얼굴 영상 프레임) 간의 영상차를 계산하고, 그에 따라 차영상 프레임을 생성한다. NIR과 태양광이 모두 반영된 얼굴 영상 프레임과 NIR이 반영되지 않은 얼굴 영상 프레임 간의 영상차를 계산함에 따라, 생성된 차영상 프레임은 NIR 영상 성분으로 이루어질 수 있다. 이때, 영상 처리부(140)는 두 영상 간의 영상 차이를 계산하는 영상 처리 알고리즘을 이용하여 영상차 계산 및 차영상 프레임을 생성할 수 있다.
예컨대, 영상 처리부(140)는 영상 획득부(110)에서 획득되는 첫 번째 얼굴 영상 프레임(NIR 조명+태양광이 발광된 영상 프레임)과 두 번째 얼굴 영상 프레임(태양광만 발광된 영상 프레임) 간의 영상차를 계산하여 차영상 프레임을 생성한다. 마찬가지로, 영상 처리부(140)는 영상 획득부(110)에서 획득되는 세 번째 얼굴 영상 프레임(NIR 조명+태양광이 발광된 영상 프레임)과 네 번째 얼굴 영상 프레임(태양광만 발광된 영상 프레임) 간의 영상차를 계산하여 차영상 프레임을 생성한다.
영상 처리부(140)는 생성된 차영상 프레임을 DSM 수행부(150)로 전송한다.
한편, 본 발명의 실시예에 따른 운전자 상태 감시 시스템(100)은 현재 주간 시간대인지 또는 야간 시간대인지에 따라 차영상 프레임을 생성하는 동작을 생략할 수 있다. 이를 위해, 본 발명의 실시예에 따른 운전자 상태 감시 시스템(100)은 주야 판단부(160)을 더 포함한다.
주야 판단부(160)는 시간대 판단 정보를 이용하여 현재 주간 시간대인지 야간 시간대인지 판단한다.
일 예로서, 주야 판단부(160)는 현재의 날짜 정보와 시간 정보를 시간대 판단 정보로 획득하며, 획득된 현재 날짜 정보와 시간 정보를 고려하여 현재 시간대를 판단한다. 주야 판단부(160)는 현재의 날짜 정보를 이용하여 계절 및 계절에 따른 평균 일몰 및 일출 시간을 파악할 수 있으며, 현재 시간 정보를 이용하여 주간 시간대인지 야간 시간대인지 판단할 수 있다.
다른 예로서, 주야 판단부(160)는 조도 센서의 조도 센싱값을 시간대 판단 정보로 획득하며, 획득된 조도 센싱값을 이용하여 주,야간 시간대인지 판단한다. 주야 판단부(160)는 조도 센싱값이 소정값 이상인지 여부에 따라 주간 시간대인지 야간 시간대인지 판단할 수 있다.
주야 판단부(160)에 의해 주간 시간대로 판단되면, NIR 제어부(130)는 영상 획득부(120)에서 얼굴 영상 프레임이 획득되는 주기마다 번갈아가면서 NIR LED 조명을 점등 및 소등하는 동작을 수행하며, 이에 따라 영상 처리부(140)은 차영상을 생성할 수 있다.
만약, 주야 판단부(160)에 의해 야간 시간대로 판단되면, 태양광이 적거나 없다고 가정하여, NIR 제어부(130)는 영상 획득부(110)에서 운전자의 얼굴 영상 프레임을 획득할 때마다 NIR LED가 동작하도록 제어한다. 즉, 야간 시간대인 경우, 영상 획득부(110)는 매 프레임마다 NIR 조명이 발광된 상태에서 운전자의 얼굴을 촬영하여 얼굴 영상 프레임을 획득한다.
DSM 수행부(150)는 영상 처리부(140)로부터 수신되는 차영상 프레임 또는 영상 획득부(120)에서 획득되는 얼굴 영상 프레임(제1 얼굴 영상 프레임)을 이용하여 운전자의 전방 주시 태만 여부를 확인한다. 이때, DSM 수행부(150)는 DSM(Driver Status Monitoring) 알고리즘을 수행하여 전방 주시 태만 여부를 확인하며, 종래의 운전자 상태 감시 시스템에서 이용된 DSM 알고리즘을 이용할 수 있다.
예컨대, DSM 수행부(150)는 주간 시간대에서 획득되는 차영상 프레임을 이용하여 운전자의 시선 방향 및 눈 감음 여부를 파악하며, 소정 시간 동안 누적되는 운전자의 시선 방향 및 눈 감음 여부 결과를 이용하여 운전자의 전방 주시 태만 여부를 확인한다. 이때, DSM 수행부(150)는 차영상 프레임을 패턴 인식 알고리즘을 통해 영상 처리하여 얼굴 영역 및 눈 영역을 검출한다. 또한, DSM 수행부(150)는 차영상 프레임에서 검출된 눈 영역의 영상을 선명하게 조절하는 영상 처리 동작을 더 수행한 후 운전자의 전방 주시 태만 여부를 확인할 수 있다.
또한, DSM 수행부(150)는 야간 시간대에서 영상 획득부(110)에서 획득되는 얼굴 영상 프레임(제1 얼굴 영상 프레임)을 수신하여 운전자의 전방 주시 태만 여부를 확인한다. 예컨대, 전방 주시 태면 여부를 판단하기 위해 DSM 수행부(150)는 도 5 (a), (b), (c)에 예시된 바와 같은 얼굴 영상 프레임을 패턴 인식 알고리즘을 통해 영상 처리하여 얼굴 영역 및 눈 영역을 검출한다. 나아가, DSM 수행부(150)는 얼굴 영상 프레임에서 도 6 (a), (c)와 같이 검출된 눈 영역의 영상 각각을 도 6 (b), (d)와 같이 선명하게 조절하는 영상 처리 후, 운전자의 전방 주시 태만 여부를 확인할 수 있다.
이와 같이 본 발명에 따르면 태양광이 반영된 얼굴 영상 프레임과 적외선과 태양광이 함께 반영된 얼굴 영상 프레임을 획득하고, 두 영상 간의 영상차에 따라 생성되는 차영상 프레임을 이용하여 운전자의 운전자의 전방 주시 태만 여부를 확인함으로써, 안경 등과 같은 태양광을 반사하는 장신구에 의한 빛 반사를 저감할 수 있으며, 그에 따라 운전자의 얼굴 영상에서 얼굴 및 눈의 패턴을 인식하는 성능의 저하를 방지할 수 있다.
도 7은 본 발명의 실시예에 따른 운전자 상태 감시 시스템의 동작 흐름도이다.
운전자 상태 감시 시스템(100)은 시간대 판단 정보를 획득한다(S701). 이때, 운전자 상태 감시 시스템(100)은 현재의 날짜 정보와 시간 정보를 시간대 판단 정보로 획득한다.
운전자 상태 감시 시스템(100)은 시간대 판단 정보를 이용하여 현재 주간 시간대인지 판단한다(S703). 예컨대, 운전자 상태 감시 시스템(100)은 현재의 날짜 정보를 이용하여 계절 및 계절에 따른 평균 일몰 및 일출 시간을 파악할 수 있으며, 현재 시간 정보를 이용하여 주간 시간대인지 야간 시간대인지 판단할 수 있다.
단계 S703의 판단 결과 주간 시간대가 아닌 것으로 판단되면(S703-N), 운전자 상태 감시 시스템(100)은 NIR 조명이 발광된 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임을 획득한다(S705). 이때, 운전자 상태 감시 시스템(100)은 운전자의 얼굴이 촬영될 때마다 NIR LED가 점등되도록 제어한다. 이에 따라, 운전자 상태 감시 시스템(100)은 야간 시간대에 항상 NIR 조명이 발광된 상태에서의 운전자의 얼굴 영상 프레임을 획득할 수 있다.
운전자 상태 감시 시스템(100)은 운전자의 얼굴 영상 프레임을 이용하여 운전자의 전방 주시 태만 여부를 확인한다(S707). 예컨대, 운전자 상태 감시 시스템(100)은 전방 주시 태만 여부를 확인하는 DSM(Driver Status Monitoring) 알고리즘 이용하여 운전자의 전방 주시 태만 여부를 확인한다. 운전자 상태 감시 시스템(100)은 얼굴 영상 프레임에서 운전자의 얼굴 및 눈 영역을 검출하며 운전자의 시선 방향 및 눈 감음 여부를 파악한다. 운전자 상태 감시 시스템(100)은 소정 시간 동안 누적되는 운전자의 시선 방향 및 눈 감음 여부 결과를 이용하여 운전자의 전방 주시 태만 여부를 확인한다.
만약, 단계 S703의 판단 결과, 주간 시간대인 것으로 판단되면(S703-Y), 운전자 상태 감시 시스템(100)은 얼굴 영상 프레임의 획득 순서가 홀수(Odd)번째인지 확인한다(S709).
단계 S709의 확인 결과, 얼굴 영상 프레임의 획득 순서가 홀수번째이면(S709-Y), 운전자 상태 감시 시스템(100)은 NIR 조명이 발광된 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임(제1 얼굴 영상 프레임)을 획득하며(S711), 획득된 제1 얼굴 영상 프레임을 저장한다(S713). 이때, 제1 얼굴 영상 프레임은 NIR과 태양광이 함께 반영된 얼굴 영상 프레임이다.
제1 얼굴 영상 프레임 저장 후, 운전자 상태 감시 시스템(100)은 단계 S709로 피드백하여, 얼굴 영상 프레임의 획득 순서가 홀수번째인지 확인한다(S709).
확인 결과 얼굴 영상 프레임 획득 순서가 짝수(Even)번째이면(S709-N), 운전자 상태 감시 시스템(100)은 NIR 조명이 발광되지 않은 상태에서 운전자의 얼굴을 촬영한 얼굴 영상 프레임(제2 얼굴 영상 프레임)을 획득한다(S715). 이때, 제2 얼굴 영상 프레임은 태양광만이 반영된 얼굴 영상 프레임이다.
운전자 상태 감시 시스템(100)은 제1 얼굴 영상 프레임과 제2 얼굴 영상 프레임 간 영상차를 계산하고, 차영상 프레임을 생성한다(S717).
예컨대, 운전자 상태 감시 시스템(100)은 NIR과 태양광이 모두 발광된 상태의 얼굴 영상 프레임(제1 얼굴 영상 프레임)과 NIR이 발광되지 않은 상태의 얼굴 영상 프레임(제2 얼굴 영상 프레임) 간의 영상차를 계산하고, 그에 따라 차영상 프레임을 생성한다. 이때, 영상 처리부(140)는 두 영상 간의 영상 차이를 계산하는 영상 처리 알고리즘을 이용하여 영상차 계산 및 차영상 프레임을 생성할 수 있다. 이와 같이, NIR과 태양광이 모두 반영된 얼굴 영상 프레임과 NIR이 반영되지 않은 얼굴 영상 프레임 간의 영상차를 계산함에 따라, 생성된 차영상 프레임은 NIR 영상 성분으로 이루어질 수 있다.
운전자 상태 감시 시스템(100)은 차영상 프레임을 이용하여 운전자의 전방 주시 태만 여부를 확인한다(S719).
이때, 운전자 상태 감시 시스템(100)은 주간 시간대에 획득되는 차영상 프레임과 DSM 알고리즘을 이용하여 운전자의 전방 주시 태만 여부를 확인한다. 예컨대, 운전자 상태 감시 시스템(100)은 차영상 프레임에서 운전자의 얼굴 및 눈 영역을 검출하며 운전자의 시선 방향 및 눈 감음 여부를 파악하고, 소정 시간 동안 누적되는 결과(운전자의 시선 방향 및 눈 감음 여부)를 이용하여 운전자의 전방 주시 태만 여부를 확인한다.
이와 같이 본 발명에 따르면 태양광이 반영된 얼굴 영상 프레임과 적외선과 태양광이 함께 반영된 얼굴 영상 프레임을 획득하고, 두 영상 간의 영상차에 따라 생성되는 차영상 프레임을 이용하여 운전자의 운전자의 전방 주시 태만 여부를 확인함으로써, 안경 등과 같은 태양광을 반사하는 장신구에 의한 빛 반사를 저감할 수 있으며, 그에 따라 운전자의 얼굴 영상에서 얼굴 및 눈의 패턴을 인식하는 성능의 저하를 방지할 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 운전자 상태 감시 시스템
110 : 영상 획득부 120 : 영상 저장부
130 : NIR 제어부 140 : 영상 처리부
150 : DSM 수행부 160 : 주야 판단부

Claims (10)

  1. 운전자를 향해 NIR(Near Infrared) 조명을 점등하는 NIR 제어부;
    상기 NIR 조명이 점등된 상태에서 상기 운전자의 얼굴이 촬영된 제1 얼굴 영상 프레임과 상기 NIR 조명이 소등된 상태에서 상기 운전자의 얼굴이 촬영된 제2 얼굴 영상 프레임을 번갈아 획득하거나, 혹은 상기 제1 얼굴 영상 프레임만 선택적으로 획득하는 영상 획득부;
    상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상 프레임을 생성하는 영상 처리부; 및
    상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 DSM(Driver Status Monitoring) 수행부;
    를 포함하는 운전자 상태 감시 시스템.
  2. 제1항에 있어서, 상기 DSM 수행부는,
    상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임과 DMS 알고리즘을 통해 상기 운전자의 시선 방향 및 눈 감음 여부를 파악하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템.
  3. 제1항에 있어서,
    시간대 판단 정보를 이용하여 현재 주간 또는 야간 시간대인지 판단하는 주야 판단부; 를 더 포함하며,
    상기 주야 판단부에 의해 야간 시간대로 판단된 경우,
    상기 NIR 제어부는,
    상기 영상 획득부에서 상기 NIR 조명이 점등된 상태에서 상기 운전자의 얼굴 영상을 획득하도록 매 주기마다 상기 NIR 조명을 점등하며,
    상기 DSM 수행부는 상기 매 주기마다 획득되는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템.
  4. 제1항에 있어서,
    시간대 판단 정보를 이용하여 현재 주간 또는 야간 시간대인지 판단하는 주야 판단부; 를 더 포함하며,
    상기 주야 판단부에 의해 주간 시간대로 판단된 경우,
    상기 NIR 제어부는,
    상기 영상 획득부에서 상기 운전자의 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임을 번갈아 가면서 획득하도록 상기 NIR 조명을 점등 및 소등하며,
    상기 DSM 수행부는 상기 차영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템.
  5. 제4항에 있어서, 상기 주야 판단부는,
    현재의 날짜 정보와 시간 정보를 상기 시간대 판단 정보로 획득하는 것
    인 운전자 상태 감시 시스템.
  6. 현재 주간 시간대인지 또는 야간 시간대인지 판단하는 단계;
    상기 시간대 판단 결과에 따라, NIR(Near Infrared) 조명이 점등된 상태에서 운전자의 얼굴이 촬영된 제1 얼굴 영상 프레임과 상기 NIR 조명이 소등된 상태에서 상기 운전자의 얼굴이 촬영된 제2 얼굴 영상 프레임을 획득하거나, 혹은 상기 제1 얼굴 영상 프레임만 선택적으로 획득하는 단계;
    상기 제1 및 제2 얼굴 영상 프레임이 획득된 경우, 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임 간의 영상차를 계산하여 차영상 프레임을 생성하는 단계; 및
    상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 단계
    를 포함하는 운전자 상태 감시(Driver Status Monitoring, DSM) 시스템의 동작 방법.
  7. 제6항에 있어서, 상기 확인하는 단계는,
    상기 차영상 프레임 또는 상기 제1 얼굴 영상 프레임과 DMS 알고리즘을 통해 상기 운전자의 시선 방향 및 눈 감음 여부를 파악하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템의 동작 방법.
  8. 제6항에 있어서,
    상기 판단 결과 주간 시간대로 판단된 경우,
    상기 운전자의 상기 제1 얼굴 영상 프레임과 상기 제2 얼굴 영상 프레임이 번갈아 가면서 획득되도록 상기 NIR 조명을 점등 및 소등하는 단계; 를 더 포함하며,
    상기 확인하는 단계는,
    상기 차영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템의 동작 방법.
  9. 제6항에 있어서,
    상기 판단 결과 야간 시간대로 판단된 경우,
    상기 NIR 조명이 점등된 상태에서 상기 운전자의 얼굴 영상을 획득하도록 매 주기마다 상기 NIR 조명을 점등하는 단계; 를 더 포함하며,
    상기 확인하는 단계는,
    상기 매 주기마다 획득되는 상기 제1 얼굴 영상 프레임을 이용하여 상기 운전자의 전방 주시 태만 여부를 확인하는 것
    인 운전자 상태 감시 시스템의 동작 방법.
  10. 제6항에 있어서, 상기 판단하는 단계는,
    현재의 날짜 정보와 시간 정보를 이용하여 상기 주간 또는 야간 시간대인지 판단하는 것
    인 운전자 상태 감시 시스템의 동작 방법.
KR1020140173414A 2014-12-04 2014-12-04 운전자 상태 감시 시스템 및 그의 동작 방법 KR20160067694A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173414A KR20160067694A (ko) 2014-12-04 2014-12-04 운전자 상태 감시 시스템 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173414A KR20160067694A (ko) 2014-12-04 2014-12-04 운전자 상태 감시 시스템 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083143A Division KR20200084860A (ko) 2020-07-06 2020-07-06 운전자 상태 감시 시스템 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20160067694A true KR20160067694A (ko) 2016-06-14

Family

ID=56191892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173414A KR20160067694A (ko) 2014-12-04 2014-12-04 운전자 상태 감시 시스템 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR20160067694A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493496A (zh) * 2019-06-14 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN110991235A (zh) * 2019-10-29 2020-04-10 北京海益同展信息科技有限公司 一种状态监测方法、装置、电子设备及存储介质
KR20220063021A (ko) 2020-11-09 2022-05-17 주식회사 엘지유플러스 위험 경고 처리를 위한 장치 및 그 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493496A (zh) * 2019-06-14 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN110493496B (zh) * 2019-06-14 2021-11-09 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN110991235A (zh) * 2019-10-29 2020-04-10 北京海益同展信息科技有限公司 一种状态监测方法、装置、电子设备及存储介质
CN110991235B (zh) * 2019-10-29 2023-09-01 京东科技信息技术有限公司 一种状态监测方法、装置、电子设备及存储介质
KR20220063021A (ko) 2020-11-09 2022-05-17 주식회사 엘지유플러스 위험 경고 처리를 위한 장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
JP3855439B2 (ja) 夜間運転視界支援装置
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP5761074B2 (ja) 撮像制御装置及びプログラム
CN102971776B (zh) 障碍物检测系统以及方法、障碍物检测装置
JP2016103249A (ja) 運転支援装置および運転支援方法
US20160063334A1 (en) In-vehicle imaging device
US10095936B2 (en) Eye open state determination device and eye open state determination method
EP3070641A1 (en) Imaging system, image processing system, light projection device, and object detection method
KR101546893B1 (ko) 졸음 운전 방지 시스템
KR20160067694A (ko) 운전자 상태 감시 시스템 및 그의 동작 방법
JP2011087006A (ja) 車両用表示装置
CN107640160A (zh) 车辆安全驾驶辅助系统及其控制方法
US20170353642A1 (en) Driver state monitoring system
KR101533285B1 (ko) 어두운 환경에서 위험을 감지하기 위한 적외선 영상을 촬영하여 표시하는 차량 안전 시스템 및 적외선 영상 촬영방법
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
CN113799784B (zh) 驾驶员监视系统
KR20200084860A (ko) 운전자 상태 감시 시스템 및 그의 동작 방법
JP2018190213A (ja) 顔認識装置及び視線検出装置
KR101774691B1 (ko) 깜박임 보정 시스템
KR20140033647A (ko) 스마트 리어뷰 시스템 및 제어방법
US20170320434A1 (en) Imaging apparatus and car
KR20120072141A (ko) 자동차 운전자의 눈부심 방지 장치 및 방법
CN112606765A (zh) 一种车辆透明a柱显示方法、装置、车辆和可读存储介质
KR20180032017A (ko) 운전자의 위험물체 인지를 위한 조명 제어 장치 및 방법
KR101592874B1 (ko) 야간 점멸 광원 감지 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application