KR101886412B1 - 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치 - Google Patents

적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치 Download PDF

Info

Publication number
KR101886412B1
KR101886412B1 KR1020160176710A KR20160176710A KR101886412B1 KR 101886412 B1 KR101886412 B1 KR 101886412B1 KR 1020160176710 A KR1020160176710 A KR 1020160176710A KR 20160176710 A KR20160176710 A KR 20160176710A KR 101886412 B1 KR101886412 B1 KR 101886412B1
Authority
KR
South Korea
Prior art keywords
brightness
face
infrared
image
histogram
Prior art date
Application number
KR1020160176710A
Other languages
English (en)
Other versions
KR20180073164A (ko
Inventor
김용국
박상민
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020160176710A priority Critical patent/KR101886412B1/ko
Publication of KR20180073164A publication Critical patent/KR20180073164A/ko
Application granted granted Critical
Publication of KR101886412B1 publication Critical patent/KR101886412B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

적외선 영상 수집부가, 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 단계, 히스토그램 생성부가, 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계, 영상 밝기 추출부가, 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 얼굴 적외선 영상 밝기 히스토그램을 입력하여 얼굴 적외선 영상의 밝기를 추출하는 단계 및 적외선 발생부가, 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 단계를 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치에 관한 것이다.

Description

적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치{METHOD AND APPARTUS FOR ADAPTIVE DRIVER FACIAL IMAGING ENVIRONMENT CONTROL}
본 발명은 적응적으로 운전자의 얼굴 촬영 환경을 제어하는 방법 및 이를 위한 장치에 관한 것이다.
운전자 보조 시스템(Driver Assistance System)은 운전자의 운전에 도움을 주는 시스템으로 차량 자동 항법 장치(In-Vehicle Navigation System), 차선 유지 보조 시스템(Lane Departure Warning System), 야간 시야 시스템(Night Vision), 운전자 졸음 방지 시스템(Driver Drowsiness Detection) 등을 포괄하는 명칭이다.
이들 중 운전자 졸음 방지 시스템은, 운전자가 졸음 운전을 하는 경우 이를 인식하여 알람 등으로 운전자의 졸음을 깨우는 시스템을 의미하며, 운전자 졸음 방지 시스템은 운전자의 졸음 운전 여부를 판단하기 위하여 적외선 카메라를 통해 운전자의 얼굴 영상을 수집한 뒤, 수집된 적외선 얼굴 영상에 이미지 처리를 수행하여 운전자가 눈을 감는지 여부를 판단한다.
그러나, 종래의 운전자 졸음 방지 시스템에서는 적외선 카메라가 적외선 얼굴 영상을 수집하기 위하여, 운전자의 얼굴에 조사하는 적외선의 세기(IR LED Level)를 일정하게 하기 때문에 다음과 같은 문제가 발생한다.
첫째로, 빛이 없는 상황과 빛이 있는 상황을 구분할 수 없기 때문에, 빛이 없다가 빛이 갑자기 발생하는 상황(터널 내부에서 터널 외부로 이동하는 상황 등), 빛이 있다가 빛이 갑자기 사라지는 상황(터널 외부에서 터널 내부로 이동하는 상황 등) 등에서 적외선 얼굴 영상을 획득하지 못하는 문제가 발생할 수 있다.
둘째로, 운전자의 피부 톤이 운전자 별로 서로 다르기 때문에 얼굴 적외선 영상을 수집하기 위한 적외선 세기는 운전자 별로 서로 상이해야 함에도 적외선의 세기를 일정하기 고정하는 경우, 얼굴의 밝기 값이 매우 밝거나 매우 어둡게 나타나는 운전자가 발생하는 문제가 발생할 수 있다.
셋째로, 운전자의 얼굴에 조사하는 적외선의 세기가 항상 높도록 고정되는 경우, 적외선 센서에서 발생하는 빛과 열을 이유로, 운전자의 눈에 무리가 발생할 수 있는 문제가 있다.
한국 등록특허공보 제10-1658528호 (2016.09.12.)
본 발명의 목적은 상기한 문제를 해결하기 위하여, 적외선 영상 밝기 추출 모델에 기초하여 수집된 얼굴 적외선 영상의 밝기를 추출하여, 추출된 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하기 위함이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법은 적외선 영상 수집부가, 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 단계, 히스토그램 생성부가, 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계, 영상 밝기 추출부가, 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 얼굴 적외선 영상 밝기 히스토그램을 입력하여 얼굴 적외선 영상의 밝기를 추출하는 단계 및 적외선 발생부가, 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 단계를 포함한다.
예컨대, 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계는, 히스토그램 생성부가, 얼굴 적외선 영상 밝기 히스토그램에 포함된 복수의 밝기 등급 중 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하는 단계, 히스토그램 생성부가, 복수의 병합 밝기 등급 구간 각각에 포함된 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 합하여 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계 및 히스토그램 생성부가, 복수의 병합 밝기 등급 구간 및 병합 밝기 등급 구간 별 픽셀 개수를 서로 대응되도록 매칭하여, 변형 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 더 포함하며, 얼굴 적외선 영상의 밝기를 추출하는 단계는 변형 얼굴 적외선 영상 밝기 히스토그램에 기초하여 수행될 수 있다.
예컨대, 얼굴 적외선 영상의 밝기를 추출하는 단계는, 영상 밝기 추출부가, 적외선 영상 밝기 추출 모델의 출력 노드의 개수에 대응되는 소정 개수의 밝기 레벨로 얼굴 적외선 영상의 밝기를 구분하여 추출하는 단계를 포함한다.
예를 들어, 적외선의 세기를 선택적으로 변경하는 단계는, 적외선 발생부가, 적외선의 세기를 소정 개수의 밝기 레벨에 반비례하도록 변경하는 단계를 포함한다.
일 실시예에 따라, 소정 개수의 밝기 레벨이 상위 레벨, 중간 레벨 및 하위 레벨로 구성될 때, 얼굴 적외선 영상의 밝기가 상위 레벨으로 추출되는 경우, 적외선의 세기를 선택적으로 변경하는 단계는, 적외선 발생부가, 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 작아지도록 변경하는 단계를 포함한다.
예를 들어, 소정 개수의 밝기 레벨이 상위 레벨, 중간 레벨 및 하위 레벨로 구성될 때, 얼굴 적외선 영상의 밝기가 하위 레벨으로 추출되는 경우, 적외선의 세기를 선택적으로 변경하는 단계는, 적외선 발생부가, 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 커지도록 변경하는 단계를 포함한다.
예컨대, 얼굴 적외선 영상을 실시간으로 수집하는 단계 이전에, 모델 생성부가, 미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성하는 단계를 더 포함한다.
일 실시예에 따라, 적외선 영상 밝기 추출 모델을 생성하는 단계는, 모델 생성부가, 미리 저장된 복수의 얼굴 적외선 영상 각각의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 복수의 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계, 모델 생성부가, 복수의 저장 얼굴 적외선 영상 밝기 히스토그램 각각에 포함된 복수의 밝기 등급 중 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하는 단계, 모델 생성부가, 복수의 병합 밝기 등급 구간 각각에 포함된 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 합하여 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계, 모델 생성부가, 복수의 병합 밝기 등급 구간 및 병합 밝기 등급 구간 별 픽셀 개수를 서로 대응되도록 매칭하여, 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계 및 모델 생성부가, 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 신경망에 기초해 학습하여, 적외선 영상 밝기 추출 모델을 생성하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 장치는 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 적외선 영상 수집부, 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 히스토그램 생성부, 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 얼굴 적외선 영상 밝기 히스토그램을 입력하여 얼굴 적외선 영상의 밝기를 추출하는 영상 밝기 추출부 및 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 적외선 발생부를 포함한다.
일 실시예에 따라, 미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성하는 모델 생성부를 더 포함한다.
본 발명에 따르면, 적외선 영상 밝기 추출 모델에 기초하여 수집된 얼굴 적외선 영상의 밝기를 추출하여, 추출된 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하여, 운전자 얼굴 촬영 환경을 적응적으로 제어할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계의 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 적외선 영상 밝기 추출 모델을 생성하는 단계의 일 실시예를 설명하기 위한 도면이다.
도 5a, 도 5b, 도 5c 도 5d 및 도 5e는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 적외선의 세기를 선택적으로 변경하는 단계를 설명하기 위한 도면이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.
이제 도 1, 도 5b, 도 5c 및 도 5e를 참조하여, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 장치를 설명한다.
도 1은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 장치를 설명하기 위한 구성도이다.
도 5a, 도 5b, 도 5c 도 5d 및 도 5e는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 장치(100)는 적외선 영상 수집부(110), 히스토그램 생성부(120), 영상 밝기 추출부(130) 및 적외선 발생부(140)를 포함한다.
예컨대, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 장치(100)는 모델 생성부(150)를 더 포함할 수도 있으나 본 발명은 이에 한정되지 않는다.
적외선 영상 수집부(110)는 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집한다.
예컨대, 운전자의 얼굴 주변 기설정된 범위의 영역은 운전자의 얼굴 윤곽선을 모두 포함하는 영역, 적어도 운전자의 양쪽 눈을 모두 포함하는 영역을 비롯하여, 운전자의 얼굴을 나타내는 각종 범위의 영역을 의미할 수 있으며, 본 발명은 기설정된 범위의 영역의 크기에 한정되지 않는다.
예컨대, 운전자의 얼굴 주변 기설정된 범위의 영역은 도 5b에 도시된 운전자 얼굴 영상과 같은 영역을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, 적외선 영상 수집부(110)는 운전자의 얼굴에 조사되는 적외선을 감지하여 얼굴 적외선 영상을 생성하는 적외선 CCD 카메라, CMOS 카메라를 비롯한 각종 적외선 카메라를 의미할 수 있으나, 본 발명은 적외선 영상 수집부(110)의 종류에 한정되지 않는다.
히스토그램 생성부(120)는 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성한다.
예컨대, 얼굴 적외선 영상 밝기 히스토그램은 얼굴 적외선 영상에 포함된 각각의 픽셀들 중 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램을 의미할 수 있다.
예컨대, 밝기 등급은 픽셀의 밝기값을 0 내지 255의 범위 중 어느 하나의 수치로 나타내는 그레이 스케일(Gray Scale)을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, 얼굴 적외선 영상 밝기 히스토그램은 복수의 밝기 등급을 X축에 설정하고, 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 Y축에 설정하여 생성된 히스토그램으로, 도 5c에 도시된 바와 같이, 0 내지 255의 밝기 등급 각각에 대응되는 픽셀 개수를 나타내는 히스토그램을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
영상 밝기 추출부(130)는 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 얼굴 적외선 영상 밝기 히스토그램을 입력하여 얼굴 적외선 영상의 밝기를 추출한다.
예컨대, 적외선 영상 밝기 추출 모델은 신경망(Neural Network), 심층 신경망(Deep Neural Network) 등 각종 기계학습 알고리즘에 기초하여 생성된 적외선 영상의 밝기를 추출하는 모델을 의미할 수 있다.
예컨대, 적외선 영상 밝기 추출 모델은 도 5e에 도시된 바와 같이, 총 64개의 입력 노드(Input Node), 총 8개의 히든 노드(Hidden Node) 및 총 3개의 출력 노드(Out Put)를 가질 수 있다.
예컨대, 적외선 영상 밝기 추출 모델은 입력 노드에 얼굴 적외선 영상 밝기 히스토그램이 입력되면, 히든 노드의 연산을 거쳐 얼굴 적외선 영상의 밝기를 출력 노드를 통해 소정 개수의 밝기 레벨에 대응되도록 출력할 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, 소정 개수의 밝기 레벨은 상위 레벨, 중간 레벨 및 하위 레벨의 총 3개의 밝기 레벨을 의미할 수 있으며, 상위 레벨은 영상이 기설정된 제1 임계값보다 밝은 경우를 의미하고 중간 레벨은 영상이 기설정된 제1 임계값 및 기설정된 제2 임계값 사이의 보통 밝기인 경우를 의미하며, 하위 레벨은 영상이 기설정된 제2 임계값보다 어두운 경우를 의미하는 밝기 레벨을 의미할 수 있다.
적외선 발생부(140)는 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경한다.
예컨대, 적외선 발생부(140)는 적외선 영상 수집부(110)가 얼굴 적외선 영상을 수집하기 위한 적외선을 발생하여 운전자의 얼굴에 조사하는 구성을 의미할 수 있다.
예컨대, 적외선 발생부(140)는 일반 카메라의 플래쉬(Flash)와 유사한 기능을 수행하는 적외선 영상 수집부(110)의 일부 구성을 의미할 수도 있으나, 본 발명은 이에 한정되지 않는다.
모델 생성부(150)는 미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성한다.
예컨대, 모델 생성부(150)가 생성한 적외선 영상 밝기 추출 모델은 도 5e에 도시된 바와 같이 나타날 수 있으나, 본 발명은 이에 한정되지 않는다.
본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 장치(100)의 각각의 구성에 대한 보다 구체적인 설명은 이하 도 2 내지 도 6을 참조하여 후술하도록 하며, 중복되는 설명은 생략한다.
이제, 도 2, 도 5b, 도 5c, 도 5e 및 도 6을 참조하여, 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법을 설명한다.
도 2는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법을 설명하기 위한 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법은 얼굴 적외선 영상을 실시간으로 수집하는 단계(S210), 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계(S230), 얼굴 적외선 영상의 밝기를 추출하는 단계(S250) 및 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 단계(S270)를 포함한다.
예컨대, S210 단계는 적외선 영상 수집부(110)가, 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 단계를 의미할 수 있다.
예컨대, S210 단계에서 수집된 얼굴 적외선 영상은 도 5b에 도시된 바와 같이 나타날 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, S230 단계는 히스토그램 생성부(120)가, 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 의미할 수 있다.
예컨대, S230 단계에서 생성된 얼굴 적외선 영상 밝기 히스토그램은 도 5c에 도시된 바와 같이, 미리 설정된 밝기 등급에 얼굴 적외선 영상에 포함된 복수의 픽셀들의 개수를 밝기 등급별로 매칭한 히스토그램을 의미할 수 있다.
예컨대, 얼굴 적외선 영상이 밝기 등급이 0인 픽셀을 5개 포함하고 밝기 등급이 1인 픽셀을 2개 포함하며 밝기 등급이 2인 픽셀을 4개 포함하는 경우, 얼굴 적외선 영상 밝기 히스토그램은 밝기 등급 0에 5개, 밝기 등급 1에 2개, 밝기 등급 2에 4개의 픽셀 개수가 각각 대응되도록 저장된 히스토그램을 의미할 수 있다.
예컨대, 밝기 등급은 픽셀의 밝기값을 0 내지 255에 대응되도록 설정한 그레이 스케일(Gray Scale)을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
S250 단계는, 영상 밝기 추출부(130)가, 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 얼굴 적외선 영상 밝기 히스토그램을 입력하여 얼굴 적외선 영상의 밝기를 추출하는 단계를 의미할 수 있다.
예컨대, S250 단계는, 영상 밝기 추출부(130)가, 적외선 영상 밝기 추출 모델의 출력 노드의 개수에 대응되는 소정 개수의 밝기 레벨로 얼굴 적외선 영상의 밝기를 구분하여 추출하는 단계를 포함할 수 있다.
예를 들어, 적외선 영상 밝기 추출 모델이 입력된 얼굴 적외선 영상 밝기 히스토그램에 기초하여 얼굴 적외선 영상의 밝기를 총 3개의 밝기 레벨인 상위 레벨, 중간 레벨 및 하위 레벨로 구분하여 추출하는 모델인 경우, S250 단계에서 영상 밝기 추출부(130)는 얼굴 적외선 영상이 기설정된 제1 임계값보다 밝은 경우 입력된 얼굴 적외선 영상의 밝기를 상위 레벨로 추출하고, 얼굴 적외선 영상이 기설정된 제2 임계값보다 어두운 경우 입력된 얼굴 적외선 영상의 밝기를 하위 레벨로 추출하며, 얼굴 적외선 영상이 기설정된 제1 임계값 및 제2 임계값의 사이 밝기인 경우, 입력된 얼굴 적외선 영상의 밝기를 중간 레벨로 추출할 수 있다.
다시 말해, S250 단계에서 영상 밝기 추출부(130)는 미리 저장된 적외선 영상 밝기 추출 모델의 동작에 기초하여 얼굴 적외선 영상의 밝기를 소정 개수의 밝기 레벨로 구분하여 추출할 수 있다.
예컨대, S270 단계는, 적외선 발생부(140)가, 얼굴 적외선 영상의 밝기에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 단계를 의미할 수 있다.
예컨대, S270 단계는, 적외선 발생부(140)가, 적외선의 세기를 소정 개수의 밝기 레벨에 반비례하도록 변경하는 단계를 포함할 수 있다.
예컨대, 적외선의 세기를 소정 개수의 밝기 레벨에 반비례하도록 변경하는 것의 의미는, 밝기 레벨이 높을수록 적외선의 세기를 낮추고, 밝기 레벨이 낮을수록 적외선의 세기를 높이는 것을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, S270 단계에서 적외선 발생부(140)가 발생하는 적외선의 세기는 적외선 엘이디 레벨(IR LED LEVEL)을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, S270 단계에서 적외선 발생부(140)는 얼굴 적외선 영상의 밝기 레벨이 높을수록 적외선의 세기를 감소시키고, 얼굴 적외선 영상의 밝기 레벨이 낮을수록 적외선의 세기를 증가시킬 수 있다.
예컨대, S270 단계에서 적외선 발생부(140) 얼굴 적외선 영상의 밝기 레벨이 높은 경우, 적외선 엘이디 레벨을 현재의 적외선 엘이디 레벨보다 감소시키고, 얼굴 적외선 영상의 밝기 레벨이 낮은 경우, 적외선 엘이디 레벨을 현재의 적외선 엘이디 레벨보다 증가시킬 수 있다.
예컨대, S250 단계에서 영상 밝기 추출부(130)가 얼굴 적외선 영상의 밝기를 소정 개수의 밝기 레벨로 구분하여 추출하는 경우에서, 소정 개수의 밝기 레벨이 상위 레벨, 중간 레벨 및 하위 레벨의 총 3개의 레벨로 구성될 때, 얼굴 적외선 영상의 밝기가 상위 레벨으로 추출되는 경우, S270 단계는, 적외선 발생부(140)가, 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 작아지도록 변경하는 단계를 포함할 수 있다.
한편 상술한 예시에서, 얼굴 적외선 영상의 밝기가 하위 레벨으로 추출되는 경우, S270 단계는 적외선 발생부(140)가, 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 커지도록 변경하는 단계를 포함할 수 있다.
다시 말해, S270 단계에서 적외선 발생부(140)는 적외선 영상 밝기 추출 모델에 의해 구분된 얼굴 적외선 영상의 밝기 레벨에 기초하여, 얼굴 적외선 영상의 밝기 레벨이 높은 경우 적외선의 세기를 감소시키고, 얼굴 적외선 영상의 밝기 레벨이 낮은 경우 적외선의 세기를 증가시키며, 얼굴 적외선 영상의 밝기 레벨이 보통인 경우 현재의 적외선 세기를 유지할 수 있다.
이제 도 6을 참조하여, S270 단계의 실시예를 설명하도록 한다.
도 6은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 적외선의 세기를 선택적으로 변경하는 단계를 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 얼굴 적외선 영상의 밝기 레벨이 하위 레벨인 경우 적외선 발생부(140)는 적외선의 세기를 현재의 적외선 세기보다 커지도록 단계적으로 변경할 수 있으며, 얼굴 적외선 영상의 밝기 레벨이 상위 레벨인 경우 적외선 발생부(140)는 적외선의 세기를 현재의 적외선 세기보다 작아지도록 단계적으로 변경할 수 있다.
보다 상세하게, 도 6에 도시된 바와 같이, 적외선 발생부(140)의 적외선 엘이디 레벨(IR LED LEVEL)은 10으로 초기화 될 수 있으며, 얼굴 적외선 영상의 밝기 레벨이 하위 레벨인 경우 실시간으로 수집되는 얼굴 적외선 영상의 밝기 레벨이 중간 레벨이 될 때까지 적외선 엘이디 레벨은 지속적으로 증가할 수 있으며, 실시간으로 수집되는 얼굴 적외선 영상이 클로즈업 되는 경우 얼굴 적외선 영상의 밝기 레벨이 증가하기 때문에 실시간으로 수집되는 얼굴 적외선 영상의 밝기 레벨이 중간 레벨이 될 때까지 적외선 엘이디 레벨은 지속적으로 감소할 수 있으며, 운전자가 선글라스를 착용하는 경우 눈 주변의 밝기 레벨이 감소하기 때문에 실시간으로 수집되는 얼굴 적외선 영상의 밝기 레벨이 중간 레벨이 될 때까지 적외선 엘이디 레벨은 지속적으로 증가할 수 있다.
상술한 S270 단계에서 적외선 발생부(140)가 적외선의 세기를 적응적으로 변경한 결과, 실시간으로 수집되는 얼굴 적외선 영상은 중간 레벨의 밝기를 가지도록 적응적으로 변경될 수 있다.
이제 도 3, 도 5a 및 도 5d를 참조하여, S230 단계의 일 실시예를 설명한다.
도 3은 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계의 일 실시예를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, S230 단계는 복수의 병합 밝기 등급 구간을 생성하는 단계(S231), 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계(S233) 및 변형 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계(S235)를 포함할 수 있다.
예컨대, S231 단계는, 히스토그램 생성부(120)가, 얼굴 적외선 영상 밝기 히스토그램에 포함된 복수의 밝기 등급 중 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하는 단계를 의미할 수 있다.
예컨대, 얼굴 적외선 영상 밝기 히스토그램에 0 내지 255의 총 256 개의 밝기 등급이 포함되고, 기설정된 개수의 연속된 밝기 등급이 4개인 경우, S231 단계에서 히스토그램 생성부(120)는 얼굴 적외선 영상 밝기 히스토그램에 포함된 밝기 등급 0 내지 3을 병합하여 0번 병합 밝기 등급 구간을 생성하고, 밝기 등급 4 내지 7을 병합하여 1번 병합 밝기 등급 구간을 생성하는 동작을 반복하여 총 64개의 병합 밝기 등급 구간을 생성할 수 있다.
S233 단계는, 히스토그램 생성부(120)가, 복수의 병합 밝기 등급 구간 각각에 포함된 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 합하여 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계를 의미할 수 있다.
상술한 예시에서, 밝기 등급 0에는 2개의 픽셀 개수, 밝기 등급 1에는 3개의 픽셀 개수, 밝기 등급 2에는 2개의 픽셀 개수, 밝기 등급 3에는 5개의 픽셀 개수가 대응되는 경우, 밝기 등급 0 내지 3을 병합한 0번 병합 밝기 등급 구간에 대해서 총 12개의 픽셀 개수가 산출될 수 있으며, S233 단계에서 히스토그램 생성부(120)는 상술한 총 64개의 병합 밝기 등급 구간 별로 픽셀 개수를 산출할 수 있다.
S235 단계는, 히스토그램 생성부(120)가, 복수의 병합 밝기 등급 구간 및 병합 밝기 등급 구간 별 픽셀 개수를 서로 대응되도록 매칭하여, 변형 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 의미할 수 있다.
상술한 예시의 경우, S235 단계에서 히스토그램 생성부(120)는 0번 병합 밝기 등급 구간에 12개의 픽셀 개수를 매칭하고, 동일한 동작을 총 64번 병합 밝기 등급 구간에 반복하여 변형 얼굴 적외선 영상 밝기 히스토그램을 생성할 수 있다.
예컨대, 도 5a의 2 개의 히스토그램에 도시된 바와 같이, S231, S233 및 S235 단계에서 히스토그램 생성부(120)는 얼굴 적외선 영상 밝기 히스토그램에서 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하고, 병합 밝기 등급 구간에 포함된 각각의 밝기 등급 별 픽셀의 개수를 합한 뒤, 각각의 병합 밝기 등급 구간에 대응되도록 매칭하여 변형 얼굴 적외선 영상 밝기 히스토그램을 생성할 수 있다.
예컨대, 도 5c에 도시된 얼굴 적외선 영상 밝기 히스토그램에 상술한 S231, S233 및 S235 단계를 적용하여 변형 얼굴 적외선 영상 밝기 히스토그램을 생성한 결과는 도 5d에 도시된 바와 같이 나타날 수 있으나, 본 발명은 이에 한정되지 않는다.
이 경우, S250 단계는 변형 얼굴 적외선 영상 밝기 히스토그램에 기초하여 수행될 수 있다.
예컨대, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법은 적외선 영상 밝기 추출 모델을 생성하는 단계(미도시)를 더 포함할 수도 있으나, 본 발명은 이에 한정되지 않는다.
예컨대, S210 단계 이전에, 모델 생성부(150)가, 미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성하는 단계를 더 포함할 수 있다.
이제 도 4를 참조하여, 적외선 영상 밝기 추출 모델을 생성하는 단계(미도시)를 설명한다.
도 4는 본 발명의 실시예에 따른, 적응적 운전자 얼굴 촬영 환경 제어 방법에서 적외선 영상 밝기 추출 모델을 생성하는 단계의 일 실시예를 설명하기 위한 도면이다.
예컨대, 적외선 영상 밝기 추출 모델을 생성하는 단계(미도시)는 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계(S410), 복수의 병합 밝기 등급 구간을 생성하는 단계(S430), 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계(S450), 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계(S470) 및 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 학습하여, 적외선 영상 밝기 추출 모델을 생성하는 단계(S490)를 포함할 수 있다.
S410 단계는, 모델 생성부(150)가, 미리 저장된 복수의 얼굴 적외선 영상 각각의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 복수의 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 의미할 수 있다.
예컨대, S410 단계는 적외선 영상 밝기 추출 모델을 생성하기 위하여 미리 저장된 복수의 얼굴 적외선 영상 각각에 대하여 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 의미할 수 있으며, S410 단계에서 모델 생성부(150)가 복수의 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 구체적인 방법은 상술한 S230 단계와 동일하므로 중복되는 설명은 생략한다.
S430 단계는, 모델 생성부(150)가, 복수의 저장 얼굴 적외선 영상 밝기 히스토그램 각각에 포함된 복수의 밝기 등급 중 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하는 단계를 의미할 수 있다.
S450 단계는, 모델 생성부(150)가, 복수의 병합 밝기 등급 구간 각각에 포함된 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 합하여 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계를 의미할 수 있다.
S470 단계는 모델 생성부(150)가, 복수의 병합 밝기 등급 구간 및 병합 밝기 등급 구간 별 픽셀 개수를 서로 대응되도록 매칭하여, 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계를 의미할 수 있다.
예컨대, S430 단계, S450 단계 및 S470 단계를 통해 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 방법은, 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 대상이 미리 저장된 복수의 얼굴 적외선 영상인 점을 제외하면, 그 구체적인 생성 방법은 상술한 S231 단계, S233 단계 및 S235 단계와 동일하므로 중복되는 설명은 생략한다.
다시 말해, S410 단계, S430 단계, S450 단계 및 S470 단계를 거쳐 모델 생성부(150)는 미리 저장된 복수의 저장 얼굴 적외선 영상 각각에 대한 복수의 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하고, 생성된 복수의 저장 얼굴 적외선 영상 밝기 히스토그램 각각에 대한 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성할 수 있다.
S490 단계는, 모델 생성부(150)가, 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 신경망에 기초해 학습하여, 적외선 영상 밝기 추출 모델을 생성하는 단계를 의미할 수 있다.
예컨대, S490 단계에서 모델 생성부(150)는 신경망(Neural Network) 외에도 심층 신경망(Deep Neural Network), 딥러닝(Deep Learning) 등 각종 기계학습 알고리즘에 기초하여 상술한 적외선 영상 밝기 추출 모델을 생성할 수도 있다.
예컨대, S490 단계에서 생성된 적외선 영상 밝기 추출 모델은 도 5e에 도시된 바와 같이, 총 64개의 입력 노드, 총 8개의 히든 노드 및 총 3개의 출력 노드를 포함할 수 있다.
예컨대, S490 단계에서 생성된 적외선 영상 밝기 추출 모델은, 특정 변형 얼굴 적외선 영상 밝기 히스토그램이 입력되면, 특정 변형 얼굴 적외선 영상 밝기 히스토그램에 대응되는 얼굴 적외선 영상의 밝기를 상위 레벨, 중간 레벨 및 하위 레벨 중 어느 하나로 구분하여 출력하는 기계학습에 기초하여 생성된 모델을 의미할 수 있다.
예컨대, 상위 레벨은 얼굴 적외선 영상의 밝기가 기설정된 제1 임계값보다 밝은 경우, 하위 레벨은 얼굴 적외선 영상의 밝기가 기설정된 제2 임계값보다 어두운 경우, 중간 레벨은 얼굴 적외선 영상의 밝기가 기설정된 제1 임계값 및 제2 임계값의 사이인 경우를 의미하는 밝기 레벨을 의미할 수 있다.
이하, 본 발명의 실시예에 대한 이해를 돕기 위하여, 적외선 영상 밝기 추출 모델을 생성하기 위한 기 공지된 기계학습 방법인 신경망(Neural Network)에 대하여 설명하나, 본 발명의 적외선 영상 밝기 추출 모델은 신경망(Neural Network)에 기초하여 생성된 것으로 한정되지 않는다.
신경망(Neural Network, NN)은 기존의 퍼셉트론(Perceptron)으로 해결하지 못했던 문제를 해결하기 위해 제시되었던 다중 레이어 네트워크(Multilayer Network)의 대표적인 모델로, 지도 학습(Supervised Learning) 방법에서 가장 많이 사용되고 있는 기법 중 하나이다.
이때, 신경망은 두 개의 주요연산 모드를 가지며, 첫 번째 연산 모드는 피드포워드(Feed-Forward), 두 번재 연산 모드는 피드백워드(Feed-Backward)이다.
여기서, 피드포워드 연산은 패턴을 입력 노드들에 제시하여 출력 노드들의 출력을 산출하기 위한 신호를 네트워크를 통해 전달하는 것으로 구성될 수 있으며, 피드백워드 모드에서 신경망은 입력 패턴을 입력 노드에 제시하여 출력 노드들의 출력을 원하는 목표값에 더 가깝게 만들기 위해 네트워크를 거꾸로 순회하며 파라미터를 수정하는 연산모드를 의미할 수 있다.
이때, 신경망의 학습 룰은 기울기 하강 방법(gradient descent method)에 기반하며 가중치는 임의의 값으로 초기화 되며, 초기화 한 가중치를 수정하여 에러를 최소화 하는 방식으로 학습을 진행한다.
예컨대, S410 단계에서 활용되는 미리 저장된 복수의 얼굴 적외선 영상은 상위 레벨 및 하위 레벨 각각에 대응되는 얼굴 적외선 영상의 개수가 중간 레벨에 대응되는 얼굴 적외선 영상의 개수보다 적도록 선택될 수 있다.
예컨대, 미리 저장된 복수의 얼굴 적외선 영상은 상위 레벨 및 하위 레벨 각각에 대응되는 6,000장씩의 얼굴 적외선 영상과 중간 레벨에 대응되는 9,000장의 얼굴 적외선 영상을 의미할 수 있다.
이는, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치는 적외선의 세기를 변경함으로써, 중간 레벨의 얼굴 적외선 영상을 실시간으로 수집할 수 있도록 하기 위한 것이기 때문일 수 있다.
이제 도 5a를 참조하여, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치를 설명한다.
예컨대, 본 발명의 실시예에 따른 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치는 도 5a에 도시된 바와 같이, 얼굴 적외선 영상이 실시간으로 수집되면, 얼굴 적외선 영상의 밝기 히스토그램을 생성하고, 얼굴 적외선 영상의 밝기 히스토그램에 기초하여 변형 얼굴 적외선 영상 밝기 히스토그램을 생성하고, 변형 얼굴 적외선 영상의 밝기 히스토그램을 적외선 영상 밝기 추출 모델에 입력하여, 변형 얼굴 적외선 영상의 밝기 히스토그램에 대응되는 얼굴 적외선 영상의 밝기를 미리 설정된 밝기 레벨인 상위 레벨(Bright), 중간 레벨(Neutral) 및 하위 레벨(Dark) 중 어느 하나로 추출한 뒤, 추출된 밝기 레벨에 기초하여 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경할 수 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 적응적 운전자 얼굴 촬영 환경 제어 장치
110: 적외선 영상 수집부
120: 히스토그램 생성부
130: 영상 밝기 추출부
140: 적외선 발생부
150: 모델 생성부

Claims (10)

  1. 적외선 영상 수집부가, 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 단계;
    히스토그램 생성부가, 상기 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계;
    영상 밝기 추출부가, 기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 상기 얼굴 적외선 영상 밝기 히스토그램을 입력하여 상기 얼굴 적외선 영상의 밝기를 추출하는 단계; 및
    적외선 발생부가, 상기 얼굴 적외선 영상의 밝기에 기초하여 상기 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 단계를 포함하고,
    상기 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계는, 상기 얼굴 적외선 영상 밝기 히스토그램에 포함된 복수의 밝기 등급을 기설정된 개수의 연속된 밝기 등급 구간으로 병합하고, 병합된 구간에 포함되는 픽셀 개수를 산출하여 상기 얼굴 적외선 영상 밝기의 변형된 히스토그램을 생성하고,
    상기 얼굴 적외선 영상의 밝기를 추출하는 단계는, 상기 변형된 히스토그램을 입력 노드에 대입하여 상기 적외선 영상 밝기 추출 모델을 적용하고, 상기 입력 노드의 개수보다 적은 개수의 출력 노드로 상기 얼굴 적외선 영상의 밝기 레벨을 구분하여 추출하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계는,
    상기 밝기 등급 구간의 개수가 상기 적외선 영상 밝기 추출 모델의 입력 노드의 개수에 대응되도록 상기 복수의 밝기 등급 구간을 병합하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  4. 제3항에 있어서,
    상기 적외선의 세기를 선택적으로 변경하는 단계는,
    상기 적외선 발생부가, 상기 적외선의 세기를 상기 출력 노드의 밝기 레벨에 반비례하도록 변경하는 단계를 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  5. 제3항에 있어서,
    상기 출력 노드의 밝기 레벨이 상위 레벨, 중간 레벨 및 하위 레벨로 구성될 때,
    상기 얼굴 적외선 영상의 밝기가 상위 레벨으로 추출되는 경우,
    상기 적외선의 세기를 선택적으로 변경하는 단계는,
    상기 적외선 발생부가, 상기 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 작아지도록 변경하는 단계를 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  6. 제3항에 있어서,
    상기 출력 노드의 밝기 레벨이 상위 레벨, 중간 레벨 및 하위 레벨로 구성될 때,
    상기 얼굴 적외선 영상의 밝기가 하위 레벨으로 추출되는 경우,
    상기 적외선의 세기를 선택적으로 변경하는 단계는,
    상기 적외선 발생부가, 상기 운전자의 얼굴에 조사하는 적외선의 세기를 현재의 적외선 세기보다 커지도록 변경하는 단계를 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  7. 제1항에 있어서,
    상기 얼굴 적외선 영상을 실시간으로 수집하는 단계 이전에,
    모델 생성부가, 미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성하는 단계를 더 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  8. 제7항에 있어서,
    상기 적외선 영상 밝기 추출 모델을 생성하는 단계는,
    상기 모델 생성부가, 상기 미리 저장된 복수의 얼굴 적외선 영상 각각의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 복수의 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계;
    상기 모델 생성부가, 상기 복수의 저장 얼굴 적외선 영상 밝기 히스토그램 각각에 포함된 복수의 밝기 등급 중 기설정된 개수의 연속된 밝기 등급을 병합한 구간인 복수의 병합 밝기 등급 구간을 생성하는 단계;
    상기 모델 생성부가, 상기 복수의 병합 밝기 등급 구간 각각에 포함된 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 합하여 병합 밝기 등급 구간 별 픽셀 개수를 산출하는 단계;
    상기 모델 생성부가, 상기 복수의 병합 밝기 등급 구간 및 상기 병합 밝기 등급 구간 별 픽셀 개수를 서로 대응되도록 매칭하여, 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 생성하는 단계; 및
    상기 모델 생성부가, 상기 복수의 변형 저장 얼굴 적외선 영상 밝기 히스토그램을 상기 신경망에 기초해 학습하여, 상기 적외선 영상 밝기 추출 모델을 생성하는 단계를 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 방법.
  9. 운전자의 얼굴 주변 기설정된 범위의 영역에 대한 적외선 영상인 얼굴 적외선 영상을 실시간으로 수집하는 적외선 영상 수집부;
    상기 얼굴 적외선 영상의 픽셀 별 밝기 등급에 기초하여 복수의 밝기 등급 각각에 대응되는 픽셀의 개수를 나타내는 히스토그램인 얼굴 적외선 영상 밝기 히스토그램을 생성하는 히스토그램 생성부;
    기계학습에 의해 생성되어 미리 저장된 적외선 영상 밝기 추출 모델에 상기 얼굴 적외선 영상 밝기 히스토그램을 입력하여 상기 얼굴 적외선 영상의 밝기를 추출하는 영상 밝기 추출부; 및
    상기 얼굴 적외선 영상의 밝기에 기초하여 상기 운전자의 얼굴에 조사하는 적외선의 세기를 선택적으로 변경하는 적외선 발생부를 포함하고,
    상기 히스토그램 생성부는, 상기 얼굴 적외선 영상 밝기 히스토그램에 포함된 복수의 밝기 등급을 기설정된 개수의 연속된 밝기 등급 구간으로 병합하고, 병합된 구간에 포함되는 픽셀 개수를 산출하여 상기 얼굴 적외선 영상 밝기의 변형된 히스토그램으로 생성하고,
    상기 영상 밝기 추출부는, 상기 변형된 히스토그램을 입력 노드에 대입하여 상기 적외선 영상 밝기 추출 모델을 적용하고, 상기 입력 노드의 개수보다 적은 개수의 출력 노드로 상기 얼굴 적외선 영상의 밝기 레벨을 구분하여 추출하는, 적응적 운전자 얼굴 촬영 환경 제어 장치.
  10. 제9항에 있어서,
    미리 저장된 복수의 얼굴 적외선 영상 각각에 대응되는 밝기 히스토그램을 신경망(Neural Network)에 기초해 학습하여, 얼굴 적외선 영상의 밝기를 추출하는 모델인 적외선 영상 밝기 추출 모델을 생성하는 모델 생성부를 더 포함하는, 적응적 운전자 얼굴 촬영 환경 제어 장치.
KR1020160176710A 2016-12-22 2016-12-22 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치 KR101886412B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160176710A KR101886412B1 (ko) 2016-12-22 2016-12-22 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160176710A KR101886412B1 (ko) 2016-12-22 2016-12-22 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180073164A KR20180073164A (ko) 2018-07-02
KR101886412B1 true KR101886412B1 (ko) 2018-08-07

Family

ID=62914419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160176710A KR101886412B1 (ko) 2016-12-22 2016-12-22 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101886412B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502961A (ja) * 2001-09-13 2005-01-27 ハネウェル・インターナショナル・インコーポレーテッド 顔検知において使用するための近赤外線の方法およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658528B1 (ko) 2014-05-15 2016-09-23 수원대학교산학협력단 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502961A (ja) * 2001-09-13 2005-01-27 ハネウェル・インターナショナル・インコーポレーテッド 顔検知において使用するための近赤外線の方法およびシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 1(HCI 학술대회)*

Also Published As

Publication number Publication date
KR20180073164A (ko) 2018-07-02

Similar Documents

Publication Publication Date Title
US10387725B2 (en) System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
US10423856B2 (en) Vector engine and methodologies using digital neuromorphic (NM) data
US10059569B2 (en) Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
KR20200095383A (ko) V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
EP3506169A2 (en) Driver assistance system and method for object detection and notification
JP5435307B2 (ja) 車載カメラ装置
JP2013005234A5 (ko)
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
Mehta et al. Motion and region aware adversarial learning for fall detection with thermal imaging
WO2020129176A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR102164950B1 (ko) 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
JPH03254291A (ja) 車両運転者監視装置
Chang et al. Driver fatigue surveillance via eye detection
CN111339808B (zh) 车辆碰撞概率预测方法、装置、电子设备及存储介质
WO2022044369A1 (ja) 機械学習装置及び画像処理装置
KR101886412B1 (ko) 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치
CN111435457B (zh) 对传感器获取的采集进行分类的方法
JP4740038B2 (ja) 画像処理装置
US10735660B2 (en) Method and device for object identification
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
JP2019211921A (ja) 物体認識システムおよび物体認識方法
US11126852B2 (en) Method for training a person recognition model using images from a camera, and method for recognizing persons from a trained person recognition model by means of a second camera in a camera network
CN110147713A (zh) 一种疲劳驾驶检测方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant