KR101428229B1 - 차영상 취득 장치 및 방법 - Google Patents

차영상 취득 장치 및 방법 Download PDF

Info

Publication number
KR101428229B1
KR101428229B1 KR1020120136876A KR20120136876A KR101428229B1 KR 101428229 B1 KR101428229 B1 KR 101428229B1 KR 1020120136876 A KR1020120136876 A KR 1020120136876A KR 20120136876 A KR20120136876 A KR 20120136876A KR 101428229 B1 KR101428229 B1 KR 101428229B1
Authority
KR
South Korea
Prior art keywords
image
ambient light
difference
infrared
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120136876A
Other languages
English (en)
Other versions
KR20140069527A (ko
Inventor
노희진
이석범
석동희
박성민
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120136876A priority Critical patent/KR101428229B1/ko
Priority to US14/066,235 priority patent/US10051195B2/en
Publication of KR20140069527A publication Critical patent/KR20140069527A/ko
Application granted granted Critical
Publication of KR101428229B1 publication Critical patent/KR101428229B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H10F39/1825—Multicolour image sensors having stacked structure, e.g. NPN, NPNPN or multiple quantum well [MQW] structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/184—Infrared image sensors
    • H10F39/1847—Multispectral infrared image sensors having a stacked structure, e.g. NPN, NPNPN or multiple quantum well [MQW] structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8027—Geometry of the photosensitive area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 차영상 취득 장치 및 방법에 관한 것으로, 카메라의 이미지 센서로부터 환경광 및 조명으로부터의 적외선 편광을 포함하는 제1 영상 및 환경광의 수평 편광을 포함하는 제2 영상을 취득하는 영상 취득부, 상기 제1 영상 및 상기 제2 영상의 배경 영역의 명암을 보정하는 영상 보정부, 및 상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상을 생성하는 차영상 생성부를 포함한다.

Description

차영상 취득 장치 및 방법{Apparatus and method for acquising differential image}
본 발명은 차영상 취득 장치 및 방법에 관한 것으로, 카메라의 이중 레이어 센서를 통해 취득된 두 영상의 차영상을 이용하여 운전자 감시 시스템에 적용하도록 하는 기술에 관한 것이다.
운전자 감시 시스템은 차량 주행 중 운전자의 주의 분산 및 졸음 등을 감지하여 운전자가 운전 이외의 행동을 하게 될 경우 운전에 방해가 되는 요소를 사전에 판단하여 경고하는 시스템으로, 운전자 감시 시스템을 적용함으로써 졸음 운전 등으로 인한 교통사고를 방지하는데 큰 효과를 보이고 있다.
이러한 운전자 감시 시스템은 카메라를 이용하여 운전자의 안면 및 시선을 판단하는 기술이 일반적이다.
하지만, 카메라를 이용한 영상처리 기술은 주변 조명 환경에 그 영향이 크기 때문에 주간, 야간, 날씨, 태양의 위치 등에 따라 그 검출률이 크게 변화되는 문제가 있다.
최근, 조명제어를 통해 영상처리 방식의 검출률이 증대시키는 기술이 제시되고 있으나, 이는 카메라 영상에서 두 개의 프레임을 획득하여 사용하기 때문에 프레임 간 시간차로 인한 노이즈에 취약한 문제가 있다. 따라서, 하나의 영상으로부터 운전자의 검출률을 증대시키기 위한 방안이 요구된다.
본 발명의 목적은, 카메라의 이미지 센서를 이중 구조로 구현하여 하나의 영상으로부터 두 개의 영상을 취득하여 보정된 차영상을 생성하도록 하는 차영상 취득 장치 및 방법을 제공함에 있다.
특히, 본원발명은 편광 조명 및 편광 필터를 이용하여 촬영되는 영상의 광을 조절함으로써, 동일 시점에 명암이 다른 두 개의 영상을 취득할 수 있도록 하는 차영상 취득 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 명암이 서로 다른 두 개의 영상의 배경 이미지의 명암을 동일하게 보정한 후 차영상을 생성함으로써 운전자 이미지가 명확히 구분되는 차영상을 운전자 감시 시스템에 제공하도록 하는 차영상 취득 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 차영상 취득 장치는, 카메라의 이미지 센서로부터 환경광 및 조명으로부터의 적외선 편광을 포함하는 제1 영상 및 환경광의 수평 편광을 포함하는 제2 영상을 취득하는 영상 취득부, 상기 제1 영상 및 상기 제2 영상의 배경 영역의 명암을 보정하는 영상 보정부, 및 상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상을 생성하는 차영상 생성부를 포함하는 것을 특징으로 한다.
상기 이미지 센서는, 상기 환경광 및 상기 적외선 편광을 1차로 센싱하는 제1 레이어 센서, 및 상기 제1 레이어 센서에 대면하게 배치되어 상기 제1 레이어 센서를 통과한 환경광 및 적외선 편광 중 상기 적외선 편광 방향과 수직한 방향의 환경광을 2차로 센싱하는 제2 레이어 센서를 포함하는 것을 특징으로 한다.
상기 이미지 센서는, 상기 제1 레이어 센서 및 상기 제2 레이어 센서 사이에 상기 적외선 편광과 동일한 방향의 편광을 차단하는 편광 필터가 배치된 것을 특징으로 한다.
상기 이미지 센서는, 상기 조명과 동기화된 것을 특징으로 한다.
상기 영상 보정부는, 상기 제1 영상 및 상기 제2 영상의 배경 영역의 밝기가 서로 같아지도록 보정하는 것을 특징으로 한다.
상기 차영상 생성부는, 상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상에서 상기 환경광 성분을 제거하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차영상 취득 방법은, 카메라의 이미지 센서로부터 환경광 및 조명으로부터의 적외선 편광을 포함하는 제1 영상 및 환경광의 수평 편광을 포함하는 제2 영상을 취득하는 단계, 상기 제1 영상 및 상기 제2 영상의 배경 영역의 명암을 보정하는 단계, 및 상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 제1 영상은 상기 환경광 및 상기 적외선 편광을 포함하고, 상기 제2 영상은 상기 환경광 및 적외선 편광 중 상기 적외선 편광 방향과 수직한 방향의 환경광을 포함하는 것을 특징으로 한다.
상기 보정하는 단계는, 상기 제1 영상 및 상기 제2 영상의 배경 영역의 밝기가 서로 같아지도록 보정하는 것을 특징으로 한다.
상기 차영상을 생성하는 단계는, 상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상에서 상기 환경광 성분을 제거하는 것을 특징으로 한다.
본 발명에 따르면, 카메라의 이미지 센서를 이중 구조로 구현하고, 편광 조명 및 편광 필터를 이용하여 촬영되는 영상의 광을 조절함으로써, 동일 시점에 명암이 다른 두 개의 영상을 취득할 수 있는 이점이 있다.
또한, 본 발명은, 명암이 서로 다른 두 개의 영상의 배경 이미지의 명암을 동일하게 보정한 후 차영상을 생성함으로써 운전자 이미지가 명확히 구분되는 차영상을 제공할 수 있는 이점이 있다.
도 1은 본 발명에 적용되는 차영상 취득 장치의 영상 촬영 구조를 설명하는데 참조되는 도이다.
도 2는 본 발명에 적용되는 차영상 취득 장치의 레이어 센서 구조를 설명하는데 참조되는 도이다.
도 3은 본 발명에 따른 차영상 취득 장치의 구성을 설명하는데 참조되는 블록도이다.
도 4 및 도 5는 본 발명에 따른 차영상 취득 장치의 차영상 취득 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 차영상 취득 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 적용되는 차영상 취득 장치의 영상 촬영 구조를 설명하는데 참조되는 도이다. 도 1을 참조하면, 본 발명에 따른 차영상 취득 장치(100)에서 차영상을 취득하기 위해서는 환경 광원(10)으로부터의 환경광(A)과, 적외선 편광 조명(20)으로부터의 적외선 편광(Lv)을 대상물, 예를 들어, 운전자(1)에게 조명한 상태에서, 카메라(30)로 운전자(1)를 촬영하는 것으로서 취득 가능하다.
환경광(A)은 주변에서 발생할 수 있는 태양광과 같은 자연광이 해당될 수 있다. 여기서, 환경광(A)은 모든 방향의 편광, 예를 들어, 수평(Horizontal) 편광(Ah) 및 수직(Vertical) 편광(Av) 성분을 포함한다. 한편, 적외선 편광은 어느 한 방향의 편광, 다시 말해, 수평(Horizontal) 편광(Lh) 및 수직(Vertical) 편광(Lv) 중 어느 하나가 해당 될 수 있다. 이에, 본 발명의 실시예에서는 적외선 편광이 수직 편광(Lv)인 것으로 가정하여 설명한다.
여기서, 적외선 편광 조명(20)은 카메라(30) 외부에 장착된 것일 수 있으며, 카메라(30)와 케이블 등을 통해 연결된 것일 수 있다. 또한, 적외선 편광 조명(20)은 카메라(30)를 촬영하는 동안 계속해서 적외선 편광(Lv)을 운전자(1)에게 조명할 수 있으며, 카메라(30)와 동기화되어 카메라(30)의 셔터가 작동하는 경우에만 순간적으로 적외선 편광(Lv)을 운전자(1)에게 조명할 수도 있다. 이는 실시 형태에 따라 다양하게 적용 가능함은 당연한 것이다.
카메라(30)는 운전자(1)에 조명된 환경광(A)과 적외선 편광(Lv)이 운전자(1)로부터 반사되는 광(A+Lv)을 수광하여 운전자(1)의 영상을 촬영하게 된다. 차영상 취득 장치(100)는 카메라(30)를 통해 촬영되는 영상을 이용하여 차영상을 취득할 수 있다. 이때, 차영상 취득 장치(100)는 카메라(30) 내부에 모듈 형태로 구현될 수 있으며, 별도의 모듈 장치로 구현되어 외부의 인터페이스를 통해 카메라(30)와 연결될 수도 있다.
도 2는 본 발명에 적용되는 차영상 취득 장치의 레이어 센서 구조를 설명하는데 참조되는 도이다. 도 2를 참조하면, 카메라의 이미지 센서(110)는 이중 레이어 센서 구조를 갖는다. 이때, 이미지 센서(110)는 제1 레이어 센서(111)와 제2 레이어 센서(115)로 구성되며, 제1 레이어 센서와(111) 제2 레이어 센서(115) 사이에는 적외선 편광(Lv)과 동일한 방향의 편광(Av, Lv)을 제거하기 위한 수직 방향의 편광 필터(113)가 배치된다.
따라서, 제1 레이어 센서(111)는 카메라 렌즈를 통해 입사되는 광을 1차로 센싱하여 제1 영상을 획득하고, 제2 레이어 센서(115)는 편광 필터(113)를 통과한 광을 2차로 센싱하여 제2 영상을 획득한다. 이 경우, 제1 레이어 센서(111)에 의해 획득된 제1 영상은 환경광(A)과 적외선 편광(Lv)을 포함하는 영상이고, 제2 레이어 센서(115)에 의해 획득된 제2 영상은 환경광의 수평 편광(Ah)을 포함하는 영상이다.
본 발명에 따른 차영상 취득 장치는 제1 레이어 센서(111) 및 제2 레이어 센서(115)에 의해 획득된 제1 영상 및 제2 영상을 이용하여 차영상을 생성한다. 이에, 차영상 취득 장치에 대한 구성은 도 3을 참조하여 보다 상세히 설명하도록 한다.
도 3은 본 발명에 따른 차영상 취득 장치의 구성을 설명하는데 참조되는 블록도이다. 도 3을 참조하면, 본 발명에 따른 차영상 취득 장치(100)는 이미지 센서부(110), 영상 취득부(120), 영상 보정부(130) 및 차영상 생성부(140)를 포함한다.
먼저, 이미지 센서부(110)는 도 2에 도시된 제1 레이어 센서(111) 및 제2 레이어 센서(115)를 포함한다. 이때, 제1 레이어 센서(111)는 환경광과 적외선 편광을 포함하는 제1 영상을 획득하여 영상 취득부(120)로 제공한다. 또한, 제2 레이어 센서(115)는 환경광의 수평 편광을 포함하는 제2 영상을 획득하여 영상 취득부(120)로 제공한다.
도 3의 실시예에서는 이미지 센서부(110)가 차영상 취득 장치 내에 구현된 것으로 도시하였으나, 실시 형태에 따라서는 생략될 수 있다. 이 경우, 영상 취득부(120)가 카메라 내의 이미지 센서로부터 제1 영상 및 제2 영상을 취득하여 차영상 생성에 이용할 수도 있다.
영상 취득부(120)는 제1 레이어 센서(111)로부터 제1 영상을, 제2 레이어 센서(115)로부터 제2 영상을 취득한다. 이때, 영상 취득부(120)는 취득된 제1 영상 및 제2 영상을 영상 보정부(130)로 전달한다.
영상 보정부(130)는 제1 영상 및 제2 영상이 입력되면, 입력된 제1 영상 및 제2 영상을 분석한다. 이때, 영상 보정부(130)는 제1 영상 및 제2 영상의 배경 영역을 추출하여 명암을 조절한다. 특히, 영상 보정부(130)는 제1 영상의 배경 영역과 제2 영상의 배경 영역의 밝기가 같아지도록 보정한다. 일 예로서, 영상 보정부(130)는 제1 영상의 배경 영역의 밝기를 제2 영상의 배경 영역의 밝기와 같아지도록 보정할 수 있으며, 반대로 제2 영상의 배경 영역의 밝기를 제1 영상의 배경 영역의 밝기로 보정할 수도 있다. 이때, 어느 한쪽의 명암을 보정하든 무방하다. 다만, 이하의 실시예에서는 제2 영상의 배경 영역의 밝기를 보정한 것으로 한다.
영상 보정부(130)는 제1 영상과, 배경 영역의 밝기가 보정된 제2 영상을 차영상 생성부(140)로 전달한다.
차영상 생성부(140)는 영상 보정부(130)로부터 입력된 제1 영상 및 보정된 제2 영상의 차영상을 생성한다. 이때, 보정된 제2 영상은 배경 영역의 밝기가 제1 영상의 배경 영역과 같아지도록 보정되었으므로, 차영상은 배경 영역이 제외되어 운전자 영역만이 남게 된다.
차영상 생성부(140)는 생성된 차영상을 운전자 감시 시스템(200)에 제공함으로써, 운전자 감지 시스템에서는 차영상을 통해 운전자의 상태를 확실히 감지할 수 있게 된다.
도 4 및 도 5는 본 발명에 따른 차영상 취득 장치의 차영상 취득 동작을 설명하는데 참조되는 예시도이다.
도 4의 (a)는 제1 레이어 센서에 의해 획득된 제1 영상을 나타낸 것이고, (b)는 제2 레이어 센서에 의해 획득된 제2 영상을 나타낸 것이다.
도 4에 도시된 바와 같이, 제1 영상은 환경광 및 적외선 편광을 모두 포함하기 때문에 영상 내의 운전자 영역 및 배경 영역의 밝기가 모두 밝다. 여기서, 제1 영상은 밝기가 밝아서 운전자 영역과 배경 영역의 구분이 명확하지 않을 수 있다.
한편, 제2 영상은 환경광의 수평 편광만을 포함하기 때문에, 제1 영상에 비해 운전자 영역 및 배경 영역의 밝기가 어둡다. 따라서, 제2 영상 또한 운전자 영역과 배경 영역의 구분이 명확하지 않다. 물론, 제2 영상 내에서 운전자 영역은 배경 영역에 비해 광원에 가까이 있기 때문에 상대적으로 밝고, 배경 영역은 운전자 영역에 비해 광원으로부터 멀리 있기 때문에 상대적으로 어둡다.
이에, 운전자 영역이 명확히 구분되는 차영상을 획득하기 위해, 차영상 취득 장치는 도 4에 도시된 제1 영상의 배경 영역(A)과 제2 영상의 배경 영역(B)의 밝기가 같아지도록 보정한다.
이에, 배경 영역의 명암이 보정된 제1 영상과 제2 영상의 차영상은 도 5와 같다. 이때, 제1 영상과 제2 영상은 배경 영역의 밝기가 같기 때문에, 도 5에 도시된 바와 같이, 차영상의 배경 영역은 환경광 및 적외선 편광을 모두 포함하지 않으므로 검정색이 된다.
한편, 도 4에서 제1 영상의 운전자 영역은 환경광 및 적외선 편광을 포함하고, 제2 영상의 운전자 영역은 환경광의 수평 편광을 포함하기 때문에, 도 5에 도시된 차영상의 운전자 영역은 환경광의 수직 편광 및 적외선 편광을 포함하게 된다. 이 경우, 차영상 취득 장치는 생성된 차영상에서 환경광의 수직 편광을 제거하여, 적외선 편광 조명으로부터의 적외선 편광만을 포함하는 운전자 영역의 차영상을 취득할 수 있게 된다.
상기와 같이 구성되는 본 발명에 따른 차영상 취득 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 6은 본 발명에 따른 차영상 취득 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6을 참조하면, 차영상 취득 장치는 적외선(IR) 편광 조명과 카메라를 동기화하여(S100), 적외선 편광 조명으로부터의 적외선 편광이 운전자에게 조명되는 상태에서 영상을 촬영하도록 한다(S110).
여기서, 카메라는 제1 레이어 센서 및 제2 레이어 센서가 대면하도록 배치된 상태에서 제1 레이어 센서와 제2 레이어 센서 사이에 수직 편광 필터가 배치된 것으로 한다. 이때, 차영상 취득 장치는 카메라의 제1 레이어 센서로부터 제1 영상을 취득하고(S120), 제2 레이어 센서로부터 제2 영상을 취득한다(S130). 제1 영상은 환경광 및 적외선 편광 조명으로부터의 적외선 편광을 포함하고, 제2 영상은 수직 편광 필터를 통과한 환경광의 수평 편광을 포함한다.
차영상 취득 장치는 'S120' 과정에서 취득된 제1 영상과 'S130' 과정에서 취득된 제2 영상의 배경 이미지의 명암을 조절한다(S140). 특히, 'S140' 과정에서는 제1 영상의 배경 이미지와 제2 영상의 배경 이미지의 밝기가 같아지도록 명암을 조절한다.
이후, 차영상 취득 장치는 'S140' 과정에서 배경 이미지의 명암이 같아진 제1 영상과 제2 영상의 차영상을 생성한다(S150). 이때, 차영상 취득 장치는 'S150' 과정에서 생성된 차영상에서 환경광의 수직 편광 성분을 제거할 수도 있다.
'S150' 과정에서 생성된 차영상은 운전자 감시 시스템으로 출력되어(S160), 차영상의 운전자 영역을 통해 운전자의 상태를 감시할 수 있도록 한다. 이 경우, 차영상의 운전자 영역과 배경 영역이 확실히 구분되기 때문에 운전자를 보다 명확히 파악할 수 있게 된다.
이상과 같이 본 발명에 의한 차영상 취득 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 환경 광원 20: 적외선 편광 조명
25: 동기 제어기 30: 카메라
100: 차영상 취득 장치 110: 이미지 센서부
111: 제1 레이어 센서 115: 제2 레이어 센서
120: 영상 취득부 130: 영상 보정부
140: 차영상 생성부 200: 운전자 감시 시스템

Claims (10)

  1. 카메라의 이미지 센서로부터 환경광 및 조명으로부터의 적외선 편광을 포함하는 제1 영상 및 환경광의 수평 편광을 포함하는 제2 영상을 취득하는 영상 취득부;
    상기 제1 영상 및 상기 제2 영상의 배경 영역의 명암을 보정하는 영상 보정부; 및
    상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상을 생성하는 차영상 생성부를 포함하는 것을 특징으로 하는 차영상 취득 장치.
  2. 청구항 1에 있어서,
    상기 이미지 센서는,
    상기 환경광 및 상기 적외선 편광을 1차로 센싱하는 제1 레이어 센서; 및
    상기 제1 레이어 센서에 대면하게 배치되어 상기 제1 레이어 센서를 통과한 환경광 및 적외선 편광 중 상기 적외선 편광 방향과 수직한 방향의 환경광을 2차로 센싱하는 제2 레이어 센서를 포함하는 것을 특징으로 하는 차영상 취득 장치.
  3. 청구항 2에 있어서,
    상기 이미지 센서는,
    상기 제1 레이어 센서 및 상기 제2 레이어 센서 사이에 상기 적외선 편광과 동일한 방향의 편광을 차단하는 편광 필터가 배치된 것을 특징으로 하는 차영상 취득 장치.
  4. 청구항 1에 있어서,
    상기 이미지 센서는,
    상기 조명과 동기화된 것을 특징으로 하는 차영상 취득 장치.
  5. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 제1 영상 및 상기 제2 영상의 배경 영역의 밝기가 서로 같아지도록 보정하는 것을 특징으로 하는 차영상 취득 장치.
  6. 청구항 1에 있어서,
    상기 차영상 생성부는,
    상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상에서 상기 환경광 성분을 제거하는 것을 특징으로 하는 차영상 취득 장치.
  7. 카메라의 이미지 센서로부터 환경광 및 조명으로부터의 적외선 편광을 포함하는 제1 영상 및 환경광의 수평 편광을 포함하는 제2 영상을 취득하는 단계;
    상기 제1 영상 및 상기 제2 영상의 배경 영역의 명암을 보정하는 단계; 및
    상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차영상 취득 방법.
  8. 청구항 7에 있어서,
    상기 제1 영상은 상기 환경광 및 상기 적외선 편광을 포함하고, 상기 제2 영상은 상기 환경광 및 적외선 편광 중 상기 적외선 편광 방향과 수직한 방향의 환경광을 포함하는 것을 특징으로 하는 차영상 취득 방법.
  9. 청구항 7에 있어서,
    상기 보정하는 단계는,
    상기 제1 영상 및 상기 제2 영상의 배경 영역의 밝기가 서로 같아지도록 보정하는 것을 특징으로 하는 차영상 취득 방법.
  10. 청구항 7에 있어서,
    상기 차영상을 생성하는 단계는,
    상기 배경 영역의 명암이 보정된 제1 영상 및 제2 영상의 차영상에서 상기 환경광 성분을 제거하는 것을 특징으로 하는 차영상 취득 방법.
KR1020120136876A 2012-11-29 2012-11-29 차영상 취득 장치 및 방법 Active KR101428229B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120136876A KR101428229B1 (ko) 2012-11-29 2012-11-29 차영상 취득 장치 및 방법
US14/066,235 US10051195B2 (en) 2012-11-29 2013-10-29 Apparatus and method for acquiring differential image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136876A KR101428229B1 (ko) 2012-11-29 2012-11-29 차영상 취득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140069527A KR20140069527A (ko) 2014-06-10
KR101428229B1 true KR101428229B1 (ko) 2014-08-07

Family

ID=50772954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136876A Active KR101428229B1 (ko) 2012-11-29 2012-11-29 차영상 취득 장치 및 방법

Country Status (2)

Country Link
US (1) US10051195B2 (ko)
KR (1) KR101428229B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115127A (ko) 2022-01-26 2023-08-02 국방과학연구소 영상 안정화를 수행하는 이동 객체 검출 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066807A (ko) * 2004-12-14 2006-06-19 현대자동차주식회사 근적외선 차단 필터를 이용한 졸음 운전 방지 장치 및 방법
KR20100121173A (ko) * 2009-05-08 2010-11-17 권이환 졸음운전 방지장치
KR20120057446A (ko) * 2010-11-26 2012-06-05 현대자동차주식회사 차량내 운전자 실제 얼굴 인증 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100944245B1 (ko) 2003-03-24 2010-02-24 주식회사 에스원 저 조도 환경 하에서의 영상 노이즈 제거를 위한 필터장치및 방법
US6926518B1 (en) * 2004-01-30 2005-08-09 Aman K. M. Chung Safety lighter
US7091867B2 (en) * 2004-02-20 2006-08-15 Agilent Technologies, Inc. Wavelength selectivity enabling subject monitoring outside the subject's field of view
US7720264B2 (en) * 2004-05-10 2010-05-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for pupil detection for security applications
US7248720B2 (en) * 2004-10-21 2007-07-24 Retica Systems, Inc. Method and system for generating a combined retina/iris pattern biometric
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
KR100649384B1 (ko) 2005-09-23 2006-11-27 전자부품연구원 저조도 환경에서의 영상특징 추출방법
US7580545B2 (en) * 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
JP5045212B2 (ja) * 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP2009300386A (ja) 2008-06-17 2009-12-24 Sokkia Topcon Co Ltd 測量機
WO2011149451A1 (en) * 2010-05-24 2011-12-01 Omnivision Technologies, Inc. Dual-sided image sensor
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
KR101695987B1 (ko) 2010-10-15 2017-01-16 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 화질 개선 장치 및 방법, 그리고 이를 구현한 다중 컬러 필터 조리개를 구비한 촬상 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066807A (ko) * 2004-12-14 2006-06-19 현대자동차주식회사 근적외선 차단 필터를 이용한 졸음 운전 방지 장치 및 방법
KR20100121173A (ko) * 2009-05-08 2010-11-17 권이환 졸음운전 방지장치
KR20120057446A (ko) * 2010-11-26 2012-06-05 현대자동차주식회사 차량내 운전자 실제 얼굴 인증 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115127A (ko) 2022-01-26 2023-08-02 국방과학연구소 영상 안정화를 수행하는 이동 객체 검출 방법 및 장치

Also Published As

Publication number Publication date
US20140146181A1 (en) 2014-05-29
US10051195B2 (en) 2018-08-14
KR20140069527A (ko) 2014-06-10

Similar Documents

Publication Publication Date Title
US7916169B2 (en) Face image capture apparatus
CN101295355B (zh) 面部图像获取装置
KR101327032B1 (ko) 카메라 영상의 반사광 제거 장치 및 방법
US20140099005A1 (en) Authentication apparatus, authentication method, and program
CN103780957B (zh) 一种电视终端智能控制系统及其控制方法
US20050280702A1 (en) Imaging apparatus
US7817190B2 (en) Method and apparatus for processing an image exposed to backlight
CN102971776A (zh) 障碍物检测系统以及方法、障碍物检测装置
KR101601324B1 (ko) 차량용 카메라 시스템의 영상 획득 방법
WO2021225030A1 (ja) 電子機器及び撮像装置
KR20160123717A (ko) 촬영 장치 및 촬영 장치의 제어 방법
KR101428229B1 (ko) 차영상 취득 장치 및 방법
KR100878491B1 (ko) 방범 카메라 시스템 및 그 제어방법
KR101823655B1 (ko) 영상을 이용한 차량 침입 검출 시스템 및 방법
KR101639685B1 (ko) 카메라용 액티브 필터 장치 및 그 액티브 필터링 방법
TWI630818B (zh) Dynamic image feature enhancement method and system
JP4918375B2 (ja) 撮像装置
WO2023134850A1 (en) Image capturing apparatus and method for combining data from a digital camera and an event camera
KR101548987B1 (ko) 시인성이 향상된 차량용 영상기록장치 및 그 영상처리 방법
KR20140054969A (ko) 차량의 카메라 장치 및 그의 영상 촬영 방법
US10102436B2 (en) Image processing device, warning device and method for processing image
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP7213732B2 (ja) 画像表示装置
JPH0732907A (ja) 意識レベル検出装置
JP5017921B2 (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121129

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131218

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140602

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140801

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180730

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190729

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200729

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210728

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220727

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240725

Start annual number: 11

End annual number: 11