KR101303758B1 - 카메라 시스템 및 그 제어방법 - Google Patents

카메라 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR101303758B1
KR101303758B1 KR1020120063183A KR20120063183A KR101303758B1 KR 101303758 B1 KR101303758 B1 KR 101303758B1 KR 1020120063183 A KR1020120063183 A KR 1020120063183A KR 20120063183 A KR20120063183 A KR 20120063183A KR 101303758 B1 KR101303758 B1 KR 101303758B1
Authority
KR
South Korea
Prior art keywords
image
roi
luminance value
digital luminance
reflector
Prior art date
Application number
KR1020120063183A
Other languages
English (en)
Inventor
김명우
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020120063183A priority Critical patent/KR101303758B1/ko
Application granted granted Critical
Publication of KR101303758B1 publication Critical patent/KR101303758B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

본 발명의 일 실시예에 따른 카메라 시스템은 광원과 반사체를 구별할 수 있는 카메라 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 카메라 시스템은 광 이미지로부터 영상 이미지를 생성하는 카메라모듈; 카메라 모듈의 노출을 조절하는 제어부; 및 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고, 상기 카메라 모듈로부터 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고, 제1영상 및 제2영상으로부터 동일한 위치의 관심영역을 추출하고, 관심영역의 디지털 휘도값을 계산하고, 관심영역이 광원인지 아니면 반사체인지 판단하는 영상분석부를 포함한다.
본 발명에 따르면, 광원과 반사체를 구별하여 물체 및 주변환경을 인식할 수 있다. 또한, 본 발명에 따르면 불필요한 연산을 줄여서, 전체 연산처리 시간을 줄일 수 있다.

Description

카메라 시스템 및 그 제어방법{CAMERA SYSTEM AND CONTROL METHOD THERE OF}
본 발명은 카메라 시스템에 관한 것으로, 보다 상세하게는 광원과 반사체를 구별할 수 있는 카메라 시스템에 관한 것이다.
종래에는 전조등 제어 장치에서 자동 노출과 이득값을 수신하여 카메라 모듈 주변의 밝기를 분석하여 전조등을 제어하는 시스템이 있었다.
하지만, 종래 기술은 야간의 경우 조도 특성상 영상 분석을 하기 위해 노출과 이득을 목적에 맞게 조절하지만 주간에 비해 영상 포화나 조도가 어두운 특성 때문에 영상 분석을 하여 얻을 수 있는 요소는 제한되는 문제점이 있었다.
또한, 차량, 차선, 가로등, 반사판, 신호등 표지판 등으로 구분하는 것에는 한계가 있는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 광원과 반사체를 구별할 수 있는 카메라 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 카메라 시스템은 광 이미지로부터 영상 이미지를 생성하는 카메라모듈; 카메라 모듈의 노출을 조절하는 제어부; 및 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고, 상기 카메라 모듈로부터 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고, 제1영상 및 제2영상으로부터 동일한 위치의 관심영역을 추출하고, 관심영역의 디지털 휘도값을 계산하고, 관심영역이 광원인지 아니면 반사체인지 판단하는 영상 분석부를 포함한다.
본 발명의 일 실시예에 따른 영상 분석부는 상기 광원 및 상기 반사체 중에서 적어도 하나로부터 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식할 수 있는 것을 더 포함한다.
상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 중에서 어느 하나를 이용하는 것을 포함한다.
상기 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 영상 분석부는 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 관심영역을 광원이라고 판단하고, 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면 관심영역을 반사체라고 판단하는 것을 포함한다.
상기 최대 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 제1영상에서 추출한 상기 관심영역의 최대 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최대 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함한다.
상기 최소 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 제1영상에서 추출한 상기 관심영역의 최소 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최소 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함한다.
상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하는 경우에는 상기 관심영역은 반사체라고 판단하는 것을 포함한다.
상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하지 않는 경우에는 상기 관심영역은 광원이라고 판단하는 것을 포함한다.
상기 영상 분석부는 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 2^n - 1 이면, 지평선을 인식하고, 관심영역이 지평선보다 위에 있으면 관심영역을 가로등으로 판단하고, 관심영역이 지평성 보다 아래에 있으면 관심영역을 차량의 전조등으로 판단하는 것을 포함한다.
상기 영상 분석부는 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 제1영상으로부터 관심영역의 색채정보를 전달받고, 색채정보가 붉은색이면 관심영역을 차량의 후미등으로 판단하는 것을 포함한다.
상기 영상 분석부는 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 0 이상이고 제1기준값 미만의 값을 가지면, 관심영역을 반사체로 인식하고, 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 반사체의 종류를 인식하는 것을 포함한다.
본 발명의 다른 실시예에 따른 카메라 시스템의 제어방법은 카메라 모듈 및 영상 처리 장치를 포함하는 카메라 시스템의 제어방법에 있어서, 상기 카메라 시스템이 상기 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고; 상기 카메라 시스템이 카메라 모듈로부터 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고; 상기 카메라 시스템이 제1영상 및 제2영상으로부터 동일한 위치의 관심영역을 추출하고; 상기 카메라 시스템이 관심영역의 디지털 휘도값을 계산하고; 및 상기 카메라 시스템이 관심영역이 광원인지 아니면 반사체인지 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 광원 및 반사체 중에서 적어도 하나로부터 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것을 더 포함한다.
상기 카메라 시스템이 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 중에서 어느 하나를 이용하는 것을 포함한다.
상기 카메라 시스템이 상기 관심영역의 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,상기 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 관심영역을 광원이라고 판단하고, 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면 관심영역을 반사체라고 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 최대 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 제1영상에서 추출한 상기 관심영역의 최대 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최대 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 최소 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 제1영상에서 추출한 상기 관심영역의 최소 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최소 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하는 경우에는 상기 관심영역은 반사체라고 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은, 상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하지 않는 경우에는 상기 관심영역은 광원이라고 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은, 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 2^n - 1 이면, 지평선을 인식하고, 관심영역이 지평선보다 위에 있으면 관심영역을 가로등으로 판단하고, 관심영역이 지평선 보다 아래에 있으면 관심영역을 차량의 전조등으로 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은, 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 제1영상으로부터 관심영역의 색채정보를 전달받고, 색채정보가 붉은색이면 관심영역을 차량의 후미등으로 판단하는 것을 포함한다.
상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은, 제2영상에서 추출하고 n-bit로 표현한 관심영역의 디지털 휘도값이 0 이상이고 제1기준값 미만의 값을 가지면, 관심영역을 반사체로 인식하고, 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 반사체의 종류를 인식하는 것을 포함한다.
본 발명에 따르면, 광원과 반사체를 구별하여 물체 및 주변환경을 인식할 수 있다. 또한, 본 발명에 따르면 불필요한 연산을 줄여서, 전체 연산처리 시간을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템이 장착된 차량을 나타낸 도면이다.
도 2a는 본 발명의 일 실시예에 따른 카메라 시스템의 블록도를 나타낸 도면이다.
도 2b는 본 발명의 일 실시예에 따른 후미등의 제1영상 및 제2영상에서 최대 디지털 휘도값을 나타낸 도면이다.
도 3a는 본 발명의 일 실시예에 따른 일반 노출 조건에서 촬영한 제1영상을 나타낸 도면이다.
도 3b는 본 발명의 일 실시예에 따른 반사체 제거 노출 조건에서 촬영한 제2영상을 나타낸 도면이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른 카메라 시스템의 제어방법을 나타내는 흐름도이다.
이하에서는 첨부된 도면을 참조하면 본 발명의 실시예들을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템이 장착된 차량을 나타낸 도면이다.
도시된 바와 같이, 차량(1)의 내부 전면 유리 상단부에 카메라 모듈(100)이 위치된다. 카메라 모듈(100)의 위치는 다양하게 변경될 수 있다.
카메라 모듈(100)은 차량(1)의 전방 방향의 영상을 촬영하며, 촬영된 영상은 영상 처리 장치(미도시)로 제공된다. 영상 처리 장치(미도시)는 카메라 모듈(100)로부터 제공받은 영상을 분석하여 차량(1)의 전방 방향에 광원 및 반사체의 존재여부를 판단할 수 있다. 영상 처리 장치(미도시)는 이로부터 차량(1)의 전방 방향의 물체, 조도 정보, 환경 정보 중에서 적어도 하나를 판단할 수 있다. 이하, 도 2에서 카메라 모듈(100) 및 영상 처리 장치(200)를 포함하는 카메라 시스템(10)을 보다 자세히 설명한다.
도 2a는 본 발명의 일 실시예에 따른 카메라 시스템의 블록도를 나타낸 도면이고, 도 2b는 본 발명의 일 실시예에 따른 후미등의 제1영상 및 제2영상에서 최대 디지털 휘도값을 나타낸 도면이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 카메라 시스템은 광 이미지로부터 영상 이미지를 생성하는 카메라모듈(100); 카메라 모듈의 노출을 조절하는 제어부(240); 및 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고, 카메라 모듈로부터 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고, 제1영상 및 제2영상으로부터 동일한 위치의 관심영역을 추출하고, 관심영역의 디지털 휘도값을 계산하고, 관심영역이 광원인지 아니면 반사체인지 판단하는 영상분석부(230)를 포함할 수 있다.
도시된 바와 같이, 카메라 시스템(10)은 카메라 모듈(100) 및 영상 처리 장치(200)를 포함할 수 있다.
카메라 모듈(100)은 영상을 입력 받을 수 있다. 카메라 모듈(100)은 광 이미지로부터 영상 이미지를 생성할 수 있다. 카메라 모듈(100)은 렌즈 모듈(110), 조리개(120), 셔터(130), IR 필터(140), 이미지 센서(150), A/D 컨버터(160), 카메라 제어부(170), 및 송수신부(180)를 포함할 수 있다.
렌즈 모듈(110)은 다수의 렌즈를 포함하며 피사체의 광 이미지를 입수할 수 있다. 렌즈 모듈(110)은 다수의 볼록렌즈와 다수의 오목렌즈를 포함할 수 있으며, 전체적으로는 1개의 볼록렌즈의 성질을 가질 수 있다. 다수의 볼록렌즈와 다수의 오목렌즈를 사용하는 이유는 볼록렌즈 1장으로 상은 맺을 수 있지만 상의 왜곡 등 수차 현상이 일어나 귀퉁이까지 선명한 상을 맺지는 못하기 때문이다. 사진의 네 모퉁이까지 선명하게 상을 맺기 위해서는 다수의 렌즈를 사용할 수 있다.
조리개(120)는 카메라 모듈(100)에서 구멍의 크기를 조절하여 렌즈 모듈(110)을 통과하는 빛의 양을 조절할 수 있는 원반형태의 장치를 의미한다. 조리개(120)는 셔터 기능과 연동하여, 렌즈 모듈(110)을 통하여 들어온 빛의 양과 초점심도를 결정할 수 있다. 조리개(120)는 여러 장으로 구성된 날개모양의 금속판(Stop Plate)으로 구멍의 크기를 조절할 수 있다. 조리개(120)는 빛의 양을 조절하는 기능 외에도 피사계심도를 조절하여 사진에 깊이 감을 줄 수 있고, 빛을 받는 면적의 밝기를 고르게 하며, 렌즈의 여러 가지 수차를 줄여 화상을 선명하게 해주는 역할을 할 수 있다.
셔터(130)는 렌즈 모듈(110)과 이미지 센서(150) 사이에서 여닫는 시간을 길게 또는 짧게 조절함으로써 렌즈 모듈(110)을 통해 이미지 센서부(150)에 들어가는 빛의 양을 조절하는 기계장치로, 조리개(120)와 함께 카메라 모듈(100)의 노출 조절 기구를 이룰 수 있다. 셔터(130)는 이미지 센서(150)를 일정시간 동안 동안 빛에 노출시키기 위해서 만들어진 장치일 수 있다. 셔터(130)는 조리개(150)와 연동하여 피사체를 적절한 밝기로 이미지 센서(150)에 노출시킬 수 있다.
IR 필터(140)는 올바른 색 재현성을 구현하기 위해 가시광선 이외의 영역의 빛을 걸러낼 수 있다.
이미지 센서(150)는 피사체 정보를 검지(檢知)하여 전기적인 영상신호로 변환하는 장치 또는 전자부품을 말한다. 이미지 센서(150)는 촬상관(撮像管, 미도시)과 고체이미지센서(미도시)로 크게 나눌 수 있으며 전자에는 비디콘?플럼비콘 등이 있고, 후자에는 금속산화물반도체(MOS), 전하결합소자(CCD) 등이 있으며, 이에 한정되지 않는다. 이미지 센서(150)는 카메라 등에 사용되며 입체적인 피사체나 평면적인 피사체를 렌즈와 함께 사용하여 촬영할 수 있다.
A/D 컨버터(160)는 이미지 센서(160)로부터 제공받은 아날로그 영상신호를 디지털 영상신호로 변환할 수 있다. 카메라 모듈(100)의 동작이 이루어지기 위해서는 먼저 삼원색(R, G, B)으로 구성된 빛이 렌즈를 통해 이미지 센서(150) 입사하게 되고, 이미지 센서(150)를 구성하고 있는 광전 변환 소자(Pixel)들이 빛의 양에 따라 전하를 발생하게 된다. 각 Pixel에서 발생한 전하는 아날로그 형태의 전기신호이므로, A/D 컨버터(160)는 아날로그 신호를 디지털 신호로 변환하여 카메라 제어부(170)로 전달할 수 있다.
카메라 제어부(170)는 영상 신호의 포맷을 기기에 맞춰 변환할 수 있으며, 카메라의 노출을 조절할 수 있다. 먼저, 카메라 제어부(170)는 영상 신호의 포맷을 기기에 맞춰 변환할 수 있다. 이미지 센서(150)에서 나온 신호(센서의 특징에 따라 YUV나 RGB raw data 등의 형태를 가짐)는 그 자체로도 완전한 영상 신호이지만, 카메라 제어부(170)는 카메라 모듈(100)이 장착되는 기기(예를 들면, 차량)의 특성과 요구에 따라서 JPEG나 MPEG 등 특정 포맷으로의 변환을 할 수 있다.
카메라 모듈(100)의 송수신부(180)는 카메라 모듈(100)로부터 촬영된 영상을 영상 처리 장치(200)의 송수신부(210)로 전달할 수 있다. 또한, 송수신부(180)는 영상 처리 장치(200)로부터 결정한 목표 노출값을 영상 처리 장치(200)의 송수신부(210)로부터 전달 받을 수 있다. 또한, 카메라 모듈(100)의 송수신부(180)는 영상 처리 장치(200)의 송수신부(210)와 다양한 정보를 주고 받을 수 있다.
영상 처리 장치(200)는 카메라 모듈(100)로부터 전달 받은 영상으로 광원과 반사체를 구별할 수 있으며 반사체를 그 반사 정도에 따라 구별할 수 있고, 주변 물체 및 주변 환경을 인식할 수 있다. 영상 처리 장치(200)는 송수신부(210), 저장부(220), 영상 분석부(230), 및 제어부(240)를 포함할 수 있다.
영상 처리 장치(200)의 송수신부(210)는 카메라 모듈(100)로부터 촬영된 영상을 카메라 모듈(100)의 송수신부(180)로부터 전달받을 수 있다. 또한, 송수신부(210)는 영상 처리 장치(200)에서 결정한 목표 노출값을 카메라 모듈(100)의 송수신부(180)로 전달할 수 있다. 또한, 영상 처리 장치(200)의 송수신부(210)는 카메라 모듈(100)의 송수신부(180)와 다양한 정보를 주고 받을 수 있다.
저장부(220)는 제2 영상 촬영 시 카메라의 노출 정도를 결정하는 기준이 되는 노출 목표값, 광원과 반사체를 구별하는 기준이 되는 제1 기준값을 저장할 수 있다. 또한, 저장부(220)는 카메라 모듈(100)로부터 전달 받은 제1 영상 및 제2 영상을 저장할 수 있다. 노출 목표값은 광원과 반사체를 가장 잘 구별할 수 있는 영상을 획득하는데 필요한 카메라의 노출값을 의미한다. 노출 목표값은 셔터의 속도 정보 및 조리개의 노출량 정보 중에서 적어도 하나를 포함할 수 있다. 제1 기준값은 특정한 값을 의미할 수도 있고, 일정한 범위를 의미할 수도 있다. 또한, 저장부(220)는 광원 또는 반사체의 디지털 휘도값들을 저장할 수 있다.
예를 들면, 광원의 디지털 휘도값에는 카메라와 광원과의 거리에 따라 측정된 광원의 최대 디지털 휘도값 또는 최소 디지털 휘도값 등을 포함할 수 있다. 최대 디지털 휘도값은 제1영상 또는 제2영상에서 얻은 해당 광원의 가장 높은 디지털 휘도값일 수 있다. 최소 디지털 휘도값은 제1영상 또는 제2영상에서 얻은 해당 광원의 가장 낮은 디지털 휘도값일 수 있다.
광원은 차량의 전조등, 후미등, 차폭등, 안개등, 가로등, 신호등, 및 건물에 설치된 조명 중에서 적어도 하나를 포함할 수 있다. 반사체는 차량, 표지판, 차선, 사람, 가로수, 건물 중에서 적어도 하나를 포함할 수 있다.
노출 목표값 및 제1 기준값은 실험에 의해 구해질 수 있으며, 각각 하나 이상일 수 있다.
영상 분석부(230)는 카메라 모듈(100)로부터 일반 노출 조건에서 촬영한 제1영상 및 반사체 제거 노출 조건에서 촬영한 제2영상을 전달 받을 수 있다. 반사체 제거 노출 조건은 저장부(220)에 저장된 노출 목표값에 상응하도록 카메라 모듈(100)의 노출값을 조절한 것을 의미한다. 예를 들면, 반사체 제거 노출 조건은 반사체는 잘 보이지 않을 정도로 노출값을 조절한 상태일 수 있다.
그리고 나서, 영상 분석부(230)는 카메라 모듈(100)로부터 전달받은 제1영상에서 디지털 휘도값이 높은 다수의 관심영역을 추출할 수 있다. 또한, 영상 분석부(230)는 제1영상에서 추출한 관심영역과 동일한 위치 및 크기의 관심영역을 제2영상에서도 추출할 수 있다. 제1영상 및 제2영상에서 추출한 관심영역은 하나 이상일 수 있으며, 모양, 위치, 및 크기는 달라질 수 있다.
또한, 영상 분석부(230)는 제1영상에서 광원 후보영역을 먼저 추출하고, 추출한 광원 후보영역을 관심영역으로 지정할 있다. 영상 분석부(230)는 디지털 휘도값이 높은 영역을 광원 후보영역으로 먼저 추출하여 이를 관심영역으로 지정할 수 있다. 이렇게 하면, 관심영역을 추출하는데 필요한 연산량을 줄이고, 전체 시스템의 속도를 향상시킬 수 있다. 그리고 나서, 영상 분석부(230)는 제1영상에서 지정한 관심영역과 동일한 위치 및 크기의 관심영역을 제2영상에서도 추출할 수 있다.
그리고 나서, 영상 분석부(230)는 제1영상 및 제2영상에서 추출한 각 관심영역의 디지털 휘도값을 계산할 수 있다. 디지털 휘도값은 각 픽셀에 대하여 n-bit로 표현한 밝기 정보를 의미한다. 예를 들면, n=8인 경우에는 디지털 휘도값은 0 ~ 255 범위내의 값을 가질 수 있다. 다만, 이하에서는 n-bit를 기준으로 설명한다.
디지털 휘도값이 클수록 밝은 것을 의미할 수 있다. 각각의 관심영역은 크기 및 모양이 다를 수 있다. 또한, 관심영역의 디지털 휘도값은 관심영역내의 모든 픽셀의 디지털 휘도값의 합을 의미할 수도 있고, 관심영역내의 모든 픽셀의 디지털 휘도값의 평균값을 의미할 수도 있으며, 다른 방법으로 표현한 관심영역의 디지털 휘도 정보일 수도 있다.
영상 분석부(230)는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 해당 관심영역이 광원인지 반사체인지 구별할 수 있다.
예를 들면, 영상 분석부(230)는 제2영상에서 추출한 관심영역의 디지털 휘도값으로부터 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 영상 분석부(230)는 제2영상에서 추출한 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 영상 분석부(230)는 해당 관심영역을 광원이라고 판단할 수 있다. 또한, 영상 분석부(230)는 해당 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면, 영상 분석부(230)는 해당 관심영역을 반사체라고 판단할 수 있다. 반사체의 경우에는 제2영상에서는 대부분 포화되지 않기 때문이다. 제1기준값은 광원과 반사체를 구별할 수 있는 디지털 휘도값을 의미한다. 제1기준값은 실험에 의해 정해질 수 있으며, 광원의 종류에 따라 달라질 수 있다.
또한, 도 2b를 참조하면, 영상 분석부(230)는 최대 디지털 휘도값 또는 최소 디지털 휘도값 등을 이용하여 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 광원의 종류에 따라서 거리에 따른 최대 디지털 휘도값의 차이 또는 최소 디지털 휘도값의 차이가 다를 수 있다. 영상 분석부(230)는 이러한 광원의 특성을 이용하여 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다.
영상 분석부(230)는 제1영상에서 추출한 관심영역의 최대 디지털 휘도값과 제2영상에서 추출한 해당 관심영역의 최대 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 아니면 반사체 인지 여부를 판단할 수 있다. 또한, 영상 분석부(230)는 제1영상에서 추출한 관심영역의 최소 디지털 휘도값과 제2영상에서 추출한 해당 관심영역의 최소 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 아니면 반사체 인지 여부를 판단할 수 있다.
예를 들어, 차량의 후미등은 제1영상에서의 최대 디지털 휘도값과 제2영상에서의 최대 디지털 휘도값의 차이는 100m 거리에서는 약 30 정도이며, 200m 거리에서는 약 160 정도이며, 300m 거리에서는 약 150 정도일 수 있다. 다만, 차량의 후미등의 종류에 따라 다른 값을 가질 수도 있다. 이와 같이, 영상 분석부(230)는 거리에 따른 제1영상에서의 최대 디지털 휘도값과 제2영상에서의 최대 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 여부를 판단할 수 있고, 더 나아가 광원의 종류를 판단할 수도 있다.
또한, 영상 분석부(230)는 관심영역의 모양을 이용하여 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 예를 들면, 영상 분석부(230)는 관심영역 내부에 디지털 휘도값이 낮은 영역이 존재하는 경우에는 해당 관심영역은 반사체라고 판단할 수 있다. 광원은 주로 해당 관심영역의 전 영역 내에서 디지털 휘도값이 높으나 반사체의 경우에는 해당 관심영역 내부에 반사가 잘 되지 않은 어두운 영역이 포함될 수 있기 때문이다.
또한, 영상 분석부(230)는 제1영상 및 제2영상에서 획득한 여러 정보들로부터 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다.
이와 같이, 영상 분석부(230)는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 및 다른 정보들 중에서 적어 하나를 이용하여 해당 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다. 이때, 영상 분석부(230)는 이용되는 각 정보들의 가중치를 달리하여 해당 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다.
그리고 나서, 영상 분석부(230)는 광원의 종류를 인식할 수 있다. 영상 분석부(230)는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 광원의 종류를 인식할 수 있다. 예를 들면, 광원은 차량의 전조등, 후미등, 차폭등, 안개등, 가로등, 신호등, 및 건물에 설치된 조명 중에서 적어도 하나를 포함할 수 있다.
제2영상에서 관심영역의 디지털 휘도값이 2^n - 1 이면, 영상 분석부(230)는 해당 관심영역의 광원의 종류를 인식할 수 있다. 광원의 경우에는 제2영상에서 추출한 관심영역의 디지털 휘도값이 대부분 2^n - 1 의 값을 가질 수 있다. 왜냐하면, 광원의 경우에는 관심영역의 디지털 휘도값이 포화되는 경우가 대부분이기 때문이다. 따라서, 영상 분석부(230)는 제1영상으로부터 인식한 정보와 제2영상으로부터 얻은 정보를 조합하여, 제2영상에서 추출한 관심영역의 광원의 종류를 구분할 수 있다.
먼저, 영상 분석부(230)는 카메라 모듈 전방의 차선을 탐색한다. 영상 분석부(230)는 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 제1영상에서 2개의 차선을 인식할 수 있다. 그리고, 영상 분석부(230)는 인식한 차선으로부터 제1영상에서 소실점의 좌표를 인식할 수 있다. 소실점의 좌표는 영상 분석부(230)가 인식한 2개의 차선의 연장선이 만나는 지점의 좌표를 의미한다. 그리고 나서, 영상 분석부(230)는 제1영상에서 소실점의 좌표로부터 지평선을 인식할 수 있다. 예를 들면, 제1영상에서 지평선의 y축 높이는 소실점의 y축 높이와 동일할 수 있다. x축은 영상의 가로축을 의미하며, y축은 영상의 세로축을 의미한다.
그리고 나서, 해당 관심영역의 y축 높이가 지평선의 y축 높이 보다 높으면, 영상 분석부(230)는 해당 관심영역을 가로등으로 판단할 수 있다. 하지만, 해당 관심영역의 y축 높이가 지평선의 y축 높이 보다 낮으며, 영상 분석부(230)는 해당 관심영역을 차량의 전조등으로 판단할 수 있다. 영상 분석부(230)는 가로등 및 전조등 외에 다른 광원의 종류를 인식할 수도 있다. 영상 분석부(230)는 다른 방법에 의해서 광원의 종류를 판단할 수도 있다. 즉, 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 광원의 종류를 판단할 수 있다.
그리고 나서, 영상 분석부(230)는 해당 광원의 위치, 속도, 및 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.
또한, 제2영상에서 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 영상 분석부(230)는 해당 관심영역의 광원의 종류를 인식할 수 있다. 이러한 조건의 경우에는 해당 관심영역이 광원이기는 하지만, 제2영상에서 해당 관심영역이 포화되지 않은 경우를 의미한다. 영상 분석부(230)는 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 해당 광원의 종류를 인식할 수 있다. 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 등을 포함할 수 있다.
예를 들면, 제1영상에서 얻은 해당 관심영역의 색채 정보가 붉은색일 경우에는, 영상 분석부(230)는 해당 관심영역을 차량의 후미등으로 판단할 수 있다. 또한, 영상 분석부(230)는 제1영상으로부터 다른 정보들을 인식하여 해당 관심영역의 광원의 종류를 인식할 수 있다. 또한, 광원은 차량의 후미등에 한정되지 않고, 다른 종류의 광원을 포함할 수 있다.
그리고 나서, 영상 분석부(230)는 해당 광원의 위치, 속도, 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.
영상 분석부(230)는 추출한 관심영역이 반사체에 해당한다고 판단하면, 해당 관심영역의 반사체의 종류를 판단할 수 있다. 영상 분석부(230)는 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 해당 반사체의 종류를 인식할 수 있다. 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 등을 포함할 수 있다. 그리고 나서, 영상 분석부(230)는 해당 반사체의 위치, 속도, 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.
이와 같이, 영상 분석부(230)는 인식한 광원 및 반사체로부터 카메라 모듈(100) 주변의 물체, 카메라 모듈(100) 주변의 조도 정보, 카메라 모듈(100)주변의 환경 정보를 인식할 수 있다.
예를 들면, 물체는 차량, 차선, 가로등, 반사판, 신호등, 표지판, 터널, 주유소, 사람, 가로수, 오토바이, 및 자전거 중에서 적어도 하나를 포함할 수 있다. 조도 정보는 주간, 야간, 실내, 및 터널 중에서 적어도 하나를 포함할 수 있다. 환경 정보는 물체 및 조도 정보 뿐만 아니라 카메라 주변의 모든 정보를 포함할 수 있다.
제어부(240)는 카메라 모듈(100)의 노출을 조절할 수 있다. 제어부(240)는 셔터 속도의 조절 또는 조리개 조절을 이용하여 노출을 조절할 수 있다. 제어부(240)는 일반 노출 조건에 따라 카메라 모듈(100)의 노출값을 조절할 수 있다. 또한, 제어부(240)는 반사체 제거 노출 조건에 따라 카메라 모듈(100)의 노출값을 조절할 수 있다. 반사체 제거 노출 조건은 저장부(220)에 저장된 노출 목표값에 상응하도록 카메라 모듈(100)의 노출값을 조절한 것을 의미한다. 또한, 제어부(240)는 다른 방법에 의해서 노출을 제어할 수도 있다.
제어부(240)는 셔터 속도를 조절할 수 있다. 셔터 속도는 단위 시간 당 빛이 렌즈를 통하여 이미지 센서(150)에 도달하는 시간을 의미한다. 카메라 모듈(100)은 셔터속도가 느릴수록 많은 양의 빛을 받아들일 수 있으며, 셔터속도가 빠를수록 적은 양의 빛을 받아들일 수 있다. 제어부(240)는 셔터 속도를 조절하여 빛의 양을 조절할 수 있다.
제어부(240)는 조리개를 조절하여 빛이 들어오는 양을 조절할 수 있다. 제어부(240)는 조리개를 조절하여 빛이 들어오는 구멍의 크기를 변화시킬 수 있다. 제어부(240)는 조리개(120)의 구멍의 크기를 크게 하여 들어오는 빛의 양을 많게 할 수 있으며, 이 경우에 사진은 밝아 진다. 제어부(240)는 조리개(120)의 구멍의 크기를 작게 하여 들어오는 빛의 양을 적게 할 수 있으며, 이 경우에 사진은 어두워 진다.
그리고, 제어부(240)는 영상 처리 장치(200)의 각 구성요소들의 전반적인 작동을 제어할 수 있다.
본 발명의 일 실시예에 따른 카메라 시스템은 카메라 제어부(170)와 제어부(240)가 별개의 구성일 수 도 있으며, 하나의 구성에서 동일한 기능을 수행할 수 있다.
도 3a는 본 발명의 일 실시예에 따른 일반 노출 조건에서 촬영한 제1영상을 나타낸 도면이다.
일반 노출 조건으로 촬영한 제1영상에서 차선(501a, 502a), 차량의 후미등(503a), 표지판(504a), 및 가로등(505a)는 관심영역으로 추출될 수 있다. 또한, 지평선(510)은 차선(501a, 502a)로부터 인식될 수 있다.
도 3b는 본 발명의 일 실시예에 따른 반사체 제거 노출 조건에서 촬영한 제2영상을 나타낸 도면이다.
반사체 제거 노출 조건에서 촬영한 제2영상에서 영상 분석부(230)는 제1영상에서와 같은 위치에서 관심영역을 추출할 수 있다. 그리고 나서, 영상 분석부(230)는 해당 관심영역이 광원에 해당하는지 아니면 반사체에 해당하는지 여부를 판단할 수 있다.
차선(501b, 502b) 및 표지판(504b)은 반사체 제거 노출 조건에서는 낮은 디지털 휘도값을 갖게 되므로 영상 분석부(230)는 이들을 반사체로 인식할 수 있다. 또한, 영상 분석부(230)는 제1영상으로부터 얻은 정보와 제2영상으로부터 얻은 정보를 조합하여 차선(501b, 502b) 과 표지판(504b)을 구별할 수 있다.
하지만, 차량의 후미등(503b) 및 가로등(505b)은 반사체 제거 노출 조건에서도 높은 디지털 휘도값을 갖게 되므로 영상 분석부(230)는 이들을 광원으로 인식할 수 있다. 또한, 영상 분석부(230)는 제1영상으로부터 얻은 정보와 제2영상으로부터 얻은 정보를 조합하여 차량의 후미등(503b)과 가로등(505b)을 구별할 수 있다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른 카메라 시스템의 제어방법을 나타내는 흐름도이다.
본 발명의 일 실시예에 따른 카메라 시스템(10)의 제어방법은 카메라 시스템(10) 의 구성요소를 전부 이용할 수 있다. 따라서, 도 1 내지 도 3b에 개시된 내용을 바탕으로 카메라 시스템(10)의 제어방법에 대해서 설명한다.
본 발명의 일 실시예에 의한 카메라 시스템의 제어방법은 카메라 시스템(10)이 카메라 모듈(100)로부터 일반 노출 조건에서 촬영한 제1영상을 전달받는 단계; 카메라 시스템(10)이 카메라 모듈로부터 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받는 단계; 카메라 시스템(10)이 제1영상 및 제2영상으로부터 동일한 위치의 관심영역을 추출하는 단계; 카메라 시스템(10)이 관심영역의 디지털 휘도값을 계산하는 단계; 및 카메라 시스템(10)이 관심영역이 광원인지 아니면 반사체인지 판단하는 단계를 포함할 수 있다.
카메라 시스템(10)은 카메라의 노출을 조절할 수 있다. 카메라 시스템(10)은 셔터 속도의 조절 또는 조리개 조절을 이용하여 노출을 조절할 수 있다. 카메라 시스템(10)은 일반 노출 조건에 따라 카메라 모듈(100)의 노출값을 조절할 수 있다. 또한, 카메라 시스템(10)은 반사체 제거 노출 조건에 따라 카메라 모듈(100)의 노출값을 조절할 수 있다. 반사체 제거 노출 조건은 저장부(220)에 저장된 노출 목표값에 상응하도록 카메라 모듈(100)의 노출값을 조절한 것을 의미한다. 또한, 카메라 시스템(10)은 다른 방법에 의해서 노출을 제어할 수 도 있다.
카메라 시스템(10)은 일반 노출 조건에서 제1영상을 촬영할 수 있다.(1010) 그리고 나서, 카메라 시스템(10)은 목표 노출값을 지시하고, 반사체 제거 노출 조건에서 제2영상을 촬영할 수 있다.(1020, 1030) 반사체 제거 노출 조건은 저장부(220)에 저장된 노출 목표값에 상응하도록 카메라 모듈(100)의 노출값을 조절한 것을 의미한다.
카메라 시스템(10)은 카메라 모듈(100)로부터 일반 노출 조건에서 촬영한 제1영상 및 반사체 제거 노출 조건에서 촬영한 제2영상을 전달 받을 수 있다.
그리고 나서, 카메라 시스템(10)은 카메라 모듈(100)로부터 전달받은 제1영상에서 디지털 휘도값이 높은 다수의 관심영역을 추출할 수 있다. 또한, 카메라 시스템(10)은 제1영상에서 추출한 관심영역과 동일한 위치 및 크기의 관심영역을 제2영상에서도 추출할 수 있다. 제1영상 및 제2영상에서 추출한 관심영역은 하나 이상일 수 있으며, 모양, 위치, 또는 크기는 달라질 수 있다.
또한, 카메라 시스템(10)은 제1영상에서 광원 후보영역을 먼저 추출하고, 추출한 광원 후보영역을 관심영역으로 지정할 있다. 카메라 시스템(10)은 디지털 휘도값이 높은 영역을 광원 후보영역으로 먼저 추출하여 이를 관심영역으로 지정할 수 있다. 이렇게 하면, 관심영역을 추출하는데 필요한 연산량을 줄이고, 전체 시스템의 속도를 향상시킬 수 있다. 그리고 나서, 카메라 시스템(10)은 제1영상에서 지정한 관심영역과 동일한 위치 및 크기의 관심영역을 제2영상에서도 추출할 수 있다.
그리고 나서, 카메라 시스템(10)은 제1영상 및 제2영상에서 추출한 각 관심영역의 디지털 휘도값을 계산할 수 있다. 디지털 휘도값은 각 픽셀에 대하여 n-bit로 표현한 밝기 정보를 의미한다. 예를 들면, n=8인 경우에는 디지털 휘도값은 0 ~ 255 범위내의 값을 가질 수 있다. 다만, 이하에서는 n-bit를 기준으로 설명한다. 디지털 휘도값이 클수록 밝은 것을 의미할 수 있다. 각각의 관심영역은 크기 및 모양이 다를 수 있다. 또한, 관심영역의 디지털 휘도값은 관심영역내의 모든 픽셀의 디지털 휘도값의 합을 의미할 수도 있고, 관심영역내의 모든 픽셀의 디지털 휘도값의 평균값을 의미할 수도 있으며, 다른 방법으로 표현한 관심영역의 디지털 휘도 정보일 수도 있다.(1040 내지 1070)
카메라 시스템(10)은 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 해당 관심영역이 광원인지 반사체인지 구별할 수 있다.
예를 들면, 카메라 시스템(10)은 제2영상에서 추출한 관심영역의 디지털 휘도값으로부터 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 카메라 시스템(10)은 제2영상에서 추출한 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 카메라 시스템(10)은 해당 관심영역을 광원이라고 판단할 수 있다. 또한, 카메라 시스템(10)은 해당 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면, 카메라 시스템(10)은 해당 관심영역을 반사체라고 판단할 수 있다. 반사체의 경우에는 제2영상에서는 대부분 포화되지 않기 때문이다.
또한, 도 2b를 참조하면, 카메라 시스템(10)은 최대 디지털 휘도값 또는 최소 디지털 휘도값 등을 이용하여 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 광원의 종류에 따라서 거리에 따른 최대 디지털 휘도값의 차이 또는 최소 디지털 휘도값의 차이가 다를 수 있다. 카메라 시스템(10)은 이러한 광원의 특성을 이용하여 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다.
카메라 시스템(10)은 제1영상에서 추출한 관심영역의 최대 디지털 휘도값과 제2영상에서 추출한 해당 관심영역의 최대 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 아니면 반사체 인지 여부를 판단할 수 있다. 또한, 카메라 시스템(10)은 제1영상에서 추출한 관심영역의 최소 디지털 휘도값과 제2영상에서 추출한 해당 관심영역의 최소 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 아니면 반사체 인지 여부를 판단할 수 있다.
예를 들어, 차량의 후미등은 제1영상에서의 최대 디지털 휘도값과 제2영상에서의 최대 디지털 휘도값의 차이는 100m 거리에서는 약 30 정도이며, 200m 거리에서는 약 160 정도이며, 300m 거리에서는 약 150 정도일 수 있다. 다만, 차량의 후미등의 종류에 따라 다른 값을 가질 수도 있다. 이와 같이, 카메라 시스템(10)은 거리에 따른 제1영상에서의 최대 디지털 휘도값과 제2영상에서의 최대 디지털 휘도값의 차이를 이용하여 해당 관심영역이 광원인지 여부를 판단할 수 있고, 더 나아가 광원의 종류를 판단할 수도 있다.
또한, 카메라 시스템(10)은 관심영역의 모양을 이용하여 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다. 예를 들면, 카메라 시스템(10)은 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하는 경우에는 해당 관심영역은 반사체라고 판단할 수 있다. 광원은 주로 해당 관심영역의 전 영역 내에서 디지털 휘도값이 높으나 반사체의 경우에는 해당 관심영역 내부에 반사가 잘 되지 않은 어두운 영역이 포함될 수 있기 때문이다.
또한, 카메라 시스템(10)은 제1영상 및 제2영상에서 획득한 여러 정보들로부터 해당 관심영역이 광원인지 아니면 반사체인지를 구별할 수 있다.
이와 같이, 카메라 시스템(10)은 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 및 다른 정보들 중에서 적어 하나를 이용하여 해당 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다. 이때, 카메라 시스템(10)은 이용되는 각 정보들의 가중치를 달리하여 해당 관심영역이 광원인지 아니면 반사체인지 여부를 구별할 수 있다.(1080 내지 1100)
그리고 나서, 카메라 시스템(10)은 광원의 종류를 인식할 수 있다. 카메라 시스템(10)은 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 광원의 종류를 인식할 수 있다. 예를 들면, 광원은 차량의 전조등, 후미등, 차폭등, 안개등, 가로등, 신호등, 및 건물에 설치된 조명 중에서 적어도 하나를 포함할 수 있다.
제2영상에서 관심영역의 디지털 휘도값이 2^n - 1 이면, 카메라 시스템(10)은 해당 관심영역의 광원의 종류를 인식할 수 있다. 광원의 경우에는 제2영상에서 추출한 관심영역의 디지털 휘도값이 대부분 2^n - 1 의 값을 가질 수 있다. 왜냐하면, 광원의 경우에는 관심영역의 디지털 휘도값이 포화되는 경우가 대부분이기 때문이다. 따라서, 카메라 시스템(10)은 제1영상으로부터 인식한 정보와 제2영상으로부터 얻은 정보를 조합하여, 제2영상에서 추출한 관심영역의 광원의 종류를 구분할 수 있다.(1110)
먼저, 카메라 시스템(10)은 카메라 모듈 전방의 차선을 탐색한다. 카메라 시스템(10)은 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 제1영상에서 2개의 차선을 인식할 수 있다. 그리고, 카메라 시스템(10)은 인식한 차선으로부터 제1영상에서 소실점의 좌표를 인식할 수 있다. 소실점의 좌표는 카메라 시스템(10)이 인식한 2개의 차선의 연장선이 만나는 지점의 좌표를 의미한다.
그리고 나서, 카메라 시스템(10)은 제1영상에서 소실점의 좌표로부터 지평선을 인식할 수 있다. 예를 들면, 제1영상에서 지평선의 y축 높이는 소실점의 y축 높이와 동일할 수 있다. x축은 영상의 가로축을 의미하며, y축은 영상의 세로축을 의미한다. (1120 내지 1140)
그리고 나서, 해당 관심영역의 y축 높이가 지평선의 y축 높이 보다 높으면, 카메라 시스템(10)은 해당 관심영역을 가로등으로 판단할 수 있다. 하지만, 해당 관심영역의 y축 높이가 지평선의 y축 높이 보다 낮으며, 카메라 시스템(10)은 해당 관심영역을 차량의 전조등으로 판단할 수 있다. 카메라 시스템(10)은 가로등 및 전조등 외에 다른 광원의 종류를 인식할 수도 있다. 카메라 시스템(10)은 다른 방법에 의해서 광원의 종류를 판단할 수도 있다. 즉, 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 또는 제1영상과 제2영상에서 얻은 다른 정보들로부터 광원의 종류를 판단할 수 있다. (1150, 1160, 1170)
그리고 나서, 카메라 시스템(10)은 해당 광원의 위치, 속도, 및 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.
또한, 제2영상에서 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 카메라 시스템(10)은 해당 관심영역의 광원의 종류를 인식할 수 있다. 이러한 조건의 경우에는 해당 관심영역이 광원이기는 하지만, 제2영상에서 해당 관심영역이 포화되지 않은 경우를 의미한다. 카메라 시스템(10)은 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 해당 광원의 종류를 인식할 수 있다. 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 등을 포함할 수 있다.
예를 들면, 제1영상에서 얻은 해당 관심영역의 색채 정보가 붉은색일 경우에는, 카메라 시스템(10)은 해당 관심영역을 차량의 후미등으로 판단할 수 있다. 또한, 카메라 시스템(10)은 제1영상으로부터 다른 정보들을 인식하여 해당 관심영역의 광원의 종류를 인식할 수 있다. 또한, 광원은 차량의 후미등에 한정되지 않고, 다른 종류의 광원을 포함할 수 있다.(1180)
그리고 나서, 카메라 시스템(10)은 해당 광원의 위치, 속도, 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.
카메라 시스템(10)은 추출한 관심영역이 반사체에 해당한다고 판단하면, 해당 관심영역의 반사체의 종류를 판단할 수 있다. 카메라 시스템(10)은 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보를 조합하여 해당 반사체의 종류를 인식할 수 있다. 제1영상에서 얻은 정보 및 제2영상에서 얻은 정보는 각 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 등을 포함할 수 있다. 그리고 나서, 카메라 시스템(10)은 해당 반사체의 위치, 속도, 카메라 모듈(100)과의 거리 중에서 적어도 하나의 정보를 계산할 수 있다.(1190)
이와 같이, 카메라 시스템(10)은 인식한 다수의 광원 및 다수의 반사체로부터 물체, 카메라 주변의 조도 정보, 카메라 주변의 환경 정보를 인식할 수 있다.
예를 들면, 물체는 차량, 차선, 가로등, 반사판, 신호등, 표지판, 터널, 주유소, 사람, 가로수, 오토바이, 및 자전거 중에서 적어도 하나를 포함할 수 있다. 조도 정보는 주간, 야간, 실내, 및 터널 중에서 적어도 하나를 포함할 수 있다. 환경 정보는 물체 및 조도 정보 뿐만 아니라 카메라 주변의 모든 정보를 포함할 수 있다.
1 : 차량 10 : 카메라 시스템
100 : 카메라 모듈 200 : 영상 처리 장치
210 : 송수신부 220 : 저장부
230 : 영상 분석부 240 : 제어부

Claims (22)

  1. 광 이미지로부터 영상 이미지를 생성하는 카메라 모듈;
    상기 카메라 모듈의 노출을 조절하는 제어부; 및
    상기 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고, 상기 카메라 모듈로부터 상기 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고, 상기 제1영상 및 상기 제2영상으로부터 동일한 위치의 관심영역을 추출하고, 상기 관심영역의 디지털 휘도값을 계산하고, 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 영상 분석부
    를 포함하는 카메라 시스템.
  2. 제1항에 있어서,
    상기 영상 분석부는 상기 광원 및 상기 반사체 중에서 적어도 하나로부터 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식할 수 있는 것을 더 포함하는 카메라 시스템.
  3. 제1항에 있어서,
    상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 중에서 어느 하나를 이용하는 것을 포함하는 카메라 시스템.
  4. 제3항에 있어서,
    상기 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 영상 분석부는 상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 상기 관심영역을 광원이라고 판단하고, 상기 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면 상기 관심영역을 반사체라고 판단하는 것을 포함하는 카메라 시스템.
  5. 제3항에 있어서,
    상기 최대 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 제1영상에서 추출한 상기 관심영역의 최대 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최대 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함하는 카메라 시스템.
  6. 제3항에 있어서,
    상기 최소 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 제1영상에서 추출한 상기 관심영역의 최소 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최소 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함하는 카메라 시스템.
  7. 제3항에 있어서,
    상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하는 경우에는 상기 관심영역은 반사체라고 판단하는 것을 포함하는 카메라 시스템.
  8. 제3항에 있어서,
    상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하지 않는 경우에는 상기 관심영역은 광원이라고 판단하는 것을 포함하는 카메라 시스템.
  9. 제2항에 있어서,
    상기 영상 분석부는 상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 2^n - 1 이면, 지평선을 인식하고;
    상기 관심영역이 지평선보다 위에 있으면 상기 관심영역을 가로등으로 판단하고, 상기 관심영역이 지평성 보다 아래에 있으면 상기 관심영역을 차량의 전조등으로 판단하는 것을 포함하는 카메라 시스템.
  10. 제2항에 있어서,
    상기 영상 분석부는 상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 상기 제1영상으로부터 상기 관심영역의 색채정보를 전달받고;
    상기 색채정보가 붉은색이면 상기 관심영역을 차량의 후미등으로 판단하는 것을 포함하는 카메라 시스템.
  11. 제2항에 있어서,
    상기 영상 분석부는 상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 0 이상이고 제1기준값 미만의 값을 가지면, 상기 관심영역을 반사체로 인식하고, 상기 제1영상에서 얻은 정보 및 상기 제2영상에서 얻은 정보를 조합하여 상기 반사체의 종류를 인식하는 것을 포함하는 카메라 시스템.
  12. 카메라 모듈 및 영상 처리 장치를 포함하는 카메라 시스템의 제어방법에 있어서,
    상기 카메라 시스템이 상기 카메라 모듈로부터 일반 노출 조건에서 촬영한 제1영상을 전달받고;
    상기 카메라 시스템이 상기 카메라 모듈로부터 상기 제1영상으로부터 연속적이며 반사체 제거 노출 조건에서 촬영한 제2영상을 전달받고;
    상기 카메라 시스템이 상기 제1영상 및 상기 제2영상으로부터 동일한 위치의 관심영역을 추출하고;
    상기 카메라 시스템이 상기 관심영역의 디지털 휘도값을 계산하고; 및
    상기 카메라 시스템이 상기 관심영역이 광원인지 아니면 반사체인지 판단하는
    것을 포함하는 카메라 시스템의 제어방법.
  13. 제12항에 있어서,
    상기 카메라 시스템이 상기 광원 및 상기 반사체 중에서 적어도 하나로부터 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것을 더 포함하는 카메라 시스템의 제어방법.
  14. 제12항에 있어서,
    상기 카메라 시스템이 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역의 디지털 휘도값, 모양, 최대 디지털 휘도값, 최소 디지털 휘도값, 위치, 크기, 색채, 및 패턴 중에서 어느 하나를 이용하는 것을 포함하는 카메라 시스템의 제어방법.
  15. 제14항에 있어서,
    상기 카메라 시스템이 상기 관심영역의 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 제1 기준값 이상이고 2^n - 1 이하이면, 상기 관심영역을 광원이라고 판단하고, 상기 관심영역의 디지털 휘도값이 0 이상이고 제1 기준값 미만이면 상기 관심영역을 반사체라고 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  16. 제14항에 있어서,
    상기 카메라 시스템이 상기 최대 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 제1영상에서 추출한 상기 관심영역의 최대 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최대 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  17. 제14항에 있어서,
    상기 카메라 시스템이 상기 최소 디지털 휘도값을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 제1영상에서 추출한 상기 관심영역의 최소 디지털 휘도값과 상기 제2영상에서 추출한 상기 관심영역의 최소 디지털 휘도값의 차이를 이용하여 상기 관심영역이 광원인지 아니면 반사체 인지 여부를 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  18. 제14항에 있어서,
    상기 카메라 시스템이 상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하는 경우에는 상기 관심영역은 반사체라고 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  19. 제14항에 있어서,
    상기 카메라 시스템이 상기 관심영역의 모양을 이용하여 상기 관심영역이 광원인지 아니면 반사체인지 판단하는 것은,
    상기 관심영역 내부에 디지털 휘도값이 제1기준값보다 낮은 영역이 존재하지 않는 경우에는 상기 관심영역은 광원이라고 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  20. 제13항에 있어서,
    상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은,
    상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 2^n - 1 이면, 지평선을 인식하고, 상기 관심영역이 지평선보다 위에 있으면 상기 관심영역을 가로등으로 판단하고, 상기 관심영역이 지평선 보다 아래에 있으면 상기 관심영역을 차량의 전조등으로 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  21. 제13항에 있어서,
    상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은,
    상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 제1기준값 이상이고 2^n - 1 미만이면, 상기 제1영상으로부터 상기 관심영역의 색채정보를 전달받고, 상기 색채정보가 붉은색이면 상기 관심영역을 차량의 후미등으로 판단하는 것을 포함하는 카메라 시스템의 제어방법.
  22. 제13항에 있어서,
    상기 카메라 시스템이 상기 카메라 모듈 주변의 물체, 조도 정보, 및 환경 정보 중에서 적어도 하나를 인식하는 것은,
    상기 제2영상에서 추출하고 n-bit로 표현한 상기 관심영역의 디지털 휘도값이 0 이상이고 제1기준값미만의 값을 가지면, 상기 관심영역을 반사체로 인식하고, 상기 제1영상에서 얻은 정보 및 상기 제2영상에서 얻은 정보를 조합하여 상기 반사체의 종류를 인식하는 것을 포함하는 카메라 시스템의 제어방법.
KR1020120063183A 2012-06-13 2012-06-13 카메라 시스템 및 그 제어방법 KR101303758B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120063183A KR101303758B1 (ko) 2012-06-13 2012-06-13 카메라 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120063183A KR101303758B1 (ko) 2012-06-13 2012-06-13 카메라 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR101303758B1 true KR101303758B1 (ko) 2013-09-06

Family

ID=49455026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120063183A KR101303758B1 (ko) 2012-06-13 2012-06-13 카메라 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101303758B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119557A1 (ko) * 2016-01-04 2017-07-13 엘지전자 주식회사 운전 보조 장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
JP2009065360A (ja) 2007-09-05 2009-03-26 Denso Corp 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
JP2010020483A (ja) 2008-07-09 2010-01-28 Denso Corp 車両検出装置、車両検出プログラム、およびライト制御装置
JP2011103070A (ja) 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
JP2009065360A (ja) 2007-09-05 2009-03-26 Denso Corp 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
JP2010020483A (ja) 2008-07-09 2010-01-28 Denso Corp 車両検出装置、車両検出プログラム、およびライト制御装置
JP2011103070A (ja) 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119557A1 (ko) * 2016-01-04 2017-07-13 엘지전자 주식회사 운전 보조 장치 및 그 제어방법
KR101768500B1 (ko) * 2016-01-04 2017-08-17 엘지전자 주식회사 운전 보조 장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
CN101344988B (zh) 图像获取和处理装置及方法、车辆监测和记录系统
JP5846872B2 (ja) 画像処理装置
US9405980B2 (en) Arrow signal recognition device
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
US7566851B2 (en) Headlight, taillight and streetlight detection
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
US20120062746A1 (en) Image Processing Apparatus
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4717073B2 (ja) 風景解析装置及び方法
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
JP2003032669A (ja) 車載用画像処理カメラ装置
CN101571999A (zh) 红外拍摄装置和交通信息系统
JPWO2012066609A1 (ja) 環境推定装置及び車両制御装置
JP7241772B2 (ja) 画像処理装置
JP2017207883A (ja) 監視システム、カラーカメラ装置及び光学部品
CN201247528Y (zh) 图像获取和处理装置
US11153546B2 (en) Low-light imaging system
KR101303758B1 (ko) 카메라 시스템 및 그 제어방법
WO2014002413A1 (ja) 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体
JP2003267125A (ja) 前照灯照射範囲制御方法及び前照灯装置
KR20090071748A (ko) 카메라(Camera)를 이용한 다 차선 / 다 차량의 번호판 인식시스템 및 방법
JP6593581B2 (ja) 画質調整装置並びにカメラユニット
WO2020215865A1 (zh) 目标跟踪系统及方法
CN108961785B (zh) 一种调整交通控制信号的系统及方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 7