KR101053826B1 - Device and method for controlling exposure of camera module - Google Patents

Device and method for controlling exposure of camera module Download PDF

Info

Publication number
KR101053826B1
KR101053826B1 KR1020100052615A KR20100052615A KR101053826B1 KR 101053826 B1 KR101053826 B1 KR 101053826B1 KR 1020100052615 A KR1020100052615 A KR 1020100052615A KR 20100052615 A KR20100052615 A KR 20100052615A KR 101053826 B1 KR101053826 B1 KR 101053826B1
Authority
KR
South Korea
Prior art keywords
luminance
block
region
ratio
average
Prior art date
Application number
KR1020100052615A
Other languages
Korean (ko)
Inventor
곽규호
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020100052615A priority Critical patent/KR101053826B1/en
Application granted granted Critical
Publication of KR101053826B1 publication Critical patent/KR101053826B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

PURPOSE: An exposure control device of a camera module is provided to change a rate of a high brightness area and a low brightness area by setting an adjusting area which is changed according to the characteristics of an image. CONSTITUTION: An adjustment area setting unit(130) detects at least one block with a block brightness in a predetermined range based on a block brightness of the highest brightness block. The adjusting area setting unit sets the detected block as a high brightness area with the high brightness block. The adjustment area setting unit detects at least one block with block brightness in the predetermined range based on block brightness of the lowest brightness block. The adjustment area setting unit sets the detected block as a low brightness area with the lowest brightness block.

Description

카메라 모듈의 노출 제어 장치 및 노출 제어 방법{Device and method for controlling exposure of camera module}Device control method and exposure control method of camera module {Device and method for controlling exposure of camera module}

본 발명은 카메라 모듈의 노출 제어 장치 및 노출 제어 방법에 관한 것이다.
The present invention relates to an exposure control apparatus and an exposure control method of a camera module.

자동차가 생활 필수품화되어 감에 따라 주정차 문제, 교통 문제 및 교통사고 등의 부작용도 증대되고 있다. 특히, 교통사고는 당사자간에 합의에 따라 원만하게 해결되는 경우도 있지만, 과실 정도의 판단이 모호한 경우 당사자간의 합의가 쉽게 이루어지지 못하며, 뺑소니 사고의 경우에는 도의적인 측면에서 매우 심각한 후유증을 초래하기도 한다.As automobiles become a necessity for life, side effects such as parking problems, traffic problems, and traffic accidents are increasing. In particular, traffic accidents may be resolved smoothly by agreement between the parties, but if the judgment of negligence is ambiguous, agreement between the parties may not be easily achieved. .

따라서, 객관적인 자료를 바탕으로 한 교통사고 처리의 필요성이 절실해지고 있으며, 이러한 필요성을 감안하여 항공기의 블랙박스와 같은 장치를 차량에도 실제 탑재하여 사고 처리시 객관적인 자료로 활용할 수 있는 여러 가지 방안이 개발되고 있다.Therefore, the necessity of handling traffic accidents based on objective data is urgently needed, and in consideration of such necessity, various methods that can be used as objective data when handling accidents by actually mounting a device such as a black box of an aircraft in a vehicle are developed. It is becoming.

현재 개발되고 있는 차량용 블랙박스 시스템(즉, 차량용 이미지 녹화 장치)은 카메라를 이용하여 차량 주변을 촬영한 이미지 데이터를 기록 저장하는 방식이 주를 이루고 있다. A vehicle black box system (ie, a vehicle image recording device) currently being developed mainly uses a camera to record and store image data photographed around a vehicle.

이와 같은 차량용 블랙박스 시스템에 포함되는 카메라 모듈은 디지털 스틸 카메라 혹은 디지털 캠코더와 같은 디지털 이미지 처리 기술이 요구되는 장치로서, 외부 환경 변화에 따라 일정한 휘도(밝기)를 가지는 이미지를 생성하기 위해 자동 노출(Auto Exposure, AE) 제어가 이루어질 필요가 있다. The camera module included in the vehicle black box system is a device that requires digital image processing technology such as a digital still camera or a digital camcorder. The camera module includes an automatic exposure to generate an image having a constant brightness according to the change of the external environment. Auto Exposure (AE) control needs to be achieved.

카메라 모듈은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 고체 촬상소자를 이미지 센서로 이용하며, 이러한 카메라 모듈에서는 이미지 센서에 촬상되는 시간, 조리개의 개구율, 아날로그 이득 등을 조정하여 노출의 양을 조절한다. 이때 이미지 센서에 촬상되는 시간은 셔터의 속도에 해당된다. 즉 통상적인 자동 노출 제어 방법에 의하면, 카메라 모듈에 의해 촬상된 이미지의 휘도를 산출하고, 산출된 휘도가 미리 설정된 목표 휘도에 근접하도록 카메라 모듈의 셔터 속도, 조리개의 개구율, 아날로그 이득 등의 파라미터를 조절함으로써 적정 노출이 결정된다. The camera module uses a solid-state image sensor such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) as an image sensor, and in such a camera module, the time taken by the image sensor, the aperture ratio of the aperture, and the analog gain are adjusted. To control the amount of exposure. In this case, the time captured by the image sensor corresponds to the speed of the shutter. That is, according to the conventional automatic exposure control method, the luminance of an image captured by the camera module is calculated, and parameters such as shutter speed, aperture aperture, and analog gain of the camera module are set such that the calculated luminance approaches a predetermined target luminance. By adjusting the appropriate exposure is determined.

하지만, 평균 휘도를 이용하게 되는 경우 고정된 영역만을 이용하여 정적인 노출 제어가 이루어지게 되는 바, 실외 역광, 야간 전조등이 존재하거나 실내 주차장과 같은 장소에서 주요 피사체(예를 들면, 차량 번호판 등)의 식별이 가능한 적정 노출로의 제어가 어려운 문제점이 있다. However, when the average brightness is used, the static exposure control is performed using only a fixed area, such as a main subject (for example, a license plate, etc.) in a place such as an outdoor backlight, a night headlight, or an indoor parking lot. There is a problem that it is difficult to control the proper exposure that can be identified.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
The above-described background technology is technical information that the inventor holds for the derivation of the present invention or acquired in the process of deriving the present invention, and can not necessarily be a known technology disclosed to the general public prior to the filing of the present invention.

본 발명은 이미지의 특성에 따라 변화되는 적응적인 조정 영역을 설정하고 조정 영역 내에서 고휘도 영역과 저휘도 영역의 비율을 변경함으로써 적정한 노출을 이루어지도록 카메라 모듈을 제어하는 것이 가능한 카메라 모듈의 노출 제어 장치 및 노출 제어 방법을 제공하기 위한 것이다. The present invention provides a camera module exposure control apparatus capable of controlling the camera module to achieve an appropriate exposure by setting an adaptive adjustment region that changes according to the characteristics of an image and changing a ratio of a high luminance region and a low luminance region within the adjustment region. And an exposure control method.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
Other objects of the present invention will be readily understood through the following description.

본 발명의 일 측면에 따르면, 카메라 모듈의 노출을 제어하는 장치로서, 상기 카메라 모듈로부터 제공받은 이미지를 복수의 블록으로 분할하는 블록 분할부; 상기 복수의 블록 각각에 포함되는 픽셀들의 평균 휘도로부터 각 블록의 블록 휘도를 연산하고, 상기 이미지 전체에 대한 평균 휘도를 연산하는 휘도 연산부; 상대적으로 블록 휘도가 높은 하나 이상의 블록을 포함하는 고휘도 영역과, 상대적으로 블록 휘도가 낮은 하나 이상의 블록을 포함하는 저휘도 영역을 포함하는 조정 영역을 설정하는 조정 영역 설정부; 상기 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 조정하는 영역 비율 조정부; 조정된 상기 비율에 따라 상기 이미지 전체에 대한 조정 평균 휘도를 연산하는 조정 평균 휘도 연산부; 및 상기 조정 평균 휘도와 미리 설정된 목표 휘도를 비교한 결과에 따라 상기 카메라 모듈의 노출 속성을 제어하는 노출 제어 신호를 생성하여 출력하는 카메라 모듈 제어부를 포함하는 카메라 모듈의 노출 제어 장치가 제공된다. According to an aspect of the present invention, an apparatus for controlling exposure of a camera module, comprising: a block dividing unit for dividing an image provided from the camera module into a plurality of blocks; A luminance calculator for calculating a block luminance of each block from an average luminance of pixels included in each of the plurality of blocks, and calculating an average luminance of the entire image; An adjustment region setting unit for setting an adjustment region including a high luminance region including one or more blocks having a relatively high block luminance, and a low luminance region including one or more blocks having a relatively low block luminance; An area ratio adjusting unit configured to adjust a ratio of the high luminance region and the low luminance region in the adjustment region according to a result of comparing the average luminance of the entire image with a preset reference luminance; An adjusted average luminance calculator for calculating an adjusted average luminance for the entire image according to the adjusted ratio; And a camera module controller configured to generate and output an exposure control signal for controlling an exposure property of the camera module according to a result of comparing the adjusted average brightness with a preset target brightness.

상기 조정 영역 설정부는 상기 복수의 블록 중 블록 휘도가 가장 높은 블록을 최고휘도 블록으로 검출하고, 상기 최고휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최고휘도 블록과 함께 상기 고휘도 영역으로 설정하고, 상기 복수의 블록 중 블록 휘도가 가장 낮은 블록을 최저휘도 블록으로 검출하고, 상기 최저휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최저휘도 블록과 함께 상기 저휘도 영역으로 설정할 수 있다.The adjustment area setting unit detects a block having the highest block luminance among the plurality of blocks as the highest luminance block, and detects one or more blocks having a block luminance within a predetermined range based on the block luminance of the highest luminance block. It is set to the high luminance area together with the highest luminance block, detects the block having the lowest block luminance among the plurality of blocks as the lowest luminance block, and has a block luminance within a predetermined range based on the block luminance of the lowest luminance block. One or more blocks may be detected and set to the low luminance area together with the lowest luminance block.

상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 작은 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 저휘도 영역이 차지하는 비율을 높이고 상기 고휘도 영역이 차지하는 비율을 낮출 수 있다.The area ratio adjusting unit may increase the ratio of the low luminance region and lower the ratio of the high luminance region so that the size of the adjustment region does not change when the average luminance of the entire image is smaller than the reference luminance.

또는 상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 큰 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 고휘도 영역이 차지하는 비율을 높이고 상기 저휘도 영역이 차지하는 비율을 낮출 수 있다.Alternatively, when the average luminance of the entire image is greater than the reference luminance, the area ratio adjusting unit may increase the ratio of the high luminance region and decrease the ratio of the low luminance region so that the size of the adjustment region does not change.

또는 상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도가 동일한 경우 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 유지할 수 있다. Alternatively, the area ratio adjusting unit may maintain a ratio of the high luminance region and the low luminance region in the adjustment region when the average luminance of the entire image and the reference luminance are the same.

상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도 간의 차이에 대응되도록 상기 비율을 조정할 수 있다.The area ratio adjusting unit may adjust the ratio to correspond to a difference between the average luminance of the entire image and the reference luminance.

상기 조정 평균 휘도 연산부는 상기 조정 영역에 속하는 블록에 대해서는 상기 영역 비율 조정부에서의 조정이 수행되기 이전 상기 고휘도 영역의 평균 휘도와 상기 저휘도 영역의 평균 휘도에 대하여 상기 영역 비율 조정부에서 조정된 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 각각 적용시켜 상기 조정 평균 휘도를 연산할 수 있다. The adjustment average luminance calculating unit adjusts the high luminance adjusted by the area ratio adjusting unit with respect to the average luminance of the high luminance region and the average luminance of the low luminance region before the adjustment in the area ratio adjusting unit is performed for the blocks belonging to the adjustment region. The adjusted average luminance may be calculated by applying a ratio occupied by a region and the low luminance region, respectively.

상기 카메라 모듈의 노출 속성은 셔터 속도, 조리개 개구율, 아날로그 이득 중 하나 이상을 포함할 수 있다. The exposure attribute of the camera module may include one or more of a shutter speed, an aperture aperture ratio, and an analog gain.

한편, 본 발명의 다른 측면에 따르면, 노출 제어 장치에서 상기 카메라 모듈의 노출을 제어하는 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다. Meanwhile, according to another aspect of the present invention, a method of controlling exposure of the camera module in an exposure control apparatus and a recording medium on which a program for performing the same are recorded is provided.

일 실시예에 따른 노출 제어 방법은, (a) 상기 카메라 모듈로부터 제공받은 이미지를 복수의 블록으로 분할하는 단계; (b) 상기 복수의 블록 각각에 포함되는 픽셀들의 평균 휘도로부터 각 블록의 블록 휘도를 연산하고, 상기 이미지 전체에 대한 평균 휘도를 연산하는 단계; (c) 상대적으로 블록 휘도가 높은 하나 이상의 블록을 포함하는 고휘도 영역과, 상대적으로 블록 휘도가 낮은 하나 이상의 블록을 포함하는 저휘도 영역을 포함하는 조정 영역을 설정하는 단계; (d) 상기 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 조정하는 단계; (e) 조정된 상기 비율에 따라 상기 이미지 전체에 대한 조정 평균 휘도를 연산하는 단계; 및 (f) 상기 조정 평균 휘도와 미리 설정된 목표 휘도를 비교한 결과에 따라 상기 카메라 모듈의 노출 속성을 제어하는 노출 제어 신호를 생성하여 출력하는 단계를 포함할 수 있다. Exposure control method according to an embodiment, (a) dividing the image provided from the camera module into a plurality of blocks; (b) calculating a block luminance of each block from an average luminance of pixels included in each of the plurality of blocks, and calculating an average luminance of the entire image; (c) setting an adjustment region including a high luminance region including at least one block having a relatively high block luminance, and a low luminance region including at least one block having a relatively low block luminance; adjusting a ratio of the high luminance region and the low luminance region in the adjustment region according to a result of comparing the average luminance of the entire image with a preset reference luminance; (e) calculating an adjusted average brightness of the entire image according to the adjusted ratio; And (f) generating and outputting an exposure control signal for controlling the exposure property of the camera module according to a result of comparing the adjusted average brightness with a preset target brightness.

상기 단계 (c)는, (c1) 상기 복수의 블록 중 블록 휘도가 가장 높은 블록을 최고휘도 블록으로 검출하는 단계와, (c2) 상기 최고휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최고휘도 블록과 함께 상기 고휘도 영역으로 설정하는 단계와, (c3) 상기 복수의 블록 중 블록 휘도가 가장 낮은 블록을 최저휘도 블록으로 검출하는 단계와, (c4) 상기 최저휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최저휘도 블록과 함께 상기 저휘도 영역으로 설정하는 단계를 포함할 수 있다.The step (c) may include (c1) detecting a block having the highest block luminance among the plurality of blocks as the highest luminance block, and (c2) a block that falls within a predetermined range based on the block luminance of the highest luminance block. Detecting one or more blocks having luminance and setting the high luminance region together with the highest luminance block; (c3) detecting the lowest luminance block among the plurality of blocks as the lowest luminance block; The method may include detecting one or more blocks having a block luminance within a predetermined range based on the block luminance of the lowest luminance block and setting the lower luminance region together with the lowest luminance block.

상기 단계 (d)는, 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 작은 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 저휘도 영역이 차지하는 비율을 높이고 상기 고휘도 영역이 차지하는 비율을 낮출 수 있다.In the step (d), when the average luminance of the entire image is smaller than the reference luminance, the ratio of the low luminance region may be increased and the ratio of the high luminance region may be lowered so that the size of the adjustment region does not change.

또는 상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 큰 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 고휘도 영역이 차지하는 비율을 높이고 상기 저휘도 영역이 차지하는 비율을 낮출 수 있다.Alternatively, in the step (d), when the average luminance of the entire image is larger than the reference luminance, the ratio of the high luminance region may be increased and the ratio of the low luminance region may be lowered so that the size of the adjustment region does not change.

또는 상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도가 동일한 경우 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 유지할 수 있다. Alternatively, step (d) may maintain a ratio of the high luminance region and the low luminance region within the adjustment region when the average luminance of the entire image and the reference luminance are the same.

상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도 간의 차이에 대응되도록 상기 비율을 조정할 수도 있다. In step (d), the ratio may be adjusted so as to correspond to a difference between the average brightness of the entire image and the reference brightness.

상기 단계 (e)는 상기 조정 영역에 속하는 블록에 대해서는 상기 영역 비율 조정부에서의 조정이 수행되기 이전 상기 고휘도 영역의 평균 휘도와 상기 저휘도 영역의 평균 휘도에 대하여 상기 영역 비율 조정부에서 조정된 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 각각 적용시켜 상기 조정 평균 휘도를 연산할 수 있다.The step (e) is performed by the region ratio adjusting unit with respect to the average luminance of the high luminance region and the average luminance of the low luminance region before the adjustment in the region ratio adjusting unit is performed on the block belonging to the adjusting region. The adjusted average luminance may be calculated by applying a ratio occupied by a region and the low luminance region, respectively.

상기 카메라 모듈의 노출 속성은 셔터 속도, 조리개 개구율, 아날로그 이득 중 하나 이상을 포함할 수 있다. The exposure attribute of the camera module may include one or more of a shutter speed, an aperture aperture ratio, and an analog gain.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 이미지의 특성에 따라 변화되는 적응적인 조정 영역을 설정하고 조정 영역 내에서 고휘도 영역과 저휘도 영역의 비율을 변경함으로써 적정한 노출을 이루어지도록 카메라 모듈을 제어하는 것이 가능한 효과가 있다.
According to an embodiment of the present invention, it is possible to control the camera module to achieve an appropriate exposure by setting an adaptive adjustment region that varies according to the characteristics of the image and changing the ratio of the high luminance region and the low luminance region within the adjustment region. There is.

도 1은 본 발명의 일 실시예에 따른 카메라 시스템에서 이용되는 카메라 모듈의 노출 제어 장치의 개략적인 구성 블록도.
도 2는 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 수행되는 노출 제어 과정을 설명하기 위한 예시도.
도 3은 실제 촬상된 이미지를 이용하여 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 노출 제어를 수행하는 과정을 설명하기 위한 예시도 및 노출 제어된 이미지의 예시도.
도 4는 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 카메라 모듈의 노출을 제어하는 방법의 순서도.1 is a schematic block diagram of an exposure control apparatus of a camera module used in a camera system according to an embodiment of the present invention.
2 is an exemplary view for explaining an exposure control process performed in the exposure control apparatus of the camera module according to an embodiment of the present invention.
3 is an exemplary view for explaining a process of performing exposure control in the exposure control device of the camera module according to an embodiment of the present invention using the actual captured image and an illustration of the exposure controlled image.
4 is a flow chart of a method for controlling exposure of a camera module in the exposure control apparatus of the camera module according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms " part, "" module," and the like, which are described in the specification, refer to a unit for processing at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 카메라 시스템에서 이용되는 카메라 모듈의 노출 제어 장치의 개략적인 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 수행되는 노출 제어 과정을 설명하기 위한 예시도이다. 1 is a schematic block diagram of an exposure control apparatus of a camera module used in a camera system according to an embodiment of the present invention, Figure 2 is performed in the exposure control apparatus of a camera module according to an embodiment of the present invention It is an exemplary view for explaining an exposure control process.

도 1을 참조하면, 본 발명에 따른 카메라 시스템(1)은 카메라 모듈(10) 및 노출 제어 장치(100)를 포함한다. Referring to FIG. 1, a camera system 1 according to the present invention includes a camera module 10 and an exposure control device 100.

카메라 모듈(10)은 렌즈 및 이미지 센서를 포함하여 구성된다. 렌즈를 통해 피사체의 광학 이미지가 이미지 센서로 전달되며, 이미지 센서는 피사체의 광학 이미지를 전기적인 신호로 변환하여 이미지 데이터로 출력한다. 이미지 센서는 픽셀(pixel)로 불리는 작은 감광 다이오드들의 어레이로 구성된다. 그리고 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 각 픽셀이 감지하여 전기적인 값으로 읽어내고 이를 신호처리가 가능한 레벨로 만들어준다. The camera module 10 includes a lens and an image sensor. The optical image of the subject is transmitted to the image sensor through the lens, and the image sensor converts the optical image of the subject into an electrical signal and outputs the image data. The image sensor consists of an array of small photosensitive diodes called pixels. In addition, each pixel senses the brightness and wavelength of different light from each subject, reads it as an electric value, and makes it possible to process the signal.

이미지 센서는 여러 개의 픽셀이 격자 무늬인 2차원 구조로 배열될 수 있으며, 각 픽셀은 들어오는 빛의 밝기에 따라서 이를 전기적인 신호로 변환시키게 된다. 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고 이를 이용하여 픽셀 단위의 이미지를 구성할 수 있다. The image sensor can be arranged in a two-dimensional structure in which several pixels are grid-patterned, and each pixel converts it into an electrical signal according to the brightness of incoming light. By measuring the electrical signal, the amount of light flowing into each pixel can be known and used to construct an image in units of pixels.

카메라 모듈(10)은 신호 처리가 완료된 이미지 데이터를 출력하게 되며, 카메라 모듈(10)에 의해 출력되는 이미지 데이터를 신호 처리하기 위한 구성요소(예를 들어, 이미지 시그널 프로세서(ISP), 멀티미디어 프로세서 등)로서 카메라 시스템(1)에 포함될 수 있는 각 구성요소는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략하기로 한다. The camera module 10 outputs the image data of which signal processing is completed, and components for signal processing the image data output by the camera module 10 (for example, an image signal processor (ISP), a multimedia processor, etc.). Since each component that can be included in the camera system 1 is somewhat distanced from the gist of the present invention, description thereof will be omitted.

카메라 모듈(10)은 이미지 센서가 빛에 노출되는 시간을 조정하는 셔터, 렌즈 구경을 조정하는 조리개, 이미지 센서로부터 출력되는 전기신호를 소정의 아날로그 이득에 따라 증폭하는 아날로그 이득 증폭기 중 하나 이상을 포함하고 있다. 따라서, 셔터 속도 또는/및 조리개의 개구율을 조절하여 이미지 센서에 노출되는 빛의 양을 결정하거나 아날로그 이득을 조절하여 이미지 센서에서 출력되는 이미지 데이터의 휘도를 결정할 수 있다.The camera module 10 includes one or more of a shutter for adjusting the time the image sensor is exposed to light, an aperture for adjusting the lens aperture, and an analog gain amplifier for amplifying the electric signal output from the image sensor according to a predetermined analog gain. Doing. Therefore, by adjusting the shutter speed and / or aperture ratio of the aperture, the amount of light exposed to the image sensor may be determined or the analog gain may be adjusted to determine the brightness of the image data output from the image sensor.

본 실시예에 따른 노출 제어 장치(100)는 카메라 모듈(10)에 의해 촬영된 이미지 내에서 적응적으로 그 크기가 결정되는 조정 영역 내에서 고휘도 영역과 저휘도 영역의 비율을 조절함으로써 카메라 모듈(10)의 노출 속성(예를 들어 셔터 속도, 조리개 개구율, 혹은 아날로그 이득 등)을 결정하여 해당 카메라 모듈(10)에 적용시킴으로써, 적정 휘도를 가지는 이미지가 촬영될 수 있도록 한다. The exposure control apparatus 100 according to the present embodiment adjusts the ratio of the high luminance region and the low luminance region in the adjustment region in which the size is adaptively determined in the image photographed by the camera module 10. The exposure property (eg, shutter speed, aperture aperture ratio, or analog gain, etc.) of 10) is determined and applied to the corresponding camera module 10, so that an image having an appropriate brightness can be captured.

본 실시예에 따른 노출 제어 장치(100)는 카메라 모듈(10)과 유선 또는 무선 네트워크를 통해 연결되어 있어 카메라 모듈(10)에 의해 촬영된 이미지 데이터를 입력받고, 카메라 모듈(10)의 노출 속성을 제어하기 위한 신호를 출력한다. 물론, 노출 제어 장치(100)가 카메라 모듈(10)과 일체형으로 통합되어 개별적인 카메라 시스템을 구성할 수도 있을 것이다.The exposure control apparatus 100 according to the present embodiment is connected to the camera module 10 through a wired or wireless network to receive image data captured by the camera module 10, and to expose the exposure property of the camera module 10. Outputs a signal to control. Of course, the exposure control device 100 may be integrated with the camera module 10 to configure a separate camera system.

도 1을 참조하면, 본 실시예에 따른 노출 제어 장치(100)는 블록 분할부(110), 휘도 연산부(120), 조정 영역 설정부(130), 영역 비율 조정부(140), 조정 평균 휘도 연산부(150), 카메라 모듈 제어부(160)를 포함한다. Referring to FIG. 1, the exposure control apparatus 100 according to the present exemplary embodiment may include a block divider 110, a luminance calculator 120, an adjustment region setting unit 130, an area ratio adjustment unit 140, and an adjustment average luminance calculation unit. 150, a camera module controller 160.

블록 분할부(110)는 카메라 모듈(10)로부터 제공받은 이미지를 복수의 블록으로 분할한다. 분할된 복수의 블록은 서로 동일한 크기를 가질 수 있다. 도 2의 (a)를 참조하면, 카메라 모듈(10)로부터 제공받은 이미지(200)가 25개의 블록으로 분할된 예시가 도시되어 있지만, 본 발명은 이에 한정되지 않으며, 실시예에 따라 블록의 수, 블록의 크기 등은 가변될 수 있음은 물론이다.The block dividing unit 110 divides the image provided from the camera module 10 into a plurality of blocks. The plurality of divided blocks may have the same size as each other. Referring to FIG. 2A, an example in which the image 200 provided from the camera module 10 is divided into 25 blocks is illustrated. However, the present invention is not limited thereto, and the number of blocks according to the embodiment is illustrated. Of course, the size of the block may be varied.

휘도 연산부(120)는 각 블록에 포함되는 픽셀들의 픽셀값을 이용하여 각 블록 내에 포함된 픽셀들의 평균 휘도를 나타내는 블록 휘도를 연산하여 출력한다. 카메라 모듈(10)로부터 제공받은 이미지는 각 픽셀의 픽셀값이 예를 들어 RGB값으로 표현되는 RGB 색공간에 표현된 이미지일 수 있다. 휘도 연산부(120)는 이미지가 표현된 색공간을 예를 들어 YCbCr 색공간으로 변환함으로써, 이미지의 각 픽셀에 가지는 RGB값으로부터 YCbCr 색공간에서의 Y값을 산출하여 블록 휘도를 연산할 수 있을 것이다. The luminance calculator 120 calculates and outputs a block luminance indicating an average luminance of pixels included in each block by using pixel values of pixels included in each block. The image provided from the camera module 10 may be an image expressed in an RGB color space in which pixel values of each pixel are expressed, for example, as RGB values. The luminance calculator 120 may calculate the block luminance by converting the color space in which the image is expressed into, for example, the YCbCr color space, and calculating the Y value in the YCbCr color space from the RGB values of each pixel of the image. .

또한, 휘도 연산부(120)는 이미지 전체에 대한 평균 휘도를 연산하여 출력할 수 있다. 평균 휘도는 후술할 영역 비율 조정부(140)에서 비율 조정을 위한 비교값으로 이용된다. In addition, the luminance calculator 120 may calculate and output an average luminance of the entire image. The average luminance is used as a comparison value for the ratio adjustment in the area ratio adjustment unit 140 to be described later.

조정 영역 설정부(130)는 블록 분할부(110)에 의해 분할된 복수의 블록 중 상대적으로 블록 휘도가 높은 블록으로 구성된 고휘도 영역과 상대적으로 블록 휘도가 낮은 블록으로 구성된 저휘도 영역을 조정 영역으로 설정한다. 여기서, 고휘도 영역과 저휘도 영역은 각각 하나 이상의 블록들을 포함할 수 있다. The adjustment area setting unit 130 includes a high brightness area composed of blocks having a relatively high block brightness among the plurality of blocks divided by the block divider 110 and a low brightness area composed of blocks having a relatively low block brightness as the adjustment area. Set it. Here, the high luminance region and the low luminance region may each include one or more blocks.

고휘도 영역을 설정하는 과정을 도 2의 (a) 및 (b)를 참조하여 설명하면 다음과 같다. 우선 블록 휘도가 가장 높은 블록이 최고휘도 블록(BH)으로 선택된다. 최고휘도 블록(BH)의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록(BH1, BH2, BH3, BH4)을 검출하여 최고휘도 블록(BH)과 함께 고휘도 영역(210)으로 설정되도록 한다. 여기서, 미리 정해진 범위는 실험적, 통계적 방식에 의해 미리 결정되거나 사용자에 의해 수정 결정될 수 있을 것이다.A process of setting the high luminance region is described below with reference to FIGS. 2A and 2B. First, the block having the highest block luminance is selected as the highest luminance block B H. Detecting a maximum luminance block (B H) one or more blocks (B H1, B H2, B H3, B H4) having a block brightness fall within a predetermined range relative to the block luminance of the with the highest luminance block (B H) It is set to the high luminance region 210. Here, the predetermined range may be predetermined by an experimental and statistical method or modified by a user.

저휘도 영역을 설정하는 과정 역시 유사하다. 도 2의 (a) 및 (b)를 참조하면, 우선 블록 휘도가 가장 낮은 블록이 최저휘도 블록(BL)으로 선택된다. 최저휘도 블록(BL)의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록(BL1, BL2, BL3, BL4)을 검출하여 최저휘도 블록(BL)과 함께 저휘도 영역(220)으로 설정되도록 한다. 여기서, 미리 정해진 범위는 실험적, 통계적 방식에 의해 미리 결정되거나 사용자에 의해 수정 결정될 수 있을 것이다. The process of setting the low luminance area is similar. Referring to FIGS. 2A and 2B, a block having the lowest block luminance is first selected as the lowest luminance block B L. By detecting the minimum luminance block (B L) one or more blocks (B L1, B L2, B L3, B L4) having a block brightness fall within a predetermined range relative to the block brightness together with the lowest luminance block (B L) It is set to the low luminance region 220. Here, the predetermined range may be predetermined by an experimental and statistical method or modified by a user.

조정 영역 설정부(130)는 전술한 과정을 통해 설정된 고휘도 영역(210) 및 저휘도 영역(220)을 모두 포함하여 조정 영역(230)으로 설정한다. 카메라 모듈(10)로부터 제공받은 이미지에 따라서 고휘도 영역(210)과 저휘도 영역(220)의 위치, 크기 등이 가변되는 바 조정 영역(230) 역시 이미지의 특성에 따라 적응적으로 가변된다. 이처럼 가변되는 조정 영역(230)을 이용하여 카메라 모듈(10)의 노출 속성을 결정하여 노출 제어를 수행하게 된다. The adjustment region setting unit 130 includes both the high luminance region 210 and the low luminance region 220 set through the above-described process to set the adjustment region 230. According to the image provided from the camera module 10, the position and size of the high luminance region 210 and the low luminance region 220 are changed, and thus the adjustment region 230 is also adaptively changed according to the characteristics of the image. The exposure control of the camera module 10 is determined by using the variable adjustment area 230 as described above.

영역 비율 조정부(140)는 휘도 연산부(120)에서 연산된 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 조정 영역 설정부(130)에 의해 설정된 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율을 조정한다. The region ratio adjusting unit 140 may adjust the high luminance region and the low luminance within the adjusting region set by the adjusting region setting unit 130 according to a result of comparing the average luminance of the entire image calculated by the luminance calculating unit 120 with the preset reference luminance. Adjust the percentage occupied by the area.

기준 휘도는 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율을 조정하기 위한 파라미터로서, 실험적, 통계적 방식에 의해 미리 설정되거나 사용자에 의해 수정 설정될 수 있을 것이다. 예를 들면, 노출 제어를 통해 카메라 모듈(10)로부터 생성되어 출력되는 이미지의 목표 휘도가 기준 휘도로 설정될 수 있다. The reference luminance is a parameter for adjusting the ratio of the high luminance region and the low luminance region within the adjustment region, and may be preset in an experimental or statistical manner or modified by the user. For example, the target luminance of the image generated and output from the camera module 10 through exposure control may be set as the reference luminance.

영역 비율 조정부(140)는 이미지 전체에 대한 평균 휘도와 기준 휘도의 차이 크기에 상응하여 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율의 조정 정도를 결정할 수 있다. The region ratio adjusting unit 140 may determine the degree of adjustment of the ratio of the high luminance region and the low luminance region in the adjustment region corresponding to the difference between the average luminance and the reference luminance of the entire image.

이미지 전체에 대한 평균 휘도로부터 기준 휘도를 차감한 값을 미리 설정된 단위로 나눈 값이 비율 조정 기준치가 되며, 이러한 비율 기준 조정치에 비례하도록 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율을 조정할 수 있을 것이다. 예를 들어 이미지 전체에 대한 평균 휘도가 80이고 기준 휘도가 100인 경우 그 차이는 -20이 되며, 미리 설정된 단위가 10인 경우 비율 조정 기준치는 -2가 될 것이다. 비율 조정 기준치가 음수인 경우 이미지의 밝기 특성이 어두운 것을 의미하는 바, 저휘도 영역의 블록 수를 비율 조정 기준치에 비례하여 2개만큼 늘리고 고휘도 영역의 블록 수를 2개만큼 줄이는 방법으로 영역 비율을 조정할 수 있다. The ratio obtained by subtracting the reference luminance from the average luminance of the entire image by a predetermined unit becomes the scale adjustment reference value, and adjusts the ratio of the high luminance region and the low luminance region within the adjustment region to be proportional to the ratio reference adjustment value. Could be. For example, if the average luminance of the entire image is 80 and the reference luminance is 100, the difference is -20, and if the preset unit is 10, the ratio adjustment reference value will be -2. Negative scaling means that the brightness characteristics of the image are dark, which means that increasing the number of blocks in the low luminance area by two proportions to the scaling standard and reducing the number of blocks in the high luminance area by two decreases the area ratio. I can adjust it.

여기서, 비율 조정 기준치를 산출하기 위한 단위는 사용자에 의해 수정 변경될 수 있으며, 비율 조정 기준치에 비례하여 저휘도 영역과 고휘도 영역에 대하여 가감되는 블록 수 역시 사용자에 의해 수정 변경될 수 있을 것이다. Here, the unit for calculating the ratio adjustment reference value may be modified by the user, and the number of blocks added or subtracted for the low luminance area and the high luminance area in proportion to the ratio adjustment reference value may also be modified and changed by the user.

영역 비율 조정부(140)에 의해 조정되는 조정 영역 내에서의 고휘도 영역과 저휘도 영역은 그 조정 단위가 블록 단위 혹은 보다 세분화된 단위일 수 있다. 즉, 비율 조정 기준치에 따라 저휘도 영역의 블록 수를 0.5개만큼 늘리고 고휘도 영역의 블록 수를 0.5개만큼 줄이는 방법으로 영역 비율을 조정하는 것도 가능할 것이다. The high luminance region and the low luminance region in the adjustment region adjusted by the region ratio adjusting unit 140 may be a block unit or a more granular unit. In other words, it may be possible to adjust the area ratio by increasing the number of blocks in the low luminance region by 0.5 and reducing the number of blocks in the high luminance region by 0.5 according to the ratio adjustment reference value.

이하 영역 비율 조정부(140)에서 영역 비율을 조정하는 과정을 보다 상세히 설명하기로 한다. 우선 비교 결과 평균 휘도가 기준 휘도보다 작은 경우는 카메라 모듈(10)로부터 생성되어 출력된 이미지가 전체적으로 어두운 경우에 해당한다. 이때 조정 영역 중 저휘도 영역이 차지하는 비율을 높임으로써 이미지의 어두운 특성이 보다 강조되도록 한다. 여기서, 해당 이미지 내의 조정 영역의 크기가 변화하지 않도록 저휘도 영역의 높아진 비율에 상응하여 고휘도 영역의 비율은 낮아지게 된다. 예를 들면, 도 2의 (c)에 도시된 것과 같이 조정 영역이 5개 블록의 저휘도 영역과 5개 블록의 고휘도 영역을 포함하여 총 10개의 블록으로 이루어진 경우, 저휘도 영역이 차지하는 비율을 7개 블록으로 높이고(즉, BH1과 BH4가 저휘도 영역에 속하도록 함) 고휘도 영역이 차지하는 비율은 3개 블록으로 낮추어 조정 영역을 구성하는 블록의 수가 10개를 유지하도록 할 수 있다. Hereinafter, the process of adjusting the area ratio in the area ratio adjusting unit 140 will be described in more detail. First, the comparison result is that the average luminance is less than the reference luminance corresponds to the case where the image generated and output from the camera module 10 is entirely dark. At this time, by increasing the ratio of the low luminance region of the adjustment region to the dark characteristics of the image to be more emphasized. Here, the ratio of the high luminance region is lowered corresponding to the increased ratio of the low luminance region so that the size of the adjustment region in the image does not change. For example, as shown in (c) of FIG. 2, when the adjustment area consists of 10 blocks including the low luminance area of 5 blocks and the high luminance area of 5 blocks, the ratio of the low luminance area occupies the ratio. It can be increased to seven blocks (that is, B H1 and B H4 belong to the low luminance region) and the ratio of the high luminance region to three blocks can be lowered to maintain the number of blocks constituting the adjustment region.

다음으로 비교 결과 평균 휘도가 기준 휘도보다 큰 경우는 카메라 모듈(10)로부터 생성되어 출력된 이미지가 전체적으로 밝은 경우에 해당한다. 이때 조정 영역 중 고휘도 영역이 차지하는 비율을 높임으로써 이미지의 밝은 특성이 보다 강조되도록 한다. 여기서, 해당 이미지 내의 조정 영역의 크기가 변화하지 않도록 고휘도 영역의 높아진 비율에 상응하여 저휘도 영역의 비율은 낮아지게 된다. 예를 들면, 조정 영역이 5개 블록의 저휘도 영역과 5개 블록의 고휘도 영역을 포함하여 총 10개의 블록으로 이루어진 경우, 고휘도 영역이 차지하는 비율을 6개 블록으로 높인 경우에 저휘도 영역이 차지하는 비율은 4개 블록으로 낮추어 조정 영역을 구성하는 블록의 수가 10개를 유지하도록 할 수 있다. Next, as a result of the comparison, when the average brightness is greater than the reference brightness, the image generated and output from the camera module 10 is generally bright. At this time, by increasing the ratio of the high luminance region of the adjustment region to the bright characteristics of the image to be more emphasized. Here, the ratio of the low luminance region is lowered corresponding to the increased ratio of the high luminance region so that the size of the adjustment region in the image does not change. For example, if the adjustment area consists of 10 blocks including a low luminance area of 5 blocks and a high luminance area of 5 blocks, the low luminance area occupies when the ratio of the high luminance area is increased to 6 blocks. The ratio can be lowered to four blocks so that the number of blocks constituting the adjustment area is kept to ten.

또는 비교 결과 평균 휘도와 기준휘도가 동일하거나 미리 설정된 오차 범위 이내의 차이를 가지는 경우에는 카메라 모듈(10)로부터 출력된 이미지가 적정한 밝기를 가지는 경우에 해당하는 바, 조정 영역 내의 저휘도 영역과 고휘도 영역의 비율을 그대로 유지하여 이미지의 밝기 특성이 유지되도록 한다. Alternatively, when the comparison result shows that the average luminance and the reference luminance have the same difference or within a preset error range, the image output from the camera module 10 has the appropriate brightness. By maintaining the ratio of the area, the brightness characteristic of the image is maintained.

조정 평균 휘도 연산부(150)는 영역 비율 조정부(140)에 의해 조정된 비율에 따른 고휘도 영역과 저휘도 영역을 가지는 조정 영역을 포함하는 이미지 전체에 대해서 조정 평균 휘도를 연산하여 출력한다. The adjusted average luminance calculator 150 calculates and outputs the adjusted average luminance of the entire image including the adjustment region having the high luminance region and the low luminance region according to the ratio adjusted by the region ratio adjuster 140.

조정 평균 휘도의 산출 과정은 다음과 같다. The process of calculating the adjusted average brightness is as follows.

우선 조정 영역 설정부(130)에서 설정된 조정 영역(230)에 속하는 블록들을 제외한 나머지 블록들에 대해서는 휘도 연산부(120)에서 연산된 블록 휘도를 그대로 이용한다. 그리고 조정 영역에 속하는 블록들에 대해서는 영역 비율 조정부(140)에서 조정이 수행되기 이전에 산출된 고휘도 영역(210)의 평균 휘도와 저휘도 영역(220)의 평균 휘도에 대하여 영역 비율 조정부(140)에서 조정된 고휘도 영역과 저휘도 영역이 차지하는 비율을 적용시킨다. First, the block luminance calculated by the luminance calculator 120 is used for the remaining blocks except for the blocks belonging to the adjustment region 230 set by the adjustment region setting unit 130. For the blocks belonging to the adjustment region, the area ratio adjustment unit 140 is applied to the average luminance of the high luminance region 210 and the average luminance of the low luminance region 220 calculated before the adjustment is performed by the region ratio adjustment unit 140. Apply the ratio of the adjusted high and low luminance areas to.

예를 들어, 총 25개의 블록으로 분할된 이미지 내에 5개의 블록을 가지는 고휘도 영역과 5개의 블록을 가지는 저휘도 영역을 포함하는 조정 영역이 설정되었을 때, 도 2의 (c)에 도시된 것과 같이 영역 비율 조정부(140)에서 3개 블록의 고휘도 영역과 7개 블록의 저휘도 영역으로 영역 비율이 조정된 경우를 가정하여 설명하기로 한다. For example, when an adjustment region including a high luminance region having five blocks and a low luminance region having five blocks is set in an image divided into a total of 25 blocks, as shown in FIG. 2C. The area ratio adjusting unit 140 will be described on the assumption that the area ratio is adjusted to a high luminance area of three blocks and a low luminance area of seven blocks.

이 경우 조정 평균 휘도는 (15*LS+3*LH+7*LL)/25가 된다. 여기서, LS는 비조정 영역들의 평균 휘도, LH는 영역 비율 조정 이전의 고휘도 영역의 평균 휘도(즉, BH, BH1, BH2, BH3, BH4의 평균휘도), LL은 영역 비율 조정 이전의 저휘도 영역의 평균 휘도(즉, BL, BL1, BH2, BL3, BL4의 평균휘도)이다. 즉, 조정 영역 내에서 고휘도 영역에 해당하던 부분을 저휘도 영역으로 변경하여 평균 휘도를 산출함으로써 이미지의 어두운 특성을 보다 강조할 수 있게 된다. In this case, the adjusted average luminance is (15 * LS + 3 * LH + 7 * LL) / 25. Here, LS is the average luminance of the unadjusted regions, LH is the average luminance of the high luminance region before the region ratio adjustment (ie, the average luminance of B H , B H1 , B H2 , B H3 , B H4 ), and LL is the region ratio adjustment The average luminance of the previous low luminance region (ie, the average luminance of B L , B L1 , B H2 , B L3 , B L4 ). That is, by changing the portion corresponding to the high luminance region within the adjustment region to the low luminance region to calculate the average luminance, it is possible to further emphasize the dark characteristics of the image.

이때 조정 평균 휘도가 종래의 평균 휘도보다 그 값이 작게 산출된 경우 이미지의 어두운 특성이 보다 강조되어서 카메라 모듈(10)에서의 노출값을 보다 증가시키게 된다.In this case, when the adjusted average luminance is calculated to be smaller than the conventional average luminance, the dark characteristics of the image are more emphasized to increase the exposure value of the camera module 10.

카메라 모듈 제어부(160)는 조정 평균 휘도 연산부(150)에서 연산된 조정 평균 휘도에 기초하여 카메라 모듈(10)의 노출 속성을 제어하기 위한 노출 제어 신호를 생성하여 카메라 모듈(10)로 출력한다. The camera module controller 160 generates an exposure control signal for controlling the exposure property of the camera module 10 based on the adjusted average brightness calculated by the adjusted average brightness calculator 150 and outputs the exposure control signal to the camera module 10.

상세하게는 미리 설정된 목표 휘도와 조정 평균 휘도를 비교하고, 조정 평균 휘도가 목표 휘도에 도달할 수 있도록 카메라 모듈(10)의 노출 속성을 제어하는 노출 제어 신호를 생성한다. 노출 제어 신호는 목표 휘도와 조정 평균 휘도의 비율에 상응하여 카메라 모듈(10)의 셔터 속도, 조리개 개구율, 아날로그 이득 등 중 하나 이상의 노출 속성이 변경되도록 한다. 예를 들어 목표 휘도가 조정 평균 휘도의 a배인 경우(a는 양의 실수) 셔터 속도, 조리개 개구율, 아날로그 이득을 조정하여 a배 밝은 노출이 이루어지도록 한다. In detail, an exposure control signal for controlling the exposure property of the camera module 10 is generated by comparing the preset target luminance with the adjusted average luminance and allowing the adjusted average luminance to reach the target luminance. The exposure control signal causes the exposure property of one or more of the shutter speed, the aperture opening ratio, the analog gain, etc. of the camera module 10 to be changed in correspondence with the ratio of the target luminance to the adjusted average luminance. For example, when the target luminance is a times the adjusted average luminance (a is a positive real number), the shutter speed, aperture aperture ratio, and analog gain are adjusted to achieve a brighter exposure.

전술한 노출 제어 장치(100)에서 각 구성요소의 동작 및 기능에 대하여 도 3에 도시된 이미지를 예시로 상세히 설명하기로 한다. 도 3은 실제 촬상된 이미지를 이용하여 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 노출 제어를 수행하는 과정을 설명하기 위한 예시도 및 노출 제어된 이미지의 예시도이다.The operation and function of each component in the above-described exposure control apparatus 100 will be described in detail with reference to the image shown in FIG. 3. 3 is an exemplary view for explaining a process of performing exposure control in an exposure control apparatus of a camera module according to an embodiment of the present invention using an actual captured image and an exemplary view of an exposure controlled image.

도 3의 (a)를 참조하면, 카메라 모듈(10)로부터 제공받은 이미지(300)로서, 블록 분할부(110)에 의해 25개의 블록으로 분할된 경우가 도시되어 있다. Referring to FIG. 3A, a case in which an image 300 is provided from the camera module 10 and is divided into 25 blocks by the block dividing unit 110 is illustrated.

휘도 연산부(120)에서 연산한 블록 휘도에 기초하여, 조정 영역 설정부(130)는 우선 최고휘도 블록(310)과 최저휘도 블록(320)을 검출한다. 예를 들어, 최고휘도 블록(310)의 블록 휘도는 250이고, 최저휘도 블록(320)의 블록 휘도는 3일 수 있다. Based on the block luminance calculated by the luminance calculator 120, the adjustment area setting unit 130 first detects the highest luminance block 310 and the lowest luminance block 320. For example, the block luminance of the highest luminance block 310 may be 250, and the block luminance of the lowest luminance block 320 may be three.

도 3의 (b)를 참조하면, 조정 영역 설정부(130)는 최고휘도 블록(310)의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 고휘도 영역(315)으로 설정한다. 또한, 조정 영역 설정부(130)는 최저휘도 블록(320)의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 저휘도 영역(325)으로 설정한다. 고휘도 영역(315) 및 저휘도 영역(325)은 함께 조정 영역으로 설정된다. 도 3의 (b)에서는 고휘도 영역(315)이 4개의 블록으로 구성되고, 저휘도 영역(325)이 5개의 블록으로 구성된 경우가 도시되어 있다. Referring to FIG. 3B, the adjustment region setting unit 130 detects one or more blocks having a block luminance within a predetermined range based on the block luminance of the highest luminance block 310 to detect the high luminance region 315. Set to. In addition, the adjustment area setting unit 130 detects one or more blocks having a block brightness within a predetermined range based on the block brightness of the lowest brightness block 320 and sets the low brightness area 325. The high luminance region 315 and the low luminance region 325 are set together as adjustment regions. FIG. 3B illustrates a case where the high luminance region 315 is composed of four blocks and the low luminance region 325 is composed of five blocks.

여기서, 고휘도 영역(315)의 평균 휘도는 240이고, 저휘도 영역(325)의 평균 휘도는 15이며, 고휘도 영역(315)과 저휘도 영역(325)을 제외한 영역, 즉 비조정 영역의 평균 휘도는 68인 경우를 가정한다. Here, the average luminance of the high luminance region 315 is 240, the average luminance of the low luminance region 325 is 15, and the average luminance of the regions other than the high luminance region 315 and the low luminance region 325, that is, the non-adjusted region. Assume the case is 68.

영역 비율 조정부(140)는 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교하여 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율을 조정한다. The region ratio adjusting unit 140 compares the average luminance of the entire image with a preset reference luminance to adjust the ratio of the high luminance region and the low luminance region in the adjustment region.

영역 비율 조정 전의 고휘도 영역(315)의 평균 휘도가 240이고, 저휘도 영역(325)의 평균 휘도가 15이며, 조정 영역에 속하지 않는 블록들의 평균 휘도가 68인 경우, 종래 방법에 의해 이미지 전체에 대하여 84.92(=(68*16+15*5+240*4)/25)라는 평균 휘도가 연산된다.If the average luminance of the high luminance region 315 before the area ratio adjustment is 240, the average luminance of the low luminance region 325 is 15, and the average luminance of the blocks not belonging to the adjustment region is 68, the entire image by the conventional method is applied. An average luminance of 84.92 (= (68 * 16 + 15 * 5 + 240 * 4) / 25) is calculated.

기준 휘도가 100으로 미리 설정된 경우, 평균 휘도가 미리 설정된 기준 휘도보다 작으므로 이미지가 전체적으로 어두운 것으로 볼 수 있다. 따라서, 전술한 바와 같이 영역 비율 조정부(140)에서는 조정 영역 내의 고휘도 영역과 저휘도 영역의 비율을 조정하여 저휘도 영역의 비율을 높이고 고휘도 영역의 비율을 낮추게 된다. When the reference luminance is set to 100 in advance, the average luminance is smaller than the preset reference luminance, so that the image may be viewed as dark overall. Therefore, as described above, the region ratio adjusting unit 140 adjusts the ratio of the high luminance region to the low luminance region in the adjustment region to increase the ratio of the low luminance region and decrease the ratio of the high luminance region.

예를 들어, 조정 영역에서 저휘도 영역이 차지하는 비중을 블록 7개로 높이고 고휘도 영역이 차지하는 비중을 블록 2개로 낮출 수 있을 것이다. 이때 이미지는 7개 블록으로 이루어진 저휘도 영역 및 2개의 블록으로 이루어진 고휘도 영역을 포함하는 조정 영역과, 16개 블록으로 이루어진 비조정 영역을 포함하게 되어 조정 평균 휘도 연산부(150)에서 연산되는 조정 평균 휘도는 66.92(=(68*16+15*7+240*2)/25)가 된다. For example, the ratio of the low luminance area to the seven blocks and the ratio of the high luminance area to the two blocks may be reduced. At this time, the image includes an adjustment region including a low luminance region composed of seven blocks and a high luminance region composed of two blocks, and an unadjusted region composed of sixteen blocks, and thus the adjustment average calculated by the adjustment average luminance calculator 150. The luminance is 66.92 (= (68 * 16 + 15 * 7 + 240 * 2) / 25).

목표 휘도가 100인 경우, 종래 평균 휘도에 따르면 카메라 모듈(10)에서의 노출값이 1.18배(=100/84.92) 증가하도록 노출 속성을 제어할 뿐이지만, 본 발명에 따른 조정 평균 휘도에 따르면 카메라 모듈(10)에서의 노출값이 1.49배(=100/66.92) 증가하도록 노출 속성을 제어하게 된다. 따라서, 종래 방법에 비해 카메라 모듈(10)에서의 노출값이 더 증가될 수 있도록 하여 보다 밝은 이미지의 획득이 가능하게 된다. When the target luminance is 100, according to the conventional average luminance, only the exposure property is controlled so that the exposure value in the camera module 10 increases by 1.18 times (= 100 / 84.92), but according to the adjusted average luminance according to the present invention, the camera module The exposure property is controlled so that the exposure value at (10) increases by 1.49 times (= 100 / 66.92). Therefore, the exposure value in the camera module 10 can be further increased compared to the conventional method, so that a brighter image can be obtained.

도 3의 (c)를 참조하면, 본 실시예에 따라 조정 평균 휘도를 이용하여 카메라 모듈(10)의 노출 속성을 제어한 결과 이미지(350)가 도시되어 있다. 결과 이미지(350)를 참조하면 노출이 증가하여 전체적으로 밝으면서도 주요 피사체의 식별이 가능함을 확인할 수 있다. Referring to FIG. 3C, an image 350 is shown as a result of controlling the exposure property of the camera module 10 using the adjusted average brightness according to the present embodiment. Referring to the resultant image 350, it can be seen that the exposure is increased and the main subject can be identified while being bright overall.

도 4는 본 발명의 일 실시예에 따른 카메라 모듈의 노출 제어 장치에서 카메라 모듈의 노출을 제어하는 방법의 순서도이다. 이하에서 설명되는 각각의 단계는 카메라 모듈의 노출 제어 장치의 각각의 내부 구성요소에 의해 수행될 수 있다.4 is a flowchart of a method of controlling exposure of a camera module in the exposure control apparatus of the camera module according to an embodiment of the present invention. Each step described below may be performed by each internal component of the exposure control device of the camera module.

단계 S400에서, 블록 분할부(110)는 카메라 모듈(10)로부터 제공받은 이미지를 복수의 블록으로 분할한다. 블록의 수, 크기 등은 가변될 수 있으나, 분할된 복수의 블록은 서로 동일한 크기를 가진다. In operation S400, the block dividing unit 110 divides the image provided from the camera module 10 into a plurality of blocks. The number, size, etc. of the blocks may vary, but the plurality of divided blocks have the same size.

단계 S410에서, 휘도 연산부(120)는 각 블록에 속하는 픽셀들의 평균 휘도인 블록 휘도를 연산하여 출력한다. 또한, 휘도 연산부(120)는 이미지 전체에 대한 평균 휘도를 연산하여 출력할 수 있다. In operation S410, the luminance calculator 120 calculates and outputs block luminance, which is an average luminance of pixels belonging to each block. In addition, the luminance calculator 120 may calculate and output an average luminance of the entire image.

단계 S420에서, 조정 영역 설정부(130)는 복수의 블록 중 상대적으로 휘도가 높은 하나 이상의 블록을 고휘도 영역으로 설정하고, 상대적으로 휘도가 낮은 하나 이상의 블록을 저휘도 영역으로 설정하며, 고휘도 영역 및 저휘도 영역을 조정 영역을 설정한다. In operation S420, the adjustment area setting unit 130 sets one or more blocks having a relatively high luminance among the plurality of blocks as the high luminance region, sets one or more blocks having a relatively low luminance as the low luminance region, a high luminance region and Sets the adjustment area for the low luminance area.

블록 휘도가 가장 높은 블록인 최고휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록이 최고휘도 블록과 함께 고휘도 영역으로 설정된다. 또한, 블록 휘도가 가장 낮은 블록인 최저휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록이 최저휘도 블록과 함께 저휘도 영역으로 설정된다.At least one block having a block luminance within a predetermined range based on the block luminance of the highest luminance block, the block having the highest block luminance, is set as the high luminance region together with the highest luminance block. In addition, at least one block having a block luminance within a predetermined range based on the block luminance of the lowest luminance block that is the block having the lowest block luminance is set as the low luminance region together with the lowest luminance block.

고휘도 영역 및 저휘도 영역은 이미지의 밝기 특성에 따라 그 크기, 영역의 평균 휘도 등이 결정되므로, 고휘도 영역과 저휘도 영역을 포함하는 조정 영역은 이미지의 밝기 특성에 따라 적응적으로 결정된다. Since the size of the high luminance region and the low luminance region and the average luminance of the region are determined according to the brightness characteristics of the image, the adjustment region including the high luminance region and the low luminance region is adaptively determined according to the brightness characteristics of the image.

단계 S430에서, 영역 비율 조정부(140)는 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 조정 영역 내에서 고휘도 영역과 저휘도 영역이 차지하는 비율을 조정한다. In operation S430, the region ratio adjusting unit 140 adjusts the ratio of the high luminance region and the low luminance region within the adjustment region according to a result of comparing the average luminance of the entire image with a preset reference luminance.

이미지 전체에 대한 평균 휘도가 기준 휘도보다 작은 경우 이미지가 전체적으로 어두운 특성을 가지므로, 이러한 특성을 더욱 강조하기 위해 조정 영역 내에서 저휘도 영역의 비율을 높이게 된다. 이미지 전체에 대한 평균 휘도가 기준 휘도보다 큰 경우 이미지가 전체적으로 밝은 특성을 가지므로, 이러한 특성을 더욱 강조하기 위해 조정 영역 내에서 고휘도 영역의 비율을 높이게 된다. 이미지 전체에 대한 평균 휘도가 기준 휘도와 동일한 경우 이미지가 전체적으로 적정한 밝기를 가지고 있는 것으로 볼 수 있어 영역 비율의 조정은 수행되지 않을 수 있다. If the average luminance of the entire image is less than the reference luminance, the image has a dark characteristic as a whole, and the ratio of the low luminance region in the adjustment region is increased to further emphasize this characteristic. When the average luminance of the entire image is larger than the reference luminance, the image has a bright characteristic as a whole, and the ratio of the high luminance region in the adjusting region is increased to further emphasize the characteristic. When the average luminance of the entire image is the same as the reference luminance, the image may be regarded as having the appropriate brightness as a whole, and thus the adjustment of the area ratio may not be performed.

단계 S440에서, 조정 평균 휘도 연산부(150)는 조정 영역 내에서 조정된 영역 비율에 따라 고휘도 영역과 저휘도 영역을 가지는 것으로 가정하고, 이미지 전체에 대해서 조정 평균 휘도를 연산하여 출력한다. 조정 평균 휘도의 산출 과정은 앞서 상세히 설명하였는 바 여기에서는 생략하기로 한다. In operation S440, it is assumed that the adjusted average luminance calculator 150 has a high luminance region and a low luminance region according to the ratio of the region adjusted in the adjustment region, and calculates and outputs the adjusted average luminance for the entire image. The process of calculating the adjusted average brightness has been described in detail above, and thus the description thereof will be omitted.

단계 S450에서, 카메라 모듈 제어부(160)는 조정 평균 휘도와 미리 설정된 목표 휘도를 비교하고, 비교 결과에 상응하여 카메라 모듈(10)의 노출 속성을 제어하기 위한 노출 제어 신호를 생성하여 카메라 모듈(10)로 출력한다. In operation S450, the camera module controller 160 compares the adjusted average brightness with a preset target brightness, generates an exposure control signal for controlling the exposure property of the camera module 10 according to the comparison result, and generates the camera module 10. )

상술한 노출 제어 방법은 노출 제어 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.Obviously, the above-described exposure control method may be performed by an automated procedure in a time series order by a software program or the like embedded in the exposure control device. The codes and code segments that make up the program can be easily deduced by a computer programmer in the field. The program is also stored in a computer readable information storage medium, and read and executed by the computer to implement the method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims And changes may be made without departing from the spirit and scope of the invention.

1: 카메라 시스템 10: 카메라 모듈
100: 노출 제어 장치 110: 블록 분할부
120: 휘도 연산부 130: 조정 영역 설정부
140: 영역 비율 조정부 150: 조정 평균 휘도 연산부
160; 카메라 모듈 제어부 200, 300: 이미지
210, 315: 고휘도 영역 220, 325: 저휘도 영역
310: 최고휘도 블록 320: 최저휘도 블록
230: 조정 영역 350: 노출 제어된 이미지1: camera system 10: camera module
100: exposure control device 110: block division
120: luminance calculator 130: adjustment area setting unit
140: region ratio adjusting unit 150: adjusted average luminance calculating unit
160; Camera Module Controls 200 and 300: Images
210, 315: high luminance region 220, 325: low luminance region
310: highest luminance block 320: lowest luminance block
230: Adjustment area 350: Exposure controlled image

Claims (17)

카메라 모듈의 노출을 제어하는 장치로서,
상기 카메라 모듈로부터 제공받은 이미지를 복수의 블록으로 분할하는 블록 분할부;
상기 복수의 블록 각각에 포함되는 픽셀들의 평균 휘도로부터 각 블록의 블록 휘도를 연산하고, 상기 이미지 전체에 대한 평균 휘도를 연산하는 휘도 연산부;
상대적으로 블록 휘도가 높은 하나 이상의 블록을 포함하는 고휘도 영역과, 상대적으로 블록 휘도가 낮은 하나 이상의 블록을 포함하는 저휘도 영역을 포함하는 조정 영역을 설정하는 조정 영역 설정부;
상기 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 조정하는 영역 비율 조정부;
조정된 상기 비율에 따라 상기 이미지 전체에 대한 조정 평균 휘도를 연산하는 조정 평균 휘도 연산부; 및
상기 조정 평균 휘도와 미리 설정된 목표 휘도를 비교한 결과에 따라 상기 카메라 모듈의 노출 속성을 제어하는 노출 제어 신호를 생성하여 출력하는 카메라 모듈 제어부를 포함하되,
상기 조정 영역 설정부는 상기 복수의 블록 중 블록 휘도가 가장 높은 블록을 최고휘도 블록으로 검출하고, 상기 최고휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최고휘도 블록과 함께 상기 고휘도 영역으로 설정하고, 상기 복수의 블록 중 블록 휘도가 가장 낮은 블록을 최저휘도 블록으로 검출하고, 상기 최저휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최저휘도 블록과 함께 상기 저휘도 영역으로 설정하는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
A device for controlling the exposure of the camera module,
A block dividing unit dividing the image provided from the camera module into a plurality of blocks;
A luminance calculator for calculating a block luminance of each block from an average luminance of pixels included in each of the plurality of blocks, and calculating an average luminance of the entire image;
An adjustment region setting unit for setting an adjustment region including a high luminance region including one or more blocks having a relatively high block luminance, and a low luminance region including one or more blocks having a relatively low block luminance;
An area ratio adjusting unit configured to adjust a ratio of the high luminance region and the low luminance region in the adjustment region according to a result of comparing the average luminance of the entire image with a preset reference luminance;
An adjusted average luminance calculator for calculating an adjusted average luminance for the entire image according to the adjusted ratio; And
And a camera module controller configured to generate and output an exposure control signal for controlling an exposure property of the camera module according to a result of comparing the adjusted average brightness with a preset target brightness.
The adjustment area setting unit detects a block having the highest block luminance among the plurality of blocks as the highest luminance block, and detects one or more blocks having a block luminance within a predetermined range based on the block luminance of the highest luminance block. It is set to the high luminance area together with the highest luminance block, detects the block having the lowest block luminance among the plurality of blocks as the lowest luminance block, and has a block luminance within a predetermined range based on the block luminance of the lowest luminance block. And at least one block is detected and set to the low luminance area together with the lowest luminance block.
삭제delete 제1항에 있어서,
상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 작은 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 저휘도 영역이 차지하는 비율을 높이고 상기 고휘도 영역이 차지하는 비율을 낮추는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
The area ratio adjusting unit may increase the ratio of the low luminance region and lower the ratio of the high luminance region so that the size of the adjustment region does not change when the average luminance of the entire image is smaller than the reference luminance. Module's exposure control device.
제1항에 있어서,
상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 큰 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 고휘도 영역이 차지하는 비율을 높이고 상기 저휘도 영역이 차지하는 비율을 낮추는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
The area ratio adjusting unit may increase the ratio of the high luminance region and lower the ratio of the low luminance region so that the size of the adjustment region does not change when the average luminance of the entire image is larger than the reference luminance. Module's exposure control device.
제1항에 있어서,
상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도가 동일한 경우 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 유지하는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
And the area ratio adjusting unit maintains the ratio of the high luminance region and the low luminance region within the adjustment region when the average luminance of the entire image and the reference luminance are the same.
제1항에 있어서,
상기 영역 비율 조정부는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도 간의 차이에 대응되도록 상기 비율을 조정하는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
And the area ratio adjusting unit adjusts the ratio to correspond to a difference between the average luminance of the entire image and the reference luminance.
제1항에 있어서,
상기 조정 평균 휘도 연산부는 상기 조정 영역에 속하는 블록에 대해서는 상기 영역 비율 조정부에서의 조정이 수행되기 이전 상기 고휘도 영역의 평균 휘도와 상기 저휘도 영역의 평균 휘도에 대하여 상기 영역 비율 조정부에서 조정된 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 각각 적용시켜 상기 조정 평균 휘도를 연산하는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
The adjustment average luminance calculating unit adjusts the high luminance adjusted by the area ratio adjusting unit with respect to the average luminance of the high luminance region and the average luminance of the low luminance region before the adjustment in the area ratio adjusting unit is performed for the blocks belonging to the adjustment region. And adjusting the average luminance by applying a ratio occupied by a region and the low luminance region, respectively.
제1항에 있어서,
상기 카메라 모듈의 노출 속성은 셔터 속도, 조리개 개구율, 아날로그 이득 중 하나 이상을 포함하는 것을 특징으로 하는 카메라 모듈의 노출 제어 장치.
The method of claim 1,
The exposure attribute of the camera module may include at least one of a shutter speed, an aperture aperture ratio, and an analog gain.
노출 제어 장치에서 카메라 모듈의 노출을 제어하는 방법으로서,
(a) 상기 카메라 모듈로부터 제공받은 이미지를 복수의 블록으로 분할하는 단계;
(b) 상기 복수의 블록 각각에 포함되는 픽셀들의 평균 휘도로부터 각 블록의 블록 휘도를 연산하고, 상기 이미지 전체에 대한 평균 휘도를 연산하는 단계;
(c) 상대적으로 블록 휘도가 높은 하나 이상의 블록을 포함하는 고휘도 영역과, 상대적으로 블록 휘도가 낮은 하나 이상의 블록을 포함하는 저휘도 영역을 포함하는 조정 영역을 설정하는 단계;
(d) 상기 이미지 전체에 대한 평균 휘도와 미리 설정된 기준 휘도를 비교한 결과에 따라 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 조정하는 단계;
(e) 조정된 상기 비율에 따라 상기 이미지 전체에 대한 조정 평균 휘도를 연산하는 단계; 및
(f) 상기 조정 평균 휘도와 미리 설정된 목표 휘도를 비교한 결과에 따라 상기 카메라 모듈의 노출 속성을 제어하는 노출 제어 신호를 생성하여 출력하는 단계를 포함하되,
상기 단계 (c)는,
(c1) 상기 복수의 블록 중 블록 휘도가 가장 높은 블록을 최고휘도 블록으로 검출하는 단계와,
(c2) 상기 최고휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최고휘도 블록과 함께 상기 고휘도 영역으로 설정하는 단계와,
(c3) 상기 복수의 블록 중 블록 휘도가 가장 낮은 블록을 최저휘도 블록으로 검출하는 단계와,
(c4) 상기 최저휘도 블록의 블록 휘도를 기준으로 미리 정해진 범위 이내에 속하는 블록 휘도를 가지는 하나 이상의 블록을 검출하여 상기 최저휘도 블록과 함께 상기 저휘도 영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
In the exposure control device to control the exposure of the camera module,
(a) dividing an image provided from the camera module into a plurality of blocks;
(b) calculating a block luminance of each block from an average luminance of pixels included in each of the plurality of blocks, and calculating an average luminance of the entire image;
(c) setting an adjustment region including a high luminance region including at least one block having a relatively high block luminance, and a low luminance region including at least one block having a relatively low block luminance;
adjusting a ratio of the high luminance region and the low luminance region in the adjustment region according to a result of comparing the average luminance of the entire image with a preset reference luminance;
(e) calculating an adjusted average brightness of the entire image according to the adjusted ratio; And
(f) generating and outputting an exposure control signal for controlling the exposure property of the camera module according to a result of comparing the adjusted average brightness with a preset target brightness,
Step (c) is,
(c1) detecting a block having the highest block luminance among the plurality of blocks as the highest luminance block;
(c2) detecting at least one block having a block luminance within a predetermined range based on the block luminance of the highest luminance block and setting the high luminance region together with the highest luminance block;
(c3) detecting the lowest block among the plurality of blocks as the lowest luminance block;
(c4) detecting at least one block having a block luminance within a predetermined range based on the block luminance of the lowest luminance block and setting the lower luminance region together with the lowest luminance block to the low luminance region; How to control the exposure of the module.
삭제delete 제9항에 있어서,
상기 단계 (d)는, 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 작은 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 저휘도 영역이 차지하는 비율을 높이고 상기 고휘도 영역이 차지하는 비율을 낮추는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
In the step (d), when the average luminance of the entire image is smaller than the reference luminance, the ratio of the low luminance region is increased and the ratio of the high luminance region is lowered so that the size of the adjustment region does not change. Exposure control method of the camera module.
제9항에 있어서,
상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도가 상기 기준 휘도보다 큰 경우 상기 조정 영역의 크기가 변화하지 않도록 상기 고휘도 영역이 차지하는 비율을 높이고 상기 저휘도 영역이 차지하는 비율을 낮추는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
In the step (d), when the average luminance of the entire image is larger than the reference luminance, the ratio of the high luminance region is increased and the ratio of the low luminance region is lowered so that the size of the adjustment region does not change. How to control the exposure of the camera module.
제9항에 있어서,
상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도가 동일한 경우 상기 조정 영역 내에서 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 유지하는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
The step (d) of the camera module, the exposure control method of the camera module, characterized in that for maintaining the ratio of the high luminance region and the low luminance region in the adjustment region when the average luminance and the reference luminance is the same.
제9항에 있어서,
상기 단계 (d)는 상기 이미지 전체에 대한 평균 휘도와 상기 기준 휘도 간의 차이에 대응되도록 상기 비율을 조정하는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
The step (d) is the exposure control method of the camera module, characterized in that for adjusting the ratio to correspond to the difference between the average brightness and the reference brightness for the whole image.
제9항에 있어서,
상기 단계 (e)는 상기 조정 영역에 속하는 블록에 대해서는 상기 단계 (d)에서의 조정이 수행되기 이전 상기 고휘도 영역의 평균 휘도와 상기 저휘도 영역의 평균 휘도에 대하여 상기 영역 비율 조정부에서 조정된 상기 고휘도 영역과 상기 저휘도 영역이 차지하는 비율을 각각 적용시켜 상기 조정 평균 휘도를 연산하는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
The step (e) is performed by the area ratio adjusting unit with respect to the average luminance of the high luminance region and the average luminance of the low luminance region before the adjustment in the step (d) is performed on the block belonging to the adjustment region. And applying the ratios occupied by the high luminance region and the low luminance region, respectively, to calculate the adjusted average luminance.
제9항에 있어서,
상기 카메라 모듈의 노출 속성은 셔터 속도, 조리개 개구율, 아날로그 이득 중 하나 이상을 포함하는 것을 특징으로 하는 카메라 모듈의 노출 제어 방법.
10. The method of claim 9,
The exposure attribute of the camera module may include at least one of a shutter speed, an aperture aperture ratio, and an analog gain.
제9항, 제11항 내지 제16항 중 어느 한 항에 기재된 카메라 모듈의 노출 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.A program of instructions that can be executed by a digital processing apparatus for performing the exposure control method of the camera module according to any one of claims 9 and 11 is tangibly implemented and read by the digital processing apparatus. Record carrier that records possible programs.
KR1020100052615A 2010-06-04 2010-06-04 Device and method for controlling exposure of camera module KR101053826B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100052615A KR101053826B1 (en) 2010-06-04 2010-06-04 Device and method for controlling exposure of camera module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100052615A KR101053826B1 (en) 2010-06-04 2010-06-04 Device and method for controlling exposure of camera module

Publications (1)

Publication Number Publication Date
KR101053826B1 true KR101053826B1 (en) 2011-08-03

Family

ID=44932792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100052615A KR101053826B1 (en) 2010-06-04 2010-06-04 Device and method for controlling exposure of camera module

Country Status (1)

Country Link
KR (1) KR101053826B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070092914A (en) * 2006-03-11 2007-09-14 삼성테크윈 주식회사 Method for enhancing dynamic range in digital image processing apparatus
JP2008129027A (en) 2006-11-16 2008-06-05 Sony Corp Backlight determination device, image taking device, backlight determination method, and program
KR100843817B1 (en) 2004-04-30 2008-07-03 미쓰비시덴키 가부시키가이샤 Tone correcting apparatus, mobile terminal, image capturing apparatus, mobile phone, and tone correcting method
KR20100020687A (en) * 2008-08-13 2010-02-23 엘지이노텍 주식회사 Method for compensating back light

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843817B1 (en) 2004-04-30 2008-07-03 미쓰비시덴키 가부시키가이샤 Tone correcting apparatus, mobile terminal, image capturing apparatus, mobile phone, and tone correcting method
KR20070092914A (en) * 2006-03-11 2007-09-14 삼성테크윈 주식회사 Method for enhancing dynamic range in digital image processing apparatus
JP2008129027A (en) 2006-11-16 2008-06-05 Sony Corp Backlight determination device, image taking device, backlight determination method, and program
KR20100020687A (en) * 2008-08-13 2010-02-23 엘지이노텍 주식회사 Method for compensating back light

Similar Documents

Publication Publication Date Title
JP5832855B2 (en) Image processing apparatus, imaging apparatus, and image processing program
CN102821249B (en) Picture pick-up device and exposal control method
CN100594736C (en) Image capture apparatus and control method thereof
CN110365920B (en) Image processing
JP6116272B2 (en) Image processing apparatus, image processing method, program, and storage medium
RU2496250C1 (en) Image processing apparatus and method
US10091422B2 (en) Image processing device and recording medium
JP4914300B2 (en) Imaging apparatus and imaging control method
JP6271773B2 (en) Exposure measurement based on background pixels
CN102300049A (en) Image signal processing system
JP6083974B2 (en) Image processing apparatus, image processing method, and program
CN104284096A (en) Method and system of multi-target automatic exposure and gain control based on pixel intensity distribution
CN105578067A (en) Image generation method and device, terminal equipment
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
JP4626432B2 (en) Color discriminating method and apparatus in imaging apparatus and exposure control method of imaging apparatus
CN112598609A (en) Dynamic image processing method and device
GB2569593A (en) Exposure ratio control
JP2009004966A (en) Imaging apparatus
KR101053826B1 (en) Device and method for controlling exposure of camera module
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP2007288245A (en) Imaging apparatus, image processing method, and image processing program
JP5943682B2 (en) Imaging apparatus, control method thereof, and program
JP2019040382A (en) Image processing device
JP4950553B2 (en) Imaging apparatus and image processing method
CN116416146A (en) Image processing method and system for parameter adjustment based on direct feedback

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 8