KR20180078961A - Image capturing device and methos of operating the same - Google Patents

Image capturing device and methos of operating the same Download PDF

Info

Publication number
KR20180078961A
KR20180078961A KR1020160184268A KR20160184268A KR20180078961A KR 20180078961 A KR20180078961 A KR 20180078961A KR 1020160184268 A KR1020160184268 A KR 1020160184268A KR 20160184268 A KR20160184268 A KR 20160184268A KR 20180078961 A KR20180078961 A KR 20180078961A
Authority
KR
South Korea
Prior art keywords
image
target value
brightness
exposure target
histogram
Prior art date
Application number
KR1020160184268A
Other languages
Korean (ko)
Inventor
송일석
김현철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160184268A priority Critical patent/KR20180078961A/en
Priority to US15/857,978 priority patent/US10587815B2/en
Publication of KR20180078961A publication Critical patent/KR20180078961A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N5/353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H04N5/2353—
    • H04N5/3537—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

Provided are an image photographing device and a driving method thereof. The image photographing device comprises an image sensor and an image signal processor. The image sensor obtains an object image based on a predetermined first exposure target value. The image signal processor controls the image sensor by generating a second exposure target value based on brightness information of the obtained object image. The image signal processor includes a histogram generating unit which generates a brightness histogram based on the brightness information of the object image; a calculating unit which calculates a distribution of the brightness histogram; and an exposure target value controlling unit which generates the second exposure target value depending on the distribution of the brightness histogram, and provides the same to the image sensor. The image photographing device of the present invention automatically controls the exposure target values of the object image.

Description

이미지 촬상 장치 및 이의 구동 방법{IMAGE CAPTURING DEVICE AND METHOS OF OPERATING THE SAME}TECHNICAL FIELD [0001] The present invention relates to an image capturing apparatus and an image capturing apparatus,

본 발명은 이미지 촬상 장치 및 이의 구동 방법에 관한 것이며, 더욱 구체적으로 이미지 센서에 노출 타겟값을 제공하는 이미지 신호 프로세서를 포함하는 이미지 촬상 장치 및 이의 구동 방법에 관한 것이다.The present invention relates to an image pickup apparatus and a driving method thereof, and more particularly to an image pickup apparatus including an image signal processor for providing an exposure target value to an image sensor and a driving method thereof.

이미지 촬상 장치는 이미지 센서(image sensor)를 이용하여 광학 영상을 전기 신호로 변환시켜 디지털 신호의 형태로 제공할 수 있다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더뿐만 아니라 셀룰러 폰, 태블릿 피씨(tablet PC) 등 다양한 분야에서 이미지 촬상 장치가 탑재되고 있다.The image pickup apparatus can convert an optical image into an electrical signal using an image sensor and provide the optical signal in the form of a digital signal. Recently, according to the development of the computer industry and the communication industry, an image pickup apparatus is mounted in various fields such as a digital camera, a camcorder, a cellular phone, a tablet PC, and the like.

이미지 촬상 장치는 피사체의 대상 영상을 적절한 휘도로 획득하기 위해 노출 제어를 수행할 수 있다. 이러한 노출 제어는 사용자의 입력에 의한 것일 수 있지만, 이미지 촬상 장치가 획득된 대상 영상의 상태 정보를 분석하여 자동으로 제어하는 것일 수 있다.The image pickup apparatus can perform exposure control to acquire an object image of the object at an appropriate luminance. Such exposure control may be based on the user's input, but may be one in which the image capture device analyzes and automatically controls the acquired state information of the target image.

본 발명이 해결하고자 하는 기술적 과제는, 대상 영상의 밝기 히스토그램에 기반하여 대상 영상의 노출 타겟값을 자동으로 제어하는 이미지 촬상 장치를 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image sensing apparatus that automatically controls an exposure target value of a target image based on a brightness histogram of a target image.

본 발명이 해결하고자 하는 다른 기술적 과제는, 대상 영역의 밝기 히스토그램에 기반하여 대상 영상의 노출 타겟값을 자동으로 제어하는 이미지 촬상 장치의 동작 방법을 제공하는 것이다.According to another aspect of the present invention, there is provided an operation method of an image sensing apparatus for automatically controlling an exposure target value of a target image based on a brightness histogram of a target area.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical objects of the present invention are not limited to the technical matters mentioned above, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 촬상 장치는 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서, 및 상기 획득된 대상 영상의 밝기 정보를 기초로 제2 노출 타겟값을 생성하여 상기 이미지 센서를 제어하는 이미지 신호 프로세서를 포함하되, 상기 이미지 신호 프로세서는, 상기 대상 영상의 상기 밝기 정보를 기초로 밝기 히스토그램을 생성하는 히스토그램 생성부, 상기 밝기 히스토그램의 분포를 연산하는 연산부, 상기 밝기 히스토그램의 분포를 기초로 상기 제2 노출 타겟값을 생성하여 상기 이미지 센서에 제공하는 노출 타겟값 제어부를 포함한다.According to an aspect of the present invention, there is provided an image capturing apparatus including an image sensor that captures an object image based on a predetermined first exposure target value, A second histogram generator for generating a histogram of brightness based on the brightness information of the target image, a histogram generator for generating a histogram of the brightness histogram, And an exposure target value controller for generating the second exposure target value based on the distribution of the brightness histogram and providing the second exposure target value to the image sensor.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 구동 방법은, 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하고, 상기 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고, 상기 밝기 히스토그램의 분포를 연산하고, 상기 밝기 히스토그램의 분포를 기초로 제2 노출 타겟값을 생성하여 이미지 센서를 제어하는 것을 포함한다.According to another aspect of the present invention, there is provided a method of driving an image pickup apparatus, including: obtaining a target image based on a predetermined first exposure target value; Generating a brightness histogram, computing a distribution of the brightness histogram, and generating a second exposure target value based on the distribution of the brightness histogram to control the image sensor.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

도 1은 본 발명의 일 실시예에 따른 이미지 촬상 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 촬상 장치에 포함돤 이미지 센서의 블륵도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 다른 순서도이다.
도 6a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램이다.
도 6b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.
도 7a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램이다.
도 7b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.
도 9a는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 9b는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시예에 따른 이미지 촬상 장치를 포함하는 디지털 카메라의 블록도이다.
도 11은 본 발명의 실시예에 따른 이미지 촬상 장치를 포함하는 컴퓨팅 시스템의 블록도이다.1 is a block diagram of an image pickup apparatus according to an embodiment of the present invention.
2 is a block diagram of an image signal processor included in an image pickup apparatus according to an embodiment of the present invention.
3 is a block diagram of an image sensor included in an image pickup apparatus according to an embodiment of the present invention.
4 is a flowchart for explaining the operation of the image pickup device according to an embodiment of the present invention.
5 is another flowchart for explaining the operation of the image pickup device according to the embodiment of the present invention.
6A is an exemplary brightness histogram generated by the image pickup apparatus according to an embodiment of the present invention.
6B is a graph showing the distribution of an exemplary brightness histogram generated by the image pickup apparatus according to an embodiment of the present invention.
FIG. 7A is an exemplary brightness histogram of a target image generated by the image capturing apparatus according to an embodiment of the present invention based on a new exposure target value. FIG.
7B is a graph showing the distribution of an exemplary brightness histogram of an object image generated by the image capturing apparatus according to an embodiment of the present invention based on a new exposure target value.
8 is a block diagram of an image signal processor included in an image pickup apparatus according to another embodiment of the present invention.
9A is a flowchart for explaining the operation of the image pickup device according to another embodiment of the present invention.
9B is a flowchart for explaining the operation of the image pickup device according to another embodiment of the present invention.
10 is a block diagram of a digital camera including an image pickup device according to an embodiment of the present invention.
11 is a block diagram of a computing system including an image capture device according to an embodiment of the present invention.

이하에서, 도 1 내지 도 11을 참조하여, 본 발명의 실시예에 따른 이미지 촬상 장치 및 이의 구동 방법에 대하여 설명하도록 한다.Hereinafter, an image pickup device and a driving method thereof according to an embodiment of the present invention will be described with reference to Figs. 1 to 11. Fig.

도 1은 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 블록도이다.1 is a block diagram of an image pickup device 1 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는 이미지 센서(100)와, 이미지 신호 프로세서(200)를 포함할 수 있다.Referring to FIG. 1, an image pickup device 1 according to an embodiment of the present invention may include an image sensor 100 and an image signal processor 200.

이미지 센서(100)는, 이미지 신호 프로세서(200)로부터 제어 신호를 제공받아, 광 신호를 전기적 신호의 형태인 대상 영상으로 변환하여 이미지 신호 프로세서(200)로 제공할 수 있다. 이미지 센서(100)는 이미지 신호 프로세서(200)가 제공하는 제어 신호 중, 예를 들어 노출 타겟값에 기초하여 대상 영상을 획득할 수 있다. 이미지 센서(100)의 자세한 구성과 관련하여 이하 도 3을 참조하여 더욱 자세하게 설명한다.The image sensor 100 may receive a control signal from the image signal processor 200, convert the optical signal into a target image in the form of an electrical signal, and provide the target image to the image signal processor 200. The image sensor 100 may acquire a target image based on, for example, an exposure target value among the control signals provided by the image signal processor 200. [ The detailed configuration of the image sensor 100 will be described in more detail with reference to FIG.

이미지 신호 프로세서(200)는 이미지 센서(100)에 제어 신호를 제공하고, 이미지 센서(100)로부터 출력된 이미지 신호를 제공받아 이를 처리할 수 있다. 이미지 신호 프로세서(200가 이미지 센서(100)로 제공하는 제어 신호는 예를 들어, 노출(exposure) 제어 신호 또는 게인(gain) 제어 신호를 포함할 수 있다.The image signal processor 200 may provide a control signal to the image sensor 100 and may receive and process the image signal output from the image sensor 100. The control signal provided by the image signal processor 200 to the image sensor 100 may include, for example, an exposure control signal or a gain control signal.

이미지 신호 프로세서(200)는 이미지 센서(100)가 제공하는 대상 영상을 이용하여 이미지 센서(100)를 제어하는 피드백 신호를 생성하여, 이미지 센서(100)에 제공할 수 있다. 본 발명의 몇몇 실시예에서, 이미지 신호 프로세서(200)가 생성하는 피드백 신호는, 이미지 센서(100)가 제공한 대상 영상을 이용하여 새롭게 생성한 노출 타겟값일 수 있다.The image signal processor 200 may generate a feedback signal for controlling the image sensor 100 using the target image provided by the image sensor 100 and provide the feedback signal to the image sensor 100. In some embodiments of the present invention, the feedback signal generated by the image signal processor 200 may be a newly created exposure target value using the subject image provided by the image sensor 100. [

구체적으로, 이미지 센서(100)는 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(200)는 획득된 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(100)를 제어할 수 있다. 이미지 신호 프로세서(200)에 관하여 이하 도 2를 이용하여 좀더 자세하게 설명한다.Specifically, the image sensor 100 acquires a target image based on a predetermined exposure target value, and the image signal processor 200 generates a new exposure target value based on brightness information of the acquired target image, 100 can be controlled. The image signal processor 200 will be described in more detail below with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 처리 프로세서(200)의 블록도이다.2 is a block diagram of an image processing processor 200 included in an image pickup device 1 according to an embodiment of the present invention.

도 2를 참조하면, 이미지 처리 프로세서(2000는 히스토그램 생성부(210), 연산부(220) 및 노출 타겟값 제어부(230)를 포함할 수 있다.Referring to FIG. 2, the image processing processor 2000 may include a histogram generator 210, a calculator 220, and an exposure target value controller 230.

히스토그램 생성부(210)는 이미지 센서(100)가 생성한 대상 영상을 제공받고, 대상 영상의 밝기 히스토그램을 생성할 수 있다. 밝기 히스토그램은 예를 들어, 도 6a에 도시된 히스토그램(10)과 같이, 각각의 밝기에 대하여 대상 영상에 포함된 픽셀들의 분포를 나타낸 것일 수 있다.The histogram generator 210 receives the target image generated by the image sensor 100 and can generate a brightness histogram of the target image. The brightness histogram may be, for example, a distribution of pixels included in the target image with respect to each brightness, such as the histogram 10 shown in FIG. 6A.

연산부(220)는 히스토그램 생성부(210)가 생성한 밝기 히스토그램을 기초로 밝기 히스토그램의 분포를 연산할 수 있다. 밝기 히스토그램을 연산하는 것은 예를 들어, 대상 영상에 포함된 장면 정보에 기초하여 밝기 히스토그램의 분포를 연산하는 것일 수 있다.The operation unit 220 can calculate the distribution of the brightness histogram based on the brightness histogram generated by the histogram generation unit 210. [ The brightness histogram may be computed, for example, by computing the distribution of the brightness histogram based on the scene information included in the target image.

본 발명의 몇몇 실시예에서, 연산부(220)가 연산하는 밝기 히스토그램의 분포는, 정규화된(normalized) 밝기 히스토그램의 분산일 수 있다. 즉, 연산부(220)는 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 픽셀들의 평균 밝기를 이용하여 대상 영상의 밝기 히스토그램을 정규화하여, 밝기 히스토그램의 분포를 연산할 수 있다. 연산부(220)가 대상 영상의 밝기 히스토그램을 정규화하여 나타낸 예시적인 그래프는 도 6b에서 도시된다.In some embodiments of the present invention, the distribution of the brightness histogram computed by the computing unit 220 may be a variance of a normalized brightness histogram. That is, the operation unit 220 can calculate the distribution of the brightness histogram by normalizing the brightness histogram of the target image using the scene information of the target image, for example, the average brightness of the pixels included in the target image. An exemplary graph in which the arithmetic unit 220 normalizes the brightness histogram of the target image is shown in FIG. 6B.

노출 타겟값 제어부(230)는 연산부(220)가 제공한 밝기 히스토그램의 분포를 이용하여, 제2 노출 타겟값을 생성할 수 있다. The exposure target value control unit 230 may generate the second exposure target value using the distribution of the brightness histogram provided by the operation unit 220. [

도 2에서, 이미지 촬상 장치(200)는 히스토그램 생성부(210), 연산부(220) 및 노출 타겟값 제어부(230) 만을 포함하는 것으로 도시되었으나 본 발명이 이에 제한되는 것은 아니다. 즉, 이미지 센서(100)가 생성하여 제공하는 대상 영상의 이미지는, 히스토그램 생성부(210)에 제공되기에 앞서 다른 기능 블록을 거칠 수 있다. 또한, 노출 타겟값 제어부(230)가 생성하는 새로운 노출 타겟값은 이미지 센서(100)에 제공되기에 앞서 다른 기능 블록을 거칠 수도 있다.2, the image capturing apparatus 200 includes only the histogram generator 210, the calculator 220, and the exposure target value controller 230, but the present invention is not limited thereto. That is, the image of the target image generated and provided by the image sensor 100 may be passed through another function block before being provided to the histogram generating unit 210. In addition, a new exposure target value generated by the exposure target value control unit 230 may be passed through another function block before being provided to the image sensor 100. [

도 3은 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 센서(100)의 블록도이다.3 is a block diagram of an image sensor 100 included in the image pickup apparatus 1 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 센서(100)는 타이밍 발생기(110), 행 디코더(row decoder, 120), 행 드라이버(row driver, 130), 액티브 픽셀 센서(Active Pixel Sensor; APS) 어레이(140), 상관 이중 샘플러(Correlated Double Sampler; CDS, 150), 아날로그 디지털 컨버터(Analog to Digital Converter; ADC, 160), 래치부(latch, 170), 열 디코더(column decoder, 180) 등을 포함할 수 있다.3, an image sensor 100 included in an image pickup apparatus 1 according to an embodiment of the present invention includes a timing generator 110, a row decoder 120, a row driver 130 An Active Pixel Sensor (APS) array 140, a correlated double sampler (CDS) 150, an analog to digital converter (ADC) 160, a latch 170 A column decoder 180, and the like.

타이밍 발생기(110)는 행 디코더(120) 및 열 디코더(180)에 대하여, 이들의 동작에 요구된 클럭 신호(clock signal), 타이밍 컨트롤(timing control) 신호 및 제어 신호를 제공할 수 있다. 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에서, 타이밍 발생기(110)는 이미지 신호 프로세서(200)로부터 제공된 노출 타겟값을 이용하여 타이밍 컨트롤 신호를 생성하고, 행 디코더(120) 및 열 디코더(180)에 타이밍 컨트롤 신호 및 제어 신호를 제공한다.The timing generator 110 may provide a clock signal, a timing control signal, and a control signal required for the operations of the row decoder 120 and the column decoder 180 to the row decoder 120 and the column decoder 180. The timing generator 110 generates a timing control signal using the exposure target value provided from the image signal processor 200 and outputs the timing control signal to the row decoder 120 and the column decoder 120. In the image pickup device 1 according to the embodiment of the present invention, And provides a timing control signal and a control signal to the decoder 180.

타이밍 발생기(110)는 예를 들어 로직 제어 회로(Logic control circuit), 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 컨트롤 회로(Timing control circuit), 및 통신 인터페이스 회로 (Communication interface circuit) 등을 포함할 수 있다.The timing generator 110 may include, for example, a logic control circuit, a phase locked loop (PLL) circuit, a timing control circuit, a communication interface circuit, .

행 디코더(120)는 타이밍 발생기(110)로부터 제공받은 타이밍 신호 및 제어 신호에 따라 APS 어레이(140)의 행 선택 라인 중 해당 행 선택 라인을 선택한다.The row decoder 120 selects a corresponding row selection line of the row selection lines of the APS array 140 according to the timing signal and the control signal supplied from the timing generator 110. [

행 드라이버(130)는 행 디코더(120)에서 디코딩된 결과에 따라 선택된 행 선택 라인에 대하여 다수의 단위 픽셀들을 구동하기 위한 다수의 구동 신호를 APS 어레이(10)에 제공할 수 있다. 일반적으로 행렬 형태로 단위 픽셀이 배열된 경우에는 각 행별로 구동 신호를 제공할 수 있다.The row driver 130 may provide a plurality of driving signals to the APS array 10 for driving a plurality of unit pixels for the selected row selection line in accordance with the decoded result in the row decoder 120. [ Generally, when unit pixels are arranged in a matrix form, a driving signal may be provided for each row.

APS 어레이(140)는 2차원적으로 배열된 다수의 단위 픽셀들을 포함할 수 있다. 다수의 단위 픽셀들은 광학 영상을 전기적인 출력 신호로 변환하는 역할을 할 수 있다. APS 어레이(140)는 행 드라이버(130)로부터 행 선택 신호, 리셋 신호, 전하 전송 신호 등 다수의 구동 신호를 수신하여 구동될 수 있다. 또한, 변환된 전기적인 출력 신호는 수직 신호 라인을 통하여 상관 이중 샘플러(150)에 제공될 수 잇다. APS 어레이(140)는 CMOS 타입의 이미지 픽셀들을 포함할 수 있다.The APS array 140 may include a plurality of unit pixels arranged two-dimensionally. The plurality of unit pixels may serve to convert the optical image into an electrical output signal. The APS array 140 may be driven by receiving a plurality of driving signals, such as a row selection signal, a reset signal, and a charge transfer signal, from the row driver 130. In addition, the converted electrical output signal may be provided to the correlated dual sampler 150 via a vertical signal line. The APS array 140 may include CMOS image pixels.

상관 이중 샘플러(150)는 APS 어레이(140)로부터 제공된 출력 신호를 수직 신호 라인을 통해 수신하여 유지(hold) 및 샘플링할 수 있다. 즉, 특정한 잡음 레벨(noise level)과 상기 출력 신호에 의한 신호 레벨을 이중으로 샘플링하여, 잡음 레벨과 신호 레벨의 차이에 해당하는 차이 레벨을 출력할 수 있다.The correlated dual sampler 150 can receive and hold and sample the output signal provided from the APS array 140 via the vertical signal line. That is, a specific noise level and a signal level based on the output signal can be doubly sampled to output a difference level corresponding to a difference between the noise level and the signal level.

아날로그 디지털 컨버터(160)는 상관 이중 샘플러(150)가 출력한 차이 레벨에 해당하는 아날로그 신호를 디지털 신호로 변환하여 출력할 수 있다.The analog digital converter 160 may convert an analog signal corresponding to the difference level output from the correlated double sampler 150 into a digital signal and output the digital signal.

래치부(170)는 아날로그 디지털 컨버터(160)로부터 출력된 디지털 신호를 래치(latch)할 수 있다. 래치부(170)는 래치된 신호를 열 디코더(180)의 디코딩 결과에 따라 순차적으로 이미지 신호 프로세서(200)로 전송할 수 있다.The latch unit 170 may latch the digital signal output from the analog-digital converter 160. The latch unit 170 may sequentially transmit the latched signal to the image signal processor 200 according to the decoding result of the column decoder 180.

도 4는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 동작을 설명하기 위한 순서도이다.4 is a flowchart for explaining the operation of the image pickup device 1 according to the embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는 제1 노출 타겟값에 기초하여 대상 영상을 획득하고(S100), 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고(S110), 밝기 히스토그램의 분포를 연산하고(S120), 밝기 히스토그램의 분포가 기준값보다 큰 경우 새로운 노출 타겟값을 생성하고(S140), 생성된 노출 타겟값을 이미지 센서(100)에 제공할 수 있다.4, an image capturing apparatus 1 according to an embodiment of the present invention acquires a target image based on a first exposure target value (S100), and calculates a brightness histogram (S120). If the distribution of the brightness histogram is larger than the reference value, a new exposure target value is generated (S140). The generated exposure target value is supplied to the image sensor 100 .

구체적으로, 이미지 촬상 장치(1)는 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득한다(S100). 대상 영상을 획득하는 것은, 이미지 신호 프로세서(200)가 이미지 센서(100)에 제1 노출 타겟값을 비롯한 제어 신호를 제공하고, 이미지 센서(100)는 제1 노출 타겟값을 비롯한 제어 신호에 기초하여 대상 영상을 획득한다.Specifically, the image capturing apparatus 1 acquires a target image based on a predetermined first exposure target value (S100). Acquiring the target image may be accomplished by the image signal processor 200 providing a control signal, including a first exposure target value, to the image sensor 100, and the image sensor 100, based on the control signal, And acquires the target image.

이미지 센서(100)에 포함된 타이밍 신호 발생기(110)는 제1 노출 타겟값을 이용하여 행 디코더(120) 및 열 디코더(180)를 제어하기 위한 타이밍 컨트롤 신호 및 제어 신호를 생성할 수 있다. The timing signal generator 110 included in the image sensor 100 may generate a timing control signal and a control signal for controlling the row decoder 120 and the column decoder 180 using the first exposure target value.

타이밍 신호 발생기(110)가 제1 노출 타겟값을 이용하여 생성하는 타이밍 컨트롤 신호 및 제어 신호는 예를 들어, APS 어레이(120)가 전자식 셔터(electronic shutter)에 의하여 리셋 및 노광되는 동작의 타이밍을 제어할 수 있다. 이를 통해, 타이밍 신호 발생기(110)는 APS 어레이(120)의 각 픽셀에에 포함된 포토 다이오드(photo diode)에, 전하를 축적하는 시간을 제어할 수 있다. 타이밍 발생기(110)가 포토 다이오드의 전하 축적 시간, 즉 노출 시간을 길게 제어할수록, 이미지 센서(100)가 생성하는 대상 영역의 밝기 또한 높을 수 있다.The timing control signal and the control signal generated by the timing signal generator 110 using the first exposure target value are, for example, the timing at which the APS array 120 is reset and exposed by an electronic shutter Can be controlled. In this way, the timing signal generator 110 can control the time for accumulating the charge in the photo diode included in each pixel of the APS array 120. [ The longer the charge accumulation time of the photodiode, i.e., the exposure time, is controlled by the timing generator 110, the higher the brightness of the target area generated by the image sensor 100 may be.

이미지 센서(100)는 타이밍 컨트롤 신호 및 제어 신호에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(200)에 제공할 수 있다. The image sensor 100 may acquire a target image based on a timing control signal and a control signal, and may provide the target image to the image signal processor 200.

이어서, 이미지 신호 프로세서(200)는 대상 영상의 밝기 정보에 기초하여 대상 영상의 밝기 히스토그램(10)을 생성한다(S110). 구체적으로, 이미지 신호 프로세서(200)의 히스토그램 생성부(210)는 대상 영상의 밝기 정보에 기초하여 대상 영상의 밝기 히스토그램(10)을 생성할 수 있다. 히스토그램 생성부(210)가 생성하는 대상 영상의 밝기 히스토그램(10)은 도 6a를 참조하여 예시적으로 도시된다. 도 6a에 도시된 것과 같이, 밝기 히스토그램(10)은 각각의 밝기에 대하여 대상 영상에 포함된 픽셀들을 분포를 도시한다.Then, the image signal processor 200 generates the brightness histogram 10 of the target image based on the brightness information of the target image (S110). Specifically, the histogram generator 210 of the image signal processor 200 can generate the brightness histogram 10 of the target image based on the brightness information of the target image. The brightness histogram 10 of the target image generated by the histogram generating unit 210 is illustratively illustrated with reference to FIG. 6A. As shown in FIG. 6A, the brightness histogram 10 shows the distribution of the pixels included in the target image for each brightness.

이어서, 이미지 신호 프로세서(200)는 밝기 히스토그램의 분포를 연산한다(S120).Subsequently, the image signal processor 200 calculates the distribution of the brightness histogram (S120).

본 발명의 몇몇 실시예에서, 밝기 히스토그램의 분포는 이전 단계에서 히스토그램 생성부(210)가 생성한 대상 영상의 밝기 히스토그램(10)의 분산을 정규화한 것일 수 있다. In some embodiments of the present invention, the distribution of the brightness histogram may be a normalization of the variance of the brightness histogram 10 of the target image generated by the histogram generation unit 210 in the previous step.

연산부(220)가 밝기 히스토그램(10)의 분포를 연산하는 것과 관련하여, 도 5를 참조하여 더욱 자세하게 설명한다.The calculation unit 220 calculates the distribution of the brightness histogram 10 in more detail with reference to FIG.

도 5는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 동작을 설명하기 위한 순서도이다.5 is a flowchart for explaining the operation of the image pickup device 1 according to the embodiment of the present invention.

도 5를 참조하면, 연산부(220)가 밝기 히스토그램(10)의 분포를 연산하는 동작은, 대상 영상의 밝기 히스토그램(10)의 분산을 계산하고(S121), 밝기 히스토그램(10)의 분산을 밝기 히스토그램의 평균 밝기(average brightness)를 이용하여 정규화한다(S122).5, the calculation unit 220 calculates the distribution of the brightness histogram 10 by calculating the variance of the brightness histogram 10 of the target image (S121), and calculating the variance of the brightness histogram 10 as brightness Normalization is performed using the average brightness of the histogram (S122).

연산부(220)는 밝기 히스토그램(10)의 분포, 예를 들어 밝기 히스토그램(10)에 나타난 픽셀들의 밝기의 분산을 연산할 수 있다. 이후, 연산부(220)는 밝기 히스토그램(10)의 분산을 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 전체 픽셀들의 평균 밝기를 이용하여 밝기 히스토그램(10)을 정규화할 수 있다.The operation unit 220 can calculate the distribution of the brightness histogram 10, for example, the variance of the brightness of the pixels in the brightness histogram 10. [ The operation unit 220 may normalize the brightness histogram 10 using the variance of the brightness histogram 10 using the scene information of the target image, for example, the average brightness of all the pixels included in the target image.

대상 영상의 밝기 히스토그램(10)이 정규화된 것의 예시적인 그래프가 도 6b에 도시된다.An exemplary graph of the brightness histogram 10 of the subject image is normalized is shown in FIG. 6B.

도 6a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램이고, 도 6b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.FIG. 6A is an exemplary brightness histogram generated by the image capturing apparatus according to an embodiment of the present invention, and FIG. 6B is a graph showing an exemplary histogram of brightness histogram generated by the image capturing apparatus according to an embodiment of the present invention .

도 6a 및 도 6b를 참조하면, 도 6a는 히스토그램 생성부(210)가 생성한 예시적인 밝기 히스토그램(10)을 도시하고, 도 6b는 연산부(220)가 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 전체 픽셀들의 평균 밝기를 이용하여 밝기 히스토그램(10)을 정규화한 그래프(110)를 도시한다. 도 6b에서, 이하에서 설명하는 것과 같이 노출 타겟값 제어부(220)가 새로운 노출 타겟값을 생성하기 위하여 정규화된 그래프(110)를 비교하기 위한 기준값(reference value)이 도시되어 있다.6A and 6B illustrate an exemplary brightness histogram 10 generated by the histogram generation unit 210. FIG. 6B illustrates an example in which the operation unit 220 generates scene information of a target image, for example, And a graph 110 obtained by normalizing the brightness histogram 10 using the average brightness of all the pixels included in the image. 6B, a reference value is shown for comparing the normalized graph 110 so that the exposure target value control unit 220 generates a new exposure target value, as described below.

이어서, 도 4를 다시 참조하면, 노출 타겟값 제어부(230)는 밝기 히스토그램(10)의 분포를 이용하여 새로운 노출 타겟값을 생성한다(S140).Referring back to FIG. 4, the exposure target value control unit 230 generates a new exposure target value using the distribution of the brightness histogram 10 (S140).

노출 타겟값 제어부(230)가 밝기 히스토그램(10)의 분포를 이용하여 새로운 노출 타겟값을 생성하는 것은, 상술한 도 6b에 도시된 밝기 히스토그램(10)의 분산이 대상 영상의 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 기준값과 비교하는 것을 포함할 수 있다. The exposure target value control unit 230 generates a new exposure target value by using the distribution of the brightness histogram 10 because the variance of the brightness histogram 10 shown in FIG 6B is larger than the average brightness of all pixels of the target image And comparing the normalized graph 11 with a reference value.

본 발명의 몇몇 실시예에서, 노출 타겟값 제어부(230)는 정규화된 그래프(11)가 기준값과 비교하여 작은 분포를 보이는 경우, 제1 노출 타겟값보다 큰 제2 노출 타겟값을 생성할 수 있다. 이와는 반대로, 노출 타겟값 제어부(230)는 정규화된 그래프(110)가 기준값과 비교하여 큰 분포를 보이는 경우, 제1 노출 타겟값과 동일한 제2 노출 타겟값을 생성할 수 있다.In some embodiments of the present invention, the exposure target value control unit 230 may generate a second exposure target value that is greater than the first exposure target value when the normalized graph 11 shows a small distribution as compared to a reference value . In contrast, the exposure target value control unit 230 may generate a second exposure target value equal to the first exposure target value when the normalized graph 110 has a large distribution as compared with the reference value.

이어서, 새로 결정된 제2 노출 타겟값을 이미지 센서(100)에 제공한다(S150). 이미지 센서(100)는 제공받은 제2 노출 타겟값을 타이밍 신호 발생기(120)를 제어하고, 타이밍 생성기(120)는 제2 노출 타겟값에 기초하여 결정된 노출 시간을 기초로 타이밍 컨트롤 신호를 생성하고, 행 디코더(120) 및 열 디코더(180)에 타이밍 컨트롤 신호 및 제어 신호를 제공한다.Subsequently, the newly determined second exposure target value is provided to the image sensor 100 (S150). The image sensor 100 controls the timing signal generator 120 to provide the second exposure target value and the timing generator 120 generates a timing control signal based on the exposure time determined based on the second exposure target value The row decoder 120, and the column decoder 180. The timing control signal and the control signal are supplied to the row decoder 120 and the column decoder 180, respectively.

APS 어레이(140)는 타이밍 컨트롤 신호 및 제어 신호에 기초하여 광학 영상을 전기적인 신호로 변환하여 출력하고, 래치부(170)는 이미지 신호 프로세서(200)로 새로운 대상 영상을 제공할 수 있다.The APS array 140 converts an optical image into an electrical signal based on a timing control signal and a control signal, and outputs the electrical signal to the latch unit 170. The latch unit 170 can provide a new target image to the image signal processor 200. [

본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는, 제공 받은 대상 영상에 대하여 새로운 노출 타겟값으로 새로운 대상 영상을 촬상하기 위하여 대상 영상의 밝기 히스토그램(10)의 분포를 이용한다. 더욱 구체적으로, 노출 타겟값 제어부(230)는 대상 영상에 포함된 전체 픽셀의 평균 밝기를 이용하여 밝기 히스토그램(10)의 분산을 정규화한 그래프(11)를 기준값과 비교하기 위한 판단 기준으로 이용한다.The image capturing apparatus 1 according to the embodiment of the present invention uses the distribution of the brightness histogram 10 of the target image to capture a new target image with a new exposure target value with respect to the provided target image. More specifically, the exposure target value control unit 230 uses a graph 11 obtained by normalizing the variance of the brightness histogram 10 by using the average brightness of all the pixels included in the target image, as a criterion for comparing the graph 11 with the reference value.

정규화된 그래프(11)가 기준값과 비교하여 작은 분포를 보이는 것은, 대상 영상의 전체 픽셀의 밝기가 비교적 균일한 분포를 보이는 것일 수 있다. 이는, 대상 영상에 무채색 또는 단색의 색채 요소가 많이 분포되는 것을 의미할 수 있다. 대상 영상에 무채색 또는 단색의 색채 요소가 많이 포함된 경우 필요한 노출 타겟값보다 작은 노출 타겟값을 이용하여 대상 영상을 획득하는 경향을 가질 수 있다. 상대적으로 작은 노출 타겟값을 이용하여 대상 영상이 획득된 경우, 상대적으로 '어두운' 대상 영상이 형성될 수 있다.The fact that the normalized graph 11 has a small distribution compared with the reference value indicates that the brightness of all the pixels of the target image has a relatively uniform distribution. This may mean that many achromatic or monochromatic color elements are distributed in the target image. If the target image includes many achromatic or monochromatic color elements, it may have a tendency to acquire the target image using an exposure target value that is smaller than the required exposure target value. When a target image is acquired using a relatively small exposure target value, a relatively 'dark' target image may be formed.

본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는, 무채색 또는 단색의 색채 요소가 비교적 많이 포함된 경우에 미리 정해진 제1 노출 타겟값보다 큰 제2 노출 타겟값으로 이미지 센서(100)를 제어할 수 있다. 미리 정해진 제1 노출 타겟값보다 큰 제2 노출 타겟값을 제공받은 이미지 센서(100)는 더 긴 노출 시간으로 APS 어레이(140)의 각 픽셀들에 포함된 포토 다이오드의 전하를 축적시킬 수 있다. 그 결과, 무채색 또는 단색의 색채 요소가 비교적 많이 포함된 경우에 이미지 신호 프로세서(200)는 제1 노출 타겟값보다 더 큰 제2 노출 타겟값으로 이미지 센서(100)를 제어하고, 이미지 센서(100)는 상대적으로 '밝은' 대상 영상을 생성할 수 있다. 이하에서 이미지 센서(100)가 제2 노출 타겟값에 기초하여 생성한 대상 영상을 도 7a와 7b를 참고하여 설명한다.The image pickup device 1 according to the embodiment of the present invention is configured such that the image sensor 100 is moved to a second exposure target value that is larger than a predetermined first exposure target value in a case where a relatively large number of achromatic or monochromatic color elements are included Can be controlled. The image sensor 100 provided with the second exposure target value larger than the predetermined first exposure target value can accumulate the charges of the photodiodes included in the respective pixels of the APS array 140 with a longer exposure time. As a result, the image signal processor 200 controls the image sensor 100 to a second exposure target value that is greater than the first exposure target value, when the achromatic or monochromatic color element is relatively large, and the image sensor 100 ) Can generate a relatively " bright " target image. Hereinafter, a target image generated by the image sensor 100 based on the second exposure target value will be described with reference to FIGS. 7A and 7B.

도 7a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램이고, 도 7b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.FIG. 7A is an exemplary brightness histogram of an object image generated based on a new exposure target value according to an embodiment of the present invention, and FIG. 7B is a graph showing an example brightness histogram of an object image generated by a new exposure FIG. 5 is a graph showing a distribution of an exemplary brightness histogram of a target image generated based on a target value. FIG.

도 7a 및 7b를 참조하면, 이미지 신호 프로세서(200)가 제1 노출 타겟값보다 더 큰 제2 노출 타겟값을 생성하여 이미지 센서(100)에 제공하고, 제2 노출 타겟값에 기초하여 이미지 센서(100)가 새롭게 생성한 대상 영상의 밝기 히스토그램(20)과 이의 분포(21)가 도 7a 및 도 7b에 도시된다.7A and 7B, the image signal processor 200 generates and provides a second exposure target value that is greater than the first exposure target value to the image sensor 100, and based on the second exposure target value, 7A and 7B show the brightness histogram 20 and its distribution 21 of the target image newly generated by the image processing apparatus 100. [

본 발명의 몇몇 실시예에서, 도 7b에서 도시하는 대상 영상의 밝기 히스토그램(20)의 분포(21)는 도 6b와 같이 대상 영상에 포함된 전체 픽셀의 평균 밝기로 밝기 히스토그램(20)을 정규화한 그래프일 수 있다. In some embodiments of the present invention, the distribution 21 of the brightness histogram 20 of the target image shown in FIG. 7B is obtained by normalizing the brightness histogram 20 with the average brightness of all the pixels included in the target image as shown in FIG. 6B Lt; / RTI >

도 7a에 도시된 것과 같이, 제2 노출 타겟값에 기초하여 이미지 센서(100)가 새롭게 생성한 대상 영상은, 이의 밝기 히스토그램(20)의 전체 픽셀들의 밝기 분포가 상대적으로 더 '밝은' 쪽으로 이동되어 있는 것을 알 수 있다.As shown in FIG. 7A, the target image newly generated by the image sensor 100 based on the second exposure target value is set such that the brightness distribution of all the pixels of the brightness histogram 20 is relatively & .

반면에, 도 7b에 도시된 것과 같이, 새로운 대상 영상에 대하여, 대상 영상에 포함된 전체 픽셀의 평균으로 정규화한 그래프(21)는, 변경된 노출 타겟값에도 불구하고 도 6b의 그래프(11)와 실질적으로 동일한 것을 알 수 있다.On the other hand, as shown in FIG. 7B, the graph 21 normalized by the average of all the pixels included in the target image with respect to the new target image can be displayed in the graphs 11 and 12 of FIG. 6B Substantially the same can be known.

한편, 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 신호 프로세서(200)는 대상 영상의 밝기 히스토그램(10)을 제2 노출 타겟값을 결정하는 기준으로 사용하는 대신, 대상 영상의 밝기 히스토그램(10)을 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 이용한다.Meanwhile, the image signal processor 200 included in the image pickup apparatus 1 according to some embodiments of the present invention may use the brightness histogram 10 of the target image as a reference for determining the second exposure target value, The brightness histogram 10 of the image is used as a graph 11 normalized to the average brightness of all the pixels included in the target image.

만약 밝기 히스토그램(10)을 기준으로 새로운 제2 노출 타겟값을 결정한다면, 도 7a에 도시된 것과 같이 새로운 밝기 히스토그램(20)이 더 밝은 쪽으로 이동하여 이전 밝기 히스토그램(10)과 동일하지 않다.If a new second exposure target value is determined based on the brightness histogram 10, the new brightness histogram 20 moves to the brighter side and is not the same as the previous brightness histogram 10 as shown in FIG. 7A.

그러나, 본 발명의 실시예에 따른 이미지 촬상 장치(1)와 같이, 대상 영상의 밝기 히스토그램의 정규화된 그래프(11)를 기준으로 새로운 제2 노출 타겟값을 결정하는 것에 의하여, 제2 노출 타겟값에 기초하여 획득한 새로운 대상 영상으로부터 얻어진 밝기 히스토그램의 정규화된 그래프(21)는 이전 대상 영상의 밝기 히스토그램의 정규화된 그래프(11)와 실질적으로 동일할 수 있다. 이는, 대상 영상 내의 피사체의 변화, 즉 장면 변화가 발생하지 않는 이상 밝기 히스토그램의 분포, 구체적으로 도 7b에서 도시된 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(21)는 이전 대상 영상의 그것과 동일하기 때문이다.However, by determining a new second exposure target value based on the normalized graph 11 of the brightness histogram of the target image, as in the image pickup device 1 according to the embodiment of the present invention, The normalized graph 21 of the brightness histogram obtained from the new subject image acquired based on the normalized graph 11 of the brightness histogram of the previous subject image may be substantially the same as the normalized graph 11 of the brightness histogram of the previous subject image. This is because the graph 21 normalized by the distribution of the brightness histogram, that is, the average brightness of all the pixels included in the target image shown in FIG. 7B, Is the same as that of FIG.

만약 노출 타겟값 제어부(230)가 대상 영상의 밝기 히스토그램(10, 20)과 임의의 기준값과 비교하여 노출 타겟값을 결정한다면, 제2 노출 타겟값을 이용하여 획득한 새로운 대상 영상의 밝기 히스토그램(20)이 변화할 수 있다. 이에 따라 노출 타겟값 제어부(230)는 변화한 밝기 히스토그램(20)을 대상으로 기준값과 비교하여 또 다른 노출 타겟값을 결정하는 과정을 수행하는 것이 필요할 수 있다.If the exposure target value controller 230 determines the exposure target value by comparing the brightness histograms 10 and 20 of the target image with an arbitrary reference value, the brightness histogram of the new subject image acquired using the second exposure target value 20) can change. Accordingly, the exposure target value control unit 230 may need to compare the changed brightness histogram 20 with the reference value to determine another exposure target value.

상술한 것과 같이, 본 발명의 실시예에 따른 이미지 촬상 장치(1)의 노출 타겟값 제어부(230)는 노출 타겟값을 제어하기 위해 밝기 히스토그램의 정규화된 그래프(11, 21)를 사용할 수 있다. 밝기 히스토그램의 정규화된 그래프(21)는 변화된 제2 노출 타겟값을 이용하여 획득한 대상 영상임에도 불구하고 이전 그래프(11)와 동일할 수 있다. 따라서, 또 다른 노출 타겟값을 결정하는 과정이 필요하지 않을 수 있다.As described above, the exposure target value control unit 230 of the image pickup apparatus 1 according to the embodiment of the present invention can use the normalized graphs 11 and 21 of the brightness histogram to control the exposure target value. The normalized graph 21 of the brightness histogram may be the same as the previous graph 11 despite being the target image obtained using the changed second exposure target value. Thus, the process of determining another exposure target value may not be necessary.

본 발명의 몇몇 실시예에서, 밝기 히스토그램(10)이 제2 노출 타겟값을 생성하는 것은, 상술한 밝기 히스토그램(10)의 분포 이외에 기타 다른 정보를 이용할 수 있다.In some embodiments of the present invention, the brightness histogram 10 generates a second exposure target value, in addition to the above-described distribution of the brightness histogram 10, other information may be used.

상기 정보는 예를 들어, 대상 영상에 포함된 전체 픽셀 중 과다 포화된(oversaturated) 픽셀의 비율, 및 대상 영상의 픽셀의 전체 평균 밝기를 포함할 수 있다. 노출 타겟값 제어부(230)는 상기 정보에 서로 다른 가중치를 적용하고, 대상 영상의 노출을 제어하는 새로운 노출 타겟값을 생성할 수 있다. The information may include, for example, the ratio of oversaturated pixels of all the pixels included in the target image, and the overall average brightness of the pixels of the target image. The exposure target value control unit 230 may apply different weights to the information, and may generate a new exposure target value for controlling the exposure of the target image.

구체적으로, 전체 픽셀 중 과다 포화된 픽셀이 기준값보다 크게 나타낸 경우 노출 타겟값 제어부(230)는 노출 타겟값이 감소하는 방향으로 새로운 노출 타겟값을 생성할 수 있다. 또한, 대상 영상에 포함된 픽셀의 전체 평균 밝기가 기준값보다 큰 경우에도 노출 타겟값 제어부(230)는 노출 타겟값이 감소하는 방향으로 새로운 노출 타겟값을 생성할 수 있다. 노출 타겟값 제어부(230)는 새로운 노출 타겟값을 생성하는 데 있어 서로 다른 요소, 예를 들어 과다 포화된 픽셀의 비율 또는 전체 평균 밝기에 대하여 서로 다른 가중치를 적용할 수 있다.Specifically, when the oversized pixels of all the pixels are larger than the reference value, the exposure target value control unit 230 may generate a new exposure target value in a direction in which the exposure target value decreases. Also, even if the average brightness of the pixels included in the target image is greater than the reference value, the exposure target value controller 230 can generate a new exposure target value in a direction in which the exposure target value decreases. The exposure target value control unit 230 may apply different weights to different elements, for example, the ratio of oversaturated pixels or the overall average brightness, in generating a new exposure target value.

도 8은 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.8 is a block diagram of an image signal processor included in an image pickup apparatus according to another embodiment of the present invention.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(300)는, 앞서 설명한 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(200)에 포함된 것과 동일한 히스토그램 생성부(310), 연산부(320) 및 노출 타겟값 제어부(330) 외에 장면 변화 감지부(350)를 더 포함할 수 있다. 이하 앞서 실시예에서 설명한 것과 중복된 내용은 생략하고, 차이점을 중심으로 설명한다.8, an image signal processor 300 included in the image pickup apparatus according to another embodiment of the present invention includes the image signal processor 300 included in the image signal processor 200 included in the image pickup apparatus according to the above- The scene change detecting unit 350 may be included in addition to the histogram generating unit 310, the calculating unit 320, and the exposure target value controlling unit 330. Hereinafter, the contents overlapping with those described in the above embodiment will be omitted, and differences will be mainly described.

본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 장면 변화 감지부(350)는 이미지 센서(200)에 의해 획득되는 대상 영상 내의 피사체의 변화에 따른 장면 변화(scene change)를 감지할 수 있다. 장면 변화 감지부(350)에 의한 장면 변화 감지와 관련하여, 이하 도 9a 및 도 9b를 이용하여 설명한다.The scene change detecting unit 350 included in the image capturing apparatus according to another embodiment of the present invention can detect a scene change according to the change of the subject in the target image acquired by the image sensor 200 . With reference to FIGS. 9A and 9B, a scene change detection by the scene change detection unit 350 will be described below.

도 9a는 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(300)의 동작을 설명하기 위한 순서도이다.9A is a flowchart for explaining the operation of the image signal processor 300 included in the image pickup apparatus according to another embodiment of the present invention.

도 9a를 참조하면, 이미지 신호 프로세서(300)는 장면 변화 감지부(350)에 의하여 장면 변화를 감지하고(S200), 변화된 장면 변화로 인해 새롭게 생성된 노출 타겟을 이미지 센서(100)에 제공한다.9A, the image signal processor 300 detects a scene change by the scene change sensing unit 350 (S200), and provides the newly generated exposure target to the image sensor 100 due to the changed scene change .

상술한 것과 같이, 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치는, 대상 영상의 밝기 히스토그램(10)을 제2 노출 타겟값을 결정하는 기준으로 이용하는 대신에, 대상 영상의 밝기 히스토그램(10)을 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 이용한다. 따라서, 대상 영상 내의 장면 변화가 발생하지 않는 이상 제2 노출 타겟값을 결정한 이후에 새로운 노출 타겟값이 결정되지 않는다.As described above, instead of using the brightness histogram 10 of the target image as a criterion for determining the second exposure target value, the image capturing apparatus according to some embodiments of the present invention sets the brightness histogram 10 of the target image as A normalized graph 11 is used as the average brightness of all the pixels included in the target image. Therefore, a new exposure target value is not determined after determining the second exposure target value unless a scene change in the target image occurs.

따라서, 장면 변화 감지부(350)가 장면 변화를 감지하는 경우, 히스토그램 생성부(310), 연산부(320) 및 노출 타겟값 결정부(330)는 새로운 대상 영상에 적용하기 위한 새로운 노출 타겟값을 결정할 수 있다.Accordingly, when the scene change detection unit 350 detects a scene change, the histogram generation unit 310, the operation unit 320, and the exposure target value determination unit 330 generate a new exposure target value for applying to a new target image You can decide.

도 9b는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.9B is a flowchart for explaining the operation of the image pickup device according to another embodiment of the present invention.

도 9b를 참조하면, 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 장면 변화 감지부(350)는 대상 영상의 전체 밝기에 대한 대상 영상의 일부 영역의 밝기의 변화 비율을 계산하고(S220), 상기 비율과 기준값을 비교하고(S230), 상기 비율이 기준값 보다 큰 경우에 장면 변화를 감지한다(S240).9B, the scene change detection unit 350 included in the image pickup apparatus according to another embodiment of the present invention calculates a change rate of the brightness of a partial region of the target image with respect to the total brightness of the target image (S220 (S230). If the ratio is greater than the reference value, the scene change is detected (S240).

장면 변화 감지부(350)는 대상 영상의 전체 밝기와, 상기 대상 영상의 일부 영역의 밝기의 변화 비율을 계산한다. 여기서 비교 대상이 되는 일부 영역은 대상 영상 내에 적어도 하나 이상 존재할 수 있다. 대상 영상의 전체 밝기에 대한 적어도 하나 이상의 일부 영역의 밝기의 변화가 기준값 보다 큰 것이 감지되면, 이는 해당 일부 영역의 장면 변화를 의미하는 것일 수 있다. 장면 변화 감지부(350)는 대상 영상의 장면 변화를 감지하고, 히스토그램 생성부(310)가 새로운 대상 영상의 밝기 히스토그램을 생성하도록 할 수 있다.The scene change detection unit 350 calculates the total brightness of the target image and the change ratio of the brightness of a part of the target image. Here, at least one or more areas to be compared may exist in the target image. If it is detected that the change in the brightness of at least one of the at least one region with respect to the total brightness of the target image is larger than the reference value, this may indicate a scene change of the corresponding region. The scene change detection unit 350 may detect a scene change of a target image and cause the histogram generation unit 310 to generate a brightness histogram of a new target image.

다만, 상술한 장면 변화 감지부(350)의 동작은 예시적인 것이며, 본 발명의 다른 실시예에 따른 이미지 촬상 장치가 대상 영상에 발생한 장면 변화를 인식할 수 있다.However, the operation of the scene change detection unit 350 described above is merely an example, and the image pickup apparatus according to another embodiment of the present invention can recognize a scene change occurring in a target image.

히스토그램 생성부(310)가 생성한 밝기 히스토그램에 대하여, 연산부(320)는 밝기 히스토그램의 분포를 연산하고, 노출 타겟값 제어부(330)는 밝기 히스토그램의 분포를 이용하여 새로운 노출 타겟값을 계산한다. 본 발명의 몇몇 실시예에서, 밝기 히스토그램은 앞서 실시예에서 설명한 것과 같이 대상 영상에 포함된 전체 픽셀의 평균 밝기를 이용하여 새로운 대상 영상의 히스토그램을 정규화한 것일 수 있다.For the brightness histogram generated by the histogram generation unit 310, the operation unit 320 calculates the distribution of the brightness histogram, and the exposure target value control unit 330 calculates a new exposure target value using the distribution of the brightness histogram. In some embodiments of the present invention, the brightness histogram may be a normalized histogram of a new subject image using the average brightness of all pixels included in the subject image, as described in the previous embodiment.

도 10은 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치를 포함하는 전자 장치의 블록도이다.10 is a block diagram of an electronic device including an image pickup device according to some embodiments of the present invention.

도 10을 참조하면, 전자 장치(800)는 렌즈(810), 이미지 센서(820), 모터부(830) 및 이미지 신호 프로세서(840)를 포함할 수 있다. 이미지 센서(820)는 전술한 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서를 포함한다.10, an electronic device 800 may include a lens 810, an image sensor 820, a motor portion 830 and an image signal processor 840. The image sensor 820 includes an image sensor that acquires a target image based on the above-described exposure target value.

렌즈(810)는 이미지 센서(820)의 수광 영역으로 입사광을 집광시킨다. 이미지 센서(820)는 렌즈(810)를 통하여 입사된 광에 기초하여 베이어 패턴(Bayer pattern)의 RGB 데이터(RGB)를 생성할 수 있다. 이미지 센서(820)는 클럭 신호 (CLK)에 기초하여 RGB 데이터(RGB)를 제공할 수 있다.The lens 810 condenses the incident light into the light receiving region of the image sensor 820. The image sensor 820 can generate RGB data (RGB) of a Bayer pattern based on the light incident through the lens 810. [ The image sensor 820 may provide RGB data (RGB) based on the clock signal CLK.

실시예에 따라, 이미지 센서(820)는 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 이미지 신호 프로세서(840)와 인터페이싱할 수 있다.According to an embodiment, the image sensor 820 may interface with the image signal processor 840 via a Mobile Industry Processor Interface (MIPI) and / or a Camera Serial Interface (CSI).

모터부(830)는 이미지 신호 프로세서(840)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈 (810)의 포커스를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다. 이미지 신호 프로세서(840)는 이미지 센서(820) 및 모터부(830)를 제어한다. 또한, 이미지 신호 프로세서(840)는 이미지 센서(820)로부터 수신된 RGB 데이터(RGB)에 기초하여 휘도 성분, 상기 휘도 성분과 청색성분의 차, 및 상기 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다.The motor unit 830 may adjust the focus of the lens 810 or perform shuttering in response to the control signal CTRL received from the image signal processor 840. [ The image signal processor 840 controls the image sensor 820 and the motor unit 830. The image signal processor 840 also calculates the luminance component based on the RGB data (RGB) received from the image sensor 820, the difference between the luminance component and the blue component, and the difference between the luminance component and the red component, (YUV), or generate compressed data, for example, JPEG (Joint Photography Experts Group) data.

이미지 신호 프로세서(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 이미지 신호 프로세서(840)는 마스터 클럭(MCLK)에 기초하여YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 이미지 신호 프로세서(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.The image signal processor 840 may be coupled to the host / application 850 and the image signal processor 840 may provide YUV data (YUV) or JPEG data to the host / application 850 based on the master clock (MCLK) can do. In addition, the image signal processor 840 may interface with the host / application 850 via an SPI (Serial Peripheral Interface) and / or an I2C (Inter Integrated Circuit).

상술한 것과 같이, 이미지 센서(820)가 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(840)는 획득한 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(820)를 제어할 수 있다.As described above, the image sensor 820 acquires the target image based on the predetermined exposure target value, and the image signal processor 840 generates a new exposure target value based on the acquired brightness information of the target image, The sensor 820 can be controlled.

상술한 전자 장치(800)는 예를 들어, 셀룰러 폰, 랩톱 컴퓨터 또는 태블릿 피씨 등을 포함할 수 있으나 본 발명이 제한되는 것은 아니다. 전자 장치(800)는 본 발명의 실시예들에 따른 이미지 촬상 장치가 포함될 수 있는 것이라면 얼마든지 채용될 수 있다.The above-described electronic device 800 may include, for example, a cellular phone, a laptop computer, or a tablet PC, but the present invention is not limited thereto. The electronic device 800 can be employed as long as the image pickup device according to the embodiments of the present invention can be included.

도 11은 본 발명의 실시예에 따른 이미지 촬상 장치를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.11 is a block diagram showing an example of application of the image pickup apparatus according to the embodiment of the present invention to a computing system.

도 11을 참조하면, 컴퓨팅 시스템(1000)은 이미지 신호 프로세서(1010), 메모리 장치 (1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050), 및 이미지 센서(1060)를 포함한다.11, a computing system 1000 includes an image signal processor 1010, a memory device 1020, a storage device 1030, an input / output device 1040, a power supply 1050, and an image sensor 1060 .

이미지 센서(1060)는 전술한 오프셋 보상된 기준 전압을 ADC 변환 시 기준 전압으로 사용하는 이미지 센서를 포함한다. 한편, 도 15에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.The image sensor 1060 includes an image sensor that uses the aforementioned offset compensated reference voltage as a reference voltage for ADC conversion. 15, the computing system 1000 may further include ports capable of communicating with, or communicating with, video cards, sound cards, memory cards, USB devices, and the like .

이미지 신호 프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 이미지 신호 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.The image signal processor 1010 may perform certain calculations or tasks. According to an embodiment, the image signal processor 1010 may be a micro-processor, a central processing unit (CPU).

이미지 신호 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.The image signal processor 1010 communicates with the memory device 1020, the storage device 1030, and the input / output device 1040 through an address bus, a control bus, and a data bus can do.

실시예에 따라, 이미지 신호 프로세서(1010)는 주변 구성요소 상호 연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다.In accordance with an embodiment, the image signal processor 1010 may also be coupled to an expansion bus, such as a Peripheral Component Interconnect (PCI) bus. Memory device 1020 may store data necessary for operation of computing system 1000.

예를 들어, 메모리 장치(1020)는 DRAM, 모바일 DRAM, SRAM, PRAM, FRAM, RRAM 및/또는 MRAM으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(Solid State Drive(SSD)), 하드 디스크 드라이브(Hard Disk Drive(HDD)), CD-ROM 등을 포함할 수 있다.For example, the memory device 1020 may be implemented as a DRAM, mobile DRAM, SRAM, PRAM, FRAM, RRAM, and / or MRAM. The storage device 1030 may include a solid state drive (SSD), a hard disk drive (HDD), a CD-ROM, and the like.

입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단, 및 프린터와 디스플레이 등과 같은 출력수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.The input / output device 1040 may include input means such as a keyboard, a keypad, a mouse and the like, and output means such as a printer and a display. The power supply 1050 can supply the operating voltage required for operation of the electronic device 1000. [

이미지 센서(1060)는 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 것과 같이, 이미지 센서(1060)가 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(1010)는 획득한 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(1060)를 제어할 수 있다. 이미지 센서(1060)는 이미지 신호 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른칩에 각각 집적될 수도 있다.The image sensor 1060 can communicate with the processor 1010 via busses or other communication links to perform communication. As described above, the image sensor 1060 acquires the target image based on the predetermined exposure target value, and the image signal processor 1010 generates a new exposure target value based on the acquired brightness information of the target image, The sensor 1060 can be controlled. The image sensor 1060 may be integrated with the image signal processor 1010 on one chip or may be integrated on different chips, respectively.

한편, 컴퓨팅 시스템(1000)은 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 스마트폰(Smart Phone), 태블릿 PC 등을 포함할 수 있다.On the other hand, the computing system 1000 should be interpreted as any computing system that uses an image sensor. For example, the computing system 1000 may include a digital camera, a mobile phone, a smart phone, a tablet PC, and the like.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

1: 이미지 촬상 장치 100: 이미지 센서
110: 타이밍 생성기 120: 행 디코더
130: 행 드라이버 140: APS 어레이
150: 상관 이중 샘플러 160: 아날로그 디지털 컨버터
170: 래치 180: 열 디코더
200: 이미지 신호 프로세서 210, 310: 히스토그램 생성기
220, 320: 연산부 230, 330: 노출 타겟값 제어부1: image pickup device 100: image sensor
110: timing generator 120: row decoder
130: Row driver 140: APS array
150: correlated double sampler 160: analog to digital converter
170: latch 180: column decoder
200: image signal processor 210, 310: histogram generator
220, 320: operation unit 230, 330: exposure target value control unit

Claims (10)

미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서; 및
상기 획득된 대상 영상의 밝기 정보를 기초로 제2 노출 타겟값을 생성하여 상기 이미지 센서를 제어하는 이미지 신호 프로세서를 포함하되,
상기 이미지 신호 프로세서는,
상기 대상 영상의 상기 밝기 정보를 기초로 밝기 히스토그램을 생성하는 히스토그램 생성부;
상기 밝기 히스토그램의 분포를 연산하는 연산부;
상기 밝기 히스토그램의 분포를 기초로 상기 제2 노출 타겟값을 생성하여 상기 이미지 센서에 제공하는 노출 타겟값 제어부를 포함하는 이미지 촬상 장치.An image sensor for acquiring a target image based on a predetermined first exposure target value; And
And an image signal processor for generating a second exposure target value based on the acquired brightness information of the target image to control the image sensor,
The image signal processor comprising:
A histogram generation unit for generating a brightness histogram based on the brightness information of the target image;
An operation unit for calculating a distribution of the brightness histogram;
And an exposure target value control unit for generating the second exposure target value based on the distribution of the brightness histogram and providing the second exposure target value to the image sensor. 제 1항에 있어서,
상기 밝기 히스토그램의 분포는, 상기 대상 영상의 장면 정보에 기초하여 상기 밝기 히스토그램의 분산이 정규화된 데이터를 포함하고,
상기 노출 타겟값 제어부는 상기 정규화된 데이터를 기준값과 비교하는 이미지 촬상 장치.The method according to claim 1,
Wherein the distribution of the brightness histogram includes normalized data of the variance of the brightness histogram based on scene information of the target image,
And the exposure target value control unit compares the normalized data with a reference value. 제 2항에 있어서,
상기 장면 정보는 상기 대상 영상의 평균 밝기인 이미지 촬상 장치.3. The method of claim 2,
Wherein the scene information is an average brightness of the target image. 제 2항에 있어서,
상기 노출 타겟값 제어부는 상기 정규화된 데이터가 상기 기준값보다 작은 경우 상기 제1 노출 타겟값을 증가시켜 상기 제2 노출 타겟값을 생성하는 이미지 촬상 장치.3. The method of claim 2,
Wherein the exposure target value control unit increases the first exposure target value to generate the second exposure target value when the normalized data is smaller than the reference value. 제 2항에 있어서,
상기 이미지 센서는 상기 제2 노출 타겟값에 기초하여 대상 영상을 획득하되,
상기 제1 노출 타겟값에 의해 획득된 대상 영상의 장면 정보에 기초한 밝기 히스토그램의 분산이 정규화된 데이터와, 상기 제2 노출 타겟값에 의해 획득된 대상 영상의 장면 정보에 기초한 밝기 히스토그램의 분산이 정규화된 데이터는 동일한 이미지 촬상 장치.3. The method of claim 2,
Wherein the image sensor acquires a target image based on the second exposure target value,
The variance of the brightness histogram based on the scene information of the target image obtained by the first exposure target value and the variance of the brightness histogram based on the scene information of the target image obtained by the second exposure target value are normalized And the data is the same image pickup device. 제 1항에 있어서,
상기 대상 영상의 장면 변화(scene change) 여부를 판단하는 장면 변화 감지부를 더 포함하되,
상기 히스토그램 생성부는 상기 장면 변화 여부가 감지되면, 새로운 대상 영상의 밝기 정보를 기초로 히스토그램을 생성하고,
상기 연산부는 상기 새로운 밝기 히스토그램의 분포를 연산하고,
상기 노출 타겟값 제어부는 상기 새로운 밝기 히스토그램의 분포에 따라 제3 노출 타겟값을 생성하는 이미지 촬상 장치.The method according to claim 1,
Further comprising a scene change detection unit for determining whether a scene change of the target image is to be performed,
The histogram generation unit generates a histogram based on brightness information of a new target image when the scene change is detected,
Wherein the arithmetic unit calculates a distribution of the new brightness histogram,
Wherein the exposure target value control unit generates a third exposure target value according to the distribution of the new brightness histogram. 제 6항에 있어서,
상기 장면 변화 감지부는 상기 대상 영상의 전체 밝기와, 상기 대상 영상의 일부 영역의 밝기의 변화 비율에 기초하여 상기 장면 변화 여부를 판단하는 이미지 촬상 장치.The method according to claim 6,
Wherein the scene change detection unit determines whether or not the scene change is based on a total brightness of the target image and a change ratio of a brightness of a partial area of the target image. 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하고,
상기 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고,
상기 밝기 히스토그램의 분포를 연산하고,
상기 밝기 히스토그램의 분포를 기초로 제2 노출 타겟값을 생성하여 이미지 센서를 제어하는 것을 포함하는 이미지 촬상 장치의 구동 방법.Acquiring a target image based on a first predetermined exposure target value,
Generating a brightness histogram based on the obtained brightness information of the target image,
Calculating a distribution of the brightness histogram,
And generating a second exposure target value based on the distribution of the brightness histogram to control the image sensor. 제 8항에 있어서,
상기 밝기 히스토그램의 분포는, 상기 대상 영상의 장면 정보에 기초하여 상기 밝기 히스토그램의 분산이 정규화된 데이터를 포함하고,
상기 노출 타겟값 제어부는 상기 정규화된 데이터를 기준값과 비교하는 이미지 촬상 장치의 구동 방법9. The method of claim 8,
Wherein the distribution of the brightness histogram includes normalized data of the variance of the brightness histogram based on scene information of the target image,
Wherein the exposure target value control unit compares the normalized data with a reference value, 제 8항에 있어서,
상기 대상 영상의 장면 변화 여부를 판단하고,
상기 대상 영상의 장면 변화가 감지되면 새로운 대상 영상의 밝기 정보를 기초로 히스토그램을 생성하고,
상기 새로운 밝기 히스토그램의 분포를 연산하고,
상기 새로운 밝기 히스토그램의 분포에 따라 제3 노출 타겟값을 생성하는 것을 더 포함하는 이미지 촬상 장치의 구동 방법.9. The method of claim 8,
Determines whether the scene of the target image has changed,
A histogram is generated based on brightness information of a new object image when a scene change of the target image is detected,
Calculating a distribution of the new brightness histogram,
And generating a third exposure target value according to the distribution of the new brightness histogram.
KR1020160184268A 2016-12-30 2016-12-30 Image capturing device and methos of operating the same KR20180078961A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160184268A KR20180078961A (en) 2016-12-30 2016-12-30 Image capturing device and methos of operating the same
US15/857,978 US10587815B2 (en) 2016-12-30 2017-12-29 Image capturing device and method of driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184268A KR20180078961A (en) 2016-12-30 2016-12-30 Image capturing device and methos of operating the same

Publications (1)

Publication Number Publication Date
KR20180078961A true KR20180078961A (en) 2018-07-10

Family

ID=62711365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184268A KR20180078961A (en) 2016-12-30 2016-12-30 Image capturing device and methos of operating the same

Country Status (2)

Country Link
US (1) US10587815B2 (en)
KR (1) KR20180078961A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112567730A (en) * 2020-05-28 2021-03-26 深圳市大疆创新科技有限公司 Exposure control method, device, equipment, movable platform and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840637B (en) * 2018-09-07 2022-04-05 杜比实验室特许公司 Automatic exposure method
CN112655195B (en) * 2018-09-07 2022-05-31 杜比实验室特许公司 Automatic exposure method, computer program product and imaging system
DE102018124015B4 (en) * 2018-09-28 2021-07-29 Basler Ag System and method for capturing images
CN110765525B (en) * 2019-10-18 2023-11-10 Oppo广东移动通信有限公司 Method, device, electronic equipment and medium for generating scene picture
CN110830721B (en) * 2019-11-28 2021-09-07 维沃移动通信有限公司 Image processing method, electronic device and medium
US20230015621A1 (en) * 2021-07-06 2023-01-19 Qualcomm Incorporated Autofocus (af) and auto exposure control (aec) coordination

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003153B1 (en) 2000-09-29 2006-02-21 Sharp Laboratories Of America, Inc. Video contrast enhancement through partial histogram equalization
US7251056B2 (en) 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
US7538801B2 (en) 2003-09-15 2009-05-26 Micron Technology, Inc. Region-based auto gain control and auto exposure control method and apparatus
US7668369B2 (en) 2006-04-26 2010-02-23 Hewlett-Packard Development Company, L.P. Using camera metadata to classify images into scene type classes
JP2008118216A (en) * 2006-10-31 2008-05-22 Brother Ind Ltd Image processor and image processing program
US8384801B2 (en) 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8339506B2 (en) * 2009-04-24 2012-12-25 Qualcomm Incorporated Image capture parameter adjustment using face brightness information
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US8947555B2 (en) 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
KR20130017750A (en) 2011-08-12 2013-02-20 에스케이하이닉스 주식회사 Apparatus and method for adaptive exposure control and image sensor having the same
US9536290B2 (en) * 2012-06-10 2017-01-03 Apple Inc. Tempered auto-adjusting, image-editing operation
EP2946249B1 (en) 2013-01-15 2018-05-23 Avigilon Corporation Imaging apparatus with scene adaptive auto exposure compensation
US9179080B2 (en) * 2014-01-06 2015-11-03 Qualcomm Incorporated System and method to capture images with reduced blurriness in low light conditions
US9489750B2 (en) * 2014-06-26 2016-11-08 Qualcomm Incorporated Exposure metering based on background pixels
KR102344871B1 (en) * 2015-06-22 2021-12-29 삼성전자주식회사 Image sensors and electronic devices including the same
JP2017108309A (en) * 2015-12-10 2017-06-15 オリンパス株式会社 Imaging apparatus and imaging method
US10628700B2 (en) * 2016-05-23 2020-04-21 Intel Corporation Fast and robust face detection, region extraction, and tracking for improved video coding
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112567730A (en) * 2020-05-28 2021-03-26 深圳市大疆创新科技有限公司 Exposure control method, device, equipment, movable platform and storage medium

Also Published As

Publication number Publication date
US10587815B2 (en) 2020-03-10
US20180191934A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
US10587815B2 (en) Image capturing device and method of driving the same
US11290633B2 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
US11301728B2 (en) Image processing using a neural network system
US20140146210A1 (en) Solid state imaging devices and methods using single slope adc with adjustable slope ramp signal
US10089548B2 (en) Image recognition device and image recognition method
US8773544B2 (en) Image sensor and camera system having the same
TWI363179B (en) Apparatus,system,and method for image sensor defect identification using blurring techniques
KR101741499B1 (en) Method and appratuses for pedestal level compensation
US11323638B2 (en) Method of correcting dynamic vision sensor (DVS) events and image sensor performing the same
KR102622123B1 (en) Electronic device for photograping moving picture by adjusting threshold associated with movement of object in region of interest according to movement of electronic device and method for operating thereof
US20190379812A1 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
US9380232B2 (en) Image sensors with anti-eclipse circuitry
US20160019681A1 (en) Image processing method and electronic device using the same
US20230232117A1 (en) Processing circuit analyzing image data and generating final image data
US9258483B2 (en) Multi-purpose camera system supporting normal camera functionality and additional user input functionality
KR20150068740A (en) Image sensor for adjusting number of oversampling and image data processing system
US11172151B2 (en) Image capture apparatus and method for controlling the same
JP6099973B2 (en) Subject area tracking device, control method thereof, and program
US11546565B2 (en) Image sensing device and operating method thereof
US11405598B2 (en) Image processing apparatus, image processing method, and storage medium
CN112219389B (en) Method and apparatus for capturing media using multiple cameras in an electronic device
US20230276135A1 (en) Image processing apparatus to combine images and method for controlling the same
US20240193989A1 (en) Information processing apparatus and control method
US20240098375A1 (en) Method of operating image sensor and image device performing the same
US20220309683A1 (en) Apparatus for detecting moving object, method for detecting moving object, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application