KR102429361B1 - Camera and control method thereof - Google Patents

Camera and control method thereof Download PDF

Info

Publication number
KR102429361B1
KR102429361B1 KR1020150079301A KR20150079301A KR102429361B1 KR 102429361 B1 KR102429361 B1 KR 102429361B1 KR 1020150079301 A KR1020150079301 A KR 1020150079301A KR 20150079301 A KR20150079301 A KR 20150079301A KR 102429361 B1 KR102429361 B1 KR 102429361B1
Authority
KR
South Korea
Prior art keywords
pixels
group
image data
image
subject
Prior art date
Application number
KR1020150079301A
Other languages
Korean (ko)
Other versions
KR20160143138A (en
Inventor
이권
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150079301A priority Critical patent/KR102429361B1/en
Publication of KR20160143138A publication Critical patent/KR20160143138A/en
Application granted granted Critical
Publication of KR102429361B1 publication Critical patent/KR102429361B1/en

Links

Images

Classifications

    • H04N5/2353—
    • H04N5/23212—
    • H04N5/23216—
    • H04N5/23229—
    • H04N5/2355—
    • H04N5/2357—

Abstract

본 발명은 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있는 카메라 및 그 제어 방법에 관한 것으로서, 본 발명의 실시예에 따른 카메라는, 제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와; 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 한 후 그 노출 시간을 변경함으로써 다수의 이미지 데이터를 획득하는 제어부를 포함할 수 있다.The present invention relates to a camera capable of acquiring a high dynamic range (HDR) image by photographing a plurality of images by changing the exposure time of pixels of an image sensor, and synthesizing the photographed plurality of images, and a method for controlling the same. , A camera according to an embodiment of the present invention includes: an image sensor including first group pixels forming a first pattern and second group pixels forming a second pattern formed at a position adjacent to the first pattern; and a controller configured to obtain a plurality of image data by differentiating exposure times of the first group pixels and the second group pixels and then changing the exposure times.

Description

카메라 및 그 제어 방법{CAMERA AND CONTROL METHOD THEREOF}CAMERA AND CONTROL METHOD THEREOF

본 발명은 카메라 및 그 제어 방법에 관한 것이다. The present invention relates to a camera and a method for controlling the same.

일반적으로, 디지털 카메라는 사람의 눈과 달리 다이내믹 레인지(dynamic range)가 작아 밝기 차이가 큰 물체 혹은 풍경이 공존하는 경우에 적절한 밝기로 이미지를 획득하기 어렵다. 예를 들면, 밝은 부분이 너무 밝게 찍혀 하얗게 포화되거나 어두운 부분이 너무 어둡게 찍혀 물체를 식별하기 어렵게 된다. 따라서, 종래 기술에 따른 디지털 카메라는 HDR(high dynamic range) 이미지를 생성하기 위해 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성하였다.In general, unlike the human eye, a digital camera has a small dynamic range, so it is difficult to acquire an image with an appropriate brightness when an object or a landscape with a large difference in brightness coexists. For example, a bright part is printed too brightly to be saturated white, or a dark part is too dark to make it difficult to identify an object. Therefore, the digital camera according to the prior art takes a plurality of images to generate a high dynamic range (HDR) image, and synthesizes the plurality of images taken.

본 명세서는 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있는 카메라 및 그 제어 방법을 제공하는 데 그 목적이 있다.The present specification provides a camera capable of acquiring a high dynamic range (HDR) image by photographing a plurality of images by changing the exposure time of pixels of an image sensor, and synthesizing the plurality of photographed images, and a method for controlling the same it has its purpose

본 명세서에 개시된 실시예에 따른 카메라는, 제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와; 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 한 후 그 노출 시간을 변경함으로써 다수의 이미지 데이터를 획득하는 제어부를 포함할 수 있다.A camera according to an embodiment disclosed herein includes: an image sensor including first group pixels forming a first pattern and second group pixels forming a second pattern formed at a position adjacent to the first pattern; and a controller configured to obtain a plurality of image data by differentiating exposure times of the first group pixels and the second group pixels and then changing the exposure times.

본 명세서에 개시된 실시예에 따르면, 상기 제1 및 제2 패턴은 각각 지그재그 패턴일 수 있다.According to the embodiment disclosed herein, each of the first and second patterns may be a zigzag pattern.

본 명세서에 개시된 실시예에 따르면, 상기 제1 그룹 픽셀은 상기 이미지 센서의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 포함하고, 상기 제2 그룹 픽셀은 상기 이미지 센서의 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 포함할 수 있다.According to an embodiment disclosed herein, the first group of pixels includes pixels in an odd-numbered row or pixels in an odd-numbered column of the image sensor, and the second group of pixels includes pixels in an even-numbered row of the image sensor. Alternatively, it may include pixels in an even-numbered column.

본 명세서에 개시된 실시예에 따르면, 상기 다수의 이미지 데이터를 합성한 하나의 이미지는 HDR(High Dynamic Range) 이미지일 수 있다.According to the embodiment disclosed herein, one image obtained by synthesizing the plurality of image data may be a high dynamic range (HDR) image.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,According to the embodiment disclosed herein, the control unit acquires first image data generated from the first group of pixels by exposing the first group of pixels to a subject for a first time, and at the same time, the second group of pixels After acquiring the second image data generated from the second group of pixels by exposing them to the subject for a second time different from the first time,

상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득할 수 있다.By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and simultaneously exposing the second group of pixels to the subject for the first time Fourth image data generated from the second group of pixels may be acquired.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는 피사체의 움직임을 검출하고, 상기 피사체의 움직임을 근거로 상기 제 1 내지 제2 이미지 데이터를 획득하거나 상기 제 1 내지 제4 이미지 데이터를 획득할 수 있다.According to an embodiment disclosed herein, the controller may detect a movement of a subject, and may obtain the first to second image data or obtain the first to fourth image data based on the movement of the subject. .

본 명세서에 개시된 실시예에 따르면, 상기 제어부는 피사체의 움직임이 검출되면 상기 제 1 내지 제2 이미지 데이터를 획득하고, 상기 피사체의 움직임이 검출되지 않으면 상기 제 1 내지 제4 이미지 데이터를 획득할 수 있다.According to the embodiment disclosed herein, the controller may obtain the first to second image data when the movement of the subject is detected, and obtain the first to fourth image data when the movement of the subject is not detected. have.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 피사체의 움직임이 검출되면, 상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하고, 상기 획득한 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성할 수 있다.According to the embodiment disclosed herein, when the movement of the subject is detected, the controller acquires the first image data generated from the first group of pixels by exposing the first group of pixels to the subject for the first time. At the same time, second image data generated from the second group of pixels is obtained by exposing the second group of pixels to the subject for the second time, and the second image data is synthesized by synthesizing the obtained first and second image data. 1 image can be created.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 상기 피사체의 움직임이 검출되지 않으면, 상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,According to the embodiment disclosed herein, when the movement of the subject is not detected, the control unit exposes the first group of pixels to the subject for the first time, thereby generating the first image data generated from the first group of pixels. At the same time, after acquiring second image data generated from the second group of pixels by exposing the second group of pixels to the subject for the second time,

상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 상기 획득한 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성할 수 있다.By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and simultaneously exposing the second group of pixels to the subject for the first time A second image may be generated by acquiring fourth image data generated from the second group of pixels and synthesizing the acquired first to fourth image data.

본 명세서에 개시된 실시예에 따른 카메라 제어 방법은, 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하는 단계와; 상기 제1 및 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하는 단계와; 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하는 단계와; 상기 합성한 하나의 이미지를 메모리에 저장하는 단계를 포함할 수 있다.The camera control method according to the embodiment disclosed herein obtains first image data generated from the first group pixels by differentiating the exposure times of the first group pixels and the second group pixels, and at the same time, acquiring second image data generated from the second group of pixels; After acquiring the first and second image data, acquiring third image data generated from the first group of pixels by changing the different exposure times of the first group of pixels and the second group of pixels; at the same time, acquiring fourth image data generated from the second group of pixels; synthesizing the first to fourth image data into one image; The method may include storing the single synthesized image in a memory.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있다.A camera and a control method thereof according to an embodiment of the present invention capture a plurality of images by changing exposure times of pixels of an image sensor, and acquire a high dynamic range (HDR) image by synthesizing the plurality of images taken can do.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 모든 픽셀 위치에서 장시간 노출과 단시간 노출에 따른 화소값 획득이 가능함으로써 이미지 보간(interpolation)으로 인한 열화를 최소화할 수 있으며, 이미지 화질을 대폭 향상시킬 수 있다.A camera and a control method thereof according to an embodiment of the present invention can minimize deterioration due to image interpolation by obtaining pixel values according to long exposure and short exposure at all pixel positions of an image sensor, and image quality can be significantly improved.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 복잡한 이미지 보간 과정이 필요 없으므로 이미지 생성에 따른 전력소모를 줄일 수도 있다.The camera and its control method according to an embodiment of the present invention may reduce power consumption due to image generation because a complicated image interpolation process is not required.

도 1은 본 발명의 실시예에 따른 카메라의 구성요소를 설명하기 위한 구성도이다.
도 2는 도 1의 카메라 모듈의 광학계를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따라 노출 시간을 변경함으로써 촬영된 다수의 이미지 데이터를 근거로 HDR(high dynamic range) 이미지를 생성하는 방법을 나타낸 예시도 이다.
도 5는 본 발명의 다른 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 동영상 촬영 모드에서 HDR 이미지를 생성하는 방법을 나타낸 예시도 이다.1 is a configuration diagram for explaining the components of a camera according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram for explaining an optical system of the camera module of FIG. 1 .
3 is a flowchart illustrating a method for controlling a camera according to an embodiment of the present invention.
4A to 4C are exemplary views illustrating a method of generating a high dynamic range (HDR) image based on a plurality of image data captured by changing an exposure time according to an embodiment of the present invention.
5 is a flowchart illustrating a method of controlling a camera according to another embodiment of the present invention.
6 is an exemplary diagram illustrating a method of generating an HDR image in a moving picture shooting mode according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as “comprises” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

도 1은 본 발명의 실시예에 따른 카메라의 구성요소를 설명하기 위한 구성도이고, 도 2는 도 1의 카메라 모듈의 광학계를 설명하기 위한 개념도이다. 1 is a configuration diagram for explaining the components of a camera according to an embodiment of the present invention, and FIG. 2 is a conceptual diagram for explaining an optical system of the camera module of FIG. 1 .

본 발명의 실시예에 따른 카메라는 순차적으로 배열된 부의 굴절력을 가지는 제1 고정 렌즈군(110), 정의 굴절력을 가지는 제1 이동 렌즈군(120), 정의 굴절력을 가지는 제2 고정 렌즈군(130), 제2 이동 렌즈군(140), 이미지 센서(150), 메모리(160) 중에서 어느 하나 이상을 포함할 수 있다. The camera according to the embodiment of the present invention has a first fixed lens group 110 having a negative refractive power, a first moving lens group 120 having a positive refractive power, and a second fixed lens group 130 having a positive refractive power, which are sequentially arranged. ), the second moving lens group 140 , an image sensor 150 , and a memory 160 .

상기 제1 및 제2 이동 렌즈군(120, 140)은 제1 방향(D1)으로 연장되는 광축을 따라 이동하도록 형성된다. 즉, 상기 제1 이동 렌즈군(120)은 제1 구동부(121)와 연결되고, 상기 제2 이동 렌즈군(140)은 상기 제2 구동부(142)와 연결된다.The first and second moving lens groups 120 and 140 are formed to move along an optical axis extending in the first direction D1. That is, the first moving lens group 120 is connected to the first driving unit 121 , and the second moving lens group 140 is connected to the second driving unit 142 .

상기 제1 고정 렌즈군(110)은 제1 렌즈(L1), 제2 렌즈(L2) 및 그 사이에 배치되는 프리즘(prism)로 이루어진다. 구체적으로 상기 제1 고정 렌즈군(110)은 부의 굴절력을 가지는 매니스커스(meniscus)형상의 단식 렌즈의 제1 렌즈(L1), 광로를 약 90도로 전환되도록 형성되는 프리즘(P), 정의 굴절력을 가지는 단식렌즈로 형성되는 제2 렌즈(L1)로 이루어질 수 있다. The first fixed lens group 110 includes a first lens L1, a second lens L2, and a prism disposed therebetween. Specifically, the first fixed lens group 110 includes a first lens L1 of a meniscus-shaped single lens having a negative refractive power, a prism P formed to change an optical path by about 90 degrees, and a positive refractive power It may be made of a second lens (L1) formed of a single lens having a.

상기 제1 이동 렌즈군(120)은 제3 내지 제5 렌즈(L3, L4, L5)로 이루어진다. 상기 제2 고정 렌즈군(130)은 제6 렌즈(L6)을 포함하고, 상기 제2 이동 렌즈군(140)은 제7 내지 제9 렌즈(L7, L8, L9)로 이루어진다. 빛은 상기 제1 고정 렌즈군(110), 제1 이동 렌즈군(120), 제2 고정 렌즈군(130) 및 제2 이동 렌즈군(140)을 통과하여 상기 이미지 센서(150)에 도달한다. The first moving lens group 120 includes third to fifth lenses L3, L4, and L5. The second fixed lens group 130 includes a sixth lens L6, and the second moving lens group 140 includes seventh to ninth lenses L7, L8, and L9. Light passes through the first fixed lens group 110 , the first movable lens group 120 , the second fixed lens group 130 , and the second movable lens group 140 to reach the image sensor 150 . .

상기 제2 이동 렌즈군(140)의 각 렌즈들 중 적어도 하나는 비구면 렌즈로 형성될 수 있다. 이 경우, 광각단에 있어서 부의 왜곡수차를 보정할 수 있다. At least one of the lenses of the second moving lens group 140 may be formed of an aspherical lens. In this case, it is possible to correct the negative distortion aberration at the wide-angle end.

상기 제1 이동 렌즈군(120) 및 상기 제2 이동 렌즈군(130) 사이에 조리개(IRIS)가 형성된다. 상기 이미지 센서(150) 및 상기 제2 이동 렌즈군(140) 사이에 저역필터(LP, Low Pass Filter), 적외선 커트 필터(Cut Filter) 및 CCD의 커버유리(CG)가 배치될 수 있다. An iris IRIS is formed between the first moving lens group 120 and the second moving lens group 130 . A low pass filter (LP), an infrared cut filter, and a cover glass CG of a CCD may be disposed between the image sensor 150 and the second moving lens group 140 .

상기 제어부(101)는 상기 제1 및 제2 이동 렌즈군(120, 140)을 이동시켜 주밍(zooming)을 수행한다. 단초점 거리단(광각단)으로부터 장초점 거리단(망원단)으로 변경하는 경우, 상기 제1 이동 렌즈군(120)이 객체가 위치하는 영역으로부터 상면측으로 이동한다. 상기 제어부(101)는 상기 제2 이동 렌즈군(140)를 이동시켜 포커스(focus)를 조정한다. The controller 101 performs zooming by moving the first and second moving lens groups 120 and 140 . When changing from the short focal length end (wide-angle end) to the long focal length end (telephoto end), the first moving lens group 120 moves from the area where the object is located to the image plane side. The control unit 101 moves the second moving lens group 140 to adjust the focus.

상기 제1 및 제2 이동 렌즈군(120, 140)은 상기 제1 및 제2 구동부(121, 141)에 의하여 서로 연동하여 이동할 수 있으나 이에 한정되지 아니하며, 이동하는 방향이 동일하거나 반대될 수 있다. The first and second moving lens groups 120 and 140 may move in conjunction with each other by the first and second driving units 121 and 141, but the present invention is not limited thereto, and the moving directions may be the same or opposite. .

상기 제1 및 제2 이동 렌즈군(120, 140)과 상기 제1 및 제2 고정 렌즈군(110, 130)을 통과한 빛은 상기 이미지 센서(150)에 도달하여, 초점을 맺은 영상요소들이 변환되어 영상으로 출력된다. The light passing through the first and second moving lens groups 120 and 140 and the first and second fixed lens groups 110 and 130 reaches the image sensor 150, so that focused image elements are converted and output as an image.

상기 이미지 센서(image sensor)(150)는 1차원 또는 2차원 이상의 광학 정보를 전기적인 영상신호로 변환하는 장치이다. 상기 이미지 센서(150)는 CMOS(complementary metal-oxidesemiconductor)형 또는 CCD(charge coupled device)형의 2종류가 사용될 수 있다. CMOS 이미지 센서는 CMOS 제조 기술을 이용하여 광학적 이미지를 전기적 영상신호로 변환시키는 소자이다.The image sensor 150 is a device for converting one-dimensional or two-dimensional or more optical information into an electrical image signal. The image sensor 150 may be of two types: a complementary metal-oxide semiconductor (CMOS) type or a charge coupled device (CCD) type. A CMOS image sensor is a device that converts an optical image into an electrical image signal using CMOS manufacturing technology.

상기 이미지 센서(150)는 다수의 픽셀(예를 들면, 다수의 포토 다이오드)을 포함할 수 있으며, 상기 다수의 픽셀은 장시간 노출에 따른 전기적 영상신호(이미지 데이터)를 출력하거나 단시간 노출에 따른 전기적 영상신호(이미지 데이터)를 출력한다.The image sensor 150 may include a plurality of pixels (eg, a plurality of photodiodes), and the plurality of pixels output an electrical image signal (image data) according to a long exposure or an electrical signal according to a short exposure. Outputs a video signal (image data).

상기 이미지 센서(150)는 제1 패턴(예를 들면, 지그재그 패턴)을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴(예를 들면, 지그재그 패턴)을 이루는 제2 그룹 픽셀들을 포함할 수 있다. The image sensor 150 includes a first group of pixels forming a first pattern (eg, a zigzag pattern) and a second pattern (eg, a zigzag pattern) formed at a position adjacent to the first pattern. It may include 2 groups of pixels.

일반적으로, 디지털 카메라는 사람의 눈과 달리 다이내믹 레인지(dynamic range)가 작아 밝기 차이가 큰 물체 혹은 풍경이 공존하는 경우에 적절한 밝기로 이미지를 획득하기 어렵다. 예를 들면, 밝은 부분이 너무 밝게 촬영되어 하얗게 포화되거나 어두운 부분이 너무 어둡게 촬영되어 물체를 식별하기 어렵게 된다. In general, unlike the human eye, a digital camera has a small dynamic range, so it is difficult to acquire an image with an appropriate brightness when an object or a landscape with a large difference in brightness coexists. For example, a bright part is photographed too brightly to be saturated white, or a dark part is photographed too darkly, making it difficult to identify an object.

따라서, HDR(high dynamic range) 이미지를 생성하기 위해 노출을 달리한 이미지들을 동시에 획득하고, 그 획득한 이미지들을 합성한다. 예를 들면, 노출 시간을 짧게(단 노출) 하여 한 장의 이미지를 획득함과 동시에 노출을 길게(장 노출) 하여 다른 한 장의 이미지를 획득하고, 그 획득된 이미지들을 합성함으로써 HDR(high dynamic range) 이미지를 생성한다. Accordingly, images with different exposures are simultaneously acquired to generate a high dynamic range (HDR) image, and the acquired images are synthesized. For example, one image is obtained by shortening the exposure time (short exposure), and at the same time, another image is obtained by increasing the exposure time (long exposure), and by synthesizing the obtained images, HDR (high dynamic range) create an image

이하에서는, 이미지 센서(150)의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있는 카메라 및 그 제어 방법을 도 1 및 도 3을 참조하여 설명한다.Hereinafter, a camera capable of acquiring a high dynamic range (HDR) image by photographing a plurality of images by changing the exposure time of pixels of the image sensor 150 and synthesizing the plurality of photographed images, and a method for controlling the same will be described with reference to FIGS. 1 and 3 .

도 3은 본 발명의 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of controlling a camera according to an embodiment of the present invention.

먼저, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어한다(S11). 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/100초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/500초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. First, the controller 101 controls the exposure times of the first group pixels and the second group pixels of the image sensor 150 to be different from each other ( S11 ). For example, the controller 101 may set the exposure time of the first group of pixels of the image sensor 150 to 1/100 second and the exposure time of the second group of pixels to 1/500 second, and the exposure time is It is not limited, and may be changed according to external illuminance or may be changed according to a user's request.

상기 이미지 센서(150)는 제1 패턴(예를 들면, 지그재그 패턴)을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴(예를 들면, 지그재그 패턴)을 이루는 제2 그룹 픽셀들을 포함할 수도 있으나, 상기 제1 내지 제2 그룹 픽셀들뿐만 아니라 그 이상의 그룹의 픽셀들을 포함할 수 있으며, 그 이상의 그룹의 픽셀들의 노출 시간은 상기 제어부(101)에 의해 서로 다르게 제어될 수 있다. The image sensor 150 includes a first group of pixels forming a first pattern (eg, a zigzag pattern) and a second pattern (eg, a zigzag pattern) formed at a position adjacent to the first pattern. It may include two groups of pixels, but it may include not only the first to second group pixels but also more groups of pixels, and the exposure times of the pixels of more groups are differently controlled by the controller 101 . can be

상기 이미지 센서(150)는 상기 지그재그 패턴뿐만 아니라 다양한 패턴을 이루는 다수의 그룹 픽셀들을 포함할 수도 있다. 예를 들면, 상기 이미지 센서(150)의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 제1 그룹 픽셀로 설정하거나, 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 제2 그룹 픽셀로 설정할 수도 있다. 상기 이미지 센서(150)의 각 픽셀의 노출 시간은 상기 제어부(101)에 의해 제어된다.The image sensor 150 may include a plurality of group pixels forming various patterns as well as the zigzag pattern. For example, pixels in an odd-numbered row or pixels in an odd-numbered column of the image sensor 150 may be set as a first group pixel, or pixels in an even-numbered row or pixels in an even-numbered column may be set as a second group pixel. have. The exposure time of each pixel of the image sensor 150 is controlled by the controller 101 .

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S12).The control unit 101 obtains first image data generated from the first group pixels by controlling the exposure times of the first group pixels and the second group pixels of the image sensor 150 differently, and at the same time, the second group pixels. Second image data generated from two groups of pixels is acquired (S12).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 획득한 후, 상기 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 변경한다(S13). 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/500초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/100초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. 즉, 상기 제어부(101)는 상기 제1 그룹 픽셀들의 광 노출량과 상기 제2 그룹 픽셀들의 광 노출량이 서로 다르도록 상기 제 1 그룹 픽셀들 및 제2 그룹 픽셀들의 상기 노출 시간을 변경한다.After acquiring the first to second image data, the controller 101 changes the exposure times of the first group pixels and the second group pixels of the image sensor 150 ( S13 ). For example, the controller 101 may set the exposure time of the first group of pixels of the image sensor 150 to 1/500 second and the exposure time of the second group of pixels to 1/100 of a second, and the exposure time is It is not limited, and may be changed according to external illuminance or may be changed according to a user's request. That is, the controller 101 changes the exposure times of the first group pixels and the second group pixels so that the light exposure amounts of the first group pixels and the light exposure amounts of the second group pixels are different from each other.

상기 제어부(101)는 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다(S14).The control unit 101 acquires third image data generated from the first group pixels by changing the different exposure times of the first group pixels and the second group pixels, and at the same time, the second group pixels The fourth image data generated from the data is obtained (S14).

즉, 상기 제어부(101)는 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다. 상기 제어부(101)는 제1 내지 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다.That is, the controller 101 acquires the first image data generated from the first group of pixels by exposing the first group of pixels to the subject for a first time, and simultaneously sets the second group of pixels for the first time The second image data generated from the second group of pixels is obtained by exposing the subject to the subject for a second time period different from . the control unit 101 obtains the first and second image data and then obtains third image data generated from the first group of pixels by exposing the first group of pixels to the subject for the second time; At the same time, fourth image data generated from the second group of pixels is obtained by exposing the second group of pixels to the subject for the first time.

상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하고(S15), 그 합성한 하나의 이미지를 메모리(160)에 저장한다.The controller 101 synthesizes the first to fourth image data into a single image (S15), and stores the synthesized single image in the memory 160 .

상기 메모리(160)는 이러한 제어부(101)의 동작을 위한 프로그램을 저장할 수 있고, 상기 제1 내지 제2 이미지 데이터를 합성함으로써 생성된 HDR(high dynamic range) 이미지와, 상기 제1 내지 제4 이미지 데이터를 합성함으로써 생성된 HDR(high dynamic range) 이미지를 저장할 수도 있다. The memory 160 may store a program for the operation of the controller 101 , a high dynamic range (HDR) image generated by synthesizing the first to second image data, and the first to fourth images. It is also possible to store a high dynamic range (HDR) image generated by synthesizing data.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(101)에 의해 실행될 수도 있다.According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in the memory 160 and executed by the controller 101 .

도 4a 내지 도 4c는 본 발명의 실시예에 따라 노출 시간을 변경함으로써 촬영된 다수의 이미지 데이터를 근거로 HDR(high dynamic range) 이미지를 생성하는 방법을 나타낸 예시도 이다.4A to 4C are exemplary views illustrating a method of generating a high dynamic range (HDR) image based on a plurality of photographed image data by changing an exposure time according to an embodiment of the present invention.

도 4a에 도시한 바와 같이, 상기 제어부(101)는 상기 제1 패턴(예를 들면, 제1 지그재그 패턴)의 제 1 그룹 픽셀들(예를 들면, R((Red), G(Green), B(Blue) 픽셀)(4-1)을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들(4-1)로부터 발생한 제1 이미지 데이터(4-1a)를 획득함과 동시에, 상기 제 2 그룹 픽셀들(예를 들면, R((Red), G(Green), B(Blue) 픽셀)(4-2)을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들(4-2)로부터 발생한 제2 이미지 데이터(4-2a)를 획득한다. As shown in FIG. 4A , the control unit 101 controls the first group of pixels (eg, R((Red), G(Green), The first image data 4-1a generated from the first group pixels 4-1 is acquired by exposing the B (Blue) pixel 4-1 to the subject for a first time, and at the same time, the first image data 4-1a is obtained. By exposing two groups of pixels (eg, R((Red), G(Green), B(Blue) pixels) 4-2) to the subject for a second time different from the first time, the second Second image data 4-2a generated from two groups of pixels 4-2 is acquired.

도 4b에 도시한 바와 같이, 상기 제어부(101)는 제1 내지 제2 이미지 데이터(4-1a, 4-2a)를 획득한 후, 상기 제 1 그룹 픽셀들(4-1)을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들(4-1)로부터 발생한 제3 이미지 데이터(4-1b)를 획득함과 동시에, 상기 제 2 그룹 픽셀들(4-2)을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들(4-2)로부터 발생한 제4 이미지 데이터(4-2b)를 획득한다. 즉, 상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터(4-1a, 4-2a)를 동시에 획득한 후 상기 제3 내지 제4 이미지 데이터(4-1b, 4-2b)를 동시에 획득한다.As shown in FIG. 4B , the controller 101 acquires the first to second image data 4-1a and 4-2a, and then sets the first group of pixels 4-1 to the second By exposing to the subject for a time, the third image data 4-1b generated from the first group of pixels 4-1 is acquired, and at the same time, the second group of pixels 4-2 is transferred to the first The fourth image data 4-2b generated from the second group pixels 4-2 is acquired by exposing the subject to the subject for a period of time. That is, the controller 101 simultaneously acquires the first to second image data 4-1a and 4-2a, and then simultaneously acquires the third to fourth image data 4-1b and 4-2b. do.

도 4c에 도시한 바와 같이, 상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터(4-1a, 4-2a, 4-1b, 4-2b)를 하나의 이미지로 합성하고, 그 합성한 하나의 이미지(4-3)를 메모리(160)에 저장한다.As shown in FIG. 4C , the control unit 101 synthesizes the first to fourth image data 4-1a, 4-2a, 4-1b, and 4-2b into one image, and One image 4 - 3 is stored in the memory 160 .

이하에서는, 상기 피사체의 움직임을 근거로 상기 제1 내지 제4 이미지 데이터(4-1a, 4-2a, 4-1b, 4-2b)를 획득하는 방법을 설명한다. 예를 들면, 장 노출과 단 노출 이미지를 동시에 촬영하면, 피사체 움직임에 의한 고스트(ghost) 발생을 최소화 하지만, 공간 해상도가 줄어들어 화질의 열화를 발생시킨다. 따라서, 고스트 발생을 최소화하면서 공간 해상도를 높일 수 있는 방법을 도 1 내지 도 5를 참조하여 설명한다.Hereinafter, a method of acquiring the first to fourth image data 4-1a, 4-2a, 4-1b, and 4-2b based on the movement of the subject will be described. For example, if a long-exposure image and a short-exposure image are taken at the same time, the occurrence of a ghost due to the movement of the subject is minimized, but the spatial resolution is reduced and thus the image quality is deteriorated. Accordingly, a method of increasing spatial resolution while minimizing ghost generation will be described with reference to FIGS. 1 to 5 .

도 5는 본 발명의 다른 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of controlling a camera according to another embodiment of the present invention.

먼저, 상기 제어부(101)는 스틸 이미지 촬영 모드 또는 동영상 촬영 모드일 때 이미지 센서(150)를 통해 프리뷰 이미지(Preview Image)를 획득하고, 상기 프리뷰 이미지 내에서 피사체 움직임을 검출한다(S21). 예를 들면, 상기 제어부(101)는 이미지 센서(150)를 통해 프리뷰 이미지를 획득하고, 상기 프리뷰 이미지 내에서 피사체의 움직임이 존재하는지 여부를 검출한다.First, the controller 101 acquires a preview image through the image sensor 150 in a still image shooting mode or a moving picture shooting mode, and detects a subject movement in the preview image (S21). For example, the controller 101 obtains a preview image through the image sensor 150 and detects whether a movement of a subject exists in the preview image.

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어한다. 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/300초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/150초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. The controller 101 controls exposure times of the first group pixels and the second group pixels of the image sensor 150 differently. For example, the controller 101 may set the exposure time of the first group of pixels of the image sensor 150 to 1/300 second and the exposure time of the second group of pixels to 1/150 second, and the exposure time is It is not limited, and may be changed according to external illuminance or may be changed according to a user's request.

상기 제어부(101)는 상기 프리뷰 이미지 내에서 피사체의 움직임이 검출되면 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 동시에 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S22).When the movement of the subject is detected in the preview image, the control unit 101 controls the exposure times of the first group pixels and the second group pixels of the image sensor 150 differently at the same time, thereby generating Simultaneously with acquiring the first image data, second image data generated from the second group of pixels is acquired (S22).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 하나의 이미지로 합성하고(S23), 그 합성한 하나의 이미지를 메모리(160)에 저장한다. 즉, 상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하고, 그 생성한 제1 이미지를 메모리(160)에 저장한다.The controller 101 synthesizes the first and second image data into one image (S23), and stores the synthesized single image in the memory 160 . That is, the controller 101 generates a first image by synthesizing the first to second image data, and stores the generated first image in the memory 160 .

반면, 상기 제어부(101)는 상기 프리뷰 이미지 내에서 피사체의 움직임이 검출되지 않으면, 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 동시에 서로 다르게 제어한다. On the other hand, when the movement of the subject is not detected in the preview image, the controller 101 simultaneously controls the exposure times of the first group pixels and the second group pixels of the image sensor 150 differently.

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S24).The control unit 101 obtains first image data generated from the first group pixels by controlling the exposure times of the first group pixels and the second group pixels of the image sensor 150 differently, and at the same time, the second group pixels. Second image data generated from two groups of pixels is acquired (S24).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 획득한 후, 상기 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 변경한다. 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/300초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/800초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. After acquiring the first to second image data, the controller 101 changes exposure times of the first group pixels and the second group pixels of the image sensor 150 . For example, the controller 101 may set the exposure time of the first group of pixels of the image sensor 150 to 1/300 second and the exposure time of the second group of pixels to 1/800 second, and the exposure time is It is not limited, and may be changed according to external illuminance or may be changed according to a user's request.

상기 제어부(101)는 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다(S25). 즉, 상기 제어부(101)는 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다. 상기 제어부(101)는 제1 내지 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다.The control unit 101 acquires third image data generated from the first group pixels by changing the different exposure times of the first group pixels and the second group pixels, and at the same time, the second group pixels The fourth image data generated from the data is obtained (S25). That is, the controller 101 acquires the first image data generated from the first group of pixels by exposing the first group of pixels to the subject for a first time, and simultaneously sets the second group of pixels for the first time The second image data generated from the second group of pixels is obtained by exposing the subject to the subject for a second time period different from . the control unit 101 obtains the first and second image data and then obtains third image data generated from the first group of pixels by exposing the first group of pixels to the subject for the second time; At the same time, fourth image data generated from the second group of pixels is obtained by exposing the second group of pixels to the subject for the first time.

상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하고(S26), 그 합성한 하나의 이미지를 메모리(160)에 저장한다.The control unit 101 synthesizes the first to fourth image data into a single image (S26), and stores the synthesized single image in the memory 160 .

상기 제어부(101)는 동영상을 촬영할 때 피사체 움직임이 검출되면 상기 제1 및 제2 이미지 데이터를 동시에 획득하고, 그 획득한 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하고, 그 생성한 제1 이미지를 메모리(160)에 저장하고, 이어서 피사체 움직임이 검출되지 않으면 상기 제1 내지 제4 제2 이미지 데이터를 동시에 획득하고, 그 획득한 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성하고, 그 생성한 제2 이미지를 메모리(160)에 저장함으로써 공간 해상도를 높임과 동시에 화질을 향상시킬 수 있다.The controller 101 generates a first image by simultaneously acquiring the first and second image data and synthesizing the acquired first and second image data when a motion of a subject is detected when shooting a video, and the generation A first image is stored in the memory 160 , and then, if the subject movement is not detected, the first to fourth second image data are simultaneously acquired, and the obtained first to fourth image data is synthesized to obtain a second image. By generating an image and storing the generated second image in the memory 160 , spatial resolution and image quality can be improved at the same time.

상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임을 독립적으로 HDR 이미지로 생성하고, 두 번째 프레임부터 현재 프레임과 이전 프레임(제1 및 제2 이미지 데이터 또는 제1 내지 제4 이미지 데이터)을 근거로 HDR 이미지를 생성할 수도 있다.The controller 101 independently generates a first frame as an HDR image for real-time processing when shooting a video, and from the second frame to the current frame and previous frames (first and second image data or first to fourth images) data) can also be used to generate HDR images.

도 6은 본 발명의 실시예에 따른 동영상 촬영 모드에서 HDR 이미지를 생성하는 방법을 나타낸 예시도 이다.6 is an exemplary diagram illustrating a method of generating an HDR image in a moving picture shooting mode according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임(n번째 이미지)을 독립적으로 제1 HDR 이미지로 생성하고, 두 번째 프레임(n+1번째 이미지)과 세 번째 프레임(n+2 번째 이미지)을 근거로 제2 HDR 이미지를 생성하고, 세 번째 프레임(n+2 번째 이미지)과 네 번째 프레임(n+3 번째 이미지)을 근거로 제3 HDR 이미지를 생성할 수 있다.As shown in FIG. 6 , the controller 101 independently generates a first frame (n-th image) as a first HDR image for real-time processing when shooting a video, and a second frame (n+1 image) ) and the third frame (n+2th image), generate a second HDR image, and based on the third frame (n+2th image) and the fourth frame (n+3rd image) You can create an image.

예를 들면, 상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임에 해당하는 제1 및 제2 이미지 데이터를 합성함으로써 제1 HDR 이미지로 생성한 후, 두 번째 프레임에서 피사체 움직임이 검출되면 상기 제1 및 제2 이미지 데이터를 합성함으로써 제2 HDR 이미지를 생성하고, 세 번째 프레임에서 피사체 움직임이 검출되지 않으면 상기 제1 내지 제4 이미지 데이터를 합성함으로써 제3 HDR 이미지를 생성할 수 있다.For example, the controller 101 generates a first HDR image by synthesizing the first and second image data corresponding to the first frame for real-time processing when shooting a moving picture, and then the movement of the subject in the second frame is When detected, a second HDR image is generated by synthesizing the first and second image data, and when the subject movement is not detected in the third frame, a third HDR image can be generated by synthesizing the first to fourth image data. have.

이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있다.As described above, the camera and its control method according to an embodiment of the present invention take a plurality of images by changing the exposure time of pixels of an image sensor, and synthesize the plurality of images, thereby dynamic range) images can be acquired.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 모든 픽셀 위치에서 장시간 노출과 단시간 노출에 따른 화소값 획득이 가능함으로써 이미지 보간(interpolation)으로 인한 열화를 최소화할 수 있으며, 이미지 화질을 대폭 향상시킬 수 있다.A camera and a control method thereof according to an embodiment of the present invention can minimize deterioration due to image interpolation by obtaining pixel values according to long exposure and short exposure at all pixel positions of an image sensor, and image quality can be significantly improved.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 복잡한 이미지 보간 과정이 필요 없으므로 이미지 생성에 따른 전력소모를 줄일 수도 있다.The camera and its control method according to an embodiment of the present invention may reduce power consumption due to image generation because a complicated image interpolation process is not required.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, cd-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.In addition, according to an embodiment disclosed in the present specification, the above-described method may be implemented as processor-readable code on a medium in which a program is recorded. Examples of the processor-readable medium include ROM, RAM, cd-ROM, magnetic tape, floppy disk, optical data storage device, etc., and may be implemented in the form of a carrier wave (eg, transmission over the Internet). include

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 제1 및 제2 패턴의 예로 지그재그 패턴을 언급하였으나, 얼마든지 다양한 형태의 패턴이 사용될 수 있음은 물론이다. Meanwhile, in the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. In particular, in the embodiment of the present invention, although the zigzag pattern is mentioned as an example of the first and second patterns, it goes without saying that any number of various types of patterns may be used.

이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.As such, those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (11)

삭제delete 제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와;
상기 제1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 각각 제1 시간 및 제2 시간으로 서로 다르게 함으로써 상기 제1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에 상기 제2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 각각 상기 제2 시간 및 상기 제1 시간으로 변경함으로써 상기 제1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 제1 이미지 데이터 내지 제4 이미지 데이터를 하나의 이미지로 합성하고,
상기 합성된 하나의 이미지를 메모리에 저장하는 제어부를 포함하고,
상기 제어부는,
피사체의 움직임이 검출되면 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 동시에 획득하고, 상기 동시에 획득된 제1 이미지 데이터 및 제2 이미지 데이터를 합성하여 상기 피사체의 움직임에 의한 고스트 현상이 억제된 제1 이미지를 생성하여 상기 메모리에 저장하고,
상기 피사체의 움직임이 검출되지 않으면 상기 제1 이미지 데이터 내지 상기 제4 이미지 데이터를 동시에 획득하고, 상기 동시에 획득된 제1 이미지 데이터 내지 제4 이미지 데이터를 합성하여 상기 제1 이미지에 비해 공간 해상도와 화질이 향상된 제2 이미지를 생성하여 상기 메모리에 저장하는 것을 특징으로 하는 카메라.An image sensor comprising: an image sensor including first group pixels forming a first pattern and second group pixels forming a second pattern formed adjacent to the first pattern;
By differentiating the exposure times of the first group pixels and the second group pixels for a first time and a second time, respectively, the first image data generated from the first group pixels is obtained and the second group pixels After acquiring the second image data generated from
acquiring third image data generated from the first group of pixels by changing the different exposure times of the first group of pixels and the second group of pixels to the second time and the first time, respectively; obtaining fourth image data generated from the second group of pixels, and synthesizing the first image data to fourth image data into one image;
A control unit for storing the synthesized single image in a memory;
The control unit is
When the movement of the subject is detected, the first image data and the second image data are simultaneously obtained, and the first image data and the second image data obtained at the same time are synthesized to suppress the ghost phenomenon caused by the movement of the subject. 1 Create an image and store it in the memory,
When the movement of the subject is not detected, the first image data to the fourth image data are simultaneously acquired, and the simultaneously acquired first image data to fourth image data are synthesized to achieve spatial resolution and image quality compared to the first image. and generating and storing this enhanced second image in said memory. 제2항에 있어서, 상기 제1 및 제2 패턴은 각각 지그재그 패턴인 것을 특징으로 하는 카메라.The camera according to claim 2, wherein each of the first and second patterns is a zigzag pattern. 제2항에 있어서, 상기 제1 그룹 픽셀은 상기 이미지 센서의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 포함하고,
상기 제2 그룹 픽셀은 상기 이미지 센서의 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 포함하는 것을 특징으로 하는 카메라.3. The method of claim 2, wherein the first group of pixels comprises pixels in an odd-numbered row or pixels in an odd-numbered column of the image sensor;
and the second group of pixels includes pixels in an even-numbered row or pixels in an even-numbered column of the image sensor. 제2항에 있어서, 상기 합성된 하나의 이미지는 HDR(High Dynamic Range) 이미지인 것을 특징으로 하는 카메라.The camera according to claim 2, wherein the one synthesized image is a high dynamic range (HDR) image. 제2항에 있어서, 상기 제어부는,
상기 제1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들을 상기 제1 시간과 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하는 것을 특징으로 하는 카메라.According to claim 2, wherein the control unit,
The first image data generated from the first group pixels is obtained by exposing the first group pixels to the subject for a first time period, and at the same time, the second group pixels are exposed to the subject for a second time different from the first time period. After acquiring the second image data generated from the second group of pixels by exposing to
By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and simultaneously exposing the second group of pixels to the subject for the first time and acquiring fourth image data generated from the second group of pixels. 삭제delete 삭제delete 제6항에 있어서, 상기 제어부는,
피사체의 움직임이 검출되면,
상기 제1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하고, 상기 획득된 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하는 것을 특징으로 하는 카메라.According to claim 6, wherein the control unit,
When the movement of the subject is detected,
By exposing the first group of pixels to the subject for the first time, the first image data generated from the first group of pixels is obtained, and at the same time, by exposing the second group of pixels to the subject for the second time. and generating a first image by obtaining second image data generated from the second group of pixels and synthesizing the obtained first and second image data. 제9항에 있어서, 상기 제어부는,
상기 피사체의 움직임이 검출되지 않으면,
상기 제1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 상기 획득된 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성하는 것을 특징으로 하는 카메라.10. The method of claim 9, wherein the control unit,
If the movement of the subject is not detected,
By exposing the first group of pixels to the subject for the first time, the first image data generated from the first group of pixels is obtained, and at the same time, by exposing the second group of pixels to the subject for the second time. After acquiring second image data generated from the second group of pixels,
By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and simultaneously exposing the second group of pixels to the subject for the first time and generating a second image by acquiring fourth image data generated from the second group of pixels and synthesizing the acquired first to fourth image data. 삭제delete
KR1020150079301A 2015-06-04 2015-06-04 Camera and control method thereof KR102429361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Publications (2)

Publication Number Publication Date
KR20160143138A KR20160143138A (en) 2016-12-14
KR102429361B1 true KR102429361B1 (en) 2022-08-04

Family

ID=57575893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Country Status (1)

Country Link
KR (1) KR102429361B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317624B1 (en) 2017-03-27 2021-10-26 삼성전자 주식회사 Electronic device and method for processing image of the same
KR20190032818A (en) 2017-09-20 2019-03-28 삼성전자주식회사 An electronic device including a plurality of camera using a rolling shutter system
CN109005363B (en) * 2018-08-13 2020-07-17 Oppo广东移动通信有限公司 Imaging control method, imaging control device, electronic device and storage medium
KR102148128B1 (en) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 Camera system with complementary pixlet structure

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101604068B1 (en) * 2009-09-22 2016-03-17 삼성전자주식회사 High dynamic range imaging apparatus and method
JP6124538B2 (en) * 2012-09-06 2017-05-10 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
KR102039464B1 (en) * 2013-05-21 2019-11-01 삼성전자주식회사 Electronic sensor and control method of the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images

Also Published As

Publication number Publication date
KR20160143138A (en) 2016-12-14

Similar Documents

Publication Publication Date Title
US8773549B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN102713713B (en) Focus adjusting apparatus and focus adjusting method
JP2016114946A (en) Camera module
US10674074B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on a plurality of parallax images
KR102429361B1 (en) Camera and control method thereof
JP2010081387A (en) Focus detection apparatus and camera system
JP5657184B2 (en) Imaging apparatus and signal processing method
JP2012222742A (en) Imaging element and imaging apparatus
JP2015169722A (en) Imaging apparatus
JP6465704B2 (en) Imaging apparatus and control method thereof
JP5525109B2 (en) Imaging device
US20180220058A1 (en) Image capture apparatus, control method therefor, and computer-readable medium
JP2017220724A (en) Image processing apparatus, imaging device, image processing method, and program
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP6444254B2 (en) FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM
JP5973784B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP5144469B2 (en) Imaging apparatus and control method thereof
JP2009500680A (en) 3D image recognizer
JP2016048282A (en) Imaging apparatus
JP6671868B2 (en) Control device, imaging device, control method, program, and storage medium
JP6618575B2 (en) Image processing apparatus, imaging apparatus, lens apparatus, and image processing method
WO2015182021A1 (en) Image pickup control apparatus, image pickup apparatus, and image pickup control method
JP2015075675A (en) Imaging apparatus
JP5649702B2 (en) Imaging device
JP2015138090A (en) Image capturing device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant