KR102654700B1 - Camera including at least one image sensor - Google Patents
Camera including at least one image sensor Download PDFInfo
- Publication number
- KR102654700B1 KR102654700B1 KR1020200003060A KR20200003060A KR102654700B1 KR 102654700 B1 KR102654700 B1 KR 102654700B1 KR 1020200003060 A KR1020200003060 A KR 1020200003060A KR 20200003060 A KR20200003060 A KR 20200003060A KR 102654700 B1 KR102654700 B1 KR 102654700B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- motion
- channel
- color
- values
- Prior art date
Links
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Abstract
카메라는 적어도 하나의 이미지 센서를 포함하는 영상 촬영기 및 이미지 센서와 통신하는 컨트롤러를 포함한다. 컨트롤러는 영상 촬영기를 통해 컬러 영상을 획득하고, 영상 촬영기를 통해 흑백 영상을 획득하고, 흑백 영상에서 모션이 감지될 때 모션을 나타내는 모션 정보를 생성하고, 모션 정보에 따라 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고, 컬러 채널들의 조절된 값들과 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성된다.The camera includes an imager including at least one image sensor and a controller in communication with the image sensor. The controller acquires a color image through an image capture device, acquires a black-and-white image through an image capture device, generates motion information indicating motion when motion is detected in the black-and-white image, and color channels provided from the color image according to the motion information. It is configured to adjust the values of the color channels and generate a composite image according to the adjusted values of the color channels and the values of the brightness channel provided from the black and white image.
Description
본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 적어도 하나의 이미지 센서를 포함하는 카메라에 관한 것이다.The present invention relates to electronic devices, and more specifically to cameras including at least one image sensor.
카메라는 촬영 환경에 따라 최적화된 이미지를 얻기 위해 낮/밤 모드들을 포함할 수 있다. 낮 모드에서는 가시 광선의 파장 영역에 기반한 컬러 영상이 촬영되고, 밤 모드에서는 적외선의 파장 영역에 기반한 흑백 영상이 촬영될 수 있다. 촬영 환경이 상대적으로 밝은 경우, 컬러 영상은 컬러 정보를 포함하므로 흑백 영상보다 높은 식별력을 가질 수 있다. 반면, 촬영 환경이 어두울 경우, 적외선의 파장 영역에 기반한 흑백 영상이 컬러 영상보다 높은 식별력을 가질 수 있다. 이와 같은 낮 모드 및 밤 모드의 선택은 일반적으로 AE(Auto Exposure) 기능에 기초하여 산출된 피사체의 휘도에 따라 자동적으로 선택될 수 있다.The camera may include day/night modes to obtain optimized images depending on the shooting environment. In day mode, a color image based on the wavelength range of visible light can be captured, and in night mode, a black-and-white image based on the wavelength range of infrared light can be captured. When the shooting environment is relatively bright, color images can have higher discrimination power than black-and-white images because they contain color information. On the other hand, when the shooting environment is dark, black-and-white images based on the infrared wavelength range can have higher discrimination power than color images. The selection of such day mode and night mode can generally be automatically selected according to the luminance of the subject calculated based on the AE (Auto Exposure) function.
AE 기능은 셔터 속도, 조리개, 및 AGC(Auto Gain Control) 등을 조절함으로써 촬영되는 영상이 원하는 상태가 되도록 한다. 예를 들면, 낮 모드에서, 피사체가 상대적으로 어두울 경우, 조리개를 더 열고, 셔터속도를 느리게 하여 상대적으로 긴 노출 시간 동안 광을 받아들이고, 센서 게인을 증가시켜 컬러 영상의 휘도를 증폭시킬 수 있다. 피사체가 더욱 어두울 경우, 밤 모드로 진입하여 흑백 영상을 촬영할 수 있다.The AE function adjusts shutter speed, aperture, and AGC (Auto Gain Control) to ensure that the captured image is in the desired state. For example, in day mode, if the subject is relatively dark, the aperture can be opened further, the shutter speed can be slowed to receive light for a relatively long exposure time, and the sensor gain can be increased to amplify the luminance of the color image. If the subject is darker, you can enter night mode and shoot black-and-white video.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.The content described above is only intended to help understand the background technology of the technical ideas of the present invention, and therefore, it cannot be understood as content corresponding to prior art known to those skilled in the art of the present invention.
본 발명의 실시 예들은 향상된 식별력의 출력 영상을 제공하는 카메라를 제공하기 위한 것이다. 예를 들면, 카메라는 낮은 조도에서도 생생한 컬러를 구현할 수 있다.Embodiments of the present invention are intended to provide a camera that provides output images with improved discrimination. For example, the camera can produce vivid colors even in low light.
본 발명의 실시 예에 따른 카메라는, 적어도 하나의 이미지 센서를 포함하는 영상 촬영기; 및 상기 이미지 센서와 통신하는 컨트롤러를 포함하되, 상기 컨트롤러는, 상기 영상 촬영기를 통해 컬러 영상을 획득하고; 상기 영상 촬영기를 통해 흑백 영상을 획득하고; 상기 흑백 영상에서 모션이 감지될 때 상기 모션을 나타내는 모션 정보를 생성하고; 상기 모션 정보에 따라, 상기 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고; 상기 컬러 채널들의 상기 조절된 값들과 상기 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성된다.A camera according to an embodiment of the present invention includes an image capture device including at least one image sensor; and a controller communicating with the image sensor, wherein the controller acquires a color image through the image capture device; Obtaining a black and white image through the image capture device; When motion is detected in the black-and-white image, generate motion information representing the motion; adjusting values of color channels provided from the color image according to the motion information; It is configured to generate a composite image according to the adjusted values of the color channels and the values of the brightness channel provided from the black and white image.
상기 모션 정보는 상기 모션의 크기 및 상기 모션이 발생된 영역을 나타내는 정보를 포함할 수 있다.The motion information may include information indicating the size of the motion and the area in which the motion occurred.
상기 컨트롤러는 상기 컬러 채널들의 상기 값들 중 상기 모션이 발생된 영역에 대응하는 값들을 상기 모션의 크기가 증가할수록 감소시켜 상기 컬러 채널들의 값들을 조절하도록 구성될 수 있다.The controller may be configured to adjust the values of the color channels by decreasing the values corresponding to the area where the motion occurs among the values of the color channels as the magnitude of the motion increases.
상기 적어도 하나의 이미지 센서는 제 1 및 제 2 이미지 센서들을 포함할 수 있고, 상기 컨트롤러는 상기 제 1 이미지 센서를 이용하여 상기 컬러 영상을 획득하고 상기 제 2 이미지 센서를 이용하여 상기 흑백 영상을 획득할 수 있고, 상기 카메라는 상기 제 1 이미지 센서의 게인값이 증가할수록, 상기 제 1 이미지 센서에 대응하는 노출 시간을 증가시키도록 상기 영상 촬영기를 제어하도록 구성되는 센서 컨트롤러를 더 포함할 수 있다.The at least one image sensor may include first and second image sensors, and the controller acquires the color image using the first image sensor and the black-and-white image using the second image sensor. The camera may further include a sensor controller configured to control the image capture device to increase the exposure time corresponding to the first image sensor as the gain value of the first image sensor increases.
상기 컨트롤러는, 상기 영상 촬영기에 의해 촬영되는 제 1 원 영상을 수신하고, 상기 제 1 원 영상을 상기 컬러 영상으로 변환하도록 구성되는 제 1 색 공간 변환기; 및 상기 영상 촬영기에 의해 촬영되는 제 2 원 영상을 수신하고, 상기 제 2 원 영상을 상기 흑백 영상으로 변환하도록 구성되는 제 2 색 공간 변환기를 포함할 수 있다.The controller includes: a first color space converter configured to receive a first original image captured by the image capture device and convert the first original image into the color image; and a second color space converter configured to receive a second original image captured by the image capture device and convert the second original image into the black and white image.
상기 제 1 원 영상, 상기 제 2 원 영상, 및 상기 합성 영상 각각은 RGB 색 공간의 채널들의 값들을 포함할 수 있고, 상기 컬러 채널들은 LAB 색 공간의 A채널 및 B채널이고, 상기 밝기 채널은 상기 LAB 색 공간의 밝기 채널일 수 있다.Each of the first original image, the second original image, and the composite image may include values of channels in the RGB color space, the color channels are the A channel and the B channel in the LAB color space, and the brightness channel is It may be a brightness channel of the LAB color space.
본 발명의 실시 예들에 따르면, 향상된 식별력의 출력 영상을 제공하는 카메라가 제공된다.According to embodiments of the present invention, a camera providing an output image with improved discrimination is provided.
도 1은 본 발명의 실시 예에 따른 카메라를 보여주는 블록도이다.
도 2는 도 1의 메인 컨트롤러의 실시 예를 보여주는 블록도이다.
도 3은 도 2의 메인 컨트롤러의 동작들에 따라 생성되는 영상들을 개념적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 카메라의 동작 방법을 보여주는 순서도이다.
도 5는 본 발명의 실시 예에 따른 제 1 및 제 2 원 영상들을 합성하여 출력 영상을 생성하는 방법을 보여주는 순서도이다.
도 6은 제 1 원 영상을 촬영하는 방법의 실시 예를 보여주는 순서도이다.
도 7은 본 발명의 다른 실시 예에 따른 카메라를 보여주는 블록도이다.1 is a block diagram showing a camera according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an embodiment of the main controller of FIG. 1.
FIG. 3 is a diagram conceptually showing images generated according to the operations of the main controller of FIG. 2.
Figure 4 is a flowchart showing a method of operating a camera according to an embodiment of the present invention.
Figure 5 is a flowchart showing a method of generating an output image by combining first and second original images according to an embodiment of the present invention.
Figure 6 is a flowchart showing an example of a method for photographing a first original image.
Figure 7 is a block diagram showing a camera according to another embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the attached drawings. It should be noted that in the following description, only the parts necessary to understand the operation according to the present invention will be described, and the description of other parts will be omitted in order to not obscure the gist of the present invention. Additionally, the present invention is not limited to the embodiments described herein and may be embodied in other forms. However, the embodiments described herein are provided to explain in detail enough to enable those skilled in the art to easily implement the technical idea of the present invention.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "indirectly connected" with another element in between. . The terminology used herein is for the purpose of describing specific embodiments and is not intended to limit the invention. Throughout the specification, when a part is said to “include” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary. “at least one of X, Y, and Z”, and “at least one selected from the group consisting of It can be interpreted as any combination (e.g., XYZ, XYY, YZ, ZZ). As used herein, “and/or” includes any combination of one or more of the constituents.
도 1은 본 발명의 실시 예에 따른 카메라를 보여주는 블록도이다.1 is a block diagram showing a camera according to an embodiment of the present invention.
도 1을 참조하면, 카메라(100)는 영상 촬영기(110), 센서 게인 컨트롤러(120, Sensor Gain Controller), 메모리(130, Memory), 및 메인 컨트롤러(140, Main Controller)를 포함할 수 있다.Referring to FIG. 1, the
영상 촬영기(110)는 하나 또는 그 이상의 이미지 센서(Image Sensor)들을 포함할 수 있으며, 하나 또는 그 이상의 이미지 센서들은 외부로부터 수신된 광에 따라 원 영상들을 생성하도록 구성된다. 실시 예들에서, 영상 촬영기(110)는 컬러의 제 1 원 영상(RV1)을 촬영하는 제 1 이미지 센서(111), 및 흑백의 제 2 원 영상(RV2)을 촬영하는 제 2 이미지 센서(112)를 포함할 수 있다. 광은 렌즈를 통해 각 이미지 센서로 유도될 수 있다. 각 이미지 센서는 광학 신호들을 전기 신호들로 변환하고 전기 신호들을 디지털화하여 데이터 스트림들을 구성하는 픽셀 값들로 변환할 수 있다. 원 영상은 프레임들을 포함할 수 있으며, 각 프레임은 픽셀 값들을 포함할 수 있다.The
각 이미지 센서는 CCD(Charge Coupled Device) 혹은 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 고체 이미지 센서(solid-state image sensor)로서 구현될 수 있다. 각 이미지 센서는 R(red), G(green), 및 B(blue)의 3가지 컬러들의 컬러 필터들이 베이어 배열(bayer arrangement)로 배열되는 센서 유닛들을 포함할 수 있다. 제 1 이미지 센서(111)는 이러한 센서 유닛들을 이용하여 주로 가시광선의 파장 범위의 광에 따라 제 1 원 영상(RV1)을 생성할 수 있다. 제 2 이미지 센서(112)는 이러한 센서 유닛들을 이용하여 주로 적외선의 파장 범위에 따라 제 2 원 영상(RV2)을 생성할 수 있다. 이에 따라, 제 1 및 제 2 원 영상들(RV1, RV2) 각각은 RGB 색 공간의 R(red)채널, G(green)채널, 및 B(blue)채널의 픽셀 값들을 가질 수 있다. 실시 예들에서, 제 1 이미지 센서(111)로 도달하는 빛의 경로 상에 적외선 차단 필터가 제공되어, 제 1 이미지 센서(111)는 주로 가시광선의 파장 범위의 광을 센싱하여 제 1 원 영상(RV1)을 생성할 수 있다. 실시 예들에서, 카메라(100)는 LED(Light Emitting Diode)와 같은 적외선 생성기를 포함할 수 있으며, 제 2 이미지 센서(112)는 적외선 생성기에 의해 적외선이 생성될 때 제 2 원 영상(RV2)을 생성할 수 있다. 이러한 경우, 제 2 이미지 센서(112)는 적외선 생성기에 의해 생성되어 피사체에 반사되는 적외선을 센싱하여 제 2 원 영상(RV2)을 생성할 수 있다. 예를 들면, 제 2 이미지 센서(112)는 적외선 차단 필터가 없는 CMOS 센서를 포함할 수 있다. 예를 들면, 제 2 이미지 센서(112)는 컬러 필터 어레이(Color Filter Array)를 제거한 흑백 센서를 포함할 수 있다. 이 밖에도 다양한 방식들을 통해, 제 1 이미지 센서(111)는 컬러의 제 1 원 영상(RV1)을 생성하고, 제 2 이미지 센서(112)는 흑백의 제 2 원 영상(RV2)을 생성하도록 구성될 수 있다.Each image sensor may be implemented as a solid-state image sensor, such as a charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS). Each image sensor may include sensor units in which color filters of three colors: R (red), G (green), and B (blue) are arranged in a Bayer arrangement. The
실시 예들에서, 제 1 및 제 2 이미지 센서들(111, 112)은 공통의 렌즈를 통해 입사되는 광을 센싱할 수 있다. 혹은, 제 1 및 제 2 이미지 센서들(111, 112)은 상이한 렌즈들을 통해 입사되는 광을 센싱할 수 있다.In embodiments, the first and
영상 촬영기(110)는 센서 게인 컨트롤러(120)에 연결된다. 영상 촬영기(110)의 제 1 이미지 센서(111)는 센서 게인 컨트롤러(120)로부터 제공되는 게인(GN)을 수신하고, 수신된 게인(GN)에 따라 광학 신호들이 전기 신호들로 변환되는 게인 값 혹은 전기 신호들이 픽셀 값들로 변환되는 게인 값을 조절하여 제 1 원 영상(RV1)의 밝기를 조절할 수 있다. 센서 게인 컨트롤러(120)는 게인(GN)을 다양한 방식들에 따라 조절할 수 있다. 실시 예에서, 주변 환경의 조도가 낮아질수록 센서 게인 컨트롤러(120)는 게인(GN)을 높여 제 1 원 영상(RV1)의 밝기를 증가시킬 수 있다. 예를 들면, 카메라(100)는 주변 환경의 조도를 감지하기 위한 조도 센서를 포함할 수 있다. 다른 실시 예에서, 센서 게인 컨트롤러(120)는 사용자의 선택에 응답하여 게인(GN)을 높여 제 1 원 영상(RV1)의 밝기를 증가시킬 수 있다.The
게인(GN)이 증가하는 경우 제 1 원 영상(RV1)의 밝기가 증가하나, 제 1 원 영상(RV1)에 포함되는 노이즈도 증가할 수 있다. 본 발명의 실시 예에 따르면, 센서 게인 컨트롤러(120)는 위 설명된 바와 같이 제 1 원 영상(RV1)의 생성에 사용된 게인(GN)을 메인 컨트롤러(140)에도 제공한다.When the gain GN increases, the brightness of the first original image RV1 increases, but noise included in the first original image RV1 may also increase. According to an embodiment of the present invention, the
영상 촬영기(110)는 제 1 원 영상(RV1)의 각 프레임에 대응하는 노출 시간을 조절하기 위한 제어 신호를 수신할 수 있다. 예를 들면, 영상 촬영기(110)는 주변 환경의 조도가 상대적으로 어두워질수록 노출 시간을 증가시키도록 제어될 수 있다. 예를 들면, 영상 촬영기(110)는 게인(GN)이 증가할수록 노출 시간을 증가시키도록 제어될 수 있다. 이러한 경우, 제 1 이미지 센서(111)는 제어 신호에 따른 노출 시간으로 제 1 원 영상(RV1)의 각 프레임을 촬영할 수 있다. 예를 들면, 노출 시간은 1/30초, 1/15초, 1/4초 등과 같이 조절될 수 있다. 실시 예들에서, 영상 촬영기(110)는 제어 신호에 따라 해당 기계적 혹은 전자적 셔터를 제어함으로써, 제 1 이미지 센서(111)가 제 1 원 영상(RV1)의 각 프레임을 촬영하기 위해 광에 노출되는 시간을 조절할 수 있다.The
노출 시간이 증가하는 경우 제 1 원 영상(RV1)의 밝기가 증가하여 제 1 원 영상(RV1)은 높은 식별력을 가질 수 있다. 그러나, 제 1 원 영상(RV1) 내 움직이는 오브젝트가 존재하는 경우, 증가된 노출 시간으로 인해 제 1 원 영상(RV1)의 해당 오브젝트에 대한 식별력은 오히려 감소할 수 있다. 예를 들면, 제 1 원 영상(RV1) 내에서 해당 오브젝트와 연관하여 고스트 현상이 발생할 수 있다.When the exposure time increases, the brightness of the first original image RV1 increases, so that the first original image RV1 can have high discrimination power. However, when a moving object exists in the first original image RV1, the discrimination power of the first original image RV1 for the object may actually decrease due to the increased exposure time. For example, a ghost phenomenon may occur in relation to a corresponding object within the first original image RV1.
메모리(130)는 메인 컨트롤러(140)의 워킹 메모리로서 사용될 수 있다. 실시 예들에서, 메인 컨트롤러(140)의 구성들 중 일부가 소프트웨어 및/또는 펌웨어를 통해 구현되는 경우, 해당 프로그램 코드들이 카메라(100)와 연관되는 불휘발성 저장 매체로부터 메모리(130)로 로드되고, 로드된 프로그램 코드들은 메인 컨트롤러(140)의 하나 또는 그 이상의 프로세서들 및/또는 하나 또는 그 이상의 기능 블록들에 의해 실행되어 해당 구성의 동작들 및/또는 기능들을 수행할 수 있다. 실시 예들에서, 메모리(130)는 메인 컨트롤러(140)의 동작들을 위한 버퍼 메로리로서 사용될 수 있다. 예를 들면, 영상 촬영기(110)는 제 1 및 제 2 원 영상들(RV1, RV2)을 메모리(130)에 저장하고, 메인 컨트롤러(140)는 메모리(130)에 액세스여 제 1 및 제 2 원 영상들(RV1, RV2)을 읽을 수 있다. 예를 들면, 메인 컨트롤러(140)의 구성들 중 어느 하나는 처리된 데이터를 메모리(130)에 저장하고, 다른 하나는 메모리(130)에 액세스하여 저장된 데이터를 읽어, 해당 구성들은 상호 간 통신할 수 있다.
메인 컨트롤러(140)는 영상 촬영기(110)로부터 제 1 원 영상(RV1) 및 제 2 원 영상(RV2)을 수신하도록 구성된다. 메인 컨트롤러(140)는 센서 게인 컨트롤러(120)로부터 게인(GN)을 더 수신하도록 구성된다. 메인 컨트롤러(140)는 게인(GN)이 임계값보다 작거나 같을 때, 제 1 원 영상(RV1)을 출력 영상(OV)으로서 제공하도록 구성된다. 메인 컨트롤러(140)는 게인(GN)이 임계값보다 클 때, 제 1 원 영상(RV1) 및 제 2 원 영상(RV2)에 기반하여 합성 영상을 생성하고, 생성된 합성 영상을 출력 영상(OV)으로서 제공하도록 구성된다.The
도 2는 도 1의 메인 컨트롤러의 실시 예를 보여주는 블록도이다. 도 3은 도 2의 메인 컨트롤러의 동작들에 따라 생성되는 영상들을 개념적으로 보여주는 도면이다.FIG. 2 is a block diagram showing an embodiment of the main controller of FIG. 1. FIG. 3 is a diagram conceptually showing images generated according to the operations of the main controller of FIG. 2.
도 2를 참조하면, 메인 컨트롤러(200)는 제 1 색 공간 변환기(211, First Color Space Convertor), 제 2 색 공간 변환기(212, Second Color Space Convertor), 콘트라스트 향상 블록(213, Contrast Enhancement Block), 모션 감지기(214, Motion Detector), 노이즈 감쇄 블록(215, Noise Reduction Block), 컬러 향상 블록(216, Color Enhancement Block), 탈색기(217, Decolorizer), 제 3 색 공간 변환기(218, Third Color Space Convertor), 모드 선택기(219, Mode Selector), 출력기(220)를 포함할 수 있다.Referring to FIG. 2, the
제 1 색 공간 변환기(211)는 제 1 원 영상(RV1)을 수신하고, 제 1 원 영상(RV1)의 RGB 색 공간의 R(red)채널, G(green)채널, 및 B(blue)채널의 픽셀 값들을 LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 픽셀 값들로 변환하도록 구성된다. 이때, A채널(ACH) 및 B채널(BCH)은 컬러를 나타내는 채널들이다. LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 값들은 서로 독립적이다. 주로 가시광선 기반의 제 1 원 영상(RV1)으로부터 변환이 수행되므로, 상대적으로 낮은 조도에서, 제 1 색 공간 변환기(211)에 의해 생성된 밝기 채널(LCH)의 값들은 제 2 색 공간 변환기(212)의 밝기 채널(LCH)보다 낮은 식별력을 가질 수 있다. 제 1 색 공간 변환기(211)는 A채널(ACH) 및 B채널(BCH)을 포함하는 제 1 변환 영상(CV1)을 출력할 수 있다.The first
제 2 색 공간 변환기(212)는 제 2 원 영상(RV2)을 수신하고, 제 2 원 영상(RV2)의 RGB 색 공간의 픽셀 값들을 LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 픽셀 값들로 변환하도록 구성된다. 주로 적외선 기반의 제 2 원 영상(RV2)으로부터 변환이 수행되므로, 상대적으로 낮은 조도에서, 제 2 색 공간 변환기(212)에 의해 생성된 밝기 채널(LCH)의 값들은 상대적으로 높은 식별력을 가질 수 있다. 제 2 색 공간 변환기(212)는 밝기 채널(LCH)을 포함하는 제 2 변환 영상(CV2)을 출력할 수 있다. The second
본 발명의 실시 예들은 여기에 한정되지 않으며, 제 1 및 제 2 색 공간 변환기들(211, 212)은 이 분야에서 잘 알려진 다양한 방식들을 통해 RGB 색 공간의 픽셀 값들을 LAB 색 공간의 값들로 변환할 수 있다.Embodiments of the present invention are not limited thereto, and the first and second
콘트라스트 향상 블록(213)은 제 2 색 공간 변환기(212)로부터 제 2 변환 영상(CV2)을 수신할 수 있다. 콘트라스트 향상 블록(213)은 제 2 변환 영상(CV2)에 대해 콘트라스트 향상 동작을 수행하도록 구성된다. 실시 예들에서, 콘트라스트 향상 블록(213)은 언샤프 마스크(unsharp mask)를 포함하며, 제 2 변환 영상(CV2)의 밝기 채널(LCH)의 값들을 언샤프 마스크를 이용하여 처리하고, 처리된 값들에 따라 제 2 변환 영상(CV2)의 밝기 채널(LCH)의 값들을 조절함으로써 콘트라스트 향상 동작을 수행할 수 있다. 콘트라스트 향상 블록(213)은 처리된 제 2 변환 영상(CV2')을 제 3 색 공간 변환기(218)에 제공한다. 처리된 제 2 변환 영상(CV2')은 밝기 채널(LCH)의 값들을 포함한다.The
모션 감지기(214)는 제 2 변환 영상(CV2)으로부터 모션을 감지하고 모션이 발생한 영역(MA, 이하 모션 영역) 및 모션의 크기(MMV)를 나타내는 모션 정보(MI)를 생성하도록 구성된다. 이때, 모션의 크기(MMV)는 모션 영역(MA)의 모션 혹은 모션 영역(MA) 내 오브젝트의 모션을 나타내는 모션 벡터가 갖는 크기(magnitude)를 의미할 수 있다. 모션 감지기(214)는 이 분야에 알려진 다양한 알고리즘들에 따라 모션 정보(MI)를 생성할 수 있다. 예를 들면, 모션 감지기(214)는 제 2 변환 영상(CV2)의 현재 프레임의 밝기 채널(LCH)의 값들과 이전 프레임의 밝기 채널(LCH)의 값들 사이의 SAD(Sum of Absolute Difference)를 연산하고, 연산된 SAD에 따라 모션 정보(MI)를 생성할 수 있다. 다른 예로서, 모션 감지기(214)는 제 2 변환 영상(CV2)의 현재 프레임 및 이전 프레임에서 동일한 오브젝트를 감지하고, 현재 프레임 및 이전 프레임에서의 오브젝트의 모션에 따라 모션 정보(MI)를 생성할 수 있다. 모션 감지기(214)는 모션 정보(MI)를 탈색기(217)에 제공한다.The
노이즈 감쇄 블록(215)은 제 1 변환 영상(CV1)을 수신하고, 제 1 변환 영상(CV1)에 포함된 노이즈를 제거하도록 구성된다. 노이즈 감쇄 블록(215)은 이 분야에서 잘 알려진 다양한 방식들을 통해 제 1 변환 영상(CV1)에 포함된 노이즈를 제거할 수 있다. 예를 들면, 노이즈 감쇄 블록(215)은 적어도 하나의 로우 패스 필터를 포함할 수 있으며, 로우 패스 필터를 이용하여 제 1 변환 영상(CV1)에 포함된 노이즈를 제거할 수 있다. 상대적으로 낮은 조도에서 게인(GN)은 상대적으로 높고, 이로 인해 제 1 원 영상(RV1)이 상대적으로 많은 노이즈를 포함할 수 있음을 고려할 때, 노이즈 감쇄 블록(215)은 제 1 변환 영상(CV1)의 식별력을 향상시킬 수 있다.The
컬러 향상 블록(216)은 제 1 변환 영상(CV1)이 컬러에 대해 향상된 식별력을 갖도록, 제 1 변환 영상(CV1)의 A채널(ACH) 및 B채널(BCH)의 값들을 처리할 수 있다. 컬러 향상 블록(216)은 게인값들을 이용하여 A채널(ACH) 및 B채널(BCH)의 값들을 조절할 수 있다. 컬러 향상 블록(216)은 이 분야에서 잘 알려진 다양한 방식들을 통해 게인값들을 결정하고, 이에 따라 제 1 변환 영상(CV1)을 처리할 수 있다. 처리된 제 1 변환 영상(CV1')은 탈색기(217)에 제공된다. 상대적으로 낮은 조도에서 제 1 원 영상(RV1)이 상대적으로 낮은 밝기를 가짐을 고려할 때, 컬러 향상 블록(216)은 제 1 변환 영상(CV1)의 식별력을 향상시킬 수 있다.The
탈색기(217)는 제 1 변환 영상(CV1') 및 모션 정보(MI)를 수신한다. 탈색기(217)는 모션 정보(MI)에 기반하여 제 1 변환 영상(CV1')의 A채널(ACH) 및 B채널(BCH)의 값들을 조절하도록 구성된다. 실시 예들에서, 탈색기(217)는 A채널(ACH)의 값들 및 B채널(BCH)의 값들 중 모션 영역(MA)에 대응하는 것들을 모션의 크기(MMV)에 따라 조절할 수 있다.The
도 2와 함께 도 3을 참조하면, 제 1 변환 영상(CV1')의 A채널(ACH)의 값들 및 B채널(BCH)의 값들이 탈색기(217)에 제공된다. 탈색기(217)는 모션 정보(MI)에 따라 모션 영역(MA)을 감지하고, 제 1 변환 영상(CV1')의 모션 영역(MA) 내 A채널(ACH)의 값들 및 B채널(BCH)의 값들을 모션의 크기(MMV)가 증가할수록 감소시킴으로써 제 1 변환 영상(CV1'')의 모션 영역(MA) 내 A채널(ACH)의 값들 및 B채널(BCH)의 값들을 결정할 수 있다. 예를 들면, 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH) 각각의 값들은 수학식 1에 따라 결정될 수 있다.Referring to FIG. 3 together with FIG. 2 , the values of the A channel (ACH) and the B channel (BCH) of the first converted image CV1' are provided to the
수학식 1에서, C_ORG는 제 1 변환 영상(CV1')의 모션 영역(MA) 내 A채널(ACH) 혹은 B채널(BCH)의 각 값을 나타내고, 는 모션의 크기(MMV)에 비례하는 계수이고, C_BLK는 제 1 변환 영상(CV1'')의 모션 영역(MA) 내 A채널(ACH) 혹은 B채널(BCH)의 각 값을 나타낸다.In Equation 1, C_ORG represents each value of the A channel (ACH) or B channel (BCH) in the motion area (MA) of the first converted image (CV1'), is a coefficient proportional to the size of motion (MMV), and C_BLK represents each value of the A channel (ACH) or B channel (BCH) in the motion area (MA) of the first converted image (CV1'').
제 3 색 공간 변환기(218)는 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH), 그리고 제 2 변환 영상(CV2')의 밝기 채널(LCH)을 제 3 변환 영상(CV3)에 포함시키고, 제 3 변환 영상(CV3)을 RGB 색 공간의 픽셀 값들로 변환하여 합성 영상(SV)을 생성하도록 구성된다. 예를 들면, 제 3 변환 영상(CV3)의 A채널(ACH) 및 B채널(BCH)은 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH)로부터 결정되고, 제 3 변환 영상(CV3)의 밝기 채널(LCH)은 제 2 변환 영상(CV2')의 밝기 채널(LCH)부터 결정될 수 있다. 합성 영상(SV)은 제 1 및 제 2 원 영상들(RV1, RV2)과 동일한 색 공간, 예를 들면 R채널, G채널, 및 B채널의 픽셀 값들을 갖는다.The third
모드 선택기(219)는 게인(GN, 도 1 참조)에 따라 선택 신호(SEL)를 생성하도록 구성된다. 앞서 설명된 바와 같이, 게인(GN)은 주변 환경의 조도가 낮아질수록 높아질 수 있다. 실시 예들에서, 모드 선택기(219)는 게인(GN)이 임계값보다 클 때 선택 신호(SEL)를 인에이블하고 게인(GN)이 임계값보다 작거나 같을 때 선택 신호(SEL)를 디스에이블할 수 있다.The
출력기(220)는 선택 신호(SEL)에 따라 제 1 원 영상(SV1) 및 합성 영상(SV) 중 어느 하나를 출력 영상(OV)으로 출력하도록 구성된다. 실시 예들에서, 출력기(220)는 선택 신호(SEL)가 인에이블될 때 합성 영상(SV)을 출력 영상(OV)으로서 제공하고, 선택 신호(SEL)가 디스에이블될 때 제 1 원 영상(SV1)을 출력 영상(OV)으로서 제공할 수 있다. 실시 예들에서, 선택 신호(SEL)가 디스에이블될 때 제 2 이미지 센서(112), 제 1 및 제 2 색 공간 변환기들(211, 212), 콘트라스트 향상 블록(213), 모션 감지기(214), 노이즈 감쇄 블록(215), 컬러 향상 블록(216), 탈색기(217), 및 제 3 색 공간 변환기(218)는 비활성화될 수 있다.The
실시 예들에서, 컨트롤러(200)는 출력 영상(OV)에 대해 추가적인 처리를 수행하는 추가적인 구성 요소들을 더 포함할 수 있다.In embodiments, the
상대적으로 높은 조도에서, 컬러 정보의 존재로 인해 높은 식별력을 갖는 제 1 원 영상(RV1)이 출력 영상(OV)으로서 제공될 수 있다.At relatively high illuminance, the first original image RV1 with high discrimination ability due to the presence of color information can be provided as the output image OV.
상대적으로 낮은 조도에서, 제 1 원 영상(RV1)은 상대적으로 낮은 식별력을 가질 수 있다. 예를 들면, 조도가 낮아질수록 게인(GN)이 증가하며, 이러한 경우 제 1 원 영상(RV1)은 상대적으로 많은 노이즈를 포함할 수 있고, 제 1 원 영상(RV1)에 포함된 오브젝트에 대한 식별력을 감소시킬 수 있다. 예를 들면, 상대적으로 낮은 조도에서 상대적으로 긴 노출 시간으로 각 프레임을 촬영하여 제 1 원 영상(RV1)이 제공될 수 있으며, 이러한 경우 제 1 원 영상(RV1)은 움직이는 오브젝트에 대해 감소된 식별력을 가질 수 있다. 예를 들면, 제 1 원 영상(RV1) 내에서 해당 오브젝트와 연관하여 고스트 현상이 발생할 수 있다. 반면, 제 2 원 영상(RV2)은 적외선에 기반하여 촬영되므로, 상대적으로 낮은 조도에서도, 상대적으로 낮은 노이즈를 포함하며, 상대적으로 낮은 노출 시간으로 각 프레임을 촬영하여 제 2 원 영상(RV2)을 제공할 수 있다. 이와 같이, 제 2 원 영상(RV2)은 상대적으로 낮은 조도에서도 움직이는 오브젝트에 대해 높은 식별력을 유지할 수 있다.At relatively low illuminance, the first original image RV1 may have relatively low discrimination power. For example, as the illuminance decreases, the gain (GN) increases. In this case, the first original image (RV1) may contain relatively much noise, and the discrimination ability for objects included in the first original image (RV1) can be reduced. For example, the first raw image RV1 may be provided by shooting each frame with a relatively long exposure time at relatively low illuminance, and in this case, the first raw image RV1 has reduced discrimination against moving objects. You can have For example, a ghost phenomenon may occur in relation to a corresponding object within the first original image RV1. On the other hand, since the second original image (RV2) is captured based on infrared rays, it contains relatively low noise even at relatively low illuminance, and each frame is captured with a relatively low exposure time to produce the second original image (RV2). can be provided. In this way, the second original image RV2 can maintain high discrimination against moving objects even in relatively low illuminance.
본 발명의 실시 예에 따르면, 제 1 및 제 2 원 영상들(RV1, RV2)이 변환되어 밝기 채널, A채널, 및 B채널을 각각 포함하는 제 1 및 제 2 변환 영상들을 생성하고, 모션 정보에 기반하여 제 1 변환 영상의 A채널 및 B채널의 값들이 감소하고, 감소된 A채널 및 B채널의 값들과 제 2 변환 영상의 밝기 채널의 값들에 기반하여 합성 영상이 생성될 수 있다. 이에 따라, 상대적으로 낮은 조도에서도, 합성 영상은 제 2 변환 영상의 밝기 채널에 따라 모션 영역(혹은 움직이는 오브젝트)을 상대적으로 높은 식별력으로 표현할 수 있으며, 제 1 변환 영상의 A채널 및 B채널에 따라 모션 영역 이외의 영역 또한 상대적으로 높은 식별력으로 표현할 수 있다. 이에 따라, 낮은 조도에서도 생생한 컬러를 포함하는 향상된 식별력의 출력 영상을 제공하는 카메라가 제공될 수 있다.According to an embodiment of the present invention, the first and second original images RV1 and RV2 are converted to generate first and second converted images including a brightness channel, an A channel, and a B channel, respectively, and motion information Based on this, the A channel and B channel values of the first converted image are reduced, and a composite image may be generated based on the reduced A channel and B channel values and the brightness channel values of the second converted image. Accordingly, even at relatively low illuminance, the composite image can express the motion area (or moving object) with relatively high discrimination according to the brightness channel of the second converted image and the A channel and B channel of the first converted image. Areas other than the motion area can also be expressed with relatively high discrimination power. Accordingly, a camera can be provided that provides an output image with improved discrimination ability and includes vivid colors even in low illumination.
도 4는 본 발명의 실시 예에 따른 카메라의 동작 방법을 보여주는 순서도이다.Figure 4 is a flowchart showing a method of operating a camera according to an embodiment of the present invention.
도 1 및 도 4를 참조하면, S110단계에서, 게인(GN)이 임계값보다 큰지 여부가 판별된다. 만약 그렇다면, S120단계가 수행된다. 만약 그렇지 않다면, S130단계가 수행된다.Referring to FIGS. 1 and 4 , in step S110, it is determined whether the gain GN is greater than the threshold. If so, step S120 is performed. If not, step S130 is performed.
S120단계에서, 컬러로 촬영된 제 1 원 영상(RV1)과 흑백으로 촬영된 제 2 원 영상(RV2)이 합성되어 출력 영상(OV)을 제공한다.In step S120, the first original image (RV1) captured in color and the second original image (RV2) captured in black and white are synthesized to provide an output image (OV).
S130단계에서, 컬러로 촬영된 제 1 원 영상(RV1)을 출력 영상(OV)으로 제공한다.In step S130, the first original image (RV1) captured in color is provided as an output image (OV).
도 5는 본 발명의 실시 예에 따른 제 1 및 제 2 원(raw) 영상들을 합성하여 출력 영상을 생성하는 방법을 보여주는 순서도이다.Figure 5 is a flowchart showing a method of generating an output image by combining first and second raw images according to an embodiment of the present invention.
도 1 및 도 5를 참조하면, S210단계에서, 제 1 원 영상(RV1)이 변환되어 LAB 색공간의 A채널과 B채널을 포함하는 제 1 변환 영상을 획득하고, 제 2 원 영상(RV2)이 변환되어 LAB 색공간의 밝기 채널을 포함하는 제 2 변환 영상을 획득한다.Referring to Figures 1 and 5, in step S210, the first original image (RV1) is converted to obtain a first converted image including the A and B channels of the LAB color space, and a second original image (RV2) This is converted to obtain a second converted image including the brightness channel of the LAB color space.
S220단계에서, 제 1 및 제 2 변환 영상들 각각에 대해 필요한 처리가 수행된다. 예를 들면, 제 1 변환 영상에 대해 노이즈 감쇄 동작 및/또는 컬러 향상 동작이 수행될 수 있다. 예를 들면, 제 2 변환 영상에 대해 콘트라스트 향상 동작이 수행될 수 있다.In step S220, necessary processing is performed on each of the first and second converted images. For example, a noise reduction operation and/or a color enhancement operation may be performed on the first converted image. For example, a contrast enhancement operation may be performed on the second converted image.
S230단계에서, 제 2 변환 영상에서 모션이 감지될 때 S240단계가 수행된다. 실시 예들에서, 게인(GN)이 제 2 임계값보다 작은지 여부가 추가적으로 판별되어 S240단계가 선택적으로 수행될 수 있다. 이때, 제 2 임계값은 도 4의 S110단계의 임계값보다 작을 수 있다. 게인(GN)이 제 2 임계값보다 크거나 같을 때, S240단계는 생략되고 S250단계가 수행될 수 있다. 이는, 주변 환경의 조도가 도 4의 S110단계의 임계값과 제 2 임계값 사이일 때 모션에 따른 고스트 현상이 발생될 가능성이 낮기 때문이며, 이에 따라 S240단계를 위해 요구되는 자원들을 절약할 수 있다. 게인(GN)이 제 2 임계값보다 작을 때 S240단계가 수행될 수 있다.In step S230, when motion is detected in the second converted image, step S240 is performed. In embodiments, step S240 may be selectively performed by additionally determining whether the gain GN is less than the second threshold. At this time, the second threshold may be smaller than the threshold in step S110 of FIG. 4. When the gain GN is greater than or equal to the second threshold, step S240 may be omitted and step S250 may be performed. This is because the possibility of ghosting due to motion is low when the illuminance of the surrounding environment is between the threshold value and the second threshold value of step S110 in FIG. 4, and thus the resources required for step S240 can be saved. . Step S240 may be performed when the gain GN is less than the second threshold.
S240단계에서, 감지된 모션을 나타내는 모션 정보에 따라 제 1 변환 영상의 A채널 및 B채널의 값들이 조절된다. A채널의 값들 및 B채널의 값들 중 모션 영역에 대응하는 것들을 모션의 크기가 증가할수록 감소시킬 수 있다. 이와 같이, 제 1 변환 영상은 모션 정보에 따라 탈색된다.In step S240, the values of the A channel and B channel of the first converted image are adjusted according to motion information representing the detected motion. Among the values of the A channel and the values of the B channel, those corresponding to the motion area can be decreased as the size of the motion increases. In this way, the first converted image is decolorized according to the motion information.
S250단계에서, 제 1 변환 영상의 A채널 및 B채널의 값들, 그리고 제 2 변환 영상의 밝기 채널의 값들에 따라 합성 영상이 생성된다. 제 1 변환 영상의 A채널 및 B채널의 값들, 그리고 제 2 변환 영상의 밝기 채널의 값들이 RGB 색 공간의 픽셀 값들로 변환되어 합성 영상이 생성될 것이다. 이에 따라, 상대적으로 낮은 조도에서도, 합성 영상은 제 2 변환 영상의 밝기 채널에 따라 모션 영역(혹은 움직이는 오브젝트)을 상대적으로 높은 식별력으로 표현할 수 있으며, 제 1 변환 영상의 A채널 및 B채널에 따라 모션 영역 이외의 영역 또한 생생한 컬러 영상을 제공하므로 상대적으로 높은 식별력으로 표현할 수 있다. 이에 따라, 낮은 조도에서도 향상된 식별력의 출력 영상을 제공하는 카메라가 제공될 수 있다.In step S250, a composite image is generated according to the values of the A channel and B channel of the first converted image and the brightness channel values of the second converted image. The values of the A channel and B channel of the first converted image, and the brightness channel values of the second converted image will be converted to pixel values of the RGB color space to generate a composite image. Accordingly, even at relatively low illuminance, the composite image can express the motion area (or moving object) with relatively high discrimination according to the brightness channel of the second converted image and the A channel and B channel of the first converted image. Areas other than the motion area also provide vivid color images, so they can be expressed with relatively high discrimination. Accordingly, a camera that provides output images with improved discrimination ability even in low illuminance can be provided.
도 6은 제 1 원 영상을 촬영하는 방법의 실시 예를 보여주는 순서도이다.Figure 6 is a flowchart showing an example of a method for photographing a first original image.
도 1 및 도 6을 참조하면, 게인(GN)이 증가할수록 증가된 노출 시간으로 제 1 원 영상(RV1)이 촬영된다. 이와 같이, 조도가 낮아질수록 증가된 노출 시간으로 프레임들 각각이 촬영되어 제 1 원 영상(RV1)을 획득할 수 있다.Referring to FIGS. 1 and 6 , as the gain GN increases, the first original image RV1 is captured with an increased exposure time. In this way, as the illuminance decreases, each frame is photographed with an increased exposure time to obtain the first original image RV1.
도 7은 본 발명의 다른 실시 예에 따른 카메라를 보여주는 블록도이다.Figure 7 is a block diagram showing a camera according to another embodiment of the present invention.
도 7을 참조하면, 카메라(1000)는 영상 촬영기(1100), 이미지 처리 장치(1200, Image Processing Device), 시스템 메모리(1300, System Memory), 메인 프로세서(1400), 센서 컨트롤러(1500, Sensor Controller), 사용자 인터페이스(1600, User I/F), 및 네트워크 인터페이스(1700, Network I/F)를 포함할 수 있다.Referring to FIG. 7, the
영상 촬영기(1100), 이미지 처리 장치(1200), 및 시스템 메모리(1300)는 도 1을 참조하여 설명된 영상 촬영기(110), 메인 컨트롤러(140), 및 메모리(130)와 각각 마찬가지로 구성된다. 이하, 중복되는 설명은 생략된다.The
시스템 메모리(1300)는 이미지 처리 장치(1200) 및 메인 프로세서(1400)와 구분된 구성 요소로서 도시되어 있다. 그러나, 실시 예들은 여기에 한정되지 않는다. 예를 들면, 시스템 메모리(1300)의 적어도 일부는 이미지 처리 장치(1200) 및 메인 프로세서(1400)에 포함될 수 있다. 실시 예들에서, 시스템 메모리(1300)는 SRAM(Static RAM), DRAM(Dynamic RAM), 및 SDRAM(Synchronous DRAM) 중 적어도 하나를 포함할 수 있다.The
메인 프로세서(1400)는 카메라(1000)의 제반 동작들을 제어할 수 있다. 메인 프로세서(1400)는 사용자 인터페이스(1600)를 통해 수신되는 사용자 입력을 처리할 수 있으며, 이미지 처리 장치(1200)로부터 출력되는 영상을 처리하고, 처리된 영상을 네트워크 인터페이스(1700)를 통해 전송할 수 있다.The
센서 컨트롤러(1500)는 메인 프로세서(1400)의 제어에 응답하여 영상 촬영기(1100)를 제어하도록 구성된다. 센서 컨트롤러(1500)는 주변 환경의 조도에 따라 영상 촬영기(1100)의 기계적 혹은 전자적 셔터를 제어함으로써 제 1 이미지 센서(1110)의 노출 시간을 조절할 수 있다. 또한, 센서 컨트롤러(1500)는 도 1의 센서 게인 컨트롤러(120)의 기능을 수행할 수 있다. 센서 컨트롤러(1500)는 주변 환경의 조도가 낮아질수록 제 1 이미지 센서(1110)의 게인(GN, 도 1 참조)을 높일 수 있다.The
사용자 인터페이스(1600)는 메인 프로세서(1400)의 다양한 동작들을 제어하기 위한 사용자 입력을 수신할 수 있으며, 스위치, 다이얼, 터치 패널, 음성 인식 장치 등을 포함할 수 있다. 사용자는 사용자 인터페이스(1600)를 통해 파워 온/오프, 광역 동적 범위 모드 온/오프, 줌 인/아웃, 및 이미지 디스플레이 온/오프와 같은 다양한 기능들을 설정할 수 있다.The
네트워크 인터페이스(1700)는 카메라(1000)와 외부 장치 사이의 네트워크를 통한 통신들을 제공한다. 네트워크 인터페이스(1700)는 외부 장치로부터의 제어 신호들을 수신할 수 있으며, 메인 프로세서(1400)의 제어에 응답하여 이미지 처리 장치(1200)에 의해 처리된 프레임들을 외부 장치에 전송할 수 있다.The
비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.Although specific embodiments and application examples are described herein, they are provided only to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and may be used by those of ordinary skill in the field to which the present invention pertains. Various modifications and variations are possible from this substrate.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .
110: 영상 촬영기
120: 센서 게인 컨트롤러
130: 메모리
140: 메인 컨트롤러110: video camera
120: sensor gain controller
130: memory
140: main controller
Claims (6)
상기 이미지 센서와 통신하는 컨트롤러를 포함하되,
상기 컨트롤러는,
상기 영상 촬영기를 통해 컬러 영상을 획득하고;
상기 영상 촬영기를 통해 흑백 영상을 획득하고;
상기 흑백 영상에 포함된 특정 영역 또는 오브젝트의 모션 벡터를 분석하여 상기 흑백 영상으로부터 모션을 감지하고,
상기 흑백 영상에서 모션이 감지될 때 상기 모션을 나타내는 모션 정보를 생성하고;
상기 모션 정보에 따라, 상기 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고;
상기 컬러 채널들의 상기 조절된 값들과 상기 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성되는 카메라.An image capture device including at least one image sensor; and
Including a controller that communicates with the image sensor,
The controller is,
Obtaining a color image through the image capture device;
Obtaining a black and white image through the image capture device;
Detecting motion from the black-and-white image by analyzing the motion vector of a specific area or object included in the black-and-white image,
When motion is detected in the black-and-white image, generate motion information representing the motion;
adjusting values of color channels provided from the color image according to the motion information;
A camera configured to generate a composite image according to the adjusted values of the color channels and values of a brightness channel provided from the black-and-white image.
상기 모션 정보는 상기 모션의 크기 및 상기 모션이 발생된 영역을 나타내는 정보를 포함하는 카메라.According to claim 1,
The motion information includes information indicating the size of the motion and the area in which the motion occurred.
상기 컨트롤러는 상기 컬러 채널들의 상기 값들 중 상기 모션이 발생된 영역에 대응하는 값들을 상기 모션의 크기가 증가할수록 감소시켜 상기 컬러 채널들의 값들을 조절하도록 구성되는 카메라.According to claim 2,
The controller is configured to adjust the values of the color channels by decreasing the values corresponding to the area where the motion occurs among the values of the color channels as the size of the motion increases.
상기 적어도 하나의 이미지 센서는 제 1 및 제 2 이미지 센서들을 포함하고,
상기 컨트롤러는 상기 제 1 이미지 센서를 이용하여 상기 컬러 영상을 획득하고 상기 제 2 이미지 센서를 이용하여 상기 흑백 영상을 획득하고,
상기 제 1 이미지 센서의 게인값이 증가할수록, 상기 제 1 이미지 센서에 대응하는 노출 시간을 증가시키도록 상기 영상 촬영기를 제어하도록 구성되는 센서 컨트롤러를 더 포함하는 카메라.According to claim 1,
The at least one image sensor includes first and second image sensors,
The controller acquires the color image using the first image sensor and the black-and-white image using the second image sensor,
The camera further includes a sensor controller configured to control the image capture device to increase the exposure time corresponding to the first image sensor as the gain value of the first image sensor increases.
상기 컨트롤러는,
상기 영상 촬영기에 의해 촬영되는 제 1 원 영상을 수신하고, 상기 제 1 원 영상을 상기 컬러 영상으로 변환하도록 구성되는 제 1 색 공간 변환기; 및
상기 영상 촬영기에 의해 촬영되는 제 2 원 영상을 수신하고, 상기 제 2 원 영상을 상기 흑백 영상으로 변환하도록 구성되는 제 2 색 공간 변환기를 포함하는 카메라.According to claim 1,
The controller is,
a first color space converter configured to receive a first original image captured by the image capture device and convert the first original image into the color image; and
A camera comprising a second color space converter configured to receive a second original image captured by the image capture device and convert the second original image into the black and white image.
상기 제 1 원 영상, 상기 제 2 원 영상, 및 상기 합성 영상 각각은 RGB 색 공간의 채널들의 값들을 포함하고,
상기 컬러 채널들은 LAB 색 공간의 A채널 및 B채널이고, 상기 밝기 채널은 상기 LAB 색 공간의 밝기 채널인 카메라.According to claim 5,
Each of the first original image, the second original image, and the composite image includes values of channels in an RGB color space,
The color channels are the A channel and the B channel of the LAB color space, and the brightness channel is a brightness channel of the LAB color space.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200003060A KR102654700B1 (en) | 2020-01-09 | 2020-01-09 | Camera including at least one image sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200003060A KR102654700B1 (en) | 2020-01-09 | 2020-01-09 | Camera including at least one image sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210089909A KR20210089909A (en) | 2021-07-19 |
KR102654700B1 true KR102654700B1 (en) | 2024-04-03 |
Family
ID=77125850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200003060A KR102654700B1 (en) | 2020-01-09 | 2020-01-09 | Camera including at least one image sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102654700B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101609353B1 (en) * | 2014-12-05 | 2016-04-21 | 전주대학교 산학협력단 | Interface method and device for controlling screen |
KR102014545B1 (en) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809214B2 (en) * | 2005-08-22 | 2010-10-05 | Samsung Electronics Co., Ltd. | Device and a method for identifying movement patterns |
KR102489279B1 (en) * | 2016-02-04 | 2023-01-18 | 삼성전자주식회사 | Apparatus and method for processing an image |
-
2020
- 2020-01-09 KR KR1020200003060A patent/KR102654700B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101609353B1 (en) * | 2014-12-05 | 2016-04-21 | 전주대학교 산학협력단 | Interface method and device for controlling screen |
KR102014545B1 (en) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same |
Also Published As
Publication number | Publication date |
---|---|
KR20210089909A (en) | 2021-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101900097B1 (en) | Image capturing method and image capturing apparatus | |
CN111698434B (en) | Image processing apparatus, control method thereof, and computer-readable storage medium | |
CN102165762B (en) | Imaging device and signal processing circuit for the imaging device | |
US7859589B2 (en) | Imaging apparatus, and exposure control apparatus, method, and program | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
CN110198418B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
WO2014038685A1 (en) | Image processor, imaging apparatus equipped with the same, and image processing method | |
CN110290325B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US11637960B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2018056702A (en) | Image processing device, image processing method and program | |
US20170318208A1 (en) | Imaging device, imaging method, and image display device | |
EP2161938B1 (en) | Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method | |
CN110278375B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US20090027514A1 (en) | Image pickup apparatus and method | |
CN102238394B (en) | Image processing apparatus, control method thereof, and image-capturing apparatus | |
CN110266965B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US10944929B2 (en) | Imaging apparatus and imaging method | |
CN110266967B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
KR102654700B1 (en) | Camera including at least one image sensor | |
JP5515852B2 (en) | Imaging apparatus and image generation program | |
JP5515795B2 (en) | Imaging apparatus and imaging method | |
KR101589493B1 (en) | White ballance control method and apparatus using a flash and digital photographing apparatus using thereof | |
JP2021164112A (en) | Imaging apparatus, image processing device, and image processing program | |
US9723207B2 (en) | Imaging device and control method therefor | |
KR20190139788A (en) | Methods and apparatus for capturing media using plurality of cameras in electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |