KR102654700B1 - Camera including at least one image sensor - Google Patents

Camera including at least one image sensor Download PDF

Info

Publication number
KR102654700B1
KR102654700B1 KR1020200003060A KR20200003060A KR102654700B1 KR 102654700 B1 KR102654700 B1 KR 102654700B1 KR 1020200003060 A KR1020200003060 A KR 1020200003060A KR 20200003060 A KR20200003060 A KR 20200003060A KR 102654700 B1 KR102654700 B1 KR 102654700B1
Authority
KR
South Korea
Prior art keywords
image
motion
channel
color
values
Prior art date
Application number
KR1020200003060A
Other languages
Korean (ko)
Other versions
KR20210089909A (en
Inventor
김성곤
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020200003060A priority Critical patent/KR102654700B1/en
Publication of KR20210089909A publication Critical patent/KR20210089909A/en
Application granted granted Critical
Publication of KR102654700B1 publication Critical patent/KR102654700B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Abstract

카메라는 적어도 하나의 이미지 센서를 포함하는 영상 촬영기 및 이미지 센서와 통신하는 컨트롤러를 포함한다. 컨트롤러는 영상 촬영기를 통해 컬러 영상을 획득하고, 영상 촬영기를 통해 흑백 영상을 획득하고, 흑백 영상에서 모션이 감지될 때 모션을 나타내는 모션 정보를 생성하고, 모션 정보에 따라 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고, 컬러 채널들의 조절된 값들과 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성된다.The camera includes an imager including at least one image sensor and a controller in communication with the image sensor. The controller acquires a color image through an image capture device, acquires a black-and-white image through an image capture device, generates motion information indicating motion when motion is detected in the black-and-white image, and color channels provided from the color image according to the motion information. It is configured to adjust the values of the color channels and generate a composite image according to the adjusted values of the color channels and the values of the brightness channel provided from the black and white image.

Description

적어도 하나의 이미지 센서를 포함하는 카메라{CAMERA INCLUDING AT LEAST ONE IMAGE SENSOR}Camera including at least one image sensor {CAMERA INCLUDING AT LEAST ONE IMAGE SENSOR}

본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 적어도 하나의 이미지 센서를 포함하는 카메라에 관한 것이다.The present invention relates to electronic devices, and more specifically to cameras including at least one image sensor.

카메라는 촬영 환경에 따라 최적화된 이미지를 얻기 위해 낮/밤 모드들을 포함할 수 있다. 낮 모드에서는 가시 광선의 파장 영역에 기반한 컬러 영상이 촬영되고, 밤 모드에서는 적외선의 파장 영역에 기반한 흑백 영상이 촬영될 수 있다. 촬영 환경이 상대적으로 밝은 경우, 컬러 영상은 컬러 정보를 포함하므로 흑백 영상보다 높은 식별력을 가질 수 있다. 반면, 촬영 환경이 어두울 경우, 적외선의 파장 영역에 기반한 흑백 영상이 컬러 영상보다 높은 식별력을 가질 수 있다. 이와 같은 낮 모드 및 밤 모드의 선택은 일반적으로 AE(Auto Exposure) 기능에 기초하여 산출된 피사체의 휘도에 따라 자동적으로 선택될 수 있다.The camera may include day/night modes to obtain optimized images depending on the shooting environment. In day mode, a color image based on the wavelength range of visible light can be captured, and in night mode, a black-and-white image based on the wavelength range of infrared light can be captured. When the shooting environment is relatively bright, color images can have higher discrimination power than black-and-white images because they contain color information. On the other hand, when the shooting environment is dark, black-and-white images based on the infrared wavelength range can have higher discrimination power than color images. The selection of such day mode and night mode can generally be automatically selected according to the luminance of the subject calculated based on the AE (Auto Exposure) function.

AE 기능은 셔터 속도, 조리개, 및 AGC(Auto Gain Control) 등을 조절함으로써 촬영되는 영상이 원하는 상태가 되도록 한다. 예를 들면, 낮 모드에서, 피사체가 상대적으로 어두울 경우, 조리개를 더 열고, 셔터속도를 느리게 하여 상대적으로 긴 노출 시간 동안 광을 받아들이고, 센서 게인을 증가시켜 컬러 영상의 휘도를 증폭시킬 수 있다. 피사체가 더욱 어두울 경우, 밤 모드로 진입하여 흑백 영상을 촬영할 수 있다.The AE function adjusts shutter speed, aperture, and AGC (Auto Gain Control) to ensure that the captured image is in the desired state. For example, in day mode, if the subject is relatively dark, the aperture can be opened further, the shutter speed can be slowed to receive light for a relatively long exposure time, and the sensor gain can be increased to amplify the luminance of the color image. If the subject is darker, you can enter night mode and shoot black-and-white video.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.The content described above is only intended to help understand the background technology of the technical ideas of the present invention, and therefore, it cannot be understood as content corresponding to prior art known to those skilled in the art of the present invention.

본 발명의 실시 예들은 향상된 식별력의 출력 영상을 제공하는 카메라를 제공하기 위한 것이다. 예를 들면, 카메라는 낮은 조도에서도 생생한 컬러를 구현할 수 있다.Embodiments of the present invention are intended to provide a camera that provides output images with improved discrimination. For example, the camera can produce vivid colors even in low light.

본 발명의 실시 예에 따른 카메라는, 적어도 하나의 이미지 센서를 포함하는 영상 촬영기; 및 상기 이미지 센서와 통신하는 컨트롤러를 포함하되, 상기 컨트롤러는, 상기 영상 촬영기를 통해 컬러 영상을 획득하고; 상기 영상 촬영기를 통해 흑백 영상을 획득하고; 상기 흑백 영상에서 모션이 감지될 때 상기 모션을 나타내는 모션 정보를 생성하고; 상기 모션 정보에 따라, 상기 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고; 상기 컬러 채널들의 상기 조절된 값들과 상기 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성된다.A camera according to an embodiment of the present invention includes an image capture device including at least one image sensor; and a controller communicating with the image sensor, wherein the controller acquires a color image through the image capture device; Obtaining a black and white image through the image capture device; When motion is detected in the black-and-white image, generate motion information representing the motion; adjusting values of color channels provided from the color image according to the motion information; It is configured to generate a composite image according to the adjusted values of the color channels and the values of the brightness channel provided from the black and white image.

상기 모션 정보는 상기 모션의 크기 및 상기 모션이 발생된 영역을 나타내는 정보를 포함할 수 있다.The motion information may include information indicating the size of the motion and the area in which the motion occurred.

상기 컨트롤러는 상기 컬러 채널들의 상기 값들 중 상기 모션이 발생된 영역에 대응하는 값들을 상기 모션의 크기가 증가할수록 감소시켜 상기 컬러 채널들의 값들을 조절하도록 구성될 수 있다.The controller may be configured to adjust the values of the color channels by decreasing the values corresponding to the area where the motion occurs among the values of the color channels as the magnitude of the motion increases.

상기 적어도 하나의 이미지 센서는 제 1 및 제 2 이미지 센서들을 포함할 수 있고, 상기 컨트롤러는 상기 제 1 이미지 센서를 이용하여 상기 컬러 영상을 획득하고 상기 제 2 이미지 센서를 이용하여 상기 흑백 영상을 획득할 수 있고, 상기 카메라는 상기 제 1 이미지 센서의 게인값이 증가할수록, 상기 제 1 이미지 센서에 대응하는 노출 시간을 증가시키도록 상기 영상 촬영기를 제어하도록 구성되는 센서 컨트롤러를 더 포함할 수 있다.The at least one image sensor may include first and second image sensors, and the controller acquires the color image using the first image sensor and the black-and-white image using the second image sensor. The camera may further include a sensor controller configured to control the image capture device to increase the exposure time corresponding to the first image sensor as the gain value of the first image sensor increases.

상기 컨트롤러는, 상기 영상 촬영기에 의해 촬영되는 제 1 원 영상을 수신하고, 상기 제 1 원 영상을 상기 컬러 영상으로 변환하도록 구성되는 제 1 색 공간 변환기; 및 상기 영상 촬영기에 의해 촬영되는 제 2 원 영상을 수신하고, 상기 제 2 원 영상을 상기 흑백 영상으로 변환하도록 구성되는 제 2 색 공간 변환기를 포함할 수 있다.The controller includes: a first color space converter configured to receive a first original image captured by the image capture device and convert the first original image into the color image; and a second color space converter configured to receive a second original image captured by the image capture device and convert the second original image into the black and white image.

상기 제 1 원 영상, 상기 제 2 원 영상, 및 상기 합성 영상 각각은 RGB 색 공간의 채널들의 값들을 포함할 수 있고, 상기 컬러 채널들은 LAB 색 공간의 A채널 및 B채널이고, 상기 밝기 채널은 상기 LAB 색 공간의 밝기 채널일 수 있다.Each of the first original image, the second original image, and the composite image may include values of channels in the RGB color space, the color channels are the A channel and the B channel in the LAB color space, and the brightness channel is It may be a brightness channel of the LAB color space.

본 발명의 실시 예들에 따르면, 향상된 식별력의 출력 영상을 제공하는 카메라가 제공된다.According to embodiments of the present invention, a camera providing an output image with improved discrimination is provided.

도 1은 본 발명의 실시 예에 따른 카메라를 보여주는 블록도이다.
도 2는 도 1의 메인 컨트롤러의 실시 예를 보여주는 블록도이다.
도 3은 도 2의 메인 컨트롤러의 동작들에 따라 생성되는 영상들을 개념적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 카메라의 동작 방법을 보여주는 순서도이다.
도 5는 본 발명의 실시 예에 따른 제 1 및 제 2 원 영상들을 합성하여 출력 영상을 생성하는 방법을 보여주는 순서도이다.
도 6은 제 1 원 영상을 촬영하는 방법의 실시 예를 보여주는 순서도이다.
도 7은 본 발명의 다른 실시 예에 따른 카메라를 보여주는 블록도이다.
1 is a block diagram showing a camera according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an embodiment of the main controller of FIG. 1.
FIG. 3 is a diagram conceptually showing images generated according to the operations of the main controller of FIG. 2.
Figure 4 is a flowchart showing a method of operating a camera according to an embodiment of the present invention.
Figure 5 is a flowchart showing a method of generating an output image by combining first and second original images according to an embodiment of the present invention.
Figure 6 is a flowchart showing an example of a method for photographing a first original image.
Figure 7 is a block diagram showing a camera according to another embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the attached drawings. It should be noted that in the following description, only the parts necessary to understand the operation according to the present invention will be described, and the description of other parts will be omitted in order to not obscure the gist of the present invention. Additionally, the present invention is not limited to the embodiments described herein and may be embodied in other forms. However, the embodiments described herein are provided to explain in detail enough to enable those skilled in the art to easily implement the technical idea of the present invention.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "indirectly connected" with another element in between. . The terminology used herein is for the purpose of describing specific embodiments and is not intended to limit the invention. Throughout the specification, when a part is said to “include” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary. “at least one of X, Y, and Z”, and “at least one selected from the group consisting of It can be interpreted as any combination (e.g., XYZ, XYY, YZ, ZZ). As used herein, “and/or” includes any combination of one or more of the constituents.

도 1은 본 발명의 실시 예에 따른 카메라를 보여주는 블록도이다.1 is a block diagram showing a camera according to an embodiment of the present invention.

도 1을 참조하면, 카메라(100)는 영상 촬영기(110), 센서 게인 컨트롤러(120, Sensor Gain Controller), 메모리(130, Memory), 및 메인 컨트롤러(140, Main Controller)를 포함할 수 있다.Referring to FIG. 1, the camera 100 may include an image capture device 110, a sensor gain controller 120, a memory 130, and a main controller 140.

영상 촬영기(110)는 하나 또는 그 이상의 이미지 센서(Image Sensor)들을 포함할 수 있으며, 하나 또는 그 이상의 이미지 센서들은 외부로부터 수신된 광에 따라 원 영상들을 생성하도록 구성된다. 실시 예들에서, 영상 촬영기(110)는 컬러의 제 1 원 영상(RV1)을 촬영하는 제 1 이미지 센서(111), 및 흑백의 제 2 원 영상(RV2)을 촬영하는 제 2 이미지 센서(112)를 포함할 수 있다. 광은 렌즈를 통해 각 이미지 센서로 유도될 수 있다. 각 이미지 센서는 광학 신호들을 전기 신호들로 변환하고 전기 신호들을 디지털화하여 데이터 스트림들을 구성하는 픽셀 값들로 변환할 수 있다. 원 영상은 프레임들을 포함할 수 있으며, 각 프레임은 픽셀 값들을 포함할 수 있다.The image capture device 110 may include one or more image sensors, and the one or more image sensors are configured to generate original images according to light received from the outside. In embodiments, the image capture device 110 includes a first image sensor 111 that captures a color first original image (RV1), and a second image sensor 112 that captures a black-and-white second original image (RV2). may include. Light may be guided to each image sensor through a lens. Each image sensor can convert optical signals into electrical signals and digitize the electrical signals into pixel values that make up data streams. An original image may contain frames, and each frame may contain pixel values.

각 이미지 센서는 CCD(Charge Coupled Device) 혹은 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 고체 이미지 센서(solid-state image sensor)로서 구현될 수 있다. 각 이미지 센서는 R(red), G(green), 및 B(blue)의 3가지 컬러들의 컬러 필터들이 베이어 배열(bayer arrangement)로 배열되는 센서 유닛들을 포함할 수 있다. 제 1 이미지 센서(111)는 이러한 센서 유닛들을 이용하여 주로 가시광선의 파장 범위의 광에 따라 제 1 원 영상(RV1)을 생성할 수 있다. 제 2 이미지 센서(112)는 이러한 센서 유닛들을 이용하여 주로 적외선의 파장 범위에 따라 제 2 원 영상(RV2)을 생성할 수 있다. 이에 따라, 제 1 및 제 2 원 영상들(RV1, RV2) 각각은 RGB 색 공간의 R(red)채널, G(green)채널, 및 B(blue)채널의 픽셀 값들을 가질 수 있다. 실시 예들에서, 제 1 이미지 센서(111)로 도달하는 빛의 경로 상에 적외선 차단 필터가 제공되어, 제 1 이미지 센서(111)는 주로 가시광선의 파장 범위의 광을 센싱하여 제 1 원 영상(RV1)을 생성할 수 있다. 실시 예들에서, 카메라(100)는 LED(Light Emitting Diode)와 같은 적외선 생성기를 포함할 수 있으며, 제 2 이미지 센서(112)는 적외선 생성기에 의해 적외선이 생성될 때 제 2 원 영상(RV2)을 생성할 수 있다. 이러한 경우, 제 2 이미지 센서(112)는 적외선 생성기에 의해 생성되어 피사체에 반사되는 적외선을 센싱하여 제 2 원 영상(RV2)을 생성할 수 있다. 예를 들면, 제 2 이미지 센서(112)는 적외선 차단 필터가 없는 CMOS 센서를 포함할 수 있다. 예를 들면, 제 2 이미지 센서(112)는 컬러 필터 어레이(Color Filter Array)를 제거한 흑백 센서를 포함할 수 있다. 이 밖에도 다양한 방식들을 통해, 제 1 이미지 센서(111)는 컬러의 제 1 원 영상(RV1)을 생성하고, 제 2 이미지 센서(112)는 흑백의 제 2 원 영상(RV2)을 생성하도록 구성될 수 있다.Each image sensor may be implemented as a solid-state image sensor, such as a charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS). Each image sensor may include sensor units in which color filters of three colors: R (red), G (green), and B (blue) are arranged in a Bayer arrangement. The first image sensor 111 can generate the first original image RV1 based on light mainly in the wavelength range of visible light using these sensor units. The second image sensor 112 may generate a second original image RV2 mainly according to the wavelength range of infrared rays using these sensor units. Accordingly, each of the first and second original images RV1 and RV2 may have pixel values of the R (red) channel, G (green) channel, and B (blue) channel of the RGB color space. In embodiments, an infrared cut-off filter is provided on the path of light reaching the first image sensor 111, so that the first image sensor 111 mainly senses light in the wavelength range of visible light and produces a first original image (RV1). ) can be created. In embodiments, the camera 100 may include an infrared generator such as a light emitting diode (LED), and the second image sensor 112 may generate a second original image RV2 when infrared rays are generated by the infrared generator. can be created. In this case, the second image sensor 112 may generate the second original image RV2 by sensing the infrared rays generated by the infrared generator and reflected by the subject. For example, the second image sensor 112 may include a CMOS sensor without an infrared cut-off filter. For example, the second image sensor 112 may include a black-and-white sensor without a color filter array. In addition, through various methods, the first image sensor 111 may be configured to generate a color first original image (RV1), and the second image sensor 112 may be configured to generate a black-and-white second original image (RV2). You can.

실시 예들에서, 제 1 및 제 2 이미지 센서들(111, 112)은 공통의 렌즈를 통해 입사되는 광을 센싱할 수 있다. 혹은, 제 1 및 제 2 이미지 센서들(111, 112)은 상이한 렌즈들을 통해 입사되는 광을 센싱할 수 있다.In embodiments, the first and second image sensors 111 and 112 may sense light incident through a common lens. Alternatively, the first and second image sensors 111 and 112 may sense light incident through different lenses.

영상 촬영기(110)는 센서 게인 컨트롤러(120)에 연결된다. 영상 촬영기(110)의 제 1 이미지 센서(111)는 센서 게인 컨트롤러(120)로부터 제공되는 게인(GN)을 수신하고, 수신된 게인(GN)에 따라 광학 신호들이 전기 신호들로 변환되는 게인 값 혹은 전기 신호들이 픽셀 값들로 변환되는 게인 값을 조절하여 제 1 원 영상(RV1)의 밝기를 조절할 수 있다. 센서 게인 컨트롤러(120)는 게인(GN)을 다양한 방식들에 따라 조절할 수 있다. 실시 예에서, 주변 환경의 조도가 낮아질수록 센서 게인 컨트롤러(120)는 게인(GN)을 높여 제 1 원 영상(RV1)의 밝기를 증가시킬 수 있다. 예를 들면, 카메라(100)는 주변 환경의 조도를 감지하기 위한 조도 센서를 포함할 수 있다. 다른 실시 예에서, 센서 게인 컨트롤러(120)는 사용자의 선택에 응답하여 게인(GN)을 높여 제 1 원 영상(RV1)의 밝기를 증가시킬 수 있다.The image capture device 110 is connected to the sensor gain controller 120. The first image sensor 111 of the image capture device 110 receives a gain (GN) provided from the sensor gain controller 120, and a gain value at which optical signals are converted into electrical signals according to the received gain (GN). Alternatively, the brightness of the first original image RV1 can be adjusted by adjusting the gain value at which electrical signals are converted into pixel values. The sensor gain controller 120 can adjust the gain (GN) according to various methods. In an embodiment, as the illuminance of the surrounding environment decreases, the sensor gain controller 120 may increase the gain GN to increase the brightness of the first original image RV1. For example, the camera 100 may include an illuminance sensor to detect the illuminance of the surrounding environment. In another embodiment, the sensor gain controller 120 may increase the brightness of the first original image RV1 by increasing the gain GN in response to the user's selection.

게인(GN)이 증가하는 경우 제 1 원 영상(RV1)의 밝기가 증가하나, 제 1 원 영상(RV1)에 포함되는 노이즈도 증가할 수 있다. 본 발명의 실시 예에 따르면, 센서 게인 컨트롤러(120)는 위 설명된 바와 같이 제 1 원 영상(RV1)의 생성에 사용된 게인(GN)을 메인 컨트롤러(140)에도 제공한다.When the gain GN increases, the brightness of the first original image RV1 increases, but noise included in the first original image RV1 may also increase. According to an embodiment of the present invention, the sensor gain controller 120 also provides the main controller 140 with the gain GN used to generate the first original image RV1 as described above.

영상 촬영기(110)는 제 1 원 영상(RV1)의 각 프레임에 대응하는 노출 시간을 조절하기 위한 제어 신호를 수신할 수 있다. 예를 들면, 영상 촬영기(110)는 주변 환경의 조도가 상대적으로 어두워질수록 노출 시간을 증가시키도록 제어될 수 있다. 예를 들면, 영상 촬영기(110)는 게인(GN)이 증가할수록 노출 시간을 증가시키도록 제어될 수 있다. 이러한 경우, 제 1 이미지 센서(111)는 제어 신호에 따른 노출 시간으로 제 1 원 영상(RV1)의 각 프레임을 촬영할 수 있다. 예를 들면, 노출 시간은 1/30초, 1/15초, 1/4초 등과 같이 조절될 수 있다. 실시 예들에서, 영상 촬영기(110)는 제어 신호에 따라 해당 기계적 혹은 전자적 셔터를 제어함으로써, 제 1 이미지 센서(111)가 제 1 원 영상(RV1)의 각 프레임을 촬영하기 위해 광에 노출되는 시간을 조절할 수 있다.The image capture device 110 may receive a control signal for adjusting the exposure time corresponding to each frame of the first original image RV1. For example, the image capture device 110 may be controlled to increase the exposure time as the illuminance of the surrounding environment becomes relatively dark. For example, the image capture device 110 may be controlled to increase the exposure time as the gain GN increases. In this case, the first image sensor 111 may capture each frame of the first original image RV1 with an exposure time according to the control signal. For example, the exposure time can be adjusted to 1/30 second, 1/15 second, 1/4 second, etc. In embodiments, the image capture device 110 controls the corresponding mechanical or electronic shutter according to a control signal, so that the first image sensor 111 is exposed to light to capture each frame of the first original image RV1. can be adjusted.

노출 시간이 증가하는 경우 제 1 원 영상(RV1)의 밝기가 증가하여 제 1 원 영상(RV1)은 높은 식별력을 가질 수 있다. 그러나, 제 1 원 영상(RV1) 내 움직이는 오브젝트가 존재하는 경우, 증가된 노출 시간으로 인해 제 1 원 영상(RV1)의 해당 오브젝트에 대한 식별력은 오히려 감소할 수 있다. 예를 들면, 제 1 원 영상(RV1) 내에서 해당 오브젝트와 연관하여 고스트 현상이 발생할 수 있다.When the exposure time increases, the brightness of the first original image RV1 increases, so that the first original image RV1 can have high discrimination power. However, when a moving object exists in the first original image RV1, the discrimination power of the first original image RV1 for the object may actually decrease due to the increased exposure time. For example, a ghost phenomenon may occur in relation to a corresponding object within the first original image RV1.

메모리(130)는 메인 컨트롤러(140)의 워킹 메모리로서 사용될 수 있다. 실시 예들에서, 메인 컨트롤러(140)의 구성들 중 일부가 소프트웨어 및/또는 펌웨어를 통해 구현되는 경우, 해당 프로그램 코드들이 카메라(100)와 연관되는 불휘발성 저장 매체로부터 메모리(130)로 로드되고, 로드된 프로그램 코드들은 메인 컨트롤러(140)의 하나 또는 그 이상의 프로세서들 및/또는 하나 또는 그 이상의 기능 블록들에 의해 실행되어 해당 구성의 동작들 및/또는 기능들을 수행할 수 있다. 실시 예들에서, 메모리(130)는 메인 컨트롤러(140)의 동작들을 위한 버퍼 메로리로서 사용될 수 있다. 예를 들면, 영상 촬영기(110)는 제 1 및 제 2 원 영상들(RV1, RV2)을 메모리(130)에 저장하고, 메인 컨트롤러(140)는 메모리(130)에 액세스여 제 1 및 제 2 원 영상들(RV1, RV2)을 읽을 수 있다. 예를 들면, 메인 컨트롤러(140)의 구성들 중 어느 하나는 처리된 데이터를 메모리(130)에 저장하고, 다른 하나는 메모리(130)에 액세스하여 저장된 데이터를 읽어, 해당 구성들은 상호 간 통신할 수 있다.Memory 130 may be used as a working memory of the main controller 140. In embodiments, when some of the components of the main controller 140 are implemented through software and/or firmware, the corresponding program codes are loaded into the memory 130 from a non-volatile storage medium associated with the camera 100, The loaded program codes may be executed by one or more processors and/or one or more functional blocks of the main controller 140 to perform operations and/or functions of the corresponding configuration. In embodiments, memory 130 may be used as buffer memory for operations of main controller 140. For example, the image capture device 110 stores the first and second original images RV1 and RV2 in the memory 130, and the main controller 140 accesses the memory 130 to store the first and second original images RV1 and RV2. You can read the original videos (RV1, RV2). For example, one of the components of the main controller 140 stores processed data in the memory 130, and the other accesses the memory 130 to read the stored data, so that the components communicate with each other. You can.

메인 컨트롤러(140)는 영상 촬영기(110)로부터 제 1 원 영상(RV1) 및 제 2 원 영상(RV2)을 수신하도록 구성된다. 메인 컨트롤러(140)는 센서 게인 컨트롤러(120)로부터 게인(GN)을 더 수신하도록 구성된다. 메인 컨트롤러(140)는 게인(GN)이 임계값보다 작거나 같을 때, 제 1 원 영상(RV1)을 출력 영상(OV)으로서 제공하도록 구성된다. 메인 컨트롤러(140)는 게인(GN)이 임계값보다 클 때, 제 1 원 영상(RV1) 및 제 2 원 영상(RV2)에 기반하여 합성 영상을 생성하고, 생성된 합성 영상을 출력 영상(OV)으로서 제공하도록 구성된다.The main controller 140 is configured to receive the first original image RV1 and the second original image RV2 from the image capture device 110. The main controller 140 is configured to further receive gain (GN) from the sensor gain controller 120. The main controller 140 is configured to provide the first original image RV1 as the output image OV when the gain GN is less than or equal to the threshold value. When the gain (GN) is greater than the threshold, the main controller 140 generates a composite image based on the first original image (RV1) and the second original image (RV2), and outputs the generated composite image as an output image (OV). ) is configured to provide as.

도 2는 도 1의 메인 컨트롤러의 실시 예를 보여주는 블록도이다. 도 3은 도 2의 메인 컨트롤러의 동작들에 따라 생성되는 영상들을 개념적으로 보여주는 도면이다.FIG. 2 is a block diagram showing an embodiment of the main controller of FIG. 1. FIG. 3 is a diagram conceptually showing images generated according to the operations of the main controller of FIG. 2.

도 2를 참조하면, 메인 컨트롤러(200)는 제 1 색 공간 변환기(211, First Color Space Convertor), 제 2 색 공간 변환기(212, Second Color Space Convertor), 콘트라스트 향상 블록(213, Contrast Enhancement Block), 모션 감지기(214, Motion Detector), 노이즈 감쇄 블록(215, Noise Reduction Block), 컬러 향상 블록(216, Color Enhancement Block), 탈색기(217, Decolorizer), 제 3 색 공간 변환기(218, Third Color Space Convertor), 모드 선택기(219, Mode Selector), 출력기(220)를 포함할 수 있다.Referring to FIG. 2, the main controller 200 includes a first color space converter (211), a second color space convertor (212), and a contrast enhancement block (213). , motion detector (214, Motion Detector), noise reduction block (215, Noise Reduction Block), color enhancement block (216, Color Enhancement Block), decolorizer (217, Decolorizer), third color space converter (218, Third Color) It may include a Space Convertor), a mode selector (219), and an output device (220).

제 1 색 공간 변환기(211)는 제 1 원 영상(RV1)을 수신하고, 제 1 원 영상(RV1)의 RGB 색 공간의 R(red)채널, G(green)채널, 및 B(blue)채널의 픽셀 값들을 LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 픽셀 값들로 변환하도록 구성된다. 이때, A채널(ACH) 및 B채널(BCH)은 컬러를 나타내는 채널들이다. LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 값들은 서로 독립적이다. 주로 가시광선 기반의 제 1 원 영상(RV1)으로부터 변환이 수행되므로, 상대적으로 낮은 조도에서, 제 1 색 공간 변환기(211)에 의해 생성된 밝기 채널(LCH)의 값들은 제 2 색 공간 변환기(212)의 밝기 채널(LCH)보다 낮은 식별력을 가질 수 있다. 제 1 색 공간 변환기(211)는 A채널(ACH) 및 B채널(BCH)을 포함하는 제 1 변환 영상(CV1)을 출력할 수 있다.The first color space converter 211 receives the first original image (RV1) and converts the R (red) channel, G (green) channel, and B (blue) channel of the RGB color space of the first original image (RV1) It is configured to convert the pixel values of to pixel values of the brightness channel (LCH), A channel (ACH), and B channel (BCH) of the LAB color space. At this time, the A channel (ACH) and B channel (BCH) are channels representing colors. The values of the brightness channel (LCH), A channel (ACH), and B channel (BCH) of the LAB color space are independent of each other. Since the conversion is mainly performed from the first original image (RV1) based on visible light, at relatively low illuminance, the values of the brightness channel (LCH) generated by the first color space converter 211 are converted to the second color space converter ( 212) may have lower discrimination power than the brightness channel (LCH). The first color space converter 211 may output a first converted image (CV1) including an A channel (ACH) and a B channel (BCH).

제 2 색 공간 변환기(212)는 제 2 원 영상(RV2)을 수신하고, 제 2 원 영상(RV2)의 RGB 색 공간의 픽셀 값들을 LAB 색 공간의 밝기 채널(LCH), A채널(ACH), 및 B채널(BCH)의 픽셀 값들로 변환하도록 구성된다. 주로 적외선 기반의 제 2 원 영상(RV2)으로부터 변환이 수행되므로, 상대적으로 낮은 조도에서, 제 2 색 공간 변환기(212)에 의해 생성된 밝기 채널(LCH)의 값들은 상대적으로 높은 식별력을 가질 수 있다. 제 2 색 공간 변환기(212)는 밝기 채널(LCH)을 포함하는 제 2 변환 영상(CV2)을 출력할 수 있다. The second color space converter 212 receives the second original image RV2 and converts the pixel values of the RGB color space of the second original image RV2 into the brightness channel (LCH) and the A channel (ACH) of the LAB color space. , and is configured to convert to pixel values of the B channel (BCH). Since the conversion is mainly performed from the infrared-based second original image (RV2), at relatively low illuminance, the values of the brightness channel (LCH) generated by the second color space converter 212 can have relatively high discrimination power. there is. The second color space converter 212 may output a second converted image CV2 including a brightness channel (LCH).

본 발명의 실시 예들은 여기에 한정되지 않으며, 제 1 및 제 2 색 공간 변환기들(211, 212)은 이 분야에서 잘 알려진 다양한 방식들을 통해 RGB 색 공간의 픽셀 값들을 LAB 색 공간의 값들로 변환할 수 있다.Embodiments of the present invention are not limited thereto, and the first and second color space converters 211 and 212 convert pixel values of the RGB color space into values of the LAB color space through various methods well known in the field. can do.

콘트라스트 향상 블록(213)은 제 2 색 공간 변환기(212)로부터 제 2 변환 영상(CV2)을 수신할 수 있다. 콘트라스트 향상 블록(213)은 제 2 변환 영상(CV2)에 대해 콘트라스트 향상 동작을 수행하도록 구성된다. 실시 예들에서, 콘트라스트 향상 블록(213)은 언샤프 마스크(unsharp mask)를 포함하며, 제 2 변환 영상(CV2)의 밝기 채널(LCH)의 값들을 언샤프 마스크를 이용하여 처리하고, 처리된 값들에 따라 제 2 변환 영상(CV2)의 밝기 채널(LCH)의 값들을 조절함으로써 콘트라스트 향상 동작을 수행할 수 있다. 콘트라스트 향상 블록(213)은 처리된 제 2 변환 영상(CV2')을 제 3 색 공간 변환기(218)에 제공한다. 처리된 제 2 변환 영상(CV2')은 밝기 채널(LCH)의 값들을 포함한다.The contrast enhancement block 213 may receive the second converted image CV2 from the second color space converter 212. The contrast enhancement block 213 is configured to perform a contrast enhancement operation on the second converted image CV2. In embodiments, the contrast enhancement block 213 includes an unsharp mask, processes values of the brightness channel (LCH) of the second converted image CV2 using the unsharp mask, and processes the processed values. A contrast enhancement operation can be performed by adjusting the values of the brightness channel (LCH) of the second converted image CV2 according to . The contrast enhancement block 213 provides the processed second converted image CV2' to the third color space converter 218. The processed second converted image CV2' includes values of the brightness channel (LCH).

모션 감지기(214)는 제 2 변환 영상(CV2)으로부터 모션을 감지하고 모션이 발생한 영역(MA, 이하 모션 영역) 및 모션의 크기(MMV)를 나타내는 모션 정보(MI)를 생성하도록 구성된다. 이때, 모션의 크기(MMV)는 모션 영역(MA)의 모션 혹은 모션 영역(MA) 내 오브젝트의 모션을 나타내는 모션 벡터가 갖는 크기(magnitude)를 의미할 수 있다. 모션 감지기(214)는 이 분야에 알려진 다양한 알고리즘들에 따라 모션 정보(MI)를 생성할 수 있다. 예를 들면, 모션 감지기(214)는 제 2 변환 영상(CV2)의 현재 프레임의 밝기 채널(LCH)의 값들과 이전 프레임의 밝기 채널(LCH)의 값들 사이의 SAD(Sum of Absolute Difference)를 연산하고, 연산된 SAD에 따라 모션 정보(MI)를 생성할 수 있다. 다른 예로서, 모션 감지기(214)는 제 2 변환 영상(CV2)의 현재 프레임 및 이전 프레임에서 동일한 오브젝트를 감지하고, 현재 프레임 및 이전 프레임에서의 오브젝트의 모션에 따라 모션 정보(MI)를 생성할 수 있다. 모션 감지기(214)는 모션 정보(MI)를 탈색기(217)에 제공한다.The motion detector 214 is configured to detect motion from the second converted image CV2 and generate motion information (MI) indicating the area where the motion occurred (MA, hereinafter referred to as motion area) and the magnitude of the motion (MMV). At this time, the magnitude of motion (MMV) may mean the magnitude of a motion vector representing the motion of the motion area (MA) or the motion of an object within the motion area (MA). Motion detector 214 may generate motion information (MI) according to various algorithms known in the art. For example, the motion detector 214 calculates the Sum of Absolute Difference (SAD) between the brightness channel (LCH) values of the current frame of the second converted image CV2 and the brightness channel (LCH) values of the previous frame. And motion information (MI) can be generated according to the calculated SAD. As another example, the motion detector 214 may detect the same object in the current frame and the previous frame of the second converted image CV2 and generate motion information (MI) according to the motion of the object in the current frame and the previous frame. You can. Motion detector 214 provides motion information (MI) to decolorizer 217.

노이즈 감쇄 블록(215)은 제 1 변환 영상(CV1)을 수신하고, 제 1 변환 영상(CV1)에 포함된 노이즈를 제거하도록 구성된다. 노이즈 감쇄 블록(215)은 이 분야에서 잘 알려진 다양한 방식들을 통해 제 1 변환 영상(CV1)에 포함된 노이즈를 제거할 수 있다. 예를 들면, 노이즈 감쇄 블록(215)은 적어도 하나의 로우 패스 필터를 포함할 수 있으며, 로우 패스 필터를 이용하여 제 1 변환 영상(CV1)에 포함된 노이즈를 제거할 수 있다. 상대적으로 낮은 조도에서 게인(GN)은 상대적으로 높고, 이로 인해 제 1 원 영상(RV1)이 상대적으로 많은 노이즈를 포함할 수 있음을 고려할 때, 노이즈 감쇄 블록(215)은 제 1 변환 영상(CV1)의 식별력을 향상시킬 수 있다.The noise reduction block 215 is configured to receive the first converted image CV1 and remove noise included in the first converted image CV1. The noise reduction block 215 may remove noise included in the first converted image CV1 through various methods well known in the field. For example, the noise reduction block 215 may include at least one low-pass filter, and noise included in the first converted image CV1 may be removed using the low-pass filter. Considering that the gain (GN) is relatively high at relatively low illuminance and that the first original image (RV1) may contain relatively much noise due to this, the noise reduction block 215 is used to reduce the first converted image (CV1). ) can improve the discrimination ability.

컬러 향상 블록(216)은 제 1 변환 영상(CV1)이 컬러에 대해 향상된 식별력을 갖도록, 제 1 변환 영상(CV1)의 A채널(ACH) 및 B채널(BCH)의 값들을 처리할 수 있다. 컬러 향상 블록(216)은 게인값들을 이용하여 A채널(ACH) 및 B채널(BCH)의 값들을 조절할 수 있다. 컬러 향상 블록(216)은 이 분야에서 잘 알려진 다양한 방식들을 통해 게인값들을 결정하고, 이에 따라 제 1 변환 영상(CV1)을 처리할 수 있다. 처리된 제 1 변환 영상(CV1')은 탈색기(217)에 제공된다. 상대적으로 낮은 조도에서 제 1 원 영상(RV1)이 상대적으로 낮은 밝기를 가짐을 고려할 때, 컬러 향상 블록(216)은 제 1 변환 영상(CV1)의 식별력을 향상시킬 수 있다.The color enhancement block 216 may process values of the A channel (ACH) and B channel (BCH) of the first converted image CV1 so that the first converted image CV1 has improved color discrimination. The color enhancement block 216 can adjust the values of the A channel (ACH) and B channel (BCH) using gain values. The color enhancement block 216 may determine gain values through various methods well known in the field and process the first converted image CV1 accordingly. The processed first converted image CV1' is provided to the decolorizer 217. Considering that the first original image RV1 has relatively low brightness in relatively low illuminance, the color enhancement block 216 can improve the discrimination of the first converted image CV1.

탈색기(217)는 제 1 변환 영상(CV1') 및 모션 정보(MI)를 수신한다. 탈색기(217)는 모션 정보(MI)에 기반하여 제 1 변환 영상(CV1')의 A채널(ACH) 및 B채널(BCH)의 값들을 조절하도록 구성된다. 실시 예들에서, 탈색기(217)는 A채널(ACH)의 값들 및 B채널(BCH)의 값들 중 모션 영역(MA)에 대응하는 것들을 모션의 크기(MMV)에 따라 조절할 수 있다.The decolorizer 217 receives the first converted image (CV1') and motion information (MI). The decolorizer 217 is configured to adjust the values of the A channel (ACH) and B channel (BCH) of the first converted image (CV1') based on the motion information (MI). In embodiments, the decolorizer 217 may adjust the values of the A channel (ACH) and the B channel (BCH) corresponding to the motion area (MA) according to the motion magnitude (MMV).

도 2와 함께 도 3을 참조하면, 제 1 변환 영상(CV1')의 A채널(ACH)의 값들 및 B채널(BCH)의 값들이 탈색기(217)에 제공된다. 탈색기(217)는 모션 정보(MI)에 따라 모션 영역(MA)을 감지하고, 제 1 변환 영상(CV1')의 모션 영역(MA) 내 A채널(ACH)의 값들 및 B채널(BCH)의 값들을 모션의 크기(MMV)가 증가할수록 감소시킴으로써 제 1 변환 영상(CV1'')의 모션 영역(MA) 내 A채널(ACH)의 값들 및 B채널(BCH)의 값들을 결정할 수 있다. 예를 들면, 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH) 각각의 값들은 수학식 1에 따라 결정될 수 있다.Referring to FIG. 3 together with FIG. 2 , the values of the A channel (ACH) and the B channel (BCH) of the first converted image CV1' are provided to the decolorizer 217. The decolorizer 217 detects the motion area (MA) according to the motion information (MI), and detects the values of the A channel (ACH) and the B channel (BCH) in the motion area (MA) of the first converted image (CV1'). By decreasing the values of as the motion size (MMV) increases, the values of the A channel (ACH) and the B channel (BCH) in the motion area (MA) of the first converted image (CV1'') can be determined. For example, the values of each of the A channel (ACH) and B channel (BCH) of the first converted image CV1'' may be determined according to Equation 1.

수학식 1에서, C_ORG는 제 1 변환 영상(CV1')의 모션 영역(MA) 내 A채널(ACH) 혹은 B채널(BCH)의 각 값을 나타내고, 는 모션의 크기(MMV)에 비례하는 계수이고, C_BLK는 제 1 변환 영상(CV1'')의 모션 영역(MA) 내 A채널(ACH) 혹은 B채널(BCH)의 각 값을 나타낸다.In Equation 1, C_ORG represents each value of the A channel (ACH) or B channel (BCH) in the motion area (MA) of the first converted image (CV1'), is a coefficient proportional to the size of motion (MMV), and C_BLK represents each value of the A channel (ACH) or B channel (BCH) in the motion area (MA) of the first converted image (CV1'').

제 3 색 공간 변환기(218)는 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH), 그리고 제 2 변환 영상(CV2')의 밝기 채널(LCH)을 제 3 변환 영상(CV3)에 포함시키고, 제 3 변환 영상(CV3)을 RGB 색 공간의 픽셀 값들로 변환하여 합성 영상(SV)을 생성하도록 구성된다. 예를 들면, 제 3 변환 영상(CV3)의 A채널(ACH) 및 B채널(BCH)은 제 1 변환 영상(CV1'')의 A채널(ACH) 및 B채널(BCH)로부터 결정되고, 제 3 변환 영상(CV3)의 밝기 채널(LCH)은 제 2 변환 영상(CV2')의 밝기 채널(LCH)부터 결정될 수 있다. 합성 영상(SV)은 제 1 및 제 2 원 영상들(RV1, RV2)과 동일한 색 공간, 예를 들면 R채널, G채널, 및 B채널의 픽셀 값들을 갖는다.The third color space converter 218 performs third conversion on the A channel (ACH) and B channel (BCH) of the first converted image (CV1'') and the brightness channel (LCH) of the second converted image (CV2'). It is configured to generate a composite image (SV) by including it in the image (CV3) and converting the third converted image (CV3) into pixel values of the RGB color space. For example, the A channel (ACH) and B channel (BCH) of the third converted image (CV3) are determined from the A channel (ACH) and B channel (BCH) of the first converted image (CV1''), and The brightness channel (LCH) of the third converted image (CV3) may be determined from the brightness channel (LCH) of the second converted image (CV2'). The composite image SV has pixel values of the same color space as the first and second original images RV1 and RV2, for example, the R channel, G channel, and B channel.

모드 선택기(219)는 게인(GN, 도 1 참조)에 따라 선택 신호(SEL)를 생성하도록 구성된다. 앞서 설명된 바와 같이, 게인(GN)은 주변 환경의 조도가 낮아질수록 높아질 수 있다. 실시 예들에서, 모드 선택기(219)는 게인(GN)이 임계값보다 클 때 선택 신호(SEL)를 인에이블하고 게인(GN)이 임계값보다 작거나 같을 때 선택 신호(SEL)를 디스에이블할 수 있다.The mode selector 219 is configured to generate a selection signal (SEL) according to the gain (GN, see FIG. 1). As previously explained, the gain GN may increase as the illuminance of the surrounding environment decreases. In embodiments, mode selector 219 enables selection signal (SEL) when gain (GN) is greater than a threshold and disables selection signal (SEL) when gain (GN) is less than or equal to a threshold. You can.

출력기(220)는 선택 신호(SEL)에 따라 제 1 원 영상(SV1) 및 합성 영상(SV) 중 어느 하나를 출력 영상(OV)으로 출력하도록 구성된다. 실시 예들에서, 출력기(220)는 선택 신호(SEL)가 인에이블될 때 합성 영상(SV)을 출력 영상(OV)으로서 제공하고, 선택 신호(SEL)가 디스에이블될 때 제 1 원 영상(SV1)을 출력 영상(OV)으로서 제공할 수 있다. 실시 예들에서, 선택 신호(SEL)가 디스에이블될 때 제 2 이미지 센서(112), 제 1 및 제 2 색 공간 변환기들(211, 212), 콘트라스트 향상 블록(213), 모션 감지기(214), 노이즈 감쇄 블록(215), 컬러 향상 블록(216), 탈색기(217), 및 제 3 색 공간 변환기(218)는 비활성화될 수 있다.The output device 220 is configured to output either the first original image SV1 or the composite image SV1 as the output image OV according to the selection signal SEL. In embodiments, the output device 220 provides a composite image SV1 as an output image OV when the selection signal SEL is enabled, and provides a first original image SV1 when the selection signal SEL is disabled. ) can be provided as an output image (OV). In embodiments, when the selection signal (SEL) is disabled, the second image sensor 112, the first and second color space converters 211 and 212, the contrast enhancement block 213, the motion detector 214, The noise reduction block 215, color enhancement block 216, decolorizer 217, and third color space converter 218 can be disabled.

실시 예들에서, 컨트롤러(200)는 출력 영상(OV)에 대해 추가적인 처리를 수행하는 추가적인 구성 요소들을 더 포함할 수 있다.In embodiments, the controller 200 may further include additional components that perform additional processing on the output image OV.

상대적으로 높은 조도에서, 컬러 정보의 존재로 인해 높은 식별력을 갖는 제 1 원 영상(RV1)이 출력 영상(OV)으로서 제공될 수 있다.At relatively high illuminance, the first original image RV1 with high discrimination ability due to the presence of color information can be provided as the output image OV.

상대적으로 낮은 조도에서, 제 1 원 영상(RV1)은 상대적으로 낮은 식별력을 가질 수 있다. 예를 들면, 조도가 낮아질수록 게인(GN)이 증가하며, 이러한 경우 제 1 원 영상(RV1)은 상대적으로 많은 노이즈를 포함할 수 있고, 제 1 원 영상(RV1)에 포함된 오브젝트에 대한 식별력을 감소시킬 수 있다. 예를 들면, 상대적으로 낮은 조도에서 상대적으로 긴 노출 시간으로 각 프레임을 촬영하여 제 1 원 영상(RV1)이 제공될 수 있으며, 이러한 경우 제 1 원 영상(RV1)은 움직이는 오브젝트에 대해 감소된 식별력을 가질 수 있다. 예를 들면, 제 1 원 영상(RV1) 내에서 해당 오브젝트와 연관하여 고스트 현상이 발생할 수 있다. 반면, 제 2 원 영상(RV2)은 적외선에 기반하여 촬영되므로, 상대적으로 낮은 조도에서도, 상대적으로 낮은 노이즈를 포함하며, 상대적으로 낮은 노출 시간으로 각 프레임을 촬영하여 제 2 원 영상(RV2)을 제공할 수 있다. 이와 같이, 제 2 원 영상(RV2)은 상대적으로 낮은 조도에서도 움직이는 오브젝트에 대해 높은 식별력을 유지할 수 있다.At relatively low illuminance, the first original image RV1 may have relatively low discrimination power. For example, as the illuminance decreases, the gain (GN) increases. In this case, the first original image (RV1) may contain relatively much noise, and the discrimination ability for objects included in the first original image (RV1) can be reduced. For example, the first raw image RV1 may be provided by shooting each frame with a relatively long exposure time at relatively low illuminance, and in this case, the first raw image RV1 has reduced discrimination against moving objects. You can have For example, a ghost phenomenon may occur in relation to a corresponding object within the first original image RV1. On the other hand, since the second original image (RV2) is captured based on infrared rays, it contains relatively low noise even at relatively low illuminance, and each frame is captured with a relatively low exposure time to produce the second original image (RV2). can be provided. In this way, the second original image RV2 can maintain high discrimination against moving objects even in relatively low illuminance.

본 발명의 실시 예에 따르면, 제 1 및 제 2 원 영상들(RV1, RV2)이 변환되어 밝기 채널, A채널, 및 B채널을 각각 포함하는 제 1 및 제 2 변환 영상들을 생성하고, 모션 정보에 기반하여 제 1 변환 영상의 A채널 및 B채널의 값들이 감소하고, 감소된 A채널 및 B채널의 값들과 제 2 변환 영상의 밝기 채널의 값들에 기반하여 합성 영상이 생성될 수 있다. 이에 따라, 상대적으로 낮은 조도에서도, 합성 영상은 제 2 변환 영상의 밝기 채널에 따라 모션 영역(혹은 움직이는 오브젝트)을 상대적으로 높은 식별력으로 표현할 수 있으며, 제 1 변환 영상의 A채널 및 B채널에 따라 모션 영역 이외의 영역 또한 상대적으로 높은 식별력으로 표현할 수 있다. 이에 따라, 낮은 조도에서도 생생한 컬러를 포함하는 향상된 식별력의 출력 영상을 제공하는 카메라가 제공될 수 있다.According to an embodiment of the present invention, the first and second original images RV1 and RV2 are converted to generate first and second converted images including a brightness channel, an A channel, and a B channel, respectively, and motion information Based on this, the A channel and B channel values of the first converted image are reduced, and a composite image may be generated based on the reduced A channel and B channel values and the brightness channel values of the second converted image. Accordingly, even at relatively low illuminance, the composite image can express the motion area (or moving object) with relatively high discrimination according to the brightness channel of the second converted image and the A channel and B channel of the first converted image. Areas other than the motion area can also be expressed with relatively high discrimination power. Accordingly, a camera can be provided that provides an output image with improved discrimination ability and includes vivid colors even in low illumination.

도 4는 본 발명의 실시 예에 따른 카메라의 동작 방법을 보여주는 순서도이다.Figure 4 is a flowchart showing a method of operating a camera according to an embodiment of the present invention.

도 1 및 도 4를 참조하면, S110단계에서, 게인(GN)이 임계값보다 큰지 여부가 판별된다. 만약 그렇다면, S120단계가 수행된다. 만약 그렇지 않다면, S130단계가 수행된다.Referring to FIGS. 1 and 4 , in step S110, it is determined whether the gain GN is greater than the threshold. If so, step S120 is performed. If not, step S130 is performed.

S120단계에서, 컬러로 촬영된 제 1 원 영상(RV1)과 흑백으로 촬영된 제 2 원 영상(RV2)이 합성되어 출력 영상(OV)을 제공한다.In step S120, the first original image (RV1) captured in color and the second original image (RV2) captured in black and white are synthesized to provide an output image (OV).

S130단계에서, 컬러로 촬영된 제 1 원 영상(RV1)을 출력 영상(OV)으로 제공한다.In step S130, the first original image (RV1) captured in color is provided as an output image (OV).

도 5는 본 발명의 실시 예에 따른 제 1 및 제 2 원(raw) 영상들을 합성하여 출력 영상을 생성하는 방법을 보여주는 순서도이다.Figure 5 is a flowchart showing a method of generating an output image by combining first and second raw images according to an embodiment of the present invention.

도 1 및 도 5를 참조하면, S210단계에서, 제 1 원 영상(RV1)이 변환되어 LAB 색공간의 A채널과 B채널을 포함하는 제 1 변환 영상을 획득하고, 제 2 원 영상(RV2)이 변환되어 LAB 색공간의 밝기 채널을 포함하는 제 2 변환 영상을 획득한다.Referring to Figures 1 and 5, in step S210, the first original image (RV1) is converted to obtain a first converted image including the A and B channels of the LAB color space, and a second original image (RV2) This is converted to obtain a second converted image including the brightness channel of the LAB color space.

S220단계에서, 제 1 및 제 2 변환 영상들 각각에 대해 필요한 처리가 수행된다. 예를 들면, 제 1 변환 영상에 대해 노이즈 감쇄 동작 및/또는 컬러 향상 동작이 수행될 수 있다. 예를 들면, 제 2 변환 영상에 대해 콘트라스트 향상 동작이 수행될 수 있다.In step S220, necessary processing is performed on each of the first and second converted images. For example, a noise reduction operation and/or a color enhancement operation may be performed on the first converted image. For example, a contrast enhancement operation may be performed on the second converted image.

S230단계에서, 제 2 변환 영상에서 모션이 감지될 때 S240단계가 수행된다. 실시 예들에서, 게인(GN)이 제 2 임계값보다 작은지 여부가 추가적으로 판별되어 S240단계가 선택적으로 수행될 수 있다. 이때, 제 2 임계값은 도 4의 S110단계의 임계값보다 작을 수 있다. 게인(GN)이 제 2 임계값보다 크거나 같을 때, S240단계는 생략되고 S250단계가 수행될 수 있다. 이는, 주변 환경의 조도가 도 4의 S110단계의 임계값과 제 2 임계값 사이일 때 모션에 따른 고스트 현상이 발생될 가능성이 낮기 때문이며, 이에 따라 S240단계를 위해 요구되는 자원들을 절약할 수 있다. 게인(GN)이 제 2 임계값보다 작을 때 S240단계가 수행될 수 있다.In step S230, when motion is detected in the second converted image, step S240 is performed. In embodiments, step S240 may be selectively performed by additionally determining whether the gain GN is less than the second threshold. At this time, the second threshold may be smaller than the threshold in step S110 of FIG. 4. When the gain GN is greater than or equal to the second threshold, step S240 may be omitted and step S250 may be performed. This is because the possibility of ghosting due to motion is low when the illuminance of the surrounding environment is between the threshold value and the second threshold value of step S110 in FIG. 4, and thus the resources required for step S240 can be saved. . Step S240 may be performed when the gain GN is less than the second threshold.

S240단계에서, 감지된 모션을 나타내는 모션 정보에 따라 제 1 변환 영상의 A채널 및 B채널의 값들이 조절된다. A채널의 값들 및 B채널의 값들 중 모션 영역에 대응하는 것들을 모션의 크기가 증가할수록 감소시킬 수 있다. 이와 같이, 제 1 변환 영상은 모션 정보에 따라 탈색된다.In step S240, the values of the A channel and B channel of the first converted image are adjusted according to motion information representing the detected motion. Among the values of the A channel and the values of the B channel, those corresponding to the motion area can be decreased as the size of the motion increases. In this way, the first converted image is decolorized according to the motion information.

S250단계에서, 제 1 변환 영상의 A채널 및 B채널의 값들, 그리고 제 2 변환 영상의 밝기 채널의 값들에 따라 합성 영상이 생성된다. 제 1 변환 영상의 A채널 및 B채널의 값들, 그리고 제 2 변환 영상의 밝기 채널의 값들이 RGB 색 공간의 픽셀 값들로 변환되어 합성 영상이 생성될 것이다. 이에 따라, 상대적으로 낮은 조도에서도, 합성 영상은 제 2 변환 영상의 밝기 채널에 따라 모션 영역(혹은 움직이는 오브젝트)을 상대적으로 높은 식별력으로 표현할 수 있으며, 제 1 변환 영상의 A채널 및 B채널에 따라 모션 영역 이외의 영역 또한 생생한 컬러 영상을 제공하므로 상대적으로 높은 식별력으로 표현할 수 있다. 이에 따라, 낮은 조도에서도 향상된 식별력의 출력 영상을 제공하는 카메라가 제공될 수 있다.In step S250, a composite image is generated according to the values of the A channel and B channel of the first converted image and the brightness channel values of the second converted image. The values of the A channel and B channel of the first converted image, and the brightness channel values of the second converted image will be converted to pixel values of the RGB color space to generate a composite image. Accordingly, even at relatively low illuminance, the composite image can express the motion area (or moving object) with relatively high discrimination according to the brightness channel of the second converted image and the A channel and B channel of the first converted image. Areas other than the motion area also provide vivid color images, so they can be expressed with relatively high discrimination. Accordingly, a camera that provides output images with improved discrimination ability even in low illuminance can be provided.

도 6은 제 1 원 영상을 촬영하는 방법의 실시 예를 보여주는 순서도이다.Figure 6 is a flowchart showing an example of a method for photographing a first original image.

도 1 및 도 6을 참조하면, 게인(GN)이 증가할수록 증가된 노출 시간으로 제 1 원 영상(RV1)이 촬영된다. 이와 같이, 조도가 낮아질수록 증가된 노출 시간으로 프레임들 각각이 촬영되어 제 1 원 영상(RV1)을 획득할 수 있다.Referring to FIGS. 1 and 6 , as the gain GN increases, the first original image RV1 is captured with an increased exposure time. In this way, as the illuminance decreases, each frame is photographed with an increased exposure time to obtain the first original image RV1.

도 7은 본 발명의 다른 실시 예에 따른 카메라를 보여주는 블록도이다.Figure 7 is a block diagram showing a camera according to another embodiment of the present invention.

도 7을 참조하면, 카메라(1000)는 영상 촬영기(1100), 이미지 처리 장치(1200, Image Processing Device), 시스템 메모리(1300, System Memory), 메인 프로세서(1400), 센서 컨트롤러(1500, Sensor Controller), 사용자 인터페이스(1600, User I/F), 및 네트워크 인터페이스(1700, Network I/F)를 포함할 수 있다.Referring to FIG. 7, the camera 1000 includes an image capture device 1100, an image processing device 1200, a system memory 1300, a main processor 1400, and a sensor controller 1500. ), a user interface (1600, User I/F), and a network interface (1700, Network I/F).

영상 촬영기(1100), 이미지 처리 장치(1200), 및 시스템 메모리(1300)는 도 1을 참조하여 설명된 영상 촬영기(110), 메인 컨트롤러(140), 및 메모리(130)와 각각 마찬가지로 구성된다. 이하, 중복되는 설명은 생략된다.The image capture device 1100, the image processing device 1200, and the system memory 1300 are configured similarly to the image capture device 110, the main controller 140, and the memory 130 described with reference to FIG. 1 . Hereinafter, overlapping descriptions will be omitted.

시스템 메모리(1300)는 이미지 처리 장치(1200) 및 메인 프로세서(1400)와 구분된 구성 요소로서 도시되어 있다. 그러나, 실시 예들은 여기에 한정되지 않는다. 예를 들면, 시스템 메모리(1300)의 적어도 일부는 이미지 처리 장치(1200) 및 메인 프로세서(1400)에 포함될 수 있다. 실시 예들에서, 시스템 메모리(1300)는 SRAM(Static RAM), DRAM(Dynamic RAM), 및 SDRAM(Synchronous DRAM) 중 적어도 하나를 포함할 수 있다.The system memory 1300 is shown as a separate component from the image processing device 1200 and the main processor 1400. However, the embodiments are not limited thereto. For example, at least a portion of the system memory 1300 may be included in the image processing device 1200 and the main processor 1400. In embodiments, the system memory 1300 may include at least one of static RAM (SRAM), dynamic RAM (DRAM), and synchronous DRAM (SDRAM).

메인 프로세서(1400)는 카메라(1000)의 제반 동작들을 제어할 수 있다. 메인 프로세서(1400)는 사용자 인터페이스(1600)를 통해 수신되는 사용자 입력을 처리할 수 있으며, 이미지 처리 장치(1200)로부터 출력되는 영상을 처리하고, 처리된 영상을 네트워크 인터페이스(1700)를 통해 전송할 수 있다.The main processor 1400 can control various operations of the camera 1000. The main processor 1400 can process user input received through the user interface 1600, process images output from the image processing device 1200, and transmit the processed images through the network interface 1700. there is.

센서 컨트롤러(1500)는 메인 프로세서(1400)의 제어에 응답하여 영상 촬영기(1100)를 제어하도록 구성된다. 센서 컨트롤러(1500)는 주변 환경의 조도에 따라 영상 촬영기(1100)의 기계적 혹은 전자적 셔터를 제어함으로써 제 1 이미지 센서(1110)의 노출 시간을 조절할 수 있다. 또한, 센서 컨트롤러(1500)는 도 1의 센서 게인 컨트롤러(120)의 기능을 수행할 수 있다. 센서 컨트롤러(1500)는 주변 환경의 조도가 낮아질수록 제 1 이미지 센서(1110)의 게인(GN, 도 1 참조)을 높일 수 있다.The sensor controller 1500 is configured to control the image capture device 1100 in response to the control of the main processor 1400. The sensor controller 1500 can adjust the exposure time of the first image sensor 1110 by controlling the mechanical or electronic shutter of the image capture device 1100 according to the illuminance of the surrounding environment. Additionally, the sensor controller 1500 may perform the function of the sensor gain controller 120 of FIG. 1. The sensor controller 1500 may increase the gain (GN, see FIG. 1) of the first image sensor 1110 as the illuminance of the surrounding environment decreases.

사용자 인터페이스(1600)는 메인 프로세서(1400)의 다양한 동작들을 제어하기 위한 사용자 입력을 수신할 수 있으며, 스위치, 다이얼, 터치 패널, 음성 인식 장치 등을 포함할 수 있다. 사용자는 사용자 인터페이스(1600)를 통해 파워 온/오프, 광역 동적 범위 모드 온/오프, 줌 인/아웃, 및 이미지 디스플레이 온/오프와 같은 다양한 기능들을 설정할 수 있다.The user interface 1600 may receive user input to control various operations of the main processor 1400 and may include a switch, dial, touch panel, voice recognition device, etc. The user can set various functions such as power on/off, wide dynamic range mode on/off, zoom in/out, and image display on/off through the user interface 1600.

네트워크 인터페이스(1700)는 카메라(1000)와 외부 장치 사이의 네트워크를 통한 통신들을 제공한다. 네트워크 인터페이스(1700)는 외부 장치로부터의 제어 신호들을 수신할 수 있으며, 메인 프로세서(1400)의 제어에 응답하여 이미지 처리 장치(1200)에 의해 처리된 프레임들을 외부 장치에 전송할 수 있다.The network interface 1700 provides communications over a network between the camera 1000 and an external device. The network interface 1700 may receive control signals from an external device, and may transmit frames processed by the image processing device 1200 to the external device in response to control of the main processor 1400.

비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.Although specific embodiments and application examples are described herein, they are provided only to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and may be used by those of ordinary skill in the field to which the present invention pertains. Various modifications and variations are possible from this substrate.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .

110: 영상 촬영기
120: 센서 게인 컨트롤러
130: 메모리
140: 메인 컨트롤러
110: video camera
120: sensor gain controller
130: memory
140: main controller

Claims (6)

적어도 하나의 이미지 센서를 포함하는 영상 촬영기; 및
상기 이미지 센서와 통신하는 컨트롤러를 포함하되,
상기 컨트롤러는,
상기 영상 촬영기를 통해 컬러 영상을 획득하고;
상기 영상 촬영기를 통해 흑백 영상을 획득하고;
상기 흑백 영상에 포함된 특정 영역 또는 오브젝트의 모션 벡터를 분석하여 상기 흑백 영상으로부터 모션을 감지하고,
상기 흑백 영상에서 모션이 감지될 때 상기 모션을 나타내는 모션 정보를 생성하고;
상기 모션 정보에 따라, 상기 컬러 영상으로부터 제공되는 컬러 채널들의 값들을 조절하고;
상기 컬러 채널들의 상기 조절된 값들과 상기 흑백 영상으로부터 제공되는 밝기 채널의 값들에 따라 합성 영상을 생성하도록 구성되는 카메라.
An image capture device including at least one image sensor; and
Including a controller that communicates with the image sensor,
The controller is,
Obtaining a color image through the image capture device;
Obtaining a black and white image through the image capture device;
Detecting motion from the black-and-white image by analyzing the motion vector of a specific area or object included in the black-and-white image,
When motion is detected in the black-and-white image, generate motion information representing the motion;
adjusting values of color channels provided from the color image according to the motion information;
A camera configured to generate a composite image according to the adjusted values of the color channels and values of a brightness channel provided from the black-and-white image.
제 1 항에 있어서,
상기 모션 정보는 상기 모션의 크기 및 상기 모션이 발생된 영역을 나타내는 정보를 포함하는 카메라.
According to claim 1,
The motion information includes information indicating the size of the motion and the area in which the motion occurred.
제 2 항에 있어서,
상기 컨트롤러는 상기 컬러 채널들의 상기 값들 중 상기 모션이 발생된 영역에 대응하는 값들을 상기 모션의 크기가 증가할수록 감소시켜 상기 컬러 채널들의 값들을 조절하도록 구성되는 카메라.
According to claim 2,
The controller is configured to adjust the values of the color channels by decreasing the values corresponding to the area where the motion occurs among the values of the color channels as the size of the motion increases.
제 1 항에 있어서,
상기 적어도 하나의 이미지 센서는 제 1 및 제 2 이미지 센서들을 포함하고,
상기 컨트롤러는 상기 제 1 이미지 센서를 이용하여 상기 컬러 영상을 획득하고 상기 제 2 이미지 센서를 이용하여 상기 흑백 영상을 획득하고,
상기 제 1 이미지 센서의 게인값이 증가할수록, 상기 제 1 이미지 센서에 대응하는 노출 시간을 증가시키도록 상기 영상 촬영기를 제어하도록 구성되는 센서 컨트롤러를 더 포함하는 카메라.
According to claim 1,
The at least one image sensor includes first and second image sensors,
The controller acquires the color image using the first image sensor and the black-and-white image using the second image sensor,
The camera further includes a sensor controller configured to control the image capture device to increase the exposure time corresponding to the first image sensor as the gain value of the first image sensor increases.
제 1 항에 있어서,
상기 컨트롤러는,
상기 영상 촬영기에 의해 촬영되는 제 1 원 영상을 수신하고, 상기 제 1 원 영상을 상기 컬러 영상으로 변환하도록 구성되는 제 1 색 공간 변환기; 및
상기 영상 촬영기에 의해 촬영되는 제 2 원 영상을 수신하고, 상기 제 2 원 영상을 상기 흑백 영상으로 변환하도록 구성되는 제 2 색 공간 변환기를 포함하는 카메라.
According to claim 1,
The controller is,
a first color space converter configured to receive a first original image captured by the image capture device and convert the first original image into the color image; and
A camera comprising a second color space converter configured to receive a second original image captured by the image capture device and convert the second original image into the black and white image.
제 5 항에 있어서,
상기 제 1 원 영상, 상기 제 2 원 영상, 및 상기 합성 영상 각각은 RGB 색 공간의 채널들의 값들을 포함하고,
상기 컬러 채널들은 LAB 색 공간의 A채널 및 B채널이고, 상기 밝기 채널은 상기 LAB 색 공간의 밝기 채널인 카메라.
According to claim 5,
Each of the first original image, the second original image, and the composite image includes values of channels in an RGB color space,
The color channels are the A channel and the B channel of the LAB color space, and the brightness channel is a brightness channel of the LAB color space.
KR1020200003060A 2020-01-09 2020-01-09 Camera including at least one image sensor KR102654700B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003060A KR102654700B1 (en) 2020-01-09 2020-01-09 Camera including at least one image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003060A KR102654700B1 (en) 2020-01-09 2020-01-09 Camera including at least one image sensor

Publications (2)

Publication Number Publication Date
KR20210089909A KR20210089909A (en) 2021-07-19
KR102654700B1 true KR102654700B1 (en) 2024-04-03

Family

ID=77125850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003060A KR102654700B1 (en) 2020-01-09 2020-01-09 Camera including at least one image sensor

Country Status (1)

Country Link
KR (1) KR102654700B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101609353B1 (en) * 2014-12-05 2016-04-21 전주대학교 산학협력단 Interface method and device for controlling screen
KR102014545B1 (en) * 2018-07-11 2019-08-26 이노뎁 주식회사 method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
KR102489279B1 (en) * 2016-02-04 2023-01-18 삼성전자주식회사 Apparatus and method for processing an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101609353B1 (en) * 2014-12-05 2016-04-21 전주대학교 산학협력단 Interface method and device for controlling screen
KR102014545B1 (en) * 2018-07-11 2019-08-26 이노뎁 주식회사 method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same

Also Published As

Publication number Publication date
KR20210089909A (en) 2021-07-19

Similar Documents

Publication Publication Date Title
KR101900097B1 (en) Image capturing method and image capturing apparatus
CN111698434B (en) Image processing apparatus, control method thereof, and computer-readable storage medium
CN102165762B (en) Imaging device and signal processing circuit for the imaging device
US7859589B2 (en) Imaging apparatus, and exposure control apparatus, method, and program
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
CN110198418B (en) Image processing method, image processing device, storage medium and electronic equipment
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
CN110290325B (en) Image processing method, image processing device, storage medium and electronic equipment
US11637960B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018056702A (en) Image processing device, image processing method and program
US20170318208A1 (en) Imaging device, imaging method, and image display device
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
CN110278375B (en) Image processing method, image processing device, storage medium and electronic equipment
US20090027514A1 (en) Image pickup apparatus and method
CN102238394B (en) Image processing apparatus, control method thereof, and image-capturing apparatus
CN110266965B (en) Image processing method, image processing device, storage medium and electronic equipment
US10944929B2 (en) Imaging apparatus and imaging method
CN110266967B (en) Image processing method, image processing device, storage medium and electronic equipment
KR102654700B1 (en) Camera including at least one image sensor
JP5515852B2 (en) Imaging apparatus and image generation program
JP5515795B2 (en) Imaging apparatus and imaging method
KR101589493B1 (en) White ballance control method and apparatus using a flash and digital photographing apparatus using thereof
JP2021164112A (en) Imaging apparatus, image processing device, and image processing program
US9723207B2 (en) Imaging device and control method therefor
KR20190139788A (en) Methods and apparatus for capturing media using plurality of cameras in electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant