KR20130069400A - Image processing method and system - Google Patents

Image processing method and system Download PDF

Info

Publication number
KR20130069400A
KR20130069400A KR1020120137329A KR20120137329A KR20130069400A KR 20130069400 A KR20130069400 A KR 20130069400A KR 1020120137329 A KR1020120137329 A KR 1020120137329A KR 20120137329 A KR20120137329 A KR 20120137329A KR 20130069400 A KR20130069400 A KR 20130069400A
Authority
KR
South Korea
Prior art keywords
image
value
component
pixel value
dynamic range
Prior art date
Application number
KR1020120137329A
Other languages
Korean (ko)
Other versions
KR101675802B1 (en
Inventor
야스시 이하
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of KR20130069400A publication Critical patent/KR20130069400A/en
Application granted granted Critical
Publication of KR101675802B1 publication Critical patent/KR101675802B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Abstract

PURPOSE: An image processing method and a system are provided to convert an AC element into a DC element in a high brightness area of a long frame image and a low brightness area of a short frame image, thereby improving the image compression efficiency. CONSTITUTION: A DC converter(105) converts a pixel value of the high brightness which is not used for a WDR(Wide Dynamic Range) process among a first image into a DC element. The DC converter converts a pixel value of the low brightness which is not used for the WDR process among a second image into the DC element. A synthesis unit(115) synthesizes the first image and the second image in which the DC converter converts. [Reference numerals] (105) DC converter; (107) Image compressor unit; (111) Storage unit; (113) Image increase unit; (115) Synthesis unit

Description

영상 처리 방법 및 시스템{Image processing method and system}Image processing method and system

본 발명은 영상 처리 방법 및 시스템에 관한 것이다. 보다 상세하게는 본 발명은 영상을 공간 주파수 영역으로 변환하여 와이드 다이나믹 레인지 처리에 적합하도록 AC 성분이 저감되도록 되도록 하는 영상 처리 방법 및 시스템에 관한 것이다.The present invention relates to an image processing method and system. More particularly, the present invention relates to an image processing method and system for converting an image into a spatial frequency domain such that an AC component is reduced to be suitable for wide dynamic range processing.

영상 압축 기술은 감시 카메라, 카메라 기능을 소유하는 휴대전화, 디지털 스틸 카메라, 디지털비디오카메라등, 영상을 촬영하는 기기 및 기록하는 기기에서 사용된다.Video compression technology is used in surveillance cameras, mobile phones with camera functions, digital still cameras, digital video cameras, and the like to capture and record video.

영상 압축 기술과 관련하여, 다이나믹 레인지(dynamic range)란 촬상 소자의 포화 신호 출력 레벨과 노이즈의 최대 값과의 차이로, 식별이 가능한 범위 내에서 가장 밝은 부분과 어두운 부분의 비율을 나타내는 것이다. 와이드 다이나믹 레인지(wide dynamic range, 이하 WDR)는 가장 밝은 부분과 어두운 부분을 보다 넓은 범위로 표시할 수 있도록 하는 기술을 통틀어 일컫는다. 다이나믹 레인지의 범위가 좁을 경우 사물의 뒤에 광원이 존재할 경우 역광의 효과로 사물이 어둡게 처리되는므로 WDR 기술은 역광 보정 기술이라 칭해지기도 한다.In the context of image compression technology, dynamic range is the difference between the saturation signal output level of the imaging device and the maximum value of noise, which represents the ratio of the brightest and darkest portions within an identifiable range. Wide dynamic range (WDR) refers to a technology that allows the widest range of brightest and darkest parts to be displayed. When the dynamic range is narrow, when the light source exists behind the object, the object is darkened by the effect of backlight, so the WDR technology is sometimes referred to as a backlight compensation technology.

WDR 기술은 노출 시간이 서로 다른 이미지를 합성하는 방법을 사용한다. 기존의 WDR 처리는 장시간 노출 촬영 이미지의 고휘도 영역 및 단시간 노출 촬영 이미지의 저휘도 영역을 일률적으로 압축하므로 압축 효율이 나쁘고, 많은 픽셀로 이미지 데이터를 처리하기에 화상 처리 회로의 클록 주파수를 높일 필요가 있으며, 이미지 데이터를 메모리에 저장할 시에 소비 전력이 증가하는 문제점이 있다.WDR technology uses a method of compositing images with different exposure times. Conventional WDR processing compresses the high luminance area of the long exposure image and the low luminance area of the short exposure image uniformly so that the compression efficiency is poor, and the clock frequency of the image processing circuit needs to be increased to process the image data with many pixels. There is a problem in that power consumption increases when storing image data in a memory.

본 발명의 일 실시예를 통해 와이드 다이나믹 레인지 처리 전에 와이드 다이나믹 레인지 처리에 사용하는 이미지의 효율적인 압축을 가능하게 하는 것을 일 목적으로 한다.One object of the present invention is to enable efficient compression of an image used for wide dynamic range processing before wide dynamic range processing.

본 발명의 일 실시예에 따르면, 제1 노출 시간으로 촬영된 제1 이미지와, 상기 제 1 노출 시간보다 짧은 제2 노출 시간으로 촬영된 제2 이미지를 이용하여 최종 영상을 출력하는 와이드 다이나믹 레인지(Wide Dinamic Range) 처리를 포함하는 영상 처리 시스템에 있어서, 상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 DC 성분으로 변환하고, 상기 제2 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 저휘도의 픽셀값을 DC 성분으로 변환하는 DC 변환부; 및 상기 DC 변환부가 변환한 상기 제1 이미지 및 상기 제2 이미지를 합성하는 합성부;를 포함하는 영상 처리 시스템이 제공된다.According to an embodiment of the present invention, a wide dynamic range for outputting a final image by using a first image photographed with a first exposure time and a second image photographed with a second exposure time shorter than the first exposure time ( In an image processing system including a Wide Dinamic Range process, a pixel value of a high luminance not used in the wide dynamic range processing of the first image is converted into a DC component, and the wide dynamic range processing of the second image is performed. A DC converter for converting an unused low luminance pixel value into a DC component; And a synthesizer configured to synthesize the first image and the second image converted by the DC converter.

본 발명에 있어서, 상기 DC 성분 변환부는, 상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 제1 변환값으로 변환하고, 상기 제2 이미지 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용하지 않는 저휘도의 픽셀값을 제2 변환값으로 변환하는 것을 특징으로 한다.In the present invention, the DC component converting unit converts a pixel value of a high luminance not used in the wide dynamic range processing of the first image into a first converted value, and performs the wide dynamic range processing of the second image image. The pixel value of the low luminance which is not used is converted into a 2nd conversion value, It is characterized by the above-mentioned.

본 발명에 있어서, 상기 합성부는 상기 제1 이미지 중 고휘도의 픽셀값을 결정하는 제1 임계값과 제2 이미지 중 저휘도의 픽셀값을 결정하는 제2 임계값을 설정하고, 상기 DC 성분 변환부는 제1 임계값보다 큰 상기 제1 이미지의 고휘도 픽셀값을 상기 제1 변환값으로 변환하고, 제2 임계값에 기초하여 상기 제2 이미지의 픽셀값을 저휘도로 판정하는 제3 임계값을 산출하여, 상기 제2 이미지의 저휘도 픽셀값을 제2 변환값으로 변환하는 것을 특징으로 한다.In an embodiment of the present invention, the combining unit sets a first threshold value for determining a pixel value of high luminance in the first image and a second threshold value for determining a pixel value of low luminance in a second image, and the DC component converting unit Converts a high luminance pixel value of the first image larger than a first threshold value into the first conversion value and calculates a third threshold value that determines the pixel value of the second image at low luminance based on a second threshold value; The low luminance pixel value of the second image may be converted into a second converted value.

본 발명에 있어서, 상기 제1 변환값은 상기 제2 임계값이고, 상기 제2 변환값은 상기 제3 임계값인 것을 특징으로 한다.In the present invention, the first transform value is the second threshold value, and the second transform value is characterized in that the third threshold value.

본 발명에 있어서, 상기 영상 처리 시스템은, 상기 제1 이미지 및 상기 제2 이미지를 압축하는 이미지 압축부; 및 상기 제2 이미지 내에서 상기 DC 성분 변환부에서 DC 변환되는 영역에 대응하는 상기 제1 이미지의 픽셀 수를 예측하는 DC 성분 예측부;를 추가적으로 구비하고, 상기 DC 성분 예측부에 의해 상기 예측된 DC 변환되는 픽셀 수에 따라 상기 제1 이미지 또는 상기 제2 이미지의 압축 방법을 선택하는 것을 특징으로 한다.In the present invention, the image processing system, Image compression unit for compressing the first image and the second image; And a DC component predictor configured to predict the number of pixels of the first image corresponding to a region DC-converted by the DC component converter in the second image. The method of compressing the first image or the second image is selected according to the number of pixels DC-converted.

본 발명에 있어서, 상기 압축 방법은 실행 길이 인코딩 방식을 포함하는 것을 특징으로 한다.In the present invention, the compression method is characterized in that it comprises a run length encoding scheme.

본 발명의 다른 일 실시예에 따르면, 제1 노출 시간으로 촬영된 제1 이미지와, 상기 제 1 노출 시간보다 짧은 제2 노출 시간으로 촬영된 제2 이미지를 이용하여 최종 영상을 출력하는 와이드 다이나믹 레인지(Wide Dinamic Range) 처리를 포함하는 영상 처리 방법에 있어서, 상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 DC 성분으로 변환하는 단계; 상기 제2 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 저휘도의 픽셀값을 DC 성분으로 변환하는 단계; 를 포함하는 영상 처리 방법이 제공된다.According to another embodiment of the present invention, a wide dynamic range for outputting a final image by using a first image photographed with a first exposure time and a second image photographed with a second exposure time shorter than the first exposure time An image processing method including Wide Dinamic Range processing, the method comprising: converting a pixel value of a high luminance not used in the wide dynamic range processing of the first image into a DC component; Converting a low luminance pixel value of the second image not used in the wide dynamic range processing into a DC component; Provided is an image processing method including a.

본 발명에 의하면, 와이드 다이나믹 레인지 처리 전에 와이드 다이나믹 레인지 처리에 사용하는 이미지의 효율적인 압축을 가능하게 하는 향상된 영상 처리 방법 및 시스템을 제공할 수 있다.According to the present invention, it is possible to provide an improved image processing method and system that enables efficient compression of an image used for wide dynamic range processing before wide dynamic range processing.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템(10)의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 DC 성분 변환부(105)의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 롱 프레임 이미지를 처리하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 쇼트 프레임 이미지를 처리하는 과정을 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 WDR 처리를 하는 경우 DC 성분 변환 결과 전/후를 나타낸 그래프이다.
도 7은 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 DC변환하는 영역을 포함하는 이미지의 일 예를 나타낸 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 영상 처리 시스템의 구성을 나타낸 도면이다.
도 9는 본 발명의 다른 일 실시예에 따른 영상 압축 방법을 순서도로 나타낸 도면이다.
도 10은 본 발명의 다른 일 실시예에 따른 이미지의 휘도 히스토그램의 예를 나타낸 도면이다.1 is a diagram illustrating a configuration of an image processing system 10 according to an exemplary embodiment of the present invention.
2 is a diagram showing the internal configuration of the DC component converter 105 according to an embodiment of the present invention.
3 is a flowchart illustrating a process of processing a long frame image by the DC component converter 105 according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a process of processing a short frame image by the DC component converter 105 according to an exemplary embodiment of the present invention.
5 and 6 are graphs showing before and after DC component conversion results when performing WDR processing according to an embodiment of the present invention.
7 is a diagram illustrating an example of an image including a region in which the DC component converter 105 performs DC conversion, according to an exemplary embodiment.
8 is a diagram illustrating a configuration of an image processing system according to another exemplary embodiment of the present invention.
9 is a flowchart illustrating an image compression method according to another embodiment of the present invention.
10 is a diagram illustrating an example of a luminance histogram of an image according to another exemplary embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE INVENTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and characteristics described herein may be implemented by changing from one embodiment to another without departing from the spirit and scope of the invention. It should also be understood that the location or arrangement of individual components within each embodiment may be varied without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be construed as encompassing the scope of the appended claims and all equivalents thereof. In the drawings, like reference numbers designate the same or similar components throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to which the present invention pertains.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템(10)의 구성을 나타낸 도면이다.1 is a diagram illustrating a configuration of an image processing system 10 according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 시스템(10)은 DC 성분 변환부(105), 이미지 압축부(107), 저장부(111), 이미지 신장부(113), 합성부(115) 및 처리되는 이미지를 저장부(111)에 저장 및 출력하기 위한 버스(109)를 포함하는 것을 알 수 있다.Referring to FIG. 1, the image processing system 10 according to an exemplary embodiment of the present invention may include a DC component converter 105, an image compressor 107, a storage 111, an image stretcher 113, and a composition. It can be seen that the unit 115 and the bus 109 for storing and outputting the processed image to the storage 111.

먼저, DC 성분 변환부(105)는 효율적인 압축을 위해 카메라 등에서 촬상된 롱 프레임 및 쇼트 프레임의 영상의 일부 영역을 DC 성분으로 변환하는 역할을 한다. DC 성분 변환부(105)의 상세한 역할에 대해서는 아래에서 후술하기로 한다.First, the DC component converter 105 converts a partial region of an image of a long frame and a short frame captured by a camera to a DC component for efficient compression. A detailed role of the DC component converter 105 will be described later.

다음으로, 이미지 압축부(107)는 DC 성분 변환부(105)에서 처리된 롱 프레임 및 쇼트 프레임의 영상을 압축하고 이미지 저장부(111)로 전송한다. 본 발명의 일 실시예에 따른 이미지 압축부(107)가 사용하는 이미지 압축 방식은 통상의 압축 방식을 제한 없이 차용할 수 있으며, 본 발명의 영상 압축 시스템은 압축 방식을 한정하지 않는다. 또한, 후술하는 바와 같이 본 발명의 다른 실시예에 따르면 이미지 압축부(107)은 실행 길이 인코딩 방식의 압축 방법을 사용할 수 있다.Next, the image compressor 107 compresses an image of the long frame and the short frame processed by the DC component converter 105 and transmits the image to the image storage 111. The image compression method used by the image compression unit 107 according to an embodiment of the present invention may employ a conventional compression method without limitation, and the image compression system of the present invention does not limit the compression method. In addition, as will be described later, according to another embodiment of the present invention, the image compressor 107 may use a compression method of an execution length encoding method.

기존의 이미지 압축부(107)는 WDR 처리시 불필요한 픽셀 정보를 형성하는 영역의 AC 성분까지를 포함하므로 압축이 비효율적으로 일어나는 문제점이 있었다. 보다 상세하게는 WDR 처리시 불필요한 픽셀 정보는 장시간 촬영 이미지인 롱 프레임(long frame) 이미지의 고휘도 영역 및 단시간 촬영 이미지인 쇼트 프레임(short frame) 이미지의 저휘도 영역이다. 롱 프레임은 노출 시간이 길어 고휘도측 영역이 비교적 넓어지고, 쇼트 프레임은 노출 시간이 짧으므로 저휘도 측의 영역이 넓어지는 경향이 강하기 때문이다.Since the existing image compressor 107 includes up to an AC component of a region that forms unnecessary pixel information during WDR processing, compression is inefficient. More specifically, the pixel information unnecessary during the WDR processing is a high luminance region of a long frame image, which is a long-time photographed image, and a low luminance region of a short frame image, which is a short-time shot image. This is because the long frame has a long exposure time, so that the region on the high luminance side is relatively wide, and the short frame has a short exposure time, so the region on the low luminance side tends to be wide.

다음으로, 버스(109)는 압축된 영상을 저장부(111)에 저장하고, 저장부(111)에 저장된 영상을 이미지 신장부(113)로 전달하는 역할을 한다.Next, the bus 109 stores the compressed image in the storage 111 and delivers the image stored in the storage 111 to the image extending unit 113.

저장부(111)는 SDRAM등 메모리가 될 수 있다.The storage unit 111 may be a memory such as an SDRAM.

다음으로, 이미지 신장부(113)는 압축된 롱 프레임 및 쇼트 프레임을 저장부(111)에서 전달받아 이미지를 신장시켜 영상 압축 이전의 상태로 되돌린다. 본 발명의 일 실시예에 따른 이미지 신장부(113)는 이미지 신장 방식에서 통상의 신장 방식을 제한 없이 차용할 수 있다.Next, the image stretcher 113 receives the compressed long frame and the short frame from the storage 111 to stretch the image and return the image to a state before image compression. The image stretcher 113 according to the exemplary embodiment of the present invention may employ a conventional stretch method without limitation in the image stretch method.

합성부(115)는 최종적으로 이미지 노출 시간이 서로 다른 롱 프레임 및 쇼트 프레임 이미지들을 합성하는 WDR 처리를 통해 역광이 보정된 영상을 구현하는 역할을 한다. 합성부(115)에 쇼트 프레임 이미지가 전달될 때, 이미지 신장부(113)에 의해 신장된 쇼트 프레임 이미지는 노출 비율 α를 곱한 후 합성부(115)에 입력된다. 노출 비율 α는 노출 시간이 다른 장시간 노출 촬영 이미지 및 단시간 노출 영상 이미지를 합성하기위한 계수로, 롱 프레임 이미지의 노출 시간 대 쇼트 프레임 이미지의 노출 시간의 비일 수 있다.The combining unit 115 finally implements a back-corrected image through WDR processing for synthesizing long frame and short frame images having different image exposure times. When the short frame image is transferred to the combining unit 115, the short frame image extended by the image extending unit 113 is input to the combining unit 115 after multiplying the exposure ratio α. The exposure ratio α is a coefficient for synthesizing the long exposure image and the short exposure image image having different exposure time, and may be a ratio of the exposure time of the long frame image to the exposure time of the short frame image.

이하에서는 본 발명의 핵심적인 구성인 DC 성분 변환부(105)에서 WDR 처리에 불필요한 영상의 주파수 영역을 제거하는 구성을 설명하기로 한다.Hereinafter, a configuration in which the DC component converter 105, which is a core configuration of the present invention, removes a frequency region of an image unnecessary for WDR processing will be described.

도 2는 본 발명의 일 실시예에 따른 DC 성분 변환부(105)의 내부 구성을 나타낸 도면이다.2 is a diagram showing the internal configuration of the DC component converter 105 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 DC 성분 변환부(105)는 제1 판정부(121), 제1 화소 변환부(123), 제2 판정부(127) 및 제2 화소 변환부(127)를 포함하는 것을 알 수 있다.Referring to FIG. 2, the DC component converter 105 according to an exemplary embodiment of the present invention may include a first determiner 121, a first pixel converter 123, a second determiner 127, and a second pixel. It can be seen that the conversion unit 127 is included.

제1 판정부(121) 및 제1 화소 변환부(123)는 롱 프레임 이미지를 입력받아, 픽셀값이 기준값 이상인 영역을 DC 성분으로 변환하여 롱 프레임 이미지를 출력하는 역할을 한다. 이때, 변환 기준이 되는 제2 임계값(TH1)는 픽셀값에 관한 것으로, 롱 프레임 이미지의 픽셀값이 기준치 이상일 때 DC 성분으로 변환하기 위해 설정되는 값이다. 제1 판정부(121)는 롱 프레임 이미지의 위치 (x,y)의 픽셀값 LP(x,y)가 TH1 이상이지를 판정하고, 제1 화소 변환부(123)는 해당하는 영역을 DC 성분으로 변환하는 역할을 한다.The first determiner 121 and the first pixel converter 123 receive a long frame image, convert a region having a pixel value equal to or greater than a reference value into a DC component, and output a long frame image. In this case, the second threshold value TH1 serving as a conversion reference relates to a pixel value and is set to convert to a DC component when the pixel value of the long frame image is equal to or greater than the reference value. The first determination unit 121 determines whether the pixel value LP (x, y) of the position (x, y) of the long frame image is equal to or larger than TH1, and the first pixel conversion unit 123 determines the corresponding region as the DC component. It converts to.

제2 판정부(127) 및 제2 화소 변환부(127)는 쇼트 프레임 이미지를 입력받아 픽셀값이 기준값 이하인 영역을 DC 성분으로 변환하여 쇼트 프레임 이미지를 출력하는 역할을 한다. 이때, 변환 기준이 되는 제1 임계값(TH0')은 픽셀값에 관한 것으로, 쇼트 프레임 이미지의 픽셀값이 기준치 이하일 때 DC 성분으로 변환하기 위해 설정되는 값이다.. 제2 판정부(127)는 쇼트 프레임 이미지에서 TH0' 이하의 픽셀값를 갖는 영역을 판정하고, 제2 화소 변환부(127)는 해당하는 영역을 DC 성분으로 변환하는 역할을 한다. 제1 임계값(TH0')는 제2 임계값(TH1)보다 작은 값이다.The second determiner 127 and the second pixel converter 127 receive a short frame image and convert a region having a pixel value equal to or less than a reference value into a DC component to output a short frame image. In this case, the first threshold value TH0 ′, which is a conversion reference, relates to a pixel value, and is set to be converted to a DC component when the pixel value of the short frame image is less than or equal to the reference value. Determines a region having a pixel value of TH0 'or less in the short frame image, and the second pixel converter 127 converts the region into a DC component. The first threshold value TH0 ′ is smaller than the second threshold value TH1.

제1 임계값(TH0') 및 제2 임계값(TH1)은 WDR 처리에 관련되는 임계값과 관련되는 값이다. WDR 처리는 상술한 바와 같이 밝기의 차이를 올바르게 나타내기 위해서 특정 하한치 이하 혹은 특정 상한치 이상의 픽셀값을 다른 값으로 대체하는데, WDR 처리에 관련되는 임계값은 이때 사용되는 하한치 및 상한치를 지칭하는 것을 수 있다. 특히, 제1 임계값(TH0')은 WDR 처리에 원래 사용되는 하한치(TH0)에 α를 나눈 대체값일 수 있고, 제2 임계값(TH0)은 상한치(TH1)일 수 있다.The first threshold value TH0 ′ and the second threshold value TH1 are values related to threshold values related to WDR processing. The WDR process replaces pixel values below a certain lower limit or above a certain upper limit with other values to correctly represent the difference in brightness as described above, and the thresholds related to the WDR process may refer to the lower limit and the upper limit used at this time. have. In particular, the first threshold value TH0 ′ may be a substitute value obtained by dividing α by the lower limit value TH0 originally used for WDR processing, and the second threshold value TH0 may be an upper limit value TH1.

도 3은 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 롱 프레임 이미지를 처리하는 과정을 나타낸 순서도이다.3 is a flowchart illustrating a process of processing a long frame image by the DC component converter 105 according to an exemplary embodiment of the present invention.

먼저, DC 성분 변환부(105)의 제1 판정부(121)는 롱 프레임 이미지를 입력받는다(S101). 다음으로, 제1 판정부(121)는 롱 프레임 이미지에서 위치 (x,y)의 픽셀값 LP(x,y) 값이 제2 임계값(TH1)보다 큰지를 판정한다(S103). LP(x,y)가 TH1보다 클 경우, 제1 화소 변환부(123)는 LP(x,y)의 값을 TH1으로 변환한다(S105). LP(x,y)가 TH1보다 작을 경우, 제1 화소 변환부(123)는 원래의 LP값을 유지한다. 제1 화소 변환부(123)는 변환된 롱 프레임 이미지를 출력한다(S109).First, the first determination unit 121 of the DC component conversion unit 105 receives a long frame image (S101). Next, the first determination unit 121 determines whether the pixel value LP (x, y) at the position (x, y) in the long frame image is larger than the second threshold value TH1 (S103). If LP (x, y) is greater than TH1, the first pixel converter 123 converts the value of LP (x, y) to TH1 (S105). When LP (x, y) is smaller than TH1, the first pixel converter 123 maintains the original LP value. The first pixel converter 123 outputs the converted long frame image (S109).

도 4는 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 쇼트 프레임 이미지를 처리하는 과정을 나타낸 순서도이다.4 is a flowchart illustrating a process of processing a short frame image by the DC component converter 105 according to an exemplary embodiment of the present invention.

먼저, DC 성분 변환부(105)의 제2 판정부(127)는 쇼트 프레임 이미지를 입력받는다(S201). 다음으로, 제2 판정부(127)는 쇼트 프레임 이미지에서 위치 (x,y)의 픽셀값 SP(x,y) 값이 제2 임계값(TH0')보다 큰지를 판정한다(S203). LP(x,y)가 TH0'보다 클 경우, 제1 화소 변환부(123)는 LP(x,y)의 값을 TH0'으로 변환한다(S205). LP(x,y)가 TH1보다 작을 경우, 제1 화소 변환부(123)는 원래의 LP값을 유지한다. 제1 화소 변환부(123)는 변환된 롱 프레임 이미지를 출력한다(S109).First, the second determination unit 127 of the DC component conversion unit 105 receives a short frame image (S201). Next, the second determination unit 127 determines whether the pixel value SP (x, y) at the position (x, y) in the short frame image is larger than the second threshold value TH0 '(S203). If LP (x, y) is larger than TH0 ', the first pixel converter 123 converts the value of LP (x, y) to TH0' (S205). When LP (x, y) is smaller than TH1, the first pixel converter 123 maintains the original LP value. The first pixel converter 123 outputs the converted long frame image (S109).

상술한 바와 같이, 이미지의 DC 변환 영역(이미지의 DC 성분 변환 대상이 되는 영역)의 픽셀값을 WDR 처리에 사용하는 역치(THO', TH1) 또는 역치(TH0', TH1) 근처의 값으로 대체할 경우 DC 변환 영역과 DC 변환 영역 이외의 영역의 경계 부근에서 픽셀값이 완만하게 변화되고, 고주파 AC 성분이 발생할 수 없다. 특히 이미지의 DC 변환 영역의 픽셀값을 임계값(THO', TH1)으로 대체함으로써, AC 성분의 발생을 보다 효과적으로 억제할 수 있다.As described above, the pixel value of the DC conversion region of the image (the region targeted for DC component conversion of the image) is replaced with a value near the thresholds THO ', TH1 or TH0', TH1 used for WDR processing. In this case, the pixel value is changed gently around the boundary between the DC conversion area and the area other than the DC conversion area, and high frequency AC components cannot be generated. In particular, by replacing the pixel values of the DC conversion region of the image with thresholds THO 'and TH1, generation of AC components can be suppressed more effectively.

도 5 및 도 6은 본 발명의 일 실시예에 따라 WDR 처리를 하는 경우 DC 성분 변환 결과 전/후를 나타낸 그래프이다.5 and 6 are graphs showing before and after DC component conversion results when performing WDR processing according to an embodiment of the present invention.

도 5는 원본 이미지의 DC 변환 영역의 공간 주파수 분포를 나타낸 그래프이고, 도 6은 DC 성분 변환부(105)가 픽셀을 변환한 후 공간 주파수 분포를 나타낸 도면이다. DC 변환 영역은 DC 성분 변환부(105)의 변환 대상이 되는 영역이고, 달리 말하면 WDR 처리시 불필요한 영역이다. 상술한 바와 같이 WDR 처리는 복수개의 화상 신호를 생성한 후 하나의 화상 신호로 합성하는데, 이때 WDR 처리 시 사용하지 않는 영역은 공간 주파수가 0이 아닌 AC 성분이 포함될 수 있다.5 is a graph illustrating a spatial frequency distribution of a DC conversion region of an original image, and FIG. 6 is a diagram illustrating a spatial frequency distribution after the DC component converter 105 converts a pixel. The DC conversion area is an area to be converted by the DC component converter 105, in other words, it is an unnecessary area in the WDR process. As described above, the WDR process generates a plurality of image signals and then combines them into one image signal. In this case, an area not used during the WDR process may include an AC component whose spatial frequency is not zero.

통상의 압축 방법은 근처 픽셀과의 차이를 이용하여 원 화상을 표현하는 압축 방법을 택한다. 따라서 이미지 압축 시 근방 픽셀간의 차이가 작을수록, 즉 AC 성분이 0에 가까울수록 압축 효율이 향상된다. 따라서, WDR 처리에 사용하지 않는 DC 변환 영역의 AC 성분은 도 6과 같이 0으로 하여 압축 효율을 향상시킬 수 있다.The conventional compression method selects a compression method that expresses an original image by using a difference from neighboring pixels. Therefore, the smaller the difference between neighboring pixels during image compression, that is, the closer the AC component is to zero, the better the compression efficiency. Therefore, the AC component of the DC conversion region not used for the WDR process can be set to 0 as shown in FIG. 6 to improve the compression efficiency.

도 7은 본 발명의 일 실시예에 따라 DC 성분 변환부(105)가 DC변환하는 영역을 포함하는 이미지의 일 예를 나타낸 도면이다.7 is a diagram illustrating an example of an image including a region in which the DC component converter 105 performs DC conversion, according to an exemplary embodiment.

도 7을 참조하면, 이미지는 DC 변환 영역(AR1, AR2) 및 변환 불필요 영역(AR3)를 포함한다. 롱 프레임 이미지의 픽셀 중 휘도가 제2 임계값(TH1)보다 큰 픽셀은 DC 변환 영역(AR1, AR2)이 될 수 있으며, DC 변환 영역(AR1, AR2)의 픽셀은 TH1으로 변환된다. 쇼트 프레임 이미지의 픽셀 중 휘도가 제1 임계값(TH0')보다 작은 픽셀은 DC 변환 영역(AR1, AR2)이 될 수 있으며, DC 변환 영역(AR1, AR2)의 픽셀은 TH0'로 변환된다. 또한 변환 불필요 영역(AR3)는 이미지에서 DC 변환 영역 이외의 영역이며, WDR 처리 시 원본 이미지의 값이 그대로 유지된다.Referring to FIG. 7, the image includes DC conversion regions AR1 and AR2 and conversion unnecessary region AR3. Pixels having a luminance greater than the second threshold value TH1 among the pixels of the long frame image may be DC conversion regions AR1 and AR2, and pixels of the DC conversion regions AR1 and AR2 are converted to TH1. Among the pixels of the short frame image, a pixel whose luminance is smaller than the first threshold value TH0 ′ may be the DC conversion regions AR1 and AR2, and the pixels of the DC conversion regions AR1 and AR2 are converted to TH0 ′. In addition, the conversion unnecessary area AR3 is an area other than the DC conversion area in the image, and the value of the original image is maintained as it is during WDR processing.

도 8은 본 발명의 다른 일 실시예에 따른 영상 처리 시스템의 구성을 나타낸 도면이다.8 is a diagram illustrating a configuration of an image processing system according to another exemplary embodiment of the present invention.

도 8의 영상 처리 시스템(20)은, 도 1에 따른 실시예에서 DC 성분 변환부(105)와 병렬로 DC 성분 예측부(106)가 추가적으로 구비된 것을 알 수 있다. 도 1의 실시예와 역할이 동일한 다른 구성에 대해서는 설명을 생략하기로 한다.In the image processing system 20 of FIG. 8, the DC component predictor 106 may be additionally provided in parallel with the DC component converter 105 in the embodiment of FIG. 1. Description of other components having the same role as the embodiment of FIG. 1 will be omitted.

본 발명의 다른 일 실시예에 따르면, DC 성분 예측부(106)는 롱 프레임 이미지에서 쇼트 프레임 이미지의 DC 변환 영역에 해당하는 DC 성분을 예측한다. 보다 상세히, DC 성분 예측부(106)는 롱 프레임 이미지를 입력 할 때, 롱 프레임 이미지의 픽셀 정보에 따라 쇼트 프레임 이미지의 DC 변환 영역에 포함되는 픽셀 수를 예측하고 예측 결과를 이미지 압축부(107)에 전달하는 역할을 수행한다.According to another embodiment of the present invention, the DC component predictor 106 predicts a DC component corresponding to the DC conversion region of the short frame image in the long frame image. In more detail, when the long component image is input, the DC component predictor 106 predicts the number of pixels included in the DC conversion region of the short frame image according to the pixel information of the long frame image and outputs the prediction result to the image compressor 107. It serves as a).

또한, 이미지 압축부(107)는 도 1의 실시예의 압축 방법으로 이미지를 압축하는 제1 인코딩 방법 외에도 실행 길이 부호화(Run Length Encording) 압축 방법인 제2 인코딩 방법을 사용할 수 있다. 또한, 이미지 신장부(113)는 도 1의 실시예의 신장 방법으로 이미지를 신장하는 제1 신장 방법 외에도 실행 길이 부호화 신장 방법인 제2 신장 방법을 사용할 수 있다.In addition, the image compression unit 107 may use a second encoding method, which is a run length encoding compression method, in addition to the first encoding method of compressing an image by the compression method of the embodiment of FIG. 1. In addition to the first decompression method of decompressing the image using the decompression method of the embodiment of FIG. 1, the image decompression unit 113 may use a second decompression method which is an execution length encoding decompression method.

여기서 실행 길이 부호화는 이미지의 동일한 값의 데이터가 정렬된 경우에, 그 데이터의 값과 정렬된 줄 수를 기록하는 것으로, 데이터의 양을 줄여서 압축하기 위한 방법이다. 일반적으로 이미지의 DC 성분이 AC 성분에 비해 많이 함유되어있는 경우에, 실행 길이 부호화 인코딩이 다른 압축 방식에 비해 압축 효율이 높다.Here, the execution length encoding is a method for compressing by reducing the amount of data by recording the value of the data and the number of lines aligned when the data of the same value of the image is aligned. In general, when the DC component of the image contains more than the AC component, the execution length encoding encoding has a higher compression efficiency than other compression schemes.

그러나 일반적인 자연 이미지에서는 DC 성분이 AC 성분에 비해 많이 함유되어있는 상황(즉, 이미지 중에 같은 값의 픽셀이 많이 존재하는 상황)이 거의 없고, 실행 길이 인코딩 방식을 자연 이미지에 적용하면 원본 이미지보다 크기가 커지는 경우도 있으므로, 원본 이미지에 대해 실행 길이 인코딩 방식을 적용하지 않는 경우가 대부분이었다.However, in general natural images, there are few situations in which the DC component contains more than the AC component (that is, there are many pixels of the same value in the image), and when the execution length encoding method is applied to the natural image, In many cases, the run length encoding was not applied to the original image.

이에 본 발명의 다른 실시예에 따른 이미징 장치는 WDR 처리에 사용하지 이미지 영역에 대해서는 DC 성분 변환이 이루어지기 때문에 DC 성분 변환 영역이 넓으면 실행 길이 인코딩 방식을 효과적으로 적용할 수 잇다.Accordingly, the imaging apparatus according to another embodiment of the present invention can effectively apply the execution length encoding scheme when the DC component conversion region is wide because the DC component transformation is performed on the image region not used for WDR processing.

따라서, 이미지 압축부(107)는 쇼트 프레임 이미지의 DC 변환 영역에 포함된 화소수의 예측 결과를 바탕으로 제1 인코딩 방식 혹은 제2 인코딩 방식을 선택한다. 보다 구체적으로, 쇼트 프레임 이미지의 DC 변환 영역에 포함된 화소수의 예측 값 SP_DC_NUM가 압축 방식을 선택하는 기준값 ENC_SEL_TH보다 작으면 제1 인코딩 방식을 선택한다. 반면 쇼트 프레임 이미지의 DC 변환 영역에 포함 된 화소 수의 예측 값 SP_DC_NUM가 압축 방식을 선택하는 기준값 ENC_SEL_TH 더 큰 경우, 이미지 압축부(107)는 효율적인 실행 길이 인코딩 방식을 적용한 제2 인코딩 방식을 선택한다. 또한 쇼트 프레임 이미지의 DC 변환 영역은 상술한대로, 롱 프레임 이미지의 해당 위치의 픽셀의 픽셀값 LP (x, y)이 역치 TH0 더 작은 영역이다.Therefore, the image compressor 107 selects the first encoding method or the second encoding method based on the prediction result of the number of pixels included in the DC conversion region of the short frame image. More specifically, when the predicted value SP_DC_NUM of the number of pixels included in the DC conversion region of the short frame image is smaller than the reference value ENC_SEL_TH that selects the compression method, the first encoding method is selected. On the other hand, if the prediction value SP_DC_NUM of the number of pixels included in the DC conversion region of the short frame image is larger than the reference value ENC_SEL_TH for selecting a compression method, the image compressor 107 selects a second encoding method to which an efficient execution length encoding method is applied. . In addition, as described above, the DC conversion region of the short frame image is a region where the pixel value LP (x, y) of the pixel at the corresponding position of the long frame image is smaller than the threshold TH0.

이와 같이, 본 발명의 다른 일 실시예에 따르면 통상의 제1 인코딩 방식과 실행 길이 인코딩으로 입력된 이미지를 압축하는 제2 인코딩 방식을 선택적으로 사용할 수 있다.As described above, according to another exemplary embodiment of the present invention, a second encoding scheme for compressing an image input by a conventional first encoding scheme and execution length encoding may be selectively used.

도 9는 본 발명의 다른 일 실시예에 따른 영상 압축 방법을 순서도로 나타낸 도면이다.9 is a flowchart illustrating an image compression method according to another embodiment of the present invention.

도 8의 작업을 시작하기 전, 쇼트 프레임 이미지의 DC 변환 영역에 포함된 픽셀수의 예측값 SP_DC_NUM은 0으로 설정한다. 도 8을 참조하면, 먼저 롱 프레임 이미지가 입력되면(S301), 위치 (x,y)의 픽셀값 LP(x,y)과 제1 임계값(TH0)과의 관계를 판정한다(S303). LP(x,y)가 TH0보다 작은 경우에는 예측값 SP_DC_NUM을 1만큼 증가시키고(S305), LP(x,y)가 TH0 이상인 경우에는 쇼트 프레임의 픽셀이 DC 변환 영역에 포함되지 않는 것으로 예측하고 예측값 SP_DC_NUM은 그대로 유지한다(S307). DC 성분 변환부(105)는 단계 S303에서 S307까지를 롱 프레임 이미지의 모든 픽셀에 대해 실시한다.Before starting the operation of FIG. 8, the predicted value SP_DC_NUM of the number of pixels included in the DC conversion region of the short frame image is set to zero. Referring to FIG. 8, when a long frame image is input (S301), a relationship between the pixel value LP (x, y) at the position (x, y) and the first threshold value TH0 is determined (S303). If LP (x, y) is less than TH0, the predicted value SP_DC_NUM is increased by 1 (S305). If LP (x, y) is TH0 or more, it is predicted that the pixels of the short frame are not included in the DC conversion region. SP_DC_NUM is kept as it is (S307). The DC component converter 105 performs steps S303 to S307 for all pixels of the long frame image.

다음으로, 영상 압축부는 롱 프레임 이미지를 압축하고 압축 이미지를 이미지 저장부(111)에 전송하며(S309), 이미지 압축부(107)는 쇼트 프레임 이미지의 DC 영역에 포함된 픽셀 수의 예측값 SP_DC_NUM과 압축 선택 방식의 역치 ENC_SEL_TH와의 대소 관계를 판정한다(S311). 판정에 따라 ENC_SEL_TH가 SP_NUM_TH보다 작은 것으로 판명되면 쇼트 프레임 이미지를 제2 인코딩 방식으로 압축하도록 설정하고(S313), 큰 것으로 판명되면 쇼트 프레임 이미지를 제1 인코딩방식으로 압축하도록 설정한다(S315). 다음으로 쇼트 프레임 이미지를 입력받으면 DC 성분 변환부(105)는 픽셀값 SP(x,y)가 제1 임계값(THO')보다 작은 영역에서 DC 변환을 하고, S313 혹은 S315에서 선택된 방식에 따라 이미지를 압축하고 이미지를 저장부(111)에 전송하는 프로세스를 종료한다(S317).Next, the image compression unit compresses the long frame image and transmits the compressed image to the image storage unit 111 (S309), and the image compression unit 107 and the predicted value SP_DC_NUM of the number of pixels included in the DC region of the short frame image The magnitude relationship with the threshold ENC_SEL_TH of the compression selection method is determined (S311). If it is determined that ENC_SEL_TH is smaller than SP_NUM_TH, the short frame image is set to be compressed by the second encoding method (S313). If it is determined to be large, the short frame image is set to be compressed by the first encoding method (S315). Next, upon receiving the short frame image, the DC component converter 105 performs DC conversion in an area in which the pixel value SP (x, y) is smaller than the first threshold value THO ', and according to the method selected in S313 or S315. The process of compressing the image and transmitting the image to the storage 111 is terminated (S317).

도 10은 본 발명의 다른 일 실시예에 따른 이미지의 휘도 히스토그램의 예를 나타낸 도면이다.10 is a diagram illustrating an example of a luminance histogram of an image according to another exemplary embodiment of the present invention.

도 10의 예와 같이 이미지의 명암 차이가 심해 고휘도 영역이 작은 이미지에 대해 동일한 값의 데이터가 함께있는 이미지에 대한 압축 효율이 높은 방식으로 압축함으로써 특히 압축 효율이 향상될 수 있다.As shown in the example of FIG. 10, the compression efficiency may be particularly improved by compressing the image in such a manner that the compression efficiency is high for an image having the same data for a small image having a small high luminance region.

이상과 같이, 본 발명의 다른 실시예에 따르면, 이미지 처리 장치(10, 20)는 미리 WDR 처리에 사용한다고 알려진 롱 프레임이미지의 고휘도 영역 및 쇼트 프레임 이미지의 저휘도 영역에서 AC 성분을 DC 성분으로 이미지 공간 주파수 분포를 변환하므로, 이미지 압축 압축 효율이 향상될 수 있다. As described above, according to another exemplary embodiment of the present invention, the image processing apparatuses 10 and 20 use the AC component as the DC component in the high luminance region of the long frame image and the low luminance region of the short frame image, which are known to be used in advance for WDR processing. By converting the image spatial frequency distribution, image compression compression efficiency can be improved.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .

10,20: 영상 처리 시스템
105: DC 성분 변환부
107: 이미지 압축부
109: 버스
111: 저장부
115: 합성부
113: 이미지 신장부10,20: image processing system
105: DC component conversion unit
107: image compression unit
109: bus
111: storage unit
115: synthesis section
113: image extension

Claims (7)

제1 노출 시간으로 촬영된 제1 이미지와, 상기 제 1 노출 시간보다 짧은 제2 노출 시간으로 촬영된 제2 이미지를 이용하여 최종 영상을 출력하는 와이드 다이나믹 레인지(Wide Dinamic Range) 처리를 포함하는 영상 처리 시스템에 있어서,
상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 DC 성분으로 변환하고, 상기 제2 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 저휘도의 픽셀값을 DC 성분으로 변환하는 DC 변환부;
및 상기 DC 변환부가 변환한 상기 제1 이미지 및 상기 제2 이미지를 합성하는 합성부;
를 포함하는 영상 처리 시스템.An image including a wide dynamic range process of outputting a final image by using a first image photographed at a first exposure time and a second image photographed at a second exposure time shorter than the first exposure time. In the processing system,
Converting a high luminance pixel value not used in the wide dynamic range processing of the first image into a DC component, and converting a low luminance pixel value used in the wide dynamic range processing of the second image into a DC component DC converter;
And a synthesizer configured to synthesize the first image and the second image converted by the DC converter.
Image processing system comprising a. 제1항에 있어서,
상기 DC 성분 변환부는,
상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 제1 변환값으로 변환하고, 상기 제2 이미지 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용하지 않는 저휘도의 픽셀값을 제2 변환값으로 변환하는 것을 특징으로 하는 영상 처리 시스템.The method of claim 1,
The DC component conversion unit,
Converts a pixel value of a high luminance not used in the wide dynamic range processing among the first images into a first conversion value, and converts a pixel value of a low luminance not used in the wide dynamic range processing among the second image images to a second converted value; And converting the converted value into an image. 제2항에 있어서,
상기 합성부는
상기 제1 이미지 중 고휘도의 픽셀값을 결정하는 제1 임계값과 제2 이미지 중 저휘도의 픽셀값을 결정하는 제2 임계값을 설정하고,
상기 DC 성분 변환부는 제1 임계값보다 큰 상기 제1 이미지의 고휘도 픽셀값을 상기 제1 변환값으로 변환하고, 제2 임계값에 기초하여 상기 제2 이미지의 픽셀값을 저휘도로 판정하는 제3 임계값을 산출하여, 상기 제2 이미지의 저휘도 픽셀값을 제2 변환값으로 변환하는 것을 특징으로 하는 영상 처리 시스템.The method of claim 2,
The synthesis unit
Setting a first threshold value for determining a high luminance pixel value in the first image and a second threshold value for determining a low luminance pixel value in the second image,
The DC component converter is configured to convert a high luminance pixel value of the first image larger than a first threshold value to the first converted value, and determine a pixel value of the second image with low luminance based on a second threshold value. And calculating a threshold value to convert the low luminance pixel value of the second image into a second converted value. 제3항에 있어서,
상기 제1 변환값은 상기 제2 임계값이고, 상기 제2 변환값은 상기 제3 임계값인 것을 특징으로 하는 영상 처리 시스템.The method of claim 3,
And the first transform value is the second threshold value, and the second transform value is the third threshold value. 제3항에 있어서,
상기 영상 처리 시스템은,
상기 제1 이미지 및 상기 제2 이미지를 압축하는 이미지 압축부; 및
상기 제2 이미지 내에서 상기 DC 성분 변환부에서 DC 변환되는 영역에 대응하는 상기 제1 이미지의 픽셀 수를 예측하는 DC 성분 예측부;를 추가적으로 구비하고,
상기 DC 성분 예측부에 의해 상기 예측된 DC 변환되는 픽셀 수에 따라 상기 제1 이미지 또는 상기 제2 이미지의 압축 방법을 선택하는 것을 특징으로 하는 영상 처리 시스템.The method of claim 3,
The image processing system,
An image compressor to compress the first image and the second image; And
And a DC component predictor configured to predict the number of pixels of the first image corresponding to a region DC-converted by the DC component converter in the second image.
And a method of compressing the first image or the second image according to the predicted DC transformed pixel number by the DC component predictor. 제5항에 있어서,
상기 압축 방법은 실행 길이 인코딩 방식을 포함하는 것을 특징으로 하는 영상 처리 시스템.The method of claim 5,
And the compression method comprises an execution length encoding scheme. 제1 노출 시간으로 촬영된 제1 이미지와, 상기 제 1 노출 시간보다 짧은 제2 노출 시간으로 촬영된 제2 이미지를 이용하여 최종 영상을 출력하는 와이드 다이나믹 레인지(Wide Dinamic Range) 처리를 포함하는 영상 처리 방법에 있어서,
상기 제1 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 고휘도의 픽셀값을 DC 성분으로 변환하는 단계;
상기 제2 이미지 중 상기 와이드 다이나믹 레인지 처리 시 사용되지 않는 저휘도의 픽셀값을 DC 성분으로 변환하는 단계;
를 포함하는 영상 처리 방법.
An image including a wide dynamic range process of outputting a final image by using a first image photographed at a first exposure time and a second image photographed at a second exposure time shorter than the first exposure time. In the processing method,
Converting a pixel value of high luminance which is not used in the wide dynamic range processing of the first image into a DC component;
Converting a low luminance pixel value of the second image not used in the wide dynamic range processing into a DC component;
And an image processing method.
KR1020120137329A 2011-12-15 2012-11-29 Image processing system KR101675802B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011274995A JP5847569B2 (en) 2011-12-15 2011-12-15 Image compression method and imaging apparatus
JPJP-P-2011-274995 2011-12-15

Publications (2)

Publication Number Publication Date
KR20130069400A true KR20130069400A (en) 2013-06-26
KR101675802B1 KR101675802B1 (en) 2016-11-14

Family

ID=48777173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120137329A KR101675802B1 (en) 2011-12-15 2012-11-29 Image processing system

Country Status (2)

Country Link
JP (1) JP5847569B2 (en)
KR (1) KR101675802B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210016481A (en) * 2015-08-13 2021-02-15 코어포토닉스 리미티드 Dual aperture zoom camera with video support and switching/non-switching dynamic control

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
JP6824084B2 (en) 2017-03-22 2021-02-03 キヤノン株式会社 Imaging device and its control method, program, storage medium
JP7243172B2 (en) * 2018-12-18 2023-03-22 富士フイルムビジネスイノベーション株式会社 Image processing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215073A (en) * 2006-02-13 2007-08-23 Seiko Epson Corp Image compression apparatus, image compression program and image compression method, hdr image generator, hdr image generator and hdr image formation method, as well as image processing system, image processing program, and image processing method
JP2011176691A (en) * 2010-02-25 2011-09-08 Mitsubishi Electric Corp Image processing apparatus and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215073A (en) * 2006-02-13 2007-08-23 Seiko Epson Corp Image compression apparatus, image compression program and image compression method, hdr image generator, hdr image generator and hdr image formation method, as well as image processing system, image processing program, and image processing method
JP2011176691A (en) * 2010-02-25 2011-09-08 Mitsubishi Electric Corp Image processing apparatus and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210016481A (en) * 2015-08-13 2021-02-15 코어포토닉스 리미티드 Dual aperture zoom camera with video support and switching/non-switching dynamic control

Also Published As

Publication number Publication date
JP5847569B2 (en) 2016-01-27
KR101675802B1 (en) 2016-11-14
JP2013126181A (en) 2013-06-24

Similar Documents

Publication Publication Date Title
CN110139035B (en) Method and electronic device for thermal and power management
KR101633893B1 (en) Apparatus and Method for Image Fusion
JP5295045B2 (en) Method and apparatus for providing high resolution images in embedded devices
JP5358482B2 (en) Display drive circuit
CN112887724A (en) Method and system for video coding with intra-block copy
KR20160102524A (en) Method for inverse tone mapping of an image
JP6940150B2 (en) A device for generating high dynamic range images
JP2012247873A (en) Image processing apparatus and method
KR20050022748A (en) Device and method for reforming quality of picture having illumination difference
KR20150099302A (en) Electronic device and control method of the same
KR20160138685A (en) Apparatus For Generating Low Complexity High Dynamic Range Image, and Method Thereof
JP2009284485A (en) Method and apparatus of compressing dynamic range of original image, and digital camera
US9767542B2 (en) Method and device for selecting an image dynamic range conversion operator
KR20160102438A (en) Method and device for tone-mapping a high dynamic range image
JP2011119868A (en) Image processing apparatus, and image processing method
JP2006197557A (en) Image encoding apparatus, image encoding method and program thereof
JP2012151732A (en) Image processing device, image processing method, image processing program, and photography device
KR101675802B1 (en) Image processing system
Kinoshita et al. An remapping operation without tone mapping parameters for hdr images
JP2018160777A (en) Imaging device and control method thereof, program, and storage medium
US20140092116A1 (en) Wide dynamic range display
US8693799B2 (en) Image processing apparatus for emphasizing details of an image and related apparatus and methods
Lee et al. Gradient domain tone mapping of high dynamic range videos
JP2017224939A (en) Imaging apparatus
Lapray et al. Hardware-based smart camera for recovering high dynamic range video from multiple exposures

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 4