KR20160001582A - Apparatus and method for processing image - Google Patents

Apparatus and method for processing image Download PDF

Info

Publication number
KR20160001582A
KR20160001582A KR1020140158905A KR20140158905A KR20160001582A KR 20160001582 A KR20160001582 A KR 20160001582A KR 1020140158905 A KR1020140158905 A KR 1020140158905A KR 20140158905 A KR20140158905 A KR 20140158905A KR 20160001582 A KR20160001582 A KR 20160001582A
Authority
KR
South Korea
Prior art keywords
exposure image
image
noise reduction
short
pixel
Prior art date
Application number
KR1020140158905A
Other languages
Korean (ko)
Other versions
KR102199472B1 (en
Inventor
타케루 스즈키
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of KR20160001582A publication Critical patent/KR20160001582A/en
Application granted granted Critical
Publication of KR102199472B1 publication Critical patent/KR102199472B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

Technology for synthesizing a short exposure image and a long exposure image is to perform a noise reduction process more effectively. An image processing device (1A) for synthesizing a short exposure image and a long exposure image, comprises a selection part (52A) which selects a noise reduction process for the short exposure image in each pixel according to the pixel value of the short exposure image; a process part (51) which performs a noise reduction process on the each pixel; and a WDR synthesizing part (70) which synthesizes the short exposure image and the long exposure image on which the noise reduction process is performed.

Description

화상 처리 장치 및 화상 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}[0001] APPARATUS AND METHOD FOR PROCESSING IMAGE [0002]

본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.

최근 단시간 노광의 화상(이하, 「단노광 화상」이라 함)과 장시간 노광의 화상(이하, 「장노광 화상」이라 함)을 연속적으로 촬영하여 함성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 넘은 다이나믹 레인지를 포착한 화상을 획득하는 WDR(wide dynamic range, 와이드 다이나믹 레인지) 혹은 HDR(high dynamic range, 하이 다이나믹 레인지)라고 하는 촬영 기능이 증가하고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 매우 큰 씬(scene)에서는 특히 큰 효과가 있다. (Hereinafter referred to as " long exposure image ") and an image of a long time exposure (hereinafter, referred to as " long exposure image " A wide dynamic range (WDR) or a high dynamic range (HDR), which acquires an image captured by a camera, is increasing. Such a photographing function is particularly effective in scenes with a very high contrast ratio, such as composition of backlight.

WDR 신호를 획득하는 방법으로는 노광 시간을 바꾸면서 복수장의 화상을 연속적으로 촬영하여 합성하는 방법이 채용되고 있는 것이 일반적이다. 이 때, 획득되는 다이나믹 레인지는 16 비트에서 20 비트, 혹은 그 이상에 달하는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8 비트에서 12 비트 정도로 레인지가 압축되어 출력된다.As a method of acquiring the WDR signal, a method of continuously photographing and synthesizing a plurality of images while changing the exposure time is generally employed. At this time, the obtained dynamic range may be 16 bits to 20 bits or more. The WDR signal is compressed in the range of 8 bits to 12 bits according to the display or the display capability of the printer.

이러한 WDR 신호에서는 단노광 화상을 사용하는 영역의 노이즈가 자주 문제가 된다. 단노광 화상이라 하더라도, 적정 노광되고 있는 영역이라면, SN비(signal to noise ratio)는 높고, 노이즈는 별로 눈에 띄지 않지만, 단노광 화상 중에서 거의 새까맣게 비추고 있는 영역을 증폭하여 사용하는 경우는 노이즈 레벨과 큰 차이가 없는 신호를 증폭하게 되어 노이즈가 매우 두드러진다. 특히, 명암이 급격하게 변화하는 오브젝트 경계는 단노광 화상 사용 영역과 장노광 화상 사용 영역이 전환되는 천이 영역이 되고, 2개의 화상이 혼합되어 사용된다. 2개의 화상이 혼합되어 사용되는 영역에서는 SN비가 낮은 단노광 화상의 화소값이 사용되므로, 합성 화상에 노이즈가 혼입된다.In such a WDR signal, noise in an area using a short exposure image frequently becomes a problem. Even in the case of a single exposure image, if the area is properly exposed, an SN ratio (signal to noise ratio) is high and noises are not noticeable. However, in the case of amplifying an almost bright region in an exposed image, So that the noise is very noticeable. In particular, the object boundary in which the light and shade changes abruptly becomes a transition area in which the short exposure image use area and the long exposure image use area are switched, and two images are mixed and used. In the region where the two images are mixed and used, the pixel value of the short-exposure image having a low SN ratio is used, so that noise is mixed in the composite image.

WDR 신호의 단노광 화상 사용 영역의 노이즈를 저감하는 방법으로서 이하의 특허 문헌 1-4에 개시되어 있는 기술이 있다.As a method for reducing the noise in the short exposure image use area of the WDR signal, there is a technique disclosed in the following patent documents 1-4.

특허 문헌 1에 기재된 기술은 단노광 화상의 문턱값 이하의 화소값을 클립 처리한 후, 합성을 수행하는 기술이다. 이에 따라 노이즈가 두드러지는 암부를 마스킹하게 되므로 노이즈를 큰 폭으로 억압할 수 있다.The technique described in Patent Document 1 is a technique for performing clip processing on pixel values below a threshold value of a single exposure image and then performing synthesis. As a result, the dark portions where the noise is noticeable are masked, so that the noise can be greatly suppressed.

특허 문헌 2에 기재된 기술은 합성 화상에 사용하는 단노광 화상의 비율이 높을수록, 또는 합성 화상의 휘도값이 클수록 단노광 화상에 대한 노이즈 저감 처리의 강도를 높이는 기술이다. 이에 따라 단노광 화상의 노이즈를 저감할 수 있다.The technique described in Patent Document 2 is a technique for enhancing the intensity of the noise reduction processing for a single exposure image as the ratio of the short exposure image used in the composite image is high or the luminance value of the composite image is great. Thus, it is possible to reduce the noise of the single exposure image.

특허 문헌 3에 기재된 기술은 단노광 화상을 복수매 촬영하여 합성함으로써, 노이즈를 저감한 합성용 단노광 화상을 작성한 후, 이 합성용 단노광 화상과 장노광 화상을 이용하여 합성 화상을 생성하는 기술이다.The technique described in Patent Document 3 is a technique of generating a synthesized single exposure image by using a combined short exposure image and a long exposure image after creating a single exposure image for synthesis in which a plurality of short exposure images are captured and synthesized to reduce noise, to be.

특허 문헌 4에 기재된 기술은 노광 시간이 다른 복수장의 화상을 미리 촬영하고, 각 화상의 노이즈량을 분석함으로써, 노이즈 상황을 파악하여 합성 화상의 노이즈량이 원하는 노이즈량 이하의 범위가 되도록 노광 설정을 수행한다.In the technique described in Patent Document 4, a plurality of images having different exposure times are photographed in advance, and the noise amount of each image is analyzed to determine the noise situation, and the exposure setting is performed so that the noise amount of the synthesized image is in the range of the desired noise amount or less do.

일본 공개특허공보 제2009-152669호Japanese Laid-Open Patent Publication No. 2009-152669 일본 공개특허공보 제2000-069355호Japanese Patent Application Laid-Open No. 2000-069355 일본 공개특허공보 제2012-239077호Japanese Laid-Open Patent Publication No. 2012-239077 일본 공개특허공보 제2010-200177호Japanese Laid-Open Patent Publication No. 2010-200177

그러나, 특허 문헌 1에 기재된 기술을 이용한 경우에는 문턱값 이하의 화소 레벨에 포함되는 텍스쳐 정보도 모두 사라져 버리므로, 단노광 화상과 장노광 화상의 경계 영역에서 텍스쳐가 약해져 부자연스럽게 보이는 현상이 발생한다. 또한, 클립 레벨이 직류가 되므로, 만약 경계 영역의 장노광 화상의 화소값이 0 근방인 경우에는 단노광 화상 사용 영역의 주변이 희미하게 밝게 보이는 휘도차가 발생하는 점도 문제가 된다. 노광비가 십수배-수십배 정도로 큰 경우, 지적한 화질 상의 문제는 작아질지도 모르나, 너무 큰 노광비는 단노광 화상 사용 영역과 장노광 화상 사용 영역이 매끄럽게 변화해야 할 영역의 매끄러움을 저하시키기 때문에, 이 기술을 모든 씬에 대해 적용할 수는 없다. However, when the technique described in Patent Document 1 is used, all of the texture information included in the pixel level below the threshold value is also lost, so that the texture is weakened in the boundary region between the short exposure image and the long exposure image, . In addition, since the clip level becomes a direct current, if the pixel value of the long-exposure image in the boundary area is close to 0, there is also a problem in that a luminance difference in which the periphery of the short-exposure image use area appears dim bright occurs. When the exposure ratio is as high as several tens to several tens of times, the problem of image quality indicated may be small, but a too large exposure ratio lowers the smoothness of the area where the short exposure image use area and the long exposure image use area need to be smoothly changed. Technology can not be applied to all scenes.

또한, 특허 문헌 2에 기재된 기술에서는 노이즈 저감 처리의 대상이 단노광 화상 전체로서, 노이즈 저감의 효과뿐만 아니라 해상도 저하라는 폐해도 단노광 화상 사용 영역 전체에 퍼지기 때문에, 결과적으로 노이즈 저감 효과를 강력하게 할 수 없는 점이 과제이다. 또한 단노광 화상이라도 신호 레벨이 높으면 노이즈는 그다지 두드러지지 않고, 낮은 신호 레벨을 증폭하여 사용하는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역에서 노이즈가 두드러지는 경향이 있다. 그 경계 영역에서는 단노광 화상의 사용 비율은 낮아지고, 합성 화상의 휘도값도 작아지고 있으므로, 본 기술을 사용하더라도 경계 영역의 노이즈 저감에는 거의 효과가 없는 것으로 추측된다.In addition, in the technique described in Patent Document 2, since the object of the noise reduction processing spreads throughout the whole short-exposure image use area as well as the noise reduction effect as well as the resolution degradation as the whole short exposure image, The problem is that it can not be done. Also, even in the case of a short-exposure image, noise is not remarkable when the signal level is high, and noise tends to be conspicuous in the boundary region between the short exposure image use region and the long exposure image use region in which a low signal level is amplified. It is presumed that the use ratio of the short exposure image is low and the luminance value of the synthesized image is also small in the boundary region, so that even if the present technique is used, there is almost no effect in noise reduction of the boundary region.

또한 특허 문헌 3에 기재된 기술에서는 오브젝트가 움직이고 있는 경우에는, 합성용 단노광 화상을 생성하는 시점에서 합성 아티팩트가 발생하는 점이 문제가 된다. 또한 노이즈 저감 효과를 크게 하려면, 단노광 화상만으로 복수장의 화상을 촬영할 필요가 있으므로, 본 기술을 동영상에 적용하고자 하면 프레임 레이트가 크게 저하되는 점도 문제이다.In the technique described in Patent Document 3, when an object is moving, a problem arises that a synthetic artifact occurs at the time of generating a synthesized single exposure image. In addition, in order to increase the noise reduction effect, it is necessary to photograph a plurality of images with only an exposure image. Therefore, there is also a problem that the frame rate is largely lowered when the technique is applied to a moving image.

또한, 특허 문헌 4에 기재된 기술에서는 노이즈를 저감하는 대신에 다이나믹 레인지가 저하되는 점이 문제이다.In addition, the technique described in Patent Document 4 has a problem that the dynamic range is reduced instead of reducing the noise.

따라서, 본 발명은 단노광 화상 및 장노광 화상을 합성하는 기술에 있어서, 노이즈 저감 처리를 더욱 효과적으로 수행하는 기술을 제공한다.Therefore, the present invention provides a technology for more effectively performing noise reduction processing in a technique of synthesizing short-exposure images and long-exposure images.

본 발명의 일 실시 형태에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에 있어서, 상기 단노광 화상에 대한 노이즈 저감 처리를 상기 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부; 상기 노이즈 저감 처리를 화소마다 수행하는 처리부; 및 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 장노광 화상을 합성하는 합성부;를 구비하는 화상 처리 장치가 제공된다.According to an embodiment of the present invention, there is provided an image processing apparatus for synthesizing a short exposure image and a long exposure image, the image processing apparatus comprising: a selection unit for selecting a noise reduction process for the short exposure image for each pixel in accordance with a pixel value of the short exposure image; ; A processing unit for performing the noise reduction processing for each pixel; And a synthesizer for synthesizing the short exposure image and the long exposure image subjected to the noise reduction processing.

이러한 구성에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 이러한 구성에 의하면, 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 합성 화상을 얻을 수 있다.According to such a configuration, noise in the boundary region between the short exposure image use region and the long exposure image use region, which are regions where noise is conspicuous, in the composite image can be effectively reduced by reducing the dark region noise of the short exposure image. Further, according to such a configuration, it is possible to obtain a natural synthesized image with less deterioration in resolution, which is a disadvantage of noise reduction processing.

더 구체적으로, 상기 선택부는 상기 화소값이 문턱값을 밑도는 경우에는 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제1 노이즈 저감 처리와는 다른 제2 노이즈 저감 처리를 선택해도 된다.More specifically, the selector selects a first noise reduction process when the pixel value is below a threshold value, and when the pixel value exceeds the threshold value, a second noise different from the first noise reduction process Reduction processing may be selected.

또한 상기 제2 노이즈 저감 처리는 상기 제1 노이즈 저감 처리보다 약한 노이즈 저감 처리를 하거나, 또는 노이즈 저감 처리를 하지 않아도 된다.Further, the second noise reduction process may be performed with a weaker noise reduction process than the first noise reduction process, or no noise reduction process may be performed.

상기 화상 처리 장치는 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부를 구비하고, 상기 선택부는 상기 화소가 상기 비움직임 영역에 속하는 경우, 상기 화소값이 문턱값을 밑도는 경우에는 상기 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제2 노이즈 저감 처리를 선택해도 된다.Wherein the image processing apparatus includes a motion detection unit for detecting a motion region and a non-motion region, and the selection unit is configured to perform the first noise reduction process when the pixel belongs to the non- And the second noise reduction process may be selected when the pixel value exceeds the threshold value.

이러한 구성에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는 단노광 화상의 해상도 저하를 작게 억제할 수 있다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있고, 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.According to such a configuration, by performing the weak noise reduction processing on the moving region, it is possible to suppress the decrease in the resolution of the moving region to a small degree. Particularly, in the case where a short-exposure image is used in the movement region to suppress artifacts or blurring that occur when a moving object is synthesized, the lowering of the resolution of the short-exposure image can be suppressed to a small degree. In addition, in the non-moving area, the noise in the boundary area between the short exposure image use area and the long exposure image use area can be effectively reduced, and the reduction in resolution of the non-moving area can be suppressed to a small extent.

더 구체적으로는, 상기 선택부는 상기 화소가 상기 움직임 영역에 속하는 경우에는 제3 노이즈 저감 처리를 선택해도 된다.More specifically, the selection unit may select the third noise reduction process when the pixel belongs to the motion area.

또한 본 발명이 다른 실시 예에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에서의 화상 처리 방법에 있어서, 상기 단노광 화상에 대한 노이즈 저감 처리를 화소값에 따라 당해 화소마다 선택하는 스텝; 상기 노이즈 저감 처리를 화소마다 수행하는 스텝; 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 상기 장노광 화상을 합성하는 스텝;를 구비하는 화상 처리 방법이 제공된다.According to another embodiment of the present invention, there is provided an image processing method in an image processing apparatus for synthesizing a short exposure image and a long exposure image, wherein noise reduction processing for the short exposure image is selected for each pixel in accordance with the pixel value step; Performing the noise reduction processing for each pixel; And combining the short exposure image and the long exposure image subjected to the noise reduction processing.

이러한 방법에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 이러한 구성에 의하면, 노이즈 저감 처리의 폐해인 해상도의 저하가 적어 자연스러운 합성 화상을 얻을 수 있다.According to this method, by reducing the dark noise of the short exposure image, it is possible to effectively reduce the noise in the boundary area between the short exposure image use area and the long exposure image use area, which are areas where noise is conspicuous in the composite image. Further, according to such a configuration, it is possible to obtain a natural synthesized image with little deterioration in resolution, which is a disadvantage of the noise reduction processing.

이상 설명한 바와 같이, 본 발명에 의하면, 단노광 화상 및 장노광 화상을 합성하는 기술에 있어서, 노이즈 저감 처리를 보다 효과적으로 수행할 수 있다.INDUSTRIAL APPLICABILITY As described above, according to the present invention, noise reduction processing can be more effectively performed in a technique of synthesizing a short exposure image and a long exposure image.

도 1은 일반적인 WDR 기술에 따른 각 화상의 예를 나타내는 도면이다.
도 2는 본 발명의 제1 실시 형태에 따른 화상 처리 장치의 기능 구성을 나타내는 도면이다.
도 3은 노이즈 저감부의 상세한 구성예를 나타내는 도면이다.
도 4는 약(弱)필터 및 강(强)필터 각각의 구성예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시 형태에 따른 화상 처리 장치의 선택부의 동작예를 나타내는 흐름도이다.
도 6은 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기 위한 도면이다.
도 7은 본 발명의 제2 실시 형태에 따른 화상 처리 장치의 기능 구성을 나타내는 도면이다.
도 8은 노이즈 저감부의 상세한 구성예를 나타내는 도면이다.
도 9는 본 발명의 제2 실시 형태에 따른 화상 처리 장치의 선택부의 동작예를 나타내는 흐름도이다.1 is a diagram showing an example of each image according to a general WDR technique.
2 is a diagram showing a functional configuration of an image processing apparatus according to the first embodiment of the present invention.
3 is a diagram showing a detailed configuration example of the noise reduction unit.
4 is a diagram showing a configuration example of each of a weak filter and a strong filter.
5 is a flowchart showing an example of the operation of the selection unit of the image processing apparatus according to the first embodiment of the present invention.
Fig. 6 is a diagram for explaining an example of an effect represented by the first embodiment of the present invention. Fig.
7 is a diagram showing a functional configuration of an image processing apparatus according to a second embodiment of the present invention.
8 is a diagram showing a detailed configuration example of the noise reduction unit.
9 is a flowchart showing an example of the operation of the selection unit of the image processing apparatus according to the second embodiment of the present invention.

이하, 첨부 도면을 참조하면서, 본 발명의 가장 바람직한 실시 형태에 대해 상세히 설명하기로 한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the most preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.

또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 복수의 구성 요소를 동일한 부호의 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다. Further, in the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by giving the same reference numerals followed by different alphabets. However, when it is not necessary to distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numeral is given.

(실시 형태의 개요)(Overview of Embodiment)

우선, 본 발명의 실시 형태의 개요를 설명하기로 한다. 도 1은 일반적은 WDR 기술에 따른 각 화상의 예를 나타내는 도면이다. 도 1의 각 화상은 화창한 날에 실내에서 옥외를 촬영한 장면이며, 단노광 화상(Img-a)에서는 창 밖의 구름이 보이지만 실내는 매우 어둡게 비쳐져 있다. 또한, 장노광 화상(Img-b)에서는 실내나 인물은 적정 노광으로 되어 있지만 창은 포화되어 있다. 이러한 두 장의 화상을 사용 화상 선택 정보(Img-c)에 따라 합성하면, 합성 화상(Img-d)을 획득할 수 있다. 또한 사용 화상 선택 정보(Img-c) 중 흰색 영역은 단노광 화상을 사용하는 영역을 나타내고, 흑색 영역은 장노광 화상을 사용하는 영역을 나타내고 있다. First, an outline of an embodiment of the present invention will be described. 1 is a diagram showing an example of each image according to a general WDR technique. Each of the images shown in Fig. 1 is a scene photographed from the inside outdoors on a sunny day. In the single-exposure image (Img-a), clouds outside the window are visible, but the interior is very dark. In the long-exposure image Img-b, the indoor and the portrait are properly exposed, but the window is saturated. The synthesized image Img-d can be obtained by combining these two images according to the used image selection information Img-c. Among the used image selection information Img-c, a white area indicates a region using a short exposure image, and a black area indicates a region using a long exposure image.

이와 같이 하여 합성이 행해지면, 옥외 및 옥내 모두 시인성이 높아지는데, 단노광 화상 사용 영역과 장노광 화상 사용 영역이 전환되는 창틀 부분(R1)이 노이즈가 된다. 단노광 화상(Img-a)에서는 창 이외 부분의 신호 레벨은 매우 작아져 있고, 단노광 화상(Img-a)의 화소값을 증폭하여 얻어지는 노이즈 신호와 장노광 화상의 화소값을 혼합하여 합성 화상(Img-d)에 사용하면, 합성 화상(Img-d)과 같이 창틀 부분(R1)의 주변만 노이즈가 두드러지게 되는 것이다.When the synthesis is performed in this way, both the outdoor and indoor displays have higher visibility, but the window frame portion R1, in which the exposure image use area and the long exposure image use area are switched, becomes noise. In the short-exposure image Img-a, the signal level of the portion other than the window is very small. The noise signal obtained by amplifying the pixel value of the short exposure image Img-a is mixed with the pixel value of the long- (Img-d), the noise becomes remarkable only in the vicinity of the window frame portion R1 as in the synthesized image Img-d.

본 발명의 제1 실시 예에 따른 기술에서는 단노광 화상(Img-a)의 암부에만 강한 노이즈 저감 처리를 적용한 후 합성한다. 이에 따라, 종래 두드러졌던 암부와 명부와의 경계 영역에서의 노이즈를 억제할 수 있다. 또한 본 발명의 제2 실시 예에 따른 기술에서는, 본 발명의 제1 실시 예에 따른 기술과 움직임 물체의 합성 아티팩트 저감 처리를 조합하는 경우, 강한 노이즈 저감 처리를 비움직임 영역의 단노광 화상 암부에 적용하고, 움직임 영역에는 약한 노이즈 저감 처리를 적용한다. 이에 따라 움직임 물체의 해상도 저하를 방지하면서, 경계 노이즈 저감의 효과를 얻을 수 있다.In the technique according to the first embodiment of the present invention, strong noise reduction processing is applied only to the arm portion of the short-exposure image Img-a and then synthesized. Thus, it is possible to suppress the noise in the boundary region between the dark portion and the bright portion, which has been remarkable in the past. In the technique according to the second embodiment of the present invention, when the technique according to the first embodiment of the present invention is combined with the synthetic artifact reduction processing of a moving object, strong noise reduction processing is applied to the short exposure image arm portion of the non- And a weak noise reduction process is applied to the motion area. Thus, it is possible to obtain an effect of reducing boundary noise while preventing the resolution of the moving object from being lowered.

(제1의 실시 형태)(First Embodiment) Fig.

우선, 본 발명에 따른 제1 실시 형태에 대해 설명하기로 한다. 우선, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 기능 구성에 대해 설명하기로 한다. 도 3는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 기능 구성을 나타내는 도면이다. 도 2에 도시한 바와 같이, 화상 처리 장치(1A)는 센서(10), 프레임 메모리(20), 사용 화상 선택부(30), 노이즈 저감부(50A), WDR 합성부(70) 및 레인지 압축부(80)를 구비한다. 이하, 화상 처리 장치(1A)가 구비하는 각 기능 블록의 기능에 대해 차례로 상세히 설명하기로 한다.First, a first embodiment according to the present invention will be described. First, the functional configuration of the image processing apparatus 1A according to the first embodiment of the present invention will be described. 3 is a diagram showing a functional configuration of the image processing apparatus 1A according to the first embodiment of the present invention. 2, the image processing apparatus 1A includes a sensor 10, a frame memory 20, a used image selection unit 30, a noise reduction unit 50A, a WDR synthesis unit 70, and a range compression (80). Hereinafter, the function of each functional block included in the image processing apparatus 1A will be described in detail.

화상 처리 장치(1A)는 센서(10)의 노광 설정을 바꾸어 2장의 화상을 연속 촬영하는데, 여기서는 단노광 촬영을 먼저 하고, 그 다음에 장노광 촬영을 수행하는 것으로 한다. 그러나, 장노광 촬영을 먼저하고, 그 다음에 단노광 촬영을 실시해도 무방하다. 이와 같이 하여 촬영된 장노광 화상 및 단노광 화상은 쌍으로 프레임 메모리(20)에 기입된다. 장노광 화상 및 단노광 화상의 촬영과, 촬영된 장노광 화상 및 단노광 화상의 프레임 메모리(20)로의 기입은 연속적으로 행해진다.The image processing apparatus 1A changes the exposure setting of the sensor 10 to successively take two images. Here, it is assumed that short-exposure photography is first performed, and then long-exposure photography is performed. However, long-exposure photography may be performed first, followed by short exposure photography. The long exposure image and the short exposure image photographed in this manner are written into the frame memory 20 in pairs. The photographing of the long exposure image and the short exposure image and the writing of the long exposure image and the short exposure image in the frame memory 20 are continuously performed.

또한 도 2에 도시한 예에서는, 화상 처리 장치(1A)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 하나 가지고, 센서(10)가 장노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였지만, 장노광 화상과 단노광 화상이 동시에 출력되어도 된다. 이러한 경우, 화상 처리 장치(1A)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과, 단노광 화상을 출력하기 위한 계통의 2개의 계통을 가지면 된다. 각각의 셔터 타임은, 예컨대, 촬영 대상의 다이나믹 레인지나 센서 사양 등에 의해 정해진다.In the example shown in Fig. 2, the image processing apparatus 1A has a common system for outputting a long exposure image and a short exposure image, and the sensor 10 outputs a long exposure image and a short exposure image in a time division manner However, a long exposure image and a short exposure image may be output at the same time. In this case, the image processing apparatus 1A may have two systems, that is, a system for outputting a long-exposure image from the sensor 10 and a system for outputting a short-exposure image. The respective shutter times are determined, for example, by the dynamic range of the subject, the sensor specifications, and the like.

본 발명의 실시 형태에서는 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이러한 용어는 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 2개의 화상이 촬영된 경우, 당해 2개 화상 중 상대적으로 노광 시간이 짧은 화상이 단노광 화상에 해당되고, 상대적으로 노광 시간이 긴 화상이 장노광 화상에 해당된다.Embodiments of the present invention use the terms single exposure image and long exposure image, but these terms do not limit the absolute exposure time of each of the two photographed images. Therefore, when two images with different exposure times are photographed, an image with a relatively short exposure time corresponds to a short exposure image, and an image with a relatively long exposure time corresponds to a long exposure image.

센서(10)는 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하고, 당해 전하량을 전기신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예컨대, CCD(Charge　Coupled　Deｖice)여도 되고, CMOS(Complementary　Metal　Oxide　Semiconductor )여도 된다.The sensor 10 is constituted by an image sensor for forming light on the light receiving plane of the image pickup element from the outside, photoelectrically converting the formed light by a charge amount, and converting the amount of electric charge into an electric signal. The type of image sensor is not particularly limited, and may be, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

사용 화상 선택부(30)는 프레임 메모리(20)로부터 독출한 단노광 화상과 장노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하고, 단노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로 선택하기 위한 사용 화상 선택 정보를 생성한다. 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로는 다양한 알고리즘이 상정된다.The used image selection unit 30 detects the saturation state or motion of each of the long exposure image and the short exposure image by referring to the short exposure image and the long exposure image read from the frame memory 20, And generates the used image selection information for selecting any one of the images as the used image. Various algorithms are assumed as algorithms for selecting either the exposure image or the long exposure image.

예컨대, 장노광 화상에서 포화된 영역은 단노광 화상에서는 포화되어 있지 않을 가능성이 높으므로, 당해 영역의 사용 화상으로는 단노광 화상을 선택하면 된다. 그러나, 이러한 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 따라서, 움직임을 검출하고, 움직임에 따라 윤곽이 이중이 되는 현상을 저감 하는 처리를 실시해도 무방하다. 이러한 처리를 포함하는 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.For example, since the area saturated in the long exposure image is highly likely not to be saturated in the short exposure image, a short exposure image can be selected as the used image in the area. However, artifacts such as a double contour in a region with a large motion can be generated only by such processing. Therefore, it is also possible to perform a process of detecting a motion and reducing the phenomenon that the outline becomes double according to the motion. The algorithm for selecting either the short-exposure image or the long-exposure image including such a process is not particularly limited.

또한 상기한 바와 같이 사용 화상 선택 정보는 단노광 화상 및 장노광 화상 중 어느 것을 선택할지를 나타내는 2치 데이터의 집합이어도 되나, 장노광 화상 및 단노광 화상을 각각 어느 정보의 비율로 혼합하는지를 나타내는 혼합 비율의 집합이어도 무방하다. 예컨대, 사용 화상 선택부(30)는 장노광 화상의 포화 정도가 강한 만큼, 단노광 화상의 혼합 비율을 크게 해도 무방하다. 또한, 사용 화상 선택부(30)는 단노광 화상 또는 장노광 화상의 움직임이 클수록 단노광 화상의 혼합 비율을 크게 해도 무방하다. 단노광 화상과 장노광 화상의 혼합 비율을 산출하는 알고리즘도 특별이 한정되지 않는다.As described above, the used image selection information may be a set of two-value data indicating which one of a short-exposure image and a long-exposure image is to be selected. However, . For example, the used image selecting section 30 may increase the blending ratio of the short exposure image as long as the degree of saturation of the long exposure image is strong. In addition, the used image selecting section 30 may increase the blending ratio of the short exposure image as the movement of the short exposure image or the long exposure image becomes larger. The algorithm for calculating the mixture ratio of the exposure image and the long-exposure image is not particularly limited.

노이즈 저감부(50A)는 단노광 화상으로부터 노이즈를 저감한다. 도 3은 노이즈 저감부(50A)의 상세한 구성예를 나타내는 도면이다. 도 3에 도시한 바와 같이, 노이즈 저감부(50A)는 처리부(51) 및 선택부(52A)를 구비하고 있다. 처리부(51)는 노이즈 저감 처리를 화소마다 실시한다. 도 3에 도시한 예에서는 노이즈 저감 처리를 화소마다 수행하는 주체로서 약필터(51a) 및 강필터(51b)가 개시되어 있다. 그러나, 약필터(51a) 및 강필터(51b)는 절대적인 강도를 한정하는 것은 아니다. 따라서 강도가 다른 2개의 필터 중 상대적으로 강도가 작은 필터가 약필터(51a)에 해당되고, 상대적으로 강도가 큰 필터가 강필터(51b)에 해당된다. 또한 약필터(51a)는 노이즈 저감 처리를 실시하지 않아도 된다.The noise reduction section 50A reduces noise from the short exposure image. 3 is a diagram showing a detailed configuration example of the noise reduction section 50A. As shown in Fig. 3, the noise reduction section 50A includes a processing section 51 and a selection section 52A. The processing section 51 performs noise reduction processing for each pixel. In the example shown in Fig. 3, the weak filter 51a and the strong filter 51b are disclosed as subjects for performing noise reduction processing for each pixel. However, the weak filter 51a and the strong filter 51b do not limit absolute strength. Therefore, a filter having a relatively small strength corresponds to the weak filter 51a, and a filter having a relatively large strength corresponds to the strong filter 51b. Further, the weak filter 51a may not be subjected to noise reduction processing.

도 4는 약필터(51a) 및 강필터(51b) 각각의 구성예를 나타내는 도면이다. 도 4에는 약필터(51a)는 5탭 필터이고, 강필터(51b)는 13탭 필터인 경우가 예로서 도시되어 있다. 약필터(51a) 및 강필터(51b)는 중심탭의 화소값과 주변탭의 화소값의 가산 평균을 산출함으로써 중심탭의 화소값을 산출해도 된다. 이러한 예와 같이, 노이즈 저감 강도를 크게 할수록 주변탭의 수를 늘려도 무방하다.Fig. 4 is a diagram showing a configuration example of each of the weak filter 51a and the strong filter 51b. In Fig. 4, the weak filter 51a is a 5-tap filter, and the steel filter 51b is a 13-tap filter. The medicament filter 51a and the steel filter 51b may calculate the pixel value of the center tap by calculating the addition average of the pixel value of the center tap and the pixel value of the peripheral tap. As in this example, the number of peripheral tabs may be increased as the noise reduction intensity is increased.

그러나, 약필터(51a) 및 강필터(51b) 각각의 강도는 어떻게 달리 하더라도 무방하다. 예컨대, 태 사이즈를 고정하고 약필터(51a) 및 강필터(51b)는 중심탭의 화소값과의 차분이 소정의 값보다 작은 하나 또는 복수 탭의 화소값의 가산 평균을 산출함으로써 중심탭의 화소값을 산출해도 된다. 이러한 경우, 소정값의 크기가 노이즈 저감 처리의 강약에 해당된다.However, the strength of each of the medicine filter 51a and the steel filter 51b may be different. For example, the filter size of the filter 51a and the filter of the strong filter 51b are determined by calculating the summed average of pixel values of one or a plurality of taps whose difference from the pixel value of the center tap is smaller than a predetermined value, Value may be calculated. In this case, the magnitude of the predetermined value corresponds to the strength of the noise reduction processing.

또는 탭 사이즈를 고정하고, 중심탭과의 거리에 따른 무게 계수를 각 탭에 정의하고, 각 탭의 화소값과 무게 계수와의 콘볼루션 연산에 의해 노이즈 저감을 실시해도 된다. 이 경우, 무게 계수의 분포 차이가 노이즈 저감 처리의 강약이 된다. 이와 같이 하여, 노이즈 저감 처리로는 다양한 방법이 존재하는데, 노이즈 저감 처리의 강약이 존재하고, 텍스쳐나 선예감(sharpness) 감퇴 등의 폐해도 존재하는 2가지 노이즈 저감 처리를 준비할 수 있다면, 이러한 2가지 노이즈 저감 처리는 본 발명의 실시 형태에 적용될 수 있다.Alternatively, the tab size may be fixed, a weight coefficient corresponding to the distance from the center tap may be defined for each tap, and noise reduction may be performed by a convolution operation between the pixel value of each tap and the weight coefficient. In this case, the distribution difference of the weight coefficients becomes a strength of the noise reduction processing. As described above, there are various methods of noise reduction processing. If there is a strength of the noise reduction processing, and two noise reduction processing that can suffer from such as deterioration of texture and sharpness can be prepared, Two kinds of noise reduction processing can be applied to the embodiment of the present invention.

선택부(52A)는 단노광 화상에 대한 노이즈 저감 처리를 단노광 화상의 화소값에 따라 화소마다 선택한다. 예컨대, 선택부(52A)는 화소값이 문턱값을 밑도는 경우에는 강필터(51b)를 선택하고, 화소값이 문턱값을 상회하는 경우에는 약필터(51a)를 선택한다. 화소값이 문턱값과 동일한 경우에는 약필터(51a) 및 강필터(51b) 중 어느 쪽이 선택되어도 무방하다. 선택된 필터에 의해 노이즈 저감 처리가 이루어진 단노광 화상은 WDR 합성부(70)로 출력된다.The selection unit 52A selects the noise reduction processing for the short exposure image for each pixel according to the pixel value of the short exposure image. For example, the selector 52A selects the strong filter 51b when the pixel value is less than the threshold value, and selects the weak filter 51a when the pixel value is above the threshold value. Either the weak filter 51a or the strong filter 51b may be selected when the pixel value is equal to the threshold value. The single exposure image subjected to the noise reduction processing by the selected filter is output to the WDR synthesis unit 70. [

이러한 구성에 따라, 단노광 화상의 암부에 포함되는 노이즈가 강력하게 저감 되는 한편, 중간 영역으로부터 고휘도 영역의 노이즈가 별로 두드러지지 않는 영역에 대해서는 약한 노이즈 저감이 적용됨으로써, 노이즈 저감 처리보다 해상도 확보가 우선된다. 또한 설정 노광비나 노이즈가 두드러지는 정도 등에 따라 최적의 문턱값이 결정되어도 된다. 노이즈 저감부(50A)에 있어서, 암부 노이즈가 강력하게 저감된 단노광 화상이 WDR 합성에 사용된다.With this configuration, the noise included in the dark portion of the short-exposure image is strongly reduced, while the weak noise reduction is applied to the region where the noise in the high luminance region is not remarkable from the intermediate region. Priority. The optimum threshold value may also be determined according to the set exposure ratio or the degree of noise standout. In the noise reduction section 50A, a short exposure image in which the dark noise is strongly reduced is used for WDR synthesis.

WDR 합성부(70)는 사용 화상 선택부(30)에 의해 생성된 사용 화상 선택 정보에 따라, 노이즈 저감부(50A)에 의해 노이즈 저감 처리가 이루어진 단노광 화상과 장노광 화상을 합성함으로써 WDR 합성 화상을 생성한다. 구체적으로 WDR 합성부(70)는 사용 화상 선택 정보를 참조하여 단노광 화상 사용 영역에는 단노광 화상을 사용하고, 장노광 화상 사용 영역에는 장노광 화상을 사용하여 합성 화상을 생성한다. 합성시에는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후 합성하는 것이 바람직하다.The WDR combining section 70 synthesizes the short exposure image and the long exposure image subjected to the noise reduction processing by the noise reduction section 50A according to the used image selection information generated by the use image selection section 30, And generates an image. Specifically, the WDR combining section 70 refers to the used image selection information to generate a composite image using a short exposure image in the short exposure image use area and a long exposure image in the long exposure image use area. It is preferable that one of the images is synthesized after being normalized by multiplying the gain according to the exposure ratio.

WDR 합성부(70)에 의한 합성 방법은 특별히 한정되지 않는다. 예컨대, 장노광 화상을 선택하는 것을 나타내는 것이 「0」이고, 단노광 화상을 선택하는 것을 나타내는 값이 「1」인 경우를 상정한다. 이러한 경우 WDR 합성부(70)는 사용 화상 선택 정보를 구성하는 혼합 비율을 α로 하고, 장노광 화상과 단노광 화상에 있어서 대응되는 화소에 대해, α×(단노광 화상의 화소값)＋(1－α)×(장노광 화상의 화소값)을 산출하고, 산출 결과를 합성 후의 화상(WDR 화상)으로 할 수 있다. The synthesis method by the WDR synthesis section 70 is not particularly limited. For example, it is assumed that a value indicating that a long-exposure image is selected is " 0 ", and a value indicating that a single-exposure image is selected is " 1 ". In this case, the WDR combining section 70 sets the blending ratio constituting the used image selection information to be?, The pixel corresponding to the long exposure image and the short exposure image, 1-a) x (pixel value of a long exposure image), and the calculation result can be used as an image (WDR image) after synthesis.

레인지 압축부(80)는 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지에 넣기 위한 압축 처리를, WDR 합성부(70)에 의해 생성된 WDR 화상에 대해 실시한다. 센서(10)의 분해 능력이 12 비트라고 하면, WDR 신호는 16 비트 정도로 확장되지만, 레인지 압축부(80)는 이 신호를, 후단의 범용적인 화상 신호 처리의 입력 사양에 맞추어, 예컨대 12 비트로 다시 압축한다. 이러한 압축 처리로서는 룩업 테이블(LUT)에 따른 톤 매핑을 이용해도 되나, 어떠한 방법을 이용해도 무방하다.The range compression unit 80 performs a compression process for putting the bit range of the image signal having a wide dynamic range into a predetermined bit range on the WDR image generated by the WDR combining unit 70. [ When the resolution of the sensor 10 is 12 bits, the WDR signal is extended to about 16 bits. However, the range compression unit 80 rewrites the signal to 12 bits, for example, in accordance with the input specification of the general- Compress. As such compression processing, tone mapping according to a lookup table (LUT) may be used, but any method may be used.

레인지 압축부(80)의 후단은, 예컨대 베이어 데이터로부터 RGB 플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 관리 등을 포함한 화상 처리 엔진에 접속된다. 따라서, 레인지 압축부(80)로부터의 출력 신호의 데이터량은, 예컨대 화상 처리 엔진에 대한 입력 데이터의 사이즈에 적합하게(예컨대, 12 비트 정도) 조정되는 것이 바람직하다. 단지 데이터 사이즈를 저하시키는 것 만으로는 어두운 화상으로 변환되기 때문에, 인간의 시각 특성에 가깝게 고휘도측을 강하게 압축하면 된다.The rear end of the range compression unit 80 is connected to an image processing engine including a demosaicking unit, an outline emphasis unit, color management and the like for generating RGB planes from Bayer data, for example. Therefore, it is preferable that the data amount of the output signal from the range compression unit 80 is adjusted (for example, about 12 bits) to fit the size of the input data to the image processing engine. Since only a reduction in the data size is converted into a dark image, the high luminance side can be strongly compressed close to human visual characteristics.

이상, 하나의 문턱값을 상회하는지 하회하는지에 따라 2 종류의 노이즈 저감 처리 중 어느 하나를 선택하는 예에 대해 설명하였지만, 문턱값은 2개 이상 설치되어 있어도 된다. 예컨대, 문턱값이 2개 설치되는 경우, 이러한 문턱값에 의해 나뉘는 2개의 영역 중 어느 영역에 해당되는지에 따라 3종류의 노이즈 저감 처리 중 어느 하나를 선택하는 것으로 해도 무방하다.As described above, an example in which one of two types of noise reduction processing is selected depending on whether one threshold value is exceeded or not is described. However, two or more threshold values may be provided. For example, when two threshold values are provided, any one of three types of noise reduction processing may be selected depending on which of the two regions divided by the threshold value corresponds to which region.

또한, 이상, 노광량이 다른 2종류의 화상(단노광 화상 및 장노광 화상)을 촬영하여 합성하는 예를 설명하였다. 그러나 합성에 사용되는 화상의 종류는 특별히 한정되지 않는다. 예컨대, 노광량이 다른 3종류 이상의 화상을 촬영하여 합성하는 예에도 본 실시 형태는 적용될 수 있다.Further, an example has been described in which two kinds of images (short exposure image and long exposure image) having different exposure amounts are captured and synthesized. However, the type of image used for synthesis is not particularly limited. For example, the present embodiment can also be applied to an example in which three or more images having different exposure amounts are captured and synthesized.

여기서, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 선택부(52A)의 동작에 대해 더 설명하기로 한다. 도 5는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 선택부(52A)의 동작 예를 나타내는 흐름도 이다. 또한 도 5에 나타낸 선택부(52A)의 동작 예는 일 예에 불과하므로, 선택부(52A)의 동작은 도 5에 도시한 예에 한정되지 않는다.Hereinafter, the operation of the selection unit 52A of the image processing apparatus 1A according to the first embodiment of the present invention will be further described. 5 is a flowchart showing an operation example of the selection unit 52A of the image processing apparatus 1A according to the first embodiment of the present invention. The operation example of the selection unit 52A shown in Fig. 5 is only an example, and therefore the operation of the selection unit 52A is not limited to the example shown in Fig.

도 5에 도시한 바와 같이, 선택부(52A)는 단노광 화상을 구성하는 각 화소에 대해, 이하에 나타내는 필터 선택을 수행한다. 즉, 선택부(52A)는 단노광 화상의 화소값이 문턱값을 상회하는 경우에는(스텝 S11에 대해「No」) 약필터(51a)를 선택한다(스텝 S12). 한편 선택부(52A)는 단노광 화상의 화소값이 문턱값을 밑도는 경우에는 (스텝 S11에 대해 「Yes」) 강필터(51b)를 선택한다(스텝 S13). WDR 합성부(70)에는 선택된 필터에 의해 노이즈 저감된 단노광 화상이 출력된다. 그 후, 장노광 화상과 선택된 필터에 의해 노이즈 저감된 단노광 화상이 WDR 합성부(70)에 의해 합성된다.As shown in Fig. 5, the selection unit 52A performs the following filter selection for each pixel constituting the single exposure image. That is, in the case where the pixel value of the short exposure image exceeds the threshold value (" No " in step S11), the selecting section 52A selects the weak filter 51a (step S12). On the other hand, when the pixel value of the short-exposure image is lower than the threshold value ("Yes" to step S11), the selecting section 52A selects the strong filter 51b (step S13). The WDR combining section 70 outputs a single-exposure image reduced in noise by the selected filter. Thereafter, the long exposure image and the short exposure image reduced in noise by the selected filter are synthesized by the WDR synthesis unit 70. [

이어서, 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기로 한다. 도 6은 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기 위한 도면이다. 도 6을 참조하면, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 의해 생성된 합성 화상(Img-e)이 개시되어 있다. 합성 화상(Img-e)을 참조하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈가 효과적으로 저감되고 있다.Next, an example of the effect represented by the first embodiment of the present invention will be described. Fig. 6 is a diagram for explaining an example of an effect represented by the first embodiment of the present invention. Fig. Referring to Fig. 6, a composite image Img-e generated by the image processing apparatus 1A according to the first embodiment of the present invention is disclosed. By referring to the composite image Img-e, it is possible to effectively reduce the noise in the boundary area between the short exposure image use area and the long exposure image use area, which is a region where noise is prominent in the composite image, by reducing the dark- .

또한, 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 화상이 얻어지고 있다. 기타, 종래 기술과 비교하여, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)는 동영상에도 적용 가능하다는 점, 다이나믹 레인지도 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와의 높은 친화성을 갖는다는 점 등도 특징이다.In addition, a reduction in resolution, which is a drawback of the noise reduction processing, is small and a natural image is obtained. In addition, the image processing apparatus 1A according to the first embodiment of the present invention can be applied to moving pictures, the dynamic range is not degraded, and the high degree of similarity with the synthetic artifact reduction processing of the motion area And the fact that they have Mars.

(제2의 실시 형태)(Second Embodiment)

이어서, 본 발명의 제2 실시 형태에 대해 설명하기로 한다. 본 발명의 제1 실시 형태에서는 움직임 검출 정보를 참조하지 않고 노이즈 저감 처리를 선택하는 예를 설명하였다. 그러나, 예컨대 움직임 영역에 대해서 강한 노이즈 저감 처리를 실시하면, 움직임 영역의 해상도가 크게 저하될 가능성이 있다(움직임 물체의 텍스쳐가 크게 감쇠될 가능성이 있다).Next, a second embodiment of the present invention will be described. In the first embodiment of the present invention, an example in which the noise reduction process is selected without referring to the motion detection information has been described. However, if strong noise reduction processing is applied to the moving area, for example, there is a possibility that the resolution of the moving area may greatly deteriorate (the texture of the moving object may be significantly attenuated).

예컨대, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, WDR 합성부(70)에 대해 움직임 영역에 단노광 화상이 사용되는 경우에는 이 단노광 화상의 해상도가 크게 저하될 가능성이 있다. 따라서, 본 발명의 제2 실시 형태에서는 움직임 검출 정보를 이용하여 노이즈 저감 처리를 선택하는 예를 설명하기로 한다.For example, in the case where a short-exposure image is used for the movement region with respect to the WDR combining section 70 in order to suppress artifacts or blurring that occur when a moving object is synthesized, there is a possibility that the resolution of the short-exposure image is largely lowered . Therefore, in the second embodiment of the present invention, an example in which noise reduction processing is selected using motion detection information will be described.

도 7은 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 기능 구성을 나타내는 도면이다. 도 7에 도시한 바와 같이, 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 비해, 프레임 메모리(20) 후단에 움직임 검출부(40)를 더 구비한다. 또한 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 비해 노이즈 저감부(50)의 기능이 다르다. 이하, 움직임 검출부(40) 및 노이즈 저감부(50B)에 대해 주로 설명한다.7 is a diagram showing the functional configuration of the image processing apparatus 1B according to the second embodiment of the present invention. 7, the image processing apparatus 1B according to the second embodiment of the present invention is different from the image processing apparatus 1A according to the first embodiment of the present invention in that the frame memory 20 has a motion And a detecting unit 40. The functions of the noise reduction unit 50 are different from those of the image processing apparatus 1A according to the first embodiment of the present invention. The motion detection unit 40 and the noise reduction unit 50B will be mainly described below.

움직임 검출부(40)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출 방법은 한정되지는 않지만, 단노광 화상 및 장노광 화상으로부터 움직임을 검출하는 경우에는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후, 차분을 산출하는 것이 바람직하다. 또한 움직임 검출 정보의 생성 방법은 특별히 한정되지 않는다. 예컨대 움직임 검출부(40)는 단노광 화상과 장노광 화상에 따라 검출한 움직임과 문턱값과의 관계에 따라 움직임 검출 정보를 생성하면 된다.The motion detection unit 40 detects motion and generates motion detection information. The motion detection method is not limited, but in the case of detecting a motion from a short-exposure image and a long-exposure image, it is preferable that one of the images is normalized by multiplying the gain according to the exposure ratio, and then the difference is calculated. The method of generating motion detection information is not particularly limited. For example, the motion detection section 40 may generate motion detection information according to the relationship between the motion detected in accordance with the short exposure image and the long exposure image, and the threshold value.

구체적으로 움직임 검출부(40)는 단노광 화상과 장노광 화상에 있어서, 대응되는 영역의 화소값 또는 구배(勾配)의 차분을 검출하고, 차분이 문턱값보다 큰 영역을 움직임 영역으로 검출해도 된다. 한편, 움직임 검출부(40)는 차분이 문턱값보다 작은 영역을 비움직임 영역으로 검출해도 된다. 차분이 문턱값과 동일한 영역은 어떠한 영역으로 검출해도 된다. 움직임 검출부(40)는 이러한 검출 결과를 움직임 검출 정보로서 생성해도 된다.More specifically, the motion detection section 40 may detect a difference between a pixel value or a gradient in a corresponding area in a short exposure image and a long exposure image, and detect an area having a difference greater than the threshold value as a motion area. On the other hand, the motion detection unit 40 may detect a region whose difference is smaller than a threshold value as a non-moving region. An area where the difference is equal to the threshold value may be detected in any area. The motion detection unit 40 may generate the detection result as the motion detection information.

노이즈 저감부(50B)는 단노광 화상으로부터 노이즈를 저감한다. 도 8은 노이즈 저감부(50B)의 상세한 구성예를 나타내는 도면이다. 도 8에 도시한 바와 같이, 노이즈 저감부(50B)는 처리부(51) 및 선택부(52B)를 구비하고 있다. 선택부(52B)는 화소가 비움직임 영역에 속하는 경우, 화소값이 문턱값을 밑도는 경우에 강필터(51b)를 선택한다. 이에 따라, 본 발명의 제1 실시 형태와 마찬가지로, 합성 화상 중 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다.The noise reduction section 50B reduces noise from the single exposure image. 8 is a diagram showing a detailed configuration example of the noise reduction section 50B. As shown in Fig. 8, the noise reduction section 50B includes a processing section 51 and a selection section 52B. The selecting unit 52B selects the strong filter 51b when the pixel belongs to the non-moving area and the pixel value is below the threshold value. As a result, similarly to the first embodiment of the present invention, noise in the border area between the short exposure image use area and the long exposure image use area, which are regions where noise is conspicuous, in the composite image can be effectively reduced.

또한, 선택부(52B)는 화소가 비움직임 영역에 속하는 경우, 화소값이 문턱값을 상회하는 경우에 약필터(51a)를 선택한다. 이에 따라 본 발명의 제1 실시 형태와 마찬가지로, 노이즈가 별로 두드러지지 않는 영역에 대해서는 약한 노이즈 저감이 적용됨으로써, 노이즈 저감 처리보다 해상도 확보가 우선된다. 또한 본 발명의 제1 실시 형태와 마찬가지로, 약필터(51a)는 노이즈 저감 처리를 실시하지 않아도 된다.In addition, when the pixel belongs to the non-moving area, the selecting unit 52B selects the weak filter 51a when the pixel value exceeds the threshold value. As a result, similarly to the first embodiment of the present invention, a weak noise reduction is applied to a region where noise is not remarkable, so that resolution is given priority over noise reduction processing. Similarly to the first embodiment of the present invention, the weak filter 51a may not be subjected to noise reduction processing.

한편, 선택부(52B)는 화소가 움직임 영역에 속하는 경우에는 약필터(51a)를 선택한다. 이에 따라, 움직임 영역의 해상도가 크게 저하될 가능성이 저감된다(움직임 물체의 텍스쳐가 크게 감쇠될 가능성이 저감된다). 또한 여기서는 화소가 움직임 영역에 속하는 경우에 약필터(51a)가 선택되는 예를 설명하였지만, 강필터(51b)보다 약한 필터라면 약필터(51a)와 다른 필터가 선택되어도 무방하다.On the other hand, the selector 52B selects the weak filter 51a when the pixel belongs to the motion area. As a result, the possibility that the resolution of the motion area greatly decreases is reduced (the possibility that the texture of the moving object largely attenuates is reduced). Although an example in which the weak filter 51a is selected in the case where the pixel belongs to the movement area is described here, it is also possible to select a filter different from the weak filter 51a as long as it is a weaker filter than the strong filter 51b.

여기서, 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 선택부(52B)의 동작예에 대해 더 설명하기로 한다. 도 9는 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 선택부(52B)의 동작예를 나타내는 흐름도이다. 또한 도 9에 나타낸 선택부(52B)의 동작예는 일예에 불과하므로, 선택부(52B)의 동작은 도 9에 도시한 예에 한정되지 않는다.Here, an operation example of the selection unit 52B of the image processing apparatus 1B according to the second embodiment of the present invention will be further described. 9 is a flowchart showing an example of the operation of the selection unit 52B of the image processing apparatus 1B according to the second embodiment of the present invention. The operation example of the selection unit 52B shown in Fig. 9 is only an example, and therefore the operation of the selection unit 52B is not limited to the example shown in Fig.

도 9에 도시한 바와 같이, 선택부(52B)는 단노광 화상을 구성하는 각 화소에 대해 이하에 나타내는 필터 선택을 실시한다. 즉, 선택부(52B)는 단노광 화상의 화소가 움직임 영역에 속하는 경우에는(스텝 S10에 대해 「Yes」), 약필터(51a)를 선택한다(스텝 S14). 한편, 선택부(52B)는 단노광 화상의 화소가 비움직임 영역에 속하는 경우에는(스텝 S10에 대해 「No」), 스텝 S11로 진행한다.As shown in Fig. 9, the selection unit 52B performs the following filter selection for each pixel constituting the short exposure image. That is, when the pixel of the short exposure image belongs to the movement area ("Yes" to step S10), the selection unit 52B selects the weak filter 51a (step S14). On the other hand, when the pixel of the short exposure image belongs to the non-moving area ("No" to step S10), the selecting unit 52B proceeds to step S11.

그리고, 선택부(52B)는 단노광 화상의 화소값이 문턱값을 상회하는 경우에는(스텝 S11에 대해 「No」), 약필터(51a)를 선택한다(스텝 S12). 한편, 선택부(52B)는 단노광 화상의 화소값이 문턱값을 밑도는 경우에는(스텝 S11에 대해 「Yes」), 강필터(51b)를 선택한다(스텝 S13). WDR 합성부(70)에는 선택된 필터에 의해 노이즈 저감된 단노광 화상이 출력된다. 그 후, 장노광 화상과 선택된 필터에 의해 노이즈가 저감된 단노광 화상이 WDR 합성부(70)에 의해 합성된다.When the pixel value of the short exposure image exceeds the threshold value (" No " in step S11), the selecting section 52B selects the weak filter 51a (step S12). On the other hand, when the pixel value of the short exposure image is lower than the threshold value ("Yes" to step S11), the selecting section 52B selects the strong filter 51b (step S13). The WDR combining section 70 outputs a single-exposure image reduced in noise by the selected filter. Thereafter, the WDR combining unit 70 synthesizes the single exposure image and the single exposure image in which the noise is reduced by the selected filter.

또한 도 9에는 화소가 움직임 영역에 속하는 경우에 약필터(51a)가 선택되는 예가 나타나 있는데, 강필터(51b)보다 약한 필터라면, 약필터(51a)와 다른 필터가 선택되어도 무방함은 이미 설명한 바와 같다.9 shows an example in which the weak filter 51a is selected in the case where the pixel belongs to the movement area. However, if the weak filter is weaker than the strong filter 51b, Same as.

이어서, 본 발명의 제2 실시 형태가 나타내는 효과의 예를 설명하기로 한다. 본 발명의 제2 실시 형태에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는, 단노광 화상의 해상도 저하를 작게 억제할 수 이다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있어 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.Next, an example of the effect represented by the second embodiment of the present invention will be described. According to the second embodiment of the present invention, the degradation of the resolution of the moving region can be suppressed to a small extent by performing the weak noise reduction processing on the moving region. Particularly, in the case where a short-exposure image is used in the movement region to suppress artifacts or blurring that occur when a moving object is synthesized, the degradation in resolution of the short-exposure image can be suppressed small. Further, in the non-moving area, noise in the boundary area between the short exposure image use area and the long exposure image use area can be effectively reduced, and the degradation in resolution of the non-movement area can be suppressed to a small extent.

이상 본 발명의 제1 실시 형태 미 제2 실시 형태에 대해 설명하였다. 본 발명의 제1 실시 형태에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치(1A)에 있어서, 단노광 화상에 대한 노이즈 저감 처리를 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부(52A)와, 노이즈 저감 처리를 화소마다 수행하는 처리부(51)와, 노이즈 저감 처리가 이루어진 단노광 화상과 장노광 화상을 합성하는 WDR 합성부(70)를 구비하는 화상 처리 장치(1A)가 제공된다.The first embodiment of the present invention has been described above. According to the first embodiment of the present invention, in the image processing apparatus (1A) for synthesizing a short exposure image and a long exposure image, the noise reduction processing for the short exposure image is selected for each pixel in accordance with the pixel value of the short exposure image And a WDR synthesis unit 70 for synthesizing a short exposure image subjected to the noise reduction process and a long exposure image subjected to the noise reduction process. The image processing apparatus 1A includes a selection unit 52A, a processing unit 51 for performing noise reduction processing for each pixel, Is provided.

이러한 구성에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈가 효과적으로 저감되고 있다. 또한 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 합성 화상이 얻어지고 있다. 기타, 종래 기술에 비해, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)는 동영상에도 적용 가능하다는 점, 다이나믹 레인지가 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와의 높은 친화성을 갖는다는 점 등도 특징이다.According to such a configuration, noise in the boundary area between the short exposure image use area and the long exposure image use area, which are areas where noise is prominent, in the composite image is effectively reduced by reducing the darkness of the short exposure image. In addition, a natural composite image is obtained with less deterioration in resolution, which is a disadvantage of noise reduction processing. In addition, compared with the related art, the image processing apparatus 1A according to the first embodiment of the present invention is applicable to moving pictures, the dynamic range is not degraded, the high affinity with the synthetic artifact reduction processing of the motion area And the like.

또한, 본 발명의 제2 실시 형태에 의하면, 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부(40)를 구비하고, 선택부(52B)는 화소가 비움직임 영역에 속하는 경우에는 화소값이 문턱값을 밑도는 경우에 제1 노이즈 저감 처리를 선택하고, 화소값이 문턱값을 상회하는 경우에는 제2 노이즈 저감 처리를 선택하는 화상 처리 장치(1B)가 제공된다.According to the second embodiment of the present invention, there is provided a motion detection section (40) for detecting a motion area and a non-motion area. When the pixel belongs to a non-motion area, the selection section (52B) The first noise reduction processing is selected, and when the pixel value exceeds the threshold value, the second noise reduction processing is selected.

이러한 구성에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는 단노광 화상의 해상도 저하를 작게 억제할 수 있다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있어 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.According to such a configuration, by performing the weak noise reduction processing on the moving region, it is possible to suppress the decrease in the resolution of the moving region to a small degree. In particular, in the case where a short-exposure image is used in the movement region to suppress artifacts or blurring that occur when a moving object is synthesized, the resolution degradation of the short-exposure image can be suppressed small. Further, in the non-moving area, noise in the boundary area between the short exposure image use area and the long exposure image use area can be effectively reduced, and the degradation in resolution of the non-movement area can be suppressed to a small extent.

이상, 첨부 도면을 참조하면서 본 발명의 가장 적합한 실시 형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종의 변경예 또는 수정예를 도출 가능함은 분명하고, 이것들도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.While the most preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims, . ≪ / RTI >

와이드 다이나믹 레인지 기술은 네트워크 카메라의 차별화 기술로서 특히 중요시 되고 있다. 본 발명의 실시 형태는 종래 기술에서 큰 문제였던 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 본 발명의 실시 형태는 움직임 물체나 정지 영역의 해상도 저하라는 폐해도 작게 억제할 수 있다는 점, 구성이 간단하고 작은 회로 규모로 실현 가능하다는 점, 프레임 레이트에는 영향이 없고 동영상 성능을 떨어뜨리지 않는다는 점, 다이나믹 레인지가 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와는 높은 친화성 등 뛰어난 점이 많은 기술이다.Wide dynamic range technology is especially important as a differentiating technology of network cameras. The embodiment of the present invention can effectively reduce the noise in the boundary area between the short exposure image use area and the long exposure image use area which was a big problem in the prior art. Further, the embodiment of the present invention is advantageous in that it is possible to suppress the degradation of the resolution of a moving object or a still region to a small degree, to realize a simple structure and realize a small circuit scale, Point and dynamic range are not deteriorated, and high affinity with the synthetic artifact reduction processing of the motion area.

1(1A, 1B): 화상 처리 장치
10: 센서
20: 프레임 메모리
30: 사용 화상 선택부
40: 움직임 검출부
50(50A, 50B): 노이즈 저감부
51: 처리부
51a: 약필터
51b: 강필터
52(52A, 52B): 선택부
70: WDR 합성부
　80: 레인지 압축부1 (1A, 1B): Image processing apparatus
10: Sensor
20: Frame memory
30: Used image selection unit
40:
50 (50A, 50B): noise reduction section
51:
51a: weak filter
51b: the river filter
52 (52A, 52B)
70: WDR synthesis section
80: Range compression section

Claims (6)

단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에 있어서,
상기 단노광 화상에 대한 노이즈 저감 처리를 상기 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부;
상기 노이즈 저감 처리를 화소마다 수행하는 처리부; 및
상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 장노광 화상을 합성하는 합성부;를 구비하는 화상 처리 장치.An image processing apparatus for synthesizing a short exposure image and a long exposure image,
A selection unit for selecting a noise reduction process for the short-exposure image on a pixel-by-pixel basis according to a pixel value of the short-exposure image;
A processing unit for performing the noise reduction processing for each pixel; And
And a combining unit for combining the short exposure image and the long exposure image subjected to the noise reduction processing. 제 1항에 있어서,
상기 선택부는 상기 화소값이 문턱값을 밑도는 경우에는 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제1 노이즈 저감 처리와는 다른 제2 노이즈 저감 처리를 선택하는 화상 처리 장치.The method according to claim 1,
Wherein the selection unit selects a first noise reduction process when the pixel value is less than a threshold value and selects a second noise reduction process different from the first noise reduction process when the pixel value exceeds the threshold value To the image processing apparatus. 제 2항에 있어서,
상기 제2 노이즈 저감 처리는 상기 제1 노이즈 저감 처리보다 약한 노이즈 저감 처리 또는 노이즈 저감 처리가 없는 화상 처리 장치.3. The method of claim 2,
Wherein the second noise reduction processing has no weaker noise reduction processing or noise reduction processing than the first noise reduction processing. 제 3항에 있어서,
상기 화상 처리 장치는 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부를 구비하고,
상기 선택부는 상기 화소가 상기 비움직임 영역에 속하는 경우에는, 상기 화소값이 문턱값을 밑도는 경우에는 상기 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 문턱값을 상회하는 경우에는 상기 제2 노이즈 저감 처리를 선택하는 화상 처리 장치.The method of claim 3,
Wherein the image processing apparatus includes a motion detection section for detecting a motion region and a non-motion region,
Wherein the selector selects the first noise reduction processing when the pixel value is less than the threshold value when the pixel belongs to the non-moving region, and when the pixel value is above the threshold value, And selects a reduction process. 제 4항에 있어서,
상기 선택부는 상기 화소가 상기 움직임 영역에 속하는 경우에는 제3 노이즈 저감 처리를 선택하는 화상 처리 장치.5. The method of claim 4,
Wherein the selection unit selects the third noise reduction processing when the pixel belongs to the movement area. 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에서의 화상 처리 방법에 있어서,
상기 단노광 화상에 대한 노이즈 저감 처리를 화소값에 따라 당해 화소마다 선택하는 스텝;
상기 노이즈 저감 처리를 화소마다 수행하는 스텝; 및
상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 장노광 화상을 합성하는 스텝;을 구비하는 화상 처리 방법.An image processing method in an image processing apparatus for synthesizing a short exposure image and a long exposure image,
Selecting a noise reduction process for the short-exposure image for each pixel in accordance with the pixel value;
Performing the noise reduction processing for each pixel; And
And combining the short exposure image and the long exposure image subjected to the noise reduction processing.
KR1020140158905A 2014-06-26 2014-11-14 Apparatus and method for processing image KR102199472B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-131411 2014-06-26
JP2014131411A JP6324235B2 (en) 2014-06-26 2014-06-26 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
KR20160001582A true KR20160001582A (en) 2016-01-06
KR102199472B1 KR102199472B1 (en) 2021-01-06

Family

ID=55165433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158905A KR102199472B1 (en) 2014-06-26 2014-11-14 Apparatus and method for processing image

Country Status (2)

Country Link
JP (1) JP6324235B2 (en)
KR (1) KR102199472B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374630B2 (en) 2019-07-09 2023-11-07 キヤノン株式会社 Imaging device and its driving method
CN111583144B (en) * 2020-04-30 2023-08-25 深圳市商汤智能传感科技有限公司 Image noise reduction method and device, electronic equipment and storage medium
CN113905185B (en) * 2021-10-27 2023-10-31 锐芯微电子股份有限公司 Image processing method and device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069355A (en) 1998-08-18 2000-03-03 Matsushita Electric Ind Co Ltd Video signal processing method, and system and image pickup device thereof
JP2009152669A (en) 2007-12-18 2009-07-09 Sony Corp Imaging apparatus, imaging processing method and imaging control program
JP2010200177A (en) 2009-02-26 2010-09-09 Olympus Corp Imaging device and image processing program
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
JP2013055610A (en) * 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
KR20140070345A (en) * 2012-11-30 2014-06-10 삼성테크윈 주식회사 Image processing apparatus and image processing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5213604B2 (en) * 2008-09-17 2013-06-19 三洋電機株式会社 Imaging device
JP5822739B2 (en) * 2012-01-26 2015-11-24 三菱電機株式会社 Image processing apparatus, method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069355A (en) 1998-08-18 2000-03-03 Matsushita Electric Ind Co Ltd Video signal processing method, and system and image pickup device thereof
JP2009152669A (en) 2007-12-18 2009-07-09 Sony Corp Imaging apparatus, imaging processing method and imaging control program
JP2010200177A (en) 2009-02-26 2010-09-09 Olympus Corp Imaging device and image processing program
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
JP2013055610A (en) * 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
KR20140070345A (en) * 2012-11-30 2014-06-10 삼성테크윈 주식회사 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR102199472B1 (en) 2021-01-06
JP2016010121A (en) 2016-01-18
JP6324235B2 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8488029B2 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
CN104980652B (en) Image processing apparatus and image processing method
EP2624204B1 (en) Image processing apparatus and method of controlling the same
JP4208909B2 (en) Image processing device and photographing device
US20120019686A1 (en) Image synthesizing device, image synthesizing method and computer readable medium
KR102127306B1 (en) Movement detecting apparatus and movement detecting method
KR20150045877A (en) Image processing apparatus and image processing method
JP4850281B2 (en) Image signal processing apparatus and image signal processing program
KR100933556B1 (en) Color image processing apparatus and method for extending the dynamic range
WO2019124289A1 (en) Device, control method, and storage medium
KR20140070345A (en) Image processing apparatus and image processing method
KR102199472B1 (en) Apparatus and method for processing image
JP6543787B2 (en) Image processing apparatus and image processing method
KR102247597B1 (en) Image processing apparatus and image processing method
KR102282464B1 (en) Image processing apparatus and image processing method
WO2022158010A1 (en) Image processing method
JP5365881B2 (en) Image processing apparatus and image processing method
KR102003777B1 (en) Apparatus and method for processing image
KR102050415B1 (en) Apparatus and method for image processing.
KR102182696B1 (en) Image processing apparatus and image processing method
JP6543786B2 (en) Image processing apparatus and image processing method
JP6858073B2 (en) Image processing device, image processing method, and program
Walbrecq et al. A Temporal Tone Mapping Adaptation: An Application using Logarithmic Camera
JP2014220760A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant