KR20140133407A - Syestem and method for image processing - Google Patents
Syestem and method for image processing Download PDFInfo
- Publication number
- KR20140133407A KR20140133407A KR1020140010719A KR20140010719A KR20140133407A KR 20140133407 A KR20140133407 A KR 20140133407A KR 1020140010719 A KR1020140010719 A KR 1020140010719A KR 20140010719 A KR20140010719 A KR 20140010719A KR 20140133407 A KR20140133407 A KR 20140133407A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- images
- selection
- image
- pixel
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.
최근 단시간 노광의 화상(이하, 단순히 「단노광 화상」이라고도 한다.)과 장시간 노광의 화상(이하, 단순히 「장노광 화상」이라고도 한다.)을 연속 촬영하여 합성함으로써 센서가 촬영 가능한 다이나믹 레인지를 초과한 다이나믹 레인지를 포착한 화상을 얻는 WDR(와이드 다이나믹 레인지) 혹은 HDR(하이 다이나믹 레인지)라는 촬영 기능이 증가하고 있다. 상기 촬영 기능은, 역광의 구도 등 명암비가 매우 큰 씬에서는 특히 큰 효과가 있다.(Hereinafter, simply referred to as a " short exposure image ") and an image of long time exposure (hereinafter, simply referred to as a "long exposure image" WDR (wide dynamic range) or HDR (high dynamic range), which obtains an image capturing a dynamic range, is increasing in number. The shooting function has a particularly large effect in a scene having a very high contrast ratio, such as a composition of backlight.
또한 최근에는 촬영 가능한 다이나믹 레인지의 확장을 목적으로 하여 노광을 바꾼 화상을 3매 이상 촬영하여 합성하는 기술도 등장하고 있다. 예를 들면 특허문헌 1에는, 노광을 바꾸어 촬영한 3매의 화상을 매끄럽게 합성하는 수법이 개시되어 있다.In recent years, there has also appeared a technique of photographing and synthesizing three or more images whose exposure has been changed for the purpose of expanding a photographable dynamic range. For example,
상기 수법에서는, 기준 노출 화상을 그레이 스케일 화상으로 변환하고 농담치의 문턱값 처리에 의해 이 그레이 스케일 화상을 밝은 영역과 어두운 영역과 중간 영역의 3개로 영역 분할하고 해당 3개의 영역 각각에 색을 입혀 평균화 필터 처리를 한 다음 각 화소의 색성분에 따라 3매의 화상을 합성한다. 농담치의 문턱값은 엣지 검출 결과와 농담치에 따라 분할된 영역의 경계를 사용하여 기준 노출 화상의 전화소에 대한 득점 계산에 의해 결정된다.In this method, the reference exposure image is converted into a gray-scale image, and the gray-scale image is divided into three areas of a bright area, a dark area and an intermediate area by threshold value processing of a density value, After filtering, three images are synthesized according to the color components of each pixel. The threshold value of the density value is determined by the score calculation for the phoneme of the reference exposure image using the boundary of the area divided according to the edge detection result and the density value.
[선행 기술문헌][Prior Art Literature]
특허문헌 1: 일본 특허공개 제2009-10566호Patent Document 1: JP-A-2009-10566
특허문헌 2: 일본 특허공개 제2005-72965호Patent Document 2: JP-A No. 2005-72965
여기서 기준 노출 화상을 사용하여 영역 분할하는 수법을 이용한 경우, EV(Exposure Value)를 ±1정도 여유를 두고 촬영하는 정도라면 대응할 수 있다. 그러나 상기 수법을, 노광량을 여러 배로 하는 오더로 크게 바꾸어 촬영하는 WDR이라는 촬영 기능에 적용할 경우에는, 고휘도부의 희게 날리는 형상 및 검게 뭉개지는 현상이 심하여 기준 노출 화상 1매를 기준으로 하여 합성 대상으로서 사용하는 화상을 적절히 결정할 수 없게 된다.Here, when the technique of dividing the area using the reference exposure image is used, it can be coped with if the EV (Exposure Value) is about ± 1. However, when the above technique is applied to a photographing function called WDR in which the photographing is largely photographed with an order of several times the exposure amount, the whitewash form of the high luminance portion and the phenomenon of black marking are severe, The image to be used can not be properly determined.
또 촬영 가능한 다이나믹 레인지를 더욱 확장하기 위해 합성에 사용하는 화상 매수를 늘리면 합성 대상 화상의 결정은 더욱 어려워져 고휘도 또는 저휘도 영역에서 적절한 합성 결과를 얻을 수 없게 될 가능성이 높아진다.In addition, if the number of images to be used in the synthesis is increased in order to further extend the photographable dynamic range, the determination of the synthesis object image becomes more difficult, and the possibility that proper synthesis results can not be obtained in a high luminance or low luminance region becomes high.
또한 엣지 검출을 사용하는 점, 그레이 스케일 화상이나 가중을 위한 RGB 플레인을 준비할 필요가 있는 점, 전화소에 대해 득점을 붙여 산출할 필요가 있기 때문에 전화소의 처리가 끝나지 않으면 합성 화상을 출력할 수 없는 점 등 하드웨어에서 실행하려면 매우 큰 회로 규모가 필요하다고 생각되는 점이 있다. 동일한 기능을 소프트웨어로 실현한다고 해도 많은 연산량을 필요로 하여 큰 처리 지연도 발생한다고 생각된다.In addition, it is necessary to prepare an edge detection, a gray scale image, and an RGB plane for weighting. Since the telephone needs to be calculated with a score, it is possible to output a composite image There is a point that a very large circuit scale is needed to perform in hardware such as lack. Even if the same function is realized by software, a large amount of calculation is required and a large processing delay is considered to occur.
그래서 본 발명은, 3매 이상의 화상을 이용하여 합성할 경우에 화상의 경계를 매끄럽게 접속하여 자연스러운 합성 화상을 얻을 수 있는 기술을 제공한다. 또한 본 발명은, 3매 이상의 화상을 이용하여 합성할 경우에 회로 규모를 보다 작게 하여 처리 지연을 더욱 줄일 수 있는 기술을 제공한다.Thus, the present invention provides a technique for smoothly connecting boundaries of images when composing using three or more images, and obtaining a natural composite image. Further, the present invention provides a technique for further reducing the processing delay by further reducing the circuit scale when synthesizing using three or more images.
본 발명의 일실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되고 있는 선택 정보에 대해 소정 처리를 하는 처리부와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부를 구비한 화상 처리 장치가 제공된다.According to one embodiment of the present invention, the discrimination value for discriminating each of N (N is a natural number of 3 or more) images photographed at different exposure amounts is a value obtained by multiplying a predetermined numerical value by N-1 to an upper limit value A processing unit for performing a predetermined process on selection information defined in a range corresponding to each pixel and a selection value indicating any one of identification values for identifying each of the N pieces of images; And a combining unit for executing a combining process for combining corresponding pixels of each of the two images with respect to each of the pixels, There is provided an image processing apparatus comprising:
상기 구성에 의해 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는, 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.With the above arrangement, at the vicinity of a boundary between a plurality of images photographed at different exposure amounts, an intermediate value of the selection value of each of the adjacent plural images is generated as the selected value. Therefore, a composite image in which the vicinity of the boundary is smoothly connected can be obtained by smoothly changing the mixing ratio.
또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 더 줄일 수 있다.With reference to the selection information as one parameter, two images to be combined can be selected for each pixel from three or more images having different exposure amounts. Therefore, when the circuit is configured by hardware, it can be mounted with a smaller circuit scale, and when it is mounted with software, the computation load can be further reduced.
예를 들면, 상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값이어도 좋다. 상기 구성에 의하면, 인접한 식별치끼리의 간격을 등간격으로 하여 노광량순으로 식별치를 할당할 수 있게 되므로 상기 소정 처리된 선택 정보에 정의되어 있는 선택치를 이용하여 혼합 비율을 용이하게 연산할 수 있게 된다.For example, the identification value for identifying each of the N images may be a value obtained by multiplying the predetermined value by each integer from 0 to N-1 in ascending or descending order of the exposure amount. According to the above configuration, the identification value can be assigned in the order of the exposure amount with the interval between the adjacent identification values being equal, so that the blending ratio can be calculated easily by using the selection value defined in the predetermined processed information .
상기 소정 처리는, 선택 정보를 크게 그라데이션시키는 처리인 것이 바람직하다. 그러면 경계 부근을 더욱 매끄럽게 접속시킬 수 있게 된다. 예를 들면, 상기 소정 처리는 로우 패스 필터 처리여도 좋다.It is preferable that the predetermined processing is processing for largely grading the selection information. This makes it possible to smoothly connect the vicinity of the boundary. For example, the predetermined process may be a low-pass filter process.
상기 2매의 화상을 화소마다 선택하는 수법은 특별히 한정되지 않는다. 예를 들면, 상기 합성부는 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 더욱 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정해도 좋다. 이와 같이 하여 상기 2매의 화상을 화소마다 선택해도 좋다.The method of selecting the two images for each pixel is not particularly limited. For example, the combining section may specify, as an identification value for identifying each of the two images, two identification values having a smaller difference from the selection values defined in the predetermined processed selection information. In this way, the two images may be selected for each pixel.
또 예를 들면, 상기 합성부는 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성해도 좋다. 이와 같이 하여 혼합 비율을 화소마다 산출할 수 있다.For example, the combining unit may determine a blending ratio in accordance with a difference value between a selection value defined in the predetermined processed selection information and an identification value of each of the two images, and based on the blending ratio, May be synthesized for each pixel of the image. In this manner, the mixing ratio can be calculated for each pixel.
또 본 발명의 다른 실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 단계와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 단계를 포함한 화상 처리 방법이 제공된다.According to another embodiment of the present invention, the discrimination value for discriminating each of N (N is a natural number of 3 or more) images photographed at different exposure amounts is a value obtained by multiplying a predetermined value by N-1, The method comprising the steps of: performing a predetermined process on selection information defined as a range defined by a range of pixel values of a plurality of pixels and a selection value indicating one of identification values for identifying each of the N images, Executing a selection process of selecting two images from the N images based on the selection values defined in the information and a combining process of combining the pixels of the two images with each other for each pixel Is provided.
상기 방법에 의하면, 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는, 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.According to the above method, an intermediate value of the selection value of each of the adjacent plural images is generated as the selected value in the vicinity of the adjacent boundary between a plurality of images photographed at different exposure amounts. Therefore, a composite image in which the vicinity of the boundary is smoothly connected can be obtained by smoothly changing the mixing ratio.
또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 더욱 줄일 수 있다.With reference to the selection information as one parameter, two images to be combined can be selected for each pixel from three or more images having different exposure amounts. Therefore, when the circuit is configured by hardware, it can be mounted with a smaller circuit scale, and when it is mounted with software, the computation load can be further reduced.
이상 설명한 것처럼 본 발명에 의하면, 3매 이상의 화상을 이용하여 합성할 경우에 화상의 경계를 매끄럽게 접속하여 자연스러운 합성 화상을 얻을 수 있는 기술을 제공할 수 있다. 또한 본 발명에 의하면, 3매 이상의 화상을 이용하여 합성할 경우에 회로 규모를 보다 작게 하여 처리 지연을 더욱 줄일 수 있다.As described above, according to the present invention, it is possible to provide a technology for smoothly connecting boundaries of images when synthesizing using three or more images, thereby obtaining a natural composite image. Further, according to the present invention, in the case of synthesizing using three or more images, the circuit scale can be further reduced and the processing delay can be further reduced.
도 1은 본 발명의 실시형태에 관한 화상 처리 장치의 기능 구성예를 도시한 도면이다.
도 2는 본 발명의 실시형태에 관한 WDR 합성 기술에서의 각종 정보의 예를 도시한 도면이다.
도 3은 본 발명의 실시형태에 관한 화상 처리 장치의 동작 흐름의 예를 도시한 도면이다.1 is a diagram showing an example of a functional configuration of an image processing apparatus according to an embodiment of the present invention.
2 is a diagram showing examples of various kinds of information in the WDR synthesis technique according to the embodiment of the present invention.
3 is a diagram showing an example of the operational flow of the image processing apparatus according to the embodiment of the present invention.
이하에 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는 동일 부호를 붙임으로서 중복 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.
또 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 복수의 구성요소를, 동일한 부호 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 가진 복수의 구성요소 각각을 특별히 구별할 필요가 없는 경우 동일 부호만을 붙인다.Also, in the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different alphabets to the same reference characters. However, when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numeral is attached.
아울러 본 명세서에서는, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상의 예로서, 노광량이 적은 순서대로 단노광 화상, 중노광 화상 및 장노광 화상의 3개의 화상을 촬영하는 예를 주로 설명하기로 한다. 그러나 후술하는 바와 같이 4매 이상의 화상을 촬영할 경우에도 본 발명의 실시형태에 관한 화상 처리 장치(1)는 적용 가능하다.In the present specification, as an example of images of N (N is a natural number of 3 or more) images taken at different exposure amounts, three images of a single exposure image, a medium exposure image, and a long exposure image are taken in order of decreasing exposure dose Will be mainly described. However, the
우선, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 기능 구성을 도시한 도면이다. 도 3에 도시한 바와 같이 화상 처리 장치(1)는, 센서(10), 단노광 화상 메모리(21), 중노광 화상 메모리(22), 장노광 화상 메모리(23), 사용 화상 선택부(30), LPF(Low Pass Filter)(40), WDR 합성부(50) 및 계조 압축부(60)를 구비한다. 이하, 화상 처리 장치(1)가 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.First, the functional configuration of the
화상 처리 장치(1)는, 센서(10)의 노광 설정을 바꾸어 3매의 화상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 다음으로 중노광 촬영을 하고 그 다음으로 장노광 촬영을 하는 것으로 한다. 단노광 촬영된 단노광 화상은 단노광 화상 메모리(21)에 기입된다. 화상 처리 장치(1)는, 단노광 촬영이 종료되면 노광 설정을 바꾸어 중노광 촬영을 한다. 중노광 촬영된 중노광 화상은 중노광 화상 메모리(22)에 기입된다. 화상 처리 장치(1)는, 중노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 한다. 장노광 촬영된 장노광 화상은 장노광 화상 메모리(23)에 기입된다.The
도 1에 도시한 예에서는, 화상 처리 장치(1)는 장노광 화상, 중노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 1개 가지고 센서(10)가 장노광 화상과 중노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였으나, 장노광 화상과 중노광 화상과 단노광 화상이 동시에 촬영되어도 좋다. 이런 경우, 화상 처리 장치(1)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 중노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 3개의 계통을 가지면 된다. 각각의 셔터 타임은, 예를 들면 촬영 대상의 다이나믹 레인지나 센서 사양 등에 의해 정해진다.In the example shown in Fig. 1, the
아울러 단노광 화상, 중노광 화상 및 장노광 화상 각각의 독출 동작은, 하드웨어 실장의 경우에는 시스템을 어떻게 짜는지에 따라 바뀔 수 있다. 예를 들면, 단노광 화상, 중노광 화상 및 장노광 화상 각각은 일단 DRAM(Dynamic Random Access Memory) 등의 메모리에 격납된 후 합성시에 재차 독출되는 구성이어도 좋다.In addition, the read operation of each of the short exposure image, the middle exposure image, and the long exposure image may be changed depending on how the system is woven in the case of hardware implementation. For example, each of the short exposure image, the middle exposure image, and the long exposure image may be temporarily stored in a memory such as DRAM (Dynamic Random Access Memory) and read out again at the time of composition.
여기서 본 발명의 실시형태에서는 단노광 화상, 중노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는 촬영된 3개 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 3개의 화상이 촬영된 경우에 해당 3개의 화상 중 노광 시간이 짧은 순서대로 단노광 화상, 중노광 화상 및 장노광 화상으로 명명된다.Here, in the embodiment of the present invention, terms such as a single exposure image, a medium exposure image, and a long exposure image are used, but these terms do not limit the absolute exposure time of each of the three photographed images. Therefore, when three images having different exposure times are photographed, they are named as a single exposure image, a medium exposure image, and a long exposure image in the order of short exposure time among the three images.
도 2에 도시한 「단노광 화상」 「중노광 화상」 「장노광 화상」은, 단노광 화상, 중노광 화상 및 장노광 화상 각각의 예를 나타낸다. 「단노광 화상」을 참조하면, 매우 높은 휘도를 가진 창 밖의 풍경이 적정 노출로 촬영되었다. 그러나 그 이외의 영역은 노출 언더가 되어 거의 새까맣게 되어 시인성이 낮아졌다.The "short exposure image", the "middle exposure image", and the "long exposure image" shown in FIG. 2 show examples of the short exposure image, the middle exposure image, and the long exposure image, respectively. Referring to the " single-exposure image ", the scenery outside the window having a very high luminance was photographed at an appropriate exposure. However, the other areas became underexposed and became almost black and visibility was lowered.
「중노광 화상」을 참조하면, 선반 위의 영역이 적정 노출로 촬영되어 휴대전화의 존재를 시인할 수 있게 된다. 그러나 창 밖은 과노출로 희게 날리고 선반 아래는 아직 노출 언더라서 시인성이 낮다. 「장노광 화상」을 참조하면 어두운 선반 아래의 영역이 적정 노출로 촬영되어 가방의 존재를 시인할 수 있게 된다. 그러나 창 밖 및 선반 위는 과노출이 되어 시인성이 낮아진다.Referring to the " intermediate exposure image ", the area on the shelf is photographed with proper exposure, and the presence of the mobile phone can be recognized. However, the outside of the window is exposed with overexposure, and under the shelf is still under exposed, so the visibility is low. Referring to the " long exposure image ", the area under the dark shelf can be photographed with proper exposure to visually recognize the presence of the bag. However, out-of-window and over-the-shelf areas are exposed and become less visible.
도 1로 되돌아와 설명을 계속하기로 한다. 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예를 들면 CCD(Charge Coupled Device)여도 좋고, CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.Returning to Fig. 1, description will be continued. The
사용 화상 선택부(30)는 단노광 화상 메모리(21)로부터 독출한 단노광 화상과, 중노광 화상 메모리(22)로부터 독출한 중노광 화상과, 장노광 화상 메모리(23)로부터 독출한 장노광 화상을 참조하여 단노광 화상, 중노광 화상 및 장노광 화상 각각의 포화 상태나 움직임 등을 검출하여 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로서 선택하기 위한 선택 정보를 생성한다. 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로서는 다양한 알고리즘이 상정된다.The used
예를 들면, 장노광 화상에서 포화된 영역은 중노광 화상에서는 포화되지 않을 가능성이 높기 때문에 해당 영역의 사용 화상으로서는 중노광 화상을 선택하면 된다. 그러나 해당 영역이 중노광 화상에서도 포화되어 있는 경우에는 해당 영역의 사용 화상으로서 단노광 화상을 선택해도 좋다. 그러나 이 처리만으로는, 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 따라서 움직임을 검출하여 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.For example, since a saturated region in a long exposure image is highly unlikely to be saturated in a medium exposure image, a heavy exposure image can be selected as a used image in the corresponding region. However, if the area is also saturated in the middle exposure image, a short exposure image may be selected as the used image of the area. However, with this processing alone, artefacts can occur such as a double contour in a region with large motion. Therefore, a process of detecting a motion and reducing a phenomenon of a double contour may be performed. The algorithm for selecting either the short exposure image, the middle exposure image, or the long exposure image including the above process is not particularly limited.
아울러 본 명세서에서는, 장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2)는, 「0」을 하한치로 하여 소정 수치A에 N-1(이 예에서는, 화상이 3매이므로 3-1=2)을 곱한 수치를 상한치로 하는 범위로 정의된다. 상기 선택 정보는 장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2) 중 하나를 나타내는 선택치가 각 화소에 대응하여 정의된다. 소정 수치A는 특별히 한정되지 않지만, 2의 누승이라면 후술하는 바와 같이 식별치간의 거리에 의한 나눗셈이 간단한 비트 시프트 연산으로 이루어질 수 있다.In this specification, the identification values (D0 to D2) for identifying each of the long exposure image, the middle exposure image, and the short exposure image are set to N-1 (in this example, 3 " = 2) so that the upper limit value is defined as a range. The selection information is defined in correspondence with each pixel to a selection value indicating one of identification values (D0 to D2) for identifying each of a long exposure image, a middle exposure image, and a short exposure image. The predetermined value A is not particularly limited, but if it is the power of 2, division by the distance between the discrimination values can be performed by a simple bit shift operation as described later.
장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2)는, 소정 수치A에 대해 「0」, 「1」, 「2」를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값이면 된다. 이하에 나타내는 예에서는, 소정 수치A를 「256」으로 하고, 「256」에 대해 「0」을 곱한 결과로의 「0」이, 장노광 화상을 식별하기 위한 식별치D0로서 할당된 경우를 설명하기로 한다.The discrimination values (D0 to D2) for discriminating each of the long exposure image, the middle exposure image and the short exposure image are obtained by multiplying the predetermined value A by "0", "1" and "2" in ascending or descending order As shown in Fig. In the following example, a case where "0" as a result of multiplying the predetermined value A by "256" and "256" by "0" is assigned as an identification value D0 for identifying a long exposure image is explained .
마찬가지로 이하에 나타내는 예에서는, 「256」에 대해 「1」을 곱한 결과로서의 「256」이, 중노광 화상을 식별하기 위한 식별치D1으로서 할당되고, 「256」에 대해 「2」를 곱한 결과로서의 「512」가, 단노광 화상을 식별하기 위한 식별치D2로서 할당된 경우를 설명하기로 한다.Similarly, in the example shown below, "256" as a result of multiplying "256" by "1" is assigned as an identification value D1 for identifying a middle exposure image, and "256" is multiplied by "2" Quot; 512 " is assigned as an identification value D2 for identifying a single exposure image will be described.
도 2에 도시한 「선택 정보」는, 사용 화상 선택부(30)에 의해 생성된 선택 정보의 일례를 나타낸다. 이 「선택 정보」는, 「장노광 화상」에서 포화되지 않은 영역의 사용 화상으로서는 「장노광 화상」을 선택하고, 「장노광 화상」에서 포화되고 「중노광 화상」에서 포화되지 않은 영역의 사용 화상으로서는 「중노광 화상」을 선택하고, 「중노광 화상」에서 포화된 영역의 사용 화상으로서는 「단노광 화상」을 선택하는 수법을 채용한 경우에 생성된다.The " selection information " shown in Fig. 2 shows an example of the selection information generated by the used
이 「선택 정보」에서 검은색 영역은 「장노광 화상」을 선택한다는 취지를 나타내고 있으며 검은색 영역의 각 선택치는 「0」이다. 또 회색 영역은 「중노광 화상」을 선택한다는 취지를 나타내고 있으며 회색 영역의 각 선택치는 「256」이다. 또한 흰색 영역은 「단노광 화상」을 선택한다는 취지를 나타내고 있으며 흰색 영역의 각 선택치는 「512」이다.In this " selection information ", the black area indicates that " long exposure image " is selected and each selection value in the black area is " 0 ". The gray area indicates that "medium exposure image" is selected, and each selection value of the gray area is "256". Further, the white area indicates that "short exposure image" is selected, and each selection value of the white area is "512".
도 1로 되돌아와 설명을 계속하기로 한다. LPF(40)는, 이와 같이 정의된 선택 정보에 대해 처리를 한다. 이하에서는, 소정 처리가 로우 패스 필터 처리인 경우를 예로 들어 설명을 계속하는데, 소정 처리는 특별히 한정되지 않는다. 로우 패스 필터 처리는, 선택 정보에서 고주파 성분을 제거하는 처리에 상당한다. 상기 처리에 의해 선택 정보를 크게 그라데이션시켜 WDR 합성부(50)에서 합성할 때에 단노광 화상, 중노광 화상 및 장노광 화상 각각의 경계를 매끄럽게 접속시킬 수 있게 된다.Returning to Fig. 1, description will be continued. The
LPF(40)로부터의 출력 신호의 비트 정밀도는, 단노광 화상, 중노광 화상 및 장노광 화상 각각의 경계가 매끄럽게 접속되기에 충분하도록 확보되면 된다. 선택 정보의 그라데이션 방법에는 다양한 수법이 상정되어 특별히 한정되지 않지만, 그라데이션 효과와 연산량 및 회로 규모 등을 고려하여 그라데이션 방법이 결정되는 것이 바람직하다. 도 2에 도시한 「선택 정보+LPF」는, 「선택 정보」에 대해 로우 패스 필터 처리가 LPF(40)에 의해 이루어진 선택 정보의 예를 나타내고 있다.The bit precision of the output signal from the
도 2에 도시한 「선택 정보+LPF」를 참조하면, 「선택 정보」에서 다른 선택치를 가진 2개 영역의 경계 부근에서는 해당 2개 영역 각각의 선택치의 중간값이 선택치로서 출력된다. 반면 「선택 정보」에서 일정한 선택치가 연속되어 있는 영역에서는 그 영역의 선택치가 그대로 유지된다.Referring to the " selection information + LPF " shown in Fig. 2, in the vicinity of the boundary between two areas having different selection values in the " selection information ", intermediate values of the selection values of the two areas are output as selected values. On the other hand, in a region where certain selection values are continuous in the " selection information ", the selected value of the region is maintained as it is.
WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 선택하는 선택 처리와, 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행한다.The
예를 들면, 선택 처리에서 WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 각 화소에 대해 선택하면 좋다. 보다 상세하게는, WDR 합성부(50)는 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.For example, in the selection process, the
또 예를 들면, 합성 처리에서 WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치와 선택한 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 혼합 비율에 기초하여 해당 2매의 화상 각각의 대응하는 화소를 합성하면 좋다. 예를 들면, 선택한 2매의 화상 각각의 식별치끼리의 거리에 대한 선택치에서 각 식별치로의 거리를 각 혼합 비율로 해도 좋다.For example, in the combining process, the
예를 들면 WDR 합성부(50)는, 각 화소에 대해 선택치를 Sel로 하고, 단노광 화상의 화소치를 Ps로 하고, 중노광 화상의 화소치를 Pm으로 하고, 장노광 화상의 화소치를 Pl로 하고, 합성 후의 화소치를 Out으로 한 경우, 이하의 [수학식 1] 또는 [수학식 2]에 기초하여 합성할 수 있다.For example, the
[수학식 1][Equation 1]
IF(256<Sel≤512)IF (256 <
Out=Ps*(512-Sel)/(512-256) + Pm*(Sel-256)/(512-256)Out = Ps * (512-Sel) / (512-256) + Pm * (Sel-256) / (512-256)
[수학식 2]&Quot; (2) "
IF(0≤Sel≤256)IF (0? Sel? 256)
Out=Pm*(Sel-256)/(256-0) + Pl*Sel/(256-0)
Out = Pm * (Sel-256) / (256-0) + Pl * Sel / (256-0)
예를 들면, 선택치Sel이 「300」인 화소가 존재한다고 하자. 이 선택치Sel 「300」은, 중노광 화상을 식별하기 위한 식별치「256」보다 크고, 단노광 화상을 식별하기 위한 식별치「512」이하이다. 이러한 경우에 식(1)의 조건을 충족하여 그 선택치Sel과의 차분이 보다 작은 2개의 식별치는 「256」「512」가 된다. 따라서 WDR 합성부(50)는, 이 2개의 식별치「256」「512」를 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.For example, assume that a pixel with a selection value Sel of " 300 " exists. This selection value Sel " 300 " is larger than the identification value " 256 " for identifying the middle exposure image and is equal to or smaller than the identification value " 512 " In this case, the two identification values that satisfy the condition of the expression (1) and whose difference from the selection value Sel is smaller are "256" and "512". Therefore, the
또 이러한 경우, 선택한 2매의 화상 각각의 식별치끼리의 거리는 「512」-「256」=「256」이며, 선택치Sel「300」에서 식별치「256」으로의 거리는 「300」-「256」=「44」이며, 선택치Sel「300」에서 식별치「512」로의 거리는 「512」-「300」=「212」이다. 따라서 WDR 합성부(50)는, 중노광 화상의 혼합 비율을 「44」/「256」, 단노광 화상의 혼합 비율을 「212」/「256」으로 산출하고 이들 혼합 비율과 각 화소치를 이용하여 식(1)에 기초하여 합성 후의 화소치Out을 산출할 수 있다.In this case, the distance between the identification values of the selected two images is "512" - "256" = "256", and the distance from the selection value Sel "300" to the identification value "256" = 44, and the distance from the selection value Sel "300" to the identification value "512" is "512" - "300" = "212". Therefore, the
이 예와 같이 단노광 화상을 사용 화상으로 하는 영역과 중노광 화상을 사용 화상으로 하는 영역이 인접한 경계 부근에서는, LPF(40)에 의해 「256」과 「512」의 중간값이 선택치로서 생성된다. 따라서 WDR 합성부(50)는 단노광 화상 및 중노광 화상 각각의 화소치의 혼합 비율이 매끄럽게 변화되도록 할 수 있다. 그 결과, 다른 노광량의 화상끼리의 경계 부근이 매끄럽게 접속된 WDR 합성 화상을 얻을 수 있다.As shown in this example, in the vicinity of the boundary between the region where the short exposure image is used as the used image and the region where the heavy exposure image is used as the used image, an intermediate value of "256" and "512" is generated as a selection value by the
또 예를 들면, 선택치Sel이 「200」인 화소가 존재한다고 하자. 이 선택치Sel「200」은, 장노광 화상을 식별하기 위한 식별치「0」이상이며, 중노광 화상을 식별하기 위한 식별치「256」이하이다. 이러한 경우, 식(2)의 조건을 충족하며 그 선택치Sel과의 차분이 보다 작은 2개의 식별치는 「0」「256」이 된다. 따라서 WDR 합성부(50)는 이 2개의 식별치「0」「256」을 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.For example, it is assumed that a pixel having a selection value Sel of "200" exists. The selection value Sel " 200 " is equal to or larger than the identification value " 0 " for identifying the long exposure image, and is equal to or smaller than the identification value " 256 " In this case, the two identification values which satisfy the condition of the expression (2) and whose difference from the selection value Sel is smaller are "0" and "256". Therefore, the
또 이러한 경우, 선택한 2매의 화상 각각의 식별치끼리의 거리는 「256」-「0」=「256」이며, 선택치Sel「200」에서 식별치「0」으로의 거리는 「200」-「0」=「200」이며, 선택치Sel「200」에서 식별치「256」으로의 거리는 「256」-「200」=「56」이다. 따라서 WDR 합성부(50)는, 중노광 화상의 혼합 비율을 「56」/「256」, 장노광 화상의 혼합 비율을 「200」/「256」으로 산출하고 이러한 혼합 비율과 각 화소치를 이용하여 식(2)에 기초하여 합성 후의 화소치Out을 산출할 수 있다.In this case, the distance between the identification values of the two selected images is "256" - "0" = "256", and the distance from the selection value Sel "200" to the identification value "0" is "200" = 200, and the distance from the selection value Sel "200" to the identification value "256" is "256" - "200" = "56". Therefore, the
이 예와 같이 장노광 화상을 사용 화상으로 하는 영역과 중노광 화상을 사용 화상으로 하는 영역이 인접한 경계 부근에서는, LPF(40)에 의해 「0」과 「256」의 중간값이 선택치로서 생성된다. 따라서 WDR 합성부(50)는 장노광 화상 및 중노광 화상 각각의 화소치의 혼합 비율이 매끄럽게 변화되도록 할 수 있다. 그 결과, 다른 노광량의 화상끼리의 경계 부근이 매끄럽게 접속된 WDR 합성 화상을 얻을 수 있다.As shown in this example, in the vicinity of the boundary between the region where the long exposure image is used as the used image and the region where the heavy exposure image is used as the used image, the
아울러 상기 예에서는, 선택치Sel이 「256」인 경우 상기 식(2)의 조건을 충족하도록 되어 있으나 상기 식(2)의 조건 대신에 상기 식(1)의 조건을 충족하도록 각각의 조건을 변경해도 좋다.In the above example, when the selection value Sel is " 256 ", the condition of the equation (2) is satisfied, but the condition of the equation (1) is changed instead of the condition of the equation It is also good.
계조 압축부(60)는, 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지로 수렴하기 위한 압축 처리를, WDR 합성부(50)에 의해 생성된 WDR 화상에 대해 실행한다. 계조 압축부(60)의 후단은, 예를 들면 베이어 데이터로부터 RGB플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함한 화상 처리 엔진에 접속된다. 따라서 계조 압축부(60)로부터의 출력 신호의 데이터량은, 예를 들면 화상 처리 엔진으로의 입력 데이터 사이즈에 적합하도록(예를 들면, 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 사이즈를 줄이는 것만으로는 어두운 화상으로 변환되기 때문에 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.The
도 2에 도시한 「합성 화상」은, 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의해 출력되는 합성 화상의 예이다. 이 예를 참조하면, 노광량이 다른 화상끼리 이웃한 경계 부근에서도 불연속적인 부분이 눈에 띄지 않아 자연스러운 합성 화상이 얻어지는 것으로 파악된다.The "composite image" shown in FIG. 2 is an example of a composite image output by the
또 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의하면, 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있고 혼합 비율을 화소마다 산출할 수 있다. 따라서 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의하면, 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 화상 처리 장치(1)를 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 보다 작게 할 수 있다.With reference to the selection information as one parameter, according to the
이상에서는, 노광량이 다른 3매의 화상을 사용하는 WDR 합성을 주로 설명하였으나, 4매 이상의 화상을 사용하는 WDR 합성에도 같은 수법을 이용하여 확장할 수 있다. 예를 들면 4매 이상의 화상을 사용할 경우, 단노광 화상 및 장노광 화상 각각을 식별하기 위한 식별치로서 「768」「0」을 할당하고, 그 중간 노광량의 2매의 화상 각각을 식별하기 위한 식별치로서 「512」「256」을 할당하면 된다.In the above description, WDR synthesis using three images with different exposure amounts is mainly described. However, WDR synthesis using four or more images can be extended using the same technique. For example, when four or more images are used, " 768 " and " 0 " are assigned as discrimination values for discriminating each of the short exposure image and long exposure image, and an identification Quot; 512 " and " 256 "
로우 패스 필터 처리를 한 선택 정보를 사용하여 합성할 경우에도, 합성 대상이 되는 2매의 화상을 선택하는 부분을 바꿀 뿐 컨볼루션 연산은 동일하게 실행하면 된다. 이와 같이 하여 합성에 사용하는 화상이 만약 5매, 6매…로 증가하더라도 본 발명의 실시형태에 관한 수법을 확장하여 대응할 수 있다.Even when synthesizing using the selection information subjected to the low-pass filter processing, the convolution operation can be performed in the same manner as that for changing the portion for selecting two images to be combined. In this way, if the image used for the synthesis is 5 sheets, 6 sheets, The method according to the embodiment of the present invention can be extended and coped with.
도 3은, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 동작 흐름의 예를 도시한 도면이다. 도 3을 참조하여 사용 화상 선택부(30) 및 WDR 합성부(50) 각각에 대해 단노광 화상, 중노광 화상 및 장노광 화상이 출력되는 경우를 일례로 들어 설명하기로 한다. 도 3에 도시한 바와 같이 우선 사용 화상 선택부(30)는, 단노광 화상, 중노광 화상 및 장노광 화상 각각을 식별하기 위한 식별치(D1∼D3)가, 0을 하한치로 하고 소정 수치A에 N-1(이 예에서는, 화상이 3매이므로 3-1=2)을 곱한 수치를 상한치로 하는 범위로 정의되며, 이 식별치(D1∼D3) 중 하나를 나타내는 선택치가 각 화소에 대응하여 정의되는 선택 정보를 생성한다(단계S1).3 is a diagram showing an example of the operation flow of the
계속해서 LPF(40)는, 선택 정보에 대해 소정 처리의 일례로서의 로우 패스 필터 처리를 한다(단계S2). WDR 합성부(50)는 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 선택하는 선택 처리와, 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행한다(단계S3). 상기와 같이 합성 화상은 계조 압축부(60)에 의해 압축되는 것이 바람직하다.Subsequently, the
본 발명의 실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 처리부와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부를 구비한 화상 처리 장치가 제공된다.According to the embodiment of the present invention, the discrimination value for discriminating each of N (N is a natural number of 3 or more) images photographed at different exposure amounts is a value obtained by multiplying a predetermined value by N-1 with 0 being the lower limit value A processing unit that performs a predetermined process on selection information defined in a range corresponding to each pixel and that has a selection value indicating any one of identification values for identifying each of the N pieces of images; A selecting process of selecting two images from the N pieces of images based on the defined selection values and a synthesizing section executing synthesis processing for synthesizing the pixels corresponding to the two images with respect to each pixel An image processing apparatus is provided.
상기 구성에 의해, 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.With the above arrangement, in the vicinity of the adjacent boundary between a plurality of images photographed at different exposure amounts, an intermediate value of the selection values of each of the adjacent plurality of images is generated as the selected value. Therefore, a composite image in which the vicinity of the boundary is smoothly connected can be obtained by smoothly changing the mixing ratio.
또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 보다 작게 할 수 있다.With reference to the selection information as one parameter, two images to be combined can be selected for each pixel from three or more images having different exposure amounts. Therefore, when the circuit is configured by hardware, it can be mounted with a smaller circuit scale, and when the circuit is mounted by software, the computation load can be reduced.
아울러 본 발명에 관한 실시형태에서는, 어느 한 화소에 대해 합성할 때 반드시 2매의 화상의 화소치를 사용하는데 반해, 선행 기술인 일본특개2009-10566호 공보에 기재된 기술에서는, 3매의 화상을 사용하여 1개의 화소에 대한 합성 결과를 얻는 경우도 있다고 생각된다. 이 점에서 본 발명의 실시형태에 관한 합성 성능이 떨어지는 것은 아니냐는 지적도 있을 수 있다.In the embodiments of the present invention, pixel values of two images are always used when synthesizing a pixel, whereas in the technique disclosed in Japanese Patent Laid-Open Publication No. 2009-10566, three images are used The synthesis result for one pixel may be obtained. From this point of view, it may be pointed out that the performance of synthesis according to the embodiment of the present invention is not deteriorated.
그러나 상기 선행 기술에서는 EV를 ±1정도 바꾼 촬영을 상정하고 있으며, 그 경우에는 3매의 화상을 합성하는 의미도 있을 수 있다. 그러나 예를 들면, 본 발명의 실시형태와 같이 여러 배의 노출 차이를 두고 촬영된 화상을 합성할 경우에는 노출 차이가 너무 커서 화상 3매분을 합성에 이용하는 의미가 퇴색된다. 그 뿐만 아니라 오히려 불필요한 정보를 혼합하게 될 수 있다. 따라서 반드시 2매를 선택하여 합성하는 본 수법은 합리적이며, 선행 기술에 대해 뒤떨어지지 않는다고 생각된다.However, in the above prior art, it is assumed that the EV is changed by about ± 1, and in this case, there may be a meaning of synthesizing three images. However, for example, when images photographed with exposure differences of several times as in the embodiment of the present invention are synthesized, the exposure difference is too large and the meaning of using three images for synthesis is faded. Not only that, but you can also mix unnecessary information. Therefore, it is considered that this method of selecting and synthesizing two sheets is reasonable and does not fall behind the prior art.
또 일본특개2005-72965호 공보에는, 단시간 노광과 장시간 노광을 가산 평균함으로써 단시간 노광과 장시간 노광의 2매의 화상을 매끄럽게 연결하는 수법이 개시되어 있다. 상기 수법에서는, 1개의 합성 파라미터를 화소마다 정의하여 화소마다 2개의 화상의 화소치를 선형 결합한다. 상기 수법에 의하면, 2매의 화상을 매끄럽게 접속하는 것은 가능하지만 3매 이상의 화상을 합성할 수 없다.Japanese Patent Application Laid-Open No. 2005-72965 discloses a method of smoothly connecting two images, that is, a short-time exposure and a long-time exposure, by averaging the short-time exposure and the long-time exposure. In this method, one synthesis parameter is defined for each pixel, and the pixel values of two images are linearly combined for each pixel. According to the above method, two images can be smoothly connected but three or more images can not be synthesized.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하였으나 본 발명은 상기 예로 한정되지는 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited thereto. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents. .
본 발명의 실시형태에 관한 수법에 의한 처리 대상의 신호로서는, Bayer 데이터를 이용하는 경우가 가장 바람직하지만, 해당 처리 대상의 신호로서 이용되는 신호는 Bayer 데이터로 한정되지 않으며 RGB 데이터여도 좋고 YUV 데이터여도 좋다.As the signal to be processed by the method according to the embodiment of the present invention, it is most preferable to use the Bayer data, but the signal used as the signal to be processed is not limited to the Bayer data and may be RGB data or YUV data .
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .
1: 화상 처리 장치
10: 센서
21: 단노광 화상 메모리
22: 중노광 화상 메모리
23: 장노광 화상 메모리
30: 사용 화상 선택부
40: LPF(처리부)
50: WDR 합성부(합성부)
60: 계조 압축부
D0,D1,D2: 식별치
A: 소정 수치
Sel: 선택치
Out: 합성 후의 화소치1: Image processing device
10: Sensor
21: Short exposure image memory
22: Medium exposure image memory
23: Long exposure image memory
30: Used image selection unit
40: LPF (processing section)
50: WDR combining section (combining section)
60: gradation compression section
D0, D1, D2: Identification value
A:
Sel: Selection value
Out: Pixel value after synthesis
Claims (10)
상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부,
를 구비한 화상 처리 장치.The identification value for identifying each of the N (N is a natural number of 3 or more) images photographed at different exposure amounts is defined as a range in which a value obtained by multiplying a predetermined numerical value by N-1 is set as an upper limit value, And a discrimination value for discriminating each of the pixels of the image, which is defined in correspondence with each pixel,
A selection process of selecting two images from the N pieces of images based on the selection values defined in the predetermined processed selection information and a combining process of combining corresponding pixels of the two images with each pixel For example,
And the image processing apparatus.
상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값인 화상 처리 장치.The method according to claim 1,
Wherein the identification value for identifying each of the N pieces of images is a value that is obtained by multiplying each of the integers from 0 to N-1 to the predetermined numerical value in an ascending or descending order of the exposure amount.
상기 소정 처리는 로우 패스 필터 처리인 화상 처리 장치.The method according to claim 1,
Wherein the predetermined processing is low pass filter processing.
상기 합성부는, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정하는 화상 처리 장치.The method according to claim 1,
Wherein the combining section specifies two identification values having a smaller difference from a selection value defined in the predetermined processed selection information as an identification value for identifying each of the two images.
상기 합성부는, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성하는 화상 처리 장치.The method according to claim 1,
Wherein the combining section determines a blending ratio in accordance with a difference value between a selection value defined in the predetermined processed selection information and an identification value of each of the two images and determines, based on the blending ratio, And the corresponding pixels of the pixel are combined.
상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 단계,
를 포함한, 화상 처리 방법.The identification value for identifying each of the N (N is a natural number of 3 or more) images photographed at different exposure amounts is defined as a range in which a value obtained by multiplying a predetermined numerical value by N-1 is set as an upper limit value, A step of performing a predetermined process on selection information in which a selection value indicating any one of identification values for identifying each of the plurality of pixels is defined for each pixel,
A selection process of selecting two images from the N pieces of images based on the selection values defined in the predetermined processed selection information and a combining process of combining corresponding pixels of the two images with each pixel , ≪ / RTI >
And the image processing method.
상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값인 화상 처리 방법.The method according to claim 6,
Wherein the identification value for identifying each of the N pieces of images is a value obtained by multiplying each of the integers from 0 to N-1 to the predetermined numerical value in an ascending or descending order of the exposure amount.
상기 소정 처리는 로우 패스 필터 처리인 화상 처리 방법.The method according to claim 6,
Wherein the predetermined processing is low pass filter processing.
상기 상기 합성 처리를 각 화소에 대해 실행하는 단계는,
상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정하는 화상 처리 방법.The method according to claim 6,
Wherein the step of executing the combining processing for each pixel comprises:
And identifies two identification values each having a smaller difference from the selection value defined in the predetermined processed selection information as an identification value for identifying each of the two images.
상기 합성 처리를 각 화소에 대해 실행하는 단계는,
상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성하는 화상 처리 방법.
The method according to claim 6,
Wherein the step of performing the combining processing for each pixel comprises:
Wherein the blending ratio is determined in accordance with the difference value between the selection value defined in the predetermined processed selection information and the identification value of each of the two images, and based on the blending ratio, Is synthesized.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2013-100510 | 2013-05-10 | ||
JP2013100510A JP6121234B2 (en) | 2013-05-10 | 2013-05-10 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140133407A true KR20140133407A (en) | 2014-11-19 |
KR102071460B1 KR102071460B1 (en) | 2020-03-02 |
Family
ID=51938814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140010719A KR102071460B1 (en) | 2013-05-10 | 2014-01-28 | Syestem and method for image processing |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6121234B2 (en) |
KR (1) | KR102071460B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019236626A2 (en) | 2018-06-07 | 2019-12-12 | Dolby Laboratories Licensing Corporation | Hdr image generation from single-shot hdr color image sensors |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120005966A (en) * | 2010-07-09 | 2012-01-17 | 가시오게산키 가부시키가이샤 | Image combining apparatus, image combining method and program product |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010566A (en) * | 2007-06-27 | 2009-01-15 | Yamaguchi Univ | Method for expanding dynamic range of photographic image and imaging apparatus |
JP2012019392A (en) * | 2010-07-08 | 2012-01-26 | Nikon Corp | Image processing apparatus, electronic camera, and image processing program |
-
2013
- 2013-05-10 JP JP2013100510A patent/JP6121234B2/en active Active
-
2014
- 2014-01-28 KR KR1020140010719A patent/KR102071460B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120005966A (en) * | 2010-07-09 | 2012-01-17 | 가시오게산키 가부시키가이샤 | Image combining apparatus, image combining method and program product |
Also Published As
Publication number | Publication date |
---|---|
KR102071460B1 (en) | 2020-03-02 |
JP6121234B2 (en) | 2017-04-26 |
JP2014220760A (en) | 2014-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
JP6046966B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP5832855B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP6020199B2 (en) | Image processing apparatus, method, program, and imaging apparatus | |
KR20130033446A (en) | Operating a device to capture high dynamic range images | |
JP5693271B2 (en) | Image processing apparatus and method | |
JP5804857B2 (en) | Image processing apparatus, image processing method, and program | |
US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR101964228B1 (en) | Image processing apparatus and image processing method | |
JP6227935B2 (en) | Image processing apparatus and image processing method | |
JP5291788B2 (en) | Imaging device | |
US9460492B2 (en) | Apparatus and method for image processing | |
JP7057079B2 (en) | Image processing device, image pickup device, image processing method, and program | |
US9392182B2 (en) | Raw data processing apparatus, raw data processing method and imaging device | |
JP6324235B2 (en) | Image processing apparatus and image processing method | |
JP6376339B2 (en) | Image processing apparatus and image processing method | |
KR102050415B1 (en) | Apparatus and method for image processing. | |
KR102071460B1 (en) | Syestem and method for image processing | |
KR102282464B1 (en) | Image processing apparatus and image processing method | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP6025555B2 (en) | Image processing apparatus, image processing method, and program | |
JP2008079301A (en) | Image capture device | |
JP5854801B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |