KR100520970B1 - Method and apparatus for transforming a high dynamic range image into a low dynamic range image - Google Patents
Method and apparatus for transforming a high dynamic range image into a low dynamic range image Download PDFInfo
- Publication number
- KR100520970B1 KR100520970B1 KR10-2003-0099587A KR20030099587A KR100520970B1 KR 100520970 B1 KR100520970 B1 KR 100520970B1 KR 20030099587 A KR20030099587 A KR 20030099587A KR 100520970 B1 KR100520970 B1 KR 100520970B1
- Authority
- KR
- South Korea
- Prior art keywords
- dynamic range
- image
- luminance values
- luminance
- range image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000001131 transforming effect Effects 0.000 title 1
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
하이 다이나믹 레인지를 로우 다이나믹 레인지 이미지로 전환하는 방법 및 장치이다. 상기 방법은, 픽셀들과 관련된 첫 번째 휘도 값들을 복수의 두 번째 휘도값들로 전환하고, 로우 다이니믹 레인지 이미지를 생성하기 위하여 픽셀들과 관련된 두 번째 휘도 값들을 복수의 세 번째 휘도 값들로 맵핑하기 위한 필름 전달 함수를 이용하는 것을 포함한다. 상기 두 번째 휘도 값들의 두 번째 휘도 범위는 첫 번째 휘도 값들의 첫 번째 휘도 범위보다 더 작고, 상기 필름 전달 함수는 로우 다이나믹 레인지 이미지에 어떠한 시각적 아티팩트도 추가하지 않는다.A method and apparatus for converting a high dynamic range into a low dynamic range image. The method converts the first luminance values associated with the pixels into a plurality of second luminance values and converts the second luminance values associated with the pixels into a plurality of third luminance values to produce a low dynamic range image. Using a film transfer function for mapping. The second luminance range of the second luminance values is smaller than the first luminance range of the first luminance values, and the film transfer function does not add any visual artifacts to the low dynamic range image.
Description
본 발명은 이미지 프로세싱 방법에 관한 것이다. 상세하게, 본 발명은 하이 다이나믹 레인지 이미지를 로우 다이나믹 레인지 이미지로 전환하기 위한 방법 및 장치를 개시한다.The present invention relates to an image processing method. In particular, the present invention discloses a method and apparatus for converting a high dynamic range image into a low dynamic range image.
어떤 장면의 다이나믹 레인지는 가장 높은 장면 휘도 대 가장 낮은 장면 휘도의 비율로 정의된다. 일반적으로 말하면, CRT 모니터 혹은 LCD 모니터와 같은 표준 디스플레이 장치는 약 250:1 정도의 다이나믹 레인지를 가지며, 가시 색상 전범위의 반 정도를 차지한다. 하지만, 인간의 시각구조(human vision system, HVS)는 10,000:1 보다 더 큰 다이나믹 레인지를 가지며, 주어진 밝기에서 약 10,000 색상 정도를 구별할 수 있다. 추가적으로, 컴퓨터-생성 이미지(computer-generated image, CGI)는 가장 높은 명암 값에서 가장 낮은 명암 값 사이에서 보통 3000개의 성분을 가진다.The dynamic range of a scene is defined as the ratio of the highest scene luminance to the lowest scene luminance. Generally speaking, standard display devices, such as CRT monitors or LCD monitors, have a dynamic range of about 250: 1 and cover about half of the full range of visible colors. However, the human vision system (HVS) has a dynamic range greater than 10,000: 1 and can distinguish about 10,000 colors at a given brightness. In addition, computer-generated images (CGI) usually have 3000 components between the highest and lowest contrast values.
전형적으로, 표준 디스플레이 장치에 표시되는 이미지는 256 그래이 레벨 간격인 인텐시티에 해당한다. 즉, 각 색상 채널(R, G, B)은 8 비트에 의해 결정된다. 그러므로, 최소 그레이 레벨은 "0"과 같으며, 최대 그레이 레벨은 "255"와 같다. 상술한 바로부터, 실생활 환경에서 다이나믹 레인지가 표준 디스플레이 장치 상에 보여지는 대표적인 다이나믹 레인지를 훨씬 초과하는 것은 명백하다.Typically, an image displayed on a standard display device corresponds to an intensity with 256 gray level intervals. That is, each color channel (R, G, B) is determined by 8 bits. Therefore, the minimum gray level is equal to "0" and the maximum gray level is equal to "255". From the foregoing, it is clear that in real life environments the dynamic range far exceeds the representative dynamic range seen on standard display devices.
큰 다이나믹 레인지를 가지는 이미지는 고 다이나믹 레인지(HDR) 이미지라고 보통 불린다. 현재, 고 다이나믹 레인지 이미지를 포획하고 표현하는 간단하고 직접적인 방법은 없다. HDR 이미지들을 포획하는 하나의 기술은 동일 장면을 위한 다중 노출을 사용하는 것을 포함한다. 그러므로, 그 동일한 장면에 해당하는 복수의 이미지들이 얻어진다. 그러나 그 이미지들은 다른 노출로 포획된다. 즉, 다르게 노출된 이미지들은 다른 휘도 데이터를 제공한다. 그런 후, 이미지들은 그 장면의 실제 복사휘도(radiance) 레벨을 결정하기 위한 종래 기술 알고리즘을 통해 서로 결합되고, 원하는 장면에 해당하는 HDR 이미지가 얻어진다.Images with large dynamic ranges are commonly referred to as high dynamic range (HDR) images. At present, there is no simple and direct way to capture and present high dynamic range images. One technique for capturing HDR images involves using multiple exposures for the same scene. Therefore, a plurality of images corresponding to the same scene are obtained. But the images are captured with different exposures. That is, differently exposed images provide different luminance data. The images are then combined with each other through prior art algorithms for determining the actual radiance level of the scene and an HDR image corresponding to the desired scene is obtained.
HDR 이미지들을 성공적으로 기록하고 나면, 다음 단계는 그 이미지들을 저장하는 것이다. 기존의 디지털 이미지 형식들은 대부분 전통적인 디스플레이 장치들을 위해 채택된다. 상술한 바와 같이, 이미지들은 성공적으로 표준 디스플레이 장치들을 구동하기 위해 각 색상 채널을 저장하는데 8비트를 보통 사용한다. 대응하는 종래 기술 형식의 다이나믹 레인지는 HDR 이미지 데이터를 위해 불충분하다는 것은 명백하다. 따라서, 여러 가지 파일 형식들이 이러한 문제를 해결하기 위해 개발되어 왔다. 디지털 이미지들에 이용가능한 다이나믹 레인지를 확대하는 가장 간단한 방법은 채널 당 비트의 수를 늘리는 것이다. 하나의 예가 픽셀마다 4개의 바이트를 이용하는 로그러브 인코딩(logLuv encoding) 방법이다. 2 바이트가 휘도 Y의 대수(對數)를 인코딩하기 위해 그리고, 다른 2 바이트가 러브(Luv) 색상 공간의 u 채널과 v 채널을 인코딩하기 위해 사용된다는 것은 잘 알려져 있다.After successfully recording the HDR images, the next step is to save the images. Existing digital image formats are mostly adopted for traditional display devices. As noted above, images typically use 8 bits to store each color channel to successfully drive standard display devices. It is apparent that the corresponding prior art format dynamic range is insufficient for HDR image data. Therefore, various file formats have been developed to solve this problem. The simplest way to expand the dynamic range available for digital images is to increase the number of bits per channel. One example is the logLuv encoding method, which uses four bytes per pixel. It is well known that two bytes are used to encode the logarithm of luminance Y and the other two bytes are used to encode the u and v channels of the Luv color space.
HDR 이미지가 성공적으로 생성된 후에, 톤 맵핑 절차(tone mapping procedure)가 포획된 장면을 랜더링된 HDR 이미지의 도움으로 표준 디스플레이 장치 상에 재생하기 위해 사용된다. 달리 말하면, 톤 맵핑 절차는 HDR 이미지로 기록된 휘도값들을 저 다이나믹 레인지로 표준 디스플레이 장치를 구동하는데 적합한 휘도값들로 전환하는 것이다. 그러므로, 톤 맵핑 절차의 주된 목적은 넓은 다이나믹 레인지를 표준 디스플레이 장치의 다이나믹 레인지에 맞도록 압축하는 것이다. 톤 재생 곡선(tone reproduction curve; TRC) 혹은 톤 재생 연산자(tone reproduction operator: TRO)는 HDR 이미지와 관련된 이미지 데이터에 적용된다. 톤 재생 곡선을 위해, 각 픽셀은 그것의 현재의 휘도 값으로부터 표준 디스플레이 장치의 다이나믹 레인지 안에서 새로운 디스플레이 강도(intensity)까지 변환된다. 톤 재생 곡선은 공간 분포로부터 자유로운 변환 작용에 대응하고, HDR 이미지의 각 픽셀들은 동일한 변환 작용에 의해 처리된다. 톤 재생 연산자의 경우에는, 공간 배경(context)은 각 픽셀들의 휘도를 조정하기 위해 사용된다. 즉, 동일한 휘도값의 두 개의 픽셀들은 표준 디스플레이 장치의 다이나믹 레인지를 가지는 다른 표시 명암도에 맵핑될 수 있으며, 혹은 두 개의 다른 휘도값은 표준 디스플레이 장치의 다이나믹 레인지 안에서 동일한 디스플레이 명암도에 맵핑될 수도 있다.After the HDR image has been successfully created, a tone mapping procedure is used to reproduce the captured scene on the standard display device with the aid of the rendered HDR image. In other words, the tone mapping procedure is to convert the luminance values recorded in the HDR image into luminance values suitable for driving a standard display device with a low dynamic range. Therefore, the main purpose of the tone mapping procedure is to compress the wide dynamic range to fit the dynamic range of standard display devices. A tone reproduction curve (TRC) or tone reproduction operator (TRO) is applied to the image data associated with the HDR image. For the tone reproduction curve, each pixel is converted from its current luminance value to a new display intensity within the dynamic range of the standard display device. The tone reproduction curve corresponds to a transform action free from spatial distribution, and each pixel of the HDR image is processed by the same transform action. In the case of the tone reproduction operator, a spatial context is used to adjust the luminance of each pixel. That is, two pixels of the same luminance value may be mapped to different display contrasts having the dynamic range of the standard display device, or two different luminance values may be mapped to the same display contrast within the dynamic range of the standard display device.
톤 맵핑 기술들은 또한 캡쳐된 HDR 이미지들의 디스플레이 질(quality)을 조정하기 위해 사용될 수 있다. 예를 들어, 선행 기술의 톤 맵핑 과정은 인간의 눈의 반응을 흉내낼 것이다. HDR 이미지가 서로 다른 노출(exposure)들에서 캡쳐된 많은 이미지들을 배합시키는 것에 의해 형성된다는 것을 유의해야 한다. 즉, 랜더링(render)된 HDR 이미지는 원래 어떠한 시각적 아티팩트(visual artifact)도 가지고 있지 않다. 하지만. 인간의 시각은 높은 휘도에 섬광(glar)과 낮은 휘도에 흐림(blur)과 같은 아티팩트로 가득 차 있다. 그러므로, 선행 기술의 톤 맵핑 과정은 인간의 시각에 있어 타고난 시각적 아티팩트를 HDR 이미지로부터 렌더링된 LDR 이미지로 이끈다. 표준 디스플레이 장치에 보여지는 최종의 LDR 이미지는 관찰자가 보는 캡쳐된 장면에 대응하지만, 그 이미지의 질은 이끌어진 시각적 아티팩트 때문에 선명도가 떨어진다. 또한, 그것은 원하는 시각적 아티팩트를 LDR 이미지로 추가하기 위한 복잡한 실시간(real time) 계산을 요구하며, 시간 소모적인 계산은 조악한 이미지 처리 효율로 이끈다.Tone mapping techniques can also be used to adjust the display quality of captured HDR images. For example, prior art tone mapping processes will mimic the response of the human eye. It should be noted that the HDR image is formed by combining many images captured at different exposures. In other words, the rendered HDR image does not originally have any visual artifacts. However. Human vision is full of artifacts such as glare at high brightness and blur at low brightness. Therefore, the prior art tone mapping process leads to innate visual artifacts in human vision from LDR images to HDR images. The final LDR image shown on a standard display device corresponds to the captured scene seen by the observer, but the quality of the image is less sharp because of the visual artifacts that are drawn. In addition, it requires complex real time calculations to add the desired visual artifacts to the LDR image, and time consuming calculations lead to poor image processing efficiency.
따라서, 본 발명의 주된 목적은 하이 다이나믹 레인지 이미지를 대응하는 로우 다이나믹 레인지 이미지로 전환하는 방법과 장치를 제공하는 것이다.Accordingly, it is a primary object of the present invention to provide a method and apparatus for converting a high dynamic range image into a corresponding low dynamic range image.
간단히 요약하면, 본 발명의 바람직한 실시예는, 하이 다이나믹 레인지 이미지를 로우 다이나믹 레인지 이미지로 전환하기 위한 방법을 개시한다. 하이 다이나믹 레인지 이미지는 복수의 픽셀들을 가지고 있으며, 그 픽셀들은 각각 복수의 첫 번째 휘도값들에 대응한다. 상기 방법은 다음의 단계들을 포함한다: (a) 픽셀들과 관련된 첫 번째 휘도값을 복수의 두 번째 휘도값들로 전환하는 단계. 여기서 상기 두 번째 휘도값들의 두 번째 휘도 레인지는 첫 번째 휘도값들의 첫 번째 휘도 레인지보다 더 작다. (b) 픽셀들에 관련된 두 번째 휘도값들을 로우 다이나믹 레인지 이미지를 생성하기 위한 복수개의 세 번째 휘도값으로 맵핑하기 위한 필름 전달 함수(film transfer function)를 이용하는 단계. 여기서 상기 필름 전달 함수는 로우 다이나믹 레인지 이미지에 어떠한 시각적 아티팩트도 추가하지 않는다.In short, a preferred embodiment of the present invention discloses a method for converting a high dynamic range image into a low dynamic range image. The high dynamic range image has a plurality of pixels, each corresponding to a plurality of first luminance values. The method includes the following steps: (a) converting a first luminance value associated with the pixels into a plurality of second luminance values. Here, the second luminance range of the second luminance values is smaller than the first luminance range of the first luminance values. (b) using a film transfer function to map the second luminance values associated with the pixels to a plurality of third luminance values for producing a low dynamic range image. Wherein the film transfer function does not add any visual artifacts to the low dynamic range image.
본 발명의 바람직한 실시예는 또한 이미지 프로세싱 시스템을 개시한다. 상기 이미지 프로세싱 시스템은 이미지 생성자(image generator)와 이미지 프로세싱 로직(logic)을 구비한다. 상기 이미지 생성자는 하이 다이나믹 레인지 이미지를 생성하기 위한 것이며, 상기 하이 다이나믹 이미지는 복수의 픽셀들을 가지고, 그 픽셀들은 각각 복수의 첫 번째 휘도값들에 대응한다. 그리고 상기 이미지 프로세싱 로직은 픽셀들과 관련된 첫 번째 휘도값을 복수의 두 번째 휘도값들로 전환하고, 그리고 픽셀들에 관련된 두 번째 휘도값들을, 로우 다이나믹 레인지 이미지를 생성하기 위하여 시각적 아티팩트를 추가하는 것 없이, 복수의 세 번째 휘도값들로 맵핑하기 위한 필름 전달 함수를 이용하는 것이다. 또한, 두 번째 휘도 값들의 두 번째 휘도 레인지는 첫 번째 휘도값들의 첫 번째 휘도 레인지보다 더 작다.A preferred embodiment of the present invention also discloses an image processing system. The image processing system has an image generator and image processing logic. The image generator is for generating a high dynamic range image, wherein the high dynamic image has a plurality of pixels, each pixel corresponding to a plurality of first luminance values. And the image processing logic converts the first luminance value associated with the pixels into a plurality of second luminance values, and adds the visual artifacts to generate the low dynamic range image. Is to use a film transfer function to map to a plurality of third luminance values. Also, the second luminance range of the second luminance values is smaller than the first luminance range of the first luminance values.
본 발명의 장점은 필름 전달 S-곡선이 이용된다는 점이다. 결과적인 LDR 이미지는 시각적 아티팩트 없이 진짜 같이 보이는 사진이며, 표준 디스플레이 장치에 보여지는 최종 LDR 이미지는 선명하다. 필름 전달 S-곡선의 도움으로, 원래 중간 휘도 레인지의 휘도값을 가지는 픽셀들을 위한 콘트라스트(contrast)가 개선되고, 대응하는 상세한 부분들이 선명하게 보여진다. 추가적으로, 필름 전달 S-곡선은 사전에 결정되고, 톤 맵핑 과정동안에는 계산되지 않는다. 그러므로, 특허청구된 방법을 실시하는 것은 더 쉬워지고, 이미지 프로세싱 수행능력은 전보다 더 나아진다.An advantage of the present invention is that film delivery S-curves are used. The resulting LDR image is a photo that looks real without visual artifacts, and the final LDR image shown on a standard display device is clear. With the help of the film transfer S-curve, the contrast for pixels with the luminance value of the original intermediate luminance range is improved, and the corresponding details are clearly seen. In addition, the film delivery S-curve is predetermined and is not calculated during the tone mapping process. Therefore, implementing the claimed method becomes easier, and the image processing performance is better than before.
본 발명의 이러한 또한 다른 목적들은, 다양한 계산들과 도면들에 예시된 다음의 바람직한 실시예의 상세한 설명을 읽으면 발명이 속하는 기술분야의 통상의 기술을 가진 자에게 의심할 바 없이 명백하여진다.These and other objects of the present invention will no doubt become apparent to those skilled in the art upon reading the following detailed description of the preferred embodiment, which is illustrated in various calculations and figures.
본 발명에 따른 톤 맵핑 프로세스의 흐름도인 도 1을 참조한다. 본 발명에 따른 톤 맵핑 프로세스는 다음과 같이 설명된다. 첫 번째, HDR 이미지가 로딩된다(100 단계). 상기 HDR 이미지는, 상술한 바와 같이, 서로 다른 노출로 캡쳐된 복수의 이미지들로부터 생성되고, 그리고 그 HDR 이미지는 표준 디스플레이 장치의 것보다 더 큰 와이드 다이나믹 레인지에 대응한다. 그러므로, 입력된 HDR 이미지의 본래의 다이나믹 레인지는, 표준 디스플레이 장치에 이용가능한 새로운 로우 다이나믹 레인지로 압축되어야할 필요가 있다. 추가적으로, 인간의 시각 시스템은, 절대 휘도(absolute luminace)에 그리 민감하지 않지만, 부분적인 휘도 변화들에 반응하며 큰 전체적인 조도(illumination) 차이들의 효과를 감소시킨다. 그러므로, 글로벌 그래디언트(global gradient) 압축이, 본래의 다이나믹 레인지를 압축하고 전체적인 조도 차이들을 감소시키기 위해, 수행된다. 계산의 복잡성과 실행을 단순화하기 위해, 공간적인 상수(spatially invariant) 연산자가 다음과 같이 주어진다.Reference is made to FIG. 1, which is a flowchart of the tone mapping process according to the present invention. The tone mapping process according to the present invention is described as follows. First, the HDR image is loaded (step 100). The HDR image is generated from a plurality of images captured at different exposures, as described above, and the HDR image corresponds to a wider dynamic range than that of a standard display device. Therefore, the original dynamic range of the input HDR image needs to be compressed to the new low dynamic range available for standard display devices. In addition, the human visual system is not very sensitive to absolute luminace, but responds to partial luminance changes and reduces the effect of large global illumination differences. Therefore, global gradient compression is performed to compress the original dynamic range and reduce the overall roughness differences. To simplify the computational complexity and execution, a spatially invariant operator is given by
Lw (X, Y)는 HDR 이미지상의 픽셀( X,Y)을 위한 "World" 혹은 "raw"를 표시하고, Ld(X, Y)는 상기 픽셀(X, Y)에 대응하는 스케일된(scaled) 휘도를 표시한다. 본 발명에 따른 글로벌 그래디언트 압축을 예시하는 도식적인 도표인 도 2를 참조한다. 도 2에 도시된 바와 같이, Ld(X, Y)는 표준 디스플레이 장치를 위한 정규화된(normalized) 그레이 레벨에 대응된다. 즉, 상기 Ld(X, Y)는 [0,1] 사이에 있다. 높은 휘도 값에 대응되는 Lw (X, Y)는, Lw (X, Y) 자체에 의해 대략적으로 스케일되며, 낮은 휘도 값에 대응하는 Lw (X, Y)는 1에 의해 대략적으로 스케일된다. 분모는 이러한 두 개의 스케일된 사이에 적절한 혼합을 하게 하며, 방정식(1)은 모든 가공전 휘도 값들을 이용가능한 다이나믹 레인지로 가져가는 것을 보증한다. 예를 들면, 본래 높은 휘도 값들은 어떤 특정한 디스플레이 장치를 위해 이용가능한 디스플레이 휘도가 되도록 크게 압축된다.L w (X, Y) indicates "World" or "raw" for pixels X, Y on the HDR image, and L d (X, Y) is scaled corresponding to the pixel (X, Y). (scaled) Displays luminance. Reference is made to FIG. 2, which is a schematic diagram illustrating global gradient compression in accordance with the present invention. As shown in FIG. 2, L d (X, Y) corresponds to a normalized gray level for a standard display device. That is, L d (X, Y) is between [0, 1]. L w (X, Y) corresponding to the high luminance value, L w (X, Y) is approximately the scale by itself, L w corresponding to low luminance values (X, Y) is approximately as scaled by the 1 do. The denominator allows proper mixing between these two scaled values, and equation (1) ensures that all pre-processing luminance values are brought into the available dynamic range. For example, inherently high luminance values are compressed largely to be the display luminance available for any particular display device.
그러면, 히스토그램 등화(equalization)가 스케일된 휘도들과 관련되어 조정된 이미지의 콘트라스트를 개선하기 위해 수행된다(104 단계). 상기 히스토그램 등화는 조정된 이미지의 히스토그램을 대략적으로 균일한 히스토그램으로 전환한다. 누적 주파수 분포(cumulative frequency distribution) P(b)가 히스토그램을 균일화하는데 필요하다고 가정하면, 누적 주파수 분포 P(b)는 다음과 같이 정의된다.Histogram equalization is then performed (step 104) to improve the contrast of the adjusted image in relation to the scaled luminance. The histogram equalization converts the histogram of the adjusted image into an approximately uniform histogram. Assuming a cumulative frequency distribution P (b) is necessary to uniformize the histogram, the cumulative frequency distribution P (b) is defined as follows.
식에서 T는 히스토그램 엔트리의 총 숫자를 나타낸다. 그러므로, P(bi)는 bi에서 히스토그램 상자를 위한 주파수 분포이고, f(bi)는 bi에서 히스토그램 상자를 위한 주파수 숫자를 의미한다. 입력된 이미지에 적용된 히스토그램 등화는, 밝기 값(brightness value)들이 동일한 확률(probability)을 가지는 출력된 이미지를 만들어낸다. 균일화 공식은 다음과 같다:Where T represents the total number of histogram entries. Therefore, P (b i ) is the frequency distribution for the histogram box at b i , and f (b i ) is the frequency number for the histogram box at b i . Histogram equalization applied to the input image produces an output image in which brightness values have the same probability. The homogenization formula is as follows:
식에서 Bd는 조정된 디스플레이 밝기를 의미하며, B는 가공전(raw) 이미지 밝기를 나타낸다. Log(Ldmin)는 표준 디스플레이 장치 상에 보여지는 최소 밝기를 의미하며, log(Ldmax)는 표준 디스플레이 장치 상에 보여지는 최대 밝기를 의미한다. 입력된 이미지에서 픽셀들의 휘도 값들이 재-분포된 후에, 출력된 이미지는 좀 더 상세히 표시하기 위한 콘트라스트를 가지게 된다.In the equation, B d stands for the adjusted display brightness, and B stands for the raw image brightness. Log (L dmin ) means the minimum brightness seen on the standard display device, and log (L dmax ) means the maximum brightness seen on the standard display device. After the luminance values of the pixels in the input image are re-distributed, the output image has a contrast for displaying in more detail.
하지만, 만약 픽셀들의 반이 0.2*Ldmax보다 더 낮은 휘도 값들을 가지면, 즉, 적은 휘도 범위 [0, 0.2*Ldmax]는 표준 디스플레이 장치 상에 보여지는 이용가능한 디스플레이 휘도 값들의 반을 이용할 것이다. 그러므로, 조정된 이미지의 콘트라스트는 지나치게 과장될 수 있다. 예를 들면, 가공되기 전의 이미지의 두 개의 조정된 픽셀들은 본래 적은 휘도 차이를 가진다고 가정한다. 상기의 히스토그램 균일화가 수행된 후, 휘도 차이는 커진다. 이러한 것은 이미지의 부자연스러운 외형으로 귀착되고, 디스플레이 질 또한 내려간다. 그러므로, 히스토그램 조정은 최종 이미지의 콘트라스트가 과장되게 확대되는 것을 방지하기 위해 수행된다(106 단계). 히스토그램 조정은 상한 조건(ceiling condition)을 충족시키는 것에 의해 콘트라스트를 제한한다. 바람직한 실시예에 있어서, 상한 조건은 다음과 같이 충족된다.However, if half of the pixels have lower luminance values than 0.2 * L dmax , that is, the lower luminance range [0, 0.2 * L dmax ] will use half of the available display luminance values shown on a standard display device. . Therefore, the contrast of the adjusted image may be excessively exaggerated. For example, assume that two adjusted pixels of an image before processing are inherently small in brightness difference. After the histogram equalization is performed, the luminance difference becomes large. This results in an unnatural appearance of the image, and also lowers the display quality. Therefore, histogram adjustment is performed to prevent the contrast of the final image from being excessively enlarged (step 106). Histogram adjustment limits the contrast by satisfying a ceiling condition. In a preferred embodiment, the upper limit conditions are met as follows.
방정식(4)은, 콘트라스트가, Ld/L과 같은 기울기를 가지는 잘 알려진 선형 기준화 연산자를 이용하는 것에 의해 얻어지는 콘트라스트를 초과할 수 없음을 의미한다. 상술한 방정식(2)으로부터, 다음 부등식이 유도된다는 것은 잘 알려져 있다:Equation (4) means that the contrast cannot exceed the contrast obtained by using a well-known linear reference operator with a slope equal to L d / L. From equation (2) above, it is well known that the following inequality is derived:
심볼 Δb는 [log(Lmax)-log(Lmin)]/N를 나타내는데, 여기서 N은 히스토그램 상자들의 숫자이고, log(Lmax)는 가공전 이미지를 위한 최대 밝기이고, log(Lmin)는 가공전 이미지를 위한 최소 밝기이다. 그러므로, 심볼 Δb는 각 히스토그램 상자의 크기에 대응한다. 방정식(5)에 의해 암시된 것처럼, 조정 이미지의 결과적인 히스토그램은, 히스토그램 상자의 어떠한 주파수 숫자도 위쪽 경계 즉, Ld/L,를 넘지 않는 한, 콘트라스트는 과장되지 않을 것이다, 결국, 출력된 이미지는 과도하게 많은 히스로그램 상자를 가지지 않는다.The symbol Δb represents [log (L max ) -log (L min) ] / N, where N is the number of histogram boxes, log (L max ) is the maximum brightness for the preprocessed image, and log (L min ) Is the minimum brightness for the preprocessed image. Therefore, the symbol Δb corresponds to the size of each histogram box. As implied by equation (5), the resulting histogram of the adjusted image will not exaggerate contrast unless any frequency number in the histogram box exceeds the upper boundary, i.e., Ld / L, after all, the output image Doesn't have too many histogram boxes.
106 단계가 수행된 후, 바람직한 실시예는 필름 전달 S-곡선을 이용하는 것을 통해 멥핑 연산자를 활동화시키고(108 단계), 그리고 나면 최종 LDR 이미지가 성공적으로 생성된다(110 단계). 본 발명에 따른 필름 전달 S-곡선(10)의 개략적인 도면인 도 3을 참조한다. 수평축은 입력 휘도(input luminance)를, 수직축은 출력 휘도(output luminance)를 나타낸다. 필름 전달 S-곡선(10)은 사진용 필름의 감도 반응(sensitization response)에 대응한다. 도 3에 보여지는 것과 같이, 중간 범위(10 ~1000)안에 위치한 입력 휘도 값들은 대략 출력 휘도값들의 전체 범위를 차지한다. 달리 말하면, 필름 전달 S-곡선(10)은 이미지에서 중간 휘도 지역의 콘트라스트를 증가시킨다. 그러므로, 고 휘도 지역과 저 휘도 지역에 해당하는 콘트라스트는 크게 감소된다. 즉, 최종 LDR 이미지의 감지되는 질은 크게 개선된다.After step 106 is performed, the preferred embodiment activates the chipping operator through the use of a film transfer S-curve (step 108), and then the final LDR image is successfully generated (step 110). Reference is made to FIG. 3, which is a schematic diagram of a film delivery S-curve 10 according to the present invention. The horizontal axis represents input luminance and the vertical axis represents output luminance. The film delivery S-curve 10 corresponds to the sensitivity response of the photographic film. As shown in FIG. 3, input luminance values located in the intermediate range 10 to 1000 occupy approximately the entire range of output luminance values. In other words, the film delivery S-curve 10 increases the contrast of the intermediate luminance region in the image. Therefore, the contrast corresponding to the high luminance region and the low luminance region is greatly reduced. In other words, the perceived quality of the final LDR image is greatly improved.
본 발명에 따른 톤 맵핑 프로세스는, HDR 이미지를 LDR 이미지로 전환하기 위한 이미지 프로세싱 시스템상에서 운영될 수 있다. 본 발명에 따른 이미지 프로세싱 시스템(20)의 블록도인 도 4를 참조한다. 이미지 프로세싱 시스템(20)은 이미지 생성기(22)와 이미지 프로세싱 로직(24)을 포함한다. 이미지 생성기(22)는 하이 다이나믹 레인지 이미지를 생성할 수 있으며, 이미지 프로세싱 로직(24)은 HDR 이미지를 해당하는 LDR 이미지로 전환하기 위한 톤 맵핑 프로세스를 수행할 수 있다. 이를테면, 이미지 프로세싱 시스템(20)은 디지털 카메라이다. 디지털 카메라 내의 이미지 생성기(22)는 해당하는 이미지를 생성하기 위하도록 입사광선(incident light)을 캡쳐링하기 위한 CCD 모듈과, 상기 CCD 모듈의 노출 컨트롤을 위한 카메라 셔터를 포함한다. 그러므로, 이미지 생성기(22)는, CCD 모듈을 통해 장면을 캡쳐할 수있고, 카메라 셔터를 적절하게 컨트롤하는 것을 통해 각기 다른 노출에서 캡쳐된 복수의 이미지들을 생성하는 것이 가능하다. 그러면, 이미지 생성기(22)는, 종래 기술의 알고리즘에 따라서 이러한 이미지들을 결합함으로써 캡쳐된 장면에 해당하는 HDR 이미지를 생성한다.The tone mapping process according to the invention can be run on an image processing system for converting an HDR image into an LDR image. Reference is made to FIG. 4, which is a block diagram of an image processing system 20 according to the present invention. Image processing system 20 includes image generator 22 and image processing logic 24. Image generator 22 may generate a high dynamic range image, and image processing logic 24 may perform a tone mapping process to convert the HDR image into a corresponding LDR image. For example, image processing system 20 is a digital camera. The image generator 22 in the digital camera includes a CCD module for capturing incident light to generate a corresponding image, and a camera shutter for exposure control of the CCD module. Therefore, the image generator 22 can capture the scene through the CCD module and can generate a plurality of images captured at different exposures through appropriate control of the camera shutter. Image generator 22 then generates an HDR image corresponding to the captured scene by combining these images according to a prior art algorithm.
그런 후, 이미지 프로세싱 로직(24)은 HDR 이미지를 프로세스 하도록 활성화된다. 그러므로, 이미지 프로세싱 로직(24)은, 원하는 LDR 이미지를 렌더링하기 위해 102, 104, 106 및 108 단계를 실행한다. 디지털 시그널 프로세서(DSP)와 같은 이미지 프로세싱 로직(24)은 단순한 필름 전달 함수를 이용하기 때문에, 관련된 계산은 단순하다. 일반적으로 말하면, 디지털 카메라는 캡쳐된 장면을 미리 보여주기 위한 작은 LCD 스크린을 가지고 있다. 이미지 프로세싱 로직(24)이 단순한 필름 전달 함수를 이용함으로 인해 더 나은 이미지 프로세싱 효율을 가지고 있기 때문에, 사용자는 LCD 스크린 상에 LDR 이미지를 빠르게 미리 볼 수 있다. 추가적으로, 렌더링된 LDR 이미지는, 어떠한 시각적 아티팩트도 LDR 이미지에 첨가되지 않았기 때문에, 더 나은 화질을 가지고 있다.Then, image processing logic 24 is activated to process the HDR image. Therefore, image processing logic 24 executes steps 102, 104, 106 and 108 to render the desired LDR image. Since image processing logic 24, such as a digital signal processor (DSP), uses a simple film transfer function, the associated calculation is simple. Generally speaking, digital cameras have a small LCD screen to preview the captured scene. Since the image processing logic 24 has better image processing efficiency due to using a simple film transfer function, the user can quickly preview the LDR image on the LCD screen. In addition, the rendered LDR image has better image quality since no visual artifacts were added to the LDR image.
다른 실시예는 이미지 생성기(22)가 각기 다른 노출에서만 캡쳐된 복수의 이미지들을 생성하기 위하여 어떤 장면을 캡쳐할 수 있는 것이다. 그러면, 필요한 HDR 이미지는 이미지 프로세싱 로직(24)에 의해 한층 더 렌더링된다. 유사하게, 이미지 프로세싱 로직(24)은 최종 LDR 이미지를 렌더링하기 위해 102, 104, 106 및 108 단계를 실행할 수 있다.Another embodiment is that image generator 22 may capture certain scenes to produce a plurality of images captured only at different exposures. The required HDR image is then rendered further by the image processing logic 24. Similarly, image processing logic 24 may execute steps 102, 104, 106, and 108 to render the final LDR image.
그러나, 이미지 프로세싱 시스템(20)은 개개의 장치들에 의해 이루어질 수 있다. 예를 들면, 이미지 생성기(2)는 디지털 카메라이고, 이미지 프로세싱 로직(24)은 호스트 컴퓨터에 해당한다. 그러므로, 이미지 생성기(22)로부터 출력된 이미지 데이터는 다음의 진보된 이미지 프로세싱을 위해 외부의 이미지 프로세싱 로직(24)으로 전달된다.However, image processing system 20 may be made by individual devices. For example, image generator 2 is a digital camera and image processing logic 24 corresponds to a host computer. Therefore, the image data output from the image generator 22 is passed to the external image processing logic 24 for subsequent advanced image processing.
상술한 바와 같이, 종래 기술은 시각적 정확도를 위해 최종 LDR 이미지에 시각적 아티팩트를 추가한다. 그러나, LDR 이미지의 디스플레이 질은 시각적 조형물로 인해 나빠진다. 추가적으로, 높은 휘도에 섬광이나, 낮은 휘도에 흐림과 같이, 인간의 시각적 아티팩트의 시간-소요 재생은 이미지 프로세싱 성과를 나쁘게 한다. 종래 기술과는 현저히 다르게, 본 발명은 필름 전달 S-곡선을 채용한다. 결과로서의 LDR 이미지는 시각적 아티팩트 없이 진짜와 같은 외모의 사진이고, 표준 디스플레이 장치 상에 보여지는 최종 LDR 이미지는 선명하다. 필름 전달 S-곡선의 도움으로, 본래 중간 휘도 범위에 있는 휘도값을 가지는 픽셀들의 위한 콘트라스트는 개선되고, 해당하는 상세한 부분들은 선명하게 보여진다. 추가적으로, 필름 전달 S-곡선은 톤 맵핑 프로세스 동안에 동적으로 계산되어지는 것 없이 미리 정의되어진다. 그러므로, 청구되어진 톤 맵핑 프로세스의 실행은 간단하고, 그리고 이미지 프로세싱 성과는 더 나아진다.As mentioned above, the prior art adds visual artifacts to the final LDR image for visual accuracy. However, the display quality of LDR images is poor due to visual sculptures. In addition, time-consuming reproduction of human visual artifacts, such as glare at high luminance or blur at low luminance, degrades image processing performance. Significantly different from the prior art, the present invention employs a film delivery S-curve. The resulting LDR image is a true-looking photograph without visual artifacts, and the final LDR image shown on the standard display device is clear. With the aid of the film transfer S-curve, the contrast for pixels with luminance values in the original intermediate luminance range is improved and the corresponding details are clearly visible. In addition, the film delivery S-curve is predefined without being calculated dynamically during the tone mapping process. Therefore, the execution of the claimed tone mapping process is simple, and the image processing performance is better.
본 발명에 의하면, 본 발명은 필름 전달 S-곡선을 채용함으로써, 시각적 아티팩트 없이 진짜와 같은 외모의 사진을 얻을 수 있고, 표준 디스플레이 장치 상에 보여지는 선명한 최종 LDR 이미지를 얻을 수 있다. 또한, 본래 중간 휘도 범위에 있는 휘도값을 가지는 픽셀들의 위한 콘트라스트는 개선되고, 해당하는 상세한 부분들은 선명하게 보여진다. 추가적으로, 필름 전달 S-곡선은 톤 맵핑 프로세스 동안에 동적으로 계산되어지는 것 없이 미리 정의되어지므로, 청구되어진 톤 맵핑 프로세스의 실행은 간단하고, 그리고 이미지 프로세싱 성과는 더 나아진다는 효과를 얻을 수 있다.According to the present invention, the present invention employs a film delivery S-curve to obtain a true-looking photograph without visual artifacts and to obtain a clear final LDR image as seen on a standard display device. In addition, the contrast for pixels having luminance values in the original intermediate luminance range is improved, and the corresponding details are clearly seen. In addition, since the film delivery S-curve is predefined without being dynamically calculated during the tone mapping process, the execution of the claimed tone mapping process can be simplified, and the image processing performance can be improved.
도 1은, 본 발명에 따른 톤 맵핑 프로세스의 흐름도이며,1 is a flowchart of a tone mapping process according to the present invention,
도 2는, 본 발명에 따른 글로벌 그래디언트(global gradient) 압축을 예시하는 도식적인 도표이고,2 is a schematic diagram illustrating global gradient compression in accordance with the present invention,
도 3은, 본 발명에 따른 필름 전달 S-곡선의 도식적인 도표이며,3 is a schematic diagram of the film delivery S-curve according to the invention,
도 4는, 본 발명에 따른 이미지 프로세싱 시스템의 블록도이다.4 is a block diagram of an image processing system according to the present invention.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0099587A KR100520970B1 (en) | 2003-12-30 | 2003-12-30 | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0099587A KR100520970B1 (en) | 2003-12-30 | 2003-12-30 | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050068327A KR20050068327A (en) | 2005-07-05 |
| KR100520970B1 true KR100520970B1 (en) | 2005-10-17 |
Family
ID=37258891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2003-0099587A KR100520970B1 (en) | 2003-12-30 | 2003-12-30 | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100520970B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9076224B1 (en) | 2012-08-08 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Image processing for HDR images |
| KR102049481B1 (en) | 2015-08-19 | 2019-11-27 | 삼성전자주식회사 | Electronic device for performing image conversion and method thereof |
-
2003
- 2003-12-30 KR KR10-2003-0099587A patent/KR100520970B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050068327A (en) | 2005-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050117799A1 (en) | Method and apparatus for transforming a high dynamic range image into a low dynamic range image | |
| CN110033418B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| JP5974128B2 (en) | Generation and rendering of high dynamic range images | |
| US9406112B2 (en) | Video data compression | |
| US7023580B2 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
| US20090027558A1 (en) | Apparatus and Method for Rendering High Dynamic Range Images for Standard Dynamic Range Display | |
| JP2006345509A (en) | Image processing method and apparatus | |
| JP2009284485A (en) | Method and apparatus of compressing dynamic range of original image, and digital camera | |
| CN111294575B (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| JP5457652B2 (en) | Image processing apparatus and method | |
| CN110047060B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| CN114866809B (en) | Video conversion method, apparatus, device, storage medium, and program product | |
| KR20120114899A (en) | Image processing method and image processing apparatus | |
| WO2021213336A1 (en) | Image quality enhancement device and related method | |
| KR101642034B1 (en) | Method and Apparatus for converting dynamic ranges of input images | |
| US11037279B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| KR100520970B1 (en) | Method and apparatus for transforming a high dynamic range image into a low dynamic range image | |
| JP2005284534A (en) | Method for converting image of high dynamic range into image of low dynamic range and device related to the method | |
| GB2408872A (en) | Converting a high dynamic range image to a low dynamic range image using a film transfer function | |
| CN114283100A (en) | High dynamic range image synthesis and tone mapping method and electronic equipment | |
| TWI235608B (en) | Method and apparatus for transforming a high dynamic range image into a low dynamic range image | |
| CN114240767A (en) | Image wide dynamic range processing method and device based on exposure fusion | |
| CN112887597A (en) | Image processing method and device, computer readable medium and electronic device | |
| Barladian et al. | An effective tone mapping operator for high dynamic range images | |
| CN114697483B (en) | Under-screen camera shooting device and method based on compressed sensing white balance algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |