KR20100033737A - Method and apparatus of local contrast enhancement - Google Patents

Method and apparatus of local contrast enhancement Download PDF

Info

Publication number
KR20100033737A
KR20100033737A KR1020080092751A KR20080092751A KR20100033737A KR 20100033737 A KR20100033737 A KR 20100033737A KR 1020080092751 A KR1020080092751 A KR 1020080092751A KR 20080092751 A KR20080092751 A KR 20080092751A KR 20100033737 A KR20100033737 A KR 20100033737A
Authority
KR
South Korea
Prior art keywords
image signal
signal
image
local
local contrast
Prior art date
Application number
KR1020080092751A
Other languages
Korean (ko)
Other versions
KR101092646B1 (en
Inventor
와이 팍 최
윙 취 스테판 찬
스테판 와이-얀 라이
Original Assignee
솔로몬 시스테크 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 솔로몬 시스테크 리미티드 filed Critical 솔로몬 시스테크 리미티드
Priority to KR1020080092751A priority Critical patent/KR101092646B1/en
Publication of KR20100033737A publication Critical patent/KR20100033737A/en
Application granted granted Critical
Publication of KR101092646B1 publication Critical patent/KR101092646B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336Illuminating devices
    • G02F1/133621Illuminating devices providing coloured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T5/94

Abstract

PURPOSE: A method and an apparatus of a local contrast enhancement by adjusting color components using an RGB scaling process are provided to conserve a clear contrast detail inside a high brightness area with a small amount of hardware cost. CONSTITUTION: A method of a local contrast enhancement comprises the following steps: determining the degree of a local contrast increment to recompense a degradation due to a tone mapping(1201); obtaining a weighted sum average of plural pixels and a profile signal by summing up the weighted sum average of an absolute change of the pixels(1202); applying a local shading to a intensity level of an image signal(1203); and maintaining a color property of the pixel by adjusting color components using an RGB scaling process(1204).

Description

로컬 콘트라스트 강화를 위한 방법 및 장치 {METHOD AND APPARATUS OF LOCAL CONTRAST ENHANCEMENT}METHOD AND APPARATUS OF LOCAL CONTRAST ENHANCEMENT}

본 발명은 개략적으로 이미지 신호 프로세싱 시스템에서 로컬 콘트라스트 강화를 위한 방법 및 장치에 관한 것으로서, 보다 구체적으로는 디스플레이 시스템 어플리케이션에서의 다이나믹 백라이트 제어(dynamic backlight control)를 위해서 톤 맵핑(tone mapping)에 의해서 유발되는 선명한(fine) 이미지 콘트라스트의 손실(loss)을 최소화하기 위해서 이미지 신호 데이터를 프로세싱하기 위한 방법 및 장치에 관한 것이다. The present invention relates generally to a method and apparatus for local contrast enhancement in an image signal processing system, and more particularly, by means of tone mapping for dynamic backlight control in display system applications. A method and apparatus for processing image signal data in order to minimize loss of fine image contrast which is achieved.

톤 맵핑은 미디어(media)에서 보다 높은 다이나믹 범위 이미지(dynamic range images)의 외관(appearance)을 보다 제한된 다이나믹 범위로 근접(approximate)시키기 위해 컬러 세트를 다른 세트로 맵핑하기 위해서 이미지 프로세싱 및 컴퓨터 그래픽 분야에서 이용되는 기술이다. 그러나, 톤 맵핑은 자연적인 씬(scenes; 장면)에 존재하는 빛의 세기의 전체 범위를 재생할 수 없을 것이며 씬 값(scene values)으로부터 디스플레이 가능한 범위로 콘트라스트가 감소되는 문제를 초래할 것이다. 원본 씬에서의 선명한(미세한) 이미지 디테일(fine image details) 및 컬러 톤을 보존하는 것은 많은 분야에 있어서 중요한 문제가 된다.Tone mapping is used in the field of image processing and computer graphics to map color sets to other sets to approximate the appearance of higher dynamic range images in the media to a more limited dynamic range. It is a technique used in. However, tone mapping will not be able to reproduce the full range of light intensities present in natural scenes and will result in a reduction in contrast from scene values to the displayable range. Preserving fine image details and color tones in the original scene is an important issue in many areas.

최근에, 모바일 액정 디스플레이(LCD) 장치에서의 다이나믹 백라이트 제어(Dynamic Backlight Control; DBC)는, 백라이트 파워 소모를 최소화하기 위해서 백라이트를 디밍(dimming)하면서 데이터 이미지를 확대하기 위한 톤 맵핑을 적용하는 이미지 디스플레이 어플리케이션 중 하나가 되었다. 그러나, 톤 맵핑 중에 특히 높은 휘도 영역에서 이미지 데이터는 정밀도(accuracy)를 잃게 된다. Recently, Dynamic Backlight Control (DBC) in mobile liquid crystal display (LCD) devices has applied tone mapping to enlarge the data image while dimming the backlight to minimize backlight power consumption. It became one of the display applications. However, during tone mapping, image data loses accuracy, especially in high luminance areas.

그에 따라, 다이나믹 백라이트 제어 어플리케이션에서 선명한 이미지 디테일 또는 콘트라스트의 손실을 피할 수 있는 이미지 데이터 프로세싱 방법은 소위 당업계에서 크게 바람직할 것이다. Accordingly, image data processing methods that can avoid the loss of sharp image detail or contrast in dynamic backlight control applications would be highly desirable in the art.

로컬 콘트라스트 강화 방법은 모든 디스플레이 영역에서 세기(intensity) 변화의 이동 평균(moving average)을 획득하기 위해서 2-차원적인 재귀적 (recursive) 필터를 채용할 수 있다. 이러한 이동 평균은 오리지널 신호로부터 차감(subtract)되어 로컬 변화만을 포함하는 신호를 생성하며, 이러한 후자 신호는 디스플레이 콘트라스트를 증대시키기 위해서 확장 또는 증폭된다. The local contrast enhancement method may employ a two-dimensional recursive filter to obtain a moving average of intensity variations in all display areas. This moving average is subtracted from the original signal to produce a signal that contains only local changes, which latter signal is amplified or amplified to increase the display contrast.

로컬 콘트라스트 강화를 위한 다른 방법은 입력 신호를 로우 패스 필터링하고 그러한 로우 패스 필터링된 값을 강화된 콘트라스트 값에 부가하는 것이다. 최종 출력(g)은 이하의 수학식(1)에 따라서 얻어진다.Another method for local contrast enhancement is to low pass filter the input signal and add such low pass filtered values to the enhanced contrast values. The final output g is obtained according to the following equation (1).

g = K1(m) + K2(f-m)g = K1 (m) + K2 (f-m)

이때, K1 및 K2는 특성 곡선을 나타내고, m은 로우 패스 필터의 출력을 나타내며, f는 로우 패스 필터의 입력을 나타낸다.In this case, K1 and K2 represent characteristic curves, m represents the output of the low pass filter, and f represents the input of the low pass filter.

로컬 콘트라스트 강화를 위한 다른 유사한 방법은 신호의 로컬 콘트라스트의 크기에 따라서 신호를 가중(weighting)하는 단계에 의해서 그리고 가중 신호를 오리지널 신호에 부가하는 단계에 의해서 실시되며, 그에 따라 로컬 콘트라스트의 값에 관계없이 오리지널 신호를 손실 없이 출력할 수 있게 된다. 최종 출력(y)은 이하의 수학식(2)에 따라서 얻어진다.Another similar method for local contrast enhancement is carried out by weighting the signal according to the magnitude of the local contrast of the signal and by adding the weighted signal to the original signal, thus relating to the value of the local contrast. The original signal can be output without loss. The final output y is obtained according to the following equation (2).

y = x + f(│x-m│)(x-m)y = x + f (│x-m│) (x-m)

이때, f()는 │x-m│의 가중 함수를 나타내고, m은 로우 패스 필터의 출력을 나타내며, x는 로우 패스 필터의 입력을 나타낸다. Where f () represents the weighting function of | x-m, m represents the output of the low pass filter, and x represents the input of the low pass filter.

엣지-강화된 피쳐(edge-enhanced features)에 초점을 맞춘 다른 로컬 콘트라스트 강화 방법은 엣지-강화된 신호를 생성하기 위한 필터 프로세싱에 의해서 실시되며, 필요한 메모리 용량 및 파워 소모를 줄일 수 있게 된다. 또 다른 방법은 전체적인 경계-합 값(sum-of-border value)을 생성하기 위해서 밴드-패스 필터 프로세싱을 다수 방향에서 입력 이미지 픽셀에 적용하는 단계를 포함한다. Another local contrast enhancement method that focuses on edge-enhanced features is performed by filter processing to generate edge-enhanced signals, which can reduce the required memory capacity and power consumption. Another method includes applying band-pass filter processing to input image pixels in multiple directions to produce an overall sum-of-border value.

전술한 방법들에서, 톤 맵핑으로 인한 선명한 이미지 콘트라스트의 손실을 보상하고 조정하기 위한 요건은 취급되지 않았다. 특히, 톤-맵핑 곡선의 특성에 대해서 그리고 그러한 방법에서의 톤 맵핑의 후속 효과에 대해서는 고려하고 있지 않다. 또한, 전술한 방법들은 콘트라스트 신호의 증폭, 이미지 콘트라스트 신호의 부스팅(boosting) 및 쉐이딩(shading)을 실시한다. 그러나, 콘트라스트 신호 부스팅은 높은 휘도 영역에서의 신호 포화 및 신호 레벨에 대한 클립핑(clipping)이라는 문제점을 가지며, 그에 따라 이미지 콘트라스트가 손실되거나 침식(washout)된다. In the above methods, the requirement for compensating and adjusting the loss of sharp image contrast due to tone mapping has not been dealt with. In particular, no consideration is given to the nature of the tone-mapping curve and to the subsequent effects of tone mapping in such a method. In addition, the methods described above perform amplification of contrast signals, boosting and shading of image contrast signals. However, contrast signal boosting has the problem of signal saturation and clipping of signal levels in the high luminance region, and thus image contrast is lost or washed out.

본원 발명의 목적은 1-차원적인 데이터 프로세싱만을 필요로 하는 로컬 콘트라스트 강화 방법을 제공하는 것이다. 그러한 방법은 하드웨어 실행(hardware implementation)에서 효과적인데, 이는 알고리즘이 블록 또는 2-차원적인 접근방법 을 필요로 하지 않기 때문이다. It is an object of the present invention to provide a local contrast enhancement method that requires only one-dimensional data processing. Such a method is effective in hardware implementation because the algorithm does not require a block or two-dimensional approach.

본원 발명의 다른 목적은, 톤 맵핑을 적용하였을 때 높은 휘도 레벨에서 이미지 신호의 신호 클립핑 또는 신호 포화에 의해서 초래되는 이미지 손실을 보상할 수 있는 로컬 콘트라스트 강화 방법을 제공하는 것이다. It is another object of the present invention to provide a local contrast enhancement method that can compensate for image loss caused by signal clipping or signal saturation of an image signal at high luminance levels when tone mapping is applied.

본원 발명의 또 다른 목적은 쉐이딩에 의해서 신호의 콘트라스트를 강화하는 로컬 콘트라스트 강화 방법을 제공하는 것이다. 그러한 쉐이딩은 신호 밸리(signal valleys)에서 신호 레벨의 증폭된 로워링(lowering)을 생성하며, 그에 따라 높은 휘도 레벨에서 발생되는 신호 포화 또는 신호 클립핑 문제를 회피할 수 있게 한다. It is a further object of the present invention to provide a local contrast enhancement method for enhancing the contrast of a signal by shading. Such shading creates amplified lowering of the signal level in signal valleys, thereby making it possible to avoid signal saturation or signal clipping problems that occur at high luminance levels.

본원 발명의 또 다른 목적은 이미지의 높은 휘도 영역에 대한 쉐이딩의 대부분을 제한하기 위한 가변 스케일링 제어(variable scaling control)를 이용하여 이미지의 전체 휘도 레벨에 미치는 영향을 최소화하기 위해서 신호 쉐이딩을 신중하게(with consideration) 적용하는 로컬 콘트라스트 강화 방법을 제공하는 것이며, 이때 작은 쉐이딩은 가시적으로 인식할 수 없고 시각적으로도 바람직하다. It is yet another object of the present invention to carefully control signal shading in order to minimize the effect on the overall luminance level of an image using a variable scaling control to limit most of the shading for the high luminance region of the image. It is to provide a local contrast enhancement method to be applied, where small shading is not visually perceptible and visually desirable.

본원 발명의 또 다른 목적은 RGB 컬러 스트림 데이터의 균일한 스케일링을 제공하고 이미지 컬러 톤의 유지를 보장하는 로컬 콘트라스트 강화 방법을 제공하는 것이다. It is another object of the present invention to provide a method of local contrast enhancement that provides uniform scaling of RGB color stream data and ensures maintenance of image color tones.

본원 발명의 또 다른 목적은 전자적 이미지 디스플레이 시스템에서 파워 소모의 상당한 절감을 촉진하기 위해서 다이나믹 백라이트 제어에서 이용되는 톤 맵핑 특성을 고려하는 로컬 콘트라스트 강화 방법을 제공하는 것이다. It is yet another object of the present invention to provide a method of local contrast enhancement that takes into account the tone mapping characteristics used in dynamic backlight control to promote significant savings in power consumption in electronic image display systems.

본원 발명의 또 다른 목적은 유저 인터페이스 어플리케이션에서 특히 일반적인 날카로운 엣지를 가지는 이미지(sharp edged images)에서의 로컬 콘트라스트의 오버슈팅(overshooting) 문제를 억제할 수 있는 로컬 콘트라스트 강화 방법을 제공하는 것이다. It is another object of the present invention to provide a local contrast enhancement method that can suppress the problem of overshooting of local contrast in sharp edged images, which is particularly common in user interface applications.

본원 발명의 측면들은 특히 액정 디스플레이에서의 다이나믹 제어(DBC) 시스템을 위해 이용되는 톤 맵핑으로 인한 선명한 이미지 콘트라스트 손실을 보상하기 위해서 이미지 콘트라스트를 강화하는 관점에서 개발된 것이다. 톤 맵핑을 적용한 후에, 높은 휘도 영역의 선명한 콘트라스트 신호의 일부가 다이나믹 백라이트 제어하에서의 톤-맵핑 곡선에 따라서 감소될 것이고, 클립핑될 것이며, 또는 포화될 것이다. 이미지의 품질은 저하되고, 이미지의 선명한 콘트라스트 디테일들은 허용한계를 넘어 침식되거나 감소될 것이다. 본원 발명의 이러한 방법은 톤 맵핑으로부터의 콘트라스트 감소 효과에 대해서 사전-보상(pre-compensate)하기 위해서 톤 맵핑의 적용 이전에 특별한 방식으로 로컬 콘트라스트 신호를 강화하기 위해서 사용될 수 있다. Aspects of the present invention have been developed in particular in terms of enhancing image contrast to compensate for sharp image contrast loss due to tone mapping used for dynamic control (DBC) systems in liquid crystal displays. After applying tone mapping, part of the sharp contrast signal in the high luminance region will be reduced, clipped, or saturated according to the tone-mapping curve under dynamic backlight control. The quality of the image will deteriorate, and the sharp contrast details of the image will be eroded or reduced beyond the permissible limits. This method of the present invention can be used to enhance the local contrast signal in a special manner prior to the application of tone mapping to pre-compensate for the effect of contrast reduction from tone mapping.

특정 실시예에서, 알고리즘은 5개의 블록으로 구성되며, 그러한 블록은 멀티플렉서(multiplexer), 2개의 가중된 합 필터의 합계(summation of two weighted sum filters), 콘트라스트 쉐이딩 방정식, 콘트라스트 쉐이딩 테이블 및 RGB 스케일링을 포함한다. 제 1 파트는 픽셀 이미지의 RGB 성분들 중에서 가장 높은 값을 가지는 신호를 프로세싱용 기준 이미지 신호로서 선택하기 위한 멀티플렉서를 포함한다. 제 2 파트는 이미지 신호에 따라서 프로파일(profile) 신호를 형성하기 위 해서 이용된 2개의 가중된 합 필터의 합계이다. 두 필터들은, 다수의 이웃하는 픽셀에 걸쳐서, 이미지 신호의 가중된 합 그리고 절대 신호 변화의 가중된 합을 계산한다. 다음 파트는 두 팩터의 곱(product of two factors)으로서 표시되는 쉐이딩의 양을 이미지 신호로부터 차감함으로써 쉐이딩된 값을 계산하기 위한 것이다. 제 1 팩터는 상기 프로파일 신호로부터 이미지 신호를 차감함으로써 계산된 엔벨로프(envelop) 콘트라스트 신호 값이다. 제 2 팩터는 이미지 신호에 대한 톤-맵핑 곡선의 영향을 보상하기 위해서 이용되는 참조 테이블(lookup table)로부터의 맵 값이다. 또한, 이미지 내의 날카로운 엣지에서의 오버슈팅 문제를 피하기 위해서 만약 상기 값이 음의 값이라면 이러한 쉐이딩의 양은 제로(zero)로 셋팅된다. 최종적으로, 마지막 파트는 RGB 스케일링이며, 여기에서 픽셀 이미지 데이터의 RGB 신호 성분은 쉐이딩된 값 대 기준 이미지 신호의 비율로서 결정되는 동일한 스케일 팩터에 의해서 스케일된다. In a particular embodiment, the algorithm consists of five blocks, which block a multiplexer, summation of two weighted sum filters, contrast shading equations, contrast shading table and RGB scaling. Include. The first part includes a multiplexer for selecting a signal having the highest value among the RGB components of the pixel image as a reference image signal for processing. The second part is the sum of the two weighted sum filters used to form the profile signal in accordance with the image signal. Both filters calculate the weighted sum of the image signal and the weighted sum of the absolute signal change over a number of neighboring pixels. The next part is to calculate the shaded value by subtracting the amount of shading, expressed as the product of two factors, from the image signal. The first factor is an envelope contrast signal value calculated by subtracting the image signal from the profile signal. The second factor is a map value from a lookup table that is used to compensate for the effect of the tone-mapping curve on the image signal. Also, to avoid overshooting problems at sharp edges in the image, the amount of this shading is set to zero if the value is negative. Finally, the last part is RGB scaling, where the RGB signal components of the pixel image data are scaled by the same scale factor determined as the ratio of the shaded value to the reference image signal.

예시적인 하나의 실시예에서, 멀티플렉서는 로컬 쉐이딩의 양을 결정하기 위한 디지털 신호 프로세싱에 대한 대표 이미지 신호 입력으로서 RGB 입력 스트림 데이터 중에서 가장 높은 신호를 선택한다. In one exemplary embodiment, the multiplexer selects the highest signal among the RGB input stream data as a representative image signal input for digital signal processing to determine the amount of local shading.

다른 예시적인 실시예에서, 상기 방법은 다이나믹 백라이트 제어를 적용하는데 있어서 톤-맵핑 곡선의 롤-오프(roll-off) 영역내에서 일방향성(unidirectional) 콘트라스트의 로컬 강화를 실시한다. 인접 픽셀 데이터들 사이의 절대 신호 변화의 가중된 합계 평균 및 신호 입력 스트림의 가중된 합계 평균을 이용하여, 모듈내의 인-라인 디지털 필터 및 수학적 로직 유닛은 상기 선택된 신호 입력을 프로세싱하여 프로파일 신호를 생성한다. In another exemplary embodiment, the method performs local enhancement of unidirectional contrast in the roll-off region of the tone-mapping curve in applying dynamic backlight control. Using the weighted sum average of the absolute signal change between adjacent pixel data and the weighted sum average of the signal input stream, the in-line digital filter and mathematical logic unit in the module process the selected signal input to generate a profile signal. do.

또 다른 예시적인 실시예에서, 알고리즘은 스케일링된(scaled) 쉐이딩을 상기 신호 값에 적용하여 새로운 신호 값을 생성하고, 이러한 새로운 신호 값과 원래의 신호 값의 비율은 DBC에서 이용된 톤 맵핑 이전에 RGB 컬러 스트림 데이터의 사전-프로세싱에서 이용하기 위한 RGB 컬러 성분 스케일링 팩터를 구성한다. In another exemplary embodiment, the algorithm applies scaled shading to the signal values to generate new signal values, wherein the ratio of the new signal values to the original signal values is prior to the tone mapping used in the DBC. Constructs an RGB color component scaling factor for use in pre-processing RGB color stream data.

또 다른 예시적인 실시예에서, 쉐이딩의 양이 프로파일 신호 레벨 미만(below)의 신호 레벨의 양에 비례하게 만들며, 그에 따라 일방향성 또는 쉐이딩 콘트라스트 강화 효과가 달성된다. In another exemplary embodiment, the amount of shading is made proportional to the amount of signal level below the profile signal level, whereby a unidirectional or shading contrast enhancement effect is achieved.

또 다른 예시적인 실시예에서, 상기 모듈은 DBC에서 이용되는 디밍 인덱스(dimming index)에 의해서 제어될 수 있는 콘트라스트 쉐이딩 테이블을 구비하며, DBC에서 이용된 톤-맵핑 곡선을 결정하는 동일한 디밍 인덱스이다.In another exemplary embodiment, the module has a contrast shading table that can be controlled by the dimming index used in the DBC and is the same dimming index that determines the tone-mapping curve used in the DBC.

본원 발명의 다른 측면들도 설명된다.Other aspects of the present invention are also described.

이하에서는, 첨부 도면들을 참조하여 본 발명의 실시예들을 보다 구체적으로 설명한다. Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention in more detail.

본 발명의 방법 및 장치를 이용함으로써, 고휘도 영역 내의 이미지의 선명한 콘트라스트 디테일들이 적은 하드웨어 비용으로도 보존될 수 있다. 본 발명의 적용에 의해서, 다이나믹 백라이트 제어 시스템을 위한 보다 공격적인 파워 절감도 달성될 수 있다. By using the method and apparatus of the present invention, the sharp contrast details of the image in the high luminance region can be preserved at low hardware cost. By applying the present invention, more aggressive power savings for the dynamic backlight control system can also be achieved.

이하에서는, 이미지 신호에 대한 개선된 로컬 강화 방법 및 장치를 설명한다. 이하의 설명에는, 필터 크기, 이미지 곡선들, 이미지 막대 그래프, 톤-맵핑 곡선들, 및 콘트라스트 곡선들 등을 포함하는 많은 특정된 상세한 사항들이 기재되어 있다. 그러나, 이러한 본 명세서의 이러한 개시 내용으로부터, 소위 당업자는 본 발명의 범위 및 사상 내에서도 치환물 및/또는 부가물을 포함하는 개량 실시예를 분명히 이해할 수 있을 것이다. 다른 경우에, 본 발명을 불명확하게 하는 것을 방지하기 위해서 특정된 상세한 사항들을 생략하기도 하였다. 그럼에도 불구하고, 이하의 설명은 소위 당업자가 본 발명의 실시예들의 사상을 실패없이 실시할 수 있도록 기재되었다. In the following, an improved local enhancement method and apparatus for an image signal is described. In the following description, numerous specific details are set forth, including filter size, image curves, image histograms, tone-mapping curves, contrast curves, and the like. However, from this disclosure of this specification, those skilled in the art will be able to clearly understand the improved embodiments including substitutions and / or adducts within the scope and spirit of the present invention. In other instances, specific details have been omitted in order to avoid obscuring the present invention. Nevertheless, the following description has been written to enable a person skilled in the art to carry out the idea of the embodiments of the present invention without fail.

본 발명은 특히 액정 디스플레이에서의 다이나믹 백라이트 제어(DBC) 시스템과 같은 용도에서 톤 맵핑으로 인한 선명한 이미지 콘트라스트 손실을 보상하기 위해서 이용되는 이미지 데이터의 로컬 강화 방법 및 그에 대응하는 하드웨어 디자인에 관한 것이다. 선명한 이미지 콘트라스트 손실은 이미지에 톤 맵핑을 적용한 후에 발생되며, 이때 밝은(brightness) 영역들내의 이미지의 디테일(details)들이 포화되거나 클리핑되며, 그에 따라 결과적인 이미지의 품질이 저하된다. The present invention relates, in particular, to a method of local enhancement of image data and corresponding hardware designs used to compensate for sharp image contrast losses due to tone mapping in applications such as dynamic backlight control (DBC) systems in liquid crystal displays. A sharp image contrast loss occurs after applying tone mapping to an image, where details of the image in the bright areas are saturated or clipped, thereby degrading the resulting image quality.

이하의 표 1은 이하의 본원 명세서에서 이용되는 변수들의 리스트를 나타낸다.Table 1 below shows a list of variables used herein.

RGB 컬러 입력RGB color input (R,G,B)(R, G, B) RGB 컬러 출력RGB color output (R',G',B')(R ', G', B ') 대표적인 이미지 신호Representative Image Signal PP 쉐이딩된 이미지 신호Shaded Image Signal P'P ' 프로파일 신호Profile signal PcPc 콘트라스트 쉐이딩 테이블Contrast Shading Table C(P)C (P) 사용자에 의해서 조정될 수 있는 콘트라스트 효과 정도The degree of contrast effect that can be adjusted by the user αα

도 1은 본 발명의 실시예에 다른 이미지 신호에 대한 로컬 콘트라스트 강화 시스템(100)의 블록도이다. 예시적인 실시예에서, 알고리즘은 멀티플렉서(101), 비-선형 FIR 필터(102), 콘트라스트 쉐이딩 프로세서(103), 콘트라스트 쉐이딩 테이블(104), 및 RGB 스케일링 유닛(105)을 포함하는 5개의 메인 블록으로 구성된다. 로컬 콘트라스트 강화 시스템(100)의 제 1 파트는 콘트라스트 강화를 위한 로컬 스케일링 팩터(P'/P)를 결정하기 위해서 픽셀 이미지 데이터의 RGB 성분들 중에서 가장 큰 값을 대표 이미지 신호(P)로서 선택하기 위한 멀티플렉서(101)를 포함한다. 1 is a block diagram of a local contrast enhancement system 100 for an image signal according to an embodiment of the invention. In an exemplary embodiment, the algorithm includes five main blocks including a multiplexer 101, a non-linear FIR filter 102, a contrast shading processor 103, a contrast shading table 104, and an RGB scaling unit 105. It consists of. The first part of the local contrast enhancement system 100 selects the largest value among the RGB components of the pixel image data as the representative image signal P in order to determine the local scaling factor P '/ P for contrast enhancement. It includes a multiplexer 101 for.

다른 예시적인 실시예에서, 컬러 신호는 RGB 포맷 대신에 YUV 포맷을 기초로 얻어진다. YUV 포맷 적용의 경우에, 본 발명은 대표 이미지 신호로서 Y 신호를 이용할 것이다. In another exemplary embodiment, the color signal is obtained based on the YUV format instead of the RGB format. In case of YUV format application, the present invention will use the Y signal as the representative image signal.

로컬 콘트라스트 강화 시스템(100)의 제 2 파트는 이미지 신호에 따라서 2개의 가중된 합 필터의 합계로부터 프로파일 신호를 생성하기 위한 비-선형 FIR 필터 제너레이터(102)를 더 포함하는 로컬 콘트라스트 강화 P/P' 모듈(110)이다. 2개의 필터는 이미지 신호의 가중된 합과 이미지 신호의 절대 변화의 가중된 합을 각각 계산한다. 로컬 콘트라스트 강화 P/P' 모듈(110)은 오리지널 이미지 신호로부터 조건적인(conditional) 쉐이딩의 양을 차감함으로써 쉐이딩된 이미지 신호를 계산하기 위한 프로세서(103)를 추가적으로 포함한다. 조건적인 쉐이딩의 양은 이미지 신호로부터 추출된 두 팩터의 곱으로서 표시된다. 제 1 팩터는 프로파일 신호 레벨 미만에서 잔류하는 이미지 신호 레벨의 양이다. 제 2 팩터는, 다이나믹 백라이트 제어하의 디밍 인덱스에 의해서 결정되는, 이미지 신호에 대한 톤-맵핑 곡선의 영향을 보상하기 위해서 사용되는 참조 표(104)로부터 얻어지는 맵 값이다. 하나의 예시적인 실시예에서, 이미지의 날카로운 엣지에서의 오버슈팅 문제를 피하기 위해서, 조건적인 쉐이딩의 양은 이미지 신호 레벨이 프로파일 신호 레벨 보다 높을 때 제로(zero)로 셋팅된다.The second part of the local contrast enhancement system 100 further comprises a non-linear FIR filter generator 102 for generating a profile signal from the sum of the two weighted sum filters in accordance with the image signal. Module 110. The two filters calculate the weighted sum of the image signal and the weighted sum of the absolute change of the image signal, respectively. The local contrast enhancement P / P 'module 110 further includes a processor 103 for calculating the shaded image signal by subtracting the amount of conditional shading from the original image signal. The amount of conditional shading is expressed as the product of two factors extracted from the image signal. The first factor is the amount of image signal level remaining below the profile signal level. The second factor is a map value obtained from reference table 104 used to compensate for the effect of the tone-mapping curve on the image signal, determined by the dimming index under dynamic backlight control. In one exemplary embodiment, to avoid overshooting problems at sharp edges of the image, the amount of conditional shading is set to zero when the image signal level is higher than the profile signal level.

로컬 콘트라스트 강화 시스템(100)은 RGB 스케일링 유닛(105)을 더 포함하며, 이때 픽셀 데이터의 RGB 값은 쉐이딩된 이미지 신호 대 오리지널 대표 이미지 신호의 비율(P'/P)로서 결정되는 로컬 스케일링 팩터에 의해서 균일하게 스케일링된다. The local contrast enhancement system 100 further comprises an RGB scaling unit 105, wherein the RGB value of the pixel data is in a local scaling factor that is determined as the ratio (P '/ P) of the shaded image signal to the original representative image signal. Scaled uniformly by

도 2a는 본 발명에 따른 로컬 콘트라스트 강화를 설명하기 위한 예시적인 이미지를 도시한다. 예시적인 이미지는 산(201) 위의 보름달(202)을 포함한다. 도 2b는 도 2a내의 예시적인 이미지에 대응하는 픽셀 세기 막대 그래프(210)를 도시한다. 산(211)에 대한 픽셀들은 비교적 어둡고 막대 그래프(210)의 낮은 입력 신호 부분에 분포되는 한편, 달(212)의 픽셀들은 상대적으로 밝고 그에 따라 막대 그래프(210)의 높은 입력 신호 부분에 분포된다. 2A shows an exemplary image for explaining local contrast enhancement in accordance with the present invention. An example image includes a full moon 202 above a mountain 201. FIG. 2B shows a pixel intensity histogram 210 corresponding to the example image in FIG. 2A. The pixels for the mountain 211 are relatively dark and distributed in the low input signal portion of the histogram 210, while the pixels of the moon 212 are relatively bright and thus distributed in the high input signal portion of the histogram 210. .

백라이트 파워의 절감을 위해서 백라이트가 디밍되는(dimmed) LCD를 위한 다이나믹 백라이트 제어에서, 이미지 휘도 및 콘트라스트를 지각적으로(perceptually) 동일하게 유지하기 위해서 이미지 신호 값들은 톤 맵핑에 의해서 스케일 업(scale up)된다. 도 3a는 톤 맵핑 후에 도 2a의 예시적인 이미지의 막대 그래프를 도시하고, 도 3b는 도 3a에서의 톤 맵핑에 대한 예시적인 톤-맵핑 곡선을 도시한다. 도 3b에서 점선으로 표시된 톤-맵핑 곡선(300)의 특성은 일점 쇄선형 수직 라인(301)에 의해서 분할되는 두 영역을 참조할 때 가장 잘 설명될 수 있을 것이다. 하나의 영역은 톤-맵핑 곡선(300) 내의 실질적으로 일정한 기울기의 선형 영역(302)이다. 다른 하나는 이미지 신호의 증대되는 휘도 값과 함께 작아지는 톤-맵핑 곡선(300) 내의 기울기가 변화되는 롤-오프 영역(303)이다. 추가적인 파워 절감을 위해서, 다이나믹 백라이트 제어는 백라이트에 보다 많은 디밍을 적용할 수 있으며, 그에 따라 롤-오프 영역(303)이 확장될 수 있다. 롤-오프 영역(303)에서, 이미지 신호 레벨은 포화 레벨(304)에 접근할수록 억제된다. 도 2b와 대조적으로, 도 3a의 디밍 인덱스 라인(310)으로부터 이미지 픽셀의 우측은 좌측으로 재맵핑된(remapped) 것이다.In dynamic backlight control for LCDs where the backlight is dimmed to reduce backlight power, the image signal values are scaled up by tone mapping to keep the image brightness and contrast perceptually the same. )do. FIG. 3A shows a histogram of the example image of FIG. 2A after tone mapping, and FIG. 3B shows an example tone-mapping curve for the tone mapping in FIG. 3A. The characteristic of the tone-mapping curve 300 indicated by the dotted line in FIG. 3B may be best explained when referring to the two regions divided by the dashed vertical line 301. One area is a linear area 302 of substantially constant slope within the tone-mapping curve 300. The other is the roll-off area 303 whose slope in the tone-mapping curve 300 changes with increasing luminance value of the image signal. For additional power savings, the dynamic backlight control can apply more dimming to the backlight, thereby expanding the roll-off area 303. In the roll-off area 303, the image signal level is suppressed as it approaches the saturation level 304. In contrast to FIG. 2B, the right side of the image pixel from the dimming index line 310 of FIG. 3A is remapped to the left.

도 4a는 상이한 디밍 인덱스 하에서의 톤 맵핑 후의 도 2a내의 예시적인 이미지의 막대 그래프를 도시한 것이고, 도 4b는 도 4a내의 톤 맵핑을 위한 예시적인 톤-맵핑 곡선이다. 만약, 디밍 인덱스 라인(410)이 좌측으로 이동한다면, 롤-오프 영역은 확장될 것이고, 보다 많은 픽셀이 막대 그래프에서 좌측으로 분포될 것이다. 픽셀의 휘도 레벨을 재-정렬시키는 톤-맵핑 곡선(400)의 특성으로 인해서 이미지의 품질은 결과적으로 저하된다. 4A shows a histogram of an example image in FIG. 2A after tone mapping under different dimming indices, and FIG. 4B is an example tone-mapping curve for tone mapping in FIG. 4A. If the dimming index line 410 moves to the left, the roll-off area will expand and more pixels will be distributed to the left in the bar graph. The quality of the image is consequently degraded due to the nature of the tone-mapping curve 400 that re-aligns the luminance levels of the pixels.

도 5a는 톤 맵핑으로 인한 이미지 손실을 나타내는 막대 그래프이고, 도 5b는 도 5a에 대응하는 예시적인 이미지를 도시한 도면이다. 막대 그래프의 밝은 영역(502)에 대응하는 달 영역(501)의 디테일이 손실되었다. FIG. 5A is a bar graph showing image loss due to tone mapping, and FIG. 5B is a diagram illustrating an exemplary image corresponding to FIG. 5A. The detail of the lunar region 501 corresponding to the bright region 502 of the histogram is lost.

도 6a는 톤 맵핑 이전의 도 5b의 예시적인 이미지 내의 오리지널 이미지 신호를 도시한 그래프이다. 설명을 위해서, 이미지 신호(600)는 도 5b의 예시적인 이미지의 일부에만 대응하고 일차원적인 곡선으로서 표시되었다. 수평 일점쇄선 라인(601)은 선형 영역(602) 및 롤-오프 영역(603)을 나타내기 위해 표시되었다.FIG. 6A is a graph illustrating the original image signal in the example image of FIG. 5B before tone mapping. FIG. For illustrative purposes, the image signal 600 corresponds only to a portion of the example image of FIG. 5B and is shown as a one-dimensional curve. Horizontal dashed line 601 is shown to represent linear region 602 and roll-off region 603.

도 6b는 로컬 콘트라스트 강화 신호 사전-프로세싱 없는 톤 맵핑 후의 도 6a의 이미지 신호를 도시한 그래프이다. 선형 영역 내의 신호(613)의 낮은 휘도 부분은 거의 저하(degradation)가 없다는 것을 나타내는 반면, 롤-오프 영역 내의 신호의 위쪽 부분은 신호의 포화 레벨로 인한 선명한 콘트라스트 신호(611)의 감소 또는 심지어는 신호 클립핑(612)을 나타낸다. 6B is a graph illustrating the image signal of FIG. 6A after tone mapping without local contrast enhancement signal pre-processing. The low luminance portion of the signal 613 in the linear region indicates that there is little degradation, while the upper portion of the signal in the roll-off region reduces or even reduces the sharp contrast signal 611 due to the saturation level of the signal. Signal clipping 612 is shown.

도 7a는 본 발명에 따른 로컬 콘트라스트 강화 신호 사전-프로세싱을 거친 오리지널 이미지 신호를 도시한 그래프이고, 도 7b는 톤 맵핑 후의 도 7a의 이미지 신호를 도시한 그래프이다. 높은 휘도 영역 내에서 선명한 이미지 콘트라스트 신호를 보존하기 위해서, 로컬 콘트라스트 강화가 톤 맵핑 이전에 이미지 신호에 국부적으로(locally) 적용되며 그에 따라 톤 맵핑 후에도 선명한 이미지 콘트라스트가 유지될 수 있게 된다. 도 7a에 도시된 점선형 곡선(702)은 이미지 신호(701)의 새롭게 업데이트된 출력 신호를 보여주고, 이는 예시적인 실시예의 로컬 콘트라스트 강화 방법에 의해 달성되는 쉐이딩 효과를 나타낸다. 도 7b에서, 롤-오프 영역 내의 신호(703)의 상부 부분은 이미지 콘트라스트를 유지하는데, 이는 이미지 저하 및 신호 클리핑이 성공적으로 방지되기 때문이다. FIG. 7A is a graph showing the original image signal after local contrast enhancement signal pre-processing according to the present invention, and FIG. 7B is a graph showing the image signal of FIG. 7A after tone mapping. In order to preserve a clear image contrast signal in the high luminance region, local contrast enhancement is applied locally to the image signal prior to tone mapping so that sharp image contrast can be maintained even after tone mapping. The dotted curve 702 shown in FIG. 7A shows the newly updated output signal of the image signal 701, which represents the shading effect achieved by the local contrast enhancement method of the exemplary embodiment. In FIG. 7B, the upper portion of the signal 703 in the roll-off area maintains image contrast, because image degradation and signal clipping are successfully prevented.

도 8은 본원 발명에 따른 로컬 콘트라스트 강화의 예시적인 회로도(800)를 도시한 도면이다. 예시적인 실시예에서, 오리지널 이미지 신호의 대표 이미지 신호(P 801)를 공급함으로써 회로 흐름이 시작된다. 본 발명의 실시예에 따라, 대표 이미지 신호(P 801)는 멀티플렉서(도시 하지 않음)에 의해서 픽셀 데이터의 RGB 성분들 중에서 가장 큰 신호로부터 선택된다. 8 shows an exemplary circuit diagram 800 of local contrast enhancement in accordance with the present invention. In an exemplary embodiment, the circuit flow begins by supplying a representative image signal P 801 of the original image signal. According to an embodiment of the present invention, the representative image signal P 801 is selected from the largest signal among the RGB components of the pixel data by a multiplexer (not shown).

이어서, 프로파일 신호(Pc 803)가 비-선형 FIR 필터(802)에 의해서 계산된다. 본 발명의 일 실시예에 따라, 프로파일 신호(Pc 803)는, 대표 이미지 신호(P 801)의 가중된 합 그리고 대표 이미지 신호(P 801)의 절대 신호 변화의 가중된 합에 각각 대응하여, 두 필터의 출력을 합계함으로써 얻어진다. 위치(n)에서의 대표 이미지 신호가 P(n)이라고 가정하고, 그리고 위치(n)와 위치(n+1)에서 이웃 픽셀들의 P(n) 801의 값들 사이의 절대 변화를 D(n)이라고 가정한다. 프로파일 신호(Pc(n) 803)는 이하의 수학식 (3)에 의해서 계산된다. 즉:The profile signal Pc 803 is then calculated by the non-linear FIR filter 802. According to an embodiment of the present invention, the profile signal Pc 803 corresponds to the weighted sum of the representative image signal P 801 and the weighted sum of the absolute signal change of the representative image signal P 801, respectively. It is obtained by summing the output of the filter. Assume that the representative image signal at position n is P (n), and the absolute change between the values of P (n) 801 of neighboring pixels at position n and position n + 1 is D (n). Assume that The profile signal Pc (n) 803 is calculated by the following equation (3). In other words:

Figure 112008066438335-PAT00001
Figure 112008066438335-PAT00001

이때, 2w+1 은 가중된 합 필터들의 크기이고; w1, w2 는 가중된 합 필터의 가중 계수이며; D(n) = │P(n+1)-P(n)│ 은 대표 이미지 신호(P(n) 801)의 절대 신호 변화이다. Where 2w + 1 is the magnitude of the weighted sum filters; w1 and w2 are weighting coefficients of the weighted sum filter; D (n) = | P (n + 1) -P (n) | is the absolute signal change of the representative image signal P (n) 801.

필터의 윈도우 크기는 강화 효과의 선명도(sharpness)에 영향을 미칠 수 있으며, 다시 말해, 프로파일 신호는 보다 좁은 윈도우의 경우에 보다 날카롭 게(sharply; 급격하게) 변화될 것이고 반대의 경우도 발생할 것이다. 프로파일 신호의 변화가 너무 날카로워지면, 바람직하지 못한 인공적인 가시 효과(visual effect)를 제공할 것이다. 반면에, 윈도우 크기가 너무 넓으면, 콘트라스트 강화 효과는 사라질 것이다. 한편, 윈도우 크기가 너무 크면, 가시적인 확장된 범위에 걸쳐 이미지 변화를 초래할 수 있을 것이다. The window size of the filter can affect the sharpness of the enhancement effect, that is, the profile signal will change more sharply for narrower windows and vice versa. . If the change in the profile signal becomes too sharp, it will provide undesirable artificial visual effects. On the other hand, if the window size is too wide, the contrast enhancement effect will disappear. On the other hand, if the window size is too large, it may cause image change over a visible extended range.

예시적인 실시예에서, 비대칭적인 강화 가시 효과를 피하기 위해서 양 필터에 대한 가중 계수는 대칭적이다. 각 필터에 대한 계수의 합은 용이한 하드웨어 실행을 위해서 2의 승수 즉, 4, 8, 16, 32, 64, 128 등 인 것이 바람직하다. 가중 계수의 예를 들면: 4, 6, 8, 9, 10, 9, 8, 6, 4이며 이때 합은 64이다. In an exemplary embodiment, the weighting coefficients for both filters are symmetrical to avoid asymmetrical enhancement visible effects. The sum of the coefficients for each filter is preferably a multiplier of two, that is, 4, 8, 16, 32, 64, 128, etc., for easy hardware implementation. Examples of weighting factors are: 4, 6, 8, 9, 10, 9, 8, 6, 4, with a sum of 64.

이어서, 대표 이미지 신호(P 801)가 애더(adder; 804)에 의해서 프로파일 신호(Pc 803)로부터 차감되어 엔벨로프 콘트라스트 신호(X 805)를 얻는다. 이어서, 비교기(806)가 엔벨로프 콘트라스트 신호(X 805)를 체크하고, X 805가 제로 보다 큰 경우에 X 805를 비교기 출력(Y 807)으로 할당하고, 그렇지 않은 경우에 비교기 출력(Y 807)은 제로로 셋팅된다. 한편, 대표 이미지 신호(P 801)는 참조 테이블(808)에 저장된 기준 콘트라스트 값 정보에 사용된다. 참조 테이블(808)은 다양한 디밍 인덱스에 대응하는 많은 수의 콘트라스트 곡선을 저장한다. 이미지 신호 또는 대표 이미지 신호(P 801), 디밍 인덱스(809), 및 튜닝 파라미터(tuning parameter)(α)를 입력함으로써, 참조 테이블(808)은 콘트라스트 값(αC(P) 810)을 생성한다. 이어서, 그러한 콘트라스트 값(αC(P) 810)은 멀티플라이어(811)에 의해서 Y 807과 곱해진다. 애더(812)에 의해서 멀티플라이어(811)의 출력이 대표 이 미지 신호(P 801)로부터 차감되어 쉐이딩된 이미지 신호(P' 813)가 얻어진다. 마지막으로, 컬러 성분 스케일링에 대한 비율(P'/P 815)이 디바이더(divider; 814)에 의해서 연산된다. The representative image signal P 801 is then subtracted from the profile signal Pc 803 by an adder 804 to obtain the envelope contrast signal X 805. Comparator 806 then checks envelope contrast signal X 805 and assigns X 805 to comparator output Y 807 if X 805 is greater than zero, otherwise comparator output Y 807 It is set to zero. Meanwhile, the representative image signal P 801 is used for reference contrast value information stored in the reference table 808. The lookup table 808 stores a large number of contrast curves corresponding to various dimming indices. By inputting an image signal or representative image signal P 801, a dimming index 809, and a tuning parameter α, the reference table 808 generates a contrast value αC (P) 810. Such a contrast value αC (P) 810 is then multiplied by Y 807 by the multiplier 811. The output of the multiplier 811 is subtracted from the representative image signal P801 by the adder 812 to obtain a shaded image signal P ′ 813. Finally, a ratio P '/ P 815 to color component scaling is computed by the divider 814.

도 9a는 본 발명의 실시예에 따른 로컬 콘트라스트 강화에서의 콘트라스트 쉐이딩의 적용을 설명하는 그래프이며, 도 9b는 도 9a의 콘트라스트 쉐이딩에 대응하는 콘트라스트 곡선(920) 및 톤 맵핑 곡선(910)을 도시한 그래프이다. 톤-맵핑 곡선(910)으로 인한 이미지 손실을 보상하기 위해서, 톤-맵핑 곡선(910)의 롤-오프 영역(940)을 따른 'P 901' 및 'Pc 902'의 값들은 이미지의 콘트라스트 다이나믹에 영향을 미칠 수 있다. 이미지 디테일의 손실을 보상하기 위해서, 일련의 콘트라스트 값(C1, C2, C3 920)들이 대응하는 톤-맵핑 곡선(R1, R2, R3 910)을 보상하기 위해서 규정되며 참조 테이블에 저장된다. 일반적으로, 톤-맵핑 곡선(910)들의 특성은 두 영역 즉, 선형 영역(930) 및 롤-오프 영역(940)으로 분류될 수 있다. 하나의 예시적인 실시예에서, 콘트라스트 곡선(920)의 값이 대응하는 톤-맵핑 곡선(910)의 선형 영역(930) 내에서 제로로 셋팅된다. 이어서, 톤-맵핑 곡선(910)의 기울기가 롤-오프 영역(940) 내에서 감소됨에 따라 콘트라스트 곡선(920)이 상승한다. 톤-맵핑 곡선(910)의 롤 오프 효과로 인한 손실을 보상하도록 콘트라스트 곡선(920)이 결정된다. 대응하는 롤-오프 곡선 기울기가 감소됨에 따라 보상 곡선 기울기는 커진다. 보상 곡선과 톤-맵핑 곡선의 관계는 또한 디스플레이 특성, 인간의 가시적인 인식, 및 이미지 콘텐츠에 따라 달라진다. 9A is a graph illustrating the application of contrast shading in local contrast enhancement in accordance with an embodiment of the present invention, and FIG. 9B shows a contrast curve 920 and tone mapping curve 910 corresponding to the contrast shading of FIG. 9A. One graph. To compensate for image loss due to tone-mapping curve 910, the values of 'P 901' and 'Pc 902' along roll-off area 940 of tone-mapping curve 910 are added to the contrast dynamics of the image. Can affect In order to compensate for the loss of image detail, a series of contrast values C1, C2, C3 920 are defined to compensate for the corresponding tone-mapping curves R1, R2, R3 910 and stored in a reference table. In general, the characteristics of the tone-mapping curves 910 can be classified into two regions, a linear region 930 and a roll-off region 940. In one exemplary embodiment, the value of the contrast curve 920 is set to zero in the linear region 930 of the corresponding tone-mapping curve 910. The contrast curve 920 then rises as the slope of the tone-mapping curve 910 decreases in the roll-off area 940. Contrast curve 920 is determined to compensate for the loss due to the roll-off effect of tone-mapping curve 910. The compensation curve slope increases as the corresponding roll-off curve slope decreases. The relationship between the compensation curve and the tone-mapping curve also depends on display characteristics, human visual perception, and image content.

하나의 예시적인 실시예에서, 각각의 콘트라스트 곡선(920)은 콘트라스트 쉐 이딩 테이블로서 간주되는 참조 테이블에 의해서 표시되며 실시간 하드웨어 실시를 위해서 미리-규정된다(pre-defined)In one exemplary embodiment, each contrast curve 920 is represented by a reference table that is considered as a contrast shading table and is pre-defined for real-time hardware implementation.

본 발명의 실시예에 따라서, 톤-맵핑 곡선으로 인한 저하의 보상은, 픽셀 바이 픽셀(pixel by pixel)을 기초로, 실선 곡선(901)을 따른 점으로 표시된 대표 이미지 신호(P 904)를 쉐이딩된 이미지 신호(P' 905)로 업데이트함으로써 실시된다. 오리지널 대표 이미지 신호(P 904)의 실선 곡선(901)과의 비교에서, 쉐이딩된 이미지 신호(P' 905)의 점선 곡선(903)의 로컬 신호 변화 또는 콘트라스트는 신호 쉐이딩에 의해서 확대 또는 강화된다. 예시적인 실시예에서, 쉐이딩된 이미지 신호(P' 905)는 이하의 콘트라스트 쉐이딩 방정식에 따라서 오리지널 대표 이미지 신호(P 904)로부터 계산된다.In accordance with an embodiment of the invention, compensation for degradation due to the tone-mapping curve shades a representative image signal P 904 indicated by a point along the solid curve 901 based on a pixel by pixel. By updating to the completed image signal P'905. In comparison with the solid line curve 901 of the original representative image signal P 904, the local signal change or contrast of the dashed line curve 903 of the shaded image signal P ′ 905 is magnified or enhanced by signal shading. In an exemplary embodiment, the shaded image signal P ′ 905 is calculated from the original representative image signal P 904 according to the contrast shading equation below.

Figure 112008066438335-PAT00002
Figure 112008066438335-PAT00002

이때, C(P)는 톤-맵핑 곡선의 보상을 위한 콘트라스트 쉐이딩 테이블이고, α는 콘트라스트 효과의 정도를 튜닝하기 위한 파라미터이다. 파라미터(α)는, 특정 이미지에 대한 개인적인 선정(preference)을 위해서, 필요에 따른 사용자 선정 제어를 허용한다. 예시적인 실시예에서, α는 콘트라스트 강화 활성화를 위해서 1(unity)로 셋팅되는 반면, 콘트라스트 강화는 α를 제로 셋팅함으로써 턴 오프(turn off)된다.In this case, C (P) is a contrast shading table for compensation of the tone-mapping curve, and α is a parameter for tuning the degree of contrast effect. The parameter α allows user selection control as needed for personal preference for a particular image. In an exemplary embodiment, α is set to 1 (unity) for contrast enhancement activation, while contrast enhancement is turned off by setting α to zero.

결과적으로, 쉐이딩된 값(P' 905)은 오리지널 대표 이미지 신호(P 904)의 값 보다 작거나 그와 같다. 신호(P 904)에서의 로컬 콘트라스트는 신호 쉐이딩으로 지칭되는 신호 밸리의 계산된 디프레싱(depressing)에 의해서 확대된다. As a result, the shaded value P ′ 905 is less than or equal to the value of the original representative image signal P 904. The local contrast in signal P 904 is magnified by the calculated depressing of the signal valley called signal shading.

도 10a는 통상적인 방법에 따른 콘트라스트 강화 전후의 이미지 신호를 도시한 그래프이다. 실선 곡선(1001)은 예시적인 오리지널 이미지 신호를 나타낸다. 점선 곡선(1002)은 강화된 출력 신호를 나타낸다. 통상적인 로컬 콘트라스트 강화에서, 점선 곡선(1003)으로 표시된 로우 패스 신호는 부스팅 및 쉐이딩으로 이미지 신호를 강화하기 위해서 이용된다. 그러나, 만약, 오리지널 신호가 이미 시스템 최고 레벨에 근접한 높은 레벨이라면, 이미지 신호의 포화 또는 클립핑(1004)은 부스팅된 신호에서 발생될 것이다. 톤-맵핑이 다이나믹 백라이트 용도에 적용될 때, 부스팅된 신호의 추가적인 포화 또는 클립핑이 초래될 것이다. 10A is a graph showing image signals before and after contrast enhancement according to a conventional method. Solid curve 1001 represents an exemplary original image signal. Dotted line curve 1002 represents the enhanced output signal. In typical local contrast enhancement, the low pass signal indicated by dashed curve 1003 is used to enhance the image signal with boosting and shading. However, if the original signal is already at a high level close to the system highest level, saturation or clipping 1004 of the image signal will occur in the boosted signal. When tone-mapping is applied to dynamic backlight applications, additional saturation or clipping of the boosted signal will result.

도 10b는 본 발명에 따른 콘트라스트 강화 후의 도 10a와 동일한 이미지 신호를 도시한 그래프이다. 본 발명의 실시예에 따라, 이미지 로컬 콘트라스트 신호(1012)가 쉐이딩 만으로 확대되고, 그에 따라 클립핑 또는 포화의 문제를 피하게 된다. 예시적인 일 실시예에서, 프로파일 신호(1013)의 레벨이 오리지널 이미지 신호(1011)의 레벨 보다 높을 때, 로컬 콘트라스트를 강화하기 위해서 출력 신호 밸리들이 의도적으로 낮춰진다. 10B is a graph showing the same image signal as FIG. 10A after contrast enhancement according to the present invention. In accordance with an embodiment of the present invention, the image local contrast signal 1012 is magnified only by shading, thereby avoiding the problem of clipping or saturation. In one exemplary embodiment, when the level of the profile signal 1013 is higher than the level of the original image signal 1011, the output signal valleys are intentionally lowered to enhance local contrast.

도 11a는 통상적인 방법에 따른 콘트라스트 강화 후의 이미지 신호에서의 오버슈팅 문제를 도시한 그래프이다. 그러한 오버슈팅 문제는 이미지 신호의 날카로운 엣지에서 존재하며, 프로파일 신호(1101)의 레벨이 이미지 신호(1102)의 레벨 보다 낮을 때 GUI 그래픽에서 일반적으로 발견되며, 결과적으로 강화된 콘트라스트 신호(1103)에서 비정상적으로 밝은 엣지(1104)를 초래한다. 11A is a graph illustrating the overshooting problem in an image signal after contrast enhancement according to a conventional method. Such overshooting problems exist at the sharp edges of the image signal and are commonly found in GUI graphics when the level of the profile signal 1101 is lower than the level of the image signal 1102, and consequently in the enhanced contrast signal 1103. This results in an unusually bright edge 1104.

도 11b는 본 발명에 따른 콘트라스트 강화 후를 도시한 도 11a와 동일한 이미지 신호를 도시한 그래프이다. 예시적인 실시예에서, 밝은 엣지 결함을 제거하기 위해서, 프로파일 신호(1112)의 레벨이 이미지 신호(1111)의 레벨 보다 낮을 때 쉐이딩의 양이 제로로 셋팅된다. Pc > P의 조건하에서 쉐이딩의 양이 제로로 셋팅되는 상기 수학식 (4)에 따라서 오버슈팅 문제가 완전히 제거된다. FIG. 11B is a graph showing the same image signal as FIG. 11A showing after contrast enhancement according to the present invention. FIG. In an exemplary embodiment, the amount of shading is set to zero when the level of the profile signal 1112 is lower than the level of the image signal 1111 to remove bright edge defects. The overshooting problem is completely eliminated according to Equation (4) above, where the amount of shading is set to zero under the condition of Pc > P.

도 12는 본 발명의 실시예에 따른 이미지 신호에 대한 로컬 콘트라스트 강화 방법을 도시한 흐름도이다. 이러한 방법은 톤 맵핑 어플리케이션에서 이미지 품질을 강화하고 결정 단계(1201)에서 시작되며, 상기 결정 단계에서는 이미지 신호를 위한 로컬 콘트라스트 증분(increment) 정도(degree)가 톤 맵핑으로 인한 저하를 보상하기 위해서 결정된다. 필터링 단계(1202)에서, 다수의 이웃하는 픽셀들의 가중된 합 평균과 다수의 이웃하는 픽셀들의 절대 변화의 가중된 합 평균을 합계함으로써 프로파일 신호가 얻어진다. 쉐이딩 단계(1203)에서, 로컬 쉐이딩이 이미지 신호의 휘도 레벨에 적용되며, 이때 로컬 쉐이딩은 로컬 콘트라스트 증분의 정도 그리고 상기 이미지 신호와 상기 프로파일 신호 간의 차이에 비례한다. 12 is a flowchart illustrating a local contrast enhancement method for an image signal according to an embodiment of the present invention. This method enhances image quality in a tone mapping application and begins at decision step 1201, in which the local contrast increment degree for the image signal is determined to compensate for the degradation due to tone mapping. do. In filtering step 1202, a profile signal is obtained by summing the weighted sum average of the plurality of neighboring pixels and the weighted sum average of the absolute change of the plurality of neighboring pixels. In shading step 1203, local shading is applied to the luminance level of the image signal, where local shading is proportional to the degree of local contrast increment and the difference between the image signal and the profile signal.

예시적인 실시예에서, 이미지 신호의 컬러 성분들 사이에서 가장 강한 신호가 로컬 쉐이딩이 적용되는 일차(primary) 대표 이미지 신호로서 선택된다. 이어서, 로컬 쉐이딩은 쉐이딩된 이미지 신호를 생성하고, 이때 상기 로컬 쉐이딩은 상기 로컬 콘트라스트 증분의 정도 그리고 상기 일차 대표 이미지 신호와 상기 프로파일 신호 간의 차이에 비례한다. In an exemplary embodiment, the strongest signal between the color components of the image signal is selected as the primary representative image signal to which local shading is applied. Local shading then generates a shaded image signal, where the local shading is proportional to the degree of local contrast increment and the difference between the primary representative image signal and the profile signal.

스케일링 단계(1204)에서, 컬러 성분들은 RGB 스케일링 프로세스에 의해서 비례적으로 조정되어 픽셀의 컬러 특성을 유지한다. 하나의 예시적인 실시예에서, 대표 값(P) 및 그 값의 쉐이딩된 값(P')은, 다음의 수학식 (5)와 같이 디바이더 및 3개의 멀티플라이어에 의해서 비율(P'/P)로 각 성분 값을 스케일링함으로써, RGB 성분들을 변경하는데 이용된다. In scaling step 1204, the color components are proportionally adjusted by the RGB scaling process to maintain the color characteristics of the pixel. In one exemplary embodiment, the representative value P and the shaded value P 'of the value are the ratio P' / P by the divider and the three multipliers, as shown in Equation 5 below. It is used to change the RGB components by scaling each component value with.

Figure 112008066438335-PAT00003
Figure 112008066438335-PAT00003

RGB 이외에도, 이미지 신호의 컬러 성분들은 CMYK, HSV, HSL, YUV 및 YIQ와 같은 컬러 모델에 따라서 결정될 수도 있다. In addition to RGB, the color components of the image signal may be determined according to color models such as CMYK, HSV, HSL, YUV, and YIQ.

본 발명의 방법 및 장치를 이용함으로써, 고휘도 영역 내의 이미지의 선명한 콘트라스트 디테일들이 적은 하드웨어 비용으로도 보존될 수 있다. 본 발명의 적용에 의해서, 다이나믹 백라이트 제어 시스템을 위한 보다 공격적인 파워 절감도 달성될 수 있다. By using the method and apparatus of the present invention, the sharp contrast details of the image in the high luminance region can be preserved at low hardware cost. By applying the present invention, more aggressive power savings for the dynamic backlight control system can also be achieved.

본 발명의 실시예에 관한 이상의 설명은 한정적인 것이 아니며, 소위 당업자는 본 발명의 실시예에 대한 업데이트 또는 개선을 자명하게 인식할 수 있을 것이며, 그에 따라 본원 발명의 범위를 결정하기 위해서는 특허청구범위를 기준으로 하여야 할 것이다. The above description of the embodiments of the present invention is not limited, so that those skilled in the art will be able to readily appreciate the updates or improvements to the embodiments of the present invention, and accordingly the claims to determine the scope of the present invention Should be based on.

도 1은 본원 발명에 따른 로컬 콘트라스트 강화를 도시한 블록도이다. 1 is a block diagram illustrating local contrast enhancement in accordance with the present invention.

도 2a는 본원 발명에 따른 로컬 콘트라스트 강화를 설명하기 위한 예시적인 이미지를 도시한 도면이다. 2A illustrates an exemplary image for explaining local contrast enhancement in accordance with the present invention.

도 2b는 도 2a의 예시적인 이미지에 대응하는 픽셀 세기를 도시한 막대그래프이다. FIG. 2B is a bar graph illustrating pixel intensities corresponding to the example image of FIG. 2A.

도 3a는 톤 맵핑 후의 도 2a의 예시적인 이미지를 도시한 막대 그래프이다. FIG. 3A is a bar graph illustrating the example image of FIG. 2A after tone mapping. FIG.

도 3b는 도 3a에서의 톤 맵핑을 위한 예시적인 톤-맵핑 곡선을 도시한 그래프이다. 3B is a graph illustrating an example tone-mapping curve for tone mapping in FIG. 3A.

도 4a는 상이한 디밍 인덱션 하에서의 톤 맵핑 후의 도 2a의 예시적인 이미지를 도시한 막대 그래프이다. 4A is a bar graph illustrating the example image of FIG. 2A after tone mapping under different dimming indexes.

도 4b는 도 4a에서 톤 맵핑을 위한 예시적인 톤-맵핑 곡선을 도시한 그래프이다. 4B is a graph illustrating an example tone-mapping curve for tone mapping in FIG. 4A.

도 5a는 톤 맵핑으로 인한 이미지 손실을 나타내는 막대 그래프이다. 5A is a bar graph showing image loss due to tone mapping.

도 5b는 도 5a에 대응하는 예시적인 이미지를 도시한 도면이다. FIG. 5B is a diagram illustrating an example image corresponding to FIG. 5A.

도 6a는 톤 맵핑 이전의 오리지널 이미지 신호를 도시한 그래프이다. 6A is a graph illustrating the original image signal before tone mapping.

도 6b는 로컬 콘트라스트 강화 신호 사전-프로세싱 없는 톤 맵핑 후의 도 6a의 이미지 신호를 도시한 그래프이다. 6B is a graph illustrating the image signal of FIG. 6A after tone mapping without local contrast enhancement signal pre-processing.

도 7a는 본 발명에 따른 로컬 콘트라스트 강화 신호 사전-프로세싱을 거친 오리지널 이미지 신호를 도시한 그래프이다. 7A is a graph illustrating an original image signal that has undergone local contrast enhancement signal pre-processing according to the present invention.

도 7b는 톤 맵핑 후의 도 7a의 이미지 신호를 도시한 그래프이다. 7B is a graph illustrating the image signal of FIG. 7A after tone mapping.

도 8은 본원 발명에 따른 로컬 콘트라스트 강화의 예시적인 회로도를 도시한 도면이다. 8 is an exemplary circuit diagram of local contrast enhancement in accordance with the present invention.

도 9a는 본 발명의 실시예에 따른 로컬 콘트라스트 강화에서의 콘트라스트 쉐이딩의 적용을 설명하는 그래프이다. 9A is a graph illustrating the application of contrast shading in local contrast enhancement in accordance with an embodiment of the present invention.

도 9b는 도 9a의 콘트라스트 쉐이딩에 대응하는 콘트라스트 곡선 및 톤 맵핑 곡선을 도시한 그래프이다. FIG. 9B is a graph illustrating a contrast curve and a tone mapping curve corresponding to the contrast shading of FIG. 9A.

도 10a는 통상적인 방법에 따른 콘트라스트 강화 전후의 이미지 신호를 도시한 그래프이다. 10A is a graph showing image signals before and after contrast enhancement according to a conventional method.

도 10b는 본 발명에 따른 콘트라스트 강화 전후를 도시한 도면으로서, 도 10a와 동일한 이미지 신호를 도시한 그래프이다. FIG. 10B is a diagram illustrating before and after contrast enhancement according to the present invention, and is a graph illustrating the same image signal as FIG. 10A.

도 11a는 통상적인 방법에 따른 콘트라스트 강화 전후의 이미지 신호에서의 오버슈팅 문제를 도시한 그래프이다. 11A is a graph illustrating an overshooting problem in image signals before and after contrast enhancement according to a conventional method.

도 11b는 본 발명에 따른 콘트라스트 강화 전후를 도시한 도면으로서, 도 11a와 동일한 이미지 신호를 도시한 그래프이다. FIG. 11B is a diagram illustrating before and after contrast enhancement according to the present invention, and is a graph showing the same image signal as FIG. 11A.

도 12는 본 발명의 실시예에 따른 이미지 신호에 대한 로컬 콘트라스트 강화 방법을 도시한 흐름도이다. 12 is a flowchart illustrating a local contrast enhancement method for an image signal according to an embodiment of the present invention.

Claims (15)

다이나믹 백라이트 제어 시스템에서 톤 맵핑 어플리케이션에서의 이미지 품질 강화를 위한 이미지 신호에 대한 로컬 콘트라스트 강화 방법으로서:As a method of local contrast enhancement on an image signal for image quality enhancement in tone mapping applications in a dynamic backlight control system: 톤 맵핑으로 인한 저하를 보상하기 위해서 이미지 신호를 위한 로컬 콘트라스트 증분의 정도를 결정하는 단계;Determining a degree of local contrast increment for the image signal to compensate for degradation due to tone mapping; 상기 이미지 신호의 가중된 합 평균과 상기 이미지 신호의 절대 변화의 가중된 합 평균을 기초로 프로파일 신호를 획득하는 단계; 그리고Obtaining a profile signal based on a weighted sum average of the image signals and a weighted sum average of absolute changes of the image signals; And 상기 프로파일 신호가 상기 이미지 신호보다 큰 경우에 상기 이미지 신호의 휘도 레벨에 대해 로컬 쉐이딩을 적용하는 단계를 포함하고,Applying local shading to the luminance level of the image signal when the profile signal is greater than the image signal, 상기 로컬 쉐이딩은 상기 로컬 콘트라스트 증분의 정도에 그리고 상기 이미지 신호와 상기 프로파일 신호 간의 차이에 비례하는The local shading is proportional to the degree of local contrast increment and to the difference between the image signal and the profile signal. 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 1 항에 있어서,The method of claim 1, 상기 프로파일 신호 획득 단계는 다수의 이웃하는 픽셀들의 가중 합 평균과 상기 다수의 이웃하는 픽셀들의 절대 변화의 가중된 합 평균을 합계하는 단계를 더 포함하는The profile signal obtaining step further includes summing a weighted sum average of a plurality of neighboring pixels and a weighted sum average of an absolute change of the plurality of neighboring pixels. 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 1 항에 있어서,The method of claim 1, 상기 이미지 신호의 컬러 성분들 사이에서 가장 강한 신호를 상기 프로파일 신호를 획득하기 위한 일차 대표 이미지 신호로서 선택하는 단계;Selecting the strongest signal among the color components of the image signal as a primary representative image signal for obtaining the profile signal; 상기 프로파일 신호가 상기 이미지 신호보다 큰 경우에, 쉐이딩된 이미지 신호를 생성하기 위해서 상기 일차 대표 이미지 신호에 로컬 쉐이딩을 적용하는 단계로서, 상기 로컬 쉐이딩은 상기 로컬 콘트라스트 증분의 정도에 그리고 상기 일차 대표 이미지 신호와 상기 프로파일 신호 간의 차이에 비례하는, 로컬 쉐이딩 적용 단계; 그리고If the profile signal is greater than the image signal, applying local shading to the primary representative image signal to produce a shaded image signal, wherein the local shading is at a degree of the local contrast increment and the primary representative image Applying local shading, proportional to the difference between the signal and the profile signal; And 상기 이미지 신호의 로컬 콘트라스트 강화의 달성을 위해서 상기 쉐이딩된 이미지 신호 대 상기 일차 대표 이미지 신호의 비율에 의해서 상기 일차 대표 이미지 신호의 컬러 성분을 스케일링하는 단계를 더 포함하는Scaling a color component of the primary representative image signal by a ratio of the shaded image signal to the primary representative image signal to achieve local contrast enhancement of the image signal; 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 3 항에 있어서,The method of claim 3, wherein 상기 이미지 신호의 컬러 성분들은 RGB, CMYK, HSV, HSL, YUV 및 YIQ로 이루어진 그룹으로부터 선택된 컬러 모델에 따라서 결정되는The color components of the image signal are determined according to a color model selected from the group consisting of RGB, CMYK, HSV, HSL, YUV and YIQ. 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 1 항에 있어서,The method of claim 1, 상기 로컬 콘트라스트 강화는 신호 저하 또는 신호 포화를 최소화하기 위해 서 LCD 용도를 위한 다이나믹 백라이트 제어에 적용되는The local contrast enhancement is applied to dynamic backlight control for LCD applications to minimize signal degradation or signal saturation. 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 1 항에 있어서,The method of claim 1, 상기 프로파일 신호를 획득하는 단계는Acquiring the profile signal 상기 프로파일 신호로서
Figure 112008066438335-PAT00004
를 계산하는 단계를 포함하며,
As the profile signal
Figure 112008066438335-PAT00004
Calculating a;
이때, 상기 P(n)은 위치(n)에서의 이미지 신호이고;Where P (n) is the image signal at position n; D(n)은 위치(n)와 위치(n+1)에서 이웃하는 픽셀의 값들 사이의 절대 차이이고 D(n) = │P(n+1)-P(n)│으로 표현되며; D (n) is the absolute difference between the values of the neighboring pixel at position n and position n + 1 and is represented by D (n) = | P (n + 1) -P (n) | 2w+1은 가중된 합 필터들의 크기이고; 그리고2w + 1 is the magnitude of the weighted sum filters; And w1, w2는 각각의 가중된 합 필터의 가중 계수인w 1 , w 2 are the weighting coefficients of each weighted sum filter 로컬 콘트라스트 강화 방법.How to enhance local contrast.
제 1 항에 있어서,The method of claim 1, 상기 로컬 쉐이딩을 적용하는 단계는 Pc가 P 보다 큰 경우에 쉐이딩된 이미지로서 P-α(Pc-P)C(P)를 계산하고; 그리고 Pc가 P 보다 크지 않은 경우에 P를 쉐이딩된 이미지로 결정하는 단계를 포함하며, Applying the local shading comprises calculating P-α (Pc-P) C (P) as a shaded image when Pc is greater than P; And determining P as a shaded image when Pc is not greater than P, 이때, P는 이미지 신호이고; Pc는 이미지 신호의 프로파일 신호이고; C(P)는 톤-맵핑을 보상하기 위한 P에 대한 콘트라스트 쉐이딩이며; 그리고 α는 콘트라스트 효과의 정도인Where P is an image signal; Pc is the profile signal of the image signal; C (P) is the contrast shading for P to compensate for tone-mapping; And α is the degree of contrast effect 로컬 콘트라스트 강화 방법.How to enhance local contrast. 제 1 항에 있어서,The method of claim 1, 상기 컬러 성분들을 스케일링하는 단계는 I'=I(P'/P)를 계산하는 단계를 포함하고; Scaling the color components comprises calculating I '= I (P' / P); 이때, I는 컬러 성분이고; I'는 I의 스케일링된 컬러 성분이며; P는 이미지 신호이고; 그리고 P'는 P의 쉐이딩된 이미지 신호인Wherein I is the color component; I 'is the scaled color component of I; P is an image signal; And P 'is the shaded image signal of P 로컬 콘트라스트 강화 방법.How to enhance local contrast. 다이나믹 백라이트 제어 시스템에서 톤 맵핑 어플리케이션에서의 이미지 품질 강화를 위한 이미지 신호에 대한 로컬 콘트라스트 강화 장치로서:As a local contrast enhancement device for image signals for enhancing image quality in tone mapping applications in dynamic backlight control systems: 이미지 내의 다수의 이웃하는 픽셀들에 걸쳐서 이미지 신호의 가중된 합을 생성하기 위한 제 1 필터;A first filter for generating a weighted sum of the image signal over a plurality of neighboring pixels in the image; 다수의 이웃하는 픽셀들에 걸쳐서 상기 이미지 신호의 절대 차이의 가중된 합을 생성하기 위한 제 2 필터;A second filter for generating a weighted sum of absolute differences of the image signals over a plurality of neighboring pixels; 상기 제 1 필터 및 상기 제 2 필터로부터의 출력들을 더함으로써 프로파일 신호를 생성하기 위한 애더(adder); 그리고An adder for generating a profile signal by adding outputs from the first filter and the second filter; And 상기 프로파일 신호가 상기 이미지 신호보다 큰 경우에 상기 이미지 신호의 휘도 레벨에 대해서 로컬 쉐이딩을 적용하기 위한 프로세서를 포함하며,A processor for applying local shading to the luminance level of the image signal when the profile signal is greater than the image signal, 상기 로컬 쉐이딩은 로컬 콘트라스트 증분의 정도에 그리고 상기 이미지 신호와 상기 프로파일 신호 간의 차이에 비례하는The local shading is proportional to the degree of local contrast increment and to the difference between the image signal and the profile signal. 로컬 콘트라스트 강화 장치.Local Contrast Enhancer. 제 9 항에 있어서,The method of claim 9, 이미지 신호의 컬러 성분들 중에서 가장 강한 신호를 일차 대표 이미지 신호로 선택하기 위한 멀티플렉서;A multiplexer for selecting the strongest of the color components of the image signal as the primary representative image signal; 상기 프로파일 신호가 상기 이미지 신호보다 큰 경우에, 쉐이딩된 이미지 신호를 생성하기 위해서 상기 일차 대표 이미지 신호에 로컬 쉐이딩을 적용하기 위한 프로세서로서, 상기 로컬 쉐이딩은 로컬 콘트라스트 증분의 선정된(preferred) 정도에 그리고 상기 일차 대표 이미지 신호와 상기 프로파일 신호 간의 차이에 비례하는, 로컬 쉐이딩 적용을 위한 프로세서; 그리고A processor for applying local shading to the primary representative image signal to produce a shaded image signal when the profile signal is greater than the image signal, the local shading being at a predetermined degree of local contrast increments. And a processor for applying local shading, proportional to the difference between the primary representative image signal and the profile signal; And 상기 이미지 신호의 로컬 콘트라스트 강화 달성을 위해서 상기 쉐이딩된 이미지 신호 대 상기 일차 대표 이미지 신호의 비율에 의해서 상기 일차 대표 이미지 신호의 컬러 성분을 스케일링하기 위한 멀티플라이어를 더 포함하는Further comprising a multiplier for scaling color components of said primary representative image signal by a ratio of said shaded image signal to said primary representative image signal to achieve local contrast enhancement of said image signal. 로컬 콘트라스트 강화 장치.Local Contrast Enhancer. 제 10 항에 있어서,The method of claim 10, 상기 이미지 신호의 레벨에 대응하는 로컬 콘트라스트 증분의 선정된 정도를 저장하기 위한 참조 테이블을 더 포함하고,A reference table for storing a predetermined degree of local contrast increment corresponding to the level of the image signal, 상기 로컬 콘트라스트 증분의 선정된 정도는 톤-맵핑으로 인한 저하를 보상하는The predetermined degree of local contrast increment compensates for the degradation due to tone-mapping. 로컬 콘트라스트 강화 장치.Local Contrast Enhancer. 제 10 항에 있어서,The method of claim 10, LCD 용도를 위한 다이나믹 백라이트 제어의 여러 레벨에 대응하는 다수의 참조 테이블을 더 포함하는It further includes a plurality of reference tables corresponding to different levels of dynamic backlight control for LCD applications. 로컬 콘트라스트 강화 장치.Local Contrast Enhancer. 제 9 항에 있어서,The method of claim 9, 상기 제 1 필터는
Figure 112008066438335-PAT00005
를 계산하고; 상기 제 2 필터는
Figure 112008066438335-PAT00006
를 계산하며; 상기 애더는
Figure 112008066438335-PAT00007
를 프로파일 신호로서 계산하며;
The first filter is
Figure 112008066438335-PAT00005
Calculate; The second filter is
Figure 112008066438335-PAT00006
Calculate; The adder is
Figure 112008066438335-PAT00007
Is calculated as the profile signal;
이때, 상기 P(n)은 위치(n)에서의 이미지 신호이고;Where P (n) is the image signal at position n; D(n)은 위치(n)와 위치(n+1)에서 이웃하는 픽셀의 값들 사이의 절대 차이이고 D(n) = │P(n+1)-P(n)│으로 표현되며; D (n) is the absolute difference between the values of the neighboring pixel at position n and position n + 1 and is represented by D (n) = | P (n + 1) -P (n) | 2w+1은 제 1 필터 및 제 2 필터의 크기이고; 2w + 1 is the size of the first filter and the second filter; w1 는 상기 제 1 필터의 가중 계수이고; 그리고w 1 Is a weighting coefficient of the first filter; And w2 는 상기 제 2 필터의 가중 계수인w 2 Is a weighting factor of the second filter 로컬 콘트라스트 강화 장치.Local Contrast Enhancer.
제 9 항에 있어서,The method of claim 9, 상기 프로세서는 Pc가 P 보다 큰 경우에 쉐이딩된 이미지로서 P-α(Pc-P)C(P)를 계산하고; 그리고 Pc가 P 보다 크지 않은 경우에 P를 쉐이딩된 이미지로 결정하며;The processor calculates P-α (Pc-P) C (P) as a shaded image when Pc is greater than P; And determines P as a shaded image when Pc is not greater than P; 이때, P는 이미지 신호이고; Pc는 이미지 신호의 프로파일 신호이고; C(P)는 톤-맵핑을 보상하기 위한 P에 대한 콘트라스트 쉐이딩이며; 그리고 α는 콘트라스트 효과의 정도인Where P is an image signal; Pc is the profile signal of the image signal; C (P) is the contrast shading for P to compensate for tone-mapping; And α is the degree of contrast effect 로컬 콘트라스트 강화 장치.Local Contrast Enhancer. 제 9 항에 있어서,The method of claim 9, 상기 멀티플라이어가 I'=I(P'/P)를 계산하고; The multiplier calculates I '= I (P' / P); 이때, I는 컬러 성분이고; I'는 I의 스케일링된 컬러 성분이며; P는 이미지 신호이고; 그리고 P'는 P의 쉐이딩된 이미지 신호인Wherein I is the color component; I 'is the scaled color component of I; P is an image signal; And P 'is the shaded image signal of P 로컬 콘트라스트 강화 장치.Local Contrast Enhancer.
KR1020080092751A 2008-09-22 2008-09-22 Method and apparatus of local contrast enhancement KR101092646B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080092751A KR101092646B1 (en) 2008-09-22 2008-09-22 Method and apparatus of local contrast enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080092751A KR101092646B1 (en) 2008-09-22 2008-09-22 Method and apparatus of local contrast enhancement

Publications (2)

Publication Number Publication Date
KR20100033737A true KR20100033737A (en) 2010-03-31
KR101092646B1 KR101092646B1 (en) 2011-12-13

Family

ID=42182526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080092751A KR101092646B1 (en) 2008-09-22 2008-09-22 Method and apparatus of local contrast enhancement

Country Status (1)

Country Link
KR (1) KR101092646B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558000A (en) * 2016-12-21 2018-07-04 Apical Ltd Display control

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2280376B1 (en) * 2002-02-12 2015-10-28 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
JP3949684B2 (en) * 2004-04-30 2007-07-25 三菱電機株式会社 Gradation correction apparatus, gradation correction program, portable terminal device, and personal computer

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558000A (en) * 2016-12-21 2018-07-04 Apical Ltd Display control
US10573249B2 (en) 2016-12-21 2020-02-25 Apical Limited Display control
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control

Also Published As

Publication number Publication date
KR101092646B1 (en) 2011-12-13

Similar Documents

Publication Publication Date Title
US8103120B2 (en) Method and apparatus of local contrast enhancement
Chang et al. Automatic contrast-limited adaptive histogram equalization with dual gamma correction
JP4071800B2 (en) Moving picture reproduction apparatus and gradation correction apparatus
KR100782845B1 (en) A digital image enhancement method and system using non-log domain illumination correction
EP1111907B1 (en) A method for enhancing a digital image with noise-dependent control of texture
US7899267B2 (en) Dynamic range compensation by filter cascade
JP4556276B2 (en) Image processing circuit and image processing method
JP5159208B2 (en) Image correction method and apparatus
EP2059902B1 (en) Method and apparatus for image enhancement
US8131103B2 (en) Image detail enhancement
US8860744B2 (en) System for image enhancement
US8761539B2 (en) System for high ambient image enhancement
US7809208B2 (en) Image sharpening with halo suppression
EP1111906A2 (en) A method for enhancing the edge contrast of a digital image independently from the texture
US9214015B2 (en) System for image enhancement
JP2008511048A (en) Image processing method and computer software for image processing
CN108280836B (en) Image processing method and device
KR20160103902A (en) Image processing apparatus, image processing method, and image processing program
Singh et al. Image enhancement by adaptive power-law transformations
Albu et al. One scan shadow compensation and visual enhancement of color images
KR101092646B1 (en) Method and apparatus of local contrast enhancement
EP2166509A1 (en) Method and apparatus of local contrast enhancement
JP2006519447A (en) Variable contrast mapping of digital images
TWI395493B (en) Method and apparatus of local contrast enhancement
KR20150067055A (en) Image process device and image proccessing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee