KR100772404B1 - Pre-compensation methods and systems of high frequency component in a video scaler - Google Patents

Pre-compensation methods and systems of high frequency component in a video scaler Download PDF

Info

Publication number
KR100772404B1
KR100772404B1 KR1020060028133A KR20060028133A KR100772404B1 KR 100772404 B1 KR100772404 B1 KR 100772404B1 KR 1020060028133 A KR1020060028133 A KR 1020060028133A KR 20060028133 A KR20060028133 A KR 20060028133A KR 100772404 B1 KR100772404 B1 KR 100772404B1
Authority
KR
South Korea
Prior art keywords
high frequency
compensation
signal
chute
video
Prior art date
Application number
KR1020060028133A
Other languages
Korean (ko)
Other versions
KR20070035404A (en
Inventor
김영택
슈라퐁 레트라타나파니치
지 쥬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060028133A priority Critical patent/KR100772404B1/en
Publication of KR20070035404A publication Critical patent/KR20070035404A/en
Application granted granted Critical
Publication of KR100772404B1 publication Critical patent/KR100772404B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링(scaling)에 앞서서 보상되는(compensated) 비디오 스케일링 방법 및 시스템에 관한 것이다. 비디오 스케일링 시스템은 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전 보상기(pre-compensator)와 비디오 스케일러(scaler)를 포함한다. 사전 보상기는 고주파 성분 추출기, 잡음(noise) 검출기, 슈트(shoot) 억제기를 포함한다. 고주파 성분 추출기는 입력 비디오 시퀀스로부터 고주파 보상 성분을 추출한다. 잡음 검출기는 잡음 성분의 강화(enhancement)를 피하기 위해 보상 이득을 조정한다. 슈트 억제기는 슈트 아티팩트(shoot artifacts)를 피하기 위해 보상 이득을 또 조정한다. 조정된 고주파 보상 비디오는 입력 비디오에 더해진다. 그런 다음, 사전 보상된 비디오 시퀀스는 스케일링된 비디오를 얻기 위해 비디오 스케일러를 통과한다. 그리하여, 스케일링된 비디오의 선명도는 유지되거나 오히려 향상된다.The present invention relates to a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. The video scaling system includes a pre-compensator and a video scaler for the compensation of high frequency components of the input video sequence. The precompensator includes a high frequency component extractor, a noise detector, and a shoot suppressor. The high frequency component extractor extracts high frequency compensation components from the input video sequence. The noise detector adjusts the compensation gain to avoid the enhancement of the noise component. The shoot suppressor also adjusts the compensation gain to avoid shoot artifacts. The adjusted high frequency compensation video is added to the input video. The pre-compensated video sequence then passes through a video scaler to obtain scaled video. Thus, the sharpness of the scaled video is maintained or rather improved.

고주파 사전 보상 비디오 스케일링 스케일러 High Frequency Precompensated Video Scaling Scaler

Description

비디오 스케일러에 관한 고주파 성분의 사전 보상 방법 및 시스템{Pre-compensation methods and systems of high frequency component in a video scaler}Pre-compensation methods and systems of high frequency component in a video scaler

도 1은 종래의 스케일링 방법을 설명하는 시스템의 블록도를 도시한다.1 shows a block diagram of a system illustrating a conventional scaling method.

도 2는 입력 비디오 신호상의 고주파 이미지 성분들의 사전 보상을 제공하는 본 발명의 일 실시예에 따른 비디오 스케일링 시스템의 예시 블록도를 도시한다.2 shows an exemplary block diagram of a video scaling system according to an embodiment of the present invention for providing precompensation of high frequency image components on an input video signal.

도 3은 본 발명의 일 실시예에 따른, 입력 비디오 신호의 고주파 성분의 보상을 위한 도 2의 비디오 사전 보상기(pre-compensator)의 일 실시예의 블록도를 도시한다.FIG. 3 shows a block diagram of one embodiment of the video pre-compensator of FIG. 2 for compensation of high frequency components of an input video signal, in accordance with an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른, 입력 신호 고주파 성분의 사전 보상에서 고주파 피킹(peaking)의 예시를 도시한다.4 illustrates an example of high frequency peaking in pre-compensation of the input signal high frequency component, according to one embodiment of the invention.

도 5는 본 발명의 일 실시예에 따른, 고주파 성분 α(k)를 조정하는(adjusting) 예시를 도시한다.5 shows an example of adjusting the high frequency component α (k) according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른, 신호 p(k)를 조정하는 예시를 도시한다.6 shows an example of adjusting signal p (k), in accordance with an embodiment of the present invention.

도 7(a)내지 (d)는 고주파 성분의 사전 보상처리를 하는 동안에 평탄한(flat) 영역과 증가 또는 감소하는 영역 사이의 경계에서 슈트 아티팩트가 발생 할 수 있는 휘도(luminance) 패턴의 4가지 예시를 도시한다.7 (a) to (d) show four examples of luminance patterns in which chute artifacts may occur at the boundary between a flat area and an increasing or decreasing area during precompensation of high frequency components. Shows.

도 8은 본 발명의 일 실시예에 따른, 고주파 성분 α(k)로부터 세기 인자(intensity factor) r(k)를 결정하는 예시를 도시한다.8 illustrates an example of determining an intensity factor r (k) from a high frequency component α (k), according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른, 도 2의 비디오 스케일러에 앞서서 고주파 성분을 보상하기 위한 병렬 사전 보상 시스템의 예시를 도시한다.9 illustrates an example of a parallel pre-compensation system for compensating for high frequency components prior to the video scaler of FIG. 2, in accordance with an embodiment of the present invention.

본 발명은 넓게는 비디오 처리(video processing)에 관한 것이고, 특히 비디오 처리상에서 비디오 스케일링(video scaling)에 관한 것이다.The present invention relates generally to video processing, and in particular to video scaling on video processing.

TV 시스템에 있어서, 비디오 스케일링은 입력되는 비디오 프레임(video frame)의 본래의 해상도가 화면표시장치의 해상도와 맞지 않을 때 종종 필요하게 된다. 보편성을 잃지 않고, 스케일링 비율은 L/M이고, 최대공약수는 gcd(L,M)=1 이라고 가정한다. 도 1에 나타나 있듯이 종래의 스케일링 시스템(100)은 대체로 임의의 유리값의 스케일링 비율로 입력 신호 x(k)를 스케일하는데 이용된다. 이런 시스템에서, 입력 신호 x(k)는 업-샘플러(up-sampler)(102)의 L에 의해 업-샘플링 되고, 주파수 응답 HL , M 의 보간 필터(104)에 의해 필터링되고, 그런 다음에는 다운-샘플러(down-sampler)(106)의 M에 의해 다운-샘플링 된다. 그런 처리과정은 다상 구조(polyphase structure)를 이용하여 구현될 수 있다. 그런 시스템을 이용하여, 2차원 비디오 프레임은 우선 하나의 스케일링 비율로 수평 방향에서 스케일링되고 다음으로 또다른 스케일링 비율로 수직 방향에서 스케일링되거나, 또는 먼저 수직 방향으로 스케일링되고 다음으로 수평 방향으로 스케일링된다.In TV systems, video scaling is often needed when the native resolution of the incoming video frame does not match the resolution of the display. Without loss of universality, the scaling ratio is assumed to be L / M and the greatest common divisor is gcd (L, M) = 1. As shown in FIG. 1, a conventional scaling system 100 is generally used to scale the input signal x (k) with a scaling ratio of any rational value. In such a system, the input signal x (k) is up-sampled by L of up-sampler 102, filtered by interpolation filter 104 of frequency response H L , M , and then Is down-sampled by M of down-sampler 106. Such a process can be implemented using a polyphase structure. Using such a system, a two-dimensional video frame is first scaled in the horizontal direction at one scaling ratio and then scaled in the vertical direction at another scaling ratio, or first scaled in the vertical direction and then scaled in the horizontal direction.

도 1의 비디오 스케일링 시스템에서, 업-샘플링은 새로운 시퀀스(sequence) u(k)를 얻기 위해, L 인자로 시간스케일을 확장시키고, L-1 개의 0값을 x(k)의 각 샘플 사이에 삽입한다. 주파수 영역에서, 업-샘플링은 이미지 구성요소들을 주파수 2πl/L, 1≤l≤L-1 에 나타나게 한다. 따라서, 아티팩트(artifacts)를 방지하기 위해서, u(k) 차단주파수가 π/L 인 저역 통과 필터에 의해 필터링을 해야 한다. 한편으로는, 다운-샘플링은 스케일링된 시퀀스 y(k)를 얻기 위해 v(k)의 매 M번째 샘플을 취한다. 그러나 그러한 다운-샘플링은 대부분 앨리어싱(aliasing)을 초래한다.In the video scaling system of FIG. 1, up-sampling extends the timescale with the factor L to obtain a new sequence u (k), with L-1 zero values between each sample of x (k). Insert it. In the frequency domain, up-sampling causes image components to appear at frequency 2π / L, 1 ≦ l ≦ L-1. Therefore, in order to prevent artifacts, the filter must be filtered by a low pass filter with a u (k) cutoff frequency of π / L. On the one hand, down-sampling takes every Mth sample of v (k) to obtain a scaled sequence y (k). However, such down-sampling mostly results in aliasing.

앨리어싱을 방지하기 위해서는, 시퀀스 v(k)가 다운-샘플링에 앞서서 차단주파수 π/M 을 갖는 저역 통과 필터를 거쳐야한다. π/L 과 π/M의 차단주파수를 갖는 두 개의 필터의 종속연결(cascade)은 차단주파수 min(π/L, π/M) 를 갖는 단일 저역 통과 보간 필터(interpolation filter) HL ,M과 등가이다. 따라서 보간 필터 HL ,M 의 주파수 특성은 L, M 값에 의존한다.To prevent aliasing, the sequence v (k) must go through a low pass filter with a cutoff frequency [pi] / M prior to down-sampling. The cascade of two filters with cutoff frequencies of π / L and π / M consists of a single low pass interpolation filter H L , M and cutoff frequencies min (π / L, π / M). Equivalent Therefore , the frequency characteristics of the interpolation filters H L and M depend on the L and M values.

보간 필터 HL ,M 이 저역 통과 필터이므로, 스케일링된 비디오는 고주파 성분이 부족하고, 이 때문에 스케일링된 비디오는 종종 흐려지고(blurred) 본래의 입력 비디오 시퀀스만큼 선명하지(sharp) 않다.Since the interpolation filters H L , M are low pass filters, the scaled video lacks high frequency components, so the scaled video is often blurred and not as sharp as the original input video sequence.

따라서, 본 발명의 목적은 상기와 같은 종래 기술의 단점을 극복하는 비디오 스케일링의 사전 보상 방법 및 시스템을 제공하는 것이다. 특히, 보다 구체적으로는 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링에 앞서서 보상되는 비디오 스케일링 방법과 시스템을 제공한다. 이러한 방법으로 스케일링된 비디오의 선명도 또는 세부묘사가 유지 또는 오히려 향상된다.Accordingly, it is an object of the present invention to provide a precompensation method and system for video scaling that overcomes the above disadvantages of the prior art. More particularly, it provides a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. In this way the sharpness or detail of the scaled video is maintained or rather improved.

일 실시예에서, 본 발명은 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링에 앞서서 보상되는(compensated) 비디오 스케일링 방법 및 시스템을 제공하고 있다. 본 발명에 따른 비디오 스케일링 시스템의 한 예는 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전보상기(pre-compensator)와 비디오 스케일러를 포함한다.In one embodiment, the present invention provides a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. One example of a video scaling system according to the present invention includes a pre-compensator and a video scaler for the compensation of high frequency components of an input video sequence.

사전 보상기는 고주파 성분 추출기(high freq. component extractor), 잡음 검출기(noise detector), 그리고 슈트 억제기(shoot suppressor)를 포함한다. 고주파 성분 추출기는 입력 비디오 시퀀스로부터 고주파 보상 성분을 추출한다. 잡음 검출기는 잡음 성분의 강화(enhancement)를 피하기 위해 보상 이득(gain of compensation)을 조정한다. 슈트 억제기는 슈트 아티팩트를 피하기 위해 보상 이득을 또 조정한다. 조정된 고주파 보상 비디오(high freq. compensated video)는 다시 입력 비디오에 더해진다. 그런 다음, 사전 보상된 비디오 시퀀스는 스케일링된 비디오를 얻기 위해 비디오 스케일러를 통과한다. 그리하여, 스케일링된 비디오의 선명도는 유지되거나 오히려 향상된다.The precompensator includes a high freq.component extractor, a noise detector, and a shoot suppressor. The high frequency component extractor extracts high frequency compensation components from the input video sequence. The noise detector adjusts the gain of compensation to avoid noise enhancement. The chute suppressor further adjusts the compensation gain to avoid chute artifacts. The high freq. Compensated video is added back to the input video. The pre-compensated video sequence then passes through a video scaler to obtain scaled video. Thus, the sharpness of the scaled video is maintained or rather improved.

도 2는 본 발명의 일 실시예에 따라, 입력 신호 x(k)의 고주파 성분의 사전 보상이 있는 비디오 스케일링 시스템(200)의 일 실시예의 블록도를 나타낸다. 상기 시스템(200)은 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전 보상기(202)와 비디오 스케일러(204)를 포함한다. 상기 사전 보상기(202)는 먼저 입력 신호 x(k)의 고주파 성분을 사전 보상하고, 그런 다음에 얻어진 신호 x'(k)는 스케일링된 신호 y(k)를 얻기 위해 스케일러(204)를 통과한다. 도 2에 나타난 스케일러 대신에 임의의 스케일러가 이용될 수 있다. 게다가, 두 개의 1차원 스케일러(204)들은 스케일링된 비디오 프레임을 얻기 위하여 임의의 순서를 가지고 수평과 수직의 방향에서 2차원 비디오 프레임을 스케일 하도록 종속접속될 수 있다. 이 설명의 이해를 쉽게 하기 위해, 입력 신호 x(k)는 수평 또는 수직 방향의 1차원 픽셀값의 집합으로 생각할 수 있다.2 shows a block diagram of one embodiment of a video scaling system 200 with precompensation of high frequency components of an input signal x (k), in accordance with an embodiment of the present invention. The system 200 includes a precompensator 202 and a video scaler 204 for compensating high frequency components of an input video sequence. The precompensator 202 first precompensates the high frequency components of the input signal x (k), and then the obtained signal x '(k) passes through the scaler 204 to obtain a scaled signal y (k). . Any scaler may be used instead of the scaler shown in FIG. In addition, the two one-dimensional scalers 204 can be cascaded to scale the two-dimensional video frame in the horizontal and vertical directions in any order to obtain a scaled video frame. To facilitate understanding of this description, the input signal x (k) can be thought of as a set of one-dimensional pixel values in the horizontal or vertical direction.

도 3은 본 발명의 일 실시예에 따라, 입력 비디오 신호의 고주파 성분의 보상을 위해 도 2에 나타난 비디오 사전 보상기(202)의 일 실시예의 블록도를 나타낸다. 상기 사전 보상기(202)는 고주파 성분 추출기(300), 슈트 억제기(302) 그리고 잡음 검출기(304)를 포함한다. 고주파 성분 추출기(300)은 입력 신호 x(k)로부터 고주파 보상 성분 d(k)를 추출한다. 슈트 억제기(302)는 슈트 아티팩트를 피하기 위해 억제 인자(suppression factor) g2(k)를 계산한다. 잡음 검출기(304)는 잡음 레벨에 기초한 이득 조정 파라미터 g1(k)를 계산한다.3 illustrates a block diagram of one embodiment of the video pre-compensator 202 shown in FIG. 2 for compensation of high frequency components of an input video signal, in accordance with an embodiment of the present invention. The precompensator 202 includes a high frequency component extractor 300, a chute suppressor 302, and a noise detector 304. The high frequency component extractor 300 extracts the high frequency compensation component d (k) from the input signal x (k). The chute suppressor 302 calculates a suppression factor g 2 (k) to avoid chute artifacts. The noise detector 304 calculates a gain adjustment parameter g 1 (k) based on the noise level.

상기 사전 보상기(202)에서, 사전 보상 이득 g0은 곱 ( g0·g1(k) )을 생성하기 위해 곱셈기(306)에서 이득 조정 파라미터 g1(k)와 곱해진다. 곱 ( g0· g1(k) )은 곱( g0·g1(k)·g2(k) ) 을 생성하기 위해 곱셈기(308)에서 억제 인자 g2(k)와 또 곱해진다. 그런 다음, 곱 ( g0·g1(k)·g2(k) )은 곱 ( g0 · g1(k) · g2(k) · d(k) )을 생성하기 위해 곱셈기(310)에서 고주파 보상 성분 d(k)와 곱해진다. 그런 다음, 곱 ( g0 · g1(k) · g2(k) · d(k) )은 아래의 수학식1과 같은 사전 보상된 신호 x'(k)를 생성하기 위해 가산기(312)에서 입력 신호 x(k)에 더해진다.In the precompensator 202, the precompensation gain g 0 is multiplied by the gain adjustment parameter g 1 (k) in the multiplier 306 to produce a product g 0 g 1 (k). The product g 0 g 1 (k) is further multiplied by the suppression factor g 2 (k) in the multiplier 308 to produce the product g 0 g 1 (k) g 2 (k). Then, the product g 0 g 1 (k) g 2 (k) is multiplier 310 to generate the product g 0 g 1 g, g 2 d k). Multiplied by the high frequency compensation component d (k). Then, the product g 0 g 1 (k) g 2 (k) d (k) is added to the adder 312 to generate a precompensated signal x '(k) Is added to the input signal x (k).

x'(k) = x(k) + g0 · g1(k) · g2(k) · d(k).x '(k) = x (k) + g 0 · g 1 (k) · g 2 (k) · d (k).

상기 고주파 보상 성분 d(k)를 얻기 위하여, 먼저 상기 입력 신호 x(k)는 상기 고주파 성분 추출기(300) 내의 고역 통과 필터를 통과하여 고주파 성분 α(k)를 얻는다. 예를 들어, 고역 통과 필터 [-1,2,-1]은 α(k)을 추출하는데 이용될 수 있다. 다른 고역 통과 필터 역시 이용 가능하다. 도 4는 t1,t2,t3 가 임계점일 때, 상기 고주파 성분 α(k)를 조정하여 신호 k)를 출력하는 예시 그래프(400)를 도시한다. 기본적으로, 0≤|α(k)|≤t1 라면, 상기 α(k)의 진폭은 감소되어 잡음을 증가시키는 것을 피하게 된다, 즉 β(k) = α(k)* |α(k)|/t1 이다. 만약 t1<|α(k)|≤t2 라면, 좁은 고주파 영역에서 보상은 중요하지 않을 것이기 때문에 상기 신호 α(k)는 우회한다. 만약 t2<|α(k)|≤t3 라면, 상기 α(k)의 진폭은 증가되어 중요한 보상을 가진다, 즉

Figure 112006021929485-pat00001
이다. 만약 |α(k)|> t3 이라면 상기 신호 α(k)는 우회하여 과잉보상(overcompensation)을 피한다. 임계점 t1,t2,그리고 t3 은 0≤t1≤t2≤t3 을 만족하고, 임계점들은 수동으로 사전 설정되거나 동적으로 계산될 수 있다.In order to obtain the high frequency compensation component d (k), first the input signal x (k) passes through a high pass filter in the high frequency component extractor 300 to obtain a high frequency component α (k). For example, a high pass filter [-1,2, -1] can be used to extract α (k). Other high pass filters are also available. 4 shows an exemplary graph 400 for outputting the signal k by adjusting the high frequency component α (k) when t 1 , t 2 , t 3 is the critical point. Basically, if 0 ≦ | α (k) | ≦ t 1 , the amplitude of α (k) is reduced to avoid increasing noise, ie β (k) = α (k) * | α (k ) | / t 1 If t 1 <| α (k) | ≦ t 2 , the signal α (k) is bypassed because the compensation will not be important in the narrow high frequency region. If t 2 <| α (k) | ≦ t 3 , the amplitude of α (k) is increased to have an important compensation, ie
Figure 112006021929485-pat00001
to be. If | α (k) |> t 3, the signal α (k) is bypassed to avoid overcompensation. Threshold t 1, t 2, and t 3 satisfy the 0≤t 1 ≤t 2 ≤t 3, and the critical point may be manually pre-set or calculated dynamically.

임계점 t1,t2,t3 을 동적으로 계산하는 예를 이제부터 기술한다. 신호 p(k)는

Figure 112006021929485-pat00002
으로 계산되고,
Figure 112006021929485-pat00003
는 상기 신호 x(k)의 로컬(local) 평균이다. 도 5는 Pmax, Rmin 그리고 Rmax가 사전 설정된(pre-defined) 값들일 때, 신호 q(k)를 출력하기 위해 상기 신호 p(k)를 조정하는 예시 그래프(500)를 도시한다. 기본적으로 p(k)=0 일때, q(k)=Rmin라 하자. 만약 p(k)≥ Pmax 일때, q(k)= Rmax 라 하자. 그리고, 만약 0<p(k)<Pmax 이라면, q(k)는 선형적으로 보간된다. 임계점 t1 ,t2은 t1= t2=min(T, q(k)) 로 계산되고, 이때 T는 수동으로 설정될 수 있는 상수값이다. 임계점 t3은 t3=q(k) 으로 계산될 수 있다. An example of dynamically calculating the critical points t 1 , t 2 , t 3 will now be described. Signal p (k)
Figure 112006021929485-pat00002
Calculated as
Figure 112006021929485-pat00003
Is the local average of the signal x (k). FIG. 5 shows an example graph 500 for adjusting the signal p (k) to output signal q (k) when P max , R min and R max are pre-defined values. Basically, when p (k) = 0, let q (k) = R min . If p (k) ≥ P max , then q (k) = R max . And if 0 <p (k) <P max , q (k) is linearly interpolated. Threshold t 1 , t 2 is calculated as t 1 = t 2 = min (T, q (k)), where T is a constant value that can be set manually. Threshold t 3 can be calculated as t 3 = q (k).

일단 상기 신호 β(k) 가 얻어지면, 고주파 보상 성분 d(k)는 d(k)=β(k) -α(k) 로 계산된다.Once the signal β (k) is obtained, the high frequency compensation component d (k) is calculated as d (k) = β (k) −α (k).

도 3을 다시 참조하면, 잡음 검출기(304)는 국부(local) 표준편차(또는 분 산)가 작은 것으로 나타난 고주파 보상을 축소(scale down)하는데 이용된다. 작은 국부 표준편차는 상대적으로 평탄한 영역을 나타낸다. 그러한 영역에서 보상을 축소하지 않는다면, 잡음은 증가할 것이다.Referring back to FIG. 3, noise detector 304 is used to scale down high frequency compensation, which appears to have a small local standard deviation (or variance). Small local standard deviations indicate relatively flat areas. If you do not reduce the compensation in such areas, the noise will increase.

2차원 비디오 프레임에서, 상기 국부 표준 편차 σ(k)는 종종 상기 현재 픽셀이 중앙에 위치하는 장방형의(rectangular) 이웃하는 윈도우에 기초하여 계산된다. 다른 방법 또한 국부 표준편차를 계산하는데 이용될 수 있다. 이득 조정 파라미터(gain adjustment parameter) g1(k)는 국부 표준편차의 단조 증가 함수이다. 도 6은 단조 증가 함수(600)의 예를 도시하되, σ(k)이 임계점 τ1보다 작은 경우에는 입력 신호 x(k)는 평탄한 영역에 있고, 조정 파라미터는 g1(k)=0 으로 설정된다. 만약 σ(k) 가 임계점 τ22≥τ1)보다 큰 경우에는 입력 신호 x(k)는 유용한 에지(edge) 정보를 포함하고 조정 파라미터는 고주파 성분을 완전히 보상하기 위해 g1(k)=1로 설정된다. 만약 τ1≤σ(k)≤τ2 라면, 조정 파라미터 g1(k)은 도 6에서 예시된 바와 같이 소프트 스위칭(soft-switching) 방식으로 선형적으로 보간된다. 특히, 만약 예로써 선형 소프트 스위칭을 고려한다면 τ1≤σ(k)≤τ2 일때, g1(k)=( σ(k)- τ1 ))/( τ2- τ1 ) 이 될 수 있다. 임계점 τ1과 τ2 은 잡음 추정치에 기초해 상수값으로 설정되거나 또는 동적으로 조정될 수 있다. 상기 잡음 추정치가 높고 비디오 시퀀스가 잡음이 많은(noisy) 것으로 여겨질 때, τ1 과 τ2 또한 비교적 큰 값들로 정해져야 한다. 상기 잡음 추정치가 낮고 비디오 시퀀스가 선 명하다(clean)고 여겨질 때, τ1 와 τ2 는 비교적 작은 값들로 정해지고 비디오 프레임의 세밀한 상세부분(fine details)이 보다 낫게(better) 사전 보상될 수 있다. 잡음 검출 임계점 τ12 와 잡음 추정치 σe 사이의 관계식은 아래 수학식2와 같이 표현될 수 있다.In a two-dimensional video frame, the local standard deviation σ (k) is often calculated based on a rectangular neighboring window where the current pixel is centered. Other methods can also be used to calculate local standard deviations. The gain adjustment parameter g 1 (k) is a monotonically increasing function of the local standard deviation. 6 shows an example of the monotonically increasing function 600, where σ (k) is less than the threshold τ 1 , the input signal x (k) is in a flat region and the adjustment parameter is g 1 (k) = 0. Is set. If σ (k) is greater than the threshold τ 22 ≥τ 1 ), the input signal x (k) contains useful edge information and the adjustment parameter is g 1 (k) to fully compensate for the high frequency components. ) = 1. If τ 1 ≦ σ (k) ≦ τ 2 , the adjustment parameter g 1 (k) is linearly interpolated in a soft-switching manner as illustrated in FIG. 6. In particular, if we consider linear soft switching as an example, then when τ 1 ≤σ (k) ≤τ 2 , then g 1 (k) = (σ (k)-τ 1 )) / (τ 21 ) have. Thresholds τ 1 and τ 2 may be set to constant values or dynamically adjusted based on noise estimates. When the noise estimate is high and the video sequence is considered noisy, τ 1 and τ 2 should also be set to relatively large values. When the noise estimate is low and the video sequence is considered to be clean, τ 1 and τ 2 are set to relatively small values and fine details of the video frame are better precompensated. Can be. The relation between the noise detection threshold τ 1 , τ 2 and the noise estimate σ e can be expressed as Equation 2 below.

τ1 = c1 * σe ,τ 1 = c 1 * σ e ,

τ2 = c2 * σe ,τ 2 = c 2 * σ e ,

이때, c1 과 c2 는 c2 ≥c1≥0 을 만족하는 사전 설정된 값들이다. 상기 잡음 추정치 σe 은 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 일련번호 10/991,265 "비디오 시퀀스로부터 잡음 분산을 추정하는 방법(Methods to estimate noise variance from a video sequence)"에서 기술된 방법에 의해 얻어진다. 이에 의하면, 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직임이 있다면 그 이미지 구조는 국부(local) 차이를 계산함으로써 제거될 수 있으며, 따라서 강한 내성이 있는 추정이 얻어진다. 국부 차로서 평균 절대 에러(mean absolute error:MAE)를 사용하면, α가 hat y의 1차 예측 추정치일 때, α≒ E(hat y) = 2*σ0/√π 로써 α를 계산할 수 있다. 이어서 잡음 추정치 σe는 σe = α/2*√π 로 계산된다. 나아가 발명자들은 계산 비용을 줄이기 위해 수평과 수직 방향에서의 사전 보상이 동일한 잡음 검출기를 공유할 수 있다고 언급하고 있다.At this time, c 1 and c 2 are preset values satisfying c 2 ≥ c 1 ≥ 0. The noise estimate σ e is incorporated herein by reference and described in commonly assigned US patent application Ser. No. 10 / 991,265 "Methods to estimate noise variance from a video sequence". Obtained by the method. According to this, if there is no movement or small movement between two consecutive frames, the image structure can be eliminated by calculating local differences, thus a strong tolerant estimate is obtained. Using the mean absolute error (MAE) as the local difference, we can compute α as α ≒ E (hat y) = 2 * σ 0 / √π when α is the first predictive estimate of hat y. . The noise estimate σ e is then calculated as σ e = α / 2 * √π. The inventors further note that precompensation in the horizontal and vertical directions can share the same noise detector to reduce computational cost.

고주파 성분의 사전 보상에 있어서, 보통 에지 영역에서 슈트 아티팩트가 일어난다. 특히, 슈트 아티팩트는 보통 상대적으로 스무스한(smooth) 영역으로부터 변화하는 픽셀 휘도(luminance)의 급격한(sharp) 터닝(turning) 지점 부근에서 일어난다. 도 7(a)내지 (d)는 고주파 성분의 사전 보상이 일어나는 동안에 슈트 아티팩트가 일어나는 4개의 예시 휘도 패턴 (702), (704), (706), 그리고 (708)을 각각 도시한다. 각 패턴에서, 8개의 픽셀들(700)(●)은 묘사하기 위한 목적으로 보여진다. 실제로 관련된 픽셀들(700)의 개수는 도 3의 고주파 성분 추출기(300) 내의 고역 통과 필터의 필터 탭(tap)의 개수에 의존하여 변화할 수 있다. 4개의 패턴들 안에서 공통점을 찾을 수가 있는데, 도 7(a)내지 (d)는 모두 픽셀 휘도 레벨의 관점에서 변화하는 영역과 넓은 평탄한(flat) 영역을 포함하고 있다는 것이다.In precompensation of high frequency components, chute artifacts usually occur in the edge region. In particular, chute artifacts usually occur near the point of sharp turning of pixel luminance that varies from a relatively smooth region. 7 (a)-(d) show four example luminance patterns 702, 704, 706, and 708, in which chute artifacts occur during the precompensation of high frequency components, respectively. In each pattern, eight pixels 700 (●) are shown for depicting purposes. The number of pixels 700 actually associated may vary depending on the number of filter taps of the high pass filter in the high frequency component extractor 300 of FIG. 3. Common points can be found in the four patterns, in which Figs. 7 (a) to 7 (d) all include a varying area and a wide flat area in terms of pixel luminance level.

상기 위의 분석에 기초하여, 도 3의 슈트 억제기(302)는 나아가 대칭 (symmetry)검사와 세기(intensity)검사를 실시한다. 대칭 검사를 위해, 상기 슈트 억제기(302)는 필터링 범위 내 현재 픽셀의 양쪽 방향에 있는 픽셀들의 휘도 분산을 검사한다. 검사 결과에 기초하여, 상기 현재 픽셀의 이웃내의 휘도 분산의 다른 패턴들은 분류된다. 따라서, 오버슈트/언더슈트가 더 잘 일어날 것 같은 이러한 패턴들에 대해 보다 높은 억제가 행해진다. 세기 검사를 위해, 상기 슈트 억제기(302)는 고주파 성분 α(k) 의 크기를 검사한다. 만약 그 값이 작다면, 해당 지점에서 명백한 슈트 아티팩트가 나타날 가능성이 적다. 따라서, 억제는 각 픽셀 지점에서 α(k)의 세기와 연관된다. Based on the above analysis, the chute suppressor 302 of FIG. 3 further performs a symmetry test and an intensity test. For symmetry check, the chute suppressor 302 checks the luminance variance of the pixels in both directions of the current pixel within the filtering range. Based on the inspection result, different patterns of luminance variance in the neighborhood of the current pixel are classified. Thus, higher suppression is made for those patterns where overshoot / undershoot is more likely to occur. For the intensity test, the chute suppressor 302 checks the magnitude of the high frequency component α (k). If the value is small, it is unlikely that obvious chute artifacts will appear at that point. Thus, suppression is associated with the intensity of α (k) at each pixel point.

대칭 검사의 목적은 도 7(a)내지 (d)에 나타난 패턴들을 검출하기 위한 것이 다. 필터링 범위 내에서, 픽셀 휘도 곡선이 도 7(a)내지 (d)의 어떤 패턴에 근접하다면, 그 지점에서 사전 보상은 억제되어야 한다. N이라는 값을 (2*N+1)이 고주파 성분 추출기(300)내에서의 고역 통과 필터의 길이(length)가 되는 경우라 하자. x(k)의 위치를 참조하여 픽셀 휘도 곡선의 대칭을 검사하고 대칭 인자 s(k)를 계산하기 위해, M1, M2 라는 값들이 아래의 수학식3, 수학식4와 같이 첫 번째로 계산된다.The purpose of the symmetry test is to detect the patterns shown in Figs. 7 (a) to (d). Within the filtering range, if the pixel luminance curve is close to any pattern in Figs. 7 (a) to (d), then precompensation should be suppressed at that point. Let N be a case where (2 * N + 1) becomes the length of the high pass filter in the high frequency component extractor 300. In order to check the symmetry of the pixel luminance curve with reference to the position of x (k) and calculate the symmetry factor s (k), the values M1 and M2 are first calculated as shown in Equations 3 and 4 below. .

Ml = max(d0 ,-N, d0 ,-N+1,…, d0 ,-1)M l = max (d 0 , -N , d 0 , -N + 1 ,…, d 0 , -1 )

Mr = max(dN ,0, dN -1,0,…, d1 ,0)M r = max (d N , 0 , d N -1,0 ,…, d 1 , 0 )

di ,j 는 di ,j=| x(k+i) - x(k+j)|와 같이 x(k+i)와 x(k+j)사이의 절대차를 나타낸다. d i , j is d i , j = | x (k + i) minus the absolute difference between x (k + i) and x (k + j), as in x (k + j) |.

Ml 값은 x(k)와 필터링 범위내에서 그것의 왼쪽 방향의 어떤 픽셀과의 최대 절대차이다. 마찬가지로, Mr값은 x(k)와 필터링 범위내에서 그것의 오른쪽 방향의 어떤 픽셀과의 최대 절대차이다. 만약 Ml과 Mr이 0이라면, x(k)는 평탄한 영역에 있다. 이런 경우, 대칭 인자 s(k)는 억제가 필요없음을 가리키는 1로 설정된다. 왜냐하면 고주파 성분 d(k)가 0이 되기 때문이다. 만약 Ml과 Mr중 하나만이 0이라면, 상기 픽셀 휘도 패턴은 도 7(a)내지 (d)에 나타난 어느 하나에 근접하게 된다. 따라 서, 그러한 지점에서 슈트 아티팩트가 나타날 가능성이 매우 크다. 이러한 경우에, 대칭 인자 s(k)는 사전 보상 이득을 완전히 억제하기 위해서 0으로 설정된다. Ml과 Mr중 어느것도 0이 아니라면, Al, Ar이라는 두 개의 값들이 아래의 수학식5와 같이 계산된다.The M l value is the maximum absolute difference between x (k) and any pixel to its left in the filtering range. Similarly, the M r value is the maximum absolute difference between x (k) and any pixel in its right direction within the filtering range. If M l and M r are zero, x (k) is in the flat region. In this case, the symmetry factor s (k) is set to 1 indicating no suppression is needed. This is because the high frequency component d (k) becomes zero. If only one of M l and M r is zero, the pixel luminance pattern is close to any of those shown in Figs. 7 (a) to (d). Therefore, it is very likely that chute artifacts will appear at such a point. In this case, the symmetry factor s (k) is set to zero to completely suppress the precompensation gain. If neither M l nor M r is zero, two values, A l and A r , are calculated as shown in Equation 5 below.

Figure 112006021929485-pat00004
Figure 112006021929485-pat00004

여기서 Al 은 x(k)의 왼쪽 방향에서의 절대차들의 평균이고, Ar은 x(k)의 오른쪽 방향에서의 절대차들의 평균이다. 그리고나서 대칭 인자 s(k)은 아래의 수학식6과 같이 계산된다.Where A l is the average of the absolute differences in the left direction of x (k) and A r is the average of the absolute differences in the right direction of x (k). Then the symmetry factor s (k) is calculated as shown in Equation 6 below.

Figure 112006021929485-pat00005
Figure 112006021929485-pat00005

유사하게, 더욱 제한적인 조건이 아래의 수학식7과 같은 대칭 인자 s(k)를 계산하기 위해 사용된다.Similarly, more restrictive conditions are used to calculate the symmetry factor s (k) as shown in Equation 7 below.

Figure 112006021929485-pat00006
Figure 112006021929485-pat00006

수학식7에서 ml은 x(k)의 왼쪽에서의 절대차들의 최소값이과, mr은 x(k)의 오른쪽 방향에서의 절대차들의 최소값이며 아래와 수학식8과 같다.In Equation 7, m l is the minimum value of the absolute differences on the left side of x (k), and m r is the minimum value of the absolute differences in the right direction of x (k), as shown in Equation 8 below.

Figure 112006021929485-pat00007
Figure 112006021929485-pat00007

세기(intensity) 검사에서, 세기 인자 r(k)는 고주파 성분 α(k)의 절대값의 단조 증가 함수로서 계산된다. 도 8은 단조 증가 함수(800)의 예를 도시하고 여기서 |α(k)|이 임계점 ζ1보다 작으면, r(k)는 0이 된다. 만약 |α(k)|이 임계점 ζ2보다 크면, r(k)는 1이 된다. 그리고 ζ1≤|α(k)|≤ζ2 이면, r(k)는 소프트 스위칭 방식으로 선형 보간된다. 임계점 ζ1과 ζ2은 0≤ζ1≤ζ2을 만족하도록 사전 정의된 값들이다.In the intensity test, the intensity factor r (k) is calculated as a monotonically increasing function of the absolute value of the high frequency component α (k). 8 shows an example of the monotonically increasing function 800 where r (k) is zero if | α (k) | is less than the threshold ζ 1 . If | α (k) | is greater than the critical point ζ 2 , r (k) is one. When ζ 1 ≤ | α (k) | ≤ζ 2 , r (k) is linearly interpolated by a soft switching method. Threshold ζ 1 and ζ 2 are pre-defined values to satisfy the 0≤ζ 1 ≤ζ 2.

대칭 인자 s(k)와 세기 인자 r(k)가 얻어지면, 억제 인자 g2(k)가 아래의 수학식9와 같이 계산된다.When the symmetry factor s (k) and the intensity factor r (k) are obtained, the suppression factor g 2 (k) is calculated as in Equation 9 below.

Figure 112006021929485-pat00008
Figure 112006021929485-pat00008

r(k)=1일 때, 고주파 성분 α(k)는 강해지고 g2(k)=s(k)이다. 따라서, 슈트 억제는 오직 대칭 인자 s(k)에 기초하여 행해진다. r(k)=0일 때, 고역 통과 필터 출력인 α(k)는 매우 약하게 여겨지고 억제 인자 g2(k)는 적용되는 억제가 없다는 뜻의 1값을 갖는다.When r (k) = 1, the high frequency component α (k) becomes strong and g 2 (k) = s (k). Thus, chute suppression is done only based on the symmetry factor s (k). When r (k) = 0, the high pass filter output α (k) is considered very weak and the suppression factor g 2 (k) has a value of 1 meaning no suppression is applied.

상기 비디오 프레임에서 고주파 성분의 사전 보상은 도 9에서 나타난 바와 같이 사전 보상 병력 구조(900)로 구현될 수 있다. 여기서 x(i,j)은 입력 2차원 비디오 프레임 신호를 가리키고, x'(i,j) 는 사전 보상된 비디오 프레임 신호를 가리키며, (i,j)는 기하학적인 위치를 가리킨다. 상기 시스템(900)은 수평 방향에 대한 고주파 성분 추출기(904), 수평 방향에 대한 슈트 억제기(904), 수직 방향에 대한 고주파 성분 추출기(906), 수직 방향에 대한 슈트 억제기(908), 그리고 잡음 검출기(910)을 포함한다.Precompensation of the high frequency components in the video frame may be implemented with a precompensation history structure 900 as shown in FIG. 9. Where x (i, j) points to an input two-dimensional video frame signal, x '(i, j) points to a pre-compensated video frame signal, and (i, j) points to a geometric position. The system 900 includes a high frequency component extractor 904 for the horizontal direction, a chute suppressor 904 for the horizontal direction, a high frequency component extractor 906 for the vertical direction, a chute suppressor 908 for the vertical direction, And a noise detector 910.

먼저, 상기 시스템(900)은 고주파 성분을 수평 방향에서 추출하고(추출기(902) 사용) 수직 방향에서 추출한다(추출기(906) 사용). 그런 다음, 각 성분(즉, 수평과 수직의 고주파 성분들)의 이득은 대응하는 억제기에 의해 수평 방향에서(억제기(904) 사용) 또는 수직 방향에서(억제기(908) 사용) 조정된다. 특히, 수평 방향에서, 상기 억제기(904)로부터의 억제 인자 g2h(k) 출력은 이득 gh와 곱해지 고, 그리고 다시 곱 ( gh * g2h(k) )는 상기 추출기(902)로부터의 보상 성분 dh(k) 출력과 곱해져서 곱 ( gh * dh(k) * g2h(k) )를 생성한다.First, the system 900 extracts the high frequency components in the horizontal direction (using the extractor 902) and extracts in the vertical direction (using the extractor 906). The gain of each component (i.e., horizontal and vertical high frequency components) is then adjusted in the horizontal direction (using suppressor 904) or in the vertical direction (using suppressor 908) by the corresponding suppressor. In particular, in the horizontal direction, the suppression factor g 2h (k) output from the suppressor 904 is multiplied by the gain g h , and again the product (g h * g 2h (k)) is obtained by the extractor 902. It is multiplied by the compensation component d h (k) output from to produce a product (g h * d h (k) * g 2h (k)).

수직 방향에서는, 상기 억제기(908)로부터의 억제 인자 g2v(k) 출력은 이득 gv와 곱해지고, 다시 곱 ( gv * g2v(k) )은 상기 추출기(906)로부터의 보상 성분 dv(k)와 곱해진다. 곱 ( gh * dh(k) * g2h(k) )와 ( gv * dv(k) * g2v(k) )는 더해지고 다시 잡음 검출기(910)로부터의 이득 조정 파라미터에 의해 조정되어 보상 성분 [ g1(k) * ( ( gh * dh(k) * g2h(k) ) + ( gv * dv(k) * g2v(k) ) ) ] 을 얻는다. 그런 다음, 상기 얻어진 보상 성분은 원래 비디오 프레임인 x(i,j)과 더해져서 사전 보상된 비디오 프레임 x'(i,j)를 아래의 수학식10과 같이 얻는다.In the vertical direction, the suppression factor g 2v (k) output from the suppressor 908 is multiplied by the gain g v, and again the product g v * g 2v (k) is the compensation component from the extractor 906. multiplied by d v (k) The product (g h * d h (k) * g 2h (k)) and (g v * d v (k) * g 2v (k)) are added together again by the gain adjustment parameter from the noise detector 910. Adjusted to obtain a compensation component [g 1 (k) * ((g h * d h (k) * g 2h (k)) + (g v * d v (k) * g 2v (k)))]. Then, the obtained compensation component is added with the original video frame x (i, j) to obtain a precompensated video frame x '(i, j) as shown in Equation 10 below.

Figure 112006021929485-pat00009
Figure 112006021929485-pat00009

상기 보상된 비디오 프레임 x'(i,j)은 전통적인 비디오 스케일러나 어떤 다른 비디오 스케일러에 입력되어 도 2에 나타난 바와 같이 스케일링된 비디오를 얻는다.The compensated video frame x '(i, j) is input to a traditional video scaler or some other video scaler to obtain scaled video as shown in FIG.

본 발명은 선호되는 버전들에 참조하여 많은 세부항목을 기술하였으나, 다른 버전들도 가능하다. 따라서, 첨부된 청구항들의 사상과 영역은 여기 포함된 선호되는 버전들의 기술에만 국한되어서는 안 된다.Although the present invention has described many details with reference to preferred versions, other versions are possible. Accordingly, the spirit and scope of the appended claims should not be limited to the description of the preferred versions contained herein.

종래의 스케일링된 비디오의 고주파 성분이 부족하고, 종종 흐려지고(blurred) 본래의 입력 비디오 시퀀스 만큼 선명하지(sharp) 않았던 문제점을 개선하여 스케일링된 비디오의 선명도(sharpness)또는 세부묘사는 유지되거나 오히려 향상되는 효과가 있다.The lack of high-frequency components of conventional scaled video is often lacking and often blurred and not as sharp as the original input video sequence, so sharpness or detail of the scaled video is maintained or rather improved. It is effective.

Claims (40)

비디오 스케일링 방법에 있어서,In the video scaling method, 비디오 스케일링에 앞서 입력 비디오 신호의 고주파 성분의 사전 보상 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.And precompensating the high frequency components of the input video signal prior to video scaling. 제1항에 있어서,The method of claim 1, 상기 사전 보상 단계는 고주파 성분 추출을 수행하여 상기 입력 신호로부터 고주파 보상 성분을 추출하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.The precompensation step includes extracting a high frequency compensation component from the input signal by performing a high frequency component extraction. 제2항에 있어서,The method of claim 2, 상기 사전 보상 단계는 상기 보상의 이득을 조정하기 위한 슈트 억제 인자를 결정하여 슈트 아티팩트를 회피하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Wherein said precompensation step includes determining a chute suppression factor to adjust the gain of said compensation to avoid chute artifacts. 제3항에 있어서,The method of claim 3, 상기 사전 보상 단계는 상기 보상의 이득을 조정하기 위한 이득 조정 인자를 결정하여 잡음 성분의 강화를 회피하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.And said precompensation step includes determining a gain adjustment factor for adjusting the gain of said compensation to avoid amplification of noise components. 제4항에 있어서,The method of claim 4, wherein 상기 사전 보상 단계는 상기 슈트 억제 인자와 상기 이득 조정 인자를 상기 고주파 보상 성분에 적용하여 보상 인자를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.And the precompensation step includes applying the chute suppression factor and the gain adjustment factor to the high frequency compensation component to generate a compensation factor. 제5항에 있어서,The method of claim 5, 상기 보상 인자를 상기 입력 신호와 결합하여 사전 보상된 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Combining the compensation factor with the input signal to produce a pre-compensated signal. 제6항에 있어서,The method of claim 6, 상기 사전 보상된 신호를 스케일링하여 스케일링된 신호를 얻음으로써, 상기 스케일링된 신호의 선명도가 유지되는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Scaling the pre-compensated signal to obtain a scaled signal, thereby maintaining the clarity of the scaled signal. 제2항에 있어서,The method of claim 2, 상기 고주파 성분을 추출을 수행하여 상기 입력 신호로부터 고주파 보상 성분을 추출하는 단계는,Extracting the high frequency component by extracting the high frequency component from the input signal, 상기 입력 신호를 고역 통과 필터에 통과시켜 고주파 성분 α(k)를 얻는 단계; 및Passing the input signal through a high pass filter to obtain a high frequency component α (k); And 상기 고주파 성분 α(k)의 함수로써 상기 고주파 보상 성분을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Determining the high frequency compensation component as a function of the high frequency component α (k). 제8항에 있어서,The method of claim 8, 상기 고주파 성분 α(k)의 함수로써 상기 고주파 보상 성분을 결정하는 단계는,Determining the high frequency compensation component as a function of the high frequency component α (k), 임계점 t1,t2, 및 t3가 0≤t1≤t2≤t3 를 만족할 때, When the critical point t 1, t 2, and t 3 satisfy the 0≤t 1 ≤t 2 ≤t 3, 만약 0≤ |α(k)| ≤t1 라면, α(k)의 진폭은 감소되어 잡음의 증폭을 회피하고;If 0≤ | α (k) | If ≤ t 1 , the amplitude of α (k) is reduced to avoid amplification of noise; 만약 t1< |α(k)| ≤t2 라면, α(k)는 우회하고;If t 1 <| α (k) | If ≤ t 2 , α (k) is bypassed; 만약 t2< |α(k)| ≤t3 라면, α(k)는 증가하고; If t 2 <| α (k) | ≤ t 3 , α (k) increases; 만약 |α(k)| > t3 라면, α(k)는 우회하여 과잉보상을 회피하는 고주파 성분을 조정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.If | α (k) | > t 3 , α (k) further comprises adjusting a high frequency component that bypasses and avoids overcompensation. 제9항에 있어서, The method of claim 9, α(k)의 진폭을 감소하는 단계는 α(k)와 조정 인자를 곱하여 β(k)= α(k)* |α(k)|/t1 라는 신호 β(k)를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Reducing the amplitude of α (k) multiplies α (k) by the adjustment factor to produce a signal β (k) with β (k) = α (k) * | α (k) | / t 1 . And a video scaling method. 제9항에 있어서,The method of claim 9, 상기 고주파 보상 성분 d(k)를 결정하는 단계는 β(k)가 α(k)의 함수일 때, d(k)= β(k) - α(k)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.The determining of the high frequency compensation component d (k) further includes determining d (k) = β (k) −α (k) when β (k) is a function of α (k). Video scaling method. 제9항에 있어서,The method of claim 9, α(k)의 진폭을 증가하는 단계는 조정 인자를 적용하여
Figure 112006021929485-pat00010
라는 신호 β(k)를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 스케일링 방법.
Increasing the amplitude of α (k) by applying an adjustment factor
Figure 112006021929485-pat00010
Generating a signal β (k).
제12항에 있어서,The method of claim 12, 상기 고주파 보상 성분 d(k)를 결정하는 단계는 β(k)가 α(k)의 함수일 때, d(k)= β(k) - α(k)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.The determining of the high frequency compensation component d (k) further includes determining d (k) = β (k) −α (k) when β (k) is a function of α (k). Video scaling method. 제4항에 있어서,The method of claim 4, wherein 상기 이득 조정 인자는 국부 표준 편차의 단조 증가 함수인 것을 특징으로 하는 비디오 스케일링 방법.And the gain adjustment factor is a monotonically increasing function of the local standard deviation. 제8항에 있어서, The method of claim 8, 상기 고주파 성분 α(k)에 기초하여, 상기 보상의 이득을 조정하기 위한 슈트 억제 인자를 결정하여 슈트 아티팩트를 회피하는 슈트 억제를 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.And based on the high frequency component α (k), determining a chute suppression factor for adjusting the gain of the compensation to perform chute suppression to avoid chute artifacts. 제15항에 있어서,The method of claim 15, 상기 슈트 억제를 수행하는 단계는,Performing the chute suppression, 필터링 범위내에서 현재 픽셀의 양쪽 방향에서의 픽셀들의 휘도 분산을 검사하여 대칭 검사를 수행하는 단계;Performing a symmetry check by checking the luminance distribution of the pixels in both directions of the current pixel within the filtering range; 상기 검사 결과에 기초하여, 오버슈트/언더슈트가 더 잘 일어날 것 같은 패턴들에 대해 보다 높은 억제가 수행되는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Based on the inspection results, further comprising performing higher suppression on patterns where overshoot / undershoot is more likely to occur. 제15항에 있어서,The method of claim 15, 상기 슈트 억제를 수행하는 단계는,Performing the chute suppression, 상기 고주파 성분 α(k)의 크기를 검사함으로써 세기 검사를 수행하는 단계; 및Performing an intensity test by checking the magnitude of the high frequency component α (k); And 상기 α(k)의 세기 함수로써 각 입력 신호 픽셀 위치에서 억제를 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.And performing suppression at each input signal pixel position as a function of intensity of α (k). 제1항에 있어서, The method of claim 1, 상기 입력 신호는,The input signal is, 상기 입력 신호의 상기 고주파 성분의 상기 사전 보상이 수평 방향에서 수행되어 수평 보상 인자를 결정하고, 수직 방향에서 수행되어 수직 보상 인자를 결정하는 픽셀들의 2차원 배열을 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Said precompensation of said high frequency component of said input signal comprises a two dimensional array of pixels performed in a horizontal direction to determine a horizontal compensation factor and determined in a vertical direction to determine a vertical compensation factor. . 제18항에 있어서,The method of claim 18, 수평 및 수직 보상 인자들을 상기 입력 신호와 결합하여 사전 보상된 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스케일링 방법.Combining horizontal and vertical compensation factors with the input signal to produce a precompensated signal. 입력 비디오 신호의 스케일링을 위한 비디오 스케일링 시스템에 있어서,A video scaling system for scaling an input video signal, 상기 입력 신호의 고주파 성분을 사전 보상하여 비디오 스케일링에 앞서 사전 보상된 신호를 생성하는 사전 보상기를 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.And a precompensator to precompensate the high frequency components of the input signal to produce a precompensated signal prior to video scaling. 제20항에 있어서,The method of claim 20, 상기 사전 보상기는 상기 입력 신호로부터 고주파 보상 성분을 추출하는 고주파 성분 추출을 수행하는 추출기를 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.And said precompensator comprises an extractor for performing high frequency component extraction to extract high frequency compensation components from said input signal. 제21항에 있어서, The method of claim 21, 상기 사전 보상기는 상기 보상의 이득을 조정하기 위한 슈트 억제 인자를 결정하여 슈트 아티팩트를 회피하는 슈트 억제기를 더 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.And the precompensator further comprises a chute suppressor that determines a chute suppression factor for adjusting the gain of the compensation to avoid chute artifacts. 제22항에 있어서,The method of claim 22, 상기 사전 보상기는 상기 보상의 이득을 조정하기 위한 이득 조정 인자를 결정하여 잡음 성분의 강화를 회피하는 잡음 검출기를 더 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.And the precompensator further comprises a noise detector that determines a gain adjustment factor for adjusting the gain of the compensation to avoid enhancement of the noise component. 제23항에 있어서,The method of claim 23, wherein 상기 사전 보상기는 상기 고주파 보상에 대해 상기 슈트 억제 인자와 상기 이득 조정 인자를 적용하여 보상 인자를 생성하는 것을 특징으로 하는 비디오 스케일링 시스템.And the precompensator generates a compensation factor by applying the chute suppression factor and the gain adjustment factor to the high frequency compensation. 제24항에 있어서,The method of claim 24, 상기 사전 보상기는 상기 보상 인자를 상기 입력 신호와 결합하여 사전 보상된 신호를 생성하는 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator combines the compensation factor with the input signal to produce a precompensated signal. 제25항에 있어서,The method of claim 25, 상기 사전 보상된 신호를 스케일하여 스케일링된 신호를 얻는 스케일러를 더 포함함으로써, 상기 스케일링된 신호의 선명도가 유지되는 것을 특징으로 하는 비디오 스케일링 시스템.And a scaler for scaling the pre-compensated signal to obtain a scaled signal, thereby maintaining the sharpness of the scaled signal. 제21항에 있어서,The method of claim 21, 상기 추출기는 상기 입력 신호를 고역 통과 필터에 통과하도록 하여 고주파 성분 α(k)를 얻음으로써 고주파 성분을 추출하여 입력 신호로부터 고주파 보상 성분을 추출하는 추출기; 및The extractor extracts a high frequency component by extracting a high frequency component by passing the input signal through a high pass filter to obtain a high frequency component α (k); And 상기 사전 보상기는 상기 고주파 성분 α(k)의 함수로써 상기 고주파 보상 성분을 결정하는 사전 보상기인 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator is a precompensator for determining the high frequency compensation component as a function of the high frequency component α (k). 제27항에 있어서,The method of claim 27, 상기 사전 보상기는 상기 고주파 성분 α(k)의 함수로써 상기 고주파 보상 성분을 결정하되, The precompensator determines the high frequency compensation component as a function of the high frequency component α (k), 임계점 t1,t2, 및 t3가 0≤t1≤t2≤t3 를 만족할 때, When the critical point t 1, t 2, and t 3 satisfy the 0≤t 1 ≤t 2 ≤t 3, 만약 0≤ |α(k)| ≤t1 라면, α(k)의 진폭은 감소되어 잡음의 증폭을 회피하고;If 0≤ | α (k) | If ≤ t 1 , the amplitude of α (k) is reduced to avoid amplification of noise; 만약 t1< |α(k)| ≤t2 라면, α(k)는 우회하고;If t 1 <| α (k) | If ≤ t 2 , α (k) is bypassed; 만약 t2< |α(k)| ≤t3 라면, α(k)는 증가하고; If t 2 <| α (k) | ≤ t 3 , α (k) increases; 만약 |α(k)| > t3 라면, α(k)는 우회하여 과잉보상을 회피하는 고주파 성분을 조정하는 것을 특징으로 하는 비디오 스케일링 시스템. If | α (k) | > t 3 , α (k) adjusts high frequency components to bypass and avoid overcompensation. 제28항에 있어서,The method of claim 28, 상기 사전 보상기는 α(k)를 조정 인자와 곱함으로써 α(k)의 진폭을 감소시켜 β(k)= α(k)* |α(k)|/t1 라는 신호 β(k)를 생성하는 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator reduces the amplitude of α (k) by multiplying α (k) by the adjustment factor to produce a signal β (k) with β (k) = α (k) * | α (k) | / t 1 . And a video scaling system. 제28항에 있어서,The method of claim 28, 상기 사전 보상기는 β(k)가 α(k)의 함수일 때, d(k)= β(k) - α(k)을 결정함으로써 고주파 보상 성분 d(k)를 결정하는 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator determines the high frequency compensation component d (k) by determining d (k) = β (k) −α (k) when β (k) is a function of α (k). system. 제28항에 있어서,The method of claim 28, 상기 사전 보상기는 조정 인자를 α(k)에 적용하여 α(k)의 상기 진폭을 증가시켜
Figure 112006021929485-pat00011
라는 신호 β(k)를 생성하는 것을 특징으로 하는 비디오 스케일링 시스템.
The precompensator increases the amplitude of α (k) by applying an adjustment factor to α (k)
Figure 112006021929485-pat00011
And a signal β (k).
제31항에 있어서,The method of claim 31, wherein 상기 사전 보상기는 β(k)가 α(k)의 함수일 때, d(k)= β(k) - α(k)을 결정함으로써 상기 고주파 보상 성분 d(k)를 결정하는 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator determines the high frequency compensation component d (k) by determining d (k) = β (k) −α (k) when β (k) is a function of α (k) Scaling system. 제23항에 있어서,The method of claim 23, wherein 상기 이득 조정 인자는 상기 국부 표준 편차의 단조 증가 함수인 것을 특징으로 하는 비디오 스케일링 시스템.The gain adjustment factor is a monotonically increasing function of the local standard deviation. 제27항에 있어서,The method of claim 27, 상기 고주파 성분 α(k)에 기초하여, 상기 보상의 이득을 조정하기 위한 슈트 억제 인자를 결정하여 슈트 아티팩트를 회피하는 슈트 억제기를 더 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.And a chute suppressor for avoiding chute artifacts by determining a chute suppression factor for adjusting the gain of the compensation based on the high frequency component a (k). 제34항에 있어서,The method of claim 34, wherein 상기 슈트 억제기는,The chute suppressor, 필터링 범위내에서 현재 픽셀의 양쪽 방향에서의 픽셀들의 휘도 분산을 검사하여 대칭 검사를 수행하고;Perform a symmetry check by checking the luminance variance of the pixels in both directions of the current pixel within the filtering range; 상기 검사 결과에 기초하여, 오버슈트/언더슈트가 더 잘 일어날 것 같은 패턴들에 대해 보다 높은 억제를 함으로써 슈트 억제를 수행하는 것을 특징으로 하는 비디오 스케일링 시스템.Based on the inspection results, shoot suppression is performed by making higher suppression for patterns where overshoot / undershoot is more likely to occur. 제34항에 있어서,The method of claim 34, wherein 상기 슈트 억제기는,The chute suppressor, 상기 고주파 성분 α(k)의 크기를 검사함으로써 세기 검사를 수행하고,An intensity test is performed by checking the magnitude of the high frequency component α (k), 상기 α(k)의 세기 함수로써 각 입력 신호 픽셀 위치에서 억제를 함으로써 슈트 억제를 수행하는 것을 특징으로 하는 비디오 스케일링 시스템.Suit suppression is performed by suppressing at each input signal pixel position as a function of intensity of α (k). 제20항에 있어서,The method of claim 20, 상기 입력 신호는,The input signal is, 상기 입력 신호의 상기 고주파 성분의 상기 사전 보상이 수평 방향에서 수행되어 수평 보상 인자를 결정하고, 수직 방향에서 수행되어 수직 보상 인자를 결정하는 픽셀들의 2차원 배열을 포함하는 것을 특징으로 하는 비디오 스케일링 시스템.Said precompensation of said high frequency component of said input signal comprises a two dimensional array of pixels performed in a horizontal direction to determine a horizontal compensation factor and in a vertical direction to determine a vertical compensation factor. . 제37항에 있어서,The method of claim 37, 상기 사전 보상기는 상기 수평 및 수직 보상 인자들을 상기 입력 신호와 결합하여 상기 사전 보상된 신호를 생성하는 것을 특징으로 하는 비디오 스케일링 시스템.The precompensator combines the horizontal and vertical compensation factors with the input signal to produce the precompensated signal. 제20항에 있어서,The method of claim 20, 상기 사전 보상기는 종속(cascade) 사전 보상을 수행하는 것을 특징으로 하 는 비디오 스케일링 시스템.And the pre-compensator performs cascade pre-compensation. 제20항에 있어서,The method of claim 20, 상기 사전 보상기는 병렬(parallel) 사전 보상을 수행하는 것을 특징으로 하는 비디오 스케일링 시스템.And the pre-compensator performs parallel pre-compensation.
KR1020060028133A 2005-09-27 2006-03-28 Pre-compensation methods and systems of high frequency component in a video scaler KR100772404B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060028133A KR100772404B1 (en) 2005-09-27 2006-03-28 Pre-compensation methods and systems of high frequency component in a video scaler

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/236,919 2005-09-27
KR1020060028133A KR100772404B1 (en) 2005-09-27 2006-03-28 Pre-compensation methods and systems of high frequency component in a video scaler

Publications (2)

Publication Number Publication Date
KR20070035404A KR20070035404A (en) 2007-03-30
KR100772404B1 true KR100772404B1 (en) 2007-11-01

Family

ID=41637242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060028133A KR100772404B1 (en) 2005-09-27 2006-03-28 Pre-compensation methods and systems of high frequency component in a video scaler

Country Status (1)

Country Link
KR (1) KR100772404B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101330640B1 (en) * 2007-04-18 2013-11-18 삼성전자주식회사 Method and apparatus for enhancing visibility of image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980057262A (en) * 1996-12-30 1998-09-25 배순훈 Television with compensation for video signal
KR19990004705A (en) * 1997-06-30 1999-01-25 배순훈 Automatic contour correction circuit
JPH11239294A (en) 1998-02-24 1999-08-31 Sony Corp Video camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980057262A (en) * 1996-12-30 1998-09-25 배순훈 Television with compensation for video signal
KR19990004705A (en) * 1997-06-30 1999-01-25 배순훈 Automatic contour correction circuit
JPH11239294A (en) 1998-02-24 1999-08-31 Sony Corp Video camera

Also Published As

Publication number Publication date
KR20070035404A (en) 2007-03-30

Similar Documents

Publication Publication Date Title
US7483081B2 (en) Edge compensated feature detector and method thereof
US8907973B2 (en) Content adaptive image restoration, scaling and enhancement for high definition display
US7406208B2 (en) Edge enhancement process and system
JP4040041B2 (en) Method and apparatus for converting resolution of video signal
EP1480449B1 (en) Adaptive coring for video peaking
US8885967B2 (en) Method and apparatus for content adaptive sharpness enhancement
JP2012531790A (en) Multiple frame approach and image upscaling system
US8879002B2 (en) Split edge enhancement architecture
US7738044B2 (en) Method and apparatus for adjusting a chrominance signal
KR100739751B1 (en) Method and System of Dual-Channel 2D Noise Reduction for Video Signals
US20040189874A1 (en) Image detail enhancement system
KR100565065B1 (en) Method and apparatus for image detail enhancement using filter bank
US7570306B2 (en) Pre-compensation of high frequency component in a video scaler
EP1854278B1 (en) A method for controlling overshoot in a video enhancement system
US20060039622A1 (en) Sharpness enhancement
US7907215B2 (en) Video enhancement systems and methods
KR100772404B1 (en) Pre-compensation methods and systems of high frequency component in a video scaler
JP2007306505A (en) Apparatus and method for improving picture quality
JP2012032739A (en) Image processing device, method and image display device
Lin et al. An adaptive color transient improvement algorithm
WO2006054201A1 (en) Video data enhancement
US8346021B2 (en) Content adaptive scaler based on a farrow structure
US7318079B2 (en) Method and device for filtering a video signal
KR100772405B1 (en) Methods for adaptive noise reduction based on global motion estimation and video processing system therefore
Cvetkovic et al. Non-linear locally-adaptive video contrast enhancement algorithm without artifacts

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee