KR100772404B1 - Pre-compensation methods and systems of high frequency component in a video scaler - Google Patents
Pre-compensation methods and systems of high frequency component in a video scaler Download PDFInfo
- Publication number
- KR100772404B1 KR100772404B1 KR1020060028133A KR20060028133A KR100772404B1 KR 100772404 B1 KR100772404 B1 KR 100772404B1 KR 1020060028133 A KR1020060028133 A KR 1020060028133A KR 20060028133 A KR20060028133 A KR 20060028133A KR 100772404 B1 KR100772404 B1 KR 100772404B1
- Authority
- KR
- South Korea
- Prior art keywords
- high frequency
- compensation
- signal
- chute
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000001629 suppression Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims 3
- 238000000605 extraction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링(scaling)에 앞서서 보상되는(compensated) 비디오 스케일링 방법 및 시스템에 관한 것이다. 비디오 스케일링 시스템은 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전 보상기(pre-compensator)와 비디오 스케일러(scaler)를 포함한다. 사전 보상기는 고주파 성분 추출기, 잡음(noise) 검출기, 슈트(shoot) 억제기를 포함한다. 고주파 성분 추출기는 입력 비디오 시퀀스로부터 고주파 보상 성분을 추출한다. 잡음 검출기는 잡음 성분의 강화(enhancement)를 피하기 위해 보상 이득을 조정한다. 슈트 억제기는 슈트 아티팩트(shoot artifacts)를 피하기 위해 보상 이득을 또 조정한다. 조정된 고주파 보상 비디오는 입력 비디오에 더해진다. 그런 다음, 사전 보상된 비디오 시퀀스는 스케일링된 비디오를 얻기 위해 비디오 스케일러를 통과한다. 그리하여, 스케일링된 비디오의 선명도는 유지되거나 오히려 향상된다.The present invention relates to a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. The video scaling system includes a pre-compensator and a video scaler for the compensation of high frequency components of the input video sequence. The precompensator includes a high frequency component extractor, a noise detector, and a shoot suppressor. The high frequency component extractor extracts high frequency compensation components from the input video sequence. The noise detector adjusts the compensation gain to avoid the enhancement of the noise component. The shoot suppressor also adjusts the compensation gain to avoid shoot artifacts. The adjusted high frequency compensation video is added to the input video. The pre-compensated video sequence then passes through a video scaler to obtain scaled video. Thus, the sharpness of the scaled video is maintained or rather improved.
고주파 사전 보상 비디오 스케일링 스케일러 High Frequency Precompensated Video Scaling Scaler
Description
도 1은 종래의 스케일링 방법을 설명하는 시스템의 블록도를 도시한다.1 shows a block diagram of a system illustrating a conventional scaling method.
도 2는 입력 비디오 신호상의 고주파 이미지 성분들의 사전 보상을 제공하는 본 발명의 일 실시예에 따른 비디오 스케일링 시스템의 예시 블록도를 도시한다.2 shows an exemplary block diagram of a video scaling system according to an embodiment of the present invention for providing precompensation of high frequency image components on an input video signal.
도 3은 본 발명의 일 실시예에 따른, 입력 비디오 신호의 고주파 성분의 보상을 위한 도 2의 비디오 사전 보상기(pre-compensator)의 일 실시예의 블록도를 도시한다.FIG. 3 shows a block diagram of one embodiment of the video pre-compensator of FIG. 2 for compensation of high frequency components of an input video signal, in accordance with an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른, 입력 신호 고주파 성분의 사전 보상에서 고주파 피킹(peaking)의 예시를 도시한다.4 illustrates an example of high frequency peaking in pre-compensation of the input signal high frequency component, according to one embodiment of the invention.
도 5는 본 발명의 일 실시예에 따른, 고주파 성분 α(k)를 조정하는(adjusting) 예시를 도시한다.5 shows an example of adjusting the high frequency component α (k) according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른, 신호 p(k)를 조정하는 예시를 도시한다.6 shows an example of adjusting signal p (k), in accordance with an embodiment of the present invention.
도 7(a)내지 (d)는 고주파 성분의 사전 보상처리를 하는 동안에 평탄한(flat) 영역과 증가 또는 감소하는 영역 사이의 경계에서 슈트 아티팩트가 발생 할 수 있는 휘도(luminance) 패턴의 4가지 예시를 도시한다.7 (a) to (d) show four examples of luminance patterns in which chute artifacts may occur at the boundary between a flat area and an increasing or decreasing area during precompensation of high frequency components. Shows.
도 8은 본 발명의 일 실시예에 따른, 고주파 성분 α(k)로부터 세기 인자(intensity factor) r(k)를 결정하는 예시를 도시한다.8 illustrates an example of determining an intensity factor r (k) from a high frequency component α (k), according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른, 도 2의 비디오 스케일러에 앞서서 고주파 성분을 보상하기 위한 병렬 사전 보상 시스템의 예시를 도시한다.9 illustrates an example of a parallel pre-compensation system for compensating for high frequency components prior to the video scaler of FIG. 2, in accordance with an embodiment of the present invention.
본 발명은 넓게는 비디오 처리(video processing)에 관한 것이고, 특히 비디오 처리상에서 비디오 스케일링(video scaling)에 관한 것이다.The present invention relates generally to video processing, and in particular to video scaling on video processing.
TV 시스템에 있어서, 비디오 스케일링은 입력되는 비디오 프레임(video frame)의 본래의 해상도가 화면표시장치의 해상도와 맞지 않을 때 종종 필요하게 된다. 보편성을 잃지 않고, 스케일링 비율은 L/M이고, 최대공약수는 gcd(L,M)=1 이라고 가정한다. 도 1에 나타나 있듯이 종래의 스케일링 시스템(100)은 대체로 임의의 유리값의 스케일링 비율로 입력 신호 x(k)를 스케일하는데 이용된다. 이런 시스템에서, 입력 신호 x(k)는 업-샘플러(up-sampler)(102)의 L에 의해 업-샘플링 되고, 주파수 응답 HL , M 의 보간 필터(104)에 의해 필터링되고, 그런 다음에는 다운-샘플러(down-sampler)(106)의 M에 의해 다운-샘플링 된다. 그런 처리과정은 다상 구조(polyphase structure)를 이용하여 구현될 수 있다. 그런 시스템을 이용하여, 2차원 비디오 프레임은 우선 하나의 스케일링 비율로 수평 방향에서 스케일링되고 다음으로 또다른 스케일링 비율로 수직 방향에서 스케일링되거나, 또는 먼저 수직 방향으로 스케일링되고 다음으로 수평 방향으로 스케일링된다.In TV systems, video scaling is often needed when the native resolution of the incoming video frame does not match the resolution of the display. Without loss of universality, the scaling ratio is assumed to be L / M and the greatest common divisor is gcd (L, M) = 1. As shown in FIG. 1, a conventional scaling system 100 is generally used to scale the input signal x (k) with a scaling ratio of any rational value. In such a system, the input signal x (k) is up-sampled by L of up-sampler 102, filtered by
도 1의 비디오 스케일링 시스템에서, 업-샘플링은 새로운 시퀀스(sequence) u(k)를 얻기 위해, L 인자로 시간스케일을 확장시키고, L-1 개의 0값을 x(k)의 각 샘플 사이에 삽입한다. 주파수 영역에서, 업-샘플링은 이미지 구성요소들을 주파수 2πl/L, 1≤l≤L-1 에 나타나게 한다. 따라서, 아티팩트(artifacts)를 방지하기 위해서, u(k) 차단주파수가 π/L 인 저역 통과 필터에 의해 필터링을 해야 한다. 한편으로는, 다운-샘플링은 스케일링된 시퀀스 y(k)를 얻기 위해 v(k)의 매 M번째 샘플을 취한다. 그러나 그러한 다운-샘플링은 대부분 앨리어싱(aliasing)을 초래한다.In the video scaling system of FIG. 1, up-sampling extends the timescale with the factor L to obtain a new sequence u (k), with L-1 zero values between each sample of x (k). Insert it. In the frequency domain, up-sampling causes image components to appear at frequency 2π / L, 1 ≦ l ≦ L-1. Therefore, in order to prevent artifacts, the filter must be filtered by a low pass filter with a u (k) cutoff frequency of π / L. On the one hand, down-sampling takes every Mth sample of v (k) to obtain a scaled sequence y (k). However, such down-sampling mostly results in aliasing.
앨리어싱을 방지하기 위해서는, 시퀀스 v(k)가 다운-샘플링에 앞서서 차단주파수 π/M 을 갖는 저역 통과 필터를 거쳐야한다. π/L 과 π/M의 차단주파수를 갖는 두 개의 필터의 종속연결(cascade)은 차단주파수 min(π/L, π/M) 를 갖는 단일 저역 통과 보간 필터(interpolation filter) HL ,M과 등가이다. 따라서 보간 필터 HL ,M 의 주파수 특성은 L, M 값에 의존한다.To prevent aliasing, the sequence v (k) must go through a low pass filter with a cutoff frequency [pi] / M prior to down-sampling. The cascade of two filters with cutoff frequencies of π / L and π / M consists of a single low pass interpolation filter H L , M and cutoff frequencies min (π / L, π / M). Equivalent Therefore , the frequency characteristics of the interpolation filters H L and M depend on the L and M values.
보간 필터 HL ,M 이 저역 통과 필터이므로, 스케일링된 비디오는 고주파 성분이 부족하고, 이 때문에 스케일링된 비디오는 종종 흐려지고(blurred) 본래의 입력 비디오 시퀀스만큼 선명하지(sharp) 않다.Since the interpolation filters H L , M are low pass filters, the scaled video lacks high frequency components, so the scaled video is often blurred and not as sharp as the original input video sequence.
따라서, 본 발명의 목적은 상기와 같은 종래 기술의 단점을 극복하는 비디오 스케일링의 사전 보상 방법 및 시스템을 제공하는 것이다. 특히, 보다 구체적으로는 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링에 앞서서 보상되는 비디오 스케일링 방법과 시스템을 제공한다. 이러한 방법으로 스케일링된 비디오의 선명도 또는 세부묘사가 유지 또는 오히려 향상된다.Accordingly, it is an object of the present invention to provide a precompensation method and system for video scaling that overcomes the above disadvantages of the prior art. More particularly, it provides a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. In this way the sharpness or detail of the scaled video is maintained or rather improved.
일 실시예에서, 본 발명은 입력 비디오 시퀀스의 고주파 성분들이 비디오 스케일링에 앞서서 보상되는(compensated) 비디오 스케일링 방법 및 시스템을 제공하고 있다. 본 발명에 따른 비디오 스케일링 시스템의 한 예는 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전보상기(pre-compensator)와 비디오 스케일러를 포함한다.In one embodiment, the present invention provides a video scaling method and system in which high frequency components of an input video sequence are compensated prior to video scaling. One example of a video scaling system according to the present invention includes a pre-compensator and a video scaler for the compensation of high frequency components of an input video sequence.
사전 보상기는 고주파 성분 추출기(high freq. component extractor), 잡음 검출기(noise detector), 그리고 슈트 억제기(shoot suppressor)를 포함한다. 고주파 성분 추출기는 입력 비디오 시퀀스로부터 고주파 보상 성분을 추출한다. 잡음 검출기는 잡음 성분의 강화(enhancement)를 피하기 위해 보상 이득(gain of compensation)을 조정한다. 슈트 억제기는 슈트 아티팩트를 피하기 위해 보상 이득을 또 조정한다. 조정된 고주파 보상 비디오(high freq. compensated video)는 다시 입력 비디오에 더해진다. 그런 다음, 사전 보상된 비디오 시퀀스는 스케일링된 비디오를 얻기 위해 비디오 스케일러를 통과한다. 그리하여, 스케일링된 비디오의 선명도는 유지되거나 오히려 향상된다.The precompensator includes a high freq.component extractor, a noise detector, and a shoot suppressor. The high frequency component extractor extracts high frequency compensation components from the input video sequence. The noise detector adjusts the gain of compensation to avoid noise enhancement. The chute suppressor further adjusts the compensation gain to avoid chute artifacts. The high freq. Compensated video is added back to the input video. The pre-compensated video sequence then passes through a video scaler to obtain scaled video. Thus, the sharpness of the scaled video is maintained or rather improved.
도 2는 본 발명의 일 실시예에 따라, 입력 신호 x(k)의 고주파 성분의 사전 보상이 있는 비디오 스케일링 시스템(200)의 일 실시예의 블록도를 나타낸다. 상기 시스템(200)은 입력 비디오 시퀀스의 고주파 성분들의 보상을 위한 사전 보상기(202)와 비디오 스케일러(204)를 포함한다. 상기 사전 보상기(202)는 먼저 입력 신호 x(k)의 고주파 성분을 사전 보상하고, 그런 다음에 얻어진 신호 x'(k)는 스케일링된 신호 y(k)를 얻기 위해 스케일러(204)를 통과한다. 도 2에 나타난 스케일러 대신에 임의의 스케일러가 이용될 수 있다. 게다가, 두 개의 1차원 스케일러(204)들은 스케일링된 비디오 프레임을 얻기 위하여 임의의 순서를 가지고 수평과 수직의 방향에서 2차원 비디오 프레임을 스케일 하도록 종속접속될 수 있다. 이 설명의 이해를 쉽게 하기 위해, 입력 신호 x(k)는 수평 또는 수직 방향의 1차원 픽셀값의 집합으로 생각할 수 있다.2 shows a block diagram of one embodiment of a
도 3은 본 발명의 일 실시예에 따라, 입력 비디오 신호의 고주파 성분의 보상을 위해 도 2에 나타난 비디오 사전 보상기(202)의 일 실시예의 블록도를 나타낸다. 상기 사전 보상기(202)는 고주파 성분 추출기(300), 슈트 억제기(302) 그리고 잡음 검출기(304)를 포함한다. 고주파 성분 추출기(300)은 입력 신호 x(k)로부터 고주파 보상 성분 d(k)를 추출한다. 슈트 억제기(302)는 슈트 아티팩트를 피하기 위해 억제 인자(suppression factor) g2(k)를 계산한다. 잡음 검출기(304)는 잡음 레벨에 기초한 이득 조정 파라미터 g1(k)를 계산한다.3 illustrates a block diagram of one embodiment of the video pre-compensator 202 shown in FIG. 2 for compensation of high frequency components of an input video signal, in accordance with an embodiment of the present invention. The
상기 사전 보상기(202)에서, 사전 보상 이득 g0은 곱 ( g0·g1(k) )을 생성하기 위해 곱셈기(306)에서 이득 조정 파라미터 g1(k)와 곱해진다. 곱 ( g0· g1(k) )은 곱( g0·g1(k)·g2(k) ) 을 생성하기 위해 곱셈기(308)에서 억제 인자 g2(k)와 또 곱해진다. 그런 다음, 곱 ( g0·g1(k)·g2(k) )은 곱 ( g0 · g1(k) · g2(k) · d(k) )을 생성하기 위해 곱셈기(310)에서 고주파 보상 성분 d(k)와 곱해진다. 그런 다음, 곱 ( g0 · g1(k) · g2(k) · d(k) )은 아래의 수학식1과 같은 사전 보상된 신호 x'(k)를 생성하기 위해 가산기(312)에서 입력 신호 x(k)에 더해진다.In the
상기 고주파 보상 성분 d(k)를 얻기 위하여, 먼저 상기 입력 신호 x(k)는 상기 고주파 성분 추출기(300) 내의 고역 통과 필터를 통과하여 고주파 성분 α(k)를 얻는다. 예를 들어, 고역 통과 필터 [-1,2,-1]은 α(k)을 추출하는데 이용될 수 있다. 다른 고역 통과 필터 역시 이용 가능하다. 도 4는 t1,t2,t3 가 임계점일 때, 상기 고주파 성분 α(k)를 조정하여 신호 k)를 출력하는 예시 그래프(400)를 도시한다. 기본적으로, 0≤|α(k)|≤t1 라면, 상기 α(k)의 진폭은 감소되어 잡음을 증가시키는 것을 피하게 된다, 즉 β(k) = α(k)* |α(k)|/t1 이다. 만약 t1<|α(k)|≤t2 라면, 좁은 고주파 영역에서 보상은 중요하지 않을 것이기 때문에 상기 신호 α(k)는 우회한다. 만약 t2<|α(k)|≤t3 라면, 상기 α(k)의 진폭은 증가되어 중요한 보상을 가진다, 즉 이다. 만약 |α(k)|> t3 이라면 상기 신호 α(k)는 우회하여 과잉보상(overcompensation)을 피한다. 임계점 t1,t2,그리고 t3 은 0≤t1≤t2≤t3 을 만족하고, 임계점들은 수동으로 사전 설정되거나 동적으로 계산될 수 있다.In order to obtain the high frequency compensation component d (k), first the input signal x (k) passes through a high pass filter in the high
임계점 t1,t2,t3 을 동적으로 계산하는 예를 이제부터 기술한다. 신호 p(k)는 으로 계산되고, 는 상기 신호 x(k)의 로컬(local) 평균이다. 도 5는 Pmax, Rmin 그리고 Rmax가 사전 설정된(pre-defined) 값들일 때, 신호 q(k)를 출력하기 위해 상기 신호 p(k)를 조정하는 예시 그래프(500)를 도시한다. 기본적으로 p(k)=0 일때, q(k)=Rmin라 하자. 만약 p(k)≥ Pmax 일때, q(k)= Rmax 라 하자. 그리고, 만약 0<p(k)<Pmax 이라면, q(k)는 선형적으로 보간된다. 임계점 t1 ,t2은 t1= t2=min(T, q(k)) 로 계산되고, 이때 T는 수동으로 설정될 수 있는 상수값이다. 임계점 t3은 t3=q(k) 으로 계산될 수 있다. An example of dynamically calculating the critical points t 1 , t 2 , t 3 will now be described. Signal p (k) Calculated as Is the local average of the signal x (k). FIG. 5 shows an
일단 상기 신호 β(k) 가 얻어지면, 고주파 보상 성분 d(k)는 d(k)=β(k) -α(k) 로 계산된다.Once the signal β (k) is obtained, the high frequency compensation component d (k) is calculated as d (k) = β (k) −α (k).
도 3을 다시 참조하면, 잡음 검출기(304)는 국부(local) 표준편차(또는 분 산)가 작은 것으로 나타난 고주파 보상을 축소(scale down)하는데 이용된다. 작은 국부 표준편차는 상대적으로 평탄한 영역을 나타낸다. 그러한 영역에서 보상을 축소하지 않는다면, 잡음은 증가할 것이다.Referring back to FIG. 3,
2차원 비디오 프레임에서, 상기 국부 표준 편차 σ(k)는 종종 상기 현재 픽셀이 중앙에 위치하는 장방형의(rectangular) 이웃하는 윈도우에 기초하여 계산된다. 다른 방법 또한 국부 표준편차를 계산하는데 이용될 수 있다. 이득 조정 파라미터(gain adjustment parameter) g1(k)는 국부 표준편차의 단조 증가 함수이다. 도 6은 단조 증가 함수(600)의 예를 도시하되, σ(k)이 임계점 τ1보다 작은 경우에는 입력 신호 x(k)는 평탄한 영역에 있고, 조정 파라미터는 g1(k)=0 으로 설정된다. 만약 σ(k) 가 임계점 τ2 (τ2≥τ1)보다 큰 경우에는 입력 신호 x(k)는 유용한 에지(edge) 정보를 포함하고 조정 파라미터는 고주파 성분을 완전히 보상하기 위해 g1(k)=1로 설정된다. 만약 τ1≤σ(k)≤τ2 라면, 조정 파라미터 g1(k)은 도 6에서 예시된 바와 같이 소프트 스위칭(soft-switching) 방식으로 선형적으로 보간된다. 특히, 만약 예로써 선형 소프트 스위칭을 고려한다면 τ1≤σ(k)≤τ2 일때, g1(k)=( σ(k)- τ1 ))/( τ2- τ1 ) 이 될 수 있다. 임계점 τ1과 τ2 은 잡음 추정치에 기초해 상수값으로 설정되거나 또는 동적으로 조정될 수 있다. 상기 잡음 추정치가 높고 비디오 시퀀스가 잡음이 많은(noisy) 것으로 여겨질 때, τ1 과 τ2 또한 비교적 큰 값들로 정해져야 한다. 상기 잡음 추정치가 낮고 비디오 시퀀스가 선 명하다(clean)고 여겨질 때, τ1 와 τ2 는 비교적 작은 값들로 정해지고 비디오 프레임의 세밀한 상세부분(fine details)이 보다 낫게(better) 사전 보상될 수 있다. 잡음 검출 임계점 τ1 ,τ2 와 잡음 추정치 σe 사이의 관계식은 아래 수학식2와 같이 표현될 수 있다.In a two-dimensional video frame, the local standard deviation σ (k) is often calculated based on a rectangular neighboring window where the current pixel is centered. Other methods can also be used to calculate local standard deviations. The gain adjustment parameter g 1 (k) is a monotonically increasing function of the local standard deviation. 6 shows an example of the monotonically increasing
τ2 = c2 * σe ,τ 2 = c 2 * σ e ,
이때, c1 과 c2 는 c2 ≥c1≥0 을 만족하는 사전 설정된 값들이다. 상기 잡음 추정치 σe 은 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 일련번호 10/991,265 "비디오 시퀀스로부터 잡음 분산을 추정하는 방법(Methods to estimate noise variance from a video sequence)"에서 기술된 방법에 의해 얻어진다. 이에 의하면, 만약 두 개의 연속 프레임들간에 움직임이 전혀 없거나 작은 움직임이 있다면 그 이미지 구조는 국부(local) 차이를 계산함으로써 제거될 수 있으며, 따라서 강한 내성이 있는 추정이 얻어진다. 국부 차로서 평균 절대 에러(mean absolute error:MAE)를 사용하면, α가 hat y의 1차 예측 추정치일 때, α≒ E(hat y) = 2*σ0/√π 로써 α를 계산할 수 있다. 이어서 잡음 추정치 σe는 σe = α/2*√π 로 계산된다. 나아가 발명자들은 계산 비용을 줄이기 위해 수평과 수직 방향에서의 사전 보상이 동일한 잡음 검출기를 공유할 수 있다고 언급하고 있다.At this time, c 1 and c 2 are preset values satisfying c 2 ≥ c 1 ≥ 0. The noise estimate σ e is incorporated herein by reference and described in commonly assigned US patent application Ser. No. 10 / 991,265 "Methods to estimate noise variance from a video sequence". Obtained by the method. According to this, if there is no movement or small movement between two consecutive frames, the image structure can be eliminated by calculating local differences, thus a strong tolerant estimate is obtained. Using the mean absolute error (MAE) as the local difference, we can compute α as α ≒ E (hat y) = 2 * σ 0 / √π when α is the first predictive estimate of hat y. . The noise estimate σ e is then calculated as σ e = α / 2 * √π. The inventors further note that precompensation in the horizontal and vertical directions can share the same noise detector to reduce computational cost.
고주파 성분의 사전 보상에 있어서, 보통 에지 영역에서 슈트 아티팩트가 일어난다. 특히, 슈트 아티팩트는 보통 상대적으로 스무스한(smooth) 영역으로부터 변화하는 픽셀 휘도(luminance)의 급격한(sharp) 터닝(turning) 지점 부근에서 일어난다. 도 7(a)내지 (d)는 고주파 성분의 사전 보상이 일어나는 동안에 슈트 아티팩트가 일어나는 4개의 예시 휘도 패턴 (702), (704), (706), 그리고 (708)을 각각 도시한다. 각 패턴에서, 8개의 픽셀들(700)(●)은 묘사하기 위한 목적으로 보여진다. 실제로 관련된 픽셀들(700)의 개수는 도 3의 고주파 성분 추출기(300) 내의 고역 통과 필터의 필터 탭(tap)의 개수에 의존하여 변화할 수 있다. 4개의 패턴들 안에서 공통점을 찾을 수가 있는데, 도 7(a)내지 (d)는 모두 픽셀 휘도 레벨의 관점에서 변화하는 영역과 넓은 평탄한(flat) 영역을 포함하고 있다는 것이다.In precompensation of high frequency components, chute artifacts usually occur in the edge region. In particular, chute artifacts usually occur near the point of sharp turning of pixel luminance that varies from a relatively smooth region. 7 (a)-(d) show four
상기 위의 분석에 기초하여, 도 3의 슈트 억제기(302)는 나아가 대칭 (symmetry)검사와 세기(intensity)검사를 실시한다. 대칭 검사를 위해, 상기 슈트 억제기(302)는 필터링 범위 내 현재 픽셀의 양쪽 방향에 있는 픽셀들의 휘도 분산을 검사한다. 검사 결과에 기초하여, 상기 현재 픽셀의 이웃내의 휘도 분산의 다른 패턴들은 분류된다. 따라서, 오버슈트/언더슈트가 더 잘 일어날 것 같은 이러한 패턴들에 대해 보다 높은 억제가 행해진다. 세기 검사를 위해, 상기 슈트 억제기(302)는 고주파 성분 α(k) 의 크기를 검사한다. 만약 그 값이 작다면, 해당 지점에서 명백한 슈트 아티팩트가 나타날 가능성이 적다. 따라서, 억제는 각 픽셀 지점에서 α(k)의 세기와 연관된다. Based on the above analysis, the
대칭 검사의 목적은 도 7(a)내지 (d)에 나타난 패턴들을 검출하기 위한 것이 다. 필터링 범위 내에서, 픽셀 휘도 곡선이 도 7(a)내지 (d)의 어떤 패턴에 근접하다면, 그 지점에서 사전 보상은 억제되어야 한다. N이라는 값을 (2*N+1)이 고주파 성분 추출기(300)내에서의 고역 통과 필터의 길이(length)가 되는 경우라 하자. x(k)의 위치를 참조하여 픽셀 휘도 곡선의 대칭을 검사하고 대칭 인자 s(k)를 계산하기 위해, M1, M2 라는 값들이 아래의 수학식3, 수학식4와 같이 첫 번째로 계산된다.The purpose of the symmetry test is to detect the patterns shown in Figs. 7 (a) to (d). Within the filtering range, if the pixel luminance curve is close to any pattern in Figs. 7 (a) to (d), then precompensation should be suppressed at that point. Let N be a case where (2 * N + 1) becomes the length of the high pass filter in the high
di ,j 는 di ,j=| x(k+i) - x(k+j)|와 같이 x(k+i)와 x(k+j)사이의 절대차를 나타낸다. d i , j is d i , j = | x (k + i) minus the absolute difference between x (k + i) and x (k + j), as in x (k + j) |.
Ml 값은 x(k)와 필터링 범위내에서 그것의 왼쪽 방향의 어떤 픽셀과의 최대 절대차이다. 마찬가지로, Mr값은 x(k)와 필터링 범위내에서 그것의 오른쪽 방향의 어떤 픽셀과의 최대 절대차이다. 만약 Ml과 Mr이 0이라면, x(k)는 평탄한 영역에 있다. 이런 경우, 대칭 인자 s(k)는 억제가 필요없음을 가리키는 1로 설정된다. 왜냐하면 고주파 성분 d(k)가 0이 되기 때문이다. 만약 Ml과 Mr중 하나만이 0이라면, 상기 픽셀 휘도 패턴은 도 7(a)내지 (d)에 나타난 어느 하나에 근접하게 된다. 따라 서, 그러한 지점에서 슈트 아티팩트가 나타날 가능성이 매우 크다. 이러한 경우에, 대칭 인자 s(k)는 사전 보상 이득을 완전히 억제하기 위해서 0으로 설정된다. Ml과 Mr중 어느것도 0이 아니라면, Al, Ar이라는 두 개의 값들이 아래의 수학식5와 같이 계산된다.The M l value is the maximum absolute difference between x (k) and any pixel to its left in the filtering range. Similarly, the M r value is the maximum absolute difference between x (k) and any pixel in its right direction within the filtering range. If M l and M r are zero, x (k) is in the flat region. In this case, the symmetry factor s (k) is set to 1 indicating no suppression is needed. This is because the high frequency component d (k) becomes zero. If only one of M l and M r is zero, the pixel luminance pattern is close to any of those shown in Figs. 7 (a) to (d). Therefore, it is very likely that chute artifacts will appear at such a point. In this case, the symmetry factor s (k) is set to zero to completely suppress the precompensation gain. If neither M l nor M r is zero, two values, A l and A r , are calculated as shown in Equation 5 below.
여기서 Al 은 x(k)의 왼쪽 방향에서의 절대차들의 평균이고, Ar은 x(k)의 오른쪽 방향에서의 절대차들의 평균이다. 그리고나서 대칭 인자 s(k)은 아래의 수학식6과 같이 계산된다.Where A l is the average of the absolute differences in the left direction of x (k) and A r is the average of the absolute differences in the right direction of x (k). Then the symmetry factor s (k) is calculated as shown in Equation 6 below.
유사하게, 더욱 제한적인 조건이 아래의 수학식7과 같은 대칭 인자 s(k)를 계산하기 위해 사용된다.Similarly, more restrictive conditions are used to calculate the symmetry factor s (k) as shown in Equation 7 below.
수학식7에서 ml은 x(k)의 왼쪽에서의 절대차들의 최소값이과, mr은 x(k)의 오른쪽 방향에서의 절대차들의 최소값이며 아래와 수학식8과 같다.In Equation 7, m l is the minimum value of the absolute differences on the left side of x (k), and m r is the minimum value of the absolute differences in the right direction of x (k), as shown in Equation 8 below.
세기(intensity) 검사에서, 세기 인자 r(k)는 고주파 성분 α(k)의 절대값의 단조 증가 함수로서 계산된다. 도 8은 단조 증가 함수(800)의 예를 도시하고 여기서 |α(k)|이 임계점 ζ1보다 작으면, r(k)는 0이 된다. 만약 |α(k)|이 임계점 ζ2보다 크면, r(k)는 1이 된다. 그리고 ζ1≤|α(k)|≤ζ2 이면, r(k)는 소프트 스위칭 방식으로 선형 보간된다. 임계점 ζ1과 ζ2은 0≤ζ1≤ζ2을 만족하도록 사전 정의된 값들이다.In the intensity test, the intensity factor r (k) is calculated as a monotonically increasing function of the absolute value of the high frequency component α (k). 8 shows an example of the monotonically increasing
대칭 인자 s(k)와 세기 인자 r(k)가 얻어지면, 억제 인자 g2(k)가 아래의 수학식9와 같이 계산된다.When the symmetry factor s (k) and the intensity factor r (k) are obtained, the suppression factor g 2 (k) is calculated as in Equation 9 below.
r(k)=1일 때, 고주파 성분 α(k)는 강해지고 g2(k)=s(k)이다. 따라서, 슈트 억제는 오직 대칭 인자 s(k)에 기초하여 행해진다. r(k)=0일 때, 고역 통과 필터 출력인 α(k)는 매우 약하게 여겨지고 억제 인자 g2(k)는 적용되는 억제가 없다는 뜻의 1값을 갖는다.When r (k) = 1, the high frequency component α (k) becomes strong and g 2 (k) = s (k). Thus, chute suppression is done only based on the symmetry factor s (k). When r (k) = 0, the high pass filter output α (k) is considered very weak and the suppression factor g 2 (k) has a value of 1 meaning no suppression is applied.
상기 비디오 프레임에서 고주파 성분의 사전 보상은 도 9에서 나타난 바와 같이 사전 보상 병력 구조(900)로 구현될 수 있다. 여기서 x(i,j)은 입력 2차원 비디오 프레임 신호를 가리키고, x'(i,j) 는 사전 보상된 비디오 프레임 신호를 가리키며, (i,j)는 기하학적인 위치를 가리킨다. 상기 시스템(900)은 수평 방향에 대한 고주파 성분 추출기(904), 수평 방향에 대한 슈트 억제기(904), 수직 방향에 대한 고주파 성분 추출기(906), 수직 방향에 대한 슈트 억제기(908), 그리고 잡음 검출기(910)을 포함한다.Precompensation of the high frequency components in the video frame may be implemented with a
먼저, 상기 시스템(900)은 고주파 성분을 수평 방향에서 추출하고(추출기(902) 사용) 수직 방향에서 추출한다(추출기(906) 사용). 그런 다음, 각 성분(즉, 수평과 수직의 고주파 성분들)의 이득은 대응하는 억제기에 의해 수평 방향에서(억제기(904) 사용) 또는 수직 방향에서(억제기(908) 사용) 조정된다. 특히, 수평 방향에서, 상기 억제기(904)로부터의 억제 인자 g2h(k) 출력은 이득 gh와 곱해지 고, 그리고 다시 곱 ( gh * g2h(k) )는 상기 추출기(902)로부터의 보상 성분 dh(k) 출력과 곱해져서 곱 ( gh * dh(k) * g2h(k) )를 생성한다.First, the
수직 방향에서는, 상기 억제기(908)로부터의 억제 인자 g2v(k) 출력은 이득 gv와 곱해지고, 다시 곱 ( gv * g2v(k) )은 상기 추출기(906)로부터의 보상 성분 dv(k)와 곱해진다. 곱 ( gh * dh(k) * g2h(k) )와 ( gv * dv(k) * g2v(k) )는 더해지고 다시 잡음 검출기(910)로부터의 이득 조정 파라미터에 의해 조정되어 보상 성분 [ g1(k) * ( ( gh * dh(k) * g2h(k) ) + ( gv * dv(k) * g2v(k) ) ) ] 을 얻는다. 그런 다음, 상기 얻어진 보상 성분은 원래 비디오 프레임인 x(i,j)과 더해져서 사전 보상된 비디오 프레임 x'(i,j)를 아래의 수학식10과 같이 얻는다.In the vertical direction, the suppression factor g 2v (k) output from the
상기 보상된 비디오 프레임 x'(i,j)은 전통적인 비디오 스케일러나 어떤 다른 비디오 스케일러에 입력되어 도 2에 나타난 바와 같이 스케일링된 비디오를 얻는다.The compensated video frame x '(i, j) is input to a traditional video scaler or some other video scaler to obtain scaled video as shown in FIG.
본 발명은 선호되는 버전들에 참조하여 많은 세부항목을 기술하였으나, 다른 버전들도 가능하다. 따라서, 첨부된 청구항들의 사상과 영역은 여기 포함된 선호되는 버전들의 기술에만 국한되어서는 안 된다.Although the present invention has described many details with reference to preferred versions, other versions are possible. Accordingly, the spirit and scope of the appended claims should not be limited to the description of the preferred versions contained herein.
종래의 스케일링된 비디오의 고주파 성분이 부족하고, 종종 흐려지고(blurred) 본래의 입력 비디오 시퀀스 만큼 선명하지(sharp) 않았던 문제점을 개선하여 스케일링된 비디오의 선명도(sharpness)또는 세부묘사는 유지되거나 오히려 향상되는 효과가 있다.The lack of high-frequency components of conventional scaled video is often lacking and often blurred and not as sharp as the original input video sequence, so sharpness or detail of the scaled video is maintained or rather improved. It is effective.
Claims (40)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060028133A KR100772404B1 (en) | 2005-09-27 | 2006-03-28 | Pre-compensation methods and systems of high frequency component in a video scaler |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/236,919 | 2005-09-27 | ||
KR1020060028133A KR100772404B1 (en) | 2005-09-27 | 2006-03-28 | Pre-compensation methods and systems of high frequency component in a video scaler |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070035404A KR20070035404A (en) | 2007-03-30 |
KR100772404B1 true KR100772404B1 (en) | 2007-11-01 |
Family
ID=41637242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060028133A KR100772404B1 (en) | 2005-09-27 | 2006-03-28 | Pre-compensation methods and systems of high frequency component in a video scaler |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100772404B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101330640B1 (en) * | 2007-04-18 | 2013-11-18 | 삼성전자주식회사 | Method and apparatus for enhancing visibility of image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980057262A (en) * | 1996-12-30 | 1998-09-25 | 배순훈 | Television with compensation for video signal |
KR19990004705A (en) * | 1997-06-30 | 1999-01-25 | 배순훈 | Automatic contour correction circuit |
JPH11239294A (en) | 1998-02-24 | 1999-08-31 | Sony Corp | Video camera |
-
2006
- 2006-03-28 KR KR1020060028133A patent/KR100772404B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980057262A (en) * | 1996-12-30 | 1998-09-25 | 배순훈 | Television with compensation for video signal |
KR19990004705A (en) * | 1997-06-30 | 1999-01-25 | 배순훈 | Automatic contour correction circuit |
JPH11239294A (en) | 1998-02-24 | 1999-08-31 | Sony Corp | Video camera |
Also Published As
Publication number | Publication date |
---|---|
KR20070035404A (en) | 2007-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7483081B2 (en) | Edge compensated feature detector and method thereof | |
US8907973B2 (en) | Content adaptive image restoration, scaling and enhancement for high definition display | |
US7406208B2 (en) | Edge enhancement process and system | |
JP4040041B2 (en) | Method and apparatus for converting resolution of video signal | |
EP1480449B1 (en) | Adaptive coring for video peaking | |
US8885967B2 (en) | Method and apparatus for content adaptive sharpness enhancement | |
JP2012531790A (en) | Multiple frame approach and image upscaling system | |
US8879002B2 (en) | Split edge enhancement architecture | |
US7738044B2 (en) | Method and apparatus for adjusting a chrominance signal | |
KR100739751B1 (en) | Method and System of Dual-Channel 2D Noise Reduction for Video Signals | |
US20040189874A1 (en) | Image detail enhancement system | |
KR100565065B1 (en) | Method and apparatus for image detail enhancement using filter bank | |
US7570306B2 (en) | Pre-compensation of high frequency component in a video scaler | |
EP1854278B1 (en) | A method for controlling overshoot in a video enhancement system | |
US20060039622A1 (en) | Sharpness enhancement | |
US7907215B2 (en) | Video enhancement systems and methods | |
KR100772404B1 (en) | Pre-compensation methods and systems of high frequency component in a video scaler | |
JP2007306505A (en) | Apparatus and method for improving picture quality | |
JP2012032739A (en) | Image processing device, method and image display device | |
Lin et al. | An adaptive color transient improvement algorithm | |
WO2006054201A1 (en) | Video data enhancement | |
US8346021B2 (en) | Content adaptive scaler based on a farrow structure | |
US7318079B2 (en) | Method and device for filtering a video signal | |
KR100772405B1 (en) | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore | |
Cvetkovic et al. | Non-linear locally-adaptive video contrast enhancement algorithm without artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120927 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130927 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140929 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160929 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170927 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |