KR101587196B1 - 스플릿 에지 강화 구조 - Google Patents
스플릿 에지 강화 구조 Download PDFInfo
- Publication number
- KR101587196B1 KR101587196B1 KR1020107028533A KR20107028533A KR101587196B1 KR 101587196 B1 KR101587196 B1 KR 101587196B1 KR 1020107028533 A KR1020107028533 A KR 1020107028533A KR 20107028533 A KR20107028533 A KR 20107028533A KR 101587196 B1 KR101587196 B1 KR 101587196B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- video signal
- detail
- edges
- enhanced
- Prior art date
Links
- 230000007704 transition Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000002708 enhancing effect Effects 0.000 claims abstract description 37
- 239000003623 enhancer Substances 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 9
- 239000003638 chemical reducing agent Substances 0.000 claims 9
- 241000255925 Diptera Species 0.000 abstract description 8
- 230000003014 reinforcing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
입력 비디오 신호의 디테일 에지들 그리고 천이들을 강화시키기 위한 시스템 및 방법이 제공된다. 이러한 강화는, 업-스케일링 이전에 소형 디테일 에지들을 강화시키고 그리고 업-스케일링 이후에 큰 진폭의 천이들을 강화시킴으로써 수행될 수 있다. 예를 들어, 디테일 에지 강화(detail Edge Enhancement : detail EE)가 이용되어 입력 비디오 신호의 미세 디테일들을 강화시킬 수 있다. 대형 에지들을 강화시키는 것을 방지하고 그리고 디테일 강화에 동반되는 모스키토 노이즈를 방지하기 위해서, 에지 맵이 이용될 수도 있다. 노이즈는 신호로부터 추가적으로 제거될 수도 있다. 미세 디테일들이 강화된 이후에, 신호가 업-스케일링될 수 있다. 휘도 천이 개선(LTI) 혹은 색차 천이 개선(CTI)가 이용되어, 스케일러 후단에서 입력 비디오 신호의 대형 천이들을 강화시킬 수 있다.
Description
관련 출원들의 상호참조
본 출원은 2008년 6월 19일자로 미국에 출원된 "SPLIT EDGE ENHANCEMENT ARCHITECTURE" 라는 명칭의 미국가특허출원(출원번호 61/073,949)의 우선권을 주장하며, 상기 미국가특허출원은 본 발명에 대한 참조로서 그 전체내용이 본 명세서에 통합된다.
일반적으로, 본 발명은 비디오 코딩 분야에 관한 것이며 좀더 상세하게는 이미지 디테일(image detail) 및 에지의 강화(enhancement)에 관한 것이다.
미세 디테일 강화(fine detail enhancement)(또는, 디테일 에지 강화(detail Edge Enhancement : detail EE))와 휘도 천이 개선(Luminance Transition Improvement:LTI) 둘다를 포함하는 에지 인핸서(edge enhancer)가 비디오 신호의 천이들(transitions)을 개선하는데 이용될 수 있다. 소형 천이들(small transition) 상의 디테일 EE와 대형 천이들(large transition) 상의 LTI가 병렬로 적용되는 경우, 에지 인핸서의 출력은 원래 신호(Yin), 디테일 강화량(ΔYdet), 및 천이 개선량(ΔLTI)의 합계이다. 디테일 EE는 언-사프 마스킹(un-sharp masking)의 원리들을 이용하며 그리고 에지들 상에 오버슈트(overshoot) 혹은 링잉(ringing)을 야기하는바, 이는 소형 디테일(small detail)들을 강화시킬 수 있다.
입력 비디오 신호가 표준 해상도(standard definition:SD)(통상, 480i)이며, 원하는 출력이 고해상도(high definition:HD)(통상, 1080i 혹은 1080p)인 경우에는, 일반적으로 업-스케일링(up-scaling)이 필요하다. 업-스케일링은 비디오 신호에 존재하거나 혹은 비디오 신호에 유입될 수 있는 아티팩트(artifact) 혹은 결함(imperfection)을 강화시키는 효과를 갖는다. 따라서, 신호를 업-스케일링하는 경우, 결함들이 강화 및 증식되는 것이 아니라 비디오 이미지의 실제의 디테일들이 강화되는지를 검증하는 것이 매우 중요할 수 있다.
신호가 업-스케일링될 때, 디테일 EE의 성능이 저하될 수도 있는데, 이는 강화(enhancement)에 의해 야기되는 오버슈트 혹은 링잉이, 이미지에서 모스키토 노이즈(mosquito noise)의 추가와 스트레이 아티팩트(stray artifact)의 증가를 초래할 수 있기 때문이다. 또한, 업-스케일링은 종종 이미지의 소프트닝(softening) 및 미세 디테일들의 소프트닝을 야기하는데, 이는, 스케일링되지 않은 비디오의 고주파수들이 업-스케일링된 비디오의 저주파수들로 변형되기 때문이다. 스케일링 이후에서(즉, 스케일러 후단에서 : post-scaler) 디테일 EE를 효과적으로 구현하기 위해서는, 스케일링 이후의 실제 디테일들이 존재하는 주파수들을 강화시키기 위하여 새로운 필터 설계가 필요할 것이며, 그리고 이는 업-스케일링 비율에 기초하여 변경하는데 필요한 것보다 훨씬 더 대형의 필터가 될 것이다. 따라서, 디테일 EE는 업-스케일링 이전에 구현되는 것이 훨씬 효과적이다.
LTI는, 오버슈팅 혹은 링잉을 야기함이 없이, 큰 진폭(amplitude)의 에지들 상에서 천이 선예도(transition sharpness)를 개선하기 위한 비선형 알고리즘이다. 하지만, LTI는 소형 천이들(small transition)을 현저히 개선시키지는 못한다. LTI는 아티팩트들을 생성할 수 있는 주파수들을 인위적으로 도입할 수 있으며 그리고 에일리어싱 혹은 "쟈기(jaggies)" 라고 지칭되는 픽셀레이션(pixellation)을 도입할 수 있다. 따라서, LTI는 스케일러 후단(post-scaler)에 적용되는 것이 가장 효과적인바, 이는 업-스케일링된 신호의 주파수 스펙트럼이 추가 주파수들을 위한 공간을 갖고 있기 때문이다. 또한, 추가된 아티팩트들과 쟈기들은 강화된 비디오가 업-스케일링된 이후에 좀더 선명해진다.
따라서, 디테일 EE와 LTI 둘다를 포함하는 에지 인핸서가 스케일러 전단(pre-scaler)에 적용되는 경우에는, LTI 강화가 예상만큼 효과적이지 못하며, 그리고 스케일러 후단(post-scaler)에 적용되는 경우에는, 상기 디테일 EE가 예상만큼 효과적이지 않다.
본 발명의 실시예들은 입력 비디오 신호의 디테일 에지들과 천이들을 강화시키기 위한 시스템 및 방법을 제공한다. 상기 방법은 입력 비디오 신호의 복수의 소형 디테일들을 강화시키는 단계, 강화된 비디오 신호를 스케일링하는 단계, 및 업-스케일링 이후에 큰 진폭의 복수의 천이들을 강화시키는 단계에 의해서 수행될 수 있다. 미세 디테일들(fine details)을 강화시키기 위해서 디테일 에지 강화(detail Edge Enhancement : detail EE)가 이용될 수 있으며 그리고 휘도 천이 개선(LTI) 혹은 색차 천이 개선(Chrominance Transition Improvement : CTI)이 이용되어 대형 천이(large transition)를 강화시킬 수 있다. 미세 디테일들을 강화시키고 이후 신호를 업-스케일링하고, 그리고 이와 별도로 입력 비디오 신호를 업-스케일링하고 이후 대형 천이들을 강화시키고, 그 다음으로 이들 2개의 강화되고 업-스케일링된 신호들을 결합시킴으로써, 디테일 강화(detail enhancement)와 대형 에지 강화(large edge enhancement)의 분리가 이루어질 수 있다. 신호의 미세 디테일들을 강화시키는 것은, 필터링하는 단계, 신호에 포함된 노이즈를 감소시키는 단계, 그리고 입력 비디오 신호를 이득화(gaining)하는 단계를 포함할 수 있다. 디테일 강화는 대형 에지 맵(large edge map)을 이용하는 것을 포함할 수 있는바, 이는 대형 에지들이 강화되는 것을 방지하고 그리고 모스키토 노이즈가 동반되는 것을 방지하기 위한 것이다. 큰 진폭의 천이들을 강화시키는 것은, 스케일링된 비디오 신호의 2차 도함수(second derivative)를 계산하는 단계, 스케일링된 신호의 픽셀들로부터 픽셀 커널(pixel kernel)을 생성하는 단계, 상기 픽셀 커널의 최소 및 최대 픽셀 값들을 판별하는 단계, 그리고 상기 2차 도함수가 양수(positive number)라면, 스케일링된 상기 신호를 최대 픽셀값쪽으로 바이어싱하거나 혹은 상기 2차 도함수가 음수(negative number)라면, 스케일링된 상기 신호를 최소 픽셀값쪽으로 바이어싱하는 단계를 포함할 수 있다. 본 발명에 따른 시스템은 이러한 방법들을 수행하기에 적합한 구성요소들을 포함할 수 있지만, 이러한 구현예에 한정되는 것은 아니다.
이제 첨부된 도면들을 참조하여 본 발명이 설명되는바, 도면들에서 유사한 참조번호들은 기능적으로 유사한 구성요소들을 나타내는데 이용된다.
도1A 및 도1B는 하나의 천이에 대한 서로다른 종류의 강화의 효과를 예시한 도면이다.
도2는 스플릿 에지 강화 구조의 일실시예에 대한 간략화된 블록도이다.
도3은 미세 디테일 인핸서의 일실시예의 구성요소들을 예시한 간략화된 블록도이다.
도4는 휘도 천이 개선 모듈의 일실시예에 대한 간략화된 블록도이다.
도5는 스플릿 에지 강화 구조를 이용하여 비디오 신호를 강화시키는 방법의 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다.
도6은 디테일 에지 인핸서를 이용하여 비디오 신호의 미세 디테일 에지들을 강화시키는 방법의 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다.
도1A 및 도1B는 하나의 천이에 대한 서로다른 종류의 강화의 효과를 예시한 도면이다.
도2는 스플릿 에지 강화 구조의 일실시예에 대한 간략화된 블록도이다.
도3은 미세 디테일 인핸서의 일실시예의 구성요소들을 예시한 간략화된 블록도이다.
도4는 휘도 천이 개선 모듈의 일실시예에 대한 간략화된 블록도이다.
도5는 스플릿 에지 강화 구조를 이용하여 비디오 신호를 강화시키는 방법의 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다.
도6은 디테일 에지 인핸서를 이용하여 비디오 신호의 미세 디테일 에지들을 강화시키는 방법의 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다.
다음의 상세한 설명으로부터 본 발명의 목적들 및 장점들이 명백해질 것이다.
스플릿 에지 인핸서(split edge enhancer)는, 디테일 EE는 스케일러 전단(pre-scaler)에 나타나고 그리고 LTI는 스케일러 후단(post-scaler)에 나타날 수 있도록, 미세 디테일 강화(디테일 EE)와 휘도 천이 개선(LTI)을 분리시킬 수 있다. 소정의 천이에 대한 디테일 EE의 효과가 도1A에 도시된다. 원래의 피처(100)는 천이를 강조하도록 디테일 EE에 의해서 110과 같이 강화될 수 있다. 이러한 강조는 낮은 진폭의 에지들로 구성된 미세 디테일들과 텍스처들에 대해서는 유익하지만, 반면에 대형 천이(large transition)들에 대해서는 바람직하지 않다. 소정의 천이에 대한 LTI의 효과가 도1B에 도시된다. 원래의 피처(120)는 천이를 강조하도록 LTI에 의해서 130과 같이 강화될 수 있다.
도2는 스플릿 에지 강화 구조의 일실시예를 예시한다. 비디오 신호 Yin(200)가 스플릿 에지 인핸서(250)로 입력될 수 있는바, 스플릿 에지 인핸서(250)는 디테일 EE 모듈(210)과 LTI 모듈(240) 둘다를 포함한다. 비디오 신호 Yin(200)는 먼저 디테일 EE 모듈(210)로 입력될 수 있다. 디테일 EE 모듈(210)은 디테일 신호 즉, ΔYdet(202)를 출력할 수 있는바, 이는 비디오 신호의 강화된 미세 디테일들을 나타낼 수 있다. 이후, 디테일 신호 ΔYdet(202)는 디테일 스케일러(230)에서 업-스케일링되며 그리고 스케일러 후단 신호(post-scaler signal)인 ΔYdet-scl(204)가 출력될 수 있다. 디테일 EE 모듈(210)의 다른 하나의 출력은 Ydet(201)가 될 수 있다. Ydet(201)는, 조정없이 디테일 EE 모듈(210)을 통과한 입력 비디오 신호 Yin(200)가 될 수도 있으며, 혹은 미세 디테일들이 강화된 비디오 신호를 생성하기 위하여 입력 비디오 신호 Yin(200)에 부가된 디테일 신호 ΔYdet(202)가 될 수도 있다. 이후, Ydet(201)는 비디오 스케일러(220)를 통해 업-스케일링되며 그리고 스케일링된 신호 Yscl(203)는 천이 개선 모듈 LTI(240)에 입력될 수 있다. 2개의 스케일러들(220, 230)은 또한 필터들을 포함할 수도 있는데, 동일한 스케일러 필터들 혹은 서로다른 스케일러 필터들을 가질 수도 있다. 스케일링된 신호 Yscl(203)에 LTI 개선 출력, ΔLTI가 더해진 값이, LTI 모듈(240)의 출력(Yscl + ΔLTI)(205)이 될 수 있다. 스케일링되고 디테일이 강화된 신호 ΔYdet-scl(204)와 상기 출력신호(Yscl + ΔLTI) (205)는 공간 도메인(spatial domain)(260)에서 합산될 수 있으며 따라서, 스플릿 에지 인핸서(250)의 최종 출력인 Yee-out(206)는, 에지가 강화되고 그리고 스케일링된 신호가 될 수 있다.
도3은 미세 디테일 인핸서(210)의 일실시예를 예시한다. 디테일 인핸서(210)에는, 2개의 주요 구성요소들이 존재하는바, 상기 2개의 주요 구성요소들은 디테일 계산기(detail calculator)(310)와 대형 에지 맵(large edge map)(320)이다. 디테일 계산기(310)는 언-샤프 마스킹의 원리에 기반하여 동작한다. 이와 같이, 입력 비디오 신호 Yin(200)는 필터를 통과한다. 도시된 바와 같이, 입력 비디오 신호 Yin(200)는 병렬인 2개의 하이 패스 필터(HPF)(311, 312)를 통과하는바, 2개의 하이 패스 필터들 중 하나는 수평 에지들을 위한 것이고 다른 하나는 수직 에지들을 위한 것이다. 대안적으로는, 2D 전방향(omni-directional) 필터 혹은 가령, 모스키토 노이즈와 같은 아티팩트들을 제한하기 위한 대역 통과 필터(Band Pass Filter : BPF)가 이용될 수도 있다. 상기 분리된 경로들은 노이즈 필터들(313, 314)을 더 포함할 수도 있다. 여기서, 노이즈 필터(313, 314)는 신호 진폭에서 노이즈 문턱값(th1 혹은 th2)을 감산한다. 상기 문턱값들은, 주어진 비디오 피드(video feed)에서의 노이즈의 양에 기초하여 프로그래밍될 수도 있다. 상기 문턱값들은, 프로그램가능 레지스터에 저장될 수도 있으며 그리고 사용자에 의해 선택되는 상수값이 될 수도 있다. 또한, 비디오 신호에 포함된 노이즈를 추정하는 잘 알려진 여러 방법들이 존재하는바, 예를 들면, 블록 기반의(block based), 스무딩 기반의(smoothing based) 혹은 웨이브렛 기반의(wavelet based) 노이즈 추정이 구현되어, 비디오 신호의 노이즈 양을 판별할 수 있다. 입력 비디오 신호에 포함된 노이즈는 비디오 코딩 시스템에서 추정될 수 있으며 그리고 프로그램가능한 노이즈 문턱값(th1, th2)을 조절하도록 프로그램가능 레지스터들을 통해서 스플릿 에지 인핸서(250)에 제공될 수 있다. 이후, 상기 신호와 프로그램가능한 이득들(315, 316)을 서로 곱하여 출력신호 Yhpf1(301)와 Yhpf2(302)가 생성된다. 프로그램가능한 이득들(315, 316)은 프로그램가능 레지스터들에 저장된 상수값들이 될 수도 있다. 2개의 경로들의 출력들인 Yhpf1(301)와 Yhpf2(302)는 이후, 합산기(317)에 의해 합산되어, 최종 디테일 신호 Yhpf(303)가 생성된다.
디테일 계산기(310)에 의해 생성된 디테일 신호 Yhpf(303)는, 바람직하지 못한 링잉(ringing)을 큰 진폭의 에지에서 포함할 수 있다. 대형 천이들에 대한 임의의 바람직하지 못한 강화를 보정하기 위해서, 디테일 EE 모듈(210)의 제 2 부분인 대형 에지 맵(large edge map)(320)은, 미세 디테일들과 대형 천이들을 차별화시키기 위하여 에지 맵을 이용할 수 있다. 대형 에지 맵은 대형 에지들을 커버할 수 있으며 또한, 대형 에지들 인근에 많이있는(prevalent) 모스키토 노이즈 역시도 커버할 수 있는바, 따라서, 디테일 신호는 이들 영역들에서 강화되지 않는다. 대형 에지 맵(320)에서, 픽셀 미분기(pixel differentiator)(321)는 비디오 이미지 신호의 픽셀들을 평가하여, 대형 에지들 또는 천이들을 식별할 수 있다. 대형 에지에 속하는 것으로 간주되는 이들 픽셀들이 선택되어 에지 맵을 생성할 수 있다. 이들 에지들은 모듈(322)에서 수직적 및 수평적으로 확장될 수 있는바, 이는 상기 에지들 및 이를 둘러싸는 임의의 모스키토 노이즈가 에지 맵에 의해서 잘 커버되는지를 확실히하기 위한 것이다. 에지 맵의 에지들을 확장하기 위해서, 식별된 대형 에지들을 수직적으로 및 수평적으로 둘러싸는 추가 픽셀들이 에지의 일부로서 또한 선택된다. 이후, 결과적인 에지 맵은 식별된 에지들의 일부로서 추가 픽셀들의 포함을 반영할 수 있다. 다음으로 상기 신호는 다중 비트 신호를 생성하도록 모듈(323)에서 문턱값화될 수 있다(thresholded). 다중 비트 신호는 0-16 비트 신호가 될 수 있으며, 따라서 다중 비트 신호를 판별하는데 이용되는 15개까지의 문턱값들이 존재할 수 있다. 문턱값은 프로그램가능 레지스터에 저장될 수 있다. 대안적으로는, 상기 문턱값은 베이스/스텝(base/step) 방법에 의해 판별될 수도 있는데, 여기서는 제 1 문턱값이 베이스 레벨이며 그리고 각각의 추가 문턱값들이 베이스로부터의 증가치(step up)가 된다. 대형 에지 맵)의 출력인 Yhpf-mask(304)는 하나의 에지 맵이 될 수도 있다. 모듈(330)에서 디테일 신호 Yhpf(303)와 결합되는 경우, 결과적인 디테일 신호 ΔYdet(202)는, 대형 에지들은 강화되지 않은, 입력 비디오 신호 Yin(200)의 이득화된(gained) 미세 디테일들이 될 수 있다. 도3에 도시된 바와 같이, 만일 결과적인 디테일 신호 ΔYdet(202)가 입력 비디오 신호 Yin(200)에 더해지면, 신호 Ydet(201)는 완전한 디테일된 신호(complete detailed signal)가 될 수 있다.
다시 도2를 참조하면, 디테일 EE 모듈(210)을 통과한 이후, 신호 Ydet(201)는 비디오 스케일러(220)에서 업-스케일링될 수 있다. 스케일링 없이 에지 강화를 구현하는 것도 비록 가능하지만, 대부분의 소스 비디오가 480p, 680p, 혹은 720p 인 것에 비하여 원하는 출력 신호는 1080p 혹은 1080i인 경우에는 비디오 신호를 업-스케일링하는 것이 종종 요구된다. 전술한 바와 같이, 통상적으로 업-스케일링은 더 부드러운(softer) 이미지를 야기하며 그리고 섬세한 디테일들의 손실을 초래한다. 이러한 것은 업-스케일링이 통상적으로 로우 패스 필터(LPF)를 수반하기 때문이며, 로우 패스 필터는 에지들의 열화(degradation)를 야기할 수 있다. 하지만, 디테일 EE 모듈(210)에서 디테일된(detailed) 신호의 이득화(gaining)가 일찍 이루어지기 때문에, 디테일 신호 ΔYdet(202)의 열화가 최소화될 수 있다. 미세 디테일들이 315와 316에서 이득화되는(gained) 경우, 로우 패스 필터링으로 인한 감쇠가 제한될 수 있으며, 그리고 그렇지 않은 경우에 비하여 더 많은 미세 디테일들이 존속될 수 있다. 또한, 비디오 신호의 실제 디테일들은, 주로 대역 통과(band pass) 주파수 영역과 하이 패스 주파수 영역 인근에서 주파수들의 양호한 퍼짐(good spread)을 종종 포함한다. 따라서, 스케일러(220 혹은 230) 내의 로우 패스 필터(LPF)는 고주파수들의 오직 일부만을 감쇠시킬 수도 있으며, 대부분의 디테일 피처들은 방해받지 않는다.
스케일링 필터에 의해 야기될 수 있는 임의의 이미지 소트프닝을 완화하기 위해서, 업-스케일링 이후에 휘도 천이 개선(LTI)이 적용될 수 있다. LTI는 수직 방향 및 수평 방향 모두에서 적용될 수 있다. 일실시예에서는, 도4에 도시된 바와 같은 LTI 모듈(240)에 의해서 수평적 개선이 이루어질 수 있다. 스케일링된 신호 Yscl(203)는, 로우 패스 필터링된 신호의 2차 도함수 등가물(second derivative equivalent)(401)을 생성하도록 수평 방향으로 로우 패스 미분기(low pass differentiator)(420)를 통과할 수 있다. 로우 패스 미분기는 해당 기술분야에 공지되어 있다. 예를 들어, 미분기는 간단한 RC 회로로 구현될 수도 있다. 2차 도함수 등가물(401)은 미세 디테일들의 경우에는 매우 작은데, 특히 신호의 스케일링 및 필터링 이후에 매우 작다. 이러한 점은 LTI 모듈(240)이 비디오 신호의 미세 디테일들에 상당한 영향을 끼치지 않는다라는 점을 보장하는 이점을 추가적으로 가질 수 있다. 이후 관심있는 픽셀에 대해 커널이 모듈(410)에서 형성될 수 있는바, 예를 들면, 7개의 픽셀들로 구성된 커널이 충분할 수도 있다. 다음으로, 커널 내의 픽셀들의 최대 및 최소 휘도 값들이 모듈(450, 460)에서 각각 판별될 수 있다.
2차 도함수 등가물(401)은 부호(sign)와 크기(magnitude)를 둘다 가질 수 있다. 모듈(430)에서, 2차 도함수 등가물의 부호가 판별될 수 있다. 만일, 모듈(430)에서, 2차 도함수 등가물(401)이 0보다 작으면, 상기 부호는 음이며(negative), 그리고 스케일링된 신호 Yscl(203)는 모듈(460)에서 판별된 최소 휘도값을 향해 바이어싱될 수 있다. 만일, 모듈(430)에서, 2차 도함수 등가물(401)이 0과 같다면, 바이어싱이 요구되지 않는다. 만일, 모듈(430)에서, 2차 도함수 등가물(401)이 0보다 크면, 상기 부호는 양이며(positive), 그리고 스케일링된 신호 Yscl(203)는 모듈(450)에서 판별된 최대 휘도값을 향해 바이어싱될 수 있다.
2차 도함수 등가물(401)의 크기는 스케일링된 신호 Yscl(203)에 적용될 수도 있는 바이어스의 양을 계산하는데 이용될 수 있다. 스케일링된 신호 Yscl(203)가 모듈(470)에서 바이어스되는 양은, 프로그램가능한 이득값과 2차 도함수 등가물(401)의 크기를 곱한 값(모듈 440에서 계산됨)으로 결정될 수도 있다. 프로그램가능한 이득값은 프로그램가능 레지스터에 저장된 상수값이 될 수도 있다. 2차 도함수 등가물(401)을 이용하여 신호를 바이어싱하는 것은, 에지 진폭에 따라 점진적으로 증가할 수 있는 과도 개선(transient improvement)을 허용하는바, 따라서 자연스러운(natural looking) LTI 출력이 생성될 수 있다. LTI 모듈(240)의 출력은 상기 모듈(240)의 입력인 스케일링된 신호 Yscl(203)에 LTI 개선량, ΔLTI(402)이 더해진 값이 될 수 있으며, 따라서 출력신호 Yscl + ΔLTI(205)가 생성된다.
도5는 스플릿 에지 강화 구조를 이용하여 비디오 신호를 강화시키는 방법에 대한 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다. 스케일러를 이용하여, 비디오 신호의 미세 디테일 에지들에 대한 강화와 대형 천이들에 대한 강화를 분리하는 것은, 본래의(inherent) 아티팩트 혹은 도입된(introduced) 아티팩트들에 대한 최소한의 강화를 구비한, 에지 강화를 제공할 수 있다. 블록 510에서, 입력 비디오 신호 Yin(200)의 미세 디테일들이 강화될 수 있다. 이는 디테일 EE에 의해서 수행될 수 있다. 블록 520에서, 디테일들이 강화된 신호가 업-스케일링될 수 있다. 이제 블록 530에서, 업-스케일링된 신호의 대형 천이들이 강화될 수 있다. 이는 업-스케일링된 신호의 휘도 천이들을 개선하기 위하여 LTI를 이용하여 수행될 수 있는바, 따라서 LTI 및 디테일 EE 강화된 업-스케일링된 출력신호 Yee-out(206)가 출력된다.
도6은 비디오 신호의 미세 디테일 에지들을 강화시키는 방법에 대한 일실시예의 일반적인 동작을 예시한 간략화된 순서도이다. 블록 605에서, 입력 비디오 신호 Yin(200)의 미세 디테일들이 강화될 수 있다. 이는 디테일 EE에 의해서 수행될 수 있다. 또한, 디테일 에지를 강화시키는 블록 605의 동작은, 입력 비디오 신호 Yin(200)를 필터링하는 블록 610, 필터링된 신호의 노이즈를 감소시키는 블록 615, 그리고 노이즈가 감소된 신호에게 이득을 제공하는 블록 620을 포함할 수 있다. 블록 610에서 입력 비디오 신호 Yin(200)를 필터링하는 것은, 예컨대, 하이 패스 필터(HPF), 2D 전방향(omni-directional) 필터 혹은 신호내의 아티팩트들을 제한하기 위한 대역 통과 필터(Band Pass Filter : BPF) 등과 같은 적절한 필터를 이용하여 실행될 수 있다. 필터링된 신호 내의 노이즈를 감소시키는 것(블록 615)은, 공지의 노이즈 필터들을 이용하여 실행될 수도 있으며 혹은, 필터링된 상기 신호에서 프로그램가능한 노이즈 문턱값을 제거함으로써 실행될 수도 있다. 프로그램가능한 노이즈 문턱값은, 공지의 방법들 예컨대, 신호 내의 노이즈를 평가하기 위한 웨이브렛 기반, 블록 기반, 혹은 스무딩 기반의 방법들에 의해서 결정될 수 있다. 블록 620에서 상기 필터링된 신호를 이득화(gaining)하는 것은, 필터링되고 그리고 노이즈가 감소된 신호와 프로그램가능한 이득값을 곱함으로써 완료될 수 있다. 에지를 강화시키는 블록 605는, 필터링되고, 노이즈가 감소되고, 그리고 이득화된 신호 Yhpf(303)를 출력한다.
대형 천이들에 대한 디테일 강화는 바람직하지 않을 수 있다. 따라서, 블록 625에서, 디테일 에지 강화는, 미세 디테일들과 대형 천이들을 차별화시키기 위해서, 에지 맵을 생성하는 것을 더 포함할 수도 있다. 대형 에지 맵은 대형 에지들을 커버할 수 있으며 또한, 대형 에지들 인근에 많이있는(prevalent) 모스키토 노이즈 역시도 커버할 수 있는바, 따라서, 디테일 신호는 이들 영역들에서 강화되지 않는다. 선택적인 블록 625에서 대형 에지 맵을 생성하는 것은, 블록 630, 635, 및 640을 더 포함할 수 있다. 블록 630에서는, 대형 에지들 혹은 천이들을 식별하기 위해서 입력 비디오 신호 Yin(200)의 픽셀들이 평가될 수 있다. 대형 에지에 속하는 것으로 식별되는 이들 픽셀들이 선택되어, 에지 맵을 생성할 수도 있다. 블록 635에서는, 에지 맵의 에지들이 수평 및 수직적으로 확장될 수 있는바, 따라서 식별된 에지들 및 이를 둘러싸는 임의의 모스키토 노이즈는 에지 맵에 의해서 양호하게 커버된다. 에지 맵의 에지들을 확장하기 위해서, 식별된 디테일 에지를 둘러싸는 추가 픽셀들이, 수직 및 수평적으로, 에지의 일부로서 또한 선택될 수 있다. 이후, 결과적인 에지 맵은 식별된 에지들의 일부로서 추가 픽셀들의 포함을 반영할 수 있다. 블록 640에서, 신호는 다중 비트 신호를 생성하도록 문턱값화될 수 있다(thresholded). 에지 맵 생성 블록 625의 출력은 에지 맵 Yhpf-mask(304)이 될 수 있다. 디테일 신호 Yhpf(303)와 에지 맵 Yhpf-mask(304)은 블록 645에서 결합되어, 출력 결과 신호 ΔYdet(202)를 출력할 수 있는바, 이 출력 결과 신호는 대형 에지들에 대한 강화 없이 이득화된(gained) 미세 디테일들을 가질 수 있다.
도5 및 도6에 개시된 블록들의 배열이, 이벤트들의 특정 순서 혹은 시퀀스를 필수적으로 포함하고 있는 것은 아니며 또한, 다른 가능성을 배제하도록 의도되는 것도 아니라는 점을 유의해야 한다. 예를 들어, 블록 610 및 615 혹은 블록 630 및 635에 개시된 동작들은 실질적으로 동시에 발생할 수도 있다.
비록, 전술한 실시예들이 주로 휘도 신호 강화의 관점에서 서술되었지만, 이들 실시예들은 색차(chrominance) 신호 강화에도 또한 적용될 수 있다.
비록, 몇몇 실시예들을 참조하여 본 발명이 상세히 설명되었지만, 본 발명의 범위 및 기술적 사상에 속하는 다양한 변형예들은 해당 기술분야의 당업자에게 자명할 것이다. 따라서, 본 발명은 첨부된 청구항들의 범위에 의해서 한정되는 것으로 간주되어야 한다.
210: 디테일 에지 인핸서(디테일 EE)
220: 비디오 스케일러 230: 디테일 스케일러
240: 휘도 천이 개선(LTI) 250: 스플릿 에지 인핸서
220: 비디오 스케일러 230: 디테일 스케일러
240: 휘도 천이 개선(LTI) 250: 스플릿 에지 인핸서
Claims (29)
- 시스템으로서,
제 1 필터, 제 1 노이즈 감소기(reducer), 제 1 이득 곱셈기, 제 2 필터, 제 2 노이즈 감소기, 제 2 이득 곱셈기, 및 제 1 합산기를 포함하는 디테일 에지 인핸서(detail edge enhancer),
(i) 상기 디테일 에지 인핸서는 복수의 미세 디테일 에지들(fine detail edges)을 포함하는 비디오 신호를 수신하며,
(ii) 상기 제 1 필터, 제 1 노이즈 감소기, 그리고 상기 제 1 이득 곱셈기는 수신된 비디오 신호의 상기 복수의 미세 디테일 에지들을 수평적으로 강화시켜 수평 출력 신호를 생성하며, 상기 제 1 노이즈 감소기는, 수신된 비디오 신호의 노이즈 레벨에서 노이즈 문턱값을 감산하며,
(iii) 상기 제 2 필터, 제 2 노이즈 감소기, 그리고 상기 제 2 이득 곱셈기는 수신된 비디오 신호의 상기 복수의 미세 디테일 에지들을 수직적으로 강화시켜 수직 출력 신호를 생성하며, 그리고
(iv) 상기 제 1 합산기는 결합된 출력 신호를 생성하도록 상기 수평 출력 신호와 수직 출력 신호를 결합하며;
픽셀 미분기(pixel differentiator), 확장기(expander), 및 문턱값 생성기를 포함하는 에지 맵 생성기, 상기 픽셀 미분기, 확장기, 및 문턱값 생성기는 상기 수신된 비디오 신호의 에지 맵을 생성하며;
디테일 강화된 비디오 신호를 생성하도록 상기 결합된 출력 신호와 상기 에지 맵을 결합하는 제 2 합산기;
상기 디테일 강화된 비디오 신호를 스케일링하는 제 1 스케일러; 및
상기 스케일링된 비디오 신호의 복수의 천이(transition)들에게 천이 개선(transition improvement)을 적용하는 천이 인핸서(transition enhancer)
를 포함하는 것을 특징으로 하는 시스템. - 제1항에 있어서,
상기 천이 개선은, 휘도 천이 개선(Luminance Transition Improvement : LTI) 혹은 색차 천이 개선(Chrominance Transition Improvement : CTI)을 포함하는 것을 특징으로 하는 시스템. - 제1항에 있어서,
상기 천이 개선은 상기 스케일링된 비디오 신호에 수평적 및 수직적으로 적용되는 것을 특징으로 하는 시스템. - 제1항에 있어서,
상기 제 1 스케일러는 제 1 필터를 포함하고; 그리고
상기 시스템은 제 2 필터를 구비한 제 2 스케일러를 더 포함하고;
상기 제 2 스케일러는 수신된 비디오 신호에 적용되어 제 2 스케일링된 신호를 생성하며, 상기 천이 개선이 상기 제 2 스케일링된 신호에 적용되어 천이 강화된 신호를 생성하고, 상기 스케일링된 비디오 신호와 상기 천이 강화된 신호가 결합되어 출력 신호를 생성하는 것을 특징으로 하는 시스템. - 제4항에 있어서,
상기 제 1 필터와 제 2 필터는 동일한 필터 계수를 갖는 것을 특징으로 하는 시스템. - 제1항에 있어서,
상기 제 1 필터와 제 2 필터는, 하이 패스 필터(high pass filter)와 대역 통과 필터(band pass filter)로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 시스템. - 제1항에 있어서,
상기 천이 인핸서는,
미분기;
바이어스 기기(biaser); 및
곱셈기(multiplier)를 더 포함하며,
상기 미분기는 상기 스케일링된 비디오 신호의 2차 도함수를 생성하며, 상기 곱셈기는 상기 2차 도함수와 이득값이 결합된 바이어스 값을 생성하며, 그리고 상기 바이어스 기기는 상기 바이어스 값을 이용하여, 스케일링된 입력 신호를 조절하는 것을 특징으로 하는 시스템. - 제4항에 있어서,
상기 제 1 필터와 제 2 필터는 서로 다른 필터 계수를 갖는 것을 특징으로 하는 시스템. - 수신된 비디오 신호를 강화시키는 방법으로서,
복수의 미세 디테일 에지들과 복수의 대형(large) 에지들을 포함하는 비디오 신호를 수신하는 단계;
상기 복수의 대형 에지들을 식별하여 에지 맵을 생성하도록 상기 수신된 비디오 신호를 평가하는 단계;
수평 출력 신호를 생성하도록, 상기 수신된 비디오 신호의 복수의 미세 디테일 에지들을 수평적으로 강화시키는 단계;
수직 출력 신호를 생성하도록, 상기 수신된 비디오 신호의 복수의 미세 디테일 에지들을 수직적으로 강화시키는 단계;
디테일 신호(detail signal)를 생성하도록, 상기 수평 출력 신호 및 수직 출력 신호를 결합하는 단계; 및
상기 대형 에지들에 대한 강화 없이, 디테일 강화된 비디오 신호를 생성하도록 상기 디테일 신호와 상기 에지 맵을 결합하는 단계
를 포함하는 것을 특징으로 하는 수신된 비디오 신호를 강화시키는 방법. - 제9항에 있어서,
상기 디테일 강화된 비디오 신호를 스케일링하는 단계; 및
상기 스케일링된 디테일 강화된 비디오 신호에 천이 개선을 적용하는 단계
를 더 포함하는 것을 특징으로 하는 수신된 비디오 신호를 강화시키는 방법. - 제10항에 있어서,
상기 천이 개선은, 휘도 천이 개선(LTI) 혹은 색차 천이 개선(CTI)을 포함하는 것을 특징으로 하는 수신된 비디오 신호를 강화시키는 방법. - 제10항에 있어서,
상기 천이 개선은, 상기 스케일링된 디테일 강화된 비디오 신호에 수평적 및 수직적으로 적용되는 것을 특징으로 하는 수신된 비디오 신호를 강화시키는 방법. - 방법으로서,
미세 디테일 에지들과 대형 에지들을 포함하는 비디오 신호를 수신하는 단계, 상기 대형 에지들은 상기 미세 디테일 에지들에 비하여 이미지 내에서 더 큰 천이(transition)를 가지며;
상기 더 큰 천이에 기초하여, 상기 비디오 신호 내의 대형 에지들과 상기 비디오 신호 내의 미세 디테일 에지들을 구분하는 단계;
제 1 디테일 강화된 신호를 생성하도록, 상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키는 단계;
상기 제 1 디테일 강화된 신호가 제 1 디스플레이 해상도로부터 제 2 디스플레이 해상도로 변환되도록, 상기 제 1 디테일 강화된 신호를 스케일링하는 단계;
상기 비디오 신호가 상기 제 1 디스플레이 해상도로부터 상기 제 2 디스플레이 해상도로 변환되도록, 상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 비디오 신호를 스케일링하는 단계;
제 2 디테일 강화된 신호를 생성하도록, 상기 스케일링된 비디오 신호 내의 미세 디테일 에지들을 강화함이 없이 상기 스케일링된 비디오 신호 내의 대형 에지들을 강화시키는 단계; 및
상기 제 1 디테일 강화된 신호와 상기 제 2 디테일 강화된 신호를 결합하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키는 단계는,
상기 비디오 신호를 강화시키도록 상기 비디오 신호를 하이-패스 필터링 및 이득화(gaining)하는 단계; 및
상기 비디오 신호 내의 대형 에지들에 대한 강화를 마스크 아웃(mask out)하도록, 상기 강화된 비디오 신호에 대형-에지 마스크를 적용하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키는 단계는,
수평-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수평 에지들을 하이-패스 필터링 및 이득화하는 단계;
수직-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수직 에지들을 별도로 하이-패스 필터링 및 이득화하는 단계; 및
제 1 디테일 강화된 신호를 생성하도록, 상기 수평-에지-강화된 신호와 상기 수직-에지-강화된 신호를 결합하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
최종 출력 신호를 생성하도록 상기 제 1 디테일 강화된 신호와 상기 제 2 디테일 강화된 신호를 합산함으로써, 상기 제 1 디테일 강화된 신호와 상기 제 2 디테일 강화된 신호가 결합되는 것을 특징으로 하는 방법. - 제16항에 있어서,
상기 스케일링된 비디오 신호 내의 대형 에지들을 강화시키는 단계는,
상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 스케일링된 비디오 신호에 휘도 천이 개선(LTI)을 적용하는 것을 특징으로 하는 방법. - 제16항에 있어서,
상기 스케일링된 비디오 신호 내의 대형 에지들을 강화시키는 단계는,
상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 스케일링된 비디오 신호에 색차 천이 개선(CTI)을 적용하는 것을 특징으로 하는 방법. - 제16항에 있어서,
상기 스케일링된 비디오 신호 내의 대형 에지들을 강화시키는 단계는,
상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 스케일링된 비디오 신호의 양의(possitive) 2차 도함수인 휘도 바이어스를, 상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 스케일링된 비디오 신호에 적용하는 것을 특징으로 하는 방법. - 제19항에 있어서,
상기 2차 도함수는 수평 방향인 것을 특징으로 하는 방법. - 제19항에 있어서,
최소 픽셀 값과 최대 픽셀 값을 결정하는 단계를 더 포함하고,
상기 스케일링된 비디오 신호 내의 대형 에지들을 강화시키는 단계는,
i) 상기 2차 도함수가 양수(positive number)라면 상기 최대 픽셀 값쪽으로, 그리고 ii) 상기 2차 도함수가 음수(negative number)라면 상기 최소 픽셀 값쪽으로, 상기 미세 디테일 에지들과 대형 에지들 둘다를 포함하는 상기 스케일링된 비디오 신호를 바이어싱하는 단계를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 비디오 신호 내의 대형 에지들과 상기 비디오 신호 내의 미세 디테일 에지들을 구분하는 단계는,
상기 비디오 신호 내의 대형 에지들을 식별하도록 상기 비디오 신호 내의 픽셀들을 평가하는 단계;
각각의 식별된 대형 에지들을 수평적 및 수직적으로 확장(expanding)하는 단계; 및
각각의 대형 에지에 포함되도록 상기 각각의 식별된 대형 에지를 둘러싸는 추가 픽셀들을 선택하는 단계
를 포함하는 것을 특징으로 하는 방법. - 방법으로서,
비디오 신호를 수신하는 단계;
디테일 강화된 신호를 생성하도록 상기 비디오 신호를 강화시키는 단계, 상기 비디오 신호를 강화시키는 단계는,
수평-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수평 에지들을 하이-패스 필터링 및 이득화하고,
수직-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수직 에지들을 하이-패스 필터링 및 이득화하고, 그리고
디테일 강화된 신호를 생성하도록 상기 수평-에지-강화된 신호와 상기 수직-에지-강화된 신호를 결합함에 의해서 수행되며, 상기 비디오 신호를 강화시키는 단계는 상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키며;
스케일링된 디테일 강화된 신호를 생성하도록, 상기 디테일 강화된 신호를 스케일링하는 단계, 상기 디테일 강화된 신호는 제 1 디스플레이 해상도를 가지며 상기 스케일링된 디테일 강화된 신호는 제 2 디스플레이 해상도를 가지며;
스케일링된 입력 신호를 생성하도록 상기 비디오 신호를 스케일링하는 단계, 상기 비디오 신호는 상기 제 1 디스플레이 해상도를 가지며 상기 스케일링된 입력 신호는 상기 제 2 디스플레이 해상도를 가지며;
대형-에지-강화된 스케일링된 신호를 생성하도록 상기 스케일링된 입력 신호의 대형 에지들을 우선적으로 강화시키는 단계; 및
최종 출력 신호를 생성하도록, 상기 대형-에지-강화된 스케일링된 신호와 상기 스케일링된 디테일 강화된 신호를 합산하는 단계
를 포함하는 것을 특징으로 하는 방법. - 제23항에 있어서,
상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키는 것은,
상기 디테일 강화된 신호 내의 대형 에지들에 대한 강화를 마스크 아웃(mask out)하도록, 상기 디테일 강화된 신호에 대형-에지 마스크를 적용하는 것을 포함하는 방법. - 시스템으로서,
대형 에지 맵, 상기 대형 에지 맵은 (i) 미세 디테일 에지들과 대형 에지들을 포함하는 비디오 신호를 수신하고, 상기 대형 에지들은 상기 미세 디테일 에지들에 비하여 이미지 내에서 더 큰 천이를 가지며, 그리고 (ii) 상기 더 큰 천이에 기초하여, 상기 비디오 신호 내의 대형 에지들과 상기 비디오 신호 내의 미세 디테일 에지들을 구분하며;
제 1 디테일 강화된 신호를 생성하도록, 상기 비디오 신호 내의 대형 에지들을 강화함이 없이 상기 비디오 신호 내의 미세 디테일 에지들을 강화시키는 디테일 계산기;
상기 제 1 디테일 강화된 신호를 스케일링하는 비디오 스케일러, 상기 제 1 디테일 강화된 신호를 스케일링하는 것은 상기 제 1 디테일 강화된 신호를 제 1 디스플레이 해상도로부터 제 2 디스플레이 해상도로 변환하며;
스케일링된 신호를 생성하도록 상기 비디오 신호를 스케일링하는 제 2 비디오 스케일러, 상기 비디오 신호는 상기 제 1 디스플레이 해상도를 가지며, 상기 스케일링된 신호는 상기 제 2 디스플레이 해상도를 가지며;
제 2 디테일 강화된 신호를 생성하도록, 상기 스케일링된 신호의 대형 에지들을 강화시키는 대형 에지 인핸서; 및
최종 출력 신호를 생성하도록, 상기 제 2 디테일 강화된 신호와 상기 스케일링된 제 1 디테일 강화된 신호를 합산하는 합산기
를 포함하는 것을 특징으로 하는 시스템. - 제25항에 있어서,
상기 디테일 계산기는, 상기 비디오 신호를 강화시키기 위한 하이-패스 필터 및 이득 디바이스(gain device)를 포함하는 것을 특징으로 하는 시스템. - 제25항에 있어서,
상기 대형 에지들에 대한 강화를 마스크 아웃(mask out)하도록, 상기 대형 에지 맵의 마스크 출력과 상기 강화된 신호를 결합하는 합산기를 더 포함하는 것을 특징으로 하는 시스템. - 제25항에 있어서,
상기 디테일 계산기는,
수평-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수평 에지들을 하이-패스 필터링 및 이득화하고,
수직-에지-강화된 신호를 생성하도록 상기 비디오 신호의 수직 에지들을 별도로 하이-패스 필터링 및 이득화하고, 그리고
상기 수평-에지-강화된 신호와 상기 수직-에지-강화된 신호를 결합하는 것을 특징으로 하는 시스템. - 시스템으로서,
비디오 신호를 수신하며, 그리고 수신된 비디오 신호의 복수의 미세 디테일 에지들을 강화시키는 디테일 에지 인핸서;
디테일 강화된 상기 비디오 신호를 스케일링하는 제 1 스케일러; 및
스케일링된 상기 비디오 신호의 복수의 천이들에게 천이 개선을 적용하는 천이 인핸서를 포함하며,
상기 디테일 에지 인핸서는 제 1 이득을 가지며, 그리고 제 1 필터와 제 1 노이즈 감소기(reducer)를 더 포함하며,
상기 제 1 필터, 제 1 노이즈 감소기, 그리고 상기 제 1 이득은 수신된 비디오 신호의 미세 디테일들을 수평적으로 강화시켜 수평 출력 신호를 생성하며,
상기 제 1 노이즈 감소기는 수신된 비디오 신호의 노이즈 레벨에서 노이즈 문턱값을 감산하며,
상기 디테일 에지 인핸서는 제 2 이득을 더 가지며, 그리고 제 2 필터, 제 2 노이즈 감소기, 및 합산기를 더 포함하며,
상기 제 2 필터, 제 2 노이즈 감소기, 및 상기 제 2 이득은 수신된 비디오 신호의 미세 디테일들을 수직적으로 강화시켜 수직 출력 신호를 생성하며, 상기 합산기는 상기 수평 출력 신호와 수직 출력 신호를 결합하는 것을 특징으로 하는 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7394908P | 2008-06-19 | 2008-06-19 | |
US61/073,949 | 2008-06-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110031162A KR20110031162A (ko) | 2011-03-24 |
KR101587196B1 true KR101587196B1 (ko) | 2016-01-20 |
Family
ID=40872825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107028533A KR101587196B1 (ko) | 2008-06-19 | 2009-06-02 | 스플릿 에지 강화 구조 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8264615B2 (ko) |
JP (1) | JP5095860B2 (ko) |
KR (1) | KR101587196B1 (ko) |
CN (1) | CN102067171B (ko) |
WO (1) | WO2009155130A1 (ko) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8184203B1 (en) * | 2009-07-07 | 2012-05-22 | The Yves Faroudja Project | Video enhancement with separate and distinct methods of enhancement for single transitions and double transitions of opposite polarity |
JP5743918B2 (ja) * | 2012-01-31 | 2015-07-01 | 株式会社東芝 | 画像処理装置 |
US20140029866A1 (en) * | 2012-07-26 | 2014-01-30 | Himax Media Solutions, Inc. | Image enhancement system and method |
US8805114B2 (en) * | 2012-11-27 | 2014-08-12 | Texas Instruments Incorporated | Content adaptive edge and detail enhancement for image and video processing |
JP6587317B2 (ja) * | 2013-03-22 | 2019-10-09 | シナプティクス インコーポレイテッド | ガイデットフィルタベースのディテール強調 |
US9452685B2 (en) * | 2013-09-30 | 2016-09-27 | Elwha Llc | Dwelling related information center associated with communication and control system and method for wireless electric vehicle electrical energy transfer |
CN104657941B (zh) * | 2013-11-25 | 2017-08-15 | 炬芯(珠海)科技有限公司 | 一种图像边缘自适应增强方法及装置 |
KR102144060B1 (ko) | 2013-11-25 | 2020-08-14 | 삼성디스플레이 주식회사 | 표시장치 및 그의 구동회로 |
KR20150100998A (ko) | 2014-02-24 | 2015-09-03 | 삼성디스플레이 주식회사 | 영상처리장치 및 영상처리방법 |
JP6580831B2 (ja) | 2015-01-22 | 2019-09-25 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、およびプログラム |
CN105791635B (zh) * | 2016-03-14 | 2018-09-18 | 传线网络科技(上海)有限公司 | 基于gpu的视频增强去噪方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005960A (ja) | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
KR100771867B1 (ko) | 2006-02-27 | 2007-11-01 | 삼성전자주식회사 | 색 신호의 천이 특성을 향상시키는 영상 신호 처리 방법 및영상 신호 처리 장치 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6246827B1 (en) * | 1990-08-17 | 2001-06-12 | Samsung Electronics Co., Ltd. | Deemphasis and subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal |
DE69321438T2 (de) * | 1992-11-17 | 1999-05-12 | Koninkl Philips Electronics Nv | Anzeigevorrichtung mit Modulation der Abtastgeschwindigkeit |
JP3348368B2 (ja) | 1996-04-12 | 2002-11-20 | ソニー株式会社 | ビデオカメラおよび輪郭強調装置 |
US6621937B1 (en) * | 1999-10-08 | 2003-09-16 | Eastman Kodak Company | Removing chroma noise from digital images by using variable shape pixel neighborhood regions |
CA2309002A1 (en) * | 2000-05-23 | 2001-11-23 | Jonathan Martin Shekter | Digital film grain reduction |
JP3619785B2 (ja) * | 2001-03-21 | 2005-02-16 | 三洋電機株式会社 | テレビジョン受信装置 |
US6717622B2 (en) | 2001-03-30 | 2004-04-06 | Koninklijke Philips Electronics N.V. | System and method for scalable resolution enhancement of a video image |
JP2003016442A (ja) * | 2001-07-03 | 2003-01-17 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4472237B2 (ja) * | 2002-07-29 | 2010-06-02 | 株式会社リコー | 画像形成装置および複写機 |
JP2004112728A (ja) * | 2002-09-20 | 2004-04-08 | Ricoh Co Ltd | 画像処理装置 |
JP2004172815A (ja) * | 2002-11-19 | 2004-06-17 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
US7271851B2 (en) * | 2003-01-16 | 2007-09-18 | Samsung Electronics Co., Ltd. | Adaptive color transient improvement |
US7079687B2 (en) * | 2003-03-06 | 2006-07-18 | Seiko Epson Corporation | Method and apparatus for segmentation of compound documents |
JP4539027B2 (ja) * | 2003-05-12 | 2010-09-08 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラム |
ES2302007T3 (es) | 2003-07-23 | 2008-07-01 | Nycomed Gmbh | Sales alcalinas de inhibidores de la bomba de protones. |
FI20045201A (fi) * | 2004-05-31 | 2005-12-01 | Nokia Corp | Menetelmä ja järjestelmä kuvien katsomiseksi ja parantamiseksi |
KR100648308B1 (ko) * | 2004-08-12 | 2006-11-23 | 삼성전자주식회사 | 해상도 변환방법 및 장치 |
JP4526405B2 (ja) * | 2005-02-04 | 2010-08-18 | シャープ株式会社 | テレビ画像処理装置 |
TWI288890B (en) * | 2005-04-01 | 2007-10-21 | Realtek Semiconductor Corp | Method and apparatus for pixel interpolation |
US7676103B2 (en) * | 2005-06-20 | 2010-03-09 | Intel Corporation | Enhancing video sharpness and contrast by luminance and chrominance transient improvement |
WO2007054931A2 (en) * | 2005-11-10 | 2007-05-18 | D-Blur Technologies Ltd. | Image enhancement in the mosaic domain |
CN100517374C (zh) * | 2005-12-29 | 2009-07-22 | 佳能株式会社 | 从复杂背景文档图像提取文本的装置、方法 |
US7738044B2 (en) * | 2006-03-15 | 2010-06-15 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for adjusting a chrominance signal |
JP2007295224A (ja) | 2006-04-25 | 2007-11-08 | Sharp Corp | 映像処理装置 |
US7643010B2 (en) * | 2007-01-03 | 2010-01-05 | Apple Inc. | Peripheral pixel noise reduction |
US8260087B2 (en) * | 2007-01-22 | 2012-09-04 | Sharp Laboratories Of America, Inc. | Image upsampling technique |
US8081847B2 (en) * | 2007-12-31 | 2011-12-20 | Brandenburgische Technische Universitaet Cottbus | Method for up-scaling an input image and an up-scaling system |
US8208745B2 (en) * | 2008-01-31 | 2012-06-26 | Analog Devices, Inc. | Spatial domain video enhancement/scaling system and method |
US20090220169A1 (en) * | 2008-02-28 | 2009-09-03 | Microsoft Corporation | Image enhancement |
-
2009
- 2009-06-02 WO PCT/US2009/045993 patent/WO2009155130A1/en active Application Filing
- 2009-06-02 US US12/476,930 patent/US8264615B2/en active Active
- 2009-06-02 KR KR1020107028533A patent/KR101587196B1/ko active IP Right Grant
- 2009-06-02 CN CN200980122358.9A patent/CN102067171B/zh active Active
- 2009-06-02 JP JP2011511906A patent/JP5095860B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-10 US US13/608,694 patent/US8879002B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005960A (ja) | 1999-06-22 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
KR100771867B1 (ko) | 2006-02-27 | 2007-11-01 | 삼성전자주식회사 | 색 신호의 천이 특성을 향상시키는 영상 신호 처리 방법 및영상 신호 처리 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP5095860B2 (ja) | 2012-12-12 |
US8264615B2 (en) | 2012-09-11 |
CN102067171B (zh) | 2013-02-13 |
US20130002959A1 (en) | 2013-01-03 |
JP2011521387A (ja) | 2011-07-21 |
WO2009155130A1 (en) | 2009-12-23 |
KR20110031162A (ko) | 2011-03-24 |
US20090316050A1 (en) | 2009-12-24 |
US8879002B2 (en) | 2014-11-04 |
CN102067171A (zh) | 2011-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101587196B1 (ko) | 스플릿 에지 강화 구조 | |
TWI330494B (en) | Selective local transient improvement and peaking for video sharpness enhancement | |
KR101298642B1 (ko) | 영상 잡음 제거 방법 및 장치 | |
JP4858610B2 (ja) | 画像処理方法 | |
US8351725B2 (en) | Image sharpening technique | |
Vishwakarma et al. | Color image enhancement techniques: a critical review | |
US9031321B2 (en) | Content adaptive edge and detail enhancement for image and video processing | |
TWI406571B (zh) | Image Processing Method for Enhancing Image Edge Resolution | |
JP4862897B2 (ja) | 画像処理方法 | |
US7110044B2 (en) | Image detail enhancement system | |
CN101626454B (zh) | 一种增强视频可视性的方法 | |
US20080273811A1 (en) | Image Processing Method and Apparatus | |
KR20150090515A (ko) | 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치 | |
Chun et al. | Compressed video restoration using a generative adversarial network for subjective quality enhancement | |
Ying et al. | A wavelet based image sharpening algorithm | |
KR101025569B1 (ko) | 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법 | |
US8180169B2 (en) | System and method for multi-scale sigma filtering using quadrature mirror filters | |
JPH0816773A (ja) | 画像処理方法 | |
Pardhi et al. | Contrast Enhancement Using Adaptive Threshold Based Dynamic Range Adjustment In Luv Colour Space | |
Lim et al. | Denoising scheme for realistic digital photos from unknown sources | |
Ali | Real time video sharpness enhancement by wavelet-based luminance transient improvement | |
Senthilkumaran et al. | Detailed Performance Evaluation of Bilateral Filters for De-noising Chromosome Image | |
Madhura et al. | A universal video enhancement technique based on least path intensity detector and adaptive filtering algorithm | |
Lukac et al. | A new image sharpening approach for single‐sensor digital cameras | |
Acharya et al. | Robust video denoising for better subjective evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20181226 Year of fee payment: 4 |