KR101098300B1

KR101098300B1 - 공간 신호 변환

Info

Publication number: KR101098300B1
Application number: KR1020057023975A
Authority: KR
Inventors: 한 제라르드 드
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-06-13
Filing date: 2005-12-13
Publication date: 2011-12-26
Also published as: PL1636987T3; JP2006527566A; KR20060023150A; WO2004112393A1; CN1806439A; EP1636987B1; ES2551438T3; CN1806439B; EP1636987A1; JP4734239B2

Abstract

입력 샘플들을 포함하는 제1 입력 신호(U)를 출력 샘플들을 포함하는 출력 신호로 변환시키는 공간 필터 유닛(200)이 서술된다. 공간 필터 유닛(200)은 제1 필터 계수를 결정하는 계수-결정 수단(106); 및, 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 적응형 필터링 수단(104)을 포함한다. 계수-결정 수단(106)은 상기 제1 입력 신호(U)와 상관되는 제2 입력 신호(Y)에 기초하여 상기 제1 필터 계수를 결정하도록 구성된다.

입력 샘플, 공간 필터 유닛, 계수 결정 수단, 적응형 필터링 수단, 필터 계수

Description

공간 신호 변환{Spatial signal conversion}

본 발명은 입력 샘플들을 포함하는 입력 신호를 출력 샘플들을 포함하는 출력 신호로 변환시키는 공간 필터 유닛에 관한 것으로서, 상기 공간 필터 유닛은:

- 제1 필터 계수를 결정하는 계수-결정 수단; 및,

- 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 적응형 필터링 수단을 포함한다.

본 발명은 또한 영상 처리 장치와 관한 것인데, 상기 영상 처리 장치는:

- 입력 신호 및 또 다른 입력 신호를 수신하는 수신 수단; 및

- 상기 입력 신호를 출력 신호로 변환시키는 상술된 바와 같은 공간 필터 유닛을 포함한다.

본 발명은 또한 입력 샘플들을 포함하는 입력 신호를 출력 샘플들을 포함하는 출력 신호로 변환시키는 방법에 관한 것으로서, 상기 방법은:

- 제1 필터 계수를 결정하는 단계; 및,

- 상기 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 단계를 포함한다.

본 발명은 또한, 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 관한 것으로서, 상기 컴퓨터 프로그램 제품은 입력 샘플들을 포함하는 입력 신호를 출력 샘플들을 포함하는 출력 신호로 변환시키는 명령들을 포함하며, 상기 컴퓨터 프로그램 제품은 로딩된 후,

- 제1 필터 계수를 결정하는 단계; 및

- 상기 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 단계를 수행하는 성능을 처리 수단에 제공하는 처리 수단 및 메모리를 포함한다.

HDTV의 출현은 표준 해상도(SD) 비디오 자료를 고 해상도(HD) 텔레비젼(TV) 디스플레이들 상에서 시청할 수 있게 하는 공간 상향-변환 기술들에 대한 필요를 강조한다. 종래 기술들로서 쌍선형 보간(bi-linear interpolation)과 같은 선형 보간 방법들 및 다상 저역통과 보간 필터들(poly-phase low-pass interpolation filters)을 사용하는 방법들이 있다. 전자는 저품질로 인해 텔레비젼 애플리케이션들에선 그다지 인기가 없지만, 후자는 상업적으로 사용가능한 IC들에서 이용될 수 있다. 선형 방법들로 인해, 프레임의 픽셀들의 수는 증가되지만 영상의 인식된 선명도(sharpness)는 증가되지 않는다. 다른 말로서, 디스플레이의 성능이 완전히 이용되지 못한다.

종래 선형 기술들 이외에도, 다수의 비선형 알고리즘들이 이 상향-변환을 성취하기 위하여 제안되었다. 때때로, 이들 기술들을 콘텐트-기반, 콘텐트 적응형 또는 에지 종속형 공간 상향-변환(edge dependent spatial up-conversion)이라 칭한다. 다수의 이들 상향-변환 기술들은 Meng Zhao 등이 2002년 9월 23일-26일에 독일 에르프르트에서 개최된 ISCE 2002의 회보에 발표한 "공간 상향 변환 기술들의 개요에 대하여(Towards an overview of spatial up-conversion techniques)"의 논문에 서술되어 있다. 이들 문헌들에 서술된 바와 같은 콘텐트-적응형 영상 상향 스케일링은 샘플링 이론에 기초한 선형 상향-변환 방법들과 비교하여 크게 개선된 선명도 임프레션(impression)을 제공하는 것으로 입증되었다.

콘텐트-기반 상향 변환의 한 종류는 분류 기반 상향-변환이다. 분류 기반 상향-변환의 주요 개념은 SD 영상 콘텐트에 기초하여 HD 영상에서 픽셀들의 계산을 적응시키는 것이다. 유사한 특징들을 지닌 영상 블록들만이 동일한 공간 필터 특징들, 즉 필터 계수들로 상향-스케일링될 것이다. 보간 동안 순간 필터 계수들(momentary filter coefficients)은 로컬 콘텐트, 즉, 입력 SD 영상을 표현하는 입력 신호의 샘플들의 값들을 따른다. 비디오 변환의 경우에, 이들 샘플들은 영상 블록 내의 픽셀 값들일 수 있다. 로컬 콘텐트는 블록의 값 패턴에 기초하여 클래스들로 분류된다. 필터 계수들을 얻기 위하여, 학습 프로세스가 미리 수행된다. 학습 프로세스는 훈련 자료로서 HD 비디오를 하향-스케일링함으로써 계산되는 SD 비디오 및 HD-비디오 둘 다를 사용하고 최적의 필터 계수들을 결정하기 위하여 LMS(최소 평균 자승) 알고리즘을 사용한다. 훈련 프로세스는 많은 수의 클래스들로 인해 계산 집중적이다. 다행스럽게도 이는 단지 1회만 수행되는 것을 필요로 한다. 바람직하게 픽셀들의 블록들의 분류는 픽셀 당 1-비트에 대해서 엔코딩이 다음과 같이 감소되는 ADRC(적응형 동적 범위 코딩)을 사용함으로써 실현된다.

여기서 F_SD는 SD 픽셀의 휘도 값이고 F_AV는 필터 계수-결정 수단의 현재 간극(current aperture)에서 픽셀들의 평균 휘도 값이다. Q_Y는 ADRC의 엔코딩 결과이다. ADRC를 사용하는 이유는 이것이 간단히 구현되기 때문이다. 식(1)을 사용하면, 클래스들의 수는 256개의 상이한 가능한 휘도 값들이 존재하는 경우 12개의 픽셀들을 포함하는 간극(aperture)에 의해 8¹² 개로부터 2¹²개로 감소된다. 간극에서 개별 픽셀들의 Q-값들을 연결하면 클래스-코드를 발생시키는데, 이는 필터 계수들을 발생시키는 룩-업-테이블의 엔트리로서 사용될 수 있다. 다른 분류 기술들이 고려될 수 있다.

콘텐트-기반 변환 방법들이 상대적으로 양호하게 수행되지만, 여전히 이를 개선시킬 여지가 있다.

본 발명의 목적은 더욱 양호하게 수행되는 서두에 기재된 종류의 공간 필터 유닛을 제공하는 것이다.

본 발명의 목적은 계수-결정 수단이 입력 신호에 상관되는 또 다른 입력 신호에 기초하여 제1 필터 계수를 결정하도록 구성됨으로써 성취된다. 상관된다는 것은, 신호들이 예를 들어 동일한 소스로부터 발생되어, 동시에 포착되고 동일한 객체 또는 장면(scene)에 대응한다는 것을 의미하거나, 이 신호들 중 한 신호가 다른 신호로부터 도출된다는 것을 의미한다. 계수-결정 수단은 또 다른 입력 샘플 및 입력 신호에 기초하여 제1 필터 계수를 결정하도록 구성되는 것이 바람직하다. 종래 기술의 콘텐트-기반 공간 필터 유닛이 상대적으로 양호하게 수행되지만, 적응형 필터링 수단을 제어하기 위하여 입력 신호로부터 추출될 수 있는 정보의 량은 제한될 수 있는데, 특히, 입력 샘플들의 수가 필요로 되는 출력 샘플들의 수와 비교하여 상대적으로 낮은 경우에 제한될 수 있다. 입력 신호와 상관되는 또 다른 입력 신호의 또 다른 입력 샘플들을 적용함으로써, 더욱 양호한 필터 계수들이 결정될 수 있다.

보간 필터로서 본 발명을 따른 공간 필터 유닛을 적용하는 것이 유용하다. 이와 같이, 본 발명을 따른 공간 필터 유닛의 실시예에서, 적응형 필터링 수단은 입력 샘플들 중 제1 입력 샘플과 입력 샘플들 중 제2 입력 샘플의 보간에 기초하여 출력 샘플들 중 제1 출력 샘플을 계산하는 계산 수단을 포함한다.

바람직하게 제1 입력 신호는 제1 양(quantity)을 표현하고 또 다른 입력 신호는 제1 양과 상이한 제2 양을 표현하는 것이 바람직하다. 제1 양은 휘도(luminance), 크로미넌스(chrominance), 모션, 위치, 온도 또는 소리 중 어느 하나이고 제2 양은 휘도, 크로미넌스, 모션, 위치, 온도 또는 소리에 대응하는 물리적 변수들의 목록 중 또 다른 하나이다. 예를 들어, 4:2:2(YUV) 포맷의 비디오 데이터에 대해선, 본 발명을 따른 수평 상향-스케일링 필터 유닛이 사용될 수 있는데, 그 이유는 휘도의 수평 해상도가 크로미넌스의 수평 해상도보다 높기 때문이다. 예를 들어, 4:2:0(YUV) 포맷의 비디오 데이터에 대해선, 본 발명을 따른 수평 및 수직 상향-스케일링 필터 유닛이 사용될 수 있는데, 그 이유는 휘도의 수평 및 수직 해상도가 크로미넌스의 수평 및 수직 해상도보다 높기 때문이다. 또한, 컬러, 즉 크로미넌스 신호에서 코딩 또는 전송 아티팩트들이 감소하면, 통상적으로 보다 우수한 휘도 신호가 인가될 수 있다.

또 다른 예는 스테레오 이미징 또는 3D 이미징과 관계된다. 스테레오 이미징에서, 통상적으로 동일한 장면의 2개의 영상들의 시퀀스들이 2대의 카메라에 의해 포착된다. 각 영상들에 대응하는 신호들은 비록 각도가 다르긴 하지만 동일한 장면을 표현하기 때문에 상관된다. 제1 영상 시퀀스의 휘도 값들에 대응하는 신호는 제2 영상 시퀀스의 휘도 값들에 대응하는 신호의 변환을 제어하도록 인가될 수 있다.

대안적으로, 휘도 및 선택적으로 크로미넌스 값들을 표현하는 가시화 가능한 영상들의 시퀀스가 획득되고 깊이 영상들(depth images)의 대응하는 시퀀스가 예를 들어 적외선 또는 초음파에 의해 획득된다. 전형적으로, 장면에서 객체들의 위치 정보를 표현하는 후자 유형의 영상들은 전자 유형들의 영상들보다 적은 샘플들을 포함한다. 가시화 가능한 영상들에 대응하는 신호들 및 깊이 정보에 대응하는 신호는 서로 상관되는데, 그 이유는 이들이 동일한 장면을 표현하기 때문이다. 휘도 값들에 대응하는 신호는 깊이 값들에 대응하는 신호를 더 높은 해상도를 갖는 깊이 값들에 대응하는 또 다른 신호로의 변환을 제어하도록 인가될 수 있다.

또 다른 예는 이미징된 장면 내에서의 모션과 관계된다. 소위 모션 벡터 필드들, 즉 휘도 영상의 픽셀들의 각 그룹들에 대한 모션 벡터들을 포함하는 2차원 매트릭스들을 계산하기 위한 각종 기술들이 존재한다. 예를 들어, 지. 드 한(G. de Hann) 등이 1993년 10월의 비디오 기술에 대한 회로들 및 시스템들에 관한 IEEE 회보(IEEE Transactions on circuits and systems for video technology), vol.3, no.5, 페이지 368-379에 발표한 "3-D 재귀 검색 블럭 정합으로 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)"의 논문을 참조하라. 이 논문에는 모션 벡터들이 8*8 픽셀들의 블록들에 대하여 추정되는 것이 서술되어 있다. 8*8 블록들의 모션 벡터 필드를 표현하는 입력 신호를 예를 들어 2*2 픽셀들의 블록들을 표현하는 출력 신호로 변환시키기 위하여, 8*8 블록들의 모션 벡터 필드를 결정하는데 사용되었던 휘도값들을 표현하는 신호가 인가될 수 있다. 장면 내의 많은 객체들은 8*8 픽셀들의 대략의(coarse) 모션 벡터 필드의 블록 구조에 정합하지 않는 모양들을 갖는 점에 유의하라.

모션은 종종 모션 벡터들에 의해 나타내진다. 모션을 나타내는 또 다른 접근법은 소위 모션 검출 신호에 기초하는데, 즉, 모션이 존재하는지 여부에 대한 2진 신호 표현에 기초한다. 또한, 이들 유형의 신호들에 대해서 또는 이에 의해서, 본 발명을 따른 공간 필터 유닛이 적용될 수 있다.

본 발명을 따른 공간 필터 유닛의 실시예에서, 계수-결정 수단은 또 다른 입력 신호로부터 도출되는 데이터를 제1 필터 계수로 변환시키기 위한 미리 결정된 룩업 테이블을 포함하는데, 이 미리 결정된 룩업 테이블은 훈련 프로세스에 의해 얻어진다. 필터 계수를 결정하기 위하여 룩업 테이블을 적용하는 것은 상술되었고 미국 특허 6,323,905에 서술되어 있다. 신호, 즉 샘플들의 그룹으로부터 필요로 되는 데이터를 도출하는 바람직한 기술이 상술되고 미국 특허 제5,444,487호에 서술되어 있다.

룩업 테이블을 포함하는 본 발명을 따른 공간 필터 유닛의 실시예는, 계수 결정 수단이 또 다른 입력 신호에 속하는 다수의 휘도값들에 기초하여 제1 필터 계수를 결정하도록 구성되고 적응형 필터링 수단이 입력 신호에 속하는 크로미넌스 값에 기초하여 출력 샘플들 중 제1 출력 샘플을 계산하도록 구성되는 것을 특징으로 한다. 그러므로, 크로미넌스 신호는 크로미넌스 및 휘도 샘플들로부터 도출되는 클래스들을 사용하여 변환된다. 이는 크로미넌스 변환이 더욱 상세한 휘도 데이터로부터 이점을 얻을 수 있기 때문에 유용하다. 결국, 적응형 필터링 수단의 필터 간극 및 계수 결정 수단의 콘텐트 적응형 간극은 필터 간극이 크로미넌스 샘플들에 대해서만 작용하고, 콘텐트 간극은 휘도 및 크로미넌스 신호들 모두로부터의 데이터를 포함한다는 점에서 서로 상이하다.

본 발명을 따른 공간 필터 유닛의 또 다른 실시예에서, 계수 결정 수단은 최적화 알고리즘에 의해 제1 필터 계수를 계산하도록 구성된다. 예를 들어, 최적화 알고리즘은 또 다른 입력 샘플에 관련된 또 다른 입력 샘플의 근사화를 평가하도록 적용되는데, 이 근사화는 또 다른 입력 샘플들 근처의 또 다른 입력 신호의 다른 입력 샘플들에 기초한다. 최적화 알고리즘은 최소 평균 자승 알고리즘(Least Mean Square algorithm)이 바람직하다. LMS 알고리즘은 상대적으로 간단하고 신뢰성이 있다. 상향 변환 유닛의 경우에서 필터 계수들을 결정하는 최적화 알고리즘을 적용하는 접근법은 2002년 9월 23일 내지 26일에 독일 에르프르트에서 개최된 ISCE 2002의 회보에 발표한 "공간 상향 변환 기술들의 개요에 대하여(Towards an overview of spatial up-conversion techniques)"의 상기 논문에 서술되어 있다.

영상 스케일링 유닛으로서 본 발명을 따른 공간 필터 유닛을 적용하는 것이 유용하다. 본 발명을 따른 공간 필터 유닛의 실시예는 입력 신호 및 또 다른 입력 신호로 표현되는 입력 영상을 출력 신호로 표현되는 출력 영상으로 스케일링하기 위한 영상 스케일링 유닛이다.

잡음 감소 유닛으로서 본 발명을 따른 공간 필터 유닛을 적용하는 것이 유용하다. 본 발명을 따른 공간 필터 유닛의 실시예는 입력 신호 및 또 다른 입력 신호로 표현되는 입력 영상을 출력 신호로 표현되는 출력 영상으로 변환시키는 잡음 감소 유닛이다.

본 발명의 부가 목적은 더욱 양호하게 수행되는 공간 필터 유닛을 포함하는 서두에 언급된 종류의 영상 처리 장치를 제공하는 것이다.

본 발명의 이 목적은 계수-결정 수단이 입력 신호에 상관되는 또 다른 입력 신호에 기초하여 제1 필터 계수를 결정하도록 구성됨으로써 성취된다. 영상 처리 장치는 출력 신호로 표현되는 출력 영상을 디스플레이하기 위한 디스플레이 디바이스를 선택적으로 포함한다. 영상 처리 장치는 예를 들어, TV, 셋 톱 박스, 위성 튜너, VCR(비디오 카세트 레코더) 플레이어 또는 DVD(디지털 비디오 디스크) 플레이어일 수 있다.

본 발명의 또 다른 목적은 더욱 양호하게 수행되는 서두에 언급된 종류의 방법을 제공하는 것이다.

본 발명의 이 목적은 입력 신호에 상관되는 또 다른 입력 신호에 기초하여 제1 필터 계수를 결정함으로써 성취된다.

본 발명의 또한 다른 목적은 더욱 양호하게 수행되는 서두에 언급된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 이 목적은 컴퓨터 프로그램 제품이 로딩된 후 입력 신호와 상관되는 또 다른 입력 신호에 기초하여 제1 필터 계수를 결정하는 성능을 지닌 처리 수단을 제공함으로써 성취된다. 공간 필터 유닛에 대한 수정들 및 이의 변형들은 서술된 영상 처리 장치, 방법 및 컴퓨터 프로그램 제품의 수정들 및 변형들에 대응한다.

본 발명을 따른 영상 처리 장치, 방법 및 컴퓨터 프로그램 제품의 공간 필터 유닛의 이들 및 그외 다른 양상들은 이하에 설명되고 첨부 도면들을 참조한 구현 방식들 및 실시예과 관련하여 명백하게 되고 이해될 수 있을 것이다.

도1a는 영상 상향 변환 유닛으로서 적용되는, 종래 기술을 따른 공간 필터 유닛을 개요적으로 도시한 도면.

도1b는 종래 기술을 따른 상향-변환 방법을 설명하기 위한 다수의 픽셀들을 개요적으로 도시한 도면.

도1c는 종래 기술을 따른 공간 필터 유닛의 대안적인 실시예를 개요적으로 도시한 도면.

도1d는 종래 기술을 따른 콘텐트-기반 보간에 사용되는 간극을 개요적으로 도시한 도면.

도2는 본 발명을 따른 공간 필터 유닛의 실시예를 개요적으로 도시한 도면.

도3a는 제2 입력 신호보다 높은 해상도를 갖는 출력 신호로의 제2 입력 신호의 상향-변환을 제어하도록 제1 입력 신호가 인가되는 것을 개요적으로 도시한 도면.

도3b는 제2 입력 신호보다 높은 해상도를 갖는 출력 신호로의 제2 입력 신호의 상향 변환을 제어하도록 제1 입력 신호가 인가되는 것을 예시하기 위한 대안적인 예를 개요적으로 도시한 도면.

도4a는 SD 입력 영상을 개요적으로 도시한 도면.

도4b는 해상도를 증가시키기 위하여 픽셀들이 부가되는 도4a의 SD 입력 영상을 개요적으로 도시한 도면.

도4c는 45°이상 회전된 후의 도4b의 영상을 개요적으로 도시한 도면.

도4d는 도4a의 SD 입력 영상으로부터 도출되는 HD 출력 영상을 개요적으로 도시한 도면.

도5는 본 발명을 따른 영상 처리 장치의 실시예를 개요적으로 도시한 도면.

도면들에서 유사한 부분들에는 동일한 참조 번호들이 병기되어 있다.

도1a는 영상 상향 변환 유닛으로서 적용되는 종래 기술을 따른 공간 필터 유닛(100)을 개요적으로 도시한 것이다. 영상 변환 유닛(100)은 입력 커넥터(108)에서 표준 해상도(SD) 영상들을 제공하고 출력 커넥터(100)에서 고 해상도(HD) 영상들을 제공한다. 영상 변환 유닛(100)은 다음을 포함한다.

- HD 출력 픽셀의 위치에 대응하는 SD 입력 영상들 중 제1 영상 내에서 특정 위치의 제1 근방의 픽셀들(1-4)의 휘도 값들의 제1 세트(도1b 참조) 및 SD 입력 영상들 중 제1 영상 내에서 특정 위치의 제2 근방의 픽셀들(1-16)의 휘도 값들의 제2 세트를 획득하도록 구성되는 픽셀 획득 유닛(102);

- 휘도 값들의 제1 세트 및 휘도 값들의 제2 세트에 기초하여 필터 계수들을 계산하도록 구성되는 필터 계수-결정 유닛(106)(즉, 필터 계수들은 특히 휘도 값들에 기초하여 로컬 윈도우 내의 SD 입력 영상으로부터 근사화됨. 이는 도1b와 관련하여 설명되는 최소 평균 자승(LMS) 방법을 사용함으로써 행해짐);

- 식(2)에 규정된 바와 같은 필터 계수들 및 휘도 값들의 제1 세트에 기초하여 HD 출력 픽셀의 휘도 값을 계산하는 적응형 필터링 유닛(104). 이에 따라, 필터 계수 결정 유닛(106)은 적응형 필터링 유닛(104)을 제어하도록 구성된다.

적응형 필터링 유닛(104)은 식(2)에 규정된 바와 같은 4차 보간 알고리즘을 사용한다.

여기서 F_HD1(i, j)는 보간된 HD 출력 픽셀들의 휘도 값들을 표현하며, F_SD(i, j)는 입력 픽셀들의 휘도값들을 표현하고, w_e(i)는 필터 계수들을 표현한다.

도1b는 종래 기술에 따른 상향 변환 방법을 설명하기 위하여 SD 입력 영상의 다수의 픽셀들(1-16) 및 HD 출력 영상의 하나의 HD 픽셀을 개요적으로 도시한 것이다. HD 출력 픽셀은 픽셀들(1-4)의 4개의 휘도 값들의 가중된 평균으로서 보간된다. 이는 HD 출력 픽셀(F_HD1)의 휘도 값이 4 SD 인접 픽셀들의 휘도값들의 가중된 합으로 된다는 것을 의미한다.

여기서 F_SD(1) 내지 F_SD(4)는 4SD 입력 픽셀들(1-4)의 픽셀 값들이고, w_e(1) 내지 w_e(4)는 LMS 방법에 의해 계산되는 필터 계수들이다. 종래 기술 방법이 서술되어 있는 인용 논문 "공간 상향 변환 기술들의 개요에 대하여"의 저자들은 에지 방향이 스케일링에 의해 변화되지 않는다고 분별 있게(sensible) 가정한다. 이 가정 결과는 최적의 필터 계수들이 표준 해상도 그리드 상에서 보간되는 계수들과 동일하다는 것이다:

- 5, 7, 11 및 4로부터의 픽셀 1(이는 픽셀 1이 4개의 이웃들로부터 도출될 수 있다는 것을 의미한다)

- 6, 8, 3 및 12로부터의 픽셀 2

- 9, 2, 13, 및 15로부터의 픽셀 3

- 1, 10, 14 및 16으로부터의 픽셀 4

이는 4개의 선형 식들의 세트를 제공하는데, 이 식들로부터 LSM-최적화에 의해 HD 출력 픽셀을 보간하기 위한 최적의 4개의 필터 계수들이 구해진다.

4개의 가중치들을 계산하기 위하여 사용되는 SD-그리드 상의 픽셀 세트로 M을 표현하면, 최적화시 세트 M에 대한 평균 자승 에러(MSE)는 원래 SD-픽셀들(F_SD)과 보간된 SD-픽섹들(F_SI) 간의 자승 차들의 합으로서 기록될 수 있다.

매트릭스에서 공식은 다음과 같다:

여기서

는 M(픽셀 F_SD(1,1) 내지 F_SD(1,4), F_SD(2, 1) 내지 F_SD(2, 4), F_SD(3, 1) 내지 F_SD(3, 4), F_SD(4, 1) 내지 F_SD(4, 4))에서 SD-픽셀들을 포함하고 C는 4×M²매트릭스인데, 이 매트릭스의 k번째 로우(row)는

에서 k번째 SD-픽셀들의 4개의 대각선 SD-이웃들을 포함한다. 각 로우의 가중된 합은 식(4)에서 사용된 바와 같은 픽셀(F_SI)을 나타낸다. 최소 MSE, 즉 LMS를 구하기 위하여,

에 대한 MSE의 도함수가 계산된다.

식(8)을 풀면, 필터 계수들이 구해지고, 식(3)을 사용하면, HD 출력 픽셀들의 휘도 값들이 계산될 수 있다.

이 예에서, 4×4 픽셀들의 윈도우가 필터 계수들의 계산을 위하여 사용된다. 더욱 큰 윈도우, 예를 들어, 4×4 대신에 8×8에 대한 LMS 최적화는 더욱 양호한 결과들을 제공한다.

도1c는 종래 기술을 따른 영상 변환 유닛(101)의 대안적인 실시예를 개요적으로 도시한 것이다. 필터 계수 결정 유닛(106)은 LUT(109) 및 압축 유닛(107)을 포함하며, 훈련 프로세스 동안 데이터가 도출된다. 또한, 훈련 프로세스를 설명하기 위하여 도1d와 관련한 설명을 참조하라. 압축 방법은 슬라이딩 윈도우 내의 픽셀들 중 어느 픽셀이 윈도우 내의 픽셀들의 평균 휘도 값을 넘는지 및 윈도우 내의 픽셀들 중 어느 픽셀이 그보다 아래인지를 검출하는 것에 기초한다. 이는 제로들(평균 휘도값 아래의 픽셀 값들) 및 1들(평균 휘도값을 넘는 픽셀 값들)의 패턴을 슬라이딩 윈도우의 매 위치마다 발생시킨다. 이 패턴은 LUT(109)의 엔트리에 대응한다. LUT(109)의 각 출력에서, 적절한 필터 계수들이 주어진 입력에 대하여 제공된다. 멩 자오(Meng Zhao) 등이 2002년 9월 23일 내지 26일에 독일 에르프르트에서 개최된 ISCE 2002의 회보에 발표한 "공간 상향 변환 기술들의 개요에 대하여"의 논문에, 종래 기술을 따른 영상 변환 유닛(101)의 이 실시예가 부가 설명되어 있다.

도1d는 종래 기술을 따른 콘텐트-기반 보간에 사용되는 간극을 개요적으로 도시한 것이다. 흰색 픽셀들은 보간된 HD 픽셀들(F_HDI)이다. 검정색 픽셀들은 SD 픽셀들(F_SD)인데, 여기서 F₁₂는 F_SD(1,2)에 대한 약칭 표기법 등이다. F_HDI(2(i+3), 2(j+3))에 대응하는 HD 픽셀(A)은 12개의 SD 픽셀들(F₀₀에서 최대 F₂₃까지)을 사용하여 보간된다. 훈련 프로세스에서 LMS의 사용을 명확하게 하기 위하여, F_HD를 실제(상향 변환되지 않은) HD 픽셀의 휘도값이라 하고 F_HDI를 보간 윈도우 내의 12개의 SD 픽셀들의 합산된 가중치인 보간된 픽셀의 휘도값이라 하자. 위치(A) 상의 픽셀들을 보간하기 위하여 사용되는 식은 다음과 같다:

여기서 w_ki는 가중치들이다. 많은 수의 영상들에 대한 하나의 클래스의 자승 에러는 다음과 같다:

훈련 프로세스에서 하나의 클래스에 대하여 t개의 샘플들이 존재한다고 가정하면,

p번째 보간 샘플의 에러는 다음과 같이 될 것이다:

이 클래스의 총 에러는 다음과 같다:

각 w에 대한 e²의 제1 도함수를 계산한 결과는 다음과 같다.

제1 도함수가 제로일 때 외항(extreme)이 발생된다는 것이 알려져 있다.

, 및

이라 하면,

삭제

이 된다.

모든 클래스들에 대해서 식(17)을 풀면, 계수들(w_ki)이 얻어진다. 모든 필터 계수들이 알려지면, 식(9)을 사용하여 보간이 간단히 계산된다.

도2는 본 발명을 따른 공간 필터 유닛(200)의 실시예를 개요적으로 도시한 것이다. 이 공간 필터 유닛(200)은 기본적으로, 도1c와 관련하여 서술된 바와 같은 영상 변환 유닛(101)과 동일한 유형의 성분들을 포함한다. 이들 성분들은:

- 입력 영상의 픽셀 값들을 획득하도록 구성되는 픽셀 획득 유닛(102);

- 획득된 픽셀 값들에 기초하여 필터 계수들을 계산하도록 구성되는 필터 계수-결정 유닛(106); 및,

- 획득된 픽셀값들에 기초하여 출력 픽셀들의 픽셀 값들을 계산하는 적응형 필터링 유닛(104)이다.

공간 필터 유닛(200)은 입력 커넥터(108)에서 YUV(4:2:2) 포맷의 비디오 데이터를 제공받고, 출력 커넥터(110)에서 YUV(4:4:4) 포맷의 비디오 데이터를 제공한다.

본 발명을 따른 공간 필터 유닛(200)의 동작이 예를 들어 설명될 것이다. 픽셀 획득 유닛(102)이 12개의 샘플의 간극을 갖는다고 가정하자. 이는 다음 샘플들(Y₁, U₁, V₁), (Y₂), (Y₃, U₃, V₃), (Y₄), (Y₅, U₅, V₅) 및 (Y₆)가 모두 획득된다는 것을 의미한다. 6개의 Y-샘플들은 식(18)에서 규정된 바와 같이 6개의 Y-샘플들을 6비트들 워드로 변환시키는 제1 압축 유닛(202)에 제공된다.

여기서 Y_AV는 픽셀 획득 유닛(102)의 계수 간극의 평균 휘도값에 대응한다. 3개의 U-샘플들은 식(19)에서 규정된 바와 같이 3개의 U-샘플들을 3개의 비트들 워드로 변환시키는 제2 압축 유닛(204)에 제공된다.

여기서 U_AV는 픽셀 획득 유닛(102)의 계수 간극에서 제1 평균 크로미넌스 값에 대응한다. 3개의 V-샘플들은 식(20)에서 규정된 바와 같이 3개의 V-샘플들을 3 비트들 워드로 변환시키는 제3 압축 유닛(206)에 제공된다.

여기서 V_AV는 픽셀 획득 유닛(102)의 계수 간극에서 제2 평균 크로미넌스 값에 대응한다. 다음에, 3개의 성분들(YUV)의 모든 샘플들의 개별적인 Q-값들은 12개의 비트들의 단일 클래스-인덱스를 형성하기 위하여 연결된다.

12개의 비트들 워드에 기초하여, 필터-계수들은 훈련 프로세스 동안 도출되는 변환 정보를 포함하는 LUT(109)로부터 도출된다. 이 경우에, LUT(109)는 손실되는 U-샘플의 계산을 위해 3배의 필터 계수들, 예를 들어 U₁, U₃, U₅에 기초한 U₂의 계산을 위한 3개의 필터 계수들 및 U₁, U₃및 U₅에 기초한 U₄의 계산을 위한 또 다른 3개의 필터 계수들을 제공한다. 이 경우에, LUT(109)는 또한 손실되는 V-샘플들의 계산을 위해 3배의 필터 계수들, 예를 들어 V₁, V₃, V₅에 기초한 V₂의 계산을 위한 3개의 필터 계수들 및 V₁, V₃및 V₅에 기초한 V₄의 계산을 위한 또 다른 3개의 필터 계수들을 제공한다. 최종적으로, 출력은 다음 샘플들, (Y₁, U₁, V₁), (Y₂, U₂, V₂),(Y₃, U₃, V₃),(Y₄, U₄, V₄),(Y₅, U₅, V₅), 및 (Y₆, U₆, V₆)을 포함한다.

필터의 제안된 간극은 비디오 포맷에 좌우된다. YUV(4:2:2) 포맷에 대해서, 본 발명을 따른 수평 업-스케일링 필터를 사용하는 것이 효율적인데, 그 이유는 휘도의 수평 해상도가 크로미넌스의 수평 해상도보다 높기 때문이다. YUV(4:2:0) 포맷의 비디오 데이터에 대해서, 2차원 간극은 적절한 것으로 간주되는데, 그 이유는 또한 수직 휘도 해상도가 크로미넌스의 수직 해상도보다 높기 때문이다.

상기 예에서, YUV(4:2:2) 포맷의 SD 입력 영상은 YUV(4;4:4) 포맷의 SD 출력 영상으로 변환된다. 선택적으로, 그 후에, YUV(4:4:4) 포맷의 SD 출력 영상은 YUV(4:4:4) 포맷의 HD 출력 영상으로 상향 변환된다. 대안적으로, YUV(4:2:2) 포맷의 SD 입력 영상은 YUV(4:4:4) 포맷의 HD 출력 영상으로 직접 상향 변환된다. 이 경우에, 휘도 신호는 크로미넌스의 상향 변환을 제어하기 위해 사용될 수 있거나 그 반대일 수 있다.

픽셀 획득 유닛(102), 필터 계수-결정 유닛(106) 및 적응형 필터링 유닛(104)은 하나의 프로세서를 사용하여 구현될 수 있다. 통상적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에서 수행된다. 실행 중에, 통상적으로, 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되고 이로부터 실행된다. 이 프로그램은 ROM, 하드 디스크, 또는 자기 및/또는 광학 저장장치와 같은 배경 메모리로부터 로딩되거나, 인터넷과 같은 네트워크를 통해서 로딩될 수 있다. 선택적으로, 주문형(application specific) 집적 회로는 서술된 기능성을 제공한다.

상이한 Q-값들이 개별적으로 계산되고 그후 연결된다는 것이 상기에 나타나있다. 즉, Q-값들은 휘도 및 크로미넌스 값들에 대해 독립적으로 계산된다. 이는 매력적인 부수적 효과를 갖는다. 미국 특허 6019216에서, 휘도 상향 스케일링에 대하여, 사진 데이터(picture data)를 반전시킴으로써, LUT 내의 계수들이 동일하게 유지되는 다는 것을 알 수 있다. 임의의 2진 클래스 및 이의 반전된 버전이 동일한 보간 계수들을 산출한다고 가정하는 것은 합리적이다. 결국, 2개의 상보적인 클래스들은 결합되고, 이것은 출력 신호의 어떠한 품질 손실 없이 2개의 팩터(factor)로 LUT의 크기를 감소시킨다. 이는 크로미넌스 데이터(U, V)에 대해서 마찬가지로 양호하게 유지된다는 것이 합리적이다. 3개의 성분들(Y/U/V)을 독립적으로 코딩함으로써, 각 성분에 대한 Q의 수는 LUT의 어드레스-공간 내에서 팩터 2로 (즉, 3-비트들이 절약됨) 또는 8의 팩터로 감소된다.

전형적으로, 상향 변환을 위한 훈련 프로세스는 다음의 단계들, 즉 원래 신호를 하향 샘플링하는 단계 및 최적의 필터 계수들을 구하는 단계를 포함하여 하향 샘플링된 신호를 원래 신호와 정합하는 신호로 변환시킨다. 예를 들어 잡음 감소를 위한 훈련 프로세스를 위한 유사한 방법이 취해지는데, 이 방법은 잡음을 원래 신호에 부가하는 단계 및 최적의 필터 계수들을 구하는 단계를 포함하여, 잡음이 있는 신호를 원래 신호와 정합하는 신호로 변환시킨다. 훈련 프로세스에서 제1 입력 신호를 출력 신호로 변환시키는 동안 본 발명을 따른 공간 필터 유닛(200)에서 인가되는 두가지 유형의 입력 신호들, 예를 들어, 휘도 및 크로미넌스 데이터 모두에 대응하는 신호들이 필요로 된다는 것이 명백할 것이다. 이는 도1c 및 도1d와 관련하여 서술된 바와 같은 종래 기술을 따른 적응형 필터링 수단과 상이하다. 후자의 경우에, 단지 한가지 유형의 신호만이 훈련 프로세스 및 신호 변환 동안 분석된다.

도3a는 제1 입력 신호(302)가 인가되어 제2 입력 신호(306)의 제2 입력 신호(306)보다 높은 해상도를 갖는 출력 신호(316)로의 상향 변환을 제어하도록 하는 것을 개요적으로 도시한다. 입력 신호들 및 출력 신호 둘 모두가 2차원 신호들이지만, 제1 입력 신호(302)로부터, 2차원들 중 단지 한 신호만이 도시되어 있다. 이는 1차원 표현이 제공된다는 것을 의미한다. 제1 입력 신호(302)는 상대적으로 높은 값들을 갖는 제1 부분(330), 급격한 트랜지션(steep transition)(332) 및 상대적으로 낮은 값을 갖는 제2 부분(334)을 포함한다. 제2 입력 신호(306)로부터, 값들(L1, L1, L2, 및 L2) 각각을 갖는 단지 4개의 샘플들(308-314)이 도시되어 있다. 출력 신호(316)로부터, 단지 16개의 샘플들(318-328)이 도시되어 있다. 이들 16개의 샘플들중 4개의 샘플들(318-324)은 값(L1)을 할당받고 다른 12개의 샘플들(326-328)은 값(L2)을 할당받았다. 값(L1)을 할당받은 4개의 샘플들(318-324)은 상대적으로 높은 값들을 갖는 제1 입력 신호(302)의 제1 부분(330)에 대응한다는 것을 명백히 알 수 있다. 출력 신호(316)의 샘플들(318-328)의 값들은 제2 입력 신호(306)의 값들(308-314)에 기초하고 제1 입력 신호(302)의 제어하에서 계산된다. 이는 출력 샘플들(318-328)의 계산을 위한 필터 계수들이 상관된 제1 입력 신호(302)의 샘플들의 값들에 기초한다는 것을 의미한다. 예를 들어, 출력 신호(316)의 출력 샘플들 중 제1 샘플(318)은 제2 입력 신호의 입력 샘플들 중 2개의 샘플(308, 310)의 가중된 평균에 의해 계산된다. 이 경우에, 이들 2개의 입력 샘플들 중 하나의 입력 샘플(308)에 대한 제1 가중 팩터, 즉, 제1 필터 계수는 상대적으로 높지만, 이들 2개의 입력 샘플들 중 다른 한 입력 샘플(310)에 대한 제2 가중 팩터, 즉, 제2 필터 계수는 상대적으로 낮다. 그 결과, 출력 샘플들 중 제1 샘플(318)은 2개의 입력 샘플들 중 한 입력 샘플(308)의 값인 값(L1)을 할당받는다.

도3b는 제1 입력 신호(304)가 인가되어 제2 입력 신호(306)의 제2 입력 신호(306) 보다 높은 해상도를 갖는 출력 신호(316)로의 상향 변환을 제어하도록 하는 또 다른 예를 개요적으로 도시한다. 제1 입력 신호(304)는 상대적으로 높은 값들을 갖는 제1 부분(336), 느린 트랜지션(slow transition)(338) 및 상대적으로 낮은 값들을 갖는 제2 부분(340)을 포함한다. 제2 입력 신호(306)로부터, 값들(L1, L1, L2, 및 L2) 각각을 갖는 단지 4개의 입력 샘플들(308-314)이 도시되어 있다. 출력 신호(316)로부터, 단지 16개의 출력 샘플들(318-328)이 도시되어 있다. 이들 16개의 샘플들 중 4개의 샘플들(318-324)은 값(L1)을 할당받고 또 다른 4개의 출력 샘플들은 값(L3)을 할당받으며, 또 다른 4개의 출력 샘플들은 값(L4)을 할당받고 또 다른 4개의 출력 샘플들(326-328)은 값(L2)을 할당받는다. 값(L1)을 할당받은 4개의 출력 샘플들(318-324)은 상대적으로 높은 값들을 갖는 제1 입력 신호(304)의 제1 부분(336)에 대응하고, 값(L2)을 할당받은 4개의 출력 샘플들(326-328)은 상대적으로 낮은 값들을 갖는 제1 입력 신호(304)의 제2 부분(340)에 대응한다는 것을 알 수 있다. 값들(L3 또는 L4)을 할당받는 다른 출력 샘플들은 트랜지션(338)에 대응한다. 출력 신호(316)의 출력 샘플들(318-328)의 값들은 제2 입력 신호(306)의 값들(308-314)에 기초하고 제1 입력 신호(304)의 제어하에서 계산된다. 이는 출력 샘플들(318-328)의 계산을 위한 필터 계수들이 상관된 제1 입력 신호(304)의 샘플들의 값들에 기초한다는 것을 의미한다.

SD 입력 영상을 HD 출력 영상으로 변환하기 위하여, 다수의 처리 단계들이 필요로 된다. 도4a-3D에 의해, 이들 처리 단계들이 설명된다. 도4a는 SD 입력 영상을 개요적으로 도시한 것이다. 도4d는 도4a 및 도4b의 SD 입력 영상으로부터 도출되는 HD 출력 영상을 개요적으로 도시하고 도4c는 중간 결과들을 개요적으로 도시한 것이다.

-도4a는 SD 입력 영상을 개요적으로 도시한 것이다. 각 X-부호는 각 픽셀에 대응한다.

-도4b는 픽셀들이 해상도를 증가시키기 위하여 부가된 도4a의 SD 입력 영상을 개요적으로 도시한 것이다. 부가된 픽셀들은 +부호들로 표현된다. 이들 부가된 픽셀들은 각 대각선 이웃들의 보간에 의해 계산된다.

-도4c는 45도 이상 회전된 후의 도4b의 영상을 개요적으로 도시한 것이다. 도4a에 기초하여 도4b에 도시된 바와 같은 영상을 계산하기 위하여 인가되는 것과 동일한 영상 변환 유닛(200)은 도4b에 도시된 바와 같은 영상에 기초하여 도4d에 도시된 바와 같은 영상을 계산하도록 사용될 수 있다. 이는 새로운 픽셀값들이 각 대각선 이웃들의 보간에 의해 계산된다는 것을 의미한다. 이들 대각선 이웃들(X-부호들로 표현됨)의 제1 부분은 SD 입력 영상의 원래 픽셀 값들에 대응하고 이들 대각선 이웃들(+부호들로 표현됨)의 제2 부분은 보간에 의해 SD 입력 영상의 원래 픽셀 값들로부터 도출된 픽셀 값들에 대응한다는 점에 유의하라.

-도4d는 최종 HD 출력 영상을 개요적으로 도시한 것이다. 최종 변환 단계에서 부가된 픽셀들은 o-부호들로 표현된다.

도5는 본 발명을 따른 영상 처리 장치(500)의 실시예를 개요적으로 도시한 것인데, 상기 영상 처리 장치는:

-YUV(4:2:2) 포맷에서 비디오 데이터를 표현하는 신호를 수신하는 수신 수단(502);

- 도2와 관련하여 서술된 바와 같은 공간 필터 유닛(200); 및,

- 상기 공간 유닛(200)의 YUV(4:4:4) 포맷의 비디오 데이터를 디스플레이하는 디스플레이 디바이스(506)를 포함한다. 이 디스플레이 디바이스(506)는 선택적이다. 이 신호는 안테나 또는 케이블을 통해서 수신되는 방송 신호이지만 또한 VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 이 신호는 입력 커넥터(508)에 처리된다. 영상 처리 장치(500)는 예를 들어 TV일 수 있다. 대안적으로, 영상 처리 장치(500)는 선택적인 디스플레이 디바이스를 포함하는 것이 아니라, 디스플레이 디바이스(506)를 포함하는 장치에 출력 영상을 제공한다. 그 후, 영상 처리 장치(500)는 예를 들어, 셋 톱 박스, 위성-튜너, VCR 플레이어 또는 DVD 플레이어일 수 있다. 그러나, 이는 또한 필름-스튜디어 또는 브로드캐스터에 의해 적용되는 시스템일 수 있다.

상술된 실시예들은 본 발명을 제한하는 것이 아니라 예시하는 것이며, 당업자는 첨부된 청구범위를 벗어나지 않고 대안적인 실시예를 설계할 수 있다는 것을 이해하여야 한다. 청구항들에서, 괄호 안의 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안된다. 단어 "포함하다"는 청구항에 기록되지 않은 샘플들 또는 단계들의 존재를 배제하지 않는다. 샘플 앞의 단수 표현은 이와 같은 샘플들이 다수 존재한다는 것을 배제하지 않는다. 본 발명은 여러 별도의 샘플들을 포함하는 하드웨어 및 적절한 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 열거하는 장치 청구항들에서, 여러 수단들 중 몇몇은 하나의 동일한 하드웨어 아이템에 의해 구현될 수 있다.

Claims

입력 샘플들을 포함하는 입력 신호(U)를 출력 샘플들을 포함하는 출력 신호로 변환시키는 공간 필터 유닛(200)으로서,

- 적응형 필터링 수단을 위한 제1 필터 계수를 결정하는 계수-결정 수단(106); 및

- 상기 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 상기 적응형 필터링 수단(104)을 포함하는, 상기 공간 필터 유닛에 있어서,

상기 계수-결정 수단(106)은 상기 입력 신호(U)에 상관되는 또 다른 입력 신호(Y)에 기초하여 상기 제1 필터 계수를 결정하도록 구성되는 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 계수-결정 수단(106)은 상기 입력 신호에 기초하여 상기 제1 필터 계수를 결정하도록 구성되는 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 적응형 필터링 수단(104)은 상기 입력 샘플들 중 상기 제1 입력 샘플 및 상기 입력 샘플들 중 제2 입력 샘플의 보간에 기초하여 상기 출력 샘플들 중 상기 제1 출력 샘플을 계산하는 계산 수단을 포함하는 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 제1 입력 신호는 제1 양(quantity)을 표현하고 상기 또 다른 입력 신호는 상기 제1 양과 다른 제2 양을 표현하는 것을 특징으로 하는, 공간 필터 유닛.
제4항에 있어서, 상기 제1 양은 휘도(luminance), 크로미넌스(chrominance), 모션, 위치, 온도 또는 소리 중 어느 하나인 것을 특징으로 하는, 공간 필터 유닛.
제5항에 있어서, 상기 제2 양은 휘도, 크로미넌스, 모션, 위치, 온도 또는 소리 중 어느 하나인 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 계수-결정 수단(106)은 상기 또 다른 입력 신호로부터 도출되는 데이터를 상기 제1 필터 계수로 변환시키는 미리 결정된 룩업 테이블을 포함하고, 상기 미리 결정된 룩업 테이블은 훈련 프로세스에 의해 얻어지는 것을 특징으로 하는, 공간 필터 유닛.
제7항에 있어서, 상기 계수-결정 수단(106)은 상기 또 다른 입력 신호에 속하는 다수의 휘도값들에 기초하여 상기 제1 필터 계수를 결정하도록 구성되고, 상기 적응형 필터링 수단(104)은 상기 입력 신호에 속하는 크로미넌스 값에 기초하여 상기 출력 샘플들 중 상기 제1 출력 샘플을 계산하도록 구성되는 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 계수-결정 수단(106)은 최적화 알고리즘에 의해 상기 제1 필터 계수를 계산하도록 구성되는 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 입력 신호 및 상기 또 다른 입력 신호에 의해 표현되는 입력 영상을 상기 출력 신호에 의해 표현되는 출력 영상으로 스케일링하는 영상 스케일링 유닛인 것을 특징으로 하는, 공간 필터 유닛.
제1항에 있어서, 상기 입력 신호 및 상기 또 다른 입력 신호에 의해 표현되는 입력 영상을 상기 출력 신호에 의해 표현되는 출력 영상으로 변환하는 잡음 감소 유닛인 것을 특징으로 하는, 공간 필터 유닛.
영상 처리 장치에 있어서,

- 입력 신호 및 또 다른 입력 신호를 수신하는 수신 수단; 및

- 상기 입력 신호를 출력 신호로 변환하는, 제1항에서 청구된 공간 필터 유닛(200)을 포함하는, 영상 처리 장치.
제12항에 있어서, 상기 출력 신호에 의해 표현되는 출력 영상을 디스플레이하는 디스플레이 디바이스를 더 포함하는 것을 특징으로 하는, 영상 처리 장치.
제13항에 있어서, 상기 영상 처리 장치는 TV인 것을 특징으로 하는, 영상 처리 장치.
입력 샘플들을 포함하는 입력 신호를 출력 샘플들을 포함하는 출력 신호로 변환시키는 방법으로서,

- 적응형 필터를 위한 제1 필터 계수를 결정하는 단계; 및

- 상기 적응형 필터는 상기 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 단계를 포함하는, 상기 변환 방법에 있어서,

또 다른 입력 신호에 기초하여 상기 제1 필터 계수를 결정하는 단계는 상기 입력 신호와 상관되는 것을 특징으로 하는, 변환 방법.
입력 샘플들을 포함하는 입력 신호를 출력 샘플들을 포함하는 출력 신호로 변환하는 명령들을 포함하는 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체로서,

상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하며, 상기 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체는, 로딩된 후,

- 적응형 필터를 위한 제1 필터 계수를 결정하는 단계; 및

- 상기 적응형 필터는 상기 입력 샘플들 중 제1 입력 샘플 및 상기 제1 필터 계수에 기초하여 상기 출력 샘플들 중 제1 출력 샘플을 계산하는 단계를 수행하는 성능을 상기 처리 수단에 제공하는, 상기 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 있어서,

또 다른 입력 신호에 기초하여 상기 제1 필터 계수를 결정하는 단계는 상기 입력 신호에 상관되는 것을 특징으로 하는, 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.