KR20070030223A

KR20070030223A - 픽셀 보간

Info

Publication number: KR20070030223A
Application number: KR1020067026846A
Authority: KR
Inventors: 제라드 데 한
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-06-23
Filing date: 2005-06-17
Publication date: 2007-03-15
Also published as: CN1973534A; EP1782622A1; JP2008503960A; WO2006000970A1; US20080063307A1

Abstract

입력 이미지로부터 선택되는 입력 픽셀(101-114)의 세트의 입력 픽셀 값을 기초로 출력 이미지의 출력 픽셀 값을 계산하기 위한 보간 유닛(800)이 개시된다. 보간 유닛(800)은: 제1 그룹의 픽셀(101-107)과 제2 그룹의 픽셀(108-114)을 포함하는 상기 입력 픽셀을 선택하기 위한 입력 픽셀 선택 수단(802)과 입력 픽셀(101-114)의 세트를 기초로 해서 상기 출력 픽셀 값을 결정하기 위한 순서 통계적 필터링 수단(804)를 포함한다. 입력 픽셀의 세트는 제1 그룹의 픽셀(101-107)과 제2 그룹의 픽셀(108-114)의 제각기의 입력 픽셀에 의해 형성되는 입력 픽셀(103, 113)의 쌍을 연결하는 라인(115, 116)이 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치(100)에서 교차하는 것을 특징으로 한다.

Description

픽셀 보간{PIXEL INTERPOLATION}

본 발명은 홀수의 입력 이미지로부터 선택되는 입력 픽셀의 세트의 입력 픽셀 값을 기초로 출력 이미지의 출력 픽셀 값을 계산하기 위한 보간 유닛에 관한 것이다.

본 발명은:

- 이미지를 표현하는 이미지 신호를 수신하기 위한 수신 수단; 및

- 상기 설명된 보간 유닛을 포함하는 이미지 처리 장치와 또한 관련이 있다. 본 발명은 홀수의 입력 이미지로부터 선택된 입력 픽셀의 세트의 입력 픽셀 값을 기초로 해서 출력 이미지의 출력 픽셀 값을 계산하여 보간하는 방법과 또한 관련이 있다.

본 발명은 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품과 또한 관련이 있으며, 상기 컴퓨터 장치는 홀수의 입력 이미지로부터 선택되는 입력 픽셀의 세트의 입력 픽셀 값을 기초로 해서 출력 이미지의 출력 픽셀 값을 보간하기 위한 명령어들을 포함한다.

텔레비전 표준의 체증(inertia)과 디스플레이 장치 혁신의 조합은 인터레이싱된 비디오를 점진적으로 스캐닝된 신호로 변환하기 위한 알고리즘에 대한 증가된 수요를 야기시킨다. 단일 최적 디-인터레이싱(de-interlacing) 알고리즘은 존재하지 않고, 다양한 알고리즘은 매우 다양한 계산상의 그리고 재무적인 예산에 맞추기 위해 설계된다. 최고도의 이미지 품질을 제공하는 알고리즘은 공간적 차원 또는 시간적 차원에서 발견되는 최대의 상관에 보간을 적응시킨다. 공간적 차원에서, 알고리즘은 에지 방위로 적응시킬 수 있으며, 한편 시간적 도메인에서 적응성 또는 움직임 보상이 제안되어 왔다. G. de Haan과 E. B. Bellers이 Proceedings of the IEEE, Vol. 86, No. 9, Sep. 1998, pp. 1839-1857에 발표한 논문 "De-interlacing-An overview"가 참조된다.

비록 공간과 시간적 디-인터레이싱 알고리즘 사이의 상호작용이 최적으로 가능한 이미지 품질을 위해 매우 중요하므로, 실제에서는 설계상의 제약은 움직임 보상되거나 움직임 적응적인 알고리즘이 너무 비용이 많이 소요되거나 그렇치 않으면 부적절한 것으로서 배제될 수 있다. 그러므로, 많은 경우에서, 디-인터레이싱은 정의에 의해, 디-인터레이싱될 단일의 홀수 또는 짝수 필드에 포함된 공간적 정보에만 기초를 둔다. 공간적 디-인터레이싱 알고리즘의 이러한 서브-등급에서, 에지-의존적 알고리즘은 추가적인 서브-범주이다.

공간적 알고리즘에서, 전체 정보의 50%를 나타내는 단지 하나의 필드가 이용 가능하다. 비디오 신호가 나이키스트(Nyquist) 한도 이상의 수직적 주파수를 포함하므로, 손실된 정보를 신뢰성있게 보간하는 것은 불가능하다. 이런 경우에서 최적의 선택은 신호가 가장 정적인(stationary) 방향에서 손실된 값을 보간하는 것이다. 도 1의 (a) 내지 (d)가 예시하는 것처럼, 이미지에서 에지를 따라 보간하는 것 이 최상이다. 이런 경우에서, 간단한 수직적 보간은 바람직하지 않은 "계단" 효과를 야기신다. 도 1의 (c)에서 점선이 참조된다.

본 발명의 목적은 견고하고 구현하기가 비교적 용이한, 서문에서 설명된 종류의 새로운 보간 유닛을 제공하는 것이다.

본 발명의 이런 목적은:

- 제1 그룹의 픽셀과 제2 그룹의 픽셀을 포함하는 입력 픽셀을 선택하기 위한 입력 픽셀 선택 수단으로서, 입력 픽셀의 쌍을 연결하는 라인은 제1 그룹의 픽셀의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치에서 교차하는, 입력 픽셀 선택 수단; 및

- 입력 픽셀의 세트를 기초로 해서 상기 출력 픽셀 값을 결정하기 위한 순서 통계적 필터링 수단을 포함하는 보간 유닛에서 달성된다.

이것은 순서 통계적 필터링 수단에 제공되는 입력 픽셀이 특별한 방식으로 선택되는 것을 의미한다. 문헌에서, 순서 통계적 필터는 또한 순번-순서(rank-order) 필터라고 불린다. 입력 픽셀의 세트의 입력 픽셀은 특별한 입력 이미지에서 상기 위치 주위에 위치된다. 특별한 입력 이미지에서의 상기 위치는 출력 픽셀의 위치와 공간적으로 매칭된다. 세트의 픽셀의 각각, 즉 제1 그룹의 각 픽셀에 대해, 대응되는 픽셀, 즉 제2 그룹의 제각긱의 픽셀이 존재한다. 제1 그룹의 픽셀을 제2 그룹의 제각기의 픽셀에 연결하는 라인은 특별한 입력 이미지 내의 상기 위치에서 교차한다. 일반적으로, 그러나 배타적이지는 않지만, 제1 그룹의 제1 픽셀과 상기 위치 사이의 제1 거리와 제1 그룹의 제1 픽셀의 대응하는 픽셀과 상기 위치 사이의 제2 거리는 거로 동일하다. 이 경우에 제1 그룹의 제1 픽셀과 그 대응 픽셀은 상기 위치 주위에서 대칭적으로 위치된다.

선택된 픽셀의 순서 통계적 필터링과 결합된 입력 픽셀의 특별한 합성은 에지 의존적 보간을 야기시킨다. 다른 말로 하자면, 순서 통계적 필터링은 입력된 이미지에서 에지처럼, 휘도 구조와 상대적으로 잘 매칭이 되는출력 픽셀 값을 출력으로 제공한다. 본 발명에 따른 보간 유닛의 이익은 예를 들면 에지 방위의 수를 평가하기 위한 값비싼 계산이 없이, 적절한 출력 픽셀 값이 결정되는 것이다.

홀수는 1, 3 ,5, 7, 9 등과 같은 임의의 수를 의미한다. 입력 이미지의 수가 1과 같은 경우에, 보간은 공간적 필터링이다. 입력 이미지의 수가 1보다 큰 경우, 보간은 소위 공간적 시간적 필터링이라고 불린다. 일반적으로, 특별한 입력 이미지는 입력 이미지의 중앙에 위치된다.

본 명세서에서 초점은 디-인터레이싱인데, 즉, 본 명세서에서 개시된 많은 실시예는 디-인터레이싱과 관련된다. 하지만, 본 발명에 따른 보간 유닛, 방법과 컴퓨터 프로그램 제품은 공간적 스케일링, 특히 공간적 업 스케일링을 위한 일반적인 보간 기술에 또한 적용될 수 있다. 디-인터레이싱에서, 필드와 프레임의 개념이 알려진다. 필드는 홀수 또는 짝수의 비디오 라인, 즉, 프레임의 행을 포함한다. 이 명세서에서, 이미지는 필드 또는 프레임을 의미한다.

본 발명에 따른 보간 유닛의 실시예는 가중화된 중앙값 필터를 포함한다. 이것은 입력 픽셀 값의 사본인, 순서 통계적 필터링 수단의 입력 샘플이 가중화되는 것을 의미한다. 일부의 입력 픽셀에 대해, 다중 사본이 존재하고, 다른 입력 픽셀에 대해서는 단일 사본만이 제공된다. 바람직하게 필터링 수단의 출력, 즉, 출력 픽셀의 출력 픽셀 값은 입력 픽셀 값의 선택된 하나와 동일하다. 대안적으로, 필터링 수단의 출력은 다수의 선택된 입력 픽셀 값의 가중화된 평균을 취함으로써 계산된다. 가중화된 평균을 계산하기 위해 사용될 보간 가중화 인수는 필터링 수단의 입력 샘플을 위한 세트를 생성하기 위해 사용될 선택 가중화 인수와 일반적으로 상이하다.

바람직하게, 선택 가중화 인수는 거리와 관련이 있다. 예를 들면, 특별한 입력 이미지에서 상기 위치에 상대적으로 근접하게 위치된 입력 픽셀의 쌍들중의 제1 쌍은 특별한 입력 이미지 내의 상기 위치로부터 상대적으로 멀리 떨어져 위치된 입력 픽셀의 쌍들의 제2 쌍과 비교되어 상대적으로 높은 가중치를 갖는다.

본 발명에 따른 보간 유닛의 실시예에서, 제1 그룹의 픽셀은 특별한 입력 이미지 내의 상기 위치 위에 위치된 특별한 입력 이미지의 제1 행으로부터 선택되고, 제2 그룹의 픽셀은 상기 특별한 입력 이미지에서의 상기 위치 아래에 위치된 특별한 입력 이미지의 제2 행으로부터 선택된다. 본 발명에 따른 이 실시예는 특히 디-인터레이싱을 위해 적절하다. 그후, 제1 그룹의 픽셀과 제2 그룹의 픽셀이 두 개의 후속하는 짝수 비디오 라인 또는 후속하는 홀수 비디오 라인으로부터 선택된다. 출력 픽셀은 이 두 비디오 라인 사이에 위치된 비디오 라인(홀수/짝수)에 속한다.

바람직하게, 본 발명에 따른 보간 유닛의 출력은 G. de Haan과 E. Bellers의 발명을 기초로 동일 출원인에 의해 2003년 8월 5일자로 출원된 U.S. 특허 출원(10/639421)(대리인 관리 번호 PHNL030931)에서 명시된 이미지 변환 유닛에 의해 더 처리된다.

본 발명에 따른 보간 유닛의 실시예에서 입력 픽셀의 세트는 특별한 입력 이미지에 시간적으로 선행하는 이전 입력 이미지로부터와, 특별한 입력 이미지에 시간적으로 후속하는 다음 입력 이미지로부터 선택된 입력 픽셀를 더 포함한다. 바람직하게, 특별 입력 이미지로부터 선택되는 입력 픽셀 이외에도, 입력 픽셀의 세트는 다른 입력 이미지로부터 선택되는 입력 픽셀을 더 포함한다. 일반적으로 이전 입력 이미지, 특별한 입력 이미지와 다음 입력 이미지는 비디오 이미지의 시퀀스의 일부이다. 상기에서 언급된 것처럼, 본 명세서의 문맥에서의 이미지는 필드 또는 프레임일 수 있다. 교차 지점, 즉, 상기 위치는 다차원 공간에서의 지점이다. 그래서 이전 입력 이미지로부터 선택된 입력 픽셀은 다음 입력 이미지에서 대응 픽셀을 갖는다. 이러한 두 개의 픽셀을 연결하는 라인은 상기 위치에서 이러한 연결 라인의 다른 라인과 교차한다. 시간적 입력 픽셀을 취하는 것은 보간 유닛의 견고성을 위해 이롭다.

본 발명에 따른 보간 유닛의 실시예는 제1 순서 통계적 필터의 제1 출력과 제2 순서 통계적 필터의 제2 출력의 평균을 계산하여 상기 출력 픽셀 값을 계산하기 위해 배열된다. 본 발명에 따른 이 실시예는 디-인터레이싱에 대해 이롭다. 바람직하게, 입력 샘플과 통계적 필터링의 선택은 아래와 같다:

- 제1 순서 통계적 필터의 입력은 픽셀의 제1 그룹의 제1 픽셀과, 픽셀의 제2 그룹의 제1 픽셀과 이전 입력 이미지의 제1 행의 픽셀의 제1 픽셀을 포함하고,

- 제2 순서 통계적 필터의 입력은 픽셀의 제1 그룹의 제1 픽셀과, 픽셀의 제2 그룹의 제1 픽셀과 다음 입력 이미지의 제1 행의 픽셀의 제1 픽셀을 포함한다.

바람직하게, 이전 이미지의 제1 행의 픽셀의 제1 픽셀과 다음 이미지의 제1 행의 픽셀의 제1 픽셀은 상기 위치 근처에서 대칭적으로 위치된다. 바람직하게, 제1 순서 통계적 필터는 제1의 3-탭 중앙값 필터이고, 제2 순서 통계적 필터는 제2의 3-탭 중앙값 필터이다. 이전 입력 이미지와 다음 입력 이미지로부터의 시간적 입력 픽셀의 선택은 에러 기준의 최소화를 기초로 선택된다.

본 발명의 추가적인 목적은 견고하게 구현하기가 상대적으로 용이한, 서문에서 설명된 종류의 이미지 처리 장치를 제공하는 것이다.

본 발명의 이러한 목적은:

- 입력 픽셀의 세트를 기초로 해서 상기 출력 픽셀 값을 결정하기 위한 순서 통계적 필터링 수단을 포함하는 이미지 처리 장치의 보간 유닛에서 달성된다.

본 발명의 추가적인 목적은 견고하고 구현하기가 상대적으로 용이한, 서문에서 설명된 종류의 방법을 제공하는 것이다.

본 발명은 목적은:

- 제1 그룹의 픽셀과 제2 그룹의 픽셀을 포함하는 입력 픽셀을 선택하는 단계로서, 입력 픽셀의 쌍을 연결하는 라인은 제1 그룹의 픽셀의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치에서 교차하는, 입력 픽셀을 선택하는 단계; 및

- 입력 픽셀의 세트를 순서 통계적 필터링함으로써 상기 출력 픽셀 값을 결정하는 단계를 포함하는 방법에서 달성된다.

본 발명의 추가적인 목적은 견고하고 구현하기가 상대적으로 용이한, 서문에서 설명된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 목적은 처리 수단과 메모리를 포함하며, 로딩된 후에:

- 제1 그룹의 픽셀과 제2 그룹의 픽셀을 포함하는 입력 픽셀을 선택하는 동작으로서, 입력 픽셀의 쌍을 연결하는 라인은 제1 그룹의 픽셀의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지 내의 위치에서 교차하는, 입력 픽셀을 선택하는 동작; 및

- 입력 픽셀의 세트를 순서 통계적 필터링함으로써 출력 픽셀 값을 결정하는 동작을 수행할 수 있는 능력을 구비한 상기 처리 수단을 제공하는 컴퓨터 프로그램 제품 내에서 달성된다.

보간 유닛의 수정과 변형은 설명되고 있는, 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 수정과 변형에 대응할 수 있다.

본 발명에 따른 보간 유닛과, 이미지 처리 장치와, 방법과 컴퓨터 프로그램 제품의 이런 양상 및 다른 양상은 아래에서 첨부된 도면을 참조해서 설명되는 구현과 실시예에 대해서 명백하고 명료하게 될 것이다.

도 1의 (a) 내지 (d)는 수직적 평균화와 에지 방향의 평균화의 효과를 도시하는 개략도.

도 2는 본 발명에 따른 단일 입력 이미지의 입력 픽셀의 선택을 도시한 개략도.

도 3은 본 발명에 따른 3개의 연속적인 입력 이미지의 입력 픽셀의 선택을 도시한 개략도.

도 4는 에러 기준의 최소화에 기초하여 입력 픽셀의 선택을 도시한 개략도.

도 5는 단일 입력 이미지의 입력 픽셀이 선택되어, 제1 입력 픽셀과 교차점 사이의 제1 거리와 대응 입력 픽셀과 교차점 사이의 제2 거리가 상호 다르게 되는 것을 도시하는 개략도.

도 6은 본 발명에 따른 입력 픽셀의 추가적인 선택을 도시한 개략도.

도 7은 입력 샘플이 선택되어 다수의 샘플이 입력 픽셀의 사본이고, 다른 다수의 샘플은 입력 픽셀의 추가적인 사본을 평균함으로써 계산되는 것을 도시한 개략도.

도 8은 본 발명에 따른 보간 유닛을 도시하는 개략도.

도 9는 본 발명에 따른 이미지 처리 장치를 도시한 개략도.

동일 참조 번호가 도면들 전체에 걸쳐 유사한 부분을 표시하기 위해 사용된다.

도 1은 수직적 평균화와 에지 방향으로의 평균화의 효과를 개략적으로 보여 준다. 도 1의 (a)는 원래 이미지를 개략적으로 도시한다. 도 1의 (b)는 홀수/짝수 비디오 라인만이 미리 결정된 시간 간격 동안 남겨진다는 사실에 기초하여, 인터레이싱된 이미지를 개략적으로 도시한다. 도 1의 (c)는 도 1의 (b)에서 도시된 인터레이싱된 이미지를 기초로 하는 제1 출력 이미지를 도시한다. 도 1의 (b)의 손실된 픽셀 값은 수직적 평균화에 의해 계산되었다. 볼 수 있는 것처럼, 계단 패턴이 이것에 의해 도입된다. 도 1의 (d)는 도 1의 (B)에서 설명된 인터레이싱된 이미지를 또한 기초로 하는 제1 출력 이미지를 개략적으로 도시한다. 하지만, 이제 도 1의 (B)의 손실된 픽셀 값은 에지 방향으로의 평균화에 의해 계산되었다. 이것은 적절한 픽셀이 손실된 픽셀 값을 계산하기 위해 선택되었다는 것을 의미한다. 이제 볼 수 있는 것처럼, 제2 출력 이미지와 원래 이미지는 실질적으로 서로 동일하다. 이 예는 입력 픽셀의 적절한 선택에 의해, 출력 픽셀이 최적 값을 상대적으로 잘 닮는(resemble), 보간에 의해 계산될 수 있다. 본 발명에 따른 보간 유닛은 미리 결정된 세트의 입력 픽셀을 순서 통계적 필터링해서 적절한 입력 픽셀을 결정하기 위해 배열된다. 아래에서, 도 2 내지 도 7과 관련해서, 다수의 이러한 선택이 보다 상세히 설명된다.

도 2는 본 발명에 따른 단일 입력 이미지의 입력 픽셀(101-114)의 세트를 도시한다. 입력 픽셀의 세트는 제1 그룹의 픽셀과 제2 그룹의 픽셀을 포함한다. 제1 그룹의 픽셀(101-107)은 입력 이미지의 제1 행 상에 위치된다. 제2 그룹의 픽셀(108-114)은 입력 이미지의 제2 행 상에 위치된다. 출력 픽셀은 출력 이미지에 속하고, 입력 이미지 내의 교차점(100)에 공간적으로 대응하는 출력 이미지 내의 위치에 위치된다. 교차점(100)은 제1 그룹의 픽셀과 제2 그룹의 픽셀의 제각기의 입력 픽셀에 의해 형성되는 입력 픽셀의 쌍을 연결하는 라인이 교차하는 지점에 위치된다. 예를 들면, 제1 그룹의 픽셀의 제1 픽셀(103)은 제2 그룹의 픽셀의 제1 픽셀(112)과 쌍을 형성한다. 이 두 개의 픽셀(103, 112)은 제1 라인(115)에 의해 연결된다. 픽셀의 추가적인 쌍은 제1 그룹의 픽셀의 제2 픽셀(107)과 제2 그룹의 픽셀의 제2 픽셀(108)에 의해 수행된다. 이 두 개의 픽셀(107, 108)은 제2 라인(116)에 의해 연결된다. 이 경우에, 도 2에서 설명된 것처럼, 쌍들의 제각기의 픽셀은 교차점의 주위에서, 예를 들면, 제1 라인(115)과 제2 라인(116)의 주위에서 대칭적으로 위치된다.

입력 픽셀 각각에 대해, 대응 가중화 인수가 도 2에서 제공된다. 예를 들면 제1 그룹의 픽셀의 제1 픽셀(103)의 가중화 인수는 3이고, 제2 그룹의 픽셀의 제2 픽셀(108)에 대한 가중화 인수는 1과 같다. 출력 픽셀의 값을 계산하기 위해, 아래의 샘플이 순서 통계적 필터링을 위해 사용된다. 가중화 인수 1을 갖는 제1 그룹 및 제2 그룹의 픽셀, 즉, 101, 102, 106, 107, 108, 109, 113 및 114의 참조 번호로 참조되는 픽셀은 단 한번만 복사된다. 가중화 인수 3을 갖는 제1 그룹 및 제2 그룹의 픽셀, 즉, 103, 105, 110, 및 112의 참조 번호로 참조되는 픽셀은 세 번 복사된다. 가중화 인수 8을 갖는 제1 그룹 및 제2 그룹의 픽셀, 즉, 104와 112의 참조 번호로 참조되는 픽셀은 8번 복사된다. 이것은 14개의 입력 픽셀을 기초로 하여, 36개의 샘플(8*1+4*3+2*8)을 갖는 세트가 생성되는 것을 의미한다. 이 세트의 샘플로부터 출력 픽셀의 값이 순서 통계적 필터링을 기초로 하여 결정된다. 이러한 순서 통계적 필터링의 예는 중앙 값을 갖는 다수의 샘플을 선택하는 것에 대응한다. 이것은 예를 들면, 40%의 샘플이 선택된 샘플의 값 이하의 값을 가지며, 40%의 샘플은 선택된 샘플의 값 이상이 값을 갖는다는 것을 의미한다. 그후, 출력 픽셀의 값이 선택된 샘플의 가중화된 평균에 의해 계산된다.

대안적으로, 제1 순서 통계적 필터링이 제1 그룹의 픽셀에 적용되고, 제2 순서 통계적 필터링은 제2 그룹의 픽셀에 적용된다. 결과적으로, 이러한 두 개의 순서 통계적 필터링 동작의 출력은 출력 픽셀의 값을 달성하기 위해 조합된다.

도 3은 본 발명에 따른 3개의 연속적인 입력 이미지의 입력 픽셀의 선택의 예를 도시한다. 제1 그룹의 픽셀은 도 2와 관련되어 설명된 것처럼, 현재 이미지(n)로부터 다수의 픽셀(101-107)을 포함한다. 제1 그룹의 픽셀은 이전 이미지(n-1)의 다수의 픽셀(201-207)을 포함한다. 제2 그룹의 픽셀은 도 2와 관련하여 설명된 것처럼, 현재 이미지(n)로부터의 다수의 픽셀(108-114)을 포함한다. 제2 그룹의 픽셀은 다음 이미지(n+1)의 다수의 픽셀(208-214)을 더 포함한다. 이전 이미지(n-1)의 픽셀의 가중화 인수와 다음 이미지의 가중화 인수가 서로 동일하다. 픽셀 쌍의 제각기의 픽셀을 연결하는 라인의 교차점(100)을 갖는 조건은 여전히 유효하다. 예 를 들면, 시간적 교차선(215)에 의해 다음 이미지의 픽셀(208) 중의 제1 픽셀과 연결된 이전 이미지(n-1)의 픽셀(207) 중의 제1 픽셀은 쌍을 형성한다. 이 경우에서, 교차점은 두 개의 공간적 차원과 하나의 시간적 차원을 갖는 3차원 공간에 위치된다.

다시, 출력 픽셀의 값은 출력 이미지 내의 위치에 대응하는 입력 이미지 내의 위치 주위에 대칭적으로 배치된 28개의 픽셀의 세트에 의해 본 발명에 따라 결정된다. 출력 픽셀의 이 값은 순서 통계적 필터링에 의해 계산된다.

도 4는 에러 기준의 최소화에 기초해서 입력 픽셀의 선택을 도시한다. 입력 픽셀의 세트는 이전 이미지(n-1), 현재 이미지(n)과 다음 이미지(n+1)로부터의 픽셀을 포함한다. 픽셀 쌍의 제각기의 픽셀을 연결하는 라인의 교차점을 가질 조건이 여전히 유효하다. 도 4와 관련해서 설명된 픽셀의 선택과 순서 통계적 필터링은 디-인터레이싱과 특히 관련이 있다. 도 4에서 설명된 예에서, 현재 이미지(n)로부터 선택된 두 개의 픽셀(104, 111)이 존재한다. 이 두 개의 픽셀(104, 111)은 제각기 교차점(100)의 위와 아래에 위치된 행으로부터 선택된다. 바람직하게, 두 개의 픽셀(104, 111)은 동일한 수평 좌표를 갖는다. 이외에도, 평가를 위해 사용되는 이전의 이미지(n-1)의 7개의 픽셀(201-207)이 존재하고, 마지막으로 단일 픽셀(203)이 선택된다. 이러한 7개의 픽셀(201-207)은 교차점(100)이 위치되는 행과 동일한 행에 위치된다. 그리고, 평가를 위해 사용되는 다음 이미지(n+1)의 7개의 픽셀(208-214)이 존재하고, 마지막으로 단일 픽셀(212)이 선택된다. 이러한 7개의 픽셀(208-214)은 교차점(100)이 위치되는 행과 동일한 행에 또한 위치된다. 출력 픽셀의 최 종 출력 값은 두 개의 3-탭 중앙값 필터의 출력의 평균을 계산하여 결정된다. 중앙값 필터 중의 제1 필터의 입력은 현재 이미지(n)의 두 개의 픽셀(104, 111)과 이전의 이미지(n-1)의 선택된 픽셀(203)을 포함한다. 중앙값 필터 중의 제2 필터의 입력은 현재 이미지(n)의 두 개의 픽셀(104, 111)을 포함하고, 이 입력은 다음 이미지(n+1)의 선택된 픽셀(212)을 더 포함한다.

두 개의 선택된 픽셀(203과 212)의 결정은 에러 기준의 최소화를 기초로 한다. 두 개의 선택된 픽셀은 보간의 위치 주위에, 즉, 출력 픽셀의 위치에 대응하여 비대칭적으로 위치된다. 평가는 다수의 픽셀 쌍을 비교함으로써 수행된다. 이러한 픽셀 쌍은 모두 보간의 위치 주위에 대칭적으로 위치된다. 바람직하게, 평가는 두 개의 중앙값 필터중의 하나 이상의 필터의 출력을 비교하는 것을 기초로 한다. 예를 들면, 최소화될 에러 기준은 두 개의 중앙값 필터의 출력 사이의 절대 차이를 포함하는 항들을 포함하고, 중앙값 필터는 이전 이미지(n-1)와 다음 이미지(n+1)의 후보 픽셀(201-207)과 후보 픽셀(208-214)을 가지고 제공된다. 대안적으로, 에러 기준은 중앙값 필터 중의 하나와 고려되는 후보 픽셀 사이의 절대 차이를 포함하는 항들을 포함한다.

도 5는 단일 입력 이미지의 입력 픽셀의 선택을 개략적으로 도시하는데, 제1 입력 픽셀(103)과 교차점(100)간의 제1 거리(501)와 제2 입력 픽셀(112)과 교차점간의 제2 거리(502)는 서로 다르고, 제2 입력 픽셀(112)은 제1 입력 픽셀(103)이 대응 픽셀이다. 도 2 내지 도 4와 관련해서 위에서 설명된 것처럼, 입력 픽셀은 일반적으로 교차점 주위에서 대칭적으로 위치된다. 하지만, 이것이 필수적이지는 않 다. 비록 입력 픽셀이 픽셀 쌍의 제각기의 픽셀 사이의 연결 라인의 교차점(100) 주위에 위치되지만, 선택된 픽셀과 교차점 간의 거리가 서로 다르다는 것이 도 5에서 설명된다. 바람직하게, 픽셀 쌍의 양쪽 모든 픽셀의 선택 가중화 인수는 서로 동일하다. 선택 가중화 인수는 도 5에서 볼 수 있는 것처럼, 교차점(100)으로의 제각기의 거리에 달려 있다.

도 6은 본 발명에 다른 입력 픽셀의 대안적인 선택을 개략적으로 도시한다. 도 6은 제1 그룹의 픽셀이 필연적으로 단일 행 또는 열상에 위치되지 않는다는 것을 명백히 보여준다. 다른 말로 하면, 제1 그룹의 픽셀은 두 개의 공간적 차원에서 확산될 수 있고, 또한 제2 그룹의 픽셀은 이러한 두 개의 공간적 차원에서 확산될 수 있다. 도 6에서 도시된 교차점(100)은 다수의 입력 픽셀(601-612)에 의해 둘러 싸여 있다. 중앙에서의 보간된 출력 픽셀의 값은 그것을 둘러 싸고 있는 12개의 가중화된 픽셀(601-612)의 중앙적인 가중화된 중앙값이다. 픽셀의 대칭쌍에 주어진 가중치는 각 쌍에서 픽셀 사이의 절대 차이와 교차점(100)으로의 상대적인 거리에 의해 결정된다.

도 7은 입력 샘플의 선택을 개략적으로 도시하며, 다수의 입력 샘플(701-704)은 입력 샘플의 사본이고, 다른 수의 입력 샘플(705, 706)은 입력 픽셀의 추가적인 사본을 평균함으로써 계산된다. 중앙에서 보간된 출력 픽셀의 값은 이 픽셀을 에워싸고 있는 6개의 가중화된 픽셀의 중앙 가중화된 중앙값이다. 픽셀의 대칭쌍에 주어진 가중치는 교차점(100)으로의 상대적인 거리에 의해 결정되고, 보간된 픽셀(705, 706)(회색으로 표시된 픽셀)에 대해서보다 원래의 픽셀(701-704)(흑색으로 표시된 픽셀)에 대해 더 높다.

도 8은 본 발명에 따른 보간 유닛(800)을 개략적으로 도시한다. 보간 유닛(800)은:

- 제1 그룹의 픽셀과 제2 그룹의 픽셀을 포함하는 입력 픽셀을 선택하기 위한 입력 픽셀 선택 수단(802); 및

- 입력 픽셀의 세트를 기초로 해서 출력 픽셀 값을 결정하기 위한 순서 통계적 필터링 수단(804)를 포함한다.

보간 유닛(800)은 그 입력 연결기(806)에서 입력 이미지를 제공받고, 출력 연결기(808)에서 출력 이미지를 제공하기 위해 배열된다. 보간 유닛(800)은 순서 통계적 필터링을 위한 샘플의 세트를 생성하기 위해 적절한 입력 픽셀을 선택하기 위해 배열된다. 샘플의 세트는 제1 그룹의 픽셀과 제2 그룹의 픽셀의 제각기의 입력 픽셀에 의해 형성되는 입력 픽셀의 라인 연결 쌍이 출력 픽셀이 위치되는, 출력 이미지 내의 위치에 대응하는 입력 이미지 내의 위치에서 교차하는 것을 특징으로 한다.

샘플의 세트를 생성하는 것과 순서 통계적 필터링의 예가 도 2 내지 도 7과 관련해서 설명된다.

입력 픽셀 선택 수단(802)과 순서 통계적 필터링 수단(804)은 하나의 프로세서를 사용해서 구현될 수 있다. 정상적으로, 이러한 기능은 소프트웨어 프로그램 제품의 제어하에 수행된다. 실행 동안, 정상적으로, 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되고, 거기서 실행된다. 프로그램은 ROM, 하드디스크, 또 는 자기 및/또는 광 저장 장치와 같은 주변 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 응용 특정한 집적 회로는 개시된 기능을 제공한다.

도 9는 본 발명에 따른 이미지 처리 장치(900)를 개략적으로 도시하는데, 이 장치는:

- 입력 이미지를 표현하는 신호를 수신하기 위한 수신 수단(902);

- 도 8과 관련해서 설명된 보간 유닛(800); 및

보간 유닛(800)의 출력 이미지를 디스플레이 하기 위한 디스플레이 디바이스(904)를 포함한다. 이러한 디스플레이 디바이스(904)는 선택 사항이다.

신호는 안테나와 케이블을 통해 수신된 방송 신호일수 있지만, VCR(Video Cassette Recorder: 비디오 카세트 기록기) 또는 디지털 다용도 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수 있다. 신호는 입력 연결기(904)에서 제공된다. 입력 처리 장치(900)는 예를 들면, TV일 수 있다. 대안적으로 입력 처리 장치(900)는 선택적인 디스플레이 디바이스를 포함하지 않으나, HD 이미지를 디스플레이 디바이스(904)를 포함하는 장치에 제공한다. 그러면, 이미지 처리 장치(900)는 예를 들면, 셋톱 박스, 위성-동조기, VCR 재생기 또는 DVD 재생기일 수 있다. 하지만, 이 장치는 또한 영화 스튜디오 또는 방송국에 의해 적용되는 시스템일 수 있다.

상기 언급된 실시예는 본 발명을 제한하는 것이 아니라 설명하는 것이고, 당업자는 첨부된 청구항들의 범위를 벗어남이 없이 대안적인 실시예를 설계할 수 있 다는 것이 주목되어야 한다. 청구항들에서, 괄호 사이에 기재된 참조 기호는 청구항을 제한하는 것으로 해석되지 말아야 한다. 용어 "포함하는"은 청구항에서 열거되지 않은 소자 또는 단계의 존재를 배제하지 않는다. 요소의 단수 표기는 이러한 요소의 복수의 존재를 배제하지 않는다. 본 발명은 다수의 구별된 소자를 포함하는 하드웨어와 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 다수의 수단을 열거하는 유닛 청구항들에서, 다수의 이러한 수단은 하드웨어의 하나의 동일한 항목에 의해 구현될 수 있다. 제1, 제2 및 제3 등과 같은 단어의 사용은 임의의 순서를 지정하지 않는다. 이러한 단어는 명칭으로서 해석되어야 한다.

본 발명은 홀수의 입력 이미지로부터 선택되는 입력 픽셀의 세트의 입력 픽셀 값을 기초로 출력 이미지의 출력 픽셀 값을 계산하기 위한 보간 유닛에 이용가능하다.

Claims

입력 픽셀(101-114)의 세트의 입력 픽셀 값을 기초로 출력 이미지의 출력 픽셀 값을 계산하기 위한 보간 유닛(800)으로서,

홀수의 입력 이미지로부터 선택되는 보간 유닛에 있어서,

- 제1 그룹의 픽셀(101-107)과 제2 그룹의 픽셀(108-114)을 포함하는 상기 입력 픽셀을 선택하기 위한 입력 픽셀 선택 수단(802)으로서, 입력 픽셀(103, 113)의 쌍을 연결하는 라인(115, 116)은 제1 그룹의 픽셀(101-107)의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀(108-114)은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치(100)에서 교차하는, 입력 픽셀 선택 수단; 및

- 입력 픽셀(101-114)의 세트를 기초로 해서 상기 출력 픽셀 값을 결정하기 위한 순서 통계적 필터링 수단(804)를 포함하는, 보간 유닛.
제1항에 있어서, 상기 순서 통계적 필터링 수단은 중앙 가중화된 중앙값 필터인, 보간 유닛.
제2항에 있어서, 특별한 입력 이미지에서 상기 위치(100)에 상대적으로 근접하게 위치된 입력 픽셀(104,111)의 쌍의 제1 픽셀은 상기 특별한 입력 이미지에서 상기 위치(100)로부터 상대적으로 멀리 위치된 입력 픽셀(101-114)의 쌍의 제2 픽 셀과 비교하여 상대적으로 높은 가중치를 갖는, 보간 유닛.
제1항 내지 제3항 중의 어느 한 항에 있어서, 픽셀(101-107)의 제1 그룹은 상기 특별한 입력 이미지내의 상기 위치(100) 위에 위치된 특별한 입력 이미지의 제1 행으로부터 선택되고, 픽셀(108-114)의 제2 그룹은 상기 특별한 입력 이미지내의 상기 위치(100) 아래에 위치된 특별한 입력 이미지의 제2 행으로부터 선택되는, 보간 유닛.
제1항 내지 제4항 중의 어느 한 항에 있어서, 입력 픽셀(101-114)의 상기 세트는 상기 특별한 입력 이미지(n)에 시간적으로 선행하는 이전 입력 이미지(n-1)로부터 선택되는 입력 픽셀(201-207)과 상기 특별한 입력 이미지(n)에 시간적으로 후속하는 다음 입력 이미지(n+1)로부터의 입력 픽셀(208-214)을 더 포함하는, 보간 유닛.
제5항에 있어서, 상기 추가된 입력 픽셀(201-207)은 상기 특별한 입력 이미지(n)에서의 제3 행에 대응하는 상기 이전 입력 이미지(n-1)의 제1 행으로부터 선택되고, 여기서 상기 위치(100)는 상기 특별한 입력 이지미(n)에서의 제3 행에 대응하는 다음 입력 이미지(n+1)의 제1 행에 위치되고 선택되는, 보간 유닛.
제6항에 있어서, 제1 순서 통계적 필터의 제1 출력과 제2 순서 통계적 필터 의 제2 출력의 평균을 계산하여 상기 출력 픽셀 값을 계산하기 위해 배열되는, 보간 유닛.
제7항에 있어서,

- 제1 순서 통계적 필터의 입력은 픽셀의 제1 그룹의 제1 픽셀(104)과, 픽셀의 제2 그룹의 제1 픽셀(111)과 이전 입력 이미지의 제1 행의 픽셀(201-207)의 제1 픽셀(203)을 포함하고,

- 제2 순서 통계적 필터의 입력은 픽셀의 제1 그룹의 제1 픽셀(104)과, 픽셀의 제2 그룹의 제1 픽셀(111)과 다음 입력 이미지의 제1 행의 픽셀(208-214)의 제1 픽셀(212)을 포함하는, 보간 유닛.
제8항에 있어서, 상기 이전 이미지의 제1 행의 픽셀(201-207)의 제1 픽셀(203)과 다음 이미지의 제1 행의 픽셀(208-214)의 제1 픽셀(212)은 상기 위치(100) 근처에 대칭적으로 위치되는, 보간 유닛.
제7항 내지 제9항 중의 어느 한 항에 있어서, 제1 순서 통계적 필터는 제1의 3-탭 중앙값 필터이고, 제2 순서 통계적 필터는 제2의 3-탭 중앙값 필터인, 보간 유닛.
제10항에 있어서, 상기 이전 입력 이미지의 제1 행의 픽셀(201-207)의 제1 픽셀(203)은 에러 기준의 최소화를 기초로 선택되는, 보간 유닛.
이미지 처리 장치(900)로서,

- 이미지를 표현하는 이미지 신호를 수신하기 위한 수신 수단(902); 및

- 홀수의 입력 이미지로부터 선택된 입력 픽셀(101-114)의 세트의 입력 픽셀 값을 기초로 출력 이미지를 계산하며, 제1항 내지 제11항 중의 어느 항에 기재된 보간 유닛(800)을 포함하는,

이미지 처리 장치.
입력 픽셀(101-114)의 세트의 입력 픽셀 값을 기초로 출력 이미지의 출력 픽셀 값을 계산하여 보간하는 방법으로서,

홀수의 입력 이미지로부터 선택되는, 보간하는 방법에 있어서,

- 제1 그룹의 픽셀(101-107)과 제2 그룹의 픽셀(108-114)을 포함하는 상기 입력 픽셀을 선택하는 단계로서, 입력 픽셀(103, 113)의 쌍을 연결하는 라인(115, 116)은 제1 그룹의 픽셀(101-107)의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀(108-114)은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치(100)에서 교차하는, 입력 픽셀을 선택하는 단계; 및

- 입력 픽셀(101-114)의 세트를 순서 통계적 필터링함으로써 상기 출력 픽셀 값을 결정하는 단계를 포함하는, 보간하는 방법.
컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품으로서,

홀수의 입력 이미지로부터 선택되는 입력 픽셀(101-114)의 세트의 입력 픽셀 값을 기초로 해서 출력 이미지의 출력 픽셀 값을 보간하기 위한 명령어들을 포함하하고, 상기 컴퓨터 장치는 처리 수단과 메모리를 포함하며, 상기 컴퓨터 프로그램 제품은 로딩된 후에:

- 제1 그룹의 픽셀(101-107)과 제2 그룹의 픽셀(108-114)을 포함하는 상기 입력 픽셀을 선택하는 동작으로서, 픽셀(103, 113)의 쌍을 연결하는 라인(115, 116)은 제1 그룹의 픽셀(101-107)의 제각기의 입력 픽셀에 의해 형성되고, 제2 그룹의 픽셀(108-114)은 출력 픽셀이 위치된 상기 출력 이미지에서의 위치에 대응하는 특별한 입력 이미지에서의 위치(100)에서 교차하는, 입력 픽셀을 선택하는 동작; 및

- 입력 픽셀(101-114)의 세트를 순서 통계적 필터링함으로써 상기 출력 픽셀 값을 결정하는 동작을 수행하기 위한 능력을 구비한 상기 처리 수단을 제공하는, 컴퓨터 프로그램 제품.