KR20060069443A - 보간된 이미지들의 후처리 - Google Patents
보간된 이미지들의 후처리 Download PDFInfo
- Publication number
- KR20060069443A KR20060069443A KR1020067002371A KR20067002371A KR20060069443A KR 20060069443 A KR20060069443 A KR 20060069443A KR 1020067002371 A KR1020067002371 A KR 1020067002371A KR 20067002371 A KR20067002371 A KR 20067002371A KR 20060069443 A KR20060069443 A KR 20060069443A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sum
- group
- input image
- pixel values
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
본 발명은 입력 이미지를 출력 이미지로 변환하는 이미지 변환 유닛(100)을 개시한다. 이미지 변환 유닛(100)은: 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 제 1 계산 수단(104); 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 제 2 계산 수단(102)으로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되는, 상기 제 2 계산 수단(102); 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 결합 수단(106); 및 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 수단(108)으로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 수단(108)을 포함한다.
입력 이미지, 출력 이미지, 이미지 변환 유닛, 인터레이싱 유닛, 디-인터레이싱 유닛
Description
본 발명은 입력 이미지를 출력 이미지로 변환하는 이미지 변환 유닛에 관한 것이다.
본 발명은 또한 이미지 처리 장치로서:
입력 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단; 및
입력 이미지들 중 제 1 이미지를 출력 이미지로 변환하는 이미지 변환 유닛을 포함하는, 상기 이미지 처리 장치에 관한 것이다.
본 발명은 또한 입력 이미지를 출력 이미지로 변환하는 방법에 관한 것이다.
본 발명은 또한 컴퓨터 장치에 의하여 로딩되고 입력 이미지를 출력 이미지로 변환하는 명령들을 포함하는 컴퓨터 프로그램 제품에 관한 것이며, 컴퓨터 장치는 처리 수단 및 메모리를 포함한다.
인터레이싱(interlacing)은 홀수 또는 짝수 이미지 라인들을 교번으로 전송하는 공통 비디오 방송 과정이다. 디-인터레이싱(de-interlacing)은 전체 수직 해상도를 복원하려 시도하며, 즉 각각의 이미지에 대하여 동시에 이용 가능한 홀수 및 짝수 라인들을 형성한다. 인터레이싱된 비디오 신호들의 순차 주사된 신호들로의 변환에서, 다양한 방법들이 최근 몇 십년동안 제안되었다. 디-인터레이싱의 도 입은 명칭 "디-인터레이싱-개요", Gerard de Haan 및 Erwin Bellers 저, IEEE(1998)의 회보에서 찾을 수 있다.
최고의 이미지 품질을 제공하는 알고리즘들은, 공간 차원(에지-종속 보간) 또는 시간 차원(모션-보상 보간)에서 발견된 최대 상관관계에 보간법을 적응시킨다. 현재 가장 진보된 방법들은 모션 보상 및 방향 적응을 적용한다. 이들 방법들의 단점은, 방법들이 모션 벡터 및/또는 에지-방향 에러들(edge-orientation errors)을 유발하는 경향이 있다는 것이다. 결과로서, 심각한 아티팩트들(artifacts)이 발생할 수 있다.
본 발명의 목적은 화소값들의 보간에 의하여 유발되는 아티팩트들을 감소시키도록 구성되는, 전술한 종류의 이미지 변환 유닛을 제공하는데 있다.
이러한 본 발명의 목적은 이미지 변환 유닛에 의하여 달성되며, 이러한 이미지 변환 유닛은:
- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합(weighted sum)을 계산하는 제 1 계산 수단;
- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 제 2 계산 수단으로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되며, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 제 2 계산 수단;
- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 결합 수단; 및
- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 수단(clipping means)으로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 수단을 포함한다.
바람직하게, 제 1 계산 수단은 저역 통과 필터에 대응한다. 제 2 계산 수단은 필터 계수들의 합이 0과 동일하기 때문에 고역 통과 필터에 대응한다. 아티팩트들의 감소, 즉 부적절하게 보간된 값들의 적응은, 입력 이미지의 오리지날 값들의 저역 통과 필터링에 의하여 유도되는 다른 값들과 보간된 값들의 고역 통과 필터링에 의하여 유도된 값들을 결합함으로써 달성된다. 다시 말해서, 입력 이미지의 저주파수 부분은 보간된 값들의 고주파수 부분의 증폭된 버전에 가산된다. 증폭은 적절한 필터 계수들을 적용한 결과이다. 제안된 연산들의 결과로서, 어떠한 저주파수 아티팩트들도 출력 이미지에서 발생할 수 없다. 잠재적인 언더슈트들 및 오버슈트들은 클립핑 수단에 의하여 제거된다.
바람직하게, 화소값들의 제 3 그룹 및 화소값들의 제 4 그룹은 상호 동일하다. 전형적으로, 화소값들의 제 3 그룹은 고려중인 보간된 값에 인접하는 화소들에 속하는 20개 이하의 값들을 포함한다.
본 발명에 따른 이미지 필터 유닛의 실시예는 추가 입력 이미지의 추가 화소값들에 기초하여 보간된 값들을 계산하는 보간 유닛을 더 포함한다. 보간 유닛은 디-인터레이싱 유닛일 수 있다. 선택적으로, 보간 유닛은 공간 상향-변환 유닛(spatial up-conversion unit)이다. 공간 상향-변환 기술은, 예를 들면 표준 선명(SD) 비디오 자료가 고선명(HD) 텔레비전(TV) 디스플레이들 상에서 시청될 수 있도록 한다. 종래의 선형 기술에 부가하여, 이러한 상향-변환을 달성하기 위하여 다수의 비선형 알고리즘들이 제안되었다. 때때로, 이들 기술들은 콘텐츠 기반, 콘텐츠 적응 또는 에지 종속 공간 상향-변환으로서 언급된다. 다수의 이들 상향-변환 기술들은 명칭 "Towards an overview of spatial up-conversion techniques", Meng Zhao 등 저, ISCE 2002, Erfurt, Germany, 23-26 September 2002의 회보에 개시되어 있다.
또한, 이미지 변환 유닛은 보간 유닛, 예를 들면 디-인터레이싱 유닛 또는 공간 상향-변환 유닛을 포함하지 않으나, 그러한 보간 유닛에 접속되고 후처리의 일 종류로서 아티팩트들의 감소를 수행한다.
본 발명에 따른 이미지 필터 유닛의 실시예에서, 제 2 계산 수단의 필터 계수들은 고정, 즉 미리 결정된다. 이들 필터 계수들은, 보간된 값들의 고주파수 부분에 대한 증폭이 수행되도록 결정된다. 클립핑 수단으로 인하여, 오버슈트 또는 언더슈트의 위험성이 존재하지 않는다. 그러나, 선택적으로, 필터 계수들은 제어가능할 수 있다. 그러므로, 본 발명에 따른 이미지 필터 유닛의 실시예는, 보간 유닛의 제어 신호에 기초하여 필터 계수들을 제어하는 제어 수단을 포함한다. 본 발명에 따른 이러한 실시예의 장점은 아티팩트들의 감소를 개선하는 것이다.
보간을 제어하는 파라미터들의 품질은 아티팩트들의 확률에 관련된다. 예를 들면, 모션 보상 디-인터레이싱의 경우에, 모션 벡터들의 정확성은 순차 출력 이미지의 품질, 즉 보간된 화소값들의 적합성에 대하여 중요하다. 이 경우에, 필터 계수들을 제어하기 위하여 모션 벡터들의 품질에 대한 지식을 적용하는 것이 유리하다. 모션 벡터의 품질을 나타내는 파라미터는 매치 에러이다. 전형적인 모션 추정 유닛은 제 1 이미지의 화소값들 및 제 2 이미지의 추가 화소값들 간의 차이의 합에 기초하여 모션 벡터를 추정하도록 구성된다. 매치 에러는 차의 절대합(Sum of Absolute Difference; SAD)일 수 있다. 바람직한 모션 추정은 "True-Motion Estimation with 3-D Recursive Search Block Matching" by G.de Haan et.al. in IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379에 개시되어 있다.
에지-종속 보간의 경우에, 필터 계수들을 제어하기 위하여 추정된 에지들의 품질에 대한 지식을 적용하는 것이 유리하다.
본 발명에 따른 이미지 필터 유닛의 실시예에서, 최소값은 최소값을 가진 화소값들의 제 3 그룹의 특정 화소값과 동일하다. 또한, 최소값은, 상대적으로 낮은 값들을 가진 제 3 그룹의 다수의 화소값들을 평균함으로써 계산된다. 최대값의 설정은 비록 최대값들에 기초할지라도 유사한 방식에 기초하는 것이 바람직하다.
본 발명의 다른 목적은, 화소값들의 보간에 의하여 유발되는 아티팩트들을 감소시키도록 구성된 전술한 종류의 이미지 처리 장치를 제공하는데 있다.
본 발명의 목적은 이미지 변환 유닛에 의하여 달성되며, 이러한 이미지 변환 유닛은:
- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 제 1 계산 수단;
- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 제 2 계산 수단으로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되며, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 제 2 계산 수단;
- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 결합 수단; 및
- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 수단으로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 수단을 포함한다.
이미지 처리 장치는 선택적으로 제 2 이미지를 디스플레이하는 디스플레이 장치를 포함한다. 이미지 처리 장치는 TV, 셋톱박스, 위성 튜너, VCR(비디오 카세트 레코더) 플레이어, 또는 DVD(디지털 다용도 디스크) 플레이어일 수 있다.
본 발명의 또 다른 목적은 화소값들의 보간에 의하여 유발되는 아티팩트들이 감소되는 전술한 종류의 방법을 제공하는데 있다.
이러한 본 발명의 목적은 상기 방법에 의하여 달성되며, 상기 방법은:
- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 단계;
- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 단계로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되고, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 계산 단계;
- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 단계; 및
- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 단계로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 단계를 포함한다.
본 발명의 또 다른 목적은, 화소값들의 보간에 의하여 유발된 아티팩트들이 감소되는 전술한 종류의 컴퓨터 프로그램 제품을 제공하는데 있다.
이러한 본 발명의 목적은 상기 컴퓨터 프로그램 제품에 의해 달성되며, 상기 컴퓨터 프로그램 제품은 로딩된 후:
- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 단계;
- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 단계로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되고, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 계산 단계;
- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 단계; 및
- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 단계로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 단계를 수행하는 능력을 상기 처리 수단에 제공한다.
이미지 변환 유닛의 수정들 및 변형들은 상술된 이미지 처리 장치, 이미지 처리방법, 및 컴퓨터 프로그램 제품의 수정들 및 변형들에 대응할 수 있다.
본 발명에 따른 이미지 변환유닛, 이미지 처리 장치, 이미지 처리방법 및 컴퓨터 프로그램 제품의 이들 및 다른 특징들은 후술되는 구현 및 실시예와 첨부 도면들을 참조하여 더욱 명백해질 것이다.
도 1A는 본 발명에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시한 도면.
도 1B는 다수의 입력 및 출력 샘플들을 가진 도 1A의 이미지 변환 유닛을 개략적으로 도시한 도면.
도 2는 고역 통과 필터를 제어하는 제어 유닛을 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시한 도면.
도 3은 곱셈 유닛을 포함하는 본 발명에 따른 이미지 변환 유닛의 대안 실시 예를 개략적으로 도시한 도면.
도 4는 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시한 도면.
도면 전반에 걸쳐, 동일한 도면 부호들은 유사한 부분들을 나타낸다.
도 1은 본 발명에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시하며, 여기서 이미지 변환 유닛(100)은 디-인터레이싱 유닛(110) 및 병합 유닛(merging unit)(112)에 접속된다. 디-인터레이싱 유닛은 특정 비디오 필드에 대하여 손실 화소들에 대한 값들을 계산한다. 예를 들면, 이미지의 짝수 라인들에 대응하는 비디오 필드에 대하여, 홀수 라인들에 대응하는 화소값들이 손실되며, 즉 입력 이미지의 샘플링 그리드에서 대응하는 공간 위치들에 대한 화소값들이 존재하지 않는다. 이들 손실 화소값들은, 현재의 비디오 필드의 화소값들에 대한 보간에 의하여 근사화된다. 이는 예를 들면 값이 계산되어야 하는 공간 위치 위 및 아래의 라인들로부터 선택된 화소값들이 보간을 위한 입력으로서 사용된다는 것을 의미한다. 선택된 실제 화소값들은 이미지에서 검출된 에지에 기초할 수 있다. 바람직하게, 시간 환경에서 화소값들이 보간을 위하여 적용된다. 바람직하게, 이전 비디오 필드로부터의 화소값들 및 모션 벡터들은 후자 형태의 보간에 대한 입력으로서 사용된다.
병합 유닛(112)은, 입력 이미지의 홀수 또는 짝수 비디오 라인들 중 하나에 대응하는 오리지날 화소값들과 출력 이미지의 짝수 또는 홀수 라인들에 대응하는 이미지 변환 유닛(100)에 의하여 계산된 값들을 결합함으로써 출력 이미지를 구성한다.
이미지 변환 유닛(100)은:
- 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 저역 통과 필터(104);
- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 고역 통과 필터(102);
- 제 1 가중합 및 제 2 가중합을 결합함으로써 제 3 합을 계산하는 가산 유닛(106); 및
- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 유닛(108)을 포함한다.
저역 통과 필터(104)의 출력 ILF(y,n)은 이하에 수식(1)에 규정된다.
여기서 O(y,n)는 비디오 신호에서 원래 이용 가능한 라인들로부터의 샘플이며, y는 수직 위치, 즉 순차 프레임의 라인 수, 즉 출력 이미지를 지시하며, n은 이미지 번호를 지시한다. 저역 통과 필터링이 고려대상인 화소 위 및 아래에 배치된 4 화소들의 값들에 기초한다는 것이 수식(1)로부터 유도된다.
고역 통과 필터(102)의 출력 IHF(y,n)은 이하의 수식(2)에 규정된다.
여기서, Ii(y,n)은 디-인터레이싱 유닛(10)으로부터 획득된 보간된 샘플이다. 고역 통과 필터링이 3 화소값들에 기초한다는 것이 수식(2)으로부터 유도될 수 있다. 특정 화소의 필터링된 값은 특정 화소, 즉 특정 화소 위에 배치된 화소 및 특정 화소 아래에 배치된 화소에 기초한다.
고역 통과 필터(102)의 출력 및 저역 통과 필터의 출력은, 제 1 가중합 및 제 2 가중합을 결합함으로써 제 3 합을 계산하는 가산 유닛(106)에 접속된다.
가산 유닛(106)의 출력은 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 유닛(108)에 접속된다. 최소값 및 최대값은 보간된 샘플의 위 및 아래의 라인으로부터 선택된 화소값들의 그룹으로부터 유도된다. 바람직하게, 그룹의 화소들은 미리 결정된 거리보다 수평위치에서 더 편향되지 않으며, 예를 들면 수평 방향에서 +/-3 샘플들이다. 클립핑 유닛(108)의 클립핑 연산은 이하의 수식(3)에 규정된다.
여기서,
저역 통과 필터(104), 고역 통과 필터(102), 가산 유닛(106) 및 클립핑 유닛(108)은 하나의 프로세서를 사용하여 구현될 수 있다. 이미지 변환 유닛(100) 외 에, 디-인터레이싱 유닛(110) 및 병합 유닛(112)은 하나의 프로세서를 사용하여 구현될 수 있다. 보통, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에서 수행된다. 실행 동안, 보통 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되며 메모리로부터 실행될 수 있다. 프로그램은 ROM, 하드 디스크 또는 자기 및/또는 광 저장 장치와 같은 배경 메모리로부터 로딩될 수 있거나, 또는 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 주문형 집적 회로는 개시된 기능을 제공한다.
도 1B는 다수의 입력 및 출력 샘플들을 가진 도 1A의 이미지 변환 유닛을 개략적으로 도시한다. 특정 출력 샘플 I(y,n)은 7개의 입력 샘플들의 가중합에 기초하여 계산된다. 선택적으로, 이의 값들에 따라, 출력 샘플은 추가 입력샘플들, 예를 들면 이하의 수식을 포함하는 세트로부터의 입력샘플들에 기초하여 클립핑된다.
도 1A 및 도 1B와 관련하여 기술된 이미지 변환 유닛(100)은 디-인터레이싱 유닛(110)에 접속되며, 수직 방향에서 1차원 필터링을 수행하도록 구성된다. 본 발명에 따른 대안 실시예는 수평 방향에서 1차원 필터링을 수행하도록 구성되며, 본 발명에 따른 다른 실시예는 수평 방향 및 수직 방향에서 2차원 필터링을 수행하도록 구성된다. 후자의 실시예는, 입력 이미지를 높은 공간 해상도를 가진 출력 이미지로 변환하도록 구성된 공간 상향-변환 유닛과 관련하여 적용될 수 있다.
도 2는, 고역 통과 필터(102)를 제어하는 제어 유닛(202)을 포함하는 본 발 명에 따른 이미지 변환 유닛(200)의 실시예를 개략적으로 도시한다. 제어 유닛(202)은 보간 유닛, 예를 들면 디-인터레이싱 유닛(110)에 의하여 제공된 제어 신호에 기초하여 고역 통과 필터(102)에 대한 필터 계수들을 계산하도록 구성된다. 제어 신호는 모션 벡터들의 추정치 또는 이미지 에지의 추정치로부터 유도될 수 있다. 제어 유닛(202), 저역 통과 필터(104), 고역 통과 필터(102), 가산 유닛(106) 및 클립핑 유닛(108)은 하나의 프로세서를 사용하여 구현될 수 있다.
도 3은 곱셈유닛(302)을 포함하는 본 발명에 따른 이미지 변환 유닛(300)의 대안 실시예를 개략적으로 도시한다. 곱셈유닛(302)은 제어 유닛(202)에 의하여 제공되는 이득을 고역 통과 필터링된 신호 IHF(y,n)에 곱하도록 구성된다. 도 2와 관련하여 기술된 바와 같이 고역 통과 필터(102)에 대한 필터 계수들을 조절함으로써 이득의 조절에 의하여 동일한 효과가 달성될 수 있다는 것에 유의해야 한다. 곱셈유닛(302), 제어 유닛(202), 저역 통과 필터(104) 및 고역 통과 필터(102), 가산 유닛(106) 및 클립핑 유닛(108)은 하나의 프로세서를 사용하여 구현될 수 있다.
도 4는 본 발명에 따른 이미지 처리 장치(400)의 실시예를 개략적으로 도시하며, 이러한 이미지 처리 장치는:
- SD 이미지들을 나타내는 신호를 수신하는 수신 수단(402);
- 도 1A, 도 1B, 도 2 및 도 3과 관련하여 각각 기술된 이미지 처리 구성요소들(110, 112, 100, 200, 300)의 결합(404); 및
- 이미지 처리 구성요소들의 결합(404)의 HD 출력 이미지들을 디스플레이하 는 디스플레이 장치(406)를 포함한다. 이러한 디스플레이 장치(406)는 선택적이다.
신호는 안테나 또는 케이블을 통해 수신된 방송신호일 수 있으나 VCR(비디오 카세트 레코더) 또는 디지털 다용도 디스크(DVD)와 같은 저장 장치로부터의 신호일 수 있다. 신호는 입력 커넥터(408)에 제공된다. 이미지 처리 장치(400)는, 예를 들면 TV일 수 있다. 대안적으로, 이미지 처리 장치(400)는 선택적 디스플레이 장치를 포함하지 않으나 디스플레이 장치(406)를 포함하는 장치에 HD 이미지들을 제공한다. 그 다음에, 이미지 처리 장치(400)는, 예를 들면 셋톱박스, 위성-튜너, VCR 플레이어 또는 DVD 플레이어일 수 있다. 그러나, 이미지 처리 장치(400)는 또한 영화 촬영소 또는 방송자에 의하여 제공된 시스템일 수 있다.
앞서 언급된 실시예들은 본 발명을 제안하지 않으며 당업자는 첨부된 청구항들의 범위를 벗어나지 않고 대안 실시예들을 설계할 수 있다는 것을 유의해야 한다. 청구항들에서, 괄호 사이에 삽입된 도면 부호들은 청구항을 제한하지 않는다. 용어 "포함한다"는 청구항에 리스트되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 단수 요소는 복수 요소의 존재를 배제하지 않는다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어 및 적절하게 프로그래밍된 컴퓨터에 의하여 구현될 수 있다. 여러 요소를 나열하는 단일성 청구항들에서, 다수의 수단들 중 여러 수단은 하나의 하드웨어 및 하드웨어의 동일한 사항에 의하여 구현될 수 있다.
Claims (12)
- 입력 이미지를 출력 이미지로 변환하는 이미지 변환 유닛(100, 200, 300)으로서:- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 제 1 계산 수단(104);- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 제 2 계산 수단(102)으로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되며, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 제 2 계산 수단(102);- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 결합 수단(106); 및- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 클립핑 수단(108)으로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 수단(108)을 포함하는, 이미지 변환 유닛(100, 200, 300).
- 제 1항에 있어서, 추가 입력 이미지의 추가 화소값들에 기초하여 상기 보간된 값들을 계산하는 보간 유닛(110)을 더 포함하는, 이미지 변환 유닛(100, 200, 300).
- 제 2항에 있어서, 상기 보간 유닛(100)은 디-인터레이싱 유닛인, 이미지 변환 유닛(100, 200, 300).
- 제 2항에 있어서, 상기 보간 유닛(110)은 공간 상향-변환 유닛인, 이미지 변환 유닛(100, 200, 300).
- 제 2항에 있어서, 상기 보간 유닛(110)의 제어 신호에 기초하여 상기 필터 계수들을 제어하는 제어 수단(202)을 더 포함하는, 이미지 변환 유닛(100, 200, 300).
- 제 5항에 있어서, 상기 보간 유닛(110)은 모션 벡터들에 기초하여 상기 보간된 값들을 계산하며, 상기 제어 신호는 상기 모션 벡터들에 기초하는, 이미지 변환 유닛(100, 200, 300).
- 제 1항에 있어서, 상기 최소값은 상기 최소값을 가진 화소값들의 제 3 그룹의 특정 화소값과 동일한, 이미지 변환 유닛(100, 200, 300).
- 이미지 처리 장치(400)로서:- 입력 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단(402); 및- 상기 입력 이미지들 중 제 1 이미지를 출력 이미지로 변환하는, 제 2항에 청구된 이미지 변환 유닛(100, 200, 300)을 포함하는, 이미지 처리 장치(400).
- 제 8항에 있어서, 상기 출력 이미지를 디스플레이하는 디스플레이 장치(406)를 더 포함하는 것을 특징으로 하는, 이미지 처리 장치(400).
- 제 9항에 있어서, 상기 이미지 처리 장치는 TV인 것을 특징으로 하는, 이미지 처리 장치(400).
- 입력 이미지를 출력 이미지로 변환하는 방법으로서:- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 단계;- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 단계로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되고, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 계산 단계;- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 단계; 및- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 단계로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 단계를 포함하는, 이미지 변환 방법.
- 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩되고, 입력 이미지를 출력 이미지로 변환하는 명령들을 포함하는 컴퓨터 프로그램 제품으로서,상기 컴퓨터 프로그램 제품은 로딩된 후:- 상기 입력 이미지의 화소들에 대응하는 화소값들의 제 1 그룹의 제 1 가중합을 계산하는 단계;- 보간된 값들의 제 2 그룹의 제 2 가중합을 계산하는 단계로서, 상기 보간된 값들의 제 2 그룹은 상기 입력 이미지의 샘플링 그리드에 존재하지 않는 공간 위치들에 대한 보간에 의하여 계산되고, 상기 제 2 가중합은 필터 계수들에 기초하여 계산되며, 상기 필터 계수들의 합은 실질적으로 0과 동일한, 상기 계산 단계;- 상기 제 1 가중합 및 상기 제 2 가중합을 결합함으로써 제 3 합을 계산하는 단계; 및- 최소값 및 최대값 사이의 제 3 합을 클립핑하는 단계로서, 상기 최소값은 상기 입력 이미지의 화소값들의 제 3 그룹으로부터 유도되고, 상기 최대값은 상기 입력 이미지의 화소값들의 제 4 그룹으로부터 유도되는, 상기 클립핑 단계를 수행하는 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/639,421 | 2003-08-05 | ||
| US10/639,421 US7136107B2 (en) | 2003-08-05 | 2003-08-05 | Post-processing of interpolated images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20060069443A true KR20060069443A (ko) | 2006-06-21 |
Family
ID=34116776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067002371A KR20060069443A (ko) | 2003-08-05 | 2004-07-29 | 보간된 이미지들의 후처리 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7136107B2 (ko) |
| EP (1) | EP1654872A1 (ko) |
| JP (1) | JP2007501560A (ko) |
| KR (1) | KR20060069443A (ko) |
| CN (1) | CN1833440A (ko) |
| WO (1) | WO2005013614A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004016350A1 (de) * | 2004-04-02 | 2005-10-27 | Micronas Gmbh | Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes |
| US20070258653A1 (en) * | 2004-08-10 | 2007-11-08 | Koninklijke Philips Electronics, N.V. | Unit for and Method of Image Conversion |
| DE102006042180A1 (de) * | 2006-09-08 | 2008-03-27 | Micronas Gmbh | Verfahren und Vorrichtung zur Erhöhung der Auflösung einer Datenfolge |
| JP4508279B2 (ja) * | 2008-07-17 | 2010-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| US8228429B2 (en) * | 2008-09-29 | 2012-07-24 | Intel Corporation | Reducing artifacts as a result of video de-interlacing |
| JP5706177B2 (ja) * | 2010-02-09 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 超解像処理装置及び超解像処理方法 |
| JP6117484B2 (ja) * | 2012-06-21 | 2017-04-19 | 株式会社朋栄 | クリップ処理によるｉｐ変換の映像処理方法とそのプログラム及びその映像処理装置 |
| US9258517B2 (en) * | 2012-12-31 | 2016-02-09 | Magnum Semiconductor, Inc. | Methods and apparatuses for adaptively filtering video signals |
| CN105701772B (zh) * | 2014-11-28 | 2019-07-23 | 展讯通信（上海）有限公司 | 一种图像后处理方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4768092A (en) * | 1986-07-23 | 1988-08-30 | Canon Kabushiki Kaisha | Image signal conversion device |
| DE3788997T3 (de) * | 1986-10-31 | 1999-06-24 | British Broadcasting Corp | Interpolation von Zeilen eines Videosignals. |
| JPH02177683A (ja) * | 1988-09-29 | 1990-07-10 | Toshiba Corp | 画素信号の相関判定および補間データ作成装置 |
| US5093721A (en) * | 1990-07-10 | 1992-03-03 | Zenith Electronics Corporation | Line interpolator with preservation of diagonal resolution |
| KR950000440B1 (ko) * | 1991-12-27 | 1995-01-19 | 주식회사 금성사 | 티브이 신호의 주사선 수 2배 증가방법 및 회로 |
| JPH07131761A (ja) * | 1993-10-29 | 1995-05-19 | Toshiba Corp | テレビジョン信号処理回路 |
| US6094232A (en) * | 1998-11-25 | 2000-07-25 | Kabushiki Kaisha Toshiba | Method and system for interpolating a missing pixel using a motion vector |
| US6330032B1 (en) * | 1999-09-30 | 2001-12-11 | Focus Enhancements, Inc. | Motion adaptive de-interlace filter |
| US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
-
2003
- 2003-08-05 US US10/639,421 patent/US7136107B2/en not_active Expired - Fee Related
-
2004
- 2004-07-29 JP JP2006522463A patent/JP2007501560A/ja active Pending
- 2004-07-29 CN CNA2004800224350A patent/CN1833440A/zh active Pending
- 2004-07-29 KR KR1020067002371A patent/KR20060069443A/ko not_active Application Discontinuation
- 2004-07-29 WO PCT/IB2004/051321 patent/WO2005013614A1/en not_active Application Discontinuation
- 2004-07-29 EP EP04744674A patent/EP1654872A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN1833440A (zh) | 2006-09-13 |
| US7136107B2 (en) | 2006-11-14 |
| US20050030424A1 (en) | 2005-02-10 |
| EP1654872A1 (en) | 2006-05-10 |
| WO2005013614A1 (en) | 2005-02-10 |
| JP2007501560A (ja) | 2007-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| JP4103073B2 (ja) | ビデオ信号を変換する方法および装置 | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| JP2006513661A (ja) | バックグラウンド動きベクトル検出方法及び装置 | |
| US7679676B2 (en) | Spatial signal conversion | |
| KR20060069443A (ko) | 보간된 이미지들의 후처리 | |
| KR20070030223A (ko) | 픽셀 보간 | |
| US20080192986A1 (en) | Video Motion Detection | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| KR20050119689A (ko) | 공간 이미지 변환 | |
| US20070258653A1 (en) | Unit for and Method of Image Conversion | |
| US7974342B2 (en) | Motion-compensated image signal interpolation using a weighted median filter | |
| JPH03280681A (ja) | 動きベクトルを用いた動き内挿方法及び装置 | |
| Csillag et al. | Enhancement of video data using motion-compensated postprocessing techniques | |
| KR20090062560A (ko) | 영상 보간 방법 및 장치 | |
| Biswas et al. | Performance analysis of motion-compensated de-interlacing systems | |
| JP3013898B2 (ja) | Ｔｖ信号における動きベクトルを用いた動き内挿方法 | |
| WO2004073313A1 (en) | Spatio-temporal up-conversion | |
| US20060038918A1 (en) | Unit for and method of image conversion | |
| JPH03101389A (ja) | 動画像処理方法 | |
| US20080278624A1 (en) | Video Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |