KR101119169B1

KR101119169B1 - 이미지 표시를 위한 소스 이미지 데이터의 변환 방법

Info

Publication number: KR101119169B1
Application number: KR1020117006495A
Authority: KR
Inventors: 캔다이스 헬렌 브라운 엘리엇; 마이클 프랜시스 히긴스
Original assignee: 삼성전자주식회사
Priority date: 2003-10-28
Filing date: 2004-10-20
Publication date: 2012-03-22
Also published as: CN101339729A; EP1678702A2; JP2011166829A; EP1678702B1; CN100492482C; WO2005045757A2; CN101339728A; JP2007511789A; KR101064188B1; CN101339728B; JP5311741B2; KR20110046544A; KR20060094092A; CN1871634A; US7525526B2; CN101339651A; EP1678702A4; US20050088385A1; CN101339729B; WO2005045757A3

Abstract

제 1 해상도를 가진 소스 이미지 데이터를 수신하고 제 2 서브픽셀 해상도를 가진 디스플레이 상에 대상 이미지 데이터를 렌더링하고 상기 렌더링된 대상 이미지 데이터에 이미지 품질을 개선하는 이미지 처리 시스템이 설명된다.

Description

이미지 표시를 위한 소스 이미지 데이터의 변환 방법{METHOD FOR CONVERTING SOURCE IMAGE DATA FOR DISPLAYING IMAGE}

공동으로 소유된 미국 특허 출원: (1) 2001년 7월 25일 출원된, "단순화된 어드레스 지정을 가진 완전 컬러 이미징 디바이스를 위한 컬러 픽셀 장치"라는 명칭의 미국 특허 출원 번호 제 09/916,232("'232 출원"); (2) 2002년 10월 22일 출원된, "증가된 변조 전환 기능 응답을 가진 서브-픽셀 렌더링을 위한 컬러 완전 평면 디스플레이 서브-픽셀 장치 및 레이아웃에 대한 개선"이라는 명칭의 미국 특허 출원 번호 제 10/278,353("'353 출원"); (3) 2002년 10월 22일 출원된, "분리된 청색 서브-픽셀을 가진 서브-픽셀 렌더링을 위한 컬러 완전 평면 디스플레이 서브-픽셀 장치 및 레이아웃에 대한 개선"이라는 명칭의 미국 특허 출원 번호 제 10/278,352("'352 출원"); (4) 2002년 9월 13일 출원된, "서브-픽셀 렌더링을 위한 개선된 4개의 컬러 장치 및 이미터"라는 명칭의 미국 특허 출원 번호 제 10/243,094("'094 출원"); (5) 2002년 10월 22일 출원된, "감소된 청색 휘도의 양호한 가시도를 컬러 완전 평면 디스플레이 서브-픽셀 장치 및 가진 레이아웃에 대한 개선"이라는 명칭의 미국 특허 출원 번호 제 10/278,328("'328 출원"); (6) 2002년 10월 22일 출원된, "수평 서브-픽셀 장치와 레이아웃을 가진 컬러 디스플레이"라는 명칭의 미국 특허 출원 번호 제 10/278,393("'393 출원"); (7) 2003년 1월 16일 출원된, "스트라이프 디스플레이를 위한 개선된 서브-픽셀 장치, 및 동일한 서브-픽셀 렌더링을 위한 방법 및 시스템"이라는 명칭의 미국 특허 출원 번호 제 01/347,001("'001 출원")에서, 새로운 서브-픽셀 장치가 이미지 디스플레이 디바이스를 위한 비용/성능 곡선을 개선하기 위해 개시되었으며, 이들 출원 각각은 본 명세서에 참조로 병합되어 있다.

수평 방향으로 짝수 개의 서브픽셀을 가지는 그룹을 반복하는 특정 서브픽셀에 대해, 적절한 점 반전(dot inversion) 구조를 수행하기 위한 다음 시스템과 기술이 개시되며, 본 명세서에 참조로 병합된다: (1) "새로운 액정 디스플레이에서 이미지 저하(degradation) 정정"이라는 명칭의 미국 특허 출원 번호 제 10/456,839; (2) "점 반전을 수행하는 교차(crossover) 연결을 가진 디스플레이 패널"이라는 명칭의 미국 특허 출원 번호 제 10/455,925; (3) "표준 구동기 및 새로운 디스플레이 패널 레이아웃 상의 백플레인(backplane)으로 점 반전을 수행하는 시스템 및 방법"이라는 명칭의 미국 특허 출원 번호 제 10/455,931; (4) "감소된 양자화 오류를 가진 고정된 패턴 잡음을 가진 패널 상의 시각적 효과를 보상하기 위한 시스템 및 방법"이라는 명칭의 미국 특허 출원 번호 제 10/455,927; (5) "여분의 구동기를 이용한 새 디스플레이 패널 레이아웃 상의 점 반전"이라는 명칭의 미국 특허 출원 번호 제 10/456,806; (6) "LCD 백플레인 레이아웃 및 비-표준 서브픽셀 장치를 위한 어드레스 지정"이라는 명칭의 미국 특허 출원 번호 제 10/456,838 ; (7) "분리된 청색 서브픽셀을 가진 새로운 LCD에서 이미지 감쇠 정정"이라는 명칭의 미국 출원 번호 {출원인 관리 번호 제 08831.0056.01}.

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 효율적인 이미지 표시를 위한 소스 이미지 데이터의 변환 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 이미지 표시를 위한 소스 이미지 데이터의 변환 방법에서, 상기 소스 이미지 데이터는 대상 해상도를 포함하는 대상 이미지 디스플레이 패널로의 복수의 입력 해상도 중 하나를 포함한다. 상기 방법에 따르면, 상기 입력 해상도 중 하나를 상기 대상 해상도로의 매핑을 수행하는 스케일링 계수를 선택하고, 상기 선택된 스케일링 계수에 대해, 상기 대상 이미지를 복수의 스케일링 반복 셀로 분할하고, 상기 스케일링 계수에 의해 상기 소스 이미지 데이터를 상기 스케일링 반복 셀로 스케일링하는 복수의 필터 커널을 계산하고, 상기 대상 이미지의 상기 스케일링 반복 셀로의 상기 소스 이미지 데이터 상의 보간을 수행한다.

본 발명의 실시예들에 따르면, 멀티-모드 디스플레이를 위한 스케일링을 용이하게 수행할 수 있으며, 이미지의 표시 품질을 개선할 수 있다.

도 1은 보간될 신호의 4개의 입력 샘플을 도시한 도면.
도 2a는 보간될 포인트의 어레이와 샘플 포인트의 어레이를 도시한 도면.
도 2b는 필터링 작동으로서 3차 방정식 보간을 구현하는데 필요한 필터를 도시한 도면.
도 3은 샘플 영역이 정렬된 입력 및 출력 픽셀을 도시한 도면.
도 4는 중심부가 정렬된 입력 및 출력 픽셀을 도시한 도면.
도 5는 입력 출력 픽셀 정렬의 일 실시예를 도시한 도면.
도 6은 임의의 속도로 샘플된 사인 곡선 신호를 도시한 도면.
도 7은 각 샘플된 포인트 사이에 보간된 포인트를 가진 도 6의 신호를 도시한 도면.
도 8은 심한 무아레(moire) 왜곡을 보이는 오직 원래 샘플 포인트만을 사용하여 전체 픽셀에 의해 재구성된 도 6의 신호를 도시한 도면.
도 9는 매우 감소된 무아레 왜곡을 보이는, 도 6의 원래 샘플과 도 7의 보간된 포인트를 모두 사용하여 서브픽셀 렌더링에 의해 재구성된 도 6의 신호를 도시한 도면.
도 10은 심한 무아레(moire) 왜곡을 보이는, 임의의 속도로 샘플되고, 원래 샘플 포인트만을 사용하여 전체 픽셀에 의해 재구성된 이미지 신호를 도시한 도면.
도 11은 도 10의 원래 샘플과 보간된 포인트 모두를 사용하여 서브픽셀 렌더링에 의해 재구성된, 각 샘플된 포인트 사이에 보간된 포인트를 가진 도 10의 이미지 신호를 도시한 도면.
도 12는 보간을 서브픽셀 렌더링 컬러 정정과 조합한 다상 필터의 세트를 도시한 도면.
도 13은 대안적인 서브픽셀 반복 셀 배열을 가진 완전 평면 디스플레이를 도시한 도면.
도 14는 영역 재샘플 서브픽셀 렌더링을 구현하기 위한 다상 필터의 표를 도시한 도면.

이들 개선은 이들 출원 및 본 명세서에 참조로 병합된, 다음의 공동으로 소유된 미국 특허 출원: (1) 2002년 1월 16일 출원된, "RGB 픽셀 형식 데이터의 펜타일(Pentile) 행렬 서브-픽셀 데이터 형식으로 전환"이라는 명칭의, 미국 특허 출원 번호 제 10/051,612("'612 출원");(2) 2002년 5월 17일 출원된, "감마 조정을 이용한 서브-픽셀 렌더링을 위한 방법 및 시스템"이라는 명칭의, 미국 특허 출원 번호 제 10/150,355("355 출원");(3) 2002년 8월 8일 출원된, "적응 필터링을 이용한 서브-픽셀 렌더링을 위한 방법 및 시스템"이라는 명칭의, 미국 특허 출원 번호 제 10/215,843("843 출원");(4) 2003년 3월 4일 출원된, "이미지 데이터의 임시 서브-픽셀 렌더링을 위한 시스템 및 방법"이라는 명칭의, 미국 특허 출원 번호 제 10/379,767;(5) 2003년 3월 4일 출원된, "움직임 적응 필터링을 위한 시스템 및 방법"이라는 명칭의, 미국 특허 출원 번호 제 10/379,765;(6) 2003년 3월 4일 출원된, "개선된 디스플레이 시청 각도를 위한 서브-픽셀 렌더링 시스템 및 방법"이라는 명칭의, 미국 특허 출원 번호 제 10/379,766;(7) 2003년 4월 7일 출원된, "임베디드 사전-서브픽셀 렌더링된 이미지를 가진 이미지 데이터 세트"라는 명칭의, 미국 특허 출원 번호 제 10/409,413에 더 개시된 서브-픽셀 렌더링(SPR) 시스템 및 방법과 연관되어 특히 공표된다.

전영역 전환과 매핑에서의 개선은, 본 명세서에 그 전문이 참조로 병합된, 공동으로 소유되고 공동 계류중인 미국 특허 출원: (1) 2003년 10월 21일 출원된, "색조 각도 계산 시스템 및 방법"이라는 명칭의 미국 특허 출원 번호 {출원인 관리 번호 제 08831.0057}; (2) 2003년 10월 21일 출원된, "소스 컬러 공간에서 RGBW 대상 컬러 공간으로의 전환을 위한 방법 및 장치"라는 명칭의 미국 특허 출원 번호 {출원인 관리 번호 제 08831.0058}; (3) 2003년 10월 21일 출원된, "소스 컬러 공간에서 대상 컬러 공간으로의 전환을 위한 방법 및 장치"라는 명칭의 미국 특허 출원 번호 {출원인 관리 번호 제 08831.0059}; 및 (4) "전영역 전환 시스템 및 방법"이라는 명칭의 미국 특허 출원 번호 {출원인 관리 번호 제 08831.0060}에 개시된다. 본 명세서에 언급된 모든 특허 출원은 그 전문이 참조로 병합된다.

본 명세서에 병합되고 그 일부를 구성하는 첨부 도면은 본 발명의 예시적인 구현과 실시예를 설명하며, 설명과 함께, 본 발명의 원리의 설명을 제공한다.

첨부 도면에 그 예가 도시된, 구현예와 실시예가 이제 상세히 참조될 것이다. 가능하면, 동일한 참조 번호가 동일하거나 유사한 부분을 언급하기 위해 도면 전체에서 사용될 것이다.

도 6에 도시된 것은 나이퀴스트 한계(Nyquist Limit) 이하에서 잘 샘플된 사인 곡선 신호(60)이다. 일부 피크(62)가 샘플되지만(64), 다른 포인트에서, 샘플(66)은 숄더(shoulder) 상에서 취해진다는 것에 주의해야 한다. 이것이 대역-제한된 이미지이므로, 이상적인 광학 이미지 재구성 저역 필터는 원래 사인 곡선을 정확하게 재구성하는데 사용될 수 있으며; 이상적인 필터는 숄더 샘플 사이의 밝거나 어두운 피크를 재구성할 것이다. 수학적으로, 이상적인 필터는 잘 알려진 사인 함수를 사용해 구성될 수 있다. 사인 함수는 양과 음의 구간을 모두 가진다. 이러한 필터가 수학의 이상적인 세상에서 구현될 수 있는 반면, 광학에서, "음의 광"과 같은 것은 존재하지 않으므로, 전자 디스플레이의 실제 세상에서 "이상적" 광학 재구성 필터와 같은 것은 존재하지 않는다. 그러므로, 디스플레이를 위한 실제 세상의 재구성 필터의 부족은 피크가 재구성되지 않는다는 것을 의미하며, 이것은, 무아레(moire)라고 하는 이미지의 왜곡을 초래한다. 도 8은 정사각 전체 픽셀(82)(이미지의 1차원 공간에서, 밝기, 그레이 레벨은 2차원 공간에서 도시됨)에 의해 재구성된(80) 샘플된 사인 곡선(60)을 도시한다. 피크의 숄더 상에서 취해진 샘플 값(66)은 넓고, 평평한 영역으로 재구성된다는 것에 주의해야 한다. 이 왜곡된 이미지 조건은 완전 평면 텔레비전과 다른 시각 디스플레이 제품에서 일반적으로 발견되는 것이다. 시스템에 과도한 비용이나 복잡성을 추가하지 않고 이 무아레를 감소시키거나 제거하는 것이 바람직할 수 있다. 또한 이미지 콘트래스트의 컬러 오류 또는 손실과 같은 원하지 않는 결함을 가져오는 것을 피하는 것이 바람직하다.

무아레는 시청자에게 앨리어싱(aliasing), 즉 앨리어싱 신호를 생성하는 것과 같은 동일한 손상 효과를 가지는 것으로 나타날 수 있지만, 이 둘은 매우 상이하다. 앨리어싱은 샘플될 신호가 나이퀴스트 한계에서 또는 그 이상에서 주파수 성분을 가질 때 발생하며, 이것은 '폴드-오버(fold-over)'를 초래하며, 나이퀴스트 한계 이하의 거짓 신호를 생성한다. 일단 샘플되면, 진짜 신호와 앨리어싱 신호(aliased signal)의 구별은 어렵다. 무아레의 경우에는 그렇지 않다: 무아레는 적절한 재구성 필터를 사용함으로써 샘플된 신호에서 확인되며 필터링될 수 있다. 앨리어싱 신호가 샘플 후에 확인되고 필터링되지 않을 수 있으므로, 샘플 전에 나이퀴스트 한계에 있거나 그 이상의 신호를 삭제하는데 주의를 기울여야 한다. 이것은 "대역-제한된-이미지(band-limited-image)"를 생성한다.

무아레 왜곡은 나이퀴스트 한계 바로 아래의 진짜 신호에 가장 강하게 발생한다. 신호 주파수가 증가하여, 나이퀴스트 한계에 접근함에 따라, 신호 진폭의 일부로서, 파장이 증가할 뿐만 아니라, 무아레 진폭이 증가한다. 이 결과는 진폭 변조된(AM) 신호와 유사하게 보이는 신호이며, 반송파 주파수는 나이퀴스트 한계에 달하며 무아레 공간 주파수는 나이퀴스트 한계 주파수와 샘플되는 신호의 차이다. 역으로, 원래 신호 주파수가 나이퀴스트 한계 이하로 감소됨에 따라, 무아레 공간 주파수가 신호 주파수와 같아질 때까지, 최종 무아레 신호 진폭과 파장은 감소하며, 이 포인트에서, 무아레 왜곡 진폭 변조가 사라진다. 이 포인트 아래에서, 일부 무아레 진폭 변조는 다시 나타날 수 있지만, 진폭은 작을 것이다. 무아레 진폭 변조가 처음 사라지는 포인트는 무아레 한계로서 한정된다. 이것은 나이퀴스트 한계의 1/2이거나, 재구성 포인트 주파수의 1/4이다.

주어진 이미지의 샘플의 수가 대역-한계에서 신호 사이클 당 4개의 샘플 이상으로 증가하면, 이미지는 오직 약간만 필터링되어야 할 것이며, 광학 블러 필터는 현실 세계의 비이상적 광학 재구성 필터로서 작동할 것이다. 실제로, 디스플레이의 재구성 주파수가 충분히 높은 경우, 사람 눈의 광학 특성은 현실 세계의 광학 재구성 필터와 같은 역할을 할 것이다. 이러한 오버-샘플된 원래 이미지의 부재시, 추가 샘플은 임의의 적합한 알고리즘을 사용한 보간에 의해 발견될 것이다. 도 7은 보간된 값(76)이 각 원래 값(66) 사이인, 도 6의 동일한 원래 샘플된 사인 곡선 신호(60)를 도시한다. 원래 샘플(66)이 피크에서 벗어난 경우, 보간된 값(76)은 이로 연장될 수 있다. 이것은 무아레 왜곡을 감소시킨다.

서브픽셀 렌더링을 이용하여, 이미지를 재구성하기 위해 독립적으로 어드레스 지정될 수 있는 포인트의 수는 증가되며, 디스플레이의 물리적 픽셀의 수는 증가하지 않는다. 이로써 도 9에 도시된 것처럼 무아레 한계의 공간 주파수가 증가된다. 예컨대, 녹색 서브픽셀이 숄더 상의 원래 샘플 포인트(66)를 재구성하고 있을 때, 적색 서브픽셀은 피크 근처의 보간된 포인트를 재구성하며, 반대의 경우에도 적용된다. 추가적 광학 '현실 세계' 재구성 필터는 이제 "음의 광"의 필요성이 없이 대역-제한된 이미지를 재구성할 수 있으며, 서브픽셀의 날카로운 모서리를 둥글게하기 위해 단지 약간의 블러를 추가할 필요가 있다.

도 10은 서브픽셀 렌더링이 없이 샘플되고(120) 재구성되는(110) 대역-제한된 이미지(100)의 묘사를 도시한다. 최종 이미지(110)는 "농담이 고르지 않고(blocky)" 조악하다는 것이 주지되어야 한다. 도 11에서, 동일한 이미지(100)는 원래 샘플 포인트(120) 사이에서 보간된 포인트(1120)로 서브픽셀 렌더링을 사용하여 재구성되고 있다(1100). 여기에서, 개선된 이미지 충실도(fidelity)와 감소된 픽셀화(pixelation) 결함이 주목되어야 한다.

원래 샘플 사이의 보간된 포인트를 생성하는 프로세스는 이미지 스케일링의 형태로서 생각될 수 있다. 본 발명의 예의 일부에서, 스케일링 비율은 "하나에서 둘" 또는 2X 스케일링으로 생각될 수 있는데, 그 이유는 각 원래 포인트에 대해 하나의 보간된 포인트가 존재하기 때문이다. 다른 '스케일링 비율'은 본 발명의 범위 내에서 구현될 수 있으며 계획될 수 있다.

이미지 상의 종래 기술의 보간(예, 선형, 쌍-선형, 큐빅, 바이-큐빅, 싱크(sinc), 윈도우된 싱크(windowed sinc) 등)이 일반적으로 주변 픽셀 상의 부동(floating) 포인트 연산을 수반하는 계산적으로 고가의 연산으로 생각된다. 이것은 특히 특정 디스플레이에 맞추기 위한 이미지 데이터의 스케일링(예, 이미지의 업샘플, 다운샘플 그렇지 않으면 재샘플)의 경우 그러하다. 따라서, 대부분의 당업자는 복잡한 다항식을 수행하기 위한 하드웨어를 만드는 방법을 찾는데 집중한다.

본 명세서에 제시된 본 발명의 여러 실시예는 훨씬 적은 계산 강화된 알고리즘과 종래 기술에서 필요한 회로로 가중된 평균으로서 보간 구조를 구현하기 위한 시스템과 방법을 설명한다. 추가적으로, 일단 보간 가중된 평균 계수와 행렬이 결정되면, 이후 본 발명은 다른 이미지 처리 단계(예, 서브픽셀 렌더링 등)로 보간된 데이터를 유리하게 처리하기 위한 방법과 시스템을 설명한다.

반복 셀 대칭을 사용한 보간/데이터 복제

다음 논의는 본 발명의 기술을 예증하기 위한 것이며; 본 발명의 범위를 제한하기 위한 것이 아니다. 논의는 제 1 해상도(예, VGA)를 가진 이미지를 입력하고 수직 및 수평 축 상의 이미지 데이터를 보간하고, 복제하거나 그렇지 않으면 재구성(예, 영역 재샘플을 통해)한 다음 데이터를 서브픽셀 렌더링하기 원하는 디스플레이 시스템을 설명하여- 상기 더 높은 해상도가 제 2 해상도를 가진 종래 기술의 디스플레이보다 더 적은 서브픽셀을 가진 디스플레이 상에 나타난, 추가적 재구성 포인트를 제공하는 한, 최종 이미지는 효율적으로 더 높은 제 2 해상도에 있도록 한다. 그러나, 본 발명의 범위는 반복 셀 대칭을 사용하여 보간을 처리하기 위한 다른 시스템 및 방법을 포함하고, SPR과 같이, 다른 이미지 처리 방법과 함께 이들 보간 방법을 효과적으로 사용할 정도로 충분히 넓다.

이미지 데이터를 스케일링하고 서브픽셀 렌더링하기 위한 반복 셀 대칭의 개념은 '612 출원'에서 논의된다. 해당 출원에서, 새로운 서브픽셀 레이아웃을 가진 디스플레이 상에 스케일링하고 렌더링할 제 1 포맷(예, 종래 기술의 RGB 데이터)으로부터 입력 이미지 데이터를 재샘플하는 영역의 처리 방법은 대상 디스플레이 전체에 반복 셀 대칭이 존재하므로 오직 소수의 영역 재샘플 필터가 사용되어야 한다는 사실을 이용한다.

이하에서 더 설명되는 것처럼, 유사한 개념은 오직 소수의 필터 커널만이 고가의 부동 포인트 계산 또는 하드웨어를 필요로 하지 않고 원하는 보간을 수행하기 위해 사용될 필요가 있도록, 데이터 보간에 대해 적용된다.

스케일링을 이용한 영역 재샘플 알고리즘에서와 같이, 임의의 특정 스케일링 비율에서, 이미지를 가로질러 그리고 아래쪽으로 계속 반복되는 입력과 출력 픽셀 사이의 작은 수의 관계가 존재한다. 이 "반복 셀"에 대한 영역 재샘플 계수를 계산하고 이들을 적절하게 재사용하는 것만이 바람직하다. 동일한 것이 보간으로 실질적으로 수행될 수 있다. 반복 셀에서 각 위치 내의 단지 일례-3차 방정식 보간-를 취하기 위해, 3차 방정식은 "오프-라인"(즉, 시스템의 설계 프로세스의 일환으로) 계산되고, 가중치 계수로 전환되고 표로 저장될 수 있다.

일반적으로, 가중 값은 부동 포인트로 구현되고 종래 기술에서 하드웨어에서 구현하기 어려웠던 3차 방정식(예, 혼합 함수)으로부터 계산된다. 그러나, 반복 셀의 개념은 적은 수의 필터 커널을 대신 사전-계산하는 것을 허용한다. 이들 필터 커널, 또는 계수의 표는 하드웨어(예, ROM 또는 플래시 메모리 등)로 저장될 수 있고 이미지 상에 실시간 3차 방정식 보간을 수행하는데 사용될 수 있다. 하나의 예시적인 실시예에서, 보간 하드웨어는 4x4 필터 커널 또는 임의의 이러한 적합한 크기의 매트릭스로 구현될 수 있으며, 매트릭스 계수는 저장된 필터 커널을 매칭한다. 이것은 종래 기술에서 '다상 필터링'으로 알려져 있다.

3차 방정식 보간을 사용하는 이 예의 경우, 임의의 표준 3차 방정식(예, 커트뮬-롬(커트뮬-롬) 3차 방정식 등)으로 시작하는 것이 가능하다. 모든 제어 포인트를 통과하는 3차 방정식을 선택하는 것이 바람직할 수 있는데, 그 이유는 이 공식이 알려진 픽셀 사이에 새로운 값을 보간할 것이며 가능한 경우 원래 이미지 값을 만들 것이기 때문이다. 입력 포인트를 "제안"으로 사용하는 큐빅 스플라인(spline)의 다른 형태를 사용하는 것이 (본 발명의 목적상) 가능하다고 해도, 이들은 원래 값과 매우 가깝게 통과하지 않을 수 있다. 1차원 3차 곡선에 대한 커트뮬-롬 공식은 다음 행렬식으로 주어진다:

[수학식 1]

[T³, T², T, 1] 행렬은 3차 방정식 - a*T³+b*T²+c*T+d*1에 대응한다. [P1,P2,P3,P4] 행렬은 제어 포인트의 목록이며, 중간의 4x4 행렬은 기본 행렬이다. 4x4 행렬은 커트뮬-롬 행렬에 대응하며, 모든 행렬 도트 곱이 수행되면, 결과 식이 암시된 a,b,c 및 d 계수에 대한 정확한 값을 가지는 속성을 가진다. 위의 수학식 1의 계산을 수행한 결과는 다음과 같다:

[수학식 2]

수학식 2는 다음과 같이 제어 포인트 주변에 항을 집합시키기 위해 재작성될 수 있다:

[수학식 3]

수학식 3은 4개의 제어 포인트의 가중된 합계(평균)와 유사하다. T의 임의의 주어진 값에 대해, 이것은 각 제어 포인트를 합계하기 전에 다른 총계(amount)만큼 가중할 것이다. T가 0과 1 사이의 범위에 있으므로, 그 결과는 P2에서 P3으로 이동한다. 예컨대, T가 0이면, 결과는 간단히 P2이며, T가 1이면, 결과는 P3이다. 0과 1 사이의 모든 값에 대해, 결과는 반드시 P2와 P3 사이가 아닐 수도 있는데, 그 이유는 주변 포인트(P1과 P4)를 포함하는 큐빅 처리는 값을 급상승 또는 급강하하게 할 수 있기 때문이다. 도 1은 3차 방정식이 단일 스캔 라인을 가로지르는 1차원적 경우에서 만들 수 있는 가능한 곡선 접합부(fitting)의 일례이다.

P1에서 P4까지의 4개의 포인트는 제어 포인트로서, 이미지의 단일 스캔 라인을 가로지르는 강도값이다. 그래프 상의 Y 방향은 서브픽셀의 강도이다(예, 적색, 녹색, 또는 청색과 같이, 다른 컬러 평면 내). T 방향은 행의 픽셀에 따른 것이다. P2와 P3 사이의 확대된 곡선은 어떻게 큐빅 곡선이 제어 포인트 위의 그리고 아래의 값을 보간할 수 있는지를 나타낸다.

2차원 이미지에서(위의 큐빅 예를 사용), 가능한 일 실시예는 한 번에 4개의 행을 그리고 한 번에 4개의 소스 픽셀(예, 제어 포인트)을 보는 것이다. 따라서, 상기 공식의 표현은 첫 번째 행에 대한 제어 포인트의 4가지 다른 세트( P11,P12,P13 및 P14)를 이용하고, 네 번째 행에 대한 P41,P42,P43 및 P44로 약간 변경될 수 있다. 이것은 도 2a에 도시된다. X 방향에 대한 T 값(Tx)은 이들 4개의 공식으로 플러깅(plugged)될 것이며, 4개의 수직 제어 포인트를 야기한다. 이들은 Y 방향의 T 값(Ty)으로 수학식 3, 다섯 번 다시 플러깅될 것이다. 그 결과는 4개의 내부 제어 포인트(P22,P23,P32 및 P33)에 의해 한정된 4각형 내부의 어딘가에 있는 단일 값이다.

이들을 나중에 동일한 포인트와 곱해진 가중 계수의 세트로 변환하는 것이 바람직하다. 이를 달성하려면, 상징적으로 수학식을 풀고 이들 계수의 계산 방법을 찾기 위해 각 샘플 포인트에 대한 항을 집합시키는 것이 가능하다. 4개의 제어 포인트 행에 대한 공식을 4개의 수직 제어 포인트의 위치로 플러깅하면 다음 행렬식이 나온다:

[수학식 4]

여기서 CM은 커트뮬-롬 기본 행렬이다:

[수학식 5]

행렬 도트 곱셈을 상징적으로 수행한 다음, 각 제어 포인트에 대한 항을 모으면 각 제어 포인트에 대한 각 계수에 대해 하나씩, 총 16개의 다른 공식이 나온다.

[수학식 6]

이들 공식은 이후 하드웨어에서 사용되기 전에 4x4 필터 커널로 변환될 수 있다. 이 변환은 주어진 쌍의 Tx, Ty 값에 대한 상기 식 각각을 계산하는 단계 및 16개의 결과를 스케일링 하드웨어에서 사용하기 위해 샘플 값의 4x4 행렬로 플러깅하는 단계를 포함한다.

반복 셀 내부의 Tx 및 Ty 값은 4개의 중앙 제어 포인트 사이에 있는 출력 픽셀에 대한 계수를 생성하기 위해 0과 1 사이에 있을 수 있는 수인 것이 이해되어야 한다. 각 필터 커널에 대한 이들 파라미터 T 값을 생성하기 위한 일 실시예는 이제 논의될 것이다. 도 2a는 입력 샘플 포인트의 격자(200)의 일부와 이들 상부에 놓여진 출력 재샘플 포인트의 단일 반복 셀의 일례를 도시한다.

이 예에서, 이 경우의 출력 픽셀에 대한 입력 픽셀의 비율은 2:5이며, 이것은 640 픽셀 너비 이미지와 1600 픽셀 너비 이미지간의 비율이다. 이것은 컴퓨터 디스플레이 시스템이 스케일링하기 위해 요구될 수 있는 일반적인 비율이다. 큰 검은색 점(202)은 입력 픽셀의 기하학적 중심부를 나타낸다. 이들은 위의 3차 방정식에서의 입력 제어 포인트와 같은 방법으로 라벨링(labeled)된다. 작은 회색 점(204)은 출력 픽셀의 기하학적 중심부를 나타낸다. 명확성을 위해, 출력 픽셀의 오직 하나의 반복 셀만이 도시되지만, 이 셀은 실제 사용에서 계속해서 반복된다. 각 반복 셀은 근처의 입력 샘플 포인트에 대해 동일한 관계를 가진다. 다른 반복 셀들은 다른 스케일링 비율에 대해 발견될 것이며, 지금까지 논의한 전체 내용은 다른 스케일링 비율에 동등하게 잘 적용된다는 것이 이해되어야 한다.

또한, 이 예에서, 반복 셀은 입력 샘플 포인트 상에 정확히 위치하는 첫 번째 출력 재샘플 포인트와 정렬된다. 예컨대, 4개의 입력 포인트 사이의 공간의 중간에 정렬과 같은 다른 정렬도 가능하다. 반복 셀의 정렬을 변경하면 이하 설명되는 것과 같이 바람직한 효과를 가질 수 있다. 그러나, 위쪽 왼쪽 코너에 정확히 정렬하는 것은 일부 편리한 초기화 값을 만들 수 있으며, 예의 설명을 더 용이하게 한다.

반복 셀의 첫 번째 행의 첫 번째 출력 픽셀은 정확히 정렬되어서, 이 위치에 대한 파라미터의 T 값은 0과 같다. 이 경우, 출력 비율에 대한 입력이 2:5인 경우, 첫 번째 행에서의 두 번째 출력 픽셀은 P22와 P32 사이의 간격의 2/5이며 세 번째 출력 픽셀은 이 간격의 4/5이다. 4번째 출력 픽셀은 이 간격의 6/5이며, 이로써 이 픽셀은 P32를 지나 이 간격의 1/5에 배치된다. 1을 초과하는 이러한 "오버플로우(overflow)"은 3차 방정식 입력 파라미터를 한 입력 열만큼 오른쪽으로 진척시켜야 한다는 것을 의미한다. 따라서, 입력 픽셀의 넘버링(numbering) 구조는 첫 번째 열을 떨어뜨리고 오른쪽 상의 라벨링되지 않은 열을 포함하도록 재수행될 수 있다. 첫 번째 행의 마지막 출력 픽셀은 P32를 지나 간격의 3/5이다. 프로세스는 반복 셀의 임의의 행 또는 임의의 열에 대해 실질적으로 동일하며, 0과 1 사이의 유리수이지만 이 경우 항상 분모가 5인 분수인 Tx 또는 Ty에 대한 값을 생성한다. 임의의 스케일 계수의 일반적인 경우에 대해 이들 분수의 분자를 계산하는 프로세스는 스케일링으로 영역 재샘플을 설명하는 '612 출원에서 설명된 것과 실질적으로 동일하다.

이들 분수 값이 수학식 6으로 플러깅될 때, 그 결과는 계수의 4x4 표의 세트 - 사용할 스케일링 하드웨어에 대한 필터 커널이다. 스케일링을 이용한 영역 재샘플에서와 같이, 도 2a의 25개의 다른 재샘플 포인트(그레이 점)에 대한 25개의 필터 커널을 가질 것이 기대될 것이다. 그러나, 많은 이들 필터 커널은 다른 축 상의 서로에 대한 미러 이미지이다. 따라서, 하드웨어가 필터 커널을 플립(flip)하거나 이들을 적절한 순서로 판독하는 한은 감소된 수 - 이 경우 6-를 계산하는 것으로 충분하다. 이 예의 경우, 이러한 6개의 가능한 필터 커널은 도 2b에 도시된다:

필터 계수는, 본 명세서에서처럼, 하드웨어에서 구현하기에 편리한 값을 만들기 위해 256( 또는 시스템에 따라 몇몇 다른 값)과 곱해질 수 있다. M 위의 첨자는 반복 셀 내의 필터 커널의 위치를 가리키며, 0,0은 위의 왼쪽, 0,1은 반복 셀에서 0,0의 아래의 것을 가리키는 등이다. 가중된 평균이 어떻게 작동하는지에 대해 알기 위해 이들 커널을 조사하는 것은 흥미롭다. M_0,0으로 라벨링된 것은 출력 픽셀이 입력 픽셀의 바로 위에 위치하여 커널에서 P22 계수가 유일한 가중 값이며 이것은 256(최대 값이므로, 논리적으로 1.0과 곱한 것과 동일함)인 경우이다. 필터 커널의 열을 아래쪽으로 내려가면, 해당 가중 값은 더 작아지고 P23에 대한 가중 값은 더 커진다. 필터 커널 표를 대각선 아래 방향으로 내려가면, 커널이 P33에 더 가까운 값을 계산하기 위해 만들어짐에 따라 P33에 대한 가중 값이 더 커진다는 것을 알게 된다.

반복 셀 정렬 변경

위의 예에서, 위의 왼쪽 코너가 정확히 입력 픽셀 상에 위치되도록 반복 셀을 정렬하는 것은 반복 셀을 배열하는 유일한 방법이다. 이로써 일부 편리한 초기 값이 생성할 수 있다고 해도, 이것은 반복 셀을 배열하기 위해 항상 바람직한 방법이 될 수 없다. 다른 실시예는 샘플 포인트를 정렬함으로써가 아닌, 재샘플 영역의 에지를 정렬함으로써 발생한다. 입력 및 출력 픽셀의 단일 행(300)은 도 3에 도시된다.

도 3은 1:3 스케일링 비율을 도시하며, 여기서 검은색 점(302)은 암시된 샘플 영역(304)의 중앙의 입력 픽셀이며 회색 점(306)은 그들의 재샘플 영역(308) 내부의 재샘플 포인트이다. 도 2a의 반복 셀에 대해 사용된 정렬은 1:3 스케일링 비율이 사용된 경우 도 4와 같이 보일 수 있다.

도 4에 도시된 것처럼, 출력 샘플 포인트는 암시된 재샘플 영역의 에지로부터 연장된다. 이러한 상황에 대한 가정이 가능한데 이 경우 충분할 수 있는 한 가정은 입력 이미지 외부의 에지가 검은색이라는 것이다. 이 검은색 가정과 도 4의 정렬을 사용하여, 왼쪽 에지는 입력 픽셀 값에서 종료될 것이지만 오른쪽 에지는 검은색으로 흐려질 것이다. 도 3의 샘플 영역 정렬의 경우에서조차, 첫 번째 및 마지막 재샘플 포인트는 여전히 첫 번째 및 마지막 입력 샘플 포인트를 지나 연장된다. 3차 방정식 보간을 이용해, 이것은 에지가 검은색으로 약간 흐려지도록 할 수 있다. 이 상황은 입력 이미지 외부의 영역에 대한 다른 가정을 사용함으로써 변경될 수 있다. 예컨대, 이것은 입력 이미지의 외부의 샘플에 대한 가장 가까운 입력 값을 반복하는 것이 될 수 있다. 마지막 2개의 입력 포인트의 선형 보간은 이용될 수 있거나; 가능하게 3차 방정식 보간이 이미지 외부의 없어진 값을 생성하기 위해 사용될 수 있다.

도 4에 도시된 샘플 포인트 정렬의 왼쪽 에지는 양호하다는 것, 즉, 첫 번째 출력 포인트에 대한 입력 포인트 중 하나를 선택한다는 것이 주목되어야 한다. 이것은 오른쪽에도 행하는 것이 바람직할 수 있다. 출력 어레이가 오직 13개의 픽셀 너비였다면, 도 4는 바람직했을 것이라는 것이 더 주목되어야 한다. 그러나 출력 크기가 종종 주어지므로, 15번째 픽셀이 해당 위치에 놓이게 하는 대신 스케일 계수를 변경하는 것이 충분할 수 있다. 도 5는 재샘플 포인트가 놓이도록 하는 것이 어떻게 가능할 수 있을지를 도시하며, 첫 번째와 마지막 픽셀은 첫 번째와 마지막 입력 샘플 포인트와 정확히 정렬된다.

첫 번째 출력 픽셀의 위치는 대략 한 픽셀만큼 이동되었으며, 스케일 계수는 5:15(1:3)에서 대략 5:17로 변경되었다. 첫 번째 입력 픽셀에 대한 첫 번째 출력 픽셀의 위치는 나머지 항을 다른 값으로 초기화함으로써 소프트웨어 및/또는 하드웨어로 변경될 수 있다. 표를 다시 만들어서 스케일 계수를 변경할 수 있으며, 이것은 사전에 오프-라인으로 행해질 수 있고, 언제 다음 입력 픽셀로 스위칭될 지를 결정하는 상수를 변경시킬 수 있다. 이들은 하드웨어에 대해 작은 변화일 수 있지만, 필터 표는 더 커지거나 더 작아질 수 있다. 스케일 계수를 계산하기 위해, 수학식 7이 이용될 수 있다:

[수학식 7]

이로써 5:17.5의 스케일 계수가 야기되며 이것은 도 5에 도시된 것에 가깝다. 일 실시예에서, 이 경우에 유리화하기 위해, 수를 정수로 유지하는 것이 바람직할 수 있으며, 10:35의 비율은 사용될 수 있고 2:7로 약분될 수 있다.

XGA를 UXGA(또는 1024 픽셀 내지 1600 픽셀)로 스케일링하는 경우, 이 경우는 도 3의 샘플 영역 정렬 가정으로 16:25의 가능한 스케일링 비율을 가진다. 이것은 하드웨어에서의 (그리고 대칭성이 더 작게) 구현하기 위해 625개의 필터 커널 표를 이용할 수 있다. 그러나, 위의 수학식 7을 사용하여, 도 5의 새로운 샘플 포인트 정렬 가정을 가진 스케일 비율은 단지 5:8이다. 이것은 실질적으로 더 적은 커널, 즉 64개의 필터 커널만의 표를 필요로 하며, 거의 10개의 폴드(fold)는 이 경우 하드웨어 게이트 요구 사항이 감소한다. XGA와 UXGA의 수직 크기(이들은 각각 768 및 1200)의 경우, 수학식은 5:8의 동일한 비율을 가져온다.

이 "샘플 포인트 정렬"은 시스템 설계자가 제작된 모든 시스템으로 시도해야하는 중요한 가정이다. 이것은 원래 "샘플 영역 정렬"보다 더 나은 스케일 계수를 만드는 경우, 하드웨어 내의 게이트는 절약될 수 있다. 원래 가정이 더 나은 스케일 계수를 만드는 경우, 다른 설계는 에지 상의 "검은색으로 흐려지는(fade to black)" 상황을 수용하기 위해 시도될 수 있다. 사실, 이들 가능한 실시예들 중 하나는 픽셀이 검은색으로 흐려지도록 하면서 여전히 수용가능한 결과를 달성하는 것이다.

2X 스케일링 모드

이제, 입력 이미지 데이터 상에서 2X 스케일링을 수행하기 위한 방법 및 시스템이 설명될 것이다. 이러한 스케일링 모드가 예컨대 VGA 데이터를 HD 포맷으로 디스플레이할 수 있는 텔레비전 또는 모니터와 같은, 다중-모드 디스플레이 디바이스에 대해 유용하다(상기 관련된 특허 출원에서 더 설명된 것처럼). 이러한 디스플레이(참조로 병합된 여러 공동 소유된 출원에서 논의된 다수의 새로운 서브픽셀 레이아웃 중 하나를 포함)는 개선된 이미지 재구성 필터를 가진 일반 TV 해상도를 디스플레이할 뿐만 아니라, 여러 디지털 TV 해상도를 디스플레이할 수 있다. 이러한 디스플레이의 일 실시예에서, 3차 방정식 보간, 서브픽셀 렌더링 및 교차-컬러 선명화의 결합은 무아레가 거의 없이, 일반 TV 모드에서 수용가능한 이미지를 만들 수 있다. 특히, 2X 스케일링의 특수한 사례에 대한 3차 방정식 보간은 단순한 수와 따라서 덜 비싼 처리를 수반한다.

2X 스케일링에서, 모든 다른 재구성 포인트 값은 입력 픽셀 샘플 포인트 상에 배치되며 어떠한 계산도 이들 재구성 포인트에서 필요하지 않을 수 있다. 사이값은 T=1/2에 해당되며, 이것은 위의 공식 3으로 대체하면 다음의 식이 야기된다:

[수학식 8]

T=1/2인 행렬식이 단순화될 때, 이것은 주변의 4개의 픽셀 값의 단순 가중된 평균으로 변한다. 이것은 다음 값의 4x1 필터 커널과 같다:

[-1/16 9/16 9/16 -1/16].

어떻게 이들 모든 수의 분모가 편리하게 2의 제곱이 되어, 나눗셈(divide)이 오른쪽으로 시프트하는 것과 덧셈의 단순한 조합으로 이루어지게 하는지가 주목되어야 한다. 심지어 9/16의 곱셈은 간단하고, 이것은 원래 값을 2번 왼쪽으로 시프트함으로써 이루어질 수 있으며, 이들 중 한 번은 1 비트로, 다른 한 번은 4 비트로 되며, 2개의 시프트된 값의 덧셈이 후속한다. 필터 커널 내의 계수의 이러한 세트는 매우 낮은 비용의 컨볼루션(convolution) 엔진을 제공하기 위해 매우 단순한 하드 코딩된 디지털 로직으로 구현될 수 있다.

본 명세서에서 설명된 것처럼 패널(즉, 640 X 3 X 960의 물리적 서브픽셀을 포함하지만; 서브픽셀 렌더링으로 더 큰 이미지 품질을 가진 패널) 상에 표준 640X480 텔레비전 신호를 디스플레이하면, 상기 이미지를 1280 X 960 논리적 픽셀로 효과적으로 스케일링하기 위해 교차-컬러 선명화된 서브픽셀 렌더링이 후속하는, 보간을 이용할 수 있다. 이것은 감소된 무아레와 앨리어싱 결함을 가진 이미지를 재구성하는데, 그 이유는 보간은 휘도 신호에 대해 저역 재구성 필터로서의 역할을 하는 반면, 선명화된 서브픽셀 렌더링 필터는 크로마틱 앨리어싱을 야기시키며, 따라서 컬러 균형과 이미지 컨트라스트를 보전할 수 있는 임의의 공간 주파수를 제거하는 역할을 하기 때문이다. 이 조합 알고리즘은 종래 기술에서 주의된 문제점과, 서브픽셀 렌더링된 스케일링에서 선명함 대 컬러 오류의 문제점을 해결한다.

가능한 일 보간은 다른 것들 중에서{예, 윈도우된 싱크(sinc) 함수}, 커트뮬-롬 알고리즘이 될 수 있다. 그러나, 설명의 목적상, 다음 논의는 커트뮬-롬 알고리즘에 맞추어진다. 계산을 단순화하기 위해, 경계 조건은 인입 이미지가 더 밝은 서브픽셀 중 하나, 예컨대, 이 경우, 도 2에 도시된 것처럼, 서브픽셀 반복 그룹의 위의 오른쪽 코너의 녹색과 동위상이 되도록, 설정될 수 있다. 다른 가능한 가정은 적색 및 녹색, 즉 세 가지 색상 중 더 밝은 2가지 색상은 실제 정사각형 격자 상에 있다는 것이다. 이들 가정을 바탕으로, 축 분리가능한 필터를 위한 보간 계수의 하나의 가능한 세트는 (전술한 것처럼) 다음과 같이 될 수 있다:

-1/16, 9/16, 9/16, -1/16.

전술한 것처럼, 이들 수는 비트 시프트 곱셈과 덧셈(accumulate)을 이용하여 쉽게 구현할 수 있다. 이 축 분리가능한 보간 필터를 사용하기 위해, 데이터의 행을 스캔할 때, 데이터의 제 2, 2X 더 넓은 행은 라인 버퍼에 제공되고 저장될 수 있다. 정보의 절반은 보간된 데이터, 즉 모든 세 개의 컬러로 비월주사된(interleaved), 원래 데이터, 즉 모든 세 컬러가 될 수 있다. 그러면 3개의 행과 2개의 열이 채워질 때, 데이터는 위의 것과 같은 필터를 사용하여, 없어진 행 데이터를 보간하고 저장하는데 사용될 수 있지만, 수직 방향으로 작동한다. 한 행 뒤따르는 것은(새로운, 확장된 행 카운트에서) 교차-컬러 선명화 서브픽셀 렌더링 알고리즘이 될 수 있으며, 위의 보간의 결과를 참고한다. 이들 모든 계수가 단순히 이진 시프트 곱셈과 덧셈이므로, 시스템은 단순하고 빠르게 유지된다. 주요 비용은 2개가 아닌 3개인 행 버퍼로서, 아래 도시된 것은 교차-컬러 서브픽셀 렌더링 필터이다. 이것은 영역 재샘플 필터의 조합이며, 이 경우, "다이아몬드 필터" 및 교차-컬러 "DOG 웨이브릿"("가우스의 차")이다.

상기 첫 번째 필터, 즉 DOG 웨이브릿은 두 번째, 영역 재샘플, 필터와는 다른 컬러를 샘플함으로써 교차-컬러 선명화를 수행한다(위의 병합된 출원에서 개시된 것처럼). 그러나, 재구성 필터를 수행하는 다른 실시예는 위의 3개의 필터링 작동의 컨볼루션인 필터를 사용하여 데이터를 직접 샘플하는 것이다. 이전에 언급한 것처럼, 사진과 비디오와 같이 대역 제한된 이미지의 재구성에 대해 이따금 BiCubic 보간을 사용하는 것이 바람직하다. 그러나, 컬러 오류가 BiCubic 보간을 사용하여 직접 서브픽셀 렌더링할 때 야기될 수 있는 확률이 약간 있다. 해당 특정 서브픽셀 아키텍처에 대해 영역 재샘플 필터로 BiCubic 보간을 감으면 실질적으로 이러한 오류를 조정하고/하거나 정정할 것이다. 이러한 컨볼루션이 이미지의 컨트라스트의 일부 추가적 흐려짐 또는 손실을 야기할 수 있으므로, 일부 선명화는 DOG 웨이브릿을 사용함으로써, 임의의 이러한 가능한 흐려짐(blurring)을 보상하기 위해 추가될 수 있다. 다음 기술은 적합하게 설계된 보간 필터, 서브픽셀 렌더링 영역 재샘플 필터 및 선명화 필터를 가진 임의의 서브픽셀 배열 상에 사용될 수 있다. 설명적인 목적상 특정 예를 선택하였지만 이 기술은 임의의 서브픽셀 배열과 "스케일링" 계수 상에서 작용할 것이라고 이해되어야 한다.

그러나, 전술한 참조된 특허에 따라 제작된 디스플레이 시스템은 종종 분리가능하지 않은 필터를 기반으로 한다. 그러므로 기존 시스템에서 3차 방정식 보간을 수행하기 위해 2차원 필터를 만드는 것이 바람직할 수 있다. 따라서, 도 13의 5개 및 6개의 서브픽셀 반복 셀 배열(1320,1312,1322 및 1323)의 체커보드 모양(checkerboard)에 대한 새로운 컬러 정정된 BiCubic 서브픽셀 렌더링 다상 필터를 생성하기 위해, 일 실시예는 다음을 수행할 수 있다.

우선, 위에 개시된 것처럼 BiCubic 필터 커널 어레이를 생성한다. 다상 커널의 세트는 따라서 생성되며, 도 2b의 커널과 유사하다. 각 필터 커널에 대해, 다이아몬드 필터와 앞서 논의된 교차-컬러 DOG 웨이브릿 계수에 의해 3X3 이웃으로 각 커널을 컨볼빙한다. 다음으로, 동일한 입력 샘플에 대응하는 각 커널로부터의 결과 값 모두를 더한다. 이론상, 이러한 방법으로 3X3 선명화된 영역 재샘플 필터로 4X4 biCubic 필터를 컨볼빙하면 5X5 필터 커널을 야기할 수 있다. 그러나, 실상, 결과는 종종 더 작은 커널이 될 수 있다. 여러 방법에 의해 최종 컨볼빙된(convolved) 필터 커널 크기를 감소시키는 것이 또한 가능할 수 있다. 첫 번째 방법은 커널의 에지의 매우 작은 값을 0으로 설정하며, 컬러 균형을 유지하기 위해 이 값을 근처의 대각선 커널 값에 더하는 것이다. 두 번째 방법은 모든 또는 대부분의 5X5 커널이 4X4 커널로 줄어들도록 보간 격자 위치(위상) 또는 스케일을 조정하는 것이다.

전술한 특허 출원으로부터 병합된 여러 서브픽셀 레이아웃에 대해, 청색 서브픽셀은 패널의 주소 지정가능성을 상당한 정도로 추가할 수 있다. 더욱이, 이것은 대역 제한된 이미지의 이미지 재구성에 대한 것이므로, 높은 공간 주파수의 푸리에(Fourier) 에너지는 낮을 것이다. 그러므로, 상기 시스템 내의 올바른 컬러 이미징에 대해, 도 13의 6개의 서브픽셀 반복 셀(1312)에 대한 1X2 박스 필터 또는 5개의 서브픽셀 반복 셀(1322)에 대한 2X2 박스 필터, 또는 8개의 서브픽셀 반복 셀(1326)에 대한 1X3 텐트(tent) 필터와 같이, 적색/녹색 체커보드와 청색 서브픽셀 렌더링 필터와 같은 포인트에서 취해진 청색 값의 컨볼루션에 의해 청색 서브픽셀의 값을 결정하는 것이 바람직할 수 있다.

이 예에서, 여러 보간 필터는 서브픽셀 렌더링 컬러 정정 필터를 이용한 컨볼루션에서 사용된다. 하나는 수평 선 상에 있고, 위에서 논의된 -1/16, 9/16, 9/16,-1/16과 같은 4X1 필터이며, 하나는 수직선상에 있고, 위의 것이 병치된 것이며(90°로 회전됨), 세 번째 것은 4개의 주변의 입력 포인트 사이의 중간 포인트에 대한 것이다. 세 번째 필터는 아래에 나타난다. 이 필터의 수는 여전히 합리적으로 전체 곱셈기 셀의 비용없이 특수 목적 하드웨어에서 곱셈이 여전히 상당히 쉽다.

위의 수는 256으로 나뉘어질 것이다. 상기 4X4 필터 커널은 1X4 제 2 필터에서의 동일한 계수로 이전에 도시된 4X1 제 1 필터를 컨볼빙하여 생성된다. 다이아몬드 필터, 교차-컬러 DOG 웨이브릿, 및 보간 필터의 컨볼루션의 결과는 도 12에 도시된다.

"박스-3차 방정식"이라고 하는, 더욱 선명한 이미지를 가져올 대안적인 4X4 필터는 다음과 같다:

일대일 이미지 재구성

도 13의 반복 셀(1324 및 1325)에 대해 4개의 녹색, 2개의 적색 및 2개의 청색 서브픽셀을 가지는 8개의 서브픽셀 반복 셀 배열(1324 및 1325)은 일대일; 하나의-입력-픽셀-대-하나의-녹색-서브픽셀로 매핑될 수 있으면서도, 적색 및 청색 서브픽셀에서 중간 재구성 포인트의 값을 보간함으로써 감소된 무아레 왜곡을 갖는다.

서브픽셀 반복 셀 배열(1324) 중 하나는 녹색 서브픽셀 행과 나란히 있는 적색 및 녹색 서브픽셀을 가진다. 종래 기술의 컬러 정정 서브픽셀 렌더링에 대해, 청색 및 적색 서브픽셀은 매우 단순한 2X1 박스 필터:1/2,1/2로 필터링될 수 있다. 이것은 또한 녹색 서브픽셀에서 공동 배치된(collocated) 2개의 원래 샘플 포인트 사이에 선형 보간인 것처럼 보일 수 있다. 더 나은 무아레 감소를 위해, 박스 필터는 전술한 단순한 4X1 큐빅 필터:-1/16, 9/16, 9/16,-1/16로 대체될 수 있다. 이것은 수평 방향으로 무아레를 감소시킬 수 있다.

다른 8개의 서브픽셀 반복 셀 배열(1325)은 양 축에서 간극 위치로 변위된 적색 및 청색 서브픽셀을 가진다. 종래 기술의 컬러 정정 서브픽셀 렌더링의 경우, 적색 및 청색 서브픽셀이 다음의 단순한 2X2 박스 필터를 사용하여 녹색 서브픽셀에서 공동 배치된 4개의 원래 샘플 포인트 사이에서 필터링될 수 있다:

1/4 1/4

이것은 마찬가지로 녹색 서브픽셀에 공동 배치된 4개의 원래 샘플 포인트 사이에 선형 보간인 것처럼 보일 수 있다. 더 나은 무아레 감소를 위해, 박스 필터는 전술한 단순한 4X4 "박스-큐빅" 필터로 대체될 수 있다.

이 보간은 모든 축에서 무아레 왜곡을 감소시키면서, 여전히 컬러 균형과 이미지 컨트라스트를 유지시킨다. 대안적으로, 전술한 것처럼, 4X4 또는 2개의 연산으로 분리된, 단순한 축 분리가능한 바이-3차 방정식 보간 알고리즘이 사용될 수 있다.

비-직사각형 서브픽셀을 가진 6개의 서브픽셀 반복 셀(1323)을 살펴보면, 청색 및 흰색 서브픽셀은 함께 적색/녹색 체커보드 위치 사이의 간극 위치를 점유한다는 것을 알 수 있다. 따라서, 청색과 흰색은 마찬가지로 단순한 4X4 "박스-큐빅" 필터 또는 전술한 축 분리가능한 필터를 사용할 수 있다. 또한 5개의 서브픽셀 반복 셀 배열(1322)을 살펴보면, 청색 서브픽셀이 적색/녹색 서브픽셀 체커보드 위치 사이의 간극 위치를 점유한다는 것을 알 수 있다. 따라서, 이 청색 서브픽셀은 마찬가지로 본 명세서에서 설명된 필터를 사용할 수 있다.

적색/녹색 행과 일렬로 있는 하나의 청색과 하나의 흰색 서브픽셀을 가진 6개의 서브픽셀 반복 셀 배열(1320)은 다음과 같은 청색과 흰색 서브픽셀 상의 2X3 '박스-텐트' 필터를 사용하여 렌더링된 컬러 정정 서브픽셀이 될 수 있다:

0.125 0.125

0.25 0.25

0.125 0.125

박스-텐트 필터는 무아레 왜곡을 감소시키기 위해 다음과 같은 4X3 "텐트-큐빅" 필터로 교체될 수 있다:

-1/64 9/64 9/64 -1/64

-1/32 9/32 9/32 -1/32

-1/64 9/64 9/64 -1/64

RGBW 시스템 상의 이미지 재구성

본 시스템의 일 실시예는 도 13에 도시된 것처럼 6개의 서브픽셀 반복 셀(1320)을 가진 RGBW 아키텍처(예, 852 X 3 X 960)를 가진 본 시스템 상에 광역 표준(예, 852X480) 텔레비전 신호를 디스플레이할 것이다. 이 시스템은 보간을 이용할 수 있으며, 뒤이어 효과적으로 이미지를 적색/녹색 격자 상의 다른 해상도(예, 1704 X 960)로 "스케일링"하고 흰색, 가능하게는 청색 서브픽셀을 사용하여 적색/녹색 포인트 사이의 중간 재구성 포인트를 보간하거나 이로 시작하기 위해 휘도 선명화된 서브픽셀 렌더링이 후속한다. 이는 감소된 무아레와 앨리어싱 결합을 가진 이미지를 재구성하는데, 그 이유는 특히 적색, 녹색 및 흰색을 사용하여, 추가 재구성 포인트로의 보간은 저역 재구성 필터의 역할을 하기 때문이다.

RGBW 패널은 입력 데이터의 다중 근원(multiprimary) 매핑을 필요로 한다. 데이터는 여러 표준 비디오 포맷으로 나올 수 있지만, 가장 일반적인 것은 RGB일 것이다. 이 컬러 데이터는 RGBW로 변환되어야 한다. 매핑 알고리즘 내부에, 휘도 신호가 생성될 수 있다. 이 휘도 신호는 컬러 이미지 성분을 선명화하기 위해 이미지 재구성 필터에 의해 사용될 수 있다. 따라서, 다중 근원 매핑 알고리즘은 RGBWL 데이터를 출력할 것이다.

데이터 상에서 수행된 한 가지 가능한 보간은 커트뮬-롬 알고리즘이 될 것이다. 전술한 논의와 유사하게, 계산을 단순화하기 위해, 한계 조건은, 인입 이미지가 서브픽셀 중 하나와 동위상이 되도록 설정되며, 이 경우 더 낮은 흰색 서브픽셀을 사용할 것이다. 물론, 다른 서브픽셀이 이를 위해 선택될 수 있으나; 흰색이 가장 밝은 것이므로, 흰색을 사용하는 것이 유리할 수 있다는 것이 이해될 것이다. 가장 밝은 서브픽셀을 동위상 포인트로 사용하면 결과 이미지 상에서 가장 적은 보간 결합을 만들 수 있을 것이다. 이러한 가정으로, 적색/녹색 체커보드 격자에 대한 원래 값을 보간하기 위한 축 분리가능한 필터에 대한 보간 계수의 일 실시예는 다음과 같을 수 있다:

수직 보간의 경우, -1/16, 9/16, 9/16, -1/16, 그리고

수평 보간의 경우, -18/256, 198/256, 85/256, -9/256 및 이들의 미러 이미지.

이러한 축 분리가능한 보간 필터를 사용하기 위해, 시스템이 데이터 행에서 스캔하는 것처럼, 수직적으로 보간된 데이터의 제 2 행이 보간된 행, 즉 위의(예컨대 뒤쪽의) 2개의 최종 행에 대한 라인 버퍼에 제공되고 저장된다. 흰색 및 청색 정사각 격자 배열을 갖는 디스플레이의 경우, 오직 RGBL 데이터가 보간되는데, 그 이유는 흰색(W) 성분이 보간되지 않은 입력 데이터 상에 직접 배치하기 위해 상기 가정에 의해 한정되기 때문이다. 지그재그로(예, 육각형으로) 배열된 흰색 및 청색 배열 디스플레이 상에서, 전체 RGBWL 데이터가 보간될 것이다. 수평 보간은 데이터가 인입되자마자 동위상 행에서 수행될 수 있는 반면, 수직 보간 후에 비-동위상(out-of-phase) 행에서 수평 보간을 수행하는 것이 바람직할 수 있다. 대안적으로, 수평 보간이 우선 행해질 수 있으며, 이것은 복잡한 곱셈의 횟수를 줄일 수 있으며, 수직 보간을 수행하기 위해 더욱 간단한 곱셈이 이에 후속한다.

RGBL 또는 RGBWL 데이터가 보간된 후, 청색 및 흰색 평면 데이터가 완성된다. 적색 및 녹색 데이터는 서브픽셀 렌더링될 수 있으며, 다이아몬드 필터를 사용하여 컬러 오류 정정이 필터링되며, 상기 나타난 바와 같이, 휘도 구동된 "교차-컬러" 선명화 작업이 추가된다. 대안적으로, 적색 및 녹색 서브픽셀 값 상의 선명화는 이전에 설명한 것처럼 교차-컬러 DOG 웨이브릿에 의해 수행될 수 있다.

대안적인 이미지 재구성 알고리즘은 RGBW 6개의 서브픽셀 반복 셀 배열(1320) 상에, 또는 도 3의 대안적인, 비-직사각형 6개의 서브픽셀 반복 셀(1323)과 함께 이용될 수 있다. 서브픽셀의 이러한 배열에 대해, 전술한 6개의 서브픽셀 반복 셀(1312)에 대해 설명된 것과 유사한 방법으로, 위의 왼쪽 녹색 서브픽셀을 원래 샘플의 중앙에 놓는 것이 바람직할 수 있다. 전과 마찬가지로, 다른 녹색과 2개의 적색에 대한 값은 위에서처럼 동일한 편리한 보간을 사용하여 발견될 수 있다. 흰색 및 청색 서브픽셀 값은 위상 관계가 동일한 상태를 유지하므로, 위에서 설명한 것과 유사한 방법으로 4X1 및 1X4 축 분리가능한 바이큐빅 필터를 사용한 보간을 사용하여 또한 발견될 수 있다.

RGBW 상의 9 대 8 스케일링 모드

9 대 8의 비율로 이미지를 약간 다운-스케일링(scaling down)하는 것은 일부 디스플레이 레이아웃에서 발생한 특수한 경우이다. 적색/녹색 서브픽셀 격자 상에서 9:8 "다운-스케일링"을 수행하기 위한 일 실시예가 이제 개시될 것이다.

언뜻 보면, 나이퀴스트 한계에서 대역-제한된 이미지의 다운-스케일링은 보정불가능한 앨리어싱 왜곡을 가져올 것으로 보일 수 있지만, 추가적인 밝은 흰색의 출현으로 이러한 위험이 제거된다. 이러한 사실은 임계적으로(critically) 대역-제한된 이미지의 샘플 포인트의 오직 절반만을 보면; 최종 이미지는 심한 앨리어싱을 보일 것이며; 이는 대역-제한 이하의 이미지를 샘플하는 것과 동등한 것이라는 것을 상상함으로써 이해할 수 있다. 그러나, 전체가 완료되면, 앨리어싱은 제거된다. 따라서, 도 13의 6개의 서브픽셀 반복 셀(1320 및 1323)과 같은 레이아웃 상에 이미지를 디스플레이하는 경우, 추가적인 흰색 서브픽셀은 반복 셀당 5개의 실질적으로 밝은 서브픽셀이 존재한다는 것을 의미한다. 따라서, 적색/녹색 격자에 대해 9:8의 "다운-스케일링" 계수로 나타나는 것은 추가 재구성 포인트로서 흰색 서브픽셀을 포함할 때 대안적으로 9:12 "업스케일링" 비율로 보일 수 있다. 흰색 서브픽셀의 추가하고 이를 재구성 포인트로서 사용하면 더 높은 해상도의 이미지가 앨리어싱이 없고 무아레가 감소된 상태로 디스플레이될 수 있게 한다. 청색 서브픽셀이 제한된 휘도를 갖는 반면, 이들은 일부를 갖는다. 이들이 또한 스케일링 비율로 카운팅되는 경우, 이 비율은 9:16으로 보일 수 있으며, 이것은 최소 요구된 9:18 비율과 가까워서, 어떠한 무아레 왜곡도 거의 제거할 것이다.

아래의 표와 다른 명령어는 상기 병합된 공동-양도된(co-assigned) 특허 출원에서 개시된 것처럼 특정 서브픽셀 레이아웃을 포함하는 디스플레이에 1920X1080 RGBW 이미지를 스케일링하기 위해 설계된다. 이들 레이아웃은 디스플레이 상에서 특정 수의 물리적 서브픽셀 반복 셀 배열(예, 852x480)을 포함할 수 있지만; 특정 서브픽셀 렌더링 알고리즘으로 인해, 디스플레이는 더 높은 해상도(예, 1704x960 "논리적" 픽셀)에서 이미지를 렌더링할 수 있다. 1920 x 8/9 = 1706.6666 논리적 픽셀이므로, 오른쪽 또는 왼쪽 에지 상에 소량의 데이터를 클립핑하는 것이 바람직할 수 있다. 1080 x 8/9 = 960이므로, 어떠한 수직적인 절충물(compromise)도 존재하지 않아야 한다.

적색 및 녹색 서브-픽셀 재샘플 포인트가 정사각 격자 상에 실질적으로 균등하게 분배되도록 고려되거나, 가정될 수 있어서, 일반 "다이아몬드" 영역 재샘플 필터가 사용될 수 있다. 이 예에서 영역 재샘플을 사용하면 한 패스(pass)에서 보간과 서브픽셀 렌더링 컬러 정정을 수행하는 3X3 필터 커널의 이점을 제공한다. 이것은 적색/녹색 격자 상에 "다운-스케일링" 작업이므로, 샘플 포인트보다 더 많은 재구성 포인트가 존재할 것이다. 이전에 개시된('612 출원) 적색-녹색 필터 생성 절차는 이 경우에 충분하며/효과가 있으며, 적색 및 녹색 서브픽셀 격자를 스케일링하면서 이들을 서브픽셀 렌더링하기 위해 다음 표를 생성한다.

아래의 표 1의 경우, 다음 가정은 단순히 설명적인 이유로 제공되며 본 시스템의 범위를 제안하지 않는다. 모든 필터 계수는 256으로 나뉘어지는 수이다. 필요한 필터 커널 최대 크기는 3X3이다. 대칭성은 필터의 수를 10개의 필터로 감소시켜서- 따라서 이들 필터를 저장하기 위한 메모리는 90 바이트를 초과할 필요가 없을 수 있다.

이들 10개의 필터 커널들은 나머지 필터를 모두 생성하기 위해 왼쪽에서 오른쪽으로, 위에서 아래로 또는 대각선으로 플리핑(flip)될 수 있다. 이를 행하기 위해 필요한 로직은 64개 필터 모두를 간단히 ROM에 저장하는 것보다 훨씬 고가인 경우, 도 14는 이 예에 대한 필터 커널의 완전한 세트를 열거한다.

도 14의 위의 표를 통해 스테핑(stepping)할 때, 각 출력 픽셀에 대해 수평인 다음 필터가 이용되지만, 9개의 입력 어드레스마다 하나씩 스킵함으로써 약간 더 빠른 순서로 입력 픽셀을 스테핑할 수 있다. 스테핑 속도는 이미지 렌더링 동안 사용되기 위해 사전 계산되거나 저장될 수 있거나, 스테핑 속도는 이미지 렌더링 동안에 동적으로 계산될 수 있다는 것이 이해되어야 한다. 예컨대, 디지털 차동 분석기(DDA)는 이러한 데이터를 생성하기 위해 이용될 수 있다. 다음의 표 3에서, 입력 픽셀 수는 필터 커널에 대한 중앙 픽셀에 대한 색인이다.

이 표에서 하나의 추가 단계는 표 3에 도시된다는 것-즉, 제 2 반복 셀 내의 제 1 출력 픽셀- 이것은 0 주변을 둘러싼다는 점이 주목되어야 한다. 이 열에서의 입력 픽셀 수는 9로 도시되며, 이 모듈로 9는 제 2 입력 반복 셀에서 0 주변을 둘러쌀 것이다. 동일한 스텝 표는 어떤 라인을 입력에서 스킵할지를 수직적으로 선택하는데 사용된다.

적색/녹색 체커보드 값은 또한 바이큐빅 또는 싱크 함수를 포함해 다수의 다른 보간 방법을 사용하여 계산될 수 있으며, 본 발명의 범위 내에서 계획된다는 것이 이해되어야 한다.

아래의 표 4는 청색 스케일링 9:8에 대한 필터 커널을 도시한다. 청색 서브픽셀이 매우 빈약하므로(일부의 경우, 각 반복 서브픽셀 그룹핑에 오직 하나만이 존재), 이 경우 스케일링 비율은 실제 9:4이며, 즉, 각 4개의 출력 청색 서브-픽셀에 대해 9개의 입력 픽셀이다. 따라서, 대칭성이 이 표에서 명백하더라도, 대칭성이 없이 오직 16개의 필터만이 존재한다. 이들 필터 중 일부가 3x4 필터 커널이 되도록 실제로 계산되었지만, 가장 작은 행을 버리는 것이 가능하며 이들 경우에 이들을 256에 다시 합계하기 위해 재-정규화한다. 아래는 청색에 대한 필터 커널의 최종 완전한 반복 셀이다:

출력 픽셀이 한 라인을 가로지르는 순서로 횡단하므로, 각 4개의 출력 청색에 대해 9개의 입력 픽셀이 존재하여, 입력 픽셀을 통해 신속히 스테핑하는 것이 바람직할 수 있다. 표 5의 입력 픽셀 색인 번호는 다시 3x3 필터가 중심이 되어야 하는 위치를 가리킨다.

이 표에서 하나의 여분 열이 있는데, 이것은 출력 픽셀 색인이 다음 반복 셀의 제 1 위치로 스테핑할 때, 입력 픽셀 값은 10으로 3만큼 증가하며, 이 모듈로 9는 제 1 값과 다시 같아진다는 것을 보여 준다는 것이 이해되어야 한다.

일부 서브픽셀 레이아웃에 대해, 청색 서브-픽셀 재샘플 포인트는 수평과는 다르게 수직으로 배향될 수 있어서, 수직 스텝 표(표6)는 또한 수평 표와 다를 수 있다:

다시, 하나의 추가 열이 다음 반복 셀로 스테핑될 때 2만큼 입력 행이 증가하는 것을 보여주기 위해 이 표에 포함되며, 색인을 9까지 증가시키며, 이 모듈로 9는 제 1값과 다시 같아진다.

"종래의" 영역-재샘플 방법으로 처리되는 경우, 흰색 서브-픽셀은 청색 서브-픽셀로 거의 동일하게 필터링될 것이다. 이것은, 위의 청색에서 알 수 있듯이, 수용불가능한 정도로 흰색 정보를 블러링(blur)하는 큰 박스 필터를 초래한다. 이러한 경우, 흰색에 대한 값을 얻기 위해 4x4 3차 방정식 보간을 행하는 것이 가능하다. 무아레 왜곡을 감소시키는 추가된 이익으로서 흰색을 보간하면, 적색과 녹색 서브픽셀이 최상부(peak) 또는 최하부(valley)의 숄더 상의 신호를 재구성할 수 있으므로, 보간된 밝은 흰색 서브픽셀은 최상부 또는 최하부를 재구성할 것이다.

전술한 것처럼, 특정 보간은 예컨대, 커트뮬-롬 3차 방정식 보간처럼 분리가능하다. 따라서, 수신되는 대로 각 라인 상에 1차원 수평 3차 방정식 보간을 수행하고, 이들을 라인 버퍼에 저장한 다음, 흰색 값을 생성하기 위해 4개의 라인 사이에 1차원 수직 3차 방정식 보간을 수행하는 것이 가능하다. 일 실시예에서, 수평 3차 방정식 보간은 4개의 곱셈기를 이용할 수 있으며, 수직 3차 방정식 보간은 4개의 곱셈기를 이용할 수 있으므로, 모두 8개일 뿐이다.

일 실시예에서, 각 9개의 입력 픽셀에 대해, 4개의 출력 흰색 픽셀만이 있으며, 9:4의 스케일링 비율을 제공한다. 영역 재샘플을 이용한 스케일링과 마찬가지로, 수평 3차 방정식 보간은 반복 셀 전체의 모든 위치에 대해 4개의 다른 4x1 필터 커널을 가질 것이다. 영역 재샘플을 이용한 스케일링과는 달리, 수평 3차 방정식 보간은 각 라인 상에서 동일하여, 필터 계수의 표는 오직 한 행이며, 동일한 필터는 흰색 픽셀의 각 행상에서 사용된다. 이들 필터 커널은 256으로 나뉘어지도록 설계된다.

대개, 스테핑 표는 필터 커널의 중심이 이동하도록 설계되는 곳을 설명하지만, 큐빅 필터는 항상 중심이 없이, 가로 4항 세로 4항이다. 중심부를 보여주는 대신에, 표 8은 제 1 계수가 정렬될 예정인 스테핑 표에서의 색인을 도시한다.

색인 0을 가진 제 1 흰색 출력 픽셀 상에서, 제 1 입력 픽셀의 색인은 -1일 것이며, 이것은 필터가 하나의 입력 픽셀만큼 스크린의 왼쪽 에지를 "놓아준다(hang off)"는 것을 의미한다. 표 8은 다음 반복 셀로의 하나만큼 스테핑하는 추가 열을 도시하여, 다음 입력 픽셀 색인이 보여질 수 있다. 이것은 제 1 하나의 모듈로 9와 같다는 것이 주목되어야 한다.

수직 방향에서(표 9에 도시된 것처럼), 큐빅 스케일링 필터는 다른 위상 오프셋에 배치될 수 있으며, 다른 필터 커널과 스테핑 표는 표 10에 도시된 것으로 충분할 수 있다.

본 발명은, 멀티-모드 디스플레이를 위한 스케일링을 수행하기 위한 이미지 재구성과 서브픽셀 렌더링을 수행하기 위한 시스템 및 방법에 관한 것으로서, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법, 이미지 처리 시스템 및 렌더링된 대상 이미지 데이터 내의 이미지 품질을 개선하기 위한 방법에 이용가능하다.

Claims

이미지 표시를 위한 소스 이미지 데이터의 변환 방법으로서, 상기 소스 이미지 데이터는 대상 해상도를 포함하는 대상 이미지 디스플레이 패널로의 복수의 입력 해상도 중 하나를 포함하며, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법에 있어서:
상기 입력 해상도 중 하나를 상기 대상 해상도로의 매핑을 수행하는 스케일링 계수를 선택하는 단계;
상기 선택된 스케일링 계수에 대해, 상기 대상 이미지를 복수의 스케일링 반복 셀로 분할하는 단계;
상기 스케일링 계수에 의해 상기 소스 이미지 데이터를 상기 스케일링 반복 셀로 스케일링하는 복수의 필터 커널을 계산하는 단계; 및
상기 대상 이미지의 상기 스케일링 반복 셀로의 상기 소스 이미지 데이터 상의 보간을 수행하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 1항에 있어서, 상기 필터 커널은 상기 소스 이미지 데이터 상의 3차 방정식 보간을 구현하기 위해 계산된 계수를 포함하며, 상기 대상 이미지의 상기 스케일링 반복 셀로의 상기 소스 이미지 데이터 상의 보간을 수행하는 단계는, 3차 방정식 보간을 수행하기 위해 상기 필터 커널을 상기 소스 이미지 데이터와 곱하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 복수의 입력 해상도는 NTSC, PAL, HDTV 및 VGA로 구성된 그룹 중 하나를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 대상 이미지 디스플레이 패널은 640x480 서브픽셀 반복 셀을 포함하고, 상기 대상 해상도는 1280x960인, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 대상 이미지 디스플레이 패널은 852x480 서브픽셀 반복 셀을 포함하고, 상기 대상 해상도는 1704x960인, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 스케일링 계수는 상기 대상 해상도에 대한 입력 해상도의 비율을 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 6항에 있어서, 상기 스케일링 비율은 스케일링 반복 셀의 크기와 이용된 필터 계수의 수를 변경하기 위해 조정된, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 7항에 있어서, 상기 필터 계수의 수는 상기 스케일링 비율로 상기 조정에 의해 감소되는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 스케일링 계수는 1:2 스케일링, 9:8 스케일링 및 9:4 스케일링을 포함하는 그룹 중 하나인, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 9항에 있어서, 상기 복수의 필터 커널은 [-1/16 9/16 9/16 -1/16], [-1/16 9/16 9/16 -1/16]의 전치 행렬, 및

로 정의된 어레이를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 복수의 필터 커널을 계산하는 단계는: 각 컬러 평면에 대해, 복수의 필터 커널을 계산하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 11항에 있어서, 제 1의 컬러 평면에 대한 상기 복수의 필터 커널은 제 2 컬러 평면에 대해 동일한 복수 개인, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 2항에 있어서, 상기 소스 이미지 데이터와 상기 필터 커널을 곱하는 단계는 출력 픽셀 데이터를 통한 스테핑(stepping)과 다른 속도로 상기 입력 픽셀 데이터를 통한 스테핑 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 13항에 있어서, 상기 입력 스테핑 속도는 사전-계산된, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 13항에 있어서, 상기 입력 스테핑 속도는 동적으로 계산된, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제1항에 있어서, 교차-컬러 선명화(sharpening)를 상기 보간된 소스 이미지 데이터에 적용하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 16항에 있어서,
상기 원하는 스케일링 계수는, 1:2 스케일링, 9:8 스케일링, 및 9:4 스케일링을 포함하는 그룹 중 하나인, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 16항에 있어서, 상기 보간 단계는, 3차 방정식 보간, 바이큐빅(bicubic) 보간, 데이터 복제, 선형 보간 및 영역 재샘플을 포함하는 그룹 중 하나를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 16항에 있어서,
상기 교차-컬러 선명화의 적용 단계는:
가우스 웨이브릿 차를 적용하는 단계; 및
영역 재샘플 필터를 상기 이미지 데이터에 적용하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 16항에 있어서,
상기 교차-컬러 선명화의 보간 및 적용 단계는:
바이3차 방정식 보간을 영역 재샘플 필터로 컨볼빙 단계(convolving); 및
상기 컨볼빙 단계를 상기 이미지 데이터에 적용하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 1항에 있어서,
상기 스케일링 계수에 의해 상기 소스 이미지 데이터를 상기 스케일링 반복 셀로 스케일링하는 복수의 필터 커널을 계산하는 단계는:
이미지 표시를 위한 소스 이미지 데이터의 변환 방법복수의 바이큐빅 필터 커널을 생성하는 단계;
상기 바이큐빅 필터 커널을 선명화된 영역 재샘플 필터로 컨볼빙 단계; 및
각 컨볼빙으로부터 나온 값을 더하여 컨볼빙된 필터 커널을 생성하는 단계 를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 21항에 있어서, 상기 컨볼빙된 필터 커널 크기를 감소시키는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 22항에 있어서,
상기 컨볼빙된 필터 커널 크기를 감소시키는 단계는:
상기 커널의 에지의 작은 값을 0으로 설정하는 단계; 및
상기 작은 값을 근처의 대각선 커널에 추가하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 22항에 있어서,
상기 컨볼빙된 필터 커널 크기를 감소시키는 단계는:
복수의 커널의 행렬 크기가 줄어들도록 보간 격자 위치를 조정하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 21항에 있어서,
적색 및 녹색 위치에서 취해진 청색 서브픽셀의 값을 청색 서브픽셀 렌더링 필터로 컨볼빙하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 25항에 있어서, 상기 청색 서브픽셀 렌더링 필터는 1x2 박스 필터, 2x2 박스 필터 및 1x3 텐트 필터를 포함하는 그룹 중 하나를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 1항에 있어서,
상기 대상 이미지 디스플레이 패널은 8개의 서브픽셀 반복 그룹을 가지고, 상기 반복 그룹은 4개의 녹색 서브픽셀, 2개의 적색 서브픽셀 및 2개의 청색 서브픽셀을 포함하며, 상기 대상 이미지의 상기 스케일링 반복 셀로의 상기 소스 이미지 데이터 상의 보간을 수행하는 단계는:
하나의 소스 입력 픽셀을 하나의 녹색 서브픽셀로 매핑하는 단계; 및
적색 및 청색 서브픽셀에서의 중간 재구성 포인트를 보간하는 단계를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 27항에 있어서, 적색과 청색 서브픽셀을 박스 필터로 필터링하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 28항에 있어서, 상기 박스 필터는 [1/2,1/2]을 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 27항에 있어서, 상기 적색 및 청색 서브픽셀을 4x1 필터로 필터링하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 30항에 있어서, 상기 4x1 필터는 [-1/16, 9/16, 9/16, -1/16]를 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 27항에 있어서, 상기 적색 및 청색 서브픽셀은 상기 녹색 서브픽셀에서 변위된(displaced), 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 32항에 있어서, 상기 방법은 적색 및 청색 서브픽셀을 2x2 박스 필터로 필터링하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 33항에 있어서, 상기 2x2 박스 필터는 1/4 1/4 1/4 1/4 를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.
제 32항에 있어서, 상기 방법은 적색 및 청색 서브픽셀을 4x4 박스-큐빅 필터로 필터링하는 단계를 더 포함하는, 이미지 표시를 위한 소스 이미지 데이터의 변환 방법.