KR20140105030A

KR20140105030A - 디스플레이된 이미지 개선

Info

Publication number: KR20140105030A
Application number: KR1020147020469A
Authority: KR
Inventors: 마이클 엘. 스치밋; 쉬바스한카 구루무르시; 윌리엄 헤르츠
Original assignee: 어드밴스드 마이크로 디바이시즈, 인코포레이티드
Priority date: 2011-12-23
Filing date: 2012-11-21
Publication date: 2014-08-29
Also published as: EP2795573A1; US20130162625A1; CN104067310A; WO2013095864A1

Abstract

소스 이미지를 디스플레이하는 이미지 처리 시스템은 고해상도 디지털 포맷을 갖는 소스 이미지를 저장하는 메모리, 저해상도 디지털 포맷을 갖는 디스플레이 스크린, 및 소스 이미지로부터 컬러 깊이 값들을 증가시키고 소스 이미지에 적용된 프레임에 대한 원점을 순차적으로 시프트하고 각각의 프레임으로부터 소스 이미지 픽셀 값들을 스케일링함으로서 소스 이미지로부터 복수의 시간적으로 시프트된 이미지들을 생성하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 제 2 비교적 낮은 해상도를 갖는 복수의 시프트된 이미지들을 생성하도록 적응된 미디어 가속 하드웨어 유닛을 포함한다.

Description

디스플레이된 이미지 개선{DISPLAYED IMAGE IMPROVEMENT}

본 발명은 일반적으로 이미지 처리 기술에 관한 것이다. 일 측면에서, 본 발명은 디지털 이미지 정보의 디스플레이에 관한 것이다.

디지털 이미지들은 전형적으로 고정된 수의 픽셀들 및 컬러 깊이를 갖는 디스플레이 스크린 디바이스들(예를 들어, PC 모니터들 및 TV 디스플레이들) 상에 디스플레이된다. 예를 들어, 소비자 비디오 포맷들(예컨대 브로드캐스트 HDTV, DVD 및 블루레이 디스크들에 대한 ATSC)은 최대 해상도 1920 x 1080을 갖는 메인 프로파일 하이 레벨 및 서브픽셀 당 8 비트를 갖는 4:2:0 컬러 공간에서 MPEG-2 표준의 사용을 지정한다. HD 1080p 포맷을 사용하는 HD(high definition) 디스플레이들도 2M 픽셀들만을 디스플레이할 수 있다. 그러나, 디지털 이미지 및 비디오 소스 콘텐츠는 전형적으로 기존 디스플레이 스크린 디바이스들 상에 디스플레이될 수 있수 것보다 더 많은 정보(예를 들어, 해상도 및 컬러 공간 깊이)를 갖는다. 예를 들어, 카메라들에 의해 촬영되거나 인터넷을 통해 제공되는 인터넷 및 스틸 이미지 사진들로부터 스트리밍되는 비디오들을 포함하는 다양한 이미지 소스들은 디스플레이 스크린의 이용가능 해상도보다 훨씬 더 높은 소스 해상도(예를 들어, 전체 5M 픽셀들 또는 심지어 10-20M 픽셀들)를 갖는다. 심지어 유튜브 비디오들은 대부분의 스크린들보다 더 큰 소스 해상도를 가질 수 있다.

해상도 디스플레이들 상에 고해상도 이미지들을 디스플레이하기 위해, 헤비 다운스케일링이 전형적으로 사용되는 것에 의해 이미지는 디스플레이 크기를 맞추기 위해 소스 이미지로부터 픽셀들의 수를 감소시키도록 스케일링된다. 도 1에 도시된 종래의 디스플레이 또는 플레이백 디바이스(10)의 예에서, 3840 x 2160의 해상도 또는 일부 다른 고해상도 포맷을 갖는 카메라에 의해 촬영되는 디지털 사진의 일부일 수 있는 입력 이미지가 수신된다. 입력 이미지는 더 낮은 해상도 및 상이한 컬러 깊이 능력(예를 들어, 10 비트의 컬러 깊이를 갖는 1920 x 1080 픽셀들)을 갖는 디스플레이(8) 상의 디스플레이를 위해 입력 이미지를 스케일링함으로써 이미지 디코더(2)에 의해 처리된다. 디코더(2)는 입력 버퍼(3)에서 입력 이미지를 수신하고, 고해상도 이미지 픽셀들(1)을 생성하기 위해 JPEG 타입 이미지 디코딩 JPEG 디코더(4)를 실행하고, 그 다음 디스플레이(8)에 출력을 위해 현재 프레임 버퍼(7)에 저장되는 다운샘플링된 출력 이미지(6)를 생성하기 위해 다운스케일러(5)에서 고해상도 이미지 픽셀들(1)을 다운스케일링한다. 도 1에 도시된 것과 같은 종래의 이미지 스케일링 접근법의 경우, 다운스케일러(5)는 고해상도 이미지 픽셀들(1)(예를 들어, 2 x 2 픽셀 그룹)로부터 픽셀들의 그룹을 취하고, 그 그룹의 평균 값을 계산하고, 계산된 평균 값을 출력 이미지(6)에 대한 단일 출력 픽셀로 사용한다. 물론, 더 복잡한 스케일링 알고리즘들이 사용될 수 있지만, 그들은 여전히 다운샘플링된 출력 이미지(6)에 도시된 그레이 트랜지션 쉐이딩(gray transition shading)에 의해 증명되는 바와 같이, 감소된 해상도 및 콘트라스트를 갖는 출력 이미지들을 생성한다.

따라서, 상기 발명자들에 의해 발견되었던 다양한 문제들을 본 분야에서 처리하는 개선된 이미지 디스플레이 방식에 대한 요구가 존재하며 종래의 해결법들 및 기술들의 다양한 제한들 및 단점들은 이어지는 상세한 설명 및 도면들을 참조하여 본 출원의 나머지를 검토한 후에 당해 기술에서 통상의 기술자에게 분명해지지만, 이러한 관련 기술 부분의 설명은 설명된 발명 대상이 종래 기술이라는 허용의 역할을 하도록 의도되지 않는다는 점이 이해되어야 한다.

대체적으로, 본 발명은 디스플레이 디바이스에서 물리적 수의 픽셀들을 넘어 디스플레이된 이미지의 인지된 공간 해상도를 증가시키고/시키거나 소스 이미지 콘텐츠에 포함되는 더 큰 컬러 길이를 갖는 출력 이미지를 디스플레이하는 디스플레이 디바이스, 아키텍처, 시스템, 및 동작 방법을 제공한다. 선택된 실시예들에서, 인지된 공간 해상도는 시간에 따라 복수의 약간 시프트된 이미지들을 생성, 다운스케일링, 및 디스플레이하는 것에 의해, 종래의 이미지 다운스케일링로 유실되는 시각적 특징들을 효과적으로 전달하는 상이한 시프트들로 렌더링된 일련의 이미지들을 렌더링함으로써 증가된다. 시프트된 이미지들을 디스플레이하는 것과 적절한 이미지 스케일링 알고리즘들을 선택하는 것 사이에서 시프트 거리 및 시간의 양을 주의깊게 제어함으로써, 원래 소스 이미지 내의 매우 미세 에지들은 이미지가 이동하고 있는 것 같지 않고 전적으로 정적 이미지에 다르게 있는 것보다 디스플레이 이미지에서 더 예리하게 나타날 것이다. 다른 실시예들에서, 소스 이미지의 처리는 각각의 더 작은 비트 깊이 픽셀 값(예를 들어, 8 비트 값들)을 소스 이미지로부터 더 큰 비트 깊이 픽셀 값(예를 들어, 10 비트 값들)로 논리적으로 촉진하고 그 다음 디스플레이에 송신될 수 있는 더 큰 비트 깊이 픽셀 비트 값으로 주위의 더 작은 비트 깊이 픽셀 값들의 계산된 평균을 사용함으로써 소스 이미지에 있는 것보다 더 큰 컬러 깊이를 갖는 다운샘플링된 출력 이미지를 생성한다. 이러한 방법으로, 공간 평균화는 8 비트 픽셀을 디스플레이를 위한 서브픽셀 당 컬러 깊이 정보의 10 비트 이상으로 대체하기 위해 사용된다. 선택된 실시예들에서, 이미지 시프트 및 공간 평균화 기술들은 더 높은 해상도 및 더 큰 컬러 깊이를 제공하기 위해 결합된다.

선택된 대표적인 실시예들에서, 메모리, 미디어, 가속 하드웨어, 및 디스플레이를 사용하여 소스 이미지를 디스플레이하는 이미지 처리 시스템 및 동작 방법이 개시된다. 제 1 비교적 높은 해상도 디지털 포맷을 갖는 소스 이미지를 저장하는 메모리가 제공되고, 이미지들을 디스플레이하는 디스플레이 스크린이 제공된다. 소스 이미지는 2D 이미지, 정지된 비디오 이미지, 또는 3D 이미지일 수 있으며, 그 경우에 미디어 가속 하드웨어는 3차원 입력 소스 정보로부터의 좌측 및 우측 이미지들을 2차원 소스 이미지에 대한 공존된 픽셀 값들에 수렴시킴으로써 3차원 입력 소스 정보를 2차원 소스 이미지로 변환하도록 적응될 수 있다. 선택된 실시예들에서, 미디어 가속 하드웨어 유닛은 소스 이미지에 적응된 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 순차적으로 시프트함으로써 소스 이미지로부터 복수의 시간적으로 시프트된 이미지들을 생성하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 복수의 시간적으로 시프트된 이미지들을 생성하도록 적응된다. 미디어 가속 하드웨어는 각각의 시프트된 프레임으로부터 소스 이미지 픽셀 값들을 스케일링함으로써 시간적으로 시프트된 이미지들을 생성하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 제 2 비교적 낮은 해상도를 갖는 복수의 시간적으로 시프트된 이미지들을 생성하도록 적응될 수도 있다. 스케일링은 픽셀 밀도를 미리 결정된 인자만큼 수직 및/또는 수평 방향으로 소스 이미지 픽셀 값들을 다운샘플링하도록 구성된 다운샘플러로 구현될 수 있다. 선택된 실시예들에서, 미디어 가속 하드웨어는 이미지 디코더를 포함하는 GPU(graphics processing unit) 하드웨어 디코더, 원점 시프터, 및 이미지 스케일러로 구현될 수 있다. 이미지 디코더는 제 1 디지털 포맷을 갖는 소스 이미지를 수신하고 RGB 포맷, YUV 포맷, 또는 임의의 원하는 컬러 공간을 갖는 디코딩된 이미지를 생성한다. 원점 시프터는 복수의 프레임들을 디코딩된 이미지에 적용하며, 각각의 프레임은 픽셀간 간격 거리 미만만큼 시프트되고 시프트된 디코딩 이미지를 생성하기 위해 사용된다. 이미지 스케일러는 디스플레이 스크린에서의 디스플레이를 위해 제 2 비교적 낮은 해상도를 갖는 복수의 스케일링된 시프트 디코딩 이미지들을 생성하기 위해 각각 디코딩된 이미지의 픽처 크기를 변화시킨다. 다른 실시예들에서, 미디어 가속 하드웨어는 제 1 비교적 작은 비트 깊이를 갖는 소스 이미지로부터 픽셀 값 및 연관된 복수의 픽셀 값들을 선택하고, 선택된 픽셀 값을 대체하기 위해 제 2 비교적 큰 비트 깊이를 갖는 평균 컬러 깊이 값을 복수의 픽셀 값들로부터 계산함으로써 소스 이미지로부터 컬러 깊이 값들을 증가시키도록 적응된다. 예를 들어, 소스 이미지 내의 각각의 8 비트 픽셀 값은 미디어 가속 하드웨어에 의해 선택되어 선택된 8 비트 픽셀 값과 연관된 복수의 픽셀 값들을 평균화함으로써 계산되는 10 비트 픽셀 값으로 대체될 수 있다.

본 발명은 첨부 도면들을 참조함으로써 더 잘 이해되고, 그것의 다수의 목적들, 특징들 및 장점들은 당해 기술에서 통상의 기술자들에게 분명해질 수 있다. 수개의 도면 도처에서 동일한 참조 번호의 사용은 동일 또는 유사한 요소를 지정한다.
도 1은 종래의 디스플레이 또는 플레이백 디바이스의 블록도 표현을 도시한다.
도 2는 본 발명의 선택된 실시예들에 따라 구성된 대표적인 이미지 처리 시스템의 블록도 표현을 도시한다.
도 3a-도 3d는 본 발명의 선택된 실시예들을 예시하기 위해 픽셀보다 더 적게 시프트되는 시프트된 이미지 프레임들의 소스 이미지 및 연관된 시퀀스를 도시한다.
도 4는 본 발명의 선택된 실시예들을 예시하기 위해 픽셀보다 더 적게 시프트되는 제 1 이미지 프레임 및 제 2 시프트된 이미지 프레임을 도시한다.
도 5는 본 발명의 선택된 실시예들을 구현하는 프로세스 흐름 시퀀스를 도시한다.

개선된 디스플레이 디바이스 및 연관된 동작 방법은 그래픽스 처리 유닛들에 의해 제공되는 증가된 컴퓨팅 능력을 이용하는 이미지 처리에 대해 설명된다. 선택된 실시예들에서, 고해상도 소스 이미지들은 시간적 디스플레이 인자를 도입함으로써 분명한 시각적 해상도를 증가시키도록 처리되며 그것에 의해 약간 시프트된 버전들의 소스 이미지는 컴퓨팅 작업들을 수행하는 CPU 및 GPU 구성요소들을 사용함으로써 시간에 따라 리스케일링되고 디스플레이된다. 이미지 시프팅 기술들은 우선 3D 정보를 감산하고 그 다음에 이미지 시프팅 기술을 적용함으로써 3D 소스 이미지 정보에 적용될 수도 있다. 디스플레이된 이미지의 임의의 분명한 모션은 이미지 시프트들 사이의 시간을 증가시키거나 감소시키고 시간 기간 마다 시프트된 부분 거리를 증가시키거나 감소시킴으로써 제어될 수 있다. 부가적으로 또는 대안적으로, 고해상도 소스 이미지들은 윈도우의 중심에서의 각각의 8 비트 픽셀 값을 윈도우 내의 모든 픽셀들의 가중 평균값인 10 비트 픽셀 값으로 대체하는 다운스케일링을 사용하여 더 큰 컬러 길이를 제공하도록 처리될 수 있다.

본 발명의 다양한 예시적 실시예들은 이제 첨부 도면들을 참조하여 설명될 것이다. 다양한 상세들이 이하의 설명에 진술되지만, 본 발명은 이러한 특정 상세들 없이 실시될 수 있고, 다수의 구현 특정 결정들은 프로세스 기술 또는 설계 관련 제약들에 따른 준수와 같은, 디바이스 설계자의 특정 목표들을 달성하기 위해 본 명세서에 설명된 본 발명에 이루어질 수 있으며, 이는 일 구현으로부터 다른 구현으로 변화된다는 점이 이해될 것이다. 그러한 개발 노력이 복잡하고 시간 소비적일 수 있지만, 그것은 그럼에도 불구하고 본 개시의 이득을 갖는 당해 기술에서 통상의 기술자들에게 일상적인 일일 것이다. 예를 들어, 선택된 측면들은 본 발명을 제한하거나 모호하게 하는 것을 회피하기 위해 상세하게보다는 오히려 간략한 블록도 묘사들을 참조하여 도시된다.

이제 도 2를 참조하면, 본 발명의 선택된 실시예들에 따라 구성된 대표적인 이미지 처리 시스템(100)의 블록도 표현이 도시된다. 도시된 바와 같이, 이미지 처리 시스템(100)은 데스크톱 또는 랩톱 컴퓨터, 텔레비전, 무선 또는 이동 디바이스, 개인 휴대 정보 단말기들, 이동 또는 휴대 전화들, DVR들, DVD 및 블루레이 플레이어들, 핸드헬드 비디오 플레이어들, 디지털 픽처 프레임들, 콘솔 게임 기계들, 프로젝터들, 태블릿들, 디지털 북 리더들, 및 고정된 디스플레이 스크린 상에 이미지들을 처리하고 디스플레이하는 임의의 다른 디스플레이 디바이스와 같은 임의의 그래픽스 또는 비디오 플레이백 디바이스로 구현될 수 있다. 도 2에 도시된 바와 같이, 이미지 처리 시스템(100)은 하나 이상의 프로세서들 또는 처리 유닛들(20) 및 비디오 또는 미디어 가속 하드웨어 유닛(30)에 결합된 버스(95)를 포함하는 호스트 또는 응용 처리 유닛으로서 구현될 수 있다. 게다가, 이미지 처리 시스템(100)은 DDR 컨트롤러(60)를 통해 액세스되는 큰 DDR SDRAM(62, 64)을 갖는 메인 메모리 시스템을 포함할 수 있다. 부가적으로 또는 대안적으로, 하나 이상의 메모리들(예를 들어, IDE(72), 플래시 메모리 유닛(74), ROM(76) 등)은 정적 메모리 컨트롤러(70)를 통해 액세스된다. DDR.SDRAM 또는 다른 메모리들 중 어느 하나 또는 둘 다는 이미지 처리 시스템(100)과 통합되거나 이 시스템의 외부에 있을 수 있다. I/O 컨트롤러(80)에 의해 액세스되는 주변 디바이스들(82, 84, 86), 및 디스플레이 컨트롤러(90)를 통해 액세스되는 디스플레이 디바이스(92)를 포함하는, 다른 입력/출력 디바이스들은 하나 이상의 컨트롤러들을 통해 액세스될 수도 있다. 디스플레이 디바이스는 고정된 해상도 픽셀 카운트 및 컬러 깊이를 갖는 컴퓨터 모니터 또는 텔레비전 스크린일 수 있으며, 해상도는 인간 시각 시스템에 의해 인지될 수 있는 최소로 현저한 상세 또는 라인을 정의하고, 컬러 깊이(또는 비트 깊이)는 비트매핑된 이미지 또는 비디오 프레임 버퍼에 단일 픽셀의 컬러를 나타내기 위해 사용되는 비트들의 수이다. 디스플레이(92) 상에서, 각각의 픽셀은 전형적으로 멀리서 볼 때 디스플레이되거나 감지된 컬러에 기여하는 단일 컬러 영역들을 각각 제공하는 복수의 서브픽셀들(예를 들어, 3개 이상의 서브픽셀들)로 형성된다. 게다가, 디스플레이(92) 상에 각각의 서브픽셀의 강도 레벨들의 범위를 정의하기 위해 사용되는 비트들의 수, 예컨대 8 비트 또는 10 비트가 고정된다.

이해의 명확성 및 용이성을 위해, 이미지 처리 시스템(100)을 구성하는 요소들의 모두가 상세히 설명되는 것은 아니다. 그러한 상세들은 당해 기술에서 통상의 기술자들에게 잘 알려져 있고, 특정 컴퓨터 벤더 및 마이크로프로세서 타입에 기초하여 변화될 수 있다. 더욱이, 이미지 처리 시스템(100)은 원하는 구현에 따라, 다른 버스들, 디바이스들, 및/또는 서브시스템들을 포함할 수 있다. 예를 들어, 이미지 처리 시스템(100)은 캐시들, 모뎀들, 병렬 또는 직렬 인터페이스들, SCSI 인터페이스들, 네트워크 인터페이스 카드들 등을 포함할 수 있다. 예시된 실시예에서, CPU(20)는 플래시 메모리(74) 및/또는 SDRAM(62, 64)에 저장된 소프트웨어를 실행한다.

도 2에 도시된 바와 같이, 이미지 처리 시스템(100)은 적어도 하나의 CPU(central processing unit)(20) 및 적어도 하나의 미디어 가속 하드웨어(30), 예컨대 GPU(graphics processing unit)를 갖는 처리 플랫폼에 구현될 수 있다. 이해되는 바와 같이, 본 발명의 측면들은 CPU(20), 미디어 가속 하드웨어(예를 들어, GPU)(30), 또는 그것의 조합만을 사용하여 동작할 수 있었다. 부가적으로, CPU(20) 및 미디어 가속 하드웨어(30)는 이산(예를 들어, 개별 구성요소들)일 수 있거나 단일 패키지 또는 다이로 결합될 수 있다. 이미지 처리 시스템(100)은 제 1 데이터 포맷으로 인코딩되는 고해상도 JPEG 이미지 또는 다른 인코딩된 비트스트림일 수 있는 입력 또는 소스 이미지(101)를 수신하고 제 1 비교적 높은 해상도 및 고정된 컬러 깊이를 갖는다. CPU(20) 및 또는 미디어 가속 하드웨어(30)의 제어 하에, 입력 이미지(101)는 통신 네트워크를 통해 수신되거나 시스템 메모리(예를 들어, 62, 64)로부터 검색되고, 그 다음에 입력 버퍼(31)에 저장될 수 있다. 그 다음, 입력 이미지는 JPEG 디코더(32)에서 JPEG 디코딩 프로세스와 같은 미리 결정된 이미지 디코드 프로세스를 사용하여 디코딩된다. PNG, JPEG-2000, JPEG-XR, 및 TIFF 디코더들을 포함하지만 이들에 제한되지 않는 다른 데이터 포맷들이 사용될 수 있다는 점이 주목되어야 한다. 게다가, 개시된 기술은 RAW 카메라 포맷들과 같은 압축을 갖지 않는 비트맵으로 작업한다. 선택된 실시예들에서, 디코딩된 이미지의 컬러 깊이는 이때 입력 이미지의 컬러 깊이를 증가시키기 위해 공간 평균화 기술들을 사용하는 컬러 공간 변환기(33)를 사용하여 변환될 수 있다. 부가적으로 또는 대안적으로, 디코딩된 이미지 데이터는 디코딩된 이미지의 원점을 원점 시프터(34)에 의해 순차적으로 시프트시키고 그 다음 시프트된 이미지를 이미지 스케일러(35)를 사용하여 스케일링함으로써 인지된 공간 해상도를 증가시키는 것에 의해 디스플레이(92) 상에 디스플레이를 위한 제 2 데이터 포맷으로 더 인코딩되고 포맷될 수 있는 시프트된 출력 이미지들(102-105)의 다운스케일링된 시퀀스를 생성하도록 처리될 수 있다.

선택된 실시예들에서, 컬러 공간 변환기(33)는 주위 서브픽셀들의 공간 평균화를 사용하여 입력 이미지(101)의 컬러 깊이를 증가시킨다. 증가 컬러 깊이를 제공하기 위해, 컬러 공간 변환기(33)는 예컨대 비트 위치들을 부가하거나 입력 이미지 정보를 부동 소수점 포맷으로 변환함으로써 초기 비트 깊이(예를 들어, 서브픽셀 당 8 비트)를 더 큰 비트 깊이(예를 들어, 1서브픽셀 당 10 비트)로 논리적으로 촉진한다. 복수의 서브픽셀들은 픽셀들을 중심 픽셀 주위에 그루핑하기 위해 윈도우를 사용하여 선택되고, 그 다음 디스플레이(92)에 송신될 수 있는 중심 픽셀에 대한 정확하거나 계산된 10 비트 값으로서 평균 값을 컴퓨팅하기 위해 사용된다. 예를 들어, 10, 11, 12 및 13의 8 비트 값들을 갖는 4개의 픽셀들이 중심 픽셀 주위의 윈도우에서 선택되면, 0 내지 255의 규모로 계산된 8 비트 평균은 정확한 11.5 값이 8 비트 길이에 의해 효과적으로 절단되므로 11일 것이다. 그러나, 평균을 0 내지 1023의 10 비트 규모로 컴퓨팅함으로써, 46의 계산된 10 비트 평균은 그것이 0.5 부분을 폐기하지 않으므로 더 정확한 값이다. 이러한 방법으로, 컬러 공간 변환기(33)는 주위 소스 픽셀들의 간단한 평균을 컴퓨팅할 수 있지만, 다른 다른 타입들의 평균화 계산들이 수행될 수 있다. 예를 들어, 윈도우의 중심에서의 각각의 픽셀은 윈도우 내의 모든 픽셀들의 가중 평균값으로 대체될 수 있다. 소스 이미지에서 각각의 8 비트 픽셀 값을 선택하여 평균화된 10 비트 픽셀 값으로 대체하는 대표적인 프로세스를 참조하여 설명되지만, 이것은 단지 일 예이고, 컬러 깊이는 임의의 원하는 양만큼, 예컨대 6에서 8 비트까지, 8에서 9 비트까지, 8에서 12 비트까지 변환하는 등 함으로써 증가될 수 있었다는 점이 이해될 것이다. 획득된 중요한 데이터의 양은 다운샘플링의 비율에 의해 수학적으로 정의된다. 예를 들어, x 및 y 방향들 둘 다에서의 2의 다운샘플(4:1의 비율)은 2개의 더블링들을 제공하며, 각각의 더블링은 퍼(per) 픽셀 컬러 깊이에 부가될 중요한 하나의 부가 비트를 제공한다. 3개의 더블링들(2->4->8->16)을 사용하여 2MP 디스플레이로 다운스케일링된 16 메가픽셀 이미지의 경우, 컬러 깊이는 8 비트에서 11 비트까지 증가될 수 있었다. 이해되는 바와 같이, 컬러 깊이 변환은 이러한 많은 비트들의 컬러 깊이를 디스플레이할 수 있는 디스플레이 기술을 실제로 갖는 것에서 독립적이지만, 많은 TV들 및 컴퓨터 모니터 메이커들은 현재 10 또는 12 비트 컬러를 지원한다.

게다가, 고해상도 입력 이미지(101)는 시간에 따라 디스플레이에 대한 복수의 약간 시프트된 버전들의 입력 이미지를 리스케일링함으로써 분명한 시각적 해상도를 증가시키는 것에 의해, 디스플레이(92)에 대한 버스(95) 및 컨트롤러(90)를 가로질러 라우팅되는 출력 이미지들(102-105)의 시퀀스를 생성하도록 처리된다. 이 때문에, 각각의 입력 이미지(101)는 디코딩된 입력 이미지를 미리 결정된 양만큼, 전형적으로 거리에 있어서 하나의 픽셀 미만으로 시프트시키는 원점 시프터(34)에 의해 처리되고, 그 다음 최종 시프트된 이미지들은 다운스케일러(35)를 사용하여 리스케일링된다. 입력 이미지(101)가 3840 x 2160의 해상도를 갖고 디스플레이(92)가 1920 x 1080 픽셀들을 나타내는 능력을 갖는 대표적인 시나리오에서, 원점 시프터(34)는 프레임을 부분 픽셀 거리에서 우측으로 시프트시키도록 구성될 수 있고, 다운스케일러(35)는 2x2 픽셀들의 모든 블록을 하나의 출력 픽셀을 생성하기 위해 사용되는 평균 값으로 처리하도록 구성될 수 있지만, 임의의 원하는 스케일링 알고리즘이 사용될 수 있다. 이러한 시나리오에서, 초기 또는 기준 프레임은 원점 시프터(34)에 의해 이미지 상세 부분(101a)을 갖는 디코딩된 입력 이미지에 적용되고, 그 다음 다운스케일러(35)에 의해 리스케일링되어 상응하는 이미지 상세 부분(102a)을 갖는 제 1 스케일링된 출력 이미지(102)를 생성할 것이다. 초기 프레임의 처리는 상응하는 이미지 상세 부분(102a)을 생성하는 입력 이미지 상세 부분(101a)에 적용된 제 1 다운스케일 블록 그루핑(110)에 의해 표시된다. 따라서, 원점 시프터(34)는 적용된 프레임의 원점을 약간 우측으로(예를 들어, 단일 픽셀 거리의 0.3 배만큼) 시프트시키고 다운스케일러(35)는 시프트된 이미지를 리스케일링하여 상응하는 이미지 상세 부분(103a)을 갖는 제 2 스케일링된 출력 이미지(103)를 생성한다. 제 1 시프트된 프레임의 처리는 상응하는 이미지 상세 부분(103a)을 생성하는 입력 이미지 상세 부분(101a)에 적용된 제 2 다운스케일 블록 그루핑(111)에 의해 표시된다. 시프트-앤드-리스케일 처리는 다운스케일 블록 그루핑들(112, 113)에 의해 표시된 바와 같이, 상응하는 이미지 상세 부분들(104a, 105a)을 갖는 부가 스케일링된 출력 이미지들(104, 105)을 생성하기 위해 반복될 수 있다. 이미지 상세 부분들(102a-105a)의 시퀀스로 도시된 바와 같이, 시프트-앤드-리스케일 처리는 도 1에 도시된 것과 같은 정적 이미지 처리보다 더 예리하고 더 높은 해상도 콘트라스트를 갖기 위해 시간에 따라 인지되는 출력 이미지들을 생성한다.

원점 시프터(34)에 의해 제공되는 이미지 시프팅의 타이밍 및 패턴은 출력 이미지들의 시퀀스를 생성할 때 원하는 대로 조정되고 제어될 수 있다는 점이 이해될 것이다. 원한다면, 원점은 랜덤하게 또는 아르키메데스 나선형, 대각선, 정사각형 나선형, 또는 2개 이상의 지점들 사이의 교대와 같은 미리 결정된 패턴으로 시프트될 수 있다. 예를 들어, 도 3a-도 3d는 픽셀 거리 미만만큼 2개의 차원으로 시프트되는 시프트된 이미지 프레임들(311-314)의 소스 이미지(300) 및 연관된 시퀀스를 도시한다. 대표적인 이미지(300)에서, 제 1 위치에 축구공(301)의 이미지가 도시되고, 4개의 픽셀들(302)의 그룹은 이미지(300)의 상부 좌측 코너 또는 원점에 도시되지만, 픽셀 그룹(302)은 반드시 축척에 따라 도시되지 않는다는 점이 이해될 것이다. 원점 시프터의 제어 하에, 초기 또는 기준 프레임(311)은 [0, 0] 원점, 또는 픽셀 그룹(302)의 상부 좌측 픽셀을 참조하여 초기에(예를 들어, 시간 0에) 위치되는 것으로 도 3a에 도시된다. 초기 기준 프레임(311)을 사용하면, 이때 이미지는 제 1 다운스케일링된 출력 이미지를 생성하는 2선형 필터와 같은 임의의 원하는 스케일링 알고리즘을 사용하여 리스케일링된다. 후속 시간 간격(예를 들어, 시간 1)에서, 원점은 원래 기준 프레임(311)(도 3(b)에 그레이 라인들로 도시됨)으로부터 x 및/또는 y 방향으로 미리 결정된 부분 거리에 위치되는 제 2 시프트된 프레임을 생성하도록 변화된다. 도 3b에서, 제 2 기준 프레임(312)은 프레임(312)이 1 미만의 픽셀 거리로 시프트 다운되도록 시프트된 원점 [0, 0.5]을 사용하여 (예를 들어, 시간 1에) 위치되는 것으로 파선들에 의해 도시된다. 시프트된 기준 프레임(312)를 사용하면, 이때 이미지는 제 2 다운스케일링된 출력 이미지를 생성하는 임의의 원하는 스케일링 알고리즘을 사용하여 리스케일링된다. 처리 단계들의 시퀀스는 프레임(313)(도 3(c)에서)이 새로운 원점 [0,5, 0.5]로 시프트되고 프레임(314)(도 3(d)에서)이 새로운 원점 [0.5, 0]으로 시프트되도록 시프트된 원점을 참조하여 그 후에(예를 들어, 시간 2 및 시간 3에) 위치되는 것으로 파선들에 의해 도시된 하나 이상의 시프트된 프레임들(313, 314)을 생성하기 위해 원점을 시프트시키도록 반복될 수 있다.

본 명세서에 설명된 바와 같이, 원점 시프터(34)는 시프트된 픽셀 값들을 컴퓨팅하기 위해 소스 이미지 픽셀 값들을 사용할 수 있다. 소스 이미지를 시프트하기 위해 사용되는 대표적인 2선형 보간 계산을 예시하기 위해, 제 1 이미지 프레임(402) 및 길이에 있어서 픽셀 미만으로 시프트되는 제 2 시프트된 이미지 프레임(404)을 도시하는 도 4가 이제 참조된다. 도시된 바와 같이, 픽셀들(P1, P2, P3, P4)은 소스 이미지를 정의하고, 정의된 최소 픽셀 거리만큼 이격되어 있다. 제 1 이미지 프레임(402)은 픽셀(P1)이 제 1 이미지 프레임(402)에 대한 원점이도록 소스 픽셀들(P1, P2, P3, P5)에 적용된다. 제 2 이미지 프레임(404)은 제 1 이미지 프레임(402)에 대해 부분 측면 거리(x) 및 부분 수직 거리(y)만큼 시프트되며, x 및 y 둘 다는 정의된 최소 픽셀 거리 미만이다. 2선형 보간을 사용하면, 시프트된 픽셀 값(P11)은 시프트된 픽셀들(P2, P3, P4)에 대한 상응하는 계산들과 함께, P₁₁ =(1-x)(1-y)P₁ + x(1-y)P₂ +(1-x)yP₃ + xyP₄로 계산될 수 있다. 물론, 다른 2선형 보간 가중 계산들은 시프트된 픽셀 값들을 계산하기 위해 사용될 수 있다.

또한 다운스케일러(35)에 의해 수행되는 다운스케일링 동작은 입력 이미지를 취하고 그것을 정의된 비율에 따라 리사이징하는 임의의 원하는 스케일링 프로세스 또는 회로에서 구체화하기 위해 조정되고 제어될 수 있다는 점이 이해될 것이다. 일반적으로, 이미지 스케일링 기능은 비디오의 픽처 크기를 변화시키고/시키거나 상이한 타입들의 디바이스들 사이에서 플레이백을 위한 이미지를 조정한다. 동작 중에, 다운스케일링 기능은 소스 이미지에서 픽셀들의 그룹을 선택하기 위해 윈도우를 사용하고, 그 다음 윈도우의 중심에서의 픽셀을 윈도우 내의 모든 픽셀들의 가중 평균값으로 대체한다. 선택된 실시예들에서, 이미지 스케일링은 다운스케일링을 위해 평균화 필터 및 트라이앵글 필터를 사용하여 구현될 수 있다. 스케일링 프로세스는 CPU 스케일러 또는 GPU 스케일러로 구현될 수 있으며, 이는 하드웨어 스케일러 또는 프로그램가능 픽셀 쉐이더(shader)일 수 있다.

이미지 내의 원점의 섬세한 재위치 결정은 이미지 내의 일부 매우 미세 에지들이 전적으로 정적 이미지에 다르게 있는 것보다 더 예리하게 나타나게 할 수 있지만, 모션은 매우 경미하다. 이 동일한 효과는 미세 텍스처를 가로질러 패닝(panning)되는 비디오들에서 관찰된다. 비디오가 정지되면, 텍스처는 조금 흐리게 나타나서 쉽게 인식되지 않지만, 비디오가 실행됨에 따라, 일시적 평균화는 인간 시각 시스템이 텍스처가 어떤 것인지를 분명히 인지하고 이해하는 것을 허용한다. 본 명세서에 개시된 이미지 시프팅 기술을 사용하면, 단일 프레임 상에 정지된 비디오는 정적으로 보여지는 것이 아니라, 그 대신에 원점을 약간 시프트시키거나 재위치시킴으로써 생성되는 우리의 매우 미묘한 움직임으로 계속 디스플레이될 것이다. 이미지 모션의 양은 이미지 시프트들 사이의 시간을 증가시키거나 감소시킴으로써 및/또는 시간 기간 당 이동된 부분 거리를 증가시키거나 감소시킴으로써 제어될 수 있다. 이미지 시프팅 패턴들의 효과성을 평가하기 위해, 하나 이상의 테스트 이미지들은 인지된 이미지 해상도에 개선이 있는지를 판단하는 상이한 프레임 레이트들을 사용하여 제안된 시프트 패턴에 대해 평가될 수 있다. 선택된 실시예들에서, 10-20 frames/sec의 프레임 레이트는 최소 아티팩트들을 생성하는 것으로 발견되었고, 2개의 지점들((0,0) 및 (0.5,0.5)) 사이에서 원점을 교대하는 시프트 패턴은 최소 양의 부작용들을 갖는 인지된 이미지 해상도에 최상의 개선을 제공하는 것으로 발견되었다. 상이한 이미지 타입들 및 디스플레이 타입들은 상이한 특성들을 가질 수 있다.

상술된 2차원 소스 이미지들 및 비디오 스틸 이미지들을 처리하는 것에 더하여, 본 발명의 선택된 실시예들은 3D 입체 비디오를 베이스라인 이미지보다 증가된 컬러 깊이 및 분명한 해상도를 갖는 2D 이미지들로 렌더링하기 위해 적용될 수도 있다. 이것은 3D 정보를 제거하도록 2개의 이미지들(각각의 눈에 대해 하나)이 있는 입체 3D 비디오 이미지 정보를 처리하고, 그 다음 서브픽셀 컬러 깊이의 증가를 생성하기 위해 공존된 픽셀들을 평균화함으로써 달성될 수 있다. 게다가, 분명한 공간 해상도는 3D 정보를 감산하고, 그 다음 본 명세서에 설명된 바와 같은 시프트-앤드-리스케일 처리를 사용함으로써 증가될 수 있다. 정의된 비디오 해상도(예를 들어, 1920 x 1080)를 갖는 3D 비디오 정보가 제공되는 대표적인 시나리오에서, 3D 정보는 임의의 원하는 이미지 감산 기술를 사용하여 제거될 수 있다. 예를 들어, 모션 추정 알고리즘은 2개의 눈들로부터의 이미지들이 이제 2D 이미지로 다시 수렴되도록 2개의 완전한 좌측 및 우측 눈 이미지들 사이에 적용될 수 있다. "모션"은 실제로 2개의 눈들 사이의 시차 차이이다. 이미지가 "무한원(infinity)"(카메라 전문 용어에서)인 영역들에서, 어떤 시차도 없고, 따라서 어떤 모션도 없다. 다른 영역들에서, 모션이 있을 것이고, 이러한 작은 모션 벡터들이 "제거"될 수 있다. 다른 감산 기술은 베이스 비디오 스트림 플러스 델타를 포함하는 3D 소스 스트림에 사용될 수 있다. 이러한 경우에, "델타" 정보는 모션 벡터들을 찾을 필요 없이 직접 사용될 수 있다.

이제 도 5를 참조하면, 증가된 컬러 깊이 및 분명한 시각적 해상도를 갖는 이미지를 디스플레이하는 대표적인 이미지 처리 흐름 시퀀스(500)가 예시된다. 방법이 단계(502)에서 시작한 후에, 소스 이미지는 예컨대 메모리로부터 고해상도 이미지를 검색하거나 고해상도 비디오 스트림을 정지시킴으로써 수신된다(단계(504)). 대표적인 실시예에서, 검색된 이미지는 3840 x 2160의 해상도 및 8 비트 컬러 깊이를 갖는 카메라로부터의 사진과 같은 고해상도 JPEG 이미지이고, 픽셀 값들은 검색된 이미지에 대해 식별된다.

단계(506)에서, 이미지가 그의 컬러 깊이를 증가시키기 위해 처리되는지가 판단된다. 그렇지 않다면(결정(508)에 대한 부정 결과), 이때 이미지 처리 흐름 시퀀스는 단계(510)로 진행한다. 그러나, 이미지 컬러 깊이가 증가되면(결정(508)에 대한 긍정 결과), 이때 RGB 이미지 값들은 그들의 컬러 깊이 값들을 변환하거나 증가시키기 위해 처리된다. 컬러 깊이 변환 처리는 우선 소스 픽셀들(또는 서브픽셀들)을 논리적으로 촉진함으로써, 예컨대 8 비트 컬러 깊이 값들을 10 비트 컬러 깊이 값들로 변환함으로써 구현될 수 있다. 게다가, 각각의 (서브)픽셀에 대한 컬러 깊이는 이때 주위 픽셀들(또는 서브픽셀들)의 평균으로 재계산되는 것에 의해, 각각의 (서브)픽셀에 대한 컬러 깊이를 증가시킨다.

단계(510)에서, 이미지 처리 흐름 시퀀스가 이미지 시프팅을 포함하는지가 판단된다. 그렇지 않다면(결정(510)에 대한 부정 결과), 이때 이미지 처리 흐름 시퀀스는 소스 이미지가 리스케일링되고 그 다음 정적 이미지로 디스플레이되는 단계(512)로 진행한다. 그러나, 이미지 처리 흐름 시퀀스가 이미지 시프팅(결정(510)에 대한 긍정 결과)을 포함한다면, 이때 소스 이미지가 리스케일링되고 디스플레이되며(단계(514)), 이미지 시프팅이 요구되는 동안(결정(516)에 대한 부정 결과), 이미지 프레임은 시프트된 픽셀 값들을 계산하기 위해 시프트되고(단계(518)), 그 다음 시프트된 이미지 픽셀들은 프로세스 루프에서 리스케일링되고 디스플레이된다(단계(514)). 이미지 시프트 단계들을 다시 단계(514)를 통해 루프함으로써, 약간 시프트된 출력 이미지들의 시퀀스는 이미지 시프팅이 수행되므로(결정(516)에 대한 긍정 결과) 그러한 시간까지 생성되고 디스플레이되며, 그 지머에서 시퀀스가 종료된다(단계(520)). 이해되는 바와 같이, 간단한 픽셀 평균화, 2선형 필터링 등을 포함하지만 이들에 제한되지 않는 임의의 원하는 이미지 스케일링 알고리즘이 단계(514)에서 사용될 수 있다. 게다가, 단계(516)에서의 판단은 명시된 출력 프레임 레이트, 타이머 클록, 또는 시프팅이 완료될 때를 결정하는 심지어 외부로 제공된 "완료" 신호에서 적용되는 미리 결정된 시프트 패턴을 사용할 수 있다. 최종적으로, 단계(518)에서의 시프트된 픽셀 값들의 계산은 임의의 원하는 보간 계산 기술을 사용하여 RGB 이미지들 픽셀 값들 상에 수행될 수 있다.

이제 디스플레이를 위한 입력 이미지를 처리하는 방법 및 장치가 본 명세서에 개시된다는 점이 이해될 것이다. 개시된 방법에서, 제 1 이미지 해상도를 갖는 디코딩된 입력 소스 이미지는 예컨대 JPEG, PNG, JPEG-2000, JPEG-XR, 또는 TIFF 디코딩 프로세스를 입력 이미지에 적용함으로써 생성된다. 디코딩된 입력 소스 이미지는 정지된 비디오 이미지로부터 생성되거나, 3D 입력 소스 정보로부터의 좌측 및 우측 이미지들을 2차원 입력 소스 이미지에 대한 공존된 픽셀 값들로 수렴시킴으로써 3D 입력 소스 정보로부터 변환될 수 있다. 디코딩된 입력 소스 이미지로부터, 시간적으로 시프트되고 스케일링된 이미지들은 복수의 시프트된 이미지 프레임들을 디코딩된 입력 소스 이미지에 적용하고 픽셀 값들을 제 2 더 낮은 이미지 해상도와 일치하는 각각의 프레임에서 스케일링함으로써 제 2 더 낮은 이미지 해상도를 갖는 디스플레이 스크린에서 디스플레이에 대해 생성된다. 선택된 실시예들에서, 시간적으로 시프트되고 스케일링된 이미지들은 디코딩된 입력 소스 이미지에 적용된 프레임에 대한 원점을 픽셀간 간격 거리만큼 순차적으로 시프트함으로써 생성된다. 원점은 랜덤하게 또는 아르키메데스 나선형 패턴, 대각선 패턴, 정사각형 나선형 패턴, 또는 2개 이상의 지점들 사이의 교대를 사용하여 시프트될 수 있다. 게다가, 디코딩된 입력 소스 이미지로부터의 컬러 깊이 값들은 제 1 비교적 작은 비트 깊이를 갖는 디코딩된 입력 소스 이미지로부터의 각각의 픽셀 값을 디코딩된 입력 소스 이미지로부터의 복수의 주위 픽셀 값들에서 계산되는 제 2 비교적 큰 비트 깊이를 갖는 평균 컬러 깊이 값으로 대체함으로써 증가될 수 있다. 최종적으로, 시간적으로 시프트되고 스케일링된 이미지들은 제 2 더 낮은 이미지 해상도를 갖는 디스플레이 스크린 상에 디스플레이된다.

다른 형태에서, 디스플레이를 위한 입력 이미지를 처리하는 방법 및 연관된 장치가 개시된다. 개시된 바와 같이, 제 1 컬러 깊이를 구비한 제 1 복수의 픽셀 값들을 갖는 입력 소스 이미지가 생성된다. 제 1 복수의 픽셀 값들은 제 1 복수의 픽셀 값들로부터의 각각의 픽셀 값을 제 1 복수의 픽셀 값들로부터의 복수의 주위 픽셀 값들에서 계산되는 제 2 더 큰 컬러 깊이를 갖는 평균 컬러 깊이 값으로 대체함으로써 증가된 컬러 깊이를 구비한 제 2 복수의 픽셀 값들로 변환된다. 대표적인 실시예에서, 제 1 복수의 픽셀 값들은 입력 소스 이미지에서 각각의 8 비트 픽셀 값을 선택하여 선택된 8 비트 픽셀 값 주위의 복수의 픽셀 값들을 평균화함으로써 계산되는 10 비트 픽셀 값으로 대체함으로써 변환되지만, 다른 비트 깊이들이 생성될 수 있다. 최종적으로, 제 2 복수의 픽셀 값들은 제 2 더 큰 컬러 깊이를 갖는 디스플레이 스크린 상의 디스플레이를 위해 처리된다. 디스플레이 처리는 입력 소스 이미지 해상도보다 더 낮은 해상도를 갖는 디스플레이 스크린 상의 디스플레이를 위해 제 2 복수의 픽셀 값들을 스케일링하는 것을 포함할 수 있다. 게다가, 디스플레이 처리는 복수의 시프트된 이미지 프레임들을 픽셀간 간격 거리 미만만큼 시프트되는 제 2 복수의 픽셀 값들에 적용하고 디스플레이 스크린 상의 디스플레이를 위한 각각의 이미지 프레임에서 픽셀 값들을 스케일링함으로써 제 2 복수의 픽셀 값들로부터 시간적으로 시프트되고 스케일링된 이미지들을 생성하는 것을 포함할 수 있다. 이러한 방법으로, 시간적으로 시프트되고 스케일링된 이미지들은 입력 소스 이미지 해상도보다 더 낮은 해상도를 갖는 디스플레이 스크린 상에 디스플레이될 수 있다.

본 명세서에 설명된 바와 같이, 상기 개시되어 있는 본 발명의 선택된 측면들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 상술된 실시예들의 선택된 측면들은 PLD들(programmable logic devices), 예컨대 FPGA들(field programmable gate arrays), PAL(programmable array logic) 디바이스들, 전기적으로 프로그램가능 로직 및 메모리 디바이스들, 및 표준 셀 기반 디바이스들 뿐만 아니라, ASIC들(application specific integrated circuits) 및 풀 커스텀(fully custom) 집적 회로들을 포함하지만 이들에 제한되지 않는 다양한 회로조직 중 어느 것으로 프로그램된 기능성으로 구현될 수 있다. 실시예들의 측면들을 구현하는 일부 다른 가능성들은 메모리(예컨대 EEPROM(electronically erasable programmable read only memory), 플래시 메모리 등)을 갖는 마이크로컨틀롤러들, 내장 마이크로프로세서들, 펌웨어, 소프트웨어 등을 포함한다. 더욱이, 실시예들의 측면들은 소프트웨어 기반 회로 에뮬레이션을 갖는 마이크로프로세서들, 이산 로직(순차 및 조합), 커스텀 디바이스들, 퍼지(뉴럴) 로직, 양자 디바이스들, 및 상기 디바이스 타입들 중 어느 것의 혼합들로 구체화될 수 있다. 기본 디바이스 기술들은 다양한 구성요소 타입들, 예를 들어, MOSFET(metal-oxide semiconductor field-effect transistor) 기술들 예컨대 CMOS(complementary metal-oxide semiconductor), 바이폴라 기술들 예컨대 ECL(emitter-coupled logic), 폴리머 기술들(예를 들어, 실리콘 복합 폴리머 및 금속 복합 폴리머 금속 구조들), 혼합된 아날로그 및 디지털 등에 제공될 수 있다. 따라서, 본 명세서에서 상세한 설명들의 일부 부분들은 그 결과 하드웨어 구현 프로세스에 관하여 제공되고 본 명세서에서 상세한 설명들의 일부 부분들은 그 결과 컴퓨팅 시스템 또는 컴퓨팅 디바이스의 메모리 내의 데이터 비트들 상에 동작들의 기로 표현들을 수반하는 소프트웨어 구현 프로세스에 관하여 제공된다. 일반적으로 말하면, 그의 디지털 회로조직을 포함하는 컴퓨터 하드웨어는 하드웨어 내에 실행하는 컴퓨터 소프트웨어와 구별되는 바와 같이, 컴퓨터의 물리적 부분이다. 컴퓨터의 하드웨어는 소프트웨어 및 하드웨어 데이터와 비교하여 드물게 변화되며, 이는 컴퓨터 상에서 쉽게 생성, 수정 또는 소거된다는 의미에서 "소프트"이다. 이러한 설명들 및 표현들은 그들의 작업의 요지를 하드웨어 및 소프트웨어 둘 다를 사용하는 당해 분야에서 다른 통상의 기술자들에게 가장 효과적으로 전달하는 당해 분야의 것들에 의해 사용되는 수단이다. 본 발명의 하드웨어 실시예들은 본 발명의 측면들을 구체화하는 디바이스를 제조하는 제조 시설을 (예를 들어 특정 마스크워크들을 통해) 구성하는데 사용되는 소프트웨어 코드(예를 들어, 베릴로그, HDL, RTL 또는 GDSII 데이터)에 기초하여 제조될 수 있다.

다른 실시예들에서, 소스 이미지로부터 복수의 시간적으로 시프트된 이미지들을 생성하여 소스 이미지에 적용된 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 순차적으로 시프트하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 복수의 시간적으로 시프트된 이미지들을 생성함으로써 디스플레이를 위한 소스 이미지 상에 이미지 처리를 수행하기 위해 하나 이상의 프로세서들 또는 회로들의 동작을 제어하도록 동작가능한 명령어들을 저장하는 컴퓨터 판독가능 매체 상에 구체화된 컴퓨터 프로그램이 개시된다. 이해되는 바와 같이, 임의의 소프트웨어 구현 측면들은 일부 형태의 프로그램 저장 매체 상에 인코딩되거나 일부 타입의 유형 전송 매체를 구현될 수 있다. 프로그램 저장 매체는 자기(예를 들어, 플로피 디스크 또는 하드 드라이브) 또는 광학(예를 들어, 콤팩트 디스크 판독 전용 메모리, 또는 CD ROM)일 수 있거나, 판독 전용 또는 랜덤 액세스일 수 있다. 유사하게, 전송 매체는 연선들, 동축 케이블, 광섬유, 또는 본 기술에 알려진 일부 다른 적절한 전송 매체일 수 있다.

상기 개시된 특정 실시예들은 본 발명이 본 명세서에서 교시들의 이득을 갖는 당해 기술에서 통상의 기술자들에게 분명한 상이하지만 균등 방식들로 수정되고 실시될 수 있으므로, 단지 예시적이고 본 발명에 관한 제한들로 해석되지 않아야 한다. 따라서, 이전 설명은 본 발명을 진술된 특정 형태에 제한하도록 의도되지 않지만, 그와는 반대로, 당해 기술에서 통상의 기술자들이 그것의 가장 넓은 형태에서 본 발명의 사상 및 범위로부터 벗어나는 것 없이 다양한 변화들, 치환들 및 변경들을 이룰 수 있는 것을 이해해야 하도록 첨부된 청구항들에 의해 정의된 바와 같이 본 발명의 사상 및 범위 내에 포함될 수 있으므로 그러한 대안들, 수정들 및 균등물들을 포괄하도록 의도된다.

Claims

소스 이미지를 디스플레이하는 이미지 처리 시스템으로서,
상기 소스 이미지에 적용된 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 순차적으로 시프트함으로써 제 1 해상도를 구비한 제 1 디지털 이미지를 갖는 소스 이미지로부터 복수의 시간적으로 시프트된 이미지들을 생성하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 복수의 시간적으로 시프트된 이미지들을 생성하도록 적응된 미디어 가속 하드웨어 유닛을 포함하는 이미지 처리 시스템.
청구항 1에 있어서, 상기 미디어 가속 하드웨어는,
제 1 디지털 포맷을 갖는 소스 이미지를 수신하고 디코딩된 이미지를 생성하는 이미지 디코더;
복수의 프레임들을 상기 디코딩된 이미지에 적용하는 원점 시프터로서, 각각의 프레임은 픽셀간 간격 거리 미만만큼 시프트되고 시프트된 디코딩 이미지를 생성하기 위해 사용되는 상기 원점 시프터; 및
상기 디스플레이 스크린에서의 디스플레이를 위해 제 2 비교적 낮은 해상도를 갖는 복수의 스케일링된 시프트 디코딩 이미지들을 생성하기 위해 각각 디코딩된 이미지의 픽처 크기를 변경하는 스케일러를 포함하는 이미지 처리 시스템.
청구항 1에 있어서, 상기 미디어 가속 하드웨어는 각각의 시프트된 프레임으로부터 소스 이미지 픽셀 값들을 스케일링함으로써 상기 소스 이미지로부터 상기 복수의 시간적으로 시프트된 이미지들을 생성하는 것에 의해, 상기 디스플레이 스크린에서의 디스플레이를 위해 제 2 비교적 낮은 해상도를 갖는 복수의 시간적으로 시프트된 이미지들를 생성하도록 적응된 이미지 처리 시스템.
청구항 3에 있어서, 상기 미디어 가속 하드웨어는 픽셀 밀도를 미리 결정된 인자만큼 수직 및/또는 수평 방향으로 감소시키기 위해 상기 소스 이미지 픽셀 값들을 다운샘플링하도록 구성된 다운샘플러를 포함하는 이미지 처리 시스템.
청구항 1에 있어서, 상기 소스 이미지는 정지된 비디오 이미지인 이미지 처리 시스템.
청구항 1에 있어서, 상기 미디어 가속 하드웨어는 제 1 비교적 작은 비트 깊이를 갖는 소스 이미지로부터 픽셀 값 및 연관된 복수의 픽셀 값들을 선택하고, 상기 선택된 픽셀 값을 대체하기 위해 제 2 비교적 큰 비트 깊이를 갖는 평균 컬러 깊이 값을 상기 복수의 픽셀 값들로부터 계산함으로써 상기 소스 이미지로부터 컬러 깊이 값들을 증가시키도록 적응된 이미지 처리 시스템.
청구항 6에 있어서, 상기 미디어 가속 하드웨어는 상기 소스 이미지에서 각각의 8 비트 픽셀 값을 선택하여 상기 선택된 8 비트 픽셀 값과 연관된 복수의 픽셀 값들을 평균화함으로써 계산되는 10 비트 픽셀 값으로 대체하도록 적응된 이미지 처리 시스템.
청구항 1에 있어서, 상기 미디어 가속 하드웨어는 3차원 입력 소스 정보로부터의 좌측 및 우측 이미지들을 상기 2차원 소스 이미지에 대한 공존된 픽셀 값들을 수렴시킴으로써 3차원 입력 소스 정보를 2차원 소스 이미지로 변환하도록 적응된 이미지 처리 시스템.
[청구항 8]
청구항 1에 있어서, 상기 미디어 가속 하드웨어는 3차원 입력 소스 정보로부터의 좌측 및 우측 이미지들을 상기 2차원 소스 이미지에 대한 공존된 픽셀 값들을 수렴시킴으로써 3차원 입력 소스 정보를 2차원 소스 이미지로 변환하도록 적응된 이미지 처리 시스템.
청구항 1에 있어서,
제 1 비교적 높은 해상도를 구비한 제 1 디지털 포맷을 갖는 소스 이미지를 저장하는 메모리; 및
이미지들을 디스플레이하는 디스플레이 스크린을 더 포함하는 이미지 처리 시스템.
디스플레이를 위한 입력 이미지를 처리하는 방법으로서,
제 1 이미지 해상도를 갖는 디코딩된 입력 소스 이미지를 생성하는 단계;
복수의 시프트된 이미지 프레임들을 상기 디코딩된 입력 소스 이미지에 적용하고 픽셀 값들을 제 2 더 낮은 이미지 해상도와 일치하는 각각의 프레임에서 스케일링함으로써 제 2 더 낮은 이미지 해상도를 갖는 디스플레이 스크린에서의 디스플레이를 위해 복수의 시간적으로 시프트되고 스케일링된 이미지들을 상기 디코딩된 입력 소스 이미지로부터 생성하는 단계를 포함하는 방법.
청구항 10에 있어서, 상기 디코딩된 입력 소스 이미지를 생성하는 단계는 JPEG, PNG, JPEG-2000, JPEG-XR, 또는 TIFF 디코딩 프로세스를 입력 이미지에 적용하는 단계를 포함하는 방법.
청구항 10에 있어서, 상기 복수의 시간적으로 시프트되고 스케일링된 이미지들을 생성하는 단계는 상기 디코딩된 입력 소스 이미지에 적용된 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 순차적으로 시프트하는 단계를 포함하는 방법.
청구항 12에 있어서, 상기 원점을 순차적으로 시프트하는 단계는 상기 각각의 프레임에 대한 원점을 이전 프레임으로부터 픽셀간 간격 거리 미만만큼 랜덤하게 시프트하는 단계를 포함하는 방법.
청구항 12에 있어서, 상기 원점을 순차적으로 시프트하는 단계는 아르키메데스 나선형 패턴, 대각선 패턴, 정사각형 나선형 패턴, 또는 2개 이상의 지점들 사이의 교대를 사용하여 상기 각각의 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 시프트하는 단계를 포함하는 방법.
청구항 10에 있어서, 제 1 비교적 작은 비트 깊이를 갖는 디코딩된 입력 소스 이미지로부터의 각각의 픽셀 값을 상기 디코딩된 입력 소스 이미지로부터의 복수의 주위 픽셀 값들에서 계산되는 제 2 비교적 큰 비트 깊이를 갖는 평균 컬러 깊이 값으로 대체함으로써 상기 디코딩된 입력 소스 이미지로부터 컬러 깊이 값들을 증가시키는 단계를 더 포함하는 방법.
청구항 10에 있어서, 상기 디코딩된 입력 소스 이미지는 정지된 비디오 이미지로부터 생성되는 방법.
청구항 10에 있어서, 상기 3차원 입력 소스 정보로부터의 좌측 및 우측 이미지들을 2차원 입력 소스 이미지에 대한 공존된 픽셀 값들에 수렴시킴으로써 3차원 입력 소스 정보를 2차원 입력 소스 이미지로 변환하는 단계를 더 포함하는 방법.
청구항 10에 있어서, 제 2 더 낮은 이미지 해상도를 갖는 디스플레이 스크린 상에 상기 복수의 시간적으로 시프트되고 스케일링된 이미지들을 디스플레이하는 단계를 더 포함하는 방법.
디스플레이를 위한 입력 이미지를 처리하는 방법으로서,
제 1 컬러 깊이를 갖는 제 1 복수의 픽셀 값들로 입력 소스 이미지를 생성하는 단계;
상기 제 1 복수의 픽셀 값들로부터의 각각의 픽셀 값을 상기 제 1 복수의 픽셀 값들로부터의 복수의 주위 픽셀 값들에서 계산되는 제 2 더 큰 컬러 깊이을 갖는 평균 컬러 깊이 값으로 대체함으로써 상기 제 1 복수의 픽셀 값들을 증가된 컬러 깊이를 갖는 제 2 복수의 픽셀 값들로 변환하는 단계; 및
상기 제 2 더 큰 컬러 깊이를 갖는 디스플레이 스크린 상의 디스플레이를 위해 상기 제 2 복수의 픽셀 값들을 처리하는 단계를 포함하는 방법.
청구항 19에 있어서, 상기 제 1 복수의 픽셀 값들을 변환하는 단계는 상기 입력 소스 이미지에서 각각의 8 비트 픽셀 값을 선택하여 상기 선택된 8 비트 픽셀 값 주위의 복수의 픽셀 값들을 평균화함으로써 계산되는 10 비트 픽셀 값으로 대체하는 단계를 포함하는 방법.
청구항 19에 있어서, 디스플레이를 위해 상기 제 2 복수의 픽셀 값들을 처리하는 단계는 상기 입력 소스 이미지 해상도보다 더 낮은 해상도를 갖는 디스플레이 스크린 상의 디스플레이를 위해 상기 제 2 복수의 픽셀 값들을 스케일링하는 단계를 포함하는 방법.
청구항 19에 있어서, 디스플레이를 위해 상기 제 2 복수의 픽셀 값들을 처리하는 단계는,
복수의 시프트된 이미지 프레임들을 픽셀간 간격 거리 미만만큼 시프트되는 제 2 복수의 픽셀 값들에 적용하고 상기 디스플레이 스크린 상의 디스플레이를 위해 각각의 이미지 프레임에서 픽셀 값들을 스케일링함으로써 복수의 시간적으로 시프트되고 스케일링된 이미지들을 상기 제 2 복수의 픽셀 값들으로부터 생성하는 단계; 및
상기 입력 소스 이미지 해상도보다 더 낮은 해상도를 갖는 디스플레이 스크린 상에 상기 복수의 시간적으로 시프트되고 스케일링된 이미지들을 디스플레이하는 단계를 포함하는 방법.
컴퓨터 판독가능 매체 상에 구체화된 컴퓨터 프로그램으로서, 소스 이미지로부터 복수의 시간적으로 시프트된 이미지들을 생성하여 상기 소스 이미지에 적용된 프레임에 대한 원점을 픽셀간 간격 거리 미만만큼 순차적으로 시프트하는 것에 의해, 디스플레이 스크린에서의 디스플레이를 위해 복수의 시간적으로 시프트된 이미지들을 생성함으로써 디스플레이를 위한 소스 이미지 상에 이미지 처리를 수행하기 위해 프로세서를 제어하도록 구성된 컴퓨터 프로그램.