KR20080075843A - 디지털 디스플레이 시스템을 위한 이미지 및 광원 변조 - Google Patents

디지털 디스플레이 시스템을 위한 이미지 및 광원 변조 Download PDF

Info

Publication number
KR20080075843A
KR20080075843A KR1020087012176A KR20087012176A KR20080075843A KR 20080075843 A KR20080075843 A KR 20080075843A KR 1020087012176 A KR1020087012176 A KR 1020087012176A KR 20087012176 A KR20087012176 A KR 20087012176A KR 20080075843 A KR20080075843 A KR 20080075843A
Authority
KR
South Korea
Prior art keywords
image
display
light source
modulator
data
Prior art date
Application number
KR1020087012176A
Other languages
English (en)
Inventor
닐 마르굴리스
Original Assignee
디지털 디스플레이 이노베이션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털 디스플레이 이노베이션, 엘엘씨 filed Critical 디지털 디스플레이 이노베이션, 엘엘씨
Publication of KR20080075843A publication Critical patent/KR20080075843A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2046—Positional adjustment of light sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

이미지 프로세싱은 이미지 변조기 및 광원의 양자를 제어하여, 가능한 최상의 비주얼 이미지를 발생시키는 것에 의해 디스플레이 품질을 향상시킨다. 이미지 프로세싱 시스템은 사용자 입력, 시스템 구성, 설계 정보, 센서 피드백, 픽셀 변조 정보, 및 조명 제어 정보의 조합을 이용해 매 픽셀 기반으로 디스플레이 환경을 특징짓는다. 이러한 매 픽셀당 픽셀 평가 정보는 실시간 입력 디스플레이 데이터의 하나 이상의 프레임과 조합된다. 이미지 프로세싱 시스템은 각각의 입력 픽셀을 프로세싱하여, 대응되는 변경 출력 픽셀을 발생시킨다. 프레임 각각의 픽셀 각각은 그에 따라 프로세싱된다. 변경된 출력 픽셀을 발생시키는 이외에, 이미지 프로세싱 시스템은 광원을 위한 제어 정보를 발생시킨다. 광원 제어 정보는 개개 램프, 튜브, 또는 LED를 제어할 수 있거나, 광원의 블록 또는 서브세트를 제어할 수 있다. 결과적 디스플레이는 개선된 이미지 일관성, 향상된 색역, 및 좀더 높은 동적 범위를 가지며, 하이 모션(high motion) 컨텐츠를 좀더 양호하게 묘사할 수 있다.
Figure P1020087012176
이미지 프로세싱 시스템, 이미지 변조기, 광원 변조, 색역

Description

디지털 디스플레이 시스템을 위한 이미지 및 광원 변조{IMAGE AND LIGHT SOURCE MODULATION FOR A DIGITAL DISPLAY SYSTEM}
이 출원은 2005년 1월 20일에 출원된 미국출원 제11/158,476호의 CIP(Continuation-in-Part)이다.
본 발명은 일반적으로 디지털 디스플레이 시스템을 위한 이미지 프로세싱 및 변조 시스템에 관한 것으로서, 좀더 구체적으로는, 고급 이미지 프로세싱 및 이미지 변조와 함께, 조명 제어를 수행하여 고품질 출력 이미지를 발생시키는 것에 관한 것이다.
FPD(Flat Panel Display) 기술의 다수 유형으로는 TFT(Thin Film Transistor) 디스플레이라고도 하는 AMLCD(Active Matrix Liquid Crystal Displays), si-RLCD(silicon Reflective LCDs), LCOS(Liquid Crystal On Silicon), FLC(ferroelectric displays), FED(Field Emission Displays), 카본 나노튜브(Carbon Nanotube) 기반 NED(Nano Emissive Displays), ELD(ElectroLuminescent Displays), LED(Light Emitting Diodes), OLED(Organic LEDs), PD(Plasma Displays), 수동 행렬 LCD, TFT(Thin Film Transistor), SXRD(Silicon X-tal Reflective Displays), 및 DMD(Digital Mirror Displays)를 들 수 있다.
FPD를 제조하는 것은 특수한 프로세싱 단계를 요구하고, 디스플레이의 전체 영역에 걸친 일관성의 관점에서 수용 가능한 비주얼 품질을 실현하기는 대체로 어려운 일이다. 새로운 디스플레이를 위한 생산 쟁점(yield issue)이기도 하면서, 디스플레이 특징은 동작 조건에 걸쳐 그리고 디스플레이의 수명에 걸쳐 달라질 수 있다. 또한, 대부분의 FPD 기술은 디스플레이 이미지를 조명하기 위해, 형광 램프(FL;fluorescent Lamps), 냉음극 형광 램프(CCFL;Cold Cathode Florescent Lamps), UHP(Ultra High Power) 램프, 또는 LED(Light Emitting Diodes)와 같은, 광원을 요구한다. LED는 다양한 재료로부터 제조될 수 있고, 각각은 그것만의 고유한 "컬러 온도(color temperature)" 특징을 가질 수 있다. 다른 시스템은, 하나 이상의 백색 또는 유색 LED 어레이와 함께, 전통적인 램프의 혼성(hybrid)을 사용할 수도 있다. 예시적 일 시스템에서, 일본의 Sharp Corporation은 37" 및 57" LCD TV를 위한 혼성 백라이트 접근 방법에서 레드 LED와 함께 CCFL을 사용한다.
이러한 기술 중 일부는 FPD로서 직접적으로 시청될 수 있고, 다른 것은, 이미지가 프로젝션되고 프로젝션된 이미지를 사용자가 시청하는 마이크로디스플레이 디바이스로서 사용된다.
프로젝션 디스플레이 시스템은 투과 또는 반사 "마이크로디스플레이" 기술을 사용할 수도 있다. 마이크로디스플레이 기반의 병렬 컬러 프로젝션 시스템에서 소정의 완전한 색역(full color gamut)을 실현하기 위해서는, R, G, 및 B(RGB) 컴포넌트 각각을 위해 3개의 LCD 이미지 변조기가 별도로 사용될 수도 있다. R, G, 및 B를 발생시키는 단일 LCD 이미지 변조기는, 공간 컬러 필터를 통해서나 충분히 높 은 속도에서의 순차적 컬러 필드(color fields)로써 비용을 절감할 수 있다. 또한, LED 및 레이저와 같은 다른 광원도 하나, 또는 셋 이상 이미지의 상이한 컬러에 사용될 수 있다. TI DLP(Texas Instruments Digital Light Processing)와 같은 반사 기술 및 LCOS 이미저(imagers)와 같은 기술이, 인기있는 마이크로디스플레이 기술의 다른 일례이다. Sony는 그들의 후방 프로젝션 TV 시스템 중 일부에 SXRD(Silicon X-tal Reflective Display) 마이크로디스플레이를 사용한다. 다른 디스플레이 디바이스는 HTPS(High Temperature Poly-Silicon) 기술, MEMS(Micro Electro-Mechanical Systems), 또는 카본 나노튜브에 기초할 수도 있다.
프로젝션 디스플레이는 추가 특성과 연관된 프로젝션 경로를 가진다. 예를 들어, 프로젝터로부터의 이미지를 평면 스크린의 중간 미만 레벨에서 프로젝션하는 것은, "키스톤(Keystone)" 효과로서 공지되어 있는 바와 같이, 상단보다 하단이 좁은 이미지를 발생시킨다. 이미지 픽셀이 이미지의 방사축을 따라 그것의 이상적 위치로부터 이동될 때에는, 방사 왜곡(radial distortion)이 발생한다. 이미지는 디스플레이 코너(corners)에서 최대 시야각(field angles)을 갖기 때문에, 코너는 다른 디스플레이 영역보다 좀더 불량한 방사 왜곡을 나타낸다. 방사 왜곡은 이미지 배율이 코너를 향해 감소하는 술통형 왜곡(barrel distortion) 및 배율이 코너를 향해 증가하는 실타래형 왜곡(pin cushion distortion)을 포함한다. 방사 왜곡을 포함하는 렌즈 관련 왜곡은 이미지 변형을 발생시킬 수 있다. 또한, 왜곡은 비평면 스크린 또는 지구의 자계로부터도 발생할 수 있다. 대체로 후방 프로젝션 시스템을 얇게 하기 위해 이루어지는 프로젝션 경로 단축도 왜곡을 증가시킨다. 디 스플레이 시스템의 불균일 프로젝션 특징은 단일 픽셀 또는 픽셀의 그룹에 기초하는 "왜곡 맵(distortion map)"으로써 표현될 수 있다. 디스플레이 왜곡을 특징짓기 위한 "테셀레이션 맵(tessellation map)"은 불균일 삼각형으로 이루어질 수도 있는데, 이 경우, 삼각형의 메시는 왜곡량이 높은 곳에서 좀더 촘촘해진다.
이미지 변조기는 패턴으로 균일하게 간격이 벌어진 고정된 갯수의 픽셀을 가진다. 이미지를 이미지 변조기로부터 디스플레이 스크린에게로 프로젝션하는 것은 픽셀 간격의 균일성을 변형시킨다. 다시 말해, 픽셀은 이미지 변조기의 하부 영역으로부터 디스플레이 스크린의 대응되는 하부 영역으로 일대일로 상관되지 않는다. 따라서, 일부 스크린 디스플레이 영역은 스크린 픽셀보다 좀더 많은 이미지 변조기 픽셀을 갖는 한편, 다른 스크린 디스플레이 영역은 스크린 픽셀보다 좀더 적은 이미지 변조기 픽셀을 가진다.
파노라마식 디스플레이의 경우, 이미지 오브젝트가 곡선형 스크린의 에지 부근으로 이동하는 장소에 모션 아티팩트가 등장한다. 평면 스크린 프로젝션이 모션-적응 필터링되는 경우라 하더라도, 프로젝터로부터의 오브젝트의 거리 차이는 곡선형 스크린에 이동중인 오브젝트의 뚜렷한 모션을 발생시킨다. 추가적으로, 상당한 크기의 곡선형 스크린 시스템은 필요한 해상도와 밝기를 다중 광원에 의해서만 실현할 수 있다. 아주 큰 평면 스크린이라 하더라도 밝기와 컬러를 정확하게 제어하기 위해서는 통상적으로 다중 광원을 요구한다. 대형 스크린 포맷 디스플레이를 위한 고품질 이미지를 실현함에 있어서, 결정적인 팩터는 다중 광원의 제어이다.
컨텐츠의 발생 동안, 다중 카메라 시스템이 곡선형 스크린 및 초대형 스크린 디스플레이에서의 디스플레이 품질을 향상시키는데 흔히 사용된다. 예를 들어, 2대의 카메라가 화면의 오버레이하는 절반을 기록하여, 캡처되는 화면의 컨텐츠를 증가시킨다. 컨텐츠의 증가는 좀더 넓은 화면 및 동일한 화면의 상이한 각도를 캡처하는 것에 기인한다. 계층적 코딩 기술은 기본 계층으로서의 표준 코덱 스트림 및 보충 계층으로서의 향상 정보를 포함할 수도 있다. 2개의 뷰(views)가 약간 상이한 각도로부터 유래하는 경우라 하더라도, 조합된 2개 카메라 뷰를 위한 압축비는, 각각의 뷰가 독립적으로 캡처되고 압축되었을 때의 총 압축비보다 작다. 추가적으로, 제2 카메라는 제1 카메라로부터 차단될 수도 있는 뷰를 제공할 수 있다.
상이한 뷰를 위해 추가적인 카메라 각도를 사용하는 시스템은 이후의 사용을 위한 코딩되고 압축된 추가 데이터를 제공할 수 있다. 또한, 다중 카메라 시스템은 단일 카메라의 제한된 초점 깊이를 보상할 수 있고, 화면을 위한 깊이 정보를 감지하고 기록하는 깊이 탐지 센서(depth-finding sensor)의 사용을 대체할 수 있다. 또한, 다중 카메라는, 사용자가 화면을 시청하기 위한 각도를 선택할 수 있거나, 화면을 줌인 또는 줌아웃할 수 있거나, 게임 플레이 또는 유사한 제어의 결과로서, 화면의 상이한 뷰를 볼 수 있는 좀더 상호 작용적인 재생 환경(more interactive playback environment)을 허용하는데 사용될 수 있다.
스테레오 비디오 캡처 또한, 제1 카메라는 왼쪽 눈 뷰를 기록하고 제2 카메라는 오른쪽 눈 뷰를 기록하는 다중 카메라 시스템을 사용한다. 카메라 렌즈는 소정 거리에서 초점이 맞기 때문에, 한 대의 카메라는 화면의 모든 오브젝트를 위해 하나의 초점 평면을 사용한다. 다중 카메라 시스템은 다중 카메라 각각을 단일 화 면의 상이한 초점 평면을 캡처하는데 사용할 수 있다. 이것은 초점 깊이를 효과적으로 증가시킨다. 디지털 이미지 프로세싱은 이러한 다중 카메라 시스템을 위한 초점 맞추기를 좀더 향상시킬 수 있다.
3차원 양안(binocular) 디스플레이 시스템의 유형으로는 애너글리프(anaglyph) 디스플레이, 프레임 시퀀스 디스플레이, 자동 스테레오 디스플레이, 단일 및 다중 턴 헬릭스 디스플레이(single and multi-turn helix displays)를 들 수 있다. 이들은 통상적으로 다중 카메라 데이터 채널을 가진다. 애너글리프 시스템은 일반적으로, 사용자에게 레드 및 그린 안경을 착용할 것을 요구하고, 그에 따라, 각각의 눈이 상이한 뷰를 인지한다. 프레임 시퀀싱 시스템은 왼쪽과 오른쪽 뷰를 구별하기 위해 입체 안경(shutter glasses)을 사용한다. 자동 스테레오 디스플레이는 렌티큘러 렌즈(lenticular lenses) 및 홀로그램 광학 소자를 사용한다. 단일 또는 다중 턴 헬릭스 디스플레이는, 특수한 안경없이 다중 관찰자에 의해 지각될 수 있는 다중 반투명 디스플레이 스크린을 사용한다.
다중 카메라 시스템은 데이터의 캡처 및 재생의 양자 동안 이미지 프로세싱으로부터 이점을 취할 수 있다. 캡처 동안, 상이한 카메라 이미지는 서로에게 등록되어, 조합된 비디오를 생성할 수 있다. 등록은 카메라로부터의 비디오를 서로에 대해 그리고 시청자에 대해 관련짓기 위한 방법을 제공한다. 좀더 복잡한 캡처 시스템에서는, 비디오 이미지의 3D 삼각형 맵이 비디오 데이터베이스를 형성하는데 사용되는 3D 환경쪽으로 다양한 비디오 이미지가 캡처될 수 있다. 재생 동안, 사용자에 의해 지각되는 뷰는 조작될 수 있고, 다중 비디오 등록 또는 3D 삼각형 맵 을 사용하는 것에 의해, 사용자에게 최상의 뷰를 제공하도록 조작될 수 있다. 사용자 시점은 캡처된 비디오에 비교하여 때때로 고유할 것이므로, 디스플레이 출력 시스템은 캡처된 뷰의 하나가 아니었던 새로운 뷰를 사용자를 위해 발생시키도록 비디오 데이터를 기하학적 변환(geometric transforms)을 통해 조작할 수 있다.
LCD 재료의 고유한 응답 특징 때문에, LCD-기반 프로젝션 및 직시형 디스플레이 시스템은 각각 고유한 플리커 특징을 가지며 상이한 모션 아티팩트를 나타낸다. 더 나아가, LCD는, 그것이 픽셀의 상태를 변경하는데 걸리는 제한된 시간 동안에 스위칭한다. 능동 트랜지스터가 각각의 디스플레이 픽셀을 제어하는 능동 행렬 TFT 디스플레이는 LCD 재료 조합 및 두께에 그리고 스위칭의 기술에 관련된 스위칭 시간을 요구한다. 일 상태로부터 다른 상태로의 전이가 반드시 선형일 필요는 없으며 픽셀값의 시퀀스에 따라 달라질 수 있다.
각각의 스크린 위치에서 각각의 픽셀을 위한 컬러 컴포넌트 각각을 정확하게 묘사할 수 있는 능력은 고품질 디스플레이 디바이스의 또 다른 소망 기능이다. 디스플레이 출력 픽셀은 통상적으로 세 개 한 조(레드, 그린, 블루) 또는 컬러 컴포넌트의 다른 조합으로 이루어지므로, 각 픽셀을 위한 각각의 컬러 컴포넌트는 통상적으로 다중 서브픽셀로 이루어진다. 그러나, "픽셀"이라는 용어는 서브픽셀의 세 개 한 조를 설명하는데도 사용된다. 스크린 디스플레이 픽셀에게로 매핑되는 픽셀의 컬러 컴포넌트 각각은 불균일하게 이동할 수도 있는데, 이 경우, 일부 픽셀은 지나치게 밝아지고 다른 것은 충분히 밝아지지 않는다. 이러한 불균일성은 광 경로 특징, 거울, 렌즈, 램프, 또는 그것에 관한 임의 조합의 함수일 수도 있다. 마 찬가지로, LED 백라이트형 FPD의 경우, LED의 간격 및 배치가 불균일한 밝기 패턴을 발생시킬 수도 있는데, 이 경우, LED에 좀더 근접한 이미지 변조기 픽셀은 LED로부터 멀리 떨어진 이미지 변조기 픽셀보다 좀더 밝아 보인다. 유색 LED 또는 컬러 필터를 갖춘 LED의 경우, 변조기 픽셀은 부가적으로, 단지 밝기 차이 뿐만 아니라 컬러 균일성 차이에 의해서도 영향을 받게 될 수 있다. LED의 밝기는 다양한 PWM(Pulse Width Modulation) 기술을 사용해 변조될 수 있거나 전압 또는 전류를 조정하는 것에 의해 변경될 수 있다. LED는 그룹에서의 근접성에 의해, 컬러에 의해, 또는 소정 조합에 의해 집합적으로 제어될 수 있거나, 가장 복잡한 경우, 각각의 LED가 개별적으로 제어될 수도 있다.
디스플레이 시스템은 통상적으로 컬러, 밝기, 화이트 밸런스(컬러 온도), 및 다른 설정을 위한 다양한 사용자 제어를 포함한다. 사용자는 선호도, 주변 광 조건, 및 컨텐츠 유형(비디오 대 컴퓨터)에 기초해 제어를 조정한다. 규정된 시간을 초과하면, 디스플레이의 수명 효과는 사용자에게 추가적인 조정을 수행할 것을 요구할 수 있거나, FPD가 그러한 조정을 자동적으로 수행할 수도 있다. 사용자 조정은 통상적으로, 디스플레이의 서브섹션에 대한 것이 아니라, 전체 시스템에 대한 것이지만, 공장의 숙련된 기술자는 좀더 복잡한 다른 조정을 수행할 수도 있다. 일부 디스플레이 시스템은 광원 뿐만 아니라 주변 광 조건의 양자로부터 광 출력 피드백을 측정할 수 있는 역량을 포함한다. 그러한 피드백 시스템은 디스플레이 컴포넌트의 온도 및 수명 효과 그리고 변화하는 주변 광 조건을 보상하는데 사용될 수 있다. 그러한 조정을 위한 타임스케일은 조정의 특정한 측정 및 임계 도(criticality)에 기초해 달라질 것이다. 컨텐츠의 유형에 기초한 조정은 수초에 걸쳐 이루어질 수도 있는 한편, 동적 제어를 위한 프레임 대 프레임 조정은, 밀리초의 차수로, 훨씬 빨리 수행되어야 한다. 주변 광 조건에 기초한 조정은 낮 동안의 시간에 걸쳐 자연스럽게 달라질 수 있을 뿐만 아니라 방안의 램프 및 다른 광원에 대한 변화에 의해서도 자연스럽게 달라질 수 있다.
도 1A는 다중 LED(104)의 구조로 이루어진 LED 어레이(102f)의 정면도를 나타낸다. 각각의 LED는, 화이트 LED이거나 레드, 그린, 또는 블루와 같은 다양한 컬러 중 하나일 수 있는 광원이다. 다른 LED 컬러도 사용되며, 컬러는 LED 구조의 일부일 수 있거나, LED 각각의 일부로서의 컬러 필터일 수 있거나, LED의 어레이를 위한 필터 메커니즘일 수도 있다. LED의 어레이는, 이미지 변조기와 조합되는 경우, 디스플레이 컬러의 완전한 범위를 발생시킬 수 있는 제어 가능하고 일관성있는 광원을 발생시키도록 컬러의 패턴(pattern of colors)으로 정렬될 수도 있다.
도 1B는 다중 LED(104)로부터 구성된 LED 어레이(102s), 다중 렌즈 시스템(108 및 112), 및 다양한 광 변조 기술을 사용할 수도 있는 마이크로디스플레이 이미저 또는 이미지 변조기(110)의 측면도인 서브시스템(100)을 나타낸다. LED는 화이트 또는 다중 유색일 수 있고, 컬러 휠과 같은, (도시되어 있지 않은) 추가 컬러 시스템이 시스템(100)에 포함될 수도 있다. 예시적 일 시스템에서, 렌즈(108)는 마이크로디스플레이(110)를 통해 광을 한 점에 모으고, 렌즈(112)는 광 프로젝션을 제어한다. 프로젝션 시스템은 전방 또는 후방 프로젝션일 수 있고 이미지를 (도시되어 있지 않은) 스크린에 프로젝션하기 위해 다른 렌즈 및 거울, 다이크로익 재조합기(dichroic recombiners), 그리고 필터를 사용할 수도 있다. 마이크로디스플레이(110)는 변조된 광량을 각 픽셀을 통해 통과시키는 투과성이거나 변조된 양을 반사시키는 반사성일 수 있다. 마이크로디스플레이(110)의 해상도는 통상적으로, 광원을 구성하는 컴포넌트의 해상도보다 훨씬 높다.
도 1C는, 백라이트(122)가 LED의 스트립(122)이나 어레이(102)로 이루어지는 LCD 패널 시스템의 측면도인 서브시스템(140)을 나타낸다. LCD 디스플레이 또는 이미지 변조기(130)는 통상적으로, 광원을 구성하는 컴포넌트의 해상도보다 훨씬 높은 해상도를 가진다. 예외로는, 각각의 LCD 픽셀이 픽셀의 일부로서 광원을 갖고, 그에 따라, 광원의 해상도가 디스플레이의 해상도와 동일한 OLED 및 적절하게 인가된 전압이 각각의 나노튜브를 여기시키고, 다음으로는, 여기된 나노튜브가 전자로써 픽셀 또는 서브픽셀을 위한 컬러 형광체에 충격을 가하여 "그것을 밝게 하도록" 카본 나노튜브가 정렬되는 NED를 들 수 있다. 밝기 및 컬러 파장은 전자의 수량, 사용되는 형광체, 및 다양한 다른 팩터에 기초한다.
LED 백라이트형 디스플레이의 경우, 다양한 필터, 컬러 및 광 확산 경사(diffusion gradients), BEF(Brightness Enhancement Films), 확산 플레이트, 광 가이드, 및 혼합 광 가이드(126)가 디스플레이를 위한 광 균일성을 개선하기 위한 옵션으로서 사용될 수도 있다. 일부 백라이트형 디스플레이는 밝기 및 파장에서의 변화를 검출할 수 있는 (도 1에 도시되어 있지 않은) 하나 이상의 광 센서를 포함할 수도 있다(Hamamatsu 제품 요약서 참고하기).
대부분의 LCD 기반 이미지 변조기(110 및 130)는 래스터 스캔 방식(raster scan fashion)으로 어드레싱되고 각각의 픽셀은 각각의 디스플레이 프레임 구간 동안 리프레시된다. 따라서, 모든 출력 픽셀은, 마지막 사이클 이후로 픽셀값이 변경되었는지의 여부와 무관하게, 매 리프레시 사이클 동안(during every refresh cycle) 디스플레이에 기입된다. 각각의 R, G, 및 B 컬러 컴포넌트는 통상적으로, 다수 비트로써 디지털 표현되는 상이한 밝기 값(intensity value)을 가진다. 예를 들어, 8개 비트가 각각의 R, G, 및 B 컬러 컴포넌트를 표현한다면, 각각의 컴포넌트는 0에서 255에 이르는 28(=256)개 밝기 값을 가진다. 이상적 디지털 디바이스로 컬러 컴포넌트의 밝기 값을 숫자 X에서, 예를 들어, 숫자 Y로 변경하는 것은 Y 값에 무관하게 꼭 그만큼의 시간이 걸린다. 따라서 이상적 시스템에서는, 컬러 컴포넌트 값을 2에서 3으로 변경하는데 그 값을 2에서 200으로 변경하는 것과 동일한 시간이 걸린다. 그러나, LCD 이미지 변조기 픽셀의 특징 때문에, 광도(light intensities)를 변조하기 위한 전이는 순수하게 디지털적이지 않으며 반드시 선형일 필요도 없다. Margulis 등에 의한 미국특허 제6,340,994호는, 디스플레이 변조 시스템의 선행 프레임 값과 공지 전달 함수에 기초해, 소정 프레임의 디스플레이 동안 그것의 출력을 소정 값으로 조정한다면, 이미지의 시간 관련 표현이 최대한 정확하다는 것을 보장하는 TGP(Temporal Gamma Processing)를 교수한다.
변조기 기반 시스템을 위한 광원은 의도된 색역을 정확하고 균일하게 발생시킬 수 없을 수도 있고, 스크린에서의 상이한 변조기 픽셀 위치는, 불균일한 컬러 및 밝기를 발생시키면서, 광원에 의해 상이하게 영향 받을 수도 있다. 추가적으 로, 광원의 출력 특징은 시간에 걸쳐 달라질 수도 있고 보상되어야 할 수도 있다. 디스플레이 시스템은 광원의 상태를 판정하기 위한 적합한 센서를 포함할 수도 있다.
따라서, 상기 원인 모두로 인해, 필요한 것은 이미지 변조기 및 광원 양자를 제어하는 것에 의해 디스플레이 품질을 효과적으로 향상시킴으로써 좀더 양호한 비주얼 이미지를 제공하는 이미지 프로세싱 시스템이다.
본 발명은 이미지 변조기 및 광원 양자를 제어하여 디스플레이 품질을 향상시키는 이미지 프로세싱을 수행하기 위한 장치 및 방법을 제공한다.
이미지 프로세싱 시스템은 사용자 입력, 시스템 구성 및 설계 정보, 센서 피드백, 픽셀 변조 정보, 및 조명 제어 정보를 고려하여 매 픽셀 기반으로 디스플레이 환경을 특징짓는다. 이러한 매 픽셀 평가 정보는 실시간으로 입력되는 디스플레이 데이터의 하나 이상의 프레임과 조합된다. 이미지 프로세싱 시스템은 각각의 입력 픽셀을 프로세싱하여, 변경된 대응 출력 픽셀을 발생시킨다. 각 프레임의 픽셀 각각은 그에 따라 프로세싱된다.
변경된 출력 픽셀을 발생시키는 이외에, 이미지 프로세싱 시스템은 개개 램프, 튜브, 또는 LED를 제어할 수 있거나 광원의 블록 또는 서브세트를 제어할 수 있는 광원 제어 정보를 발생시킨다. 광원은 디스플레이 시스템내에 발광 소자를 포함할 것이고, 디스플레이 주위 뿐만 아니라 방 전체의 주변 조명에 영향을 미치는 광을 포함할 수도 있다.
예시적인 FPD 시스템은 백라이트로서 레드, 그린, 및 블루 LED의 패터닝된 어레이를 그리고 이미지 변조기로서 TFT 패널을 가진다. 240개 LED가 개별적으로 제어되지만 TFT 패널의 해상도는 1600 x 1200 픽셀이다. 다양한 필터 및 확산 필름이 패널 전체에 걸쳐 최대한 일관적이고 균일한 컬러와 밝기를 발생시키는데 사용된다. TFT 픽셀 각각의 패널에서의 위치에 따라, TFT 픽셀 각각은 하나 이상의 RGB LED 트리플릿(triplets)에 의해 영향을 받는다. 이러한 예시적 시스템을 위한 DOP(Display Output Processing)는 각각의 LED를 변조해 그것의 밝기를 제어하고 TFT 패널을 위한 매 픽셀 값을 조정한다. 결과적 디스플레이는 개선된 이미지 일관성, 향상된 색역, 및 좀더 높은 동적 범위를 갖고, 하이 모션 컨텐츠(high motion content)를 좀더 양호하게 묘사할 수 있다.
도 1A는 개개 LED 소자의 종래 기술 LED 어레이의 블록도이고;
도 1B는 종래 기술 프로젝션 시스템의 광원, 마이크로디스플레이 이미지 변조기, 및 렌즈의 측면도를 나타내는 블록도이며;
도 1C는 종래 기술 FPD 시스템의 광원, 필터, 및 이미지 변조기의 측면도를 나타내는 블록도이고;
도 2는, 본 발명의 실시예에 따른, DIP(Display Input Processor) 및 DOP(Display Output Processor) 시스템의 일 실시예의 블록도이며;
도 3은 본 발명에 따른 도 2의 DIP(210)의 일 실시예의 블록도이고;
도 4는 본 발명에 따른 도 2의 DOP(230)의 일 실시예의 블록도이며;
도 5는 본 발명에 따른 도 4의 기하학적 변환(404)의 일 실시예의 블록도이고;
도 6은 피드백을 위해 광 센서를 포함하는 FPD를 위한 LED 기반 백라이트 시스템의 블록도이며;
도 7은 다양한 비디오 및 그래픽 프로세싱을 디스플레이 프로세싱 및 광원 프로세싱과 조합하는 SOC(System-On-Chip) 실시예의 블록도이고;
도 8은, 본 발명의 일 실시예에 따른, 이미지를 프로세싱하는 방법에서의 단계의 흐름도이다.
본 발명은 이미지 디스플레이 시스템에 사용하기 위한 전자 이미지 프로세싱 기술 및 이미지 프로세싱 장치에서의 개선을 제공한다. 장치는 디지털 이미지 변조기도 그리고 이미지 변조기를 조명하는 하나 이상의 광원도 제어하는 디스플레이 출력 프로세싱 모듈을 포함한다.
도 2는 DIP(Display Input Processor;210) 및 DOP(Display Output Processor;230)를 포함하는 디스플레이 시스템(240)을 포함하는 이미지 프로세싱 시스템(200)을 나타내는데, 공통 데이터버스(250)가 DIP(210)와 DOP(230)를 커플링한다. 또한, 디스플레이 시스템(240)은 디스플레이 스크린(260)에 커플링된 그리고 변조기 드라이버(242)를 통해 DOP(230)에 커플링된 (도 1의 변조기(110 및 130)에 필적하는) 이미지 변조기(244)를 포함한다. 또한, DOP(230)는 디스플레이 광원(270)에 커플링된 광원 드라이버(252)를 포함하고, 광 센서(246)로부터 경 로(248)를 통해 디스플레이 센서 피드백을 수신한다. DIP(210)는 바람직스럽기로는 라인(2050)을 통해 이미지 데이터를 수신하고, 이미지를 공간적으로도 그리고 시간적으로도 재구성한다. DIP(210) 출력은 이미지의 비주얼 품질을 향상시키고 디스플레이-특정 프로세싱을 수행하기 위한 DOP(230)에 의해 프로세싱된다.
이미지 변조기(244)는 TFT 디스플레이와 같은 LCD 기반 직시형 시스템(LCD-based direct view system)의 일부일 수 있는데, 이 경우, 디스플레이 스크린(260)은 FPD의 통합 부분이고, 변조기 드라이버(242)가 스크린 픽셀을 제어한다. DOP(230)는 FPD를 위한 TCON(Timing Controls)을 포함할 수도 있다. 이미지 변조기(244)가 프로젝션 시스템의 일부이면, 이미지 변조기(244)는 디스플레이 스크린(260)상으로 프로젝션되어 확대될 이미지를 제공한다. 프로젝션 시스템에서, 이미지 변조기(244)는 비교적 작은(수 인치의) 마이크로디스플레이 소자일 것 같고, 고정이거나 이동 가능할 수 있다. 변조기 드라이버(242)는 비교적 간단할 수 있거나, DLP 프로젝션 시스템의 경우에서와 같이, 마이크로디스플레이 특유의 복잡한 프로세싱을 포함할 수도 있다.
FPD 직시형 스크린 및 마이크로디스플레이 기반 프로젝션 시스템 양자를위한 조명 소자의 선택이, 높은 디스플레이 품질을 실현하기 위한 핵심 요소이다. 디스플레이에게로 전반적인 밝기를 제공하는 이외에, 본 발명에 따른 제어 가능 광 소자의 조명 시스템은 이미지 변조 기술과 조합되어, 개선된 디스플레이 결과를 실현할 수 있다. 고급 이미지 프로세싱에 의해 그리고 광 소자 및 이미지 변조기 양자를 제어하는 것에 의해, 높은 동적 범위와 확장된 색역의 디지털 디스플레이가 개 발될 수 있다. 사람의 눈은 대체로, 해상도만이 높은 경우보다는 높은 동적 범위를 좀더 용이하게 지각할 수 있고; 따라서, 명백한 고품질 디스플레이는 높은 동적 범위로부터 초래될 수 있다. LCD 재료는 초고강도 광(very high intensity light)을 완전히 차단할 수 없어, 광원의 지능적 프로세싱 및 제어로써 경감될 수 있는 적당한 블랙 레블을 실현하는 것이 또 하나의 문제점이다.
각각의 스캔에 따른 상이한 포인트에서 광도를 조정할 수 있는 능력을 갖춘 스캐닝 레이저를 사용하는 프로젝션 시스템은 개선된 동적 범위의 디스플레이를 발생시킬 수 있다. 스캐닝 레이저가 각 픽셀을 위한 전체 광 범위에 걸쳐 광도를 완전하게 변경할 수는 없다고 하더라도, 저해상도에서의 변경된 광도는 풀 해상도의 마이크로디스플레이와 조합되어 높은 동적 범위의 프로젝션 시스템을 발생시킬 수 있다. 다중 파장 스캐닝 레이저는 높은 동적 범위의 프로젝션 시스템을 위해 마이크로디스플레이와 조합할 수 있고, 색역을 향상시키는데도 사용될 수 있다. 또한, 모션 묘사를 위한 향상이 스캐닝 레이저를 위한 제어에 포함될 수도 있는데, 이 경우, 레이저 광 조명의 스캔 경로는 마이크로디스플레이 이미지의 스캐닝과 조화된다.
조명 소자의 제어가 그렇게 중요하기 때문에, 이미지 변조기(244)를 위해 픽셀을 프로세싱하는 이외에, DOP(230)는 디스플레이 광원(270)을 제어하기 위한 프로세싱을 수행한다. 단일 램프의 경우, 시그널링은 고전압 램프로부터의 격리를 위해 여전히 광원 드라이버(252)를 통과할 수도 있겠지만, 프로세싱은 아주 간단할 수도 있다. 디스플레이 광원(270)이, LED 어레이에 의한 것과 같이, 개별적으로 제어되는 다중 소자를 포함하는 경우, DOP(230)는 LED 각각을 위한 강도 레벨을 판정하기 위해 광범위한 프로세싱을 수행할 수도 있다. DOP(230)에 의해 판정된 레벨에 기초해, 광원 드라이버(252)는 LED의 그룹을 위한 또는 개개 LED 각각을 위한 밝기 시그널링을 제어할 수 있다. 밝기는 아날로그 전류 또는 전압 기술을 통해서나 디지털 PWM(Pulse Width Modulation) 수단을 통해 제어될 수 있다.
일례로서, 프로젝션 시스템은 개별적으로 제어되는 LED의 어레이를 이미지 변조기로서의 DLP 마이크로디스플레이와 조합된 광원으로서 사용할 수도 있다. LED는 화이트일 수 있고 컬러 휠 또는 다른 컬러 시스템과 함께 사용될 수 있거나, 다중 컬러 LED가 사용될 수도 있다. 조명의 다중 평면으로서 이루어지는 혼성 조명 시스템도 설계될 수 있다. 예를 들어, 제어되는 LED와 UHP 램프가 조합될 수 있거나, LED 백라이트 시스템은 OLED, NED, 또는 다른 FED 기반 이미징 평면으로써 부가적으로 향상될 수 있다. 특수한 위치 기반 시스템 및 게임 머신은 프로젝션 시스템을 다른 광원과 조합하여 상이한 효과를 실현할 수도 있다. 향상된 환경은, 레이저 및 스트로브 광과 같은, 다양한 광원을 조합하는 것에 의해, 디스플레이내에서도 그리고 시청 환경 내에서도 생성될 수 있다.
다양한 유형의 광 센서(246)가 디스플레이 시스템내의 광 레벨 및 광 파장을 검출할 수 있고, 주변의 외부 광 조건을 검출할 수도 있다. 센서는 단일 파장 기반일 수 있거나, 사람 눈의 거동을 좀더 정확하게 모방하는 삼자극(tristimulus) 센서일 수도 있다. 좀더 복잡한 다른 광 센서 시스템은, 프로젝션 시스템에 의해 발생된 이미지를 기록하는 카메라와 같은, 이미징 센서를 포함할 수도 있다. 카메 라는 어셈블리된 디스플레이 제품의 일부일 수 있거나, 제품의 일부로서 선적되지 않으면서 시스템의 생산 및 공장 설정(factory setting)에 사용될 수도 있다. 광 센서(246)는 아날로그에서 디지털의 다양한 변환 뿐만 아니라, (도시되어 있지 않은) 외부 프로세싱 모듈에 의해 광 센서(246) 모듈내에서 또는 DOP(230)내에서 수행될 수도 있는 다른 신호 프로세싱 단계를 요구할 수도 있다. 센서 피드백은 별도로 파라미터화될 수 있거나 범용 디스플레이 파라미터로 통합될 수도 있다.
DIP(210) 및 DOP(230) 양자는 그것의 개개 프로세싱에 의해 사용될 수 있는 하나 이상의 메모리 버퍼, 프레임 버퍼, 라인 버퍼, 또는 캐시를 가질 수도 있다. 메모리 버퍼의 사용은 중요한 고려 사항인데, 그것이 시스템 설계시의 비용 및 성능에 영향을 미칠 수 있기 때문이다. 파이프라이닝 동작의 사용은 시스템을 통한 전반적 지연을 감소시킨다는 것에 특히 주의해야 한다. 가능한 경우, 라인 버퍼는 가동중인(on the fly) 프로세싱을 위해 사용되고, 프레임은 후속 프레임의 프로세싱을 위해 저장된다. 현재 프레임의 프로세싱이 그 프레임으로의 완전한 액세스를 요구한다면, 완전한 프레임(full frame)의 지연이 추가된다.
DIP(210) 및 DOP(230)는 이미지 데이터를 높은 정확도의 내부 포맷으로 프로세싱할 수도 있는데, 내부 이미지 포맷이 이미지 변조기(244)의 출력보다 낮은 정확도를 가진다면, 다양한 이미지 프로세싱 단계 각각에서 그러한 정보가 소실될 수 있기 때문이다. DIP(210) 및 DOP(230), 예를 들어, 이미지 변조기(244)의 공간 해상도 출력보다 (수직으로 그리고 수평으로 배가되어) 4배 높은 픽셀 해상도를 가진 프로세싱 이미지를 발생시키고 유지할 수 있다. 마찬가지로, 이미지 프로세싱 동 안 이미지 변조기가 매 컬러 컴포넌트당 8개 비트로 제한될 수 있다고 하더라도, 각각의 컬러 컴포넌트를 위한 내부 포맷은, 부동 소수점 값(floating point values)에서와 같이, 32개 비트 이상으로 유지될 수도 있다. 픽셀 어드레스 정보 또한, 확장된 정수 또는 부동 소수점 표현을 사용해, 이미지 변조기(244)에게로 궁극적으로 출력될 것보다 훨씬 높은 정확도로써 프로세싱될 수 있다. 이후의 프로세싱 단계에서, 높은 내부 해상도, 컬러 표현, 및 픽셀 어드레스 정보는 디더링(dithering)될 수 있거나, 그렇지 않으면, 이미지 변조기(244)의 요구되는 출력 해상도와 포맷을 정합하도록 프로세싱될 수 있다.
도 3은, 모두가 공통 데이터버스(350)에 접속된, 아날로그 입력 제어(302), 디지털 입력 제어(304), 압축된 입력 제어(312), 및 IR(Image Reconstruction;318)의 이미지 프로세싱 모듈을 포함하는 도 2의 DIP(210)의 블록도이다. 인터페이스(306)는 DIP(210)를 DOP(230)로부터 격리시킬 수 있고 산업 표준 또는 사유(proprietary) 포맷을 준수할 수도 있는 인터페이스 데이터버스(250)를 이용할 수 있다. 또한, DIP(210)는 시스템(200)으로부터 라인(2050)을 통해 이미지 데이터 입력을 수신하기 위한 하나 이상의 입력 데이터 인터페이스(300)를 포함한다. 이미지 데이터는 아날로그 비디오, 디지털 비디오, 미튜닝 데이터, 그래픽 데이터, 또는 압축 데이터 중 하나 이상을 포함할 수도 있다. 아날로그 비디오 데이터는 복합 비디오(composite video), S-비디오, 또는 소정 컴포넌트(YUV/YCrCb)와 같은 원시 비디오 포맷의 상태일 수도 있다. 공통 캐리어상에 다수 채널을 가질 수도 있는 브로드캐스트 전달 시스템으로부터 수신된 미튜닝 데이터(non-tuned data)는, 관련 데이터가 채널로부터 튜닝될 수 있도록 하기 위해, DIP(210)에 또는 DIP(210)과는 별도로 튜너가 포함될 것을 요구할 수도 있다.
디지털 입력 데이터는 RGB 데이터 포맷 또는 YUV 기반 비디오 포맷일 수도 있다. 비디오 및 오디오 컨텐츠를 포함할 수도 있는 압축 데이터는 MPEG-2, H.264를 포함하는 MPEG-4, 웨이블릿 인코딩, 또는 다른 압축 포맷으로 인코딩될 수도 있다. 압축 포맷은 입력 이미지 프레임의 다중 해상도를 포함하는 서브밴드 인코딩된 데이터(subband encoded data)를 포함할 수도 있다. 입력 데이터는, 가로세로비에서 입력 이미지와는 상이할 수도 있으며 프레임 속도에서도 입력 이미지와는 상이할 수도 있는 다양한 표준 및 고해상력 필드(high definition field) 또는 프레임 기반 포맷의 상태일 수도 있다. 라인(2030)의 이미지 데이터는 보안을 위해 암호화될 수도 있고 그에 따라 DIP(210)에 의한 복호화를 요구할 수도 있다.
또한, DIP(210)는, 이미지 데이터와 동반하는, 예를 들어, 선택 입력, 데이터 유형, VBI(Vertical Blanking Interval) 데이터, 및 OSD(On-Screen Display)를 위한 오버레이 채널 정보를 포함하는 다양한 제어 데이터를 수신하고, 이러한 제어 데이터를 DOP(230)에게로 제공한다. 아날로그 입력 제어(302), 디지털 입력 제어(304), 및 압축 입력 제어(312)의 이미지 프로세싱 모듈 각각은 바람직스럽기로는 인터페이스(300)로부터 이미지 데이터를 수신한다. (도시되어 있지 않은) 시스템 프로세서는 바람직스럽기로는 사용자-선택 입력 제어를 사용해, 모듈(302, 304, 및 312) 각각에 의해 적절하게 프로세싱된 다음 버퍼 메모리(308)에 저장되는 것이 바람직스러운 이미지 데이터를 선택한다. 또한, 시스템 프로세서는 사용자 입력 명령을 사용해 PIP(picture-in-picture) 디스플레이를 위한 윈도잉(windowing), OSD 정보, 및 다른 시스템 윈도잉 역량을 제어한다. DIP(210)는 바람직스럽기로는 YUV나 RBG 포맷의 이미지를 프로세싱한다.
아날로그 입력 제어(302)는 바람직스럽기로는, 아날로그 데이터 입력을 샘플링하여 디지털 데이터 출력을 발생시키는 ADC(Analog-to-Digital Converter;3002)를 포함한다. ADC(3002)는, 고품질을 실현하기 위해, 샘플링된 데이터 포인트로부터 이미지가 재구성될 수 있기에 충분하도록, 그것의 입력 데이터를 빈번하게 그리고 정확하게 샘플링한다. 서브캐리어 복조를 위한 추가적 종래 기술이 사용되어 아날로그 입력 신호로부터 비디오 데이터를 추출한다.
디지털 입력 제어(304)는 바람직스럽기로는 동기화 엔진(3040)을 포함하고, YUV 비디오 또는 디지털 RBG 포맷일 수도 있는 디지털 데이터를 프로세싱한다. 데이터는 이미 디지털 포맷의 상태이므로, 디지털 입력 제어(304)가 ADC를 포함하지는 않는다. 또한, 디지털 입력 제어(304)는 고속 디지털 데이터 전송 기술을 사용하고, LVDS(Low Voltage Differential Signaling), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), VESA(Video Electronics Standards Association) DisplayPort, 또는 SDVO(Serial Digital Video Output)와 같은 물리적 또는 전기적 인터페이스를 포함할 수도 있다. 이러한 인터페이스는, 라인 종단(line termination), 전압 제어, 데이터 포매팅, PLL(Phase Lock Loops), 및 디지털 입력 제어(304)가 디지털 데이터 입력을 정확하게 수신한다는 것을 보장하기 위한 데이터 복구를 포함할 수도 있다. VESA DPVL(Digital Packet Video Link)과 같은 다른 패킷 기반 입력 또한 DVI 또는 HDMI 입력을 통해 지원될 수 있다. 다른 패킷 및 디스크립터 기반 입력(descriptor based inputs)이 네트워크 입력을 통해 지원될 수도 있다.
압축 입력 제어(312)는 1394A, 1394B 또는 다른 1394 포맷의 버전, USB(Universal Serial Bus), 또는 네트워크 인터페이스의 유형과 같은 인터페이스 입력을 지원할 수도 있고, 바람직스럽기로는 압축 해제 엔진(3120) 및 비트스트림 엔진(3125)을 포함한다. 네트워크 인터페이스는 10/100 이더넷, 기가비트 이더넷, MOCA(Multimedia Over Coax Alliance), HPNA(Home Phone Network Alliance), 다양한 전력선 기반 네트워크, 또는 유선 인터페이스의 다른 소정 유형과 같은 유선 인터페이스를 포함할 수도 있다. 무선 네트워크는 (A, B, G, N, I, 및 다수의 다른 변형을 갖춘 802.11로서도 공지되어 있는) WiFi, UWB(Ultra Wide Band), WiMAX, 또는 다양한 다른 무선 인터페이스를 포함할 수도 있다. 각각의 경우에서, (도시되어 있지 않은) 네트워크 인터페이스는 네트워크 데이터 트래픽을 관리하고 종단하여, 디지털 비트스트림을 입력 데이터 인터페이스(300)에게로 제공한다. 데이터는 DIP의 내부나 외부에서 추가적으로 포매팅될 수도 있다.
압축 데이터는 일반적으로 오디오, 비디오, 및 시스템 정보를 포함할 것이다. 시스템 정보는 비트스트림 포맷을 식별할 수도 있다. 압축 입력 제어(312)는, 코딩된 입력의 오류를 점검하는 것과 같은 추가 단계를 수행하는 것에 의해, 그것이 데이터를 정확하게 수신한다는 것과 데이터가 손상되지 않는다는 것을 보장한다. 데이터가 손상되면, 압축 입력 제어(312)는 손상을 정정하거나, 감추거나, 보고할 수도 있다. 압축 입력 제어(312)는, 일단 데이터를 정확하게 수신하고 나면, 데이터를 오디오, 비디오, 및 시스템 스트림으로 역다중 화하고, 오디오 스트림을 디코딩 및 재생을 위해 (도시되어 있지 않은) 오디오 서브시스템에게로 제공한다. 압축 입력 제어(312)는 인코딩된 비트스트림 입력을 압축 해제하지만, 관련 모션 벡터 정보는 추가 프로세싱에 사용하기 위해 보유한다.
비트스트림 엔진(3125)은, 압축 해제 엔진(3120)과 조합되어, 압축된 입력 비트스트림의 향상된 비디오 프레임으로의 재구성을 최적화할 수도 있다. 압축된 입력 비트스트림이 서브밴드를 사용해 인코딩되었다면, 재구성 단계는 인코딩된 해상도 각각에서 최고 품질의 서브밴드 이미지를 보존한다. 비트스트림 정보는 컴플라이언트(compliant) 비디오 코딩 비트스트림, 보조 정보를 갖춘 비트스트림, 비디오를 위한 계층적 코딩, 및 컴플라이언트 비트스트림쪽으로 누설되는 상세한 추가 정보를 가진 특수한 비트스트림을 포함할 수도 있다. 하부 계층 코딩 데이터는 오브젝트 형태 및, 이미지를 구성하는 블록의 향상된 공간 및 시간 렌더링을 제공하는데 이용될 수 있는 다른 정보를 드러낼 수 있다. 압축 해제 엔진(3120)은 표준 컴플라이언트 비트스트림을 디코딩된 프레임으로 디코딩하는 종래 기술 단계를 수행할 수 있다.
비트스트림 엔진(3125)은 이미지 블록(또는 매크로블록)을 포함하는 MPEG-2 비트스트림을 프로세싱한다. 시퀀스내의 대다수 비디오 프레임은 상당히 상관적이고 비트스트림 엔진(3125)은 이러한 상관을 렌더링을 개선시키는데 이용한다. 또한, 비트스트림 엔진(3125)은 이미지 프레임에 걸친 시간 프로세싱의 방법으로서 모션 보상 예측을 위한 모션 예측 기술을 이용한다. 비트스트림 엔진(3125)은, 제2 패스 인코딩 프로세스(pass encoding process)와 유사하게 모션을 재예측하거나 매크로블록을 생성하는 것이 아니라, 비트스트림내의 매크로블록에 속하는 예측 블록에 의해 비디오 데이터의 흐름을 추적할 수 있다.
비트스트림 엔진(3125)은, 예측 블록의 시간 경로가 이동중인 오브젝트의 대략적인 궤적을 서술하는 수개 프레임에 걸쳐 예측 블록을 추적한다. 대략적인 이 궤적은 비트스트림 엔진(3125)이나 모션 예측기(3180)에 의해 수행되는 추가적인 서브블록 모션 예측 및 비트스트림 프로세싱에 의해 상세화될 수 있다. 비트스트림 엔진(3125)은 모션 보상된 시간 필터링 및 다른 필터링 그리고 컬러 표현에 관련된 향상과 관련하여 DOP(230) 출력 프레임을 발생시키는 장차의 사용을 위해 모션 벡터 정보를 보존한다. 또한, 이 정보는, IR(318)이 블록 경계 에지의 아티팩트를 필터링할 수 있도록 하기 위해, 코딩된 입력 스트림의 후행 압축 해제 필터링(post decompression filtering)을 위한 특수한 블록 필터를 구성하는데 사용될 수 있다.
매크로블록을 위한 오류 항목과 같은, 비트스트림 엔진(3125)으로부터의 다른 정보는 각각의 블록을 위해 얼마나 많은 양자화가 발생했는지를 지시하고, IR(318) 향상 단계는 이 정보를 잡음 감소 필터링 및 임의의 컬러 향상 프로세싱에 이용할 수 있다.
각각의 입력 제어 블록은 로컬 프로세싱을 위한 그것만의 고유한 라인 버퍼 및 메모리를 포함할 수도 있고, 각각이 공통 메모리(308)를 이용할 수도 있다. 메 모리(308)는 아날로그 입력 제어(302), 디지털 입력 제어(304), 및 압축 입력 제어(312)로부터 데이터를 수신하고, 데이터를 IR(318)에게로 제공한다. 또한, 메모리(308)는 IR(318) 입력 프레임 및 출력 프레임을 저장한다. IR(318)이 인터페이스(306)를 통해 데이터를 데이터버스(250)에게로 제공할 수 있거나, DMA(Direct Memory Access) 엔진이 데이터를 데이터버스(250)에게로 전송하는데 사용될 수도 있다. 데이터버스(250)는 확장된 해상도, 확장된 컬러 범위 또는, 2050을 통해 DIP(210)에게로 입력된 입력 데이터의 포맷과는 상이한, DIP(210)에 발생되는 향상된 다른 포맷으로 데이터를 DOP(230)에게로 전송하는데 사용될 수도 있다. IR(318)은 바람직스럽기로는 모션 예측기(3180)를 포함하고, 아날로그 입력 제어(302), 디지털 입력 제어(304), 압축 입력 제어(312), 또는 버퍼 메모리(308)로부터 이미지 데이터를 수신한다. IR(318)은 데이터 유형에 기초해 데이터를 프로세싱한다. 예를 들어, YUV 포맷의 데이터가 RGB 도메인으로의 변환을 요구한다면, IR(318)은, 수학적 계산이나 룩업 테이블을 통해, YUV 값을 RGB 컬러 공간으로 변환하고, 32 비트 정수 또는 부동 소수점과 같은 컬러 컴포넌트 값의 확장된 범위 표현을 사용할 수도 있다. 추가적으로, YUV 데이터는 대체로 서브샘플링되는데, 다시 말해, 하나의 UV 쌍이 2개 또는 4개의 Y 값에 대응될 수도 있다. 결과적으로, IR(318)은 UV 값을 보간(interpolation)에 사용해 RGB 픽셀을 생성한다. YUV 데이터가 인터레이스(interlace)되면, IR(318)은 데이터를 필드 기반(의 순차적 하프프레임)에서 프레임 기반으로 변환한다. IR(318)은 각 필드를 버퍼 메모리(308)에 저장한 다음, 필드를 필터링, 분석, 및 조합하여 입력 이미지 프레임을 발생시 킨다. IR(318)은 바람직스럽기로는, 프레임 및 정보가 여전히 그것의 디지털 포맷인 상태에서, 프로세싱된 이미지 프레임 및 DIP(210)에 생성된 모션 정보를 사용한다. IR(318)이 이미지 변조기(244;도 2)에 관련된, 오버레이 정보와 같은, 데이터를 프로세싱한다면, IR(318)은 그러한 데이터를, 나중에 이미지 데이터 프레임과 조합되게 하기 위해 DOP(230)에게로 제공한다. IR(318)은 다중 입력 데이터 스트림을 병렬로 프로세싱할 수도 있고, 나중에 다중 이미지의 PIP 디스플레이를 발생시키기 위해, 그러한 데이터를 DOP(230)에게로 제공할 수도 있다. 또한, IR(318)은 입력 비트스트림에 포함된 블록 경계 정보에 기초해 후행 압축 해제 필터링을 수행한다.
아날로그 비디오 입력의 경우, IR(318)은 바람직스럽기로는, PAL(Phase Alternative Line) 또는 NTSC(National Television Standards Committee)와 같은 산업 표준 중 하나를 따를 수도 있는 복합, S-비디오, 및 컴포넌트(Y, Cr, Cb)를 포함하는 입력 비디오를 샘플링하고 재구성할 수 있는, 예를 들어, Faroudja Labs으로부터의 기술을 사용한다. 고품질 이미지 프레임을 공간 필터링하기 위해, IR(318)은 바람직스럽기로는 재귀적 미디언 필터(recursive, median filter) 및 TBC(time base correction)와 같은 다양한 잡음 감소 기술을 사용한다.
본 발명에서, IR(318)은 다중 입력 이미지를 고려한 다음, 그 이미지의 해상도를 향상시키기 위해, 상이한 입력 프레임에 의해 공유되는 데이터를 이용해 이미지를 재구성함으로써 각각의 출력 프레임을 발생시키는 수퍼해상도 기술을 사용한다. 이것이, 한번에 하나의 입력 이미지를 독립적으로 사용하는 것에 의해 수행될 수는 없다. 그에 따라, 본 발명은, 실시간 출력 프레임을 발생시키는 것이 아니라, 비디오 시퀀스로부터 고해상도 스틸 이미지를 발생시키는데 수퍼해상도를 사용하는 종래 기술 시스템에 비해, 장점을 가진다. 이러한 다중 프레임 수퍼해상도 기술은, 입력 데이터의 해상도보다 좀더 높은, 통상적으로 2배인 입력 이미지를 표현하는 이미지 데이터 수퍼밴드를 발생시킬 수 있다. 본 발명에 의해 사용되는 수퍼 해상도 기술은 프레임 사이의 데이터에 대한 높은 상관에 의존하고, 통상적으로 비디오 이미지 시퀀스에서의 오브젝트 모션에 기초하는 입력 이미지의 서프픽셀 시프트를 요구한다. IR(318)은, 이미지를 상관시켜 출력 프레임을 재구성할 때, 모션 예측기(3180)에 의해 제공되거나 입력 비트스트림으로부터 보존된 모션 벡터를 사용한다. IR(318)은, 스틸 프레임을 발생시키는 동안, 예를 들어, POCS(Projections On Convex Sets)의 결정론적 기술(deterministic techniques) 및 베이지안(Bayesian) 향상의 확률적 기술(stochastic techniques)로부터의 수학 등식을 사용할 수 있다.
이미지가 모션 벡터 비트스트림 정보를 포함하지 않을 때, 모션 예측기(3180)는 바람직스럽기로는 광 흐름, 블록 정합, 또는 Pel-재귀와 같은 기술을 사용해, 이미지 오브젝트 모션을 추적하는 모션을 제시간에(in time) 예측한다. 또한, 모션 예측기(3180)는 MPEG-2 모션 벡터 비트스트림 정보와 관련하여 동일한 모션 예측 기술을 사용할 수도 있다. 모션 예측기(3180)는 일 이미지 필드로부터의 픽셀 그룹을 후속 및 선행 이미지 필드의 그것과 비교하여 오브젝트 모션을 상관짓는다. 그 다음, 모션 예측기(3180)는, DOP(230)가, 입력 프레임 정보 및 IR(318) 모션 정보와 함께, 나중에 모션 보상된 이미지 프레임을 발생시킬 수 있도록 하기 위해, 검출된 모션을 필드 위치에 관하여 기록한다. 압축 시스템의 경우, 모션 예측기(3180)는 프레임 사이의 최상 정합을 찾아낸 다음, 부정합을 코딩한다. 모션 예측기(3180)는, 정합 기준의 소정 레벨을 충족시키지 않는 모션 벡터는 차폐하고 높은 정합 레벨을 가진 벡터는 태깅(tagging)하며, 그에 따라, 이 벡터는, 좀더 작은 이미지 블록에 대해 또는 개개 픽셀에 대해 수행되는 좀더 세분화된 모션 추적 동작에 후속적으로 사용될 수 있다. 그에 따라, 모션 예측기(3180)는, 비디오 압축 시스템이, 검출된 모션을 비디오 시퀀스를 표현하는데 필요한 비트의 수를 압축하기 위한 단계 중 하나로서 사용하는 종래 기술과는 상이하다. 모션 예측은, 단순히 코딩된 모션 벡터 및 매크로블록을 사용해 모션 보상을 수행하는 표준 컴플라이언트 디코더에는 사용되지 않는다. 따라서, 본 발명은 유리하게도, 모션 예측기(3180)를 통해, 종래 기술보다 좀더 양호한 품질의 이미지를 제공한다.
모션을 검출하는 것은 이미지 복구시에 중요하기 때문에, 모션 예측기(3180)(및 본 발명에 따른 다른 프로세싱 모듈)는 서브(또는 좀더 작은)블록 기반으로 모션을 추적한다. 예를 들어, 8 x 8(픽셀) 블록 대신에, 모션 예측기(3180)는 2 x 2 블록에 대한 좀더 세분화된 모션을 추적한다. 세분화된 서브블록을 추적해야 할 필요성을 감소시키기 위해, 모션 예측기(3180)는 대략적인 블록 정합 차이를 사용해 먼저 블록을 한정함으로써, 불량한 정합의 블록에 대해서는 세분화된 추적을 수행하지 않는다. 반대로, 모션 예측기(3180)는 근접한 정합의 블록에 대해서는 세분화된 추적을 수행한다.
MPEG 데이터 스트림 또는 다른 시간 인코딩 방식으로 제공되는 것과 같은, 모션 예측 벡터를 수신할 때, 압축 해제 엔진(3120)은 모든 벡터를 컴플라이언트 MPEG 디코딩을 위해 사용한다. 그 다음, IR(318)은 좀더 양호한 블록 정합의 벡터를 다중 프레임을 복구하기 위한 세분화된 모션 분석에 사용한다. 세분화된 모션을 분석하는 것은, 다중 프레임 재구성에 사용되어 고해상도 출력 프레임을 좀더 양호하게 발생시킬 수 있는 서브블록 픽셀 사이즈를 위한 모션 벡터를 발생시킬 수 있다.
IR(318)은 바람직스럽기로는 그것의 출력 이미지를 비디오 필드 또는 프레임으로 분리하고, 각 필드(또는 프레임)의 시작을 위한 포인터를 생성한다. 실제 필드(또는 프레임) 데이터나 필드(또는 프레임) 데이터로의 포인터가 DOP(230)로의 입력으로서 기능할 수 있다. 입력 비디오 필드를 프로세싱하여 필드를 조합시키는 프레임을 발생시키는 것은 이미지 재구성 프로세스에서 비디오를 디인터레이스하는데 유용한데, 다음으로, 이것은 이미지 해상도를 증가시키는데 그리고, 정보의 라인 중 절반을 2배로 빈번하게 제공하기 위해, 인터레이스 기술이 각각의 필드에서 수직 이미지 세부 사항을 트레이드오프(trade off)함에 따라, 인터레이스 동안 소실된 수직 세부 사항을 복구하는데 유용하다. 본 발명에 따라 재구성된 IR(318) 출력(및 DOP(230) 출력)은 표준 입력 해상도보다 높은 해상도를 가질 수 있고 이미지 수퍼밴드로서 저장될 수 있다. IR(318) 출력은 메모리(308)에 또는 이미지의 설명을 공간 RGB 프레임 버퍼 포맷으로도 그리고 이미지 오브젝트, 텍스처, 및 모션의 시맨틱 설명(semantic description)으로도 포함하는 메타파일에 저장될 수 있 다. DIP(210)의 디지털 프로세싱 시스템은 수퍼해상도와 같은 기술을 이용해, 개개 입력 이미지보다 높은 해상도를 가진 이미지를 발생시킨다. 이미지의 고해상도 내부 표현을 발생시키기 위해, 다른 아날로그 기술이 수퍼해상도 기술과 조합되어 DIP(210)에 사용된다.
또한, IR(318)은, 앞서 서브밴드 인코딩되지 않았던 입력 데이터로부터 방금 구성된 초고품질 이미지 프레임의 저해상도 다중 이미지를 발생시키기 위한 서브밴드 분해 블록(3185)을 포함한다. 서브밴드는 통상적으로 선행 단계의 1/2 해상도의 단계에서 구성된다. 서브밴드는, 서브밴드 인코딩을 위해 준비되지 않았던 압축 데이터 입력으로부터 디코딩된 프레임을 포함하는 임의의 이미지 프레임으로부터 발생될 수 있다. 이미지 품질을 개선하기 위해 설명된 다양한 기술은, 다른 필터링 모드와 함께, 최고 품질의 이미지 서브밴드를 구성하는데 사용된다. 이러한 서브밴드 이미지는, 좀더 높은 해상도에서 발생된 수퍼밴드 이미지와 조합되어, 도 4 및 도 5를 참조하여 후술되는 DOP 단계를 위한 이미지 데이터를 제공한다.
이미지 데이터의 웨이블릿 인코딩된 서브밴드를 입력으로서 이용하는 앞서 설명된 방식 이외에, 기하학적 변환 또한, 계층적 코딩 비디오 비트스트림의 다른 형태를 포함하는 입력 데이터를 프로세싱하는데 사용될 수 있다. 이러한 기하학적 변환은 DOP에서 GT(404)의 일부로서 수행될 수 있거나, 다른 방법으로는, 기하학적 변환 모듈이, 입력 비디오 프레임을 재구성하기 위해, IR(318)의 일부로서 포함될 수도 있다. 이미지 흐름을 추적하기 위한 한가지 기술은 입력 비트스트림의 계수 데이터를 비교하여 시간에 걸친 동일 패턴을 찾아내는 것이다. 동일 패턴이 발견 되면, 그것은 프레임에 걸친 오브젝트 흐름을 표현할 수도 있다. 이 기술은 단일 카메라 또는 다중 카메라 시스템에 적용될 수도 있다.
계층적 코딩으로써, 이미지 흐름의 판독은 상이한 계층 및 상이한 카메라 뷰에서 추가적으로 테스트되어, 판독을 확정하거나 거부할 수 있다. 계층적 비디오 코딩은, 예를 들어, 비디오 비트스트림의 다중 해상도를 전송하는 범위성(scalability)을 위한 기술인데, 이 경우, 고해상도가 저해상도 전송으로부터의 비트를 이용한다. 이러한 코딩 기술에서, 저해상도 디코더는 요구되는 해상도를 발생시키는데 요구되는 비트스트림 부분만을 이용할 수 있다. 고해상도를 요구하는 디코더는 고해상도 이미지를 생성하기 위해 저해상도의 그리고 추가 계층의 비트스트림을 사용할 것이다.
계층적 코딩 기술은 기본 레벨 전송을 향상시키기 위해, 웨이블릿 데이터와 같은, 압축 데이터의 다른 유형을 포함할 수도 있다. 예를 들어, 웨이블릿 데이터는 데이터의 계층적 스트림으로서 포함될 수도 있다. 웨이블릿 데이터는 MPEG 비디오 데이터의 표준 비디오 부분과 동일한 DCT(Discrete Cosine Transform) 압축 방식을 사용하지 않는다. MPEG 구문의 일부로서, 웨이블릿 데이터는 사설 비디오 데이터 스트림으로서 코딩될 수 있거나, 비디오 프로그램 스트림의 일부일 수 있고 프로그램 헤더 정보로 지시될 수 있다. 웨이블릿 정보는 MPEG 프레임의 일부 또는 전부를 위한 완전한 또는 부분적 프레임을 위한 고해상도 이미지를 표현한다. 대응되는 웨이블릿 정보를 가진 MPEG 프레임이 디코딩될 때, IR(318)은 MPEG 데이터를 웨이블릿 데이터와 조합한다. DCT 및 웨이블릿-기반 압축의 상이한 특징 때문 에, 조합이 사용되어 단일의 고품질 출력 프레임을 발생시킨다.
계층적 코딩의 다른 일례는, 보충적 비트스트림 데이터가, MPEG 표준의 일부인 표준 X 및 Y 매크로블록 모션 예측기 벡터를 초과하는 향상의 모션 예측기 정보를 포함하는 경우이다. 예를 들어, 이미지 소자의 스케일, 회전, 및 엇갈림(shear)에 관련된 모션 예측기 정보 또한 보충적 비트스트림 데이터로서 제공될 수 있다. 예를 들어, 카메라가 화면을 줌인 또는 줌아웃중이라면, 인코더 시스템을 위한 개선된 블록 정합은 X 및 Y의 변위 비교 대신에 스케일 기반 비교를 사용하는 것에 의해 실현될 수 있다. 두번째 일례로서, 이동중인 오브젝트는 X 또는 Y 방향으로 이동하는 대신에 회전할 수도 있다. 회전 비교는 표준 모션 벡터보다 좀더 정확한 모션 예측기 비교를 가질 것이다. 인코더 시스템 및 향상된 디코더 시스템 양자가 계층적 코딩 기술을 완벽하게 활용하기 위해서는 공통적으로 정의된 프로토콜을 사용해야 한다. IR(318)은 이미지 소자의 스케일, 회전, 및 엇갈림에 관련된 보충 정보를 사용해, 바람직스럽기로는 이미지 변환 기술을 사용해, 입력 비트스트림으로부터 좀더 고품질 이미지를 재구성할 수 있다. 다차원 재생 시스템과 조합된 다중 카메라 시스템도 계층적 코딩 기술을 활용할 수 있다.
IR(318)의 향상된 다른 디코더 동작은 비디오 스트림을 해석하기 위해 비트스트림에 매입된 학습 큐(instructional cues)를 사용해, 매크로블록 및 모션 벡터 정보를 출력 이미지를 향상시키는데 이용한다. 학습 큐의 이점은, 큐없이 프레임 대 프레임 및 GPO(Group-Of-Pictures) 대 GOP 상관을 추출할 수 있는 능력에 비해, 꽤 상당하다. IR(318)은 완전한 GOP를 버퍼 메모리(308)에 유지할 수도 있기 때문 에, IR(318)은 필드, 프레임, 및 GOP에 걸친 정보를 제공하는 이러한 큐를 이용할 수 있다. 예를 들어, 본 발명의 향상된 디코더는 2개 GOP로부터의 매크로블록 정보를 사용한다. 다른 일례의 경우, IR(318)은, 향상된 학습 큐를 인식하면서, 현재의 GOP 및 인접한 GOP 양자로부터의 매크로블록 정보를 사용하는 것에 의해 이미지 품질을 개선한다. 따라서, 이것은, 출력 프레임을 디코딩하고 디스플레이하는데 요구되는 선행 필드 및 프레임 정보를 더 이상 유지하지 않는, 표준 디코더를 사용하는 종래 기술에 비해 유리하다. 추가적으로, 표준 디코더는 GOP에 걸친 학습 큐를 인식할 수 없고 모션 벡터를 인접 프레임내의 최선 정합에만 이용할 것이다. 또한, 본 발명의 향상된 디코더는 학습 큐를 사용해 고품질 디스플레이 출력을 실현할 수 있는 한편, 표준 디코더는 비디오 비트스트림을 표준-컴플라이언트 방식으로 사용할 수 있다. 학습 큐는 데이터의 적은 양을 비트스트림에 추가할 것을 요구할 뿐이다.
도 4는, 디스플레이 변조기 및 광원 제어를 위한 프로세싱과 함께 프로젝션 시스템을 위한 프로세싱 블록을 포함하는, 도 2의 DOP(230)의 블록도이다. 기하학적 변환(404) 및 후행 GT 필터링(406)은 프로젝션 시스템 특정적이다. 컬러, 강도, 및 공간 감마 프로세싱(SGP : Spatial Gamma Processing)(408), 시간 감마 프로세싱(TGP : Temporal Gamma Processing)(412), 디스플레이 변조기 및 광원 제어(MLC : Modulator and Light source Controls)(420), 및 역 초해상도(RSR : Reverse Super-Resolution)(414)를 포함하는 나머지 프로세싱 모듈 모두는 공통 데이터버스(450)에 접속된다. 데이터버스(450)는 병렬 이미지 프로세싱을 위한 시스 템 대역폭 및 동시성 요구 사항을 충족시킨다. 또한, DOP(230)는, 프로세싱 모듈(402, 404, 406, 408, 412, 414, 및 420) 각각에 의한 사용을 위해 데이터 프레임 및 이미지 서브밴드를 저장하는 버퍼 메모리(424)를 포함하지만, 이 모듈 각각이 (도시되어 있지 않은) 로컬 메모리 버퍼를 포함할 수도 있다.
(도시되어 있지 않은) 드라이버 회로 및 디스플레이 광 제어(602-608) 회로를 통해 이미지 변조기(244)에 접속하며, 도시되어 있지 않은, TCON(Timing CONtrol) 블록을 포함할 수도 있는 디스플레이 변조기 및 광원 제어 블록(420)도 존재한다. FPD 시스템을 위해 설계된 시스템이 기하학적 변환(404) 또는 후행 GT 필터링(406) 프로세싱 모듈을 반드시 포함할 필요는 없을 것이다. 프로젝션 시스템 및 FPD 시스템 양자는 통상적으로 디스플레이 맵(402)을 갖겠지만, 디스플레이 맵(402)내에 저장되어 이용되는 특정 정보는 디스플레이 시스템의 유형에 따라 달라질 것이다.
DOP(230)는 데이터버스(250)상에서 직접적으로, 버퍼 메모리(308)를 통해, 또는 버퍼 메모리(424)를 통해 DIP(210) 출력을 수신한다. 데이터버스(250)를 이용하면, DIP(210)가, 디스플레이의 유형에 대한 특정한 지식없이, 다양한 입력의 이미지 재구성을 수행할 수도 있는 편리한 분할을 허용할 수 있는 DIP(210) 및 DOP(230)의 분리를 허용한다. 데이터버스(250)는 SOC내의 내부 버스, 칩 사이의 PCB(Printed Circuit Board)상의 버스, 서브시스템 사이의 리본 케이블 또는 커넥터의 소정 유형, 또는 인터페이스의 다른 유형으로서 인스턴스화될 수도 있다. DOP(230) 프로세싱은 프로세싱되고 재구성된 입력 이미지로부터 시작할 수 있고, 특히, 디스플레이의 명세(specifics)를 위한 이미지를 프로세싱한다. 다른 방법으로, 집적도가 좀더 높은 시스템에서는, DIP(210) 프로세싱 소자의 일부 또는 전부가 DOP(230) 프로세싱 소자의 일부 또는 전부와 조합될 수도 있고, DIP(210) 메모리(308)가 DOP(230) 메모리(424)와 조합될 수도 있다. 또한, DOP(230) 프로세싱은, DIP(210) 프로세싱 단계 동안 웨이블릿 또는 서브밴드 분해를 경험한 이미지 데이터를 이용할 수도 있다.
DOP(230)는 (적용 가능하다면) 포인터를 사용해 DIP(210) 출력 데이터에 직접적으로 액세스할 수 있다. 또한, DOP(230)는 PIP 동작(picture-in-picture operations)을 수행하기 위해 다중 DIP(210) 출력 이미지를 수신하는데, 이 경우, 단일 이미지 출력 프레임은 하나 이상의 프로세싱된 입력 비디오 프레임을 포함할 것이다. DOP(230)는 입력 코딩된 데이터 및 (도시되어 있지 않은) 시스템 마이크로컨트롤러에 의해 제공되는 사용자 메뉴 선택과 같은 임의의 OSD(On-Screen Display) 정보 양자로부터의 오버레이 데이터를 조합한다. DOP(230)는 비디오 및 데이터 출력 그리고 각각의 R, G, 및 B 이미지 컬러 컴포넌트를 위한 데이터 및 제어 신호의 양자를 위한 디스플레이 조정을 포함하는 그것의 입력 이미지 및 출력 이미지 데이터를 프로세싱한다.
프로세싱 복잡도 또는 다른 분할 원인으로 인해, 단일 DOP(230) 또는 MLC(420)가 전체 디스플레이를 완전하게 제어할 수 없을 수도 있다. 일부 시스템은, 각각이 컬러 평면 중 하나를 위한 제어를 수행하는 다중 DOP(230) 또는 MLC(420)로써 설계될 수도 있다. 다른 분할에서는, MLC(420)의 광 제어 부분이 DOP(230)의 나머지 부분으로부터 분리되고, 다중 MLC(420)가 상이한 컬러 평면을 제어하는데 사용될 수도 있다. 그러한 구성에서, 디스플레이 변조기 제어는 DOP(230)내의 다른 블록, MLC(420), 다른 제어기에 의해 수행될 수도 있다. 또한, DOP(230) 프로세싱은 공간적으로 분리될 수도 있는데, 이 경우, 다중 DOP(230)가 디스플레이의 상이한 부분에 사용된다.
SGP(408)는 YUV를 RGB 컬러 공간으로 변환하고, R, G, 및 B 컬러 컴포넌트 각각을 위한 밝기 값을 판정한다. 당업자라면, 이미지가 이미 RGB 컬러 공간에 존재할 경우, 공간 변환이 불필요하다는 것을 알 수 있을 것이다. SGP(408)는 바람직스럽기로는, R, G, 및 B 컬러 컴포넌트 각각이 컬러 강도에 대응되는 값을 갖는 룩업 테이블을 사용해 이미지 컬러를 변환한다. 각각의 R, G, 및 B 밝기 값은 룩업 테이블로의 인덱스를 표현하고, 테이블은 출력(또는 "변환된") 값을 제공한다. SGP(408)는 각각의 R, G, 또는 B 컬러 컴포넌트를 독립적으로 프로세싱하고 개개 RGB 값의 조합과 주변 픽셀의 RGB 값 양자에 기초해 각각의 컬러 컴포넌트를 매핑한다.
일부 디스플레이는, 시스템의 설계로부터 초래되는 불균일한 밝기 및 컬러 쟁점을 가진다. 예를 들어, LED 광원이 균일한 광도를 제공할 수 없다면, SGP(408)가 식별된 영역에서의 픽셀의 RGB 값 및 인접 영역에서의 픽셀의 RGB 값을 조정하여 디스플레이의 불균일성을 보상할 수도 있는 매핑이 생성될 수 있다. 컬러 및 SGP(408)는 수학적 계산, CLUT(Color Look-Up Table), 또는 2가지의 조합을 사용해, 입력 픽셀을 소정 이미지 출력으로 매핑하기 위한 RGB 값을 제공한다.
비선형 매핑은 RGB 값에 의해 표현되는 입력 컬러를 매핑 프로세서 동안 조정(강조 또는 경감)되게 할 수 있는데, 이는, 크로스토크 억제(crosstalk supression)에 그리고 이미지 변조기(244)의 색역에서의 단점 보상에 유용하다. 다른 일례로서, 영화 스크린 또는 CRT 기반 시스템을 위해 발생된 컬러는, LCD 시스템에 의해 사용될 때 소정 레벨을 실현하기 위해, 추가 향상을 요구할 수도 있다. SGP(408)는, 비선형 관계를 실현하기 위해, 데이터 입력 비트의 수보다 큰 비트 수로써 표현되는 변환 테이블을 사용한다. 예를 들어, 8개 비트가 28(=256)개 컬러 컴포넌트 밝기 값을 표현한다면, 컬러 및 SGP(408)는, 다른 일례로서, 10개 비트를 사용해 210(=1024)개 변환 값을 표현한다. 시스템 제조자는 256개 값을 1024개 변환 값으로 매핑한다.
아주 어두운 블랙 뿐만 아니라 아주 밝은 광 컬러 양자를 디스플레이할 수 있는 디스플레이를 높은 콘트라스트 비(contrast ratio)를 가지고 있다고 한다. LCD 기반 FPD로써 높은 콘트라스트 비를 실현하는 것은 통상적으로 어려운일인데, LCD 재료는, 아주 어두울 것이 의도되는 디스플레이 이미지를 위해 아주 밝은 백라이트로부터의 광 모두를 차단하는데 어려움이 있기 때문이다. 추가적으로, 디스플레이 변조기는 아주 밝을 것이 의도되는 디스플레이 이미지를 위해 광원을 감쇠시킬 수도 있다. 디스플레이 전방 유리에 저반사 코팅(low reflective coatings)을 사용하는 것이 좀더 어두운 블랙 컬러를 실현하는데 도움이 되지만, 그것이 밝기 및 컬러를 감쇠시키고 무디게 할 수도 있다. 이 발명의 바람직한 실시예에서, 이 미지 변조기(244) 값과 광 밝기 값을 위한 이미지 데이터 프로세싱을 조합하면, 결과적 디스플레이 이미지는 좀더 높은 콘트라스트 비 및 증가된 색역을 가진다. 컬러, 강도, SGP(408)는 이미지 변조(244) 픽셀 데이터를 위한 프로세싱 뿐만 아니라 광 밝기 값을 위한 프로세싱도 제공한다. SGP(408)는 매 픽셀 기반으로 동작하는데, 이 경우, 매 픽셀마다의 감마 프로세싱은 각각의 픽셀 위치를 위한 파라미터에 기초해 달라질 것이다. 높은 콘트라스트 공간 프로세싱을 위한 간단한 실시예에서, 밝은 것과 어두운 것을 위한 콘트라스트는 동적으로 증가될 수도 있는데, 이 경우, 광원 변조 및 이미지 변조의 양자를 포함하는 암화(darkening) 및 명화(lightening)를 위한 제어에 의해, 블랙은 좀더 어두워지고 화이트는 좀더 밝아진다.
전통적인 콘트라스트 비를 약간 넘어서면, 상이한 디스플레이 프레임을 위한 광 레벨을 제어하는 것에 의해 그리고 단일 프레임을 위한 디스플레이의 상이한 영역내에서, 시스템은 HDR(High Dynamic Range)을 실현할 수 있다. HDR은 일반적으로, 실세계에서 관찰될 수 있는 휘도 및 복사량(radiance)의 물리 값에 대응된다. HDR 이미지 포맷은 간혹 디바이스 참조 대신에 화면 참조인 것으로 생각되고, SGP(408), TGP(412), 및 MLC(420)는 그러한 HDR 컨텐츠를 상이한 알고리즘으로써 프로세싱하여 HDR을 보존할 것이다. 시스템(200)은, 입력(2050)을 통해 시스템에게로 전송되거나 IR(318)이 입력 스트림의 다른 유형으로부터 그러한 정보를 보외(extrapolation)하는 것에 의한 컬러 정보의 추가 비트를 이용할 수 있다. Microsoft Windows Media, H.264, 또는 다른 인코딩 방식을 이용하는 HD-DVD(High Definition DVD) 플레이어와 같은 새로운 컨텐츠 소스는 HDR 컨텐츠를 제공하기 위한 컬러 정보의 추가 비트를 포함할 수도 있다.
다른 실시예에서, 이미지는 이미지 변조기가 원래 지원할 수 있는 것보다 높은 해상도를 가진다. 이것은 소스 이미지 또는, IR(318)에 의해 또는 다른 수단에 의해 재구성된 이미지일 수도 있다. 소스 이미지의 풀 해상도를 디스플레이하기 위해, 동적 범위와 관련하여 특수한 프로세싱이 수행된다. 이미지는 이미지 변조기와 정합하기 위해 저해상도 이미지로 필터링 다운된다. 디스플레이의 향상된 동적 범위가 사용되고, 그에 따라, 사용자는, 그렇지 않다면, 이미지 변조기 및 표준 동적 범위로써 가능했을 것보다 높은 해상도 이미지를 시청중이라는 것을 지각한다.
TGP(412)는, 이미지의 시간 관련 표현이 최대한 정확하다는 것을 보장한다. 그에 따라, TGP(412)는, 선행 프레임 값과 디스플레이 변조 시스템의 공지된 전달 함수에 기초해, 그것의 출력 값을 조정하여, 소정 프레임 동안 소정 출력 값을 제공한다. TGP(412)는 각각의 R, G, 또는 B 컬러 컴포넌트를 독립적으로 프로세싱하고, LCD 이미지 변조기(244)의 특징으로 인해, 순수하게 디지털적이지는 않은 전이 특징을 보상한다. 또한, TGP(412)는 LCD 이미지 변조기(244)를 오버드라이브하여 LCD 재료 특징을 보상하는데 요구되는 정보와 함께 MLC(420)를 위한 정보를 제공하고, 그에 따라, 소정 출력이 좀더 신속하게 실현될 수 있다. 따라서, TGP(412)는 흐릿해진 출력을 발생시키는 재료를 가진 종래 시스템의 비디오 품질 한계를 극복한다. 또한, TGP(412)는 디스플레이 시스템의 비용을 감소시킬 수 있는데, 좀더 빠른 이미지 응답을 제공하는, 종래 기술 시스템의 이미지 변조에 사용되는 재료는 대체로 고비용이기 때문이다. SGP(408)처럼, TGP(412)는 매 픽셀마다 감마 프로세싱을 수행할 수도 있다.
이미지 변조기(244)의 제어를 통해 보상하는 이외에, TGP(412)는 다양한 광원을 위한 시간 프로세싱도 제공한다. 광원을 위한 시간 프로세싱을 이용하는 것에 의해, 이미지 변조기(244) 픽셀 값의 응답 시간은 개선될 수 있다. 예를 들어, 컬러 그린을 위한 픽셀 값이 32에서 255의 최대값으로 변경되어야 한다면, 그 픽셀을 위한 그린 값은, 그것이 이미 최대값인 상태이므로, 오버드라이브될 수 없다. 그러나, 그 픽셀에 영향을 미치는 그린 LED가 존재한다면, 그린 LED 밝기 값은 효과적으로 증가될 수 있고, 그에 따라, 그 위치에서 시청되는 픽셀 값은, 이미저에서의 값이 아직도 완전하게 255로 전이되지 않았다 하더라도, 즉시 255가 될 수 있다. LED는 변조기의 하나 이상 픽셀에 영향을 미치므로, 전반적인 이미지를 위한 올바른 값을 판정할 때는, 주변 픽셀 및 어쩌면 나머지 LED의 양자를 위한 다른 보상이 포함되어야 한다. 컬러, 강도, SGP(408)는 TGP(412)와 함께 작용하여 이미지 변조기(244) 및 디스플레이 광 제어(602-608) 양자를 위한 최적화된 제어를 실현한다.
DOP(230)가 다양한 픽셀을 위한 이미지 모션의 지식을 가지고 있는 시스템의 경우, SGP(408) 및 TGP(412)는, 수행된 컬러 향상량을 판정하기 위해, 각각의 픽셀 또는 픽셀의 블록과 연관된 모션 정보를 사용할 수도 있다. 프로세싱의 이 유형은 컬러 정보를 인지하는 눈의 능력에 기초하고, 이미지 해상도는 이미지 모션량에 영 향을 받는다. 모션 정보 및 그에 따른 컬러 향상 기준은 원래 모션 벡터의 일부, 원래 모션 벡터와 연관된 오차 항목, 또는 디스플레이 시스템내의 모션 예측기로부터 판정되는 모션 정보일 수도 있다. 픽셀의 모션을 이해하는 것에 의해, 컬러 향상량은 시청을 최적화하기 위해 증가 또는 감소될 수 있다.
RSR(414)은 이질적인 입력 및 출력 프레임 속도 사이를 변환하기 위한 프레임 속도 변환 프로세스의 수퍼세트(superset)를 수행하고, 의도된 디스플레이 이미지가 이미지 변조기(244)의 픽셀 수에 의해 지원될 수 있는 것보다 높은 해상도를 가질 때, 디스플레이 품질을 개선할 수 있다. RSR(414)은 저해상도 이미지를 높은 프레임 속도에서 시퀀싱하는 것에 의해 높은 해상도 출력을 시뮬레이션하는데, 이 경우, 저해상도 이미지 각각은 약간 상이하고, 약간 상이한 위치에 존재한다. 그에 따라, 예를 들어, RSR(414)은, 한 블록씩, X fps(frames per secon)의 전송 속도(transfer rate)를 가진 비디오 시퀀스에서의 일 프레임을 Z fps의 전송 속도를 가진 Y개의 RSR 프레임으로 공간 필터링하는데, 이 경우, Z=XxY이다. 그 다음, RSR(414)은 각각의 RSR 이미지 블록을 표현하는 픽셀 행렬을 동일한 픽셀(또는 픽셀 파편(pixel fraction)) 양만큼 시프트한다. 예를 들어, Y개 RSR 프레임이 존재하기 때문에, RSR(414)은, 각각의 RSR 프레임을 위해 한번씩, 픽셀 행렬 블록을 Y번 시프트하는데, 각각의 시프트는 동일한 픽셀(또는 픽셀 파편) 양만큼이다. 시프트될 픽셀 파편의 수는 디스플레이 시스템 및 이미지 변조기(244)의 물리적 특징에 의존한다. 시스템이 시청 이미지의 위치를 조정하는 경우, 시프트 파편은 시청되는 디스플레이 이미지의 물리적 이동에 대응된다. 디스플레이되는 이미지의 실 제 이동이 존재하지 않는 경우, 파편 조정은 이미지 변조기(244)의 사이즈 및 시스템의 프로젝션 특징에 관련한 픽셀 사이즈와 같은 디스플레이 디바이스의 물리적 특징에 기초한다.
그 다음, RSR(414)은 모션-보상되고 가중 필터링된 중앙의 RSR 프레임 각각을 발생시키고, 그에 따라, 각각의 RSR 프레임을 위한 입력 이미지의 중앙은 모션 아티팩트가 도입되지 않도록 유지된다. 픽셀-행렬 가중되고 필터링된 중앙은 필터 전달 함수에서 필터 기중치를 고려하는 픽셀 행렬의 중앙이다. 필터 특징에 따라 달라지는 필터 가중치는, 입력 픽셀 값과 조합되어 필터링된 이미지 출력을 발생시키는 (일반적으로 곱셈 및 덧셈의) 값이다. 필터 전달 함수는 필터 가중치를 사용해 입력 이미지를 출력 이미지로 변환한다. 출력 이미지 픽셀은, 전달 함수에 기초해, 대응되는 이미지를 이동하도록 조정될 수 있다. RSR(414)은 바람직스럽기로는 8 x 8 내지 256 x 256 픽셀을 가진 이미지 블록을 사용하는데, 이 경우, 각 블록은 고유하게 프로세싱된 모션 정보를 가진다. 정적 이미지(static images)의 경우, RSR(414)은 입력 프레임 속도와 출력 프레임 속도 사이의 차이에 기초해 프레임 속도 조정된 출력 프레임의 시퀀스를 발생시킨다. 모션 픽처의 경우, RSR(414)은, 출력 프레임의 시점에서, 이미지의 중간 위치를 묘사하고 이미지 모션을 보상한다. 증가된 프로세싱으로써, 각각의 픽셀 또는 서브픽셀은 고유하게 프로세싱된 그것만의 모션 정보를 가질 것이다.
본 발명의 다른 실시예에서, RSR(414)은 이동중인 다중 광원을 갖춘 정적 디스플레이(이미지) 변조기를 이용하고, RSR(414) 프로세싱을 이용해 조명 패턴을 판 정한다. 조명 소자는 LED의 하나 이상의 회전하는 컬러 휠과 같은 기계적 구조에 의해 지시되는 고정된 패턴으로 이동할 수도 있다. 다른 방법으로, 조명 소자는 FED 또는 NED 기반 백라이트에 인가되는 전압 필드에 의한 것과 같이 임의 패턴으로 조명될 수도 있다. RSR 프로세싱은 프레임 디스플레인내에서 여러 번 조명 최적화를 수행하여 디스플레이의 동적 범위 및 지각되는 해상도를 개선한다.
전통적인 필터링 기술이 DIP(210)에 의해 사용될 수도 있지만, 기하학적 변환 이후에, GT(404)는 이미지 변조기(244)로의 DIP(210) 수퍼밴드 출력의 매핑을 수행하여, 변조기로부터 디스플레이 스크린으로의 프로젝션 동안 발생하는 왜곡을 사전에 보상할 수 있는 능력을 가진다. 마찬가지로, GT(404)는 DIP(210) 서브밴드 출력을 사용해, 광원을 위한 휘도 매핑을 발생시키기 위한 비선형 필터링 및 스케일링을 수행할 수 있다. 광원의 해상도는 통상적으로 원래 이미지의 해상도보다 낮으므로, 서브밴드 데이터로부터 시작하는 것이 각각의 광원 값을 판정하기 위한 계산량을 절감한다. 휘도 맵을 발생시키기 위한 필터링은 간단한 가중 평균에서 좀더 복잡한 디컨벌루션 필터링(deconvolution filtering) 및 다른 유형의 필터링에 이르는 다양한 기술을 따를 수도 있다.
도 4의 실시예에서, DM(402)은 이미징 디바이스에 이미지 데이터를 기입하기 전에 DOP(230)에 의해 이미지 데이터를 사전 보상하는데 사용하기 위한 시스템 전달 정보의 다양한 형태를 저장한다. 이 정보는 디스플레이 시스템의 유형에 기초해 달라지고, 임의 갯수의 파라미터를 가질 수도 있다. 예를 들어, DM 데이터는 선택된 픽셀 또는 스크린 위치에서의 이미지 변조기(244;도 2) 특징에 대응되는 데 이터의 간단한 일대일 맵일 수도 있다. DM(402)은, 적용 가능한 경우, 각각의 디스플레이 픽셀에 대응되는 메모리 설명 또는 디스플레이 픽셀이나 픽셀 섹터 그룹의 공유되는 설명도 저장한다. 그러한 설명은, 앵커 픽셀(anchor pixel)이라고 하는 하나의 픽셀을 위한 완전한 정보가 존재하고 주변 픽셀을 위한 정보는 앵커 픽셀과의 차이인, 델타 또는 차이 포맷(delta or difference format)으로 저장될 수도 있고, 저장 공간을 덜 요구한다. 설명이 프레임 기반으로 변하지는 않기 때문에, DM(402)은 바람직스럽기로는 디스플레이 프로세스 동안 한번만 설명을 판독한다. 그 다음, DOP(230)는 설명 정보를 사용해 이미지 프레임을 발생시킨다. DM(402)은, 데이터를 판독할 때, 데이터 블록으로의 참조를 제공하는 (도시되어 있지 않은) 한 세트의 제어 레지스터를 사용한다.
DM(402) 데이터는 달라지며, 예시적 목적을 위해, 제조 관련 정보, 시스템 구성 정보, 및 사용자 데이터를 포함할 수도 있다. 제조 관련 정보는, 예를 들어, 결함이 있거나 취약한 픽셀 디스플레이 비트의, 일반적으로 어셈블리 시점에 컴파일된, 위치의 맵, 이상적인 방사상 결함 및 광학적으로 왜곡된 프로젝션의 상관 데이터, 그리고 이미지 변조기(244)용 정렬 포인트를 위한 상관 데이터를 포함할 수도 있다. 시스템 구성 정보는, 자동적인 자체 캘리브레이션을 통해, 예를 들어, 각각의 R, G, 및 B 컬러 컴포넌트를 위한 조정 가능한 밝기 값을 가진 등록 맵 및 소정 위치에서의 컬러 컴포넌트 픽셀 오프셋을 포함할 수도 있다. 그러한 등록 맵을 위한 포맷은 앵커 픽셀에 기초할 수도 있는데, 이 경우, 주변 픽셀을 위해서는 차이 정보만이 저장된다. 그러한 등록 맵은 플래시 메모리 또는 비휘발성 메모리 의 다른 유형에 저장될 수도 있다.
DM(402)은, 적용 가능한 경우, 바람직스럽기로는, 음파 범위 탐지, 적외선 범위 탐지, 레이저 범위 탐지, 또는 프로젝터로부터 (도시되어 있지 않은) 디스플레이 스크린의 상이한 부분까지의 거리 및 왜곡을 측정하기 위해 공지 패턴을 디스플레이하고 캡처하는 광학 기술과 같은, 센서 기술을 사용한다. 디스플레이 스크린으로부터의 이미지 캡처를 위한 이미지 센서 및 디지털 카메라 기술의 사용은 광학 기술의 양호한 일례를 표현한다. 공지 패턴 프로젝션과 조합되면, 상이한 픽셀 위치를 위해 그리고 삼각형 메시 패턴을 위해 X, Y, 및 Z 변위를 포함하는 프로젝션 경로의 정교한 경로가 구축될 수 있다. 그 다음, DM(402)은 이러한 측정치를 사용해 프로젝션 디스플레이 시스템을 수학적으로 특징짓고 모델링한다. 그에 따라, DM(402)은 이미지를 디스플레이 스크린 표면의 수학적 근사(mathematical approximation)상으로 프로젝션하는 것을 허용한다. 사용자 데이터는, 설정 시퀀스 동안 사용자에 의해 입력되는 밝기, 컬러 밸런스, 및 픽처 선명도와 같은 사용자 선호도 정보를 포함한다.
상이한 구현에서, DM(402)은 프로젝션 시스템의 전달 특징을 표현하기 위한 삼각형 메시를 포함한다. 삼각형 메시는 불균일할 수도 있는데, 이 경우, 삼각형의 사이즈 및 방향은 디스플레이 전면에 걸쳐 달라진다. 삼각형 메시는, 디스플레이의 특정 영역을 위한 왜곡량에 따라 밀도가 달라지는 중요도 맵(importance map)으로부터 구축될 수도 있다. 적응적 등위면 추출(adaptive isosurface extraction)과 같은 기술이 삼각형 메시를 발생시키는데 사용될 수도 있다. 디스 플레이 시스템의 내부 및 외부 양자에서 카메라를 사용하는 광학 기술이 일련의 공지된 이미지 패턴과 조합되어 삼각형 메시 정보를 판정할 수 있다. 텍스처 매핑 하드웨어의 특징에 대한 정보 또한 삼각형 메시를 판정하는데 사용될 수 있다. 삼각형 메시는 16:9 가로세로비의 디스플레이 출력 해상도와 정합하기 위한 4:3 입력의 포맷 변환과 같은 다른 시스템 기능을 수행하도록 변경될 수도 있다.
평면 디스플레이 스크린 및 카메라 양자는 2D(X 및 Y) 차원만을 포함하지만, 프로젝션 왜곡은 3D 깊이(Z) 컴포넌트를 포함한다. Z 값이 무시된다면, 원근 왜곡(perspective distortion)의 다양한 유형이 시스템으로 도입될 수도 있다. 일부 시스템에서는 그것이 수용 가능할 수도 있고, 다른 시스템에서는 고품질이 바람직스러울 수도 있다. 프로젝션을 위해 공지 패턴을 사용하고 그 이미지를 이미지의 캡처된 표현과 비교하는 것에 의해, Z 값이 판정될 수 있다. 예를 들어, Z 값이 포함되지 않는, X 및 Y 꼭지점에 기초한 라인의 보간은 원근 왜곡을 지시하는 호(arc)로서 나타날 수도 있는데, X 및 Y 변위와 Z 변위 모두의 조합은 호쪽으로의 라인 와핑(warping)에 기여하기 때문이다. 당업자라면, 시청 가능 패턴을 기록하는 것과 함께 입력 패턴을 변경하는 것에 의해, 테셀레이션 맵이 프로젝션 경로의 왜곡을 최선으로 표현하기에 적당한 X, Y, 및 Z 꼭지점 값을 "곡선 피팅(curve fitting)" 알고리즘이 결정할 수 있다는 것을 알 수 있을 것이다. 일단 꼭지점을 위한 적당한 X, Y, 및 Z 값이 사용되고 나면, 삼각형에 걸친 보간은, 호로 왜곡되지 않는 직선을 초래할 것이다. 적당한 꼭지점 값의 테셀레이션 맵이, 이 설명서의 다른 곳에서 설명되는 텍스처 매핑 모드 동안에 사용된다.
디스플레이 테셀레이션 맵은 각각의 삼각형 꼭지점을 위한 위치 정보를 포함할 것이고, 동일한 삼각형 메시의 일부로서나 별도 삼각형 메시로, 다른 컬러 및 강도 정보를 포함할 수도 있다. 좀더 정교한 설정 절차를 포함하는 시스템에서, 꼭지점 정보는 각각의 꼭지점을 위해 달라지는 Z 값(깊이)을 포함할 것이다. 각각의 컬러 컴포넌트는, 완전한 디스플레이 표면 전체에 걸쳐 컬러 경로가 달라지는 방법을 표현하기 위한 상이한 매핑을 요구할 수도 있다. 삼각형 메시는 개별 삼각형, 삼각형 스트립(triangle strips), 삼각형 팬(triangle fans), 또는 소정의 다른 편성으로서 배열될 수 있다. B-Spline과 같은 다른 수학적 표현이 사용될 수도 있다. DM(402)은 바람직스럽기로는, 직접적으로나 버퍼 메모리(424)를 통해, 기하학적 변환 모듈(404)에게로 데이터를 제공한다.
본 발명에 따르면, 기하학적 변환(404)은, 디스플레이될 때, 가능한 최고 이미지 품질을 나타내는, 보상된 디지털 이미지의 픽셀 포인트 사이의 공간 관계를 유리하게 세분한다. 와핑이라고도 하는 기하학적 변환은 이미지 스케일링, 회전, 및 평행 이동(translation)을 포함한다. 기하학적 변환(404)은 데이터를 리샘플링하여, 도 2의 이미지 변조기(244)쪽으로 쉽게 매핑할 수 있는 출력 이미지를 발생시킨다. 그러나, 기하학적 변환(404)의 출력 데이터 포인트는, 스케일링 또는 리샘플링으로 인해, 이미지 변조기(244) 눈금의 데이터 포인트에 일대일로 대응되지 않을 수도 있다. 따라서, DOP(230)는, 기하학적 변환(404)으로부터 변환된 데이터 샘플을 필터링하기 위한 후행의 기하학적 변환 필터링(406)을 포함함으로써, 이미지 변조기(244)의 데이터 포인트 각각을 위한 출력 픽셀 값을 발생시킨다. 변조기 는 X 및 Y 평면에 포인트를 갖는 2D 디바이스이므로, 변환은 임의의 깊이 정보를 2D 디바이스쪽으로 매핑하는 것을 포함한다. 후행의 기하학적 변환 필터링(406)은 공간 필터링 방법을 사용해 이미지를 평활화하고 데이터 샘플을 리샘플링함으로써 데이터 샘플의 간격을 적당하게 유지한다.
또한, 기하학적 변환(404)은 이미지 변조기(244) 및 디스플레이 시스템에 관련된 디스플레이 이미지 특징을 개선한다. 스크린(260)이 갖는 픽셀보다 좀더 많은 이미지 변조기(244) 픽셀을 갖는 이미지 변조기(244) 스크린 영역을 위해, 기하학적 변환(404)은 공간 필터링에 의해 픽셀 값을 조정하여, 이웃한 픽셀 값에서의 차이를 감소시킨다. 그에 따라, 대응되는 이미지는 평활하고 아티팩트를 포함하지 않는다. 스크린(260)이 갖는 픽셀보다 적은 이미지 변조기(244) 픽셀을 갖는 스크린 디스플레이 영역을 위해, 기하학적 변환(404)은 이웃한 픽셀 값 사이의 차이를 증가시키기 위한 에지 향상 필터링을 사용해, 이미지 프로젝션이 이웃한 픽셀을 확산할 때 도입될 왜곡을 사전 보상한다.
기하학적 변환(404)은 바람직스럽기로는, 최근접, 이중 선형, 삼중 선형 및 비등방성 필터링, 3차 컨볼루션(cubic convolution), 동기 필터(sync filter), 또는 큐빅 스플라인 보간과 같은 필터링 알고리즘을 사용해 이미지를 프로세싱함으로써, 보간된 정확한 이미지 픽셀 값을 발생시킨다. 더 나아가, 다중 프레임 재구성이 필요한 경우, 기하학적 변환(404)은 POCS(Projection Onto Convex Sets)와 같은 결정론적 기술 및 베이지안 필터링과 같은 확률적 기술을 포함하는 시변 다중 프레임 필터링 방법을 사용한다. 계산 복잡도에 기초해, 기하학적 변환(404)은 적합한 필터링 기술을 선택한다. 명료화를 위해, 비등방성 필터링은, 거리에 따라 달라지며 거리에 관련하여 기울어질 수도 있는, 표면상의 텍스처 이미지 품질을 향상시키는 방법이다. 비등방성 필터링은, 이중 선형처럼, 단일 텍스처 맵을 또는, 비등방성 필터링이 프로세스에서 번짐을 덜 도입한다는 추가 이점을 가짐으로써 좀더 많은 세부 사항을 보존하는 삼중 선형처럼, 다중 텍스처 맵을 사용할 수도 있다. 비등방성 스케일링은, 무언가가 상이한 방향에서 상이한 양만큼 스케일링될 때 발생한다. 일례는 64 x 64 소스 픽셀 텍스처를 스케일링하여 14 x 30 픽셀 출력 직사각형을 커버하는 것이다.
기하학적 변환(404)은 스크린(260) 환경에 관련된 이미지 결함을 개선시킬 수 있다. 기하학적 변환(404)은, 일반적으로 전방 프로젝션 극장 시스템에서 사용되는 바와 같이, 이미지를 와핑하여 곡선형 디스플레이 스크린(260)을 보상하는 공간 프로젝션을 수행한 다음, 비트스트림 정보를 사용해 이미지를 개선한다. 예를 들어, 기하학적 변환(404)이 이동중인 오브젝트의 깊이를 획득할 수 있다면, 기하학적 변환(404)은 곡선형 스크린(260) 에지에서의 왜곡된 모션을 감소시킬 수 있다. 기하학적 변환(404)은 오브젝트 거리 정보와 함께 이동중인 오브젝트의 광 흐름 필드를 구성한다. 그 다음, 기하학적 변환(404)은 모션 적응적 필터링을 사용해, 오브젝트를 시간 도메인에서의 적당한 공간 좌표에 배치하는 출력 프레임의 시퀀스를 구성한다. 이와 같이, 기하학적 변환(404)은, 곡선형 스크린(260)쪽으로의 프로젝션 동안, 화면에서의 오브젝트 모두의 적당한 모션을 전달한다. 또한, 기하학적 변환(404)은 광학 정정(optical correction)과 함께 작용하여, (도시되어 있지 않은) 프로젝터로부터 스크린(260)의 상이한 부분까지의 상이한 초점 거리로부터 발생하는 왜곡을 개량한다. 기하학적 변환(404)은 스크린(260) 환경을 모델링하는 (앞서 논의된) 광학 기반 패턴 프로젝션 및 캡처 기술로부터의 정보를 사용한 다음 디스플레이 테셀레이션 맵 형태의 모델을 사용해 이미지 왜곡을 수학적으로 보상한다. 기하학적 변환(404)은, 광학 시스템에 의해 발생되는 와핑 왜곡을 정정하기 위해, 평면 스크린의 유사한 삼각형 기반 디스플레이 테셀레이션 매핑을 사용해 곡선형 스크린에 적용한다.
디스플레이 스크린이 곡선이면, 이미지 변조기(244)에서 디스플레이 스크린(260)까지의 경로를 위한 전달 함수는 달라진다. 디스플레이 스크린의 곡선은 디스플레이 시스템의 전달 함수의 일부가 된다. 기하학적 변환은 곡선형 디스플레이 스크린 기여를 전달 함수 및 테셀레이션된 삼각형 메시 값에 통합할 수 있고 그에 따라 보상할 수 있다. 스크린 곡률을 전달 함수에 통합하는 것의 이점은, 시스템 왜곡 및 스크린 곡률 양자를 보상하기 위해 한번의 기하학적 변환 동작만 수행되면 된다는 것이다.
기하학적 변환(404)은 다양한 HMD(Head-Mounted Displays)를 위해, 곡선형 스크린(260) 프로세싱과 유사한 특수한 프로세싱을 사용한다. HMD는 사용자가 착용하는 헬멧 또는 안경과 조합된 디스플레이 유닛이고, 일반적으로 2개의 이미지 변조기(244)를 포함하는데, 하나는 오른쪽 눈을 위한 것이고 하나는 왼쪽 눈을 위한 것이다. HMD는 단일 시청자를 위해 유용하고, 그것의 물리적으로 좀더 작은 영역 때문에, HMD는 통상적으로 고품질 이미지를 디스플레이한다.
기하학적 변환(404)은, 모션 적응적 필터링을 고려하지 않는 상태에서, 3D 그래픽 맥락에서 곡선형 스크린(260)상으로의 와핑으로써 이미지 공간 프로젝션을 처리한다. 기하학적 변환(404)이, 디스플레이 이미지 프레임은 2D 텍스처로서 생각하고 곡선형 표면은 3D 표면으로서 생각한다. 그 다음, 기하학적 변환(404)은 비디오일 수도 있는 2D 텍스처를 곡선형 스크린(260)의 수학적 반전(mathematical inverse)인 표면상으로 매핑한다. 이와 같이, 기하학적 변환(404)은 이미지 프레임을 사전 정정하고, 그에 따라, 프로젝션될 때, 매핑된 이미지는 곡선형 스크린(260)과 연관된 왜곡을 필터링 제거하였을 것이다.
기하학적 변환(404)은 바람직스럽기로는 비등방성 필터링과 같은 기술을 이용해, 최상의 텍스처가 출력 픽셀을 발생시키는데 사용된다는 것을 보장한다(Marc Olano, Shrijeet Mukherjee, Angus Dorbie, "Vertex-based Anisotropic Texturing", Proceedings of the 2001 SIGGRAPH/Eurographics Workshop on Graphics Hardware(Los Angeles, CA, August 12-13, 2001), ACM SIGGRAPH, New York, 2001을 참고한다). 좀더 간단한 이중 선형 단일 텍스처 해상도를 사용하는 대신에, 삼중 선형 모드와 연관되어 있다는 점에서, 이미지 프레임의 상이한 서브밴드 및 수퍼밴드 표현으로부터의 텍스처 샘플이 최선으로 사용된다. 상이한 대역을 제공하는 것에 의해, 비등방성 필터링은 삼중 선형 모드에서와 거의 유사하지만, 비등방성 필터링의 추가된 프로세싱으로써 텍스처의 하나 이상의 해상도로부터의 텍스처 샘플을 이용할 수 있다. 또한, 기하학적 변환(404)은 바람직스럽기로는 동기화 필터, Wiener 디컨벌루션, 및 POCS와 같은 필터링 기술 및/또는 다른 다중 패스 필터링 기술을 사용해, 이미지를 오프라인으로 필터링한 다음, 필터링된 이미지를 필름 레코더쪽으로 출력한다. 기하학적 변환(404)이 단일 이미지 맵으로부터 소정 픽셀 전부를 샘플링하고 소정 출력을 발생시키는 것이 가능할 수도 있지만, GT(404)는, 수차례 수행되어야 할 수도 있는, 좀더 일반적인 동작 중 일부가 이미지 프로세싱 파이프라인의 상이한 스테이지에서 수행되는 것을 허용할 수도 있다. 프로세싱의 이러한 스테이징을 수행하는 것에 의해, 서브밴딩 및 수퍼밴딩과 같은 동작은 상이한 메모리 액세스 및 GT(404)에 의해 재사용되는 결과적 이미지 대역을 위해 최적화될 수 있다.
예를 들어, 이미지는, 입력 이미지의 8개 라인을 저장하고 매 라인당 128개 픽셀 및 8개 라인을 이용해, 상당히 최적화된 1/2 해상도 이미지를 발생시키는 라인 버핑을 사용해 1/2 해상도로 필터링될 수 있다. 그러한 프로세싱은 입력 경로에서 또는 IR(318)에서 수행될 수 있고, 필터링된 1/2 해상도 이미지는 이미지 서브밴드로서 GT(404)에 이용 가능할 수 있다. 기하학적 변환 동작에서 등가의 다운스케일링 동작을 수행하는 것은 원래 이미지로부터의 1024개 텍스처 샘플의 사용을 요구한다. GT(404)가 메모리 버퍼 또는 텍스터 샘플 캐시를 포함한다면, 그러한 동일 텍스처 샘플이 통상적으로 나머지 기하학적 변환 동작에도 필요할 것이므로, 텍스처 샘플의 액세스가 포함될 수 있다. GT(404)가 충분한 텍스처로의 액세스 및 이미지의 스케일링을 포함하는 완전한 동작을 수행하기에 충분한 계산 처리율의 양자를 갖는 경우라면, GT(404)는 텍스처 샘플을 위해 최고 해상도의 이미지 대역을 사용할 것이다. 그러나, 기하학적 변환 동작이 텍스처 샘플의 수에서나 계산량에 서 제한된다면, 우수한 이미지는 최고 해상도 이미지의 서브밴드 및 특수하게 필터링되고 스케일링된 다른 이미지 서브밴드 양자로부터의 텍스처 샘플을 사용하는 것에 의해 발생될 수 있다. 상이한 스테이지의 프로세싱에 의한 경우라 하더라도, 소정 동작을 완료하기 위해서는, 대개는, GT(404)가 다중 패스(multiple passes)를 수행하는 것이 필요하다.
기하학적 변환(404)은 다른 3D 텍스처 매핑 모드의 비디오도 프로세싱하고, 이미지로 다중 텍스처를 수용하는 시스템을 사용할 수도 있다. 예를 들어, 기하학적 변환(404)은 이미지에 다중 텍스처 맵을 적용하는 범프 매핑 및 변위 매핑과 같은 고품질 텍스처링 기술을 사용할 수 있다. 이러한 다중 텍스처 맵 모드는 이미지 데이터의 상이한 서브밴드를 텍스처 소스로서 사용할 수도 있다. 다른 일례로서, 기하학적 변환(404)은, 사진 필름에 본질적인 입자성(graininess)을 모델링하기 위해, 다중 표면 텍스처링을 적용하여 비디오에 좀더 필름같은 외관을 부여할 수도 있다. 기하학적 변환(404)은 사용자에게, 오디오 재생 옵션에서 "홀", "경기장" 등과 같은 룸 효과를 선택하는 것과 유사하게, 입자성 모델링 사양을 설정 절차의 일부로서 선택하는 것을 허용할 수 있다. 또한, 기하학적 변환(404)은, 3D 시스템에서 상이한 조명 모델과 연관된 광원 기술을 사용하는 것에 의해, 컬러 진폭 격차를 정정할 수 있다.
시스템의 전달 함수로의 테셀레이션 맵의 피팅을 판정하기 위한 알고리즘은 다양한 기술에 기초할 수 있고, 시스템의 특정한 불균일성으로 튜닝될 수 있다. 추가적으로, 기하학적 변환(404) 및 텍스처 매핑 기술은 통상적으로 테셀레이션 매 핑 알고리즘이 판정되는 시점에서 공지되므로, 그러한 프로세싱 단계의 임의적인 소정 특징은 삼각형 메시를 판정하는 것의 일부로서 고려될 수 있다. 테셀레이션 맵이 사용자가 이동할 때마다 달라지는 대화형 3D 게임과 달리, 시스템의 이 유형을 위한 테셀레이션 맵은, 프로젝션 경로가 통상적으로 실시간으로 변하고 있지 않으므로, 사실상 일정한 상태를 유지할 수 있다. 위치 기반 엔터테인먼트 시스템 또는 몰입형 3D 가상 현실 시스템(immersive 3D virtual reality)을 지원하는 애플리케이션의 경우, 프로젝션 경로는 실제로 실시간으로 조정될 수도 있다.
테셀레이션 매핑 알고리즘 및 결과적인 삼각형 메시는, 다양한 테스트 입력을 발생시키고 테스트 이미지를 캡처하여 시스템의 전달 함수를 측정하는 것을 포함하는, 다양한 기술에 의해 발생될 수도 있다. 테스트 입력은 단일 픽셀, 단일 라인 이미지, 또는 디스플레이 스크린의 상이한 부분쪽으로 프로젝션되는 상이한 형태를 포함할 수 있고, 컬러 컴포넌트 및 컬러 강도가 달라질 수도 있다. 실시간 비디오 이미지를 프로세싱할 수 있는 능력은 삼각형 꼭지점의 수, 각각의 꼭지점을 위해 수행되는 프로세싱 양, 및 각 삼각형의 비꼭지점 픽셀의 프로세싱을 위한 충전 속도의 소정 조합에 의해 결정될 수도 있다. 작은 삼각형을 지나치게 많이 갖는 것이 실용적이지 않을 수도 있는 것은 이처럼 다양한 프로세싱 단계 때문이다. 큰 삼각형을 지나치게 적게 갖는 것도 양호한 결과를 제공하지 않을 수 있다. 따라서, 필요한 경우, 좀더 작은 삼각형을 이용하는 기술을 제공하는 것이 삼각형 테셀레이션에서 중요한 단계이다.
통상적으로 고려되지는 않지만, 좀더 정교한 시스템은 삼각형 메시 판정에 실시간 이미지 데이터를 포함할 수 있고 새로운 동적 테셀레이션 기술을 제안할 수 있다. 그러한 동적 테셀레이션 기술의 이점은, 아주 활동적인 고주파수 컨텐츠를 가진 디스플레이의 영역은 고밀도 삼각형 메시에 동적으로 할당될 수 있는 반면, 덜 활동적인 저주파수 컨텐츠를 가진 디스플레이의 영역은 삼각형의 저밀도 세트(coarse set of triangles)에 할당될 수 있다는 것이다. 디스플레이 영역에서의 고주파수 활동량은 압축 데이터 스트림을 위한 비트스트림 엔진(3125)에 의해 또는 IR(318) 블록에 의해 판정될 수도 있다. 판정은 디스플레이 스크린의 상이한 저밀도 4분원(quadrants), 알맞은 사이즈의 타일, 좀더 작은 사이즈의 구역, 또는 코드 블록으로 작아지는 모든 방법에 기초할 수 있다. 그 다음, 동적 테셀레이션은 실시간 컨텐츠 정보와 함께 시스템의 전달 정보를 사용해, 소정 이미지 또는 이미지의 시퀀스를 위한 삼각형 메시를 최선으로 선택하는 방법을 판정할 것이다. 시스템에 사용되는 텍스처 매핑 기술에 관한 추가 정보 또한 삼각형 메시를 선택하는데 사용될 수 있다.
기하학적 변환(404)은 다중 카메라 시스템으로부터의 디지털 데이터를 프로세싱하여 초점을 개선함으로써, 이미지 변조기(244)를 위해 좀더 고품질 이미지를 제공할 수 있다. 기하학적 변환(404)은, 다중 카메라 뷰 중 어떤 것이 오브젝트를 위해 최선의 초점을 제공하는지를 평가한 다음, 적당한 원근으로 오브젝트를 재구성한다. 그 다음, 기하학적 변환(404)은 다중 카메라 뷰를 지역 또는 오브젝트 기반으로 조합하여 출력 이미지를 발생시킨다. 또한, 다중 카메라 뷰는 다중 프레임 이미지 재구성에도 사용될 수 있다.
또한, 기하학적 변환(404)은 이미지 데이터에 포함된 다중 카메라 비트스트림 정보를 사용해 화면의 오브젝트 깊이를 판정할 수 있고 이동중인 오브젝트의 형태 및 모션 패턴에 대한 3D 모델을 구성할 수 있다. 그 다음, 기하학적 변환(404)은 동일한 비트스트림 정보를 사용해 곡선형 스크린(260) 프로젝션에 관련된 문제점을 해결함으로써 스크린(260) 전체를 완전하게 가로지르는 적당한 오브젝트 모션을 실현한다.
또한, 기하학적 변환(404)은, 다중 카메라 채널이 양안 디스플레이를 제시하고 시청자의 눈 각각이 화면의 단안 뷰를 시청하는 자동 스테레오 3D 디스플레이 시스템을 개선한다. 다중 카메라로부터의 비디오 입력은, 카메라의 위치에 대한 지식과 조합되어, 3D 디스플레이를 발생시킬 수 있다. 디스플레이 프로세스 동안 위치 정보가 사용되므로, 시청자는 적당한 오른쪽 시점 및 왼쪽 눈 시점으로부터의 카메라 뷰를 보게될 것이다. 다른 시스템에서는, 보충 비트스트림 정보가 비디오에서의 오브젝트 뿐만 아니라 이 오브젝트의 깊이 및 모션을 명시적으로 지시할 수 있다. GT(404)는 카메라 위치 정보 뿐만 아니라 명시적 오브젝트 정보를 사용해 디스플레이 출력 데이터를 변환할 수 있다. 기하학적 변환(404)은 상술된 초점 및 모션 적응적 필터링 기술에 따라 단안 뷰 각각을 구성할 수 있다.
시청자 위치 정보와 다중 카메라 뷰를 정합하기 위한 기술이 다중 스크린 엔터테인먼트 시스템에 사용될 수 있다. 이러한 엔터테인먼트 시스템은 이동 및 정지 스크린 뿐만 아니라 이동 또는 정지 시청자의 소정 조합을 포함할 수도 있다. 예시적 일 애플리케이션은, 시청자가 승마 경로를 따라 이동되면서 다중 스크린을 보는 테마 파크 승마이다. 승마 경로는 사전에 정해지거나 대화식으로 판정될 수도 있다.
다중 비디오 입력 시스템의 경우, 기하학적 변환 모듈(404)은 비디오 스트림 사이에서 특수 효과 및 실시간 전이를 수행하는데 사용되어 사용자 인터페이스를 개선할 수 있다. 예를 들어, 채널을 변경할 때, 갑작스럽게 한 채널에서 다른 채널로 변경하는 대신, 기하학적 변환 모듈은 한 채널을 페이딩하여 그것을 새로운 채널쪽으로 블렌딩할 수 있다. 페이드 및 블렌드는 통상적으로 비디오 픽셀을 현재 위치에 유지하며 가중화를 수행하여, 픽셀 값의 강도를 증가 또는 감소시킨다. 또한, 이것은 온라인 프로그램 안내 및 사용자 설정 메뉴와 같은 메뉴 오버레이 사양에도 사용된다. 또한, 기하학적 변환 모듈(404)은 와이프(wipes) 또는 와프(warps)와 같은 좀더 고급 전이를 수행할 수 있다. 이러한 좀더 고급 전이는 비디오 이미지의 공간 좌표를 변경하는 것에 의해 비디오 이미지를 와핑하는 것을 포함한다. 이러한 효과를 수행하기 위한 일 기술은 비디오를 텍스처 맵으로서 사용해 비디오 텍스처 맵을, 변경중인 디스플레이 맵에 실시간으로 적용하는 것이다. GT(404)에 의해 요구되는 다른 프로세싱과 함께, GT를 사용해 이미지를 다운스케일링하는 것에 의해 발생되는 것보다 높은 품질로써 이미지 서브밴드가 발생될 때, 이미지 서브밴드를 이용하는 것은 다양한 기하학적 변환을 위한 품질을 개선한다.
프로젝션 시스템 특징에 관한 DM에 기초해, GT(404)는 이미지 변환을 수행한다. GT(404)의 다양한 프로세싱 스테이지는 원래 이미지로부터의 이미지 서브밴드를 사용해 새로운 이미지 출력 프레임을 프로세싱하고 생성할 수 있다. 일부 경우 에서는, 추가적 샘플링 기술이 DIP(210)의 출력에 대해 사용되어 DOP(230)를 위한 출력을 발생시킬 수도 있다. 디지털 이미지의 기하학적 변환은 샘플링 프로세스이고, 에일리어싱 아티팩트(aliasing artifacts)에 영향받기 쉽다. 포인트 샘플링과 같은 간단한 샘플링 기술은 에일리어싱을 방지하기에 불충분하다. 대신에, 영역 샘플링, 수퍼샘플링, 적응적 수퍼샘플링, 확률적 샘플링, 포아송 샘플링(poisson sampling), 지터 샘플링, 포인트 확산 샘플링, 및 적응 확률적(adaptive stochastic) 샘플링과 같은 기술이 필요할 수도 있다. 또한, 다른 좀더 고급 컨벌루션 기술이 샘플링에 사용되며, 정교한 샘플링이 사용된 이후라 하더라도, 후행 샘플 필터링이 요구된다. 이 특허에서의 양호하게 설계된 모든 적응적 알고리즘에서와 같이, 특수한 필터링이 사용되어, 동일한 이미지 또는 이미지 시퀀스내에서 알고리즘의 갑작스런 변화로부터 초래될 아티팩트를 방지한다.
DOP(230) 동작의 일부로서, 비디오 프레임이 그래픽 프레임과 조합되어야 할 수도 있는데, 이 경우, 그래픽 프레임은 디지털 또는 네트워크 인터페이스 중 하나를 통해 시스템에게로 입력될 수 있거나 DOP(230)에 의해 그래픽 프레임이 내부적으로 발생될 수도 있다. 어느 경우에서든, 그래픽 프레임은, 출력 이미지가 정확하게 디스플레이된다는 것을 보장하기 위해 사전 보상 프로세싱을 요구할 것이다. 이것은 비디오 이미지와 관련하여 수행될 수 있거나 비디오 이미지와는 독립적으로 수행된 다음 조합될 수도 있다. 그래픽과 비디오를 조합하는 간단한 경우로서, 마스킹 또는 오버레이 동작이 수행될 수도 있는데, 이 경우, 각각의 픽셀 기반으로, 비디오나 그래픽 정보가 디스플레이된다. 그래픽을 비디오와 오버레이하는 좀더 정교한 접근 방법은 투명성의 상이한 레벨을 사용한다. 각각의 픽셀이 서브픽셀로 분할되는, 수퍼샘플링 또는 다중 샘플링의 기술이 그래픽 이미지를 발생시키는데 사용되어 안티-에일리어싱을 구현한다. 들쭉날쭉한 에지(jagged edges)를 방지하기 위한 안티-에일리어싱을 위해 그래픽 이미지가 독립적으로 프로세싱된 경우라 하더라도, 그래픽과 비디오의 조합 효과는, 그래픽과 비디오 픽셀이 만나는 곳에서 여전히 바람직스럽지 못한 비주얼 아티팩트를 가질 수도 있다. 비디오와 그래픽 프레임을 조합하기 위한 개선된 방법은, 기하학적 변환(404)이, 텍스처 투명성 모드와 조합될 수도 있는 안티-에일리어싱을 수행하여, 조합된 비디오 및 그래픽 이미지의 전반적인 외관을 개선하는 것이다. 안티-에일리어싱 기술의 기능은 에지에서 비디오와 그래픽 이미지 데이터를 조합하여, 조합된 이미지를 위한 좀더 자연스러운 외관을 발생시키는 것이다.
도 5는 도 4의 기하학적 변환(404)의 블록도이고, 모두가 공통 데이터버스(550)를 통해 접속되어 있는, 공간 변환(502), 정렬 및 회전 정정(506), 초점 정정(508), 왜곡 정정(510), 리샘플링(512), 다중 프레임 상관(514), 및 컬러 진폭 정정(516)을 위한 이미지 프로세싱 모듈을 포함한다. 이러한 프로세싱 모듈은, 그것이 별도 블록으로서 도시되어 있기는 하지만, 다양한 모듈의 기능을 수행하는 프로그램 가능한 단일 프로세서로써 구현될 수 있다. 도 7과 관련하여 부연되는 바와 같이, 이 기능은, DIP(210) 및 DOP(230)의 다른 모듈을 포함할 수도 있는 SOC 구현의 일부로서의 GPU(Graphics Processor Unit)에 의해서도 수행될 수 있다.
도 5의 실시예에서, 공간 변환(502)은 이미지 픽셀 포인트 사이의 공간 관계 를 재정의한다. 예를 들어, 3개의 이미지 변조기(244)를 갖춘 프로젝션 시스템에서 X-Y 정렬의 공간 변환(502)은, 각각의 이미지 변조기(244)가 추가 픽셀의 행과 열을 갖는 것을 허용한다. 그 다음, 공간 변환(502)은 X-Y 평면에서의 이미지 픽셀을 디지털 조정하고, 조정된 픽셀 데이터를 이미지 변조기(244)에 기입한다. 예를 들어, 픽셀 조정이 정수에 의한 것이라면, 공간 변환(502)은 구(old) 이미징 픽셀 어드레스를 조정을 위해 정수 개 픽셀만큼 시프트한다. 그러나, 조정이 비정수(non-integer)에 의한 것이라면, 공간 변환(502)은 가중된 필터링 알고리즘으로써 이미지를 리샘플링하여 새로운 픽셀 값을 획득한다. 또한, 공간 변환(502)은 이미지 변조기(244)의 1차원 스큐(skew), 접선 대칭, 관계각(aspect angle), 및 스케일 관련 왜곡을 다룬다. 공간 변환(502)은 리샘플링 및 가중 필터링 알고리즘을 사용해, 픽셀 라인 기반으로, 그러한 왜곡을 정정한다. 공간 변환(502)은, 전통적인 3D 렌더링 프로세스에서와 같이, 텍스처 매핑을 수행할 수 있다.
예시적인 일 시스템에서, 공간 변환(502)은 픽셀 중앙점 평행 이동(pixel center point translation)을 이용해, 어떤 소스 픽셀이 새로운 출력 픽셀을 생성하는데 사용되는지, 상이한 소스 픽셀의 가중화가 어떤 것인지, 그리고 어떤 형태의 필터가 이상적인 출력 픽셀을 생성하는데 사용되는지를 판정한다. 그러한 방식은, DM(402) 정보가 플래시 메모리로부터 직접적으로 액세스되고 입력 픽셀 데이터와 조합되어, 프로젝션 왜곡의 형태에 기초해 적절하게 변환된 출력 픽셀 값을 발생시키는 저비용 시스템에 사용될 수 있다. 그러한 시스템은 라인 버퍼 메모리를 사용해 설계될 수 있으므로, 외부 메모리는 불필요하다. 또한, 그러한 프로세싱은 저비용 시스템을 위한 완전한 기하학적 변환(404) 프로세싱 단계 모두를 통합할 수 있다.
또한, 공간 변환(502)은 스케일링 및 포맷 변환을 수행하는데도 사용될 수 있다. 한가지 기술은, 입력 이미지의 이미 스케일링된 버전이며 통상적으로 후속 서브밴드의 2배 해상도인, 이미지 서브밴드로부터의 데이터를 이용하는 것이다. 어쩌면 입력 해상도의 2배인 이미지 수퍼밴드도 존재한다. (하드웨어의 실질적 제한내의) 임의적인 소정의 출력 해상도를 위해, 좀더 낮은(또는 등가) 해상도의 이미지 서브밴드 및 좀더 높은(또는 등가) 해상도의 이미지 서브밴드 또는 수퍼밴드가 존재한다. 2개의 바운딩 이미지를 사용해, 공간 변환(502)은 가중되고 필터링된 보간을 바운딩 이미지 사이에서 수행하여, 소정 해상도의 출력 이미지에 도달할 수도 있다. 입력 이미지로서의 바운딩 이미지의 이러한 사용을, 후술되는 정렬 및 회전 정정(506), 초점 정정(508), 왜곡 정정(510), 리샘플링(512), 다중 프레임 상관(514), 및 컬러 진폭 정정(516)을 위한 바람직한 모드라고도 한다.
또한, 공간 변환(502)은 아나모픽(annmorphic;포물선) 스케일링 및 4:3의 가로세로비에서 16:9의 가로세로비로의 컨텐츠의 비선형 변환을 수행하기 위한 영역 기반 아나모픽 스케일링을 포함하는 좀더 복잡한 포맷 및 가로세로비 변환에도 사용될 수 있다. 변환은 4:3 컨텐츠를 상이한 구역으로서 취급할 수 있는데, 이 경우, 중앙 구역은 선형으로 스케일링되고 왼쪽 및 오른쪽 구역은, 이미지가 스크린 에지에 가까워짐에 따라 스케일 팩터를 증가시키는 아나모픽 스케일링을 사용해 스케일링된다. 중앙 시청 영역(center viewing area)은 최소한의 스케일링 왜곡을 가질 것이고, 아마도, 화면 정보의 대부분은 주로 이미지의 중앙에 유지되므로, 이 기술은 유용하다. 스케일링의 이 유형은 별도 동작으로서나 테셀레이션 매핑을 사용하는 전체 기하학적 변환의 일부로서 수행될 수 있다. 테셀레이션 매핑을 조합하는 경우에, 왼쪽 및 오른쪽 구역의 삼각형은 프로젝션 왜곡을 정정하도록 형성될 뿐만 아니라 비선형 스케일링을 포함하도록 형성된다.
서브밴드 및 수퍼밴드를 위한 2배 해상도 증분의 사용은, 대화형 3D 시스템이 임의의 소정 화면에 대한 사용자 원근의 큰 변화를 커버함으로써 아주 가까운, 아주 먼, 그리고 상이한 다수 각도로부터의 뷰를 위해 상이한 텍스처를 가져야 할 필요성에 기초한다. RPTV(Rear Projection Television)의 경우, 시청 각도 및 시청 거리는 프로젝션 경로의 내부 설계와 관련된다. 그에 따라, 프로젝션 경로는 좀더 고정적이고, 대화형 3D 시스템과 동일한 큰 변화를 갖지는 않을 것이다. 따라서, 서브밴드를 위한 2배 해상도 증분은 불량한 선택일 수도 있고, 훨씬 작은 증분이 텍스처링 절차에 사용될 때 좀더 양호한 결과를 제공할 것이다. 예를 들어, 최악의 이미지 왜곡 경로에 기초할 경우, 원래 이미지의 제1 서브밴드는 입력 이미지보다 20% 작아지게 하는 것이 바람직스러울 수도 있다. 제2 서브밴드는 제1 서브밴드보다 20% 작게 선택될 수도 있다. 마찬가지로, 수퍼밴드는 원래 이미지보다 20% 크게 선택될 수도 있다. 대역의 사이징 및 텍스처링 알고리즘은 기계적으로 관련되고, 그에 따라, 시스템은 서브밴드 사이의 관계를 고려하도록 설계되거나 프로그램되어야 한다.
정렬/회전 정정(506)은 이미지 변조기(244)의 2차원 스큐, 접선 대칭, 관계 각, 및 스케일 관련 왜곡을 다룬다. 정렬/회전 정정(506)은, 각각의 R, G, 및 B 컬러 컴포넌트를 위해, 리샘플링 및 가중 필터링을 사용해 수평 및 수직 방향 양자에서 픽셀을 재배치하고, 그에 따라, 출력시에, 각각의 컬러 컴포넌트는 전체 이미지 전반에 걸쳐 적당한 위치에 배치된다. 또한, 정렬/회전 정정(506)은 픽셀을 재배치하여 디스플레이 이미지를 회전시킨다. 정렬/회전 정정(506)은, 3개의 이미지 변조기(244)를 위한 회전 오정렬 또는 렌즈로부터의 기하학적 왜곡을 정정하기 위해, 기하학적 변환을 수행하여 이미지를 사전 보상한다.
초점 정정(508)은, 이미지 변조기(244) 광학계에 의해 도입되는 초점 흐림(defocus)을 포함하는, 불균일한 초점 흐림을 개선한다. 초점 정정(508)은, 디스플레이 스크린(260)의 초점 문제점을 설명하기 위해, 바람직스럽기로는 이미지를 필터링하여, 이미지를 표현하는 디지털 데이터를 사전 보상한다. 디스플레이 스크린(260) 영역이, 불균일한 프로젝션 경로 때문에, 디스플레이 스크린(260) 픽셀보다 좀더 많은 이미지 변조기(244) 픽셀을 가지면, 초점 정정(508)은, 단일 프레임 기반으로, 잡음 필터링 기술을 사용해, 선형 필터, 비선형 필터, 및 적응적 필터를 적용한다. 초점 정정(508)은 추가적으로 POCS 또는 다른 적응적 필터링 기술에 기초한 기술을 사용해, 예상되는 초점 흐림을 사전 보상한다. 반대로, 디스플레이 스크린(260) 영역이, 불균일한 프로젝션 경로 때문에, 디스플레이 스크린(250) 픽셀보다 적은 이미지 변조기(244) 픽셀을 가지면, 초점 정정(508)은 에지 향상을 수행하기 위한 컨벌루션 기술 또는 반전 필터링 기술을 사용해, 프로젝션 동안 확산되는 픽셀 및 흐려지는 이미지를 사전 보상한다. 디스플레이 시스템으로 인한 이 미지의 공간 확산(spatial spread)은 디스플레이 시스템 PSF(Point Spread Function)로서 특징지워진다.
왜곡 정정(510)은, 키스톤 효과를 포함하는, 이미지 왜곡을 정정한다. 왜곡 정정(510)은 각각의 이미지에 상이한 스케일 팩터를 가진 스캔 라인을 제공하여 프로젝션 거리 차이를 사전 보상한다. 왜곡 정정(510)은, 이미지의 상단 부분에서 시작해, 이미지가 이미지 변조기(244)에 의해 좀더 적은 픽셀을 사용하게 하는 것에 의해 이미지를 필터링하고, 그에 따라, 프로젝션될 때, 스크린(260)상의 이미지가 정확하게 할당될 것이다.
또한, 왜곡 정정(510)은 렌즈 시스템에 의해 도입되는 방사 왜곡을 정정한다. 방사 왜곡이 디스플레이 스크린(260)의 픽셀 밀도를 증가시키는 영역에서, 왜곡 정정(510)은 공간 필터를 사용해 이웃한 픽셀 값 사이의 어떠한 차이도 감소시킨다. 따라서, 대응되는 이미지는 평활화되고, 고주파수 아티팩트를 포함하는, 아티팩트를 포함하지 않는다. 디스플레이 스크린(260) 픽셀보다 적은 픽셀을 갖는 스크린 디스플레이(260) 영역을 위해, 왜곡 정정(510)은 필터링 기술을 사용해, 이웃한 픽셀 값 사이의 차이를 증가시키는 에지 향상을 수행한다. 이것은, 이웃한 픽셀이 확산될 때의 디스플레이 동안 도입될 PSF 왜곡을 사전 보상한다. 따라서, 선명한 에지를 가질 이미지가 디스플레이 프로세스에 의해 평활화되어 좀더 균일한 외양을 가진다. 왜곡 정정(510)은 바람직스럽기로는 DM(402)으로부터 특정한 왜곡 패턴을 획득한다.
리샘플링(512)은 고해상도 눈금으로부터의 픽셀 값을 이미지 변조기(244) 눈 금상의 새로운 픽셀 값으로 평행 이동한다. 다중 프레임 상관(514)은 다중 프레임 디스플레이 품질을 개선한다. 다중 프레임 상관(514)은 Wiener 디컨벌루션과 같은 알고리즘을 사용해 프레임 사이의 시간적 상관을 활용한다. 다중 프레임 상관(514)은 하나 이상의 입력 이미지 프레임을 프로세싱하는 다중 프레임 기술을 사용해 광 흐름 필드를 구성하는데, 광 흐름 필드는 추가적으로 프로세싱되어 출력 프레임을 구성한다. IR(318)은 다중 프레임 상관(514)으로의 프레임 입력을 제공할 수 있다. 다른 방법으로, 이러한 프레임 입력은 압축된 입력 제어(312)로의 압축된 데이터 입력의 일부일 수도 있다. 다중 프레임 상관(514)은 베이지안 필터링 또는 POCS 기술을 사용해 압축 비트스트림으로부터, 프레임 사이의 관계를 나타내는 다중 프레임 정보 및 모션 벡터를 추출할 수 있다.
또한, 다중 프레임 상관(514)은 입력 프레임 속도를 출력 프레임 속도로, 예를 들어, 24 fps에서 60 fps로 변환한다. 이와 같이, 다중 프레임 상관(514)은 24개 입력 프레임의 시퀀스로부터 60개의 고유하고 상이한 출력 프레임을 발생시키는데, 이 경우, 이동중인 모든 오브젝트는 모션 보상되고, 그에 따라, 그것이 디스플레이될 때, 그것은 적당한 공간 좌표에 위치한다. 적당한 출력 프레임을 발생시키기 위한 정보는 입력 프레임, 모션 예측 정보, 및 오브젝트 모션 예측으로부터 발생한다. 모션 예측 정보는 압축된 입력 비트스트림의 일부 이거나 이미지 입력 프로세싱 동안 모션 예측기(3180)에 의해 발생된다.
컬러 진폭 정정(516)은 디스플레이 전체에 걸쳐 컬러 강도의 불균일성을 정정하는데 사용된다. 예를 들어, RPTV에서의 광 경로는, 광원이 스크린의 상단에서 보다 디스플레이 스크린의 하단에서 좀더 밝은 그런 것일 수도 있고, 보상되지 않는다면, 디스플레이된 이미지는 그다지 양호하게 보이지 않을 것이다. 시스템의 설정 모드 동안, 스크린상의 각 위치에서 컬러 컴포넌트 각각을 위한 밝기에 관한 정보가 측정되고 저장될 수 있다. 이 정보는 매 픽셀 기반으로 사용될 수 있거나, 삼각형의 각 꼭지점이 각각의 컬러 컴포넌트를 위한 컬러 조정 값에 할당되는 테셀레이션 맵 발생의 일부로서 사용될 수 있다. 그 다음, 그러한 컬러 조정 값은 컬러 진폭 정정(516)에 의해 각 픽셀에서 컬러 컴포넌트 각각의 밝기를 보상하는데 사용될 수 있다. 이것은 저장된 매 픽셀 정보(per pixel stored information)를 사용하는 것에 의해서나 매 꼭지점 정보(per vertex information)를 사용하고 소정 유형의 보간을 수행해 꼭지점 사이의 값을 판정하는 것에 의해 수행될 수 있다.
디스플레이 변조기(MLC;420)는 바람직스럽기로는 DOP(230) 프로세싱된 출력 데이터를 수신하고, 그 데이터의 이미지 변조기(244)로의 송신을 제어한다. DM(420)은, 이미지 프레임내에서의 균열(tearing)을 방지하기 위해, 디스플레이 타이밍에 관련한 타이밍 업데이트 제어를 포함할 수도 있다. DM(420) 출력은 아날로그일 수도 있지만 디지털인 것이 바람직스럽고, 별도의 데이터 및, 6개 비트, 8개 비트, 또는 그 이상일 수도 있는, R, G, 및 B 컬러 컴포넌트 각각을 위한 제어 신호를 포함한다. 열 드라이버를 포함하는 TFT 디스플레이의 경우, DM(420) 출력은, 예를 들어, 래스터 스캔을 구동하는, 매 컴포넌트당 8개 비트에 기초한, 하나 또는 2개의 24-비트 디지털 버스일 수 있다. 다른 방법으로, DM(420)은 전압 또는 주파수 변조 기술을 출력에 사용해 이미지 변조기(244)를 구동할 수도 있다. DM(420) 출력은, FPD를 위해, 행 및 열 드라이버를 포함하고, 각각의 능동 행렬 TFT를 위해, 수동 행렬 LCD 디스플레이 또는, 그것을 요구하는 다른 디스플레이 유형은 전압 레벨 명세를 포함한다. 이미지를 변조하기 전에, DM(420)은 이미지 변조기(244)에 기입될 데이터를 표현하는 가장 간단한 방법, 주파수, 및 값을 판정한다. DM(420)은 TGP(412) 및 RSR(414)을 사용하는데, 이들은 이미지 변조기(244)와 연관된 시간 응답을 위한 보상 및, 이미지 변조기(244)의 지각되는 해상도(perceived resolution)를 증가시키기 위해, 디스플레이 업데이트 속도(또는 리프레시 속도)를 증가시키는 알고리즘의 양자를 포함한다.
가장 균일한 단일 백라이트 소스를 생성한다는 전통적인 백라이트 설계 목표는 이 발명의 이상적인 실시예를 위한 목표와는 상이하다. 필요할 때 균일한 백라이트를 발생시키는 능력을 갖는 것 이외에, 이 발명의 바람직한 백라이트 실시예는 영향받는 스크린의 영역에 관한 상관 정보와 함께 백라이트 소자의 제어를 위한 좀더 미세한 세분성도 포함한다. 2005년 1월에 발간된 Lumileds Lighting, U.S., LLC Application Brief AB27 "For LCD Backlighting Luxeon DCC" 페이지 7은, 색채(chromatic) 및 휘도 요구 사항을 충족시키는 백라이트를 발생시키기 위해, 90°커플링 거울, 혼합 광 가이드, 180°커플링 거울, 및 최종적인 메인 광 가이드를 통한 경로를 따르는 15" 디스플레이를 위한 LED 광원을 나타낸다. 확산 필름, BEF 필름, 및 커플링 거울과 함께 광 가이드의 사용은 LED 백라이트 구성을 위한 다른 구성을 표현한다. 이러한 도파관 접근 방법(waveguide approach)은 아주 균일한 백라이트를 발생시키지만, 그것은 통상적으로, 불량한 영역 기반 제어를 가진다. 도파관 구성과 함께 이 발명의 실시예를 이용하기 위해서는, 각각의 도파관이 디스플레이의 영역에 광원을 제공하는 다중 도파관이 요구될 수도 있다. 다른 방법으로, 단일 도파관의 개개 LED는 그것이 가장 많은 영향을 미치는 디스플레이의 영역에 대하여 특징지워질 수 있다.
도 6은 FPD를 위한 3색 LED 백라이트 시스템을 블록도 형태로 나타낸다. 시스템(640)은, 개개 LED가 개개 버스(622-628)를 통한 제어를 갖는, LED(612-618)의 4개 행을 나타낸다. 예시의 간략화를 위해 행으로 도시되었지만, 이 발명의 바람직한 실시예는, LED에 의해 발생되는 광 패턴을 개선하기 위해, LED를 엇갈림 패턴(staggered pattern)이나 6각형, 10각형, 또는 다른 다각형 눈금으로 정렬할 것이다. 눈금 포인트는 개개 LED이거나 각각의 픽셀을 구성하는 다중 유색 LED의 클러스터일 수 있다. 측면 발광 LED 또는 다이버터(diverter)를 갖춘 LED가 스크린에서의 바람직스럽지 못한 컬러 스팟을 방지하는데 사용될 수도 있다. 센서 배치는 LED의 특정 배치에 기초해 달라지겠지만, 센서 피드백 및 LED 프로세싱을 실현하기 위한 일반적인 개념은 동일하다. 다각형 LED 구성의 경우에, 센서는 각 다각형내의 중앙에 배치될 수 있다.
바람직한 실시예에서, LED 각각의 밝기는 버스(622, 624, 626 및 628)를 구성하는 개개 제어 라인에 대한 행 LED 제어(602-608)를 통해 개별적으로 제어된다. 다른 시스템은 LED를 위치 및 컬러의 소정 조합에 기초한 그룹이나 클러스터로 제어할 수도 있다. 행 1-4 LED 제어(602-608)는 MLC(420)로부터 명령을 수신하고, LED의 유형에 따라, 밝기 제어는 가변 전압, 전류, 펄스 폭 변조, 또는 3가지의 소 정 조합에 기초할 수도 있다. 도 6은 그린(G), 블루(B), 레드(R), 그린(G)의 반복되는 시퀀스를 나타내지만, 상이한 패턴 및 상이한 컬러가 사용될 수도 있고, 이 경우, 목표는 완전한 색역을 디스플레이하는 능력이다. 이 일례에서, 현재의 그린 LED 기술은 레드 및 블루만큼 높은 출력을 실현하지 못하므로, 그린 LED의 수는 배가된다. 다른 시스템에서는, 제2 그린 LED 대신에 제4 컬러(파장) LED가 사용될 것이다.
도 6으로써 지시되는 바와 같이, TFT 패널과 같은, 디스플레이 변조기가 조명 시스템상에 위치할 경우, 대다수 디스플레이 변조기 픽셀이 각각의 LED에 의해 영향을 받고, 각각의 변조기 픽셀이 수개 LED에 의해 영향을 받을 수도 있다. LED, 변조기 픽셀, 및 디스플레이 스크린 사이의 관계는 PSF(Point Spread Function)로써 설명될 수도 있다. 통상적으로 LED와 디스플레이 변조기 사이에는, LED로부터의 밝은 스팟을 감소시킬 뿐만 아니라 광원을 전반적으로 고르게 하기 위해, 소정 유형의 확산 필름이 존재할 것이다. LED는 통상적으로 PCB(Printed Circuit Board)상에 탑재될 것이고, 하네스(harness)를 지원하고 LED 광을 패널쪽으로 유도하기 위해, PCB의 LED측에 배치된 소정 유형의 반사 재료가 존재할 것이다. 행 1 제어(602), 행 2 제어(604), 행 3 제어(606), 행 4 제어(608), 및 센서 회로(638)는 LED로부터 TFT 패널까지의 광 경로를 벗어나 있어야 하므로, PCB의 뒤쪽에 또는 디스플레이의 베젤 아래에 배치될 수 있다.
다양한 센서(632a-632f)가 LED 백라이트 시스템(640)의 일부로서 포함된다. 센서는 밝기 및 파장을 위한 검출을 포함할 수도 있다. 센서는 디스플레이내의 다 양한 위치에 배치될 수도 있고, LED 광을 직접적으로 검출할 수 있거나 FPD의 일부인 확산 필터를 통해 검출할 수도 있다. 이 발명의 일 실시예에서, 각각의 LED는 외부에, LED 패키징의 일부로서 또는 LED 가공의 일부로서, 센서를 포함할 수도 있다. 센서는, 센서에 통합될 수 있거나, 센서 회로(638)와 같은, 별도 회로일 수도 있는 샘플링 및 변환 회로를 요구할 수도 있다. 디스플레이 센서 피드백 경로(636)는 센서 데이터를 DOP(230)의 일부인 센서 입력(426)에게로 피드백하는데 사용된다.
센서 피드백 정보는 프로세싱되어 다양한 LED 광원의 밝기 및 컬러(파장)에 관련한 특징을 판정하고, 추가적 프로세싱이 디스플레이를 캘리브레이션한다. LED 특징은, 전자 장치 가열 및 PSF를 변화시키는 LED 수령에 따른 온도에 의해 변화할 수도 있다. 광원의 중요한 다른 태양은, 다양한 파장의 LED가 소정의 컬러 온도와 관련하여 균형을 이루고 있는, 시스템의 적당한 화이트 밸런스를 유지하는 것이다. 센서를 위한 프로세싱 회로는 공유될 수도 있는데, 이 경우, 다중 센서가 시간에 걸쳐 회로를 공유할 것이다. 예를 들어, 센서는 아날로그 신호를 출력할 수도 있고, 회로는 ADC 변환을 수행할 것이다. 각각의 LED를 위해 센서가 존재하는 경우라 하더라도, 회로는 ADC 변환을 위해 공유될 것이다. LED 모두를 동시에 캘리브레이션하는 것은 통상적으로 불필요하겠지만, 하나 이상의 위치로부터의 센서 정보가 소정 입력 세트를 위한 LED 특징을 판정하는데 사용될 수 있도록 하기 위해, 센서 회로의 수개 세트를 갖는 것이 편리할 수도 있다.
도 6에서와 같이, 센서가 디스플레이내의 다양한 위치에 배치되지만, 매 LED 당 하나의 센서가 존재하지 않을 때, 소정의 임의 LED를 위한 특징을 판정하기는 좀더 어려워진다. 광원이 픽셀 컴포넌트 각각의 일부로서 포함되는, OLED 및 NED 기반 시스템과 같은, 다른 시스템은 픽셀 컴포넌트 각각을 위한 센서를 포함할 수도 있다. 픽셀 컴포넌트 각각을 위한 센서는, (아날로그-디지털 변환과 같은) 감지 소자로부터 사용 가능 데이터(usable data)로의 변환 및 샘플링이 픽셀 컴포넌트 소자 사이에서 공유되는 하나 이상의 센서 제어 회로에서 수행될 수도 있는 감지 소자만을 포함할 수도 있다. 다음의 논의는 LED에 초점을 맞추지만, OLED, FED, NED, 또는 다른 광원에 쉽게 적용될 수 있다.
LED를 특징짓기 위한 2가지 방법은 진단 모드를 통한 것과 실제 디스플레이 데이터가 디스플레이되고 있는 실행 시간 샘플링을 통한 것이다. 진단 모드에서는, 테스트중인 LED를 제외한 모든 LED가 턴오프될 수 있다. 테스트중인 LED는 그것의 상이한 레벨을 통해 일정한 순서로 배열될 수 있고, 센서는 각 레벨에서의 값을 기록할 것이다. 예를 들어, LED가 16개 밝기 레벨을 가진다면, LED는 밝기 레벨 1으로 설정될 것이고, LED의 범위에 해당되는 센서는 컬러 및 강도 레벨을 기록할 것이다. 그 다음, 밝기 레벨은 2로 변경될 것이고, LED는 레벨 2를 위한 컬러 및 강도 레벨을 기록할 것이다. 이 프로세스가 16개의 모든 밝기 레벨을 통해 완료될 것이고, LED를 위한 응답 테이블이 저장될 수 있다. 그 다음, 본 절차는 시스템의 LED 각각을 위해 반복될 것이다. LED와 센서의 상대적 위치에 대한 정보와 조합되면, 평면 패널 조명 시스템의 캘리브레이션이 이런 식으로 수행될 수 있다. 일부 시스템은 온도에 기초해 디스플레이를 추가적으로 캘리브레이션하기 위한 온 도 센서를 포함할 수도 있다. 다른 시스템은, 디스플레이 외관에 영향을 미칠 수 있는 주변 광 조건을 측정하기 위한 센서를 포함할 수도 있다.
공장에서 그리고 디스플레이의 유지 보수 동안, 진단 모드가 가능하다. 그러나, 소비자 TV의 애플리케이션에서와 같은, 정규 동작 조건에서는, 그러한 진단 동작을 수행하는 것이 항상 가능한 것은 아니다. TV 시스템과 같은 소비자 애플리케이션의 경우, 그러한 진단 모드는 TV의 동작에 은닉될 수 있다. 예를 들어, TV가 한 시간 이상 온 상태라면, LED는 아마도 정상 동작 온도에서 동작중일 것이다. 소비자가 TV를 오프할 때, LED 진단 모드가 수행될 수 있다. TFT 또는 LCD 스크린이 오프인 상태에서, 그러한 LED 진단 모드는 소비자에 대한 최소한의 성가심으로써 실행될 수 있고, 방이 어두워지지 않는다면, 소비자는 그러한 캘리브레이션이 발생하였다는 것조차 알지 못할 수도 있다.
그러나, 일부 애플리케이션에서는, 디지털 디스플레이가, 설사 그런 일이 있다고 하더라도, 거의 오프되지 않을 수도 있어, 정규 동작 조건에서 그러한 진단 모드를 실행하는 것이 불가능할 것이다. 예를 들어, 디스플레이가 호텔 또는 공항에서의 키오스크 일부라면, 그것은 수 달 또는 수 년 동안 온 상태일 수도 있다. 그러한 경우, 디스플레이 동작의 일부인 동작 자극을 사용해 LED 평가를 수행하는 것이 필요해진다. MLC(420) 회로는, 어떤 출력이 디스플레이 광 제어(602-608)로 유도되고 있는지를 알고 있고, 구동된 출력과 센서 데이터를 추적하여 비교할 수 있다. 센서가 광과 컬러를 기록하고 그것을 LED가 설정되었던 것으로 역상관짓는 그러한 피드백 시스템은 LED 출력 설정과 무관하게 동작될 수 있다. 다른 방법으 로, 시스템은 디스플레이 동작 동안에 자연스럽게 발생할 사전에 정해진 LED 조건을 검출하여 그 시점에서의 센서 데이터만을 기록할 수도 있다. 계속해서 비행기의 비행 스케줄을 나타내는 키오스크와 같은, 일부 애플리케이션은 제한된 세트의 컬러만이 디스플레이되게 할 것이고, 따라서, 선택된 사전 판정 LED 조건이 결코 충족되지 않을 수도 있다. 따라서, 사전 판정 LED 조건을 검출하기 위한 기술을 이용했던 시스템 또한, 발생될 LED 설정이 무엇이든 그것을 위한 센서 기록을 기록하기 위한 모드가 필요할 수도 있다.
LED 출력을 위한 컬러 및 강도 레벨을 테스트하고 특징짓는 이외에, LED를 위한 실시간 응답 특징을 특징짓는 것도 유용하다. 이 발명의 바람직한 실시예는 LED 전이 속도를 이용해 디스플레이 변조기 자체의 좀더 느린 컬러 전이를 보상한다. LED 속도를 특징짓기 위해, 센서는 LED의 다양한 출력 레벨 사이의 전이 속도를 기록하도록 설정될 수 있다. 이 정보는, 응답 시간 보상을 수행할 때, LED를 위한 구동 출력 레벨을 좀더 양호하게 정합하는데 이용될 수 있다. Nyquist 샘플링 정리에 의해 지시되는 바와 같이, 소정 센서 및 센서 데이터를 디지털 값으로 변환하기 위한 회로는 LED를 위한 출력 토글 속도의 적어도 2배에서 동작해야 한다. 앞서 설명된 바와 같이, LED 응답 시간은 진단 모드의 일부로서나 정규 동작 모드 동안에 입력 데이터 스트림의 일부인 패턴을 사용해 측정될 수 있다.
DOP(230)는 프로세싱된 센서 데이터를 DM(402), SGP(408), TGP(412), 및 MLC(420)를 포함하는 다양한 블록 기능의 일부로서 이용한다. 현재 발명의 일 실시예에서, 센서 데이터는 각각의 픽셀을 위해 저장되는 DM(402) 정보를 조정하거나 무효화하는데 사용될 수 있다. 다음으로, SGP(408), TGP(412), 및 MLC(420)는, 컬러 및 강도와 관련하여 업데이트된 DM(402) 픽셀 정보를 이용해, 디스플레이 변조 제어 뿐만 아니라 광원 제어를 이용할 것이다. 다른 실시예에서, 센서 정보는 메모리(424)에 저장될 것이고, 각각의 프로세싱 블록은 다양한 프로세싱 단계를 수행하면서 이 정보를 이용할 것이다. 양자의 경우에서, LED 및 디스플레이 변조기의 공간 및 시간 특징이 SGP(408) 및 TGP(412) 프로세싱 유닛에 이용되고, 그에 따라, MLC(420)는 LED 및 디스플레이 변조기 어레이를 위한 적합한 값을 구동할 수 있다. 추가적으로, 이미지 컨텐츠를 프로세싱하는 것과 디스플레이 변조기 및 LED를 구동하는 것의 조합이 고품질 디스플레이 출력을 발생시키는데 사용될 수 있다. 이 발명의 바람직한 실시예에서는, LED를 제어하는 것에 의해 가능해진 확장된 동적 범위가, 그렇지 않으면, 단일 광원 및 이미지 변조기로써 가능했을 것보다 높은 품질의 이미지를 실현하는데 이용된다.
LED 제어를 위한 프로세싱은 공간적으로 그리고 시간적으로 수행된다. 공간적 프로세싱은 입력되는 디스플레이 데이터 및 다른 디스플레이 특징에 기초해 LED 어레이 및 디스플레이 변조기 픽셀 양자를 위해 수행된다. LED PSF를 위해 공간 프로세싱을 수행하기 위한 몇가지 방법이 존재한다. 일 방법은 디스플레이 이미지를 LED의 적당한 해상도로 필터링 다운하고, 그것을 LED 밝기 레벨을 판정하기 위한 기초로서 사용하는 것이다. 이미지가 저해상도로 필터링되는 웨이블릿 분해와 유사하게, 이미지는 다양한 필터링 알고리즘으로써 필터링될 수 있다. 도 6의 LED 어레이는 수평적으로 60 및 수직적으로 4의 해상도를 갖는 것으로 생각될 수 있지 만, 행의 간격 및 전반적인 PSF는 필터 설계의 일부로서 고려되어야 한다. 추가적으로, 가장 밝은 픽셀을 위해 요구되는 밝기를 실현하기 위해, 픽셀에 영향을 미치는 LED는, 그렇지 않다면, 평균 가중 필터가 결론지을 것보다 높은 레벨에서 조명될 것이 요구될 수도 있다. 정교한 필터링 기술이 최상의 LED 값을 판정하는데 사용될 수도 있다.
예를 들어, 변조기 이미지는 1920 x 1280의 원래 디스플레이 해상도에서 LED의 해상도와 정합하는 이미지의 60 x 4 표현으로 필터링될 수 있다. LED 컬러는 필터링 이전에 고려될 수 있거나, 필터링 동안에 고려될 수 있거나, 필터링 이후에 추출될 수 있다. 필터 계수는, LED가 최고 밝기를 요구하는 픽셀 값을 위한 특정 가중화의 디스플레이 변조기에 대해 갖는 상대적 영향을 근사하는데 사용될 수 있다. 디스플레이 변조기 위치가 LED로부터의 광에 의해 영향을 받지 않는다면, 그러한 디스플레이 변조기 위치로부터의 값을 그러한 LED 값을 판정하는데 사용함에 있어서 포인트가 존재하지 않으므로, 필터 범위를 위한 컷오프(cutoff)가 아주 선명할 수도 있다. 간략화된 필터 설계에서는, LED 또는 LED의 그룹에 의해 영향을 받는 픽셀의 영역이 스캔되고, 그러한 픽셀을 위한 레드, 그린, 및 블루의 최고 값에 기초해, 레드, 그린, 및 블루 LED를 위한 밝기 레벨이 그에 따라 설정된다. 다른 유형의 필터링 기술이 사용될 수도 있고, 원래 이미지 데이터로부터 또는 이미지 데이터의 필터링된 서브밴드로부터 시작할 수도 있다.
일단 디스플레이의 소정 영역을 위한 LED 값이 한번만 판정되고 나면, 그 영역에서의 픽셀을 위한 이미지 변조기 값 모두가 판정될 수 있다는 것에 주의해야 한다. 이미지 프로세싱 시스템은 이미지 프레임 데이터에 대해 완전한 스크린 분석을 수행하고, LED 밝기 설정을 판정한 다음, 이미지 변조기 데이터 값을 판정하거나 영역 기반으로 프로세싱을 수행할 것을 선택할 수도 있다. 시간적 프로세싱이 이 단계에 포함될 수 있는데, 선행 프레임으로부터의 데이터가 메모리 버퍼에서 이용 가능하고, LED 밝기 설정 및 이미지 변조기 데이터 값을 계산하는데 사용될 수 있기 때문이다. 완전한 스크린 분석을 수행하는 것은 시스템에 지연 프레임을 추가할 것이다. TV의 다수 유형 및 다른 시스템을 위해, 지연의 이 프레임은 문제가 되지 않는다. 다중 프레임의 시간적 감마 정정을 수행할 것을 추구하는 시스템도 지연의 추가 프레임을 추가할 수 있고, 그에 따라, 완전한 스크린 공간 프로세싱을 수행하는 것이 쟁점이 되지 않는다. 그러나, 일부 컴퓨터 애플리케이션 또는 게임 머신과 같은, 더 많은 대화형 요구 사항의 디스플레이 시스템의 경우, 지연의 완전한 스크린(full screen of latency)을 추가하는 것이 수용 불가능할 수도 있다.
그러한 지연 민감형 애플리케이션의 경우, 완전한 스크린 분석을 수행하는 대신에, 분석은, 슬라이스라고 하는, 제한된 수의 행에 기초해 수행될 수 있었다. 행 기반 프로세싱은, 비디오 및 디스플레이의 스캔 라인 특징 때문에 사용된다. LED의 4개 행이 존재하는 도 6의 LED 구성을 고려하면, LED의 제1 행은 통상적으로 디스플레이의 상단 1/3에 위치하는 픽셀에만 영향을 미칠 것이므로, 상단 행을 위한 LED 밝기 값을 판정하기 위한 분석은 스크린의 상단 1/3로부터의 데이터 값의 슬라이스로부터 수행될 수 있었다. 엇갈림 행 또는 6각형 패턴으로 정렬된 LED 또 는 LED의 클러스터는 디스플레이 픽셀에 관련한 광원의 공간 분포에 기초해 디스플레이 데이터 행에 유사한 영향을 미칠 것이다. 일단 그러한 LED 값이 계산되고 나면, LED는, 픽셀 변조기 값이 이미지 변조기쪽으로 스캔될 때, 적합한 레벨로 증가 또는 감소될 수 있었다. LED 행 2, 3, 및 4에 대응되는 디스플레이 슬라이스는 유사한 방식으로 수행되어 파이프라이닝될 수 있었고, 그에 따라, 시스템에 추가되는 전반적인 지연은, 하나의 완전한 프레임이 아니라, 1/3 프레임이었다. 좀더 적극적인 접근 방법은 훨씬 적은 디스플레이 데이터 행에 기초해 LED 값을 판정할 수 있었고, LED 및 픽셀 변조기를 위한 최상 값이 약간 타협될 수는 있지만, 지연은 좀더 낮아질 수 있었다.
디스플레이의 일부로서 변조되는 디스플레이 광원(270) 이외에, 추가 광원은 디스플레이 주위의 주변 조명에 영향을 미치는 DOP(230)에 의해 제어될 수도 있다. 주변 조명은, 시청자가 디스플레이 이미지를 지각하는 방법에 영향을 미치고 전반적인 시청 경험을 향상시킬 수 있다. 시청자는 화면에서 화면으로 발생하는 정규적인 밝기 변화로 인해 눈의 피로를 경험할 수 있다. 눈의 피로를 발생시키는 동일한 생리학적 효과가 이미지 세부 사항 및 동적 범위를 지각하는 눈의 능력을 약화시킬 수도 있다. 이 효과를 극복하기 위해, 디스플레이 시스템(240)은 주변 광을 발생시킬 수도 있는데, 이 경우, 주변 광은 단일 유색 또는 다중 유색일 수도 있고, 디스플레이 주위의 상이한 영역을 위해 컬러가 달라질 수도 있다. 일 실시예에서는, 디스플레이 광원(270)이 주변 광 발생에 사용되고, 다른 실시예에서는, (도시되어 있지 않은) 전용의 주변 광원이 사용된다.
바람직한 일 실시예에서, 주변 조명 시스템은 유색 광으로써 디스플레이 스크린 뒤쪽 영역, 통상적으로 벽을 조명하는데, 이 경우, 디스플레이의 에지로부터 발산하는 유색 광은 디스플레이의 대응되는 에지에서의 디스플레이 스크린의 그것과 유사한 컬러이다. 그러한 시스템의 비주얼 효과는 디스플레이 이미지를 디스플레이 경계 너머로 확장하는 것이다. 주변 조명의 밝기는 디스플레이 이미지의 광도 뿐만 아니라 디스플레이 환경에서의 자연스러운 주변 광에도 기초한다. 디스플레이 주위의 조명은 시청자의 눈의 피로를 감소시키고, 시청자의 눈이 디스플레이 스크린에서 발생되는 디스플레이 품질을 좀더 쉽게 구별하게 할 수 있다. 조명을 위한 다른 이점은, 디스플레이 이미지가 시청자에게 좀더 크게 보일 수도 있다는 것인데, 확장된 조명 영역이, 실제 디스플레이 픽셀을 포함하고 있지는 않지만, 디스플레이 영역의 확장인 것으로 지각되기 때문이다.
벽에 탑재되는 디스플레이 시스템의 경우, 조명은 디스플레이의 4개 측면 모두로부터 확장할 수도 있다. 플로어 스탠딩(floor standing) 디스플레이 시스템의 경우, 조명은 3가지 방향(오른쪽, 왼쪽, 및 위쪽)으로 확장할 것이다. LED 광원을 사용하는 FPD 시스템의 경우, 추가 광원은 디스플레이의 하우징내에 배치되고, 디스플레이 주위에 조명을 제공하기 위해, 확산 재료를 통해 유도될 수도 있다. 디스플레이의 하우징 주위에 더 많은 광원이 배치될수록, 동적 주변 광은 좀더 평활화되고 제어될 수 있다. 기하학적 변환 기반의 이미지 사전 보상을 이용하는 후방 프로젝션 시스템 또한, 벽에 탑재되기에 충분할 정도로 작을 수 있다. 이러한 후방 프로젝션 시스템은 통상적으로, 디스플레이 조명에 사용되는 조명의 일부분을 확산되도록 반사하여 디스플레이 주위에 동적인 주변 조명을 제공하도록 향상될 수도 있는, 정교한 렌즈 및 미러링 시스템을 가진다.
많은 홈씨어터 시스템이 청중의 측면 및 후방에 배치된 스피커가 존재하는 서라운드 사운드 시스템을 포함하는 것과 같이, 홈씨어터 시스템 환경을 위해 동적인 주변 조명을 포함하기 위한 서라운드 조명 시스템이 설계될 수 있다. 제어되는 주변 광원으로써 시청자의 시야각(field of view) 주변을 채우는 것은, 실제 디스플레이 픽셀이 변할 수는 없다고 하더라도, 청중을 위한 전반적인 시청 경험을 상당히 개선할 수 있다. DOP(230)는, 이미지 변조기(244) 및 디스플레이 광원(270) 값을 계산할 때, 이러한 동적 주변 광을 위한 컬러 및 강도를 계산할 수도 있다. 실제 제어는 DOP(230) 출력 제어 시스템의 일부일 수 있거나, 추가 제어 시스템이 디스플레이 시스템(240)에 추가될 수도 있다. 바람직한 일 실시예에서는, 동적인 주변 광원 중 일부가 디스플레이 시스템(240)에 의해 발생되어 원격의 동적 주변 광원에 의해 무선으로 수신되는 무선 제어 신호로부터 제어될 수도 있다. 동적 주변 광원은 임의 유형의 광원을 사용할 수도 있고, 단순한 광, 컬러 필터를 갖춘 광, 또는 다중 유색 광원일 수도 있다. 좀더 복잡한 시스템에서는, 동적인 주변 조명이, 다중 컬러 광원 및 그것만의 고유한 이미지 변조기를 사용하는 프로젝션 시스템에 의해 또는 무대 광 또는 나이트 클럽의 캔형 광을 닮은 프로젝션 광의 소정 유형에 의해 발생될 수도 있다.
도 7은 DIP(210) 및 DOP(230) 프로세싱 모듈과 관련하여 설명된 것처럼 전반적인 동작을 수행하기 위한 SOC의 다른 실시예(710)를 나타낸다. RAM(740)은 버퍼 메모리(308 및 424) 뿐만 아니라 DIP(210) 및 DOP(230)의 프로세싱 모듈 각각과 연관된 메모리 버퍼와 유사한 저장 공간을 제공할 수 있다. 또한, 도 7은, 메인 시스템 프로세서를 포함할 수도 있고 다양한 디지털 네트워크로의 접속 관리를 포함하는 다른 호스트 서비스를 제공할 수도 있는 호스트 시스템(770)을 나타낸다. 호스트 시스템(770)의 프로세서를 SOC(710)쪽으로 통합하는 것 뿐만 아니라 SOC(710)내에 도시된 기능 블록 중 일부를 포함하지 않는 것을 포함하는, 시스템을 분할하기 위한 많은 방법이 존재한다. 바람직한 일 실시예에서는, 3D 그래픽을 위해 통상적으로 사용되는 그래픽 제어기가 디스플레이 와핑 및 이미지 필터링을 위해 기하학적 변환 및 텍스처 매핑을 수행하는데 사용된다.
도 7의 시스템은 SOC(710)를 호스트 시스템(770)에 접속시키는 메인 시스템 버스(706)를 포함한다. (도시되어 있지 않은) 다른 시스템에서, 호스트 시스템은 SOC(710)의 통합 부분일 수도 있다. 시스템 인터페이스(732)는 다양한 프로세싱 소자와 메인 시스템 버스(706) 사이의 통신을 관리한다. 압축 이미지 데이터는 메인 시스템 버스(706)를 통해서나 로컬 I/O 제어기(708)에 의해 관리되는 로컬 I/O 버스(730)를 통해 전달될 수도 있다. 로컬 I/O 버스(730)는 다양한 다른 아날로그 비디오 접속(S-비디오, 복합 비디오, 컴포넌트 비디오), 아날로그 디코더 칩으로의 접속("CCIR-656", DVO, 또는 SDVO), 또는 미압축 디지털 데이터의 소스로의 접속(SDVO, DVI, HDMI, LVDS, PixelPort)을 포함할 수도 있다. 로컬 I/O 버스(730)는, 디스플레이 데이터의 프로세싱에 사용되는 측정치를 제공하는 다양한 광 및 환경 센서로부터의 입력을 포함할 수도 있다.
또한, SOC(710)를 위한 완전한 서브시스템(700)은 메모리 버스(762)를 통해 SOC(710)에 접속하는 RAM(740)을 포함한다. SOC(710)는 다양한 온칩 메모리 서브시스템을 포함할 수도 있지만, 통상적으로는, 외부 RAM(740)도 포함하는 것이 가장 비용 효과적이다. 메모리 버스(762)는, 직접적으로나 내부 버스(760)를 통해 내부 프로세싱 모듈로의 접속을 가질 수도 있는 메모리 인터페이스(734)에 의해 제어된다. RAM(740)은 테셀레이션 맵 데이터, 입력 이미지 데이터, 프로세싱된 이미지 서브밴드, 프로세싱된 이미지 수퍼밴드, 프레임 출력을 구성하는 디스플레이 표면, 그리고 다양한 다른 중간, 임시, 및 과거 데이터의 저장에 사용될 수도 있다.
출력 프로세서(750)는 이미지 변조기 및 어쩌면 (도시되어 있지 않은) 다른 일 유형의 디스플레이 출력에게로 직접적으로 인터페이스하기 위한 출력 버스(754, 756, 및 758)를 가진다. 출력(754 및 756)은 이미지 변조기 또는 한 세트의 이미지 변조기를 완전하게 제어하기 위한 적당한 구성을 가질 것이고, 출력(758)은 임의의 필요한 광원 제어를 포함한다. 출력(754)은, 하나 이상의 표준 HDMI, PixelPort, 컴포넌트 비디오, 또는 다른 비디오 디바이스에 의한 사용을 위한 다른 유형의 신호를 출력하는 "Monitor Out" 역량일 수도 있다. 그러한 경우, Monitor Out은, 다양한 이미지 품질 향상을 포함할 수도 있는 표준 비디오 출력을 제공해야 하지만, 비표준 출력에 기여할 특정한 와핑 또는 이미지 변조 기술 중 어떤 것도 포함하지 않을 것이다. 디스플레이 출력(756)은 RPTV 시스템 또는 FPD 시스템을 위해 특징적인 프로세싱 단계의 상이한 세트를 포함할 수도 있는 디스플레이의 제2 유형을 위해 사용될 수 있다. RPTV의 경우, 출력 프로세서(750)는 DLP(Digital Light Projector) 또는 LCOS(Liquid Crystal On Silicon) 마이크로디스플레이에 기초해 이미지 변조기 서브시스템을 제어할 수도 있다. 마이크로디스플레이 서브시스템을 위한 출력(756)은 RPTV의 메인 디스플레이를 위한 와핑 및 프로세싱 단계 전부를 포함할 것이다. 시스템 의 다른 유형은 출력(754) 및 출력(756)의 양자를 이용해 특수한 3D, 곡선형, 또는 다중 표면 디스플레이 디바이스를 제어할 수 있다.
또한, 출력 프로세서(750)는 이미지 변조기로의 출력(756)을 통해 그리고 광원 제어를 위한 출력(758)을 통해 특수한 FPD 역량도 제어할 수 있다. 도 4의 SGP(408), TGP(412), RSR(414), 및 MLC(420)와 관련하여 설명된 것과 같은, 이미지 변조 기술 및 광원 제어 또한 출력 프로세서(750)에 의해 수행될 수 있다. 앞서 설명된 컬러 향상 기술도 수행될 수 있는데, 이 경우, 이미지 변조기 및 광원 양자는 디스플레이 이미지를 향상시키도록 제어된다. 색역 및 동적 범위를 전통적인 컬러 값 너머로 확장하는 HDR 디스플레이를 지원하기 위한 향상도 포함될 수 있다.
SOC(710)는 이미지 재구성 프로세서(724)와 출력 프로세서(750) 사이의 밀접한 통신을 가능하게 하므로, 압축된 도메인 입력 데이터에 기초한 추가 프로세싱도 디스플레이 출력을 향상시키는데 이용될 수 있다. 그러한 추가 프로세싱은 웨이블릿 입력 데이터, 시간 데이터를 위한 모션 벡터, 또는 압축 데이터의 오차 항목에 기초할 수도 있다. 적응적 추가 알고리즘이 포함되어 다양한 디스플레이 영역내의 동적 범위를 향상시킬 수도 있고, 모션 모상을 이용할 수도 있다. 정확한 컬러 표 현을 위한 기업의 다른 노력을 위한 지원 및 Microsoft 및 HP의 RealColor 디지털 컬러 제어로서의 그러한 노력은, 그러한 노력을 위한 원래의 지원을 포함하는 특정한 디스플레이 디바이스를 갖추거나 갖추지 않은 제어 시스템내에 제공될 수 있다.
비디오 프로세서(764)는, 디인터리빙, 이미지 프로세싱, YUV에서 RGB로의 컬러 공간 변환, 색역 향상, 동적 범위 향상, 및 다른 관련 동작을 포함할 수도 있는 비디오 데이터와 연관된 다양한 프로세싱 단계를 수행할 수 있다. 비디오 프로세서(764)는 서브밴드를 분해하여, 스케일링되고 필터링된 이미지 데이터를 발생시킬 수도 있고, 이미지 재구성 프로세서(724)를 갖추지 않은 시스템에서는, 이미지 수퍼밴드를 발생시킬 수도 있다. 마찬가지로, 전용 비디오 CODEC(726)의 부재시에 또는, 그렇지 않다면, 지원되지 않는 CODEC 포맷의 경우, 비디오 프로세서(764)는 비디오 데이터를 압축 해제하고 압축하는 단계를 수행할 수 있다. 도 7의 다른 프로세싱 블록에서와 같이, 비디오 프로세서(764)는 라인 버퍼 또는 메모리 캐시를 포함할 수도 있다. 이미지 수퍼밴드 또는 향상된 다른 디스플레이 이미지는 디스플레이 출력 프로세서(750)에 의해, 색역 및 동적 범위를 최선으로 확장하여, 그렇지 않다면, 이미지 변조기가 지원할 수 있을 해상도보다 훨씬 높은 해상도의 지각 작용으로써 이미지를 묘사하는 방법을 판정하는데 사용될 수도 있다. 그러한 프로세싱의 사용은, HDR을 높은 해상도로서 지각하도록 눈속임될 수 있는 사람 눈과 두뇌의 신경 프로세싱을 활용한다.
비디오 CODEC(726)은, 비디오 비트스트림 데이터의 압축 해제, 압축, 트랜스코딩, 및 트랜스레이팅(transrating)이라는 좀더 전용적인 기능을 수행하는 기능 블록이다. MPEG-2 또는 MPEG-4를 바탕으로 설계된 것과 같은, 표준 기반 시스템의 경우, 전용 비디오 CODEC(726)을 포함하는 것이 대체로 가장 효율적이다. 트랜스코딩 및 트랜스레이팅은 통상적으로 비디오 CODEC(726) 또는 비디오 프로세서(764)내에서 수행되겠지만, 완전히 디코딩한 다음 인코딩하는 단계 또한, 시스템내의 다른 기능 블록에 의해 수행되는, 디코딩된 프레임에 대한 동작을 포함할 수도 있다. 예를 들어, 2D 엔진(720)은 메뉴 시스템을 디코딩된 MPEG 스트림상에 오버레이하는 동작을 수행할 수도 있는데, 그 다음, 이것은 리인코딩되어 MPEG 비디오를 메뉴 시스템 정보와 함께 조합한다. 다른 실시예에서, 트랜스코딩 및 트랜스레이팅은 압축된 이미지 도메인의 데이터로써 비디오 CODEC(726) 또는 비디오 프로세서(764)에 의해 수행될 수 있는데, 이 경우, 비트스트림이 상이한 비트 속도, 상이한 해상도, 상이한 프레임 속도, 또는 3가지의 상이한 조합에서 기록되기 위해, 완전히 디코딩될 필요는 없다.
이미지 재구성 프로세서(IRP;Image Reconstruction Processor;724)는 상이한 비디오 입력을 위해 이미지 품질, 해상도, 색역, 또는 동적 범위를 향상시키는데 사용된다. IR(318)에서와 같이, 이러한 SOC(710)는, 비디오 시퀀스로부터 단지 고해상도 스틸 이미지를 발생시키는데는 수퍼 해상도 기술을 사용하지만 이미지 서브밴드 또는 이미지 수퍼밴드를 포함하는 실시간 비디오 출력 이미지를 발생시키는데는 사용하지 않는 종래 기술 시스템에 비해 유리하다. IRP(724)의 다중 프레임 해상도 향상 기술은, 입력 데이터의 좀더 높은, 통상적으로 2배 해상도로써 입력 이미지를 표현하는 이미지 수퍼밴드를 발생시키는데도 사용될 수 있다. 본 발명에 의해 사용되는 수퍼해상도 기술은 프레임 사이의 데이터에 대한 높은 상관에 의존하고, 비디오 이미지 시퀀스에서의 오브젝트 이동에 기초하는 것이 통상적인 입력 이미지의 서브픽셀 시프트를 요구한다. IRP 724는, 출력 프레임을 재구성하기 위한 이미지의 상관시에, IRP(724)내의 모션 예측기에 의해 또는 입력 비트스트림에 포함된 모션 벡터를 프로세싱하는 것에 의해 제공되는 모션 벡터를 사용한다.
SOC(710)에서, 이미지 수퍼밴드는 이미지 서브밴드와 함께, 다른 다중 레벨 텍스처링 모드에서와 같이, 3D GPU(752)에 의해 직접적으로 사용될 수 있다. 수퍼밴드는 출력 프로세서(750)에 의해 소정 출력 이미지를 판정하는데도 사용될 수 있는데, 그 다음, 소정 출력 이미지는 다양한 색역 확장, HRD, 그리고 이미지 변조기 및 광원을 제어하기 위한 고급 변조 기술을 사용해 발생될 수도 있다. 데이터의 서브밴드 중 하나는 출력 프로세서(750)에 의해, LED를 위한 광 제어를 발생시키도록 필터링되는 소스 데이터로서 사용될 수도 있다. LED 어레이의 해상도는 통상적으로 서브밴드의 해상도보다 낮으므로, LED 레벨을 판정하기 위해 추가 필터링이 필요할 수도 있다.
MPEG-2 및 MPEG-4와 같은, 압축 비트 스트림으로서 제공되는 이미지를 위해, IRP(724)는 비트스트림내의 모션 정보에 적응적으로 기초해 잡음 감소 필터링 및 컬러 향상을 수행할 수도 있다. MPEG을 재호출하는 것은 예측 기술을 사용해 (모션 예측이라고 하는) 모션 벡터 및 오차 항목(매크로블록 컨텐츠 차이)을 발생시키는 기준 매크로블록에 관하여 매크로블록을 코딩한다. 압축의 특징에 의해, 원래 이미지로부터의 정보 중 일부는 예측 인코딩 동안 소실된다. IRP(724)에 의한 모 션 블록 및 오차 항목의 점검은 모션 정보 뿐만 아니라 얼마나 많은 컬러 정보가 소실되었는지에 대한 지시자인 얼마나 많은 양자화가 수행되었지에 대한 이해를 가능하게 한다.
사람의 시각 시스템이 휘도, 컬러, 이미지, 및 모션의 조합을 지각하는 방법에 대한 이해는, IRP(724) 기능이 이미지를 최선으로 복구하고 향상시킬 수 있게 한다. 예를 들어, 이동중인 이미지에서, 눈은 컬러에 덜 민감하므로, 컬러 향상은 덜 중요하다. 모션이 적은 경우에는, 이미지의 순도 및 색조를 향상시키는 것이 좀더 바람직스러울 수 있다. 좀더 많은 양자화가 존재하는 경우라면, 더 많은 컬러 정보가 소실되었을 것이고, 그러한 블록에서의 컬러를 위한 색조 및 순도는 범위 확장을 통해 추가적으로 향상되어야 한다. 추가적으로, 출력에서 좀더 높은 동적 범위를 사용하는 것은 좀더 높은 해상도를 지각하는 것으로 눈속임할 수 있다. 일반적으로, 그러한 알고리즘은 향상을 적응적으로 변화시킬 것인데, 이 경우, 동일한 이미지의 블록 사이에서 또는 이미지 시퀀스내의 블록을 위한 갑작스러운 변화로부터 초래될 아티팩트를 방지하기 위한 특별한 주의가 취해진다.
2D 엔진(720)이 비트-블라이트(bit-blit;비트 블록 전송), 컬러 확장, 및 라인 드로잉과 같은 기본적인 그래픽 데이터 동작을 수행하는데 사용될 수도 있지만, 3D GPU(752)는 기하학적 변환(404)에 의한 다른 실시예에서 수행되는 동작을 포함하는 좀더 계산 집약적인 3D 와핑 동작을 수행한다. 일부 시스템에서는, 2D 엔진(720)이 스케일링, 스트레치 블라이트, 컬러 변환 블라이트, 및 다중 비디오 윈도우를 위해 특히 유용한 다른 윈도잉 동작 중 일부를 수행하도록 설계될 수 있다. 3D GPU(752)는 프로그램 가능한 범용 엔진, 전용 하드웨어 블록, 또는 프로그램 가능한 하드와이어드 기능의 소정 조합을 포함할 수도 있다. 일반적으로, 3D GPU(752)는, 공간 변환(502), 정렬/회전 정정(506), 초점 정정(508), 왜곡 정정(510), 리샘플링(512), 다중 프레임 상관(514), 및 컬러 진폭 정정(516)에 관하여 설명된 그러한 동작을 포함할 수도 있는 다양한 하드와이어드 및 소프트웨어 구동 기능을 사용해 기하학적 변환(404) 프로세싱 블록의 기능을 수행한다. GPU에서 이러한 동작을 수행함에 있어서, 기능 중 일부는 단일 또는 다중 패스 GPU 기능과 조합될 수도 있다. 또한, 3D GPU(752)는 다중 패스 동작의 후속 스테이지의 일부로서 후행 변환 필터링을 수행할 수도 있다.
통상적인 대화형 3D 애플리케이션에서, 3D GPU(752)는 상이한 삼각형 메시에 대해 매 프레임만큼 빈번하게 동작할 것이 요구되는데, 이 경우, 테셀레이션 알고리즘은 화면에서의 오브젝트 이동에 기초해 또는 시청자 이동에 기초해 계속적으로 업데이트된다. 프로젝션 TV 시스템에서는, TV의 시청자, 스크린, 및 프로젝션 경로는 비교적 고정적이므로, 통상적으로, 와핑을 위한 삼각형 메시가 매 프레임 기반으로 달라지지는 않는다. 그러나, 3D GPU(752)내의 와핑 하드웨어에 대한 제한을 이해하는 것에 의해 그리고 이미지 데이터의 실시간 분석을 수행하는 것에 의해, 테셀레이션에 대한 소정 조정이 실시간으로 이루어져 이미지를 개선할 수 있다. 이러한 조정은, 고주파수 이미지 세부 사항을 가진 이미지의 영역을 위해서는 메시 세분성이 증가될 수 있도록 하기 위해, 이미지 컨텐츠의 분석에 기초해 삼각형 사이즈를 증가시키거나 감소시키도록 이루어진다.
대화형 3D 애플리케이션내에서의 통상적인 다른 동작은, 때때로 밉매핑이라고 하는, MIP 매핑이다. MIP은, 다수의 작은 공간을 의미하는 라틴어 "multum in parvo"로부터 유래한다. 텍스처 매핑과 함께 사용되어, MIP 매핑은 단일 텍스처 맵의 상이한 해상도에서의 다중 이미지를 시청 거리에 기초한 표면 텍스처를 표현하는데 사용한다. 이미지의 해상도 각각을 MIP 맵 레벨이라고 한다. 이중 선형 텍스처 매핑 모드가 단일 MIP 맵 레벨을 사용하는 반면, 삼중 선형 텍스처 매핑은 하나 이상의 MIP 맵 레벨을 사용한다. 비등방성 필터링 모드는 이중 선형이거나 삼중 선형일 수 있는데, 이 경우, 삼중 선형이 통상적으로 좀더 양호한 결과를 발생시킬 것이다. 통상적인 3D 시스템에서, MIP 맵 레벨은 일반적으로 후속 레벨 해상도의 2배이다. 이것은 대화형 3D에 의해 요구되는 시청 각도 및 거리의 범위를 완전하게 수용하기 위한 것이다.
SOC(710)는 프로세싱된 비디오 이미지 데이터를 MIP 맵 레벨을 위해 이용한다. 상술된 바와 같은 이미지 서브밴딩을 통해 그리고 이미지 수퍼밴딩을 통해 다양한 레벨이 발생될 수 있다. 프로젝션 시스템의 와핑은, 3D GPU(752)에 의해 보상되어야 하는 효과적인 왜곡을 지시한다. 와핑의 최대량은 대화형 3D 시스템과 연관된 시청 각도의 완전한 범위에 훨씬 못 미칠 것이다. 이러한 좀더 제한적인 와핑 때문에, 프로세싱된 비디오 MIP 맵 레벨을 위해 2배 해상도 단계를 사용하는 것은 잘못된 선택일 수도 있는데, 2개 레벨 사이의 확산이 그렇게 높을 필요는 없을 것이기 때문이다. 따라서, 비디오 MIP 맵 레벨이 사이즈에 있어서 상당히 근접하다면, 좀더 고품질 출력 이미지를 발생시킬 수도 있다.
통상적인 MIP 매핑에 관련된 쟁점은, 다른 방향에서보다 일 방향에서 좀더 많이 압착되는 삼각형을 위해서는 텍스처가 번져 보일 수도 있다는 것이다. 이를 극복하기 위해, 다양한 비등방성 풋프린트 어셈블리 기술(anisotropic footprint assembly techniques)이 사용될 수 있다. 이러한 풋프린트 어셈블리 기술은 타원 필터를 근사할 수 있고, 다중 텍스처 룩업 또는 다른 다중 패스 기술을 사용할 수도 있다. 또한, 일부 기술은, 그렇지 않다면 선택될 MIP 맵 레벨을 바이어스하는 능력을 수반할 수 있다. 다른 풋프린트 어셈블리 기술은, 입력 비디오 이미지의 단일 레벨 또는 고해상도로 수퍼해상도 향상된 입력 이미지의 버전과 같은, 단일 레벨 텍스처를 사용할 수도 있고 그러한 하나의 이미지 계층으로부터 출력 픽셀을 계산할 수도 있다. 문제가 되는 삼각형 텍스처링 쟁점을 좀더 양호하게 감소시키기 위해, 비등방성 필터링 기술의 세부 사항 및 제한이 테셀레이션 알고리즘에서 고려된다.
3D GPU(752)에 의해 수행되는 다른 프로세스는 모듈(516)에서와 같이 디스플레이 전체에 걸쳐 컬러 강도의 불균일성을 정정하기 위한 컬러 진폭 정정이다. 3D GPU(752) 기반 시스템의 경우, 이 동작은 3D 화면에 대해 광원을 제공하는 통상적인 3D 동작과 대략적으로 동일하다. SOC(710)에서, 컬러 진폭 정정 정보는 테셀레이션 맵 발생의 일부로서 포함되는데, 이 경우, 삼각형의 꼭지점 각각은 컬러 컴포넌트 각각을 위한 컬러 조정 값에 할당된다. 그 다음, 이러한 컬러 조정 값은 3D GPU(752)에 의해 각 픽셀에서의 컬러 컴포넌트 각각의 밝기를 보상하는데 사용된다. 이것은 통상적으로, 매 컬러 컴포넌트당 꼭지점 정보를 사용해 소정 유형의 보간을 수행함으로써 꼭지점 사이의 컬러 컴포넌트 각각을 위한 컬러 값을 판정하는 것에 의해 수행될 것이다.
또한, 3D GPU(752)가 고급 2D 동작에도 사용될 수 있는데, 이 경우, 4:3의 가로세로비에서 16:9로 컨텐츠의 비선형 변환을 수행하기 위한 아나모픽(포물선) 스케일링 및 영역 기반 아나모픽 스케일링을 포함하는 좀더 복잡한 포맷 및 가로세로비 변환 기술이 바람직스럽다. 변환은 4:3 컨텐츠를 상이한 구역으로서 취급할 수 있는데, 이 경우, 중앙 구역은 선형으로 스케일링되고, 왼쪽 및 오른쪽 구역은 이미지가 스크린 에지에 근접해짐에 따라 스케일 팩터를 증가시키는 아나모픽 스케일링을 사용해 스케일링된다. 중앙 시청 영역이 최적 스케일링 왜곡을 가질 것이고, 어쩌면 화면 정보의 대부분은 주로 이미지의 중앙에 유지되므로, 이 기술은 유용하다. 스케일링의 이 유형은 별도 동작으로서나 테셀레이션 매핑을 사용하는 전반적인 기하학적 변환의 일부로서 수행될 수도 있다. 테셀레이션 매핑과 조합하는 경우에, 왼쪽 및 오른쪽 구역에서의 삼각형은 프로젝션 왜곡을 정정할 뿐만 아니라 비선형 스케일링을 포함하도록 형성된다.
LED 백라이팅을 이용하는 시스템의 경우, 디스플레이 위치를 위한 밝기 정보는 꼭지점 기반 삼각형의 형태로나 매 픽셀 기반 조명 맵의 형태로 저장될 수도 있다. 3D GPU(752)는 LED 조명 정보를 이용하고 LED의 분포, LED 위치에 관련된 픽셀의 밝기, LED로부터의 센서 피드백 정보, 또는 이용 가능한 어떠한 다른 매핑 정보에 기초해 이미지 프레임을 프로세싱함으로써 디스플레이의 불균일성을 보상할 수도 있다.
SOC(710) 동작의 일부로서, 비디오 프레임이 그래픽 프레임과 조합되는 것이 필요할 수도 있는데, 이 경우, 그래픽 프레임은 디지털 또는 네트워크 인터페이스 중 하나를 통해 시스템에게로 입력될 수 있거나 2D 엔진(720)에 의해 그래픽 프레임이 내부적으로 발생될 수도 있다. 그러한 구성의 일례는, 압축 비디오 입력 스트림이 OCAP(Open Cable Application Platform) 기반 그래픽 정보와 함께 1394 포맷 접속을 통해 제공되는 경우이다. 그러한 경우, SOC(710)는, 비디오 프레임 및 OCAP 기반 그래픽이 디스플레이를 위해 조합된다는 것을 보장해야 한다. 비디오가 그래픽 데이터로부터 시스템에게로 독립적으로 입력되는 다수의 다른 시스템 구성이 지원된다.
그래픽 프레임이 내부적으로 발생되는지 아니면 외부 소스로부터 제공되는지의 여부와 상관없이, 그래픽 프레임은, 출력 이미지가 정확하게 디스플레이된다는 것을 보장하기 위해, 사전 보상 프로세싱을 요구할 것이다. 이것은 비디오 이미지와 관련하여 수행될 수 있거나, 비디오 이미지로부터 독립적으로 수행된 다음 조합될 수도 있다. 그래픽과 비디오를 조합하는 간단한 경우로서, 마스킹 또는 오버레이 동작이 수행될 수도 있는데, 이 경우, 각각의 픽셀 기반으로, 비디오나 그래픽 정보가 디스플레이된다. 그래픽을 비디오와 오버레이하는 좀더 정교한 접근 방법은 투명성의 상이한 레벨을 사용한다. 각각의 픽셀이 서브픽셀로 분할되는, 수퍼샘플링 및 다중 샘플링 기술이 그래픽 이미지를 발생시키는데 사용되어 안티-에일리어싱을 구현한다. 그래픽 이미지가 안티-에일리어싱을 위해 독립적으로 프로세싱되어, 엇갈림된 에지를 방지하는 경우라 하더라도, 그래픽과 비디오의 조합 효과 는, 그래픽과 비디오 픽셀이 만나는 곳에서 여전히 바람직스럽지 못한 비주얼 아티팩트를 가질 수도 있다. 비디오와 그래픽 프레임을 조합하기 위한 개선된 방법은, 3D GPU(752)가, 텍스처 투명성 모드와 조합될 수도 있는 안티-에일리어싱을 수행하여, 조합된 비디오와 그래픽 이미지의 전반적인 외관을 개선하는 것이다. 안티-에일리어싱 기술의 기능은 에지에서 비디오와 그래픽 이미지 데이터를 조합하여, 조합된 이미지를 위해 좀더 자연스러운 외관을 발생시키는 것이다.
3D GPU(752)는 이용되는 입력 텍스처 샘플의 수에도 그리고 입력 샘플 및 중간 결과의 양자에 대해 수행되는 동작의 수에도 의존한다. 텍스처 샘플링을 최선으로 지원하기 위해, 3D GPU는 입력 텍스처 샘플 및 프로세싱된 중간 결과를 국지적으로 저장하기 위한 다양한 버퍼 및 캐시를 포함할 수도 있다.
도 8은, 장치의 일 실시예를 위한, 입력으로부터 이미지 변조 및 광원 시퀀싱으로의 디스플레이 경로를 예시하는 흐름도이다. 초기 디스플레이 설정을 포함하는 디스플레이 구성 경로 뿐만 아니라 구성을 조정하기 위한 피드백 경로도 도시된다. 디스플레이 설정 단계 808은 디스플레이의 설계 및 테스트, 사용자 설정, 및 센서로부터의 피드백을 이용해 디스플레이를 특징짓는다. 특징지워진 데이터의 부분은, 플래시 메모리와 같은, 비휘발성 메모리에 저장되어 DOP(230) 프로세싱에 이용 가능할 수도 있다. 디스플레이 맵(402;DM)(도 4) 프로세싱 블록은, 필요할 경우, 평가 데이터의 업데이트를 조정한다. 평가 데이터의 일부 태양은 좀더 임시적이고, 플래시 메모리 및 임시 메모리의 컨텐츠를 DM(402)이 프로세싱하고 조합할 것을 요구할 수도 있는 임시 메모리에 저장된다. 도 8에 도시된 바와 같이, 디스 플레이 설정 단계 808은 센서 판독 단계 818 및 디스플레이 제어 단계 812의 양자로부터 피드백을 수신한다. 디스플레이 제어 출력 및 센서 판독치의 양자를 인지하는 것에 의해, DM(402)은 LED를 위한 밝기 및 파장의 실시간 응답을 상관지을 수 있다.
각각의 비디오 프레임을 위한 단계는 먼저 DIP(210) 및 DOP(230) 프로세싱 모듈과 관련하여 시작에서 출력까지 설명되지만, 개개 기능은 다른 CPU, DSP, GPU, 또는 SOC(710)의 구성과 같은 조합된 다른 구성에 의해서도 수행될 수 있다. 단계 804에서, DIP(210)는, 적용 가능한 경우, 바람직스럽기로는 소정 비디오 입력을 선택한다. 통상적으로, 입력의 사용자 선택에 기초해, 마이크로컨트롤러는 하나 이상의 입력 접속을 선택한다. 단계 806에서는, 접속과 연관된 비디오 입력 제어가 아날로그 입력 제어(302), 디지털 입력 제어(304), 및 압축 입력 제어(312)를 사용한다. 아날로그 입력 제어(302)는 모듈(304, 312, 및 318)에 의한 추가 프로세싱을 위해 디지털 도메인으로 변환함으로써 입력 이미지를 복구하고 향상시킨다. 각각의 프로세싱 모듈(304, 312, 및 318)은 바람직스럽기로는 이미지를 포맷하여 중간 결과를 버퍼(308)에 저장할 수도 있다.
단계 806에서는, 디지털 입력 제어 및 동기화 엔진(3040)을 통한 입력 프로세싱이 비압축 입력 비디오 스트림을 전기적으로 수신하는데 필요한 단계를 수행한다. 입력 스트림이 암호화를 통해 보호된다면, HDMI 입력에 의한 경우에서와 같이, 복호화 단계가 요구될 수도 있다. 압축 입력 제어(312)는, 비트스트림 엔진(3125)을 통해, 압축된 입력 스트림을 분석하고, 분석 및 프로세싱을 위한 하나 이상의 픽처 스트림을 선택한다. 품질 픽처 디스플레이의 경우, 비트스트림 엔진(3125)은 IR(318)에 의한 사용을 위해 비트스트림으로부터의 모션 정보를 기록한다. 압축 해제 엔진(3120)은 바람직스럽기로는 MPEG-2, MPEG-4, 또는 다른 압축 해제 단계를 사용해 압축 비트스트림을 압축 해제되고 디코딩된 픽처로 변환한다. 압축 해제 엔진(3120)은 고급 PIP 디스플레이 및 다중 카메라 시스템을 포함하는 다중 픽처 디스플레이를 위해 하나 이상의 압축 픽처 스트림을 동시에 압축 해제할 수 있다. 코딩된 정보의 기본 계층 및 향상 계층이 존재하는 계층적 코딩 정보를 포함하는 입력 데이터의 경우, 압축 해제 엔진(3120)은 IR(318)에 의한 사용을 위해 양자의 계층을 디코딩할 수 있다. 이미지 서브밴드를 사용해 인코딩된 비트스트림의 경우, 비트스트림 엔진(3125) 및 압축 해제 엔진(3120)은 서브밴드 정보를 보유하는 한편, 완전히 디코딩된 이미지 프레임도 제공한다.
이미지 재구성(318)은, 입력 프로세싱 단계 806의 일부로서, 각각의 이미지 프레임을 공간적으로 그리고 시간적으로 필터링하여 이미지를 재구성한다. 공간 필터링은 잡음 감소를 위한 다양한 기술을 포함하고, 그에 따라, 필터링된 이미지는 원래 이미지의 일부가 아니었던 아티팩트를 포함하지 않는다. 필터링은 바람직스럽기로는 데이터 값에 기초해 입력 이미지 전체에 걸쳐 적용된다. 그러나, 필터링은, 예를 들어, MPEG 데이터가 압축 해제 엔진(3120)에 의해 압축 해제되었던 경우, 비트스트림 엔진(3125)에 의해 제공되는 디코딩된 매크로블록의 공간 위치와 같은, 추가 정보를 사용할 수 있다. 이러한 위치 정보로 인해, 필터는, 이미지의 나머지 부분에 대해 좀더 전통적인 공간 필터링을 수행하는 동시에, 디코딩된 매크 로블록으로부터의 경계 에지에서의 아티팩트를 감소시키거나 제거할 수 있다. 매크로블록을 위한 오차 항목과 같은, 비트스트림 엔진(3125)으로부터의 다른 정보는 각각의 블록을 위해 얼마나 많은 양자화가 발생했는지를 지시한다. IR(318) 향상 단계는 이 정보를 잡음 감소 필터링 및 임의의 컬러 향상 프로세싱에 이용할 수 있다. 향상 프로세싱은 입력 이미지의 색역 및 동적 범위를 확장하는 것 뿐만 아니라 적합한 경우 해상도를 증가시키는 것을 포함할 수도 있다.
또한, 단계 806에서, IR(318)은 비트스트림 엔진(3125)으로부터의 정보를 사용하는 향상 필터링을 수행하여, 압축 아티팩트를 증폭하지 않으면서, 입력 이미지 세부 사항을 향상시킬 수 있다. 또한, IR(318)은, 다중 화면을 이용해 이미지를 필터링하고 오브젝트 모션 정보를 기록한 다음 수퍼해상도 다중 프레임 재구성을 수행하는 시간 분석을 수행한다. 입력 데이터의 유형 각각을 위해, 수퍼해상도 다중 프레임 재구성은 기본적인 입력 이미지보다 높은 해상도의 이미지 수퍼밴드를 생성하는데 사용될 수 있는데, 이 경우, 생성된 해상도는 통상적으로 원래 해상도의 2배이다. 이미지 데이터의 이러한 수퍼밴드는 압축 또는 미압축 입력 데이터로부터 생성될 수 있고, 이미지 서브밴드 데이터와 함께 다중 해상도의 이미지 매핑 역량을 제공하는데 사용된다.
최고 품질의 표현을 위해 재구성된 다양한 이미지 서브밴드 및 이미지 수퍼밴드는 포맷되어 DOP(230)에 이용 가능해질 수 있다. 원래 입력 이미지가 HDR 컨텐츠 또는 풀 해상도 컨텐츠를 포함하지 않았다 하더라도, DIP(210)는 입력을 향상시켜 이 정보를 생성할 수 있다. 새로운 입력 이미지를 복구하고 향상시키는 프로 세싱은, 시스템 모드가 변경되거나 중단될 때까지, 경로 830을 통해 계속된다. 시스템이 오프되면, 입력 프로세싱 단계 806는 끝(END)으로 진행한다. 동작 모드인 동안에는, DIP(210)의 동작으로부터의 출력이 DOP(230)에게로 제공된다.
단계 810에서, DOP(230)는 단계 808로부터의 디스플레이 맵(402) 정보와 함께 DIP(210) 출력을 이용해 디스플레이 출력 이미지 프로세싱을 수행한다. 프로젝션 시스템의 경우, 단계 810은 공간 변환(502), 정렬/회전 정정(506), 초점 정정(508), 왜곡 정정(510), 리샘플링(512), 다중 프레임 상관(514), 및 컬러 진폭 정정(516)의 모듈 기능을 포함하는 것이 수반되는 GT(404)의 기하학적 변환을 수행한다. 기하학적 변환은, 도 1B의 광원(102), 광원 광학계(108), 마이크로디스플레이 이미지 변조기(110), 및/또는 디스플레이 시스템 광학계(112)에 의해 도입될 수 있는 것과 같은, 디스플레이 환경에 관련된 디스플레이 결함을 개선한다. 또한, 기하학적 변환은 불균일한 광원, 두부탑재형(head-mounted), 파노라마식, 및 스테레오 디스플레이 시스템과 같은 특수한 환경을 정정하는 향상된 출력 이미지를 발생시킬 수 있다. GT(404)의 특수 필터링 기술은 텍스처 매핑 및 비등방성 필터링과 같은 전통적인 실시간 3D 그래픽 기술을 사용해 소정 이미지 조작을 실현할 수 있다.
또한, 단계 810은, 프로세싱 블록 SGP(408) 및 TGP(412)를 이용해, 양자의 디스플레이 변조기(110 및 130) 뿐만 아니라 광원(102 및 122)을 위한 디스플레이 출력 이미지 프로세싱을 수행한다. SGP(408)는, 프로세싱된 디스플레이 설정 단계 808와 조합된 입력 프로세싱 단계 806로부터의 입력 프로세싱된 디스플레이 프레임 을 이용해 각각의 입력 픽셀을 프로세싱함으로써, 그 픽셀을 위한 향상된 출력을 발생시킬 뿐만 아니라 그 픽셀 값을 위한 적당한 광원 기여를 판정한다. OLED 및 FED 기반 디스플레이의 경우, 각각의 픽셀 컬러 컴포넌트는 그것만의 고유한 광원을 변조기의 일부로서 포함할 수도 있고, 그에 따라, SGP(408)는 향상되고 조합된 서브픽셀 값을 발생시킨다. 디스플레이 출력 픽셀은 통상적으로 컬러 컴포넌트의 세 개 한 조(레드, 그린, 블루) 또는 다른 조합을 고려하므로, 각 픽셀을 위한 컬러 컴포넌트 각각을 서브픽셀이라고 할 수도 있다.
변조기 픽셀보다 좀더 적은 LED 광원을 갖춘 LED 백라이트 시스템의 경우, SGP(408)는 개개의 향상된 변조기 값 뿐만 아니라 다중 변조기 픽셀에 기초한 LED 값의 양자를 발생시킨다. TGP(412)는 SGP(408) 프로세싱과 조합하여, 프레임내에서 공간적으로 적합한 향상을 찾을 뿐만 아니라 하나 이상의 프레임에 걸쳐 조사하여 이미지 프로세싱을 시간적으로도 향상시킨다. 다중 프레임을 프로세싱하기 위한 SGP(408) 및 TGP(412)의 조화된 접근 방법은, 광원 및 이미지 변조기 픽셀을 위한 값이 이상적으로 판정될 수 있게 함으로써 이동중인 이미지를 위한 두드러진 이미지 품질이 실현될 수 있다.
입력 프로세싱 단계 806이 향상된 해상도 또는 향상된 동적 범위의 프로세싱된 이미지를 공급할 수 있을 때, 단계 810에서, SGP(408)는 좀더 향상된 출력을 발생시키는데 필요한 디스플레이 출력 이미지 프로세싱을 수행할 수 있다. HDR 컨텐츠에 대한 사람 눈의 특징적인 지각력을 이용하면, SGP(408)는 입력 데이터를 추가 프로세싱에 이용하여 광원의 향상된 밝기 값 및 이미지 변조기 픽셀을 위해 변경된 값을 발생시킬 수도 있다. 또한, DIP(210)는 메인 이미지보다는 낮은 해상도지만 광원의 수보다는 높은 해상도인 입력 이미지의 서브밴드를 제공할 수도 있는데, 이 경우, 서브밴드는 SGP(408)에 의해 추가적으로 필터링되고 프로세싱되어 프레임 각각을 위한 소정 광원 값을 발생시킨다. 다중 프레임의 소정 광원 값은 TGP(412)에 의해 전반적 디스플레이의 실시간 응답을 추가적으로 향상시키는데 이용된다. SGP(408) 및 TGP(412)의 출력은 단계 812를 위해 조합되어 실제 디스플레이 제어를 발생시킨다. 단계 812에서, MLC(420)는 SGP(408) 및 TGP(412)의 출력을 조합하여, 이미지 변조기의 시퀀싱 단계 814 및 광원 시퀀싱 단계 816을 위한 제어를 발생시킨다. 이동 가능 변조기를 이용하는 경우에, RSR(414) 출력 또한 MLC(420)에 의해 적합한 출력 디스플레이 제어를 발생시키는데 이용된다. 단계 814의 이미지 변조기 시퀀싱에서, FPD의 TCON(Timing Control)은 행과 열의 이미지 변조기 값을 물리적 변조기쪽으로 스캔한다. 단계 814와 동시에, 단계 816에서, LED 제어 회로(602-608)는 LED 또는 다른 광원에서의 변화를 시퀀싱하여 그 프레임을 위한 적합한 밝기를 설정한다. 광원 소자에 따라, 밝기는 제어 신호의 전압이나 전류를 변경하는 것에 의해 또는 제어 신호의 AM(Amplitude Modulation)이나 PWM(Pulse Width Modulation)을 통해 설정될 수도 있다. 광원의 밝기를 최선으로 제어하기 위해, AM과 PWM의 조합이 사용될 수도 있다. LED의 경우, 예를 들어, AM은 화이트 포인트를 설정하는데 사용될 수 있고, PWM은 실시간 제어에 사용될 수 있다.
광원 시퀀싱은 프레임내의 이미지 변조기 시퀀싱과 조합될 수도 있고, 그에 따라, 이미지 변조기 값이 업데이트되고 있는 스크린의 부분 또는 픽셀이 광원의 업데이트된 값과 정합한다. 광원 제어의 시간 기반 변화는 서브프레임 시간 레벨에서 추가적으로 최적화될 수 있다. 프레임 시간내에서 광원의 밝기를 변경하는 것에 의해, 광원은 이미지 변조기의 응답 시간을 보상하는데 사용될 수 있다. 예를 들어, 소정 픽셀을 위한 그린 값은 100에서 최대 255로 전이중이고 LCD 변조기 재료는 프레임 시간내에 최대값으로 변화할 수 없다면, 그린 LED는 프레임에서 좀더 빨리 높은 밝기 레벨로 구동된 다음, LCD 변조기 재료가 255 값으로 완전히 전이할 수 있을 때, 소정 밝기 레벨로 감소될 수 있다.
단계 818에서는, 시스템의 정규 동작 모드 동안 또는 테스트 및 구성 모드 동안 센서 판독이 수행될 수 있다. 단계 818은 도 6의 센서(632a-f) 및 그것의 개개 센서 회로(638) 뿐만 아니라 다른 광 센서, 환경 센서, 및 이미지 센서(카메라)를 이용해 디스플레이 설정 단계 808에서 사용하기 위한 정보를 DOP(230)에게로 피드백한다. 앞서 지적된 바와 같이, 디스플레이 설정 단계 808은, 피드백 경로(832)를 통해, 도 4의 센서 입력(426) 및, DM(402)이 출력 정보와 기록된 센서 판독을 상관지어 디스플레이 설정을 위해 어떠한 조정이 요구되는지를 판정할 수 있는 디스플레이 제어 단계 812로부터 입력을 수신한다. 일시적인 조정은 상이한 프로세싱 블록에 의해 동적으로 프로세싱될 수 있는 반면, 좀더 영구적인 조정은 통상적으로 DM(402)에 의해 프로세싱되어 디스플레이 맵을 위해 비휘발성 메모리에 기입될 것이다.
온도 센서와 같은, 소정 센서는, 광 출력에 대한 온도의 영향이 주지되어 있다면, 광원을 위한 MLC(420) 출력 제어에 좀더 직접적으로 영향을 미칠 수도 있다. 측정 온도에 기초해, PWM은 광원 중 하나 이상을 위해 증가될 수도 있다. 다중 컬러 광원의 경우, 광원 중 하나가 이미 최대값이라면, 나머지 광원은 전반적인 디스플레이를 위한 적당한 화이트 밸런스를 유지하기 위해 낮춰져야 할 수도 있다. 이것은 밝기를 희생시키지만, 부정확한 컬러 표현을 가진 디스플레이를 갖는 것보다는 훨씬 양호하다.
또한, 단계 818은, 디스플레이가 능동적으로 사용되고 있지 않을 때의 테스트 또는 캘리브레이션 모드 동안에도 이용될 수 있다. 캘리브레이션 모드에서, 디스플레이 설정 단계 808은 디스플레이 제어 단계 812에게 어떤 광원 출력 및 이미지를 발생시킬 것인지를 지시한다. 광원 캘리브레이션 절차는 각각의 광원 또는 광원의 조합을 위한 상이한 값을 통해 시퀀싱할 것이고, 적합한 센서를 이용해 밝기 및 파장을 기록할 것이다. 광원을 위한 응답 시간이 유사하게 측정될 수 있고, 이 경우, 센서는 프레임 시간 미만의 구간에서 밝기 및 파장을 샘플링한다. 상이한 출력 값 사이의 전이 시간이 측정되고 기록될 수 있다. 센서에 배치에 따라, 캘리브레이션 동안, 이미지 변조기는 오프되어 광원을 최선으로 차단할 수 있고, DOP(230)는 광원 캘리브레이션 절차를 통해 진행할 수 있다.
마찬가지로, 단계 818에서, DOP(230)는 디지털 카메라와 같은 센서를 사용해 이미지 변조기를 캘리브레이션할 수도 있다. 그러한 카메라는 FPD 시스템 외부에 위치해야 할 것 같지만, 카메라는 프로젝션 디스플레이 시스템의 외부에 위치하거나 프로젝션 디스플레이 시스템내에 내장될 수 있다. 변조기 캘리브레이션 절차에서는, 다양한 이미지가 스크린에 디스플레이되고, 그 동안, 디지털 카메라는 그러 한 이미지의 묘사를 캡처한다. 캡처된 이미지는 분석되어 예상 값과 비교되고, DOP(230)에 대한 다양한 조정이 이루어질 수 있다. 프로젝션 시스템의 경우, 도 4를 참조하여 설명된 바와 같이, 직접적이거나 DM(402)을 통한 기하학적 변환(404) 조정이 필요할 수도 있다. 적외선 스펙트럼에서의 그것과 같은, 다른 비가시적 출력 및 캡처 기술이 시스템에 의해 광원이나 이미지를 캘리브레이션하는데 사용될 수도 있다. 이러한 캘리브레이션 절차는 광원 디스플레이 매핑 및 이미지 매핑 정보를 판정하는데 사용될 것이고, 비휘발성 메모리 또는 동적 메모리에 저장될 수 있다. 값은 다양한 방법으로 저장될 수 있고, 요구되는 저장 공간의 양을 절감하기 위해, 여러 가지 상이한 종래 기술 수단을 통해 압축될 수 있다.
본 발명은 수개 실시예를 참조하여 설명되었다. 당업자라면, 이 설명서에 비추어 다른 실시예가 명백할 것이다. 예를 들어, DOP(230)는 하드웨어, 소프트웨어, 고정된 기능의 소정 조합, 구성 가능 로직, 또는 프로그램 가능 하드웨어를 포함하는 다양한 구성으로 구현될 수 있다. 첨부된 청구항에 의해서만 한정되는 본 발명에 의해, 바람직한 실시예에 대한 이들 및 다른 변형이 예상된다.

Claims (15)

  1. 디스플레이로서,
    상기 디스플레이의 다중 위치에서 광원의 밝기를 동적으로 변경하기 위한 복수의 광원 제어를 포함하는 하나 이상의 광원 변조기;
    개별적으로 제어 가능한 픽셀의 어레이를 포함하는 디스플레이 변조기;
    상기 광원 변조기로부터의 밝기를 측정한 측정치를 판독하는 것을 피드백하고 상기 측정치를 저장하는 하나 이상의 센서;
    상기 복수의 광원 제어 및 상기 디스플레이 변조기의 양자에 접속된 제어기로서, 입력 데이터 스트림을 수신하고, 상기 입력 데이터 스트림의 값 및 상기 센서로부터의 저장된 측정치의 양자에 기초하여, 상기 위치들 중 상이한 위치에서 상기 광원의 밝기에 대한 값 및 상기 디스플레이 변조기의 픽셀 어레이에 대한 값을 동적으로 판정하고 제어하는 제어기
    를 포함하는 디스플레이.
  2. 제1항에 있어서,
    상기 광원은 복수의 상이한 광 파장을 제공하고, 상기 센서는 밝기 및 파장의 양자의 측정치를 피드백하는 디스플레이.
  3. 제1항에 있어서,
    밝기를 제어하기 위한 상기 복수의 광원 제어는 상기 픽셀 어레이의 해상도보다 낮은 세분성(granularity)을 갖는 디스플레이.
  4. 제1항에 있어서,
    각각의 개별적으로 제어 가능한 픽셀은 상이한 파장의 서브픽셀들을 포함하고, 각각의 서브픽셀의 밝기는 개별적으로 변조되는 디스플레이.
  5. 제4항에 있어서,
    각각의 상기 서브픽셀은 추가적인 로컬 광원을 갖는 디스플레이.
  6. 제1항에 있어서,
    상기 제어기는, 상기 광원 변조기 및 상기 디스플레이 변조기를 시간적으로 제어하여 상기 디스플레이 상에서 정확하게 모션을 묘사하기 위해, 선행 디스플레이 데이터의 하나 이상의 프레임을 이용하는 디스플레이.
  7. 디스플레이 제어기로서,
    디스플레이 전체에 걸쳐 밝기를 변경할 수 있는 하나 이상의 광원 변조기에 대한 제어;
    디스플레이 변조기의 픽셀 어레이의 개개의 픽셀에 대한 제어;
    센서 판독으로부터 피드백된 데이터를 수신하기 위한 하나 이상의 입력;
    실시간 디스플레이 데이터를 수신하기 위한 하나 이상의 입력; 및
    상기 실시간 디스플레이 데이터 및 센서 판독으로부터 저장된 데이터의 저지연 프로세싱을 수행함으로써 상기 광원 변조기 및 상기 디스플레이 변조기의 픽셀을 실시간으로 제어하여 고품질 디스플레이를 생성하기 위한 프로세싱 모듈들
    을 포함하는 디스플레이 제어기.
  8. 제7항에 있어서,
    상기 광원 변조기에 대한 제어는 상이한 광 파장에 대한 개개의 제어를 포함하고 상기 디스플레이 변조기의 픽셀 어레이보다 낮은 해상도를 가진 광원을 포함하는 디스플레이 제어기.
  9. 제7항에 있어서,
    상기 픽셀 어레이에 대한 제어는,
    픽셀의 풀 해상도를 위한 서브픽셀 밝기 제어; 및
    상기 픽셀 어레이보다 낮은 해상도를 가진 광원에 대한 밝기 제어를 포함하는 디스플레이 제어기.
  10. 제7항에 있어서,
    상기 프로세싱 모듈들은 상기 광원 변조기 및 상기 개개의 픽셀의 시간 제어를 수행하여 아주 높은 품질로 모션을 묘사하기 위해, 선행 디스플레이 데이터의 하나 이상의 프레임을 이용하는 디스플레이 제어기.
  11. 제7항에 있어서,
    상기 실시간 데이터의 입력은 상기 광원 변조기 및 개개의 픽셀에 대한 제어를 발생시켜 출력 이미지의 동적 범위를 증가시키는 상기 프로세싱 모듈들 중 하나에 의해 향상되고 이용되는 디스플레이 제어기.
  12. 제7항에 있어서,
    수신된 실시간 디스플레이 데이터는 상기 광원 변조기 및 개개의 픽셀에 대한 제어를 발생시켜 출력 이미지의 색역을 증가시키는 상기 프로세싱 모듈들 중 하나에 의해 향상되고 이용되는 디스플레이 제어기.
  13. 제7항에 있어서,
    실시간 디스플레이 데이터에 대한 상기 프로세싱 모듈들은 상기 디스플레이 주위의 주변 조명을 동적으로 조정하기 위한 제어를 발생시키는 디스플레이 제어기.
  14. 높은 이미지 품질, 높은 색역, 및 높은 동적 범위를 가진 이미지를 디스플레이하기 위한 방법으로서,
    실시간 디스플레이 데이터 스트림을 프로세싱하는 단계;
    상기 디스플레이 데이터 스트림의, 공간 프로세싱을 포함하는, 센서 피드백 프로세싱에 의해 판정된 디스플레이 구성 파라미터를 프로세싱하는 단계;
    하나 이상의 광원을 변조하여 디스플레이 전체에 걸쳐 밝기를 변경하기 위한 제어를 발생시키는 단계; 및
    풀 해상도 디스플레이를 위한 이미지 변조를 수행하기 위한 제어를 발생시키는 단계
    를 포함하는 이미지 디스플레이 방법.
  15. 제14항에 있어서,
    상기 공간 프로세싱은 디스플레이 데이터의 2 이상의 프레임에 대한 시간 프로세싱을 포함하는 이미지 디스플레이 방법.
KR1020087012176A 2005-10-21 2006-10-19 디지털 디스플레이 시스템을 위한 이미지 및 광원 변조 KR20080075843A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/255,353 US7404645B2 (en) 2005-06-20 2005-10-21 Image and light source modulation for a digital display system
US11/255,353 2005-10-21

Publications (1)

Publication Number Publication Date
KR20080075843A true KR20080075843A (ko) 2008-08-19

Family

ID=37968385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087012176A KR20080075843A (ko) 2005-10-21 2006-10-19 디지털 디스플레이 시스템을 위한 이미지 및 광원 변조

Country Status (5)

Country Link
US (1) US7404645B2 (ko)
EP (1) EP1949180A4 (ko)
JP (1) JP2009512896A (ko)
KR (1) KR20080075843A (ko)
WO (1) WO2007050399A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054619A (ko) * 2017-11-14 2019-05-22 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
US10453374B2 (en) 2017-06-23 2019-10-22 Samsung Electronics Co., Ltd. Display apparatus and method for displaying
WO2020009279A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 디스플레이 장치 및 그 구동 방법

Families Citing this family (219)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004518B (zh) * 2001-02-27 2018-07-20 杜比实验室特许公司 高动态范围显示装置
AU2003212146A1 (en) * 2002-03-13 2003-09-22 The University Of British Columbia High dynamic range display devices
US8687271B2 (en) 2002-03-13 2014-04-01 Dolby Laboratories Licensing Corporation N-modulation displays and related methods
DE10241475A1 (de) * 2002-09-03 2004-03-11 4D-Vision Gmbh Simulationsverfahren
JP4341397B2 (ja) * 2003-12-16 2009-10-07 セイコーエプソン株式会社 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法およびプロジェクタ
JP2005189542A (ja) * 2003-12-25 2005-07-14 National Institute Of Information & Communication Technology 表示システム、表示プログラム、表示方法
KR100691466B1 (ko) * 2004-09-20 2007-03-09 삼성전자주식회사 영상표시장치에서 색상 및 휘도를 조절하는 방법 및 장치
JP5586831B2 (ja) * 2004-11-10 2014-09-10 トムソン ライセンシング パルス幅変調（ｐｗｍ）ディスプレイにおけるダークノイズ削減のためのシステムおよび方法
TWI279736B (en) * 2005-03-11 2007-04-21 Himax Tech Ltd Integrated video control chipset
JP4458000B2 (ja) * 2005-08-24 2010-04-28 セイコーエプソン株式会社 画像表示装置及び画像表示装置の制御方法
US7881563B2 (en) * 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
US8599841B1 (en) * 2006-03-28 2013-12-03 Nvidia Corporation Multi-format bitstream decoding engine
US8593469B2 (en) * 2006-03-29 2013-11-26 Nvidia Corporation Method and circuit for efficient caching of reference video data
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
WO2008045681A1 (en) * 2006-10-06 2008-04-17 3M Innovative Properties Company Backlight modules for autostereoscopic 3d display devices and scanning backlights for lcd devices
KR101203658B1 (ko) * 2006-10-11 2012-11-23 삼성전자주식회사 디스플레이 패널의 가현 크기가 확대된 디스플레이 장치 및디스플레이 패널의 가현 크기를 확대시키는 방법
JP5124583B2 (ja) * 2006-10-18 2013-01-23 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
WO2008049446A1 (en) 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7809210B2 (en) * 2006-12-12 2010-10-05 Mitsubishi Digital Electronics America, Inc. Smart grey level magnifier for digital display
US8442316B2 (en) * 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
US8471807B2 (en) 2007-02-01 2013-06-25 Dolby Laboratories Licensing Corporation Calibration of displays having spatially-variable backlight
JP5096986B2 (ja) * 2007-04-11 2012-12-12 パナソニック株式会社 動画像表示装置、動画像表示方法及び集積回路
US8537234B2 (en) * 2007-05-07 2013-09-17 DigitalOptics Corporation International Image restoration with enhanced filtering
US7710434B2 (en) * 2007-05-30 2010-05-04 Microsoft Corporation Rotation and scaling optimization for mobile devices
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
EP2141965A4 (en) * 2007-07-27 2011-03-23 Sharp Kk LIGHTING DEVICE AND LIQUID CRYSTAL DISPLAY DEVICE
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8233738B2 (en) 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8849051B2 (en) 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
EP2219723A2 (en) * 2007-10-22 2010-08-25 Endocross Ltd. Balloons and balloon catheter systems for treating vascular occlusions
EP2227797A1 (en) * 2007-11-29 2010-09-15 Koninklijke Philips Electronics N.V. Method and device for providing privacy on a display
JP5286772B2 (ja) 2007-12-18 2013-09-11 セイコーエプソン株式会社 画像表示装置
US8224482B2 (en) 2008-01-08 2012-07-17 Parata Systems, Llc Automated pill dispensing systems configured for detecting bottles in output chutes and related methods of operation
TW200930324A (en) * 2008-01-08 2009-07-16 D Link Corp Digital photo frame
US8144927B2 (en) * 2008-01-31 2012-03-27 Max-Viz, Inc. Video image processing and fusion
KR101810236B1 (ko) * 2008-02-12 2017-12-18 코닌클리케 필립스 엔.브이. 향상된 조명 제어를 위한 광의 적응성 변조 및 광 내의 데이터 삽입
US8493313B2 (en) * 2008-02-13 2013-07-23 Dolby Laboratories Licensing Corporation Temporal filtering of video signals
JP5577023B2 (ja) * 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 表示装置
US8723961B2 (en) * 2008-02-26 2014-05-13 Aptina Imaging Corporation Apparatus and method for forming and displaying high dynamic range (HDR) images
US10210793B2 (en) 2008-03-11 2019-02-19 Robe Lighting S.R.O. Array of LED array luminaires
EP2112646A3 (en) * 2008-03-31 2010-04-21 Element Labs, Inc. GPU video processing and color correction
HUE024173T2 (en) 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
US20090262306A1 (en) * 2008-04-16 2009-10-22 Quinn Liam B System and Method for Integration of a Projector and Information Handling System in a Common Chassis
US8713456B2 (en) * 2008-05-15 2014-04-29 International Business Machines Corporation Establishing a graphical user interface (‘GUI’) theme
US8994615B2 (en) 2008-06-06 2015-03-31 Dolby Laboratories Licensing Corporation Apparatus and methods for driving solid-state illumination sources
JP5181860B2 (ja) * 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US20090322800A1 (en) 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
US8970646B2 (en) * 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
JP4763026B2 (ja) * 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4610644B2 (ja) 2008-08-27 2011-01-12 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4795406B2 (ja) * 2008-08-27 2011-10-19 シャープ株式会社 画像処理装置、画像形成装置、画像処理装置の制御方法、制御プログラム、記録媒体
JP4865771B2 (ja) * 2008-08-27 2012-02-01 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US20100079365A1 (en) * 2008-09-30 2010-04-01 Sharp Laboratories Of America, Inc. Methods and systems for LED backlight white balance
WO2010044308A1 (ja) * 2008-10-14 2010-04-22 シャープ株式会社 画像表示用発光装置、表示装置、及びテレビ受信装置
US20100098399A1 (en) * 2008-10-17 2010-04-22 Kurt Breish High intensity, strobed led micro-strip for microfilm imaging system and methods
WO2010048213A2 (en) * 2008-10-20 2010-04-29 Robe Lighting, Inc. Array of led array luminaires
US9307267B2 (en) 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
US20100214282A1 (en) 2009-02-24 2010-08-26 Dolby Laboratories Licensing Corporation Apparatus for providing light source modulation in dual modulator displays
US8681185B2 (en) * 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
CN101847345B (zh) * 2009-03-27 2012-07-18 清华大学 白炽光源显示装置及其制备方法
JP4764938B2 (ja) * 2009-04-07 2011-09-07 シャープ株式会社 画像処理装置、画像形成装置、画像処理装置の制御方法、プログラム、記録媒体
TWI404004B (zh) * 2009-04-08 2013-08-01 Young Lighting Technology 背光模組之驅動裝置及驅動方法
KR20100116850A (ko) * 2009-04-23 2010-11-02 삼성전자주식회사 디스플레이 장치 세팅방법 및 이를 적용한 디스플레이 장치
WO2010122618A1 (ja) * 2009-04-24 2010-10-28 シャープ株式会社 表示装置、表示方法、表示制御プログラム、及び、記録媒体
US20100280677A1 (en) * 2009-05-04 2010-11-04 Budike Jr Lothar E S Lighting and energy control system and modules
US20100295864A1 (en) * 2009-05-21 2010-11-25 Kerofsky Louis J Methods and Systems for Setting a Backlight Level
WO2011011250A1 (en) * 2009-07-24 2011-01-27 Dolby Laboratories Licensing Corporation Image control for displays
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TWI413096B (zh) * 2009-10-08 2013-10-21 Chunghwa Picture Tubes Ltd 適應性畫面更新率調變系統及其方法
TWI517126B (zh) * 2009-12-16 2016-01-11 杜比實驗室特許公司 使用影像資料區段統計屬性之背光控制方法與系統
US20110158310A1 (en) * 2009-12-30 2011-06-30 Nvidia Corporation Decoding data using lookup tables
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
US20110193872A1 (en) * 2010-02-09 2011-08-11 3M Innovative Properties Company Control system for hybrid daylight-coupled backlights for sunlight viewable displays
JP5750572B2 (ja) 2010-03-30 2015-07-22 パナソニックＩｐマネジメント株式会社 投写型画像表示装置
US9208709B2 (en) * 2010-05-05 2015-12-08 Apple Inc. Backlight for a display
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
JP5532232B2 (ja) * 2010-05-18 2014-06-25 ソニー株式会社 映像信号処理装置、映像表示装置および映像表示システム
CN102918578B (zh) * 2010-05-28 2015-10-14 Nec显示器解决方案株式会社 投影显示设备
JP5611457B2 (ja) * 2010-06-08 2014-10-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 階調および色再現域のマッピング方法および装置
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5541031B2 (ja) * 2010-09-16 2014-07-09 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
KR101221426B1 (ko) * 2010-10-22 2013-01-11 주식회사 오토스윙 선글라스 또는 고글용 광학 특성 조절 시스템 및 이를 구비하는 선글라스 및 고글
JP5316516B2 (ja) * 2010-11-08 2013-10-16 株式会社Ｊｖｃケンウッド 立体映像表示装置
US9516372B2 (en) * 2010-12-10 2016-12-06 Lattice Semiconductor Corporation Multimedia I/O system architecture for advanced digital television
WO2012080107A2 (en) * 2010-12-13 2012-06-21 Zoran (France) Backlight compensation pattern
US8781000B2 (en) * 2010-12-30 2014-07-15 Vixs Systems, Inc. Dynamic video data compression
US9030503B2 (en) * 2011-01-18 2015-05-12 The United States Of America As Represented By The Secretary Of The Army Anamorphic eyepiece with a microlens array for a panoramic field of view
EP2684184A4 (en) 2011-03-09 2014-08-13 Dolby Lab Licensing Corp CONTRASTING GRAY TREAT AND COLOR INDICATORS
JP5945286B2 (ja) * 2011-03-14 2016-07-05 ドルビー ラボラトリーズ ライセンシング コーポレイション プロジェクタ、ならびにシネマ、エンターテイメントシステム、ディスプレイを含む他の発光装置のためのレーザ光源の局所的調光
TWI482140B (zh) * 2011-04-29 2015-04-21 Geo Semiconductor Inc 用於改善背光ｌｃｄ顯示器的色彩和亮度均勻性的系統和方法
US8711186B2 (en) * 2011-05-02 2014-04-29 Microvision, Inc. Scanning projection apparatus with tangential compensation
WO2012157573A1 (ja) * 2011-05-13 2012-11-22 株式会社 東芝 エネルギー管理システム
US9069121B2 (en) * 2011-07-08 2015-06-30 Nora LIGORANO Fiber optic tapestry
US20130076261A1 (en) * 2011-09-27 2013-03-28 Tsun-I Wang Programmable light-box
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5592862B2 (ja) * 2011-10-26 2014-09-17 シャープ株式会社 液晶表示装置
DE102011119661B4 (de) 2011-11-29 2013-08-01 Austriamicrosystems Ag Modulschaltung, Anzeigemodul und Verfahren zum Bereitstellen eines Ausgangssignals
US9105244B2 (en) * 2012-05-16 2015-08-11 Himax Technologies Limited Panel control apparatus and operating method thereof
US9709723B2 (en) 2012-05-18 2017-07-18 Reald Spark, Llc Directional backlight
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
US10062357B2 (en) 2012-05-18 2018-08-28 Reald Spark, Llc Controlling light sources of a directional backlight
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
KR20140050361A (ko) * 2012-10-19 2014-04-29 삼성디스플레이 주식회사 화소, 이를 이용한 입체 영상 표시 장치 및 그의 구동 방법
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US8769477B1 (en) * 2013-01-31 2014-07-01 Xilinx, Inc. Computer aided design tool and user interface for configuration of a programmable system-on-a-chip
EP2959213A4 (en) 2013-02-22 2016-11-16 Reald Inc DIRECTIONAL BACKLIGHT
US9736443B2 (en) * 2013-03-04 2017-08-15 Intel Corporation Adaptive image management of a projector system
JP5729522B2 (ja) * 2013-03-06 2015-06-03 ウシオ電機株式会社 光源装置およびプロジェクタ
US9407797B1 (en) * 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
JP6040850B2 (ja) * 2013-04-17 2016-12-07 富士通株式会社 割り当て方法、割り当てプログラム、情報処理装置、および解析システム
US9710894B2 (en) * 2013-06-04 2017-07-18 Nvidia Corporation System and method for enhanced multi-sample anti-aliasing
JP2015041936A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像表示装置、並びに画像処理装置及び画像処理方法
US9401128B1 (en) 2013-09-20 2016-07-26 Google Inc. Dynamic update of display pixels
JP6150254B2 (ja) * 2013-09-26 2017-06-21 アルプス電気株式会社 映像表示装置
CN106068533B (zh) 2013-10-14 2019-01-11 瑞尔D斯帕克有限责任公司 定向显示器的控制
KR102366346B1 (ko) * 2013-10-14 2022-02-23 리얼디 스파크, 엘엘씨 지향성 백라이트를 위한 광 입력
EP3790273B1 (en) * 2013-11-03 2023-11-29 Dolby Laboratories Licensing Corporation Local dimming in multi-modulation displays
US9462215B2 (en) 2013-11-04 2016-10-04 Dobly Laboratories Licensing Corporation Enhanced global dimming for projector display systems
US9958762B2 (en) 2013-11-04 2018-05-01 Dolby Laboratories Licensing Corporation Single and multi-modulator projector systems with global dimming
CN103747320B (zh) * 2013-12-27 2017-02-22 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
US20150194040A1 (en) * 2014-01-06 2015-07-09 Fibar Group sp. z o.o. Intelligent motion sensor
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
KR101551252B1 (ko) * 2014-02-19 2015-09-09 (주)케이시크 음향조명기기의 밸런스 조절 제어 방법
JP6371092B2 (ja) * 2014-03-27 2018-08-08 マクセル株式会社 映像処理装置及びそれを用いたプロジェクタ装置
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
JP6962521B2 (ja) 2014-06-26 2021-11-05 リアルディー スパーク エルエルシー 指向性プライバシーディスプレイ
US9852531B2 (en) * 2014-07-11 2017-12-26 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the same
CN105467733B (zh) * 2014-08-25 2018-08-28 深圳市光峰光电技术有限公司 投影显示系统及其控制方法
CN104252842A (zh) * 2014-09-18 2014-12-31 苏州合欣美电子科技有限公司 一种灯驱分离的led显示屏模组
US9835792B2 (en) 2014-10-08 2017-12-05 Reald Spark, Llc Directional backlight
WO2016079949A1 (ja) * 2014-11-17 2016-05-26 日本電気株式会社 映像処理システム、送信装置、映像処理方法、送信方法および記録媒体
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
EP3283906B1 (en) 2015-04-13 2020-09-23 RealD Spark, LLC Wide angle imaging directional backlights
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
US10228505B2 (en) 2015-05-27 2019-03-12 Reald Spark, Llc Wide angle imaging directional backlights
US10783050B2 (en) 2015-06-04 2020-09-22 Hewlett Packard Enterprise Development Lp Light color adjustment of a server panel light
US9728142B2 (en) * 2015-07-15 2017-08-08 Christie Digital Systems Usa, Inc. Reduced blur, low flicker display system
KR20180030878A (ko) * 2015-07-17 2018-03-26 에이비엘 아이피 홀딩, 엘엘씨 소프트웨어 구성가능한 라이팅 디바이스
CA2992590A1 (en) * 2015-07-17 2017-01-26 Abl Ip Holding Llc Systems and methods to provide configuration data to a software configurable lighting device
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
JP6594075B2 (ja) * 2015-07-22 2019-10-23 キヤノン株式会社 画像処理装置、撮像システム、画像処理方法
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
US10743059B2 (en) * 2015-08-30 2020-08-11 EVA Automation, Inc. Displaying HDMI content at an arbitrary location
CN113660521A (zh) * 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017074951A1 (en) 2015-10-26 2017-05-04 Reald Inc. Intelligent privacy system, apparatus, and method thereof
US10459321B2 (en) 2015-11-10 2019-10-29 Reald Inc. Distortion matching polarization conversion systems and methods thereof
CN108463667B (zh) 2015-11-13 2020-12-01 瑞尔D斯帕克有限责任公司 广角成像定向背光源
EP3374822B1 (en) 2015-11-13 2023-12-27 RealD Spark, LLC Surface features for imaging directional backlights
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
EP3384484A4 (en) * 2015-12-04 2019-04-24 Chromera, Inc. OPTICAL DETERMINATION OF MESSAGES ON A DISPLAY
KR102370717B1 (ko) * 2015-12-31 2022-03-04 엘지디스플레이 주식회사 유기 발광 다이오드 표시 장치
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
CN114554177A (zh) 2016-05-19 2022-05-27 瑞尔D斯帕克有限责任公司 广角成像定向背光源
WO2017205183A1 (en) 2016-05-23 2017-11-30 Reald Spark, Llc Wide angle imaging directional backlights
US10176765B2 (en) * 2016-06-30 2019-01-08 Abl Ip Holding Llc Enhancements of a transparent display to form a software configurable luminaire
JP2019535199A (ja) 2016-10-06 2019-12-05 アイマックス シアターズ インターナショナル リミテッド 映画発光スクリーンと音響システム
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US10409148B2 (en) * 2016-11-08 2019-09-10 Ipg Photonics Corporation RGB projector with multi-laser broadband light source and system for dynamically controlling image contrast ratio
US10303013B2 (en) 2016-11-17 2019-05-28 Apple Inc. Pixel array antialiasing to accommodate curved display edges
US10409118B1 (en) 2016-11-17 2019-09-10 Apple Inc. Pixel array antialiasing to accommodate curved display edges
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10129718B2 (en) * 2016-12-28 2018-11-13 T-Mobile Usa, Inc. Data usage analytics application for dynamic control of data usage on a client device
EP3566094B1 (en) 2017-01-04 2023-12-06 RealD Spark, LLC Optical stack for imaging directional backlights
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
CN108364249A (zh) 2017-01-27 2018-08-03 株式会社东芝 图像处理装置以及图像处理方法
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US11500143B2 (en) 2017-01-28 2022-11-15 Lumus Ltd. Augmented reality imaging system
US10397504B2 (en) * 2017-02-13 2019-08-27 Kidde Technologies, Inc. Correcting lag in imaging devices
WO2018187154A1 (en) 2017-04-03 2018-10-11 Reald Spark, Llc Segmented imaging directional backlights
US10505656B2 (en) 2017-04-08 2019-12-10 Nokia Solutions And Networks Oy Optical wavelength selective switches with guard bands
WO2018234344A1 (en) 2017-06-20 2018-12-27 Imax Theatres International Limited ACTIVE DISPLAY ELEMENT WITH REDUCED GRID EFFECT
CN107179610A (zh) * 2017-06-29 2017-09-19 深圳市虚拟现实科技有限公司 图像显示方法及其装置
EP4215980A1 (en) 2017-07-19 2023-07-26 Lumus Ltd. Lcos illumination via loe
ES2967691T3 (es) 2017-08-08 2024-05-03 Reald Spark Llc Ajuste de una representación digital de una región de cabeza
JP2019040036A (ja) * 2017-08-24 2019-03-14 株式会社ジャパンディスプレイ 電子機器、表示装置及び表示制御方法
WO2019058307A1 (en) * 2017-09-20 2019-03-28 Imax Theatres International Limited LIGHT EMITTING DISPLAY WITH PAVERS AND DATA PROCESSING
EP3459713A1 (en) * 2017-09-26 2019-03-27 Siemens Aktiengesellschaft Method for computer-aided processing of quality information of an object and a respective assistance apparatus
US11109014B2 (en) 2017-11-06 2021-08-31 Reald Spark, Llc Privacy display apparatus
US10496579B2 (en) * 2017-11-13 2019-12-03 Bobby Gene Burrough Graphics processing unit with sensor interface
TWI813605B (zh) 2017-12-10 2023-09-01 以色列商魯姆斯有限公司 圖像投影儀
US10802356B2 (en) 2018-01-25 2020-10-13 Reald Spark, Llc Touch screen for privacy display
TWI677245B (zh) * 2018-03-23 2019-11-11 台達電子工業股份有限公司 投影顯示設備及顯示方法
US10665157B2 (en) 2018-04-18 2020-05-26 Apple Inc. Pre-compensation for pre-toggling-induced artifacts in electronic displays
US11710464B2 (en) * 2018-05-03 2023-07-25 Darfon Electronics Corp. Display device and backlight apparatus thereof
CA3100551A1 (en) 2018-05-18 2019-11-21 1004335 Ontario Inc. carrying on business as A D Metro Optical touch sensor devices and systems
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
US10254636B1 (en) * 2018-07-03 2019-04-09 Motorola Mobility Llc Reducing heat generated during projection of visual content
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
JP7509761B2 (ja) * 2018-09-26 2024-07-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 未来のフレームのメタデータを用いたプロジェクタ光源ディミング
US10733783B2 (en) 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
WO2020100200A1 (ja) * 2018-11-12 2020-05-22 Eizo株式会社 画像処理システム、画像処理装置、およびコンピュータープログラム
US11217204B2 (en) 2018-12-19 2022-01-04 Cae Inc. Dynamically adjusting image characteristics in real-time
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
US20220246085A1 (en) * 2019-06-27 2022-08-04 Sony Interactive Entertainment Inc. Image processing system, image processing integrated circuit, and image processing method
CN110213554B (zh) * 2019-07-03 2021-07-13 大峡谷照明系统（苏州）股份有限公司 一种图像映射播放器及像素点调试的方法
CN112348748B (zh) * 2019-08-09 2024-07-26 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN117496922A (zh) * 2019-08-23 2024-02-02 伊格尼斯创新公司 光学校正方法和光学校正系统
GB2602915B (en) 2020-04-03 2022-11-09 1004335 Ontario Inc Carrying On Business As A D Metro Optical touch sensor systems and optical detectors with noise mitigation
US11211001B2 (en) 2020-05-22 2021-12-28 Huayuan Semiconductor (Shenzhen) Limited Company Display device with feedback via serial connections between distributed driver circuits
US11382202B2 (en) * 2020-08-27 2022-07-05 Himax Imaging Limited Method and apparatus for controlling a lighting fixture based on motion detection and related lighting fixture
US11423520B2 (en) * 2020-10-30 2022-08-23 Facebook Technologies, Llc. Distortion-corrected rasterization
WO2022133953A1 (zh) * 2020-12-24 2022-06-30 京东方科技集团股份有限公司 图像畸变处理方法和装置
CN113014839B (zh) * 2021-02-20 2023-09-26 冠捷显示科技（厦门）有限公司 一种自适应环景光适配方法
KR20230028953A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023055732A1 (en) * 2021-09-28 2023-04-06 Valve Corporation Position tracking systems and methods for head-mounted display systems
CN115086577A (zh) * 2022-06-17 2022-09-20 谢文军 用于氛围灯渲染的实时可变刷新率的视频处理方法和系统
CN115396570B (zh) * 2022-07-12 2023-12-12 中南大学 一种幽光高温工业内窥镜
CN115150602B (zh) * 2022-08-31 2022-11-08 深圳市橙子数字科技有限公司 一种高保真dlp投影仪
US11776492B1 (en) * 2022-09-22 2023-10-03 Apple Inc. Dynamic backlight color shift compensation systems and methods

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175808A (en) 1989-09-12 1992-12-29 Pixar Method and apparatus for non-affine image warping
EP0576763A1 (en) 1992-06-30 1994-01-05 International Business Machines Corporation Improved method for sub-band coding video signals and device for implementing said method
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6215916B1 (en) 1998-02-04 2001-04-10 Intel Corporation Efficient algorithm and architecture for image scaling using discrete wavelet transforms
US6456339B1 (en) 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US6157396A (en) 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6340994B1 (en) 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
US6236433B1 (en) 1998-09-29 2001-05-22 Intel Corporation Scaling algorithm for efficient color representation/recovery in video
US6275206B1 (en) 1999-03-17 2001-08-14 Intel Corporation Block mapping based up-sampling method and apparatus for converting color images
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6901164B2 (en) 2000-04-14 2005-05-31 Trusight Ltd. Method for automated high speed improvement of digital color images
US6819333B1 (en) 2000-05-12 2004-11-16 Silicon Graphics, Inc. System and method for displaying an image using display distortion correction
JP3523170B2 (ja) * 2000-09-21 2004-04-26 株式会社東芝 表示装置
CN101004518B (zh) 2001-02-27 2018-07-20 杜比实验室特许公司 高动态范围显示装置
JP3927011B2 (ja) * 2001-08-20 2007-06-06 株式会社 日立ディスプレイズ 液晶表示装置とその駆動回路
EP1474929A1 (en) * 2002-02-05 2004-11-10 Koninklijke Philips Electronics N.V. Device and method for generating an image for projection
US7196687B2 (en) 2002-11-05 2007-03-27 3M Innovative Properties Company Swept illumination to reduce LCD lag in front and rear projection displays
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
JP4036142B2 (ja) * 2003-05-28 2008-01-23 セイコーエプソン株式会社 電気光学装置、電気光学装置の駆動方法および電子機器
JP2004361618A (ja) * 2003-06-04 2004-12-24 Hitachi Displays Ltd 液晶表示装置
JP2005084260A (ja) * 2003-09-05 2005-03-31 Agilent Technol Inc 表示パネルの変換データ決定方法および測定装置
US7040764B2 (en) * 2003-10-23 2006-05-09 Hewlett-Packard Development Company, L.P. Projection system using ambient light
US7652654B2 (en) * 2003-12-08 2010-01-26 Sony Corporation Liquid crystal display and backlight adjusting method
JP4628770B2 (ja) * 2004-02-09 2011-02-09 株式会社日立製作所 照明装置を備えた画像表示装置及び画像表示方法
US20060007248A1 (en) * 2004-06-29 2006-01-12 Damoder Reddy Feedback control system and method for operating a high-performance stabilized active-matrix emissive display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453374B2 (en) 2017-06-23 2019-10-22 Samsung Electronics Co., Ltd. Display apparatus and method for displaying
KR20190054619A (ko) * 2017-11-14 2019-05-22 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
WO2020009279A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 디스플레이 장치 및 그 구동 방법
US11289016B2 (en) 2018-07-06 2022-03-29 Lg Electronics Inc. Display device and driving method therefor

Also Published As

Publication number Publication date
JP2009512896A (ja) 2009-03-26
WO2007050399A2 (en) 2007-05-03
EP1949180A4 (en) 2010-01-13
US7404645B2 (en) 2008-07-29
EP1949180A2 (en) 2008-07-30
WO2007050399A3 (en) 2009-05-28
US20070035706A1 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
US7404645B2 (en) Image and light source modulation for a digital display system
US8698701B2 (en) Field sequential light source modulation for a digital display system
US6157396A (en) System and method for using bitstream information to process images for use in digital display systems
US6456340B1 (en) Apparatus and method for performing image transforms in a digital display system
US6340994B1 (en) System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
JP6934908B2 (ja) ビデオコンテンツ配信方法およびビデオ処理装置
US20020063807A1 (en) Method for Performing Image Transforms in a Digital Display System
US8687042B2 (en) Set-top box circuitry supporting 2D and 3D content reductions to accommodate viewing environment constraints
US8400492B2 (en) Projection of stereoscopic images using linearly polarized light
CN104253964B (zh) 图像处理装置、图像显示装置以及图像处理装置的控制方法
WO2006096846A2 (en) Animated display calibration method and apparatus
CN100523922C (zh) 图像显示装置、图像信号转换装置、方法、和程序、程序存储介质
JP2006524457A (ja) コントラスト向上のための電子ペーパに基づいたスクリーンの使用
EP4128802A1 (en) Metadata-based power management
WO2000010129A1 (en) System and method for using bitstream information to process images for use in digital display systems
JP2006139057A (ja) 画像表示装置、画像表示方法、この方法をコンピュータで実行可能なプログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体
Ward Color in High Dynamic Range Imaging
Myszkowski et al. HDR Display Devices
JP2008092140A (ja) 画像処理方法、画像処理装置およびそれを備えた表示装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid