KR100390732B1 - 공간광변조기용최적펄스폭변조패턴의결정방법 - Google Patents

공간광변조기용최적펄스폭변조패턴의결정방법 Download PDF

Info

Publication number
KR100390732B1
KR100390732B1 KR1019960041875A KR19960041875A KR100390732B1 KR 100390732 B1 KR100390732 B1 KR 100390732B1 KR 1019960041875 A KR1019960041875 A KR 1019960041875A KR 19960041875 A KR19960041875 A KR 19960041875A KR 100390732 B1 KR100390732 B1 KR 100390732B1
Authority
KR
South Korea
Prior art keywords
function
light
difference
value
series
Prior art date
Application number
KR1019960041875A
Other languages
English (en)
Other versions
KR970019033A (ko
Inventor
비. 도허티 도날드
엘. 버튼 마크
비샬, (엔엠아이) 마칸데이
Original Assignee
텍사스 인스트루먼츠 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텍사스 인스트루먼츠 인코포레이티드 filed Critical 텍사스 인스트루먼츠 인코포레이티드
Publication of KR970019033A publication Critical patent/KR970019033A/ko
Application granted granted Critical
Publication of KR100390732B1 publication Critical patent/KR100390732B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G09G3/2033—Display of intermediate tones by time modulation using two or more time intervals using sub-frames with splitting one or more sub-frames corresponding to the most significant bits into two or more sub-frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0266—Reduction of sub-frame artefacts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Liquid Crystal (AREA)

Abstract

공간 광 변조기 디스플레이 디바이스용 펄스 폭 변조 패턴 평가 방법(a method of evaluating pulse width modulation patterns for a spatial light modulator display device). 본 방법은 광차 급수 함수(light difference series function)를 사용한다. 이 급수 함수는 디스플레이 구성 요소의 온 또는 오프 시간을 광 함수로 나타냄으로써 얻어진다(도 3). 동일한 디스플레이 구성 요소상의 2개의 서로 다른 패턴들을 비교하거나(인터프레임, interframe) 또는 서로 다른 디스플레이 구성 요소상의 동일한 패턴을 비교하기 위하여(인트라프레임, intraframe) 이러한 2개의 광 함수를 감산할 수 있다(도 4). 이 감산의 결과가 급수 함수로 표현될 수 있는 광차 함수(light difference function)이다(도 5). 급수 함수를 사용한 수학적 표현은 여러가지 광 특성들에 관련되어 있다.

Description

공간 광 변조기용 최적 펄스 폭 변조 패턴의 결정 방법
본 발명은 공간 광 변조기(spatial light modulator-, SLM)를 사용하는 영상 디스플레이 시스템에 관한 것으로서, 보다 상세하게는 SLM에 의해 디스플레이될 데이타에 대한 최적 펄스 폭 변조 패턴(optimal pulse width modulation patterns)을 결정하는 방법에 관한 것이다.
공간 광 변조기(SLM)에 근거한 비디오 디스플레이 시스템은 음극선관(CRT)을 사용하는 디스플레이 시스템의 대안으로써 그 사용이 점차 증가하고 있다. SLM 시스템은 CRT 시스템의 크기 및 전력 소모 없이 고해상도 표시를 제공한다.
디지탈 마이크로 미러 디바이스(Digital Micro-morror Device, DMD)는 SLM의 한 유형으로서, 직시형(direct-view) 또는 투사형(projection) 디스플레이 응용분야에 사용될 수도 있다. DMD는 마이크로기구적(micromechanical) 디스플레이 구성 요소들의 어레이를 가지고 있으며, 그 각각은 전자 신호에 의해 개별적으로 어드레스가능한 소형 미러(tiny mirror)를 가지고 있다. 그의 어드레싱 신호의 상태에 따라. 각각의 미러는 영상면(image plane)으로 광을 반사시키거나 또는 반사하지 않도록 하기 위해 경사지게 된다(tilt). 각각의 미러 및 그와 관련된 회로를 그들이 발생하는 영상의 픽셀에 배출시키기 위해 종종 "픽셀"이라고 하지만, 그들은 보다 정확히 말하면 "디스플레이 구성 요소들"이라고 한다. 일반적으로, 픽셀 데이타를 표시하는 것은 데이타를 디스플레이 구성 요소들에 접속된 메모리 셀들에 로드(load)함으로서 달성된다. 디스플레이 구성 요소들은 제어된 표시 시간 동안그들의 온 또는 오프 상태를 유지할 수 있다.
다른 SLM들도 비슷한 원리로 동작하며, 광을 동시에 방출(emll) 또는 반사(reflect)할 수 있는 디스플레이 구성 요소들의 어레이에 의해, 스크린을 주사(scan)하기 보다는 디스플레이 구성 요소들을 어드레싱 함으로써 완전한 영상이 발생된다. SLM의 일례로는 개별적으로 구동되는 디스플레이 구성 요소들을 갖는 액정 디스플레이(liquid crystal display, LCD)가 있다.
백색(온)과 흑색(오프) 사이의 중간 레벨의 조도(illumination)를 달성하기 위하여, 펄스 폭 변조(PWM) 기법이 사용된다. 기본적인 PWM 방식은 먼저 영상을 시청자에게 표시하게 될 레이트(rate)를 결정한다. 이것은 프레임 레이트(frame rate) 및 해당 프레임 주기를 수립한다. 예를 들어, 표준 텔레비젼 시스템에서는, 초당 30 프레임으로 영상이 전송되며, 각 프레임은 약 33.3 밀리초 동안 지속된다. 그 다음에, 각 픽셀의 세기 해상도(intensity resolution)가 수립된다. 간단한 일 예에서, n 비트의 해상도를 가정할 때. 프레임 시간은 2n-1 등간격 시간 슬라이스(2n-1 equal time slices)로 분할된다. 33.3 밀리초 프레임 주기 및 n-비트 세기값의 경우, 시간 슬라이스는 33.3/(2n-1) 밀리초이다.
각 프레임의 각 픽셀에 대해 이들 시간들을 수립하고나서, 픽셀 세기들이 양자화되어, 흑색이 0 시간 슬라이스이고, LSB로 표시된 세기 레벨이 1 시간 슬라이스이며 최대 밝기(brightness)가 2n-1 시간 슬라이스가 된다. 각 픽셀의 양자화된세기는 프레임 주기 동안 그의 온-시간(on-time)을 결정한다. 이와 같이 프레임 주기 동안, 0 이상의 양자화된 값을 갖는 각 픽셀은 그의 세기에 대응하는 시간 슬라이스 수 동안 온 이다. 시청자의 눈은 픽셀 밝기를 통합하기 때문에 그 영상이 아날로그 레벨의 광으로 발생된 것과 동일한 것처럼 나타난다.
SLM을 어드레싱하기 위해, PWM은 데이타를 "비트-면"(bit-planes)으로 포맷되도록 하는데, 각 비트-면은 세기 값의 비트 가중치(bit wight)에 대응한다. 이와 같이 각각의 픽셀의 세기가 n-비트 값으로 표현되면 각 프레임의 데이타는 n-비트 면을 갖는다. 각 비트-면은 각각의 디스플레이 구성 요소에 대해 0 또는 1 값을 갖는다. 이상 기술한 간단한 PWM 일예에서, 프레임 동안 각각의 비트-면은 별도로 로드되고 디스플레이 구성 요소들은 그들과 관런된 비트-면 값들에 따라 어드레싱된다. 예를 들어, 각 디스플레이 구성 요소의 LSB를 나타내는 비트-면은 1시간 슬라이스 동안 표시되는 반면, MSB를 나타내는 비트-면은 2n/2 시간 슬라이스 동안 표시된다. 시간 슬라이스는 단지 33.3/2n-1 밀리초 이기 때문에, SLM은 그 시간내에 LSB 비트-면을 로딩할 수 있어야 한다. LSB 비트-면을 로딩하기 위한 시간이 "피크 데이타 레이트"(peak date rate)이다.
텍사스 인스트루먼츠 인코포레이티드에 양도되고 발명의 명칭이 "펄스-폭 변조된 디스플레이 시스템에 사용하기 위한DMD 아키텍쳐 및 타이밍"인 미국 특허 제 5,278,652호는 DMD-기반 디스플레이 시스템에서 DMD를 어드레싱하는 여러가지 방법을 기술하고 있다. 이들 방법은 광 효율을 유지하면서 피크 데이타 레이트를 감소시키는 것에 관한 것이다. 상기 미국 특허에서 논한 방법들중 몇몇은 데이타를 로드하기 위해 디스플레이 구성 요소들의 블럭을 클리어(clare)하고 여분의 "오프"시간을 사용하는 것을 포함하고 있다. 한 방법에서. 최상위 비트가 표시되는 시간은 더 작은 세그먼트들로 쪼개어져서 하위 비트들에 대한 로딩이 이들 세그먼트 동안에 일어날 수 있도록 한다.
피크 데이타 레이트를 감소시키는 다른 방법은 "메모리 멜티 플랙성"(memory multiplexing) 또는 "분리 리세트"(split reset)이라고 한다. 이 방법은 특별히 구성된 SLM을 사용하며, 그의 디스플레이 구성 요소들은 별도로 로드되고 어드레싱되는 리세트 그룹(resct group)으로 그룹지어져 있다. 이렇게 함으로써 임의의 시간 동안 로드될 데이타의 양을 줄이게 되어 각각의 리세트 그룹에 대한 LSB 데이타가 프레임 주기 동안의 다른 시간에 로드될 수 있도록 한다. 이러한 구성은 텍사스 인스트루먼츠 인코포레이티드에 양초되고 발명의 명칭이 "공간 광 변조기용 픽셀 제어 회로"인 미국 특허출원 제08/300,356호에 기술되어 있다.
SLM의 디스플레이 구성 요소들이 한꺼번에 또는 리세트 그룹으로 어드레스되는지에 상관없이, 그 결과의 표시는 최소의 비쥬얼 아티펙트(minimal visual artifacts)을 가져야만 한다. 아티팩트의 존재 및 범위는 영상의 시간상 내용(temporal content) 또는 시청자의 눈 운동(eye motion)에 따라 변할 수 있다. 데이타 표시의 순서화 및 타이밍의 여러가지 기법들이 이들 아티팩트들을 감소시키기 위해 개발되어 왔다.
본 발명의 한 측면은 펄스 폭 변조 패틴들의 인식 측면들(perceptual aspects)을 분석하는 방법이다. 이 방법은 동일 프레임내의(인트라프레임) 서로 다른 디스플레이 구성 요소들 또는 서로 다른 프레임에서(인터프레임) 서로 다른 또는 동일한 디스플레이 구성 요소들의 통합 광 응답(integated light response)을 비교하는데 사용될 수 있다. 특히, 본 방법은 영상 데이타의 펄스 폭 변조 디스플레용 비트 시퀸스 패턴을 구하는데, 상기 비트 시퀀스 패턴은 프페임 주기 동안에 디스플레이 디바이스의 디스플레이 구성 요소들의 온 또는 오프 간의 시퀀스로 포맷되고, 각 시퀀스는 광도를 제공한다.
인터프레임 비교에 있어서 한 프레임 주기를 구성하는 제1의 일련의 시간 구간들(series of time intervals) 동안 디스플레이 구성 요소의 온 또는 오프 값 을 나타내는 제1 광 함수(light function)가 규정된다. 그 다음에, 그 다음 프레임 주기를 구성하는 제2의 일련의 시간 구간들 동안 디스플레이 구성 요소의 온 또는 오프 값을 나타내는 제1 광 함수(light function)가 규정된다. 제1 광 함수에서 제2 광 함수를 감산하여 광 차 함수(light difference function)를 제공한다. 이 광 차 함수의 값들을 합산하여 광 차 급수 함수(light differencc series function)를 제공한다. 이 급수 함수는 상기 패턴의 광 특성을 나타내는 값을 수학적으로 도출하는데 사용된다.
본 발명의 기술적 잇점은 비쥬얼 아티팩트를 최소화하는 PWM 패턴들의 개발을 용이하게 해준다는 것이다. 광 차 급수 함수는 2개의 인식 응답(perceptual responses)의 비교를 나타낸다. 광 차 급수 함수에 근거한 알고리즘은균일성(uniformity), 대칭성(symmetry), 및 천이 효과(transition effect) 등의 서로 다른 시각적 특성에 대한 패턴들을 평가하는데 사용될 수 있다.
리세트 그룹을 가지지 않는 SLM의 경우, 동일한 PWM 패턴이 인접한 프레임에서 비교될 수 있다. 이렇게 함으로써 예를 들히 비트-가중치가 올림차순 또는 내림차순으로 순서화된 8-비트 시스템에서 세기 레벨 127에서 128로의 천이에서와 같이 "시각적 간극"(visual gap)이 없도록 해준다. 리세트 그룹을 갖는 SLM의 경우, 라인간 아티팩트(line-to-line artifacts)가 없도록 하기 위해 동일 프레임 주기동안 서로 다른 PWM 패턴들이 비교될 수 있다. 어느 경우에든지, 세기는 일정하게 유지되거나 또는 변동될 수 있다.
도 1은 아날로그 신호로부터 영상을 발생하는 디스플레이 시스템이 블럭선도.
도 2는 디지탈 신호로부터 영상을 발생하는 디스플레이 시스템의 블럭선도.
도 3은 2개의 광 함수(light function)를 도해한 도면.
도 4는 도 3의 2개의 광 함수들로부터 도출된 광 차 함수(light difference function)를 도해한 도면.
도 5는 도 4의 광 차 함수로부터 도출된 광 차 급수 함수(light difference series function)를 도해한 도면.
<도면의 주요 부분에 대한 부호의 설명>
11 : 신호 인터페이스 유닛
l2a : A/D 변환기
12b : Y/C 분리기
13 : 프로세서 시스템
14 : 디스플레이 메모리
15 : SLM
PWM을 사용하는 SLM 디스플레이 시스템의 개관
DMD-기반 디지탈 디스플레이 시스템의 포괄적인 기재는 발명의 명칭이 "표준의 독립적인 디지탈화된 비디오 시스템"(Standard Independent Digitized Video System)인 미국 특허 제5,079,544호, 발명의 명칭이 "디지탈 텔레비젼 시스템"(Digital Television system)인 미국 특허출원 제08/147,249호, 및 발명의 명칭이 "DMD 디스플레이 시스템"(DMD Display System)인 미국 특허출원 제08/146,385호에 기재되어 있다. 이들 특허 및 특허출원 각각은 텍사스 인스트루먼츠 인코포레이티드에게 양도되었으며 각각 참조로 여기에 포함되어 있다. 이러한 시스템에 대한 개관은 도 1 및 도 2와 관련하여 이하에 기술한다.
도 1은 방송 텔레비젼 신호 등의 아날로그 비디호 신호로부터 실시간 영상을발생하기 위해 SLM(15)를 사용하는 투사식 디스플레이 시스템(projection display system, 10)의 블럭 다이버그램이다. 도 2는 입력 신호가 이미 디지탈 데이타를 나타내는 유사한 시스템(20)의 블럭 다이어그램이다. 도 1 및 도 2 모두에서 메인-스크린(main-screen)픽셀 데이타 처리에 중요한 구성 요소들만 도시되어 있다. 동기 및 오디오 신호, 또는 폐쇄 캡션(closed capt ioning) 등의 부차적인 스크린특징들의 처리에 사용될 수도 있는 다른 구성 요소들은 도시하지 않았다.
신호 인터페이스 유닛(11)은 아날로그 신호를 수신하여 비디오 신호, 동기 신호 및 오디오 신호들을 분리시키고 비디오 신호를 A/D 변환기(l2a) 및 Y/C분리기(12b)로 전달하여 데이타를 픽셀-데이타 샘플들로 변환하고 크로미넌스("C") 데이타(chrominance data)와 루미넌스("Y") 데이타(luminance date)를 각각 분리한다. 도 1에서, 신호는 Y/C 분리 이전에 디지탈 데이타로 변환되지만, 다른 실시예들에서 Y/C 분리는 아날로그 필터를 사용하여 A/D 변환 이전에 행해질 수도 있다.
프로세서 시스템(13)은 여러가지 픽셀 데이타 처리 작업을 수행함으로써 표시용 데이타를 준비한다. 프로세서 시스템(13)은 필드 및 라인 버퍼 등과 같이 이러한 작업에 유용한 처리 메모리를 포함할 수도 있다. 프로세서 시스템(13)에 의해 수행되는 작업들은 선형화(linearization, 감마 보정을 보상하기 위함), 색공간 변환(colorspace conversion), 스케일링(scaling) 및 순차 주사 변환(progressive scan conversion)을 포함할 수도 있다. 이들 작업이 수행되는 순서는 변할 수도있다.
디스플레이 메모리(14)는 프로세서 시스템(13)으로부터 처리된 픽셀 데이타를 수신하고 그 데이타를 입력 또는 출력 상에 "비트-면" 포맷으로 포맷하여 한번에 하나씩 비트-면을 SLM(15)로 전달한다. 앞서 논의된 바와 같이, 비트-면 포맷은 SLM(15)의 각 디스플레이 구성요소가 1비트의 데이타의 값에 응답하여 한 번에 온 또는 오프될 수 있게 해준다. 상기 설명의 예에서는, 이러한 포맷팅은 디스플레이 메모리(14)와 관련된 하드웨어에 의해 수행된다. 그러나, 다른 실시예들에서는, 포맷팅은 프로세서 시스템(13)에 의해서 또는 디스플레이 메모리(14) 전에 또는 뒤에 있는 데이타 경로내의 전용 포맷팅 하드웨어에 의해 행해질 수도 있다.
전형적인 디스플레이 시스템(10)에서, 디스플레이 메도리(14)는 "이중 버퍼" 메모리(double buffer memory)이며, 이는 적어도 2개의 표시 프레임의 용량을 가짐을 의미한다. 한 표시 프레임에 대한 버퍼는 다른 표시 프레임에 대한 버퍼가 기록되고 있는 동안에 SLM(15)으로 판독 출력될 수 있다. 이 2개의 버퍼는 연속적으로 SLM(15)가 데이타를 이용할 수 있도륵 "핑퐁(ping-pong)" 방식으로 제어된다.
디스플레이 메모리(14)로부터의 비트-면 데이타는 SLM(15)로 전달된다. 상기 서술은 DMD-타입 SLM(15)의 관점에서 이루어진 것이지만, 다른 유형의 SLM이 디스플레이 시스템(10)으로 대체되어 상기한 본 발명에 사용될 수도 있다. 예를 들어, SLM(15)는 LCD-타입 SLM일 수도 있다. 적당한 SLM(15)의 상세한 설명은 텍사스 인스트루먼츠 인코포레이티드에 양도되고 여기에 참조로 포함하는 발명의 명칭이 "공간 광 변조기"인 미국 특허 제4,956,619호에 기재되어 있다. 본질적으로,SLM(15)는 디스플레이 메모리(14)로부터의 데이타를 사용하여 디스플레이 구성요소 어레이의각 디스플레이 구성요소를 어드레싱한다. 각 디스플레이 구성요소의 "온" 또는 "오프" 상태는 영상을 형성한다.
디스플레이 광학 유닛(display optics unit, 16)은 SLM(15)로부터 영상을 수신하고 디스플레이 스크린 등의 영상면을 조명하기 위한 광학적 구성요소를 가지고 있다. 컬러 디스플레이의 경우, 디스플레이 광항 유닛(16)은 컬러 휘일(color Wheel)을 포함할 수 있고, 각 컬러에 대한 비트-면들이 시퀀스를 이루어 컬러 휘일 에 동기화될 수 있다. 그렇지 않으면, 다른 컬러들에 대한 데이타는 다수의 SLM상에 동시에 표시되어 디스플레이 광학 유닛(16)애 의해 결합될 수 있다. 마스터 타이밍 유닛(master timiins lnlt 17)은 여러가지 시스템 제어 기능들을 제공한다.
PMW 패턴 펑가
본 발명의 목적상 "PWM 패턴" 또는 간단히 "패턴"은 한 프레임 주기 동안 비트-가중치가 표시되는 시퀀스이다. 간단한 일례로서, 8-비트 픽셀 데이타를 사용하여 각 비트-가중치는 내림차순의 패턴으로 표시될 수도 있다: 7, 6, 5, 4, 3, 2, 1, 0 다른 패턴들은 비트-가중치의 순서를 달리 할 수도 있다. 또한, 하나 이상의 비트-가중치들의 표시 시간들을 세그먼트화하여 비트-가중치가 프레임당 한번 이상 로드되고 각각의 로드 후에 그 프레임에 대한 전체 표시 시간의 일부 동안 표시되도록 할 수도 있다.
앞서 기술한 바와 같이, 데이타가 비트-가중치에 의해, 각각의 비트-가중치에 대해서 디스플레이 구성 요소당 한 비트씩 포맷되는 경우, 그 결과는 "비트-면"포맷이 된다. 글로벌 리세트 SLm(golbal reset SLM. 리세트 그룹을 가지지 않는것)의 경우, 비트-면은 모든 디스플레이 구성 요소들에 대한 데이타를 포함하며, 한번에 로드되어 리세트된다. SLM이 리세트 그룹을 가지는 경우, 비트-면은 리세트 그룹중에서 분할되고 서로 다른 시간에 리세트된다. 이와 같이 PWM 패턴들은 비트-면들의 순서화(ordering)로서 생각할 수도 있다.
일반적으로, 글로벌 리세트 SLM의 경우. 동일한 PWM 패턴이 모든 디스플레이 구성 요소에 대해 사용되며 모든 프레임에 대해 반복된다. 이와 같이, 글로벌 리 세트 SLM의 경우, 본 발명의 일반적인 사용은 인접한 프레임들에서 동일한 디스플레이 구성 요소상의 동일한 패턴을 비교하는 것이다.
그룹으로 리세트되어 있는 SLM의 경우, PWM 패틴은 일반적으로 동일한 프레임내에서 리세트 그룹들사이에서 변한다. 이것은 리세트 그룹마다 "스태거된"(staggered) 로딩 시퀀스의 결과로서 또는 리세트 그룹들중에 하위 비트 가중치들의 순서가 서로 다르게 되어 있기 때문에 생길 수 있다. 이와 같이, 분리 리세트 SLM의 경우, 본 발명의 일반적인 사용은 동일 프레임에서 이웃하는 디스플레이 구성요소들상의 서로 다른 패턴들을 비교하는 것이다 어느 경우에든지, 세기는 동일하거나 또는 변할 수 있다.
일반적으로, SLM이 글로벌 또는 분리 리세트에 대한 것인지에 상관없이, 파라메타들(세기, 프레임 주기, 및 패턴) 중 임의의 어느 하나가 특정 비교를 위해 변동될 수 있다.
상기 설명의 일예에서, 디스플레이 구성 요소마다에 대한 분석이 행해진다. 그러나, 이것은 설명의 간단함을 위한 것이고 임의의 갯수의 디스플레이 구성 요소를 사용할 수도 있다.
특정 PWM 패턴을 분석하기 위하여, 디스플레이 구성 요소는 그 패턴에 따라 온 또는 오프된다. 그 다음에, 일례로서, 동일한 디스플레이 구성 요소는 인접한 프레임 주기에서의 동일한 패턴에 따라 온 또는 오프될 수도 있다. 그렇지 않고, 다른 일례로서, 인접한 디스플레이 구성 요소는 동일 프레임 주기에서의 서로 다른 패턴에 따라 온 또는 오프된다 어느 경우에든지, 그 결과는 2개의 디스플레이를 비교하기 위한 근거가 되는 2개의 광 함수이다.
특정 패턴의 경우, 예를 들어 패턴 A의 경우, 광 함수 LA는 프레임내에서의 시간 슬라이스의 세기 i와 시퀀스 번호 t로 정의된다. 광 함수는 2개의 값 0, 1을가지며,
여기서, 디스플레이 구성 요소가 온 일 때는 LA(i, t) = 1이고,
디스플레이 구성 요소가 오프 일 때는 LA(i, t) = 0이다.
도 3은 2개의 인접한 프레임들에 대해 서로 다른 세기를 표시하기 위해 특정 패턴을 사용한 결과인 2개의 광 함수, LA및 LB을 도시하고 있다. LA는 더 작은 수의 "온" 시간 슬라이스에 의해 표시한 바와 같이 LB보다 더 작은 광도값에 대한 함수이다. 도 3에서, 광 함수들은 동일 패턴에 대한 것이지만, 동일한 원리가 서로다른 패턴에 대한 광 함수에 적용된다.
2개의 광 함수는 급수 광 차 함수 DAB를 얻는데 사용될 수 있다. 이 함수를수학적으로 표현하면 다음과 같다.
여기서, d는 패턴간 세기차(intensity difference)이고. to는 시간 옵셋이다. 예를 들어, 한 광 함수가 세기 128의 함수이고 다른 광 함수가 세기 127의 함수이면, d=1 이다. 2개의 광 함수가 동일 세기를 가지면, d=0 이다. 동일한 패턴이 2개의 인접한 프레임들에서 비교되고 있으면, to는 한 프레임 주기이다. 서로 다른 패턴들이 동일 프레임에서 비교되고 있으면. to=0이다.
2개의 광 함수 LA및 LB로부터 DAB를 계산하기 위해서는, 제1 단계는 광 차함수 LA-LB를 계산하는 것이다. 이것은 단순히 각각의 시간 구간 t에 대해서 LA의 값(0 또는 1)에서 LB의 값(0 또는 I)을 감산하는 것이다. 대안적으로는, LA를 LB에서 감산할 수도 있다.
도 4는 광 차 함수 LA-LB를 도시한 것이다. 각각의 시간 구간 t에서, LB의 값은 LA의 값에서 감산된다. 상기 차 함수의 값들은 1, 0 또는 -1일 수 있다.
광 차 함수를 계산한 후에, 광 차 급수 함수가 계산된다. 각각의 시간 구간, t에서, 상기 차 함수의 이전의 값이 상기 차 함수의 현재의 값에 가산된다. 예를 들어, 제1 시간 구간에서, 급수 차 함수의 값은 1이고, 그 다음 시간 구간에서는 1+1=2이며, 제3 시간 구간에서는 2+1=3이고, 제4 시간 구간에서는 3+(-1)=2등등으로 된다.
각각의 시간 구간에서, 상기 차 함수의 누적 합(cumulative sum)은 이전의 값 + 현재의 값으로서 계산된다.
광 차 급수 함수는 PWM 패턴의 광학적 특성을 구하기 위해 또는 이들 특성들에 대한 2개의 PWM 패턴들을 비교하기 위한 많은 "메트릭"(metrics)에서 사용될 수 있다. 이하에 설명하는 바와 같이 이들 광학적 특성들에는 대칭성, 천이 에러 및 균일성 등이 있다.
이들 메트릭 각각은 한 프레임 주기에 걸쳐 계산되는 광 차 급수 함수를 사용하며, 따라서 F는 프레임에서의 시간 구간의 수이다. 앞서 기술한 각각의 픽셀이 8-비트 세기 값을 갖는 PWM 예를 사용하면, 프레임당 256개의 가능한 세기 및 255개의 시간 구간들이 있다. 각각의 메트릭은 이상적인 응답에 대해 정규화될 수있다.
일반적으로, 각각의 메트릭은 소망의 광학적 특성을 나타내는 단일 값을 얻기 위하여 급수 광 차 함수를 사용한다. 이 값은 PWM 표시와 관련된 누적된 광 에너지 응답을 동일한 프레임에서 서로 다른 디스플레이 구성 요소의 에너지 응답에 대하여 또는 서로 다른 프레임에서 동일한 또는 서로 다른 디스플레이 구성 요소에 대하여 비교한다.
PWM 패턴을 평가하기 위한 제1 메트릭은 2개의 패턴, 패턴 A 와 패턴 B(동일할 수도 있음)의 천이시의 광의 순 불균형(net imbaiance of light)을 측정하는 대칭성 메트릭(symmetry metric)이다. 이 메트릭은 수학적으로 다음과 같이 표현된다.
이 메트릭은 "0"이 완전 대칭을 표시하도록 정규화될 수도 있다. 최대 확산(maximum spread) 및 최대 피크(maximum peak)도 또한 대칭성 메트릭에서의 급수 함수로부터 계산될 수 있다. 이와 같이.
최대 확산 = 최대 M1AB(id)-최소 M1AB(ib)
,및
최대 피크 = 최대 ｜M1AB(id)｜ 이다.
PWM 패턴들을 구하기 위한 제2 메트릭은 2개의 패턴, 괘턴 A 와 패턴 B(동일할 수도 있음)의 천이시의 통합 광 효과의 진폭 및 지속 기간(amplitude and duration of integrated light effects)을 측정하는 천이 에러 메트릭(transition error metric)이다. 이 메트릭은 본질적으로 평균 제곱근 연산(root mean square operation)이며 수학적으로 다음과 같이 표현된다:
이 메트릭은 "0"이 완전 대칭을 표시하도록 정규화될 수도 있다.
제3 메트릭은 시간 옵셋을 갖는 2개의 누적된 차 함수(accumulateddifference functions)를 사용하는 균일성 메트릭(uniformity metric)이다. 이 메트릭은 수학적으로 다음과 같이 표현된다:
공지된 컴퓨터 프로그래밍 기법들이 이들 메트릭을 컴퓨터 알고리즘으로 구현하는데 사용될 수 있다.
부록 A는 특정 PWM 패턴을 평가하기 위해 이상 기술한 메트릭들을 사용한 결과의 리스트이다. 이 패턴은 다음과 같이 기재된다:
7 4 6 7 5 7 6 7 0 1 3 2 7 6 7 5 7 6 7 4 7
여기서, 시퀀스에서 각각의 숫자는 그 값의 비트-가중치를 갖는 비트-면을 나타낸다. 비트-가중치 7, 6. 5 및 4에 대한 비트-면들은 분리되어 있으며, 따라서 비트-면 4 및 5는 각각 두번 로드되고, 비트-면 6은 4번 로드되며, 비트-면 7은 9번 로드된다. 천이 에러, 대칭성, 확산 및 피크는 여러가지 세기차들에 대해 계산되었으며, 특히 한 비트-가중치에서 그 다음으로의 천이 시의 것에 대해 계산되었다. 또한, 이들 값은 구해진 전체 패턴에 대해 평균되었다.
다른 실시예들
본 발명이 비록 특정 실시예들에 대해서 기술되어 있지만, 이상의 기재 내용은 한정적 의미로 해석되어서는 안된다. 이상 개시된 실시예들의 여러가지 수정들 및 다른 실시예들도 기술 분야의 전문가들에게는 분명한 것이 된다. 따라서, 첨부된 특허 청구의 범위는 본 발명의 진정한 범위내에 드는 모든 수정예들을 포함하는것으로 간주된다.
부록 "A"

Claims (16)

  1. 프레임 주기 동안에 디스플레이 디바이스의 디스플레이 구성 요소의 온 또는 오프 값들로 포맷되는 영상 데이터의 펄스 폭 변조된 디스플레이(pulse width modulated display)를 위해 각각이 광도를 제공하는 비트 시퀀스 패턴을 구하는 인터프레임(interframe) 방법에 있어서,
    상기 프레임 주기들 중 제1 주기를 구성하는 제1의 일련의 시간 구간들 동안에 상기 디스플레이 구성 요소들 중 한 디스플레이 구성 요소의 온 또는 오프 값을 나타내는 제1 광 함수(light function)를 규정(specify)하는 단계와;
    상기 프레임 주기들 중 그 다음 주기를 구성하는 제2의 일련의 시간 구간들 동안에 상기 한 디스플레이 구성 요소의 온 또는 오프 값을 나타내는 제2 광 함수(light function)를 규정(specify)하는 단계와,
    상기 제1 광 함수로부터 상기 제2 광 함수를 감산함으로써 광 차 함수(light difference function)를 제공하는 단계와;
    상기 차 함수의 값들을 합산함으로써 광 차 급수 함수(light difference series function)를 제공하는 단계, 및
    상기 광 차 급수 함수로부터 상기 패턴의 광학적 특성을 나타내는 값을 수학적으로 도출하는 단계를 포함하는 것을 특징으로 하는 인터프레임 방법.
  2. 제1항에 있어서,
    상기 제1 광 함수로부터의 광도와 상기 제2 광 함수로부터의 광도 사이의 차이를 나타내는 광도차 값(intensity differencc value)을 계산하는 단계를 더 포함하는 것을 특징으로 하는 인터프레임 방법.
  3. 제2항에 있어서,
    상기 도출 단계는,
    상기 각각의 시간 구간에서의 상기 광 차 급수 함수에서, 인자(factor)로서 상기 광도차 값을 갖는 뺄셈항(subtraction term)을 감산하여, 변조된 급수 함수(modified series function)를 얻는 단계를 포함하는 것을 특징으로 하는 인터프레임 방법.
  4. 제2항에 있어서,
    상기 도출 단계는 상기 차 함수의 각각의 값에서 상기 광도차 값의 1/2을 감산하고, 상기 감산 단계의 결과들을 합산하고, 상기 합산 단계의 결과를 상기 프레임 주기들 중 하나에서의 상기 시간 구간들의 수로 나누어, 대칭성 급수 함수(symmetry series function)를 얻는 단계에 의해 수행되는 것을 특징으로 하는 인터프레임 방법.
  5. 제4항에 있어서,
    상기 대칭성 급수 함수의 최대값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 인터프레임 방법.
  6. 제4항에 있어서,
    상기 대칭성 급수 함수의 최대값 및 최소값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 인터프레임 방법.
  7. 제2항에 있어서,
    상기 시간 구간들 각각은 연속한 구간 번호를 가지며,
    상기 도출 단계는 상기 각각의 시간 구간에서 상기 광도차 값을 그 시간 구간의 상기 구간 번호와 곱하고, 상기 곱셈 단계의 결과를 상기 프레임 주기들 중의 하나에서의 상기 시간 구간들의 수로 나누고, 상기 몫을 상기 차 함수의 값으로부터 감산하여, 변조된 급수 함수를 얻은 다음에 평균 제곱근 연산(root mean square operation)에 상기 변조된 차 함수를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 인터프레임 방법.
  8. 제1항에 있어서 ,
    상기 규정 단계, 상기 감산 단계, 및 상기 합산 단계를 반복함으로써 제2의 광 차 급수 함수를 제공하는 단계를 더 포함하고,
    상기 도출 단계는 상기 광 차 급수 함수 및 상기 제2의 광 차 급수 함수로부터 상기 값을 도출하는 것을 특징으로 하는 인터프레임 방법.
  9. 프레임 주기 동안에 디스플레이 디바이스의 디스플레이 구성 요소의 온 또는 오프 값들로 포맷되는 영상 데이터의 펄스 폭 변조된 디스플레이(pulse width modulated display)를 위해 비트 시퀀스 패턴을 구하는 인프라프레임(intraframe)방법에 있어서,
    상기 프레임 주기들 중 하나를 구성하는 일련의 시간 구간들 동안에 상기 디스플레이 구성 요소들 중 제1의 디스플레이 구성 요소의 온 또는 오프 값을 나타내는 제1 광 함수(light function)를 규정(specify)하는 단계와;
    상기 일련의 시간 구간들 동안에 상기 디스플레이 구성 요소들 중 제2의 디스플레이 구성 요소의 온 또는 오프 값을 나타내는 제2 광 함수(light function)를 규정 (specify)하는 단계와,
    상기 제1 광 함수로부터 상기 제2 광 함수를 감산하여 광 차 함수(lishtdifference fumction)를 제공하는 단계와,
    상기 차 함수의 값들을 합산하여 광 차 급수 함수(light difference series function)를 제공하는 단계; 및
    상기 광 차 급수 함수로부터 상기 패턴의 광학적 특성을 나타내는 값을 수학적으로 도출하는 단계를 포함하는 것을 특징으로 하는 인트라프레임 방법.
  10. 제9항에 있어서,
    상기 제1 광 함수로부터의 광도와 상기 제2 광 함수로부터의 광도 사이의 차이를 나타내는 광도차 값(intensity difference value)을 계산하는 단계를 더 포함하는 것을 특징으로 하는 인트라프레임 방법.
  11. 제10항에 있어서,
    상기 도출 단계는,
    상기 각각의 시간 구간에서의 상기 광 차 급수 함수에서, 인자(factor)로서 상기 광도차 값을 갖는 뺄셈항(subtraction term)을 감산하여, 변조된 급수 함수(modified series function)를 얻는 단계를 포함하는 것을 특징으로 하는 인트라프레임 방법.
  12. 제10항에 있어서,
    상기 도출 단계는 상기 차 함수의 각각의 값에서 상기 광도차 값의 l/2을 감산하고, 상기 감산 단계의 결과들을 합산하고, 상기 합산 단계의 결과를 상기 프레임 주기들 중 하나에서의 상기 시간 구간들의 수로 나누어, 대칭성 급수 함수(symmetry series function)를 얻는 단계에 의해 수행되는 것을 특징으로 하는 인트라프레임 방법.
  13. 제12항에 있어서,
    상기 대칭성 급수 함수의 최대값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 인트라프레임 방법.
  14. 제12항에 있어서 ,
    상기 대칭성 급수 함수의 최대값 및 최소값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 인트라프레임 방법.
  15. 제10항에 있어서,
    상기 시간 구간들 각각은 연속한 구간 번호를 가지며,
    상기 도출 단계는 상기 각각의 시간 구간에서 상기 광도차 값을 그 시간 구간의 상기 구간 번호와 곱하고, 상기 곱셈 단계의 결과를 상기 프레임 주기들 중의 하나에서의 상기 시간 구간들의 수로 나누고, 상기 몫을 상기 차 함수의 값으로부터 감산하여, 변조된 급수 함수를 얻은 다음에, 평균 제곱근 연산(root mean square operation)에 상기 변조된 차 함수를 사용하는 단계에 의해 수행되는 것을 특징으로 하는 인트라프레임 방법.
  16. 제9항에 있어서 ,
    상기 규정 단계, 상기 감산 단계, 및 상기 합산 단계를 반복함으로써 제2의광 차 급수 함수를 제공하는 단계를 더 포함하고,
    상기 도출 단계는 상기 광 차 급수 함수 및 상기 제2의 광 차 급수 함수로부터 상기 값을 도출하는 것을 특징으로 하는 인트라프레임 방법.
KR1019960041875A 1995-09-27 1996-09-24 공간광변조기용최적펄스폭변조패턴의결정방법 KR100390732B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US441195P 1995-09-27 1995-09-27
US60/004,411 1995-09-27

Publications (2)

Publication Number Publication Date
KR970019033A KR970019033A (ko) 1997-04-30
KR100390732B1 true KR100390732B1 (ko) 2003-10-04

Family

ID=21710666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960041875A KR100390732B1 (ko) 1995-09-27 1996-09-24 공간광변조기용최적펄스폭변조패턴의결정방법

Country Status (6)

Country Link
EP (1) EP0766222A1 (ko)
JP (1) JPH09134148A (ko)
KR (1) KR100390732B1 (ko)
CN (1) CN1158055A (ko)
CA (1) CA2185830A1 (ko)
TW (1) TW310417B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841413A (en) * 1997-06-13 1998-11-24 Matsushita Electric Industrial Co., Ltd. Method and apparatus for moving pixel distortion removal for a plasma display panel using minimum MPD distance code
EP0919982B1 (en) * 1997-11-26 2002-08-21 Motorola, Inc. Liquid crystal display controller with subframe control
US6097368A (en) * 1998-03-31 2000-08-01 Matsushita Electric Industrial Company, Ltd. Motion pixel distortion reduction for a digital display device using pulse number equalization
US6100863A (en) * 1998-03-31 2000-08-08 Matsushita Electric Industrial Co., Ltd. Motion pixel distortion reduction for digital display devices using dynamic programming coding
US7173639B2 (en) * 2002-04-10 2007-02-06 Intel Corporation Spatial light modulator data refresh without tearing artifacts
CN103635952B (zh) * 2011-06-22 2016-06-15 加拿大准视有限公司 基于时域心理视觉调制的图像／信息显示系统及方法

Also Published As

Publication number Publication date
JPH09134148A (ja) 1997-05-20
KR970019033A (ko) 1997-04-30
EP0766222A1 (en) 1997-04-02
CA2185830A1 (en) 1997-03-28
CN1158055A (zh) 1997-08-27
TW310417B (ko) 1997-07-11

Similar Documents

Publication Publication Date Title
US5497172A (en) Pulse width modulation for spatial light modulator with split reset addressing
US6232963B1 (en) Modulated-amplitude illumination for spatial light modulator
US5969710A (en) Bit-splitting for pulse width modulated spatial light modulator
KR100459053B1 (ko) 영상디스플레이시스템에서아티팩트의제거방법
US6097368A (en) Motion pixel distortion reduction for a digital display device using pulse number equalization
US5737038A (en) Color display system with spatial light modulator(s) having color-to-color variations in the data bit weight sequence
EP0664917B1 (en) Display device
US6008785A (en) Generating load/reset sequences for spatial light modulator
US20030142274A1 (en) Dmd-based image display systems
EP0981127A1 (en) Addressing scheme for spatial light modulator display systems using spatial and temporal multiplexing
US20070064008A1 (en) Image display system and method
US6774916B2 (en) Contour mitigation using parallel blue noise dithering system
EP0704835A2 (en) Error diffusion filter for DMD display
US8493419B2 (en) Mitigation of artifacts in PWM illumination imaging
US20090021540A1 (en) Boundary Dispersion for Mitigating PWM Temporal Contouring Artifacts in Digital Displays
JP3844013B2 (ja) ディスプレイ装置
KR100390732B1 (ko) 공간광변조기용최적펄스폭변조패턴의결정방법
US6014128A (en) Determining optimal pulse width modulation patterns for spatial light modulator
JP2004133400A (ja) 要求されるよりも少ない映像レベルを表示してディザリングノイズを改善させるプラズマディスプレイパネル（ｐｄｐ）
EP0685830A1 (en) Improvements in or relating to spatial light modulators
EP0686954B1 (en) Non binary pulse width modulation method for spatial light modulator
WO2003003337A1 (fr) Procede et appareil d&#39;affichage d&#39;images couleurs

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 14

EXPY Expiration of term