KR20180066211A - 디스플레이에 있어서 그리고 디스플레이에 관한 개선 - Google Patents

디스플레이에 있어서 그리고 디스플레이에 관한 개선 Download PDF

Info

Publication number
KR20180066211A
KR20180066211A KR1020187013444A KR20187013444A KR20180066211A KR 20180066211 A KR20180066211 A KR 20180066211A KR 1020187013444 A KR1020187013444 A KR 1020187013444A KR 20187013444 A KR20187013444 A KR 20187013444A KR 20180066211 A KR20180066211 A KR 20180066211A
Authority
KR
South Korea
Prior art keywords
display
color
image
received
orientation
Prior art date
Application number
KR1020187013444A
Other languages
English (en)
Other versions
KR102600905B1 (ko
Inventor
사이먼 트리탈
Original Assignee
배 시스템즈 피엘시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배 시스템즈 피엘시 filed Critical 배 시스템즈 피엘시
Publication of KR20180066211A publication Critical patent/KR20180066211A/ko
Application granted granted Critical
Publication of KR102600905B1 publication Critical patent/KR102600905B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

사용자가 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 방법과 장치가 제공된다. 컬러 이미지는 하나 이상의 컬러 성분에 의해 형성되고, 각각의 컬러는 사전 설정된 상대적인 타이밍으로 표시될 2개 이상의 서로 다른 컬러 중에서 선택된다. 수신된 이미지 데이터가 컬러 이미지 내의 구성요소로서 표시될 피처의 하나 이상의 컬러 성분을 정의한다. 예를 들어, 사용자의 눈의 응시 방향에 대한 디스플레이의 방위의 변화율을 나타내는 레이트 데이터가 연관된 트래커 시스템으로부터 수신된다. 수신된 레이트 데이터는, 컬러 성분 각각의 컬러, 수신된 레이트 데이터, 및 사전 설정된 상대적인 타이밍에 따라 컬러 성분에 대한 결정된 위치에 필요한 각각의 조정을 결정하는 것을 포함하여, 피처의 하나 이상의 컬러 성분 각각을 표시하기 위한 디스플레이 상의 위치를 결정하기 위해 사용된다. 하나 이상의 컬러 성분 각각의 결정된 위치가, 각각의 결정된 위치에 컬러 성분을 표시하기 위한 표시 장치에 출력된다.

Description

디스플레이에 있어서 그리고 디스플레이에 관한 개선
본 발명은 디스플레이용 컬러 이미지를 생성하기 위한 디스플레이 방법과 장치에 관한 것이다. 상세하게는 그러나 비제한적으로, 본 발명은, 디스플레이와 시청자의 응시 방향의 상대적인 움직임이 있는 경우, 원하지 않는 디스플레이 아티팩트를 인식하는 것을 감소시키는 방식으로 컬러 이미지를 디스플레이 상에서 보기 위한, 서로 다른 컬러의 컴포넌트 이미지의 시퀀스로서 생성하는 방법과 장치를 제공한다. 본 발명은 특히 헤드 또는 헬멧 마운티드 디스플레이(HMD) 시스템에 적용될 수 있다.
예를 들어 외부 장면 위에 중첩(overlay)되어 보이도록 의도한 컬러 이미지가 HMD 시스템에서 생성되는 경우, HMD와 시청자의 응시 방향의 상대적인 움직임이 있으면 시청자가 가짜 컬러 효과(false colour effect)를 인식할 수 있다고 알려져 있다. 통상적으로, 이는 이미지 리프레시 구간, 예를 들어 60Hz 디스플레이의 경우 16.667ms의 구간 내에서 컬러 이미지가 컬러 성분 이미지의 시퀀스로서 표시되는 경우에 일어난다. 이 문제는 시청자가 소위 '공간 안정화(space-stabilised)된' 이미지, 또는 공간 안정화된 심볼 또는 이미지 내의 다른 피처가 표시되는 중인 외부 장면을 보고 있는 경우에 특히 뚜렷하다. 공간 안정화된 이미지, 심볼, 또는 다른 피처(feature)는, 머리 움직임과 관계없이, 외부 장면 내의 지점으로의 시청자의 시선(line of sight)에 대해 디스플레이 상의 고정된 위치에 중첩하여 나타내기 위한 것이다. 이 상황에서, 공간 안정화된 이미지 피처의 컬러 성분이 이러한 상대적인 움직임 동안 디스플레이 상에서 분리되어 보이므로, 시청자에게 폴스 컬러(false colour) 영역이 보이는 것으로 알려져 있다.
본 발명의 제1 양태에 따르면, 사용자가 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 방법이 제공된다. 상기 컬러 이미지는 하나 이상의 컬러 성분에 의해 형성되고, 각각의 컬러는 사전 설정된 상대적인 타이밍으로 표시될 2개 이상의 서로 다른 컬러 중에서 선택되며, 상기 상기 표시 장치를 제어하기 위한 방법은,
(i) 상기 컬러 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 컬러 성분을 정의하는 이미지 데이터를 수신하는 단계;
(ii) 상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하는 단계;
(iii) 상기 컬러 성분 각각의 컬러, 상기 수신된 레이트 데이터, 및 상기 사전 설정된 상대적인 타이밍에 따라 상기 컬러 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 컬러 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하는 단계; 및
(iv) 상기 각각의 결정된 위치에 상기 컬러 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 컬러 성분 각각의 결정된 위치를 출력하는 단계를 포함한다.
이 방법에 의하면, 상대적인 움직임이 없는 경우 상기 피처가 표시되었을 위치가 다르면, 이미지 내부에서 피처의 컬러 성분 각각을 표시할 위치를 결정하는 경우, 가능한 축, 즉 방위각(azimuth), 고도(elevation), 또는 롤(roll)에 있어서의 축 중 임의의 축에 대한 디스플레이와 시청자의 눈의 응시 방향의 상대적인 움직임이 보상될 수 있다. 이러한 방식으로, 컬러 성분이 정확하게 위치된 것으로 인식되며, 피처는 의도한 색으로 인식된다.
예시적인 일 실시예에서, 단계 (iii)에서, 상기 2개 이상의 컬러가 서로 다르면, 상기 2개 이상의 컬러 중 하나가 기준 컬러로서 선택되어, 상기 선택된 기준 컬러의 컬러 성분의 타이밍에 대한 상기 컬러 성분의 타이밍을 이용하여 상기 각각의 조정이 결정된다.
다른 예시적인 실시예에서, 상기 사전 설정된 상대적인 타이밍은 상기 서로 다른 컬러의 컬러 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의한다.
예시적인 일 실시예에서, 상기 2개 이상의 서로 다른 컬러는 순차적으로 표시될 3개의 컬러를 포함하고, 상기 선택된 기준 컬러는 상기 3개의 컬러 중에서 표시될 제2 컬러이다.
예시적인 일 실시예에서, 단계 (iii)에서, 상기 하나 이상의 컬러 성분을 표시하기 위한 위치를 결정하는 단계는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선(line of sight)에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고, 상기 디스플레이 상의 위치를 결정하는 단계를 포함한다.
다른 예시적인 실시예에서, 단계 (iii)에서, 각각의 조정을 결정하는 것은, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 컬러 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정하는 것을 포함한다.
예시적인 일 실시예에서, 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타낸다.
다른 예시적인 실시예에서, 상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의한다.
본 발명의 특정 적용 예에서, 중요한 롤 움직임에 대한 기회가 제한될 수 있으며, 디스플레이 상에 피처의 컬러 성분을 위치시키는 경우, 레이트 데이터의 2개의 성분만이 고려될 수 있다. 특히, 단계 (iii)에서, 각각의 조정을 결정하는 것은, 상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 컬러 성분이 표시되었을 위치로부터의 선형 변위를 결정하는 것을 포함하고, 상기 선형 변위는, 상기 컬러 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함한다. 제로 롤 레이트를 가정하여 가능할 수 있는, 선형 시프트의 계산은 회전에 대한 조정보다 위치 계산을 더 단순화한다.
예시적인 일 실시예에서, 상기 2개 이상의 서로 다른 컬러는 적색, 녹색, 및 청색을 포함한다.
다른 예시적인 실시예에서, 단계 (iii)에서, 상기 피처의 하나 이상의 컬러 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하는 단계는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하는 단계를 더 포함한다. 이를 통해 평평한 프로파일에서 구형 프로파일까지의 범위의 디스플레이 표면에 대한 위치가 결정될 수 있으며, 컬러 성분을 표시하기 위해 더 정밀하게 위치 설정하는 것이 가능할 수 있다.
상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정된다. 이러한 트래커는, 디스플레이가 움직이는 동안 외부에 보이는 피처에 고정적으로 응시를 유지하는 사용자로 인해, 또는 눈의 응시 방향의 변화로 인해, 또는 2개의 조합으로 인해 디스플레이와 응시 방향의 상대적인 움직임이 결정될 수 있게 한다.
예시적인 일 실시예에서, 상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)이다. 이러한 적용 예에서, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신될 수 있거나, 또는 헤드 또는 헬멧 트래커 시스템에 의한 출력에서 도출되며, 상기 사용자의 응시 방향이 관성 공간에서 보이는 피처에 고정되어 유지된다는 가정 하에 상기 HMD의 움직임의 상대적인 레이트와 상기 사용자의 응시 방향을 나타낸다.
본 발명의 제2 양태에 따르면, 제1 양태의 표시 장치를 제어하기 위한 방법과 동등한 장점과 혜택을 가진, 사용자가 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 장치가 제공된다. 상기 컬러 이미지는 하나 이상의 컬러 성분에 의해 형성되고, 각각의 컬러는 사전 설정된 상대적인 타이밍으로 표시될 2개 이상의 서로 다른 컬러 중에서 선택되며, 상기 표시 장치를 제어하기 위한 장치는,
상기 컬러 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 컬러 성분을 정의하는 이미지 데이터를 수신하기 위한 입력;
상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하기 위한 입력; 및
이미지 프로세서를 포함한다. 상기 이미지 프로세서는,
(i) 상기 컬러 성분 각각의 컬러, 상기 수신된 레이트 데이터, 및 상기 사전 설정된 상대적인 타이밍에 따라 상기 컬러 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 컬러 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하고;
(ii) 상기 각각의 결정된 위치에 상기 컬러 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 컬러 성분 각각의 결정된 위치를 출력하도록 구성된다.
상기 장치의 예시적인 일 실시예에서, 단계 (i)에서, 상기 2개 이상의 컬러가 서로 다르면, 상기 2개 이상의 컬러 중 하나가 기준 컬러로서 선택되어, 상기 이미지 프로세서가 상기 선택된 기준 컬러의 컬러 성분의 타이밍에 대한 상기 컬러 성분의 타이밍을 이용하여 상기 각각의 조정을 결정하도록 구성된다.
상기 장치의 다른 예시적인 실시예에서, 상기 2개 이상의 서로 다른 컬러는 순차적으로 표시될 3개의 컬러를 포함하고, 상기 선택된 기준 컬러는 상기 3개의 컬러 중에서 표시될 제2 컬러이다.
상기 장치의 예시적인 일 실시예에서, 상기 사전 설정된 상대적인 타이밍은 상기 서로 다른 컬러의 컬러 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의한다.
상기 장치의 다른 예시적인 실시예에서, 단계 (i)에서, 상기 이미지 프로세서는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고 상기 디스플레이 상의 위치를 결정함으로써, 상기 하나 이상의 컬러 성분을 표시하기 위한 위치를 결정하도록 구성된다.
상기 장치의 예시적인 일 실시예에서, 단계 (i)에서, 상기 이미지 프로세서는, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 컬러 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정함으로써 상기 각각의 조정을 결정하도록 구성된다.
예시적인 일 실시예에서, 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타낸다.
다른 예시적인 실시예에서, 상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의한다. 이러한 가정은, 단계 (i)에서, 이미지 프로세서가, 디스플레이와 사용자의 응시 방향의 상대적인 움직임이 없었다면 컬러 성분이 표시되었을 위치로부터의 선형 변위를 결정함으로써 각각의 조정을 결정할 수 있게 하며, 상기 선형 변위는 상기 컬러 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함한다.
제1 양태에 대해 말하자면, 상기 2개 이상의 서로 다른 컬러는 적색, 녹색, 및 청색을 포함한다.
상기 장치의 다른 예시적인 실시예에서, 단계 (i)에서, 상기 이미지 프로세서는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하여 상기 피처의 하나 이상의 컬러 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하도록 구성된다.
상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정된다.
본 발명의 제2 양태의 구체적인 적용 예에서, 상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)이다. 이러한 적용 예에서, 이미지 피처가 정렬될 동일한 지점이건 아니건 간에, 사용자가 외부 장면 내의 피처에 고정된 응시 방향을 유지 중이라는 가정 하에 레이트 데이터가 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출된다.
본 발명의 제3 양태에 따르면, 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)이 제공된다. 상기 HMD 시스템은, 실질적으로 투명한 헤드 또는 헬멧 마운티드 디스플레이 상에 표시하기 위한 컬러 이미지를 생성하기 위한 표시 장치, 및 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 이미지 프로세서를 포함한다.
본 발명의 제4 양태에 따르면, 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체, 또는 컴퓨터 판독가능 매체에 접근하기 위한 수단을 포함하고, 디지털 프로세서 상에 로딩되어 실행되는 경우, 컴퓨터 프로그램 코드는 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된다.
본 발명의 제5 양태에 따르면, 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 프로그램된 이미지 프로세서가 제공된다.
이하, 첨부 도면을 참조하여 본 발명의 예시적인 실시예에 대해 더 상세하게 설명할 것이다.
도 1a는 주어진 프레임 구간 또는 이미지 리프레시 구간 내에서 적절한 지속시간과 휘도의 적색(R), 녹색(G), 및 청색(B) 광 펄스의 시퀀스를 이용하여 컬러 화소를 생성하기 위한 공지된 방법을 나타낸 도면이다.
도 1b는 화소의 표시된 적색, 녹색, 및 청색 컬러 성분의 감지된 위치 상에 표시하는 것에 대한 눈 움직임의 공지된 효과를 나타낸 도면이다.
도 2는 공간 안정화된 심볼을 포함하는 이미지를 헤드 또는 헬멧 마운티드 디스플레이(HMD)에서 생성하기 위한 공지된 과정의 단계를 나타낸 흐름도이다.
도 3 및 도 3a는 본 발명의 예시적인 실시예에 따른 개선된 이미지 생성 프로세스를 나타낸 흐름도이다.
도 4a는 HMD 이미지 면적의 영역 내에 이미지의 컬러 성분을 생성하는 것이 본 발명의 예시적인 실시예에 의해 어떻게 변경될 수 있는지를 나타낸 도면이다.
도 4b는 본 발명의 예시적인 실시예에 따른, 도 4a에 도시된 변형 예에 속한 HMD 이미지 영역을 보는 경우에 시청자가 무엇을 인식하는지를 나타낸 도면이다.
도 5는 본 발명의 예시적인 실시예가 구현될 수 있는 전형적인 HMD 시스템의 구성 요소를 나타낸 도면이다.
공지된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD) 시스템은 이미지 프로세서의 제어 하의 표시 장치, 및 사용자의 시선(line of sight)에서 외부 장면 쪽으로 사용자의 한쪽 눈이나 다른쪽 눈의 전방에 위치하는 헬멧 바이저(helmet visor) 또는 도파로 형태의 투명한 결합기를 포함한다. 표시 장치에 의해 생성되는 이미지는 바이저의 내측 표면 위에 투사되어 보는 사람(viewer)의 눈 쪽으로 반사되거나 또는 도파로를 통해 전달될 수 있으며, 외부 장면의 사용자의 시야 위에 중첩(overlay)되어 나타나도록 시선(line of sight)을 따라 출력될 수 있다. 표시 장치는 표시 장치의 타입에 따라, 예를 들어 하나 이상의 조명 광원으로부터의 광을 반사하거나, 또는 방출하거나 투과하기 위해 개별적으로 통제 가능한 각각의 화소 크기의 소자(element)를 가진 디지털 마이크로미러 장치(digital micro-mirror device, DMD) 또는 실리콘 액정(Liquid Crystal on Silicon, LCoS) 표시 장치를 포함할 수 있다. 컬러 디스플레이에서는, 각각의 화소 위치에 별개의 광의 펄스 형태로, 하나 이상의 조명 컬러, 예를 들어 원색(적색(R), 녹색(G), 및 청색(B))을 포함하는 광의 펄스 형태의 광이 표시 장치로부터 출력된다. 눈은 이미지 리프레시 구간 - 예시적인 60Hz 디스플레이 리프레시 레이트의 경우 16.667ms - 동안 각각의 화소 위치에 출력되는 별개의 광 펄스를 통합하고, 이미지 리프레시 구간 동안 각각의 조명 컬러의 펄스의 총 지속시간에 의해 결정되는 휘도와 컬러의 화소를 인식한다.
디스플레이 이미지 영역에 대해 사용자의 눈이 상대적으로 움직이는 경우, 디지털 HMD가 이미지 리프레시 구간 내에서 적시에 분리되는 복수의 별개의 광 펄스를 이용하여 이미지를 생성하면 공지된 문제가 발생한다. 이러한 상대적인 움직임은, 눈이 외부 장면에 보이는 피처에 고정된 응시를 유지하는 동안(고정된 응시 방향이 관성 공간 내의 고정된 피처에 대한 것인 경우, 전정안반사(vestibulo-ocular reflex)), 외부 장면 내의 서로 다른 피처 쪽으로 응시 방향을 바꾸거나(단속성 안구 운동(saccadic eye movement)), 또는 머리의 움직임, 따라서 디스플레이의 움직임 쪽으로 응시 방향을 바꾸기 위해 눈 자체를 움직이기 때문일 수 있다. 도 1a 및 도 1b을 참조하여, 컬러 표시의 예에서는 이 문제에 대해 설명할 것이다.
먼저 도 1a를 참조하면, 디스플레이의 이미지 영역 내부에서 3개의 인접한 화소(1, 2, 3)의 그룹으로 백색 화소(2)를 생성하기 위한 예에서, 주어진 이미지 리프레시 구간 내에서 적절한 지속시간과 휘도의 적색(R), 녹색(G), 및 청색(B) 광 펄스의 시퀀스를 이용하여 컬러 화소를 생성하기 위한 방법이 도시되어 있다. 이 도면에서는, 이미지 리프레쉬 기간 동안 디스플레이에 대한 눈 움직임이 없고 또한 시청자가 화소 2가 의도된 바와 같이 백색 화소라고 인식한다고 가정한다. 시청자가 화소 컬러를 인식하는 것을 변경하지 않고 조명 컬러의 시퀀스가 도 1a에 도시된 R, G, B 순서에서 변경될 수 있다.
도 1b를 참조하면, 디스플레이에 대한 눈 움직임의 효과가 녹색 광과 청색 광 펄스로 하여금 의도한 화소 위치로부터 변위되어 나타나게 한다는 것을 알 수 있다. 이 변위의 결과는, 눈이 화소 2와 화소 3을 커버하는 디스플레이의 영역에서 서로 다른 조합의 R, G, 및 B 펄스를 통합하는 것이며, 이 예에서는 변위된 광 펄스의 중첩 정도에 따라 시청자가 컬러의 범위를 인식한다. 화소(2)는 더 이상 백색으로 보이지 않는다. 대신에, 시청자가 R 성분, RG 성분, GB 성분, B 성분으로 인해 발생하는 컬러를 보게 된다.
머리 움직임과 관계없이, 디스플레이 시스템이 소위 '공간 안정화된(space-stabilised)' 심볼을 표시하는 중인 경우에 특히, 도 1b에 도시된 이러한 문제가 발생하는데, '공간 안정화된' 심볼은 시선에 대해 공간 내에서 외부에 보이는 장면 내의 지점에 고정된 것처럼 디스플레이에 나타내기 위한 것이다. 공간에 고정된 것처럼 보이기 위해서는, 연관된 트래커 시스템에 의해 제공되는 디스플레이 방위 데이터를 이용하여 디스플레이 내에서 공간 안정화된 심볼을 지속적으로 재배치함으로써 시청자의 머리 또는 헬멧의 움직임을 보상해야 한다. 시청자의 시선은, 머리가 움직이는 동안 관성 공간에서 볼 수 있는 피처에 시선이 고정되어 유지되는 경향이 있고(심볼이 정렬되는 지점과 반드시 같지는 않음), 공간 안정화된 심볼의 재배치된 화소를 표시할 때 발생되는 광 펄스 심볼이 시청자의 눈의 망막 상의 다른 지점에 수신될 수 있으며, 결과적으로 도 1b에 도시된 효과가 인식된다.
본 발명의 예시적인 실시예에 따르면, 시청자의 눈과 디스플레이가 상대적으로 움직이는 동안 색 분리(colour break-up)를 피할 수 있는 방식으로 컬러 이미지를 생성하는 방식이 제공된다.
본 발명을 고려하여, 생성된 이미지에 심볼 또는 다른 피처를 위치시키는 공지된 방법에 대해서는 도 2를 참조하여 먼저 설명할 것이고, 본 발명에 의해 제공되는 방법에 대한 개선에 대해서는 도 3 및 도 3a을 참조하여 설명할 것이다.
먼저 도 2를 참조하면, 도2는 공지된 과정의 단계를 나타내는 흐름도가 제공되며, 이 과정은 HMD가 표시하기 위한 고정된 심볼과 공간 안정화된 심볼을 포함하는 컬러 이미지를 생성하기 위한 것이다. 이 과정은 관성 참조 프레임에 대한 디스플레이의 방위를 결정하는 단계 10에서 시작한다.
헤드 또는 헬멧에 디스플레이가 움직이지 않게 고정되어 있다고 가정하면, 이 단계는 예를 들어, 본 출원인에 의해 계류중인 영국 특허 출원 제GB1516120.1호에 기술된 바와 같은 헤드 또는 헬멧 트래커 시스템에 의해 수행될 수 있다. 단계 10에서 결정된 방위 데이터가 단계 15에서 사용되어, 현재의 이미지 리프레쉬 기간 동안 각각의 공간 안정화된 심볼의 디스플레이의 이미지 영역에서 필요한 위치를 계산한다. 생성된 심볼을 결정된 위치에 표시하기 위해, 각각의 심볼이 단계 20에서 '드로잉(drawing)'되어, 디스플레이의 이미지 영역에서 각 화소의 필요한 휘도와 컬러, 따라서 이미지 리프레쉬 기간 동안 각 화소의 R, G, 및 B 성분을 결정하는 데이터 세트를 생성한다. 드로잉된 심볼을 정의하는 데이터 세트가 이미지 저장소(25)에 저장된다.
디스플레이의 이미지 영역 내에서 고정된 위치에 표시될 필요가 있는 임의의 심볼이 위치되어 단계 30에서 드로잉될 수 있으며, 결과 데이터 세트가 이미지 저장소(25)에 저장될 수 있다.
단계 35에서, 이미지 저장소(25)의 내용이 출력되어 비디오 데이터를 생성하기 위해 사용되고, 단계 20에서 정의되는 결정된 화소 특성을 단계 30에서 정의된 특성과 결합한다. 그 다음에, 단계 40에서 보는 사람에게 보이는 디스플레이 상에 나타나도록, 생성된 비디오 데이터가 디스플레이 시스템의 디스플레이 장치에 출력되어 이미지 리프레쉬 주기 동안 이미지를 생성한다. 그 다음에, 이 과정이 다음 이미지 리프레시 구간 동안 단계 10에서 다시 시작된다.
관성 공간 내의 지점으로의 시선에 정렬된 것처럼 보이는 데 필요한 심볼의 위치를 단계 15에서 계산하는 공지된 기법에서, 연관된 트래커 시스템에 의해 단계 10에서 결정된 바와 같이, 관성 공간 내의 HMD의 방위를 회전 행렬([HW])로 나타낼 수 있다.
Figure pct00001
여기서, a, e, 및 r은 각각 방위(azimuth), 고도(elevation), 및 롤(roll)에 있어서의 오일러 각이다.
이 행렬([HW])은 관성 공간 내의 지점으로의 공지된 시선 벡터(P W )를 HMD의 기준 프레임에 정의된 지점으로의 시선 벡터(P H )로 변환하는 것을 정의하고 있다. 따라서,
Figure pct00002
벡터(P W )는 일반적으로 관련된 시스템으로부터 알려져 있을 것이다. 예를 들어, 이 피처가 공지된 중간 지점이면, 사용자의 상대적인 위치와 따라서 관성 공간 내의 디스플레이의 위치는 GPS 또는 다른 소스로부터 알려져 있을 것이다. 단계 15에서, 결정된 시선 벡터(P H )는 다음 수식에 따라 표시 좌표로 변환될 수 있다.
Figure pct00003
여기서, (X D ,Y D )는 디스플레이 좌표이고, x H , y H , z H 는 벡터 P H 의 성분이며, S는 표시용 스케일링 팩터이다.
본 발명의 발명자들은, HMD 방위의 변화율 및 기준 성분으로서 선택된 다른 컬러 성분 중 선택된 하나에 대한 색성분의 타이밍에 기초하여 각각의 색 성분에 대해 회전 행렬([H'H]) 형태의 행렬([HH])에 대한 조정이 계산될 수 있도록, 트래커 시스템으로부터 통상 이용 가능하거나 또는 트래커 시스템으로부터 최근에 수신된 방위 데이터로부터 도출될 수 있는 HMD의 방위의 변화율이 심볼 위치 결정의 계산에 입력될 수도 있음을 인식하였다. 그 다음에, 수식 (1)을 다음과 같이 수정함으로써, 조정 행렬([H'H])이 조정된 시선 벡터(P' H )를 계산하는 데 사용될 수 있다.
Figure pct00004
그 다음에, 주어진 컬러 성분에 적용 가능한 조정된 벡터(P' H )가 선택된 기준 성분의 위치에 대한, 디스플레이 상의 컬러 성분의 조정된 위치를 계산하는 데 사용될 수 있다. 이 계산에서, 벡터(P' H )의 성분은 수식 (2)에서의 미조정된 벡터(P H )의 성분을 대체하여 컬러 성분의 표시 위치를 제공한다. 미조정된 행렬 [HW]을 이용하여 수식 (1)과 수식 (2)에 따라 계산되는 선택된 기준 성분에 대해서는 표시되는 위치의 조정이 필요하지 않다.
각각의 성분이 디스플레이에서 각각의 성분의 각각의 조정된 방향(P' H ), 또는 선택된 기준 성분의 경우 미조정된 방향(P H )으로 정렬되어 보일 수 있도록, 계산된 위치는 심볼의 각각의 컬러 성분을 드로잉하기 위해 사용된다. 따라서, 심볼의 컬러 성분은 디스플레이가 상대적으로 움직이는 동안 디스플레이 내에서 사용자의 추정되는 고정된 응시 방향에 정렬되어 보인다.
편리하게, 본 발명의 이 예시적인 실시예에서, 회전 행렬([HW])이 선택된 기준 성분이 이 예에서는 녹색 광 펄스, R 펄스, G 펄스, 및 B 펄스의 순서로 디스플레이에 나타나도록 예상되는 시간에 동기화될 수 있도록, 트래커 시스템이 예측 능력을 포함할 수 있다. 이를 통해 심볼이 의도한 시선과 더 정확히 정렬되게 한다. 하지만, 동기화의 부족 자체가 심볼의 컬러 성분의 인식된 정렬을 달성하는 데 영향을 미친다고 기대되지 않는다. 보다 중요하게는, 레이트 데이터가 컬러 성분 중 적어도 하나의 성분, 예컨대 선택된 기준 성분을 표시하는 기대 시간에 동기화된다면, 컬러 성분이 특히 상대적인 움직임의 레이트가 우연히 그 시간에 빠르게 바뀌는 중인 디스플레이 내에서 보다 정확하게 정렬되어 보이게 될 것이라고 가정할 수 있다.
선택된 기준 녹색광 펄스의 경우, 매트릭스 [HW]에 대한 조정이 필요하지 않으며, 디스플레이에 심볼을 위치시키는 데 수식 (1)이 적용된다. 하지만, 도 1a 및 도1b의 RGB 순서를 가정하면, 적색 펄스에 대한 조정 회전 행렬([H'H])은 다음과 같이 근사화될 수 있다.
Figure pct00005
여기서,
Figure pct00006
이고,
Figure pct00007
이며,
Figure pct00008
는 적색 성분과 녹색 성분의 광 펄스들 사이의 시간이고, r x , r y , 및 r z 은 HMD 기준 프레임 축을 따라 분해된 초당 라디안의 HMD 회전율이다.
유사하게, 또한
Figure pct00009
이라고 가정하면, 즉, 적색 성분과 녹색 성분 간의 펄스 간격과 청색 성분과 녹색 성분 간의 펄스 간격이 크기는 같지만 부호가 반대라고 가정하면, 청색 성분의 펄스에 대한 [H'H]는 단순히 적색 성분에 대한 [H'H]의 전치행렬이다.
첫번째 적색 성분이 기준 성분으로서 선택되면, 조정 회전 행렬([H'H])이 적색 성분의 펄스의 타이밍에 대한 이후의 녹색과 청색 컬러 성분에 대한 펄스의 타이밍에 기초하여 결정될 것이다.
일반적으로, 파일럿 헬멧의 설계와 항공기 조종석의 경계를 고려할 때, 머리 회전은 수평 성분과 수직 성분만을 포함한다. 이러한 상황에서, 롤 레이트(r x )가 0이라고 가정하는 전술한 계산에 대한 단순화가 가능하다. 이러한 단순화는, 전술한 회전 조정 방법보다는 공간 안정화된 심볼에 대한 디스플레이에서의 조정된 위치를 결정하기 위해 더 단순한 변위 방법을 채택할 수 있는 기회를 제공한다.
수평 위치와 수직 위치에 필요한 변위는, 서로 다른 컬러 성분에 대한 펄스의 상대적인 타이밍 및 트래커 시스템으로부터 각각 수신되는 HMD 방위(r y, r z )에 있어서의 방위각와 고도 변화율을 이용하여, 위의 회전 조정 방법과 유사하게 다음 수식에 따라 결정될 수 있다.
수평 위치에서의 시프트 =
Figure pct00010
수직 위치에서의 시프트 =
Figure pct00011
여기서,
s는 디스플레이의 중심 화소의 각도 크기(라디안)이고,
Figure pct00012
는 교정에 필요한 시간 차이(초), 실제로는 트래커 시스템이 동기화된 기준 시점, 예를 들어 전술한 바와 같이 녹색 성분을 표시하는 시간과 다른 성분들 각각의 펄스를 표시하는 시간 사이의 시간 차이이며,
r y 와 r z 은 HMD 축에서의 조정된 자이로 레이트(gyro rate)로부터 획득되는 HMD 회전율(초당 라디안 단위)이며,
Sym x 와 Sym y 는 단계 15에서 계산된 심볼의 사전 시프트된 x와 y 표시 위치이다.
수식 (4)와 수식 (5)에서, HMD 내의 이미지 투사가 예를 들어, 방위각(A z )에서의 심볼의 수평 표시 위치가 tan(A z )에 비례하는 평평한 표면 투사라고 가정한다. 구형 투사에 의해 이미지가 투사되면, 제수 cos2 항이 1이라는 값을 취한다고 가정할 수 있는 수식 (4)와 수식 (5)를 다음과 같이 단순화할 수 있다.
수평 위치에서의 시프트 =
Figure pct00013
수직 위치에서의 시프트 =
Figure pct00014
이하, 도 2를 참조하여 앞에서 설명한 프로세스에 대한 개선에 대해 도 3 및 도3a을 참조하여 설명할 것이며, 이 개선은 본 발명의 예시적인 실시예에 따라 HMD에서 공간 안정화된 심볼의 컬러 성분을 위치시키기 위한 전술한 기법을 구현한다.
도 3 및 도 3a를 참조하면, 주어진 이미지 리프레시 구간에 관해, 예컨대 전술한 바와 같이 회전 행렬([HW]) 형태로 공지된 트래커 시스템을 이용하여 HMD의 방위를 결정하는 데 있어서 개선된 과정이 단계 50에서 시작한다. 단계 55에서, HMD의 방위의 변화율도 트래커 시스템으로부터 수신된 방위 데이터의 최근 이력을 사용하여 보다 국지적으로 HMD 트래커 시스템에 의해 결정된다. 이러한 예시적인 실시예의 목적을 위해, 상기한 바와 같이 적색-녹색-청색의 순서로 컬러 성분이 생성된다고 가정한다.
단계 60에서, 녹색 성분에 대한 적색 성분의 상대적인 타이밍을 제공하는, 저장소(65)로부터 판독된 사전 설정된 정보와 함께, 단계 55로부터 결정된 레이트가 사용되어, HMD 방위에 대한 회전의 조정, 예컨대 표시될 공간 안정화된 심볼의 적색 성분에 적용 가능한, 전술한 바와 같은 회전 행렬([H'H])을 결정한다. 유사하게, 단계 70에서, 녹색 성분에 대한 청색 성분의 상대적인 타이밍을 제공하는 저장소(65)로부터 판독된 사전 설정된 정보와 함께, 단계 55로부터 결정된 레이트가 사용되어, 표시될 공간 안정화된 심볼의 청색 성분에 적용 가능한 회전의 조정을 결정한다. 단계 75와 단계 80에서, 결정된 회전의 조정([H'H])은 적색 성분과 청색 성분에 대해 단계 50에서 결정된 HMD 방위([HW])에 각각 적용된다.
그 다음에, 적색 성분에 대해 단계 75에서 결정된, 저장소(90)로부터 판독된 공간 안정화된 심볼이 정렬될 관성 공간 내의 지점으로의 알려진 방향을 정의하는 이미 결정된 데이터와 함께, 조정된 HMD 방위가 단계 85에서 사용되어, 심볼의 적색 성분을 표시하기 위한 HMD 이미지 영역 상의 위치를 계산한다. 그 다음에, 적색 성분에 대해 단계 75에서 결정된 조정된 HMD 방위가, 저장소(90)로부터 판독되는, 공간 안정화된 심볼이 정렬될 관성 공간 내의 지점으로의 알려진 방향을 정의하는 이미 결정된 데이터와 함께 단계 85에서 사용되어, 심볼의 적색 성분을 표시하기 위한 HMD 이미지 영역 상의 위치를 계산한다. 유사하게, 단계 95에서, 청색 성분에 대해 단계 80에서 결정된 조정된 HMD 방위가, 저장소(90)로부터 판독되는, 관성 공간 내의 피처로의 방향을 정의하는 이미 결정된 데이터와 함께 사용되어, 심볼의 청색 성분을 표시하기 위한 HMD 이미지 영역 상의 위치를 계산한다.
단계 50에서 결정된 HMD 방위가 단계 100에서 사용되어, 공간 안정화된 심볼의 '기준' 녹색 성분을 표시하기 위한 위치를 계산한다.
이어서, 단계 85, 단계 95, 및 단계 100에서 결정된 위치는 도 2에 도시된 공지된 과정의 단계 20에서와 같이, 심볼의 적색, 청색, 및 녹색 성분을 드로잉하기 위해 단계 105, 단계 110 및 단계 115에서 각각 사용된다. 공간 안정화된 심볼을 표시하는 데 관련된 화소의 특성을 정의하는 데이터는 이미지 저장소(120)에 저장된다.
HMD의 이미지 영역에서 고정된 위치에 드로잉될 임의의 심볼의 위치는 단계 125에서 계산되고, 고정된 심볼의 컬러 성분이 단계 130에서 드로잉된다. 결과 데이터는 이미지 저장소(120)에 저장된다.
이미지 리프레시 구간에 대한 화소 특성을 정의하는 데 필요한 모든 데이터를 축적한 후, HMD의 표시 장치에 이미지를 생성하기 위해, 이미지 저장소(120)의 내용이 단계 135에서 판독되어 단계 140에서 사용됨으로써, 사용될 비디오 데이터를 생성한다. 그 다음에, 다음 이미지 리프레시 구간 동안 단계 50에서 이 과정이 다시 시작된다.
이하, 전술한 개선된 이미지 생성 프로세스를 구현하는 효과에 대해 도 4a 및 도 4b를 참조하여 설명할 것이다.
도 4a, 그리고 추가로 도 1a를 참조하면, 3개의 컬러 성분에 대한 표시 위치를 결정하기 위해 전술한 기술을 적용한 결과는 예시적인 상대적 이동 속도로 알 수 있다. 이 예에서, 실질적으로 상대적인 움직임이 없는 도 1a에 도시된 위치 설정과 비교하여, 공간 안정화된 심볼의 화소(2)에 대한 의도된 적색 성분과 청색 성분 각각의 결정된 위치가 녹색 성분의 우측(150)과 좌측(155)으로 각각 변위된 것을 알 수 있을 것이다. 도 4a에서, 디스플레이상의 선택된 '기준' 녹색 성분의 위치가 본 발명에 의한 도 1a의 표시된 위치와 비교하여 변경되지 않은 것을 알 수 있다. 물론, 일반적으로 적색 성분과 청색 성분은 단계 60과 단계 70에서 결정된 회전 조정에 따라 각각 변위될 것이고, 도시된 예에서와 같이, HMD의 상대적 움직임의 방향과 눈 응시 방향이 실질적으로 방위 내에 있지 않으면, HMD의 이미지 영역을 가로 질러 이들 성분의 2차원 벡터 변위가 발생한다.
이하, 도 4b 및 추가적으로 도 1b를 참조하면, MD와 응시 방향의 상대적인 이동 중에 시청자가 재배치된 컬러 성분이 공간 안정화된 심볼의 화소(2)에 미치는 영향을 인식하는 것이 도시되어 있다. 알 수 있는 바와 같이, 화소(2)의 위치로부터 어느 정도(160) 전체적으로 약간 변위되어 있지만, 보는 사람은 HMD의 이미지 영역 내에 R, G, 및 B 성분들이 함께 배치되어 있다고 인식하며, 시청자가 의도된 바와 같이 백색 화소를 인식한다. 이러한 상대적인 움직임 동안 표시되는 화소의 인식된 위치에서의 부분적인 시프트(160)는 심볼과 전체적인 이미지에 대한 시청자의 인식을 크게 손상시키지 않는 것으로 밝혀졌다.
본 발명의 예시적인 실시예는 디스플레이에 대한 눈 움직임의 표시를 제공하는 트래커 데이터에 접근하는 임의의 헤드 또는 헬멧 기반 디지털 디스플레이 시스템에 구현될 수 있다. 이하, 본 발명의 실시예를 구현할 수 있는 예시적인 헬멧 장착 디스플레이 시스템에 대해 도 5를 참조하여 개략적으로 설명할 것이다.
도 5를 참조하면, 도 5는 예컨대 헬멧 트래커 시스템의 컴포넌트가 장착되고 또한 헬멧 마운티드 디스플레이, 이 예에서 파일럿(205)의 눈(220)의 전방에 위치하는 실질적으로 투명한 도파로 디스플레이(215)를 나타낸 도면이다. 트래커 시스템은 헬멧(210) 위에 장착된 하나 이상의 관성 센서(225)를 포함할 수 있고, 관성 센서(225)는 트래커 시스템 프로세서(230)에 데이터를 제공하도록 배치된다. 트래커 시스템은, 헬멧(210)의 외피 안에 통합되어 있고 또한 트래킹 시스템 프로세서(230)에 의해 광 펄스를 방출하도록 제어 가능한 발광 다이오드(LED)(235)의 배치를 포함하는 광학 헬멧 트래커를 포함할 수 있다. 광학 헬멧 트래커는 또한 공지된 고정된 위치에 헬멧 마운티드 LED(235)로부터의 광을 검출하고 또한 대응하는 신호를 트래커 시스템 프로세서(230)에 송신하도록 배치된 하나 이상의 카메라(240)의 배열(그 중 하나가 도 5에 도시되어 있음)을 포함한다.
트래커 시스템 프로세서(230)는, 헬멧(210)의 방위, 따라서 관성 공간 내의 디스플레이(215)의 방위를 결정하거나, 또는 파일럿(205)이 주행 중일 수 있는 예(도 5에 도시되지 않음)에 대해서, 항공기에 대한 디스플레이(215)의 방위를 결정하기 위해 관성 센서(225)와 광학 헬멧 트래커 시스템의 카메라(240)로부터 수신되는 데이터를 해석한다. 또한, 트래커 시스템 프로세서(230)는 이러한 데이터 입력으로부터 헬멧의 방위의 변화율과 그에 따른 디스플레이(215)의 방위를 결정하고, 표시 방위와 변화율 데이터를 이미지 생성기(245)에 출력할 수 있다. 이미지 발생기(245)는, 외부 세계의 투명한 도파관(215)을 통해 조종사의 시야에 중첩되어 보이도록 헬멧 마운티드 디스플레이(215)를 보는 파일럿에게 표시하기 위한 공간 안정화된 이미지를 포함하는 이미지를 생성하도록 구성된다.
디스플레이(215)의 이미지 영역에 대한 눈(220) 또는 파일럿의 응시 방향이 움직이는 동안 색 분리가 발생하는 것을 감소시킬 목적으로 서로 다른 공간 안정화된 심볼의 컬러 성분을 위치시키는 경우, 이미지 생성기(245)는 트래커 시스템 프로세서(230)로부터의 데이터를 이용하여, 헬멧 마운티드 디스플레이(215)의 이미지 영역에 대한 파일럿의 눈(220) 또는 응시 방향의 검출된 움직임을 고려하기 위해 전술한 기법을 구현하도록 배열되어 있을 수 있다.
예를 들어, 항공기 상에서 사용될 수 있는 헤드 또는 헬멧 마운티드 디지털 디스플레이 시스템과 관련하여 본 발명의 예시적인 실시예에 대해 설명하였다. 하지만, 전술한 기술을 포함하는 개선된 컬러 이미지 생성기의 동작 원리는 관련 기술 분야에서 통상의 지식을 가진 자에게 명백한 바와 같이, 시청자의 눈과 이미지의 상대적인 움직임을 보상하기 위해 더 광범위하게 적용됨으로써, 생성된 컬러 이미지에서 색 분리가 인지되는 효과를 방지하거나 또는 실질적으로 감소시킨다. 이러한 눈 움직임을 정의하는 정보는, 시청자의 눈의 실제 변위를 추적하기 위한 헤드 트래커 또는 헬멧 트래커 또는 눈 트래커에 의해 제공될 수 있으며, 따라서 디스플레이의 이미지 영역에 대한 시선을 추적할 수 있다. 트래킹 데이터 중 어떤 소스도 전술한 본 발명의 예시적인 실시예에 사용될 수 있다.

Claims (34)

  1. 사용자가 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 방법으로서,
    상기 컬러 이미지는 하나 이상의 컬러 성분에 의해 형성되고, 각각의 컬러는 사전 설정된 상대적인 타이밍으로 표시될 2개 이상의 서로 다른 컬러 중에서 선택되며,
    상기 표시 장치를 제어하기 위한 방법은,
    (i) 상기 컬러 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 컬러 성분을 정의하는 이미지 데이터를 수신하는 단계;
    (ii) 상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하는 단계;
    (iii) 상기 컬러 성분 각각의 컬러, 상기 수신된 레이트 데이터, 및 상기 사전 설정된 상대적인 타이밍에 따라 상기 컬러 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 컬러 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하는 단계; 및
    (iv) 상기 각각의 결정된 위치에 상기 컬러 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 컬러 성분 각각의 결정된 위치를 출력하는 단계
    를 포함하는 표시 장치를 제어하기 위한 방법.
  2. 제1항에 있어서,
    단계 (iii)에서, 상기 2개 이상의 컬러가 서로 다르면, 상기 2개 이상의 컬러 중 하나가 기준 컬러로서 선택되어, 상기 선택된 기준 컬러의 컬러 성분의 타이밍에 대한 상기 컬러 성분의 타이밍을 이용하여 상기 각각의 조정이 결정되는, 표시 장치를 제어하기 위한 방법.
  3. 제2항에 있어서,
    상기 2개 이상의 서로 다른 컬러는 순차적으로 표시될 3개의 컬러를 포함하고, 상기 선택된 기준 컬러는 상기 3개의 컬러 중에서 표시될 제2 컬러인, 표시 장치를 제어하기 위한 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사전 설정된 상대적인 타이밍은 상기 서로 다른 컬러의 컬러 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의하는, 표시 장치를 제어하기 위한 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    단계 (iii)에서, 상기 하나 이상의 컬러 성분을 표시하기 위한 위치를 결정하는 단계는,
    상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선(line of sight)에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고, 상기 디스플레이 상의 위치를 결정하는 단계
    를 포함하는, 표시 장치를 제어하기 위한 방법.
  6. 제5항에 있어서,
    단계 (iii)에서, 각각의 조정을 결정하는 것은,
    각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 컬러 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정하는 것
    을 포함하는, 표시 장치를 제어하기 위한 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타내는, 표시 장치를 제어하기 위한 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의하는, 표시 장치를 제어하기 위한 방법.
  9. 제8항에 있어서,
    단계 (iii)에서, 각각의 조정을 결정하는 것은,
    상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 컬러 성분이 표시되었을 위치로부터의 선형 변위를 결정하는 것 - 상기 선형 변위는, 상기 컬러 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함하고 있음 -
    을 포함하는, 표시 장치를 제어하기 위한 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 2개 이상의 서로 다른 컬러는 적색, 녹색, 및 청색을 포함하는, 표시 장치를 제어하기 위한 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    단계 (iii)에서, 상기 피처의 하나 이상의 컬러 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하는 단계는,
    상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하는 단계
    를 더 포함하는, 표시 장치를 제어하기 위한 방법.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템(eye tracker system)으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정되는, 표시 장치를 제어하기 위한 방법.
  13. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)인, 표시 장치를 제어하기 위한 방법.
  14. 제7항 또는 제8항에 있어서,
    상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(HMD)이고, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출되는, 표시 장치를 제어하기 위한 방법.
  15. 사용자가 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 장치로서,
    상기 컬러 이미지는 하나 이상의 컬러 성분에 의해 형성되고, 각각의 컬러는 사전 설정된 상대적인 타이밍으로 표시될 2개 이상의 서로 다른 컬러 중에서 선택되며,
    상기 표시 장치를 제어하기 위한 장치는,
    상기 컬러 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 컬러 성분을 정의하는 이미지 데이터를 수신하기 위한 입력;
    상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하기 위한 입력; 및
    이미지 프로세서
    를 포함하고,
    상기 이미지 프로세서는,
    (i) 상기 컬러 성분 각각의 컬러, 상기 수신된 레이트 데이터, 및 상기 사전 설정된 상대적인 타이밍에 따라 상기 컬러 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 컬러 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하고;
    (ii) 상기 각각의 결정된 위치에 상기 컬러 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 컬러 성분 각각의 결정된 위치를 출력하도록 구성된, 표시 장치를 제어하기 위한 장치.
  16. 제15항에 있어서,
    단계 (i)에서, 상기 2개 이상의 컬러가 서로 다르면, 상기 2개 이상의 컬러 중 하나가 기준 컬러로서 선택되어, 상기 이미지 프로세서가 상기 선택된 기준 컬러의 컬러 성분의 타이밍에 대한 상기 컬러 성분의 타이밍을 이용하여 상기 각각의 조정을 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  17. 제16항에 있어서,
    상기 2개 이상의 서로 다른 컬러는 순차적으로 표시될 3개의 컬러를 포함하고, 상기 선택된 기준 컬러는 상기 3개의 컬러 중에서 표시될 제2 컬러인, 표시 장치를 제어하기 위한 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 사전 설정된 상대적인 타이밍은 상기 서로 다른 컬러의 컬러 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의하는, 표시 장치를 제어하기 위한 장치.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선(line of sight)에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고 상기 디스플레이 상의 위치를 결정함으로써, 상기 하나 이상의 컬러 성분을 표시하기 위한 위치를 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  20. 제19항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 컬러 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정함으로써 상기 각각의 조정을 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타내는, 표시 장치를 제어하기 위한 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의하는, 표시 장치를 제어하기 위한 장치.
  23. 제22항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 컬러 성분이 표시되었을 위치로부터의 선형 변위를 결정함으로써 각각의 조정을 결정하도록 구성되고, 상기 선형 변위는 상기 컬러 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함하는, 표시 장치를 제어하기 위한 장치.
  24. 제15항 내지 제23항 중 어느 한 항에 있어서,
    상기 2개 이상의 서로 다른 컬러는 적색, 녹색, 및 청색을 포함하는, 표시 장치를 제어하기 위한 장치.
  25. 제15항 내지 제24항 중 어느 한 항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하여 상기 피처의 하나 이상의 컬러 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  26. 제15항 내지 제25항 중 어느 한 항에 있어서,
    상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템(eye tracker system)으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정되는, 표시 장치를 제어하기 위한 장치.
  27. 제15항 내지 제26항 중 어느 한 항에 있어서,
    상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)인, 표시 장치를 제어하기 위한 장치.
  28. 제21항 또는 제22항에 있어서,
    상기 디스플레이는 시준된 컬러 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(HMD)이고, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출되는, 표시 장치를 제어하기 위한 장치.
  29. 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD) 시스템으로서,
    헤드 또는 헬멧 마운티드 디스플레이 상에 표시하기 위한 컬러 이미지를 생성하기 위한 표시 장치; 및
    제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 이미지 프로세서
    를 포함하는 헤드 또는 헬멧 마운티드 디스플레이(HMD) 시스템.
  30. 컴퓨터 프로그램 제품으로서,
    컴퓨터 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체, 또는 컴퓨터 판독가능 매체에 접근하기 위한 수단을 포함하고,
    디지털 프로세서 상에 로딩되어 실행되는 경우, 상기 컴퓨터 프로그램 코드는 제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 컴퓨터 프로그램 제품.
  31. 이미지 프로세서로서,
    제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 프로그램된 이미지 프로세서.
  32. 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 방법으로서,
    실질적으로, 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 표시 장치를 제어하기 위한 방법.
  33. 디스플레이 상에서 보기 위한 컬러 이미지를 생성하도록 표시 장치를 제어하기 위한 장치로서,
    실질적으로, 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 표시 장치를 제어하기 위한 장치.
  34. 헤드 또는 헬멧 마운티드 디스플레이 시스템으로서,
    실질적으로 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 헤드 또는 헬멧 마운티드 디스플레이 시스템.
KR1020187013444A 2015-10-13 2016-10-03 디스플레이에 있어서 그리고 디스플레이에 관한 개선 KR102600905B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1518112.6A GB201518112D0 (en) 2015-10-13 2015-10-13 Improvements in and relating to displays
GB1518112.6 2015-10-13
PCT/GB2016/053067 WO2017064468A1 (en) 2015-10-13 2016-10-03 Improvements in and relating to displays

Publications (2)

Publication Number Publication Date
KR20180066211A true KR20180066211A (ko) 2018-06-18
KR102600905B1 KR102600905B1 (ko) 2023-11-09

Family

ID=55130987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013444A KR102600905B1 (ko) 2015-10-13 2016-10-03 디스플레이에 있어서 그리고 디스플레이에 관한 개선

Country Status (6)

Country Link
US (1) US10504399B2 (ko)
EP (1) EP3363010A1 (ko)
KR (1) KR102600905B1 (ko)
AU (1) AU2016337276A1 (ko)
GB (2) GB201518112D0 (ko)
WO (1) WO2017064468A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
GB201518113D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518110D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
IL264489B (en) 2016-08-02 2022-07-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
JP2018054775A (ja) * 2016-09-28 2018-04-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
EP3596705A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. COLOR VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
EP3596703A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CN116483200A (zh) 2018-07-23 2023-07-25 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN117079613B (zh) * 2023-09-27 2023-12-22 惠科股份有限公司 显示画面补偿方法、显示器以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764202A (en) 1995-06-26 1998-06-09 Cae Electronics Ltd. Suppressing image breakup in helmut mounted displays which use temporally separated bit planes to achieve grey scale
US7593026B2 (en) 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US9389419B2 (en) 2008-08-14 2016-07-12 Honeywell International Inc. Near-to-eye display artifact reduction system and method
EP2465004A2 (en) 2009-08-13 2012-06-20 BAE Systems PLC Head up display system
US20140247286A1 (en) * 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US9407797B1 (en) 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9230473B2 (en) 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
CN112203067A (zh) * 2014-03-03 2021-01-08 埃韦视觉有限公司 眼睛投影系统和眼睛投影方法
GB201518110D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518113D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data

Also Published As

Publication number Publication date
KR102600905B1 (ko) 2023-11-09
GB201518112D0 (en) 2015-11-25
GB201616782D0 (en) 2016-11-16
AU2016337276A1 (en) 2018-04-26
WO2017064468A1 (en) 2017-04-20
US20180301076A1 (en) 2018-10-18
EP3363010A1 (en) 2018-08-22
GB2545049A (en) 2017-06-07
GB2545049B (en) 2020-04-15
US10504399B2 (en) 2019-12-10

Similar Documents

Publication Publication Date Title
KR102600905B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
KR102600906B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
EP3281406B1 (en) Retina location in late-stage re-projection
US10670880B2 (en) Image display apparatus and image display method
US11030975B2 (en) Information processing apparatus and information processing method
CN108292489B (zh) 信息处理装置和图像生成方法
US20230421894A1 (en) Virtual and augmented reality systems and methods
IL305152A (en) Virtual and augmented reality systems and methods
KR102580633B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
CN113412442A (zh) 控制系统和渲染管道
CN112805755A (zh) 信息处理装置、信息处理方法和记录介质
JP2020106587A (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant