KR102140389B1 - 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법 - Google Patents

인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102140389B1
KR102140389B1 KR1020187031662A KR20187031662A KR102140389B1 KR 102140389 B1 KR102140389 B1 KR 102140389B1 KR 1020187031662 A KR1020187031662 A KR 1020187031662A KR 20187031662 A KR20187031662 A KR 20187031662A KR 102140389 B1 KR102140389 B1 KR 102140389B1
Authority
KR
South Korea
Prior art keywords
center
region
pixels
subset
display
Prior art date
Application number
KR1020187031662A
Other languages
English (en)
Other versions
KR20180131594A (ko
Inventor
데이비드 몰로니
브렌단 배리
Original Assignee
모비디어스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모비디어스 리미티드 filed Critical 모비디어스 리미티드
Publication of KR20180131594A publication Critical patent/KR20180131594A/ko
Application granted granted Critical
Publication of KR102140389B1 publication Critical patent/KR102140389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

이중 눈 특정 디스플레이의 렌더링을 위한 시스템 및 방법이 제공된다. 몇몇 구현예에서, 시스템은 사용자의 EEG(electroencephalography)에 기초하여 사용자의 눈 움직임 및/또는 위치를 추적하여 디스플레이의 중앙(중심와) 및 주변(중심와 외부) 영역에 올바르게 라벨링한다. 중심와 데이터는 완전하게 렌더링되고, 중심와 외부 데이터는 해상도가 감소되며 몇몇 구현예에서는 2개의 디스플레이간에 공유된다.

Description

인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법
본 출원은 일반적으로 컴퓨터 비전 프로세싱(computer vision processing)에 관한 것으로서, 보다 구체적으로는 머리 장착형 디스플레이에서의 효과적 이미지 시뮬레이션에 관한 것이다.
특히 그래픽 하드웨어 및 소프트웨어와 관련하여 컴퓨터의 속도와 예리함에 있어서의 지속적인 발전은 몰입형 컴퓨터-생성 환경에 대한 수십 년에 걸친 열망을 실용화시켰다. 사지 추적(limb-tracking), 촉각 피드백 및 머리 장착형 감각 장비를 갖는 가상 현실 디바이스가 현재 소비자용으로 개발되고 있다. 최첨단 시스템이 더욱 인상적이고 현실적인 인공 환경을 제공하려고 시도함에 따라 그래픽 시스템에 대한 요구는 여전히 강하게 남아 있다. 또한, 하드웨어와 소프트웨어 모두에서 효율적인 렌더링 및 디스플레이는 여전히 가장 중요하다.
컴퓨터 그래픽 및 이미지 기술의 진보는 사용자에게 가능한 한 현실감 있는 시각적 경험을 제공하고자 하는 차세대 머리 장착형 디스플레이 디바이스를 초래했다. 이러한 디바이스의 일반적인 접근법은 출력 프레임의 각 픽셀을 나타내는 프레임 버퍼에 의해 지원되는 종래의 LCD 디스플레이 패널을 사용하는 것이다.
이 접근법은 인간 시각 시스템을 고려하지 않으므로 전력 및 면적 면에서 낭비이다. 인간의 망막은, 광 수용체로 조밀하게 채워지고 시신경의 신경 섬유의 절반을 차지하는 작은 영역인 중심 또는 중심와(fovea)에서 고해상도를 갖는다. 망막의 나머지 부분은 광 수용체의 감소된 밀도에 의해 낮은 해상도를 제공한다. 인간 시각 시스템은 장면을 중심으로 중심와를 스캔하고 시각 피질에서 장면의 내부 멘탈 모델(internal mental model)을 유지함으로써 균일한 고해상도의 일루전(illusion)을 제공한다.
개시된 주제에 따르면, 이중 눈-특정 디스플레이를 렌더링하기 위한 시스템 및 방법이 제공된다. 중심와 외부의 인간 시각의 해상도 한계를 인식하는 것은 중심와 외부 렌더링(extra-foveal rendering)에 소비되는 자원을 최소화함으로써 자원 절약의 기회를 제공한다. 몇몇 구현예에서, 시스템은 사용자의 EEG(electroencephalography)에 기초하여 사용자의 눈 움직임 및/또는 위치를 추적함으로써, 디스플레이의 중심(중심와) 및 주변(중심와 외부) 영역을 올바르게 라벨링한다. 중심와 데이터는 완전하게 렌더링되고, 중심와 외부 데이터는 해상도가 감소되고 몇몇 구현예에서는 두 디스플레이 간에 공유된다.
개시된 주제에 따르면, 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법이 제공된다. 일 실시예에서, 본 발명은 사용자의 두 눈의 눈 추적을 갖는 머리 장착형 디스플레이 디바이스에 관한 것이다. 상기 디바이스는 좌안을 위한 제 1 디스플레이 및 우안을 위한 제 2 디스플레이를 포함한다. 상기 디바이스는 또한, 상기 제 1 디스플레이 및 상기 제 2 디스플레이에 결합된 메모리를 포함할 수 있다. 상기 메모리는 상기 제 1 디스플레이를 위한 제 1 프레임 버퍼 및 상기 제 2 디스플레를 위한 제 2 프레임 버퍼를 포함할 수 있고, 상기 제 1 프레임 버퍼는 제 1 중심와(fovea) 프레임 버퍼 및 제 1 중심와 외부(extra-foveal) 프레임 버퍼를 포함할 수 있고, 상기 제 2 프레임 버퍼는 제 2 중심와 프레임 버퍼 및 제 2 중심와 외부 프레임 버퍼를 포함할 수 있다. 상기 디바이스는 또한 상기 메모리에 결합된 하나 이상의 프로세서를 포함할 수 있다. 상기 하나 이상의 프로세서는, 상기 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보를 수신하도록 구성될 수 있다. 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 포함할 수 있다. 상기 하나 이상의 프로세서는 또한, 상기 눈 추적 정보에 기초하여, 상기 제 1 디스플레이의 제 1 중심와 영역, 상기 제 1 디스플레이의 제 1 중심와 외부 영역, 상기 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역을 결정하도록 구성될 수 있다. 상기 하나 이상의 프로세서는 또한, 상기 제 1 중심와 영역의 제 1 중심와 영역 픽셀, 상기 제 1 중심와 외부 영역의 제 1 중심와 외부 영역 픽셀, 상기 제 2 중심와 영역의 제 2 중심와 영역 픽셀, 상기 제 2 중심와 외부 영역의 제 2 중심와 외부 영역 픽셀을 상기 메모리에 로딩하도록 구성될 수 있다. 상기 제 1 중심와 영역 픽셀은 최대 해상도(full resolution)로 표현되고 상기 제 1 중심와 프레임 버퍼에 로딩될 수 있다. 상기 제 1 중심와 외부 영역 픽셀은 감소된 해상도로 표현되고 상기 제 1 중심와 외부 프레임 버퍼에 로딩될 수 있다. 상기 제 2 중심와 영역 픽셀은 최대 해상도로 표현되고 상기 제 2 중심와 프레임 버퍼에 로딩될 수 있다. 상기 제 2 중심와 외부 영역 픽셀은 감소된 해상도로 표현되고 상기 제 2 중심와 외부 프레임 버퍼에 로딩될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 눈 추적 정보는 상기 사용자의 두 눈으로의 직접적 또는 간접적 적외선 광 투사에 기초할 수 있다.
이 실시예의 다른 양태에 따르면, 상기 눈 추적 정보는 상기 사용자의 EEG(electroencephalography)에 기초할 수 있다.
이 실시예의 다른 양태에 따르면, 상기 제 1 중심와 영역, 상기 제 1 중심와 외부 영역, 상기 제 2 중심와 영역 또는 상기 제 2 중심와 외부 영역 중 적어도 하나는 조정 가능할 수 있다.
이 실시예의 다른 양태에 따르면, 상기 제 1 중심와 외부 영역 픽셀 및 상기 제 2 중심와 외부 영역 픽셀을 감소된 해상도로 표현하기 위해, 상기 하나 이상의 프로세서는 픽셀 값을 복제하도록 구성될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 하나 이상의 프로세서는 또한 2x2 픽셀, 3x3 픽셀, 4x4 픽셀, 또는 5x5 픽셀 중 적어도 하나에 걸쳐 상기 픽셀 값을 복제하도록 구성될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 디바이스는 또한, 상기 제 1 디스플레이 또는 상기 제 2 디스플레이 중 적어도 하나 및 상기 메모리에 결합된 디스플레이 직렬 인터페이스(Display Serial Interface)를 포함할 수 있다. 상기 하나 이상의 프로세서는 상기 디스플레이 직렬 인터페이스로부터 상기 픽셀 값을 수신한 후에 상기 픽셀 값을 복제하도록 구성될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 디바이스는 또한 복수의 디스플레이 직렬 인터페이스를 포함할 수 있다. 상기 복수의 디스플레이 직렬 인터페이스 중 일부는 상기 제 1 중심와 영역 또는 상기 제 2 중심와 영역 중 적어도 하나에 대응하는 디스플레이 데이터를 동시에 전송하도록 구성될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 제 1 중심와 외부 프레임 버퍼 및 상기 제 2 중심와 외부 프레임 버퍼는 공유될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 하나 이상의 프로세서는 상기 제 1 중심와 프레임 버퍼 및 상기 제 1 중심와 외부 프레임 버퍼를 상이한 속도(rate)로 로딩하고, 상기 제 2 중심와 프레임 버퍼 및 상기 제 2 중심와 외부 프레임 버퍼를 상이한 속도로 로딩하도록 구성될 수 있다.
이 실시예의 다른 양태에 따르면, 상기 하나 이상의 프로세서는 또한, 상기 제 1 중심와 영역 픽셀의 깊이 평면과 상기 제 1 중심와 외부 영역 픽셀의 깊이 평면 사이 및 상기 제 2 중심와 영역 픽셀의 깊이 평면과 상기 제 2 중심와 외부 영역 픽셀의 깊이 평면 사이에 알파 블렌딩(alpha-blending)을 적용하도록 구성될 수 있다.
다른 실시예에 따르면, 본 발명은 사용자의 두 눈의 눈 추적을 갖는 머리 장착형 디스플레이 디바이스를 위한 방법에 관한 것이다. 상기 방법에 따르면, 상기 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보가 수신될 수 있다. 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 포함할 수 있다. 상기 눈 추적 정보에 기초하여, 좌안을 위한 제 1 디스플레이의 제 1 중심와 영역, 상기 제 1 디스플레이의 제 1 중심와 외부 영역, 우안을 위한 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역이 결정될 수 있다. 상기 제 1 중심와 영역의 최대 해상도로 표현되는 제 1 중심와 영역 픽셀은 상기 제 1 디스플레이를 위한 제 1 프레임 버퍼의 제 1 중심와 프레임 버퍼에 로딩될 수 있다. 상기 제 1 중심와 외부 영역의 감소된 해상도로 표현되는 제 1 중심와 외부 영역 픽셀은 상기 제 1 디스플레이를 위한 상기 제 1 프레임 버퍼의 제 1 중심와 외부 프레임 버퍼에 로딩될 수 있다. 상기 제 2 중심와 영역의 최대 해상도로 표현되는 제 2 중심와 영역 픽셀은 상기 제 2 디스플레이를 위한 제 2 프레임 버퍼의 제 2 중심와 프레임 버퍼에 로딩될 수 있다. 상기 제 2 중심와 외부 영역의 감소된 해상도로 표현되는 제 2 중심와 외부 영역 픽셀은 상기 제 2 디스플레이를 위한 상기 제 2 프레임 버퍼의 제 2 중심와 외부 프레임 버퍼에 로딩될 수 있다.
또 다른 실시예에 따르면, 본 발명은, 사용자의 두 눈의 눈 추적을 갖는 머리 장착형 디스플레이 디바이스를 위한 컴퓨터 판독가능 프로그램을 저장하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 상기 프로그램은, 상기 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보를 수신하는 컴퓨터 판독가능 명령어를 포함할 수 있다. 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 포함할 수 있다. 상기 프로그램은, 상기 눈 추적 정보에 기초하여, 좌안을 위한 제 1 디스플레이의 제 1 중심와 영역, 상기 제 1 디스플레이의 제 1 중심와 외부 영역, 우안을 위한 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역을 결정하는 컴퓨터 판독가능 명령어를 포함할 수 있다. 상기 프로그램은, 상기 제 1 중심와 영역의 최대 해상도로 표현되는 제 1 중심와 영역 픽셀을, 상기 제 1 디스플레이를 위한 제 1 프레임 버퍼의 제 1 중심와 프레임 버퍼에 로딩하는 컴퓨터 판독가능 명령어를 포함할 수 있다. 상기 프로그램은, 상기 제 1 중심와 외부 영역의 감소된 해상도로 표현되는 제 1 중심와 외부 영역 픽셀을, 상기 제 1 디스플레이를 위한 상기 제 1 프레임 버퍼의 제 1 중심와 외부 프레임 버퍼에 로딩하는 컴퓨터 판독가능 명령어를 포함할 수 있다. 상기 프로그램은, 상기 제 2 중심와 영역의 최대 해상도로 표현되는 제 2 중심와 영역 픽셀을, 상기 제 2 디스플레이를 위한 제 2 프레임 버퍼의 제 2 중심와 프레임 버퍼에 로딩하는 컴퓨터 판독가능 명령어를 포함할 수 있다. 상기 프로그램은, 상기 제 2 중심와 외부 영역의 감소된 해상도로 표현되는 제 2 중심와 외부 영역 픽셀을, 상기 제 2 디스플레이를 위한 상기 제 2 프레임 버퍼의 제 2 중심와 외부 프레임 버퍼에 로딩하는 컴퓨터 판독가능 명령어를 포함할 수 있다.
이제, 첨부된 도면에 도시된 특정 실시예를 참조하여 본 발명이 더 상세히 설명될 것이다. 본 발명은 특정 실시예를 참조하여 아래에서 설명되지만, 본 발명이 이에 제한되는 것은 아니라는 것을 이해해야 한다. 본 명세서의 교시에 액세스하는 당업자라면, 여기에서 설명된 본 발명의 범위 내에 있으면서 본 발명이 상당한 유용성을 가질 수 있는, 다른 사용 분야뿐만 아니라 추가 구현, 변형 및 실시예 를 인식할 것이다.
개시된 주제의 다양한 목적, 특징 및 장점은, 동일한 도면 부호가 동일한 요소를 나타내는 다음의 도면과 관련하여 고려될 때, 개시된 주제의 다음의 상세한 설명을 참조하여 보다 충분하게 이해될 수 있다. 첨부된 도면은 개략적이며, 축척대로 그려진 것은 아니다. 명확성을 위해, 모든 구성요소가 모든 도면에 표시되어 있는 것은 아니다. 또한, 개시된 주제의 각 실시예의 모든 구성요소는 개시된 주제를 당업자가 이해할 수 있도록 하는데 불필요할 경우 도시되지 않는다.
도 1은 중심와 영역과 중심와 외부 영역을 갖는 예시적 장면을 도시한다.
도 2는 예시적 최신 구현예에서 머리 장착형 디스플레이를 도시한다.
도 3은 본 발명의 일 실시예에 따른, 개선된 머리 장착형 디스플레이 설계를 도시하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 개선된 머리 장착형 디스플레이 설계를 도시하는 블록도이다.
도 5는 본 발명의 실시예에 따른, 디스플레이 패널(들)로의 전송을 위한 합성 이미지를 생성하기 위한 중심와 깊이 평면과 중심와 외부 깊이 평면 사이의 알파 블렌딩(alpha-blending)을 도시하는 블록도이다.
도 6은 본 발명의 일 실시예에 따른, 디스플레이 직렬 인터페이스의 출력의 데이터 처리를 도시하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 그래픽 렌더링을 위한 흐름도를 도시한다.
이하의 설명에서는, 개시된 주제의 완전한 이해를 제공하기 위해, 개시된 주제의 시스템 및 방법과 그러한 시스템 및 방법이 동작할 수 있는 환경 등에 관한 다수의 특정 세부사항이 제시된다. 그러나 당업자에게는, 개시된 주제가 그러한 특정 세부사항 없이 실시될 수 있고, 개시된 주제의 복잡성을 피하기 위해 당해 기술 분야에 잘 알려진 특정 특징들은 상세히 설명되지 않는다는 것이 명백할 것이다. 또한, 이하에 제공되는 예는 예시적인 것임이 이해될 것이고, 개시된 주제의 범위 내에 있는 다른 시스템 및 방법이 존재할 것이 예상된다.
본 발명은 눈 추적(eye-tracking)을 갖는 머리 장착형 디스플레이를 사용한다. 프레임 버퍼를 갖는 디스플레이 패널은 출력 프레임의 각 픽셀을 렌더링하기 위해 사용된다. 눈/동공 움직임 및/또는 위치가 측정되고, 정보는 프레임 버퍼의 로딩을 제어하고 프레임 버퍼의 데이터의 표현을 제어하는 프레임 버퍼 관리자에게 공급된다. 중심와 영역에서는 픽셀이 최대 정밀도로 표시되는 반면, 중심와 외부 영역에서는 효율성을 높이기 위해 디테일에 있어서 절충안이 만들어진다.
중심와 외부 렌더링 기술(extra-foveal rendering techniques)은 감소된 해상도, 감소된 프레임 속도 및 두 디스플레이 간의 복제를 포함할 수 있다. 특히, 이런 기술은 주변(중심와 외부)으로 식별되는 영역에 적용되고, 각 디스플레이의 중앙(중심와) 영역은 보다 상세한 렌더링을 포함한다.
디스플레이의 중심와 외부 영역의 프레임 버퍼의 출력에서 픽셀을 복제하는 것 대신에 지능형 패널이 사용되는 경우, 압축된 표현을 인터페이스를 통해 전송할 수 있으므로 전력을 절약할 수 있다. 그런 다음, 픽셀을 복제하기 위해 필요한 로직이 DSI 수신기의 출력에 제공될 수 있다.
도 1은 중심와 영역과 중심와 외부 영역을 갖는 예시적 장면을 도시한다. 영역(100)은 예시적 장면을 나타낸다. 영역(100)은 가상 현실 장면의 이미지일 수 있다. 영역(104)은 중심와 외부 영역을 나타낸다. 전술한 바와 같이, 시야의 이 부분은 감소된 수용체 및 신경절(ganglion) 밀도의 망막 영역에 투사된다. 인간은 이 부분을 낮은 해상도로 볼 수 있다. 영역(104)은 영역(100) 내의 부분일 수 있다. 일반적으로 인간은 대략 수직으로 135도, 수평으로 160도를 볼 수 있다. 따라서, 물체(106 및 108)의 일부는 사용자에 대한 가상 현실 이미지에서 렌더링되지 않을 수 있다. 영역(102)은 중심와 영역을 나타낸다. 시야의 이 부분(예컨대 5도 또는 다른 도수의 중앙 원)은 원추형 색 수용체(color cone receptor)로 빽빽하게 채워진 중심와라고 불리는 망막 영역에 투사된다. 전술한 바와 같이, 영역(102)은 사용자가 매우 상세하게 볼 수 있는 영역이다.
도 2는 최신 구현예에서 머리 장착형 디스플레이를 도시한 것이다. 도 2에는, 관찰자의 좌안 및 우안에 의해 해석될 이미지가 한 쌍의 디스플레이 버퍼로부터 최대 픽셀 해상도로 출력되는 최신 머리 장착형 디스플레이가 도시되어 있다. 도 2에 도시된 바와 같이, 머리 장착형 디스플레이(200)는, 사용자의 좌안용 디스플레이 패널(201), 사용자의 우안용 디스플레이 패널(202), 직렬/병렬 인터페이스(208)를 통해 디스플레이 패널(202)에 접속되는 프레임 버퍼(203), 직렬/병렬 인터페이스(210)를 통해 디스플레이 패널(202)에 접속되는 프레임 버퍼(204), 프레임 버퍼(203) 및 프레임 버퍼(204)를 포함하는 메모리(205), 프레임 버퍼(203/204)로의 픽셀/이미지 데이터의 로딩을 제어할 수 있는 프로세서(206)를 포함한다. 이 실시예에서, 디스플레이 패널(201 및 202)에 대한 모든 픽셀은 동일한 해상도로 렌더링된다. 몇몇 실시예에서, 디스플레이 패널(201 및 202)에 대한 모든 픽셀은 최대 해상도로 렌더링된다. 이 방법의 한 가지 단점은, 특히 이 디스플레이의 해상도가 4k 이상으로 급속히 올라가는 경우, 두 개의 디스플레이에 출력 될 픽셀을 저장하는 데 필요한 데이터 메모리의 양이 많다는 것이다. 또 다른 단점은 직렬/병렬 인터페이스(208/210)를 통해 많은 양의 데이터가 전송되기 때문에 직렬/병렬 인터페이스(208/210)를 통한 전송에 병목 현상(performance bottleneck)이 일어날 수 있다는 것이다.
도 3은 본 발명의 일 실시예에 따른, 적외선 투사 및 검출 또는 EEG 기반 눈 추적 중 적어도 하나를 사용하는 눈 추적에 의해 각각의 버퍼가 제어되는 알파 블렌딩(alpha-blending)과 결합된, 분리된 좌측 및 우측 중심와 디스플레이 및 저해상도 중심와 외부 디스플레이 버퍼를 갖는 개선된 머리 장착형 디스플레이 설계를 도시하는 블록도이다. 도 3에 도시된 바와 같이, 머리 장착형 디스플레이(300)는 머리 장착형 디스플레이를 착용하고 있는 사용자의 눈 움직임 및/또는 위치를 추적하기 위해 사용되는 디바이스(301/302)를 포함한다. 몇몇 실시예에서, 디바이스(301/302)는 적외선을 사용자의 눈에 투사하여 사용자의 눈 움직임 및 위치를 추적한다. 몇몇 실시예에서, 디바이스는 카메라를 사용하여 사용자의 눈의 사진 또는 비디오를 촬영한다. 다른 실시예에서, 디바이스(301/302)는 사용자의 눈 움직임 및/또는 위치를 추적하기 위해 사용자의 뇌전도(electroencephalogram)를 검출한다. 디바이스(301/302)는 뇌파 패턴을 추적 및 기록할 수 있다. 예를 들어, 사용자는 그의 두피에 부착된 전극을 가질 수 있는데, 이것은 신호를 기록하고 사용자의 눈의 움직임 및/또는 위치를 검출하도록 신호를 프로세서(304)에 전송한다(예컨대, 동공의 움직임 및/또는 위치를 검출함). 몇몇 실시예에서, 사용자의 눈 움직임 및 위치는 적외선 광 추적 및 뇌파 추적 모두에 기초하여 추적된다. 즉, 두 결과를 결합하여 사용자의 눈 움직임 및/또는 위치를 보다 정확하게 검출한다. 눈 추적 정보에 기초하여, 프로세서(304)는 사용자가 볼 수 있는 것에 대응하는 이미지를 메모리(306)에 로딩할 수 있다. 일 실시예에서, 사용자의 좌안의 중심와 외부 영역에 대응하는 픽셀은 중심와 외부 프레임 버퍼(308)에 로딩되고 더 낮은 해상도(예컨대, 이용 가능한 이미지 데이터의 원래 해상도에 비해 더 낮은 해상도)로 로딩된다. 사용자의 좌안의 중심와 영역에 대응하는 픽셀은 중심와 프레임 버퍼(310)에 로딩되고, 최대 해상도(예를 들어, 이용 가능한 이미지 데이터의 원래의 최대 해상도)로 로딩된다. 사용자의 우안의 중심와 외부 영역에 대응하는 픽셀은 중심와 외부 프레임 버퍼(312)에 로딩되고 더 낮은 해상도로 로딩된다. 사용자의 우안의 중심와 영역에 대응하는 픽셀은 중심와 프레임 버퍼(314)에 로딩되고 최대 해상도로 로딩된다.
몇몇 실시예에서, 알파 블렌딩(316/318)은 각각의 프레임 버퍼(308/310/312/314) 내의 픽셀에 적용되어 부분적으로 또는 완전히 투명한 외관을 생성한다. 알파 블렌딩은 투명하거나 반투명한 픽셀을 갖는 비트 맵인 알파 비트 맵을 디스플레이하기 위해 사용된다. 적색, 녹색 및 청색 채널 외에, 알파 비트 맵의 각 픽셀은 알파 채널로 알려진 투명도(transparency) 구성요소를 갖는다. 알파 채널은 일반적으로 색상 채널만큼의 비트를 포함한다. 예를 들어 8 비트 알파 채널은 0(전체 비트 맵이 투명함)에서 255(전체 비트 맵이 불투명함)까지 256 레벨의 투명도를 나타낼 수 있다.
디스플레이 패널(320/322)은 낮은 해상도 및 최대 해상도 픽셀을 포함하는 이미지를 디스플레이할 수 있다.
몇몇 실시예에서, 도 1과 관련하여 설명한 바와 같이, 중심와 외부 영역의 시야(visual field)는 감소된 수용체 및 신경절 밀도의 망막 영역으로 투사된다. 인간은 이 부분을 낮은 해상도로 볼 수 있다. 중심와 영역의 시야는 원추형 색 수용체(color cone receptor)로 빽빽하게 채워진, 중심와로 불리는 망막 영역으로 투사된다. 인간은 이 부분을 높은 해상도로 볼 수 있다. 중심와 영역은 5도 또는 다른 도수의 중앙 원일 수 있다. 일반적으로 인간은 대략 수직으로 135도, 수평으로 160도를 볼 수 있다. 중심와 외부 영역은 중심와 영역의 바깥쪽으로 수직으로 135도, 수평으로 160도 이내에 있을 수 있다. 몇몇 실시예에서, 중심와 영역 및/또는 중심와 외부 영역의 범위는 하드웨어의 레지스터를 통해 경험적으로 및/또는 프로그램 가능하게 결정될 수 있다. 즉, 중심와 영역 및/또는 중심와 외부 영역은 설계 시에 결정될 필요가 없을 수도 있다. 중심와 영역이 전체 시야로 확장될 수 있는 하드웨어가 설계될 수 있는데, 이는 최악의 경우일 수 있다. 몇몇 실시예에서, 중심와 및 중심와 외부 영역의 범위 및/또는 이들의 상대 프레임 속도를 결정하는 레지스터를 제어하는 소프트웨어가 구현될 수 있다.
몇몇 실시예에서, 시스템은 사용자가 만족스러워하는(예컨대, 사용자 경험을 저하시키지 않음) 지점으로 중심와 영역을 점진적으로 테스트하고 조정할 수 있다. 다른 실시예에서, 예를 들어 배터리 에너지를 보존하기 위해, 중심와 영역은 자동적으로 조정될 수 있다. 배터리가 고갈된다는 이유로 디스플레이를 갖지 않는 것보다 디스플레이를 갖는 것이 더 나을 수 있다.
예를 들어, 모든 이미지 데이터를 사용할 수 있는 가상 현실 애플리케이션(예컨대, 사용 가능한 모든 이미지 데이터를 갖는 게임용 가상 현실 애플리케이션)에서, 중심와 영역(들)에 대응하는 픽셀은 최대 해상도(즉, 사용 가능한 이미지 데이터의 원래 해상도)를 갖는 중심와 프레임 버퍼(들)에 로딩된다. 중심와 외부 영역(들)에 대응하는 픽셀은 감소된 해상도를 갖는 중심와 외부 프레임 버퍼(들)에 로딩된다. 예를 들어, 이하에서 상세히 설명하는 바와 같이, 이용 가능한 이미지 데이터로부터의 모든 픽셀이 중심와 외부 프레임 버퍼에 로딩되는 것은 아니다. 오히려, 예를 들어, 중심와 외부 영역에 대응하는 사용 가능한 이미지 데이터의 각 3x3 픽셀에 대해, 하나의 픽셀만이 중심와 외부 프레임 버퍼에 로딩되고 그 픽셀의 값은 인접한 8개 픽셀로 복제된다. 즉, 픽셀의 크기는 증가되었고 해상도는 감소되었다. 몇몇 실시예에서, 감소된 해상도는 원래의 최대 해상도보다 낮은 해상도이다.
중심와 영역의 해상도 및/또는 프레임 속도는 중심와 외부 영역의 해상도 및/또는 프레임 속도와 다를 수 있다. 몇몇 실시예에서, 중심와 외부 영역은 더 낮은 해상도 및/또는 더 낮은 프레임 속도에 의해 표현될 수 있다.
몇몇 실시예에서, 다수의 디스플레이 직렬 인터페이스(Display Serial Interface)가 동시에 사용될 수 있다. 디스플레이 직렬 인터페이스 중 일부는, 상대적으로 더 낮은 프레임 속도 및/또는 해상도에서 전송될 수 있는 중심와 외부 데이터에 비해, 상대적으로 더 높은 프레임 속도 및/또는 해상도에서 중심와 영역에 대응하는 디스플레이 데이터를 동시에 전송하도록 구성될 수 있다. 디스플레이 직렬 인터페이스 중 일부는 중심와 외부 영역에 대응하는 디스플레이 데이터를 동시에 전송하도록 구성될 수 있다.
몇몇 구현예에서, 픽셀 해상도는 다양한(예를 들어, 3개 이상의) 해상도로 표현된다. 예를 들어, 중심와 영역(예를 들어, 5도 또는 다른 도수의 중앙 원)에 대한 픽셀은 최대 해상도(예를 들어, 이용 가능한 이미지 데이터의 원래 최대 해상도)로 표현될 수 있다. 중심와 영역에 가까운 중심와 외부 영역의 픽셀은 중간 해상도로 표현될 수 있으며 최대 해상도보다 약간 낮은 해상도일 수 있다. 중심와 영역에 가깝지 않은 중심와 외부 영역에 대한 픽셀은 중간 해상도에 비해 더 낮은 해상도일 수 있는 낮은 해상도로 표현될 수 있다.
몇몇 구현예에서, 프로세서(304)는 유형의(tangible) 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 실행가능 명령어를 실행하는 범용 프로세서일 수 있다. 몇몇 구현예에서, 프로세서(304)는 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이(FPGA)와 같은 특수 목적 회로일 수 있거나 이를 포함할 수 있다. 몇몇 구현예에서, 프로세서(304)는 가속 그래픽 처리를 위한 하드웨어의 일부이다. 몇몇 구현예에서, 프로세서(304)는 칩상의 시스템, 즉, 컴퓨터 또는 다른 전자 시스템의 모든 구성요소를 단일 칩으로 통합하는 집적 회로(IC)이다. 프로세서(304)는 효율적인 그래픽 처리 및 프레임 버퍼 로딩을 가능하게 하는 모든 구성요소를 통합할 수 있다.
몇몇 구현예에서, 중심와 외부 프레임 버퍼(308/312)에 대해, 픽셀 값은 2x2 픽셀, 3x3 픽셀, 4x4 픽셀, 5x5 픽셀 또는 다른 다수의 픽셀에 걸쳐 복제된다. 즉, 각 픽셀을 중심와 외부 프레임 버퍼(308/312)에 로딩하는 것이 아니라, 프로세서(304)는 중심와 외부 영역에 대응하는 픽셀의 서브 세트를 중심와 외부 프레임 버퍼(308/312)에 로딩하고, 픽셀 값을 이웃 픽셀 값으로 복제하여 중심와 외부 프레임 버퍼에 저장할 수 있다. 몇몇 실시예에서, 중심와 외부 프레임 버퍼(308/312) 및 중심와 프레임 버퍼(310/314)는 상이한 속도(예컨대, 상이한 프레임 속도)로 로딩된다. 예를 들어, 중심와 외부 프레임 버퍼(308/312)는 60Hz로 로딩될 수 있고, 중심와 프레임 버퍼(310/314)는 120Hz로 로딩될 수 있다. 중심와 외부 프레임 버퍼(308/312) 및 중심와 프레임 버퍼(310/314)는 임의의 다른 적절한 속도로 로딩될 수 있다.
몇몇 구현예에서, 디스플레이 패널(320/322)은 다른 디스플레이 기술을 사용하는 LCD 패널, LED 패널 또는 디스플레이 패널일 수 있다.
도 4는 본 발명의 실시예에 따른 분리된 최대 해상도 좌측 및 우측 중심와 프레임 버퍼 및 공유형 낮은 해상도 중심와 외부 프레임 버퍼를 갖는 개선된 머리 장착형 디스플레이 설계를 도시하는 블록도이다. 머리 장착형 디스플레이(400)는 눈 추적 디바이스(401/402), 프로세서(404), 메모리(406), 중심와 프레임 버퍼(410/414), 공유형 중심와 외부 프레임 버퍼(408) 및 알파 블렌딩(416/418)을 포함한다. 눈 추적 디바이스(401/402), 프로세서(404), 메모리(406), 중심와 프레임 버퍼(410/414), 공유형 중심와 외부 프레임 버퍼(408) 및 알파-블렌딩(416/418)은 도 3의 눈 추적 디바이스(301/302), 프로세서(304), 메모리(306), 중심와 프레임 버퍼(310/314) 및 알파 블렌딩(316/318)과 유사하다. 도 4에 도시된 바와 같이, 2개의 분리된 중심와 외부 프레임 버퍼(좌안용 디스플레이 패널을 위한 하나의 중심와 외부 프레임 버퍼와 우안용 디스플레이 패널을 위한 다른 중심와 외부 프레임 버퍼)를 사용하지 않고, 이 실시예에서는, 중심와 외부 프레임 버퍼가 2개의 디스플레이 패널 간에 공유된다. 즉, 중심와 외부 영역에 대한 이미지 데이터의 유닛에 대응하는 픽셀에는, 좌안용 디스플레이 패널에 대한 하나의 메모리 공간 및 우안용 디스플레이 패널에 대한 또 다른 메모리 공간이 아닌, 단일 대응 메모리 공간이 할당될 수 있다. 공유형 중심와 외부 프레임 버퍼(410)는 메모리 공간 요건을 감소시킬 수 있다.
도 5는 본 개시의 실시예에 따른, 디스플레이 패널(들)로의 전송을 위한 합성 이미지를 생성하기 위해 중심와 깊이 평면과 중심와 외부 깊이 평면 사이의 알파 블렌딩을 도시하는 블록도이다. 도 5에 도시된 바와 같이, 층(502)은 중심와 영역에 대한 최대 해상도의 픽셀을 포함한다. 층(504)은 중심와 외부 영역에 대한 더 낮은 해상도의 픽셀을 포함한다. 몇몇 실시예에서, 층(502)과 층(504)은 서로 중첩된다. 즉, 중심와 영역은 층(502)에서 최대 해상도로, 층(504)에서 낮은 해상도로 렌더링된다. 이 실시예에서, 층(502)의 픽셀에 대한 깊이 평면은 디스플레이 패널(들)에 전송될 이미지(501)를 생성하기 위해 알파 블렌딩(503)을 통해 층(504)의 픽셀에 대한 깊이 평면과 결합된다. 이러한 블렌딩은 디스플레이 패널에 대한 중심와 영역 및 중심와 외부 영역을 포함하는 이미지가 부드럽게 합성되도록 부드러운 단계 전이를 가능하게 할 수 있다. 부드러운 단계는 보간 함수이다.
도 6은 본 발명의 일 실시예에 따른, 디스플레이 직렬 인터페이스의 출력의 데이터 처리를 도시하는 블록도이다. 이 실시예에서는, 중심와 외부 영역에 대응하는 모든 픽셀이 중심와 외부 프레임 버퍼(602)에 로딩되는 것은 아니다. 예를 들어, 각 3x3 픽셀(620)에 대해, 픽셀(622)에 대한 하나의 픽셀 값 "x"만이 중심와 외부 프레임 버퍼(602)에 로딩된다. 다른 예로서, 각 2x2 픽셀, 4x4 픽셀, 또는 5x5 픽셀에 대해, 하나의 픽셀 값만이 중심와 외부 프레임 버퍼에 로딩된다. 몇몇 구현예에서, 각 2x2 픽셀, 4x4 픽셀 또는 5x5 픽셀에 대해 2 이상의 픽셀이 중심와 외부 버퍼에 로딩될 수 있다. 픽셀 데이터/값은 직렬/병렬 인터페이스(604)를 통해 디스플레이 패널(610)로 전송된다. 직렬/병렬 인터페이스(604)는 디스플레이 직렬 인터페이스일 수 있다.
몇몇 실시예에서, 프로세서(608)는 직렬/병렬 인터페이스(604)에 대한 출력을 수신한다. 프로세스(608)는 픽셀 값을 이웃 픽셀에 복제할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 픽셀(622)의 값 "x"는 이웃 픽셀(620)에 복제될 수 있고, 복제된 픽셀 값은 디스플레이 패널(610) 상에 이미지를 렌더링하기 위해 사용될 수 있다. 따라서, 모든 픽셀이 메모리에 저장될 필요는 없다. 즉, 메모리는 이미지의 압축된 표현만 저장하면 된다. 예를 들어, 도 6에 도시된 바와 같이, 각 3x3 픽셀에 대해 단지 하나의 픽셀이 메모리에 로딩되면, 메모리는 총 픽셀의 1/9만 저장하면 되고, 각 3x3 픽셀에 대해 9개의 픽셀 중 8개가 프로세서(608)에 의해 복제될 수 있다.
도 7은 본 발명의 일 실시예에 따른 그래픽 렌더링에 대한 흐름도를 도시한다.
방법(700)은 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보를 수신하는 단계(702)와, 눈 추적 정보에 기초하여 좌안용 제 1 디스플레이의 제 1 중심와 영역, 제 1 디스플레이의 제 1 중심와 외부 영역, 우안용 제 2 디스플레이의 제 2 중심와 영역 및 제 2 디스플레이의 제 2 중심와 영역을 결정하는 단계(704)와, 최대 해상도를 갖는 제 1 중심와 영역의 제 1 중심와 영역 픽셀, 감소된 해상도를 갖는 제 1 중심와 외부 영역의 제 1 중심와 외부 영역 픽셀, 최대 해상도를 갖는 제 2 중심와 영역의 제 2 중심와 영역 픽셀, 감소된 해상도를 갖는 제 2 중심와 외부 영역의 제 2 중심와 외부 영역 픽셀을 메모리에 로딩하는 단계(706)를 포함할 수 있다.
방법(700)은 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보를 수신하는 단계(702)를 포함할 수 있다. 몇몇 구현예에서, 전술한 바와 같이, 눈 추적 정보는 사용자의 동공에 대한 적외선 광 투사에 기초할 수 있다. 다른 구현예에서, 눈 추적 정보는 사용자의 EEG에 기초할 수 있다(예컨대, 전극이 사용자의 두피에 부착될 수 있으며, 이어서 전극은 신호를 프로세서에 전송할 수 있다). 다른 구현예에서, 눈 추적 정보는 사용자가 착용하는, 내장 거울 또는 자기장 센서를 갖는 특수 콘택트 렌즈로부터 획득될 수 있다.
단계 704에서, 눈-추적 정보, 사용자의 좌안용 디스플레이 패널에 대한 중심와 및 중심와 외부 영역, 및 사용자의 우안의 디스플레이 패널에 대한 중심와 및 중심와 외부 영역이 결정될 수 있다.
단계 706에서, 중심와 영역에 대응하는 픽셀은 하나 이상의 중심와 프레임 버퍼에 로딩될 수 있고 이런 픽셀은 최대 해상도로 표현될 수 있으며, 중심와 외부 영역에 대응하는 픽셀은 하나 이상의 중심와 외부 프레임 버퍼에 로딩될 수 있고 이런 픽셀은 감소된 해상도로 표현될 수 있다. 전술한 바와 같이, 좌안용 디스플레이 패널과 우안용 디스플레이 패널 사이에서 중심와 외부 버퍼가 공유될 수 있다. 픽셀 값은 2x2 픽셀, 3x3 픽셀, 4x4 패널 또는 5x5 픽셀을 포함하지만 이에 제한되지 않는 것에 걸쳐 복제될 수 있다. 다른 복수의 픽셀이 가능하다. 몇몇 실시예에서, 복제된 값은 프레임 버퍼(예컨대, 중심와 외부 프레임 버퍼)에 저장될 수 있다. 다른 실시예에서, 디스플레이 직렬 인터페이스의 출력은 픽셀 값을 복제하기 위해 처리될 수 있으며, 이는 메모리에 압축된 저장을 가능하게 할 수 있다.
본 명세서에서는 여러 가지 다른 배열이 설명되었지만, 각각의 특징은 다양한 형태로 유리하게 함께 결합되어 장점을 달성할 수 있다는 것이 인식될 것이다.
명세서의 앞 부분에서, 본 출원은 특정 예를 참조하여 설명되었다. 그러나, 첨부된 청구 범위에 제시된 본 발명의 더 넓은 사상 및 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음이 명백할 것이다. 예를 들어, 접속은 각각의 노드, 유닛 또는 디바이스로부터, 예를 들어 중간 디바이스를 통해 신호를 전송하기에 적합한 임의 유형의 접속일 수 있다. 따라서, 암시되거나 달리 언급되지 않는 한, 접속은 예를 들어 직접 접속 또는 간접 접속일 수 있다.
본 명세서에 도시된 아키텍처는 단지 예시적인 것이며 실제로 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 추상적이지만 여전히 명확한 의미에서, 동일한 기능을 달성하기 위한 구성요소의 배열은 효과적으로 "연관"되어 원하는 기능이 달성된다. 따라서, 특정 기능을 달성하기 위해 결합된 임의의 2개의 구성요소는 아키텍처 또는 중간 구성요소와 관계없이 원하는 기능이 달성되도록 서로 "연관"된 것으로 보일 수 있다. 마찬가지로, 이와 같이 연관된 임의의 2개의 구성요소는 또한 원하는 기능을 달성하기 위해 서로 "작동 가능하게 접속된" 것 또는 "작동 가능하게 결합된" 것으로 간주될 수 있다.
또한, 당업자는 전술한 동작들의 기능 사이의 경계가 단지 예시적인 것임을 인식할 것이다. 다수 동작의 기능은 단일 동작으로 결합될 수 있고/있거나, 단일 동작의 기능은 추가 동작들로 분산될 수 있다. 또한, 대안적 실시예는 특정 동작의 다수의 인스턴스를 포함할 수 있고, 동작의 순서는 다양한 상이한 실시예에서 변경될 수 있다.
그러나, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
청구 범위에서, 괄호 안의 임의의 참조 부호는 청구 범위를 제한하는 것으로 해석되어서는 안된다. "포함하는"이라는 단어는 청구항에 나열된 것 이외의 다른 요소 또는 단계의 존재를 배제하지 않다. 또한, 본원에 사용된 단수 용어는 하나 또는 그보다 많은 것으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구의 사용은, 동일한 청구항이 "하나 이상" 또는 "적어도 하나"라는 도입 문구와 "a" 또는 "an"과 같은 부정 관사를 포함하는 경우에도, 부정 관사 "a" 또는 "an"에 의한 또 다른 청구 요소의 도입이 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 그러한 요소를 단지 하나만 포함하는 발명으로 제한하는 것을 암시하는 것으로 해석되어서는 안된다. 정관사의 사용에 대해서도 마찬가지이다. 달리 명시하지 않는 한, "제 1" 및 "제 2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의적으로 구별하기 위해 사용된다. 따라서, 이러한 용어는 반드시 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 의도되는 것은 아니다. 특정 수단이 서로 다른 청구항에서 기재된다는 사실만으로 이러한 수단의 결합이 유리하게 사용될 수 없음을 나타내는 것은 아니다.

Claims (24)

  1. 머리 장착형 디스플레이 디바이스로서,
    좌안을 위한 제 1 디스플레이와,
    우안을 위한 제 2 디스플레이와,
    상기 제 1 디스플레이를 통해 제시될 데이터 및 상기 제 2 디스플레이를 통해 제시될 데이터를 저장하는 메모리와,
    하나 이상의 프로세서를 포함하되,
    상기 하나 이상의 프로세서는,
    머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보에 기초하여, 상기 제 1 디스플레이의 제 1 중심와 영역(foveal region), 상기 제 1 디스플레이의 제 1 중심와 외부 영역(extra-foveal region), 상기 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역을 결정하고－ 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 나타냄 －,
    상기 제 1 중심와 영역과 연관된 제 1 중심와 영역 픽셀에 대응하는 상기 데이터의 제 1 서브 세트, 상기 제 1 중심와 외부 영역과 연관된 제 1 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 2 서브 세트, 상기 제 2 중심와 영역과 연관된 제 2 중심와 영역 픽셀에 대응하는 상기 데이터의 제 3 서브 세트, 상기 제 2 중심와 외부 영역과 연관된 제 2 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 4 서브 세트를 식별하고,
    상기 제 1 서브 세트를 제 1 최대 해상도(full resolution)에서 상기 메모리로부터 제 1 중심와 프레임 버퍼로 로딩하고,
    상기 제 2 서브 세트를 제 1 감소 해상도에서 상기 메모리로부터 제 1 중심와 외부 프레임 버퍼로 로딩하고,
    상기 제 3 서브 세트를 제 2 최대 해상도에서 상기 메모리로부터 제 2 중심와 프레임 버퍼로 로딩하고,
    상기 제 4 서브 세트를 제 2 감소 해상도에서 상기 메모리로부터 제 2 중심와 외부 프레임 버퍼로 로딩하는
    머리 장착형 디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서는 상기 사용자의 눈 추적 정보에 기초하여 상기 제 1 중심와 영역, 상기 제 1 중심와 외부 영역, 상기 제 2 중심와 영역 또는 상기 제 2 중심와 외부 영역 중 적어도 하나를 조정하는
    머리 장착형 디스플레이 디바이스.
  3. 제 1 항에 있어서,
    상기 하나 이상의 프로세서는,
    픽셀 그룹에서 픽셀 값을 선택하는 것과,
    상기 픽셀 값을 이웃 픽셀에 복제하는 것
    에 의해, 상기 픽셀 값의 크기를 증가시키고 상기 픽셀 값의 해상도를 상기 제 1 감소 해상도 또는 상기 제 2 감소 해상도로 감소시키는
    머리 장착형 디스플레이 디바이스.
  4. 제 3 항에 있어서,
    상기 하나 이상의 프로세서는 2x2 픽셀, 3x3 픽셀, 4x4 픽셀 또는 5x5 픽셀 중 적어도 하나에 걸쳐 상기 픽셀 그룹 내의 상기 픽셀 값을 복제하는
    머리 장착형 디스플레이 디바이스.
  5. 제 1 항에 있어서,
    상기 제 1 중심와 프레임 버퍼와 연관된 제 1 디스플레이 직렬 인터페이스 (Display Serial Interface: DSI) 및 상기 제 2 중심와 프레임 버퍼와 연관된 제 2 DSI를 더 포함하되, 상기 제 1 DSI 및 상기 제 2 DSI는 상기 제 1 중심와 프레임 버퍼 및 상기 제 2 중심와 프레임 버퍼로부터의 상기 데이터를 동시에 전송하는
    머리 장착형 디스플레이 디바이스.
  6. 제 1 항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제 1 중심와 프레임 버퍼를 제 1 속도로 로딩하고,
    상기 제 1 중심와 외부 프레임 버퍼를 제 2 속도로 로딩하고,
    상기 제 2 중심와 프레임 버퍼를 제 3 속도로 로딩하고,
    상기 제 2 중심와 외부 프레임 버퍼를 제 4 속도로 로딩하는
    머리 장착형 디스플레이 디바이스.
  7. 제 6 항에 있어서,
    상기 제 1 속도는 상기 제 3 속도와 동등하고, 상기 제 2 속도는 상기 제 4 속도와 동등하고, 상기 제 1 속도는 상기 제 2 속도와 상이한
    머리 장착형 디스플레이 디바이스.
  8. 제 1 항에 있어서,
    복수의 디스플레이 직렬 인터페이스를 더 포함하되, 상기 복수의 디스플레이 직렬 인터페이스 중 적어도 2개는,
    상기 제 1 서브 세트를 상기 제 1 최대 해상도에서 상기 제 1 중심와 프레임 버퍼로부터 상기 제 1 디스플레이로,
    상기 제 2 서브 세트를 상기 제 1 감소 해상도에서 상기 제 1 중심와 외부 프레임 버퍼로부터 상기 제 1 디스플레이로,
    상기 제 3 서브 세트를 상기 제 2 최대 해상도에서 상기 제 2 중심와 프레임 버퍼로부터 상기 제 2 디스플레이로,
    상기 제 4 서브 세트를 상기 제 2 감소 해상도에서 상기 제 2 중심와 외부 프레임 버퍼로부터 상기 제 2 디스플레이로
    동시에 전송하는
    머리 장착형 디스플레이 디바이스.
  9. 머리 장착형 디스플레이 디바이스의 사용자의 눈에 이미지를 제시하기 위한 방법으로서,
    적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보에 기초하여, 제 1 디스플레이의 제 1 중심와 영역, 상기 제 1 디스플레이의 제 1 중심와 외부 영역, 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역을 결정하는 단계－ 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 나타냄 －와,
    상기 적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 상기 제 1 중심와 영역과 연관된 제 1 중심와 영역 픽셀에 대응하는 데이터의 제 1 서브 세트, 상기 제 1 중심와 외부 영역과 연관된 제 1 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 2 서브 세트, 상기 제 2 중심와 영역과 연관된 제 2 중심와 영역 픽셀에 대응하는 상기 데이터의 제 3 서브 세트, 상기 제 2 중심와 외부 영역과 연관된 제 2 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 4 서브 세트를 식별하는 단계와,
    상기 적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 상기 제 1 서브 세트를 제 1 최대 해상도에서 메모리로부터 제 1 중심와 프레임 버퍼로 로딩하는 단계와,
    상기 적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 상기 제 2 서브 세트를 제 1 감소 해상도에서 상기 메모리로부터 제 1 중심와 외부 프레임 버퍼로 로딩하는 단계와,
    상기 적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 상기 제 3 서브 세트를 제 2 최대 해상도에서 상기 메모리로부터 제 2 중심와 프레임 버퍼로 로딩하는 단계와,
    상기 적어도 하나의 프로세서에 의해 명령어를 실행함으로써, 상기 제 4 서브 세트를 제 2 감소 해상도에서 상기 메모리로부터 제 2 중심와 외부 프레임 버퍼로 로딩하는 단계를 포함하는
    방법.
  10. 머리 장착형 디스플레이 디바이스로서,
    제 1 데이터를 좌안에 디스플레이하는 제 1 디스플레이 수단과,
    제 2 데이터를 우안에 디스플레이하는 제 2 디스플레이 수단과,
    머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보에 기초하여, 상기 제 1 디스플레이 수단의 제 1 중심와 영역, 상기 제 1 디스플레이 수단의 제 1 중심와 외부 영역, 상기 제 2 디스플레이 수단의 제 2 중심와 영역 및 상기 제 2 디스플레이 수단의 제 2 중심와 외부 영역을 결정하고－ 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 나타냄 －,
    상기 제 1 중심와 영역과 연관된 제 1 중심와 영역 픽셀에 대응하는 상기 제 1 데이터의 제 1 서브 세트, 상기 제 1 중심와 외부 영역과 연관된 제 1 중심와 외부 영역 픽셀에 대응하는 상기 제 1 데이터의 제 2 서브 세트, 상기 제 2 중심와 영역과 연관된 제 2 중심와 영역 픽셀에 대응하는 상기 제 2 데이터의 제 3 서브 세트, 상기 제 2 중심와 외부 영역과 연관된 제 2 중심와 외부 영역 픽셀에 대응하는 상기 제 2 데이터의 제 4 서브 세트를 식별하는
    수단과,
    상기 제 1 서브 세트를 제 1 최대 해상도에서 버퍼링하는 제 1 버퍼링 수단과,
    상기 제 2 서브 세트를 제 1 감소 해상도에서 버퍼링하는 제 2 버퍼링 수단과,
    상기 제 3 서브 세트를 제 2 최대 해상도에서 버퍼링하는 제 3 버퍼링 수단과,
    상기 제 4 서브 세트를 제 2 감소 해상도에서 버퍼링하는 제 4 버퍼링 수단을 포함하는
    머리 장착형 디스플레이 디바이스.
  11. 제 10 항에 있어서,
    눈 움직임을 추적하는 수단을 더 포함하는
    머리 장착형 디스플레이 디바이스.
  12. 제 10 항에 있어서,
    상기 결정하고 식별하는 수단은, 상기 사용자의 눈 추적 정보에 기초하여 상기 제 1 중심와 영역, 상기 제 1 중심와 외부 영역, 상기 제 2 중심와 영역 또는 상기 제 2 중심와 외부 영역 중 적어도 하나를 조정하는
    머리 장착형 디스플레이 디바이스.
  13. 제 10 항에 있어서,
    상기 결정하고 식별하는 수단은,
    픽셀 그룹 내에서 중심 픽셀로부터의 픽셀 값 선택하는 것과,
    상기 중심 픽셀의 픽셀 값을 이웃 픽셀에 복제하는 것
    에 의해, 상기 제 1 감소 해상도 또는 상기 제 2 감소 해상도를 생성하는
    머리 장착형 디스플레이 디바이스.
  14. 제 13 항에 있어서,
    상기 결정하고 식별하는 수단은, 2x2 픽셀, 3x3 픽셀, 4x4 픽셀 또는 5x5 픽셀 중 적어도 하나에 걸쳐 상기 픽셀 그룹 내의 상기 픽셀 값을 복제하는
    머리 장착형 디스플레이 디바이스.
  15. 제 10 항에 있어서,
    상기 제 2 버퍼링 수단과 상기 제 4 버퍼링 수단은 공유형 버퍼인
    머리 장착형 디스플레이 디바이스.
  16. 제 10 항에 있어서,
    상기 결정하고 식별하는 수단은,
    상기 제 1 버퍼링 수단을 제 1 속도로 로딩하고,
    상기 제 2 버퍼링 수단을 제 2 속도로 로딩하고,
    상기 제 3 버퍼링 수단을 제 3 속도로 로딩하고,
    상기 제 4 버퍼링 수단을 제 4 속도로 로딩하는
    머리 장착형 디스플레이 디바이스.
  17. 제 10 항에 있어서,
    상기 결정하고 식별하는 수단은, (a) 상기 제 1 중심와 영역 픽셀의 깊이 평면과 상기 제 1 중심와 외부 영역 픽셀의 깊이 평면 사이 및 (b) 상기 제 2 중심와 영역 픽셀의 깊이 평면과 상기 제 2 중심와 외부 영역 픽셀의 깊이 평면 사이에 알파 블렌딩(alpha-blending)을 적용하는
    머리 장착형 디스플레이 디바이스.
  18. 머리 장착형 디스플레이 디바이스와 함께 사용하기 위한, 명령어를 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령어는 실행될 때 하나 이상의 프로세서로 하여금 적어도,
    머리 장착형 디스플레이를 착용한 사용자의 눈 추적 정보에 기초하여, 제 1 디스플레이의 제 1 중심와 영역, 상기 제 1 디스플레이의 제 1 중심와 외부 영역, 제 2 디스플레이의 제 2 중심와 영역 및 상기 제 2 디스플레이의 제 2 중심와 외부 영역을 결정하게 하고－ 상기 눈 추적 정보는 상기 사용자의 눈 움직임과 눈 위치 중 적어도 하나를 나타냄 －,
    상기 제 1 중심와 영역과 연관된 제 1 중심와 영역 픽셀에 대응하는 데이터의 제 1 서브 세트를 식별하게 하고,
    상기 제 1 중심와 외부 영역과 연관된 제 1 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 2 서브 세트를 식별하게 하고,
    상기 제 2 중심와 영역과 연관된 제 2 중심와 영역 픽셀에 대응하는 상기 데이터의 제 3 서브 세트를 식별하게 하고,
    상기 제 2 중심와 외부 영역과 연관된 제 2 중심와 외부 영역 픽셀에 대응하는 상기 데이터의 제 4 서브 세트를 식별하게 하고,
    상기 제 1 서브 세트를 제 1 최대 해상도에서 메모리로부터 제 1 중심와 프레임 버퍼로 로딩하게 하고,
    상기 제 2 서브 세트를 제 1 감소 해상도에서 상기 메모리로부터 제 1 중심와 외부 프레임 버퍼로 로딩하게 하고,
    상기 제 3 서브 세트를 제 2 최대 해상도에서 상기 메모리로부터 제 2 중심와 프레임 버퍼로 로딩하게 하고,
    상기 제 4 서브 세트를 제 2 감소 해상도에서 상기 메모리로부터 제 2 중심와 외부 프레임 버퍼로 로딩하게 하는
    컴퓨터 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금,
    픽셀 그룹에서 픽셀 값을 선택하는 것과,
    상기 픽셀 값을 이웃 픽셀에 복제하는 것
    에 의해, 상기 픽셀 값의 크기를 증가시키고 상기 픽셀 값의 해상도를 상기 제 1 감소 해상도 또는 상기 제 2 감소 해상도로 감소시키게 하는
    컴퓨터 판독가능 저장 매체.
  20. 제 18 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금, 상기 사용자의 눈 추적 정보에 기초하여 상기 제 1 중심와 영역, 상기 제 1 중심와 외부 영역, 상기 제 2 중심와 영역 또는 상기 제 2 중심와 외부 영역 중 적어도 하나를 조정하게 하는
    컴퓨터 판독가능 저장 매체.
  21. 제 18 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금, 상기 제 1 디스플레이 또는 상기 제 2 디스플레이 중 적어도 하나 및 상기 메모리와 통신하는 디스플레이 직렬 인터페이스로부터 픽셀 값을 수신한 후에 상기 픽셀 값을 복제하게 하는
    컴퓨터 판독가능 저장 매체.
  22. 제 21 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금, 상기 제 1 감소 해상도 또는 상기 제 2 감소 해상도 중 적어도 하나를 생성하기 위해 상기 픽셀 값을 복제하게 하는
    컴퓨터 판독가능 저장 매체.
  23. 제 18 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금, 제 1 디스플레이 직렬 인터페이스 및 제 2 디스플레이 직렬 인터페이스를 통해 상기 제 1 중심와 프레임 버퍼로부터의 데이터 및 상기 제 2 중심와 프레임 버퍼로부터의 데이터를 동시에 전송하게 하는
    컴퓨터 판독가능 저장 매체.
  24. 제 18 항에 있어서,
    상기 명령어는 실행될 때 상기 하나 이상의 프로세서로 하여금, (a) 상기 제 1 중심와 영역 픽셀의 깊이 평면과 상기 제 1 중심와 외부 영역 픽셀의 깊이 평면 사이 및 (b) 상기 제 2 중심와 영역 픽셀의 깊이 평면과 상기 제 2 중심와 외부 영역 픽셀의 깊이 평면 사이에 알파 블렌딩을 적용하게 하는
    컴퓨터 판독가능 저장 매체.
KR1020187031662A 2016-04-01 2017-03-10 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법 KR102140389B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/088,816 2016-04-01
US15/088,816 US10460704B2 (en) 2016-04-01 2016-04-01 Systems and methods for head-mounted display adapted to human visual mechanism
PCT/IB2017/000283 WO2017168229A1 (en) 2016-04-01 2017-03-10 Systems and methods for head-mounted display adapted to human visual mechanism

Publications (2)

Publication Number Publication Date
KR20180131594A KR20180131594A (ko) 2018-12-10
KR102140389B1 true KR102140389B1 (ko) 2020-08-03

Family

ID=58692528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187031662A KR102140389B1 (ko) 2016-04-01 2017-03-10 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US10460704B2 (ko)
EP (1) EP3437317A1 (ko)
JP (1) JP2019512750A (ko)
KR (1) KR102140389B1 (ko)
CN (1) CN110140353A (ko)
WO (1) WO2017168229A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
CN104469344B (zh) * 2014-12-03 2017-03-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
US10353202B2 (en) * 2016-06-09 2019-07-16 Microsoft Technology Licensing, Llc Wrapped waveguide with large field of view
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
KR102246836B1 (ko) * 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
US10262387B2 (en) 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
EP3602181A4 (en) 2017-03-27 2020-05-13 Avegant Corp. STEERABLE FOVEA DISPLAY
US10553010B2 (en) 2017-04-01 2020-02-04 Intel IP Corporation Temporal data structures in a ray tracing architecture
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
GB2568261B (en) 2017-11-08 2022-01-26 Displaylink Uk Ltd System and method for presenting data at variable quality
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US10580207B2 (en) * 2017-11-24 2020-03-03 Frederic Bavastro Augmented reality method and system for design
US10977859B2 (en) * 2017-11-24 2021-04-13 Frederic Bavastro Augmented reality method and system for design
GB2569176B (en) * 2017-12-08 2022-04-13 Displaylink Uk Ltd Processing visual information for display on a screen
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN110858896B (zh) * 2018-08-24 2021-06-08 东方梦幻虚拟现实科技有限公司 一种vr图像处理方法
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
JP7460637B2 (ja) 2019-01-07 2024-04-02 エイヴギャント コーポレイション 制御システムおよびレンダリングパイプライン
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
EP3906669B1 (en) 2019-03-13 2024-06-05 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
GB2583741B (en) * 2019-05-08 2022-03-16 Univ Newcastle Kinase screening assays
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
US11307655B2 (en) * 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
US11093033B1 (en) * 2019-10-28 2021-08-17 Facebook, Inc. Identifying object of user focus with eye tracking and visually evoked potentials
CN110855972B (zh) * 2019-11-21 2021-07-27 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
WO2021142486A1 (en) 2020-01-06 2021-07-15 Avegant Corp. A head mounted system with color specific modulation
US11568783B1 (en) * 2021-08-17 2023-01-31 Varjo Technologies Oy Display drivers, apparatuses and methods for improving image quality in foveated images
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
CN115032797B (zh) * 2022-06-30 2023-12-08 恒玄科技(上海)股份有限公司 用于无线智能眼镜的显示方法和无线智能眼镜
WO2024084819A1 (ja) * 2022-10-21 2024-04-25 パナソニックＩｐマネジメント株式会社 画像生成装置

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB710876A (en) 1951-04-27 1954-06-23 Chamberlain & Hookham Ltd Protective apparatus for electricity distributing systems
US3553651A (en) 1967-12-06 1971-01-05 Singer General Precision Memory storage system
US3919534A (en) 1974-05-17 1975-11-11 Control Data Corp Data processing system
US4281312A (en) 1975-11-04 1981-07-28 Massachusetts Institute Of Technology System to effect digital encoding of an image
GB1488538A (en) 1975-11-28 1977-10-12 Ibm Compressed refresh buffer
JPS6015771A (ja) 1983-07-08 1985-01-26 Hitachi Ltd ベクトルプロセッサ
US5081573A (en) 1984-12-03 1992-01-14 Floating Point Systems, Inc. Parallel processing system
CA1236584A (en) 1984-12-03 1988-05-10 William E. Hall Parallel processing system
US5226171A (en) 1984-12-03 1993-07-06 Cray Research, Inc. Parallel vector processing system for individual and broadcast distribution of operands and control information
US4850027A (en) 1985-07-26 1989-07-18 International Business Machines Corporation Configurable parallel pipeline image processing system
US5021945A (en) 1985-10-31 1991-06-04 Mcc Development, Ltd. Parallel processor system for processing natural concurrencies and method therefor
JPH0731669B2 (ja) 1986-04-04 1995-04-10 株式会社日立製作所 ベクトル・プロセツサ
GB2190560B (en) 1986-05-08 1990-06-20 Gen Electric Plc Data compression
JPH02290626A (ja) 1989-04-27 1990-11-30 Nhk Spring Co Ltd 金属ベローズの製造方法および製造装置
US5434623A (en) 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
US5262973A (en) 1992-03-13 1993-11-16 Sun Microsystems, Inc. Method and apparatus for optimizing complex arithmetic units for trivial operands
JPH05297853A (ja) * 1992-04-16 1993-11-12 Hitachi Ltd 表示制御装置
US5861873A (en) 1992-06-29 1999-01-19 Elonex I.P. Holdings, Ltd. Modular portable computer with removable pointer device
US5586300A (en) 1994-07-20 1996-12-17 Emc Corporation Flexible addressing memory controller wherein multiple memory modules may be accessed according to comparison of configuration addresses
FI97096C (fi) 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä
JP3727961B2 (ja) * 1994-10-28 2005-12-21 キヤノン株式会社 頭部装着型表示装置
GB2311882B (en) 1996-04-04 2000-08-09 Videologic Ltd A data processing management system
JPH1091441A (ja) 1996-09-13 1998-04-10 Sanyo Electric Co Ltd プログラム実行方法およびその方法を利用した装置
US5963642A (en) 1996-12-30 1999-10-05 Goldstein; Benjamin D. Method and apparatus for secure storage of data
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6009511A (en) 1997-06-11 1999-12-28 Advanced Micro Devices, Inc. Apparatus and method for tagging floating point operands and results for rapid detection of special floating point numbers
JPH1185512A (ja) 1997-09-03 1999-03-30 Fujitsu Ltd 命令圧縮格納および命令復元機能を有するデータ処理装置
US6173389B1 (en) 1997-12-04 2001-01-09 Billions Of Operations Per Second, Inc. Methods and apparatus for dynamic very long instruction word sub-instruction selection for execution time parallelism in an indirect very long instruction word processor
US6366999B1 (en) 1998-01-28 2002-04-02 Bops, Inc. Methods and apparatus to support conditional execution in a VLIW-based array processor with subword execution
US6717578B1 (en) 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
WO2000004484A2 (en) 1998-07-17 2000-01-27 Intergraph Corporation Wide instruction word graphics processor
US8538886B1 (en) 1998-08-31 2013-09-17 Google Inc. Watermarking system and methodology for digital multimedia content
US6839728B2 (en) 1998-10-09 2005-01-04 Pts Corporation Efficient complex multiplication and fast fourier transform (FFT) implementation on the manarray architecture
WO2000062543A1 (en) 1999-04-08 2000-10-19 New York University Extremely high resolution foveated display
US20080007562A1 (en) 1999-04-09 2008-01-10 Dave Stuttard Parallel data processing apparatus
GB2348971B (en) 1999-04-09 2004-03-03 Pixelfusion Ltd Parallel data processing systems
US6535644B1 (en) * 1999-07-01 2003-03-18 Koninklijke Philips Electronics N.V. Hierarchical foveation based on wavelets
US6591019B1 (en) 1999-12-07 2003-07-08 Nintendo Co., Ltd. 3D transformation matrix compression and decompression
JP3262772B2 (ja) 1999-12-17 2002-03-04 株式会社ナムコ 画像生成システム及び情報記憶媒体
US6859870B1 (en) 2000-03-07 2005-02-22 University Of Washington Method and apparatus for compressing VLIW instruction and sharing subinstructions
US6779066B2 (en) 2000-05-01 2004-08-17 Matsushita Electric Industrial Co., Ltd. Module having application-specific program stored therein
GB2362055A (en) 2000-05-03 2001-11-07 Clearstream Tech Ltd Image compression using a codebook
WO2001084849A1 (en) 2000-05-03 2001-11-08 Clearstream Technologies Limited Video data transmission
GB2366643B (en) 2000-05-25 2002-05-01 Siroyan Ltd Methods of compressing instructions for processors
CA2357236C (en) 2000-10-17 2011-09-06 Spx Development Corporation Plug-in module for portable computing device
JP4046969B2 (ja) 2000-11-09 2008-02-13 キヤノン株式会社 画像処理装置、及びその方法、並びにプログラム、記憶媒体
US7305092B2 (en) 2000-12-19 2007-12-04 Qualcomm Incorporated Method and system to accelerate cryptographic functions for secure e-commerce applications
EP1241892A1 (de) 2001-03-06 2002-09-18 Siemens Aktiengesellschaft Hardware-Accelerator eines Systems zur Videoverarbeitung
US7395297B2 (en) 2001-05-25 2008-07-01 Sun Microsystems, Inc. Floating point system that represents status flag information within a floating point operand
US20030005261A1 (en) 2001-06-29 2003-01-02 Gad Sheaffer Method and apparatus for attaching accelerator hardware containing internal state to a processing core
US20030149822A1 (en) 2002-02-01 2003-08-07 Bryan Scott Method for integrating an intelligent docking station with a handheld personal computer
KR100464406B1 (ko) 2002-02-08 2005-01-03 삼성전자주식회사 가변길이 ｖｌｉｗ 명령어를 위한 디스패치 장치 및 방법
US7088777B2 (en) 2002-11-22 2006-08-08 Microsoft Corp. System and method for low bit rate watercolor video
US7038687B2 (en) 2003-06-30 2006-05-02 Intel Corporation System and method for high-speed communications between an application processor and coprocessor
US20080068389A1 (en) 2003-11-19 2008-03-20 Reuven Bakalash Multi-mode parallel graphics rendering system (MMPGRS) embodied within a host computing system and employing the profiling of scenes in graphics-based applications
US7050068B1 (en) * 2003-12-02 2006-05-23 Nvidia Corporation Generation of jittered sub-pixel samples using programmable sub-pixel offsets
US8028164B2 (en) 2004-03-19 2011-09-27 Nokia Corporation Practical and secure storage encryption
JP2005321479A (ja) * 2004-05-06 2005-11-17 Olympus Corp 頭部装着型表示装置
CN101147174B (zh) * 2004-10-15 2011-06-08 微软公司 用于管理图像数据的传送和/或存储的系统和方法
US20070291571A1 (en) 2006-06-08 2007-12-20 Intel Corporation Increasing the battery life of a mobile computing system in a reduced power state through memory compression
KR100828128B1 (ko) 2006-07-20 2008-05-09 에이디반도체(주) 시분할 복수 주파수를 이용하는 정전용량 검출방법 및검출장치
JP2008085388A (ja) 2006-09-25 2008-04-10 Fujifilm Corp 撮像装置
JP2010530087A (ja) * 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ
GB0700877D0 (en) 2007-01-17 2007-02-21 Linear Algebra Technologies Lt A device
GB2447428A (en) 2007-03-15 2008-09-17 Linear Algebra Technologies Lt Processor having a trivial operand register
GB2447494A (en) 2007-03-15 2008-09-17 Linear Algebra Technologies Lt A method and circuit for compressing data using a bitmap to identify the location of data values
US7755671B2 (en) 2007-04-23 2010-07-13 Hewlett-Packard Development Company, L.P. Correcting a captured image in digital imaging devices
JP2008277926A (ja) 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
US7884823B2 (en) 2007-06-12 2011-02-08 Microsoft Corporation Three dimensional rendering of display information using viewer eye coordinates
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
GB2457303A (en) 2008-02-11 2009-08-12 Linear Algebra Technologies Randomly accessing elements of compressed matrix data by calculating offsets from non-zero values of a bitmap
US7502918B1 (en) 2008-03-28 2009-03-10 International Business Machines Corporation Method and system for data dependent performance increment and power reduction
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP5079589B2 (ja) * 2008-04-30 2012-11-21 パナソニック株式会社 表示制御装置及び表示制御方法
US8200594B1 (en) 2008-09-10 2012-06-12 Nvidia Corporation System, method, and computer program product for accelerating a game artificial intelligence process
WO2010062479A1 (en) 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
US8130292B2 (en) 2008-12-31 2012-03-06 Aptina Imaging Corporation Scene illumination adaptive lens shading correction for imaging devices
FR2944662B1 (fr) * 2009-04-20 2011-06-03 Stmicroelectronics Wireless Sas Transmisssion video sur une interface serie
JP5169997B2 (ja) 2009-05-29 2013-03-27 ソニー株式会社 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011124954A (ja) 2009-12-14 2011-06-23 Canon Inc 画像処理方法及び画像処理装置
GB2476800A (en) 2010-01-07 2011-07-13 Linear Algebra Technologies Ltd Sparse matrix vector multiplier using a bit map of non-zero elements to control scheduling of arithmetic operations
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8464190B2 (en) 2011-02-17 2013-06-11 Maxeler Technologies Ltd. Method of, and apparatus for, stream scheduling in parallel pipelined hardware
US8711268B2 (en) 2011-05-17 2014-04-29 Samsung Electronics Co., Ltd. Methods and apparatuses for anti-shading correction with extended color correlated temperature dependency
JP2012256202A (ja) 2011-06-09 2012-12-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
US8914262B2 (en) 2011-11-08 2014-12-16 The Mathworks, Inc. Visualization of data dependency in graphical models
CA2857691A1 (en) * 2011-12-02 2013-06-06 Jerry G. Aguren Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
US9080916B2 (en) 2012-08-30 2015-07-14 Apple Inc. Correction factor for color response calibration
US9300846B2 (en) 2012-09-10 2016-03-29 Apple Inc. Signal shaping for improved mobile video communication
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US9146747B2 (en) 2013-08-08 2015-09-29 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing configurable computational imaging pipeline
US9196017B2 (en) 2013-11-15 2015-11-24 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing noise from an image
US9270872B2 (en) 2013-11-26 2016-02-23 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing shading effect from image
US9905046B2 (en) 2014-04-03 2018-02-27 Intel Corporation Mapping multi-rate shading to monolithic programs
JP2015222470A (ja) * 2014-05-22 2015-12-10 ソニー株式会社 映像表示装置、情報処理装置、及び映像表示システム
WO2016094928A1 (en) 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
JP6672305B2 (ja) 2014-12-22 2020-03-25 インターデジタル シーイー パテント ホールディングス オブジェクト検出に基づき外挿画像を生成する方法及び装置
US10297009B2 (en) 2014-12-22 2019-05-21 Interdigital Ce Patent Holdings Apparatus and method for generating an extrapolated image using a recursive hierarchical process
US10152764B2 (en) 2015-03-24 2018-12-11 Intel Corporation Hardware based free lists for multi-rate shader
US11010956B2 (en) 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US10109039B1 (en) 2017-04-24 2018-10-23 Intel Corporation Display engine surface blending and adaptive texel to pixel ratio sample rate system, apparatus and method
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices

Also Published As

Publication number Publication date
JP2019512750A (ja) 2019-05-16
EP3437317A1 (en) 2019-02-06
US20170287447A1 (en) 2017-10-05
US20200160818A1 (en) 2020-05-21
CN110140353A (zh) 2019-08-16
WO2017168229A1 (en) 2017-10-05
KR20180131594A (ko) 2018-12-10
WO2017168229A8 (en) 2018-11-22
US10460704B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
KR102140389B1 (ko) 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법
AU2023201212B2 (en) Virtual, augmented, and mixed reality systems and methods
US11704768B2 (en) Temporal supersampling for foveated rendering systems
CN109074774B (zh) 经过中央凹渲染的显示
US9911214B2 (en) Display control method and display control apparatus
US10082867B2 (en) Display control method and display control apparatus
KR20210092228A (ko) 밝기 제어 환경에서 로컬 디밍을 위한 장치 시스템 및 방법
Pigny et al. Using cnns for users segmentation in video see-through augmented virtuality
US10209523B1 (en) Apparatus, system, and method for blur reduction for head-mounted displays
JPH09305156A (ja) 映像表示方法及び装置
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
KR102613032B1 (ko) 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법
GB2563832A (en) Display method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant