KR20230084197A - 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템 - Google Patents

픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템 Download PDF

Info

Publication number
KR20230084197A
KR20230084197A KR1020237014318A KR20237014318A KR20230084197A KR 20230084197 A KR20230084197 A KR 20230084197A KR 1020237014318 A KR1020237014318 A KR 1020237014318A KR 20237014318 A KR20237014318 A KR 20237014318A KR 20230084197 A KR20230084197 A KR 20230084197A
Authority
KR
South Korea
Prior art keywords
pixel
frame
bit
analog
digital
Prior art date
Application number
KR1020237014318A
Other languages
English (en)
Inventor
윌리엄 토마스 블랭크
라마크리슈나 칠루쿠리
일리아스 파파스
마이클 이
Original Assignee
메타 플랫폼즈 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 플랫폼즈 테크놀로지스, 엘엘씨 filed Critical 메타 플랫폼즈 테크놀로지스, 엘엘씨
Publication of KR20230084197A publication Critical patent/KR20230084197A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2077—Display of intermediate tones by a combination of two or more gradation control methods
    • G09G3/2081—Display of intermediate tones by a combination of two or more gradation control methods with combination of amplitude modulation and time modulation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2014—Display of intermediate tones by modulation of the duration of a single pulse during which the logic level remains constant
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G09G2300/0857—Static memory circuit, e.g. flip-flop
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G09G2300/0861—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor with additional control of the display period without amending the charge stored in a pixel memory, e.g. by means of additional select electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)
  • Led Devices (AREA)

Abstract

전자 디스플레이 디바이스는 픽셀 강도의 디지털 및 아날로그 제어를 포함한다. 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)가 각각의 픽셀(612A) 내에 제공된다. 디지털 픽셀 제어 회로는, 픽셀 내의 발광 요소에 구동 전류가 공급되는 동안인 각각의 프레임 내의 서브프레임의 수를 제어하기 위해 디지털 PWM 기술을 채용한다. 아날로그 픽셀 제어 회로(650)는, 프레임 동안 픽셀 내의 발광 요소에 공급되는 구동 전류의 레벨을 제어한다. 하나의 예에서, 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)는 증가된 색 심도를 위해 추가적인 인-픽셀 비트를 제공하는 아날로그 픽셀 제어 회로(650)를 이용해 픽셀 강도를 함께 제어할 수 있다. 대안으로서, 디지털 픽셀 제어 회로(630)는 픽셀 강도를 제어할 수 있고, 아날로그 픽셀 제어 회로(650)는 불균일성 보상을 제어할 수 있다.

Description

픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템
본 개시는 일반적으로 증강 현실, 혼합 현실 및/또는 가상 현실 시스템과 같은 인공 현실 시스템, 그리고 이들 및 다른 전자 시스템에서 픽셀 강도의 제어를 위한 시스템 및 방법에 관한 것이다.
인공 현실 시스템은 컴퓨터 게임, 건강 및 안전, 산업 및 교육과 같은 많은 분야에서의 적용으로 점점 더 보편화되고 있다. 몇 가지 예로서, 인공 현실 시스템은 모바일 디바이스, 게임 콘솔, 개인용 컴퓨터, 영화관 및 테마파크에 통합되고 있다. 일반적으로, 인공 현실은 사용자에의 프리젠테이션 전에 어떤 방식으로든 조정된 현실의 형태이며, 예컨대 가상 현실, 증강 현실, 혼합 현실, 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물을 포함할 수 있다.
통상의 인공 현실 시스템은 사용자에게 콘텐츠를 렌더링하고 디스플레이하기 위한 하나 이상의 디바이스를 포함한다. 하나의 예로서, 인공 현실 시스템은, 사용자가 착용하며 사용자에게 인공 현실 콘텐츠를 출력하도록 구성된 HMD(head-mounted display)를 통합할 수 있다. 인공 현실 콘텐츠는 시스템에 의해 생성되는 콘텐츠를 전체적으로 포함할 수 있거나, 캡처된 콘텐츠(예컨대, 실세계 비디오 및/또는 이미지)와 조합되는 생성된 콘텐츠를 포함할 수 있다. 동작 동안, 사용자는 통상적으로 인공 현실 시스템과 상호작용하여 콘텐츠를 선택하고 애플리케이션을 시작하며 시스템을 구성하고 일반적으로 인공 현실 환경을 경험한다. 일부 인공 현실 시스템은, 센서 데이터를 통합 및 처리하고 사용자에게 인공 현실 콘텐츠를 디스플레이하기 위한 복잡한 기능을 가진, 종종 SoC(System on a Chip)으로 지칭되는, 특수 집적 회로를 이용한다.
하나의 예에서, 본 개시는, 인공 현실 시스템에 있어서, 인공 현실 콘텐츠를 출력하도록 구성된 HMD(Head Mounted Display)를 포함하고, 상기 HMD는 복수의 픽셀들을 포함하는 적어도 하나의 디스플레이 디바이스를 포함하고, 상기 복수의 픽셀들 각각은: 발광 요소; 상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM; Pulse Width Modulation) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및 상기 프레임에 대하여 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로를 포함하는 것인, 인공 현실 시스템에 관한 것이다.
다른 예에서, 본 개시는, 복수의 픽셀들을 포함하는 디스플레이 디바이스에 있어서, 상기 복수의 픽셀들 각각은: 발광 요소; 상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및 상기 프레임 동안 상기 발광 요소에 제공되는 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로를 포함하는 것인, 디스플레이 디바이스에 관한 것이다.
또다른 예에서, 본 개시는, 방법에 있어서, 디지털 픽셀 제어 회로를 이용해, 디스플레이 디바이스의 픽셀의 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 단계; 및 아날로그 픽셀 제어 회로를 이용해, 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 단계를 포함하는, 방법에 관한 것이다.
하나 이상의 예의 세부 내용이 첨부 도면 및 아래의 설명에 서술된다. 다른 특징은 상세한 설명 및 도면으로부터 그리고 청구항으로부터 명백해질 것이다.
본 개시의 제1 양상에 따르면, 인공 현실 시스템에 있어서,
인공 현실 콘텐츠를 출력하도록 구성된 HMD(head mounted display)를 포함하고, 상기 HMD는 복수의 픽셀들을 포함하는 적어도 하나의 디스플레이 디바이스를 포함하고, 상기 복수의 픽셀들 각각은:
발광 요소;
상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM; pulse width modulation) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및
상기 프레임에 대하여 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로
를 포함하는 것인, 인공 현실 시스템이 제공된다.
상기 아날로그 픽셀 제어 회로는 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어할 수 있다.
상기 아날로그 픽셀 제어 회로는:
상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 대응하는 구동 전압으로 충전되도록 구성된 저장 커패시터를 포함할 수 있으며, 상기 구동 전압은 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어할 수 있다.
상기 인공 현실 시스템은 픽셀 드라이버 회로를 더 포함할 수 있고, 상기 픽셀 드라이버 회로는:
상기 PWM 출력 신호를 수신하도록 연결된 제1 제어 단자, 제1 입력 단자, 및 상기 발광 요소에 상기 구동 전류를 제공하도록 연결된 제1 출력 단자를 갖는 제1 트랜지스터; 및 상기 제1 트랜지스터의 상기 제1 입력 단자에 연결된 제2 출력 단자, 전압 소스와 상기 저장 커패시터의 출력 단자 사이의 연결에 의해 형성된 노드에 연결된 제2 입력 단자, 및 상기 저장 커패시터의 입력 단자에 연결된 제2 제어 단자를 갖는 제2 트랜지스터를 포함할 수 있다.
상기 아날로그 픽셀 제어 회로는:
스캔 신호를 수신하도록 연결된 제3 제어 단자, 상기 저장 커패시터의 상기 입력 단자와 상기 제2 트랜지스터의 상기 제2 제어 단자 사이의 연결에 의해 형성된 노드에 연결된 출력 단자, 및 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 대응하는 제어 전압을 수신하도록 연결된 입력 단자를 갖는 제3 트랜지스터를 더 포함할 수 있다.
상기 제1 트랜지스터 및 상기 제2 트랜지스터는 동일 타입으로 이루어질 수 있다.
상기 제1 트랜지스터 및 상기 제2 트랜지스터는 p 타입 트랜지스터일 수 있다.
상기 디지털 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 비트에 기초하여 상기 발광 요소에 상기 구동 전류가 제공되는 동안인 상기 프레임의 서브프레임의 수를 제어하는 상기 펄스 폭 변조(PWM) 출력 신호를 생성할 수 있다.
상기 아날로그 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어할 수 있다.
n은 m보다 클 수 있다.
n은 5와 10 사이의 정수일 수 있고, m은 2와 5 사이의 정수일 수 있다.
상기 n+m 비트 제어 워드에 의해 정의되는 강도 레벨의 수는 2n+m일 수 있다.
n 비트는 상기 n+m 비트 제어 워드의 최상위 비트일 수 있고, m 비트는 n+m 비트 제어 워드의 최하위 비트일 수 있다.
상기 디지털 픽셀 제어 회로는 상기 n+m 비트 제어 워드의 n 비트를 저장하도록 구성된 n개의 1 비트 메모리 셀을 포함할 수 있다.
상기 n개의 1 비트 메모리 셀 각각은 1 비트 SRAM(static random-access memory) 셀일 수 있다.
상기 디지털 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n 비트 제어 워드에 기초하여 상기 발광 요소에 상기 구동 전류가 제공되는 동안인 상기 프레임의 서브프레임의 수를 제어하는 상기 펄스 폭 변조(PWM) 출력 신호를 생성할 수 있고, 상기 아날로그 픽셀 제어 회로는, 상기 픽셀에 대한 불균일성 보상 값에 대응하는 m 비트 제어 워드에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어할 수 있다.
본 개시의 제2 양상에 따르면, 복수의 픽셀들을 포함하는 디스플레이 디바이스에 있어서, 상기 복수의 픽셀들 각각은:
발광 요소;
상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및
상기 프레임 동안 상기 발광 요소에 제공되는 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로
를 포함할 수 있다.
상기 PWM 출력 신호는 상기 디지털 픽셀 제어 회로에 의해 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 비트를 포함하여 생성될 수 있고, 상기 아날로그 픽셀 제어 회로에 의해 제어되는 상기 구동 전류의 레벨은 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트를 포함한다.
상기 디지털 픽셀 제어 회로에 의해 생성되는 상기 PWM 출력 신호는 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n 비트 제어 워드를 포함할 수 있고, 상기 아날로그 픽셀 제어 회로에 의해 제어되는 상기 구동 전류의 레벨은 상기 픽셀에 대한 불균일성 보상 값에 대응하는 m 비트 제어 워드를 포함할 수 있다.
본 개시의 제3 양상에 따르면, 방법에 있어서,
디지털 픽셀 제어 회로를 이용해, 디스플레이 디바이스의 픽셀의 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 단계; 및
아날로그 픽셀 제어 회로를 이용해, 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 단계
를 포함하는, 방법이 제공된다.
도 1a는 본 개시에 기재된 기술에 따라 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예시적인 멀티디바이스 인공 현실 시스템을 도시하는 블록도이다.
도 1b는 본 개시에 기재된 기술에 따라 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 다른 예시적인 멀티디바이스 인공 현실 시스템을 도시하는 블록도이다.
도 2a는 본 개시에 기재된 기술에 따라 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예시적인 HMD 및 예시적인 주변 디바이스를 도시하는 블록도이다.
도 2b는 본 개시에 기재된 기술에 따라 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 다른 예시적인 HMD를 도시하는 블록도이다.
도 3은 본 개시에 기재된 기술에 따라 도 1a 및 도 1b의 멀티디바이스 인공 현실 시스템의 콘솔, 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 HMD, 및 주변 디바이스의 예시적인 구현을 도시하는 블록도이다.
도 4는 본 개시에 기재된 기술에 따라 제스처 검출, 사용자 인터페이스 생성 및 가상 표면 기능이 도 1a, 도 1b의 인공 현실 시스템의 HMD에 의해 수행되고 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예를 도시하는 블록도이다.
도 5는 본 개시의 기술에 따라 하나 이상의 디스플레이 디바이스가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 멀티디바이스 인공 현실 시스템을 위한 분산 아키텍처의 예시적인 구현을 예시하는 블록도이다.
도 6은 본 개시에 기재된 기술에 따라 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 디스플레이 디바이스의 블록도이다.
도 7은 본 개시에 기재된 기술에 따른 픽셀에 대한 메모리를 예시하는 회로도이다.
도 8은 본 개시에 기재된 기술에 따라 예시적인 픽셀의 디지털 픽셀 제어 회로, 아날로그 픽셀 제어 회로 및 드라이버 회로를 예시하는 회로도이다.
도 9는 본 개시에 기재된 기술에 따라 예시적인 픽셀의 디지털 픽셀 제어 회로, 아날로그 픽셀 제어 회로 및 드라이버 회로의 보다 상세한 예시적인 구현을 예시하는 회로도이다.
도 10a는 본 개시에 기재된 기술에 따라 디지털 픽셀 제어 회로의 디지털 프로그래밍 단계를 도시하는 도면이고, 도 10b는 아날로그 픽셀 제어 회로의 아날로그 프로그래밍 단계를 도시하는 도면이다.
도 11a는 본 개시에 기재된 기술에 따라 디스플레이 디바이스의 픽셀의 디지털 PWM 제어를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 11b는 본 개시에 기재된 기술에 따라 디스플레이 디바이스의 픽셀에 공급되는 전류 레벨의 아날로그 제어를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 11c는 본 개시에 기재된 기술에 따라 픽셀에 공급되는 전류 레벨의 아날로그 제어와 조합하여 디스플레이 디바이스의 픽셀의 디지털 PWM 제어를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 12a는 본 개시에 기재된 기술에 따라 디지털 픽셀 제어 회로에 의해 생성된 nDrive 신호의 예시적인 값의 표이다.
도 12b는 n+m 비트 제어 워드에 대한 예시적인 총 강도 비트 값의 표이며, 여기서 n=3 및 m=2이다.
도 13은 본 개시에 기재된 기술에 따라 아날로그 픽셀 제어 회로를 사용하는 디스플레이 디바이스에서 픽셀의 휘도 균일성 보상을 위한 프로세스를 예시하는 흐름도이다.
전자 디스플레이 디바이스에서, 디스플레이의 각각의 픽셀 내의 발광 다이오드(LED; light emitting diode)의 휘도 또는 강도 레벨은 디지털 픽셀 구동 방식 또는 아날로그 픽셀 구동 방식에 의해 제어될 수 있다. 디지털 펄스 폭 변조(PWM; pulse width modulation) 방식에서는, 각각의 픽셀에 일정한 전류가 공급되고 픽셀 강도는 제어 워드의 비트 값에 기초하여 픽셀의 방출 시간을 변경함으로써 제어된다. 아날로그 방식에서는, 각각의 픽셀의 방출 시간이 일정하고 픽셀 강도는 픽셀을 구동하는 데 사용되는 전류를 변경함으로써 제어된다. 그러나 디지털 PWM 방식에서 n 비트의 강도 제어를 제공하기 위해, 각각의 픽셀은 각각의 프레임에 대한 픽셀 강도 값을 저장하기 위해 n개의 1비트 메모리 셀을 필요로 한다. 인공 현실 시스템과 연관된 매우 작은 디스플레이 크기는 이러한 메모리 셀에 이용가능한 물리적 영역을 한정한다. 예를 들어, 인공 현실 디스플레이의 치수는 대략 2 × 2 밀리미터(mm)일 수 있다. 따라서, 디스플레이 크기가 작을수록 강도 값을 저장하기 위해 각각의 픽셀에 맞춰질 수 있는 메모리 셀의 감소된 수로 인해 더 적은 레벨의 픽셀 강도가 이용가능할 수 있다.
또한, 디스플레이 디바이스에서의 상이한 LED들은 동일한 방식으로 구동될 때에도 상이한 휘도 레벨로 발광할 수 있다. 이러한 불균일성(non-uniformity)은 제조 프로세스의 변동, 디스플레이 패널 어셈블리의 불일치 또는 다양한 다른 이유 때문일 수 있다.
일반적으로, 본 개시에 기재된 기술에 따라, 디스플레이 디바이스는 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 사용하여 디스플레이에서의 픽셀의 강도의 제어를 제공한다. 디지털 픽셀 제어 회로는 픽셀에 구동 전류가 제공되는 동안인 프레임의 서브 프레임의 수(다르게 말하자면, 픽셀이 발광하는 동안인 각각의 프레임 내의 서브 프레임의 수)를 제어하도록 디지털 PWM 기술을 채용한다. 아날로그 픽셀 제어 회로는 프레임 동안 픽셀에 공급되는 구동 전류의 레벨을 제어한다. 일부 예에서, 각각의 픽셀에 대한 그레이 스케일 강도 레벨의 총 수는 이진 n+m 비트 제어 워드에 의해 정의되며, 여기서 n 비트는 디지털 픽셀 제어 회로에 의해 결정된 대로 픽셀에 구동 전류가 공급되는 프레임의 서브프레임 수를 정의하고, m 비트는 아날로그 픽셀 제어 회로에 의해 픽셀에 공급되는 구동 전류의 레벨을 정의한다. 따라서, 각각의 픽셀에 대한 총 강도 레벨 수는 2n+m이다.
대안으로서, 다른 예에서, n 비트는 픽셀 강도의 디지털 PWM 제어를 위해 디지털 픽셀 제어 회로에 의해 사용될 수 있고, m 비트는 불균일성 보상을 위해 각각의 픽셀에서의 발광 요소에 제공되는 구동 전류를 제어하기 위해 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
일부 예에서, 아날로그 픽셀 제어 회로는 저장 커패시터 및 트랜지스터를 포함한다. 저장 커패시터의 입력 단자는 트랜지스터의 출력 단자에 연결된다. 일부 예에서, 프레임의 시작에서, 커패시터는 픽셀의 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 미리 결정된 전압으로 충전된다. 각각의 프레임 동안, 커패시터에 저장된 전압은 픽셀에서의 발광 요소에 공급되는 구동 전류의 레벨을 결정한다. 다른 예에서, 각각의 프레임에 대하여, 커패시터는 픽셀에 대한 불균일성 보상 값에 대응하는 m 비트 제어 워드의 m 비트에 기초하여 동일한 미리 결정된 전압으로 충전된다. 커패시터에 저장된 전압은 픽셀에 공급되는 구동 전류의 레벨을 결정한다.
이 방식으로, 하이브리드 디지털 및 아날로그 픽셀 구동 아키텍처는, 각각의 픽셀에 대한 디지털 픽셀 제어 회로의 구현을 위해 n개의 1비트 메모리 셀만 필요로 하면서, n+m 비트의 강도 제어를 제공할 수 있다. 동시에, 아날로그 픽셀 제어 회로는 단일 커패시터 및 단일 트랜지스터를 사용하여 구현될 수 있다. n+m 비트의 강도 제어를 제공하고 각각의 픽셀에 필요한 메모리 셀의 수를 감소시킴으로써, 이 구현은 매우 작은 디스플레이 크기에 유리할 수 있다. 대안으로서, 디지털 픽셀 제어 회로에 의해 제공되는 n 비트는 강도 제어를 위해 사용될 수 있고, 아날로그 픽셀 제어 회로에 의해 제공되는 m 비트는 불균일성 보상을 위해 디스플레이를 프로그래밍하는 데 사용될 수 있다.
도 1a는 본 개시에 기재된 기술에 따라 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예시적인 멀티디바이스 인공 현실 시스템을 도시하는 블록도이다. 도 1a의 예에서, 인공 현실 시스템(10)은 HMD(112), 주변 디바이스(136)를 포함하고, 일부 예에서는 하나 이상의 외부 센서(90) 및/또는 콘솔(106)을 포함할 수 있다.
도시된 바와 같이, HMD(112)는 통상적으로 사용자(110)에 의해 착용되고, 사용자(110)에게 인공 현실 콘텐츠(122)를 제시하기 위한 전자 디스플레이 및 광학 어셈블리를 포함한다. 또한, HMD(112)는 HMD(112)의 모션을 추적하기 위한 하나 이상의 센서(예컨대, 가속도계)를 포함하고, 주변 물리적 환경의 이미지 데이터를 캡처하기 위한 하나 이상의 이미지 캡처 디바이스(138)(예컨대, 카메라, 라인 스캐너)를 포함할 수 있다. 헤드 장착형 디스플레이로 예시되어 있지만, AR 시스템(10)은, 대안으로서 또는 추가적으로, 사용자(110)에게 인공 현실 콘텐츠(122)를 제시하기 위한 안경 또는 다른 디스플레이 디바이스를 포함할 수 있다.
이 예에서, 콘솔(106)은 게임 콘솔, 워크스테이션, 데스크탑 컴퓨터 또는 랩탑과 같은 단일 컴퓨팅 디바이스로서 도시되어 있다. 다른 예에서, 콘솔(106)은 분산 컴퓨팅 네트워크, 데이터 센터 또는 클라우드 컴퓨팅 시스템과 같은 복수의 컴퓨팅 디바이스들에 걸쳐 분산될 수 있다. 콘솔(106), HMD(112) 및 센서(90)는, 이 예에 도시된 바와 같이, Wi-Fi, 메시 네트워크 또는 단거리 무선 통신 매체, 또는 이들의 조합과 같은 유선 또는 무선 네트워크일 수 있는 네트워크(104)를 통해 통신가능하게 결합될 수 있다. 이 예에서는 HMD(112)가 콘솔(106)과 통신하는 것으로, 예컨대 콘솔(106)과 테더링되거나 무선 통신하는 것으로 도시되어 있지만, 일부 구현에서 HMD(112)는 독립형 모바일 인공 현실 시스템으로 동작한다.
일반적으로, 인공 현실 시스템(10)은 사용자(110)에의 디스플레이를 위해 인공 현실 콘텐츠(122)를 렌더링하도록 실세계 3D 물리적 환경으로부터 캡처된 정보를 사용한다. 도 1a의 예에서, 사용자(110)는 HMD(112) 및/또는 콘솔(106)에서 실행되는 인공 현실 애플리케이션에 의해 구성되고 렌더링되는 인공 현실 콘텐츠(122)를 본다. 일부 예에서, 인공 현실 콘텐츠(122)는 혼합 현실 및/또는 증강 현실을 생성하기 위해 실세계 이미지(예컨대, 손(132), 주변 디바이스(136), 벽(121))와 가상 객체(예컨대, 가상 콘텐츠 아이템(124, 126) 및 가상 사용자 인터페이스(137))의 혼합을 포함할 수 있다. 일부 예에서, 가상 콘텐츠 아이템(124, 126)은 인공 현실 콘텐츠(122) 내의 특정 위치에 매핑(예컨대, 고정, 잠금, 배치)될 수 있다. 예를 들어, 가상 콘텐츠 아이템에 대한 포지션이 벽(121) 또는 지구 중 하나에 대해 고정될 수 있다. 가상 콘텐츠 아이템에 대한 포지션은 예를 들어 주변 디바이스(136) 또는 사용자에 대해 가변적일 수 있다. 일부 예에서, 인공 현실 콘텐츠(122) 내의 가상 콘텐츠 아이템의 특정 포지션은 실세계 물리적 환경 내의 포지션과 연관된다(예컨대, 물리적 객체의 표면 상에).
이 예에서, 주변 디바이스(136)는 AR 시스템(10)이 가상 사용자 인터페이스(137)를 오버레이하는 표면을 갖는 물리적 실세계 디바이스이다. 주변 디바이스(136)는, 존재 감지형(presence-sensitive) 표면의 위치를 터치하거나 호버링하는 하나 이상의 객체(예컨대, 손가락, 스타일러스)의 존재를 검출함으로써, 사용자 입력을 검출하기 위한 하나 이상의 존재 감지형 표면을 포함할 수 있다. 일부 예에서, 주변 디바이스(136)는 존재 감지형 디스플레이일 수 있는 출력 디스플레이를 포함할 수 있다. 일부 예에서, 주변 디바이스(136)는 스마트폰, 태블릿 컴퓨터, PDA(personal data assistant) 또는 다른 핸드헬드 디바이스일 수 있다. 일부 예에서, 주변 디바이스(136)는 스마트워치, 스마트링 또는 다른 웨어러블 디바이스일 수 있다. 주변 디바이스(136)는 또한 키오스크 또는 다른 고정식 또는 모바일 시스템의 일부일 수도 있다. 주변 디바이스(136)는 콘텐츠를 스크린에 출력하기 위한 디스플레이 디바이스를 포함하거나 포함하지 않을 수 있다.
도 1a에 도시된 예시적인 인공 현실 경험에서, 가상 콘텐츠 아이템(124, 126)이 벽(121) 상의 포지션에 매핑된다. 도 1a의 예는 또한, 가상 콘텐츠 아이템(124)이 인공 현실 콘텐츠(122) 내에서만 벽(121)에 부분적으로 보이는 것을 도시하며, 이 가상 콘텐츠가 실제 세계 물리적 환경에는 존재하지 않음을 나타낸다. 가상 사용자 인터페이스(137)가 주변 디바이스(136)의 표면에 매핑된다. 그 결과, AR 시스템(10)은, 인공 현실 환경에서의 주변 디바이스(136)의 포지션에 대해 잠금되어 있는 사용자 인터페이스 포지션에서, 인공 현실 콘텐츠(122)의 일부로서 HMD(112)에서의 디스플레이를 위해 가상 사용자 인터페이스(137)를 렌더링한다. 도 1a는 가상 사용자 인터페이스(137)가 인공 현실 콘텐츠(122) 내에서만 주변 디바이스(136)에 보이는 것을 도시하며, 이 가상 콘텐츠가 실세계 물리적 환경에는 존재하지 않음을 나타낸다.
인공 현실 시스템(10)은 가상 콘텐츠 아이템의 위치의 적어도 일부가 사용자(110)의 시야(130)에 있다는 결정에 응답하여 하나 이상의 가상 콘텐츠 아이템을 렌더링할 수 있다. 예를 들어, 인공 현실 시스템(10)은 주변 디바이스(136)가 사용자(110)의 시야(130) 내에 있는 경우에만 주변 디바이스(136) 상에 가상 사용자 인터페이스(137)를 렌더링할 수 있다.
동작 동안, 인공 현실 애플리케이션은, 기준 프레임, 통상적으로 HMD(112)의 시점(viewing perspective)에 대한 포즈(pose) 정보를 추적 및 계산함으로써, 사용자(110)에의 디스플레이를 위한 인공 현실 콘텐츠(122)를 구성한다. HMD(112)를 기준 프레임으로서 사용하고 HMD(112)의 현재 추정된 포즈에 의해 결정되는 현재 시야(130)에 기초하여, 인공 현실 애플리케이션은, 일부 예에서는 적어도 부분적으로 사용자(110)의 실세계 3D 물리적 환경에 오버레이될 수 있는 3D 인공 현실 콘텐츠를 렌더링한다. 이 프로세스 동안, 인공 현실 애플리케이션은, 사용자(110)에 의한 모션 및/또는 사용자(110)에 대한 특징 추적 정보와 같은 실제 세계 물리적 환경 내의 3D 정보를 캡처하기 위해, 움직임 정보 및 사용자 명령과 같은 HMD(112)로부터 수신된 감지 데이터 및 일부 예에서 외부 카메라와 같은 임의의 외부 센서(90)로부터의 데이터를 사용한다. 감지된 데이터에 기초하여, 인공 현실 애플리케이션은 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 인공 현실 콘텐츠(122)를 렌더링한다.
인공 현실 시스템(10)은, 사용자의 실시간 시선 추적 또는 다른 조건에 의해 결정될 수 있는 바와 같이, 사용자(110)의 현재 시야(130)에 기초하여 가상 콘텐츠 아이템의 생성 및 렌더링을 트리거할 수 있다. 보다 구체적으로, HMD(112)의 이미지 캡처 디바이스(138)는 이미지 캡처 디바이스(138)의 시야(130) 내에 있는 실세계 물리적 환경 내의 객체를 나타내는 이미지 데이터를 캡처한다. 시야(130)는 통상적으로 HMD(112)의 시점에 대응한다. 일부 예에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(122)를 제시한다. 도 1a에 예시된 바와 같이, 인공 현실 애플리케이션은, 가상 객체를 따라 시야(130) 내에, 예컨대 인공 현실 콘텐츠(122) 내에 있는, 주변 디바이스(136), 사용자(110)의 손(132), 및/또는 팔(134)의 부분과 같은 실세계 객체의 이미지를 렌더링할 수 있다. 다른 예에서, 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내에서 시야(130) 내에 있는 주변 디바이스(136), 사용자(110)의 손(132) 및/또는 팔(134)의 부분의 가상 표현을 렌더링할 수 있다(예컨대, 실세계 객체를 가상 객체로서 렌더링함). 어느 예에서든, 사용자(110)는 인공 현실 콘텐츠(122) 내의 시야(130) 내에 있는 자신의 손(132), 팔(134), 주변 디바이스(136) 및/또는 임의의 다른 실세계 객체의 부분을 볼 수 있다. 다른 예에서, 인공 현실 애플리케이션은 사용자의 손(132) 또는 팔(134)의 표현을 렌더링하지 않을 수 있다.
동작 동안, 인공 현실 시스템(10)은, 선택적으로 사용자(110)의 개별 손가락이나 엄지 손가락 및/또는 팔(134)의 전부나 일부를 식별하는 것을 포함하여, 주변 디바이스(136), 손(132)을 식별하기 위해, HMD(112)의 이미지 캡처 디바이스(138)에 의해 캡처된 이미지 데이터 내의 객체 인식을 수행한다. 또한, 인공 현실 시스템(10)은 슬라이딩 시간 윈도우에 걸쳐 주변 디바이스(136), 손(132)(선택적으로 손의 특정 손가락을 포함함), 및/또는 팔(134)의 부분의 포지션, 배향 및 구성을 추적한다. 일부 예에서, 주변 디바이스(136)는 주변 디바이스(136)의 모션 또는 배향을 추적하기 위한 하나 이상의 센서(예컨대, 가속도계)를 포함한다.
상기에 기재된 바와 같이, 인공 현실 시스템(10)의 다수의 디바이스는 AR 환경에서 함께 작동할 수 있으며, 여기서 각각의 디바이스는 개별 물리적 전자 디바이스 및/또는 하나 이상의 물리적 디바이스 내의 개별 집적 회로(예컨대, SOC)일 수 있다. 이 예에서, 주변 디바이스(136)는 인공 현실 경험을 제공하기 위해 AR 시스템(10) 내에서 공동으로 동작하도록 HMD(112)와 동작적으로 쌍을 이룬다. 예를 들어, 주변 디바이스(136)와 HMD(112)는 공동 프로세싱 디바이스로서 서로 통신할 수 있다. 하나의 예로서, 사용자가 주변 디바이스(136) 상에 오버레이된 가상 사용자 인터페이스(137)의 가상 사용자 인터페이스 요소 중 하나에 대응하는 위치에 있는 가상 환경에서 사용자 인터페이스 제스처를 수행할 때, AR 시스템(10)은 사용자 인터페이스를 검출하고 HMD(112)에 렌더링되는 조치를 수행한다.
일부 예시적인 구현에서, 본원에 기재된 바와 같이, 주변 디바이스(136) 및 HMD(112)는 각각, 공동 애플리케이션 프로세서로서 동작하는 SoC, 센서 통합기, 디스플레이 컨트롤러 등과 같은, 인공 현실/가상 현실 애플리케이션을 지원하도록 구성된 하나 이상의 시스템 온 칩(SoC) 집적 회로를 포함할 수 있다.
본 개시의 기술에 따라, HMD(112)는 픽셀 강도의 디지털 및 아날로그 제어를 포함한다. 예를 들어, HMD(112)는 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 1b는 본 개시에 기재된 기술에 따라 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 다른 예시적인 멀티디바이스 인공 현실 시스템을 도시하는 블록도이다. 도 1a의 인공 현실 시스템(10)과 유사하게, 일부 예에서, 도 1b의 인공 현실 시스템(20)은 다중 사용자 인공 현실 환경 내의 가상 표면에 대하여 가상 콘텐츠 아이템을 생성 및 렌더링할 수 있다. 인공 현실 시스템(20)은 또한, 다양한 예에서, 사용자에 의한 주변 디바이스(136)와의 하나 이상의 특정 상호작용의 검출에 응답하여 사용자에의 특정 가상 콘텐츠 아이템 및/또는 그래픽 사용자 인터페이스 요소를 생성 및 렌더링할 수 있다. 예를 들어, 주변 디바이스(136)는 사용자가 가상 표면을 "스테이지(stage)"하거나 다른 방식으로 상호작용하기 위한 스테이지 디바이스로서 작용할 수 있다.
도 1b의 예에서, 인공 현실 시스템(20)은 외부 카메라(102A 및 102B)(집합적으로, "외부 카메라(102)"), HMD(112A-112C)(집합적으로, "HMD(112)"), 컨트롤러(114A 및 114B)(집합적으로, "컨트롤러(114)"), 콘솔(106) 및 센서(90)를 포함한다. 도 1b에 도시된 바와 같이, 인공 현실 시스템(20)은 콘솔(106) 및/또는 HMD(112)에서 실행되는 인공 현실 애플리케이션이 각자의 사용자에 대한 대응하는 기준 프레임의 현재 시점에 기초하여 사용자(110A-110C)(집합적으로, "사용자(110)") 각각에게 인공 현실 콘텐츠를 제시하는 다중 사용자 환경을 나타낸다. 즉, 이 예에서, 인공 현실 애플리케이션은 HMD(112) 각각에 대한 기준 프레임에 대한 포즈 정보를 추적 및 계산함으로써 인공 콘텐츠를 구성한다. 인공 현실 시스템(20)은, HMD(112)의 대응하는 기준 프레임에 대한 업데이트된 포즈 정보를 계산하는 데 사용하기 위한, 사용자(110)에 의한 모션 및/또는 사용자(110) 및 객체(108)에 대한 추적 정보와 같은 실제 세계 환경 내의 3D 정보를 캡처하기 위해, 카메라(102), HMD(112) 및 컨트롤러(114)로부터 수신된 데이터를 사용한다. 하나의 예로서, 인공 현실 애플리케이션은, HMD(112C)에 대하여 결정된 현재 시점에 기초하여, 가상 객체(128A-128B)(집합적으로, "가상 객체(128)")를 갖는 인공 현실 콘텐츠(122)를 실제 세계 객체(108A-108B)(집합적으로, "실제 세계 객체(108)") 상에 공간적으로 오버레이된 것으로 렌더링할 수 있다. 또한, HMD(112C)의 관점에서, 인공 현실 시스템(20)은 사용자(110A, 110B)에 대한 추정된 포지션에 기초하여 각각 아바타(120A, 120B)를 렌더링한다.
HMD(112)의 각각은 인공 현실 시스템(20) 내에서 동시에 동작한다. 도 1b의 예에서, 사용자(110) 각각은 인공 현실 애플리케이션에서 "플레이어" 또는 "참가자"일 수 있고, 임의의 사용자(110)는 인공 현실 애플리케이션에서 "관람자" 또는 "관찰자"일 수 있다. HMD(112C)는, 사용자(110C)의 손(132) 및/또는 팔(134)을 추적하고 시야(130) 내에 있는 손(132)의 부분을 인공 현실 콘텐츠(122) 내의 가상 손(132)으로서 렌더링함으로써, 도 1a의 HMD(112)와 실질적으로 유사하게 동작할 수 있다. HMD(112B)는 사용자(110B)가 보유한 컨트롤러(114)로부터 사용자 입력을 수신할 수 있다. 일부 예에서, 컨트롤러(114A 및/또는 114B)는 도 1a의 주변 디바이스(136)에 대응할 수 있고, 도 1a의 주변 디바이스(136)와 실질적으로 유사하게 동작할 수 있다. HMD(112A)는 또한, 도 1a의 HMD(112)와 실질적으로 유사하게 동작할 수 있고, 사용자(110A)의 손(132A, 132B)에 의해 주변 디바이스(136) 상에서 또는 주변 장치(136)를 이용해 수행되는 제스처의 형태로 사용자 입력을 수신할 수 있다. HMD(112B)는 사용자(110B)가 보유한 컨트롤러(114)로부터 사용자 입력을 수신할 수 있다. 컨트롤러(114)는, Bluetooth와 같은 단거리 무선 통신의 근거리 통신을 사용하거나 유선 통신 링크를 사용하거나 다른 유형의 통신 링크를 사용하여 HMD(112B)와 통신할 수 있다.
도 1a에 관련하여 위에 설명된 예와 유사한 방식으로, 인공 현실 시스템(20)의 콘솔(106) 및/또는 HMD(112C)는, 가상 콘텐츠 아이템(129)과 연관된 벽(121)의 일부가 HMD(112C)의 시야(130) 내에 들어올 때 사용자(110C)에게 디스플레이된 인공 현실 콘텐츠(122) 상에 오버레이될 수 있는, 가상 콘텐츠 아이템(129)(예컨대, GIF, 사진, 애플리케이션, 라이브 스트림, 비디오, 텍스트, 웹 브라우저, 드로잉, 애니메이션, 3D 모델, 데이터 파일의 표현(2차원 및 3차원 데이터 세트 포함), 또는 임의의 다른 가시적 미디어)을 포함하는 가상 표면을 생성 및 렌더링한다. 도 1b에 도시된 바와 같이, HMD(112C)의 카메라(138)를 통해 캡처된 이미지 데이터에 추가하여 또는 대안으로서, 외부 카메라(102)로부터의 입력 데이터가, 주변 디바이스(136)의 특정 모션, 구성, 포지션 및/또는 배향 및/또는 손의 개별 및/또는 손가락 조합(손가락, 엄지)의 움직임을 포함하여 사용자(110C)의 손(132)과 같은 사용자(110)의 손과 팔을 추적하고 검출하는 데 사용될 수 있다.
일부 양상에서, 인공 현실 애플리케이션은 콘솔(106) 상에서 실행될 수 있고, HMD(112A)의 사용자에 의해 수행될 수 있는 입력 제스처를 식별하도록 손(132B)의 구성, 포지션 및/또는 배향을 분석하기 위해 이미지 캡처 디바이스(102A 및 102B)를 이용할 수 있다. 유사하게, HMD(112C)는 HMD(112C)의 사용자에 의해 수행될 수 있는 제스처를 입력하도록 주변 디바이스(136) 및 손(132C)의 구성, 포지션 및/또는 배향을 분석하기 위해 이미지 캡처 디바이스(138)를 이용할 수 있다. 일부 예에서, 주변 디바이스(136)는 주변 디바이스(136)의 모션 또는 배향을 추적하기 위한 하나 이상의 센서(예컨대, 가속도계)를 포함한다. 인공 현실 애플리케이션은 도 1a에 관련하여 상기에 기재된 바와 유사한 방식으로 이러한 제스처, 모션 및 배향에 응답하여 가상 콘텐츠 아이템 및/또는 UI 요소를 렌더링할 수 있다.
이미지 캡처 디바이스(102 및 138)는 가시 광선 스펙트럼, 적외선 스펙트럼 또는 다른 스펙트럼에서 이미지를 캡처할 수 있다. 예를 들어 객체, 객체 포즈 및 제스처를 식별하기 위한 본원에 기재된 이미지 프로세싱은 적외선 이미지, 가시광 스펙트럼 이미지 등을 프로세싱하는 것을 포함할 수 있다.
인공 현실 시스템(20)의 디바이스들은 AR 환경에서 함께 작동할 수 있다. 예를 들어, 주변 디바이스(136)는 AR 시스템(20) 내에서 공동으로 동작하도록 HMD(112C)와 쌍을 이룬다. 유사하게, 컨트롤러(114)는 AR 시스템(20) 내에서 공동으로 동작하도록 HMD(112B)와 쌍을 이룬다. 주변 디바이스(136), HMD(112) 및 컨트롤러(114)는 각각 인공 현실 애플리케이션을 위한 동작 환경을 가능하게 하도록 구성된 하나 이상의 SoC 집적 회로를 포함할 수 있다.
본 개시의 기술에 따라, 임의의 HMD(112A, 112B 및/또는 112C)는 픽셀 강도의 디지털 및 아날로그 제어를 포함한다. 예를 들어, 임의의 HMD(112)는 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 2a는 본 개시에 기재된 기술에 따라 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예시적인 HMD(112) 및 예시적인 주변 디바이스를 도시하는 블록도이다. 도 2a의 HMD(112)는 도 1a 및 도 1b의 임의의 HMD(112)의 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 기재된 기술을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 전면 강체 및 HMD(112)를 사용자에게 고정하기 위한 밴드를 포함한다. 또한, HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된, 내부를 향한 전자 디스플레이(203)를 포함한다. 전자 디스플레이(203)는 액정 디스플레이(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이, 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 음극선관(CRT) 디스플레이, 전자 잉크, 또는 단색, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이와 같은 임의의 적합한 디스플레이 기술일 수 있다. 일부 예에서, 전자 디스플레이는 사용자의 각 눈에 개별 이미지를 제공하기 위한 입체 디스플레이이다. 일부 예에서, HMD(112)의 전면 강체에 대한 디스플레이(203)의 알려진 배향 및 포지션은, HMD(112) 및 사용자의 현재 시점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 포지션 및 배향을 추적할 때, 로컬 원점으로도 지칭되는 기준 프레임으로서 사용된다. 다른 예에서, HMD(112)는 안경 또는 고글과 같은 다른 웨어러블 헤드 장착형 디스플레이의 형태를 취할 수 있다.
도 2a에 더 도시된 바와 같이, 이 예에서, HMD(112)는, HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계(관성 측정 유닛 또는 "IMU(inertial measurement unit)"로도 지칭됨)와 같은 하나 이상의 모션 센서(206), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서, 다양한 객체로부터의 HMD(112)의 거리를 나타내는 데이터를 출력하는 레이더 또는 수중 음파 탐지기, 또는 물리적 환경 내의 HMD(112) 또는 다른 객체의 위치 또는 배향의 표시를 제공하는 다른 센서를 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된, 비디오 카메라, 레이저 스캐너, 도플러 레이더 스캐너, 깊이 스캐너 등과 같은, 통합 이미지 캡처 디바이스(138A 및 138B)(집합적으로, "이미지 캡처 디바이스(138)")를 포함할 수 있다. 보다 구체적으로, 이미지 캡처 디바이스(138)는, 통상적으로 HMD(112)의 시점과 대응하는, 이미지 캡처 디바이스(138)의 시야(130A, 130B) 내에 있는 물리적 환경에서의 객체(주변 디바이스(136) 및/또는 손(132) 포함)를 나타내는 이미지 데이터를 캡처한다. HMD(112)는 내부 제어 유닛(210)을 포함하며, 이는 내부 전원, 그리고 감지된 데이터를 처리하고 디스플레이(203) 상에 인공 현실 콘텐츠를 제시하기 위해 프로그래밍 가능한 동작을 실행하기 위한 동작 환경을 제공하도록 하나 이상의 프로세서, 메모리, 및 하드웨어를 갖는 하나 이상의 인쇄 회로 기판을 포함할 수 있다.
하나의 예에서, 제어 유닛(210)은, 감지된 데이터(예컨대, 이미지 캡처 디바이스(138 및/또는 102)에 의해 캡처된 이미지 데이터, GPS 센서로부터의 포지션 정보)에 기초하여, 이미지 캡처 디바이스(138)의 시야(130A, 130B) 내에 포함된 포지션과 연관된 하나 이상의 가상 콘텐츠 아이템(예컨대, 도 1a의 가상 콘텐츠 아이템(124, 126))을 포함하는 가상 표면을 디스플레이(203) 상의 디스플레이를 위해 생성 및 렌더링하도록 구성된다. 도 1a 및 도 1b를 참조하여 설명된 바와 같이, 가상 콘텐츠 아이템은 실세계 환경 내의 물리적 표면과 연관될 수 있는 가상 표면 내의 포지션과 연관될 수 있고, 제어 유닛(210)은 가상 콘텐츠(또는 그 일부)와 연관된 포지션이 현재 시야(130A, 130B) 내에 있다는 결정에 응답하여 디스플레이(203) 상의 디스플레이를 위해 가상 콘텐츠 아이템(또는 그 일부)을 렌더링하도록 구성될 수 있다. 일부 예에서, 가상 표면이 평면 또는 다른 표면(예컨대, 벽) 상의 포지션과 연관되고, 제어 유닛(210)은 그 부분이 시야(130A, 130B) 내에 있을 때 그 가상 표면 내에 포함된 임의의 가상 콘텐츠 아이템의 부분을 생성 및 렌더링할 것이다.
하나의 예에서, 제어 유닛(210)은 감지된 데이터에 기초하여 사용자에 의해 수행된 특정 제스처 또는 제스처 조합을 식별하고 이에 응답하여 조치를 수행하도록 구성된다. 예를 들어, 하나의 식별된 제스처에 응답하여, 제어 유닛(210)은 주변 디바이스(136)의 포지션에 대해 잠금된 사용자 인터페이스 포지션에서 전자 디스플레이(203) 상의 디스플레이를 위한 특정 사용자 인터페이스를 생성 및 렌더링할 수 있다. 예를 들어, 제어 유닛(210)은 주변 디바이스(136)의 표면(220) 상에 또는 주변 디바이스(136)에 근접하게(예컨대, 주변 디바이스(136)의 위, 아래 또는 주변 디바이스(136)에 인접한) 하나 이상의 UI 요소(예컨대, 가상 버튼)를 포함하는 사용자 인터페이스를 생성 및 렌더링할 수 있다. 제어 유닛(210)은 이미지 캡처 디바이스(138)에 의해 캡처된 이미지 데이터 내의 객체 인식을 수행하여 주변 디바이스(136) 및/또는 사용자의 손(132), 손가락, 엄지, 팔 또는 또다른 부분을 식별하고 주변 디바이스(136) 및/또는 사용자의 식별된 부분(들)의 움직임, 포지션, 구성 등을 추적하여 사용자에 의해 수행된 미리 정의된 제스처를 식별할 수 있다. 미리 정의된 제스처를 식별하는 것에 응답하여, 제어 유닛(210)은, 사용자 인터페이스와 연관된 옵션 세트로부터 옵션을 선택하는 것(예컨대, UI 메뉴로부터 옵션을 선택하는 것), 제스처를 입력(예컨대, 문자)으로 변환하는 것, 애플리케이션 시작, 가상 콘텐츠 조작(예컨대, 가상 콘텐츠 아이템 이동, 회전), 가상 마킹 생성 및 렌더링, 레이저 포인터 생성 및 렌더링, 또는 다른 방식으로 콘텐츠 디스플레이 등과 같은 일부 조치를 취한다. 예를 들어, 제어 유닛(210)은 사용자 인터페이스를 드러내기 위한 "트리거"로서 지정된 미리 정의된 제스처(예컨대, 주변 디바이스를 가로 또는 수평 배향으로 전환(도시되지 않음))를 검출하는 것에 응답하여 메뉴와 같은 사용자 인터페이스를 동적으로 생성 및 제시할 수 있다. 일부 예에서, 제어 유닛(210)은 감지된 데이터에 기초하여 렌더링된 사용자 인터페이스에 대한 사용자 입력(예컨대, 가상 UI 요소에 대해 수행된 태핑 제스처)을 검출한다. 일부 예에서, 제어 유닛(210)은 객체 인식, 모션 추적 및 제스처 검출, 또는 그의 임의의 일부를 수행할 수 있는, 콘솔(106)과 같은 외부 디바이스로부터의 지시에 응답하여 이러한 기능을 수행한다.
예로서, 제어 유닛(210)은 주변 디바이스(136)에 대하여 사용자에 의해 수행될 수 있는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 변환 제스처, 회전 제스처, 드로잉 제스처, 포인팅 제스처 등을 식별하기 위해 주변 디바이스(136), 손(132) 및/또는 팔(134)의 구성, 포지션, 움직임 및/또는 배향을 분석하도록 이미지 캡처 디바이스(138A 및 138B)를 이용할 수 있다. 아래에 더 상세하게 기재되는 바와 같이, 제어 유닛(210)은 UI 메뉴(UI 요소 포함) 및/또는 가상 표면(임의의 가상 콘텐츠 아이템 포함)을 렌더링하고, 주변 디바이스에 관련하여 사용자에 의해 수행되는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 변환 제스처, 회전 제스처 및 드로잉 제스처의 검출에 기초하여 사용자가 그 UI 메뉴 및/또는 가상 표면과 인터페이스할 수 있게 할 수 있다.
하나의 예에서, 주변 디바이스(136)의 표면(220)은 터치 및/또는 호버 입력을 검출하기 위해 용량성, 전도성, 저항성, 음향 또는 다른 기술을 사용하는 표면과 같은 존재 감지형 표면이다. 일부 예에서, 주변 디바이스(136)의 표면(220)은 터치스크린(예컨대, 용량성 터치스크린, 저항성 터치스크린, 표면 탄성파(SAW) 터치스크린, 적외선 터치스크린, 광학 이미징 터치스크린, 음향 펄스 인식 터치스크린, 또는 임의의 다른 터치스크린)이다. 이러한 예에서, 주변 디바이스(136)는 터치스크린(220) 상에 사용자 인터페이스 또는 다른 가상 요소(예컨대, 가상 마킹)를 렌더링하고 터치스크린(220) 상의 사용자 입력(예컨대, 터치 또는 호버 입력)을 검출할 수 있다. 그 예에서, 주변 디바이스(136)는, 무선 통신 링크(예컨대, Wi-Fi, 블루투스와 같은 근거리 무선 통신의 근거리 통신)를 사용하여, 유선 통신 링크(도시되지 않음)를 사용하여, 또는 다른 유형의 통신 링크를 사용하여, 임의의 검출된 사용자 입력을 HMD(112)(및/또는 도 1a의 콘솔(106))로 전달할 수 있다. 일부 예에서, 주변 디바이스는 가상 콘텐츠와의 상호 작용을 위해(예컨대, 가상 UI 요소를 선택하기 위해, 가상 UI 요소를 스크롤하기 위해) 하나 이상의 입력 디바이스(예컨대, 버튼, 트랙볼, 스크롤 휠)를 포함할 수 있다.
본 개시의 기술에 따라, 도 2a의 HMD(112)는 픽셀 강도의 디지털 및 아날로그 제어를 포함한다. 예를 들어, HMD(112)는 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 2b는 본 개시에 기재된 기술에 따라 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 다른 예시적인 HMD(112)를 도시하는 블록도이다. 도 2b에 도시된 바와 같이, HMD(112)는 안경의 형태를 취할 수 있다. 도 2a의 HMD(112)는 도 1a 및 도 1b의 HMD(112) 중 임의의 것 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 기재된 기술을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는, HMD(112)가 사용자의 코에 놓일 수 있게 해주는 브리지를 포함하는 전면 프레임 및 HMD(112)를 사용자에게 고정시키기 위해 사용자의 귀 위로 연장되는 안경 다리(또는 "팔")를 포함하는 안경이다. 또한, 도 2b의 HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된, 내부를 향하는 전자 디스플레이(203A 및 203B)(집합적으로, "전자 디스플레이(203)")를 포함한다. 전자 디스플레이(203)는 액정 디스플레이(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이, 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 음극선관(CRT) 디스플레이, 전자 잉크, 또는 단색, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이과 같은 임의의 적합한 디스플레이 기술일 수 있다. 도 2b에 도시된 예에서, 전자 디스플레이(203)는 사용자의 각 눈에 개별 이미지를 제공하기 위한 입체 디스플레이를 형성한다. 일부 예에서, HMD(112)의 전면 프레임에 대한 디스플레이(203)의 알려진 배향 및 포지션은, HMD(112) 및 사용자의 현재 시점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 포지션 및 배향을 추적할 때, 로컬 원점으로도 지칭되는 기준 프레임으로서 사용된다.
도 2b에 더 도시된 바와 같이, 이 예에서, HMD(112)는, HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계(관성 측정 유닛 또는 "IMU"로도 지칭됨)와 같은 하나 이상의 모션 센서(206), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서, 다양한 객체로부터의 HMD(112)의 거리를 나타내는 데이터를 출력하는 레이더 또는 수중 음파 탐지기, 또는 물리적 환경 내의 HMD(112) 또는 다른 객체의 위치 또는 배향의 표시를 제공하는 다른 센서를 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된, 비디오 카메라, 레이저 스캐너, 도플러 레이더 스캐너, 깊이 스캐너 등과 같은, 통합 이미지 캡처 디바이스(138A 및 138B)(집합적으로, "이미지 캡처 디바이스(138)")를 포함할 수 있다. HMD(112)는 내부 제어 유닛(210)을 포함하며, 이는 내부 전원, 그리고 감지된 데이터를 처리하고 디스플레이(203) 상에 인공 현실 콘텐츠를 제시하기 위해 프로그래밍 가능한 동작을 실행하기 위한 동작 환경을 제공하도록 하나 이상의 프로세서, 메모리, 및 하드웨어를 갖는 하나 이상의 인쇄 회로 기판을 포함할 수 있다.
본 개시의 기술에 따라, 도 2b의 HMD(112)는 픽셀 강도의 디지털 및 아날로그 제어를 포함한다. 예를 들어, HMD(112)는 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 3은 본 개시에 기재된 기술에 따라, 도 1a 및 도 1b의 멀티디바이스 인공 현실 시스템(10, 20)의 콘솔(106), 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 HMD(112), 및 주변 디바이스(136)의 예시적인 구현을 도시하는 블록도이다. 도 3의 예에서, 콘솔(106)은 HMD(112) 및/또는 외부 센서로부터 수신된 모션 데이터 및 이미지 데이터와 같은 감지된 데이터에 기초하여 HMD(112)에 대한 포즈 추적, 제스처 검출, 및 사용자 인터페이스 및 가상 표면 생성 및 렌더링을 수행한다.
이 예에서, HMD(112)는 하나 이상의 프로세서(302) 및 메모리(304)를 포함하며, 이는 일부 예에서 예를 들어 임베디드 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 이어서, 운영 체제(305)는 애플리케이션 엔진(340)을 포함하는 하나 이상의 소프트웨어 컴포넌트(307)를 실행하기 위한 멀티태스킹 동작 환경을 제공한다. 도 2a 및 도 2b의 예와 관련하여 설명된 바와 같이, 프로세서(302)는 전자 디스플레이(203), 모션 센서(206) 및 이미지 캡처 디바이스(138)에 결합된다. 일부 예에서, 프로세서(302) 및 메모리(304)는 분리된 별개의 컴포넌트일 수 있다. 다른 예에서, 메모리(304)는 단일 집적 회로 내에 프로세서(302)와 함께 배치된 온칩 메모리일 수 있다.
일반적으로, 콘솔(106)은 제스처 검출 및 HMD(112)에 대한 사용자 인터페이스 및/또는 가상 콘텐츠 생성을 수행하기 위해 카메라(102)(도 1b) 및/또는 HMD(112)(도 1a, 도 2a, 도 2b)의 이미지 캡처 디바이스(138)로부터 수신된 이미지 및 추적 정보를 프로세싱하는 컴퓨팅 디바이스이다. 일부 예에서, 콘솔(106)은 워크스테이션, 데스크탑 컴퓨터, 랩탑 또는 게임 시스템과 같은 단일 컴퓨팅 디바이스이다. 일부 예에서, 프로세서(312) 및/또는 메모리(314)와 같은 콘솔(106)의 적어도 일부는, 클라우드 컴퓨팅 시스템, 데이터 센터에 걸쳐, 또는 인터넷, 또다른 공공 또는 사설 통신 네트워크, 예를 들어 광대역, 셀룰러, Wi-Fi 및/또는 컴퓨팅 시스템, 서버 및 컴퓨팅 디바이스 간에 데이터를 전송하기 위한 다른 유형의 통신 네트워크과 같은 네트워크에 걸쳐 분산될 수 있다.
도 3의 예에서, 콘솔(106)은 하나 이상의 프로세서(312) 및 메모리(314)를 포함하며, 이는 일부 예에서 예를 들어 임베디드 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(316)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 이어서, 운영 체제(316)는 하나 이상의 소프트웨어 컴포넌트(317)를 실행하기 위한 멀티태스킹 동작 환경을 제공한다. 프로세서(312)는 하나 이상의 I/O 인터페이스(315)에 결합되며, 이는 키보드, 게임 컨트롤러, 디스플레이 디바이스, 이미지 캡처 디바이스, HMD, 주변 디바이스 등과 같은 외부 디바이스와 통신하기 위한 하나 이상의 I/O 인터페이스를 제공한다. 또한, 하나 이상의 I/O 인터페이스(315)는 네트워크(104)와 같은 네트워크와 통신하기 위한 하나 이상의 유선 또는 무선 네트워크 인터페이스 컨트롤러(NIC; network interface controller)를 포함할 수 있다.
콘솔(106)의 소프트웨어 컴포넌트(317)는 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 컴포넌트(317)는 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326) 및 사용자 인터페이스 엔진을 포함한다.
일반적으로, 애플리케이션 엔진(320)은 인공 현실 애플리케이션, 예컨대 원격 회의 애플리케이션, 게임 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 트레이닝 또는 시뮬레이션 애플리케이션 등을 제공 및 제시하기 위한 기능을 포함한다. 애플리케이션 엔진(320)은 예를 들어 콘솔(106)에서 인공 현실 애플리케이션을 구현하기 위한 하나 이상의 소프트웨어 패키지, 소프트웨어 라이브러리, 하드웨어 드라이버 및/또는 API(Application Program Interface)를 포함할 수 있다. 애플리케이션 엔진(320)에 의한 제어에 응답하여, 렌더링 엔진(322)은 HMD(112)의 애플리케이션 엔진(340)에 의해 사용자에의 디스플레이를 위한 3D 인공 현실 콘텐츠를 생성한다.
애플리케이션 엔진(320) 및 렌더링 엔진(322)은 포즈 추적기(326)에 의해 결정되는 대로 기준 프레임, 통상적으로 HMD(112)의 시점에 대하여 현재 포즈 정보에 따라 사용자(110)에의 디스플레이를 위한 인공 콘텐츠를 구성한다. 현재 시점에 기초하여, 렌더링 엔진(322)은, 일부 경우에 사용자(110)의 실세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다. 이 프로세스 동안, 포즈 추적기(326)는 움직임 정보 및 사용자 명령과 같은 HMD(112)로부터 수신된 감지된 데이터 및 일부 예에서 외부 카메라와 같은 임의의 외부 센서(90)(도 1a, 도 1b)로부터의 데이터에 대해 동작하여 사용자(110)에 의한 모션 및/또는 사용자(110)에 대한 특징 추적 정보와 같은 실세계 환경 내의 3D 정보를 캡처한다. 감지된 데이터에 기초하여, 포즈 추적기(326)는 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라, 사용자(110)에의 디스플레이를 위해 HMD(112)에, 하나 이상의 I/O 인터페이스(315)를 통해 통신을 위한 인공 현실 콘텐츠를 구성한다.
포즈 추적기(326)는 주변 디바이스(136)에 대한 현재 포즈를 결정할 수 있고, 현재 포즈에 따라, 임의의 렌더링된 가상 콘텐츠와 연관된 특정 기능을 트리거할 수 있다(예컨대, 가상 콘텐츠 아이템을 가상 표면에 배치하고, 가상 콘텐츠 아이템을 조작하고, 하나 이상의 가상 마킹을 생성 및 렌더링하고, 레이저 포인터를 생성 및 렌더링함). 일부 예에서, 포즈 추적기(326)는 가상 콘텐츠의 렌더링을 트리거하기 위해 HMD(112)가 가상 표면(예컨대, 가상 핀보드)에 대응하는 물리적 위치에 근접한지 여부를 검출한다.
사용자 인터페이스 엔진(328)은 인공 현실 환경에 렌더링하기 위한 가상 사용자 인터페이스를 생성하도록 구성된다. 사용자 인터페이스 엔진(328)은 가상 드로잉 인터페이스, 선택가능 메뉴(예컨대, 드롭다운 메뉴), 가상 버튼, 방향 패드, 키보드, 또는 사용자가 선택할 수 있는 다른 사용자 인터페이스 요소, 글리프, 디스플레이 요소, 콘텐츠, 사용자 인터페이스 컨트롤 등과 같은 하나 이상의 가상 사용자 인터페이스 요소(329)를 포함하도록 가상 사용자 인터페이스를 생성한다. 렌더링 엔진(322)은, 주변 디바이스(136)에 대한 현재 포즈에 기초하여, 인공 현실 환경에서의 주변 디바이스(136)의 위치에 대해 잠금되어 있는 인공 현실 환경에서 사용자 인터페이스 포지션에 가상 사용자 인터페이스를 렌더링하도록 구성된다. 사용자 인터페이스 포지션은 존재 감지형 표면(220) 중 하나의 포지션일 수 있고, 렌더링 엔진(322)은, 가상 사용자 인터페이스가 인공 현실 환경에서 존재 감지형 표면(220) 상에 오버레이되는 것처럼 보이도록 존재 감지형 표면(220)의 포즈, 크기 및 관점과 일치하도록 투영을 적용하기 위해 가상 사용자 인터페이스를 스케일링, 회전 및 다른 방식으로 변환할 수 있다. 사용자 인터페이스 엔진(328)은 가상 사용자 인터페이스를 부분적으로 투명하게 생성하여 존재 감지 표면(220)이 사용자에게 보이도록 할 수 있다. 이 투명 정도는 구성 가능할 수 있다.
콘솔(106)은 이 가상 사용자 인터페이스 및 다른 인공 현실 콘텐츠를 통신 채널을 통해 HMD(112)에서의 디스플레이를 위해 HMD(112)로 출력할 수 있다. 렌더링 엔진(322)은 주변 디바이스(136)에 대한 포즈 정보를 수신하여 사용자 인터페이스 포지션 및 포즈를 존재 감지형 표면(220) 중 하나의 것과 같은 주변 디바이스(136)의 것과 일치하도록 지속적으로 업데이트한다.
임의의 이미지 캡처 디바이스(138 또는 102), 존재 감지형 표면(220), 또는 다른 센서 디바이스로부터의 감지된 데이터에 기초하여, 제스처 검출기(324)는 사용자(110)에 의해 수행된 하나 이상의 제스처를 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 객체(예컨대, 손, 팔, 손목, 손가락, 손바닥, 엄지 손가락)의 추적된 모션, 구성, 포지션 및/또는 배향을 분석한다. 보다 구체적으로, 제스처 검출기(324)는 HMD(112)의 이미지 캡처 디바이스(138) 및/또는 센서(90) 및 외부 카메라(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체를 분석하여 주변 디바이스(136) 및/또는 사용자(110)의 손 및/또는 팔을 식별하고, HMD(112)에 대한 주변 디바이스(136), 손 및/또는 팔의 움직임을 추적하여 사용자(110)에 의해 수행된 제스처를 식별한다. 일부 예에서, 제스처 검출기(324)는 캡처된 이미지 데이터에 기초하여 주변 디바이스(136), 손, 손가락 및/또는 팔의 포지션 및 배향에 대한 변화를 포함하는 움직임을 추적하고, 객체의 모션 벡터를 제스처 라이브러리(330) 내의 하나 이상의 엔트리와 비교하여 사용자(110)에 의해 수행된 제스처 또는 제스처 조합을 검출할 수 있다. 일부 예에서, 제스처 검출기(324)는 주변 디바이스의 존재 감지형 표면(들)에 의해 검출된 사용자 입력을 수신하고 사용자 입력을 프로세싱하여 주변 디바이스(136)에 대하여 사용자(110)에 의해 수행된 하나 이상의 제스처를 검출할 수 있다.
제스처 검출기(324) 및 제스처 라이브러리(330)는 제스처를 검출하기 위해 주변 디바이스(136) 상의 사용자 입력을 프로세싱하도록 전체적으로 또는 부분적으로 주변 디바이스(136)에 분산될 수 있다. 이러한 경우, 존재 감지형 표면(들)(220)은 표면의 위치에서 사용자 입력을 검출한다. 제스처 검출기(324)를 실행하는 주변 디바이스(136)는 사용자 입력을 프로세싱하여 제스처 라이브러리(330)의 하나 이상의 제스처를 검출할 수 있다. 주변 디바이스(136)는 검출된 제스처의 표시를 콘솔(106) 및/또는 HMD(112)로 보내 콘솔(106) 및/또는 HMD(112)로 하여금 이에 응답하여 하나 이상의 조치를 수행하게 할 수 있다. 주변 디바이스(136)는 대안으로서 또는 추가적으로 표면의 위치에서의 사용자 입력의 표시를 콘솔(106)로 보낼 수 있고, 제스처 검출기(324)는 사용자 입력을 프로세싱하여 제스처 라이브러리(330)의 하나 이상의 제스처를 검출할 수 있다.
제스처 라이브러리(330) 내의 일부 엔트리는 각각, 제스처를, 주변 디바이스(136), 사용자의 손, 특정 손가락, 엄지 손가락, 손목 및/또는 팔의 상대 경로 또는 공간 변환 및 회전과 같은 일련의 또는 패턴의 모션으로서 정의할 수 있다. 제스처 라이브러리(330) 내의 일부 엔트리는 각각, 제스처를, 특정 시간에 또는 일정 기간 동안 주변 디바이스, 사용자의 손 및/또는 팔(또는 그의 일부)의 구성, 포지션 및/또는 배향으로서 정의할 수 있다. 제스처 라이브러리(330) 내의 일부 엔트리는 각각, 제스처를, 주변 디바이스(136)의 존재 감지형 표면(들)(220)에 의해 시간 경과에 따라 검출된 하나 이상의 사용자 입력으로서 정의할 수 있다. 다른 예의 제스처 유형이 가능하다. 또한, 제스처 라이브러리(330) 내의 엔트리 각각은, 정의된 제스처 또는 일련의 제스처에 대하여, 개인의 실시간 시선 추적, 디스플레이되고 있는 인공 콘텐츠의 유형, 실행되고 있는 애플리케이션의 유형 등에 의해 결정될 수 있는 바와 같이, HMD(112)의 현재 시야에 대한 공간적 관계, 사용자에 의해 현재 관찰되고 있는 특정 영역에 대한 공간적 관계와 같은, 조치를 트리거하기 위해 제스처 또는 일련의 제스처에 대하여 요구되는 조건을 지정할 수 있다.
제스처 라이브러리(330) 내의 엔트리 각각은 또한, 정의된 제스처 또는 제스처 조합/일련의 제스처 각각에 대하여, 소프트웨어 컴포넌트(317)에 의해 수행될 원하는 응답 또는 조치를 지정할 수 있다. 예를 들어, 미리 정의된 제스처 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(328)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록, 특정한 특수 제스처가 미리 정의될 수 있으며, 그에 의해 사용자(110)가 인공 현실 콘텐츠와 상호작용하는 동안에도 HMD(112) 및/또는 콘솔(106)을 구성하기 위한 사용자 인터페이스를 쉽게 호출할 수 있게 할 수 있다. 다른 예에서, 특정 제스처는 입력 제공, 가상 객체 선택(가상 콘텐츠 아이템 및/또는 UI 요소 포함), 가상 객체 변환(예컨대, 이동, 회전), 가상 객체 변경(예컨대, 크기 조정, 주석 달기), 가상 마킹 만들기, 애플리케이션 시작 등과 같은 다른 조치와 연관될 수 있다.
예로서, 제스처 라이브러리(330)는 사용자 인터페이스 활성화 제스처, 메뉴 스크롤링 제스처, 선택 제스처, 스탬핑 제스처, 변환 제스처, 회전 제스처, 드로잉 제스처 및/또는 포인팅 제스처와 같은 주변 디바이스 제스처를 기술하는 엔트리를 포함할 수 있다. 제스처 검출기(324)는 주변 디바이스(136)에 대하여 사용자에 의해 수행될 수 있는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 변환 제스처, 회전 제스처, 드로잉 제스처, 포인팅 제스처 등을 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 손의 구성, 포지션, 모션 및/또는 배향을 분석하도록 이미지 캡처 디바이스(138)로부터의 이미지 데이터를 프로세싱할 수 있다. 예를 들어, 렌더링 엔진(322)은, 수행되고 있는 사용자 인터페이스 제스처를 제스처 검출기(324)에 의해 검출하고 HMD(112)가 가상 핀보드의 가상 포지션에 대응하는 물리적 포지션에 근접함을 포즈 추적기(326)에 의해 검출하는 것에 기초하여, 핀보드 사용자 인터페이스를 렌더링할 수 있다. 사용자 인터페이스 엔진(328)은 디스플레이되는 메뉴를 정의할 수 있고, 선택 제스처에 의해 야기된 선택에 응답하여 수행되는 조치를 제어할 수 있다.
도 3에 도시된 예에서, 주변 디바이스(136)는 하나 이상의 프로세서(346) 및 메모리(344)를 포함하며, 이는 일부 예에서 예를 들어 임베디드 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(342)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 이어서, 운영 체제(346)는 하나 이상의 소프트웨어 컴포넌트를 실행하기 위한 멀티태스킹 동작 환경을 제공한다. 일부 예에서, 주변 디바이스(136)는 하나 이상의 존재 감지형 표면(220)(예컨대, 터치 및/또는 호버 입력을 검출하기 위해 용량성, 전도성, 저항성, 음향 및/또는 다른 기술을 사용하는 하나 이상의 표면)을 포함한다. 하나 이상의 양상에서, 주변 디바이스(136)는 존재 감지형 표면(220)에서의 터치 및/또는 호버 입력을 검출하고, 그 입력을 프로세싱하고(예컨대, 프로세서(346)에서), 터치 및/또는 호버 입력을 전달하며, 그 입력에 대한 정보(그 입력에 대한 위치 정보를 포함함)를 콘솔(106) 및/또는 HMD(112)로 전달하도록 구성될 수 있다. 도 2a의 예와 관련하여 설명된 바와 같이, 존재 감지형 표면(들)(220)은 터치스크린(예컨대, 용량성 터치스크린, 저항성 터치스크린, 표면 탄성파(SAW) 터치스크린, 적외선 터치스크린, 광학 이미징 터치스크린, 음향 펄스 인식 터치스크린 또는 임의의 다른 터치스크린)을 포함할 수 있다. 도 3에 더 도시된 바와 같이, 이 예에서, 주변 디바이스(136)는, 주변 디바이스(136)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계("IMU"로도 지칭됨)와 같은 하나 이상의 모션 센서(348), 주변 디바이스의 위치 또는 포지션을 나타내는 데이터를 출력하는 GPS 센서, 다양한 객체로부터의 주변 디바이스(136)의 거리를 나타내는 데이터를 출력하는 레이더 또는 수중 음파 탐지기, 또는 물리적 환경 내의 주변 디바이스 또는 다른 객체의 위치, 포지션 및/또는 배향의 표시를 제공하는 다른 센서를 더 포함한다. 일부 예에서, 프로세서(346)는 존재 감지형 표면(들)(220) 및 모션 센서(246)에 결합된다. 일부 예에서, 프로세서(346) 및 메모리(344)는 분리된 별개의 컴포넌트일 수 있다. 다른 예에서, 메모리(344)는 단일 집적 회로 내에 프로세서(346)와 함께 배치된 온칩 메모리일 수 있다. 하나 이상의 양상에서, 주변 디바이스(136)는 HMD와 공존할 수 있고, 일부 예에서 가상 환경에서 HMD를 위한 보조 입력/출력 디바이스로서 동작할 수 있다. 일부 예에서, 주변 기기(136)는 HMD의 기능 중 일부가 오프로딩되는 인공 현실 공동 프로세싱 디바이스로서 동작할 수 있다. 하나 이상의 양상에서, 주변 디바이스(136)는 스마트폰, 태블릿 또는 다른 핸드헬드 디바이스일 수 있다.
일부 예에서, 프로세서(302, 312, 346)의 각각은 멀티코어 프로세서, 컨트롤러, 디지털 신호 프로세서(DSP; digital signal processor), ASIC(application specific integrated circuit), FPGA(field-programmable gate array), 또는 동등한 이산 또는 집적 논리 회로 중 임의의 하나 이상을 포함할 수 있다. 메모리(304, 314, 344)는, RAM(random-access memory), ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM(electronically erasable programmable read only memory) 및 플래시 메모리와 같은, 데이터 및 실행 가능한 소프트웨어 명령어를 저장하기 위한 임의의 형태의 메모리를 포함할 수 있다.
본 개시의 기술에 따라, 도 3의 HMD(112)의 임의의 전자 디스플레이(들)(203)는 픽셀 강도의 디지털 및 아날로그 제어를 포함할 수 있다. 예를 들어, 전자 디스플레이(들)(203)의 임의의 하나 이상은 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 4는, 본 개시에 기재된 기술에 따라, 제스처 검출, 사용자 인터페이스 생성 및 가상 표면 기능이 도 1a, 도 1b의 인공 현실 시스템의 HMD(112)에 의해 수행되며 HMD가 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 예를 도시한 블록도이다.
이 예에서, 도 3과 유사하게, HMD(112)는 하나 이상의 프로세서(302) 및 메모리(304)를 포함하며, 이는 일부 예에서 예를 들어 임베디드 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 이어서, 운영 체제(305)는 하나 이상의 소프트웨어 컴포넌트(417)를 실행하기 위한 멀티태스킹 동작 환경을 제공한다. 또한, 프로세서(들)(302)는 전자 디스플레이(203), 모션 센서(206) 및 이미지 캡처 디바이스(138)에 결합된다.
도 4의 예에서, 소프트웨어 컴포넌트(417)는 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션(417)은 애플리케이션 엔진(440), 렌더링 엔진(422), 제스처 검출기(424), 포즈 추적기(426) 및 사용자 인터페이스 엔진(428)을 포함한다. 다양한 예에서, 소프트웨어 컴포넌트(417)는, 사용자(110)에의 디스플레이를 위해 인공 콘텐츠 상에 또는 그 일부로서 오버레이되는 가상 사용자 인터페이스를 구성하기 위해, 도 3의 콘솔(106)의 대응 컴포넌트(예컨대, 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326) 및 사용자 인터페이스 엔진(328))와 유사하게 동작한다.
도 3에 관련하여 기재된 예와 유사하게, 임의의 이미지 캡처 디바이스(138 또는 102), 주변 디바이스(136)의 존재 감지형 표면(136) 또는 다른 센서 디바이스로부터의 감지된 데이터에 기초하여, 제스처 검출기(424)는 사용자(110)에 의해 수행된 하나 이상의 제스처를 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 객체(예컨대, 손, 팔, 손목, 손가락, 손바닥, 엄지 손가락)의 추적된 모션, 구성, 포지션 및/또는 배향을 분석한다.
보다 구체적으로, 제스처 검출기(424)는 HMD(112)의 이미지 캡처 디바이스(138) 및/또는 센서(90) 및 외부 카메라(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체를 분석하여 주변 디바이스(136) 및/또는 사용자(110)의 손 및/또는 팔을 식별할 수 있고, HMD(112)에 대한 주변 디바이스(136), 손 및/또는 팔의 움직임을 추적하여 사용자(110)에 의해 수행된 제스처를 식별할 수 있다. 가상 표면 애플리케이션은 사용자(110)에게 디스플레이될 인공 현실 콘텐츠의 일부로서, 예컨대 그 위에 오버레이되는 가상 표면을 생성하고 그리고/또는 제스처 검출기(424)에 의해 검출된 사용자(110)의 하나 이상의 제스처 또는 제스처 조합에 기초하여 조치를 수행한다. 제스처 검출기(424)는 HMD(112)의 이미지 캡처 디바이스(138) 및/또는 센서(90) 및 외부 카메라(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체를 분석하여 주변 디바이스(136) 및/또는 사용자(110)의 손 및/또는 팔을 식별할 수 있고, HMD(112)에 대한 주변 디바이스(136), 손 및/또는 팔의 움직임을 추적하여 사용자(110)에 의해 수행된 제스처를 식별할 수 있다. 일부 예에서, 제스처 검출기(424)는 캡처된 이미지 데이터에 기초하여 주변 디바이스(136), 손, 손가락 및/또는 팔의 포지션 및 배향에 대한 변화를 포함하는 움직임을 추적하고, 객체의 모션 벡터를 제스처 라이브러리(430) 내의 하나 이상의 엔트리와 비교하여 사용자(110)에 의해 수행된 제스처 또는 제스처 조합을 검출할 수 있다. 일부 예에서, 제스처 검출기(424)는 주변 디바이스의 존재 감지형 표면(들)에 의해 검출된 사용자 입력을 수신하고 사용자 입력을 프로세싱하여 주변 디바이스(136)에 대하여 사용자(110)에 의해 수행된 하나 이상의 제스처를 검출할 수 있다. 제스처 라이브러리(430)는 도 3의 제스처 라이브러리(330)와 유사하다. 제스처 검출기(424)의 모든 기능 중 일부는 주변 디바이스(136)에 의해 실행될 수 있다.
도 4의 주변 디바이스(136)의 컴포넌트는 도 3의 주변 디바이스(136)의 컴포넌트와 유사하게 동작할 수 있다. 픽셀 강도의 디지털 및 아날로그 제어에 관련하여 도 3과 관련하여 기재된 기술은 HMD(112)에서도 구현될 수 있다. 예를 들어, 전자 디스플레이(들)(203)의 임의의 하나 이상은 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
도 5는 하나 이상의 디바이스(예컨대, 주변 디바이스(136) 및 HMD(112))가 각각의 디바이스 내의 하나 이상의 SoC 집적 회로를 사용하여 구현되는 멀티디바이스 인공 현실 시스템을 위한 분산 아키텍처의 보다 상세한 예시적인 구현을 예시하는 블록도이다. 도 5는 HMD(112)가 주변 디바이스(136)와 함께 동작하는 예를 예시한다. 주변 디바이스(136)는 멀티디바이스 인공 현실 시스템(100 또는 126)이 가상 콘텐츠를 오버레이하는 표면을 갖는 물리적 실세계 디바이스를 나타낸다. 주변 디바이스(104)는, 존재 감지형 표면(204)의 위치를 터치하거나 호버링하는 하나 이상의 객체(예컨대, 손가락, 스타일러스 등)의 존재를 검출함으로써 사용자 입력을 검출하기 위한 하나 이상의 존재 감지형 표면(들)(204)을 포함할 수 있다. 일부 예에서, 주변 디바이스(104)는 스마트폰, 태블릿 컴퓨터, PDA 또는 다른 핸드헬드 디바이스 중 임의의 것과 유사한 폼 팩터를 가질 수 있다. 다른 예에서, 주변 디바이스(104)는 스마트워치, 소위 "스마트 링" 또는 다른 웨어러블 디바이스의 폼 팩터를 가질 수 있다. 주변 디바이스(104)는 또한 키오스크 또는 다른 고정식 또는 모바일 시스템의 일부일 수도 있다. 존재 감지형 표면(들)(204)은 시각적 콘텐츠를 스크린에 출력하기 위한 디스플레이 디바이스(들)와 같은 출력 컴포넌트를 통합할 수 있다. 상기에 기재된 바와 같이, HMD(102)는 인공 현실 애플리케이션의 실행을 가능하게 하도록 설계되고 구성된다.
이 예에서, HMD(112) 및 주변 디바이스(136)는, (각각) 분산 아키텍처로 배열되며 인공 현실 애플리케이션을 위한 동작 환경을 제공하도록 구성된 특수 집적 회로의 집합을 나타내는 SoC(530, 510)를 포함한다. 예로서, SoC 집적 회로는 공동 애플리케이션 프로세서, 센서 통합기, 암호화/복호화 엔진, 보안 프로세서, 손/눈/깊이 추적 및 포즈 계산 요소, 비디오 인코딩 및 렌더링 엔진, 디스플레이 컨트롤러 및 통신 제어 컴포넌트로서 동작하는 특수 기능 블록을 포함할 수 있다. 보다 상세한 예가 도 5에 도시되어 있다. 도 5는 SoC 집적 회로의 단지 하나의 예시적인 배열일 뿐이다. 멀티디바이스 인공 현실 시스템을 위한 분산 아키텍처는 SoC 집적 회로의 임의의 집합 및/또는 배열을 포함할 수 있다.
이 예에서, HMD(112)의 SoC(530A)는 추적(570), 암호화/복호화(580), 공동 프로세서(582) 및 인터페이스(584)를 포함하는 기능 블록을 포함한다. 추적(570)은 눈 추적(572)("눈(572)"), 손 추적(574)("손(574)"), 깊이 추적(576)("깊이(576)") 및/또는 SLAM(Simultaneous Localization and Mapping)(578)("SLAM(578)")에 대한 기능 블록을 제공한다. 예를 들어, HMD(112)는, HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계(관성 측정 유닛 또는 "IMU"로도 지칭됨), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서, 다양한 객체로부터의 HMD(112)의 거리를 나타내는 데이터를 출력하는 레이더 또는 수중 음파 탐지기, 또는 물리적 환경 내의 HMD(112) 또는 다른 객체의 위치 또는 배향의 표시를 제공하는 다른 센서로부터의 입력을 수신할 수 있다. HMD(112)는 또한, 하나 이상의 이미지 캡처 디바이스(588A-588N)(집합적으로, "이미지 캡처 디바이스(588)")로부터 이미지 데이터를 수신할 수 있다. 이미지 캡처 디바이스는, 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된, 비디오 카메라, 레이저 스캐너, 도플러 레이더 스캐너, 깊이 스캐너 등을 포함할 수 있다. 보다 구체적으로, 이미지 캡처 디바이스는, 통상적으로 HMD(112)의 시점과 대응하는, 이미지 캡처 디바이스의 시야 내에 있는 물리적 환경에서의 객체(주변 디바이스(136) 및/또는 손을 포함함)를 나타내는 이미지 데이터를 캡처한다. 감지된 데이터 및/또는 이미지 데이터에 기초하여, 추적(570)은 예를 들어 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 인공 현실 콘텐츠를 렌더링한다.
SoC(530A)의 암호화/복호화(580)는, 주변 디바이스(136) 또는 보안 서버로 전달되는 나가는 데이터를 암호화하고 주변 디바이스(136) 또는 보안 서버로부터 전달되는 들어오는 데이터를 해독하는 기능 블록이다. 공동 애플리케이션 프로세서(582)는, 비디오 프로세싱 유닛, 그래픽 프로세싱 유닛, 디지털 신호 프로세서, 인코더 및/또는 디코더 등과 같은, 명령어를 실행하기 위한 하나 이상의 프로세서를 포함한다.
SoC(530A)의 인터페이스(584)는 SoC(530A)의 기능 블록에 연결하기 위한 하나 이상의 인터페이스를 포함하는 기능 블록이다. 하나의 예로서, 인터페이스(584)는 PCIe(peripheral component interconnect express) 슬롯을 포함할 수 있다. SoC(530A)는 인터페이스(584)를 사용하여 SoC(530B, 530C)와 연결할 수 있다. SoC(530A)는 다른 디바이스, 예컨대 주변 디바이스(136)와 통신하기 위해 인터페이스(584)를 사용하여 통신 디바이스(예컨대, 무선 송신기)와 연결할 수 있다.
HMD(112)의 SoC(530B 및 530C) 각각은 각자의 디스플레이, 예컨대 디스플레이(586A, 586B)(집합적으로, "디스플레이(586)") 상에 인공 현실 콘텐츠를 출력하기 위한 디스플레이 컨트롤러를 나타낸다. 이 예에서, SoC(530B)는 사용자의 왼쪽 눈(587A)에 대한 인공 현실 콘텐츠를 출력하기 위해 디스플레이(568A)에 대한 디스플레이 컨트롤러를 포함할 수 있다. 예를 들어, SoC(530B)는 디스플레이(586A) 상에 인공 현실 콘텐츠를 출력하기 위해 복호화 블록(592A), 디코더 블록(594A), 디스플레이 컨트롤러(596A) 및/또는 픽셀 드라이버(598A)를 포함한다. 유사하게, SoC(530C)는 사용자의 오른쪽 눈(587B)에 대한 인공 현실 콘텐츠를 출력하기 위해 디스플레이(568B)에 대한 디스플레이 컨트롤러를 포함할 수 있다. 예를 들어, SoC(530C)는 디스플레이(586B) 상에 인공 현실 콘텐츠를 생성 및 출력하기 위해 복호화(592B), 디코더(594B), 디스플레이 컨트롤러(596B) 및/또는 픽셀 드라이버(598B)를 포함한다. 디스플레이(568)는 발광 다이오드(LED) 디스플레이, 유기 LED(OLED), 양자점 LED(QLED), 전자 종이(E-ink) 디스플레이, 액정 디스플레이(LCD), 또는 AR 콘텐츠를 디스플레이하기 위한 다른 유형의 디스플레이를 포함할 수 있다.
본 개시에 따르면, SoC(530B 및 530C)의 픽셀 드라이버(598A 및 598B)의 각각은, 각각의 픽셀 내에 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로를 포함하는 하이브리드 픽셀 제어 회로를 각각 포함할 수 있다. 일부 예에서, 디지털 픽셀 제어 회로 및 아날로그 픽셀 제어 회로는 각각의 픽셀에 대해 n+m 비트의 그레이 스케일 강도 제어를 제공한다. 대안으로서, 그레이 스케일 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로에 의해 사용될 수 있다.
이 예에서, 주변 디바이스(136)는 인공 현실 애플리케이션을 지원하도록 구성된 SoC(510A 및 510B)를 포함한다. 이 예에서 SoC(510A)는 추적(540), 암호화/복호화(550), 디스플레이 프로세서(552) 및 인터페이스(554)를 포함하는 기능 블록을 포함한다. 추적(540)은 눈 추적(542)("눈(542)"), 손 추적(544)("손(544)"), 깊이 추적(546)("깊이(546)") 및/또는 SLAM(Simultaneous Localization and Mapping)(548)("SLAM(548)")을 제공하는 기능 블록이다. 예를 들어, 주변 디바이스(136)는, 주변 디바이스(136)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계(관성 측정 유닛 또는 "IMU"로도 지칭됨), 주변 디바이스(136)의 위치를 나타내는 데이터를 출력하는 GPS 센서, 다양한 객체로부터의 주변 디바이스(136)의 거리를 나타내는 데이터를 출력하는 레이더 또는 수중 음파 탐지기, 또는 물리적 환경 내의 주변 디바이스(136) 또는 다른 객체의 위치 또는 배향의 표시를 제공하는 다른 센서로부터의 입력을 수신할 수 있다. 주변 디바이스(136)는 일부 예에서 또한, 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된, 비디오 카메라, 레이저 스캐너, 도플러 레이더 스캐너, 깊이 스캐너 등과 같은, 하나 이상의 이미지 캡처 디바이스로부터 이미지 데이터를 수신할 수 있다. 감지된 데이터 및/또는 이미지 데이터에 기초하여, 추적 블록(540)은 예를 들어 주변 디바이스(136)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 HMD(112)에 인공 현실 콘텐츠를 렌더링한다.
SoC(510A)의 암호화/복호화(550)는, HMD(112) 또는 보안 서버로 전달되는 나가는 데이터를 암호화하고 HMD(112) 또는 보안 서버로부터 전달되는 들어오는 데이터를 해독한다. 암호화/복호화(550)는 세션 키(예컨대, 비밀 대칭 키)를 사용하여 데이터를 암호화/복호화하는 대칭 키 암호기법(cryptography)을 지원할 수 있다. SoC(510A)의 디스플레이 프로세서(552)는 HMD(112)에 인공 현실 콘텐츠를 렌더링하기 위한 비디오 프로세싱 유닛, 그래픽 프로세싱 유닛, 인코더 및/또는 디코더 등과 같은 하나 이상의 프로세서를 포함한다. SoC(510A)의 인터페이스(554)는 SoC(510A)의 기능 블록에 연결하기 위한 하나 이상의 인터페이스를 포함한다. 하나의 예로서, 인터페이스(584)는 PCIe(peripheral component interconnect express) 슬롯을 포함할 수 있다. SoC(510A)는 인터페이스(584)를 사용하여 SoC(510B)와 연결할 수 있다. SoC(510A)는 다른 디바이스, 예컨대 HMD(112)와 통신하기 위해 인터페이스(584)를 사용하여 하나 이상의 통신 디바이스(예컨대, 무선 송신기)와 연결할 수 있다.
주변 디바이스(136)의 SoC(510B)는 공동 애플리케이션 프로세서(560) 및 애플리케이션 프로세서(562)를 포함한다. 이 예에서, 공동 애플리케이션 프로세서(560)는 VPU(vision processing unit), GPU(graphics processing unit) 및/또는 CPU(central processing unit)와 같은 다양한 프로세서를 포함한다. 애플리케이션 프로세서(562)는, 예를 들어 인공 현실 콘텐츠를 생성 및 렌더링하고/하거나 주변 디바이스(136)에 대하여 사용자에 의해 수행된 제스처를 검출 및 해석하기 위해, 하나 이상의 인공 현실 애플리케이션을 실행할 수 있다.
도 6은 본 개시에 기재된 기술에 따른 디스플레이 디바이스(600)의 블록도이다. 디스플레이 디바이스(600)는, 예를 들어 도 1 내지 도 5에 관련하여 도시되고 기재된 임의의 디스플레이를 구현하는 데 사용될 수 있다. 디스플레이 디바이스(600)는 다수의 픽셀들(612A-612N)(집합적으로 "픽셀들(612)"로 또는 개별적으로 "픽셀(612)"로 지칭됨)을 포함하는 디스플레이 패널(630)을 포함한다. 도 6은 픽셀(612A)을 제어하기 위한 상세 구조를 예시하지만, 다른 픽셀(612B-612N)은 픽셀(612A)과 동일한 제어 구조를 가질 수 있다. 각각의 픽셀(612)에서의 픽셀 드라이버 회로(608)는, 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)에 의해 제어되는 강도를 갖는 광을 출력하는, 발광 다이오드(LED) 또는 마이크로 LED와 같은 발광 요소를 포함한다. 일부 예에서, 각각의 프레임에 대한 픽셀 강도는 n+m 비트 제어 워드에 의해 정의된다. 디지털 픽셀 제어 회로(630)는 픽셀(612)의 발광 요소에 의해 방출되는 광에 대한 n 비트의 디지털 PWM 제어를 제공한다. 아날로그 픽셀 제어 회로(650)는 픽셀(612)의 발광 요소에 공급되는 구동 전류의 2m 상이한 레벨의 제어를 제공한다. 일부 예에서, 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)는 각각의 픽셀에 대하여 n+m 비트의 강도 제어를 제공한다. 대안으로서, 픽셀 강도의 디지털 PWM 제어를 위해 n 비트가 디지털 픽셀 제어 회로(630)에 의해 사용될 수 있고, 불균일성 보상을 위해 픽셀에 제공되는 구동 전류를 제어하기 위해 m 비트가 아날로그 픽셀 제어 회로(650)에 의해 사용될 수 있다.
도 6의 예에서, 디지털 픽셀 제어 회로(630)는 메모리(602), 비교기 회로(604) 및 래치 회로(606)를 포함한다. 메모리(602)는 비교기 회로(604)에 연결된다. 비교기 회로(604)는 래치 회로(606)에 연결되고, 래치 회로(606)는 드라이버 회로(608)에 연결된다. 아날로그 픽셀 제어 회로(650)는 또한 드라이버 회로(608)에 연결된다.
디스플레이 디바이스(600)는, 카운터(610)를 포함하는 행(row) 드라이버(614), 디지털 열(column) 드라이버(616), 아날로그 열 드라이버(646) 및 컨트롤러(640)를 더 포함한다. 일부 실시예에서, 컨트롤러(640)는 디스플레이 디바이스(600)와 별개일 수 있다. 도 6은 행 드라이버(614), 디지털 열 드라이버(616) 및 아날로그 열 드라이버(646)를 픽셀(612A)에 연결되어 있는 것으로 도시하지만, 이들은 실제로 픽셀(612A-612N)의 각각에 연결된다. 구체적으로, 행 드라이버(614)는 디지털 픽셀 제어 회로(630)의 메모리(602), 비교기 회로(604) 및 래치 회로(606)에 연결된다. 행 드라이버(614)는 아날로그 픽셀 제어 회로(650)와 더 연결된다. 디지털 열 드라이버(616)는 디지털 픽셀 제어 회로(630)의 메모리(602)에 연결된다. 컨트롤러(640)는 프로세서(642) 및 디스플레이 메모리(644)와 같은 프로세싱 회로를 포함한다. 컨트롤러(640)는 행 드라이버(614), 디지털 열 드라이버(616)에 그리고 또한 아날로그 열 드라이버(646)에 연결된다.
디지털 열 드라이버(616)는 각각의 픽셀의 메모리(602) 내의 메모리 셀로 n+m 강도 제어 워드의 n 디지털 비트를 로딩하는 반면, 아날로그 열 드라이버(646)는 아날로그 픽셀 제어 회로(650)에 n+m 비트 강도 제어 워드의 m 비트에 대응하는 단일 전압을 로딩한다. 행 드라이버(614)는 디지털 아날로그 제어 회로(630)에 대한 프로그래밍 단계 및 아날로그 픽셀 제어 회로(650)에 대한 프로그래밍 단계가 시작되고 종료되는 시기를 제어한다(예컨대, 도 10 참조). 아날로그 및 디지털 로딩 방식은 분리된 컴포넌트/트랜지스터(즉, 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650))에 의해 제어되며, 각각의 픽셀의 아날로그 및 디지털 제어가 서로 완전히 독립적이라는 것을 의미한다. 따라서, 본 개시의 기술에 의해 제공되는 디지털 및 아날로그 강도 제어는, 아날로그 강도 제어 및 디지털 강도 제어가 임의의 순서로 로딩될 수 있고(즉, 아날로그가 먼저 로딩되고 디지털이 두 번째로 로딩될 수 있거나, 또는 디지털이 먼저 로딩되고 아날로그가 두 번째로 로딩될 수 있음), 또는 아날로그 및 디지털이 동시에 로딩될 수 있다는 점에서, 유연하다. 순서의 선택은, 예를 들어 픽셀의 원하는 성능 및/또는 아날로그 방식이 강도 제어를 위해 또는 균일성 보상을 위해 사용되는지 여부에 기초할 수 있다.
예시적인 디지털 픽셀 제어 회로(630)의 메모리(602)는 n 비트의 디지털 데이터 저장 장치, 예컨대 n개의 1 비트 정적 랜덤 액세스 메모리(SRAM) 메모리 셀 또는 일부 다른 유형의 메모리 셀을 포함할 수 있다. 메모리(602)는 워드 라인을 통해 행 드라이버(614)에 연결되고 비트 라인 및 반전 비트 라인을 통해 열 드라이버(616)에 연결된다. 메모리(602)는 메모리 셀 선택을 위해 행 드라이버(614)로부터 워드 라인(WL)에 대한 신호를 수신하고, 선택된 메모리 셀에 기록하기 위해 n 데이터 비트 D 형태의 제어 워드를 열 드라이버(616)로부터 수신한다. n 데이터 비트의 비트 값은 픽셀 내의 발광 요소에 구동 전류가 공급되는 동안인 각각의 프레임에서의 서브 프레임의 수를 정의한다. 디지털 픽셀 제어 회로에서 데이터 비트 수 n은 다양할 수 있다. 하나의 예에서, 메모리(602)는, 디지털 픽셀 제어 회로(630)에 의해 제어되는 8개 그라데이션(예컨대, 000, 001, 010, 011, 100, 101, 110, 111)의 휘도를 제공하기 위해 n=3 비트를 저장한다. 다른 예에서는, 디지털 픽셀 제어 회로(630)에 의해 제어되는 32개 그라데이션의 휘도를 제공하기 위해 n=5이다. n은 특정 구현에 적절하게 적합한 임의의 정수의 비트 수일 수 있으며, 본 개시는 이에 관련하여 한정되지 않음을 이해해야 한다. 메모리(602)에 관한 추가 세부사항은 도 7과 관련하여 설명된다.
행 드라이버(614)는 각각의 픽셀 행 또는 픽셀 행 그룹에 대한 카운터(610)를 포함할 수 있다. 카운터(610)는 카운트 비트의 비트 값을 생성하기 위한 회로를 사용하여 적어도 부분적으로 구현된다. 카운트 비트의 수는 디지털 픽셀 제어 회로에 대한 제어 워드의 데이터 비트 수 n와 대응한다. n=3인 예에서, 카운터(610)는 비트 값 000, 001, 010, 011, 100, 101 및 111을 포함하는 프레임의 각각의 서브프레임에 대한 시퀀스를 생성한다. 여기서, 카운터(610)는 시퀀스를 생성하기 위해 0부터 7까지 2진수로 카운트한다. 일부 실시예에서, 카운터(610)는 비교기 회로(604)에 의한 비교를 용이하게 하기 위해 각각의 카운트 비트를 반전시킨다.
하나의 예시적인 구현에서, 예시적인 디지털 픽셀 제어 회로(630)의 비교기 회로(604)는 카운터(610)에 의해 생성된 행 드라이버(614)로부터의 카운트 비트를 수신하고 메모리(602)로부터 제어 워드의 n 데이터 비트를 수신하며, 카운트 비트를 데이터 비트와 비교하여 비교 결과를 생성한다. 비교 결과는 식 1에 의해 정의된 바와 같이 각각의 데이터 비트 AND 대응하는 카운트 비트의 NOR에 기초하여 생성된다"
Figure pct00001
식 1
여기서 !count[x]는 x번째 반전 카운트 비트이고, D[x]는 제어 워드의 x번째 데이터 비트이고, n은 제어 워드와 카운트 비트의 길이이다. 식 1에 의해 정의된 비교는 대응하는 데이터 비트와 카운트 비트의 정렬된 비교이며, 이는 단순화된 비교기 회로(604)를 가능하게 한다. 비교기 회로(604)는, 비교 결과에 따라 하이 레벨과 로우 레벨 사이를 스위칭하며 비교 결과를 래치 회로(606)에 출력하는 동적 비교 노드를 포함한다.
예시적인 디지털 픽셀 제어 회로(630)의 래치 회로(606)는 비교기 회로(604)로부터 비교 결과를 수신하고, 드라이버 회로(608)의 구동 트랜지스터에 대한 게이트 신호를 생성한다. 래치 회로(606)는, 비교기 회로(604)의 동적 비교 노드에서 비교 결과의 스위칭이 있을 수 있는 동안에도, 드라이버 회로(608)에 보내진 게이트 신호의 원하는 상태를 유지한다. 래치 회로(606)의 출력은 본원에 기재된 바와 같이 드라이버 회로(608)의 스위칭을 제어하는 제어 신호 nDrive이다.
드라이버 회로(608)는 LED 또는 마이크로 LED와 같은 발광 요소 및 LED에 연결된 단자(예컨대, 소스 또는 드레인)를 갖는 구동 트랜지스터를 포함한다. 구동 트랜지스터는 LED 및 구동 트랜지스터의 소스 및 드레인 단자를 통한 전류 흐름의 제어를 위한 게이트 신호(nDrive)를 수신하기 위해 래치 회로(606)에 연결되는 게이트 단자를 더 포함한다. 이 방식으로, 구동 트랜지스터는 디지털 픽셀 제어 회로(630)에 제공되는 제어 워드의 n 비트에 의해 결정되는 PWM 타이밍에 기초하여 LED에 전류가 공급되는지 여부를 제어하기 위한 스위치 역할을 한다. 드라이버 회로(608)에 관한 추가 세부사항은 도 8 및 도 9와 관련하여 아래에 설명된다.
일부 실시예에서, 드라이버 회로(608), 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)의 적어도 일부 부분을 포함하는 픽셀의 제어 회로는 디스플레이 디바이스(600)의 박막 트랜지스터(TFT; thin-film-transistor) 층에 배열된다.
행 드라이버(614) 및 디지털 열 드라이버(616)는 각각의 픽셀(612A-612N) 내의 디지털 픽셀 제어 회로(630)의 동작을 제어한다. 예를 들어, 열 드라이버(616)는 픽셀(612A)에 대한 n+m 비트 제어 워드의 n 데이터 비트를 메모리(602)에 제공하며, 행 드라이버(614)로부터 워드 라인(WL)에 의한 선택에 기초하여 메모리(602)의 n개의 대응하는 메모리 셀로 프로그래밍된다.
컨트롤러(640)는 하나 이상의 프로세서(들)(642)(본원에서는 일반적으로 프로세서(642)로 지칭됨) 및 디스플레이 메모리(644)와 같은 프로세싱 회로를 포함한다. 프로세서(642)는 디지털 픽셀 제어 회로(630)의 동작을 제어하기 위해 행 드라이버(614) 및 디지털 열 드라이버(616)에 제어 신호를 제공한다. 프로세서(642)는 또한, 프레임 동안 각각의 픽셀에 공급되는 구동 전류의 양 또는 레벨을 제어하기 위해 행 드라이버(614) 및 아날로그 픽셀 제어 회로(650)에 제어 신호를 제공한다.
일부 예에서, m 비트가 아날로그 불균일성 보상을 위해 사용될 때, 디스플레이 메모리(644)(본원에서는 "데이터 저장 디바이스"로도 지칭됨)는 각각의 픽셀에 대한 m 비트 불균일성 보상 값을 저장할 수 있다. m 비트 불균일성 보상 값은 불균일성 보상을 위해 아날로그 픽셀 구동 회로(650)에 의해 픽셀에 공급되는 구동 전류의 양 또는 레벨을 제어하기 위해 대응하는 아날로그 전압으로서 아날로그 픽셀 제어 회로(650)에(예컨대, 커패시터 또는 다른 아날로그 저장 디바이스에) 저장될 수 있다
디지털 픽셀 제어 회로(630)를 구현하는 데 사용될 수 있는 픽셀 강도의 디지털 PWM 제어를 위한 회로의 예는, "Pulse Width Modulation for Driving Pixel Using Comparator"라는 명칭으로 2020년 1월 31일 출원된 미국 출원 번호 16/779,168, “Row Based Brightness Calibration”이란 명칭으로 2020년 1월 31일 출원된 미국 출원 번호 16/779,206 및 “Pulse Width Modulation for Driving Pixel Using Comparator”이란 명칭으로 2019년 2월 4일 출원된 미국 가출원 번호 62/800,979에 도시 및 기재되어 있으며, 이들의 각각은 그 전체가 참조에 의해 포함된다. 그러나, 픽셀 강도의 디지털 PWM 제어를 위한 다른 구현이 또한 사용될 수 있고, 본 개시는 이에 관련하여 한정되지 않음을 이해해야 한다.
도 7은 본 개시에 기재된 기술에 따라 개별 픽셀(612)의 디지털 픽셀 제어 회로(630)의 예시적인 메모리(602)를 예시하는 회로도이다. 특히, 단일 픽셀(612)에 대한 예시적인 메모리(602)의 일부가 도시되어 있다. 메모리(602)는 픽셀 강도 제어 워드의 n 비트를 저장하고 제어 워드의 n 비트를 비교기 회로(604)로 출력한다. 메모리(602)는 n개의 1 비트 메모리 셀(902(0) 내지 902(n-1))을 포함하며, 여기서 n은 디지털 픽셀 제어 회로(630)에 대한 제어 워드의 비트 길이이다. 각각의 셀(902(0) 내지 902(n-1))은 각자의 워드 라인(908(0) 내지 908(n-1))을 통해 행 드라이버(614)에 연결되고, 비트 라인(904) 및 반전 비트 라인(906)을 통해 열 드라이버(616)에 더 연결된다. 각각의 셀(902(0) 내지 902(n-1))은 셀에 저장된 비트 값을 비교기 회로(604)로 출력하기 위한 각자의 셀 출력(910(0) 내지 910(n-1))을 더 포함한다.
각각의 셀(902(0)-902(n-1))은 예를 들어 1 비트 SRAM 메모리 셀을 사용하여 구현될 수 있지만, 메모리 셀(902(0)-902(n-1))은 임의의 적합한 유형의 메모리 셀을 사용하여 구현될 수 있음을 이해해야 한다.
셀(902(0))을 참조하면, 각각의 셀(902(0)-902(n-1))은 트랜지스터(912), 트랜지스터(914) 및 교차 결합된 인버터(916 및 918)를 포함할 수 있다. 이 예에서, 트랜지스터(912 및 914)는 NMOS 트랜지스터이다. 트랜지스터(912)는 반전 비트 라인(906)에 연결된 제1 단자 및 교차 결합된 인버터(916 및 918)에 의해 형성된 제1 노드에 연결된 제2 단자를 포함한다. 트랜지스터(914)는 비트 라인(904)에 연결된 제1 단자 및 교차 결합된 인버터(916 및 918)에 의해 형성된 제2 노드에 연결된 또다른 단자를 포함한다. 트랜지스터(912 및 914)의 게이트 단자는 각각 워드 라인(908(0))에 연결된다. 교차 결합된 인버터(916 및 918)에 의해 형성된 제2 노드는 셀 출력(910(0))에 연결된다.
비트 값으로 셀(902(0))을 프로그래밍하기 위해, 셀(902(0))의 워드 라인(908(0))은 하이(high) 신호로 설정되고, 비트 라인(904)은 비트 값으로 설정되며, 반전 비트 라인(906)은 비트 값의 역으로 설정된다. 그 결과 비트 라인(904)의 비트 값이 셀(902(0))에 저장되고 셀 출력(910(0))에서 출력되게 된다. 메모리(602)의 다른 셀은 셀(902(0))에 대하여 본원에서 설명된 바와 유사한 컴포넌트 및 동작을 포함할 수 있다. 메모리(602)는 각자의 워드 라인(908(0) 내지 908(n-1))을 통해 신호 WL[0] 내지 WL[n-1]를, 비트 라인(904)으로부터 신호 Bit를, 그리고 반전 비트 라인(906)으로부터 신호 nBit를 수신하여 n 비트 제어 워드를 저장하고, 셀 출력(910(0) 내지 910(n-1))을 통해 n 비트 제어 워드의 비트 값을 출력한다. 각각의 프레임에 대하여, 메모리(602)는 제어 워드를 저장하고 셀 출력(610(0) 내지 610(n-1))을 통해 제어 워드를 데이터 신호 D[0] 내지 D[n-1]로서 출력한다.
도 8은 본 개시에 기재된 기술에 따라 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)에 연결된 개별 픽셀(612)의 예시적인 구동기 회로(608)를 예시하는 회로도이다. 예시적인 드라이버 회로(608)는 전류 구동 트랜지스터(802) 및 스위치 트랜지스터(804)를 포함한다. 이 예에서, 구동 트랜지스터(802) 및 스위치 트랜지스터(804)는 PMOS 트랜지스터이다. 그러나, 드라이버 회로(608)는 회로 요소들의 배열이 그에 따라 조정된 NMOS 트랜지스터를 사용하여 구현될 수 있으며, 본 개시는 이에 관련하여 한정되지 않음을 이해해야 한다. 스위치 트랜지스터(804)의 제1 단자가 구동 트랜지스터(802)의 출력 단자에 연결되고, 스위치 트랜지스터(804)의 제2 단자가 발광 다이오드(LED)(806)에 연결된다. 일부 실시예에서, LED(806)는 마이크로 LED이다. 구동 트랜지스터(802)의 입력 단자가 공급 신호 바이어스(예컨대, 전압 소스, Vdd)와 아날로그 픽셀 제어 회로(650)의 제1 출력의 연결에 의해 형성된 노드에 연결된다. 트랜지스터(802)의 제어 단자(예컨대, 게이트)가 아날로그 픽셀 제어 회로(630)의 제2 출력에 연결된다. 스위치 트랜지스터(804)의 제어 단자(예컨대, 게이트)가 디지털 픽셀 제어 회로(630)로부터 제어 신호(nDrive)를 수신한다.
도 9는 본원에 기재된 기술에 따라 디지털 픽셀 제어 회로(630), 드라이버 회로(608) 및 아날로그 픽셀 제어 회로(650)의 예시적인 구현을 포함하는 예시적인 픽셀(612)을 예시하는 회로도이다. 예시적인 아날로그 픽셀 제어 회로(650)는 저장 커패시터(954) 및 트랜지스터(952)를 포함한다. 이 예에서, 트랜지스터(952)는 PMOS 트랜지스터이다. 그러나, 아날로그 픽셀 제어 회로(650)는 회로 요소들의 배열이 그에 따라 조정된 NMOS 트랜지스터를 사용하여 구현될 수 있으며, 본 개시는 이에 관련하여 한정되지 않음을 이해해야 한다. 저장 커패시터(954)는 트랜지스터(952)의 출력 단자와 드라이버 회로(608)의 구동 트랜지스터(802)의 제어 단자 사이의 연결에 의해 형성된 제1 노드(956)에 연결된 입력 단자를 포함한다. 저장 커패시터(954)는 드라이버 회로(608)의 구동 트랜지스터(802)의 입력 단자와 전압 소스(Vdd) 사이의 연결에 의해 형성된 제2 노드(958)에 연결된 출력 단자를 더 포함한다. 다르게 말하자면, 저장 커패시터(954)는 전류 구동 트랜지스터(802)의 입력 단자와 제어 단자 사이에 연결되며, 그리하여 저장 커패시터(954)에 저장된 전압이 전류 구동 트랜지스터(802)를 통해 흐르는 전류의 양을 제어할 수 있다.
아날로그 픽셀 제어 회로(650)는 2개의 입력, 행 드라이버(614)로부터의 스캔(Scan) 신호 및 아날로그 열 드라이버(646)로부터의 데이터(Data) 신호를 수신하도록 연결된다(도 6 참조). 트랜지스터(952)는 스캔 신호를 수신하도록 연결된 제어 단자(예컨대, 게이트) 및 데이터 입력 신호를 수신하도록 연결된 입력 단자를 포함한다. 스캔 신호 입력에 의해 픽셀(612)이 선택될 때, 아날로그 픽셀 제어 회로(650)는 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 픽셀에 대한 아날로그 제어 전압(도 9의 "Data")을 수신한다. 트랜지스터(952)가 턴온되며, 저장 커패시터(954)를 프레임에 대한 픽셀 강도에 대응하는 아날로그 제어 전압에 기초하여 원하는 구동 전압으로 충전한다. 구동 전압은, 디지털 픽셀 제어 회로(630)에 의해 제공되는 n 비트의 강도 제어와 조합하여, n+m 제어 워드에 의해 표시되는 그레이 스케일 강도를 초래하게 될 전류 레벨로 LED를 구동하는 데 필요한 전압이다. 커패시터가 충전되고 디지털 픽셀 제어 회로(630)에 의해 제공된 nDrive 신호가 스위치 트랜지스터(804)를 턴온하면, 트랜지스터(802)는 저장 커패시터(954)에 저장된 전압에 의해 바이어스된다. 커패시터(954)에 저장된 이 바이어스 전압은 트랜지스터(802)에 의해 트랜지스터(804)를 통해 궁극적으로 LED(806)에 공급되는 전류 레벨을 제어한다. 이러한 방식으로, 아날로그 픽셀 제어 회로(650)는 저장 커패시터(954)에 저장된 전압을 제어함으로써 픽셀(612)의 LED(806)에 공급되는 전류의 양 또는 레벨을 제어한다.
도 10a는 디지털 픽셀 제어 회로(630)의 디지털 프로그래밍 단계를 도시하는 도면이고, 도 10b는 아날로그 픽셀 제어 회로(650)의 아날로그 프로그래밍 단계를 도시하는 도면이다. 도 10a 및 도 10b에 도시된 디지털 및 아날로그 프로그래밍 단계는 서로 완전히 독립적이며, 도 10a 및 도 10b는 디지털 프로그래밍 단계와 아날로그 프로그래밍 단계 사이의 타이밍 관계를 전달하고자 하는 것이 아님을 이해해야 한다. 대신에, 디지털 및 아날로그 프로그래밍 단계의 타이밍은 본원에서 더 기재되는 바와 같이 시스템의 설계 고려사항에 기초하여 선택될 수 있다.
디지털 프로그래밍 단계(도 10a)는 쓰기 또는 워드 라인(WL(n)) 신호에 의해 제어된다. WL 신호가 인에이블될 때(이 예에서는 하이가 됨), 그 비트 위치에 대응하는 디지털 픽셀 제어 회로(630)의 메모리 셀이 프로그래밍된다. 도 10a의 n=3 비트 예에서, 제1 메모리 셀(예컨대, 도 7의 셀(902(0)))이 제1 WL(n) 인에이블 타임 윈도우 동안 bitn 신호의 값으로 프로그래밍되고, 제2 메모리 셀(예컨대, 도 7의 메모리 셀(902(1)))이 제2 WL(n) 인에이블 타임 윈도우 동안 bitn 신호의 값으로 프로그래밍되고, 제3 메모리 셀(예컨대, 도 7의 메모리 셀(902(2)))이 제3 WL(n) 인에이블 타임 윈도우 동안 bitn 신호의 값으로 프로그래밍된다.
아날로그 프로그래밍 단계(도 10b)는 디지털 프로그래밍 단계와는 독립적이며 스캔 신호에 의해 제어된다. 스캔 신호가 활성일 때(이 예에서는 로우가 됨), 아날로그 픽셀 제어 회로(650)는 인에이블되고, m 비트의 아날로그 강도에 대응하는 2m 상이한 전압 레벨 중 하나를 갖는 아날로그 전압이 아날로그 픽셀 제어 회로(650)의 저장 커패시터(예컨대, C1)에 저장된다. 아날로그 프로그래밍 단계의 길이(스캔 신호가 활성 상태인 시간)는 저장될 아날로그 전압(들)의 크기 및 아날로그 픽셀 제어 회로(650)의 저장 커패시터의 커패시턴스에 따라 달라진다. 일반적으로, 아날로그 프로그래밍 단계의 길이는 커패시터를 m 비트의 아날로그 강도에 의해 정의되는 가장 높은 전압 레벨(2m)로 충전하기에 충분해야 한다.
디지털 프로그래밍 단계와 아날로그 프로그래밍 단계 둘 다에 대하여, 디지털 픽셀 제어 회로에 저장된 데이터의 손상 및/또는 잘못된 전압이 아날로그 픽셀 제어 회로에 저장되는 것을 방지하기 위해, bitn 및 Data 라인은, 대응하는 프로그래밍 윈도우가 종료될 때까지, 즉 이 예에서 WL(n) 신호가 로우가 되거나 스캔 신호가 하이가 될 때까지 변경될 수 없다.
상기에 언급된 바와 같이, 도 10a에 도시된 디지털 픽셀 제어 회로(650)의 디지털 프로그래밍 단계와 도 10b에 도시된 아날로그 픽셀 제어 회로(630)의 아날로그 프로그래밍 단계는 서로 독립적이다. 사용자는 하나 이상의 요인에 따라 디지털 프로그래밍 단계와 아날로그 프로그래밍 단계 간의 적절한 타이밍 관계를 결정할 수 있다.
예를 들어, 아날로그 픽셀 제어 회로(650)가 불균일성 보상을 위해 사용될 때, 아날로그 프로그래밍 단계(도 10b)가 프레임의 디지털 프로그래밍 단계(도 10a) 전에 발생하도록 선택될 수 있다. 이러한 예에서, 커패시터가 프로그래밍(충전)되는 아날로그 전압은 캘리브레이션(calibration) 시점에 취한 측정으로 인해 고정된다. 따라서, 불균일성 보상 예에서, 각각의 픽셀에 대하여 커패시터를 충전할 레벨은 모든 프레임에 대해 동일하다. 또한, 보상 전압 및 커패시터의 크기에 따라, 매 프레임 동안 커패시터가 충전될 필요가 없도록 커패시터가 선택될 수 있다. 그보다, 커패시터는 매 다른 프레임마다 또는 미리 선택된 수의 프레임마다 충전될 수 있다. 커패시터의 충전 타이밍은 또한 프레임 동안 데드 타임과 겹치도록 충전될 수 있다.
또다른 예에서, 아날로그 픽셀 제어 회로(650)가 2m 가능한 전압 레벨에 대응하는 그레이 스케일 강도 제어의 m 추가 비트를 제공하기 위해 사용될 때, 디지털 프로그래밍 단계(도 10a)가 프레임의 아날로그 프로그래밍 단계(도 10b) 전에 시작하도록 선택될 수 있다. 이러한 예에서, 커패시터가 프로그래밍(충전)되는 아날로그 전압은 프레임 단위 기반으로 상이할 수 있으며, 따라서 커패시터는 매 프레임마다 충전되어야 한다. 아날로그 프로그래밍 단계는 커패시터의 충전이 디지털 프로그래밍 단계와 겹칠 수 있도록 디지털 프로그래밍 단계의 시작 후에 시작될 수 있다. 이 예에서, 전체 프로그래밍 단계(디지털 + 아날로그)는 커패시터 충전이 디지털 프로그래밍 단계와 겹치기 때문에 더 짧다. 또한, 프레임의 시작과 끝이 전적으로 디지털 제어 회로에 의해 제어되기 때문에, 일반적으로 프레임에 대한 타이밍이 더 정확하고 안정적이다.
일부 예에서, 행 드라이버(614)(도 6 참조)에 의해 생성되고 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)에 의해 각각 수신되는 WL(n) 및 스캔 신호는 동일한 신호만을 사용하여 구현될 수 있다. 예를 들어, WL(n) 신호가 별도의 스캔 신호 대신에 아날로그 픽셀 제어 회로(630)로 보내질 수도 있다. 이는 아날로그 프로그래밍 단계가 디지털 프로그래밍 단계와 동시에 시작하고 겹치도록 아날로그 픽셀 제어 회로(650)가 그레이 스케일 강도 제어의 m 추가 비트를 제공하는 데 사용될 때, 유용할 수 있다. 이 예에서, WL(n) 신호의 타이밍은, 아날로그 픽셀 제어 회로의 커패시터를 m 비트의 아날로그 강도에 대응하는 전압으로 충전하기에 충분한 시간이 있도록 설계될 것이다. 도 10의 예에서, 예를 들어, WL(n) 신호가 비활성(로우)인 총 시간은 커패시터를 m 비트의 아날로그 강도에 대응하는 전압으로 충전하기에 충분하도록 설계될 것이다.
도 11a는 본 개시에 기재된 기술에 따라 디스플레이 디바이스의 픽셀의 디지털 PWM 제어를 위한 예시적인 프로세스(1100)를 예시하는 흐름도이다. 예시적인 프로세스(1100)는 픽셀 내의 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브 프레임의 수를 제어하기 위해 그리고 픽셀(612)이 발광하는 프레임 내의 서브 프레임의 수를 제어하기 위해 디지털 픽셀 제어 회로(630)에 의해 실행될 수 있다. 프로세스(1100)는 더 적거나 추가된 단계를 가질 수 있으며, 단계는 상이한 순서로 또는 병렬로 수행될 수 있다.
디지털 픽셀 제어 회로(630)는 프레임에 대한 픽셀의 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 데이터 비트 값을 수신한다(1102). 디지털 픽셀 제어 회로(630)는 n 데이터 비트 값에 기초하여 프레임의 각각의 서브프레임 동안 픽셀에서의 각각의 발광 요소를 제어한다(1104). 예를 들어, n 데이터 비트 값은 픽셀 내의 발광 요소에 구동 전류가 공급되는 프레임 내의 서브 프레임의 수를 결정한다. 그 다음, 디지털 픽셀 제어 회로(630)는 다음 연속 프레임에 대해 프로세스를 반복한다(1106).
도 12a는 본 개시에 기재된 기술에 따라 디지털 픽셀 제어 회로(630)에 의해 생성될 수 있는 nDrive 신호의 예시적인 값의 표(1210)이며, 여기서 n=3이다. 제1 디지털 강도 레벨 (000)에서, nDrive 신호는 제1 서브프레임(서브프레임 0) 동안 하이이며, 그 결과 프레임의 모든 서브프레임에 대해 픽셀이 턴오프된다(다르게 말하자면, nDrive 신호는 프레임의 모든 서브프레임에 대하여 하이 레벨임). 제2 디지털 강도 레벨 (001)에서, nDrive 신호는 제1 서브프레임(서브프레임 0) 동안 로우(low)이고, 그 다음 제2 서브프레임에서 하이가 되며, 픽셀이 제1 서브프레임 동안에만 턴온되고(즉, 픽셀 내의 발광 요소에 구동 전류가 공급됨) 프레임의 모든 나머지 서브프레임 동안에는 턴오프되는 것을 의미한다. 프레임의 마지막 서브프레임(서브프레임 7)을 제외한 모든 서브프레임에 대해 픽셀이 턴온되는 가장 높은 디지털 강도 레벨 (111)에 도달할 때까지, 각각의 연속 디지털 강도 레벨에 대해 유사한 결과가 발생한다.
도 11b는 본 개시에 기재된 기술에 따라 디스플레이 디바이스의 픽셀에 공급되는 전류 레벨의 아날로그 제어를 위한 예시적인 프로세스(1150)를 예시하는 흐름도이다. 예시적인 프로세스(1150)는 디스플레이 디바이스의 픽셀에 공급되는 전류의 양을 제어하기 위해 아날로그 픽셀 제어 회로(650)에 의해 실행될 수 있다. 프로세스(1150)는 더 적거나 추가된 단계를 가질 수 있으며, 단계는 상이한 순서로 또는 병렬로 수행될 수 있다.
프레임의 시작에서, 아날로그 픽셀 제어 회로(650)는 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 픽셀에 대한 아날로그 제어 전압을 수신한다(1152). 아날로그 픽셀 제어 회로는 아날로그 제어 전압에 기초하여 저장 커패시터를 구동 전압으로 충전한다(1154). 구동 전압은 n+m 제어 워드의 m 비트에 의해 표시되는 강도가 되게 할 전류 레벨로 LED를 구동하는 데 필요한 전압이다. 커패시터가 충전되면, 아날로그 픽셀 제어 회로(650)는 커패시터(1156)에 저장된 구동 전압에 기초하여 프레임 동안 픽셀의 LED에 공급되는 구동 전류의 레벨을 제어한다. 그 다음, 아날로그 픽셀 제어 회로(650)는 다음 연속 프레임에 대하여 프로세스를 반복한다(1158).
도 11c는 본 개시에 기재된 기술에 따라 픽셀에 공급되는 전류 레벨의 아날로그 제어와 조합하여 디스플레이 디바이스의 픽셀의 디지털 PWM 제어를 위한 예시적인 프로세스(1180)를 예시하는 흐름도이다.
예시적인 프로세스(1180)는 픽셀에 구동 전류가 공급되는 프레임의 서브 프레임의 수(즉, 픽셀이 턴온되는 서브 프레임 수)를 제어하기 위해 그리고 프레임 동안 픽셀에 공급되는 구동 전류의 양 또는 레벨을 제어하기 위해 디지털 픽셀 제어 회로(630) 및 아날로그 픽셀 제어 회로(650)에 의해 실행될 수 있다. 프로세스(1180)는 더 적거나 추가된 단계를 가질 수 있으며, 단계는 상이한 순서로 또는 병렬로 수행될 수 있다.
디지털 픽셀 제어 회로(630)는 프레임에 대한 픽셀의 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 비트에 기초한 프레임의 서브프레임의 수에 대하여 디스플레이 디바이스의 각각의 픽셀을 구동한다(1182). 아날로그 픽셀 제어 회로(650)는 프레임에 대한 픽셀의 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초한 전류 레벨에서 디스플레이 디바이스의 각각의 픽셀을 구동한다(1184). 구동 전류가 프레임의 모든 서브프레임에 대하여 픽셀에 공급된다. 프로세스(1180)는 다음 연속 프레임에 대해 반복된다(1186).
도 12b는 n+m 비트 제어 워드에 대한 예시적인 총 강도 비트 값을 예시하는 표(1220)를 도시하며, 여기서 n=3 및 m=2이다. n 비트 또는 3 비트 디지털 강도 값이 표(1220)의 첫 번째 열에 나타나 있다. m 비트 또는 2 비트 아날로그 강도 값이 표(1220)의 맨 위 행에 나타나 있다. 이 예에서, 강도 값의 총 수는 표에 나타난 대로 2n+m = 25 = 32개의 가능한 강도 값이다. 이 예에서, n 디지털 강도 비트는 n+m 비트 제어 워드의 최상위 비트로서 할당되고, m 아날로그 강도 비트는 n+m 비트 제어 워드의 최하위 비트로서 할당된다. 그러나, 최상위 비트 및 최하위 비트가 상이하게 할당될 수 있으며, 본 개시는 이에 관련하여 한정되지 않음을 이해해야 한다. 예를 들어, 다른 예에서, n 디지털 강도 비트는 n+m 비트 제어 워드의 최하위 비트로서 할당될 수 있고, m 아날로그 강도 비트는 n+m 비트 제어 워드의 최상위 비트로서 할당될 수 있다.
도 13은 본 개시에 기재된 기술에 따라 아날로그 픽셀 제어 회로(650)를 사용하는 디스플레이 디바이스에서 휘도 균일성 보상을 위한 프로세스(1300)를 예시하는 흐름도이다. 프로세스(1300)는 더 적거나 추가된 단계를 가질 수 있으며, 단계는 상이한 순서로 또는 병렬로 수행될 수 있다.
프레임의 시작에서, 아날로그 픽셀 제어 회로(650)는 픽셀(1302)에 대한 m 비트 불균일성 보정 값에 대응하는 불균일성 보정 전압을 수신한다(1302). m 비트 불균일성 보정 값은 제조 시점에 캘리브레이션 동안 그리고/또는 디스플레이 디바이스의 수명 중 임의의 다른 시점에 결정될 수 있다. 아날로그 픽셀 제어 회로(650)는 픽셀과 연관된 저장 커패시터를 m 비트 불균일성 보정 값에 기초한 불균일성 보정 전압으로 충전한다(1304). 아날로그 픽셀 제어 회로(650)는 저장 커패시터에 저장된 불균일성 보정 전압에 기초하여 프레임 동안 픽셀에 공급되는 구동 전류의 레벨을 제어한다(1306). 프레임의 종료시, 아날로그 픽셀 제어 회로(650)는 다음 연속 프레임으로 프로세스를 반복할 수 있다(1308). 그러나, 불균일성 보정에 대하여, 각각의 픽셀에 대한 불균일성 보정 전압이 매 프레임마다 반드시 변경되는 것은 아닐 것이다. 그보다, 특정 픽셀에 대한 m 비트 불균일성 보정 값이 결정되면, 픽셀과 연관된 저장 커패시터에 저장된 불균일성 보정 전압의 값을 결정하기 위해 각각의 프레임 동안 동일한 불균일성 보정 값이 사용될 것이다. 다르게 말하자면, 각각의 픽셀에 대한 불균일성 보정 값은 디스플레이가 다시 캘리브레이션되는 시점까지 각각의 프레임에 대해 일정하게 유지될 것이다. 각각의 픽셀은 디스플레이의 다른 픽셀과 동일하거나 다른 불균일성 보정 값을 가질 수 있다.
휘도 조정을 위한 불균일성 캘리브레이션은 여러 번 수행될 수 있다. 하나의 예에서, 캘리브레이션은 제조 단계 동안 수행될 수 있다. 각각의 픽셀의 상대 휘도를 측정하기 위해 광학 시스템이 사용될 수 있거나, 각각의 픽셀의 LED(들)에 대한 구동 전류를 측정하기 위해 회로 측정 시스템이 사용될 수 있다. 각각의 컬러 세트는 고유한 측정된 불균일성 값 세트를 가질 수 있다. 각각의 픽셀에 대하여 측정된 불균일성 값에 기초하여, 디스플레이에서의 휘도 균일성을 개선하기 위해 각각의 픽셀에 대하여 m 비트 불균일성 보정 값이 생성될 수 있다. 그러면 각각의 픽셀에 대한 m 비트 불균일성 보정 값은 픽셀과 연관된 저장 커패시터에 대한 불균일성 보정 전압을 생성하는 데 사용될 수 있으며, 이는 이어서 픽셀에 적절한 구동 전류를 생성하는 데 사용된다. 또다른 예에서, 대안으로서 또는 추가적으로, 캘리브레이션은 LED 성능이 저하됨에 따라 디스플레이 디바이스의 수명 동안 1회 이상과 같은 일부 다른 시점에 수행될 수 있다.
본원에서 다양한 예에 의해 기재된 바와 같이, 본 개시의 기술은 인공 현실 시스템을 포함하거나 그와 함께 구현될 수 있다. 기재된 바와 같이, 인공 현실은, 예컨대 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물을 포함할 수 있는, 사용자에의 프리젠테이션 전에 어떤 방식으로든 조정된 현실의 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예컨대, 실세계 사진 또는 비디오)와 조합되는 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것이 단일 채널 또는 다중 채널(예컨대, 시청자에게 3차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 예에서, 인공 현실은, 예컨대 인공 현실에서 콘텐츠를 생성하는 데 사용되고/거나 인공 현실에 사용되는(예컨대, 인공 현실에서 액티비티를 수행하는) 애플리케이션, 제품, 액세서리, 서비스 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결된 HMD, 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 한 명 이상의 시청자에게 인공 현실 콘텐츠를 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼 상에서 구현될 수 있다.
본 개시에 기재된 기술은 적어도 부분적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 기재된 기술의 다양한 양상이, 하나 이상의 마이크로프로세서, DSP, ASIC(application specific integrated circuit), FPGA(field programmable gate arrays) 또는 임의의 다른 등가 집적 또는 이산 논리 회로, 그 뿐만 아니라 이러한 컴포넌트의 임의의 조합을 포함하는 하나 이상의 프로세서 내에서 구현될 수 있다. "프로세서" 또는 "프로세싱 회로"라는 용어는 일반적으로 전술한 논리 회로를 단독으로 또는 다른 논리 회로 또는 임의의 다른 등가 회로와 조합하여 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛도 또한 본 개시의 기술 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어 및 펌웨어는 본 개시에 기재된 다양한 동작 및 기능을 지원하기 위해 동일한 디바이스 내에서 또는 개별 디바이스 내에서 구현될 수 있다. 또한, 기재된 유닛, 모듈 또는 컴포넌트 중 임의의 것이 함께 또는 개별적으로 이산적이지만 상호 운용 가능한 논리 디바이스로서 구현될 수 있다. 상이한 특징을 모듈 또는 유닛으로 묘사한 것은 상이한 기능적 측면을 강조하고자 하는 것이며, 반드시 그러한 모듈이나 유닛이 개별 하드웨어 또는 소프트웨어 컴포넌트에 의해 실현되어야 함을 의미하지는 않는다. 그보다, 하나 이상의 모듈 또는 유닛과 연관된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트에 의해 수행되거나, 공통 또는 개별 하드웨어 또는 소프트웨어 컴포넌트 내에 통합될 수 있다.
본 개시에 기재된 기술은 또한, 명령어를 포함하는 컴퓨터 판독가능 저장 매체와 같은 컴퓨터 판독가능 매체에서 구현되거나 인코딩될 수 있다. 컴퓨터 판독가능 저장 매체에 내장되거나 인코딩된 명령어는, 예컨대 명령어가 실행될 때 프로그래밍 가능한 프로세서 또는 다른 프로세서로 하여금 방법을 수행하게 할 수 있다. 컴퓨터 판독가능 저장 매체는 RAM(random access memory), ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM(electronically erasable programmable read only memory), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체 또는 다른 컴퓨터 판독가능 매체를 포함할 수 있다.

Claims (20)

  1. 인공 현실 시스템에 있어서,
    인공 현실 콘텐츠를 출력하도록 구성된 HMD(head mounted display)를 포함하고, 상기 HMD는 복수의 픽셀들을 포함하는 적어도 하나의 디스플레이 디바이스를 포함하고, 상기 복수의 픽셀들 각각은:
    발광 요소;
    상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM; pulse width modulation) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및
    상기 프레임에 대하여 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로
    를 포함하는 것인, 인공 현실 시스템.
  2. 청구항 1에 있어서,
    상기 아날로그 픽셀 제어 회로는 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 것인, 인공 현실 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 아날로그 픽셀 제어 회로는:
    상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 대응하는 구동 전압으로 충전되도록 구성된 저장 커패시터를 포함하며, 상기 구동 전압은 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 것인, 인공 현실 시스템.
  4. 청구항 3에 있어서,
    픽셀 드라이버 회로를 더 포함하고,
    상기 픽셀 드라이버 회로는:
    상기 PWM 출력 신호를 수신하도록 연결된 제1 제어 단자, 제1 입력 단자, 및 상기 발광 요소에 상기 구동 전류를 제공하도록 연결된 제1 출력 단자를 갖는 제1 트랜지스터; 및
    상기 제1 트랜지스터의 상기 제1 입력 단자에 연결된 제2 출력 단자, 전압 소스와 상기 저장 커패시터의 출력 단자 사이의 연결에 의해 형성된 노드에 연결된 제2 입력 단자, 및 상기 저장 커패시터의 입력 단자에 연결된 제2 제어 단자를 갖는 제2 트랜지스터
    를 포함하는 것인, 인공 현실 시스템.
  5. 청구항 4에 있어서,
    상기 아날로그 픽셀 제어 회로는:
    스캔 신호를 수신하도록 연결된 제3 제어 단자, 상기 저장 커패시터의 상기 입력 단자와 상기 제2 트랜지스터의 상기 제2 제어 단자 사이의 연결에 의해 형성된 노드에 연결된 출력 단자, 및 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 대응하는 제어 전압을 수신하도록 연결된 입력 단자를 갖는 제3 트랜지스터
    를 더 포함하는 것인, 인공 현실 시스템.
  6. 청구항 4 또는 청구항 5에 있어서,
    상기 제1 트랜지스터 및 상기 제2 트랜지스터는 동일 타입으로 이루어지는 것인, 인공 현실 시스템.
  7. 청구항 4 내지 청구항 6 중 어느 한 항에 있어서,
    상기 제1 트랜지스터 및 상기 제2 트랜지스터는 p 타입 트랜지스터인 것인, 인공 현실 시스템.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    상기 디지털 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 비트에 기초하여 상기 발광 요소에 상기 구동 전류가 제공되는 동안인 상기 프레임의 서브프레임의 수를 제어하는 상기 펄스 폭 변조(PWM) 출력 신호를 생성하는 것인, 인공 현실 시스템.
  9. 청구항 8에 있어서,
    상기 아날로그 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 것인, 인공 현실 시스템.
  10. 청구항 9에 있어서,
    n은 m보다 큰 것인, 인공 현실 시스템.
  11. 청구항 9 또는 청구항 10에 있어서,
    n은 5와 10 사이의 정수이고, m은 2와 5 사이의 정수인 것인, 인공 현실 시스템.
  12. 청구항 9 내지 청구항 11 중 어느 한 항에 있어서,
    상기 n+m 비트 제어 워드에 의해 정의되는 강도 레벨의 수는 2n+m인 것인, 인공 현실 시스템.
  13. 청구항 9 내지 청구항 12 중 어느 한 항에 있어서,
    n 비트는 상기 n+m 비트 제어 워드의 최상위 비트이고, m 비트는 n+m 비트 제어 워드의 최하위 비트인 것인, 인공 현실 시스템.
  14. 청구항 8 내지 청구항 13 중 어느 한 항에 있어서,
    상기 디지털 픽셀 제어 회로는 상기 n+m 비트 제어 워드의 n 비트를 저장하도록 구성된 n개의 1 비트 메모리 셀을 포함하는 것인, 인공 현실 시스템.
  15. 청구항 14에 있어서,
    상기 n개의 1 비트 메모리 셀 각각은 1 비트 SRAM(static random-access memory) 셀인 것인, 인공 현실 시스템.
  16. 청구항 1에 있어서,
    상기 디지털 픽셀 제어 회로는, 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n 비트 제어 워드에 기초하여 상기 발광 요소에 상기 구동 전류가 제공되는 동안인 상기 프레임의 서브프레임의 수를 제어하는 상기 펄스 폭 변조(PWM) 출력 신호를 생성하고,
    상기 아날로그 픽셀 제어 회로는, 상기 픽셀에 대한 불균일성 보상 값에 대응하는 m 비트 제어 워드에 기초하여 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 것인, 인공 현실 시스템.
  17. 복수의 픽셀들을 포함하는 디스플레이 디바이스에 있어서, 상기 복수의 픽셀들 각각은:
    발광 요소;
    상기 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 디지털 픽셀 제어 회로; 및
    상기 프레임 동안 상기 발광 요소에 제공되는 구동 전류의 레벨을 제어하는 아날로그 픽셀 제어 회로
    를 포함하는 것인, 디스플레이 디바이스.
  18. 청구항 17에 있어서,
    상기 디지털 픽셀 제어 회로에 의해 생성되는 상기 PWM 출력 신호는 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 n 비트를 포함하고,
    상기 아날로그 픽셀 제어 회로에 의해 제어되는 상기 구동 전류의 레벨은 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n+m 비트 제어 워드의 m 비트를 포함하는 것인, 디스플레이 디바이스.
  19. 청구항 17에 있어서,
    상기 디지털 픽셀 제어 회로에 의해 생성되는 상기 PWM 출력 신호는 상기 프레임에 대한 픽셀의 원하는 강도 레벨에 대응하는 n 비트 제어 워드를 포함하고,
    상기 아날로그 픽셀 제어 회로에 의해 제어되는 상기 구동 전류의 레벨은 상기 픽셀에 대한 불균일성 보상 값에 대응하는 m 비트 제어 워드를 포함하는 것인, 디스플레이 디바이스.
  20. 방법에 있어서,
    디지털 픽셀 제어 회로를 이용해, 디스플레이 디바이스의 픽셀의 발광 요소에 구동 전류가 제공되는 동안인 프레임의 서브프레임의 수를 제어하는 펄스 폭 변조(PWM) 출력 신호를 생성하는 단계; 및
    아날로그 픽셀 제어 회로를 이용해, 상기 프레임 동안 상기 발광 요소에 제공되는 상기 구동 전류의 레벨을 제어하는 단계
    를 포함하는, 방법.
KR1020237014318A 2020-10-09 2021-10-09 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템 KR20230084197A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/067,070 US11567325B2 (en) 2020-10-09 2020-10-09 Artificial reality systems including digital and analog control of pixel intensity
US17/067,070 2020-10-09
PCT/US2021/054324 WO2022076926A1 (en) 2020-10-09 2021-10-09 Artificial reality systems including digital and analog control of pixel intensity

Publications (1)

Publication Number Publication Date
KR20230084197A true KR20230084197A (ko) 2023-06-12

Family

ID=78500775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237014318A KR20230084197A (ko) 2020-10-09 2021-10-09 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템

Country Status (7)

Country Link
US (2) US11567325B2 (ko)
EP (1) EP4226358A1 (ko)
JP (1) JP2023546797A (ko)
KR (1) KR20230084197A (ko)
CN (1) CN116324958A (ko)
TW (1) TW202215106A (ko)
WO (1) WO2022076926A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023245508A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 像素电路，其驱动方法及显示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208542B1 (en) 1998-06-30 2001-03-27 Sandisk Corporation Techniques for storing digital data in an analog or multilevel memory
US6044004A (en) 1998-12-22 2000-03-28 Stmicroelectronics, Inc. Memory integrated circuit for storing digital and analog data and method
US20010043177A1 (en) 2000-04-14 2001-11-22 Huston James R. System and method for color and grayscale drive methods for graphical displays utilizing analog controlled waveforms
ES2380661T3 (es) 2002-12-04 2012-05-17 Koninklijke Philips Electronics N.V. Un dispositivo de visualización de led orgánico y método para excitar el mismo
US10726800B2 (en) * 2014-05-09 2020-07-28 Syndiant, Inc. Generating quincunx video streams for light modulating backplanes with configurable multi electrode pixels
US10847077B2 (en) 2015-06-05 2020-11-24 Apple Inc. Emission control apparatuses and methods for a display panel
US10074299B2 (en) * 2015-07-28 2018-09-11 Microsoft Technology Licensing, Llc Pulse width modulation for a head-mounted display device display illumination system
GB2553075B (en) * 2016-03-21 2019-12-25 Facebook Tech Llc A display
US10360846B2 (en) * 2016-05-10 2019-07-23 X-Celeprint Limited Distributed pulse-width modulation system with multi-bit digital storage and output device
US10861380B2 (en) * 2018-05-14 2020-12-08 Facebook Technologies, Llc Display systems with hybrid emitter circuits
KR101942466B1 (ko) 2018-06-28 2019-04-17 주식회사 사피엔반도체 화소 및 이를 포함하는 표시장치
US11138921B2 (en) 2019-02-04 2021-10-05 Facebook Technologies, Llc Row based brightness calibration

Also Published As

Publication number Publication date
CN116324958A (zh) 2023-06-23
TW202215106A (zh) 2022-04-16
US11567325B2 (en) 2023-01-31
EP4226358A1 (en) 2023-08-16
WO2022076926A1 (en) 2022-04-14
US20220113542A1 (en) 2022-04-14
US20230161165A1 (en) 2023-05-25
JP2023546797A (ja) 2023-11-08

Similar Documents

Publication Publication Date Title
US9892565B2 (en) Reprojection OLED display for augmented reality experiences
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
KR102302102B1 (ko) 후기 단계 재투사
US11645809B2 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US11132827B2 (en) Artificial reality system architecture for concurrent application execution and collaborative 3D scene rendering
KR20220088496A (ko) 물리적 객체를 가상 현실로 이식
US11474970B2 (en) Artificial reality system with inter-processor communication (IPC)
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
CN113272715A (zh) 基于眼睛跟踪的动态渲染时间确定
JP2020537200A (ja) 画像に挿入される画像コンテンツについての影生成
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US11430141B2 (en) Artificial reality system using a multisurface display protocol to communicate surface data
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US20230161165A1 (en) Artificial reality systems including digital and analog control of pixel intensity
US20220004328A1 (en) Hierarchical power management of memory for artificial reality systems
US11670364B2 (en) Artificial reality system with reduced SRAM power leakage
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment