KR20220139261A - 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정 - Google Patents

물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정 Download PDF

Info

Publication number
KR20220139261A
KR20220139261A KR1020220124355A KR20220124355A KR20220139261A KR 20220139261 A KR20220139261 A KR 20220139261A KR 1020220124355 A KR1020220124355 A KR 1020220124355A KR 20220124355 A KR20220124355 A KR 20220124355A KR 20220139261 A KR20220139261 A KR 20220139261A
Authority
KR
South Korea
Prior art keywords
display
electronic device
see
cgr
implementations
Prior art date
Application number
KR1020220124355A
Other languages
English (en)
Other versions
KR102587920B1 (ko
Inventor
안셀름 그룬드회퍼
마이클 제이. 락웰
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20220139261A publication Critical patent/KR20220139261A/ko
Application granted granted Critical
Publication of KR102587920B1 publication Critical patent/KR102587920B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

방법은 물리적 환경으로부터의 주변 광과 연관된 복수의 광 중첩 특성 값들을 감지하는 단계를 포함한다. 주변 광은 물리적 환경으로부터 반투명 디스플레이의 하나의 측면을 향해 발산된다. 복수의 광 중첩 특성 값들은 주변 광과의 상호작용들을 정량화한다. 방법은 복수의 광 중첩 특성 값들 및 CGR(computer-generated reality) 객체의 미리 결정된 디스플레이 특성들의 함수에 기초하여 전자 디바이스와 연관된 복수의 디스플레이 보정 값들을 결정하는 단계를 포함한다. 방법은 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 복수의 디스플레이 보정 값들에 따라 전자 디바이스와 연관된 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계를 포함한다.

Description

물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정{Modifying Display Operating Parameters based on Light Superposition from a Physical Environment}
관련 출원의 상호 참조
본 출원은, 2019년 11월 25일자로 출원된 미국 가특허 출원 제62,939,815호에 대한 우선권을 주장하며, 그 가특허 출원은 이로써 그 전체가 참고로 포함된다.
기술분야
본 개시내용은 디스플레이 동작 파라미터들을 수정하는 것, 및 특히 물리적 환경으로부터의 주변 광과 연관된 광 중첩 특성 값들에 기초하여 디스플레이 동작 파라미터들을 수정하는 것에 관한 것이다.
AR(augmented reality)에서, 컴퓨터 생성 콘텐츠는 컴퓨터 생성 시각적 콘텐츠를 현실 세계 객체들과 혼합하기 위해 사용자의 물리적 환경과 합성된다. 사용자는, 결국 사용자의 물리적 환경으로부터 사용자의 눈들로의 광의 패스-스루(pass-through)를 허용하는 반투명 또는 투명 디스플레이를 포함하는 HMD(head-mountable device)를 착용함으로써 AR 콘텐츠를 경험할 수 있다. HMD는 컴퓨터 생성 콘텐츠를 사용자의 물리적 환경으로부터의 광에 추가함으로써 추가 디스플레이로서 동작한다.
그러나, 일부 상황들에서, 물리적 환경으로부터의 광은 AR 경험을 저하시키는 방식으로 컴퓨터 생성 콘텐츠와 간섭하는 컬러 조성 및/또는 밝기를 갖는다. 예를 들어, 물리적 환경으로부터의 광은 물리적 환경과 디스플레이된 컴퓨터 생성 콘텐츠 사이의 콘트라스트의 레벨을 제한한다. 다른 예로서, 주로 하나의 컬러의 존재와 같은 물리적 환경의 컬러 조성은 추가 디스플레이 방법들 및 하드웨어를 사용하여 마스킹하기 어려운 우세한 색조들을 제공함으로써 디스플레이된 컴퓨터 생성 콘텐츠의 컬러 조성과 간섭할 수 있다.
일부 이전에 이용가능한 시스템들은 반투명 디스플레이 및 물리적 환경과 통합된 물리적 고정 디밍(dimming) 층을 포함한다. 선글라스와 유사하게, 물리적 고정 디밍 층은 특정 양의 광이 디스플레이로 통과하는 것을 차단하는 기능을 한다. 그러나, 디스플레이는 사용자의 물리적 환경의 일관되게 더 어두운 버전을 디스플레이함으로써, 사용자의 경험을 저하시키고 낮은 광 상황들에서 그러한 시스템들의 사용을 방해한다.
일부 구현들에 따르면, 방법은 하나 이상의 프로세서들, 비일시적 메모리 및 반투명 디스플레이를 갖는 전자 디바이스에서 수행된다. 방법은 물리적 환경으로부터의 주변 광과 연관된 복수의 광 중첩 특성 값들을 감지하는 단계를 포함한다. 주변 광은 물리적 환경으로부터 반투명 디스플레이의 하나의 측면을 향해 발산된다. 복수의 광 중첩 특성 값들은 주변 광과의 상호작용들을 정량화한다. 방법은 복수의 광 중첩 특성 값들 및 CGR(computer-generated reality) 객체의 미리 결정된 디스플레이 특성들의 함수에 기초하여 전자 디바이스와 연관된 복수의 디스플레이 보정 값들을 결정하는 단계를 포함한다. 방법은 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 복수의 디스플레이 보정 값들에 따라 전자 디바이스와 연관된 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계를 포함한다.
일부 구현들에 따르면, 전자 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 반투명 디스플레이를 포함한다. 하나 이상의 프로그램들은 비일시적 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 하나 이상의 프로그램들은 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 또는 수행을 야기하기 위한 명령어들을 포함한다. 일부 구현들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 설명되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 수행을 야기하게 하는 명령어들을 내부에 저장하고 있다. 일부 구현들에 따르면, 전자 디바이스는 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 수행을 야기하기 위한 수단을 포함한다. 일부 구현들에 따르면, 전자 디바이스에서의 사용을 위한 정보 프로세싱 장치는 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 수행을 야기하기 위한 수단을 포함한다.
다양하게 기술된 구현들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 설명이 참조되어야 한다.
도 1은 일부 구현들에 따른 휴대용 다기능 디바이스의 예의 블록도이다.
도 2a 내지 도 2g는 CGR 객체의 디스플레이와 간섭하는 물리적 환경으로부터의 광의 예이다.
도 3a 내지 도 3c는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 전자 디바이스의 예이다.
도 4a 내지 도 4d는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 전자 디바이스의 다른 예이다.
도 5는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 방법의 흐름도의 예이다.
개요
AR 디스플레이 시스템들에서, 컴퓨터 생성 콘텐츠는 컴퓨터 생성 시각적 콘텐츠를 현실 세계 객체들과 혼합하기 위해 사용자의 물리적 환경과 합성된다. 사용자는, 결국 사용자의 물리적 환경으로부터 사용자의 눈들로의 광의 패스-스루를 허용하는 반투명 디스플레이를 포함하는 HMD를 착용함으로써 AR 콘텐츠를 경험할 수 있다. HMD는 반투명 디스플레이로부터 반사될 AR 콘텐츠를 사용자의 눈들에 투사함으로써 추가 디스플레이로서 동작한다. 그러나, 일부 상황들에서, 물리적 환경으로부터의 광은 AR 경험을 저하시키는 방식으로 컴퓨터 생성 콘텐츠와 간섭하는 컬러 조성 및/또는 밝기를 갖는다. 예를 들어, 물리적 환경으로부터의 광은 물리적 환경과 디스플레이된 컴퓨터 생성 콘텐츠 사이의 콘트라스트의 레벨을 제한한다. 다른 예로서, 주로 하나의 컬러의 존재와 같은 물리적 환경의 컬러 조성은 추가 디스플레이 방법들 및 하드웨어를 사용하여 마스킹하기 어려운 우세한 색조들을 제공함으로써 디스플레이된 컴퓨터 생성 콘텐츠의 컬러 조성과 간섭할 수 있다.
대조적으로, 본 명세서에 개시된 다양한 구현들은 디스플레이 동작 파라미터들을 변경하기 위해 물리적 환경과 연관된 광 중첩 특성 값들을 활용하는 방법들, 전자 디바이스들, 및 시스템들을 제공한다. 다양한 구현들에 따르면, 반투명 디스플레이를 갖는 전자 디바이스는, 밝기 레벨, 컬러 조성 등과 같은 물리적 환경으로부터의 주변 광과 연관된 광 중첩 특성 값들을 감지한다. 광 중첩 특성 값들 및 CGR 객체의 미리 결정된 디스플레이 특성들에 기초하여, 전자 디바이스는 CGR 객체가 궁극적으로 렌더링되고 디스플레이되는(예컨대, 추가 디스플레이에 추가되는) 방법에 영향을 미치는 디스플레이 보정 값들을 결정한다. 전자 디바이스는 디스플레이 보정 값들에 따라 디스플레이 동작 파라미터들을 변경한다. 예를 들어, 광 중첩 특성 값들은 물리적 환경으로부터 발산하는 주로 녹색 광의 존재를 나타내고, 전자 디바이스는 녹색 착색 없이 백색으로 보이는 디스플레이에 CGR 고스트를 추가할 수 있도록 녹색 광의 일부분을 필터링한다. 다른 예로서, 전자 디바이스는 녹색에 대향하는 컬러(예를 들어, 자주색)로 CGR 고스트를 렌더링하여, 디스플레이된 CGR 고스트는 백색으로 나타난다.
발명의 설명
이제, 구현들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 설명된 구현들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 다양한 설명된 구현들이 이들 구체적인 상세사항들 없이 실시될 수 있다는 것은 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 구현들의 양상들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 설명하는 데 사용되지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 다양한 설명된 구현들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 모두 접촉이지만, 문맥상 명백히 달리 표시하지 않는 한, 이들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양하게 기술된 구현들의 설명에 사용되는 용어는 특정 구현들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 기술된 다양한 구현들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an" 및 "the")는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 "및/또는"이라는 용어는 열거되는 연관된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는, 선택적으로, 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[진술된 상태 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "결정 시" 또는 "결정하는 것에 응답하여" 또는 "[진술된 상태 또는 이벤트] 검출 시" 또는 "[진술된 상태 또는 이벤트를] 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 맛, 및 냄새를 통해, 물리적 환경을 직접 감지하고 그리고/또는 그와 상호작용할 수 있다.
대조적으로, 컴퓨터-생성 현실(computer-generated reality, CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 모사된 환경을 지칭한다. CGR에서, 사람의 물리적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변화하는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경 내의 가상 객체(들)의 특성(들)에 대한 조정들은 물리적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다.
사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터-생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실을 포함한다. 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고 그리고/또는 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터-생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터-생성 환경 내의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터-생성 환경 내의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 전체 물리적 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다.
일부 MR 환경들에서, 컴퓨터-생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다. 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 반투명 디스플레이를 가질 수 있다. 시스템은 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성되어, 사람이, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 지각하도록 할 수 있다. 대안적으로, 시스템은 불투명 디스플레이 및 물리적 환경의 표현들인, 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 지각한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스-스루 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하는 투사 시스템을 가질 수 있어서, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 지각하게 한다.
증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스-스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예를 들어, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예컨대, 확대)함으로써 변환될 수 있고, 수정된 부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상(AV) 환경은 가상 또는 컴퓨터-생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 컬러를 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 머리-장착가능 시스템들, 투사-기반 시스템들, 헤드-업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리-장착가능 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리-장착가능 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리-장착가능 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 포함할 수 있다. 머리-장착가능 시스템은 불투명 디스플레이보다는, 반투명 디스플레이를 가질 수 있다. 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 구현에서, 반투명 디스플레이는 선택적으로 불투명해지도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 이용할 수 있다. 투사 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하도록 구성될 수 있다.
도 1은 일부 구현들에 따른 휴대용 다기능 디바이스(100)(때때로 간결함을 위해 본 명세서에서 "전자 디바이스(100)"로 또한 지칭됨)의 예의 블록도이다. 전자 디바이스(100)는 메모리(102)(선택적으로 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛들(CPU들)(120), 주변기기 인터페이스(118), 입/출력(I/O) 서브시스템(106), 이미지 센서(들)(143)(예컨대, 카메라), 눈 추적 센서(들)(164)(예컨대, HMD(head-mountable device) 내에 포함됨), 및 다른 입력 또는 제어 디바이스(들)(116)를 포함한다. 일부 구현들에서, 전자 디바이스(100)는 모바일 폰, 태블릿, 랩톱, 웨어러블 컴퓨팅 디바이스, HMD(head-mountable device), 머리-장착가능 인클로저(예컨대, 전자 디바이스(100)는 머리-장착가능 인클로저 내로 슬라이딩하거나 달리 그에 부착함) 등 중 하나에 대응한다. 일부 구현들에서, 머리-장착가능 인클로저는 디스플레이를 갖는 전자 디바이스(100)를 수용하기 위한 리셉터클을 형성하도록 형상화된다.
일부 구현들에서, 주변기기 인터페이스(118), 하나 이상의 CPU들(120) 및 메모리 제어기(122)는, 선택적으로, 칩(103)과 같은 단일 칩 상에 구현된다. 일부 다른 구현들에서, 이들은 선택적으로 별개의 칩들 상에서 구현된다.
I/O 서브시스템(106)은 전자 디바이스(100) 및 다른 입력 또는 제어 디바이스들(116) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)와 결합한다. I/O 서브시스템(106)은 선택적으로 이미지 센서 제어기(158), 눈 추적 제어기(162), 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160), 및 프라이버시 서브시스템(170)을 포함한다. 하나 이상의 입력 제어기들(160)은 다른 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/송신한다. 다른 입력 또는 제어 디바이스들(116)은 선택적으로 물리적 버튼들(예컨대, 푸시 버튼(push button), 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 다른 구현들에서, 하나 이상의 입력 제어기들(160)은 선택적으로 키보드, 적외선 포트, USB(Universal Serial Bus) 포트, 스타일러스, 및/또는 마우스와 같은 포인터 디바이스 중 임의의 것과 결합된다(또는 어떤 것에도 결합되지 않는다). 하나 이상의 버튼들은 선택적으로 스피커 및/또는 오디오 센서(들)의 볼륨 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 선택적으로 푸시 버튼을 포함한다. 일부 구현들에서, 다른 입력 또는 제어 디바이스들(116)은 물리적 환경에 대한 전자 디바이스(100)의 위치 및/또는 배향에 관한 정보를 획득하는 위치설정 시스템(예컨대, GPS)을 포함한다.
I/O 서브시스템(106)은 선택적으로 사용자와 전자 디바이스(100) 사이에 오디오 인터페이스를 제공하는 스피커 및 오디오 센서(들)를 포함한다. 오디오 회로부는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커에 송신한다. 스피커는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로부는 또한 음파로부터 오디오 센서(예컨대, 마이크로폰)에 의해 변환된 전기 신호들을 수신한다. 오디오 회로부는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)에 송신한다. 오디오 데이터는, 선택적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부로부터 검색되고/되거나 그에 송신된다. 일부 구현들에서, 오디오 회로부는 또한 헤드셋 잭을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로부 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 선택적으로 전자 디바이스(100)와 사용자 사이에 입력 인터페이스 및 출력 인터페이스를 제공하는 터치 감응형 디스플레이 시스템을 포함한다. 디스플레이 제어기는 터치 감응형 디스플레이 시스템으로부터/으로 전기 신호들을 수신 및/또는 전송할 수 있다. 터치 감응형 디스플레이 시스템은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 선택적으로 그래픽들, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽들"로 지칭됨)을 포함한다. 일부 구현들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응된다. 본 명세서에 사용된 바와 같이, "어포던스(affordance)"라는 용어는 사용자-상호작용형 그래픽 사용자 인터페이스 객체(예컨대, 그래픽 사용자 인터페이스 객체 쪽으로 향하는 입력들에 응답하도록 구성되는 그래픽 사용자 인터페이스 객체)를 지칭한다. 사용자-상호작용형 그래픽 사용자 인터페이스 객체들의 예들은, 제한 없이, 버튼, 슬라이더, 아이콘, 선택가능한 메뉴 항목, 스위치, 하이퍼링크, 또는 다른 사용자 인터페이스 제어부를 포함한다.
터치 감응형 디스플레이 시스템은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 감응형 디스플레이 시스템 및 디스플레이 제어기는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 감응형 디스플레이 시스템 상에서의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 감응형 디스플레이 시스템 상에 디스플레이된 사용자 인터페이스 객체들(예를 들어, 하나 이상의 소프트 키들, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 구현에서, 터치 감응형 디스플레이 시스템과 사용자 사이의 접촉 포인트는 사용자의 손가락 또는 스타일러스에 대응한다.
터치 감응형 디스플레이 시스템은, 선택적으로, LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 사용하지만, 다른 구현들에서는 다른 디스플레이 기술들이 사용된다. 터치 감응형 디스플레이 시스템 및 디스플레이 제어기는 선택적으로 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라, 다른 근접 센서 어레이들 또는 터치 감응형 디스플레이 시스템과의 하나 이상의 접촉 포인트들을 결정하기 위한 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 알려져 있거나 추후에 개발될 복수의 터치 감지 기술들 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다.
사용자는 선택적으로 스타일러스, 손가락 등과 같은 임의의 적합한 객체 또는 부속물을 이용하여 터치 감응형 디스플레이 시스템과 접촉한다. 일부 구현들에서, 사용자 인터페이스는 손가락 기반 접촉들 및 제스처들을 이용하여 동작하도록 설계되는데, 이는 터치 스크린 상에서의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 구현들에서, 전자 디바이스(100)는 대략적인 손가락 기반 입력을 사용자가 원하는 액션들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
I/O 서브시스템(106)은, 선택적으로, 전자 디바이스(100)에 대한 다양한 힘들, 각도 속도들, 및/또는 자기장 정보를 측정하기 위해 가속도계들, 자이로스코프들, 및/또는 자력계들을 포함할 수 있는 IMU(inertial measurement unit)을 포함한다. 따라서, 다양한 구현들에 따르면, IMU는 전자 디바이스(100)의 하나 이상의 위치설정 변경 입력들, 예컨대 전자 디바이스(100)가 흔들고, 회전되고, 특정 방향으로 이동되는 것 등을 검출한다.
이미지 센서(들)(143)는 정지 이미지들 및/또는 비디오를 캡처한다. 일부 구현들에서, 이미지 센서(143)는 전자 디바이스(100)의 전면 상의 터치 스크린의 반대편인 전자 디바이스(100)의 배면 상에 위치되어, 터치 스크린은 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 된다. 일부 구현들에서, 다른 이미지 센서(143)가 (예를 들어, 셀카를 위해, 사용자가 터치 스크린 상에서 다른 화상 회의 참가자들을 보면서 화상 회의를 하기 위해, 등등을 위해) 사용자의 이미지가 획득되도록 전자 디바이스(100)의 전면 상에 위치된다. 일부 구현들에서, 이미지 센서(들)(143)는 하나 이상의 HMD 카메라들에 대응한다. 일부 구현들에서, 이미지 센서(들)(143)는 하나 이상의 깊이 센서들을 포함한다. 일부 구현들에서, 이미지 센서(들)(143)는 흑백(BW) 카메라 및 적외선(IR) 카메라의 조합을 포함한다.
I/O 서브시스템(106)은 선택적으로 전자 디바이스(100) 상의 접촉들(예컨대, 전자 디바이스(100)의 터치 감응형 표면 상의 터치 입력)의 세기를 검출하는 접촉 세기 센서들을 포함한다. 접촉 세기 센서들은 I/O 서브시스템(106) 내의 세기 센서 제어기와 결합될 수 있다. 접촉 세기 센서(들)는, 선택적으로, 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예컨대, 터치 감응형 표면 상에서의 접촉의 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(들)는 물리적 환경으로부터 접촉 세기 정보(예컨대, 압력 정보 또는 압력 정보에 대한 대용물(proxy))를 수신한다. 일부 구현들에서, 적어도 하나의 접촉 세기 센서는 전자 디바이스(100)의 터치 감응형 표면과 함께 위치되거나 또는 그에 근접한다. 일부 구현들에서, 적어도 하나의 접촉 세기 센서는 전자 디바이스(100)의 배면 상에 위치된다.
눈 추적 센서(들)(164)는 전자 디바이스(100)의 사용자의 눈 시선을 검출하고, 사용자의 눈 시선을 나타내는 눈 추적 데이터를 생성한다. 다양한 구현들에서, 눈 추적 데이터는 HMD(head-mountable device), 머리-장착가능 인클로저 내의 또는 헤드-업 디스플레이 내의 디스플레이 패널과 같은 디스플레이 패널 상의 사용자의 고정 포인트(예컨대, 관심 포인트)를 나타내는 데이터를 포함한다.
다양한 구현들에서, 전자 디바이스(100)는 사용자와 연관된 눈 시선 데이터 및/또는 신체 위치 데이터에 포함된 사용자 정보와 같은 사용자 정보와 연관된 하나 이상의 프라이버시 설정 필터들을 포함하는 프라이버시 서브시스템(170)을 포함한다. 일부 구현들에서, 프라이버시 서브시스템(170)은 전자 디바이스(100) 또는 그의 부분들이 사용자 정보를 획득 및/또는 송신하는 것을 선택적으로 방지 및/또는 제한한다. 이를 위해, 프라이버시 서브시스템(170)은 사용자 선호도들 및/또는 선택들을 사용자에게 프롬프트하는 것에 응답하여 사용자로부터 이를 수신한다. 일부 구현들에서, 프라이버시 서브시스템(170)은, 프라이버시 서브시스템(170)이 사용자로부터 통지된 동의를 획득하지 않는 한 그리고 획득할 때까지 전자 디바이스(100)가 사용자 정보를 획득 및/또는 송신하는 것을 방지한다. 일부 구현들에서, 프라이버시 서브시스템(170)은 특정 유형들의 사용자 정보를 익명화한다(예컨대, 스크램블하거나 또는 가린다). 예를 들어, 프라이버시 서브시스템(170)은 프라이버시 서브시스템(170)이 어느 유형들의 사용자 정보를 익명화할지를 지정하는 사용자 입력들을 수신한다. 다른 예로서, 프라이버시 서브시스템(170)은 사용자 지정에 관계없이(예를 들어, 자동으로) 민감한 및/또는 식별 정보를 포함할 가능성이 있는 특정 유형들의 사용자 정보를 익명화한다.
도 2a 내지 도 2g는 CGR 객체의 디스플레이와 간섭하는 물리적 환경(200)으로부터의 광의 예이다. 도 2a에 예시된 바와 같이, 물리적 환경(200)은 반투명 디스플레이(214)를 포함하는 전자 디바이스(212)(예컨대, HMD(head-mountable display))를 착용하는 사용자(210)를 포함한다. 반투명 디스플레이(214)는 태양(202), 적색 소화전(220), 청색 벽(222), 및 경로(224)를 포함하는 시야(216)와 연관된다. 다시 말하면, 사용자(210)가 반투명 디스플레이(214)를 통해 볼 때, 사용자(210)는 태양(202), 적색 소화전(220), 청색 벽(222), 및 경로(224)를 본다. 적색 소화전(220) 및 청색 벽(222)은 이들이 상이한 컬러들인 것을 나타내기 위해 상이한 패턴들을 포함한다(예를 들어, 적색 소화전(220)은 수평선 패턴을 포함하는 반면, 청색 벽(222)은 크로스-해치 패턴을 포함한다). 도 2b는 물리적 환경(200) 내에 전술한 물리적 객체들을 포함하는 반투명 디스플레이(214)를 예시한다.
도 2c에 예시된 바와 같이, 전자 디바이스(212)는, 순수하게 예시적인 목적들을 위해 예시되는, 플러스 부호(plus sign)로 나타낸 바와 같이, CGR 개(230)를 반투명 디스플레이(214)에 추가하고 있다. CGR 개(230)는 컬러가 백색이다. 다시 말하면, 전자 디바이스(212)는 CGR 개(230)를 백색으로 렌더링하고, 따라서 반투명 디스플레이(214)에 추가되면 CGR 개(230)의 바람직한 디스플레이 컬러는 마찬가지로 백색이다.
도 2d에 예시된 바와 같이, 전자 디바이스(212)는 CGR 개(230)를 반투명 디스플레이(214)에 추가한다. 즉, CGR 개(230)는 적색 소화전(220)을 포함하는 반투명 디스플레이(214)의 일부분에 추가된다(예컨대, 그 위에 오버레이된다). 그러나, 도 2d에 예시된 바와 같이, 적색 소화전(220)으로부터 반사되는 광은 CGR 개(230)의 디스플레이와 간섭한다. 즉, 적색 소화전(220)은 CGR 개(230)의 제1 부분(240)과 중첩된다. 따라서, 적색 소화전(220)의 적색은 CGR 개(230)의 제1 부분(240)의 백색과 혼합되어, CGR 개(230)의 제1 부분(240)이 CGR 개(230)의 나머지의 바람직한 백색보다는 컬러가 분홍색으로 되게 한다.
도 2e에 예시된 바와 같이, 전자 디바이스(212)는 경로(224)를 따라 청색 벽(222)을 향해 CGR 개(230)를 이동시켰다. 태양(202)으로부터 발산하는 광은 CGR 개(230)의 조명 특징부들보다 더 강하다(예를 들어, 더 밝음). 따라서, 태양(202)은 CGR 개(230)의 조명 특징부들을 드라운 아웃(drown out)하여, 태양(202)과 CGR 개(230) 사이의 낮은 휘도 콘트라스트를 초래하며, 이는 결국 도 2e의 페이드된 CGR 개(230)를 생성한다.
도 2f에 예시된 바와 같이, 전자 디바이스(212)는 청색 벽(222)을 포함하는 반투명 디스플레이(214)의 부분으로 CGR 개(230)를 이동시켰다. 그러나, 도 2f에 예시된 바와 같이, 청색 벽(222)으로부터 반사되는 광은 CGR 개(230)의 디스플레이와 간섭한다. 즉, 청색 벽(222)은 (청색 벽(222)의 크로스-해치 패턴과 비교할 때) 제2 부분(242) 내의 더 밝은 크로스-해치 패턴에 의해 표시되는 바와 같이, CGR 개(230)의 제2 부분(242)과 중첩된다. 따라서, 청색 벽(222)의 청색은 CGR 개(230)의 제2 부분(242)의 백색과 혼합되어, CGR 개(230)의 제2 부분(242)이 CGR 개(230)의 나머지의 바람직한 백색보다는 밝은 청색이 되게 한다.
도 2g에 예시된 바와 같이, 일부 환경들에서, 전자 디바이스(212)는 특정 양의 광이 물리적 환경(200)으로부터 반투명 디스플레이(214)로 통과하는 것을 차단하기 위해 물리적 고정 디밍 층을 반투명 디스플레이(214) 상에 제공(예컨대, 오버레이)한다. 그러나, 이러한 메커니즘은, 결과적으로, 반투명 디스플레이(214)가 물리적 환경(200)의 일관되게 더 어두운 버전을 디스플레이함으로써, 사용자의 경험을 저하시키고 낮은 광 상황들에서 그러한 시스템들의 사용을 방해하기 때문에 문제가 있다.
도 3a 내지 도 3c는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 전자 디바이스(312)의 예이다. 일부 구현들에서, 전자 디바이스(312)는 스마트폰, 태블릿, 미디어 플레이어, 랩톱 등과 같은 모바일 디바이스에 대응한다. 일부 구현들에서, 전자 디바이스(312)는 통합된 디스플레이(예컨대, 내장형 디스플레이)를 포함하는 HMD(head-mountable device)에 대응한다. 일부 구현들에서, HMD는 머리-장착가능 인클로저를 포함한다. 다양한 구현들에서, 머리-장착가능 인클로저는 반투명 디스플레이를 갖는 다른 디바이스가 부착될 수 있는 부착 영역을 포함한다. 일부 구현들에서, 머리-장착가능 인클로저는 반투명 디스플레이(314)를 포함하는 다른 디바이스를 수용하기 위한 리셉터클을 형성하도록 형상화된다. 예를 들어, 일부 구현들에서, 전자 디바이스(312)는 머리-장착가능 인클로저 내로 슬라이딩/스냅되거나, 그렇지 않으면 그에 부착된다. 일부 구현들에서, 머리-장착가능 인클로저에 부착된 디바이스의 반투명 디스플레이(314)는 복수의 순차적 이미지들을 제시(예컨대, 디스플레이)한다. 예를 들어, 일부 구현들에서, 전자 디바이스(312)는 머리-장착가능 인클로저에 부착될 수 있는 모바일 폰에 대응한다.
일부 구현들에서, 전자 디바이스(312)는 사용자의 물리적 환경으로부터의 광에 CGR을 추가함으로써 추가 디스플레이로서 동작하는 HMD에 대응한다. 예를 들어, 일부 구현들에서, HMD는 반투명 디스플레이(314)로부터 반사될 CGR 콘텐츠를 투사함으로써 추가 디스플레이로서 동작한다. 다른 예로서, 일부 구현들에서, HMD는 CGR 콘텐츠를 사용자의 눈들에 대한 방출형 디스플레이 상에 디스플레이함으로써 추가 디스플레이로서 동작한다. 또 다른 예로서, 일부 구현들에서, HMD는 광을 예컨대 도파관을 통해 반투명 디스플레이(314)를 향해 방출함으로써 추가 디스플레이로서 동작한다. 또 다른 예로서, 일부 구현들에서, HMD는 CGR 콘텐츠를 사용자의 망막에서 직접 투사함으로써 추가 디스플레이로서 동작하며, 여기서 물리적 환경으로부터의 패스-스루 광 및 CGR 콘텐츠의 투사된 광은 동시에 망막에 도달한다.
일부 구현들에서, 반투명 디스플레이(314)는 광학 시스루(see-through)를 갖는 안경에 대응한다. 일부 구현들에서, 반투명 디스플레이(314)는 반투명 재료(예컨대, 유리 또는 플라스틱)로 제조된다. 일부 구현들에서, 반투명 디스플레이(314)는 OHMD(optical HMD)와 같은 물리적 환경의 광학적 시스루를 가능하게 하는 추가 디스플레이에 대응한다. 예를 들어, 비디오 스트림을 사용한 순수 합성과는 대조적으로, 추가 디스플레이는 사용자가 디스플레이를 통해 볼 수 있게 하면서 투사된 이미지들을 디스플레이로부터 반사시킬 수 있다. 일부 구현들에서, 반투명 디스플레이(314)는 물리적 환경으로부터 적어도 공칭 양의 광을 디스플레이한다. 일부 구현들에서, 반투명 디스플레이(314)는 광변색 렌즈 또는 전기변색 층을 포함한다. 일부 구현들에서, HMD는 반투명 디스플레이로부터 반사될 AR 콘텐츠를 사용자의 눈들에; 또는, 사용자의 망막에 직접 투사함으로써 추가 디스플레이로서 동작하며, 여기서 물리적 환경으로부터의 패스-스루 광 및 AR 콘텐츠의 투사된 광은 동시에 망막에 도달한다. HMD는 컴퓨터 생성 콘텐츠를 사용자의 물리적 환경에 추가한다.
도 3a에 예시된 바와 같이, 반투명 디스플레이(314)는 도 2a 내지 도 2g를 참조하여 위에서 논의된 태양(202), 적색 소화전(220), 경로(224), 및 청색 벽(222)을 포함한다. 도 2e에 예시된 태양(202)으로부터 발산하는 광과 CGR 개(230) 사이의 콘트라스트의 결여를 개선하기 위해, 전자 디바이스(312)는 일부 구현들에서 반투명 디스플레이(314)를 전체적으로 착색한다. 따라서, 도 3b에 예시된 바와 같이, 반투명 디스플레이(314)는 도 2b의 대응하는 물리적 객체들과 비교할 때 (수평 패턴의 더 밝은 음영에 의해 표시되는 바와 같은) 더 밝은 적색 색조를 갖는 적색 소화전(220) 및 (크로스-해치 패턴의 더 밝은 음영에 의해 표시되는 바와 같은) 더 밝은 청색 색조를 갖는 청색 벽(222)을 포함한다. 착색의 결과로서, 도 3c에 예시된 바와 같이, CGR 개(230) 및 태양(202)으로부터 발산하는 광은 서로에 대해 더 많은 양의 콘트라스트를 가지며, 따라서 CGR 개(230)는 도 2e의 CGR 개(230)와 비교하여 더 가시적이다(예를 들어, 덜 페이드된다). 다른 예로서, 일부 구현들에서, 반투명 디스플레이(314)를 착색하는 것 대신에 또는 그에 더하여, 전자 디바이스(312)는 CGR 개(230)와 태양(202)으로부터 나오는 광 사이의 적절한 레벨의 콘트라스트를 확립하기 위해 CGR 개(230)의 휘도 값을 증가시킨다. 예를 들어, 전자 디바이스(312)는 태양(202)의 밝기를 보상하기 위해 그렇지 않을 것보다 더 높은 휘도의 백색으로 CGR 개(230)를 렌더링한다.
도 4a 내지 도 4d는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 전자 디바이스(412)의 다른 예이다. 다양한 구현들에 따르면, 전자 디바이스(412)는 도 3a 내지 도 3c를 참조하여 전술된 전자 디바이스(312)와 유사하다. 전자 디바이스(412)는 반투명 디스플레이(414)를 포함한다. 다양한 구현들에 따르면, 반투명 디스플레이(414)는 도 3a 내지 도 3c를 참조하여 전술된 반투명 디스플레이(314)와 유사하다.
도 4a에 예시된 바와 같이, 반투명 디스플레이(414)는 태양(202), 적색 소화전(220), 경로(224), 및 청색 벽(222)을 포함한다. 도 4b에 예시된 바와 같이, 전자 디바이스(414)는 반투명 디스플레이(414)의 일부분(416) 및 청색 벽(222)의 대응하는 부분의 전방에 CGR 개(230)를 추가한다. 그 결과, 청색 벽(222)으로부터 반사되는 청색 광은 바람직하지 않게 CGR 개(230)와 혼합된다. 따라서, CGR 개(230)의 일부분이 청색 광에 의해 왜곡된다. 청색 벽(222)과 CGR 개(230) 사이의 바람직하지 않은 컬러 혼합을 감소시키기 위해, 전자 디바이스(412)는 디스플레이 동작 파라미터들을 수정한다. 일부 구현들에서, 전자 디바이스(412)는 CGR 개(230)를 반투명 디스플레이(414)에 추가하기 전에 디스플레이 동작 파라미터들을 수정한다.
이를 위해, 도 4c에 예시된 바와 같이, 전자 디바이스(312)는 디스플레이 동작 파라미터들을 수정하는 반투명 디스플레이(414)의 영역(418)을 식별한다. 예를 들어, 일부 구현들에서, 전자 디바이스(412)는 CGR 개(230) 및/또는 청색 벽(222)의 각각의 부분들의 컬러 조성들을 수정한다. 일례로서, CGR 개(230)를 반투명 디스플레이(414)에 추가하기 전에, 전자 디바이스(412)는 영역(418)에 대응하는 CGR 개(230)의 일부분을, 청색 벽(222)의 청색과 반대인 컬러로 렌더링한다. 따라서, 전자 디바이스(412)가 CGR 개(230)를 반투명 디스플레이(414)에 추가하면, CGR 개(230)는 도 4d에 예시된 바와 같이 원하는 백색으로 보인다. 도 4d에서, CGR 개(230)의 수정된 렌더링으로부터 기인하는 아티팩트(420)가 나타날 수 있음에 유의한다. 다른 예로서, 일부 구현들에서, 컬러 조성들을 수정하는 것 대신에 또는 그에 더하여, 전자 디바이스(412)는 영역(418)을 착색하여(예를 들어, 로컬 착색을 수행함), 예컨대 영역(418)에 대응하는 청색 벽(222)의 부분의 휘도를 감소시킨다. 따라서, 도 4d에 예시된 바와 같이, 반투명 디스플레이(414)에 추가된 CGR 개(230)는 원하는 백색으로 보이는데, 그 이유는 청색 벽(222)으로부터 반사되는 청색 광의 크기가 감소되기 때문이다.
도 5는 일부 구현들에 따른, 결정된 디스플레이 보정 값들에 기초하여 디스플레이 동작 파라미터들을 변경하는 방법(500)의 흐름도의 예이다. 다양한 구현들에서, 방법(500) 또는 그의 부분들은 전자 디바이스(예컨대, 도 1의 전자 디바이스(100), 도 3a 내지 도 3c의 전자 디바이스(312), 또는 도 4a 내지 도 4d의 전자 디바이스(412))에 의해 수행된다. 다양한 구현들에서, 방법(500) 또는 그의 부분들은 반투명 디스플레이를 포함하는 HMD(head-mountable device)에 의해 수행된다. 일부 구현들에서, 방법(500)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현들에서, 방법(500)은 비일시적 컴퓨터-판독가능 매체(예를 들어, 메모리)에 저장된 프로세서 실행 코드에 의해 수행된다.
블록(502)에 의해 표현되는 바와 같이, 방법(500)은 물리적 환경으로부터의 주변 광과 연관된 복수의 광 중첩 특성 값들을 감지하는 단계를 포함한다. 주변 광은 물리적 환경으로부터 반투명 디스플레이의 하나의 측면을 향해 발산된다. 복수의 광 중첩 특성 값들은 주변 광과의 상호작용들을 정량화한다. 일부 구현들에서, 복수의 광 중첩 특성 값들은 물리적 환경의 컬러 값들(예컨대, 색조 값 및 채도 값)과 물리적 환경의 밝기 값들(예컨대, 휘도 값 및 세기 값)의 조합을 포함한다. 예를 들어, 일부 구현들에서, 복수의 광 중첩 특성 값들은 물리적 환경을 특징짓는 배경 조명 값들 및 전경 조명 값들을 나타낸다. 일부 구현들에서, 복수의 광 중첩 특성 값들을 감지하는 것은 복수의 광 중첩 특성 값들을 결정하는 것을 포함한다. 예를 들어, 전자 디바이스에 통합된 환경 센서(예컨대, 광 센서)는 물리적 환경의 조명 속성들(예컨대, 광의 세기, 광의 컬러)을 검출하고, 전자 디바이스는 조명 속성들에 기초하여 복수의 광 중첩 특성 값들을 결정한다.
블록(504)에 의해 표현되는 바와 같이, 일부 구현들에서, 방법(500)은 복수의 광 중첩 특성 값들이 어떻게 인지되는지를 특징짓는 인지적 외관 값들을 결정하는 단계를 포함한다. 일부 구현들에서, 블록(506)에 의해 표현되는 바와 같이, 인지적 외관 값들은 컬러 외관 모델에 기초한다. 예를 들어, 컬러 외관 모델은 컬러의 뷰잉 조건들이 자극원의 대응하는 물리적 측정치로부터 발산하는 정도와 같은 인간의 색각의 인지적 양상들을 제공한다. 일부 구현들에서, 블록(508)에 의해 표현되는 바와 같이, 인지적 외관 값들은 사용자 속성들에 기초한다. 다양한 구현들에서, 사용자 속성들은 사용자의 동공 확장, 사용자가 얼마나 오래 물리적 환경에 있었는지, 사용자가 물리적 환경 내의 어디에 위치되는지, 사용자의 눈 시선(예를 들어, 눈 초점), 및 물리적 환경 내의 특정 위치에서의 눈 시선의 지속기간 등의 조합을 포함한다. 예를 들어, 일부 구현들에서, 방법(500)은, HMD에 통합된 눈 추적 센서를 통해, 사용자의 눈 시선 위치를 나타내는 눈 추적 데이터를 획득하는 단계를 포함하고, 복수의 인지적 외관 값들을 결정하는 단계는 눈 시선 위치에 기초한다.
블록(510)에 의해 표현되는 바와 같이, 방법(500)은 복수의 광 중첩 특성 값들 및 CGR(computer-generated reality) 객체의 미리 결정된(예를 들어, 바람직한) 디스플레이 특성들의 함수에 기초하여 전자 디바이스와 연관된 복수의 디스플레이 보정 값들을 결정하는 단계를 포함한다. 예를 들어, 미리 결정된 디스플레이 특성들은 CGR 고스트에 대한 백색과 같은, CGR 객체의 미리 결정된 컬러를 포함한다. 다른 예로서, 미리 결정된 디스플레이 특성들은 CGR 별에 대한 상대적으로 밝은 세기 레벨과 같은, CGR 객체의 미리 결정된 휘도 값을 포함한다. 블록(512)에 의해 표현되는 바와 같이, 일부 구현들에서, 복수의 디스플레이 보정 값들은 또한 블록들(504 내지 508)을 참조하여 전술된 인지적 외관 값들의 함수이다. 블록(514)에 의해 표현되는 바와 같이, 일부 구현들에서, 복수의 디스플레이 보정 값들은 또한 전자 디바이스의 반투명 디스플레이의 디스플레이 특성들의 함수이다. 예를 들어, 디스플레이 특성들은 렌즈 특성들, 예컨대 렌즈의 반투명성 레벨, 렌즈 형상 및 치수들, 렌즈 착색(예컨대, 프로스팅(frosting)) 레벨, 렌즈와 사용자의 눈들 사이의 거리 등의 조합을 포함한다.
블록(516)에 의해 표현되는 바와 같이, 방법(500)은 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 복수의 디스플레이 보정 값들에 따라 전자 디바이스와 연관된 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계를 포함한다. 예를 들어, 성능 임계치는 에러 마진과 같은 에러 임계치에 대응한다.
블록(518)에 의해 표현되는 바와 같이, 일부 구현들에서, 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 반투명 디스플레이와 연관된 착색 레벨을 변경하는 단계를 포함한다. 예를 들어, 착색 레벨을 변경하는 것은 반투명 디스플레이를 디밍하는 것을 포함한다. 다른 예로서, 착색 레벨의 크기는 물리적 환경의 밝기 레벨에 대한 것이다. 또 다른 예로서, 착색 레벨의 크기는 CGR 객체의 미리 결정된 밝기 특성에 기초한다. 블록(520)에 의해 표현되는 바와 같이, 일부 구현들에서, 반투명 디스플레이의 착색 레벨을 변경하는 단계는 반투명 디스플레이를 전체적으로 착색하는 단계를 포함한다. 예를 들어, 반투명 디스플레이를 전체적으로 착색하는 것은 착색 레벨에 따라 반투명 디스플레이 전체를 착색하는 것에 대응한다. 다른 예로서, 반투명 디스플레이를 전체적으로 착색하는 것은 광 투과를, 전체 스펙트럼에 걸쳐 균일하게 또는 불균일하게 감소시키는 것을 포함하며, 이는 이어서 컬러 시프트들로 이어질 수 있다. 블록(522)에 의해 표현되는 바와 같이, 일부 구현들에서, 반투명 디스플레이의 착색 레벨을 변경하는 단계는 로컬 디밍과 같이 반투명 디스플레이 전체보다 작은 반투명 디스플레이의 일부분을 착색하는 단계를 포함한다. 예를 들어, 일부 구현들에서, 반투명 디스플레이의 일부분은 CGR 객체가 추가될 반투명 디스플레이 상의 위치에 대응한다. 일례로서, 위치는 CGR 객체에 근접하거나 또는 적어도 부분적으로 중첩된다.
일부 구현들에서, 전자 디바이스는 다수의 착색 층들(예컨대, 10% 불투명도, 25% 불투명도, 75% 불투명도)을 포함한다. 착색 층들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 다양한 구현들에 따르면, 전자 디바이스는 원하는 착색을 제공하기 위해 반투명 디스플레이의 일부분 또는 전체에 착색 층들을 적용한다.
블록(524)에 의해 표현되는 바와 같이, 일부 구현들에서, 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 반투명 디스플레이와 연관된 컬러 조성을 변경하는 단계를 포함한다. 예를 들어, 물리적 환경이 주로 녹색 광을 방출하고 CGR 객체가 백색인 경우, 방법(500)은 CGR 객체가 디스플레이될 곳 근처에 위치된 반투명 디스플레이 상으로 방출되는 녹색 광의 일부분을 필터링하는 것(예컨대, 로컬 필터링)을 포함한다. 다른 예로서, 일부 구현들에서, 반투명 디스플레이와 연관된 컬러 조성을 변경하는 것은 물리적 환경으로부터 발산하는 주변 광의 함수로서 반투명 디스플레이에 컬러들을 추가하는 것을 포함한다. 예를 들어, 방법(500)은 물리적 환경으로부터의 주변 광을 보상하거나 오프셋하기 위해 컬러들을 추가하는 단계를 포함한다. 일례로서, CGR 객체가 백색 고스트이고 물리적 환경이 녹색 나무들을 포함하는 경우, 방법(500)은 반투명 디스플레이 상에 백색으로 CGR 고스트를 디스플레이하기 위해 녹색의 반대 컬러인 자주색 광을 추가하는 단계를 포함한다.
일부 구현들에서, 방법(500)은 반투명 디스플레이의 특정 부분에 대해, 예를 들어, CGR 객체가 디스플레이되는 곳 또는 그 근처에서 컬러 조성을 변경하는 단계(예컨대, 로컬 컬러 조성 필터링)를 포함한다. 일부 구현들에서, 방법(500)은 반투명 디스플레이 전체에 대하여 컬러 조성을 변경하는 단계(예컨대, 전체적 컬러 조성 필터링)를 포함한다. 예를 들어, CGR 객체가 백색 고스트인 경우, 전자 디바이스는 물리적 환경으로부터 주로 녹색 광(자주색 광의 반대)에 대항하기 위해 전체 반투명 디스플레이에 걸쳐 자주색 광을 추가한다.
일부 구현들에서, 전자 디바이스는 다수의 컬러 조성 필터링 층들(예컨대, 적색 필터 층, 녹색 필터 층, 및 청색 필터 층)을 포함한다. 컬러 조성 여과 층들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 다양한 구현들에 따르면, 전자 디바이스는 원하는 필터링을 제공하기 위해 반투명 디스플레이의 일부분 또는 전체에 컬러 조성 필터링 층들을 적용한다.
블록(526)에 의해 표현되는 바와 같이, 일부 구현들에서, 하나 이상의 디스플레이 동작 파라미터들을 변경하는 것은 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 CGR 객체에 대한 렌더링 파라미터들을 설정하는 것을 포함한다. 일부 구현들에서, 하나 이상의 디스플레이 동작 파라미터들을 변경하는 것은 (예컨대, 블록들(518 내지 522)을 참조하여 전술된 바와 같이) 공동으로 반투명 디스플레이의 착색 레벨을 변경하는 것 및 CGR 객체의 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 CGR 객체에 대한 렌더링 파라미터들을 설정하는 것을 포함한다. 예를 들어, 방법(500)은 착색 레벨을 동시에 변경하고 렌더링 파라미터들을 설정하는 단계를 포함한다. 일부 구현들에서, CGR 객체에 대한 렌더링 파라미터들을 설정하는 것은 CGR 객체 및 복수의 광 중첩 특성 값들이 집합적으로 하나 이상의 콘트라스트 기준들(예컨대, 콘트라스트 임계치)을 충족시킨다는 결정에 따른다. 예를 들어, 일부 구현들에서, 하나 이상의 콘트라스트 기준들은 휘도 콘트라스트 기준을 포함한다. 일례로서, 물리적 환경이 흐리고 CGR 객체의 미리 결정된 디스플레이 특성이 CGR 객체가 마찬가지로 흐린 것을 나타내는 경우, 전자 디바이스는 CGR 객체와 물리적 환경 사이에 더 큰 휘도 콘트라스트를 생성하기 위해 CGR 객체를 더 밝게 렌더링하도록 렌더링 파라미터들을 설정한다. 다른 예로서, 일부 구현들에서, 하나 이상의 콘트라스트 기준들은 백색 포인트 메트릭 또는 중성 컬러 메트릭과 같은 컬러 콘트라스트 기준을 포함한다. 일례로서, 물리적 환경이 주로 하나의 컬러(예컨대, 녹색 나무들)인 경우, 전자 디바이스는 렌더링 파라미터들을 설정하여 CGR 객체를 반대 컬러(예컨대, 자주색)으로 렌더링한다.
블록(528)에 의해 표현되는 바와 같이, 일부 구현들에서, 방법(500)은 렌더링 파라미터들에 따라 CGR 객체를 렌더링하는 단계 및 반투명 디스플레이에 CGR 객체를 추가하는 단계를 포함한다. 예를 들어, 반투명 디스플레이에 CGR 객체에 추가하는 것은, 사용자가 반투명 디스플레이를 통해 볼 수 있게 하면서 CGR 객체를 반투명 디스플레이로부터 투사하는 것을 포함한다.
본 개시내용은 다양한 특징부들을 기술하며, 그들 중 어떠한 단일의 특징부도 본 명세서에 기술된 이익들에 단독으로 원인이 있는 것은 아니다. 당업자에게 명백한 바와 같이, 본 명세서에 기술된 다양한 특징부들이 조합, 수정, 또는 생략될 수 있음이 이해될 것이다. 본 명세서에 구체적으로 기술된 것들 이외의 다른 조합들 및 하위 조합들이 당업자에게 명백할 것이며, 본 개시내용의 일부를 형성하는 것으로 의도된다. 다양한 방법들이 다양한 흐름도 단계들 및/또는 상태들과 관련하여 본 명세서에 기술되어 있다. 많은 경우에, 흐름도들에 도시된 다수의 단계들 및/또는 상태들이 단일 단계 및/또는 상태로서 수행될 수 있도록 특정 단계들 및/또는 상태들이 함께 조합될 수 있다는 것이 이해될 것이다. 또한, 특정 단계들 및/또는 상태들은 개별적으로 수행되도록 추가 하위 구성요소들로 분할될 수 있다. 일부 경우에, 단계들 및/또는 상태들의 순서는 재배열될 수 있고, 소정 단계들 및/또는 상태들은 전적으로 생략될 수 있다. 또한, 본 명세서에 기술된 방법들은 본 명세서에 도시되고 기술된 것들에 대한 추가 단계들 및/또는 상태들이 또한 수행될 수 있도록 열린 결말(open-ended)인 것으로 이해되어야 한다.
본 명세서에 기술된 방법들 및 태스크들 중 일부 또는 전부는 컴퓨터 시스템에 의해 수행될 수 있고 완전히 자동화될 수 있다. 컴퓨터 시스템은, 일부 경우에, 기술된 기능들을 수행하기 위해 네트워크를 통해 통신 및 상호동작하는 다수의 별개의 컴퓨터들 또는 컴퓨팅 디바이스들(예컨대, 물리적 서버들, 워크스테이션들, 저장 어레이들 등)을 포함할 수 있다. 각각의 그러한 컴퓨팅 디바이스는, 전형적으로, 메모리 또는 다른 비일시적 컴퓨터 판독가능 저장 매체 또는 디바이스에 저장된 프로그램 명령어들 또는 모듈들을 실행하는 프로세서(또는 다수의 프로세서들)를 포함한다. 본 명세서에 개시된 다양한 기능들은 그러한 프로그램 명령어들로 구현될 수 있지만, 개시된 기능들 중 일부 또는 전부는 대안으로 컴퓨터 시스템의 애플리케이션 특정 회로부(예컨대, ASIC 또는 FPGA 또는 GP-GPU)로 구현될 수 있다. 컴퓨터 시스템이 다수의 컴퓨팅 디바이스들을 포함하는 경우, 이러한 디바이스들은 함께 위치되거나 함께 위치되지 않을 수 있다. 개시된 방법들 및 태스크들의 결과들은 솔리드 스테이트 메모리 칩들 및/또는 자기 디스크들과 같은 물리적 저장 디바이스들을 상이한 상태로 변환함으로써 지속적으로 저장될 수 있다.
본 명세서에서 정의된 다양한 프로세스들은 사용자의 개인 정보를 획득하고 활용하는 옵션을 고려한다. 예를 들어, 그러한 개인 정보는 전자 디바이스 상에 개선된 프라이버시 스크린을 제공하기 위해 활용될 수 있다. 그러나, 그러한 개인 정보가 수집되는 범위까지, 그러한 정보는 사용자의 통지된 동의에 의해 획득되어야 한다. 본 명세서에 기술된 바와 같이, 사용자는 그들의 개인 정보의 사용에 대한 지식 및 제어를 가져야 한다.
개인 정보는 적법하고 합리적인 목적을 위해서만 적절한 당사자들에 의해 활용될 것이다. 그러한 정보를 활용하는 그러한 당사자들은 적어도 적절한 법률 및 규정에 따른 프라이버시 정책들 및 관행들을 준수할 것이다. 또한, 그러한 정책들은 잘 확립되고, 사용자-액세스가능하고, 정부/산업 표준들 또는 그 이상을 준수하는 것으로 인식되어야 한다. 또한, 이들 당사자들은 임의의 합리적이고 적법한 목적들 밖에서 그러한 정보를 배포하거나, 판매하거나, 달리 공유하지 않을 것이다.
그러나, 사용자들은 그러한 당사자들이 개인 정보에 액세스하거나 달리 획득할 수 있는 정도를 제한할 수 있다. 예를 들어, 설정들 또는 다른 선호도들은 사용자들이 그들의 개인 정보가 다양한 엔티티들에 의해 액세스될 수 있는지 여부를 판정할 수 있도록 조정될 수 있다. 또한, 본 명세서에 정의된 일부 특징들이 개인 정보를 사용하는 것과 관련하여 설명되지만, 이러한 특징들의 다양한 양상들은 그러한 정보를 사용할 필요 없이 구현될 수 있다. 일례로서, 사용자 선호도들, 계정 이름들, 및/또는 위치 이력이 수집되면, 이 정보는 정보가 각자의 사용자를 식별하지 않도록 가려지거나 달리 일반화될 수 있다.
본 개시내용은 본 명세서에 도시된 구현들로 제한되는 것으로 의도되지 않는다. 본 개시내용에 기술된 구현들에 대한 다양한 수정들은 당업자들에게 용이하게 명백할 수 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범주로부터 벗어남이 없이 다른 구현들에 적용될 수 있다. 본 명세서에 제공된 본 발명의 교시는 다른 방법들 및 시스템들에 적용될 수 있고, 전술된 방법들 및 시스템들로 제한되지 않으며, 전술된 다양한 구현들의 요소들 및 작용들이 조합되어 추가 구현들을 제공할 수 있다. 따라서, 본 명세서에 기술된 신규한 방법들 및 시스템들은 다양한 다른 형태들로 구현될 수 있으며; 또한, 본 명세서에 기술된 방법들 및 시스템들의 형태에서 다양한 생략, 치환 및 변화가 본 개시내용의 사상으로부터 벗어남이 없이 이루어질 수 있다. 첨부된 청구범위 및 이들의 등가물들은 본 개시내용의 범주 및 사상 내에 속하는 바로서 그러한 형태들 또는 수정들을 포함하도록 의도된다.

Claims (25)

  1. 방법으로서,
    하나 이상의 프로세서들, 비일시적 메모리, 및 시스루(see-through) 디스플레이를 포함하는 전자 디바이스에서,
    상기 시스루 디스플레이에 진입하는 물리적 환경으로부터의 주변 광과 연관된 광 중첩 특성 값을 감지하는 단계;
    상기 광 중첩 특성 값을 특성화하는 인지적 외관 값을 결정하는 단계;
    상기 광 중첩 특성 값, CGR(computer-generated reality) 객체의 미리 결정된 디스플레이 특성들 및 상기 인지적 외관 값에 기초하여 상기 전자 디바이스와 연관된 디스플레이 보정 값을 결정하는 단계; 및
    상기 CGR 객체의 상기 미리 결정된 디스플레이 특성들을 성능 임계치 내에서 충족시키기 위해 상기 디스플레이 보정 값에 따라 상기 전자 디바이스와 연관된 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 중첩 특성 값은 휘도 값에 대응하는, 방법.
  3. 제1항에 있어서, 상기 중첩 특성 값은 컬러 값에 대응하는, 방법.
  4. 제1항에 있어서, 상기 인지적 외관 값은 컬러 외관 모델에 기초하는, 방법.
  5. 제1항에 있어서, 상기 인지적 외관 값은 사용자 속성에 기초하는, 방법.
  6. 제5항에 있어서, 상기 사용자 속성은 사용자의 눈 시선에 기초하는, 방법.
  7. 제1항에 있어서, 상기 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 상기 CGR 객체의 상기 미리 결정된 디스플레이 특성들을 상기 성능 임계치 내에서 충족시키기 위해 상기 시스루 디스플레이와 연관된 착색 레벨을 변경하는 단계를 포함하는, 방법.
  8. 제7항에 있어서, 상기 시스루 디스플레이의 상기 착색 레벨을 변경하는 단계는 상기 시스루 디스플레이를 전체적으로 착색하는 단계를 포함하는, 방법.
  9. 제7항에 있어서, 상기 시스루 디스플레이의 상기 착색 레벨을 변경하는 단계는 상기 시스루 디스플레이 전체보다 작은 상기 시스루 디스플레이의 일부분을 착색하는 단계를 포함하는, 방법.
  10. 제9항에 있어서, 상기 시스루 디스플레이의 상기 일부분은 상기 CGR 객체가 디스플레이될 상기 시스루 디스플레이 상의 위치에 대응하는, 방법.
  11. 제1항에 있어서, 상기 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 상기 CGR 객체의 상기 미리 결정된 디스플레이 특성들을 상기 성능 임계치 내에서 충족시키기 위해 상기 시스루 디스플레이와 연관된 컬러 조성을 변경하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 시스루 디스플레이와 연관된 상기 컬러 조성을 변경하는 단계는 상기 물리적 환경으로부터의 상기 주변 광의 함수로서 상기 시스루 디스플레이에 컬러들을 추가하는 단계를 포함하는, 방법.
  13. 제1항에 있어서, 상기 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 상기 CGR 객체의 상기 미리 결정된 디스플레이 특성들을 상기 성능 임계치 내에서 충족시키기 위해 상기 CGR 객체에 대한 렌더링 파라미터들을 설정하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 CGR 객체에 대한 상기 렌더링 파라미터들을 설정하는 단계는 상기 CGR 객체 및 상기 광 중첩 특성 값이 집합적으로 하나 이상의 콘트라스트 기준들을 충족시킨다는 결정에 따르는, 방법.
  15. 제14항에 있어서, 상기 하나 이상의 콘트라스트 기준들은 휘도 콘트라스트 기준을 포함하는, 방법.
  16. 제14항에 있어서, 상기 하나 이상의 콘트라스트 기준들은 컬러 콘트라스트 기준을 포함하는, 방법.
  17. 제13항에 있어서,
    상기 렌더링 파라미터들에 따라 상기 CGR 객체를 렌더링하는 단계; 및
    상기 시스루 디스플레이 상에 상기 CGR 객체를 디스플레이하는 단계를 더 포함하는, 방법.
  18. 제1항에 있어서, 상기 하나 이상의 디스플레이 동작 파라미터들을 변경하는 단계는 상기 시스루 디스플레이의 착색 레벨을 공동으로 변경하는 단계, 및 상기 CGR 객체의 상기 미리 결정된 디스플레이 특성들을 상기 성능 임계치 내에서 충족시키기 위해 상기 CGR 객체에 대한 렌더링 파라미터들을 설정하는 단계를 포함하는, 방법.
  19. 제1항에 있어서, 상기 디스플레이 보정 값은 또한 상기 시스루 디스플레이의 디스플레이 특성들의 함수인, 방법.
  20. 제19항에 있어서, 상기 디스플레이 특성들은 상기 시스루 디스플레이의 렌즈의 렌즈 특성을 포함하는, 방법.
  21. 제19항에 있어서, 상기 디스플레이 특성들은 상기 시스루 디스플레이와 사용자의 눈 사이의 거리를 나타내는, 방법.
  22. 전자 디바이스로서,
    하나 이상의 프로세서들;
    비일시적 메모리;
    시스루 디스플레이; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 비일시적 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 제1항 내지 제21항 중 어느 한 항의 방법을 수행하거나 또는 수행을 야기하기 위한 명령어들을 포함하는, 전자 디바이스.
  23. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제21항 중 어느 한 항의 방법을 수행하게 하거나 또는 수행을 야기하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 전자 디바이스로서,
    하나 이상의 프로세서들;
    비일시적 메모리;
    시스루 디스플레이; 및
    제1항 내지 제21항 중 어느 한 항의 방법을 수행하거나 또는 수행을 야기하기 위한 수단을 포함하는, 전자 디바이스.
  25. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제1항 내지 제21항 중 어느 한 항의 방법을 수행하거나 또는 수행을 야기하기 위한 수단을 포함하는, 정보 프로세싱 장치.
KR1020220124355A 2019-11-25 2022-09-29 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정 KR102587920B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962939815P 2019-11-25 2019-11-25
US62/939,815 2019-11-25
KR1020200126028A KR102451548B1 (ko) 2019-11-25 2020-09-28 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126028A Division KR102451548B1 (ko) 2019-11-25 2020-09-28 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정

Publications (2)

Publication Number Publication Date
KR20220139261A true KR20220139261A (ko) 2022-10-14
KR102587920B1 KR102587920B1 (ko) 2023-10-11

Family

ID=75974050

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200126028A KR102451548B1 (ko) 2019-11-25 2020-09-28 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정
KR1020220124355A KR102587920B1 (ko) 2019-11-25 2022-09-29 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200126028A KR102451548B1 (ko) 2019-11-25 2020-09-28 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정

Country Status (2)

Country Link
US (1) US11892632B2 (ko)
KR (2) KR102451548B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220176996A1 (en) * 2020-12-07 2022-06-09 Korea Automotive Technology Institute System and method for controlling vehicle
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160055534A (ko) * 2014-11-10 2016-05-18 삼성전자주식회사 전자 장치의 주변 환경에 기반한 컨텐트 적응 방법 및 그 전자 장치
KR20180108041A (ko) * 2017-03-23 2018-10-04 삼성전자주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007223A1 (en) * 2004-07-09 2006-01-12 Parker Jeffrey C Display control system and method
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130221855A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Controlling backlight of a portable electronic device
IL236243A (en) 2014-12-14 2016-08-31 Elbit Systems Ltd Visual enhancement of color icons is shown
KR102439245B1 (ko) * 2016-01-29 2022-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2017196999A1 (en) 2016-05-12 2017-11-16 Magic Leap, Inc. Wavelength multiplexing in waveguides
US10798373B2 (en) * 2016-07-22 2020-10-06 Sharp Kabushiki Kaisha Display correction apparatus, program, and display correction system
US10345151B1 (en) * 2018-05-02 2019-07-09 Microsoft Technology Licensing, Llc Use of multiple calibrated ambient color sensor measurements to generate a single colorimetric value
WO2020023266A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Systems and methods for external light management
US10643548B2 (en) * 2018-08-20 2020-05-05 Dell Products, L.P. Selective dimming of ambient lighting in virtual, augmented, and mixed reality (xR) applications
WO2020237194A1 (en) * 2019-05-22 2020-11-26 Pcms Holdings, Inc. Method for rendering of augmented reality content in combination with external display
CN114730068A (zh) * 2019-11-13 2022-07-08 奇跃公司 用于可穿戴装置的环境光管理系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160055534A (ko) * 2014-11-10 2016-05-18 삼성전자주식회사 전자 장치의 주변 환경에 기반한 컨텐트 적응 방법 및 그 전자 장치
KR20180108041A (ko) * 2017-03-23 2018-10-04 삼성전자주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법

Also Published As

Publication number Publication date
US11892632B2 (en) 2024-02-06
KR102451548B1 (ko) 2022-10-06
KR102587920B1 (ko) 2023-10-11
US20210157143A1 (en) 2021-05-27
KR20210064040A (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
KR102587920B1 (ko) 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정
US11776503B2 (en) Generating display data based on modified ambient light luminance values
US11545108B2 (en) Modifying rendered image data based on ambient light from a physical environment
US11520401B2 (en) Focus-based debugging and inspection for a display system
US11715405B1 (en) Chroma modification based on ambient light characteristics
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US11955099B2 (en) Color correction based on perceptual criteria and ambient light chromaticity
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US20230267860A1 (en) Color Correction Pipeline
US20240111162A1 (en) Modifying display operating parameters based on light superposition from a physical environment
US11935503B1 (en) Semantic-based image mapping for a display
US20230335079A1 (en) Displaying Image Data based on Ambient Light
US20240103685A1 (en) Methods for controlling and interacting with a three-dimensional environment
JP7384951B2 (ja) 遮られた物理的オブジェクトの位置を示すこと
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US11783444B1 (en) Warping an input image based on depth and offset information
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
US20230350539A1 (en) Representations of messages in a three-dimensional environment
WO2024064388A1 (en) Devices, methods, for interacting with graphical user interfaces

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant