KR20190049784A - 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기 - Google Patents

무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기 Download PDF

Info

Publication number
KR20190049784A
KR20190049784A KR1020197009340A KR20197009340A KR20190049784A KR 20190049784 A KR20190049784 A KR 20190049784A KR 1020197009340 A KR1020197009340 A KR 1020197009340A KR 20197009340 A KR20197009340 A KR 20197009340A KR 20190049784 A KR20190049784 A KR 20190049784A
Authority
KR
South Korea
Prior art keywords
eye
frames
series
configuration
change
Prior art date
Application number
KR1020197009340A
Other languages
English (en)
Inventor
세바스티안 크노르
다니엘 쿠르츠
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020217023783A priority Critical patent/KR102404118B1/ko
Publication of KR20190049784A publication Critical patent/KR20190049784A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

상태 변화를 트리거하는 것은 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 디스플레이하는 것, 일련의 프레임들에 대한 제2 셋업 구성을 얻는 것, 제2 셋업 구성을 얻는 것에 응답하여, 눈 상태에서의 변화에 대해 모니터링하는 것, 및 눈 상태에서의 변화를 검출하는 것에 응답하여, 제2 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 디스플레이하는 것을 포함한다.

Description

무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
관련 출원들에 대한 상호 참조
본 출원은 35 U.S.C. § 119(e) 하에 그 내용이 본 명세서에 참고로 전체적으로 포함되는 2016년 9월 22일자로 출원된 미국 가출원 제62/398,438호에 대한 우선권을 주장한다.
본 개시내용은 일반적으로 디지털 이미지 프로세싱 분야에 관한 것으로, 보다 구체적으로 그래픽 사용자 인터페이스(GUI) 설계 분야에 관한 것이다. 구체적으로 말하면, GUI에 영향을 미치는 정보의 상태 변화를 연기하고 GUI의 사용자의 무주의(inattentiveness)의 조건 동안 상태 변화를 트리거하는 것에 관한 것이다.
현재 기술은 사용자들이 수많은 방식들로 그들의 환경과 상호작용하는 것을 허용한다. 예를 들어보면, 게이밍 소프트웨어에 대한 GPS 디바이스들은 사용자들이 혁신적인 방식들로 실세계 환경과 상호작용하는 것을 허용한다. 가상 정보를 실제 환경으로 블렌딩하는데 있어서의 하나의 문제는 그래픽 사용자 인터페이스로 이루어진 변화들이 갑작스럽고 사용자에게 혼란을 주고, 사용자 경험을 손상시킬 수 있다는 것이다.
일례로서, GUI에 관한 정보의 상태 변화는 사용자가 그에 중점을 두고 있는 동안 변화되어 혼란을 야기시킬 수 있거나, 또는 사용자가 GUI 인근 어떤 것에 중점을 둘 때 변화될 수 있고, 이는 사용자로 하여금 혼란되게 할 수 있다. 컴퓨터 게임에서 단어들 또는 객체들은 동적으로 로딩되고 갑자기 나타날 수 있다. 스크린 상에 디스플레이되는 상세 레벨(level of detail)은 갑자기 변화하여, 사용자에게 혼란을 야기할 수 있다. 디스플레이되는 데이터의 상태 변화들을 다루기 위해 향상된 사용자 경험이 필요하다.
일 실시예에서, 상태 변화를 트리거하는 방법이 기술된다. 방법은 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 디스플레이하는 단계, 일련의 프레임들에 대한 제2 셋업 구성을 얻는 단계, 제2 셋업 구성을 얻는 단계에 응답하여, 눈 상태에서의 변화에 대해 모니터링하는 단계, 및 눈 상태에서의 변화를 검출하는 단계에 응답하여, 제2 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 디스플레이하는 단계를 포함할 수 있다. 또 다른 실시예에서, 방법은 컴퓨터 실행가능 프로그램 코드에서 구현되고, 비-일시적 저장 디바이스에 저장될 수 있다. 여전히 또 다른 실시예에서, 방법은 이미지 캡처 능력들을 가진 전자 디바이스에서 구현될 수 있다.
도 1은 하나 이상의 실시예들에 따른 단순화된 전자 디바이스를 블록 다이어그램 형태로 도시한다.
도 2는 하나 이상의 실시예에 따른 GUI에 영향을 미치는 상태 변화를 관리하는 방법을 흐름도 형태로 도시한다.
도 3은 하나 이상의 실시예에 따른 GUI에 영향을 미치는 상태 변화를 관리하는 또 다른 방법을 흐름도 형태로 도시한다.
도 4는 하나 이상의 실시예에 따른 상세 레벨의 상태 변화를 관리하는 것을 예시하는 예시적인 흐름 다이어그램을 도시한다.
도 5는 하나 이상의 실시예들에 따른 업데이트된 키프레임에 기초하여 상태 변화를 관리하는 방법의 예시적인 흐름 다이어그램을 도시한다.
도 6은 하나 이상의 실시예들에 따른 업데이트된 상세 레벨에 기초하여 상태 변화를 관리하는 방법의 예시적인 흐름 다이어그램을 도시한다.
도 7은 하나 이상의 실시예들에 따른 업데이트된 상세 레벨에 기초하여 상태 변화를 관리하는 방법의 예시적인 흐름 다이어그램을 도시한다.
도 8은 하나 이상의 실시예들에 따른 컴퓨팅 디바이스의 예시적인 시스템 다이어그램을 도시한다.
본 개시내용은 무주의의 조건 동안 그래픽 사용자 인터페이스(GUI)에 영향을 미치는 정보의 상태 변화를 연기하는 시스템들, 방법들, 및 컴퓨터 판독가능 매체들에 관한 것이다. 일반적으로, 일련의 프레임들에 대한 셋업 구성이 검출될 때, 일련의 프레임들의 새로운 버전이 렌더링될 수 있지만, 사용자가 무주의하는 것으로 결정될 때까지 디스플레이되지 않도록, GUI 상의 디스플레이를 관리하는 기법들이 개시된다. 예를 들어, 하나 이상의 실시예들에 따르면, 한 세트의 프레임들의 제1 버전은 사용자가 깜빡거리거나 외면하는 것으로 결정될 때까지 디스플레이될 수 있다. 하나 이상의 실시예들에 따르면, 사용자 무주의의 상태 동안 디스플레이를 변화하는 것은 사용자에 대한 변화로부터 혼란을 최소화하거나 줄일 수 있다.
하나 이상의 실시예들에 따르면, 새로운 셋업 구성을 검출할 시에, 시스템은 제1 일련의 프레임들이 디스플레이되는 동안, 일련의 프레임들의 제2 버전을 렌더링할 수 있다. 즉, 일련의 프레임들의 제1 버전 및 일련의 프레임들의 제2 버전은 병행하여 렌더링될 수 있다. 일부 실시예들에서, 일련의 프레임들의 양쪽 버전들은 프레임들의 제2 버전이 디스플레이될 수 있을 때까지 렌더링될 수 있다. 제2 일련의 프레임들은 눈 상태에서의 변화가 검출될 때까지, 또는 눈 상태에서의 변화가 예상될 때 렌더링되지 않을 수 있다. 이로써, 일련의 프레임들의 2 개의 버전들은 더 짧은 기간 동안 병행하여 발생될 수 있다.
다음의 설명에서, 설명의 목적을 위해, 다수의 특정 상세 사항들이 개시된 개념의 철저한 이해를 제공하기 위해 기재된다. 이러한 설명의 일부로서, 본 개시내용의 도면들의 일부는 개시된 실시예들의 새로운 양태들을 모호하게 하는 것을 피하기 위해 구조들 및 디바이스들을 블록 다이어그램 형태로 나타낸다. 이와 관련하여, 연관 식별자들(예컨대, 100) 없이 번호가 매겨진 도면 요소들에 대한 참조들은 식별자들(예컨대, 100a 및 100b)을 갖는 도면 요소의 모든 인스턴스들을 지칭한다는 것이 이해되어야 한다. 추가로, 본 설명의 일부로서, 본 개시내용의 도면들 중 일부는 흐름 다이어그램들의 형태로 제공될 수 있다. 흐름 다이어그램 내의 박스들은 특정 순서로 제시될 수 있다. 그러나, 임의의 흐름 다이어그램의 특정 흐름이 단지 일 실시예를 예시하기 위해 사용된다는 것이 이해되어야 한다. 다른 실시예들에서, 흐름 다이어그램에 도시된 다양한 컴포넌트들 중 임의의 것이 삭제될 수 있거나, 컴포넌트들은 상이한 순서로, 또는 심지어 동시에 수행될 수 있다. 부가적으로, 다른 실시예들은 흐름 다이어그램의 일부로서 도시되지 않은 부가적인 단계들을 포함할 수 있다. 본 개시내용에 사용된 표현은 주로 이해의 편의 및 설명 목적을 위해 선택되었고, 개시된 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다. "일 실시예"에 대한 또는 "실시예"에 대한 본 개시내용에서의 언급은 실시예와 관련되어 기술되는 특정한 특징부, 구조, 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 다수의 언급들이 반드시 모두 동일한 실시예 또는 상이한 실시예를 지칭하는 것으로서 이해되어서는 아니되어야 한다.
(임의의 개발 프로젝트에서와 같이) 임의의 실제 구현예의 개발에서, 개발자의 특정 목표들(예컨대, 시스템 관련 및 사업 관련 제약들의 준수)을 달성하기 위해 수많은 결정들이 이루어져야 하며, 이들 목적들이 구현예별로 달라질 것임이 인식되어야 한다. 그러한 개발 노력들은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 본 발명의 이득을 갖는 이미지 캡처의 기술분야에서 당업자를 위해 착수하는 루틴일 것임이 또한 이해될 것이다.
본 개시내용의 목적을 위해, 용어 "카메라"는 센서 요소 및 이미지를 캡처하기 위해 이용되는 다른 회로부와 함께 단일 렌즈 조립체를 지칭한다. 본 개시내용의 목적을 위해, 2 개 이상의 카메라들은 단일 센서 요소 및 다른 회로부를 공유하지만, 2 개의 상이한 렌즈 조립체들을 포함할 수 있다. 그러나, 하나 이상의 실시예들에서, 2 개 이상의 카메라들은 별개의 센서 요소들뿐 아니라 별개의 렌즈 조립체들 및 회로부를 포함할 수 있다.
도 1을 참조하면, 본 개시내용의 하나 이상의 실시예들에 따른 전자 디바이스(100)의 단순화된 블록 다이어그램이 도시된다. 전자 디바이스(100)는 다기능적 디바이스, 그 예로 모바일 폰, 태블릿 컴퓨터, 개인 휴대정보 단말기, 휴대용 음악/비디오 플레이어, 또는 다양한 실시예들을 수행하기 위해 이용되는 카메라 시스템, 디스플레이, 및 다른 컴포넌트들을 포함하는 임의의 다른 전자 디바이스의 일부일 수 있다. 전자 디바이스(100)는 네트워크에 걸친 다른 네트워크 디바이스들, 그 예로 모바일 디바이스들, 태블릿 디바이스들, 데스크탑 디바이스들뿐 아니라 네트워크 저장 디바이스들 그 예로 서버들 등에 연결될 수 있다.
전자 디바이스(100)는 중앙 프로세싱 유닛(CPU)(130)을 포함할 수 있다. 프로세서(130)는 모바일 디바이스들에서 발견되는 것들과 같은 시스템-온-칩이고, 하나 이상의 전용 그래픽 프로세싱 유닛들(GPU들)을 포함할 수 있다. 추가로, 프로세서(130)는 동일하거나 상이한 유형의 다수의 프로세서들을 포함할 수 있다. 전자 디바이스(100)는 또한 메모리(140)를 포함할 수 있다. 메모리(140)는 CPU(130)와 함께 디바이스 기능을 수행하기 위해 사용될 수 있는 하나 이상의 상이한 유형들의 메모리를 포함할 수 있다. 예를 들어, 메모리(140)는 캐시, ROM, 및/또는 RAM을 포함할 수 있다. 메모리(140)는 실행 동안, 눈 상태 모니터(155) 및 그래픽 디스플레이 모듈(160)을 포함하는 다양한 프로그램밍 모듈들을 저장할 수 있다. 하나 이상의 실시예들에 따르면, 메모리(140)는 동적 셋업 구성 데이터에 기초하여 그래픽 사용자 인터페이스를 발생 및 관리하기 위해 이용되는 부가적인 애플리케이션들을 포함할 수 있다. 예를 들어, 메모리(140)는 부가적으로 렌더링 엔진을 포함할 수 있다.
전자 디바이스(100)는 또한 하나 이상의 카메라들, 그 예로 전방-대면 카메라(110) 및 후방-대면 카메라(120)를 포함할 수 있다. 카메라들(110 및 120) 각각은 이미지 센서, 렌즈 스택 및 이미지들을 캡처하기 위해 사용될 수 있는 다른 컴포넌트들을 포함할 수 있다. 하나 이상의 실시예들에서, 카메라들은 전자 디바이스에서 상이한 방향들로 지향될 수 있다. 예를 들어, 전방-대면 카메라(110)는 전자 디바이스(100)의 제1 표면에 또는 그 상에 위치될 수 있는 반면, 후방-대면 카메라(120)는 전자 디바이스(100)의 제2 표면에 또는 그 상에 위치될 수 있다. 하나 이상의 실시예들에서, 제1 및 제2 표면들은 전자 디바이스(100)의 대향 표면들일 수 있다. 또 다른 일례로서, 전방-대면 카메라(110)는 사용자의 시점으로부터 실제 환경의 이미지들을 캡처하도록 구성될 수 있는 반면에, 후방-대면 카메라(120)는 사용자의 이미지들을 캡처하도록 구성된다. 추가로 하기에 상세하게 기술될 바와 같이, 2 개의 카메라들이 도시되지만, 일부 실시예들에서, 전자 디바이스(100)는 단일 카메라를 포함할 수 있다. 여전히 다른 실시예들에서, 전자 디바이스(100)는 또한 디스플레이(150)를 포함할 수 있다. 센서들(175)은 예를 들어, 눈의 상태, 그 예로 시선 방향 또는 눈이 떠지거나 감기는 여부를 결정하는데 사용될 수 있는 임의의 종류의 센서를 포함할 수 있다. 디스플레이(150)는 임의의 종류의 디스플레이 디바이스, 그 예로 LCD 디스플레이, LED 디스플레이, OLED 디스플레이 등일 수 있다. 부가적으로, 디스플레이(150)는 반-불투명 디스플레이, 그 예로 헤드 업 디스플레이 등일 수 있다. 전자 디바이스(100)가 상기에서 기술된 수많은 컴포넌트들을 포함하는 것으로 도시되지만, 하나 이상의 실시예들에서 다양한 컴포넌트들은 다수의 디바이스들에 걸쳐 분포될 수 있다. 추가로, 부가적인 컴포넌트들이 사용될 수 있고, 컴포넌트들 중 임의의 것의 기능성의 일부 조합이 조합될 수 있다.
하나 이상의 실시예에 따르면, 눈 상태 모니터(155)는 눈의 상태를 모니터링한다. 일부 실시예들에서, 눈 상태는 사용자의 주의 또는 무주의를 나타낸다. 즉, 눈 상태 모니터(155)는, 예를 들어, 전방-대면 카메라(110)로부터 또는 다양한 센서들(175)로부터 수신된 데이터에 기초하여 사용자가 주의한 여부를 결정할 수 있다. 부가적으로, 눈 상태 모니터(155)는 눈 상태에서의 변화를 예상할 수 있다. 예를 들어, 전방-대면 카메라(110)로부터의 이미지들은 눈이 감기거나 감기고 있는 것, 또는 눈이 디스플레이(150)와는 상이한 방향을 보고 있는지 여부를 나타낼 수 있다. 또 다른 일례로서, 눈을 둘러싸는 근육들을 모니터링하는 센서들은 눈이 막 깜박거리려고 하는 것을 검출하고, 이로써 눈 상태에서의 변화를 예상할 수 있다. 하나 이상의 실시예들에서, 눈 상태 모니터(155)는 눈의 상태를 연속적으로 모니터링할 수 있거나, 주기별로 또는 필요할 때 눈의 상태를 모니터링할 수 있다. 예를 들어, 눈 상태 모니터(155)는 새로운 셋업 구성이 이용가능하다고 결정하는 것에 응답하여 눈들의 상태를 모니터링할 수 있다.
하나 이상의 실시예들에 따르면, 그래픽 디스플레이 모듈(160)은 주어진 셋업 구성에 기초하여 일련의 프레임들을 발생시키도록 구성될 수 있다. 하나 이상의 실시예들에서, 셋업 구성은, 예를 들어, 센서들(175) 또는 카메라들(110 및 120)에 의해 국부적으로 수신된 데이터에 기초할 수 있다. 부가적으로, 또는 대안적으로, 셋업 구성에 대한 데이터는 원격 소스들, 그 예로 네트워크 디바이스들 또는 서버들로부터 수신될 수 있다. 일례로서, 전자 디바이스(100)가 지도 상에 방향들을 디스플레이하고 있는 경우, 셋업 구성은 GPS 유닛(도시되지 않음)으로부터의 데이터를 포함할 수 있다. 그래픽 디스플레이 모듈(160)은 가끔 일련의 프레임들로서 GUI의 뷰를 변화하는 업데이트된 셋업 구성 정보를 수신할 수 있다. 일례로서, 지시된 초기 셋업 구성 데이터와는 상이한 도로 또는 레인 상에 실제로 사용자가 있음을 업데이트된 GPS 정보가 나타내는 경우, 일련의 프레임들의 제2 버전은 렌더링될 수 있다. 하나 이상의 실시예들에서, 그래픽 디스플레이 모듈(160)은 다수의 일련의 프레임들을 동시에 발생시킬 수 있다. 일례로 돌아와서, 업데이트된 GPS 데이터가 수신된 경우, 그래픽 디스플레이 모듈(160)은 제1 일련의 프레임들이 여전히 렌더링되고 디스플레이되고 있는 동안 일련의 프레임들의 제2 버전을 렌더링하는 것을 시작할 수 있다. 이로써, 그래픽 디스플레이 모듈(160)은 수요에 따라 일련의 프레임들의 제1 버전으로부터 일련의 프레임들의 제2 버전으로 토글링할 수 있다. 하나 이상의 실시예들에 따르면, 그래픽 디스플레이 모듈(160)은 눈 상태 모니터(155)에 의해 결정되는 바와 같은 눈 상태에서의 변화에 기초하여 일련의 프레임들의 제2 버전을 디스플레이하는 것을 언제 시작할지를 결정할 수 있다. 일부 실시예들에서, 그래픽 디스플레이 모듈(160)은 사용자가 무주의하다고 결정될 때 디스플레이된 버전의 구성 정보를 스위칭할 수 있다. 달리 말하면, 그래픽 디스플레이 모듈(160)은 무주의의 조건이 충족될 때까지 GUI 내의 그래픽 표현의 상태 변화를 연기할 수 있다.
일례로서, 컴퓨터 게이밍에서, 새로운 셋업 구성은 게이밍 환경에서 디스플레이를 위해 이용가능하게 되는 새로운 객체들을 포함할 수 있다. 그래픽 디스플레이 모듈(160)은 새로운 객체들 없이 게이밍 환경을, 그리고 깜박거림 이후에 새로운 객체들이 디스플레이되도록 사용자가 깜박거리는 동안 그들을, 연속해서 제시할 수 있다. 유사하게, 그래픽 디스플레이 모듈(160)은 증강 현실 적용에서, 실제 환경에서의 디스플레이를 위해 렌더링된 가상 객체의 변화들을 연기할 수 있다. 또 다른 일례로서, 점진적 JPEG는 더 굵은 블록으로부터 더 미세한 블록으로, 또는 더 미세한 블록으로부터 더 굵은 블록으로 전환될 수 있다. 그래픽 디스플레이 모듈(160)은 사용자가 무주의할 때까지 업데이트된 상세 레벨의 디스플레이를 연기할 수 있다. 셋업 구성은 다른 방식으로 상세 레벨에 적용될 수 있다. 예를 들어, 지도에 대고 줌처리(zooming)를 할 때, 정보 그 예로 거리 이름들 또는 이웃들은 나타나거나 사라질 수 있다. 그래픽 디스플레이 모듈(160)은 사용자가 무주의할 때까지 지도 상에서 디스플레이된 상세 레벨을 변화하는 것을 연기할 수 있다.
도 2는 하나 이상의 실시예에 따른 GUI에 영향을 미치는 상태 변화를 관리하는 방법을 흐름도 형태로 도시한다. 다양한 액션들이 특정 순서로 도시되었지만, 상이한 실시예들에서, 다양한 액션들이 상이한 순서로 도시될 수 있다. 추가로, 일부 실시예들에서, 액션들 중 둘 이상이 동시에 일어날 수 있다. 다른 실시예들에서, 액션들 중 일부는 필요하지 않을 수 있거나, 다른 액션들이 포함될 수 있다. 명확성의 목적을 위해, 흐름도는 도 1의 다양한 컴포넌트들에 대해 기술될 것이다. 그러나, 다양한 액션들이 대안적인 컴포넌트들에 의해 취해질 수 있다는 것이 이해되어야 한다.
흐름도는 그래픽 디스플레이 모듈(160)로 하여금 일련의 프레임들의 제1 버전이 디스플레이(150) 상에 디스플레이되게 하는 205에서 시작된다. 하나 이상의 실시예들에서, 그래픽 디스플레이 모듈(160)은 제1 셋업 구성에 기초하여 초기 일련의 프레임들을 발생시킬 수 있다. 제1 셋업 구성은 일련의 프레임들이 렌더링되어야 하는 법을 나타내는 임의의 데이터일 수 있다. 하나 이상의 다른 실시예들에서, 그래픽 디스플레이 모듈(160)은 카메라, 그 예로 후방-대면 카메라(120)에 의해 캡처된 바와 같은 일련의 프레임들을 제시할 수 있거나, 또 다른 방법에 의해 발생된 프레임들을 제시할 수 있다. 추가로, 일련의 프레임들은 다른 데이터에 기초하여 렌더링된 부가적인 정보를 포함할 수 있다. 예를 들어, 데이터는 원격 서버로부터, 또는 센서들(175)로부터 모아졌다. 일례로서, 그래픽 디스플레이 모듈(160)은 후방-대면 카메라(120)에 의해 캡처된 실제 환경의 뷰에서 가상 객체를 디스플레이(150) 상에 제시할 수 있다.
흐름도는 210에서 연속되고, 셋업 구성에서의 업데이트가 식별되는지 여부에 관한 결정이 이루어진다. 상기에서 기술된 바와 같이, 셋업 구성에서의 업데이트는 일련의 프레임들이 렌더링되는 법을 결정하는 임의의 종류의 데이터일 수 있다. 예를 들어, 더 많거나 더 적은 상세 사항이 이용가능할 수 있거나, 다른 인자들에 의존하여, 더 크거나 더 작은 상세 레벨을 포함하는 것이 바람직할 수 있다. 어떠한 업데이트도 검출되지 않는 경우, 흐름도는 205에서 연속되고, 그래픽 디스플레이 모듈(160)은 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 연속해서 디스플레이한다. 210으로 돌아가서, 셋업 구성에서의 업데이트가 식별되었다고 결정된 경우, 흐름도는 215에서 연속되고, 그래픽 디스플레이 모듈(160)은 업데이트된 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 렌더링한다.
흐름도는 눈 상태 모니터(155)가 눈 상태에서의 변화에 대해 모니터링하는 220에서 연속된다. 하나 이상의 실시예들에 따르면, 눈 상태 모니터(155)는 시선 또는 깜박거림에서의 변화에 대해 모니터링할 수 있고, 이 중 어느 하나는 사용자의 무주의 상태를 나타낼 수 있다. 일부 실시예들에서, 눈 상태 모니터(155)는 예를 들어, 전방-대면 카메라(110)에 의해 제공되는 눈의 이미지들을 모니터링할 수 있다. 추가로, 다른 실시예들에서, 눈 상태 모니터(155)는 눈 상태에서의 변화를 결정하기 위해 센서들(175)로부터의 부가적인 센서 데이터에 의존할 수 있다. 일부 실시예들에 따르면, 눈 상태 모니터(155)는 사용자의 눈들의 상태를 연속적으로 모니터링할 수 있거나, 셋업 구성 업데이트의 식별에 응답하여, 또는 업데이트된 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 렌더링하는 그래픽 디스플레이 모듈(160)에 응답하여, 눈들의 상태를 모니터링하기 시작할 수 있다.
흐름도는 눈 상태에서의 변화가 검출되는지 여부에 관한 결정이 이루어지는 225에서 연속된다. 하나 이상의 실시예들에 따르면, 눈 상태에서의 변화는 사용자가 무주의하다는 것을 나타낼 수 있다. 예를 들어, 사용자는 깜박거리고 있거나, 디스플레이로부터 눈길을 돌리고 있다. 다른 실시예들에서, 사용자의 눈 또는 눈들이 여전히 떠져 있는 경우, 눈 길을 돌리는 것은 사용자가 무주의한다고 하기에 충분하지 않을 수 있다. 오히려, 사용자는 사용자가 디스플레이에서의 변화를 의식하지 않을 그러한 방식으로 보고 있어야 한다. 예를 들어, 상이한 위치를 바라보는 것만으로도 사용자가 GUI의 그래픽에서의 갑작스런 변화를 여전히 통지할 수 있는 경우에 불충분할 수 있다. 예를 들어, 사용자의 주변 시야에서이다. 225에서 눈 상태에서의 변화가 검출되지 않는 경우, 흐름도는 눈 상태 모니터(155)가 눈 상태에서의 변화에 대해 연속해서 모니터링하는 220에서 연속된다. 225로 돌아가서, 눈 상태에서의 변화가 검출되었다고 결정되는 경우, 흐름도는 그래픽 디스플레이 모듈(160)이 제2 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 디스플레이하기 시작하는 230에서 연속된다.
도 3은 하나 이상의 실시예에 따른 GUI에 영향을 미치는 상태 변화를 관리하는 또 다른 방법을 흐름도 형태로 도시한다. 도 3의 흐름도는 도 2의 것에 대한 대체 실시예를 도시할 수 있다. 다양한 액션들이 특정 순서로 도시되었지만, 일부 실시예들에서, 다양한 액션들이 상이한 순서로 도시될 수 있다. 추가로, 여전히 다른 실시예들에서, 액션들 중 둘 이상이 동시에 일어날 수 있다. 부가적으로, 여전히 다른 실시예들에 따르면, 액션들 중 일부는 필요하지 않을 수 있거나, 다른 액션들이 포함될 수 있다. 명확성의 목적을 위해, 흐름도는 도 1의 다양한 컴포넌트들에 대해 기술될 것이다. 그러나, 하나 이상의 실시예들에 따르면, 다양한 액션들이 대안적인 컴포넌트들에 의해 취해질 수 있다는 것이 이해되어야 한다.
흐름도는 그래픽 디스플레이 모듈(160)로 하여금 일련의 프레임들의 제1 버전이 디스플레이(150) 상에 디스플레이되게 하는 305에서 시작된다. 하나 이상의 실시예들에서, 그래픽 디스플레이 모듈(160)은 제1 셋업 구성에 기초하여 초기 일련의 프레임들을 발생시킬 수 있다. 제1 셋업 구성은 일련의 프레임들이 렌더링되어야 하는 법을 나타내는 임의의 데이터일 수 있다. 다른 실시예들에서, 그래픽 디스플레이 모듈(160)은 카메라, 그 예로 후방-대면 카메라(120)에 의해 캡처된 바와 같은 일련의 프레임들을 제시할 수 있거나, 또 다른 방법에 의해 발생된 프레임들을 제시할 수 있다. 또한, 일련의 프레임들은 다른 데이터, 예를 들어 원격 서버로부터, 또는 센서(175)로부터 모아진 데이터에 기초하여 렌더링된 부가적인 정보를 포함할 수 있다. 일례로서, 그래픽 디스플레이 모듈(160)은 후방-대면 카메라(120)에 의해 캡처된 실제 환경의 뷰에서 가상 객체를 디스플레이(150) 상에 제시할 수 있다.
흐름도는 셋업 구성에서의 업데이트가 식별되는지 여부에 관한 결정이 이루어지는 310에서 연속된다. 상기에서 기술된 바와 같이, 셋업 구성에서의 업데이트는 일련의 프레임들이 렌더링되어야 하는 법을 결정하는 임의의 종류의 데이터일 수 있다. 예를 들어, 더 많거나 더 적은 상세 사항이 이용가능할 수 있거나, 다른 인자들에 의존하여, 더 크거나 더 작은 상세 레벨을 포함하는 것이 바람직할 수 있다. 어떠한 업데이트도 검출되지 않는 경우, 흐름도는 그래픽 디스플레이 모듈(160)이 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 연속해서 디스플레이하는 305에서 연속된다. 그러나, 도 2에 도시된 단계들과 대조적으로, 310에서 셋업 구성에서의 업데이트가 식별되는 경우, 흐름도는 그래픽 디스플레이 모듈(160)이 일련의 프레임들의 제1 버전을 연속해서 디스플레이할 수 있는 315에서 연속된다.
흐름도는 눈 상태 모니터(155)가 눈을 모니터링하여 눈 상태에서의 변화가 예상되는지 여부를 결정하는 320에서 연속된다. 하나 이상의 실시예들에 따르면, 눈 상태에서의 변화는, 예를 들어, 전방-대면 카메라(110)로부터의 이미지들에 기초하여 예상될 수 있다. 다른 실시예들에서, 이미지들은, 예를 들어, 눈이 감기고 있는 것을 나타낼 수 있다. 또 다른 일례로서, 다른 센서 데이터는 눈 상태에서의 변화가 예상되는 것을 나타내는 깜박거림 또는 다른 움직임이 일어나고 있는지 여부를 결정하기 위해, 센서들(175)로부터 수집될 수 있다. 예를 들어, 센서 데이터는 깜박거림이 임박할 때를 예상하기 위해 눈 주위의 근육들의 근육 움직임을 모니터링할 수 있다. 눈 상태에서의 변화가 예상된다고 결정하는 것에 응답하여, 흐름도는 그래픽 디스플레이 모듈(160)이 업데이트된 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 렌더링하는 325에서 연속된다.
흐름도는 눈 상태 모니터(155)가 눈 상태에서의 변화에 대해 모니터링하는 330에서 연속된다. 하나 이상의 실시예들에 따르면, 눈 상태 모니터(155)는 눈 상태에서의 변화를 검증하기 위해 눈들을 모니터링할 수 있다. 일례로서, 오히려 깜박거림을 단지 예상하기보다는, 눈 상태 모니터(155)는 깜박거림을 검증하기 위해 모니터링할 수 있다. 흐름도는 눈 상태에서의 변화가 검출되는지 여부에 관한 결정이 이루어질 수 있는 335에서 연속된다. 일부 실시예들에 따르면, 눈 상태에서의 변화는 사용자가 무주의하다는 것을 나타낼 수 있다. 예를 들어, 사용자는 깜박거리고 있거나, 디스플레이로부터 눈길을 돌리고 있다. 하나 이상의 다른 실시예들에서, 사용자의 눈 또는 눈들이 여전히 떠져 있는 경우, 눈길을 돌리는 것은 사용자가 무주의하다는 결정을 하기에 충분하지 않을 수 있다. 오히려, 사용자는 사용자가 디스플레이(150)의 변화를 의식하지 않는 방식으로 보고 있어야 한다. 예를 들어, 상이한 위치를 바라보는 것만으로도 사용자가, 예를 들어, 사용자의 주변 시야에서 GUI의 그래픽에서의 갑작스런 변화를 여전히 통지할 수 있는 경우에 불충분할 수 있다. 335에서 눈 상태에서의 변화가 검출되지 않는 경우, 흐름도는 눈 상태 모니터(155)가 눈 상태에서의 변화에 대해 연속해서 모니터링하는 330에서 연속된다. 335로 돌아가서, 눈 상태에서의 변화가 검출되었다고 결정되는 경우, 흐름도는 그래픽 디스플레이 모듈(160)이 제2 셋업 구성에 기초하여 일련의 프레임들의 제2 버전을 디스플레이하기 시작하는 340에서 연속된다.
하나 이상의 실시예들에 따르면, 도 2의 흐름도와 도 3의 흐름도 사이의 구별은 프레임들의 제2 버전이 렌더링되기 시작할 때이다. 하나 이상의 실시예들에서, 프레임들의 제1 버전의 디스플레이와 프레임들의 제2 버전 사이의 신속한 변화를 이루기 위해, 업데이트된 셋업 구성이 도 2에서와 같이 이용가능할 때 프레임들의 제2 버전을 렌더링하는 것을 시작하는 것이 바람직할 수 있다. 추가로, 다른 실시예들에 따르면, 눈의 상태에서의 예상되는 변화에 응답하여 프레임들의 제2 버전을 렌더링하기 시작하는 것이 바람직할 수 있다. 예를 들어, 프레임들의 제2 버전의 렌더링을 연기하는 것은 리소스들을 보존하기 위해 바람직할 수 있다. 여전히 다른 실시예들에 따르면, 그래픽 디스플레이 모듈(160)이 프레임들의 제2 버전을 렌더링하기 시작하는 시간은 다른 인자들, 그 예로 컴퓨팅 리소스가 보존되어야 하는지 여부, 또는 셋업 구성의 변화 속도에 기초하여 결정될 수 있다.
도 4는 사용자가 무주의할 때까지 상세 레벨에서의 변화가 연기되는 예시적인 사용-경우를 도시한다. 원래 가상 객체를 렌더링하기 위해 사용될 상세 레벨은 카메라에 대한 가상 객체의 거리에 의존할 수 있다. 각각의 상세 레벨, 및 예컨대 연관된 3D 모델은 특정 거리 간격과 연관될 수 있다. 거리가 소정의 임계치를 지나갈 때, 사용된 상세 레벨에서의 변화가 트리거될 수 있다. 일례로서, 상세 레벨에서의 변화는 거리가 하나의 간격을 두고 또 다른 것으로 들어갈 때 트리거될 수 있다. 401에서, 구형 객체는 카메라에 근접하여, 고도로 모자이크된 모델이 렌더링을 위해 사용된다. 모델이 카메라로부터 (402에서와 같이) 더 멀리 움직일 때, 동일한 상세 레벨이 사용될 수 있다. 그러나, 소정의 시점(421)에서, 객체가 너무 떨어져 있어 또 다른 상세 레벨이 선택될 것이다. 421에서 임계치 거리를 지나가는 것에 응답하여, 구형 객체는 413에 도시된 바와 같이 상세함이 적게 렌더링될 수 있다. 이미지(402)로부터 이미지(413)로의 변화는 사용자에 의해 인지될 것이다. 그러나, 422에서, 상세 레벨에서의 이러한 변화는 사용자가 무주의할 때까지 다시 연기된다. 이로써, 사용자는 프레임들(403, 404)에서 고도의 모자이크된 모델을 연속해서 볼 것이다. 하나 이상의 실시예들에서, 422에서 사용자가 무주의했을 때만 저해상도 메시(low resolution mesh)로의 변화가 수행되어 프레임(415)으로서 디스플레이된다.
도 5는 가상 캔(551)이 실세계 환경의 카메라 이미지들(512 내지 516)로 렌더링되는 증강 현실 시스템에서 방법이 채용되는 또 다른 예시적인 사용-경우를 도시한다. 도 5의 예시에서, 상태 변화는 포즈 결정 알고리즘에서 선택된 키프레임에 대해 연기된다. 이로써, 하나 이상의 실시예들에서, 이미지에서 가상 캔의 외양(그 예로 위치, 스케일, 또는 배향)에서의 갑작스러운 변화는 사용자가 변화를 인식하지 않도록 연기된다.
이러한 예시의 목적을 위해, 가상 객체는 캔(551)이고, 셋업 구성은 캡처된 이미지에 대한 카메라의 포즈를 결정하기 위해 사용되는 특정 키프레임(예컨대, 502)이고, 시각화 구성은 가상 객체를 렌더링하기 위해 사용되는 카메라/객체의 특정 결정 포즈이다. 시각화 프레임은 가상 객체(551)의 렌더링에 의해 오버레이되는 실세계 환경의 카메라 이미지(예컨대, 512)를 보여주는 증강된 이미지(예컨대, 522)이다.
실세계 환경은 실제 테이블(예컨대, (541))의 장면으로 구성될 수 있다. 장면의 모델은 키프레임들로서 이용가능할 수 있고, 키프레임들 각각은 테이블의 이미지(예컨대, 502, 503) 및 키포즈(keypose)로 지칭되는, 대응하는 알려진 6 자유도 카메라 포즈로 구성된다. 도 5의 예시에서, 키프레임 이미지들(502, 503)은 상이한 시점들로부터 테이블(541, 542)을 도시한다.
장면은 그 후에 이동 카메라를 사용하여 캡처될 수 있다. 예를 들어, 모바일 디바이스의 카메라이다. 도 5의 제2 열(511)은 라이브 비디오 프레임들(511)과 같은 캡처된 이미지들의 시퀀스를 도시한다. 각각의 획득 이미지에 대해, 포즈 결정 방법은 캡처된 이미지 자체, 장면 모델, 및 잠재적으로 이전에 캡처된 이미지들 및 포즈들의 이력에 기초하여 카메라 포즈를 결정할 수 있다.
실세계의 제1 획득 이미지(512)에 대해, 알고리즘은 최상의 핏팅(fitting) 키프레임(502)을 발견하고, 이미지(512), 키프레임 이미지(502), 및 키프레임 이미지(502)의 알려진 키포즈에 기초하여 이미지(512)에 대한 카메라 포즈를 결정할 수 있다. 키프레임 이미지(502)에 기초한 이미지(512)에 대한 카메라 포즈는 가상 캔(551)을 이미지(512)의 상부에 렌더링하기 위해 사용되어, 증강 이미지(522)를 초래할 수 있다.
실세계의 제2 획득 이미지(513)에 대해, 알고리즘은 동일한 키프레임 이미지(502)를 최상의 핏팅 키프레임 이미지로 연속하여 고려할 수 있다. 예를 들어, 키프레임 이미지는 최상의 핏팅 키프레임 이미지로서 결정될 수 있거나, 최상의 키프레임을 결정하는 알고리즘은 매 프레임에 대해 트리거되지 않을 수 있고, 사전의 프레임에 대해 최상으로 고려되는 것을 사용한다. 그러므로, 알고리즘은 이미지(513), 키프레임 이미지(502), 및 키프레임 이미지(502)의 알려진 키포즈에 기초하여 이미지(513)에 대한 포즈를 결정할 수 있다. 대안적으로, 알고리즘은 이미지(513), 이미지(512), 및 키프레임 이미지(502) 및 키프레임 이미지(502)의 알려진 키포즈에 기초하여 결정되었던 이미지(512)에 대해 사전에 결정된 포즈에 기초하여 이미지(513)에 대한 포즈를 결정할 수 있다. 두 경우에서, 결정된 포즈는 원래 키프레임(502)에 의존할 수 있다. 키프레임(502)에 기초한 이미지(513)에 대한 결정된 카메라 포즈는 가상 캔(552)을 이미지(513)의 상부 상에 렌더링하기 위해 사용되고 증강 이미지(523)를 초래할 수 있다.
실세계 환경의 제3 획득 이미지(514)에 대해, 알고리즘은 이제 또 다른 키프레임 이미지가 최상의 핏팅인 것, 즉 키프레임(503)인 것을 결정할 수 있다. 이제, 표준 접근법은 이미지(514), 키프레임 이미지(503), 및 키프레임 이미지(503)의 알려진 키포즈에 기초하여 이미지(514)에 대한 포즈를 결정하기 위해 새로운 결정된 최상의 핏팅 키프레임(503)을 직접 사용할 수 있다. 키프레임(503)에 기초한 이미지(514)에 대한 결정된 카메라 포즈는 가상 캔(555)을 이미지(514)의 상부 상에 렌더링하기 위해 사용되고 증강 이미지(534)를 초래할 수 있다. 사용된 키프레임(즉, 셋업 구성)에서의 이러한 변화는 잠재적으로 포즈에서 눈에 띄는 갑작스런 변화(시각화 구성)를 초래할 수 있고, 나아가 사용자에 의해 인지될 가상 객체의 렌더링을 초래할 수 있다. 그러나, 사용자가 무주의했던 경우, 새로운 키프레임(503)은 포즈를 결정하기 위해 사용될 수 있고, 최종 증강 이미지는 이미지(534)일 수 있다. 그러나, 도시된 예시에서, 사용자는 주의하고 있어서, 키프레임(502)은 여전히 시각화를 위한 포즈를 결정하기 위해 사용되고, 최종 증강 이미지는 이미지(524)이다. 추적 알고리즘의 부정확성 및 키프레임(502)으로부터 결정된 포즈로 인해, 캔(553)은 테이블의 상부 상에 플러시(flush)로 렌더링되지 않을 수 있지만, 테이블 위로 약간 떠 있을 수 있다는 것에 유의해야 한다. 즉, 키프레임(503)은 이미지(534)에서 볼 수 있는, 더 정확한 포즈를 제공할 수 있으며, 이 경우 캔(555)은 테이블에 더 낫게 정렬된다. 또한, 프레임 간의 추적을 가능하게 하기 위해 새로운 키 프레임(503)에 따른 포즈를 결정하는 것이 가능할 수 있다. 그러나, 이러한 포즈는 가상 객체의 현재 렌더링을 위해 사용되지 않을 수 있다.
실세계의 제4 획득 이미지(515)에 대해, 알고리즘은 다시 키프레임 이미지(503)를 최상의 핏팅 키프레임 이미지로 고려할 수 있다. 이 경우는, 최상의 키 프레임을 결정하는 알고리즘이 매 프레임에 대해 트리거되지 않을 수 있고 사전의 프레임으로부터 최상으로 고려되는 것을 사용하기 때문이다. 사용자가 무주의한 경우, 새로운 키프레임(503)은 (키프레임(503)에 기초한 원래 프레임 간의 추적된 사전의 포즈에 기초하여 또는 직접적으로) 포즈를 결정하기 위해 사용될 수 있고, 최종 증강 이미지는 이미지(535)일 것이다. 그러나, 도시된 예시에서, 사용자는 다시 주의하고, 이로써 키프레임(502)은 포즈를 결정하기 위해 사용될 수 있고, 최종 증강 이미지는 이미지(525)이다. 다시, 추적 알고리즘의 부정확성 및 키프레임(502)으로부터 결정된 포즈로 인해, 캔(554)은 테이블의 상부 상에 플러시로 렌더링되지 않을 수 있지만, 테이블 위로 떠 있거나, 테이블과 교차할 수 있다. 하나 이상의 실시예들에서, 키프레임(503)은 잠재적으로 이미지(535)에서와 같이, 더 정확한 포즈를 전달할 수 있고, 이 경우에 캔(556)은 테이블에 더 낫게 정렬된다.
도 6은 사용자 또는 애플리케이션 자체가 도시 지도에 대해 줌처리되는 또 다른 예시적인 사용-경우를 도시한다. 시작(601)에서 줌 아웃될 때, 도시의 큰 부분이 도시되며, 대략적인 정보만이 제시된다(주요 거리들(606), 도시 이름(607)). 602에서 줌처리될 때, 큰 거리(608) 및 도시 이름(609)만이 연속해서 디스플레이된다. 그러나, 추가로 줌처리될 때, 애플리케이션은 부가적인 정보(더 적은 주요 거리(613), 관심 지점들에 대한 라벨들(611), 지하 수송(614))를 갖는, 604와 같은 이미지를 디스플레이하려고 시도할 수 있다. 대신에 도시 이름은 더 이상 디스플레이되지 않을 수 있다(612). 부가적인 정보가 디스플레이되어야 할 때(619)는, 예를 들어, 동적으로 스트리밍된 콘텐츠가 완료될 때 이용가능성에 의존할 수 있거나, 또는 너무 많은 라벨들/층들에 의한 클러터링(cluttering)이 없이 GUI를 유지하기 위한 사양에 의존한다.
다시, 제안된 방법은 이미지(603)를 초래하는 랜더링을 위해 오래된 셋업 구성(주요 거리들 및 도시 이름(610)만 보임)을 유지할 수 있다. "새로운" 셋업 구성(예컨대, 더 작은 거리들의 가시성)으로의 변화는 사용자가 무주의할 때까지 연기된다(620). 사용자가 무주의했다는 것이 검출된 이후에, "새로운"/제2 셋업 구성은, 이제 보이는 더 작은 거리들(616), 관심 지점들에 대한 라벨들(615), 지하 수송(618) 및 더 이상 디스플레이되지 않은 도시 이름(617)을 갖는 이미지(605)를 초래하는 렌더링을 위해 사용된다. 셋업 구성(층들의 가시성)이 변화되었던 동안 사용자가 무주의했기 때문에, 그/그녀는 변화를 누락했을 가능성이 있다.
도 7은 사용자가 도시 지도 상에 패닝(panning)하고 있거나, 또는 GPS 위치가 업데이트되고 애플리케이션이 이에 따라 지도를 중심으로 하고 있는 또 다른 예시적인 사용-경우를 도시한다. 지도의 초기 디스플레이된 이미지(701)에서, 거리들(707)뿐 아니라 관심 지점들의 라벨들(706)이 디스플레이된다. 지도를 아래로 스크롤함으로써, 다음 디스플레이된 이미지(702)에서, 지도의 새로운 부분들이 보이게 된다. 이들 새로운 부분들(708)은 초기에 어떠한 라벨도 가지지 않는다(예를 들어, "Residenz"는 누락되어 있음). 누락된 라벨들은 예를 들어, 콘텐츠의 동적 스트리밍에 의해 또는 클램핑된 라벨들을 피하기 위한 사양에 의해 야기될 수 있다. 사용자가 (완전한 다운로드로 인해 또는 사양으로 인해) 소정의 시점(714)에서 아래로 스크롤할 때, 새로운 지도 영역들에 대한 새로운 라벨들은 이미지(704)에 도시된 바와 같이 갑자기 나타날 수 있고, 이 경우에 라벨 "Residenz"(709)가 나타난다. 그러나, 라벨 "Residenz"가 여전히 보이지 않는(710) 채로 있는 이미지(703)를 초래하는 렌더링을 위한 오래된 셋업 구성은 남아있게 된다. "새로운" 셋업 구성으로의 변화(새로운 라벨들, 예컨대 Residenz가 보임)는 사용자가 무주의할 때까지 연기될 수 있다. 사용자가 무주의한 것으로 검출될 때(715), "새로운" 셋업 구성은 이제 보이는 새로운 라벨들(711, 712, 713)을 갖는 이미지(705)를 초래하는 랜더링을 위해 사용될 수 있다. 셋업 구성(라벨들의 가시성)이 변화되었던 동안 사용자가 무주의했기 때문에, 그/그녀는 변화를 누락했을 가능성이 있다.
이제, 도 8을 참조하면, 예시적인 다기능 디바이스(800)의 단순화된 기능 블록 다이어그램이 일 실시예에 따라 도시된다. 다기능 전자 디바이스(800)는 프로세서(805), 디스플레이(810), 사용자 인터페이스(815), 그래픽 하드웨어(820), 디바이스 센서들(825)(예컨대, 근접 센서/주변 광 센서, 가속도계 및/또는 자이로스코프), 마이크로폰(830), 오디오 코덱(들)(835), 스피커(들)(840), 통신 회로부(845), (예컨대, 카메라 시스템(100)을 포함하는) 디지털 이미지 캡처 회로부(850), (예컨대, 디지털 이미지 캡처 유닛(850)을 지원하는) 비디오 코덱(들)(855), 메모리(860), 저장 디바이스(865), 및 통신 버스(870)를 포함할 수 있다.
다기능 전자 디바이스(800)는 예를 들어, 디지털 카메라 또는 개인 전자 디바이스 그 예로 개인 휴대정보 단말기(PDA), 개인 음악 플레이어, 모바일 텔레폰, 또는 태블릿 컴퓨터일 수 있다.
프로세서(805)는 디바이스(800)에 의해 수행되는 (예컨대, 본 명세서에 개시된 바와 같은 이미지들 및 신호 및 다수-카메라 교정의 발생 및/또는 프로세싱과 같은) 많은 기능들의 동작을 이행하거나 제어하기 위해 필요한 명령어들을 실행시킬 수 있다. 일례를 들면, 프로세서(805)는 디스플레이(810)를 구동하고 사용자 인터페이스(815)로부터 사용자 입력을 수신할 수 있다. 사용자 인터페이스(815)는 사용자가 디바이스(800)와 상호 작용하는 것을 허용할 수 있다. 예를 들어, 사용자 인터페이스(815)는 다양한 형태들, 그 예로 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 가질 수 있다. 프로세서(805)는 또한, 예를 들어, 모바일 디바이스에 제공되는 것과 같은 시스템-온-칩일 수 있고 전용 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 프로세서(805)는 감소된 명령어-세트 컴퓨터(reduced instruction-set computer, RISC) 또는 복합 명령어-세트 컴퓨터(complex instruction-set computer, CISC) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초할 수 있으며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 그래픽 하드웨어(820)는 그래픽을 프로세싱하기 위한 특수 목적의 연산 하드웨어일 수 있고/있거나 보조 프로세서(805)는 그래픽 정보를 프로세싱한다. 일 실시예에서, 그래픽 하드웨어(820)는 프로그래밍 가능한 GPU를 포함할 수 있다.
이미지 캡처 회로부(850)는 하나의 (또는 그 초과) 렌즈 조립체들(880)을 포함할 수 있으며, 이 경우에 각각의 렌즈 조립체는 별개의 초점 거리를 가질 수 있다. 각각의 렌즈 조립체는 별개의 연관 센서 요소(890)를 가질 수 있다. 대안적으로, 2 개 이상의 렌즈 조립체들은 공통 센서 요소를 공유할 수 있다. 이미지 캡처 회로부(850)는 정지 및/또는 비디오 이미지들을 캡처할 수 있다. 이미지 캡처 회로부(850)로부터의 출력은 비디오 코덱(들)(865) 및/또는 프로세서(805) 및/또는 그래픽 하드웨어(820), 및/또는 회로부(865) 내에 통합된 전용 이미지 프로세싱 유닛 또는 파이프라인에 의해, 적어도 부분적으로 프로세싱될 수 있다. 그렇게 캡처된 이미지들은 메모리(860) 및/또는 저장장치(855)에 저장될 수 있다.
센서 및 카메라 회로부(850)는 적어도 부분적으로 비디오 코덱(들)(855) 및/또는 프로세서(805) 및/또는 그래픽 하드웨어(820), 및/또는 회로부(850) 내에 통합된 전용 이미지 프로세싱 유닛에 의해 본 개시내용에 따라 프로세싱될 수 있는 정지 및 비디오 이미지들을 캡처할 수 있다. 그렇게 캡처된 이미지들은 메모리(860) 및/또는 저장장치(865)에 저장될 수 있다. 메모리(860)는 디바이스 기능들을 수행하기 위해 프로세서(805) 및 그래픽 하드웨어(820)에 의해 사용된 하나 이상의 상이한 유형들의 미디어를 포함할 수 있다. 예를 들어, 메모리(860)는 메모리 캐시, 판독-전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 저장장치(865)는 미디어(예컨대, 오디오, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보, 및 임의의 다른 적합한 데이터를 저장할 수 있다. 저장장치(865)는, 예를 들어 자기 디스크들(고정형, 플로피, 및 이동형) 및 테이프, CD-ROM들 및 DVD(digital video disk)들과 같은 광학 미디어, 및 EPROM(Electrically Programmable Read-Only Memory) 및 EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 반도체 메모리 디바이스들을 포함하는, 하나 이상의 비일시적 저장 매체들을 포함할 수 있다. 메모리(860) 및 저장 장치(865)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 기록되는 컴퓨터 프로그램 명령어들 또는 코드를 유형적으로 보유하기 위해 사용될 수 있다. 예를 들어, 프로세서(805)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 기술된 방법들 중 하나 이상을 구현할 수 있다.
그러므로, 개시된 요지의 범주는 첨부된 특허청구범위를 참조하여, 이러한 청구범위의 권리를 갖는 등가물들의 전체 범주에 따라 결정되어야 한다. 첨부된 청구범위에서, 용어들 "포함하는(including)" 및 "여기서(in which)"는 각자의 용어들 "포함하는(comprising)" 및 "여기서(wherein)"의 평이한 영어 등가물들로서 사용된다.

Claims (21)

  1. 상태 변화를 트리거하는 방법으로서,
    제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 디스플레이하는 단계;
    상기 일련의 프레임들에 대한 제2 셋업 구성을 얻는 단계;
    제2 셋업 구성을 얻는 단계에 응답하여, 상기 제1 일련의 프레임들이 디스플레이되는 동안, 눈 상태에서의 변화에 대해 모니터링하는 단계; 및
    상기 눈 상태에서의 변화를 검출하는 단계에 응답하여, 상기 제2 셋업 구성에 기초하여 상기 일련의 프레임들의 제2 버전을 디스플레이하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 눈 상태에서의 변화는 사용자의 무주의(inattentiveness)를 나타내는, 방법.
  3. 제1항에 있어서, 상기 디스플레이하는 단계는,
    상기 제2 셋업 구성을 얻는 단계에 응답하여, 상기 일련의 프레임들의 제2 버전을 렌더링하고 상기 눈 상태에서의 변화가 검출될 때까지 상기 일련의 프레임들의 제2 버전을 디스플레이하지 않는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경에서 디스플레이된 가상 콘텐츠와 연관되는, 방법.
  5. 제1항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경의 특성들에 관한 것인, 방법.
  6. 제1항에 있어서, 눈 상태에서의 변화에 대해 모니터링하는 단계는,
    상기 눈 상태에 대응하는 눈을 향하는 카메라로부터 복수의 이미지 프레임들을 얻는 단계, 및
    상기 눈의 깜박거림에 대해 상기 복수의 이미지 프레임들을 모니터링하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 눈 상태에서의 변화에 대해 모니터링하는 단계는 상기 눈 상태에 대응하는 눈의 시선 방향을 모니터링하는 단계를 포함하는, 방법.
  8. 시스템으로서,
    디스플레이 디바이스;
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 결합되고, 상기 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 코드를 포함하는 메모리를 포함하고,
    상기 컴퓨터 코드는 상기 시스템으로 하여금,
    상기 디스플레이 디바이스 상에서, 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 디스플레이하고;
    상기 일련의 프레임들에 대한 제2 셋업 구성을 얻고;
    제2 셋업 구성을 얻는 것에 응답하여, 상기 제1 일련의 프레임들이 디스플레이되는 동안, 눈 상태에서의 변화에 대해 모니터링하고;
    상기 눈 상태에서의 변화를 검출하는 것에 응답하여, 상기 제2 셋업 구성에 기초하여 상기 일련의 프레임들의 제2 버전을 디스플레이하도록 하는, 시스템.
  9. 제8항에 있어서, 상기 눈 상태에서의 변화는 사용자의 무주의를 나타내는, 시스템.
  10. 제8항에 있어서, 디스플레이하기 위한 상기 컴퓨터 코드는,
    상기 제2 셋업 구성을 얻는 것에 응답하여, 상기 일련의 프레임들의 제2 버전을 렌더링하고 상기 눈 상태에서의 변화가 검출될 때까지 상기 일련의 프레임들의 제2 버전을 디스플레이하지 않기 위한 컴퓨터 코드를 추가로 포함하는, 시스템.
  11. 제8항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경에서 디스플레이된 가상 콘텐츠와 연관되는, 시스템.
  12. 제8항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경의 특성들에 관한 것인, 시스템.
  13. 제8항에 있어서, 눈 상태에서의 변화에 대해 모니터링하기 위한 상기 컴퓨터 코드는,
    상기 눈 상태에 대응하는 눈을 향하는 카메라로부터 복수의 이미지 프레임들을 얻고,
    상기 눈의 깜박거림에 대해 상기 복수의 이미지 프레임들을 모니터링하기 위한 컴퓨터 코드를 포함하는, 시스템.
  14. 제8항에 있어서, 눈 상태에서의 변화에 대해 모니터링하는 것은 상기 눈 상태에 대응하는 눈의 시선 방향을 모니터링하는 것을 포함하는, 시스템.
  15. 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 판독가능 코드를 포함하는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 코드는,
    디스플레이 디바이스 상에서, 제1 셋업 구성에 기초하여 일련의 프레임들의 제1 버전을 디스플레이하고;
    상기 일련의 프레임들에 대한 제2 셋업 구성을 얻고;
    제2 셋업 구성을 얻는 것에 응답하여, 상기 제1 일련의 프레임들이 디스플레이되는 동안, 눈 상태에서의 변화에 대해 모니터링하고;
    상기 눈 상태에서의 변화를 검출하는 것에 응답하여, 상기 제2 셋업 구성에 기초하여 상기 일련의 프레임들의 제2 버전을 디스플레이하도록 하는, 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 상기 눈 상태에서의 변화는 사용자의 무주의를 나타내는, 컴퓨터 판독가능 매체.
  17. 제15항에 있어서, 디스플레이하기 위한 상기 컴퓨터 코드는,
    상기 제2 셋업 구성을 얻는 것에 응답하여, 상기 일련의 프레임들의 제2 버전을 렌더링하고 상기 눈 상태에서의 변화가 검출될 때까지 상기 일련의 프레임들의 제2 버전을 디스플레이하지 않기 위한 컴퓨터 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  18. 제15항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경에서 디스플레이된 가상 콘텐츠와 연관되는, 컴퓨터 판독가능 매체.
  19. 제15항에 있어서, 상기 제1 셋업 구성 및 상기 제2 셋업 구성은 실제 환경의 특성들에 관한 것인, 컴퓨터 판독가능 매체.
  20. 제15항에 있어서, 눈 상태에서의 변화에 대해 모니터링하기 위한 상기 컴퓨터 코드는,
    상기 눈 상태에 대응하는 눈을 향하는 카메라로부터 복수의 이미지 프레임들을 얻고,
    상기 눈의 깜박거림에 대해 상기 복수의 이미지 프레임들을 모니터링하기 위한 컴퓨터 코드를 포함하는, 컴퓨터 판독가능 매체.
  21. 제15항에 있어서, 눈 상태에서의 변화에 대해 모니터링하는 것은 상기 눈 상태에 대응하는 눈의 시선 방향을 모니터링하는 것을 포함하는, 컴퓨터 판독가능 매체.
KR1020197009340A 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기 KR20190049784A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217023783A KR102404118B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398438P 2016-09-22 2016-09-22
US62/398,438 2016-09-22
PCT/US2017/052981 WO2018057910A1 (en) 2016-09-22 2017-09-22 Postponing the state change of an information affecting the graphical user interface until during the conditon of inattentiveness

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023783A Division KR102404118B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기

Publications (1)

Publication Number Publication Date
KR20190049784A true KR20190049784A (ko) 2019-05-09

Family

ID=60037708

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217023783A KR102404118B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
KR1020227017896A KR102565402B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기를 위한 방법, 비일시적 컴퓨터 판독가능 매체 및 시스템
KR1020197009340A KR20190049784A (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217023783A KR102404118B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
KR1020227017896A KR102565402B1 (ko) 2016-09-22 2017-09-22 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기를 위한 방법, 비일시적 컴퓨터 판독가능 매체 및 시스템

Country Status (7)

Country Link
US (3) US10671159B2 (ko)
EP (1) EP3504610A1 (ko)
JP (2) JP2019530928A (ko)
KR (3) KR102404118B1 (ko)
CN (2) CN109791432B (ko)
AU (1) AU2017330428B2 (ko)
WO (1) WO2018057910A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186636A2 (en) 2012-06-14 2013-12-19 Bally Gaming, Inc. System and method for augmented reality gaming
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7409184B2 (ja) * 2020-03-19 2024-01-09 マツダ株式会社 状態推定装置
US11941747B2 (en) * 2021-10-29 2024-03-26 Adobe Inc. Delivering a virtual environment with dynamic level of detail per object

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259003A (ja) * 1993-03-03 1994-09-16 Matsushita Electric Ind Co Ltd シュミレータ用画像制御システム
US7423686B2 (en) * 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
US6927674B2 (en) * 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
US20060100928A1 (en) * 2004-11-09 2006-05-11 Walczak Robert Jr System and method for providing content to a mobile communication device
US20090079746A1 (en) * 2007-09-20 2009-03-26 Apple Inc. Switching between graphics sources to facilitate power management and/or security
JP2009294735A (ja) * 2008-06-03 2009-12-17 Nobunori Sano 関心調査装置
US8265607B2 (en) * 2008-08-07 2012-09-11 Research In Motion Limited System and method for providing an interactive content portal on a mobile device
JP2010118739A (ja) * 2008-11-11 2010-05-27 Sony Corp スイッチャ制御装置、スイッチャ制御方法および画像合成装置
US9600306B2 (en) * 2009-01-31 2017-03-21 International Business Machines Corporation Client-side simulated virtual universe environment
KR101051433B1 (ko) * 2009-09-30 2011-07-22 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8788711B2 (en) * 2011-06-14 2014-07-22 Google Inc. Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US9892535B1 (en) * 2012-01-05 2018-02-13 Google Inc. Dynamic mesh generation to minimize fillrate utilization
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
JP5594850B2 (ja) * 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US20150187098A1 (en) * 2012-09-14 2015-07-02 Google Inc. Method and apparatus for unobtrusively changing imagery supplementing a map display
JP5974809B2 (ja) * 2012-09-28 2016-08-23 大日本印刷株式会社 表示装置、表示制御方法及び表示制御プログラム
WO2014058233A1 (ko) * 2012-10-11 2014-04-17 연세대학교 산학협력단 데이터 프리로드를 통한 사용자 디바이스의 gui 반응 속도 증대 방법 및 그 사용자 디바이스
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
KR102081933B1 (ko) * 2013-08-28 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US20150143234A1 (en) * 2013-10-22 2015-05-21 Forbes Holten Norris, III Ergonomic micro user interface display and editing
CA2931776A1 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2015127146A1 (en) * 2014-02-19 2015-08-27 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
CN107087431B (zh) * 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
KR101709087B1 (ko) * 2014-08-01 2017-02-23 삼성디스플레이 주식회사 타이밍 제어부, 이를 포함하는 표시 장치 및 이의 구동 방법
KR20160036745A (ko) * 2014-09-25 2016-04-05 삼성디스플레이 주식회사 다시점 영상 표시 시스템 및 그 구동 방법
US20160180762A1 (en) * 2014-12-22 2016-06-23 Elwha Llc Systems, methods, and devices for controlling screen refresh rates
US9977909B1 (en) * 2015-01-13 2018-05-22 State Farm Mutual Automobile Insurance Company Selectively obscuring and/or revealing sensitive information in a display of a computing device
US20160227107A1 (en) * 2015-02-02 2016-08-04 Lenovo (Singapore) Pte. Ltd. Method and device for notification preview dismissal
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
US20160259405A1 (en) * 2015-03-03 2016-09-08 Microsoft Technology Licensing, Llc Eye Gaze for Automatic Paging
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
IN2015DE02924A (ko) * 2015-09-16 2015-10-23 Hcl Technologies Ltd
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
JP6259003B2 (ja) 2016-04-15 2018-01-10 ヒロセ電機株式会社 回路基板用プラグ電気コネクタ

Also Published As

Publication number Publication date
JP2019530928A (ja) 2019-10-24
CN109791432A (zh) 2019-05-21
CN114706480A (zh) 2022-07-05
US20210311550A1 (en) 2021-10-07
US10671159B2 (en) 2020-06-02
KR20210095747A (ko) 2021-08-02
AU2017330428B2 (en) 2020-05-07
US11016565B2 (en) 2021-05-25
KR102404118B1 (ko) 2022-05-31
US11334156B2 (en) 2022-05-17
KR102565402B1 (ko) 2023-08-08
US20200293109A1 (en) 2020-09-17
JP7374956B2 (ja) 2023-11-07
EP3504610A1 (en) 2019-07-03
WO2018057910A1 (en) 2018-03-29
KR20220078715A (ko) 2022-06-10
AU2017330428A1 (en) 2019-03-14
US20180088667A1 (en) 2018-03-29
JP2021170114A (ja) 2021-10-28
CN109791432B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
JP5732988B2 (ja) 画像処理装置、表示制御方法及びプログラム
JP7374956B2 (ja) グラフィカルユーザインタフェースに影響する情報の状態変化の不注意状態期間までの延期
CN104350736B (zh) 附近位置信息的增强现实布置
KR20190141758A (ko) 콘텐츠를 공간 3d 환경에 매칭
US9201625B2 (en) Method and apparatus for augmenting an index generated by a near eye display
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
US10506221B2 (en) Field of view rendering control of digital content
CN110622110A (zh) 提供沉浸式现实内容的方法和装置
JP2017126899A (ja) 画像処理装置および画像処理方法
US20180059811A1 (en) Display control device, display control method, and recording medium
KR20190129982A (ko) 전자기기 및 그 제어 방법
EP3510440B1 (en) Electronic device and operation method thereof
JP2013025622A (ja) 情報表示装置、情報表示方法およびプログラム
WO2016044983A1 (zh) 一种图像处理方法、装置及电子设备
CN116893742A (zh) 一种目标分割方法、装置、设备和存储介质
TWI621034B (zh) 虛擬實境環境中實境資訊之顯示方法及系統，及其相關電腦程式產品
WO2019102885A1 (ja) 画像の表示部分を変更可能な電子機器
KR20180101950A (ko) 영상을 처리하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent