KR102090936B1 - 주의 기반 렌더링 및 피델리티 - Google Patents

주의 기반 렌더링 및 피델리티 Download PDF

Info

Publication number
KR102090936B1
KR102090936B1 KR1020187035287A KR20187035287A KR102090936B1 KR 102090936 B1 KR102090936 B1 KR 102090936B1 KR 1020187035287 A KR1020187035287 A KR 1020187035287A KR 20187035287 A KR20187035287 A KR 20187035287A KR 102090936 B1 KR102090936 B1 KR 102090936B1
Authority
KR
South Korea
Prior art keywords
user
area
tracking data
tracking
display device
Prior art date
Application number
KR1020187035287A
Other languages
English (en)
Other versions
KR20180132989A (ko
Inventor
폴 팀
아드레아스 라모스 세바요스
라이언 할보르손
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Publication of KR20180132989A publication Critical patent/KR20180132989A/ko
Application granted granted Critical
Publication of KR102090936B1 publication Critical patent/KR102090936B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y02D10/153—
    • Y02D10/173—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

엔터테인먼트 시스템 상에서 주의 기반 렌더링을 위한 방법 및 시스템이 제공된다. 트래킹 장치는 사용자와 관련된 데이터를 캡쳐하고 사용자가 스크린의 특정 부분에 (예를 들어 시각적 또는 감정적으로) 반응했는지를 결정하는데 사용된다. 처리 전력은, 업데이트 속도 및/또는 그래픽의 피델리티 및 세부사항이 증가하는, 스크린의 이 부분에서 증가된다. 사용자가 집중하지 않는 스크린의 영역에서 처리 전력은 감소되고 그 영역으로부터 전환되어, 그래픽의 피델리티 및 세부사항 및/또는 업데이트 속도의 감소를 가져온다.

Description

주의 기반 렌더링 및 피델리티{ATTENTION-BASED RENDERING AND FIDELITY}
본 발명은 일반적인 전자 시스템에 관한 것으로, 더욱 구체적으로 콘텐츠에 대한 반응을 식별하기 위해 트래킹을 이용하는 시스템 및 방법에 관한 것이다.
전자 시스템에서, 특히 엔터테인먼트 및 게임 시스템에서, 사용자는 일반적으로 게임 프로그램에서 적어도 하나의 캐릭터의 행동 또는 동작을 제어한다. 카메라 각도로 결정되는 바와 같은 사용자의 시점은, 시스템의 처리 전력과 같은, 하드웨어 제약을 포함하는 여러 인자에 따라 달라진다. 2차원 그래픽 게임에서, 일반적인 사용자 시각은 탑-다운 시점(top-down view)(또는 "헬리콥터" 시점)을 포함하고, 사용자는 제3자 관점 및 횡 스크롤링 시점(side-scrolling view)에서 게임을 보고, 사용자는 캐릭터가 스크린의 좌우에 걸쳐 이동함에 따라 제3자 관점에서 캐릭터를 본다. 이 관점들은 낮은 레벨의 세부사항을 필요로 하고, 이에 따라, 시스템의 처리 유닛에서 낮은 처리 전력을 필요로 한다.
3차원 그래픽 게임에서, 일반적인 사용자 시점은 고정된 3D 시점을 포함하고, 전경(foreground)에서 대상물들이 정적 배경(static background)에 대해 실시간으로 업데이트되고, 사용자의 관점은 고정된 1인칭 시점(즉, 사용자가 게임 캐릭터의 관점에서 게임을 본다) 및 3인칭 시점으로 남아있고, 사용자는, 캐릭터의 위 또는 뒤와 같이, 게임 캐릭터로부터 떨어진 거리에서 게임 캐릭터를 본다. 시점은 게임의 카메라 시스템의 정교함에 의존한다. 일반적으로 사용되는 카메라 시스템은 이하의 3가지 타입이다: 고정된 카메라 시스템, 게임 캐릭터를 따라가는 트래킹 카메라 시스템, 및 사용자가 카메라 각도를 제어하도록 하는 상호적인 카메라 시스템.
3차원 관점이 사용자에게 더욱 현실적이이나 더 많은 처리 전력을 필요로 하고, 이에 따라, 렌더링에서 세부사항의 레벨은 3차원 시점을 생성하기 위해 처리 전력에서 드레인의 결과에 시달릴 수 있다.
따라서, 사용자가 게임 플레이하는 동안 사용자의 주의를 집중시키는 트래킹에 의한 처리 전력의 보존 및 렌더링 세부사항을 제공 사이의 균형을 개선하기 위한 시스템 및 방법이 필요하다.
엔터테인먼트 시스템 상에서 주의 기반 렌더링하기 위한 방법 및 시스템을 제공하는 본 발명의 실시형태들을 제공한다. 트래킹 장치는 사용자와 관련된 트래킹 데이터를 캡쳐한다. 트래킹 데이터는 사용자가 엔터테인먼트 시스템에 접속되는 디스플레이 장치 상에 디스플레이되는 적어도 하나의 영역에 반응하는지를 결정하기 위해 사용된다. 프로세서는 그래픽 처리 유닛에 결정을 통신하고 디스플레이 장치의 영역에 그래픽을 렌더링하는데 사용되는 처리 전력을 대체하도록 명령한다. 사용자가 상기 영역에 주목하는 경우, 처리 전력이 증가되고, 차례로 그래픽의 피델리티(fidelity) 및 세부사항이 증가 및/또는 영역 내에 대상물이 업데이트되는 속도가 증가한다. 사용자가 상기 영역에 주목하지 않는 경우, 처리 전력이 다른 영역으로 돌아가고, 그 결과 그래픽의 피델리티 및 세부사항이 감소 및/또는 영역 내에 대상물의 업데이트 속도가 감소한다.
본 발명의 다양한 실시형태들은 엔터테인먼트 시스템 상에서 주의에 기반하여 렌더링하는 방법을 포함한다. 이러한 방법은 트래킹 장치에 의해 적어도 한명의 사용자로부터 트래킹 데이터를 수신하는 단계를 포함하고, 트래킹 데이터는 사용자의 반응에 따라 디스플레이 장치 상에 디스플레이된 적어도 하나의 영역에 캡쳐된다. 트래킹 데이터는 트래킹 장치를 거쳐 프로세서로 전송된다. 프로세서는 메모리에 저장된 명령을 실행하고, 프로세서에 의한 명령의 실행은 사용자가 적어도 하나의 영역에서 반응하는지를 결정하도록 트래킹 데이터를 활용하고 렌더링 그래픽을 위해 사용되는 처리 전력을 대체하기 위해 그래픽 처리 유닛과 통신한다. 다른 실시형태는 전력 절감 모드를 개시하기 위한 선호도를 나타내는 사용자에 의한 선택을 수신하는 단계, 메모리에 선택을 저장하는 단계, 및 트래킹 데이터가 사용자에 의해 디스플레이 장치의 주의 부족을 나타낼 때 전력 절감 모드를 개시하는 단계를 포함한다.
다른 실시형태는 주의에 기반하여 렌더링하는 시스템을 포함한다. 이러한 시스템은 엔터테인먼트 시스템에 접속되는 디스플레이 장치와 메모리를 포함한다. 트래킹 장치는 사용자와 관련된 트래킹 데이터를 캡쳐한다. 프로세서는 메모리에 저장된 명령들을 실행하고, 프로세서에 의한 명령의 실행은 사용자가 디스플레이 장치 상에 디스플레이되는 적어도 하나의 영역에 반응했는지를 결정하도록 트래킹 데이터를 활용하고 렌더링 그래픽을 위해 사용되는 처리 전력을 대체하기 위해 그래픽 처리 유닛과 통신한다.
본 발명의 일부 실시형태는 주의 기반 렌더링을 위한 방법을 수행하기 위해 프로세서에 의해 실행가능한 프로그램이 내장된 컴퓨터로 판독가능한 저장 매체를 포함한다.
도 1은 예시적인 전자 엔터테인먼트 시스템의 블록 다이어그램이다.
도 2는 콘텐츠에 대한 반응을 식별하기 위해 트래킹을 활용하는 방법 단계의 플로우차트이다.
도 3a는 세부사항의 표준 레벨을 나타내는 예시적인 엔터테인먼트 시스템 환경의 스크린샷이다.
도 3b는 사용자가 주의를 집중하지 않는 영역에서 세부사항의 낮은 레벨을 나타내는 예시적인 엔터테인먼트 시스템 환경의 스크린샷이다.
도 3c는 사용자가 주의를 집중하는 영역에서 세부사항의 높은 레벨을 나타내는 예시적인 엔터테인먼트 시스템 환경의 스크린샷이다.
도 1은 예시적인 전자 엔터테인먼트 시스템(100)의 블록 다이어그램이다. 엔터테인먼트 시스템(100)은 메인 메모리(102), 중앙 처리 유닛(CPU, 104), 적어도 하나의 벡터 유닛(106), 그래픽 처리 유닛(108), 입력/출력(I/O) 프로세서(110), I/O 프로세서 메모리(112), 컨트롤러 인터페이스(114), 메모리 카드(116), 범용 직렬 버스(USB) 인터페이스(118), IEEE 1394 인터페이스(120), 트래킹 장치(124)를 접속하기 위한 보조(AUX) 인터페이스(122)를 포함하고, 다른 버스 표준 및 인터페이스가 사용될 수도 있다. 엔터테인먼트 시스템(100)은 운영 시스템 롬(OS ROM, 126), 사운드 처리 유닛(128), 광학 디스크 제어 유닛(130) 및 하드 디스크 드라이브(132)를 더 포함하고, 버스(134)를 통해 I/O 프로세서(110)에 접속된다. 엔터테인먼트 시스템(100)은 적어도 하나의 트래킹 장치(124)를 더 포함한다.
트래킹 장치(124)는 아이-트래킹(eye-tracking) 능력을 포함하는 카메라일 수 있다. 카메라는 엔터테인먼트 시스템(100) 내에 일체로 형성되거나 주변 장치로서 부착될 수 있다. 일반적인 아이-트래킹 장치에서, 적외선 비-평행 빛(non-collimated light)이 눈에서 반사되고 카메라나 광학 센서에 의해 감지된다. 이어서 정보가 반사에서의 변화로부터 눈 회전을 추출하기 위해 분석된다. 카메라 기반 트래커(tracker)는 한쪽 또는 양쪽 눈에 초점을 맞추고 보는 사람이 어떤 종류의 자극을 봄에 따라 그 움직임을 기록한다. 카메라 기반 아이 트래커(eye trackers)는 각막 반사(CR)를 생성하기 위해 빛 및 동공의 중심을 사용한다. 동공 중심과 CR 사이의 벡터는 시선 방향이나 표면 상의 주시 지점(point of regard)를 계산하는데 사용될 수 있다. 통상 아이 트래커를 사용하기 전에 보는사람의 간단한 교정 절차를 수행하는 것이 필요하다.
대안적으로, 더욱 민감한 트래커는 시간에 따라 트래킹하기 위한 특징으로 각막 전면 반사와 눈의 수정체(lens of the eye) 후면 반사를 사용한다. 더욱 더 민감한 트래커는, 망막 혈관을 포함하는, 눈 내측으로부터의 특징을 이미지화하고, 눈이 화전함에 따라 이 특징들을 따라간다.
대부분의 아이-트래킹 장치는 적어도 30Hz의 샘플링 레이트를 사용하나, 50/60Hz가 가장 흔하다. 일부 트래킹 장치는 1250Hz만큼 높게 구동하고, 매우 빠른 눈 움직임의 세부사항을 캡쳐할 필요가 있다.
레인지 카메라(range camera)가 사용자가 만든 제스처를 캡쳐하기 위해 본 발명과 함께 대신 사용될 수 있고 표정 인식을 할 수 있다. 레인지 카메라는, 엔터테인먼트 시스템의 핸즈프리(hands-free) 제어를 허용하는, 특정 제스처를 캡쳐 및 해석하는데 일반적으로 사용된다. 이 기술은 3차원으로 개개인 및 대상의 움직임을 트래킹하기 위해 적외선 프로젝터, 카메라, 깊이 센서 및 마이크로칩을 사용할 수 있다. 이 시스템은 이미지 기반 3차원 재구성의 변형을 채용한다.
트래킹 장치(124)는 음성 데이터를 캡쳐하는 엔터테인먼트 시스템(100) 내에 일체로 형성되거나 주변 장치로 부착되는 마이크로폰을 포함할 수 있다. 마이크로폰은 음원 로컬리제이션(acoustic source localization) 및/또는 주변 소음 억제를 지휘할 수 있다.
대안적으로, 트래킹 장치(124)는 엔터테인먼트 시스템의 컨트롤러일 수 있다. 컨트롤러는 엔터테인먼트 시스템의 콘솔 내에 일체로 형성되거나 그 근방에 부착된 센서에 LED로 포인트될 때 3D 공간에서 그 위치를 감지하기 위한 적외선 검출 및 붙박이 가속도계의 조합을 사용할 수 있다. 이 설계는 사용자가 버튼 누름 뿐만 아니라 물리적 제스처로 게임을 제어하도록 한다. 컨트롤러는 짧은 거리(예를 들어, 30피트(feet))에 걸쳐 데이터 교환을 허용하는 무선 기술을 사용하는 콘솔에 접속된다. 컨트롤러는 "럼블(rumble)" 특징(즉, 게임에서 특정 지점 동안 컨트롤러의 흔들림) 및/또는 내부 스피커를 추가적으로 포함할 수 있다.
컨트롤러는 예를 들어 피부 습기, 심장 리듬 및 근육 움직임을 포함하는 데이터를 기록하기 위해 원거리에서 센서를 사용하는 생체 판독을 캡쳐하도록 추가적으로 또는 대안적으로 설계할 수도 있다.
바람직하게, 엔터테인먼트 시스템(100)은 전자 게임 콘솔이다. 대안적으로, 엔터테인먼트 시스템(100)은 일반적 용도의 컴퓨터, 셋톱 박스(set-top box) 또는 핸드-헬드(hand-held) 게임 장치로 구현될 수도 있다. 또한, 유사한 엔터테인먼트 시스템은 동작 부품을 더 또는 덜 포함할 수 있다.
CPU(104), 벡터 유닛(106), 그래픽 처리 유닛(108) 및 I/O 프로세서(110)는 시스템 버스(136)를 통해 통신한다. 또한, CPU(104)는 전용 버스(138)를 통해 메인 메모리(102)와 통신하는 한편, 벡터 유닛(106) 및 그래픽 처리 유닛(108)은 전용 버스(140)를 통해 통신할 수도 있다. CPU(104)는 메인 메모리(102)와 OS ROM(126)에 저장된 프로그램을 실행한다. 메인 메모리(102)는 기저장된 프로그램과, CD-ROM, DVD-ROM 또는 광학 디스크 제어 유닛(132)을 사용하는 다른 광학 디스크(미도시)로부터 I/O 프로세서(110)를 통해 전송되는 프로그램을 포함할 수 있다. I/O 프로세서(110)는 CPU(104), 벡터 유닛(106), 그래픽 처리 유닛(108) 및 컨트롤러 인터페이스(114)를 포함하는 엔터테인먼트 시스템(110)의 다양한 장치들 사이에서 데이터 교환을 주로 제어한다.
그래픽 처리 유닛(108)은 디스플레이 장치(미도시) 상에 디스플레이하기 위한 이미지를 생성하기 위해 벡터 유닛(106) 및 CPU(104)로부터 수신된 그래픽 명령들을 실행한다. 예를 들어, 벡터 유닛(106)은 대상을 3차원 좌표에서 2차원 좌표로 변형할 수 있고, 2차원 좌표를 그래픽 처리 유닛(108)에 보낼 수 있다. 더욱이, 사운드 처리 유닛(130)은 스피커(미도시)와 같은 오디오 장치에 출력되는 사운드 신호를 생성하기 위한 명령들을 실행한다.
엔터테인먼트 시스템(100)의 사용자는 컨트롤러 인터페이스(114)를 통해 CPU(104)에 명령들을 제공한다. 예를 들어, 사용자는 메모리 카드(116) 상에 특정 게임 정보를 저장하도록 CPU(104)에 지시할 수 있거나 어떤 구체화된 행동을 수행하도록 게임에서 캐릭터에 지시할 수 있다.
다른 장치들은 USB 인터페이스(118), IEEE 1394 인터페이스(120) 및 AUX 인터페이스(122)를 통해 엔터테인먼트 시스템(100)에 접속될 수 있다. 구체적으로, 카메라나 센서를 포함하는 트래킹 장치(124)가 AUX 인터페이스(122)를 통해 엔터테인먼트 시스템(100)에 접속될 수 있는 한편, 컨트롤러는 USB 인터페이스(118)를 통해 접속될 수 있다.
도 2는 컨텐츠에 대한 사용자 반응을 식별하기 위해 트래킹을 사용하는 예시적인 플로우차트(200)이다. 단계 202에서, 디스플레이 장치 상에서 디스플레이되는 적어도 하나의 영역에서 사용자의 반응에 응답하여 캡쳐되는 트래킹 장치에 의해 적어도 한명의 사용자로부터 트래킹 데이터가 수신된다. 트래킹 데이터는, 가속도계 및 적외선 검출을 포함하는 컨트롤러 또는 레인지 카메라와 센서를 사용하는 제스처 기반 트래킹, 적외선 빛을 사용하는 광학 센서 또는 전문화된 카메라를 사용하는 아이 트래킹, 오디오 센서 또는 마이크로폰을 사용하는 오디오 기반 트래킹 및/또는 생체 센서들을 포함하는 컨트롤러를 사용하는 생체 트래킹을 포함하나 이에 제한되지 않는, 임의의 타입의 트래킹 방법에 기초할 수 있다. 단계 204에서, 트래킹 데이터가 트래킹 장치에 의해 CPU(104)로 전송된다(도 1).
단계 206에서, CPU(104)는 디스플레이 장치 상에 디스플레이된 적어도 하나의 영역에서 사용자의 반응을 결정하도록 트래킹 데이터를 이용하기 위한 명령들을 갖는 메인 메모리(102)(도 1)에 저장된 소프트웨어 모듈을 실행한다. 소프트웨어 모듈은 상이한 게임 타이틀에 대해 주문제작될 수 있거나 게임 플랫폼에 고유한 것일 수 있다. 대안적으로, 소프트웨어 모듈은 상이한 타입의 인터페이스(예를 들어, 오디오 트래킹, 비디오 트래킹 또는 제스쳐 트래킹)에 대해 상이한 트래킹 기능을 가질 수 있다. 소프트웨어 모듈은 광학 디스크 제어 유닛(132)을 사용하는 엔터테인먼트 시스템(100) 내에 삽입되는 디지털 데이터 저장 장치(예를 들어, 광학 디스크)를 통해 메인 메모리(102) 내에 설치(install)될 수도 있다. 반응은, 예를 들어 영역을 향하거나 영역에서 멀어지는 사용자의 눈의 움직임으로 결정되는, 시각 반응일 수 있다. 시각 반응은 엔터테인먼트 시스템(100)에 접속되는 내장 카메라 또는 주변 카메라로 캡쳐될 수 있다. 대안적으로, 반응은 사용자에 의한 감정 반응일 수 있다. 감정 반응은, 예를 들어 마이크로폰에 의해 캡쳐된 사용자의 음성 반응 또는 컨트롤러 인터페이스(114)(도 1)에 의해 캡쳐된 생체 반응을 포함할 수 있다. 감정 반응은, 예를 들어 사용자가 게임 내에서 발생하는 이벤트에 의해 놀랐을 경우(예를 들어, 사용자 소리침이나 외침), 또는 사용자가 게임 캐릭터가 위험에 빠져 겁이 나거나 불안할 경우(예를 들어, 사용자가 땀이 나거나 맥박이 증가), 발생할 수 있다.
단계 208에서, 사용자가 디스플레이 장치 상에 디스플레이 영역에 주의를 기울인다는 사용자 반응이 나타날 경우, CPU(104)는, 그 영역에서 피델리티 및 세부사항을 렌더링하기 위한 처리 전력을 증가 및/또는 영역 내의 대상이 실시간으로 업데이트되는 속도를 증가시키기 위해, 메인 메모리(102)(도 1)와 통신하고 그래픽 처리 유닛(108)(도 1)을 지시한다.
대안적으로, 단계 210에서, 사용자가 디스플레이 영역 상에 주의를 기울이지 않는다는 사용자 반응이 나타날 경우, CPU(104)는, 그 영역에서 피델리티 및 세부사항을 렌더링하기 위한 처리 전력을 감소 및/또는 영역 내의 대상이 실시간으로 업데이트되는 속도를 감소시키기 위해, 메인 메모리(102)와 통신하고 그래픽 처리 유닛(108)(도 1)을 지시한다.
따라서, 더 큰 처리 전력은 사용자가 가장 주의를 집중하는/초점을 맞추는(focusing) 디스플레이 장치 상의 디스플레이 영역으로 전환된다(divert). 예를 들어, 특정 효과가 디스플레이 장치 상에 디스플레이 될 때, 사용자는 특정 효과가 발생하는 스크린의 영역 상에 주의를 집중하기 쉽다. 한편, 사용자가 집중하지 않는/초점을 맞추지 않는 디스플레이의 영역(예를 들어, 이 영역들이 사용자의 주변시야에만 있는 경우)에서는 상세한 사항이 덜 필요하고, 따라서, 더 낮은 처리 전력이 그래픽 렌더링을 위해 필요하다. 이는 엔터테인먼트 시스템이 사용자의 주의가 집중되지 않는 영역에서 처리 전력을 보존하도록 하고, 사용자가 현재 초점을 맞추는 영역의 그래픽 세부사항을 개선하도록 한다.
본 발명의 다른 실시형태에서는, 단계 212에서, 사용자가 선호도 모듈에서 전력 절감 선호도를 선택적으로 선택할 수 있다. CPU(104)(도 1)는 선호도 모듈을 실행하고 엔터테인먼트 시스템(100)의 메인 메모리(102)(도 1)에 이를 저장하고 사용자의 선택을 수신하도록 지시한다. 선택될 때, 전력 절감 선호가 단계 2014에서 트래킹 데이터가 사용자에 의해 디스플레이 장치에 주의 부족을 나타내는 전력 절감 모드를 개시한다. 전력 절감 모드는, 이에 제한되지는 않으나 예를 들어 디스플레이 장치 상의 화면 보호기의 개시를 포함할 수 있다. 대안적으로, 전력 절감 모드는 엔터테인먼트 시스템(100)의 셧다운(shut down)을 필요로할 수 있다.
도 3a 내지 도 3c는 모바일 장치 상의 일방에서 타방으로 티켓을 전송하기 위한 예시적인 인터페이스를 도시하고, 양자는 동일한 티케팅 애플리케이션에 접속한다.
도 3a를 참조하면, 세부사항의 표준 레벨을 나타내는 예시적인 엔터테인먼트 시스템 환경(300)의 스크린샷을 도시하고, 트래킹 장치를 채용하지 않는 엔터테인먼트 시스템 상에 게임이 발생할 수 있다. 이 환경에서는, 처리 전력이 사용자의 주의에 기초하는 스크린의 특정 영역으로 전용되지 않기 때문에 추가적인 세부사항이 추가되거나 약해지지 않는다.
도 3b는 사용자가 주의를 집중하지 않는 영역(초점을 맞추지 않는 영역)에서 낮은 레벨의 세부사항을 나타내는 환경(300)의 스크린샷이다. 집중 영역(310)은 사용자가 집중하는 영역(초점을 맞추는 영역)으로서 트래킹 장치에 의해 식별된다. 집중 영역(310)은, 도 3a에 도시된 바와 같이, 세부사항의 통상 레벨을 갖는다. 환경(300)의 나머지는, 사용자의 주변 시야에서만 보이기 쉬운 이 영역들로부터 처리 전력이 전환되기 때문에, 세부사항을 약화시킨다. 따라서, 렌더링의 낮은 레벨이 필수적이다.
도 3c는 사용자가 주의를 집중하는 영역에서 세부사항의 높은 레벨을 도시하는 환경(300)의 스크린샷이다. 집중 영역(310)은, 처리 전력이 스크린의 나머지 부분으로부터 전환되고 사용자가 집중 영역(310)에만 주의를 집중하는 것을 트래킹 장치가 인식하기 때문에, 세부사항의 더 높은 레벨을 갖는다. 차량 충돌이 집중 영역(310)에서 보여지는 바와 같은 이벤트는 사용자의 주의를 스크린의 특정 영역으로 이끄는 게임 환경의 이벤트의 일 실시예이다. 따라서, 렌더링의 더 높은 레벨은 사용자의 게임 경험을 개선하기 위해 집중 영역(310)과 같은 영역에서 필수적이다.
이상 본 발명을 특정 실시형태들을 참조하여 설명하였다. 그러나, 다양한 변형 및 변경이 첨부한 청구범위와 같은 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서 이루어질 수 있다. 따라서, 상술한 설명 및 도면은 제한적인 것이 아니라 예시적인 것이다.

Claims (18)

  1. 엔터테인먼트 시스템 상에서 주의 기반 렌더링 방법으로,
    사용자의 시각 반응을 캡쳐하는 단계로, 상기 시각 반응은 카메라에 의해 캡쳐되는, 단계;
    트래킹 장치로부터 상기 사용자와 관련된 트래킹 데이터를 수신하는 단계로, 상기 트래킹 데이터는 디스플레이 장치의 단일 디스플레이에서 디스플레이되는 적어도 하나의 영역에 대한 상기 사용자의 시각 반응에 응답하여 캡쳐되고, 상기 사용자의 시각 반응은 상기 디스플레이 장치의 상기 단일 디스플레이에서 디스플레이되는 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련되는 것인, 단계;
    상기 트래킹 데이터를 상기 트래킹 장치를 통해 프로세서에 전송하는 단계;
    상기 디스플레이 장치의 상기 단일 디스플레이에서 최근에 디스플레이된 이벤트와 관련하여 상기 디스플레이 장치의 상기 단일 디스플레이의 적어도 하나의 영역에 사용자가 반응하는지를 결정하기 위해 트래킹 데이터를 이용하는 단계; 및
    상기 단일 디스플레이의 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련한 그래픽 렌더링에 사용되기 위한 처리 전력을 바꾸기 위해 그래픽 처리 유닛과 통신하는 단계로, 상기 적어도 하나의 영역에서 최근에 디스플레이된 이벤트의 그래픽 세부사항을 렌더링하는 속도는 상기 디스플레이 장치의 상기 단일 디스플레이의 다른 영역 내에서 그래픽 세부사항을 렌더링하는 속도 보다 증가되는, 단계를 포함하는 주의 기반 렌더링 방법.
  2. 제1항에 있어서,
    상기 트래킹 데이터는 제스처 기반 트래킹 데이터를 포함하는 것을 특징으로 하는 주의 기반 렌더링 방법.
  3. 제1항에 있어서,
    상기 트래킹 데이터는 망막 트래킹 데이터를 포함하는 것을 특징으로 하는 주의 기반 렌더링 방법.
  4. 제1항에 있어서,
    상기 트래킹 데이터는 오디오 기반 트래킹 데이터를 포함하는 것을 특징으로 하는 주의 기반 렌더링 방법.
  5. 제1항에 있어서,
    상기 시각 반응은 상기 영역을 향하거나 영역에서 멀어지는 사용자의 눈의 움직임에 의해 검출되는 것을 특징으로 하는 주의 기반 렌더링 방법.
  6. 제1항에 있어서,
    상기 카메라는 엔터테인먼트 시스템에 내장된 것을 특징으로 하는 주의 기반 렌더링 방법.
  7. 제1항에 있어서,
    상기 카메라는 엔터테인먼트 시스템에 접속되는 주변 카메라인 것을 특징으로 하는 주의 기반 렌더링 방법.
  8. 제1항에 있어서,
    상기 사용자의 음성 반응을 캡쳐하는 단계를 더 포함하는 주의 기반 렌더링 방법.
  9. 제8항에 있어서,
    상기 음성 반응은 마이크로폰에 의해 캡쳐되는 것을 특징으로 하는 주의 기반 렌더링 방법.
  10. 제1항에 있어서,
    생체 반응을 캡쳐하는 단계를 더 포함하는 주의 기반 렌더링 방법.
  11. 제1항에 있어서,
    상기 시각 반응은 상기 사용자가 상기 적어도 하나의 영역에 초점을 맞추는 것을 나타내는 주의 기반 렌더링 방법.
  12. 제2항에 있어서,
    상기 처리 전력은 상기 적어도 하나의 영역에서 그래픽 피델리티 및 세부사항을 렌더링하도록 증가되는 것을 특징으로 하는 주의 기반 렌더링 방법.
  13. 제2항에 있어서,
    상기 처리 전력은 실시간으로 상기 적어도 하나의 영역 내에서 적어도 하나의 대상을 업데이트하도록 증가되는 것을 특징으로 하는 주의 기반 렌더링 방법.
  14. 제1항에 있어서,
    상기 사용자가 상기 적어도 하나의 영역에 더 이상 초점을 맞추지 않는다는 것을 식별하는 단계를 더 포함하는 주의 기반 렌더링 방법.
  15. 제14항에 있어서,
    상기 적어도 하나의 영역 내에서 그래픽 세부사항을 렌더링하기 위해 사용되는 처리 전력은, 상기 사용자가 상기 적어도 하나의 영역에 더 이상 초점을 맞추지 않는다는 식별에 기초하여 감소되는 것을 특징으로 하는 주의 기반 렌더링 방법.
  16. 제1항에 있어서,
    전력 절감 모드를 개시하기 위한 선호도를 나타내는 사용자의 선택을 수신하는 단계;
    상기 선택을 메모리에 저장하는 단계; 및
    상기 트래킹 데이터가 상기 사용자에 의한 디스플레이 장치의 단일 디스플레이의 주의 부족을 나타내는 경우 전력 절감 모드를 개시하는 단계를 더 포함하는 것을 특징으로 하는 주의 기반 렌더링 방법.
  17. 프로그램이 내장된 컴퓨터 판독가능한 저장 매체로, 상기 프로그램은 주의 기반 렌더링하는 방법을 수행하기 위해 프로세서에 의해 실행가능하고, 상기 방법은:
    사용자의 시각 반응을 캡쳐하는 단계로, 상기 시각 반응은 카메라에 의해 캡쳐되는, 단계;
    트래킹 장치로부터 상기 사용자와 관련된 트래킹 데이터를 수신하는 단계로, 상기 트래킹 데이터는 디스플레이 장치의 단일 디스플레이에서 디스플레이되는 적어도 하나의 영역에 대한 상기 사용자의 시각 반응에 응답하여 캡쳐되고, 상기 사용자의 시각 반응은 상기 디스플레이 장치의 상기 단일 디스플레이에서 디스플레이되는 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련되는 것인, 단계;
    상기 트래킹 데이터를 상기 트래킹 장치를 통해 프로세서에 전송하는 단계;
    상기 디스플레이 장치의 상기 단일 디스플레이에서 최근에 디스플레이된 이벤트와 관련하여 상기 디스플레이 장치의 상기 단일 디스플레이의 적어도 하나의 영역에 사용자가 반응하는지를 결정하기 위해 트래킹 데이터를 이용하는 단계; 및
    상기 단일 디스플레이의 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련한 그래픽 렌더링에 사용되기 위한 처리 전력을 바꾸기 위해 그래픽 처리 유닛과 통신하는 단계로, 상기 적어도 하나의 영역에서 최근에 디스플레이된 이벤트의 그래픽 세부사항을 렌더링하는 속도는 상기 디스플레이 장치의 상기 단일 디스플레이의 다른 영역 내에서 그래픽 세부사항을 렌더링하는 속도 보다 증가되는, 단계를 포함하는 컴퓨터 판독가능한 저장 매체.
  18. 그래픽 렌더링을 위한 시스템으로,
    메모리;
    단일 디스플레이를 구비하는 디스플레이 장치;
    사용자의 시각 반응을 캡쳐하는 카메라;
    트래킹 데이터를 캡쳐하기 위한 트래킹 장치로, 상기 트래킹 장치는 캡쳐된 시각 반응에 응답하는 트래킹 데이터를 수신하고, 상기 시각 반응은 상기 디스플레이 장치의 상기 단일 디스플레이에 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련되는 것인, 트래킹 장치; 및
    상기 메모리로부터의 명령을 실행하기 위한 프로세서를 포함하고,
    상기 프로세서는
    상기 트래킹 장치로부터 상기 트래킹 데이터를 수신하고,
    상기 디스플레이 장치의 상기 단일 디스플레이에서 최근에 디스플레이된 이벤트와 관련하여 상기 디스플레이 장치의 상기 단일 디스플레이의 적어도 하나의 영역에 사용자가 반응하는지를 수신된 트래킹 데이터에 기초하여 식별하고,
    상기 단일 디스플레이의 적어도 하나의 영역에서 최근에 디스플레이된 이벤트와 관련한 그래픽 렌더링에 사용되기 위한 처리 전력을 바꾸기 위해 그래픽 처리 유닛과 통신하고, 상기 적어도 하나의 영역에서 최근에 디스플레이된 이벤트의 그래픽 세부사항을 렌더링하는 속도는 상기 디스플레이 장치의 상기 단일 디스플레이의 다른 영역 내에서 그래픽 세부사항을 렌더링하는 속도 보다 증가되는, 주의 기반 렌더링을 위한 시스템.
KR1020187035287A 2013-08-29 2014-07-18 주의 기반 렌더링 및 피델리티 KR102090936B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/014,199 2013-08-29
US14/014,199 US9367117B2 (en) 2013-08-29 2013-08-29 Attention-based rendering and fidelity
PCT/US2014/047310 WO2015030949A1 (en) 2013-08-29 2014-07-18 Attention-based rendering and fidelity

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007774A Division KR20160132811A (ko) 2013-08-29 2014-07-18 주의 기반 렌더링 및 피델리티

Publications (2)

Publication Number Publication Date
KR20180132989A KR20180132989A (ko) 2018-12-12
KR102090936B1 true KR102090936B1 (ko) 2020-03-20

Family

ID=52582479

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187035287A KR102090936B1 (ko) 2013-08-29 2014-07-18 주의 기반 렌더링 및 피델리티
KR1020167007774A KR20160132811A (ko) 2013-08-29 2014-07-18 주의 기반 렌더링 및 피델리티

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167007774A KR20160132811A (ko) 2013-08-29 2014-07-18 주의 기반 렌더링 및 피델리티

Country Status (8)

Country Link
US (4) US9367117B2 (ko)
EP (1) EP3039511A4 (ko)
JP (1) JP6096391B2 (ko)
KR (2) KR102090936B1 (ko)
CN (1) CN104423575B (ko)
BR (1) BR112016004553B1 (ko)
RU (1) RU2643444C2 (ko)
WO (1) WO2015030949A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367117B2 (en) * 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
CN106652972B (zh) * 2017-01-03 2020-06-05 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN106782268B (zh) * 2017-01-04 2020-07-24 京东方科技集团股份有限公司 显示系统和用于显示面板的驱动方法
CN111357008B (zh) * 2017-11-28 2023-09-12 指纹卡安娜卡敦知识产权有限公司 生物计量成像系统以及用于控制该系统的方法
US11138021B1 (en) 2018-04-02 2021-10-05 Asana, Inc. Systems and methods to facilitate task-specific workspaces for a collaboration work management platform
US10785046B1 (en) 2018-06-08 2020-09-22 Asana, Inc. Systems and methods for providing a collaboration work management platform that facilitates differentiation between users in an overarching group and one or more subsets of individual users
US11302284B2 (en) 2020-01-17 2022-04-12 Microsoft Technology Licensing, Llc Focus assist mode for user interfaces
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013045445A (ja) 2011-08-26 2013-03-04 Toyota Motor Engineering & Manufacturing North America Inc ユーザ凝視データに基づいた時空間データのセグメント化
WO2013036236A1 (en) * 2011-09-08 2013-03-14 Intel Corporation Interactive screen viewing

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04302381A (ja) * 1991-03-29 1992-10-26 Koudo Eizou Gijutsu Kenkyusho:Kk 高速画像生成装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6753870B2 (en) * 2002-01-30 2004-06-22 Sun Microsystems, Inc. Graphics system configured to switch between multiple sample buffer contexts
JP2007535718A (ja) * 2003-07-07 2007-12-06 クリプターグラフィー リサーチ インコーポレイテッド 海賊行為を規制し、インタラクティブコンテンツを使用可能にするための再プログラマブルなセキュリティ
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法
US6956544B2 (en) * 2003-12-22 2005-10-18 Motorola, Inc. Dual mode display
US7614011B2 (en) * 2004-10-21 2009-11-03 International Business Machines Corporation Apparatus and method for display power saving
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US20100231504A1 (en) 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US20080169930A1 (en) * 2007-01-17 2008-07-17 Sony Computer Entertainment Inc. Method and system for measuring a user's level of attention to content
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5366662B2 (ja) * 2009-06-01 2013-12-11 キヤノン株式会社 映像出力装置及び映像出力方法
EP3338621B1 (en) * 2009-07-16 2019-08-07 Tobii AB Eye detection unit using parallel data flow
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20130234826A1 (en) * 2011-01-13 2013-09-12 Nikon Corporation Electronic device and electronic device control program
JP5811537B2 (ja) * 2011-01-13 2015-11-11 株式会社ニコン 電子機器
US8687840B2 (en) 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
EP2787500A4 (en) * 2011-11-29 2015-05-06 Panasonic Ip Man Co Ltd DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM
US20130152014A1 (en) * 2011-12-12 2013-06-13 Qualcomm Incorporated Electronic reader display control
JP2015510139A (ja) * 2011-12-28 2015-04-02 インテル・コーポレーション ユーザに応じたディスプレイの減光
WO2013154561A1 (en) * 2012-04-12 2013-10-17 Intel Corporation Eye tracking based selectively backlighting a display
US9424767B2 (en) * 2012-06-18 2016-08-23 Microsoft Technology Licensing, Llc Local rendering of text in image
US9671864B2 (en) * 2013-03-21 2017-06-06 Chian Chiu Li System and methods for providing information
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20150042553A1 (en) * 2013-08-09 2015-02-12 Nvidia Corporation Dynamic gpu feature adjustment based on user-observed screen area
US9367117B2 (en) 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
US9727134B2 (en) * 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013045445A (ja) 2011-08-26 2013-03-04 Toyota Motor Engineering & Manufacturing North America Inc ユーザ凝視データに基づいた時空間データのセグメント化
WO2013036236A1 (en) * 2011-09-08 2013-03-14 Intel Corporation Interactive screen viewing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Brian Guenter 외 5명, ‘Foveated 3D graphics’, Microsoft Research, 2012.11.01.*

Also Published As

Publication number Publication date
CN104423575A (zh) 2015-03-18
WO2015030949A1 (en) 2015-03-05
EP3039511A1 (en) 2016-07-06
US10310583B2 (en) 2019-06-04
RU2643444C2 (ru) 2018-02-01
KR20180132989A (ko) 2018-12-12
US20150061989A1 (en) 2015-03-05
US20170357308A1 (en) 2017-12-14
US9367117B2 (en) 2016-06-14
EP3039511A4 (en) 2017-05-10
BR112016004553A8 (pt) 2020-02-11
US20160291674A1 (en) 2016-10-06
JP6096391B2 (ja) 2017-03-15
US20190286216A1 (en) 2019-09-19
US9715266B2 (en) 2017-07-25
RU2016111379A (ru) 2017-10-04
JP2016536699A (ja) 2016-11-24
BR112016004553B1 (pt) 2023-02-07
KR20160132811A (ko) 2016-11-21
CN104423575B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
KR102090936B1 (ko) 주의 기반 렌더링 및 피델리티
US20210342387A1 (en) Method and apparatus for image processing and associated user interaction
US9939896B2 (en) Input determination method
CN110456626B (zh) 全息键盘显示
US8823642B2 (en) Methods and systems for controlling devices using gestures and related 3D sensor
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20190392640A1 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
EP2956882B1 (en) Managed biometric identity
US9165381B2 (en) Augmented books in a mixed reality environment
KR20160135242A (ko) 시선 검출을 통한 원격 디바이스 제어
US10741175B2 (en) Systems and methods for natural language understanding using sensor input
EP2394710A2 (en) Image generation system, image generation method, and information storage medium
CN111163906A (zh) 能够移动的电子设备及其操作方法
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
KR20140009900A (ko) 로봇 제어 시스템 및 그 동작 방법
JP6273243B2 (ja) 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
US11270409B1 (en) Variable-granularity based image warping
US11698677B1 (en) Presenting a notification based on an engagement score and an interruption priority value
US11783444B1 (en) Warping an input image based on depth and offset information
CN112578983B (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right