KR101661129B1 - 눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법 - Google Patents

눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법 Download PDF

Info

Publication number
KR101661129B1
KR101661129B1 KR1020157004834A KR20157004834A KR101661129B1 KR 101661129 B1 KR101661129 B1 KR 101661129B1 KR 1020157004834 A KR1020157004834 A KR 1020157004834A KR 20157004834 A KR20157004834 A KR 20157004834A KR 101661129 B1 KR101661129 B1 KR 101661129B1
Authority
KR
South Korea
Prior art keywords
computing device
adjusting
eye
focus area
display
Prior art date
Application number
KR1020157004834A
Other languages
English (en)
Other versions
KR20150034804A (ko
Inventor
조슈아 볼터
돈 메이어스
데이비드 스타나솔로비치
수딥 차할
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150034804A publication Critical patent/KR20150034804A/ko
Application granted granted Critical
Publication of KR101661129B1 publication Critical patent/KR101661129B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving

Abstract

눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 디바이스들 및 방법들은 하나 이상의 눈 추적 센서로부터 센서 데이터를 수신하는 것, 센서 데이터의 함수로서 디스플레이 화면 상의 눈 초점 영역을 판정하는 것, 및 눈 초점 영역의 함수로서 렌더링된 콘텐츠의 하나 이상의 시각적 특성을 조정하는 것을 포함한다. 렌더링된 콘텐츠의 인지되는 품질은 눈 초점 영역 내부에 디스플레이된 콘텐츠의 시각적 특성들을 개선함으로써 개선될 수 있다. 렌더링 효율은 눈 초점 영역 외부에 디스플레이된 콘텐츠의 시각적 특성들을 저하시킴으로써 개선될 수 있다. 조정 가능한 시각적 특성들은 콘텐츠를 렌더링하기 위해 사용되는 상세 레벨, 콘텐츠의 색 포화도 또는 휘도, 그리고 안티-에일리어싱, 셰이딩, 이방성 필터링, 포커싱, 블러링, 라이팅, 및/또는 섀도잉과 같은 렌더링 효과들을 포함한다.

Description

눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법{DEVICE AND METHOD FOR MODIFYING RENDERING BASED ON VIEWER FOCUS AREA FROM EYE TRACKING}
사용자들과 개발자들은 일반적으로 컴퓨팅 디바이스들에 렌더링된 콘텐츠의 품질의 지속적인 증가를 요구한다. 예를 들어, 비디오 게임은 몰입적이고 눈을 뗄 수 없는 게임 체험을 창출하기 위해 렌더링된 콘텐츠의 품질과 현실감의 증가를 요구하는 경향이 있다. 전통적인 컴퓨팅 디바이스들은 사용자가 임의의 특정한 시간에 컴퓨팅 디바이스의 디스플레이 화면의 임의의 부분에 그의 또는 그녀의 시선을 집중할 수 있다는 예상으로 콘텐츠를 렌더링한다. 렌더링 품질의 개선을 실현하기 위해, 전통적인 컴퓨팅 디바이스들은 일반적으로 렌더링에 이용 가능한 하드웨어 리소스의 양을 증가시키는 것에 의존한다(예컨대, 실리콘 논리 게이트의 수, 클록 주파수, 가용 버스 대역폭, 등을 증가시킴으로써).
눈 추적 센서들은 컴퓨팅 디바이스를 사용하고 있는 동안 사용자의 눈의 움직임을 추적하고 그에 의해 사용자의 시선의 방향을 계산한다. 눈 추적 센서들은 컴퓨팅 디바이스가 디스플레이 화면의 어느 부분 또는 부분들에 사용자가 그의 또는 그녀의 시선을 집중시키고 있는지를 판정하게 한다. 연구 환경에서는 이미 흔한 일이지만, 눈 추적 기술은 장래에는 비용이 덜 들고 더 광범위하게 채택될 것으로 예상된다.
본 명세서에 기술된 개념들은 첨부 도면들에 제한으로서가 아니라 예로서 도시되어 있다. 예시의 간단함과 명료함을 위하여, 도면들에 예시된 요소들은 반드시 비율대로 그려져 있지는 않다. 예를 들어, 어떤 요소들의 치수들은 명료함을 위해 다른 요소들에 비하여 과장될 수 있다. 또한, 적절하다고 생각되는 경우, 대응하는 또는 유사한 요소들을 지시하기 위해 도면들 사이에 참조 라벨들이 반복되었다.
도 1은 뷰어 초점 영역에 기초하여 디스플레이 상에 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스의 적어도 일 실시예의 단순화된 블록도이다.
도 2는 도 1의 컴퓨팅 디바이스의 환경의 적어도 일 실시예의 단순화된 블록도이다.
도 3은 도 1 및 도 2의 컴퓨팅 디바이스에 의해 실행될 수 있는, 뷰어 초점 영역에 기초하여 디스플레이 상에 렌더링된 콘텐츠를 수정하는 방법의 적어도 일 실시예의 단순화된 흐름도이다.
도 4는 도 1 및 도 2의 컴퓨팅 디바이스의 디스플레이 상의 한 영역에 집중하고 있는 뷰어를 나타내는 개략도이다.
본 개시 내용의 개념들은 다양한 수정들 및 대안의 형태들이 가능하지만, 그에 대한 특정한 예시적인 실시예들이 도면들에 예로서 도시되어 있고 본 명세서에서 상세히 기술될 것이다. 그러나, 본 개시 내용의 개념들을 개시된 특정한 형태들로 제한하려는 의도는 없으며, 오히려, 의도하는 바는 본 개시 내용과 첨부된 청구항들과 일맥상통하는 모든 수정들, 등가물들, 및 대안들을 망라하는 것임을 이해해야 한다.
하기의 설명에서는, 본 개시 내용의 보다 철저한 이해를 제공하기 위하여 논리 구현들, 연산 코드들, 피연산자들을 명시하는 수단, 리소스 분할/공유/복제 구현들, 시스템 컴포넌트들의 타입들 및 상호 관계들, 및 논리 분할/통합 선택들과 같은 많은 구체적인 세부 사항들이 개시된다. 그러나, 통상의 기술자는 본 개시 내용의 실시예들이 그러한 구체적인 세부 사항들 없이도 실시될 수 있다는 것을 알 것이다. 그 밖의 경우에, 본 발명을 모호하게 하지 않기 위하여 제어 구조들, 게이트 레벨 회로들 및 전체 소프트웨어 명령어 시퀀스들은 상세히 제시되지 않았다. 통상의 기술자들은, 본원에 포함된 설명들을 이용하여, 과도한 실험 없이 적절한 기능을 구현할 수 있을 것이다.
본 명세서에서 "일 실시예", "일 실시예", "예시적 실시예" 등의 언급들은 기술된 실시예가 특정한 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 그 특정한 특징, 구조, 또는 특성을 포함하는 것은 아닐 수 있다는 것을 시사한다. 더욱이, 그러한 어구들은 반드시 동일한 실시예를 언급하고 있는 것은 아니다. 또한, 특정한 특징, 구조, 또는 특성이 일 실시예와 관련하여 기술될 때, 명시적으로 기술되어 있든 아니든 간에 그러한 특징, 구조, 또는 특성을 다른 실시예들과 관련하여 달성하는 것은 통상의 기술자가 알고 있는 것이라고 생각된다.
본 발명의 실시예들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 컴퓨터 시스템에 구현된 본 발명의 실시예들은 컴포넌트들 사이의 하나 이상의 버스 기반 상호 접속 및/또는 컴포넌트들 사이의 하나 이상의 점-대-점 상호 접속을 포함할 수 있다. 본 발명의 실시예들은 또한 하나 이상의 프로세서에 의해 판독되어 실행될 수 있는, 일시적 또는 비일시적 머신 판독 가능(예컨대, 컴퓨터 판독 가능) 매체에 의해 운반되거나, 그에 저장된 명령어들로서 구현될 수 있다. 머신 판독 가능 매체는 기계(예컨대, 컴퓨팅 디바이스)에 의해 판독 가능한 형태로 정보를 저장하거나 전송하기 위한 임의의 디바이스, 메커니즘, 또는 물리 구조로서 실시될 수 있다. 예를 들어, 머신 판독 가능 매체는 ROM(read only memory); RAM(random access memory); 자기 디스크 저장 매체; 광 저장 매체; 플래시 메모리 디바이스; 미니- 또는 마이크로-SD 카드, 메모리 스틱, 전기 신호, 등으로서 실시될 수 있다.
도면들에서는, 설명의 용이함을 위해 디바이스들, 모듈들, 명령어 블록들 및 데이터 요소들을 나타내는 것들과 같은, 도식적 요소들의 특정한 배열 또는 순서가 도시될 수 있다. 그러나, 통상의 기술자들은 도면들에서의 도식적 요소들의 특정한 순서 또는 배열은 처리의 특정한 순서 또는 시퀀스, 또는 프로세스들의 분리가 필수적이라는 것을 암시하려고 하는 것은 아니라는 점을 이해할 것이다. 또한, 도면에 도식적 요소를 포함시키는 것은 그러한 요소가 모든 실시예에서 필수적이라는 것 또는 그러한 요소에 의해 나타내어지는 특징들이 일부 실시예들에서 다른 요소들에 포함되거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하려고 하는 것은 아니다.
일반적으로, 명령어 블록들을 나타내기 위해 사용되는 도시적 요소들은 소프트웨어 또는 펌웨어 애플리케이션들, 프로그램들, 함수들, 모듈들, 루틴들, 프로세서들, 프로시저들(procedures), 플러그인들(plug-ins), 애플릿들(applets), 위젯들(widgets), 코드 단편들(code fragments) 및/또는 다른 것들과 같은 임의의 적합한 형태의 머신 판독 가능 명령어를 이용하여 구현될 수 있고, 각각의 그러한 명령어는 임의의 적합한 프로그래밍 언어, 라이브러리, API(application programming interface), 및/또는 다른 소프트웨어 개발 도구들을 이용하여 구현될 수 있다. 예를 들어, 일부 실시예들은 자바, C++, 및/또는 다른 프로그래밍 언어들을 이용하여 구현될 수 있다. 유사하게, 데이터 또는 정보를 나타내기 위해 사용되는 도식적 요소들은 레지스터, 데이터 저장소, 테이블, 레코드, 어레이, 인덱스, 해시(hash), 맵(map), 트리(tree), 리스트, 그래프, 파일(임의의 파일 타입), 폴더, 디렉터리, 데이터베이스, 및/또는 다른 것들과 같은 임의의 적합한 전자적 구성 또는 구조를 이용하여 구현될 수 있다.
또한, 도면들에서는, 둘 이상의 다른 도식적 요소들 사이의 접속, 관계 또는 연관성을 보여주기 위해 실선 또는 파선 또는 화살표와 같은 접속 요소들이 사용되는 경우에, 임의의 그러한 접속 요소들이 없다고 해서 어떤 접속, 관계 또는 연관성도 존재할 수 없다는 것을 암시하려는 것은 아니다. 바꾸어 말하여, 요소들 사이의 일부 접속들, 관계들 또는 연관성들은 본 개시 내용을 모호하게 하지 않기 위해 도면들에 도시되지 않을 수 있다. 게다가, 설명의 용이함을 위해, 요소들 사이의 다수의 접속, 관계 또는 연관성을 나타내기 위해 단 하나의 접속 요소가 사용될 수 있다. 예를 들어, 접속 요소가 신호들, 데이터 또는 명령어들의 통신을 나타내는 경우, 통상의 기술자들은 그러한 요소가, 통신을 실시하기 위해 필요할지도 모르는, 하나 또는 다수의 신호 경로(예컨대, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
이제 도 1을 참조하면, 일 실시예에서, 컴퓨팅 디바이스(100)는 뷰어의 눈 초점 영역의 함수로서 컴퓨팅 디바이스(100)의 디스플레이 상의 콘텐츠를 수정하도록 구성된다. 이를 위해, 아래에 더 상세히 논의된 바와 같이, 컴퓨팅 디바이스(100)는 뷰어의 눈 초점 영역을 판정하기 위해 하나 이상의 눈 추적 센서를 이용하도록 구성된다. 컴퓨팅 디바이스(100)는 즉각 반응하여, 또는 계속하여, 눈 초점 영역 내부 및/또는 외부의 렌더링된 콘텐츠의 하나 이상의 시각적 특성을 조정한다.
눈 초점 영역의 함수로서 렌더링된 콘텐츠를 수정하는 것은 전통적인 렌더링 기법들에 비해 비용, 대역폭, 및/또는 전력 절감을 제공할 수 있다. 예를 들어, 일부 실시예들에서, 뷰어의 눈 초점 영역 내부의 렌더링을 우선적으로 처리함으로써, 컴퓨팅 디바이스(100)는, 동일한 하드웨어 리소스들(예컨대, 동일한 수의 실리콘 논리 게이트들)을 사용하여, 전형적인 렌더링보다 더 고품질인 것으로 뷰어에 의해 인지되는 콘텐츠를 렌더링할 수 있다. 대안으로, 다른 실시예들에서, 컴퓨팅 디바이스(100)는 전형적인 렌더링에 동등한 품질인 것으로 뷰어에 의해 인지되는 콘텐츠를 렌더링하기 위해 더 적은 수의 하드웨어 리소스를 사용하거나 더 적은 대역폭을 필요로 할 수 있다. 하드웨어 리소스들을 감소시킴으로써 컴퓨팅 디바이스(100)의 비용을 낮출 수 있다는 것이 이해되어야 한다. 또한, 하드웨어 리소스들을 감소시키고 기존 하드웨어 리소스들을 더 효율적으로 사용함으로써 컴퓨팅 디바이스(100)의 전력 소비를 줄일 수 있다.
비용 및 전력 절감 외에도, 눈 초점 영역의 함수로서 렌더링된 콘텐츠를 수정함으로써 컴퓨팅 디바이스(100)가 개선된 사용자 체험을 제공하게 할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(100)는 뷰어의 눈 초점 영역 내부의 시각적 특성들을 우선순위화함으로써, 사용자 관심 영역들에 더 나은 품질을 제공할 수 있다. 추가로 또는 대안으로, 컴퓨팅 디바이스(100)는 화면의 다른 영역으로 사용자의 주의를 끌기 위해 뷰어의 눈 초점 영역 외부의 디스플레이 화면의 영역에서의 시각적 특성들을 우선순위화할 수 있다. 그러한 개선된 사용자 체험은 생산성 애플리케이션들에 의해(예컨대, 뷰어가 작업하고 있는 문서의 부분을 우선순위화하거나, 작업을 통하여 사용자를 안내하는 시각적 신호를 제공하는 것), 엔터테인먼트 애플리케이션들(예컨대, 극적 효과를 위해 3-D 장면의 초점을 변경하는 것), 및 다른 애플리케이션들에 의해 이용될 수 있다.
컴퓨팅 디바이스(100)는 디스플레이 화면을 구비하고 있고 본 명세서에 기술된 기능들을 수행할 수 있는 임의의 타입의 컴퓨팅 디바이스로서 실시될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는, 제한 없이, 컴퓨터, 데스크톱 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 모바일 컴퓨팅 디바이스, 스마트폰, 휴대 전화, 핸드셋, 메시징 디바이스, 워크스테이션, 네트워크 가전, 웹 가전, 분산 컴퓨팅 시스템, 멀티프로세서 시스템, 프로세서 기반 시스템, 소비자 전자 디바이스, 디지털 텔레비전 디바이스, 셋톱 박스, 그리고/또는 콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 구비하고 있는 임의의 다른 컴퓨팅 디바이스로서 실시될 수 있다.
도 1의 예시적인 실시예에서, 컴퓨팅 디바이스(100)는 프로세서(120), I/O 서브시스템(124), 메모리(126), 데이터 저장소(128), 및 하나 이상의 주변 디바이스(130)를 포함한다. 물론, 컴퓨팅 디바이스(100)는 다른 실시예들에서 컴퓨터(예컨대, 다양한 입력/출력 디바이스들)에서 흔히 발견되는 것들과 같은 다른 또는 부가의 컴포넌트들을 포함할 수 있다. 게다가, 일부 실시예들에서, 예시적인 컴포넌트들 중 하나 이상이 다른 컴포넌트에 통합되거나, 또는 다르게는 다른 컴포넌트의 일부를 구성할 수 있다. 예를 들어, 일부 실시예들에서 메모리(126), 또는 그의 부분들이 프로세서(120)에 통합될 수 있다.
프로세서(120)는 현재 알려져 있거나 장래에 개발될 그리고 본 명세서에 기술된 기능들을 수행할 수 있는 임의의 타입의 프로세서로서 실시될 수 있다. 예를 들어, 프로세서는 싱글 또는 멀티-코어 프로세서(들), 디지털 신호 프로세서, 마이크로컨트롤러, 또는 기타 프로세서 또는 처리/제어 회로로서 실시될 수 있다. 유사하게, 메모리(126)는 현재 알려져 있거나 장래에 개발될 그리고 본 명세서에 기술된 기능들을 수행할 수 있는 임의의 타입의 휘발성 또는 비휘발성 메모리 또는 데이터 저장소로서 실시될 수 있다. 동작 중에, 메모리(126)는 운영 체제, 애플리케이션, 프로그램, 라이브러리, 및 드라이버와 같이 컴퓨팅 디바이스(100)의 동작 중에 사용되는 다양한 소프트웨어 및 데이터를 저장할 수 있다. 메모리(126)는 I/O 서브시스템(124)를 통해 프로세서(120)에 통신가능하게 결합되고, I/O 서브시스템(124)은 프로세서(120), 메모리(126), 및 컴퓨팅 디바이스(100)의 다른 컴포넌트들과의 입력/출력 동작들을 용이하게 하는 회로 및/또는 컴포넌트들로서 실시될 수 있다. 예를 들어, I/O 서브시스템(124)은 메모리 컨트롤러 허브, 입력/출력 제어 허브, 펌웨어 디바이스, 통신 링크(즉, 점-대-점 링크, 버스 링크, 와이어, 케이블, 광 가이드, 인쇄 회로 기판 트레이스, 등) 그리고/또는 입력/출력 동작들을 용이하게 하는 다른 컴포넌트들 및 서브시스템들로서 실시되거나, 또는 다르게는 이러한 것들을 포함할 수 있다. 일부 실시예들에서, I/O 서브시스템(124)은 시스템-온-칩(SoC)의 일부를 구성하고 프로세서(120), 메모리(126), 및 컴퓨팅 디바이스(100)의 다른 컴포넌트들과 함께, 단일 집적 회로 칩 상에 통합될 수 있다.
데이터 저장소(128)는 단기간 또는 장기간의 데이터 저장을 위해 구성된 임의의 타입의 디바이스 또는 디바이스들로서 실시될 수 있다. 예를 들어, 데이터 저장소(128)는 임의의 하나 이상의 메모리 디바이스 및 회로, 메모리 카드, 하드 디스크 드라이브, 솔리드-스테이트 드라이브, 또는 다른 데이터 저장 디바이스들을 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(100)는 데이터 저장소(128)에 저장된 히트 맵(heat map)(206)(도 2 참조)을 유지한다. 아래에 더 상세히 논의된 바와 같이, 히트 맵(206)은 시간 경과에 따른 뷰어 초점 영역의 변화들을 저장한다. 물론, 컴퓨팅 디바이스(100)는 다른 실시예들에서 데이터 저장소(128)에 다른 데이터를 저장하고, 액세스하고, 그리고/또는 유지할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(100)는 또한 하나 이상의 주변 디바이스(130)를 포함할 수 있다. 그러한 주변 디바이스들(130)은 임의의 수의 부가의 입력/출력 디바이스, 인터페이스 디바이스, 및/또는 다른 주변 디바이스를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 주변 디바이스들(130)은 디스플레이, 터치 스크린, 그래픽 회로, 키보드, 마우스, 스피커 시스템, 및/또는 기타 입력/출력 디바이스, 인터페이스 디바이스, 및/또는 주변 디바이스를 포함할 수 있다.
예시적인 실시예에서, 컴퓨팅 디바이스(100)는 또한 디스플레이(132) 및 눈 추적 센서(들)(136)를 포함한다. 컴퓨팅 디바이스(100)의 디스플레이(132)는 액정 디스플레이(LCD), 발광 다이오드(LED), 플라스마 디스플레이, CRT(cathode ray tube), 또는 다른 타입의 디스플레이 디바이스와 같이 디지털 정보를 표시할 수 있는 임의의 타입의 디스플레이로서 실시될 수 있다. 특정한 디스플레이 타입에 관계없이, 디스플레이(132)는 콘텐츠가 디스플레이되는 디스플레이 화면(134)을 포함한다.
눈 추적 센서(들)(136)는 뷰어의 눈이 집중되는 디스플레이(132)의 디스플레이 화면(134) 상의 영역을 판정할 수 있는 임의의 하나 이상의 센서로서 실시될 수 있다. 예를 들어, 일부 실시예들에서, 눈 추적 센서(들)(136)는 활성인 적외선 방사기들 및 적외선 검출기들을 이용하여 시간 경과에 따른 뷰어의 눈 움직임을 추적할 수 있다. 눈 추적 센서(들)는 뷰어의 눈의 다양한 내부 및 외부 특징부들에서 반사된 적외선 광을 캡처하고 그에 의해 뷰어의 시선의 방향을 계산할 수 있다. 눈 추적 센서(들)(136)는 뷰어의 눈 초점 영역에 관한 정확한 정보, 즉, 눈 초점 영역에 대응하는 디스플레이 화면(134) 상의 x 좌표와 y 좌표를 제공할 수 있다.
이제 도 2를 참조하면, 일 실시예에서, 컴퓨팅 디바이스(100)는 동작 중의 환경(200)을 구축한다. 예시적인 실시예(200)는 눈 추적 모듈(202) 및 렌더링 모듈(208)을 포함한다. 눈 추적 모듈(202)과 렌더링 모듈(208) 각각은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 실시될 수 있다.
눈 추적 모듈(202)은, 눈 추적 센서(들)(136)로부터 수신된 센서 데이터를 이용하여, 뷰어의 눈이 집중되는 디스플레이(132)의 디스플레이 화면(134) 상의 영역을 판정하도록 구성된다. 일부 실시예들에서, 눈 추적 모듈(202)은 변화 필터(204)를 포함할 수 있다. 사람의 눈 움직임은 단속성 운동(saccade)이라고 불리는 빠른 움직임들에 의해 연결된, 주시(fixation)라고 불리는 짧은 멈춤들로 특징지어진다. 그러므로, 필터링되지 않은 눈 추적 센서 데이터는 빠르고 일관성 없는 눈 초점 영역의 변화들을 생성할 수 있다. 따라서, 변화 필터(204)는 눈 추적 센서 데이터를 필터링하여 주시로부터 단속성 운동들을 제거할 수 있다. 예를 들어, 일부 실시예들에서, 변화 필터(204)는 "저역 통과" 필터일 수 있다; 즉, 변화 필터(204)는 임계 초점 빈도보다 큰 초점 빈도를 가진 뷰어의 초점 영역의 변화들을 저지(reject)할 수 있다. 그 결과, 변화 필터(204)는 임계 초점 지속기간보다 짧은 초점 지속기간을 가진 초점 영역 변화들을 저지할 수 있다.
일부 실시예들에서, 눈 추적 모듈(202)은 시간 경과에 따른 뷰어 초점 영역들을 기록하는 히트 맵(206)을 포함하여, 눈 추적 모듈(202)이 뷰어에 의해 자주 집중되는 디스플레이 화면(134) 상의 영역들을 판정하게 해준다. 히트 맵(206)은 디스플레이 화면(134)의 2차원 표현으로 실시될 수 있다. 히트 맵(206)의 각각의 요소는 뷰어가 디스플레이 화면(134)의 대응 영역을 주시한 횟수를 기록할 수 있다. 다른 실시예들에서 히트 맵(206)의 각각의 요소는 뷰어가 디스플레이 화면(134)의 대응 영역을 주시한 총 누적 시간을 기록할 수 있다. 따라서, 히트 맵(206)은 뷰어에게 흥미 있는 디스플레이 화면(134) 상의 다수의 영역들에 대한 피드백을 제공할 수 있다. 히트 맵(206)은 제한된 시간 기간 동안, 예를 들어, 가장 최근의 고정된 시간 기간 동안, 또는 특정 애플리케이션의 동작 동안의 데이터를 기록할 수 있다. 히트 맵(206) 내의 데이터는 디스플레이 화면(134) 상에 렌더링된 콘텐츠를 덮어씌우는(overlaying) 컬러 코딩된 2차원 표현으로 시각화될 수 있다. 그러한 시각화는 거짓 컬러 적외선 이미지와 유사하게 보여서, "히트 맵"이라는 이름을 부여한다.
렌더링 모듈(208)은 뷰어의 눈 초점 영역의 함수로서 렌더링된 콘텐츠의 하나 이상의 시각적 특성을 조정하도록 구성된다. 일부 실시예들에서, 렌더링 모듈(208)은 눈 초점 영역 내부의 시각적 특성들을 우선순위화할 수 있다. 즉, 시각적 특성들은 눈 초점 영역 내부의 시각적 특성들을 개선하거나 눈 초점 영역 외부의 시각적 특성들을 저하시키도록 조정될 수 있다. 대안의 실시예들에서, 렌더링 모듈(208)은, 예를 들어 뷰어의 초점 영역을 바꾸도록 뷰어를 고무하기 위해, 눈 초점 영역 외부의 시각적 특성들을 우선순위화할 수 있다. 이러한 우선적 처리를 달성하기 위해, 눈 초점 영역에서의 시각적 특성들이 저하될 수 있거나 눈 초점 영역에서 떨어진 위치에서의 시각적 특성들이 개선될 수 있다. 일부 실시예들은, 특정 상황에 의존하여, 눈 초점 영역 내부와 외부 양쪽 모두의 시각적 특성들을 우선순위화할 수 있다. 아래에 더 상세히 논의된 바와 같이, 시각적 특성들은 조정될 수 있는 콘텐츠의 임의의 타입의 시각적 특성으로 실시될 수 있다.
이제 도 3을 참조하면, 사용에 있어서, 컴퓨팅 디바이스(100)는 뷰어의 눈 초점 영역에 기초하여 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 출력을 수정하는 방법(300)을 실행할 수 있다. 이 방법(300)은 블록(302)에서 시작되는데, 이 블록에서 눈 추적 모듈(202)은 눈 초점 영역을 판정한다. 예를 들어, 도 4를 참조하면, 개략도(400)는 뷰어(402)가 컴퓨팅 디바이스(100)의 디스플레이(132)의 디스플레이 화면(134) 상의 눈 초점 영역(404)에 집중한 것을 보여준다. 눈 초점 영역(404)은 원형으로 예시되어 있지만 디스플레이 화면(134) 상의 영역을 둘러싸는 임의의 형상일 수 있다. 눈 초점 영역은 디스플레이 화면(134) 상의 픽셀들 또는 다른 디스플레이 요소들의 그룹으로 실시될 수 있거나, 디스플레이 화면(134) 상의 단일 픽셀 또는 디스플레이 요소로서 실시될 수 있다. 다시 도 3을 참조하면, 블록(304)에서, 눈 추적 모듈(202)은 눈 추적 센서(들)(136)로부터 눈 추적 센서 데이터를 수신한다. 눈 초점 영역은 눈 추적 센서 데이터의 함수로서 직접 판정될 수 있다. 대안으로, 아래에 논의된 바와 같이, 눈 초점 영역은 변화 필터(204)와 히트 맵(206) 중 하나 또는 양쪽 모두를 이용하여 판정될 수 있다.
블록(306)에서, 눈 추적 모듈(202)은 변화 필터(204)를 이용하여 눈 추적 센서 데이터를 필터링할 수 있다. 위에 논의된 바와 같이, 변화 필터(204)는 빠르고 일관성 없는 눈 초점 영역의 변화들을 저지하는 저역 통과 필터로 실시될 수 있다. 예를 들어, 일부 실시예들에서, 변화 필터(204)는 200 밀리초(200 ms) 미만 지속되는 초점 지속기간을 가진 눈 초점 영역 변화들을 필터링하여 제거할 수 있다. 그러한 기간은 초당 5 회(5 Hz)보다 큰 초점 빈도를 가진 눈 움직임 변화들을 저지하는 것에 대응한다. 물론, 다른 실시예들에서는 다른 필터 속성들을 가진 변화 필터들이 사용될 수 있다.
블록(308)에서, 눈 추적 모듈(202)은 눈 추적 센서 데이터를 이용해 히트 맵(206)을 갱신할 수 있다. 위에 논의된 바와 같이, 히트 맵(206)은 시간 경과에 따른 눈 초점 영역 변화들을 기록한다. 히트 맵(206)에서 더 높은 "밀도"를 나타내는 영역들은 뷰어가 더 자주 집중한 디스플레이 화면(134)의 영역들에 대응하고, 이는 결국 뷰어에게 더 흥미 있는 디스플레이 화면(134) 상의 영역들에 대응할 수 있다. 눈 추적 모듈(202)은, 디스플레이(132)의 디스플레이 화면(134) 상의 자주 집중된 영역들을 고려하여, 눈 초점 영역을 판정하기 위해 히트 맵(206)을 참조할 수 있다.
블록(310)에서, 렌더링 모듈(208)은 블록(302)에서 판정된 눈 초점 영역의 함수로서 렌더링된 콘텐츠의 시각적 특성들을 조정한다. 일부 실시예들에서, 조정된 시각적 특성들은 렌더링된 콘텐츠의 상세 수준(level of detail)으로 실시될 수 있다. 렌더링된 콘텐츠의 상세 수준은 많은 잠재적인 실시예들을 가진다. 예를 들어, 3차원 콘텐츠에 있어서, 상세 수준은 장면을 구성하기 위해 사용되는 다양한 텍스처들의 상세 수준 및/또는 폴리곤의 수로 실시될 수 있다. 다른 실시예들에 있어서, 상세 수준은, 광선 트레이싱(ray-tracing) 렌더링 시스템들에서와 같이, 이미지를 생성하기 위해 트레이싱되는 광선의 수로 실시될 수 있다. 다른 실시예들에서, 상세 수준은 이미지를 렌더링하기 위해 이용되는 디스플레이 화면(134)의 디스플레이 요소들의 수로 실시될 수 있다. 예를 들어, 소정의 고해상도 디스플레이 기술들은 물리 픽셀들의 그룹들(흔히 4개의 물리 픽셀)을 하나의 논리 픽셀로서 함께 렌더링하여, 효과적으로 화면의 해상도를 줄일 수 있다. 시각적 특성들은 또한 안티에일리어싱(antialiasig), 셰이더(shader)(예컨대, 픽셀 셰이더(pixel shader) 또는 버텍스 셰이더(vertex shader)), 이방성 필터링(anisotropic filtering), 라이팅(lighting), 섀도잉(shadowing), 포커싱(focusing), 또는 블러링(blurring)과 같은 시각적 렌더링 효과들로 실시될 수 있다. 물론, 시각적 특성들은 3차원 렌더링된 콘텐츠로 제한되지 않는다. 예를 들어, 시각적 특성들은 색 포화도(color saturation) 또는 디스플레이 휘도(brightness)로 실시될 수 있다. 특정의 디스플레이 기술들에 있어서, 개별 디스플레이 요소들의 휘도가 조정될 수 있다; 즉, 디스플레이 화면(134) 전체보다 작게 휘도가 조정될 수 있다. 시각적 특성들은 또한 렌더링 우선 순위로 실시될 수 있다. 예를 들어, 특정의 시각 집중적인(visually intensive) 애플리케이션들은 파트들(parts)(흔히 "타일들"이라고 불림)에 콘텐츠를 렌더링한다; 즉, 큰 콘텐츠가 더 작은 파트들로 분할되고 이 파트들은 개별적으로 그리고 보통 상이한 시간들에 렌더링된다. 일부 실시예들에서, 렌더링 우선 순위를 조정함으로써 콘텐츠를 구성하는 다양한 파트들을 렌더링하는 순서를 제어할 것이다. 예를 들어, 그래픽 편집 애플리케이션은 눈 초점 영역을 포함하는 이미지의 파트를 먼저 렌더링할 수 있다. 다른 예로서, 마크업 언어(예컨대, HTML5)로 기술된 그래픽 브라우저 렌더링 콘텐츠는 눈 초점 영역을 포함하는 HTML5 문서의 요소들에 대한 텍스트 또는 다운로드 이미지들을 먼저 렌더링할 수 있다.
일부 실시예들에서, 렌더링 모듈(208)은 디스플레이된 콘텐츠의 상이한 영역들의 시각적 특성들을 상이한 방법들로 조정할 수 있다. 예를 들어, 블록(312)에서, 렌더링 모듈(208)은 눈 초점 영역 내부의 렌더링된 콘텐츠의 시각적 특성들을 개선할 수 있다. 눈 초점 영역 내부의 시각적 특성들을 개선함으로써 뷰어에 의해 인지되는 이미지 품질을 개선할 수 있고 콘텐츠 전체의 시각적 특성들을 개선하는 것보다 더 효율적으로 하드웨어 리소스들을 이용할 수 있다. 추가로 또는 대안으로, 블록(314)에서, 렌더링 모듈(208)은 눈 초점 영역 외부의 렌더링된 콘텐츠의 시각적 특성들을 저하시킬 수 있다. 눈 초점 영역 내부의 시각적 특성들은 변하지 않기 때문에, 렌더링 효율은 증가되면서 뷰어에 의해 인지되는 이미지 품질은 변하지 않고 유지될 수 있다.
시각적 특성을 "개선하는 것" 또는 "저하시키는 것"의 정확한 본질은 특정한 시각적 특성에 의존한다. 예를 들어, 폴리곤 카운트는 폴리곤의 수를 증가시킴으로써 개선되고 폴리곤의 수를 감소시킴으로써 저하될 수 있다. 텍스처의 상세 수준은 텍스처들의 사이즈, 해상도, 또는 품질을 증가시킴으로써 개선되고 텍스처들의 사이즈, 해상도, 또는 품질을 감소시킴으로써 저하될 수 있다. 렌더링 효과들은 부가의 효과들을 추가함으로써 또는 효과들의 품질을 개선함으로써 개선될 수 있다. 예를 들어, 셰이더들은 부가의 또는 더 계산 집중적인 셰이더들을 이용함으로써 개선될 수 있다. 렌더링 효과들은 효과들을 제거하거나 효과들의 품질을 감소시킴으로써 저하될 수 있다. 색 포화도 또는 휘도는 색 포화도 또는 휘도를 증가시킴으로써 개선되고 색 포화도 또는 휘도를 감소시킴으로써 저하될 수 있다.
일부 실시예들에서, 렌더링 모듈(208)은, 추가로 또는 대안으로, 눈 초점 영역 외부의 디스플레이 화면(134) 상의 영역에서의 렌더링된 콘텐츠의 시각적 특성들을 개선할 수 있다. 예를 들어, 도 4를 참조하여, 개략도(400)는 뷰어(402)가 컴퓨팅 디바이스(100)의 디스플레이(132)의 디스플레이 화면(134) 상의 눈 초점 영역(404)에 집중한 것을 보여준다. 해시 영역(406)은 눈 초점 영역(404) 외부에 떨어져 있는 디스플레이의 영역을 나타낸다. 영역(406) 내부의 시각적 특성들을 개선함으로써, 컴퓨팅 디바이스(100)는 뷰어의 초점을 영역(406)으로 이동시키도록 뷰어를 고무할 수 있다. 다시 도 3을 참조하여, 블록(318)에서, 렌더링 모듈(208)은, 추가로 또는 대안으로, 눈 초점 영역 내부의 렌더링된 콘텐츠의 시각적 특성들을 저하시킬 수 있다. 눈 초점 영역을 포함하는 디스플레이 화면(134) 상의 위치들에서의 시각적 특성들을 저하시킴으로써 뷰어의 초점을 저하되지 않은 시각적 특성들을 가진 디스플레이의 다른 영역으로 이동시키도록 뷰어를 고무할 수 있다. 특정한 시각적 특성들이 전술한 바와 같이 개선되거나 저하될 수 있다.
시각적 특성들이 조정된 후에, 방법(300)은 컴퓨팅 디바이스(100)가 눈 초점 영역을 판정하는 블록(302)로 다시 되돌아간다. 따라서, 컴퓨팅 디바이스(100)은 눈 초점 영역을 계속해서 모니터하고 시각적 특성들을 적절히 조정한다.
실시예들
본 명세서에 개시된 디바이스들 및 방법들의 예시적인 실시예들이 아래에 제공된다. 디바이스들 및 방법들의 일 실시예는 아래에 기술되는 실시예들 중 어느 하나 또는 그 이상, 및 이들의 임의의 조합을 포함할 수 있다.
실시예 1은 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스를 포함한다. 이 컴퓨팅 디바이스는 콘텐츠가 표시될 수 있는 디스플레이 화면을 가진 디스플레이; 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서; 눈 추적 센서로부터 센서 데이터를 수신하고 이 센서 데이터의 함수로서 디스플레이 화면 상의 눈 초점 영역을 결정하는 눈 추적 모듈; 및 눈 초점 영역의 함수로서 디스플레이 상의 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈을 포함한다.
실시예 2는 실시예 1의 요지를 포함하고, 여기서 눈 추적 모듈은 고시들로부터 단속성 운동들을 제거하기 위해 센서 데이터를 필터링하는 변화 필터를 더 포함한다.
실시예 3은 실시예 1 및 실시예 2 중 어느 하나의 요지를 포함하고, 여기서 눈 추적 모듈은 또한 센서 데이터를 이용하여 히트 맵을 갱신하고 히트 맵을 참조하여 눈 초점 영역을 결정한다.
실시예 4는 실시예 1 내지 실시예 3 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 눈 초점 영역 내부의 렌더링된 콘텐츠의 시각적 특성을 개선하는 것을 포함한다.
실시예 5는 실시예 1 내지 실시예 4 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 눈 초점 영역 외부에 위치하는 렌더링된 콘텐츠의 시각적 특성을 저하시키는 것을 포함한다.
실시예 6은 실시예 1 내지 실시예 5 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 눈 초점 영역 외부의 디스플레이의 디스플레이 화면 상의 영역에서의 렌더링된 콘텐츠의 시각적 특성을 개선하는 것을 포함한다.
실시예 7은 실시예 1 내지 실시예 6 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 눈 초점 영역 외부의 디스플레이 화면 상의 영역을 제외하고 디스플레이의 디스플레이 화면 상의 렌더링된 콘텐츠의 시각적 특성을 저하시키는 것을 포함한다.
실시예 8은 실시예 1 내지 실시예 7 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 것은 렌더링된 콘텐츠의 상세 수준을 조정하는 것을 포함한다.
실시예 9는 실시예 1 내지 실시예 8 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 것은 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 폴리콘의 카운트를 조정하는 것을 포함한다.
실시예 10은 실시예 1 내지 실시예 9 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 것은 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 텍스처들의 세트를 조정하는 것을 포함한다.
실시예 11은 실시예 1 내지 실시예 10 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 것은 렌더링된 콘텐츠를 렌더링하기 위해 트레이싱되는 광선의 수를 조정하는 것을 포함한다.
실시예 12는 실시예 1 내지 실시예 11 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 것은 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 디스플레이 요소들의 수를 조정하는 것을 포함한다.
실시예 13은 실시예 1 내지 실시예 12 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 것은 안티-에일리어싱, 셰이딩, 이방성 필터링, 라이팅, 섀도잉, 포커싱, 또는 블러링으로 이루어지는 그룹으로부터 선택된 적어도 하나의 렌더링 효과를 조정하는 것을 포함한다.
실시예 14는 실시예 1 내지 실시예 13 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 것은 색 포화도를 조정하는 것을 포함한다.
실시예 15는 실시예 1 내지 실시예 14 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 것은 디스플레이 화면의 휘도를 조정하는 것을 포함한다.
실시예 16은 실시예 1 내지 실시예 15 중 어느 하나의 요지를 포함하고, 여기서 디스플레이 화면의 휘도를 조정하는 것은 디스플레이 화면 전체 미만의 디스플레이 화면의 영역의 휘도를 조정하는 것을 포함한다.
실시예 17은 실시예 1 내지 실시예 16 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 것은 렌더링 우선 순위를 조정하는 것을 포함하고, 렌더링된 콘텐츠는 상이한 시간들에 렌더링되는 복수의 파트들을 포함한다.
실시예 18은 실시예 1 내지 실시예 17 중 어느 하나의 요지를 포함하고, 여기서 상이한 시간들에 렌더링되는 복수의 파트들은 하이퍼텍스트 마크업 언어로 표현된 복수의 하이퍼텍스트 요소들을 포함한다.
실시예 19는 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법을 포함한다. 이 방법은, 컴퓨팅 디바이스에서, 컴퓨팅 디바이스의 눈 추적 센서로부터 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계; 컴퓨팅 디바이스에서, 센서 데이터의 함수로서 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 결정하는 단계; 및 컴퓨팅 디바이스에서, 눈 초점 영역의 함수로서 디스플레이 상의 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계를 포함한다.
실시예 20은 실시예 19의 요지를 포함하고, 여기서 눈 초점 영역을 결정하는 단계는, 컴퓨팅 디바이스에서, 고시들로부터 단속성 운동들을 제거하기 위해 센서 데이터를 필터링하는 단계를 더 포함한다.
실시예 21은 실시예 19 및 실시예 20 중 어느 하나의 요지를 포함하고, 여기서 눈 초점 영역을 결정하는 단계는, 컴퓨팅 디바이스에서, 센서 데이터를 이용하여 히트 맵을 갱신하는 단계 및 컴퓨팅 디바이스에서, 히트 맵을 참조하여 눈 초점 영역을 결정하는 단계를 더 포함한다.
실시예 22는 실시예 19 내지 실시예 21 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 눈 초점 영역 내부의 렌더링된 콘텐츠의 시각적 특성을 개선하는 단계를 포함한다.
실시예 23은 실시예 19 내지 실시예 22 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 눈 초점 영역 외부에 위치하는 렌더링된 콘텐츠의 시각적 특성을 저하시키는 단계를 포함한다.
실시예 24는 실시예 19 내지 실시예 23 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 눈 초점 영역 외부의 디스플레이의 디스플레이 화면 상의 영역에서의 렌더링된 콘텐츠의 시각적 특성을 개선하는 단계를 포함한다.
실시예 25는 실시예 19 내지 실시예 24 중 어느 하나의 요지를 포함하고, 여기서 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 눈 초점 영역 외부의 디스플레이 화면 상의 영역을 제외하고 디스플레이의 디스플레이 화면 상의 렌더링된 콘텐츠의 시각적 특성을 저하시키는 단계를 포함한다.
실시예 26은 실시예 19 내지 실시예 25 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 단계는 렌더링된 콘텐츠의 상세 수준을 조정하는 단계를 포함한다.
실시예 27은 실시예 19 내지 실시예 26 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 단계는 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 폴리콘의 카운트를 조정하는 단계를 포함한다.
실시예 28은 실시예 19 내지 실시예 27 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 단계는 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 텍스처들의 세트를 조정하는 단계를 포함한다.
실시예 29는 실시예 19 내지 실시예 28 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 단계는 렌더링된 콘텐츠를 렌더링하기 위해 트레이싱되는 광선의 수를 조정하는 단계를 포함한다.
실시예 30은 실시예 19 내지 실시예 29 중 어느 하나의 요지를 포함하고, 여기서 상세 수준을 조정하는 단계는 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 디스플레이 요소들의 수를 조정하는 단계를 포함한다.
실시예 31은 실시예 19 내지 실시예 30 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 단계는 안티-에일리어싱, 셰이딩, 이방성 필터링, 라이팅, 섀도잉, 포커싱, 또는 블러링으로 이루어지는 그룹으로부터 선택된 적어도 하나의 렌더링 효과를 조정하는 단계를 포함한다.
실시예 32는 실시예 19 내지 실시예 31 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 단계는 색 포화도를 조정하는 단계를 포함한다.
실시예 33은 실시예 19 내지 실시예 32 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 단계는 디스플레이 화면의 휘도를 조정하는 단계를 포함한다.
실시예 34는 실시예 19 내지 실시예 33 중 어느 하나의 요지를 포함하고, 여기서 디스플레이 화면의 휘도를 조정하는 단계는 디스플레이 화면 전체 미만의 디스플레이 화면의 영역의 휘도를 조정하는 단계를 포함한다.
실시예 35는 실시예 19 내지 실시예 34 중 어느 하나의 요지를 포함하고, 여기서 시각적 특성을 조정하는 단계는 렌더링 우선 순위를 조정하는 단계를 포함하고, 렌더링된 콘텐츠는 상이한 시간들에 렌더링되는 복수의 파트들을 포함한다.
실시예 36은 실시예 19 내지 실시예 35 중 어느 하나의 요지를 포함하고, 여기서 렌더링 우선 순위를 조정하는 단계는 하이퍼텍스트 마크업 언어로 표현된 복수의 하이퍼텍스트 요소들의 렌더링 우선 순위를 조정하는 단계를 포함한다.
실시예 37은 프로세서 및 메모리를 구비한 컴퓨팅 디바이스를 포함하는데, 메모리에는 프로세서에 의해 실행될 때 컴퓨팅 디바이스로 하여금 실시예 19 내지 실시예 36 중 어느 하나의 방법을 수행하게 하는 복수의 명령어가 저장되어 있다.
실시예 38은 실행되는 것에 응답하여 컴퓨팅 디바이스가 실시예 19 내지 실시예 36 중 어느 하나의 방법을 수행하는 결과를 초래하는 복수의 명령어가 저장되어 있는 하나 이상의 머신 판독 가능 저장 매체를 포함한다.

Claims (38)

  1. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 시각적 특성을 조정하는 것은 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 것을 포함하고, 상기 상세 수준을 조정하는 것은 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 폴리곤들의 카운트를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  2. 제1항에 있어서, 상기 눈 추적 모듈은 주시(fixations)로부터 단속성 운동들(saccades)을 제거하기 위해 상기 센서 데이터를 필터링하는 변화 필터를 더 포함하는 컴퓨팅 디바이스.
  3. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 눈 추적 모듈은 또한 상기 센서 데이터를 이용하여 히트 맵(heat map)을 갱신하고 상기 히트 맵을 참조하여 상기 눈 초점 영역을 판정하는 컴퓨팅 디바이스.
  4. 제1항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 상기 눈 초점 영역 내부의 상기 렌더링된 콘텐츠의 시각적 특성을 개선하는 것을 포함하는 컴퓨팅 디바이스.
  5. 제1항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 상기 눈 초점 영역 외부에 위치하는 상기 렌더링된 콘텐츠의 시각적 특성을 저하시키는 것을 포함하는 컴퓨팅 디바이스.
  6. 제1항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 상기 눈 초점 영역 외부의 상기 디스플레이의 상기 디스플레이 화면 상의 영역에서의 상기 렌더링된 콘텐츠의 시각적 특성을 개선하는 것을 포함하는 컴퓨팅 디바이스.
  7. 제1항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 것은 상기 눈 초점 영역 외부의 상기 디스플레이 화면 상의 영역을 제외하고 상기 디스플레이의 상기 디스플레이 화면 상의 상기 렌더링된 콘텐츠의 시각적 특성을 저하시키는 것을 포함하는 컴퓨팅 디바이스.
  8. 삭제
  9. 삭제
  10. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 시각적 특성을 조정하는 것은 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 것을 포함하고, 상기 상세 수준을 조정하는 것은 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 텍스처들의 세트를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  11. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 시각적 특성을 조정하는 것은 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 것을 포함하고, 상기 상세 수준을 조정하는 것은 상기 렌더링된 콘텐츠를 렌더링하기 위해 트레이싱되는 광선의 수를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  12. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 시각적 특성을 조정하는 것은 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 것을 포함하고, 상기 상세 수준을 조정하는 것은 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 디스플레이 요소들의 수를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  13. 제4항 내지 제7항 중 어느 한 항에 있어서, 상기 시각적 특성을 조정하는 것은 안티-에일리어싱(anti-aliasing), 셰이딩(shading), 이방성 필터링(anisotropic filtering), 라이팅(lighting), 섀도잉(shadowing), 포커싱(focusing), 또는 블러링(blurring)으로 이루어지는 그룹으로부터 선택된 적어도 하나의 렌더링 효과를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  14. 제4항 내지 제7항 중 어느 한 항에 있어서, 상기 시각적 특성을 조정하는 것은 색 포화도(color saturation)를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  15. 제4항 내지 제7항 중 어느 한 항에 있어서, 상기 시각적 특성을 조정하는 것은 상기 디스플레이 화면의 휘도(brightness)를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  16. 제15항에 있어서, 상기 디스플레이 화면의 휘도를 조정하는 것은 상기 디스플레이 화면 전체보다 작은 상기 디스플레이 화면의 영역의 휘도를 조정하는 것을 포함하는 컴퓨팅 디바이스.
  17. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 컴퓨팅 디바이스로서,
    콘텐츠가 디스플레이될 수 있는 디스플레이 화면을 가진 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 생성하는 눈 추적 센서;
    상기 눈 추적 센서로부터 상기 센서 데이터를 수신하고 상기 센서 데이터의 함수로서 상기 디스플레이 화면 상의 눈 초점 영역을 판정하는 눈 추적 모듈; 및
    상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 렌더링 모듈
    을 포함하고,
    상기 시각적 특성을 조정하는 것은 렌더링 우선순위를 조정하는 것을 포함하고, 상기 렌더링된 콘텐츠는 상이한 시간들에 렌더링되는 복수의 파트들을 포함하는 컴퓨팅 디바이스.
  18. 제17항에 있어서, 상이한 시간들에 렌더링되는 상기 복수의 파트들은 하이퍼텍스트 마크업 언어(hypertext markup language)로 표현된 복수의 하이퍼텍스트 요소들을 포함하는 컴퓨팅 디바이스.
  19. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 시각적 특성을 조정하는 단계는 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 단계를 포함하고, 상기 상세 수준을 조정하는 단계는 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 폴리곤들의 카운트를 조정하는 것을 포함하는 방법.
  20. 제19항에 있어서, 상기 눈 초점 영역을 판정하는 단계는, 상기 컴퓨팅 디바이스 상에서, 주시로부터 단속성 운동들을 제거하기 위해 상기 센서 데이터를 필터링하는 단계를 더 포함하는 방법.
  21. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 눈 초점 영역을 판정하는 단계는, 상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터를 이용하여 히트 맵을 갱신하는 단계 및 상기 컴퓨팅 디바이스 상에서, 상기 히트 맵을 참조하여 상기 눈 초점 영역을 판정하는 단계를 더 포함하는 방법.
  22. 제19항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 상기 눈 초점 영역 내부의 상기 렌더링된 콘텐츠의 시각적 특성을 개선하는 단계를 포함하는 방법.
  23. 제19항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 상기 눈 초점 영역 외부에 위치하는 상기 렌더링된 콘텐츠의 시각적 특성을 저하시키는 단계를 포함하는 방법.
  24. 제19항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 상기 눈 초점 영역 외부의 상기 디스플레이의 상기 디스플레이 화면 상의 영역에서의 상기 렌더링된 콘텐츠의 시각적 특성을 개선하는 단계를 포함하는 방법.
  25. 제19항에 있어서, 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계는 상기 눈 초점 영역 외부의 상기 디스플레이 화면 상의 영역을 제외하고 상기 디스플레이의 상기 디스플레이 화면 상의 상기 렌더링된 콘텐츠의 시각적 특성을 저하시키는 단계를 포함하는 방법.
  26. 삭제
  27. 삭제
  28. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 시각적 특성을 조정하는 단계는 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 단계를 포함하고, 상기 상세 수준을 조정하는 단계는 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 텍스처들의 세트를 조정하는 단계를 포함하는 방법.
  29. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 시각적 특성을 조정하는 단계는 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 단계를 포함하고, 상기 상세 수준을 조정하는 단계는 상기 렌더링된 콘텐츠를 렌더링하기 위해 트레이싱되는 광선의 수를 조정하는 단계를 포함하는 방법.
  30. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 시각적 특성을 조정하는 단계는 상기 렌더링된 콘텐츠의 상세 수준을 조정하는 단계를 포함하고, 상기 상세 수준을 조정하는 단계는 상기 렌더링된 콘텐츠를 렌더링하기 위해 사용되는 디스플레이 요소들의 수를 조정하는 단계를 포함하는 방법.
  31. 제22항에 있어서, 상기 시각적 특성을 조정하는 단계는 안티-에일리어싱, 셰이딩, 이방성 필터링, 라이팅, 섀도잉, 포커싱, 또는 블러링으로 이루어지는 그룹으로부터 선택된 적어도 하나의 렌더링 효과를 조정하는 단계를 포함하는 방법.
  32. 제22항에 있어서, 상기 시각적 특성을 조정하는 단계는 색 포화도를 조정하는 단계를 포함하는 방법.
  33. 제22항에 있어서, 상기 시각적 특성을 조정하는 단계는 상기 디스플레이 화면의 휘도를 조정하는 단계를 포함하는 방법.
  34. 제33항에 있어서, 상기 디스플레이 화면의 휘도를 조정하는 단계는 상기 디스플레이 화면 전체보다 작은 상기 디스플레이 화면의 영역의 휘도를 조정하는 단계를 포함하는 방법.
  35. 눈 초점 영역의 함수로서 컴퓨팅 디바이스의 디스플레이 상의 렌더링된 콘텐츠를 수정하는 방법으로서,
    상기 컴퓨팅 디바이스 상에서, 상기 컴퓨팅 디바이스의 눈 추적 센서로부터 상기 컴퓨팅 디바이스의 사용자의 눈의 위치를 나타내는 센서 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스 상에서, 상기 센서 데이터의 함수로서 상기 디스플레이의 디스플레이 화면 상의 눈 초점 영역을 판정하는 단계; 및
    상기 컴퓨팅 디바이스 상에서, 상기 눈 초점 영역의 함수로서 상기 디스플레이 상의 상기 렌더링된 콘텐츠의 시각적 특성을 조정하는 단계
    를 포함하고,
    상기 시각적 특성을 조정하는 단계는 렌더링 우선순위를 조정하는 단계를 포함하고, 상기 렌더링된 콘텐츠는 상이한 시간들에 렌더링되는 복수의 파트들을 포함하는 방법.
  36. 제35항에 있어서, 상기 렌더링 우선순위를 조정하는 단계는 하이퍼텍스트 마크업 언어로 표현된 복수의 하이퍼텍스트 요소들의 렌더링 우선순위를 조정하는 단계를 포함하는 방법.
  37. 컴퓨팅 디바이스로서,
    프로세서; 및
    메모리를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 디바이스로 하여금 제19항 내지 제25항 및 제28항 내지 제36항 중 어느 한 항의 방법을 수행하게 하는 복수의 명령어를 그 안에 저장하고 있는 컴퓨팅 디바이스.
  38. 실행되는 것에 응답하여 컴퓨팅 디바이스가 제19항 내지 제25항 및 제28항 내지 제36항 중 어느 한 항의 방법을 수행하게 하는 저장된 복수의 명령어를 포함하는 하나 이상의 머신 판독 가능 저장 매체.
KR1020157004834A 2012-09-28 2013-09-27 눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법 KR101661129B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/631,476 US20140092006A1 (en) 2012-09-28 2012-09-28 Device and method for modifying rendering based on viewer focus area from eye tracking
US13/631,476 2012-09-28
PCT/US2013/062406 WO2014052891A1 (en) 2012-09-28 2013-09-27 Device and method for modifying rendering based on viewer focus area from eye tracking

Publications (2)

Publication Number Publication Date
KR20150034804A KR20150034804A (ko) 2015-04-03
KR101661129B1 true KR101661129B1 (ko) 2016-09-29

Family

ID=50384660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004834A KR101661129B1 (ko) 2012-09-28 2013-09-27 눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법

Country Status (3)

Country Link
US (1) US20140092006A1 (ko)
KR (1) KR101661129B1 (ko)
WO (1) WO2014052891A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8099343B1 (en) 2006-04-20 2012-01-17 At&T Intellectual Property I, L.P. Distribution schemes and related payment models for subscriber-created content
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US10895909B2 (en) * 2013-03-04 2021-01-19 Tobii Ab Gaze and saccade based graphical manipulation
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9529428B1 (en) * 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
US9342267B2 (en) * 2014-04-29 2016-05-17 Cisco Technology, Inc. Displaying regions of user interest in sharing sessions
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR101580605B1 (ko) * 2014-06-27 2015-12-28 주식회사 디지털프로그 HTML5 WebGL기반의 모바일 어플리케이션의 빠른 출력을 위한 그래픽 모델 구조와 출력 방법
CN105590015B (zh) * 2014-10-24 2019-05-03 中国电信股份有限公司 信息图热点采集方法、处理方法和装置及热点系统
KR20160071922A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 방법
US9684950B2 (en) * 2014-12-18 2017-06-20 Qualcomm Incorporated Vision correction through graphics processing
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
KR20160149603A (ko) * 2015-06-18 2016-12-28 삼성전자주식회사 전자 장치 및 전자 장치에서의 노티피케이션 처리 방법
EP3113159A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for processing a part of an immersive video content according to the position of reference parts
US9746920B2 (en) 2015-08-25 2017-08-29 International Business Machines Corporation Determining errors in forms using eye movement
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
US10096149B2 (en) 2015-12-21 2018-10-09 Intel Corporation Direct motion sensor input to rendering pipeline
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US11006101B2 (en) 2016-01-29 2021-05-11 Hewlett-Packard Development Company, L.P. Viewing device adjustment based on eye accommodation in relation to a display
IL302656A (en) * 2016-02-11 2023-07-01 Magic Leap Inc Multi-depth planar display system with limited change between depth planes
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10467658B2 (en) 2016-06-13 2019-11-05 International Business Machines Corporation System, method and recording medium for updating and distributing advertisement
US10152122B2 (en) 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
US10281980B2 (en) * 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10110802B2 (en) 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
JP7096836B2 (ja) 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
US20180300045A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Active window rendering optimization and display
CN107194890B (zh) * 2017-05-18 2020-07-28 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
CN111954901B (zh) 2018-04-24 2023-05-05 惠普发展公司，有限责任合伙企业 包括用于选择列像素数据的开关的显示设备
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10460516B1 (en) * 2019-04-26 2019-10-29 Vertebrae Inc. Three-dimensional model optimization
US11227103B2 (en) 2019-11-05 2022-01-18 International Business Machines Corporation Identification of problematic webform input fields
CN111399659B (zh) * 2020-04-24 2022-03-08 Oppo广东移动通信有限公司 界面显示方法及相关装置
JP2021189211A (ja) * 2020-05-26 2021-12-13 キヤノン株式会社 電子機器
KR20210147404A (ko) * 2020-05-28 2021-12-07 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
US11630680B2 (en) 2020-10-28 2023-04-18 International Business Machines Corporation Modifying user interface layout based on user focus
US20230306909A1 (en) * 2022-03-25 2023-09-28 Meta Platforms Technologies, Llc Modulation of display resolution using macro-pixels in display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20060256083A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive interface to enhance on-screen user reading tasks
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69901542T2 (de) * 1998-02-17 2002-12-05 Sun Microsystems Inc Verfahren und vorrichtung zur abschätzung der leistung eines grafischen systems von polygonen
US6317139B1 (en) * 1998-03-25 2001-11-13 Lance Williams Method and apparatus for rendering 3-D surfaces from 2-D filtered silhouettes
US6454411B1 (en) * 1998-11-17 2002-09-24 Entertainment Design Workshop Llc Method and apparatus for direct projection of an image onto a human retina
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6956576B1 (en) * 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
US8487959B1 (en) * 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
US8839132B2 (en) * 2010-12-02 2014-09-16 Tecsys, Inc. Method and system for providing visual instructions to warehouse operators
US9117382B2 (en) * 2012-09-28 2015-08-25 Intel Corporation Device and method for automatic viewing perspective correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20060256083A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive interface to enhance on-screen user reading tasks
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking

Also Published As

Publication number Publication date
KR20150034804A (ko) 2015-04-03
US20140092006A1 (en) 2014-04-03
WO2014052891A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
KR101661129B1 (ko) 눈 추적으로부터의 뷰어 초점 영역에 기초하여 렌더링을 수정하는 디바이스 및 방법
US10863168B2 (en) 3D user interface—360-degree visualization of 2D webpage content
CN110908503B (zh) 跟踪设备的位置的方法
CN108351691B (zh) 用于虚拟图像的远程渲染
KR102164723B1 (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
KR101979564B1 (ko) 가상 현실 시스템에서 모션-대-포톤 레이턴시 및 메모리 대역폭을 감소시키기 위한 시스템들 및 방법들
KR102235410B1 (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
KR102004010B1 (ko) 씨스루 디스플레이를 통한 새도우의 디스플레이
CN117238224A (zh) 用于增强现实装置的空间分辨的动态调暗
US9424767B2 (en) Local rendering of text in image
US11003305B2 (en) 3D user interface
CN115469781B (zh) 图形界面显示方法、电子设备、介质以及程序产品
CN109791431B (zh) 视点渲染
JP2016515246A (ja) 可変解像度デプス表現
US20190113970A1 (en) Gaze and saccade based graphical manipulation
CN114026603B (zh) 渲染计算机生成现实文本
Stengel et al. Gaze-contingent computational displays: Boosting perceptual fidelity
WO2015088910A1 (en) Interactive display of high dynamic range images
US10623713B2 (en) 3D user interface—non-native stereoscopic image conversion
Bhutta et al. The next problems to solve in augmented reality
US11543655B1 (en) Rendering for multi-focus display systems
CN106297611B (zh) 显示控制方法和装置
US11694379B1 (en) Animation modification for optical see-through displays
US11288873B1 (en) Blur prediction for head mounted devices
US8817081B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4