KR20190002416A - 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템 - Google Patents

가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템 Download PDF

Info

Publication number
KR20190002416A
KR20190002416A KR1020187018599A KR20187018599A KR20190002416A KR 20190002416 A KR20190002416 A KR 20190002416A KR 1020187018599 A KR1020187018599 A KR 1020187018599A KR 20187018599 A KR20187018599 A KR 20187018599A KR 20190002416 A KR20190002416 A KR 20190002416A
Authority
KR
South Korea
Prior art keywords
user
display
head
additional content
gaze
Prior art date
Application number
KR1020187018599A
Other languages
English (en)
Inventor
아지트 샨웨어
Original Assignee
로비 가이드스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/140,249 external-priority patent/US9851792B2/en
Priority claimed from US15/140,272 external-priority patent/US10025376B2/en
Application filed by 로비 가이드스, 인크. filed Critical 로비 가이드스, 인크.
Priority to KR1020237010112A priority Critical patent/KR20230044556A/ko
Publication of KR20190002416A publication Critical patent/KR20190002416A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Abstract

메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 방법 및 시스템이 제공된다. 구체적으로, 사용자의 응시 중심의 이동이 검출된다. 응시 중심의 이동에 기초하여 사용자의 시야가 결정된다. 디스플레이를 위한 추가적인 콘텐트가 생성되는 가상 현실 환경의 일부가 사용자의 시야의 전경 영역에 해당한다고 결정되면, 디스플레이를 위한 추가적인 콘텐트는 사용자의 시야의 주변 영역에 대응하는 가상 현실 환경의 일부분에 생성된다.

Description

가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
본 발명은 가상 현실 환경을 디스플레이하는 헤드업 디스플레이(heads up display) 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템에 관한 것이다.
본 출원은 미국 유틸리티 특허출원 제15/140,249(2016년 4월 27일 출원) 및 미국특허출원 제15/140,272(2016년 4월 27일 출원)에 대한 우선권 및 이점을 주장하며, 이들의 개시 내용은 그 전체가 본원에 참고로 포함된다.
종래의 시스템에서, 디스플레이 상의 메인 콘텐트(예를 들어, 영화, 텔레비전 쇼, 비디오 게임, 가상 현실 세계, 미디어 안내 화면)에 부가적으로 추가적인 콘텐트(예를 들어, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간, 이벤트들의 스케줄)을 디스플레이하는 것이 바람직할 수 있다. 불행히도 추가적인 콘텐트를 디스플레이하면, 추가적인 콘텐트가 흐려지거나 그렇지 않으면 메인 콘텐트의 디스플레이를 방해하는 위험을 발생시킨다. 이러한 문제는 시스템이 몰입형 경험에 중점을 두는 가상 현실 환경에서 특히 관련될 수 있다.
따라서, 가상 현실 환경에서 사용자의 요구에 기반하여 메인 콘텐트(예를 들어, 영화, 텔레비젼 쇼, 비디오 게임, 가상 현실 세계, 미디어 안내 화면) 주변에 추가적인 정보(예를 들어, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간, 이벤트들의 스케줄)를 재 위치시키는 방법 및 시스템이 본 명세서에 기술된다. 예를 들어, 본 명세서에 기술되는 제어 회로는 추가적인 정보를 사용자의 시야의 주변 영역으로 제한할 수 있고, 오직 사용자가 가상 현실 환경에서의 몰입 상태에서 벗어나고자 원한다고 결정한 것에 응답하여서만 추가적인 정보를 재 위치시킬 수 있다. 특히, 제어 회로는 응시 중심의 이동에 기초하여 사용자의 시야를 결정한다. 제어 회로가 디스플레이를 위해 추가적인 콘텐트가 생성되는 가상 현실 환경의 부분이 사용자의 시야의 전경 영역에 대응한다고 결정하면, 제어 회로는 디스플레이를 위해 사용자의 시야의 주변 영역에 대응하는 가상 현실 환경의 일부분에 추가적인 콘텐트를 생성한다. 제어 회로가 디스플레이를 위해 사용자의 시야의 주변 영역에 대응하는 가상 현실 환경의 일부분에 추가적인 콘텐트를 생성한다는 것을 보장함으로써, 추가적인 콘텐트가 사용자의 시야의 전경 영역에 대응하는 메인 콘텐트의 사용자의 시청을 방해하지 않는다는 것을 보장할 수 있다.
특히, 전신 이동을 검출하는 것에 응답하여, 제어 회로는 사용자의 시야의 전경 영역에 대응하는 가상 현실 환경의 일부분에 디스플레이를 위한 추가적인 콘텐트를 생성한다. 추가적인 콘텐트는 사용자가 전신 이동을 수행하도록 지원한다. 사용자의 시야의 전경 영역에 대응하는 가상 현실 환경의 일부분에 디스플레이를 위한 추가적인 콘텐트를 생성함으로써, 사용자가 추가적인 콘텐트를 쉽게 볼 수 있음을 보장할 수 있다. 추가적인 콘텐트는 사용자가 헤드업 디스플레이 상의 메인 콘텐트를 시청하는 것을 방해하지 않으면서 전신 이동을 수행할 때 사용자를 지원하도록 구성된다. 예를 들어, 사용자가 보행 중인 경우, 추가적인 콘텐트는 예를 들어, 사용자가 헤드업 디스플레이 상의 콘텐트 시청을 중지할 필요없이 물리적 주변 환경 내의 장애물을 회피하는 경우에 사용자를 지원할 수 있게 하는 사용자의 물리적 주변 환경의 비디오일 수 있다. 따라서, 전경 영역에 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 사용자가 헤드업 디스플레이 상의 콘텐트를 시청하는 것을 방해받지 않으면서 전신 이동을 수행할 수 있게 한다.
몇몇 양상들에서, 메인 콘텐트의 사용자 시청을 방해함이 없이 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위한 방법 및 시스템이 본 명세서에서 제공된다.
메인 콘텐트는 사용자의 주요 집중의 대상이 되는 임의의 콘텐트일 수 있다. 예를 들어, 메인 콘텐트는 영화, 텔레비전 쇼, 비디오 게임 또는 가상 현실 세계와 같은 미디어 자산일 수 있다. 다른 예로서, 메인 콘텐트는 미디어 안내 화면일 수 있다.
추가적인 콘텐트는 메인 콘텐트가 아닌 임의의 콘텐트일 수 있다. 추가적인 콘텐트는 메인 콘텐트와 관련이 없거나 메인 콘텐트와 관련될 수 있다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간 또는 이벤트들의 스케줄일 수 있다.
가상 현실 환경은 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 디스플레이되는 임의의 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 가상 세계(예를 들어, 게임의 가상 세계)일 수 있으며, 이 가상 세계는 사용자에게 그 자신이 그 세계에 위치한 것처럼 보이게 한다. 다른 예로서, 가상 현실 환경은 현실 세계에 중첩되도록 사용자에게 나타나는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 자신의 자동차의 유리창(또는 임의의 다른 투명 표면)을 통해 보는 것과 겹쳐지는 속도계 디스플레이(또는 임의의 다른 디스플레이)일 수 있다. 다른 예로서, 가상 현실 환경은 미디어 자산의 디스플레이가 사용자의 시야를 완전히 포함하도록 사용자에게 제시되는 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
헤드업 디스플레이는 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 비 물리적 콘텐트를 디스플레이할 수 있는 임의의 디스플레이일 수 있다. 예를 들어, 헤드업 디스플레이는 사용자의 눈을 완전히 덮는 헤드 장착 디스플레이일 수 있다. 헤드 장착 디스플레이는 안경, 쌍안경, 헬멧 등으로 구성될 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 헤드업 디스플레이를 통해 볼 수 있는 현실 세계의 장면 상에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 위치한 방일 수 있으며, 그 방의 벽은 디스플레이 화면에 덮여 있다.
이러한 방법 및 시스템은, 헤드업 디스플레이의 가상 현실 환경의 제1 부분에, 디스플레이를 위한 제1 메인 콘텐트를 생성하도록 구성된 제어 회로를 포함하며, 제1 부분은 사용자의 제1 시야의 전경 영역에 대응한다.
제어 회로는 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 프로그래머블 로직 장치, FPGA(Field-Programmable Gate Array), ASIC (Application-Specific Integrated Circuit) 등을 기반으로 하는 회로와 같은 임의의 적절한 프로세싱 회로를 기반으로 할 수 있으며, 멀티 코어 프로세서(예를 들어, 듀얼 코어, 쿼드 코어, 헥사 코어 또는 임의의 적절한 수의 코어) 또는 수퍼컴퓨터를 포함할 수 있다. 프로세싱 회로는 다수의 개별 프로세서 또는 프로세싱 유닛, 예를 들어, 동일한 유형의 복수의 프로세싱 유닛(예를 들어, 2개의 Intel Core i7 프로세서) 또는 복수의 상이한 프로세서(예를 들어, Intel Core i5 프로세서 및 Intel Core i7 프로세서)를 통해 배포될 수 있다.
제1 메인 콘텐트는 메인 콘텐트의 임의의 부분일 수 있다. 제1 메인 콘텐트는 메인 콘텐트의 서브세트일 수 있다. 예를 들어, 제1 메인 콘텐트는 미디어 자산 내의 하나 이상의 객체(objects) 또는 문자(characters)일 수 있다. 다른 예로서, 제1 메인 콘텐트는 가상 세계 내의 특정 영역일 수 있다. 다른 예로서, 제1 메인 콘텐트는 미디어 안내 화면의 특정 부분일 수 있다.
가상 현실 환경의 제1 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제1 부분은 가상 현실 환경의 서브세트일 수 있다. 제1 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제1 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
사용자의 시야는 사용자가 특정 위치에 있을 때 사용자가 볼 수 있는 임의의 것일 수 있다. 예를 들어, 시야는 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 시야는 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 사용자의 시야는 사용자의 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도 및 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함할 수 있다. 예를 들어, 제1 수의 각수는 95도 이상, 예를 들어 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제1 수의 각도는 95도 미만, 예를 들어 90도, 85도, 80도, 75도, 70도, 70도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제2 수의 각도는 60도 미만, 예를 들어 55도, 50도, 45도, 40도, 40도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제3 수의 각도는 70도 이상, 예를 들어 75도, 80도, 85도, 90도, 90도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제3 수의 각도는 70도 미만, 예를 들어 65도, 60도, 55도, 55도 미만 또는 임의의 적절한 수의 각도일 수 있다. 시야는 사용자가 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 시야는 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
사용자의 시야의 전경 영역은 사용자가 정상적인 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 전경 영역은 시야의 서브세트를 포함할 수 있다. 전경 영역은 실질적으로 사용자의 시야 중심에 있는 시야 영역을 포함할 수 있다. 전경 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 전경 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 전경 영역은 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도 및 사용자의 응시 중심 아래로의 제6 수의 각도 내에 존재할 수 있다. 예를 들어, 제4, 제5 및 제6 수의 각도들은 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제4, 제5 및 제6 수의 각도들은 18도 미만, 예를 들어 15도, 10도, 5도, 5도 미만 또는 임의의 적절한 수의 각도일 수 있다. 제4, 제5 및 제6 수의 각도들은 다를 수 있다. 전경 영역은 사용자가 메인 시각(main vision)으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 전경 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
제어 회로는 헤드업 디스플레이 내의 가상 현실 환경의 제2 부분에, 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하도록 더 구성되며, 제2 부분은 사용자의 제1 시야의 주변 영역에 대응한다.
가상 현실 환경의 제2 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제2 부분은 가상 현실 환경의 서브세트일 수 있다. 제2 부분은 제1 부분과 다를 수 있다. 제2 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제2 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제2 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
제2 메인 콘텐트는 메인 콘텐트의 임의의 부분일 수 있다. 제2 메인 콘텐트는 메인 콘텐트의 서브세트일 수 있다. 예를 들어, 제2 메인 콘텐트는 미디어 자산 내의 하나 이상의 객체 또는 문자일 수 있다. 다른 예로서, 제2 메인 콘텐트는 가상 세계 내의 특정 영역일 수 있다. 다른 예로서, 제2 메인 콘텐트는 미디어 안내 화면의 특정 부분일 수 있다.
사용자의 시야의 주변 영역은 사용자가 주변 시각(peripheral vision)으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 주변 영역은 실질적으로 사용자의 시야의 가장자리에 있는 영역일 수 있다. 주변 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 주변 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 주변 영역은 전경 영역이 아닌 시야의 임의의 부분일 수 있다. 예를 들어, 주변 영역은 시야의 외부 경계의 특정 수의 각도 내의 시야의 영역을 포함할 수 있다. 주변 영역은 사용자가 주변 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 주변 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
제어 회로는 사용자의 응시 중심의 이동에 기초하여 사용자의 제2 시야를 결정하도록 더 구성된다. 예를 들어, 제어 회로는 새로운 응시 중심을 결정함으로써 제2 시야를 결정할 수 있다. 예를 들어, 제어 회로는 사용자의 머리의 이동을 검출함으로써 제2 시야를 결정할 수 있다.
제어 회로는 제2 부분이 제2 시야의 전경 영역에 대응한다고 결정하도록 더 구성된다. 예를 들어, 제2 부분은 제1 시야의 코너에 대응하지만 제2 시야의 중심에 대응할 수 있다.
제어 회로는, 제2 부분이 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하도록 더 구성되며, 상기 제3 부분은 제2 시야의 주변 영역에 대응한다.
가상 현실 환경의 제3 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제3 부분은 가상 현실 환경의 서브세트일 수 있다. 제3 부분은 제1 부분 및 제2 부분과 다를 수 있다. 제3 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제3 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제3 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
이러한 방법 및 시스템은 사용자의 응시 중심의 이동을 검출하도록 구성된 검출 모듈을 더 포함한다. 예를 들어, 검출 모듈은 광을 사용하여 사용자의 각 눈의 응시 지점을 검출함으로써 응시 중심의 이동을 검출할 수 있다. 예를 들어, 검출 모듈은 사용자의 머리의 이동을 검출함으로써 응시 중심의 이동을 검출할 수 있다. 예를 들어, 검출 모듈은 사용자에게 물리적으로 결합된 카메라로 캡쳐된 것을 통해 사용자의 물리적 주변 환경의 비디오의 변화를 검출함으로써 응시 중심의 이동을 검출할 수 있다. 응시 중심은 사용자의 시선이 실질적으로 집중되는 사용자의 시야의 임의의 영역일 수 있다. 응시 중심은 사용자가 볼 수 있는 것의 중심 부분일 수 있다. 응시 중심은 사용자의 각각의 눈의 응시 지점 사이의 중점일 수 있다. 한쪽 눈에 시각 장애가 있는 사용자의 경우 응시 중심은 손상되지 않은 눈의 응시 지점이 될 수 있다.
일부 실시예에서, 검출 모듈은 사용자의 응시 중심을 검출함으로써 응시 중심의 이동을 검출하도록 더 구성된다. 특정 실시예에서, 검출 모듈은 사용자의 응시 중심을 검출할 때, 광을 사용자의 각각의 눈에 전송하고, 사용자의 각각의 눈의 이미지를 수집하고, 각각의 이미지에서, 사용자의 눈에서의 반사 위치를 검출하고, 사용자의 각각의 동공의 위치를 결정하고, 각각의 동공의 위치를 각각의 반사 위치와 비교하며, 각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 사용자의 각 눈의 응시 지점을 결정하고, 사용자의 각 눈의 응시 지점 간의 중점을 결정함으로써 응시 중심을 결정하도록 더 구성된다.
특정 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 헤드 장착 디스플레이는 가속도계를 포함하고, 검출 모듈은 사용자의 응시 중심의 이동을 검출할 때, 가속도계에 의해 사용자의 머리의 가속도를 검출하도록 더 구성된다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 헤드 장착 디스플레이는 사용자의 물리적 주변 환경의 비디오를 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 제어 회로는 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하도록 더 구성된다.
특정 실시예에서, 제어 회로는 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하도록 더 구성된다.
일부 실시예에서, 제어 회로는 응시 중심의 이동에 기초하여 사용자의 제2 시야를 결정할 때, 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하고, 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 새로운 응시 중심 위로의 제2 수의 각도 및 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하도록 더 구성된다.
특정 실시예에서, 제어 회로는, 제2 부분이 제2 시야의 전경 영역에 대응한다고 결정할 때, 제2 시야의 전경 영역을 결정하도록 더 구성되고, 제어 회로는 제2 시야의 전경 영역을 결정할 때, 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 새로운 응시 중심 위로의 제5 수의 각도 및 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하도록 더 구성되며, 제4 수는 제1 수보다 작고, 제5 수는 제2 수보다 작으며, 제6 수는 제3 수보다 작다.
일부 실시예에서, 시스템 및 방법은 사용자로부터 입력을 수신하도록 구성된 사용자 인터페이스를 더 포함하고, 제어 회로는 입력에 응답하여 제2 시야의 전경 영역에 대응하는 가상 현실 환경의 일부분에서 디스플레이를 위한 추가적인 콘텐트를 생성하도록 더 구성된다.
특정 실시예에서, 제어 회로는 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 사용자의 응시 중심이 이동한 후 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하고, 상기 시간 구간이 임계 시간 구간보다 큰 것으로 결정하고, 상기 시간 구간이 상기 임계 시간 구간보다 큰 것으로 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록 더 구성된다.
몇몇 양상들에서, 사용자가 헤드업 디스플레이 상의 콘텐트의 시청을 방해받지 않고 사용자가 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 방법 및 시스템이 본 명세서에 제공된다.
가상 현실 환경은 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 디스플레이된 임의의 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 위치한 세계인 것처럼 사용자에게 보이는 가상 세계(예를 들어, 게임의 가상 세계)일 수 있다. 다른 예로서, 가상 현실 환경은 현실 세계에 중첩되는 것처럼 사용자에게 보이는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 자신의 자동차의 유리창(또는 임의의 다른 투명 표면)을 통해 보는 것에 겹쳐지는 속도계 디스플레이(또는 임의의 다른 디스플레이)일 수 있다. 다른 예로서, 가상 현실 환경은 미디어 자산의 디스플레이가 사용자의 시야를 완전히 포함하도록 사용자에게 제시되는 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
헤드업 디스플레이는 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 비 물리적 콘텐트를 디스플레이할 수 있는 임의의 디스플레이일 수 있다. 예를 들어, 헤드업 디스플레이는 사용자의 눈을 완전히 덮는 헤드 장착 디스플레이일 수 있다. 헤드 장착 디스플레이는 안경, 쌍안경, 헬멧 등으로 구성될 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 헤드업 디스플레이를 통해 볼 수 있는 현실 세계의 장면 상에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 위치한 방일 수 있으며, 그 방의 벽은 디스플레이 화면에 덮여 있다.
전신 이동은 사용자의 신체 전체의 상당 부분의 이동을 필요로 하는 사용자에 의한 임의의 물리적 이동일 수 있다. 예를 들어 전신 이동은 걷거나, 뛰거나, 일어서거나, 앉거나, 몸을 회전시키는 것 등일 수 있다.
이러한 시스템 및 방법은 헤드업 디스플레이의 가상 현실 환경의 제1 부분에 디스플레이를 위한 메인 콘텐트를 생성하도록 구성된 제어 회로를 포함하며, 상기 제1 부분은 사용자의 시야의 전경 영역에 대응한다.
제어 회로는 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 프로그래머블 로직 장치, FPGA (Field-Programmable Gate Array), ASIC (Application-Specific Integrated Circuit) 등을 기반으로 하는 회로와 같은 임의의 적절한 프로세싱 회로를 기반으로 할 수 있고, 멀티 코어 프로세서(예들 들어, 듀얼 코어, 쿼드 코어, 헥사 코어 또는 임의의 적절한 수의 코어) 또는 수퍼컴퓨터를 포함할 수 있다. 프로세싱 회로는 다수의 개별 프로세서 또는 프로세싱 유닛, 예를 들어, 동일한 유형의 복수의 프로세싱 유닛(예를 들어, 2개의 Intel Core i7 프로세서) 또는 복수의 상이한 프로세서(예를 들어, Intel Core i5 프로세서 및 Intel Core i7 프로세서)를 통해 배포될 수 있다.
가상 현실 환경의 제1 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제1 부분은 가상 현실 환경의 서브세트일 수 있다. 제1 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제1 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
메인 콘텐트는 사용자의 주요 집중의 대상으로 되는 콘텐트일 수 있다. 예를 들어, 메인 콘텐트는 영화, 텔레비전 쇼, 비디오 게임 또는 가상 현실 세계와 같은 미디어 자산일 수 있다. 다른 예로서, 메인 콘텐트는 미디어 안내 화면일 수 있다.
사용자의 시야는 사용자가 특정 위치에 있을 때 사용자가 볼 수 있는 임의의 것일 수 있다. 예를 들어, 시야는 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 시야는 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 사용자의 시야는 사용자의 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도 및 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함할 수 있다. 예를 들어, 제1 수의 각도는 95도 이상, 예를 들어 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제1 수의 각도는 95도 미만, 예를 들어 90도, 85도, 80도, 75도, 70도, 70도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제2 수의 각도는 60도 미만, 예를 들어 55도, 50도, 45도, 40도, 40도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제3 수의 각도는 70도 이상, 예를 들어 75도, 80도, 85도, 90도, 90도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제3 수의 각도는 70도 미만, 예를 들어 65도, 60도, 55도, 55도 미만 또는 임의의 적절한 수의 각도일 수 있다. 시야는 사용자가 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 시야는 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
사용자의 시야의 전경 영역은 사용자가 정상적인 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 전경 영역은 시야의 서브세트를 포함할 수 있다. 전경 영역은 실질적으로 사용자의 시야 중심에 있는 시야 영역을 포함할 수 있다. 전경 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 전경 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 전경 영역은 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도 및 사용자의 응시 중심 아래로의 제6 수의 각도 내에 존재할 수 있다. 예를 들어, 제4, 제5 및 제6 수의 각도들은 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제4, 제5 및 제6 수의 각도들은 18도 미만, 예를 들어 15도, 10도, 5도, 5도 미만 또는 임의의 적절한 수의 각도일 수 있다. 전경 영역은 사용자가 메인 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 전경 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
제어 회로는 헤드업 디스플레이 내의 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하도록 더 구성되며, 상기 제2 부분은 사용자의 시야의 주변 영역에 대응한다.
가상 현실 환경의 제2 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제2 부분은 가상 현실 환경의 서브세트일 수 있다. 제2 부분은 제1 부분과 다를 수 있다. 제2 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제2 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제2 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
추가적인 콘텐트는 사용자가 전신 이동을 수행하도록 지원한다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오일 수 있다. 다른 예로서, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 맵일 수 있다.
사용자의 시야의 주변 영역은 사용자가 주변 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 주변 영역은 실질적으로 사용자의 시야의 가장자리에 있는 영역일 수 있다. 주변 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 주변 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 주변 영역은 전경 영역이 아닌 시야의 임의의 부분일 수 있다. 예를 들어, 주변 영역은 시야의 외부 경계의 특정 수의 각도 내의 시야 영역을 포함할 수 있다. 주변 영역은 사용자가 주변 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 주변 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
제어 회로는 또한, 사용자의 전신 이동을 검출하는 것에 응답하여, 가상 현실 환경의 제1 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하도록 더 구성된다. 시스템 및 방법은 사용자의 전신 이동을 검출하도록 구성된 검출 모듈을 더 포함한다. 예를 들어, 검출 모듈은 사용자의 신체 일부분의 가속도를 검출함으로써 전신 이동을 검출할 수 있다. 예를 들어, 검출 모듈은 발걸음(footstep)을 검출할 수 있다. 다른 예로서, 검출 모듈은 사용자에게 물리적으로 결합된 카메라로 캡쳐된 사용자의 물리적 주변 환경의 비디오의 변화를 검출함으로써 전신 이동을 검출할 수 있다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 헤드 장착 디스플레이는 사용자의 물리적 주변 환경의 비디오를 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 제어 회로는 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하도록 더 구성된다.
특정 실시예에서, 제어 회로는 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하도록 더 구성된다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 검출 모듈은 헤드 장착 디스플레이 내에 포함된 가속도계를 포함하고, 검출 모듈은 사용자의 전신 이동을 검출할 때, 가속도계를 사용하여 사용자에 의해 취해진 제1 발걸음을 검출하도록 더 구성된다.
특정 실시예에서, 검출 모듈은 가속도계를 사용하여 사용자에 의해 취해진 제2 발걸음을 검출하도록 더 구성되고, 제어 회로는 제2 발걸음의 검출에 응답하여 추가적인 콘텐트를 확대하도록 더 구성된다.
일부 실시예에서, 검출 모듈은 가속도계를 사용하여 사용자에 의해 취해진 제2 발걸음을 검출하도록 더 구성되고, 제어 회로는 제2 발걸음의 검출에 응답하여, 메인 콘텐트의 불투명도(opacity)를 감소시키는 것 및 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하도록 더 구성된다.
특정 실시 예에서, 사용자 인터페이스는 사용자로부터 입력을 수신하도록 구성되고, 제어 회로는 입력에 응답하여 헤드업 디스플레이로부터 추가적인 콘텐트를 제거하도록 더 구성된다.
일부 실시예에서, 검출 모듈은 사용자의 전신 이동을 검출할 때, 사용자의 물리적 주변 환경의 비디오의 변화를 검출하도록 더 구성된다.
특정 실시예에서, 검출 모듈은 사용자가 실질적으로 정지하고 있음을 검출하도록 더 구성되고, 제어 회로는 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 헤드업 디스플레이의 제3 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하도록 더 구성된다.
일부 실시예에서, 사용자 인터페이스는 메인 콘텐트의 재생을 중지시키는 옵션을 사용자에게 제시하도록 구성된다.
상술한 시스템 및/또는 방법은 다른 시스템, 방법 및/또는 장치에 적용될 수 있거나 그에 따라 사용될 수 있음에 유의해야 한다.
본 발명의 상기 및 다른 목적과 이점은 첨부된 도면과 관련하여 취해진 다음의 상세한 설명을 고려할 때 명백할 것이며, 도면에서 동일한 도면 부호는 전체에 걸쳐 동일한 부분을 나타낸다.
도 1 내지 도 2는 사용자가 메인 콘텐트의 시청을 방해받지 않고 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에서 추가적인 콘텐트를 제시하는 예시적인 예를 도시한다.
도 3 내지 도 4는 사용자가 헤드업 디스플레이 상의 콘텐트의 시청을 방해받지 않고 헤드업 디스플레이 상에서 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 예시적인 예를 도시한다.
도 5는 본 발명의 특정 실시예에 따른 헤드업 디스플레이로서 사용하기 위한 예시적인 헤드 장착 디스플레이를 도시한다.
도 6은 본 발명의 일부 실시예에 따른 예시적인 미디어 목록 디스플레이를 도시한다.
도 7은 본 발명의 일부 실시예에 따른 또 다른 예시적인 미디어 목록 디스플레이를 도시한다.
도 8은 본 발명의 일부 실시예에 따른 예시적인 사용자 장비 장치의 블록도이다.
도 9는 본 발명의 일부 실시예에 따른 예시적인 미디어 시스템의 블록도이다.
도 10은 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈의 일 구성 요소의 예시적인 예이다.
도 11은 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈의 일 구성 요소의 다른 예시적인 예이다.
도 12는 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈의 일 구성 요소의 다른 예시적인 예이다.
도 13은 메인 콘텐트의 사용자 시청을 방해하지 않고 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위한 예시적인 단계의 흐름도이다.
도 14는 사용자가 헤드업 디스플레이 상의 콘텐트의 시청을 방해받지 않고 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 예시적인 단계의 흐름도이다.
도 15는 본 발명의 일부 실시예에 따라 메인 콘텐트의 사용자가 시청하는 것을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위해 제어 회로 상에 구현되는 프로세스를 기술한다.
도 16은 본 발명의 일부 실시예에 따라 메인 콘텐트를 사용자가 시청하는 것을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 프로세스를 기술한다.
메인 콘텐트의 사용자의 시청을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이(head-up display) 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위한 방법 및 시스템이 본 명세서에 기술된다. 구체적으로, 사용자의 응시 중심의 이동이 검출된다. 응시 중심의 이동에 기초하여 사용자 시야가 결정된다. 디스플레이를 위한 추가적인 콘텐트가 생성되는 가상 현실 환경의 부분이 사용자 시야의 전경 영역(foreground area)에 대응한다고 결정되면, 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트가 생성된다. 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트가 생성되는 것을 보장함으로써, 추가적인 콘텐트가 사용자 시야의 전경 영역에 대응하는 메인 콘텐트의 사용자의 시청을 방해하지 않는 것을 보장할 수 있다.
또한, 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 헤드업 디스플레이 상에서 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 방법 및 시스템이 본 명세서에 기술된다. 구체적으로, 사용자의 전신 이동이 검출된다. 전신 이동을 검출하는 것에 응답하여, 사용자 시야의 전경 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트가 생성된다. 추가적인 콘텐트는 사용자가 전신 이동을 수행하도록 지원한다. 사용자 시야의 전경 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트를 생성함으로써, 사용자가 추가적인 콘텐트를 쉽게 볼 수 있는 것을 보장할 수 있다. 추가적인 콘텐트는 사용자가 헤드업 디스플레이 상의 메인 콘텐트를 시청하는 것을 방해하지 않으면서 사용자가 전신 이동을 수행하는 것을 지원하도록 구성된다. 예를 들어, 사용자가 보행 중인 경우, 추가적인 콘텐트는, 예를 들어, 사용자가 헤드업 디스플레이 상의 콘텐트를 시청하는 것을 중지할 필요없이 물리적 주변 환경 내의 장애물을 회피하는 것을 지원할 수 있는 사용자의 물리적 주변 환경의 비디오일 수 있다. 따라서, 전경 영역 내에 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은, 사용자가 헤드업 디스플레이 상의 콘텐트를 시청하는 것을 방해하지 않으면서 사용자로 하여금 전신 이동을 수행할 수 있게 한다.
본 명세서에서 언급될 때, "가상 현실 환경"이라는 용어는, 비 물리적 콘텐트가 사용자에게 물리적 외관을 갖는 것처럼 보이는 방식으로 사용자에게 디스플레이되는 임의의 비 물리적 콘텐트를 의미하는 것으로 이해되어야 한다. 예를 들어, 가상 현실 환경은 사용자에게 자신이 위치하는 세계인 것처럼 보이는 가상 세계(예를 들어, 게임 내의 가상 세계)일 수 있다. 다른 예로서, 가상 현실 환경은 사용자에게 현실 세계에 중첩된 것처럼 보이는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 자신의 자동차의 유리창(또는 임의의 다른 투명 표면)을 통해 보는 것에 중첩되는 속도계 디스플레이(또는 임의의 다른 디스플레이)일 수 있다. 다른 예로서, 가상 현실 환경은 미디어 자산(media asset)의 디스플레이가 사용자 시야를 완전히 포함하도록 사용자에게 제시되는 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
본 명세서에서 언급될 때, "헤드업 디스플레이"라는 용어는 비 물리적 콘텐트가 사용자에게 물리적 외관을 갖는 것처럼 보이는 방식으로 비 물리적 콘텐트를 사용자에게 디스플레이할 수 있는 임의의 디스플레이를 의미하는 것으로 이해되어야 한다. 예를 들어, 헤드업 디스플레이는 사용자의 눈을 완전히 덮는 헤드 장착 디스플레이일 수 있다. 헤드 장착 디스플레이는 안경, 쌍안경, 헬멧 등으로 구성될 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 헤드업 디스플레이를 통해 볼 수 있는 현실 세계의 장면에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 위치하는 방일 수 있는데, 여기서 방의 벽은 디스플레이 화면에 덮여 있다.
본 명세서에서 언급될 때, "응시 중심"이라는 용어는 사용자가 볼 수 있는 것의 중심 부분을 의미하는 것으로 이해되어야 한다. 응시 중심은 실질적으로 사용자의 시선이 집중되는 사용자 시야의 임의의 영역일 수 있다. 응시 중심은 사용자의 각 눈의 응시 지점 사이의 중점일 수 있다. 한쪽 눈에 시각 장애가 있는 사용자의 경우, 응시 중심은 장애가 없는 눈의 응시 지점이 될 수 있다.
본 명세서에서 언급될 때, "시야"라는 용어는 사용자가 특정 위치에 있을 때 사용자가 볼 수 있는 임의의 것을 의미하는 것으로 이해되어야 한다. 예를 들어, 시야는 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 시야는 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 사용자의 시야는 사용자의 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도 및 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함할 수 있다. 예를 들어, 제1 수의 각도는 95도 이상, 예를 들어, 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과, 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제1 수의 각도는 95도 미만, 예를 들어, 90도, 85도, 80도, 75도, 70도, 70도 미만, 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과, 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제2 수의 각도는 60도 미만, 예를 들어, 55도, 50도, 45도, 40도, 40도 미만, 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제3 수의 각도는 70도 이상, 예를 들어, 75도, 80도, 85도, 90도, 90도 초과, 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제3 수의 각도는 70도 미만, 예를 들어, 65도, 60도, 55도, 55도 미만, 또는 임의의 적절한 수의 각도일 수 있다. 시야는 사용자가 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 사용자 시야는 사용자마다 다를 수 있으며, 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
본 명세서에서 언급될 때, "전경 영역"이라는 용어는 사용자가 정상 시각으로 볼 수 있는 사용자 시야의 임의의 부분을 의미하는 것으로 이해되어야 한다. 전경 영역은 시야의 서브세트를 포함할 수 있다. 전경 영역은 실질적으로 사용자 시야의 중심에 있는 시야 영역을 포함할 수 있다. 전경 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 전경 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 전경 영역은 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도 및 사용자의 응시 중심 아래로의 제6 수의 각도 내에 존재할 수 있다. 예를 들어, 제4 수의 각도, 제5 수의 각도 및 제6 수의 각도들은 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과, 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제4 수의 각도, 제5 수의 각도 및 제6 수의 각도들은 18도 미만, 예를 들어, 15도, 10도, 5도, 5도 미만, 또는 임의의 적절한 수의 각도일 수 있다. 전경 영역은 사용자가 메인 시각(main vision)으로 볼 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 전경 영역은 사용자마다 다를 수 있으며, 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
본 명세서에서 언급될 때, "주변 영역"이라는 용어는 사용자가 주변 시각으로 볼 수 있는 사용자 시야의 임의의 부분을 의미하는 것으로 이해되어야 한다. 주변 영역은 실질적으로 사용자 시야의 가장자리에 있는 영역일 수 있다. 주변 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 주변 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 주변 영역은 전경 영역이 아닌 시야의 임의의 부분일 수 있다. 예를 들어, 주변 영역은 시야의 외부 경계의 특정 수의 각도 내에 있는 시야의 영역을 포함할 수 있다. 주변 영역은 사용자가 주변 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 주변 영역은 사용자마다 다를 수 있으며, 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
본 명세서에서 언급될 때, "메인 콘텐트"라는 용어는 사용자의 주요 집중의 대상이 되도록 의도되는 임의의 콘텐트를 의미하는 것으로 이해되어야 한다. 예를 들어, 메인 콘텐트는, 영화, 텔레비전 쇼, 비디오 게임 또는 가상 현실 세계와 같은 미디어 자산일 수 있다. 다른 예로서, 메인 콘텐트는 미디어 안내 화면일 수 있다.
본 명세서에 언급될 때, "추가적인 콘텐트"라는 용어는 메인 콘텐트가 아닌 임의의 콘텐트를 의미하는 것으로 이해되어야 한다. 추가적인 콘텐트는 메인 콘텐트와 무관하거나 메인 콘텐트와 관련될 수 있다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간 또는 이벤트들의 스케줄일 수 있다.
본 명세서에서 언급될 때, "전신 이동"이라는 용어는 사용자의 신체 전체의 상당한 부분의 이동을 필요로 하는 사용자에 의한 임의의 물리적 이동을 의미하는 것으로 이해되어야 한다. 예를 들어, 전신 이동은 걷는 것, 뛰는 것, 일어서는 것, 앉는 것, 몸을 회전시키는 것, 등일 수 있다.
임의의 주어진 콘텐트 전달 시스템에서 사용자가 사용할 수 있는 콘텐트의 양은 상당할 수 있다. 결과적으로, 많은 사용자는 사용자로 하여금 콘텐트 선택을 효율적으로 탐색할 수 있게 하고 그들이 원하는 콘텐트를 쉽게 식별할 수 있게 하는 인터페이스를 통한 미디어 안내의 형태를 원한다. 이러한 안내를 제공하는 애플리케이션은 본 명세서에서 대화형 미디어 안내 애플리케이션으로 언급되거나, 때로는 미디어 안내 애플리케이션 또는 안내 애플리케이션으로 언급된다.
대화형 미디어 안내 애플리케이션은 그들이 안내를 제공하는 콘텐트에 의존하여 다양한 형태를 취할 수 있다. 하나의 전형적인 유형의 미디어 안내 애플리케이션은 대화형 텔레비전 프로그램 가이드이다. 대화형 텔레비전 프로그램 가이드(때로는 전자 프로그램 가이드라고 언급됨)는, 특히, 사용자로 하여금 여러 유형의 콘텐트 또는 미디어 자산을 탐색하고 찾아낼 수 있게 하는 공지된 안내 애플리케이션이다. 대화형 미디어 안내 애플리케이션은 사용자로 하여금 콘텐트를 탐색하고 찾아내고 선택할 수 있게 하는 그래픽 사용자 인터페이스 화면을 생성할 수 있다. 본 명세서에서 언급될 때, "미디어 자산" 및 "콘텐트"라는 용어는 텔레비전 프로그래밍, 유료 시청 프로그램, 주문형(on-demand) 프로그램(VOD(video-on-demand) 시스템에서 처럼), 인터넷 콘텐트(예컨대, 스트리밍 콘텐트, 다운로드가능한 콘텐트, 웹캐스트 등), 비디오 클립, 오디오, 콘텐트 정보, 그림, 회전 이미지, 문서, 재생 목록, 웹 사이트, 기사, 책, 전자책, 블로그, 광고, 채팅 세션, 소셜 미디어, 애플리케이션, 게임 및/또는 임의의 다른 미디어 또는 멀티미디어 및/또는 이들의 조합과 같이 전자적으로 소비가능한 사용자 자산을 의미하는 것으로 이해되어야 한다. 안내 애플리케이션은 또한 사용자로 하여금 콘텐트를 탐색하고 찾아낼 수 있게 한다. 본 명세서에서 언급될 때, "멀티미디어"라는 용어는, 텍스트, 오디오, 이미지, 비디오 또는 대화형 콘텐트 형태와 같이 위에서 설명한 적어도 2개의 서로 다른 콘텐트 형태를 사용하는 콘텐트를 의미하는 것으로 이해되어야 한다. 콘텐트는 사용자 장비 장치에 의해 레코딩, 재생, 디스플레이 또는 액세스될 수 있지만, 라이브 공연의 일부가 될 수도 있다.
미디어 안내 애플리케이션 및/또는 본 명세서에서 설명된 실시예 중 임의의 것을 수행하기 위한 임의의 명령어는 컴퓨터 판독가능 매체 상에 인코딩될 수 있다. 컴퓨터 판독가능 매체는 데이터를 저장할 수 있는 임의의 매체를 포함한다. 컴퓨터 판독가능 매체는 전기 신호 또는 전자기 신호를 전파하는 것을 포함하지만 이에 한정되지 않는 일시적인 것일 수 있거나, 하드 디스크, 플로피 디스크, USB 드라이브, DVD, CD, 미디어 카드, 레지스터 메모리, 프로세서 캐시, RAM(Random Access Memory) 등과 같은 휘발성 및 비휘발성 컴퓨터 메모리 또는 저장 장치를 포함하지만 이에 한정되지 않는 비 일시적인 것일 수 있다.
인터넷, 모바일 컴퓨팅 및 고속 무선 네트워크의 출현으로 사용자는 사용자 장비 장치에서 미디어에 액세스하고 있는데, 이는 그들이 전통적으로는 하지 않았던 것이다. 본 명세서에서 언급될 때, "사용자 장비 장치", "사용자 장비", "사용자 장치", "전자 장치", "전자 장비", "미디어 장비 장치" 또는 "미디어 장치"라는 어구는, 텔레비전, 스마트 TV, 셋톱 박스, 위성 텔레비전을 다루는 통합 수신기 디코더(integrated receiver decoder: IRD), 디지털 저장 장치, 디지털 미디어 수신기(digital media receiver: DMR), 디지털 미디어 어댑터(digital media adatper: DMA), 스트리밍 미디어 장치, DVD 플레이어, DVD 레코더, 접속된 DVD, 로컬 미디어 서버, BLU-RAY 플레이어, BLU-RAY 레코더, 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 태블릿 컴퓨터, WebTV 박스, 퍼스널 컴퓨터 텔레비전(PC/TV), PC 미디어 서버, PC 미디어 센터, 핸드헬드 컴퓨터, 고정 전화, 개인 휴대 정보 단말기(PDA), 휴대폰, 휴대용 비디오 플레이어, 휴대용 뮤직 플레이어, 휴대용 게임기, 스마트폰, 또는 임의의 다른 텔레비전 장비, 컴퓨팅 장비 또는 무선 장치, 및/또는 이들의 조합과 같이, 위에서 설명된 콘텐트에 액세스하기 위한 임의의 장치를 의미하는 것으로 이해되어야 한다. 일부 실시예에서, 사용자 장비 장치는 전방 화면 및 후방 화면, 다수의 전면 화면 또는 다수의 각진 화면을 가질 수 있다. 일부 실시예에서, 사용자 장비 장치는 전방 카메라 및/또는 후방 카메라를 가질 수 있다. 이러한 사용자 장비 장치에서, 사용자는 텔레비전을 통해 이용가능한 동일한 콘텐트를 탐색하고 찾아낼 수 있다. 결과적으로 이러한 장치에서도 미디어 안내가 사용될 수 있다. 제공되는 안내는 텔레비전을 통해서만 이용가능한 콘텐트, 하나 이상의 다른 유형의 사용자 장비 장치를 통해서만 이용가능한 콘텐트, 또는 텔레비전과 하나 이상의 다른 유형의 사용자 장비 장치 모두를 통해 이용가능한 콘텐트에 대한 것일 수 있다. 미디어 안내 애플리케이션은 온라인 애플리케이션(즉, 웹 사이트에서 제공됨)으로서 또는 사용자 장비 장치 상의 독립형 애플리케이션 또는 클라이언트로서 제공될 수 있다. 미디어 안내 애플리케이션을 구현할 수 있는 다양한 장치 및 플랫폼은 이하에서 보다 상세하게 설명된다.
미디어 안내 애플리케이션의 기능 중 하나는 사용자에게 미디어 안내 데이터를 제공하는 것이다. 본 명세서에서 언급될 때 "미디어 안내 데이터" 또는 "안내 데이터"라는 어구는 안내 애플리케이션을 조작하는 데 사용되는 콘텐트 또는 데이터와 관련된 임의의 데이터를 의미하는 것으로 이해되어야 한다. 예를 들어, 안내 데이터는, 프로그램 정보, 안내 애플리케이션 설정, 사용자 선호도, 사용자 프로파일 정보, 미디어 목록, 미디어 관련 정보(예컨대, 방송 시간, 방송 채널, 제목, 설명, 등급 정보(예컨대, 부모 통제 등급, 평론가 등급 등), 장르 또는 카테고리 정보, 배우 정보, 로고 데이터(예컨대, 방송사 로고 또는 공급자 로고 등), 미디어 포맷(예컨대, 표준 해상도, 고화질, 3D 등), 광고 정보(예컨대, 텍스트, 이미지, 미디어 클립 등), 주문형 정보, 블로그, 웹 사이트, 및 사용자가 원하는 콘텐트 선택을 탐색하고 찾아내는 데 도움이 되는 임의의 다른 유형의 안내 데이터를 포함할 수 있다.
일부 실시예에서, 아래에서 도 8과 관련하여 더 설명되는 제어 회로(604)는 메모리(즉, 아래에서 도 8과 관련하여 더 설명되는 저장 장치(608))에 저장된 명령어를 실행한다. 구체적으로, 제어 회로(604)는 전술된 기능 및 이하 설명되는 기능을 수행하도록 지시될 수 있다. 예를 들어, 명령어는 제어 회로(604)로 하여금 전술되고 아래에 설명되는 바와 같이 디스플레이를 생성하게 할 수 있다. 일부 실시예에서, 제어 회로(604)에 의해 수행되는 임의의 동작은 명령어에 기초할 수 있다.
도 1 및 도 2는 사용자가 메인 콘텐트를 시청하는 것을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 예시적인 예를 도시한다.
가상 현실 환경(104)은 비 물리적 콘텐트가 사용자(124)에게 물리적 외관을 갖는 것처럼 보이는 방식으로 사용자(124)에게 디스플레이되는 임의의 비 물리적 콘텐트이다. 예를 들어, 가상 현실 환경(104)은 사용자(124)에게 사용자(124)가 위치하는 세계인 것처럼 보이는 가상 세계(예를 들어, 게임 내의 가상 세계)일 수 있다. 또 다른 예로서, 가상 현실 환경(104)은 사용자(124)에게 현실 세계에 중첩된 것처럼 보이는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경(104)은 사용자(124)가 자신의 자동차의 유리창을 통해 보는 것에 중첩되는 속도계 디스플레이일 수 있다. 다른 예로서, 가상 현실 환경(104)은 미디어 자산의 디스플레이가 사용자(124)의 시야를 완전히 포함하도록 사용자(124)에게 제시된 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
헤드업 디스플레이(102)는 디스플레이를 위한 가상 현실 환경(104)을 사용자(124)에게 생성한다. 헤드업 디스플레이(102)는 비 물리적 콘텐트가 사용자(124)에게 물리적 외관을 갖는 것처럼 보이는 방식으로 비 물리적 콘텐트를 사용자(124)에게 디스플레이할 수 있는 임의의 디스플레이일 수 있다. 예를 들어, 헤드업 디스플레이(102)는 사용자(124)의 눈을 완전히 덮는 헤드 장착 디스플레이(예를 들어, 도 5의 헤드 장착 디스플레이(301))일 수 있다. 다른 예로서, 헤드업 디스플레이(102)는 사용자(124)가 헤드업 디스플레이(102)를 통해 볼 수 있는 현실 세계의 장면에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 헤드업 디스플레이(102)는 사용자(124)가 이동할 때 사용자(124)에게 보여지는 가상 현실 환경(104)의 콘텐트를 변경하도록 구성될 수 있다. 예를 들어, 사용자(124)가 앞으로 보행하면, 사용자(124)에게 보여지는 가상 현실 환경(104)의 콘텐트는 사용자(124)에게 더 가깝게 이동하는 것처럼 사용자에게 보일 수 있다.
사용자(124)는 제1 시야(114)를 갖는다. 제1 시야(114)는 사용자(124)가 도 1에 도시된 위치에 있을 때 사용자(124)가 볼 수 있는 것을 포함한다. 간략화를 위해, 도 1 내지 도 4, 및 이 설명에서, 시야는 수평 방향으로 변하는 것으로 도시되고 설명되지만, 시야는 수직 방향으로도 변한다는 것이 이해되어야 한다. 사용자의 응시 중심은 사용자가 볼 수 있는 것의 중심 부분이다. 도 1에서, 사용자(124)의 응시 중심은 응시 중심 위치(128)에 있다. 사용자의 시야는 응시 중심 위치의 우측 및 좌측으로의 특정 수의 각도(예컨대, 95도)로 확장된다. 시야는 적어도 하나의 전경 영역과 적어도 하나의 주변 영역을 포함한다. 적어도 하나의 전경 영역은 사용자가 정상 시각으로 볼 수 있는 시야의 영역을 포함한다. 적어도 하나의 전경 영역은 시야의 중심의 특정 수의 각도(예를 들어, 60도)를 포함한다. 적어도 하나의 주변 영역은 사용자가 주변 시각으로 볼 수 있는 시야의 영역을 포함한다. 적어도 하나의 주변 영역은 전경 영역(116)의 우측 및 좌측으로의 특정 수의 각도(예를 들어, 35도)를 포함한다. 제1 시야(114)는 전경 영역(116), 주변 영역(118) 및 주변 영역(120)을 포함한다.
도 1에서, 헤드업 디스플레이(102)는 가상 현실 환경(104)의 가상 현실 환경 부분(142)을 도시한다. 가상 현실 환경(104)의 가상 현실 환경 부분(142)은 제1 부분(108) 및 제2 부분(110)을 포함한다. 제1 부분(108)은 제1 시야(114)의 전경 영역(116)에 대응하는 가상 현실 환경(104)의 부분을 포함한다. 제2 부분(110)은 제1 시야(114)의 주변 영역(118)에 대응하는 가상 현실 환경(104)의 부분을 포함한다. 디스플레이를 위한 제1 메인 콘텐트(106)(도 1에서, 나무)는 가상 현실 환경(104)의 제1 부분(108)에 생성된다. 디스플레이를 위한 제2 메인 콘텐트(144)(도 1 및 도 2에서, 구름) 및 추가적인 콘텐트(122)(도 1 및 도 2에서, 사용자의 물리적 주변 환경의 비디오)가 제2 부분(110)에 생성된다.
도 2에서, 사용자(124)는 사용자(124)의 응시 중심이 응시 중심 위치(138)에 있도록 회전한다. 사용자(124)가 도 2에 도시된 위치에 있을 때, 사용자(124)는 제2 시야(126)를 갖는다. 제2 시야(126)는 전경 영역(130), 주변 영역(132) 및 주변 영역(134)을 포함한다.
도 2에서, 헤드업 디스플레이(102)는 가상 현실 환경(104)의 가상 현실 환경 부분(140)을 사용자(124)에게 보여준다. 가상 현실 환경(104)의 가상 현실 환경 부분(140)은 제2 부분(110) 및 제3 부분(136)을 포함한다. 제2 부분(110)은 제2 시야(126)의 전경 영역(130)에 대응하는 가상 현실 환경(104)의 부분을 포함한다. 제3 부분(136)은 제2 시야(126)의 주변 영역(132)에 대응하는 가상 현실 환경(104)의 부분을 포함한다.
사용자(124)가 도 1에서 도 2로 좌측으로 회전했기 때문에, 가상 현실 환경(104)의 가상 현실 환경 부분(140)은 가상 현실 환경(104)의 가상 현실 환경 부분(142)의 좌측 부분뿐만 아니라 가상 현실 환경 부분(140) 및 가상 현실 환경 부(142) 모두에 존재하는 부분도 포함한다. 예를 들어, 제2 부분(110)은 가상 현실 환경 부분(140)과 가상 현실 환경 부분(142) 모두에 존재하지만 제3 부분(136)은 가상 현실 환경 부분(140)에 존재하지만 가상 현실 환경 부분(142)에는 존재하지 않는다.
(예를 들어, 도 8의 검출 모듈(616)에 의해) 사용자(124)의 응시 중심의 이동이 검출될 수 있다. 일부 실시예에서, 응시 중심의 이동을 검출하는 것은 응시 중심을 검출하는 것을 포함한다. 예를 들어, 도 1 및 도 2에서, 응시 중심 위치(128)로부터 응시 중심 위치(138)로의 사용자(124)의 응시 중심의 이동이 검출된다. 사용자(124)의 응시 중심의 이동에 기초한 사용자(124)의 시야가 결정된다. 예를 들어, 도 2에서, 제2 시야(126)는 응시 중심 위치(128)로부터 응시 중심 위치(138)로의 사용자(124)의 응시 중심의 이동에 기초하여 결정된다.
사용자(124)의 응시 중심의 이동 전에, 사용자(124)의 시야(즉, 제1 시야(114))의 주변 영역(즉, 주변 영역(118))에 대응하는 가상 현실 환경(104)의 부분(즉, 제2 부분(110))에 디스플레이를 위한 추가적 콘텐트가 생성되었다. 사용자(124)의 응시 중심의 이동 전에 디스플레이를 위한 추가적인 콘텐트(122)가 생성되었던 가상 현실 환경(104)의 부분(즉, 제2 부분(110))이 사용자(124)의 응시 중심의 이동 후의 사용자(124)의 시야(즉, 제2 시야(126))의 전경 영역(즉, 전경 영역(130))에 대응하는지에 대한 결정이 이루어진다. 예를 들어, 도 2에서, 제2 부분(110)은 제2 시야(126)의 전경 영역(130)에 대응한다. 이 결정에 응답하여, 사용자(124)의 시야(즉, 제2 시야(126))의 주변 영역에 대응하는 사용자(124)의 시야의 부분에 디스플레이를 위한 추가적인 콘텐트(122)가 생성된다. 예를 들어, 도 2에서, 제2 시야(126)의 주변 영역(132)에 대응하는 제3 부분(136)에 디스플레이를 위한 추가적인 콘텐트(122)가 생성된다.
사용자(124)의 시야의 주변 영역에 대응하는 가상 현실 환경(104)의 부분에 디스플레이를 위한 추가적인 콘텐트(122)가 생성되는 것을 보장함으로써, 추가적인 콘텐트(122)가 사용자(124)의 시야의 전경 영역에 대응하는 메인 콘텐트의 사용자의 시청을 방해하지 않는 것을 보장할 수 있다. 예를 들어, 도 1 및 도 2에서, 사용자(124)의 응시 중심의 이동 후에 디스플레이를 위한 추가적인 콘텐트(122)가 가상 현실 환경(104)의 제2 부분(110)에 생성된 채로 남아있는 경우, 추가적인 콘텐트(122)는 사용자가 전경 영역(130) 내의 제2 메인 콘텐트(144)를 시청하는 것을 방해할 것이다. 디스플레이를 위한 추가적인 콘텐트(122)는 사용자(124)의 응시 중심의 이동 후에 제3 부분(136)에 생성되기 때문에, 추가적인 콘텐트(122)는 사용자가 전경 영역(130) 내의 제2 메인 콘텐트(144)를 시청하는 것을 방해하지 않는다.
제1 메인 콘텐트(106) 및 제2 메인 콘텐트(144)는 임의 유형의 콘텐트일 수 있다. 일부 실시예에서, 메인 콘텐트(106)는 미디어 안내 데이터를 제공한다(도 6 및 도 7과 관련하여 설명됨).
추가적인 콘텐트(122)는 임의의 유형의 추가적인 콘텐트일 수 있다. 예를 들어, 추가적인 콘텐트(122)는 사용자(124)의 물리적 주변 환경의 비디오, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간, 이벤트들의 스케줄, 또는 임의의 다른 유형의 추가적인 콘텐트일 수 있다. 추가적인 콘텐트(122)는 메인 콘텐트(106)와 무관할 수 있다.
도 1 및 도 2에서, 디스플레이를 위한 추가적인 콘텐트(122)는 픽쳐-인-픽쳐(picture-in-picture)로서 생성된다. 일부 실시예에서, 디스플레이를 위한 추가적인 콘텐트(122)는 오버레이(overlay)로서 생성된다.
일부 실시예에서, 디스플레이를 위한 추가적인 콘텐트(122)는 가상 현실 환경(104)에 의해 표시되는 메인 콘텐트(예컨대, 제1 메인 콘텐트(106), 제2 메인 콘텐트(144))보다 더 낮은 이미지 및/또는 비디오 품질(예컨대, 더 낮은 해상도, 프레임 속도 등)로 생성된다. 디스플레이를 위한 추가적인 콘텐트(122)를 더 낮은 이미지 및/또는 비디오 품질로 생성하는 것은 헤드업 디스플레이(102)가 전력, 메모리, 대역폭 등을 절약하는 것을 도울 수 있다. 또한, 디스플레이를 위한 추가적인 콘텐트(122)를 더 낮은 이미지 및/또는 비디오 품질로 생성하는 것은, 사용자(124)가 사용자의 시야(예컨대, 시야(114))의 주변 영역에서 시청되는 높고 낮은 품질 이미지 및/또는 비디오를 구별할 수 없기 때문에 사용자의 시청 경험에 불리하지 않을 수 있다.
일부 실시예에서, 가상 현실 환경(104)은 메인 콘텐트를 표시하는 부분 및 메인 콘텐트를 표시하지 않는 부분을 포함한다. 예를 들어, 가상 현실 환경(104)의 중심의 특정 부분은 메인 콘텐트(예컨대, 제1 메인 콘텐트(106), 제2 메인 콘텐트(144))를 표시할 수 있고 가상 현실 환경(104)의 나머지 부분은 메인 콘텐트를 표시하지 않을 수 있다. 예를 들어, 가상 현실 환경(104)은 가상 현실 환경(104)의 수평 범위의 중심의 특정 부분(예컨대, 95%, 90%, 80%, 70%, 60%, 50% 등)에 메인 콘텐트를 표시할 수 있지만, 가상 현실 환경(104)의 수평 범위의 나머지 부분에서는 메인 콘텐트를 표시하지 않는다. 다른 예로서, 가상 현실 환경(104)은 가상 현실 환경(104)의 수직 범위의 중심의 특정 부분(예컨대, 95%, 90%, 80%, 70%, 60%, 50% 등)에 메인 콘텐트를 표시할 수 있지만, 가상 현실 환경(104)의 수직 범위의 나머지 부분 내에서는 메인 콘텐트를 표시하지 않는다. 다른 예로서, 가상 현실 환경(104)은 가상 현실 환경(104)의 수평 범위 및 수직 범위의 특정 부분 모두에서 메인 콘텐트를 표시하지 않을 수 있다. 메인 콘텐트가 표시되지 않는 가상 현실 환경(104)의 나머지 부분은 빈 공간일 수 있고, 사용자 시야(예컨대, 시야(114 및 126))의 주변 영역(예컨대, 주변 영역(118, 120, 132 및 134))에 대응할 수 있다. 디스플레이를 위한 추가적인 콘텐트(122)는 메인 콘텐트를 표시하지 않는 가상 현실 환경(104)의 부분에 생성될 수 있다. 따라서, 사용자 시야의 주변 영역에 대응하는 가상 현실 환경(104)의 부분에 디스플레이를 위한 추가적인 콘텐트(122)가 생성되는 경우에도, 추가적인 콘텐트(122)는 메인 콘텐트를 방해하지 않는다.
도 3 및 도 4는 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 예시적인 예를 도시한다.
도 3 및 도 4에서, 헤드업 디스플레이(202)는 가상 현실 환경(204)의 가상 현실 환경 부분(242)을 표시한다. 가상 현실 환경(204)의 가상 현실 환경 부분(242)은 제1 부분(208) 및 제2 부분(210)을 포함한다. 제1 부분(208)은 시야(214)의 전경 영역(216)에 대응하는 가상 현실 환경(204)의 부분을 포함한다. 제2 부분(210)은 시야(214)의 주변 영역(218)에 대응하는 가상 현실 환경(204)의 부분을 포함한다. 디스플레이를 위한 메인 콘텐트(206)는 가상 현실 환경(204)의 제1 부분(208)에 생성된다. 디스플레이를 위한 추가적인 콘텐트(222)는 가상 현실 환경(204)의 제2 부분(210)에 생성된다. 도 3에서, 사용자(224)는 착석해 있다. 도 4에서, 사용자(224)는 보행 중이다.
(예를 들어, 도 8의 검출 모듈(616)에 의해) 사용자(224)의 전신 이동이 검출될 수 있다. 예를 들어, 도 3 및 도 4에서, 착석 위치로부터 보행 위치로의 사용자(224)의 변화가 검출된다. 사용자의 전신 이동을 검출하는 것에 응답하여, 가상 현실 환경(204)의 제1 부분(208)에 디스플레이를 위한 추가적인 콘텐트(222)가 생성된다. 추가적인 콘텐트(222)는 사용자(224)가 전신 이동을 수행하는 것을 지원하는 임의의 콘텐트일 수 있다. 예를 들어, 도 3 및 도 4에서, 추가적인 콘텐트(222)는 사용자(224)의 물리적 주변 환경의 비디오이다. 대안으로, 추가적인 콘텐트(222)는 사용자(224)의 위치의 맵 등일 수 있다.
전경 영역(216)에 대응하는 가상 현실 환경(204)의 부분에 디스플레이를 위한 추가적인 콘텐트(222)를 생성함으로써, 사용자(224)가 추가적인 콘텐트(222)를 쉽게 볼 수 있는 것을 보장할 수 있다. 추가적인 콘텐트(222)는 헤드업 디스플레이(202) 상의 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 사용자가 전신 이동을 수행하는 것을 지원하도록 구성된다. 예를 들어, 사용자(224)가 보행 중이라면, 추가적인 콘텐트(222)는, 예를 들어, 사용자(224)가 헤드업 디스플레이(202) 상의 콘텐트를 시청하는 것을 중지할 필요없이 물리적 주변 환경 내의 장애물을 회피하는 것을 지원할 수 있는 사용자(224)의 물리적 주변 환경의 비디오일 수 있다. 따라서, 전경 영역(216)에 디스플레이를 위한 추가적인 콘텐트(222)를 생성하는 것은, 헤드업 디스플레이(202) 상의 콘텐트의 사용자의 시청을 방해하지 않으면서 사용자(224)로 하여금 전신 이동을 수행할 수 있게 한다.
메인 콘텐트(206)는 임의 유형의 콘텐트일 수 있다. 일부 실시예에서, 메인 콘텐트(206)는 미디어 안내 데이터(도 6및 도 7과 관련하여 설명됨)를 제공한다.
도 3 및 도 4에서, 디스플레이를 위한 추가적인 콘텐트(222)는 픽쳐-인-픽쳐로서 생성된다. 일부 실시예에서, 디스플레이를 위한 추가적인 콘텐트(222)는 오버레이로서 생성된다.
일부 실시예에서, 디스플레이를 위한 추가적인 콘텐트(222)가 사용자(224)의 시야(예컨대, 시야(214))의 주변 영역(예컨대, 주변 영역(218))에 대응하는 가상 현실 환경(204)의 부분(예컨대, 제2 부분(210))에 생성될 때, 디스플레이를 위한 추가적인 콘텐트(222)는 가상 현실 환경(204)에 의해 표시되는 메인 콘텐트(예컨대, 메인 콘텐트(206))보다 더 낮은 이미지 및/또는 비디오 품질(예를 들어, 낮은 해상도, 프레임 속도 등)로 생성된다. 더 낮은 이미지 및/또는 비디오 품질로 디스플레이를 위한 추가적인 콘텐트(222)를 생성하는 것은, 헤드업 디스플레이(202)가 전력, 메모리, 대역폭 등을 절약하는 것을 도울 수 있다. 또한, 더 낮은 이미지 및/또는 비디오 품질로 디스플레이를 위한 추가적인 콘텐트(222)를 생성하는 것은, 사용자(224)가 사용자 시야(예컨대, 시야(214))의 주변 영역(예컨대, 주변 영역(218))에서 시청되는 높고 낮은 품질 이미지 및/또는 비디오를 구별할 수 없기 때문에 사용자의 시청 경험에 불리하지 않을 수 있다. 사용자 시야(예컨대, 시야(214))의 전경 영역(예컨대, 전경 영역(216))에 대응하는 가상 현실 환경(204)의 부분(예컨대, 제1 부분(208))에 디스플레이를 위한 추가적인 콘텐트(222)를 생성할 때, 추가적인 콘텐트(222)의 이미지 및/또는 비디오 품질은 증가될 수 있다. 사용자(224)는 사용자 시야의 전경 영역에서 시청되는 높은 품질 이미지 및/또는 비디오와 낮은 품질 이미지 및/또는 비디오를 구별할 수 있다. 더 높은 이미지 및/또는 비디오 품질로 디스플레이를 위한 추가적인 콘텐트(222)를 생성함으로써, 추가적인 콘텐트(222)의 사용자의 시청이 (예컨대, 사용자(224)가 추가적인 콘텐트(222)의 저품질 버전을 시청해야 함으로써) 손상되지 않는 것이 보장된다.
일부 실시예에서, 가상 현실 환경(204)은 메인 콘텐트를 표시하는 부분 및 메인 콘텐트를 표시하지 않는 부분을 포함한다. 예를 들어, 가상 현실 환경(204)의 중심의 특정 부분은 메인 콘텐트(예를 들어, 메인 콘텐트(206))를 표시할 수 있지만, 가상 현실 환경(204)의 나머지 부분은 메인 콘텐트를 표시하지 않을 수 있다. 예를 들어, 가상 현실 환경(204)은 가상 현실 환경의 수평 범위의 중심의 특정 부분(예컨대, 95%, 90%, 80%, 70%, 60%, 50% 등)에서 메인 콘텐트를 표시할 수 있지만, 가상 현실 환경(204)의 수평 범위의 나머지 부분에서는 메인 콘텐트를 표시하지 않을 수 있다. 다른 예로서, 가상 현실 환경(204)은 가상 현실 환경의 수직 범위의 중심의 특정 부분(예컨대, 95%, 90%, 80%, 70%, 60%, 50% 등)에서 메인 콘텐트를 표시할 수 있지만, 가상 현실 환경(204)의 수직 범위의 나머지 부분에서는 메인 콘텐트를 표시하지 않을 수 있다. 다른 예로서, 가상 현실 환경(204)은 가상 현실 환경(204)의 수평 범위 및 수직 범위의 특정 부분 모두에서 메인 콘텐트를 표시하지 않을 수 있다. 메인 콘텐트가 표시되지 않는 가상 현실 환경(204)의 나머지 부분은 빈 공간일 수 있고, 사용자 시야(예컨대, 시야(214))의 주변 영역(예를 들어, 주변 영역(218 및 220))에 대응할 수 있다. 사용자의 전신 이동이 검출되기 전에, 메인 콘텐트가 표시되지 않는 가상 현실 환경(204)의 부분에 디스플레이를 위한 추가적인 콘텐트(222)가 생성될 수 있다. 따라서, 사용자 시야의 주변 영역에 대응하는 가상 현실 환경(204)의 부분에 디스플레이를 위한 추가적인 콘텐트(222)가 생성되는 경우에도, 추가적인 콘텐트(222)는 메인 콘텐트를 방해하지 않는다. 사용자의 전신 이동이 검출된 후, 메인 콘텐트를 표시하는 가상 현실 환경(204)의 부분에 디스플레이를 위한 추가적인 콘텐트(222)가 생성될 수 있다.
도 5는 본 발명의 특정 실시예에 따른 헤드업 디스플레이로서 사용하기 위한 예시적인 헤드 장착 디스플레이를 도시한다. 헤드 장착 디스플레이(301)는 헤드셋(303) 및 휴대폰(305)을 포함한다. 헤드셋(303)은 디스플레이(307), 스트랩(309 및 311), 및 클립(313 및 315)을 포함한다. 휴대폰(305)은 카메라(317)를 포함한다. 헤드 장착 디스플레이(301)는 사용자(319)의 머리에 물리적으로 결합된다.
디스플레이(307)는 사용자(319)의 눈 위에 위치한다. 디스플레이(307)는 사용자(319)의 눈을 완전히 덮기 때문에, 디스플레이(307)는 자신이 생성하는 디스플레이를 위한 물리적인 외관의 콘텐트를 사용자(319)에게 제공한다. 따라서, 디스플레이(307)는 헤드업 디스플레이로서 동작한다. 디스플레이(307)는 스트랩(309 및 311)에 물리적으로 결합된다. 스트랩(309)은 사용자(319)의 머리 둘레를 감싸고 스트랩(311)은 사용자(319)의 머리를 위에서 감싼다. 스트랩(309, 311)은 사용자(317)의 눈 위에 디스플레이(307)를 고정시킨다. 헤드셋(303)에 대한 다른 구성도 가능하다. 예를 들어, 스트랩(309 및 311) 중 하나 또는 둘 모두가 없을 수 있다. 일부 실시예에서, 헤드셋(303)은 사용자(319)의 머리에 맞는 헬멧으로서 구성된다. 일부 실시예에서, 헤드셋(303)은 사용자(319)의 귀에서 받쳐진 안경으로서 구성된다. 일부 실시예에서, 디스플레이(307)는 사용자(319)의 한쪽 눈 위에만 위치한다.
휴대폰(305)은 디스플레이(307)에서 사용자(317)의 눈과 반대 쪽에 위치하도록 헤드셋(303)에 물리적으로 결합된다. 휴대폰(305)은 클립(313 및 315)에 의해 헤드셋(303)에 물리적으로 결합된다. 휴대폰(305)에 대한 다른 구성도 가능하다. 예를 들어, 클립(313 및 315) 중 하나 또는 둘 모두가 없을 수 있다. 휴대폰(305)은 헤드셋(303)의 리세스에 꼭 맞게 끼워 맞춤으로써 헤드셋(303)에 물리적으로 결합될 수 있다. 휴대폰(305)은 스트랩, 나사, 접착제 또는 임의의 다른 결합 수단에 의해 헤드셋(303)에 물리적으로 결합될 수 있다. 헤드셋(303)에 물리적으로 결합된 패널 또는 립은 휴대폰(305)을 제 위치에서 유지시킬 수 있다. 휴대폰(305)은 헤드셋(303)의 슬롯에 삽입될 수 있다.
카메라(317)는 사용자(317)의 물리적 주변 환경의 이미지 및 비디오를 캡쳐할 수 있도록 디스플레이(307)로부터 멀어지는 방향으로 향한다. 카메라(317)는 사용자(317)의 물리적 주변 환경의 비디오를 헤드 장착 디스플레이(301)에 공급할 수 있다. 사용자(317)의 물리적 주변 환경의 비디오는 추가적인 콘텐트(122 또는 222)로서 사용될 수 있다. 일부 실시예에서, 사용자(317)의 물리적 주변 환경의 비디오는 헤드 장착 디스플레이(301)와 휴대폰(305) 사이의 전기 접속에 의해 헤드 장착 디스플레이(301)에 공급된다. 예를 들어, 전기 접속의 역할을 하는 USB 인터페이스를 갖는 전기 케이블이 존재할 수 있다. 일부 실시예에서, 사용자(317)의 물리적 주변 환경은 무선 네트워크 또는 블루투스 접속을 통하는 것과 같이 무선으로 헤드 장착 디스플레이(301)에 공급될 수 있다. 일부 실시예에서, 휴대폰(305) 상의 화면은 사용자(317)의 물리적 주변 환경의 비디오를 디스플레이하고, 휴대폰(305) 상의 화면은 헤드 장착 디스플레이(301)의 디스플레이(307)를 통해 보일 수 있다.
일부 실시예에서, 휴대폰(305)은 존재하지 않고, 카메라(317)는 헤드셋(303)에 통합된다. 일부 실시예에서, 휴대폰(305)은 태블릿 장치와 같은 다른 전자 장치로 대체된다.
헤드 장착 디스플레이(301)는 다른 장치가 제공하는 것보다 더 몰입적인 시청 경험을 사용자(319)에게 제공할 수 있다. 예를 들어, 디스플레이(307)가 사용자의 눈을 완전히 덮기 때문에, 디스플레이(307)에 의해 디스플레이된 콘텐트는 사용자(319)에 대해 현실적인 외관을 가질 수 있다. 또한, 사용자(319) 사용자는 물리적 주변 환경으로부터의 산만함없이 디스플레이(307) 상의 콘텐트를 시청할 수 있다.
그러나, 디스플레이(307)가 사용자(319)의 눈을 완전히 덮기 때문에 문제점이 발생한다. 예를 들어, 사용자(319)는 어린이, 요리 중인 음식, 사용자(319)가 위치하는 방에 들어가는 사람 등과 같이 물리적 주변 환경에서 무엇인가를 모니터링하고자 할 수 있다. 디스플레이(307)가 사용자(319)의 눈을 완전히 덮는다면, 사용자(319)에 의해 물리적 주변 환경을 모니터링하는 것은 어렵다. 따라서, 디스플레이(307) 상에, 카메라(317)에 의해 캡쳐된 사용자의 물리적 주변 환경의 비디오 피드로 구성되는 추가적인 콘텐트(예를 들어, 추가적인 콘텐트(122))를 디스플레이하는 것이 바람직할 수 있다.
그러나, 디스플레이(307) 상에 추가적인 콘텐트로서 사용자의 물리적 주변 환경의 비디오를 디스플레이하게 되면 문제점이 발생한다. 사용자의 물리적 주변 환경의 비디오는 디스플레이(307) 상의 메인 콘텐트(예를 들어, 제2 메인 콘텐트(144))의 사용자의 시청을 방해할 수 있다. 특히, 사용자의 물리적 주변 환경의 비디오가 사용자(319)의 시야의 전경 영역에 대응하는 디스플레이(307)의 부분 상에 디스플레이되는 경우, 사용자의 물리적 주변 환경의 비디오는 디스플레이(307) 상의 메인 콘텐트의 사용자의 시청을 방해할 수 있다. 따라서, 도 1 및 도 2와 관련하여 전술된 실시예에 따라, 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트(122)가 생성된다. (예를 들어, 사용자의 응시 중심의 이동으로 인해) 사용자 시야에서 변화가 검출되고, 디스플레이를 위한 추가적인 콘텐트가 생성되는 가상 현실 환경의 부분이 사용자 시야의 전경 영역에 대응한다고 결정되면, 추가적인 콘텐트는 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분으로 이동된다.
사용자(319)가 헤드 장착 디스플레이(301)를 착용하면서 전신 이동을 수행하면 또 다른 문제점이 발생한다. 예를 들어, 사용자(319)는 보행 중에 헤드 장착 디스플레이(301) 상의 콘텐트를 보고 싶어할 수 있지만, 물리적 주변 환경의 장애물을 볼 수 없을 수도 있다. 따라서, 도 3 및 도 4와 관련하여 전술된 실시예에 따라, 디스플레이를 위한 추가적인 콘텐트(222)는 사용자 시야의 전경 영역에 대응하는 가상 현실 환경(204)의 부분에 생성된다. 추가적인 콘텐트(222)는 사용자가 전신 이동을 수행하는 것을 지원하도록 구성된다. 예를 들어, 추가적인 콘텐트(222)는 사용자의 물리적 주변 환경의 비디오일 수 있다. 사용자 시야의 전경 영역에 대응하는 가상 현실 환경(204)의 부분에 디스플레이를 위한 추가적인 콘텐트(222)를 생성함으로써, 사용자는 추가적인 콘텐트(222)를 쉽게 볼 수 있다. 사용자는 추가적인 콘텐트(222)를 사용하여 전신 이동을 수행하고, 헤드 장착 디스플레이(301)를 제거할 필요가 없고 헤드 장착 디스플레이(301) 상의 콘텐트의 시청을 방해받지 않는다.
도 6 및 도 7은 미디어 안내 데이터를 제공하는데 사용될 수 있는 예시적인 디스플레이 화면을 도시한다. 도 6 및 도 7에 도시된 디스플레이 화면은, 임의의 적절한 사용자 장비 장치 또는 플랫폼(예를 들어, 헤드업 디스플레이(102) 또는 헤드 장착 디스플레이(301)) 상에서 구현될 수 있다. 도 6 및 도 7은 전체 화면 디스플레이로서 도시되지만, 이는 디스플레이 중인 콘텐트 위에 전체적으로 또는 부분적으로 오버레이될 수도 있다. 사용자는 디스플레이 화면(예를 들어, 메뉴 옵션, 목록 옵션, 아이콘, 하이퍼 링크 등)에 제공된 선택가능한 옵션을 선택하거나 리모컨 또는 다른 사용자 입력 인터페이스 또는 장치 상의 전용 버튼(예를 들어, GUIDE 버튼)을 누름으로써 콘텐트 정보에 액세스하려는 희망을 표시할 수 있다. 사용자의 표시에 응답하여, 미디어 안내 애플리케이션은, 그리드 내의 시간 및 채널별, 시간별, 채널별, 소스별, 콘텐트 유형별, 카테고리(예컨대, 영화, 스포츠, 뉴스, 아동 또는 기타 프로그래밍 카테고리)별, 또는 다른 사전 정의되거나, 사용자 정의되거나, 다른 조직화 기준과 같은 여러 방식 중 하나로 조직화된 미디어 안내 데이터를 디스플레이 화면에 제공할 수 있다.
도 6은 단일 디스플레이 내에서 상이한 유형의 콘텐트에 대한 액세스를 또한 가능하게 하는 시간 및 채널별로 배열된 프로그램 목록 디스플레이(400)의 예시적인 그리드를 도시한다. 디스플레이(400)는, (1) 채널/콘텐트 유형 식별자의 열(404) ― 각 채널/콘텐트 유형 식별자(열 내의 셀임)는 이용가능한 상이한 채널 또는 콘텐트 유형을 식별함 ―, (2) 시간 식별자의 행(406) ― 각 시간 식별자(행 내의 셀임)는 프로그래밍의 시간 블록을 식별함 ― 을 갖는 그리드(402)를 포함할 수 있다. 그리드(402)는 또한 프로그램 목록(408)과 같은 프로그램 목록의 셀을 포함하는데, 각 목록은 그 목록의 연관된 채널 및 시간에 제공되는 프로그램의 제목을 제공한다. 사용자 입력 장치를 사용하여, 사용자는 하이라이트 영역(410)을 이동시킴으로써 프로그램 목록을 선택할 수 있다. 하이라이트 영역(410)에 의해 선택된 프로그램 목록에 관한 정보는 프로그램 정보 영역(412)에 제공될 수 있다. 영역(412)은 예를 들어, 프로그램 제목, 프로그램 설명, 프로그램이 제공되는 시간(적용가능한 경우), 프로그램이 방송되는 채널(적용가능한 경우), 프로그램의 등급 및 다른 원하는 정보를 포함할 수 있다.
선형 프로그래밍(예컨대, 사전 결정된 시간에 복수의 사용자 장비 장치로 전송되도록 스케줄링되고 스케줄에 따라 제공되는 콘텐트)에 대한 액세스를 제공하는 것 이외에, 미디어 안내 애플리케이션은 또한 비선형 프로그래밍(예컨대, 사용자 장비 장치에 언제든지 액세스가능하고 스케줄에 따라 제공되지 않는 콘텐트)에 대한 액세스를 제공한다. 비선형 프로그래밍은, 주문형 콘텐트(예컨대, VOD), 인터넷 콘텐트(예컨대, 스트리밍 미디어, 다운로드가능한 미디어 등), 로컬 저장 콘텐트(예컨대, 전술된 임의의 사용자 장비 장치 또는 다른 저장 장치에 저장된 콘텐트), 또는 다른 시간-독립적 콘텐트를 포함하는 상이한 콘텐트 소스로부터의 콘텐트를 포함할 수 있다. 주문형 콘텐트는 영화 또는 특정 콘텐트 공급자에 의해 제공된 임의의 다른 콘텐트(예컨대, "The Sopranos" 및 "Curb Your Enthusiasm"을 제공하는 HBO On Demand)를 포함할 수 있다. HBO ON DEMAND는 Time Warner Company L.P. 등이 소유한 서비스표이고, THE SOPRANOS 및 CURB YOUR ENTHUSIASM은 Home Box Office, Inc.가 소유한 상표이다. 인터넷 콘텐트는, 채팅 세션 또는 웹캐스트와 같은 웹 이벤트, 또는 인터넷 웹 사이트 또는 다른 인터넷 액세스(예컨대, FTP)를 통한 스트리밍 콘텐트 또는 다운로드가능한 콘텐트로서 주문형으로 이용가능한 콘텐트를 포함할 수 있다.
그리드(402)는 주문형 목록(414), 레코딩된 콘텐트 목록(416) 및 인터넷 콘텐트 목록(418)을 포함하는 비선형 프로그래밍을 위한 미디어 안내 데이터를 제공할 수 있다. 상이한 유형의 콘텐트 소스로부터의 콘텐트에 대한 미디어 안내 데이터를 결합하는 디스플레이는 "혼합 미디어" 디스플레이라고도 언급된다. 디스플레이(400)와 상이한 디스플레이될 수 있는 미디어 안내 데이터 유형의 다양한 순열은, 사용자 선택 또는 안내 애플리케이션 정의(예컨대, 레코딩된 목록 및 방송 목록 전용 디스플레이, 주문형 목록 및 방송 목록 전용 디스플레이 등)에 기초할 수 있다. 도시된 바와 같이, 목록(414, 416 및 418)은, 이들 목록의 선택이 주문형 목록, 레코딩된 목록 또는 인터넷 목록에 각각 전용되는 디스플레이에 대한 액세스를 제공할 수 있음을 나타내기 위해, 그리드(402)에 디스플레이된 전체 시간 블록에 걸쳐 있는 것으로 도시된다. 일부 실시예에서, 이들 콘텐트 유형에 대한 목록은 그리드(402)에 직접 포함될 수 있다. 추가적인 미디어 안내 데이터는 사용자가 내비게이션 아이콘(420) 중 하나를 선택하는 것에 응답하여 디스플레이될 수 있다. (사용자 입력 장치 상의 화살표 키를 누르면 내비게이션 아이콘(420)을 선택하는 것과 유사한 방식으로 디스플레이에 작용할 수 있다.)
디스플레이(400)는 또한, 비디오 영역(422), 광고(424) 및 옵션 영역(426)을 포함할 수 있다. 비디오 영역(422)은 사용자에게 현재 이용가능하거나, 앞으로 이용가능하게 되거나, 또는 과거에 이용가능했던 프로그램을 사용자가 시청 및/또는 미리볼 수 있게 한다. 비디오 영역(422)의 콘텐트는 그리드(402)에 디스플레이 된 목록들 중 하나에 대응하거나 또는 그와 별개일 수 있다. 비디오 영역을 포함하는 그리드 디스플레이는 때로는 PIG(picture-in-guide) 디스플레이라고 언급된다. PIG 디스플레이 및 그 기능은 2003년 5월 13일자로 발행된 Satterfield 등의 미국 특허 제 6,564,378 호 및 2001년 5월 29일자로 발행된 Yuen 등의 미국 특허 제 6,239,794 호에 개시되어 있으며, 이들은 그 전체가 본원에 참고로 포함된다. PIG 디스플레이는 본 명세서에서 설명된 실시예의 다른 미디어 안내 애플리케이션 디스플레이 화면에 포함될 수 있다.
광고(424)는 (예컨대, 가입 프로그래밍에 대한) 시청자의 액세스 권한에 따라, 현재 시청할 수 있거나, 미래에 시청할 수 있거나, 시청할 수 없게 될 수 있는 콘텐트에 대한 광고를 제공할 수 있으며, 그리드(402) 내의 콘텐트 목록들 중 하나 이상에 대응하거나 그와 무관할 수 있다. 광고(424)는 또한 그리드(402)에 디스플레이된 콘텐트와 관련되거나 무관한 제품 또는 서비스에 대한 것일 수 있다. 광고(424)는 선택가능할 수 있고, 콘텐트에 관한 추가적인 정보를 제공하고, 제품 또는 서비스에 관한 정보를 제공하고, 콘텐트, 제품 또는 서비스의 구매를 가능하게 하고, 광고와 관련된 콘텐트를 제공하는 등을 할 수 있다. 광고(424)는 사용자의 프로파일/선호도, 모니터링된 사용자 활동, 제공된 디스플레이의 유형 또는 다른 적절한 표적화된 광고 기반에 기초하여 표적화될 수 있다.
광고(424)는 직사각형 또는 배너 모양으로 도시되어 있지만, 광고는 안내 애플리케이션 디스플레이 내에 임의의 적절한 크기, 형상 및 위치로 제공될 수 있다. 예를 들어, 광고(424)는 그리드(402)에 수평으로 인접한 직사각형 형태로 제공될 수 있다. 이는 때로는 패널 광고라고 언급된다. 또한, 광고는 콘텐트 또는 안내 애플리케이션 디스플레이 위에 오버레이되거나 디스플레이 내에 임베딩될 수 있다. 광고는 또한, 텍스트, 이미지, 회전 이미지, 비디오 클립 또는 전술된 다른 유형의 콘텐트를 포함할 수 있다. 광고는 안내 애플리케이션을 갖는 사용자 장비 장치 내에, 사용자 장비에 접속된 데이터베이스 내에, 원격 위치(스트리밍 미디어 서버를 포함함) 내에, 또는 다른 저장 수단 상에, 또는 이들 위치의 조합에 저장될 수 있다. 미디어 안내 애플리케이션 내에 광고를 제공하는 것은, 예를 들어, 2003년 1월 17일자로 출원된 Knudson 등의 미국 특허 출원 공개 제 2003/0110499 호, 2004년 6월 29일자로 발행된 Ward, III 등의 미국 특허 제 6,756,997 호, 및 2002년 5월 14일자로 발행된 Schein 등의 미국 특허 제 6,388,714 호에 더 상세히 설명되어 있으며, 이들은 그 전체가 본원에 참고로 포함된다. 광고는 여기에 설명된 실시예의 다른 미디어 안내 애플리케이션 디스플레이 화면에 포함될 수 있음이 인식될 것이다.
옵션 영역(426)은 사용자로 하여금 상이한 유형의 콘텐트, 미디어 안내 애플리케이션 디스플레이 및/또는 미디어 안내 애플리케이션 특징에 액세스하는 것을 허용할 수 있다. 옵션 영역(426)은 디스플레이(400)(및 여기에 설명된 다른 디스플레이 화면)의 일부일 수 있거나, 화면 상의 옵션을 선택하거나 사용자 입력 장치 상의 전용 또는 할당가능한 버튼을 누름으로써 사용자에 의해 호출될 수 있다. 옵션 영역(426) 내의 선택가능한 옵션은 그리드(402)의 프로그램 목록과 관련된 특징에 관한 것이거나 메인 메뉴 디스플레이로부터 이용가능한 옵션을 포함할 수 있다. 프로그램 목록과 관련된 특징은 다른 방송 시간 검색 또는 프로그램 수신 방법, 프로그램 레코딩, 프로그램의 시리즈 레코딩을 가능하게 하는 것, 프로그램 및/또는 채널을 즐겨찾기로서 설정하는 것, 프로그램 구매 또는 다른 특징을 포함할 수 있다. 메인 메뉴 디스플레이에서 사용가능한 옵션은, 검색 옵션, VOD 옵션, 부모 통제 옵션, 인터넷 옵션, 클라우드 기반 옵션, 장치 동기화 옵션, 보조 화면 장치 옵션, 다양한 유형의 미디어 안내 데이터 디스플레이에 액세스하는 옵션, 프리미엄 서비스에 가입하는 옵션, 사용자 프로파일을 편집하는 옵션, 브라우즈 오버레이(browse overlay)에 액세스하는 옵션 또는 다른 옵션을 포함할 수 있다.
미디어 안내 애플리케이션은 사용자의 선호도에 기초하여 개인화될 수 있다. 개인화된 미디어 안내 애플리케이션은 사용자로 하여금 미디어 안내 애플리케이션을 사용하여 개인화된 "경험"을 생성하도록 디스플레이 및 특징을 커스터마이징할 수 있게 한다. 이러한 개인화된 경험은 사용자가 이러한 커스터마이징을 입력할 수 있게 함으로써 및/또는 다양한 사용자 선호도를 결정하기 위해 사용자 활동을 모니터링하는 미디어 안내 애플리케이션에 의해 생성될 수 있다. 사용자는 안내 애플리케이션에 로그인하거나 다른 방식으로 자신을 식별함으로써 자신의 개인화된 안내 애플리케이션에 액세스할 수 있다. 미디어 안내 애플리케이션의 커스터마이징은 사용자 프로파일에 따라 이루어질 수 있다. 커스터마이징은 다양한 프리젠테이션 방식(예컨대, 디스플레이의 색상 배합, 텍스트의 글꼴 크기 등), 디스플레이되는 콘텐트 목록의 양상(예컨대, HDTV 전용 또는 3D 프로그래밍 전용, 즐겨 찾는 채널 선택에 기초한 사용자 지정 방송 채널, 채널 디스플레이의 순서조정, 추천된 콘텐트 등), 원하는 레코딩 특징(예컨대, 특정 사용자에 대한 레코딩 또는 시리즈 레코딩, 레코딩 품질 등), 부모 통제 설정, 인터넷 콘텐트의 커스터마이징된 프리젠테이션(예컨대, 소셜 미디어 콘텐트, 이메일, 전자적으로 전달된 기사 등의 프리젠테이션) 및 다른 원하는 커스터마이징을 포함할 수 있다.
미디어 안내 애플리케이션은 사용자로 하여금 사용자 프로파일 정보를 제공할 수 있게 하거나 사용자 프로파일 정보를 자동으로 컴파일링할 수 있다. 미디어 안내 애플리케이션은, 예를 들어, 사용자가 액세스하는 콘텐트 및/또는 사용자가 안내 애플리케이션과 가질 수 있는 다른 상호작용을 모니터링할 수 있다. 또한, 미디어 안내 애플리케이션은, (예컨대, www.allrovi.com과 같이 사용자가 액세스하는 인터넷 상의 다른 웹 사이트로부터, 사용자가 액세스하는 다른 미디어 안내 애플리케이션으로부터, 사용자가 액세스하는 다른 대화형 애플리케이션으로부터, 사용자의 다른 사용자 장비 장치 등으로부터) 특정 사용자와 관련되는 다른 사용자 프로파일의 전부 또는 일부를 획득할 수 있고/있거나 미디어 안내 애플리케이션이 액세스할 수 있는 다른 소스로부터 사용자에 관한 정보를 획득할 수 있다. 결과적으로, 사용자는 사용자의 상이한 사용자 장비 장치에 걸쳐 통일된 안내 애플리케이션 경험을 제공받을 수 있다. 이러한 유형의 사용자 경험은 도 9와 관련하여 아래에서 보다 상세히 설명된다. 추가적인 개인화된 미디어 안내 애플리케이션은, 2005년 7월 11일자로 출원된 Ellis 등의 미국 특허 출원 공개 제 2005/0251827 호, 2007년 1월 16일자로 발행된 Boyer 등의 미국 특허 제 7,165,098 호, 및 2002년 2월 21일자로 출원된 Ellis 등의 미국 특허 출원 공개 제2002/0174430 호에 더 상세히 설명되어 있으며, 이들은 그 전체가 본원에 참고로 포함된다.
미디어 안내를 제공하기 위한 다른 디스플레이 장치는 도 7에 도시된다. 비디오 모자이크 디스플레이(500)는 콘텐트 유형, 장르 및/또는 다른 조직화 기준에 기초하여 조직화된 콘텐트 정보에 대한 선택가능한 옵션(502)을 포함한다. 디스플레이(500)에서, 텔레비전 목록 옵션(504)이 선택되고, 그에 따라 목록(506, 508, 510 및 512)이 방송 프로그램 목록으로서 제공된다. 디스플레이(500)에서, 목록은, 커버 아트를 포함하는 그래픽 이미지, 콘텐트로부터의 정지 이미지, 비디오 클립 미리보기, 콘텐트로부터의 라이브 비디오, 또는 목록의 미디어 안내 데이터에 의해 설명되는 콘텐트를 사용자에게 표시하는 다른 유형의 콘텐트를 제공할 수 있다. 그래픽 목록의 각각은 또한 텍스트를 동반하여 목록과 연관된 콘텐트에 대한 추가적인 정보를 제공할 수 있다. 예를 들어, 목록(508)은 미디어 부분(514) 및 텍스트 부분(516)을 포함하는 둘 이상의 부분을 포함할 수 있다. 미디어 부분(514) 및/또는 텍스트 부분(516)은 콘텐트를 전체 화면으로 보거나 (예를 들어, 비디오가 디스플레이되는 채널에 대한 목록을 보기 위해) 미디어 부분(514) 내에 디스플레이된 콘텐트에 관련된 정보를 보기 위해 선택될 수 있다.
디스플레이(500) 내의 목록은 상이한 크기를 갖지만(즉, 목록(506)은 목록(508, 510 및 512)보다 큼), 원한다면 모든 목록은 동일한 크기일 수 있다. 목록은, 콘텐트 공급자가 원하는 대로 또는 사용자 선호도에 기초하여, 사용자에게 관심있는 정도를 표시하거나 특정 콘텐트를 강조하기 위해 다양한 크기이거나 그래픽적으로 강조될 수 있다. 콘텐트 목록을 그래픽적으로 강조하기 위한 다양한 시스템 및 방법은, 예를 들어, 2009년 11월 12일자로 출원된 Yates의 미국 특허 출원 공개 번호 제 2010/0153885 호에 설명되어 있으며, 이는 그 전체가 본원에 참고로 포함된다.
사용자는 콘텐트, 미디어 안내 애플리케이션(및 사용자 장비 장치(예를 들어, 헤드업 디스플레이(102) 또는 헤드 장착 디스플레이(301)) 중 하나 이상으로부터 위에서 및 아래에서 설명되는 디스플레이 화면)에 액세스할 수 있다. 도 8은 예시적 사용자 장비 장치(600)의 일반적 실시예를 도시한다. 사용자 장비 장치의 보다 구체적인 구현은 도 9와 관련하여 아래에 설명된다. 사용자 장비 장치(600)는 입력/출력(이하, "I/O") 경로(602)를 통해 콘텐트 및 데이터를 수신할 수 있다. I/O 경로(602)는 콘텐트(예컨대, 방송 프로그래밍, 주문형 프로그래밍, 인터넷 콘텐트, LAN(local area network) 또는 WAN(wide area network)을 통해 이용가능한 콘텐트, 및/또는 다른 콘텐트) 및 데이터를 제어 회로(604)에 제공할 수 있는데, 제어 회로(604)는 프로세싱 회로(606) 및 저장 장치(608)를 포함한다. 제어 회로(604)는 I/O 경로(602)를 사용하여 커맨드, 요청 및 다른 적절한 데이터를 송신 및 수신하기 위해 사용될 수 있다. I/O 경로(602)는 제어 회로(604)(및 구체적으로 프로세싱 회로(606))를 하나 이상의 통신 경로(후술됨)에 접속할 수 있다. I/O 기능은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도 8에서는 도면이 과도하게 복잡해지는 것을 피하기 위해 단일 경로로서 도시된다.
제어 회로(604)는 프로세싱 회로(606)와 같은 임의의 적절한 프로세싱 회로에 기초할 수 있다. 본 명세서에서 언급될 때, 프로세싱 회로는 하나 이상의 마이크로프로세서, 마이크로 제어기, 디지털 신호 프로세서, 프로그래머블 로직 장치, FPGA(field-programmable gate array), ASIC(application-specific integrated circuit) 등에 기초한 회로를 의미하는 것으로 이해되어야 하며, 멀티 코어 프로세서(예컨대, 듀얼 코어, 쿼드 코어, 헥사 코어 또는 임의의 적절한 수의 코어) 또는 수퍼컴퓨터를 포함할 수 있다. 일부 실시예에서, 프로세싱 회로는 다수의 개별 프로세서 또는 프로세싱 유닛, 예를 들어, 복수의 동일 유형의 프로세싱 유닛(예컨대, 2개의 인텔 코어 i7 프로세서) 또는 복수의 상이한 프로세서(예컨대, 인텔 코어 i5 프로세서 및 인텔 코어 i7 프로세서)에 걸쳐 분산될 수 있다. 일부 실시예에서, 제어 회로(604)는 메모리(즉, 저장 장치(608))에 저장된 애플리케이션에 대한 명령어를 실행한다. 구체적으로, 제어 회로(604)는 위에서 및 아래에서 설명되는 기능을 수행하도록 애플리케이션에 의해 지시받을 수 있다. 예를 들어, 애플리케이션은 디스플레이를 생성하도록 제어 회로(604)에 명령어를 제공할 수 있다. 몇몇 구현에서, 제어 회로(604)에 의해 수행되는 임의의 동작은 애플리케이션으로부터 수신된 명령어에 기초할 수 있다.
클라이언트-서버 기반 실시예에서, 제어 회로(604)는 안내 애플리케이션 서버 또는 다른 네트워크 또는 서버와 통신하기에 적합한 통신 회로를 포함할 수 있다. 전술된 기능을 수행하기 위한 명령어는 안내 애플리케이션 서버에 저장될 수 있다. 통신 회로는 케이블 모뎀, ISDN(integrated services digital network) 모뎀, DSL(digital subscriber line) 모뎀, 전화 모뎀, 이더넷 카드, 또는 다른 장비와의 통신을 위한 무선 모뎀, 또는 임의의 다른 적절한 통신 회로를 포함할 수 있다. 이러한 통신은 인터넷 또는 임의의 다른 적절한 통신 네트워크 또는 경로를 필요로 할 수 있다(도 9와 관련하여 더 상세하게 설명됨). 또한, 통신 회로는 사용자 장비 장치의 피어-투-피어 통신 또는 서로 원격 위치에 있는 사용자 장비 장치들의 통신을 가능하게 하는 회로를 포함할 수 있다(이하에 더 상세히 설명됨).
메모리는 제어 회로(604)의 일부인 저장 장치(608)로서 제공된 전자 저장 장치일 수 있다. 본 명세서에서 언급될 때, "전자 저장 장치" 또는 "저장 장치"라는 용어는, 랜덤 액세스 메모리, 판독 전용 메모리, 하드 드라이브, 광학 드라이브, DVD(digital video disc) 레코더, CD(compact disc) 레코더, BLU-RAY 디스크(BD) 레코더, BLU-RAY 3D 디스크 레코더, DVR(digital video recorder, 때로는 개인용 비디오 레코더 또는 PVR이라고도 함), 고체 상태 디바이스, 양자 저장 장치, 게임 콘솔, 게임 매체, 또는 임의의 다른 적절한 고정식 또는 착탈식 저장 장치, 및/또는 이들의 임의의 조합과 같이, 전자 데이터, 컴퓨터 소프트웨어 또는 펌웨어를 저장하는 임의의 장치를 의미하는 것으로 이해되어야 한다. 저장 장치(608)는 전술된 미디어 안내 데이터뿐만 아니라 여기에 설명된 다양한 유형의 콘텐트를 저장하기 위해 사용될 수 있다. (예컨대, 부트-업 루틴 및 다른 명령어를 개시하기 위해) 비휘발성 메모리가 또한 사용될 수 있다. 도 9와 관련하여 설명되는 클라우드 기반 저장 장치는 저장 장치(608)를 보충하기 위해 또는 저장 장치(608) 대신에 사용될 수 있다.
제어 회로(604)는, 하나 이상의 아날로그 튜너, 하나 이상의 MPEG-2 디코더 또는 다른 디지털 디코딩 회로, 고선명 튜너, 또는 임의의 다른 적절한 튜닝 또는 비디오 회로 또는 이들 회로의 조합과 같은 튜닝 회로 및 비디오 생성 회로를 포함할 수 있다. 또한, 인코딩 회로(예컨대, 공중파, 아날로그 또는 디지털 신호를 저장용 MPEG 신호로 변환하기 위한 것임)가 제공될 수 있다. 제어 회로(604)는 또한 콘텐트를 사용자 장비(600)의 바람직한 출력 포맷으로 상향 변환 및 하향 변환하기위한 스케일러 회로를 포함할 수 있다. 회로(604)는 또한 디지털 신호와 아날로그 신호 사이에서 변환하기 위한 디지털-아날로그 변환기 회로 및 아날로그-디지털 변환기 회로를 포함할 수 있다. 튜닝 및 인코딩 회로는 콘텐트를 수신하고 디스플레이하거나, 재생하거나 또는 레코딩하기 위해 사용자 장비 장치에 의해 사용될 수 있다. 튜닝 및 인코딩 회로는 또한 안내 데이터를 수신하기 위해 사용될 수 있다. 예를 들어, 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일러 및 아날로그/디지털 회로를 포함하는, 본 명세서에 설명된 회로는 하나 이상의 범용 또는 특수 프로세서 상에서 실행되는 소프트웨어를 사용하여 구현될 수 있다. 동시 튜닝 기능(예컨대, 감시 및 레코딩 기능, 픽쳐-인-픽쳐(PIP) 기능, 다중 튜너 레코딩 등)을 프로세싱하기 위해 다중 튜너가 제공될 수 있다. 저장 장치(608)가 사용자 장비(600)와 별개의 장치로서 제공되는 경우, 튜닝 및 인코딩 회로(다중 튜너를 포함함)는 저장 장치(608)와 연관될 수 있다.
사용자는 사용자 입력 인터페이스(610)를 사용하여 제어 회로(604)에 명령어를 전송할 수 있다. 사용자 입력 인터페이스(610)는 원격 제어, 마우스, 트랙볼, 키패드, 키보드, 터치스크린, 터치패드, 스타일러스 입력, 조이스틱, 음성 인식 인터페이스 또는 다른 사용자 입력 인터페이스와 같은 임의의 적절한 사용자 인터페이스일 수 있다. 디스플레이(612)는 독립형 장치로서 제공되거나 사용자 장비 장치(600)의 다른 요소와 통합될 수 있다. 예를 들어, 디스플레이(612)는 터치스크린 또는 터치 감지 디스플레이일 수 있다. 그러한 환경에서, 사용자 입력 인터페이스(610)는 디스플레이(612)와 통합되거나 디스플레이(612)와 결합될 수 있다. 디스플레이(612)는 모니터, 텔레비전, 모바일 장치용 액정 디스플레이(LCD), 비정질 실리콘 디스플레이, 저온 폴리실리콘 디스플레이, 전자 잉크 디스플레이, 전기 영동 디스플레이, 액티브 매트릭스 디스플레이, 전기 습윤 디스플레이, 전기 유체 디스플레이, 음극선관 디스플레이, 발광 다이오드 디스플레이, 전자 발광 디스플레이, 플라즈마 디스플레이 패널, 고성능 어드레싱 디스플레이, 박막 트랜지스터 디스플레이, 유기 발광 다이오드 디스플레이, 표면 전도형 전자 방출기 디스플레이(SED), 레이저 텔레비전, 탄소 나노 튜브, 양자점 디스플레이, 간섭측정 변조기 디스플레이, 또는 시각적 이미지를 디스플레이하기 위한 임의의 다른 적절한 장비 중 하나 이상일 수 있다. 일부 실시예에서, 디스플레이(612)는 HDTV 가능 형일 수 있다. 일부 실시예에서, 디스플레이(612)는 3D 디스플레이일 수 있고, 대화형 미디어 안내 애플리케이션 및 임의의 적절한 콘텐트는 3D로 디스플레이될 수 있다. 비디오 카드 또는 그래픽 카드는 디스플레이(612)로의 출력을 생성할 수 있다. 비디오 카드는 3D 장면 및 2D 그래픽의 가속 렌더링, MPEG-2/MPEG-4 디코딩, TV 출력 또는 여러 모니터를 접속하는 능력과 같은 다양한 기능을 제공할 수 있다. 비디오 카드는 제어 회로(604)와 관련하여 전술된 임의의 프로세싱 회로일 수 있다. 비디오 카드는 제어 회로(604)와 통합될 수 있다. 스피커(614)는 사용자 장비 장치(600)의 다른 요소와 통합되어 제공될 수 있거나 독립형 유닛일 수 있다. 디스플레이(612) 상에 디스플레이된 비디오 및 다른 콘텐트의 오디오 성분은 스피커(614)를 통해 재생될 수 있다. 일부 실시예에서, 오디오는 수신기(도시되지 않음)에 배포될 수 있는데, 수신기는 오디오를 처리하여 스피커(614)를 통해 출력한다.
안내 애플리케이션은 임의의 적절한 아키텍처를 사용하여 구현될 수 있다. 예를 들어, 이는 사용자 장비 장치(600) 상에서 전체적으로 구현된 독립형 애플리케이션일 수 있다. 이러한 접근법에서, 애플리케이션의 명령어는 (예컨대, 저장 장치(608)에) 국부적으로 저장되고, 애플리케이션에 의한 사용을 위한 데이터는 (예컨대, 대역 외 피드로부터, 인터넷 리소스로부터, 또는 다른 적절한 접근법을 사용하여) 주기적으로 다운로드된다. 제어 회로(604)는 저장 장치(608)로부터 애플리케이션의 명령어를 검색하고 여기에서 설명된 디스플레이 중 임의의 것을 생성하기 위해 명령어를 처리할 수 있다. 처리된 명령어에 기초하여, 제어 회로(604)는 입력이 입력 인터페이스(610)로부터 수신될 때 어떤 동작을 수행할지를 결정할 수 있다. 예를 들어, 입력 인터페이스(610)가 업/다운 버튼이 선택되었음을 표시할 때, 처리된 명령어에 의해 디스플레이 상의 커서의 이동이 표시될 수 있다.
일부 실시예에서, 미디어 안내 애플리케이션은 클라이언트-서버 기반 애플리케이션이다. 사용자 장비 장치(600) 상에 구현된 씩(thick) 또는 씬(thin) 클라이언트에 의한 사용을 위한 데이터는 사용자 장비 장치(600)에 대해 원격 위치에 있는 서버에 요청을 발행함으로써 주문형(on-demand)으로 검색된다. 클라이언트-서버 기반 안내 애플리케이션의 일 예에서, 제어 회로(604)는 원격 서버에 의해 제공된 웹 페이지를 해석하는 웹 브라우저를 실행한다. 예를 들어, 원격 서버는 애플리케이션에 대한 명령어를 저장 장치에 저장할 수 있다. 원격 서버는 회로(예컨대, 제어 회로(604))를 사용하여 저장된 명령어를 처리하고 위에서 및 아래에 설명되는 디스플레이를 생성할 수 있다. 클라이언트 장치는 원격 서버에 의해 생성된 디스플레이를 수신할 수 있으며, 디스플레이의 콘텐트를 장비 장치(600) 상에 국부적으로 디스플레이할 수 있다. 이러한 방식으로, 명령어의 처리는 결과적인 디스플레이가 장비 장치(600) 상에 국부적으로 제공되는 동안 서버에 의해 원격으로 수행된다. 장비 장치(600)는 입력 인터페이스(610)를 통해 사용자로부터 입력을 수신할 수 있고, 대응하는 디스플레이를 처리 및 생성하기 위해 원격 서버에 이들 입력을 전송할 수 있다. 예를 들어, 장비 장치(600)는 업/다운 버튼이 입력 인터페이스(610)를 통해 선택되었음을 나타내는 통신을 원격 서버에 전송할 수 있다. 원격 서버는 그 입력에 따라 명령어를 처리할 수 있고 입력에 대응하는 애플리케이션의 디스플레이(예컨대, 커서를 위/아래로 이동시키는 디스플레이)를 생성할 수 있다. 그 후, 생성된 디스플레이는 사용자에게 제시하기 위해 장비 장치(600)로 전송된다.
일부 실시예에서, 미디어 안내 애플리케이션은 인터프리터 또는 가상 머신(제어 회로(604)에 의해 실행됨)에 의해 다운로드 및 해석되거나 다르게 실행된다. 일부 실시예에서, 안내 애플리케이션은 ETV 2진 교환 포맷(ETV Binary Interchange Format: EBIF)으로 인코딩되고, 적절한 피드의 일부로서 제어 회로(604)에 의해 수신되고, 제어 회로(604) 상에서 실행되는 사용자 에이전트에 의해 해석될 수 있다. 예를 들어, 안내 애플리케이션은 EBIF 애플리케이션일 수 있다. 일부 실시예에서, 안내 애플리케이션은, 로컬 가상 머신 또는 제어 회로(604)에 의해 실행되는 다른 적절한 미들웨어에 의해 수신되고 실행되는 일련의 자바 기반 파일에 의해 정의될 수 있다. 이러한 실시예(예컨대, MPEG-2 또는 다른 디지털 미디어 인코딩 방식을 사용하는 것) 중 몇몇에서, 안내 애플리케이션은 예를 들어, 프로그램의 MPEG 오디오 및 비디오 패킷과 함께 MPEG-2 오브젝트 캐러셀(object carousel)로 인코딩 및 전송될 수 있다.
제어 회로(604)는 검출 모듈(616)을 포함한다. 검출 모듈(616)은 도 10 내지 도 12와 관련하여 더 상세히 설명될 것이다.
도 8의 사용자 장비 장치(600)는 도 9의 시스템(700)에서, 사용자 텔레비전 장비(702), 사용자 컴퓨터 장비(704), 무선 사용자 통신 장치(706), 헤드업 디스플레이(예를 들어, 헤드 장착 디스플레이(301)), 또는 비 휴대용 게임 머신과 같은 콘텐트에 액세스하기 적합한 임의의 다른 유형의 사용자 장비로서 구현될 수 있다. 간략화를 위해, 이들 장치는 여기에서 집합적으로 사용자 장비 또는 사용자 장비 장치로 언급될 수 있으며, 전술된 사용자 장비 장치와 실질적으로 유사할 수 있다. 미디어 안내 애플리케이션이 구현될 수 있는 사용자 장비 장치는 독립형 장치로서 기능할 수도 있고 또는 장치 네트워크의 일부일 수도 있다. 장치의 다양한 네트워크 구성이 구현될 수 있으며, 이하에서 더 상세히 설명된다.
도 8과 관련하여 전술된 시스템 특징들 중 적어도 일부를 이용하는 사용자 장비 장치는, 사용자 텔레비전 장비(702), 사용자 컴퓨터 장비(704), 또는 무선 사용자 통신 장치(706)로 단순하게 분류되지 못할 수도 있다. 예를 들어, 사용자 텔레비전 장비(702)는, 몇몇 사용자 컴퓨터 장비(704)와 같이, 인터넷 콘텐트에 대한 액세스를 허용하는 인터넷 가능형일 수 있고, 사용자 컴퓨터 장비(704)는, 몇몇 사용자 텔레비전 장비(702)와 같이, 텔레비전 프로그램에 대한 액세스를 허용하는 튜너를 포함할 수 있다. 미디어 안내 애플리케이션은 다양한 상이한 유형의 사용자 장비 상에서 동일한 레이아웃을 가질 수 있거나 또는 사용자 장비의 디스플레이 성능에 맞게 조정될 수 있다. 예를 들어, 사용자 컴퓨터 장비(704)에서, 안내 애플리케이션은 웹 브라우저에 의해 액세스되는 웹 사이트로서 제공될 수 있다. 다른 예에서, 안내 애플리케이션은 무선 사용자 통신 장치(706)를 위해 축소될 수 있다.
시스템(700)에서, 보통 각 유형의 사용자 장비 장치가 2개 이상 존재하지만, 도 9에는 도면이 과도하게 복잡해지는 것을 피하기 위해 각각 하나씩만 도시된다. 또한, 각 사용자는 2개 이상의 유형의 사용자 장비 장치를 이용할 수 있고, 또한 각 유형의 사용자 장비 장치를 2개 이상 이용할 수 있다.
일부 실시예에서, 사용자 장비 장치(예컨대, 사용자 텔레비전 장비(702), 사용자 컴퓨터 장비(704), 무선 사용자 통신 장치(706))는 "제2 화면 장치"로 언급될 수 있다. 예를 들어, 제2 화면 장치는 제1 사용자 장비 장치 상에 제시된 콘텐트를 보충할 수 있다. 제2 화면 장치 상에 제시된 콘텐트는 제1 장치 상에 제시된 콘텐트를 보충하는 임의의 적절한 콘텐트일 수 있다. 일부 실시예에서, 제2 화면 장치는 제1 장치의 설정 및 디스플레이 선호도를 조정하기 위한 인터페이스를 제공한다. 일부 실시예에서, 제2 화면 장치는 다른 제2 화면 장치와 상호작용하거나 소셜 네트워크와 상호작용하도록 구성된다. 제2 화면 장치는 제1 장치와 동일한 방, 동일한 집 또는 건물 내에 있지만 제1 장치와 상이한 방, 또는 제1 장치와 상이한 건물에 위치할 수 있다.
사용자는 또한 가정용 장치 및 원격 장치에서 미디어 안내 애플리케이션 설정을 일관되게 유지할 수 있도록 다양한 설정을 설정할 수 있다. 설정은, 여기에서 설명된 것들뿐만 아니라, 채널 및 프로그램 즐겨 찾기, 안내 애플리케이션이 프로그래밍 추천을 만들기 위해 사용하는 프로그래밍 선호도, 디스플레이 선호도, 및 다른 바람직한 안내 설정을 포함한다. 예를 들어, 사용자가 자신의 사무실에 있는 자신의 개인용 컴퓨터에 예를 들어 웹 사이트 www.allrovi.com에 대한 채널을 즐겨찾기로서 설정하면, 원할 경우, 동일한 채널이 사용자의 가정용 장치(예컨대, 사용자 텔레비전 장비 및 사용자 컴퓨터 장비)뿐만 아니라 사용자의 모바일 장치 상에서 즐겨찾기로서 나타날 것이다. 따라서, 하나의 사용자 장비 장치 상에서 이루어진 변경은, 동일하거나 상이한 유형의 사용자 장비 장치인지 여부에 관계없이, 다른 사용자 장비 장치 상의 안내 경험을 변경할 수 있다. 또한, 이루어진 변경은 사용자에 의해 입력된 설정뿐만 아니라 안내 애플리케이션에 의해 모니터링되는 사용자 활동에 기초할 수 있다.
사용자 장비 장치는 통신 네트워크(714)에 결합될 수 있다. 즉, 사용자 텔레비전 장비(702), 사용자 컴퓨터 장비(704) 및 무선 사용자 통신 장치(706)는 각각 통신 경로(708, 710 및 712)를 통해 통신 네트워크(714)에 결합된다. 통신 네트워크(714)는 인터넷, 휴대폰 네트워크, 모바일 음성 또는 데이터 네트워크(예컨대, 4G 또는 LTE 네트워크), 케이블 네트워크, 공중 교환 전화 네트워크, 또는 다른 유형의 통신 네트워크 또는 통신 네트워크들의 조합을 포함하는 하나 이상의 네트워크일 수 있다. 경로(708, 710, 및 712)는 개별적으로 또는 함께, 위성 경로, 광섬유 경로, 케이블 경로, 인터넷 통신(예를 들어, IPTV)을 지원하는 경로, 자유 공간 접속(예컨대, 방송 또는 다른 무선 신호에 대한 것임), 또는 임의의 다른 적절한 유선 또는 무선 통신 경로, 또는 이러한 경로들의 조합과 같은, 하나 이상의 통신 경로를 포함할 수 있다. 경로(712)는 도 9에 도시된 예시적인 실시예에서 이것이 무선 경로임을 나타내기 위해 점선으로 도시되고, 경로(708 및 710)는 이들이 유선 경로임을 나타내기 위해 실선으로 도시된다(이들 경로는 원한다면 무선 경로일 수도 있음). 사용자 장비 장치와의 통신은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도 9에서는 도면이 과도하게 복잡해지는 것을 피하기 위해 단일 경로로서 도시된다.
사용자 장비 장치들 간에 통신 경로가 도시되지 않지만, 이들 장치는, 경로(708, 710 및 712)와 관련하여 전술된 것들 뿐만 아니라, USB 케이블, IEEE 1394 케이블, 무선 경로(예를 들어, 블루투스(Bluetooth), 적외선, IEEE 802-11x 등)와 같은 다른 단거리 포인트-투-포인트 통신 경로, 또는 유선 또는 무선 경로를 통한 다른 단거리 통신과 같은 통신 경로를 통해 서로 직접 통신할 수 있다. BLUETOOTH는 Bluetooth SIG, INC가 소유한 인증 마크이다. 사용자 장비 장치는 또한 통신 네트워크(714)를 통한 간접 경로를 통해 서로 직접 통신할 수 있다.
시스템(700)은 각각 통신 경로(720 및 722)를 통해 통신 네트워크(714)에 결합된 콘텐트 소스(716) 및 미디어 안내 데이터 소스(718)를 포함한다. 경로(720 및 722)는 경로(708, 710 및 712)와 관련하여 전술된 임의의 통신 경로를 포함할 수 있다. 콘텐트 소스(716) 및 미디어 안내 데이터 소스(718)와의 통신은 하나 이상의 통신 경로를 통해 교환될 수 있지만, 도 9에서는 도면이 과도하게 복잡해지는 것을 피하기 위해 단일 경로로서 도시된다. 또한, 콘텐트 소스(716) 및 미디어 안내 데이터 소스(718)는 각각 둘 이상이 존재할 수 있지만, 도 9에서는 도면이 과도하게 복잡해지는 것을 피하기 위해 각각 하나씩만 도시된다. (이들 소스 각각의 상이한 유형은 아래에서 설명된다.) 원한다면, 콘텐트 소스(716)와 미디어 안내 데이터 소스(718)는 하나의 소스 장치로서 통합될 수 있다. 사용자 장비(702, 704 및 706)와 소스(716 및 718) 사이의 통신은 통신 네트워크(714)를 통하는 것으로 도시되지만, 일부 실시예에서, 소스(716 및 718)는 경로(708, 710, 712)와 관련하여 전술된 것과 같은 경로(도시되지 않음)를 통해 사용자 장비(702, 704 및 706)와 직접 통신할 수 있다.
콘텐트 소스(716)는, 텔레비전 배포 설비, 케이블 시스템 중계국, 위성 배포 설비, 프로그래밍 소스(예컨대, NBC, ABC, HBO 등과 같은 텔레비전 방송국), 중간 배포 설비 및/또는 서버, 인터넷 공급자, 주문형 미디어 서버, 및 다른 콘텐트 공급자를 포함하는 하나 이상의 유형의 콘텐트 배포 장비를 포함할 수 있다. NBC는 National Broadcasting Company, Inc. 소유의 상표이며, ABC는 American Broadcasting Company, Inc. 소유의 상표이며, HBO는 Home Box Office, Inc. 소유의 상표이다. 콘텐트 소스(716)는 콘텐트의 생성자(예컨대, 텔레비전 방송국, 웹캐스트 공급자 등)일 수도 있고, 콘텐트의 생성자가 아닐 수도 있다(예컨대, 주문형 콘텐트 공급자, 다운로드용 방송 프로그램 콘텐트의 인터넷 공급자 등). 콘텐트 소스(716)는 케이블 소스, 위성 공급자, 주문형 공급자, 인터넷 공급자, 오버더톱(over-the-top) 콘텐트 공급자 또는 다른 콘텐트 공급자를 포함할 수 있다. 콘텐트 소스(716)는 또한 임의의 사용자 장비 장치로부터 원격 위치에 상이한 유형의 콘텐트(사용자에 의해 선택된 비디오 콘텐트를 포함함)를 저장하기 위해 사용되는 원격 미디어 서버를 포함할 수 있다. 콘텐트의 원격 저장을 위한 시스템 및 방법과, 원격 저장된 콘텐트를 사용자 장비에 제공하는 것은 2010년 7월 20일자로 발행된 Ellis 등의 미국 특허 제 7,761,892 호와 관련하여 더 상세히 설명되고, 이는 그 전체가 본원에 참고로 포함된다.
미디어 안내 데이터 소스(718)는 전술된 미디어 안내 데이터와 같은 미디어 안내 데이터를 제공할 수 있다. 임의의 적절한 접근법을 사용하여 사용자 장비 장치에 미디어 안내 데이터가 제공될 수 있다. 일부 실시예에서, 안내 애플리케이션은 데이터 피드(예컨대, 연속 피드 또는 트리클(trickle) 피드)를 통해 프로그램 가이드 데이터를 수신하는 독립형 대화형 텔레비전 프로그램 가이드일 수 있다. 프로그램 스케줄 데이터 및 다른 안내 데이터는, 대역 내 디지털 신호를 사용하거나, 대역 외 디지털 신호를 사용하거나, 또는 임의의 다른 적절한 데이터 전송 기술에 의해, 텔레비전 채널 사이드밴드를 통해 사용자 장비에 제공될 수 있다. 프로그램 스케줄 데이터 및 다른 미디어 안내 데이터는 다수의 아날로그 또는 디지털 텔레비전 채널을 통해 사용자 장비에 제공될 수 있다.
일부 실시예에서, 미디어 안내 데이터 소스(718)로부터의 안내 데이터는 클라이언트-서버 접근법을 사용하여 사용자 장비에 제공될 수 있다. 예를 들어, 사용자 장비 장치가 서버로부터 미디어 안내 데이터를 풀링(pull)할 수 있거나, 서버가 미디어 안내 데이터를 사용자 장비 장치로 푸싱할 수 있다. 일부 실시예에서, 사용자 장비에 상주하는 안내 애플리케이션 클라이언트는 필요한 경우, 예컨대, 안내 데이터가 오래된 경우 또는 사용자 장비가 사용자로부터 데이터 수신 요청을 수신한 경우, 안내 데이터를 획득하기 위해 소스(718)와의 세션을 개시할 수 있다. 임의의 적절한 빈도로(예를 들어, 연속적으로, 매일, 사용자 지정 시간 주기로, 시스템 지정 시간 주기로, 사용자 장비로부터의 요구에 응답하여 등) 미디어 안내가 사용자 장비에 제공될 수 있다. 미디어 안내 데이터 소스(718)는 사용자 장비 장치(702, 704 및 706)에 미디어 안내 애플리케이션 자체 또는 미디어 안내 애플리케이션에 대한 소프트웨어 업데이트를 제공할 수 있다.
일부 실시예에서, 미디어 안내 데이터는 시청자 데이터를 포함할 수 있다. 예를 들어, 시청자 데이터는 현재 및/또는 과거의 사용자 활동 정보(예컨대, 사용자가 보통 어떤 콘텐트를 시청하는지, 사용자가 하루 중 언제 콘텐트를 시청하는지, 사용자가 정보를 포스팅하기 위해 언제 소셜 네트워크와 상호작용하는지, 사용자가 보통 어떤 유형의 콘텐트를 시청하는지(예컨대, 유료 TV 또는 무료 TV), 기분, 뇌 활동 정보 등)를 포함할 수 있다. 미디어 안내 데이터는 또한 가입 데이터를 포함할 수 있다. 예를 들어, 가입 데이터는 소정 사용자가 어떤 소스 또는 서비스에 가입하는지 및/또는 소정 사용자가 이전에 가입했으나 나중에 액세스를 종료한 소스 또는 서비스가 어떤 것인지(예컨대, 사용자가 프리미엄 채널에 가입했는지 여부, 사용자가 프리미엄 서비스 레벨을 추가했는지 여부, 사용자가 인터넷 속도를 증가시켰는지 여부)를 식별할 수 있다. 일부 실시예에서, 시청자 데이터 및/또는 가입 데이터는 1년이 넘는 기간 동안 소정 사용자의 패턴을 식별할 수 있다. 미디어 안내 데이터는 소정 사용자가 서비스/소스에 대한 액세스를 종료할 가능성을 나타내는 스코어를 생성하기 위해 사용되는 모델(예컨대, 생존자 모델)을 포함할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 소정 사용자가 특정 서비스 또는 소스에 대한 액세스를 종료할지 어떨지의 가능성을 나타내는 값 또는 스코어를 생성하기 위해 그 모델을 사용하여 가입 데이터와 함께 시청자 데이터를 처리할 수 있다. 특히, 스코어가 높을수록 사용자가 특정 서비스 또는 소스에 대한 액세스를 종료할 것이라는 확신의 수준이 높다는 것을 나타낼 수 있다. 스코어에 기초하여, 미디어 안내 애플리케이션은 스코어에 의해 사용자가 액세스를 종료할 가능성이 높은 것으로 표시된 특정 서비스 또는 소스를 유지하도록 사용자를 유인하는 프로모션 및 광고를 생성할 수 있다.
미디어 안내 애플리케이션은 예를 들어, 사용자 장비 장치 상에 구현된 독립형 애플리케이션일 수 있다. 예를 들어, 미디어 안내 애플리케이션은, 저장 장치(608)에 저장될 수 있고 사용자 장비 장치(600)의 제어 회로(604)에 의해 실행될 수 있는 소프트웨어 또는 실행가능한 명령어 세트로서 구현될 수 있다. 일부 실시예에서, 미디어 안내 애플리케이션은, 클라이언트 애플리케이션만이 사용자 장비 장치에 상주하고 서버 애플리케이션은 원격 서버에 상주하는 클라이언트-서버 애플리케이션일 수 있다. 예를 들어, 미디어 안내 애플리케이션은 부분적으로는 사용자 장비 장치(600)의 제어 회로(604) 상에서 클라이언트 애플리케이션으로서 구현되고, 부분적으로는 원격 서버 상에서 원격 서버의 제어 회로 상에서 실행되는 서버 애플리케이션(예컨대, 미디어 안내 데이터 소스(718))으로서 구현될 수 있다. (미디어 안내 데이터 소스(718)와 같은) 원격 서버의 제어 회로에 의해 실행될 때, 미디어 안내 애플리케이션은, 제어 회로에, 안내 애플리케이션 디스플레이를 생성하고 생성된 디스플레이를 사용자 장비 장치로 전송하도록 지시할 수 있다. 서버 애플리케이션은 미디어 안내 데이터 소스(718)의 제어 회로에 사용자 장비 상의 저장을 위해 데이터를 전송하도록 지시할 수 있다. 클라이언트 애플리케이션은 수신측 사용자 장비의 제어 회로에 안내 애플리케이션 디스플레이를 생성하도록 지시할 수 있다.
사용자 장비 장치(702, 704 및 706)에 전달된 콘텐트 및/또는 미디어 안내 데이터는 OTT(over-the-top) 콘텐트일 수 있다. OTT 콘텐트 전달은, 전술된 임의의 사용자 장비 장치를 포함하는 인터넷 가능 사용자 장치로 하여금, 케이블 또는 위성 접속을 통해 수신된 콘텐트 외에도 전술된 임의의 콘텐트를 포함하는, 인터넷을 통해 전송되는 콘텐트를 수신할 수 있게 한다. OTT 콘텐트는 인터넷 서비스 공급자(ISP)에 의해 제공된 인터넷 접속을 통해 전달되지만, 제3자가 그 콘텐트를 배포한다. ISP는 콘텐트의 시청 능력, 저작권 또는 재배포에 대한 책임을 지지 않으며, OTT 콘텐트 공급자에 의해 제공된 IP 패킷을 전송할 수 있을 뿐이다. OTT 콘텐트 공급자의 예는 YOUTUBE, NETFLIX 및 HULU를 포함하는데, 이들은 IP 패킷을 통해 오디오 및 비디오를 제공한다. Youtube는 Google Inc. 소유의 상표이고, Netflix는 Netflix Inc. 소유의 상표이며, Hulu는 Hulu, LLC 소유의 상표이다. OTT 콘텐트 공급자는 추가적으로 또는 대안으로 전술된 미디어 안내 데이터를 제공할 수 있다. 콘텐트 및/또는 미디어 안내 데이터에 추가하여, OTT 콘텐트 공급자는 미디어 안내 애플리케이션(예컨대, 웹 기반 애플리케이션 또는 클라우드 기반 애플리케이션)을 배포할 수 있거나, 콘텐트는 사용자 장비 장치에 저장된 미디어 안내 애플리케이션에 의해 디스플레이될 수 있다.
미디어 안내 시스템(700)은, 콘텐트에 액세스하고 미디어 안내를 제공하기 위해 사용자 장비 장치와 콘텐트 및 안내 데이터의 소스가 서로 통신할 수 있는 다수의 접근법 또는 네트워크 구성을 설명하기 위한 것이다. 본 명세서에 설명된 실시예는 이들 접근법 중 임의의 하나 또는 서브세트, 또는 콘텐트를 전달하고 미디어 안내를 제공하기 위한 다른 접근법을 사용하는 시스템에 적용될 수 있다. 다음 4가지 접근법은 도 9의 일반적인 예의 특정 예시를 제공한다.
첫 번째 접근법에서, 사용자 장비 장치는 홈 네트워크 내에서 서로 통신할 수 있다. 사용자 장비 장치는, 전술된 단거리 포인트-투-포인트 통신 방식을 통해, 홈 네트워크 상에 제공된 허브 또는 다른 유사한 장치를 통한 간접 경로를 통해, 또는 통신 네트워크(714)를 통해 서로 직접 통신할 수 있다. 단일 주택 내의 다수의 개인의 각각은 홈 네트워크 상의 상이한 사용자 장비 장치들을 조작할 수 있다. 결과적으로, 상이한 사용자 장비 장치들 사이에서 다양한 미디어 안내 정보 또는 설정이 통신되는 것이 바람직할 수 있다. 예를 들어, 2005년 7월 11일자로 출원된 Ellis 등의 미국 특허 공개 제 2005/0251827 호에 상세히 설명된 바와 같이, 사용자가 홈 네트워크 내의 상이한 사용자 장비 장치들 상에서 일관된 미디어 안내 애플리케이션 설정을 유지하는 것이 바람직할 수 있다. 홈 네트워크 내의 상이한 유형의 사용자 장비 장치들은 또한 콘텐트를 전송하기 위해 서로 통신할 수 있다. 예를 들어, 사용자는 사용자 컴퓨터 장비로부터 휴대용 비디오 플레이어 또는 휴대용 뮤직 플레이어로 콘텐트를 전송할 수 있다.
두 번째 접근법에서, 사용자는 콘텐트에 액세스하여 미디어 안내를 획득하는 여러 유형의 사용자 장비를 가질 수 있다. 예를 들어, 몇몇 사용자는 가정용 및 모바일 장치에 의해 액세스되는 홈 네트워크를 가질 수 있다. 사용자는 원격 장치에 구현된 미디어 안내 애플리케이션을 통해 가정용 장치를 제어할 수 있다. 예를 들어, 사용자는 사무실의 개인 컴퓨터를 통하거나 PDA 또는 웹 지원 휴대폰과 같은 모바일 장치를 통해 웹 사이트 상의 온라인 미디어 안내 애플리케이션에 액세스할 수 있다. 사용자는 온라인 안내 애플리케이션에 다양한 설정(예컨대, 레코딩, 미리 알림 또는 다른 설정)을 설정하여 사용자의 가정용 기기를 제어할 수 있다. 온라인 가이드는 사용자 장비를 직접 제어하거나 사용자의 가정용 장비 상의 미디어 안내 애플리케이션과 통신함으로써 제어할 수 있다. 서로 원격 위치에 있는 사용자 장비 장치들이 통신하는 다양한 시스템 및 방법은, 예를 들어, 2011년 10월 25일자로 발행된 Ellis 등의 미국 특허 제 8,046,801 호에 설명되며, 이는 그 전체가 본원에 참고로 포함된다.
세 번째 접근법에서, 가정 내 및 가정 외에서 사용자 장비 장치의 사용자는 자신의 미디어 안내 애플리케이션을 사용하여 콘텐트 소스(716)와 직접 통신하여 콘텐트에 액세스할 수 있다. 구체적으로, 가정 내에서, 사용자 텔레비전 장비(702) 및 사용자 컴퓨터 장비(704)의 사용자는 원하는 콘텐트를 탐색하고 찾아내기 위해 미디어 안내 애플리케이션에 액세스할 수 있다. 사용자는 또한 무선 사용자 통신 장치(706)를 사용하여 가정 외에서 미디어 안내 애플리케이션에 액세스하여 원하는 콘텐트를 탐색하고 바람직한 콘텐트를 찾아 낼 수 있다.
네 번째 접근법에서, 사용자 장비 장치는 클라우드 컴퓨팅 환경에서 동작하여 클라우드 서비스에 액세스할 수 있다. 클라우드 컴퓨팅 환경에서는, 콘텐트 공유, 저장 또는 배포를 위한 다양한 유형의 컴퓨팅 서비스(예컨대, 비디오 공유 사이트 또는 소셜 네트워킹 사이트)가, "클라우드"로 언급되는 네트워크 액세스 가능한 컴퓨팅 및 저장 리소스의 컬렉션에 의해 제공된다. 예를 들어, 클라우드는, 통신 네트워크(714)를 통해 인터넷과 같은 네트워크를 통해 접속된 다양한 유형의 사용자 및 장치에 클라우드 기반 서비스를 제공하는, 중앙에 또는 분산된 위치에 위치할 수 있는 서버 컴퓨팅 장치의 컬렉션을 포함할 수 있다. 이들 클라우드 자원은 하나 이상의 콘텐트 소스(716) 및 하나 이상의 미디어 안내 데이터 소스(718)를 포함할 수 있다. 추가적으로 또는 대안으로, 원격 컴퓨팅 사이트는, 사용자 텔레비전 장비(702), 사용자 컴퓨터 장비(704) 및 무선 사용자 통신 장치(706)와 같은 다른 사용자 장비 장치를 포함할 수 있다. 예를 들어, 다른 사용자 장비 장치는 비디오 또는 스트리밍된 비디오의 저장된 사본에 대한 액세스를 제공할 수 있다. 이러한 실시예에서, 사용자 장비 장치는 중앙 서버와 통신하지 않고 피어-투-피어 방식으로 동작할 수 있다.
클라우드는, 사용자 장비 장치에, 전술된 임의의 콘텐트에 대한 액세스뿐만 아니라, 다른 예들 중에서도 특히, 콘텐트 저장, 콘텐트 공유 또는 소셜 네트워킹 서비스와 같은 서비스에 대한 액세스를 제공한다. 서비스는 클라우드 컴퓨팅 서비스 공급자를 통해 또는 다른 온라인 서비스 공급자를 통해 클라우드에서 제공될 수 있다. 예를 들어, 클라우드 기반 서비스는 콘텐트 저장 서비스, 콘텐트 공유 사이트, 소셜 네트워킹 사이트, 또는 접속된 장치 상에서 다른 사람에 의한 시청을 위해 사용자 공급 콘텐트를 배포하는 다른 서비스를 포함할 수 있다. 이러한 클라우드 기반 서비스는 사용자 장비 장치로 하여금, 콘텐트를 로컬로 저장하고 로컬로 저장된 콘텐트에 액세스하는 것 대신, 콘텐트를 클라우드에 저장하고 클라우드로부터 콘텐트를 수신하도록 허용할 수 있다.
사용자는 캠코더, 비디오 모드를 갖는 디지털 카메라, 오디오 레코더, 휴대폰 및 핸드헬드 컴퓨팅 장치와 같은 다양한 콘텐트 캡쳐 장치를 사용하여 콘텐트를 레코딩할 수 있다. 사용자는, 예를 들어 콘텐트 캡쳐 기능을 갖는 사용자 컴퓨터 장비(704) 또는 무선 사용자 통신 장치(706)로부터, 클라우드 상의 콘텐트 저장 서비스에 콘텐트를 직접 업로드할 수 있다. 대안으로, 사용자는 먼저 사용자 컴퓨터 장비(704)와 같은 사용자 장비 장치로 콘텐트를 전송할 수 있다. 콘텐트를 저장하는 사용자 장비 장치는 통신 네트워크(714) 상의 데이터 전송 서비스를 사용하여 클라우드에 콘텐트를 업로드한다. 일부 실시예에서는, 사용자 장비 장치 자체가 클라우드 리소스이고, 다른 사용자 장비 장치는 사용자가 콘텐트를 저장한 사용자 장비 장치로부터 직접 콘텐트에 액세스할 수 있다.
클라우드 리소스는 예를 들어, 웹 브라우저, 미디어 안내 애플리케이션, 데스크톱 애플리케이션, 모바일 애플리케이션, 및/또는 이들의 액세스 애플리케이션의 임의의 조합을 사용하여 사용자 장비 장치에 의해 액세스될 수 있다. 사용자 장비 장치는 애플리케이션 전달을 위해 클라우드 컴퓨팅에 의존하는 클라우드 클라이언트일 수 있거나, 사용자 장비 장치는 클라우드 리소스에 액세스하지 않고 몇몇 기능을 가질 수 있다. 예를 들어, 사용자 장비 장치상에서 실행되는 몇몇 애플리케이션은 클라우드 애플리케이션, 즉 인터넷을 통한 서비스로서 전달되는 애플리케이션일 수 있고, 다른 애플리케이션은 사용자 장비 장치 상에서 저장 및 실행될 수 있다. 일부 실시예에서, 사용자 장치는 다수의 클라우드 리소스로부터 동시에 콘텐트를 수신할 수 있다. 예를 들어, 사용자 장치는 하나의 클라우드 리소스로부터 오디오를 스트리밍하면서 제2 클라우드 리소스로부터 콘텐트를 다운로드할 수 있다. 또는 사용자 장치는 더 효율적인 다운로드를 위해 다수의 클라우드 리소스로부터 콘텐트를 다운로드할 수 있다. 일부 실시예에서, 사용자 장비 장치는 도 8와 관련하여 설명된 프로세싱 회로에 의해 수행되는 프로세싱 동작과 같은 동작을 처리하기 위해 클라우드 리소스를 사용할 수 있다.
본 명세서에서 언급될 때, "응답하여"라는 용어는 결과로서 개시되는 것을 나타낸다. 예를 들어, 제1 동작이 제2 동작에 응답하여 수행된다는 것은 제1 동작과 제2 동작 사이에 중간 단계들을 포함할 수 있다. 본 명세서에서 언급될 때, "응답하여 즉시"라는 용어는 그에 의해 유발되는 것을 의미한다. 예를 들어, 제1 동작이 제2 동작에 대한 응답으로 즉시 수행된다는 것은 제1 동작과 제2 동작 사이에 중간 단계들을 포함하지 않을 수 있다.
도 10은 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈(616)의 일 구성 요소의 예시적인 예이다. 도 10은 사용자(808)의 응시 위치의 중심을 식별하기 위해 사용될 수 있는 응시 지점 검출 구성 요소(800)를 도시한다.
응시 지점 검출 구성 요소(800)는 프로세서(802), 광 소스(804), 및 광 센서(806)를 포함한다. 광 소스(804)는 사용자(808)의 적어도 한쪽 눈에 도달하는 광을 전송하고, 광 센서(806)는 반사된 광을 감지하기 위해 사용자(808)를 향한다. 광 센서(806)는 수집된 데이터를 프로세서(802)로 송신하고, 프로세서(802)는 광 센서(806)로부터 수신된 데이터에 기초하여 사용자(808)의 응시 지점을 결정한다.
프로세서(802)는 단일 장치 내에서 하나 이상의 광 소스(804) 및 하나 이상의 광 센서(806)와 통합될 수 있다. 추가적으로 또는 대안으로, 하나의 광 소스(804)는 사용자(808)의 양쪽 눈에 광을 전송할 수 있다. 추가적으로 또는 대안으로, 하나의 광 소스(804)는 사용자(808)의 한쪽 눈으로 광을 전송할 수 있고 다른 광 소스(804)는 사용자(808)의 다른 쪽 눈으로 광을 전송할 수 있다. 추가적으로 또는 대안으로, 하나 이상의 광 소스(804) 및 하나 이상의 광 센서(806)는 프로세서(802)와 별도로 하우징되고 프로세서(802)와 무선 또는 유선 통신할 수 있다. 프로세서(802), 광 소스(804), 및 광 센서(806) 중 하나 이상은 사용자 장비 장치(600)에 통합될 수 있다.
프로세서(802)는 전술된 프로세싱 회로(606)와 유사할 수 있다. 일부 실시예에서, 프로세서(802)는 프로세싱 회로(606)일 수 있고, 프로세싱 회로(606)는 광 소스(804) 및 광 센서(806)와 통신한다. 다른 실시예에서, 프로세서(802)는 프로세싱 회로(606)와 별개이지만 선택적으로 그와 통신할 수 있다.
광 소스(804)는 하나 이상의 사용자의 한쪽 눈 또는 양쪽 눈에 광을 전송한다. 광 소스(804)는 예를 들어 적외선(IR) 광, 근적외선 광 또는 가시광을 방출할 수 있다. 광 소스(804)에 의해 방출된 광은 시준되거나 시준되지 않을 수 있다. 광은 사용자의 눈 내에서 반사되어, 예를 들어, 각막의 외부 표면으로부터의 반사(즉, 제1 푸르키네(Purkinje) 이미지), 각막의 내부 표면으로부터의 반사(즉, 제2 푸르키네 이미지), 수정체의 외부(앞쪽) 표면으로부터의 반사(즉, 제3 푸르키네 이미지) 및/또는 수정체의 내부(뒤쪽) 표면으로부터의 반사(즉, 제4 푸리키네 이미지)를 형성한다.
광 센서(806)는 하나 이상의 사용자의 눈의 한쪽 또는 양쪽의 이미지 또는 일련의 이미지와 같은 시각 정보를 수집한다. 광 센서(806)는 수집된 이미지(들)를 프로세서(802)로 전송하는데, 프로세서(802)는 수신된 이미지(들)를 처리하여 하나 이상의 사용자의 한쪽 또는 양쪽 눈에서의 번쩍임(즉, 각막 반사) 및/또는 다른 반사의 위치를 검출한다. 프로세서(802)는 또한 하나 이상의 사용자의 한쪽 눈 또는 양쪽 눈의 동공의 위치를 결정할 수 있다. 각각의 눈에 대해, 프로세서(802)는 동공의 위치를 번쩍임 및/또는 다른 반사의 위치와 비교하여 눈의 응시 지점을 결정할 수 있다. 프로세서(802)는 또한, 디스플레이(612)에 대한 하나 이상의 광 소스(804)의 위치 및/또는 하나 이상의 광 센서(806)의 위치를 설명하는 정보를 저장하거나 획득할 수 있다. 이 정보를 사용하여, 프로세서(802)는 디스플레이(612)에 대한 사용자(808)의 각 눈의 응시 지점을 결정할 수 있다. 프로세서(802)는 사용자(808)의 각 눈의 응시 지점 사이의 중점을 계산하여 사용자(808)의 현재 응시 위치 중심을 결정할 수 있다. 프로세서(802)는 사용자(808)의 현재 응시 위치 중심을 (예를 들어, 저장 장치(608)에) 이전에 저장된 응시 위치 중심과 비교하여, 사용자(808)의 응시 중심이 이동했다고 판단할 수 있다.
일부 실시예에서, 응시 지점 검출 구성 요소(800)는 사용자 머리의 위치가 고정되거나 비교적 안정적인 경우에 가장 잘 수행한다. 다른 실시예에서, 응시 지점 검출 구성 요소(800)는 사용자의 머리 이동을 고려하도록 구성되는데, 이는 사용자의 머리가 특정 위치에 고정된 경우보다 더 자연스러운 시청 경험을 사용자에게 허용한다.
사용자의 머리 이동을 고려하는 일부 실시예에서, 응시 지점 검출 구성 요소(800)는 2개 이상의 광 센서(806)를 포함한다. 예를 들어, 2개의 카메라는 사용자의 눈 또는 눈들의 3D 위치를 획득하기 위한 스테레오 비전 시스템을 형성하도록 배열될 수 있으며, 이는 프로세서(802)로 하여금 사용자 응시 지점을 결정할 때 머리 이동을 보상할 수 있게 한다. 2개 이상의 광 센서(806)는 단일 유닛의 일부이거나 별개의 유닛일 수 있다. 예를 들어, 사용자 장비 장치(600)는 광 센서(806)로서 사용되는 2개의 카메라를 포함할 수 있거나, 사용자 장비 장치(600)와 통신하는 응시 지점 검출 구성 요소(800)는 2개의 광 센서(806)를 포함할 수 있다. 다른 실시예에서, 사용자 장비 장치(600)와 응시 지점 검출 구성 요소(800)의 각각은 광 센서를 포함할 수 있고, 프로세서(802)는 사용자 장비 장치(600)의 광 센서 및 응시 지점 검출 구성 요소(800)의 광 센서로부터 이미지 데이터를 수신한다. 프로세서(802)는 디스플레이(612)에 대한 및/또는 서로에 대한 광 센서(806)의 위치를 식별하는 데이터를 수신할 수 있고, 응시 지점을 결정할 때 이 정보를 사용할 수 있다.
사용자의 머리 이동을 고려하는 다른 실시예에서, 응시 지점 검출 구성 요소(800)는 다수의 번쩍임을 생성하기 위한 2개 이상의 광 소스를 포함한다. 예를 들어, 2개의 광 소스(804)는 눈의 상이한 위치에서 번쩍임을 생성할 수 있고, 2개의 번쩍임에 관한 정보를 갖는 것은 프로세서로 하여금 사용자의 눈 또는 눈들의 3차원 위치를 결정할 수 있게 하여, 프로세서(802)로 하여금 머리 이동을 보상할 수 있게 한다. 프로세서(802)는 또한, 디스플레이(612)에 대한 및/또는 서로에 대한 광 소스(804)의 위치를 식별하는 데이터를 수신할 수 있고, 응시 지점을 결정할 때 이 정보를 사용할 수 있다.
일부 실시예에서, 응시 지점 검출 구성 요소(800)는 사용자의 시각 장애를 고려하도록 구성된다. 예를 들어, 사용자(808)가 한쪽 눈이 안보인다면, 응시 지점 검출 구성 요소(800)는 그 눈에 광을 전송하지 않고 응시 중심의 결정을 그 눈에 기초하지 않을 수 있다. 예를 들어, 사용자(808)가 왼쪽 눈이 안보인다면, 응시 중심은 오른쪽 눈의 응시 지점인 것으로 결정될 수 있다. 다른 예로서, 사용자(808)가 약시인 눈을 갖는 경우, 응시 지점 검출 구성 요소(800)는 그 눈에 광을 전송하지 않고 응시 중심의 결정을 그 눈에 기초하지 않을 수 있다. 또 다른 예로서, 사용자(808)가 약시인 왼쪽 눈을 가지고 사용자(808)의 왼쪽 눈의 이동이 검출되면, 응시 지점 검출 구성 요소(800)는 그 이동을 무시하도록 구성될 수 있다.
일부 실시예에서, 광 소스를 이용하지 않는 다른 유형의 응시 지점 검출 구성 요소가 사용될 수 있다. 예를 들어, 광 센서(806) 및 프로세서(802)는, 망막 혈관 또는 사용자 눈의 안쪽 또는 표면 상의 다른 특징과 같은 사용자 눈의 다른 특징을 추적할 수 있고, 눈이 회전함에 따라 이들 특징을 따라갈 수 있다. 전술되지 않은 하나 이상의 사용자의 응시 지점(들)을 결정하기 위한 임의의 다른 장비 또는 방법은 응시 지점 검출 구성 요소(800)의 전술된 실시예에 추가하여 또는 그 대신에 사용될 수 있다.
응시 지점 검출 구성 요소(800)는 검출 모듈(616)에 통합될 수 있거나 검출 모듈(616)에 의해 액세스될 수 있는 일 유형의 구성 요소일 뿐이다. 다른 유형의 데이터(예컨대, 비디오, 오디오, 텍스트 등)를 생성할 수 있는 다른 유형의 구성 요소는 본 발명의 범위 내에 완전히 포함된다.
도 11은 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈(616)의 일 구성 요소의 다른 예시적인 예이다. 도 11은 사용자(908)의 머리 이동을 검출하기 위해 사용될 수 있는 머리 이동 검출 구성 요소(900)를 도시한다. 머리 이동 검출 구성 요소(900)는 프로세서(902) 및 가속도계(904)를 포함한다. 가속도계(904)는 사용자의 머리에 물리적으로 결합된다. 예를 들어, 사용자 장비 장치(600)가 사용자(908)의 머리에 물리적으로 결합된 헤드 장착 디스플레이(예를 들어, 도 5의 헤드 장착 디스플레이(301))인 경우, 가속도계(904)는 헤드 장착 디스플레이에 포함될 수 있다. 가속도계(904)는 그 자신의 가속도를 1차원, 2차원 또는 3차원으로 검출할 수 있다. 가속도계(904)는 용량성 가속도계, 압전 가속도계, MEMS(micro-electromechanical) 가속도계 또는 임의의 다른 유형의 가속도계일 수 있다.
프로세서(902)는 단일 장치 내에서 하나 이상의 가속도계(904)와 통합될 수 있다. 추가적으로 또는 대안으로, 하나 이상의 가속도계(904)는 프로세서(902)와 별도로 하우징되고 프로세서(902)와 무선 또는 유선 통신할 수 있다. 프로세서(902)와 가속도계(904) 중 하나 이상은 사용자 장비 장치(600)에 통합될 수 있다.
프로세서(902)는 전술된 프로세싱 회로(606)와 유사할 수 있다. 일부 실시예에서, 프로세서(902)는 프로세싱 회로(606)일 수 있으며, 프로세싱 회로(606)는 가속도계(904)와 통신한다. 다른 실시예에서, 프로세서(902)는 프로세싱 회로(606)와 별개이지만 선택적으로 그와 통신할 수 있다.
사용자의 머리가 특정 방향으로 움직이거나 회전하면, 가속도계(904)는 가속도를 검출하고, 사용자의 머리가 특정 시간 동안 그 방향으로 가속되고 있다는 출력을 프로세서(902)로 전송한다. 또한, 가속도계(904)는 사용자의 머리가 특정 가속도 크기로 가속되고 있다는 출력을 프로세서(902)로 전송할 수 있다.
프로세서(902)는 디스플레이(612)에 대한 하나 이상의 가속도계(904)의 위치를 설명하는 정보를 저장하거나 획득할 수 있다. 가속도계(904)로부터 수신된 사용자 머리의 가속도의 방향, 지속 시간 및 크기에 관한 정보뿐만 아니라 이 정보와를 사용하여, 프로세서(902)는 디스플레이(612)에 대한 사용자(908)의 머리의 새로운 위치를 결정할 수 있다. 프로세서(902)는 사용자(908)의 눈에 대한 하나 이상의 가속도계(904)의 위치를 설명하는 정보를 저장 또는 획득할 수 있다. 사용자(908)가 똑바로 보고 있다고 가정하면, 프로세서(902)는 사용자(908)의 머리의 새로운 위치에 관한 정보뿐만 아니라 이 정보를 사용하여 사용자(908)의 응시 중심이 이동했다는 것을 검출하고 사용자(908)의 새로운 응시 중심 위치를 결정할 수 있다.
가속도계(904)는 사용자 머리의 상방, 전방, 및 하방으로의 이동을 연속적으로 검출함으로써 사용자의 발걸음(footstep)을 검출하도록 구성될 수 있다. 일부 실시예에서, 가속도계(904)는 보정 데이터를 사용하여 사용자의 발걸음을 검출하도록 구성된다. 이러한 실시예에서, 사용자는 발걸음을 내디딜 수 있고, 가속도계(904)는 그 발걸음 동안의 가속 방향, 크기 및 타이밍과 같은 파라미터를 저장할 수 있다. 이들 파라미터와 실질적으로 일치하는 미래의 이동은 가속도계(904)에 의해 발걸음으로서 식별될 수 있다.
가속도계(904)는 발걸음을 검출하는 것에 응답하여 사용자가 발걸음을 내디뎠음을 프로세서(902)에 출력할 수 있다. 프로세서(902)는 가속도계(904)의 출력에 기초하여 사용자가 전신 이동을 수행했다고 결정할 수 있다. 일부 실시예에서, 제1 발걸음의 검출에 응답하여, 제어 회로(604)는, 도 3 및 도 4와 관련하여 설명된 바와 같이, 사용자 시야의 전경 영역에 대응하는 가상 현실 환경(예를 들어, 가상 현실 환경(104))의 부분에 디스플레이를 위한 추가적인 콘텐트를 생성한다. 일부 실시예에서, 제2 발걸음의 검출에 응답하여, 제어 회로(604)는 추가적인 콘텐트의 크기를 확대한다. 일부 실시예에서, 제2 발걸음의 검출에 응답하여, 제어 회로(604)는 메인 콘텐트의 불투명도를 감소시키는 것과 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행한다. 이러한 특징은, 예를 들어 사용자가 전신 이동을 수행하는 동안 추가적인 콘텐트에 더 집중하고 메인 콘텐트에 덜 집중하기를 원하는 경우에 유용할 수 있다.
가속도계(904)가 사용자(908)의 머리의 실질적인 가속도를 검출하지 않으면, 가속도계(904)는 사용자가 실질적으로 정지하고 있다는 것을 프로세서(902)에 출력할 수 있다. 일부 구현에서, 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 제어 회로(604)는 사용자 시야의 전경 영역에 있지 않는 디스플레이의 부분에 디스플레이를 위한 추가적인 콘텐트를 생성한다.
머리 이동 검출 구성 요소(900)는 검출 모듈(616)에 통합되거나 검출 모듈(616)에 의해 액세스될 수 있는 구성 요소의 일 유형에 불과하다는 것을 주목해야 한다. 다른 유형의 데이터(예컨대, 비디오, 오디오, 텍스트 등)를 생성할 수 있는 다른 유형의 구성 요소는 본 발명의 범위 내에 완전히 포함된다.
도 12는 본 발명의 일부 실시예에 따라 액세스될 수 있는 검출 모듈(616)의 일 구성 요소의 다른 예시적인 예이다. 도 12는 사용자의 물리적 주변 환경의 비디오의 변화를 검출함으로써 사용자(1008)의 이동을 검출하기 위해 사용될 수 있는 이동 검출 구성 요소(1000)를 도시한다. 이동 검출 구성 요소(1000)는 프로세서(1002) 및 카메라(1004)를 포함한다. 카메라(1004)는 사용자(1008)에 물리적으로 결합된다. 예를 들어, 카메라(1004)는 사용자(1008)의 머리에 결합될 수 있다. 카메라(1004)는 헤드 장착 디스플레이에 포함된 휴대폰의 카메라(예를 들어, 카메라(317))일 수 있다.
카메라(1004)는 사용자의 물리적 주변 환경의 이미지 및/또는 비디오를 캡쳐하고 캡쳐된 이미지/비디오를 비교하여 사용자의 이동을 검출하도록 구성된다. 예를 들어, 도 12에 도시된 바와 같이, 카메라(1004)는 사용자의 물리적 주변 환경의 비디오에서 프레임(1006)을 캡쳐하고, 다음에 사용자의 물리적 주변 환경의 비디오에서 프레임(1008)을 캡쳐한다. 프로세서(1002)는 프레임(1006)과 프레임(1008)을 비교하고 사용자의 물리적 주변 환경의 비디오에서의 변화를 검출하도록 구성된다. 도 12에서, 프로세서(1002)는 사용자(1008)가 우측으로 이동했다고 결정할 것이다. 이러한 결정에 응답하여, 프로세서(1002)는 사용자의 응시 중심이 변경되었다고 결정할 수 있다. 추가적으로 또는 대안으로, 이러한 결정에 응답하여, 프로세서(1002)는 사용자가 전신 이동을 수행하고 있다고 결정할 수 있다.
일부 실시예에서, 사용자의 물리적 주변 환경(예를 들어, 사용자가 위치하는 방으로 들어가는 다른 사람, 사용자가 위치하는 집의 문을 두드리는 다른 사람, 사용자 근처에서 발생하는 위험한 어떤 것 등)이 검출될 수 있다. 예를 들어, 이동 검출 구성 요소(1000)는, 사용자의 물리적 주변 환경의 비디오의 다수의 프레임을 캡쳐하고 다수의 프레임을 비교하여 변화를 검출함으로써, 사용자의 물리적 주변 환경 내에서 어커런스(occurrences)를 검출하도록 구성될 수 있다. 사용자의 물리적 주변 환경 내에서 어커런스를 검출하는 것에 응답하여, 사용자 입력 인터페이스(610)는 어커런스에 관한 정보를 사용자에게 제시할 수 있다. 예를 들어, 사용자 입력 인터페이스(610)는 어커런스를 표시하는 사운드를 스피커(614)를 통해 출력할 수 있거나 또는 사용자 입력 인터페이스(610)는 어커런스를 표시하는 텍스트를 디스플레이(612) 상에 출력할 수 있다. 어커런스의 표시는 어커런스를 사용자에게 알려주는 문장, 예를 들어, "누군가가 방 안으로 들어갔어요"라고 말하는 텍스트 또는 사운드일 수 있다. 일부 실시예에서, 사용자 입력 인터페이스(610)는 (예를 들어, 스피커(614) 또는 디스플레이(612)를 통해) 사용자에게 어커런스에 반응하는 옵션을 제시하도록 구성된다. 예를 들어, 어커런스가 문에서의 노크인 경우, 사용자 입력 인터페이스(610)는 문을 자동으로 여는 옵션을 사용자에게 제시할 수 있다. 사용자는 음성, 키보드 상의 타이핑, 또는 임의의 다른 입력 수단을 통해 옵션에 응답할 수 있다. 일부 실시예에서, 제어 회로(604)는 사용자가 어커런스에 반응하는 것을 돕기 위한 추가적인 정보(예를 들어, 추가적인 정보(122 또는 222))를 사용자에게 제시하도록 구성된다. 예를 들어, 제어 회로(604)는 어커런스의 비디오를 포함하는 다스플레이를 위한 추가적인 정보를 생성할 수 있다. 예를 들어, 어커런스가 문에서의 노크인 경우, 추가적인 정보는 문에 있는 사람의 비디오일 수 있다. 일부 실시예에서, 추가적인 정보는 디스플레이를 위해 사용자 시야의 전경 영역에 대응하는 가상 현실 환경(예컨대, 가상 현실 환경(104 또는 204))의 부분에 생성되어, 사용자는 추가적인 정보를 쉽게 볼 수 있다. 일부 실시예에서, 추가적인 정보는 어커런스 이전에 디스플레이를 위해 생성된 추가적인 정보를 대체한다.
일부 실시예에서, 사용자의 물리적 주변 환경에서의 어커런스는 하나 이상의 센서(예를 들어, 사운드 센서, 온도 센서 등)에 의해 검출된다. 예를 들어, 온도 센서는 방의 증가된 열을 검출함으로써 사용자가 위치하는 방 안으로 들어가는 사람을 검출할 수 있다. 하나 이상의 센서는 사용자 장비 장치(600)에 통합될 수 있거나 또는 사용자 장비 장치(600)의 외부에 있을 수 있는데, 외부에 있는 경우 하나 이상의 센서(600)는 감지된 정보를 예를 들어 무선 네트워크를 통해 사용자 장비 장치(600)로 전송하도록 구성된다.
일부 실시예에서, 제어 회로(604)는 사용자의 응시 중심의 이동에 응답하여 시야(예를 들어, 제2 시야(126))를 결정하도록 구성된다. 일부 실시예에서, 제어 회로(604)는 (예를 들어, 응시 지점 검출 구성 요소(800) 또는 머리 이동 검출 구성 요소(900)를 사용하여) 사용자의 새로운 응시 중심을 결정한다. 사용자의 시야는 새로운 응시 중심의 좌측 및 우측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도, 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함한다.
일부 실시예에서, 제1 수의 각도는 95도 이상, 예를 들어, 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과, 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제1 수의 각도는 95도 미만, 예를 들어, 90도, 85도, 80도, 75도, 70도, 70도 미만 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과, 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제2 수의 각도는 60도 미만, 예를 들어, 55도, 50도, 45도, 40도, 40도 미만, 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제3 수의 수의 각도는 70도 이상, 예를 들어, 75도, 80도, 85도, 90도, 90도 초과, 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제3 수의 각도는 70도 미만, 예를 들어, 65도, 60도, 55도, 55도 미만, 또는 임의의 적절한 수의 각도이다.
일부 실시예에서, 제어 회로(604)는 시야의 적어도 하나의 전경 영역 및 시야의 적어도 하나의 주변 영역을 결정하도록 구성된다. 제어 회로(604)는 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도, 및 사용자의 응시 중심 아래로의 제6 수의 각도 내의 전경 영역을 결정할 수 있다. 제4, 제5 및 제6 수는 각각 제1, 제2 및 제3 수보다 작을 수 있다. 일부 실시예에서, 제4, 제5 및 제6 수의 각도는 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과, 또는 임의의 적절한 수의 각도이다. 일부 실시예에서, 제4, 제5 및 제6 수의 각도는 18도 미만, 예를 들어, 15도, 10도, 5도, 5도 미만, 또는 임의의 적절한 수의 각도이다.
일부 구현에서, 제어 회로(604)는 사용자의 시야, 전경 영역 및/또는 주변 영역을 결정할 때 사용자의 시각 장애를 고려하도록 구성된다. 예를 들어, 사용자가 한쪽 눈이 안보이거나 한쪽 눈에 시각 장애가 있는 경우, 제어 회로(604)는 장애가 없는 눈의 특정 수의 각도 내에서만 연장되도록 시야, 전경 영역 및 주변 영역을 결정할 수 있다. 다른 예로서, 사용자의 주변 시각이 손상되면, 제어 회로(604)는 주변 시각 손상이 없는 사용자에 비해서 사용자의 주변 영역을 작게 결정할 수 있다. 제어 회로(604)는 각 사용자에 특정한 파라미터를 사용하여 각 사용자의 시야, 전경 영역 및 주변 영역을 결정할 수 있다. 예를 들어, 제어 회로(604)는 시야, 전경 영역 및 주변 영역을 결정할 때 사용자의 눈에서 사각 지대(blind spot)를 고려할 수 있다.
일부 구현에서, 사용자 입력 인터페이스(610)는 사용자로부터 입력을 수신하도록 구성되고, 입력에 응답하여, 제어 회로(604)는 사용자 시야의 전경 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하도록 구성된다. 예를 들어, 도 2에서, 사용자로부터 입력을 수신하면, 제어 회로(604)는 제2 시야(126)의 전경 영역(130)에 대응하는 가상 현실 환경(104)의 부분(예를 들어, 제2 부분(110))에 디스플레이를 위한 추가적인 콘텐트(122)를 생성할 수 있다. 사용자 입력은 원격 제어, 마우스, 트랙볼, 키패드, 키보드, 터치스크린, 터치 패드, 스타일러스 입력, 조이스틱, 음성 인식 인터페이스, 또는 임의의 다른 사용자 입력 인터페이스를 통한 입력과 같은 임의 유형의 입력일 수 있다. 예를 들어, 사용자 입력은 "추가적인 콘텐트를 보어주세요" 또는 이와 유사한 문장으로 구성될 수 있다. 이러한 특징은, 예를 들어 사용자가 사용자의 시야의 전경 영역에서 추가적인 콘텐트를 쉽게 볼 수 있기를 원하고 추가적인 콘텐트가 메인 콘텐트의 사용자의 시청을 방해하는 것을 염려하지 않는 경우에 유용할 수 있다.
일부 구현에서, 사용자 장비 장치(600)는 타이머로 더 구성된다. 타이머는 사용자의 응시 중심의 이동 이후 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하도록 구성될 수 있다. 예를 들어, 사용자의 응시 중심의 이동 이후, 타이머는 사용자의 응시 중심이 1mm, 5mm, 1cm, 10cm, 100cm, 100cm 초과, 또는 임의의 다른 적절한 거리를 초과하여 이동하지 않은 시간을 측정하도록 구성될 수 있다. 제어 회로(604)는 또한, 그 시간 구간을 임계 시간 구간과 비교하도록 구성될 수 있다. 예를 들어, 임계 시간 구간은 1 밀리초, 10 밀리초, 100 밀리초, 1 초, 5 초, 10 초, 10 초 초과, 또는 임의의 적절한 시간 구간일 수 있다. 타이머에 의해 측정된 시간 구간이 임계 시간보다 크다고 결정한 것에 응답하여, 제어 회로(604)는 사용자 시야의 주변 영역(예를 들어, 제2 시야(126)의 주변 영역(132))에 대응하는 가상 현실 환경(예를 들어, 가상 현실 환경(104))의 부분(예를 들어, 제2 부분(110)) 상에 디스플레이를 위한 추가적인 콘텐트(예를 들어, 추가적인 콘텐트(122))를 생성하도록 구성될 수 있다. 타이머에 의해 측정된 시간 구간이 임계 시간 구간보다 작다고 결정한 것에 응답하여, 제어 회로(604)는 추가적인 콘텐트의 위치를 변경하지 않도록 구성될 수 있다. 사용자의 응시 중심의 이동 이후 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하는 것은, 사용자의 응시 중심이 빠르게 이동하는 경우 제어 회로(604)가 추가적인 콘텐트를 이동시키지 못하게 한다. 예를 들어, 사용자의 응시 중심이 빠르게 이동하는 경우, 응시 중심의 빠른 이동에 응답하여 추가적인 콘텐트 또한 빠르게 이동한다면 사용자를 혼란스럽게 하고/하거나 산만하게할 수 있다. 다른 예로서, 사용자는 짧은 시간 구간(예를 들어, 1 밀리초, 10 밀리초, 100 밀리초, 1 초, 5 초, 10 초, 10 초 초과 등) 동안 메인 시각으로 추가적인 콘텐트를 본 다음에 가상 현실 환경 상의 메인 콘텐트를 다시 보기를 원할 수 있다. 예를 들어, 추가적인 콘텐트가 사용자의 물리적 주변 환경의 비디오를 보여주는 경우, 사용자는 주변의 어린이와 같이 물리적 주변 환경 내의 어떤 것을 빠르게 확인한 다음에 메인 콘텐트에 한 번 더 집중할 수 있다. 이러한 상황에서, 사용자의 응시 중심이 추가적인 콘텐트를 보기 위해 이동한 다음에 메인 콘텐트로 다시 빠르게 이동할 때, 추가적인 콘텐트가 이동하는 것보다 오히려 제자리에 유지되는 것이 도움이 될 수 있다.
일부 실시예에서, 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분에 디스플레이를 위한 추가적인 콘텐트가 생성될 때, 디스플레이를 위한 추가적인 콘텐트는 가상 현실 환경에 의해 표시되는 메인 콘텐트보다 더 낮은 이미지 및/또는 비디오 품질(예를 들어, 더 낮은 해상도, 프레임 속도 등)로 생성될 수 있다. 이는 가상 현실 환경을 표시하는 헤드업 디스플레이(예컨대, 헤드업 디스플레이(102))의 전력, 메모리, 대역폭 등을 절약하는 것을 도울 수 있다. 또한, 더 낮은 이미지 및/또는 비디오 품질로 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은, 사용자가 사용자 시야의 주변 영역에서 시청되는 높고 낮은 품질 이미지 및/또는 비디오를 구별할 수 없기 때문에 사용자의 시청 경험에 불리하지 않을 수 있다. 사용자의 응시 중심이 짧은 시간 구간 동안 사용자 시야의 전경 영역에 대응하는 위치에 있는 추가적인 콘텐트를 보기 위해 이동하는 경우, 추가적인 콘텐트의 이미지 및/또는 비디오 품질은 증가될 수 있다. 사용자는 사용자 시야의 전경 영역에서 표시되는 높고 낮은 품질 이미지 및/또는 비디오를 구별할 수 있다. 더 높은 이미지 및/또는 비디오 품질로 디스플레이를 위한 추가적인 콘텐트를 생성함으로써, (예를 들어, 사용자가 추가적인 콘텐트의 저품질 버전을 시청해야 함으로써) 추가적인 콘텐트의 사용자의 시청이 손상되지 않는 것이 보장된다. 사용자의 응시 중심이 추가적인 콘텐트로부터 메인 콘텐트로 다시 이동할 때, 추가적인 콘텐트의 이미지 및/또는 비디오 품질은 다시 감소될 수 있다.
일부 구현에서, 사용자 입력 인터페이스(610)는 사용자로부터 입력을 수신하도록 구성되며, 입력에 응답하여, 제어 회로(604)는 헤드업 디스플레이로부터 추가적인 콘텐트를 제거하도록 구성된다. 예를 들어, 도 4에서, 입력에 응답하여, 제어 회로(604)는 헤드업 디스플레이(222)로부터 추가적인 콘텐트(222)를 제거할 수 있다. 사용자 입력은 원격 제어, 마우스, 트랙볼, 키패드, 키보드, 터치스크린, 터치 패드, 스타일러스 입력, 조이스틱, 음성 인식 인터페이스, 또는 임의의 다른 사용자 입력 인터페이스를 통한 입력과 같은 임의 유형의 입력일 수 있다. 예를 들어, 사용자 입력은 사용자가 "추가적인 콘텐트를 제거하시오" 또는 이와 유사한 문장을 말하는 것으로 구성될 수 있다. 이 특징은, 예를 들어, 사용자가 전신 이동을 수행할 때 추가적인 콘텐트의 도움을 필요로 하지 않고 추가적인 콘텐트의 방해없이 헤드업 디스플레이 상의 콘텐트를 시청하는 것을 선호하는 경우에 유용할 수 있다. 일부 구현에서, 입력에 응답하여, 제어 회로(604)는 추가적인 콘텐트를 사용자 시야의 주변 영역에 대응하는 가상 현실 환경의 부분으로 이동시킬 수 있다.
일부 구현에서, 사용자 입력 인터페이스(610)는 헤드업 디스플레이 상에 디스플레되고 있는 메인 콘텐트의 재생을 중지시키는 옵션을 사용자에게 제시하도록 구성된다. 이 옵션은 디스플레이 또는 스피커를 통한 출력과 같은 임의 유형의 출력일 수 있다. 예를 들어, 이 옵션은 "비디오 재생을 중지하시겠습니까?" 또는 이와 유사한 문장으로 읽히는 디스플레이 상의 텍스트로 구성될 수 있다. 이 특징은, 예를 들어 사용자가 전신 이동을 수행하는 데 집중하기를 원하며 헤드업 디스플레이 상에 디스플레이되고 있는 콘텐트를 놓치고 싶어하지 않는 경우에 유용할 수 있다. 따라서, 이 특징은, 예를 들어 사용자가 미디어 자산 또는 임의의 다른 유형의 콘텐트의 재생을 일시 중지한 다음 사용자가 전신 이동을 완료하면 재생을 재개하는 옵션을 사용자에게 제공한다. 메인 콘텐트의 재생은 사용자가 전신 이동을 완료한 것으로 검출되면 자동으로 재개될 수 있거나, 사용자 입력 인터페이스(610)는 메인 콘텐트의 재생을 재개하는 다른 옵션을 사용자에게 제시할 수 있다.
도 13은 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위한 예시적인 단계의 흐름도이다.
메인 콘텐트는 사용자의 주요 집중의 대상이 되도록 의도되는 임의의 콘텐트일 수 있다. 예를 들어, 메인 콘텐트는 영화, 텔레비전 쇼, 비디오 게임, 또는 가상 현실 세계와 같은 미디어 자산일 수 있다. 다른 예로서, 메인 콘텐트는 미디어 안내 화면일 수 있다.
추가적인 콘텐트는 메인 콘텐트가 아닌 임의의 콘텐트일 수 있다. 추가적인 콘텐트는 메인 콘텐트와 무관하거나 메인 콘텐트와 관련될 수 있다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오, 주가 정보, 스포츠 스코어 정보, 뉴스 정보, 기상 정보, 시간, 또는 이벤트들의 스케줄일 수 있다.
가상 현실 환경은 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 디스플레이되는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자에게 사용자가 위치하는 세계인 것처럼 보이는 가상 세계(예컨대, 게임 내의 가상 세계)일 수 있다. 다른 예로서, 가상 현실 환경은 사용자에게 현실 세계에 중첩되는 것처럼 보이는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 자신의 자동차의 유리창(또는 다른 투명 표면)을 통해 보는 것 상에 중첩되는 속도계 디스플레이(또는 임의의 다른 디스플레이)일 수 있다. 다른 예로서, 가상 현실 환경은 미디어 자산의 디스플레이가 사용자 시야를 완전히 포함하도록 사용자에게 제시되는 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
헤드업 디스플레이는 비 물리적 콘텐트가 사용자에게 물리적 외관을 갖는 것처럼 보이는 방식으로 사용자에게 비 물리적 콘텐트를 디스플레이할 수 있는 임의의 디스플레이일 수 있다. 예를 들어, 헤드업 디스플레이는 사용자의 눈을 완전히 덮는 헤드 장착 디스플레이일 수 있다. 헤드 장착 디스플레이는 안경, 쌍안경, 헬멧 등으로 구성될 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 헤드업 디스플레이를 통해 볼 수 있는 현실 세계의 장면에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 위치하는 방일 수 있으며, 여기서 방은 디스플레이 화면에 덮여있다.
프로세스(1100) 또는 그 임의의 단계는 도 8 내지 도 12에 도시된 장치들 중 임의의 장치 상에서 발생할 수 있거나, 그 장치에 의해 제공될 수 있다는 것을 주목해야 한다. 예를 들어, 프로세스(1100)는 제어 회로(604)(도 8)에 의해 실행될 수 있다.
단계 1102에서, 디스플레이를 위한 제1 메인 콘텐트는 헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 생성된다. 제1 부분은 사용자의 제1 시야의 전경 영역에 대응한다.
제1 메인 콘텐트는 메인 콘텐트의 임의의 부분일 수 있다. 제1 메인 콘텐트는 메인 콘텐트의 서브세트일 수 있다. 예를 들어, 제1 메인 콘텐트는 미디어 자산 내의 하나 이상의 객체 또는 문자일 수 있다. 다른 예로서, 제1 메인 콘텐트는 가상 세계 내의 특정 영역일 수 있다. 다른 예로서, 제1 메인 콘텐트는 미디어 안내 화면의 특정 부분일 수 있다.
가상 현실 환경의 제1 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제1 부분은 가상 현실 환경의 서브세트일 수 있다. 제1 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제1 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
사용자의 시야는 사용자가 특정 위치에 있을 때 사용자가 볼 수 있는 임의의 것일 수 있다. 예를 들어, 시야는 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 시야는 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 사용자의 시야는 사용자의 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도 및 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함할 수 있다 예를 들어, 제1 수의 각도는 95도 이상, 예를 들어 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제1 수의 각도는 95도 미만, 예를 들어 90도, 85도, 80도, 75도, 70도, 70도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제2 수의 각도는 60도 미만, 예를 들어 55도, 50도, 45도, 40도, 40도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제3 수의 각도는 70도 이상, 예를 들어 75도, 80도, 85도, 90도, 90도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제3 수의 각도는 70도 미만, 예를 들어 65도, 60도, 55도, 55도 미만 또는 임의의 적절한 수의 각도일 수 있다. 시야는 사용자가 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 사용자의 시야는 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
사용자의 시야의 전경 영역은 사용자가 정상적인 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 전경 영역은 시야의 서브세트를 포함할 수 있다. 전경 영역은 실질적으로 사용자의 시야 중심에 있는 시야 영역을 포함할 수 있다. 전경 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 전경 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 전경 영역은 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도 및 사용자의 응시 중심 아래로의 제6 수의 각도 내에 존재할 수 있다. 예를 들어, 제4, 제5 및 제6 수의 각도들은 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제4, 제5 및 제6 수의 각도들은 18도 미만, 예를 들어 15도, 10도, 5도, 5도 미만 또는 임의의 적절한 수의 각도일 수 있다. 전경 영역은 사용자가 메인 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 전경 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
단계 1104에서, 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트는 헤드업 디스플레이의 가상 현실 환경의 제2 부분에 생성된다. 제2 부분은 사용자의 제1 시야의 주변 영역에 대응한다.
가상 현실 환경의 제2 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제2 부분은 가상 현실 환경의 서브세트일 수 있다. 제2 부분은 제1 부분과 다를 수 있다. 제2 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제2 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제2 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
제2 메인 콘텐트는 메인 콘텐트의 임의의 부분일 수 있다. 제2 메인 콘텐트는 메인 콘텐트의 서브세트일 수 있다. 예를 들어, 제2 메인 콘텐트는 미디어 자산 내의 하나 이상의 객체 또는 문자일 수 있다. 다른 예로서, 제2 메인 콘텐트는 가상 세계 내의 특정 영역일 수 있다. 다른 예로서, 제2 메인 콘텐트는 미디어 안내 화면의 특정 부분일 수 있다.
사용자의 시야의 주변 영역은 사용자가 주변 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 주변 영역은 실질적으로 사용자의 시야의 가장자리에 있는 영역일 수 있다. 주변 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 주변 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 주변 영역은 전경 영역이 아닌 시야의 임의의 부분일 수 있다. 예를 들어, 주변 영역은 시야의 외부 경계의 특정 수의 각도 내의 시야의 영역을 포함할 수 있다. 주변 영역은 사용자가 주변 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 주변 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
단계 1106에서, 사용자의 응시 중심의 이동이 검출된다. 응시 중심은 사용자의 시선이 실질적으로 집중되는 사용자의 시야의 임의의 영역일 수 있다. 응시 중심은 사용자가 볼 수 있는 것의 중심 부분일 수 있다. 응시 중심은 사용자의 각 눈의 응시 지점 사이의 중점일 수 있다. 한쪽 눈에 시각 장애가 있는 사용자의 경우 응시 중심은 손상되지 않은 눈의 응시 지점이 될 수 있다. 응시 중심의 이동은 광을 사용하여 사용자의 각 눈의 응시 지점을 검출함으로써 검출될 수 있다. 응시 중심의 이동은 사용자의 머리의 이동을 검출함으로써 검출될 수 있다. 응시 중심의 이동은 사용자에게 물리적으로 결합된 카메라로 캡쳐된 것을 통해 사용자의 물리적 주변 환경의 비디오에서의 변화를 검출함으로써 검출될 수 있다.
단계 1108에서, 사용자의 제2 시야는 사용자의 응시 중심의 이동에 기초하여 결정된다. 예를 들어, 제어 회로는 새로운 응시 중심을 결정함으로써 제2 시야를 결정할 수 있다. 예를 들어, 제어 회로는 사용자의 머리의 이동을 검출함으로써 제2 시야를 결정할 수 있다.
단계 1110에서, 제2 부분은 제2 시야의 전경 영역에 대응한다고 결정된다. 예를 들어, 제2 부분은 제1 시야의 코너에 대응하지만 제2 시야의 중심에 대응할 수 있다.
단계 1112에서, 제2 부분이 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 가상 현실 환경의 제3 부분에 디스플레이를 위한 추가적인 콘텐트가 생성되고, 제3 부분은 제2 시야의 주변 영역에 대응한다. 가상 현실 환경의 제3 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제3 부분은 가상 현실 환경의 서브세트일 수 있다. 제3 부분은 제1 부분 및 제2 부분과 다를 수 있다. 제3 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제3 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제3 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
일부 실시예에서, 응시 중심의 이동을 검출하는 것은 사용자의 응시 중심을 검출하는 것을 포함한다. 특정 실시예에서, 사용자의 응시 중심을 검출하는 것은 사용자의 각 눈에 광을 전송하고, 사용자의 각 눈의 이미지를 수집하고, 각각의 이미지에서, 사용자의 눈에서의 반사 위치를 검출하고, 사용자의 각각의 공동의 위치를 결정하고, 각각의 동공의 위치를 각각의 반사 위치와 비교하고, 각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 사용자의 각 눈의 응시 지점을 결정하고, 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 응시 중심을 결정하는 것을 포함한다.
특정 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 헤드 장착 디스플레이는 가속도계를 포함하고, 사용자의 응시 중심의 이동을 검출하는 것은 가속도계에 의해 사용자의 머리의 가속도를 검출하는 것을 포함한다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 헤드 장착 디스플레이는 사용자의 물리적 주변 환경의 비디오를 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하는 것을 포함한다.
특정 실시예에서, 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 디스플레이를 위한 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 것을 포함한다.
일부 실시예에서, 응시 중심의 이동에 기초하여 사용자의 제2 시야를 결정하는 것은 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하는 것과, 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 새로운 응시 중심 위로의 제2 수의 각도 및 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하는 것을 포함한다.
특정 실시예에서, 제2 부분이 제2 시야의 전경 영역에 대응한다고 결정하는 것은 제2 시야의 전경 영역을 결정하는 것을 포함하고, 제2 시야의 전경 영역을 결정하는 것은 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 새로운 응시 중심 위로의 제5 수의 각도 및 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하는 것을 포함하고, 제4 수는 제1 수보다 작고, 제5 수는 제2 수보다 작고, 제6 수는 제3 수보다 작다.
일부 실시예에서, 이 프로세스는 사용자로부터 입력을 수신하는 것과, 입력에 응답하여, 제2 시야의 전경 영역에 대응하는 가상 현실 환경의 일부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 것을 더 포함한다.
특정 실시예에서, 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 사용자의 응시 중심이 이동한 후 사용자의 응시 중심이 실질적으로 이동하지 않은 시간구간을 측정하는 것과, 상기 시간 구간이 임계 시간 구간보다 큰 것으로 결정하는 것과, 상기 시간 구간이 상기 임계 시간 구간보다 큰 것으로 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 것을 포함한다.
도 14는 사용자가 헤드업 디스플레이 상의 콘텐트의 시청을 방해받지 않고 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있게 하는 예시적인 단계의 흐름도이다. 가상 현실 환경은 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 디스플레이된 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 가상 세계(예를 들어, 게임의 가상 세계)일 수 있으며, 이 가상 세계는 사용자에게 그 세계에 존재하는 것처럼 보이게 한다. 다른 예로서, 가상 현실 환경은 현실 세계에 중첩되도록 사용자에게 나타나는 비 물리적 콘텐트일 수 있다. 예를 들어, 가상 현실 환경은 사용자가 자신의 자동차의 유리창(또는 임의의 다른 투명 표면)을 통해 보는 것과 겹쳐지는 속도계 디스플레이(또는 임의의 다른 디스플레이)일 수 있다. 다른 예로서, 가상 현실 환경은 미디어 자산의 디스플레이가 사용자의 시야를 완전히 포함하도록 사용자에게 제시되는 미디어 자산(예를 들어, 텔레비전 쇼 또는 영화)일 수 있다.
헤드업 디스플레이는 비 물리적 콘텐트가 사용자에게 물리적인 외관을 갖는 것처럼 보이는 방식으로 사용자에게 비 물리적 콘텐트를 디스플레이할 수 있는 임의의 디스플레이일 수 있다. 예를 들어, 헤드업 디스플레이는 사용자의 눈을 완전히 덮는 헤드 장착 디스플레이일 수 있다. 헤드 장착 디스플레이는 안경, 쌍안경, 헬멧 등으로 구성될 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 헤드업 디스플레이를 통해 볼 수 있는 현실 세계의 장면 상에 비 물리적 콘텐트를 중첩시키는 디스플레이(예를 들어, 유리창 또는 안경과 통합된 디스플레이)일 수 있다. 다른 예로서, 헤드업 디스플레이는 사용자가 위치하는 방일 수 있으며, 그 방은 디스플레이 화면에 덮여 있다.
전신 이동은 사용자의 신체 전체의 상당 부분의 이동을 필요로 하는 사용자에 의한 임의의 물리적 이동일 수 있다. 예를 들어, 전신 이동은 걷거나, 뛰거나, 일어서거나, 앉거나, 몸을 회전시키는 것 등일 수 있다.
프로세스(1200) 또는 그의 임의의 단계는 도 8 내지 도 12에 도시된 장치들 중 임의의 장치 상에서 발생할 수 있거나, 그 장치에 의해 제공될 수 있다는 것을 주목해야 한다. 예를 들어, 프로세스(1200)는 제어 회로(604)(도 8)에 의해 실행될 수 있다.
단계 1202에서, 메인 콘텐트는 디스플레이를 위해 헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 생성된다. 제1 부분은 사용자의 시야의 전경 영역에 대응한다.
가상 현실 환경의 제1 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제1 부분은 가상 현실 환경의 서브세트일 수 있다. 제1 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제1 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
메인 콘텐트는 사용자의 주요 집중의 대상으로 되는 콘텐트일 수 있다. 예를 들어, 메인 콘텐트는 영화, 텔레비전 쇼, 비디오 게임 또는 가상 현실 세계와 같은 미디어 자산일 수 있다. 다른 예로서, 메인 콘텐트는 미디어 안내 화면일 수 있다.
사용자의 시야는 사용자가 특정 위치에 있을 때 사용자가 볼 수 있는 임의의 것일 수 있다. 예를 들어, 시야는 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 시야는 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 사용자의 시야는 사용자의 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 응시 중심 위로의 제2 수의 각도 및 응시 중심 아래로의 제3 수의 각도 내의 영역을 포함할 수 있다 예를 들어, 제1 수의 각도는 95도 이상, 예를 들어 95도, 100도, 105도, 110도, 115도, 120도, 120도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제1 수의 각도는 95도 미만, 예를 들어 90도, 85도, 80도, 75도, 70도, 70도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제2 수의 각도는 60도 이상, 예를 들어, 65도, 70도, 75도, 80도, 85도, 85도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제2 수의 각도는 60도 미만, 예를 들어 55도, 50도, 45도, 40도, 40도 미만 또는 임의의 적절한 수의 각도일 수 있다. 예를 들어, 제3 수의 각도는 70도 이상, 예를 들어 75도, 80도, 85도, 90도, 90도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제3 수의 각도는 70도 미만, 예를 들어 65도, 60도, 55도, 55도 미만 또는 임의의 적절한 수의 각도일 수 있다. 시야는 사용자가 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 시야는 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
사용자의 시야의 전경 영역은 사용자가 정상적인 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 전경 영역은 시야의 서브세트를 포함할 수 있다. 전경 영역은 실질적으로 사용자의 시야 중심에 있는 시야 영역을 포함할 수 있다. 전경 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 전경 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 전경 영역은 사용자의 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 사용자의 응시 중심 위로의 제5 수의 각도 및 사용자의 응시 중심 아래로의 제6 수의 각도 내에 존재할 수 있다. 예를 들어, 제4, 제5 및 제6 수의 각도들은 18도 이상, 예를 들어, 20도, 25도, 30도, 35도, 35도 초과 또는 임의의 적절한 수의 각도일 수 있다. 대안으로, 제4, 제5 및 제6 수의 각도는 18도 미만, 예를 들어 15도, 10도, 5도, 5도 미만 또는 임의의 적절한 수의 각도일 있다. 전경 영역은 사용자가 메인 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 전경 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
단계 1204에서, 헤드업 디스플레이의 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트가 생성된다. 제2 부분은 사용자의 시야의 주변 영역에 대응한다.
가상 현실 환경의 제2 부분은 가상 현실 환경의 임의의 부분일 수 있다. 제2 부분은 가상 현실 환경의 서브세트일 수 있다. 제2 부분은 제1 부분과 다를 수 있다. 제2 부분은 가상 현실 환경의 상부, 하부, 우측 또는 좌측 부분일 수 있다. 제2 부분은 가상 현실 환경의 근처, 경계 또는 코너에 있을 수 있다. 제2 부분은 가상 현실 환경의 대략 대다수 또는 대략 소수일 수 있다.
추가적인 콘텐트는 사용자가 전신 이동을 수행하도록 지원한다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오일 수 있다. 다른 예로서, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 맵일 수 있다.
사용자의 시야의 주변 영역은 사용자가 주변 시각으로 볼 수 있는 사용자의 시야의 임의의 부분일 수 있다. 주변 영역은 실질적으로 사용자의 시야의 가장자리에 있는 영역일 수 있다. 주변 영역은 사용자의 머리의 이동에 기초하여 결정될 수 있다. 다른 예로서, 주변 영역은 사용자의 응시 중심의 이동에 기초하여 결정될 수 있다. 예를 들어, 주변 영역은 전경 영역이 아닌 시야의 임의의 부분일 수 있다. 예를 들어, 주변 영역은 시야의 외부 경계의 특정 수의 각도 내의 시야 영역을 포함할 수 있다. 주변 영역은 사용자가 주변 시각으로 볼 수 있는 헤드 장착 디스플레이의 화면의 부분일 수 있다. 주변 영역은 사용자마다 다를 수 있으며 각 사용자에 특정된 시각 장애에 따라 다를 수 있다.
단계 1206에서, 사용자의 전신 이동이 검출된다. 예를 들어, 전신 이동은 사용자의 신체 일부의 가속도를 검출함으로써 검출될 수 있다. 예를 들어, 검출 모듈은 발걸음을 검출함으로써 검출될 수 있다. 다른 예로서, 전신 이동은 사용자에게 물리적으로 결합된 카메라로 캡쳐된 사용자의 물리적 주변 환경의 비디오에서의 변화를 검출함으로써 검출될 수 있다.
단계 1208에서, 사용자의 전신 이동을 검출하는 것에 응답하여, 가상 현실 환경의 제1 부분에 디스플레이를 위한 추가적인 콘텐트가 생성된다. 추가적인 콘텐트는 사용자가 전신 이동을 수행하도록 지원한다. 예를 들어, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 비디오일 수 있다. 다른 예로서, 추가적인 콘텐트는 사용자의 물리적 주변 환경의 맵일 수 있다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 헤드 장착 디스플레이는 사용자의 물리적 주변 환경의 비디오를 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하는 것을 포함한다.
특정 실시예에서, 디스플레이를 위한 추가적인 콘텐트를 생성하는 것은 디스플레이를 위한 추가적인 콘텐트를 픽쳐-인-픽쳐(picture-in-picture)로서 생성하는 것을 포함한다.
일부 실시예에서, 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이며, 헤드 장착 디스플레이는 가속도계를 포함하고, 사용자의 전신 이동을 검출하는 것은 가속도계에 의해 제1 사용자가 취한 발걸음을 검출하는 것을 포함한다.
특정 실시예에서, 프로세스(1300)는 사용자에 의해 취해진 제2 발걸음을 검출하는 것과, 제2 발걸음의 검출에 응답하여 추가적인 콘텐트를 확대하는 것을 더 포함한다.
일부 실시예에서, 프로세스(1300)는 사용자에 의해 취해진 제2 발걸음을 검출하는 것과, 제2 발걸음의 검출에 응답하여 메인 콘텐트의 불투명도를 감소시키는 것 및 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하는 것을 더 포함한다.
특정 실시예에서, 프로세스(1300)는 사용자로부터 입력을 수신하는 것과, 입력에 응답하여, 헤드업 디스플레이로부터 추가적인 콘텐트를 제거하는 것을 더 포함한다.
일부 실시예에서, 사용자의 전신 이동을 검출하는 것은 사용자의 물리적 주변 환경의 비디오에서의 변화를 검출하는 것을 포함한다.
특정 실시예에서, 프로세스(1300)는 사용자가 실질적으로 정지하고 있음을 검출하는 것과, 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 디스플레이의 제3 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 것을 더 포함한다.
일부 실시예에서, 프로세스(1300)는 메인 콘텐트의 재생을 중지시키는 옵션을 사용자에게 제시하는 것을 더 포함한다.
도 15 및 도 16은 본 발명의 일부 실시예에 따라 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 제어 회로(예컨대, 제어 회로(604))에 대한 프로세스를 나타낸다. 일부 실시예에서,이 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(606))에 의해 디코딩되어 실행될 명령어들의 세트로서 비 일시적 저장 매체(예를 들어, 저장 장치(608))에 인코딩될 수 있다. 프로세싱 회로는 이어서 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같이, 제어 회로(604) 내에 포함된 다른 서브회로에 명령어를 제공할 수 있다.
도 15의 플로우차트는 본 발명의 일부 실시예에 따라 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 제어 회로(예를 들어, 제어 회로(604)) 상에 구현되는 프로세스(1300)를 기술한다.
단계 1302에서, 제어 회로(604)는 사용자의 응시 중심의 이동을 검출하기 시작할 것이다. 일부 실시예에서, 이는 사용자 동작 또는 입력에 응답하여 (예를 들어, 제어 회로(604), 사용자 입력 인터페이스(610) 또는 검출 모듈(616)에 의해 수신된 신호들로부터) 직접적으로 또는 간접적으로 행해질 수 있다. 예를 들어, 이 프로세스는 제어 회로(604)가 검출 회로(616)로부터 신호를 수신하는 것에 응답하여 바로 시작할 수 있다.
단계 1304에서, 제어 회로(604)는 응시 중심의 이동에 기초하여 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 결정하도록 진행한다.
단계 1306에서, 제어 회로(604)는 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들의 현재 인스턴스를 검색하도록 진행한다. 일부 실시예에서, 제어 회로(604)는 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 나타내는 단일 원시 데이터(single primitive data) 구조를 수신할 수 있다. 일부 실시예에서, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들은 보다 대형의 데이터 구조의 일부로서 저장될 수 있고, 제어 회로(604)는 상기 대형의 데이터 구조로부터 값들을 검색하기 위한 적절한 액세서 메쏘드(accessor methods)를 실행함으로써 그 값들을 검색할 수 있다.
단계 1308에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들과 비교하도록 진행한다. 일부 실시예에서, 제어 회로(604)는 제각기 값에 액세스하여 값 비교를 수행함으로써 사용자의 시야 영역의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들과 직접 비교할 수 있다. 일부 예에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들과 비교하기 위해 (예를 들어, 객체 대 객체 비교를 위한) 비교 함수를 호출할 수 있다.
단계 1310에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들과 비교하여, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치가 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치 내에 존재하는지 여부를 결정한다. 만약 조건이 충족되지 않으면, 알고리즘은 다시 단계 1302로 진행할 수 있고, 조건이 충족되면, 알고리즘은 대신에 단계 1312로 진행할 수 있다.
단계 1312에서, 제어 회로(604)는 사용자의 시야의 주변 영역에 대응하는 헤드업 디스플레이 상의 위치에 디스플레이를 위한 추가적인 콘텐트를 생성하는 서브루틴을 실행한다. 서브루틴이 실행된 후, 알고리즘은 다시 단계 1302로 진행할 수 있다.
도 15의 설명은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있다는 것이 예상된다. 또한, 도 15의 알고리즘과 관련하여 기술된 설명은 본 발명의 목적을 발전시키기 위해 대안의 순서로 또는 병행적으로 행해질 수 있다. 예를 들어, 1310에서와 같은 조건문 및 논리적 평가는 지연을 감소시키거나 시스템 또는 방법의 속도를 높이기 위해 임의의 순서로 또는 병행적으로 또는 동시에 수행될 수 있다. 또한, 도 15의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 8 내지 도 12와 관련하여 기술된 장치 또는 장비 중 임의의 것이 이 프로세스의 하나 이상의 부분을 구현하기 위해 사용될 수 있다는 것에 주목해야 한다.
도 16의 의사코드(pseudocode)는 본 발명의 일부 실시예에 따라 메인 콘텐트를 사용자가 시청하는 것을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 프로세스(1400)를 기술한다. 도 16의 의사코드에 의해 기술된 프로세스가 임의의 수의 프로그래밍 언어 및 다양한 상이한 하드웨어로 구현될 수 있으며, 스타일 및 포맷은 제한적인 것으로 해석되어서는 아니되며, 오히려 본 발명의 일부 실시예를 구현하는 데 사용되는 코드와 일관될 단계 및 절차의 일반적인 템플릿으로 해석되어야 한다는 것이 당업자에게는 명백할 것이다.
라인 1401에서, 제어 회로(604)는, 변수를 초기화하여 메인 콘텐트의 사용자 시청을 방해하지 않으면서 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하도록 준비하는 서브루틴을 실행한다. 예를 들어, 일부 실시예에서, 제어 회로(604)는 초기화 단계 동안 비 일시적 저장 매체(예를 들어, 저장 장치(608))로부터의 명령어를 RAM 내로 또는 프로세싱 회로(606)용 캐시 내로 복사할 수 있다. 또한, 일부 실시예에서, 비교를 위해 사용되는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들 또는 2개의 값이 본질적으로 동등한지 여부를 결정하기 위한 허용 레벨이 1401에서 검색, 설정 및 저장될 수 있다.
라인 1405에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 인스턴스를 수신한다. 제어 회로(604)는 예를 들어, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들의 어레이에 대한 포인터를 수신함으로써 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 인스턴스를 수신할 수 있다. 다른 예에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들의 엘리먼트들을 포함하는 반복자 객체(iterator object)와 같은 클래스의 객체를 수신할 수 있다.
라인 1407에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 임시 변수 "A"에 저장한다. 일부 실시예에서, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들은 보다 대형의 데이터 구조 또는 클래스의 일부로서 저장될 것이고, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들은 적절한 액세서 메쏘드를 통해 획득될 수 있다. 일부 실시예에서, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들은 적절한 해싱 알고리즘에 의해, 문자열 또는 다른 비 수치 데이터 타입으로부터 수치 데이터 타입으로 변환될 수 있다. 일부 실시예에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들과 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들의 비교를 수행하는 함수를 호출할 수 있다. 일부 실시예에서, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들은 원시 데이터 구조로서 인코딩될 수 있고, 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들은 임시 변수를 사용하기 보다는 오히려, 라인 1409에서의 비교에 직접 사용될 수 있다.
라인 1408에서, 제어 회로(604)는 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들을 임시 변수 "B"에 저장한다. 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들과 유사하게, 일부 실시예에서 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들은 보다 대형의 데이터 구조 또는 클래스의 일부로서 저장될 것이고, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들은 액세서 메쏘드를 통해 획득될 수 있다. 일부 실시예에서, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들은 적절한 해싱 알고리즘에 의해, 문자열 또는 다른 비 수치 데이터 타입으로부터 수치 데이터 타입으로 변환될 수 있거나, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들은 원시 데이터 구조일 수 있고, 라인 1409에서의 비교에 바로 사용될 수 있다.
라인 1409에서, 제어 회로(604)는 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들을 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들과 비교하여, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치가 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치 내에 존재하는지의 여부를 결정한다. 만약 헤드업 디스플레이 상의 위치를 기술하는 값들이 헤드업 디스플레이 상의 위치의 상부, 하부, 우측 및 좌측 경계를 기술하고, 경계가 좌측에서 우측으로 그리고 하부에서 상부로 진행할 때 값들이 증가한다면, 헤드업 디스플레이 상의 추가적인 콘텐트의 위치가 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치 내에 존재하는지 여부를 결정하는 것은 다음과 같이 달성된다. 헤드업 디스플레이 상의 추가적인 콘텐트의 위치의 우측 경계를 기술하는 값은 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 우측 경계를 기술하는 값으로부터 감산된다. 헤드업 디스플레이 상의 추가적인 콘텐트의 위치의 상부 경계를 기술하는 값은 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 상부 경계를 기술하는 값으로부터 감산된다. 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 좌측 경계를 기술하는 값은 헤드업 디스플레이 상의 추가적인 콘텐트의 위치의 좌측 경계를 기술하는 값으로부터 감산된다. 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치의 하부 경계를 기술하는 값은 헤드업 디스플레이 상의 추가적인 콘텐트의 위치의 하부 경계를 기술하는 값으로부터 감산된다. 각 차이의 값이 계산되고 각 차이의 값은 미리 결정된 허용 레벨과 비교된다. 일부 실시예에서, 허용 레벨은 사용자의 시야의 전경 영역에 대응하는 헤드업 디스플레이 상의 위치를 기술하는 값들 또는 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 기술하는 값들의 설정된 퍼센티지일 수 있다. 일부 실시예들에서, 허용 레벨은 고정된 수일 수 있다. 예를 들어, 허용 레벨을 머신 엡실론(machine epsilon)의 설정된 배수로 설정하게 되면 알고리즘은 부동 소수점 산술의 사용으로부터 발생할 수 있는 작은 반올림 오차를 보상할 수 있게 된다. 일부 실시예에서, 허용 레벨은 0으로 설정될 수 있다.
라인 1410에서, 제어 회로(604)는 각각의 차이의 값들 중 임의의 값이 미리결정된 허용 레벨보다 큰 경우 헤드업 디스플레이 상의 추가적인 콘텐트의 위치를 변경하기 위해 서브루틴을 실행한다. 일부 실시예에서, 이는 디스플레이(612)에 적절한 신호를 전송하는 프로세싱 회로(606)에 의해 달성될 수 있다.
라인 1412에서, 제어 회로(604)는 알고리즘이 그의 기능을 수행한 후에 종료 서브루틴을 실행한다. 예를 들어, 일부 실시예에서, 제어 회로(604)는 변수를 파괴하고, 가비지 수집(garbage collection)을 수행하며, 메모리를 비우거나, 프로세싱 회로(606)의 캐시를 클리어할 수 있다.
도 16의 의사코드에 의해 기술된 프로세스(1400)가 임의의 수의 프로그래밍 언어 및 다양한 상이한 하드웨어로 구현될 수 있으며, 원시 함수, 논리 평가 및 함수 평가의 특정의 선택 및 위치는 제한하려는 것이 아니라는 것이 당업자에게는 명백할 것이다. 다양한 논리 평가의 순서를 조작하거나 단일 반복 루프가 아닌 여러 반복을 병렬로 수행하거나 또는 이와는 달리 입력 또는 최종 출력을 근본적으로 변경하지 않고 런타임 및 성능 메트릭을 조작 및 최적화하기 위해 코드를 리팩토링하거나 재작성할 수 있음이 또한 명백할 것이다. 예를 들어, 일부 실시예에서, 브레이크 조건들(break conditions)은 동작을 촉진시키기 위해 특정 라인 후에 배치될 수 있거나, 조건문들이 케이스 전환을 통해 대체될 수 있다.
본 발명의 상술한 실시예는 설명의 목적으로 제공된 것이지 제한하고자 하는 것이 아니며, 본 발명은 다음의 특허청구범위에 의해서만 제한된다. 또한, 임의의 일 실시예에서 기술된 특징 및 한정은 본 명세서의 임의의 다른 실시예에 적용될 수 있으며, 일 실시예와 관련된 흐름도 또는 예는 다른 순서로 수행되거나 병렬로 수행되는 적절한 방식으로 임의의 다른 실시예와 결합될 수 있다. 또한, 본 명세서에 기술된 시스템 및 방법은 실시간으로 수행될 수 있다. 또한, 전술한 시스템 및/또는 방법은 다른 시스템 및/또는 방법에 적용될 수 있거나 또는 다른 시스템 및/또는 방법에 따라 사용될 수 있음에 유의해야 한다.

Claims (100)

  1. 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 방법으로서,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 제1 메인 콘텐트를 생성하는 단계 - 상기 제1 부분은 사용자의 제1 시야의 전경 영역(foreground area)에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하는 단계 - 상기 제2 부분은 상기 사용자의 상기 제1 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 응시 중심의 이동을 검출하는 단계와,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 제2 시야를 결정하는 단계와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 단계와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계 - 상기 제3 부분은 상기 제2 시야의 주변 영역에 대응함 -
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 응시 중심의 이동을 검출하는 단계는 상기 사용자의 응시 중심을 검출하는 단계를 포함하는 것인, 방법.
  3. 제2항에 있어서,
    상기 사용자의 응시 중심을 검출하는 단계는,
    상기 사용자의 각 눈에 광을 전송하는 단계와
    상기 사용자의 각 눈의 이미지를 수집하는 단계와,
    각각의 이미지에서, 상기 사용자의 눈에서의 반사 위치를 검출하는 단계와,
    상기 사용자의 각각의 동공의 위치를 결정하는 단계와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 단계와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 상기 사용자의 각 눈의 응시 지점을 결정하는 단계와,
    상기 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 상기 응시 중심을 결정하는 단계
    를 포함하는 것인, 방법.
  4. 제1항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 응시 중심의 이동을 검출하는 단계는, 상기 가속도계에 의해 상기 사용자의 머리의 가속도를 검출하는 단계를 포함하는 것인, 방법.
  5. 제1항에 있어서,
    상기 헤드업 디스플레이는 사용자의 헤드에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 단계를 포함하는 것인, 방법.
  6. 제1항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐(picture-in-picture)로서 생성하는 단계를 포함하는 것인, 방법.
  7. 제1항에 있어서,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 상기 제2 시야를 결정하는 단계는,
    상기 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하는 단계와,
    상기 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 상기 새로운 응시 중심 위로의 제2 수의 각도 및 상기 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하는 단계
    를 포함하는 것인, 방법.
  8. 제7항에 있어서,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 단계는 상기 제2 시야의 전경 영역을 결정하는 단계를 포함하고,
    상기 제2 시야의 전경 영역을 결정하는 단계는 상기 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 상기 새로운 응시 중심 위로의 제5 수의 각도 및 상기 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하는 단계를 포함하되, 상기 제4 수는 상기 제1 수보다 작으며, 상기 제5 수는 상기 제2 수보다 작으며, 상기 제6 수는 상기 제3 수보다 작은 것인, 방법.
  9. 제1항에 있어서,
    상기 사용자로부터 입력을 수신하는 단계와,
    상기 입력에 응답하여, 상기 제2 시야의 전경 영역에 대응하는 상기 가상 현실 환경의 일부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 더 포함하는, 방법.
  10. 제1항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는,
    상기 응시 중심의 이동 이후 상기 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하는 단계와,
    상기 시간 구간이 임계 시간 구간보다 크다고 결정하는 단계와,
    상기 시간 구간이 상기 임계 시간 구간보다 크다고 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 포함하는 것인, 방법.
  11. 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 시스템으로서,
    제어 회로 및 검출 모듈을 포함하되,
    상기 제어 회로는,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 제1 메인 콘텐트를 생성하고 - 상기 제1 부분은 사용자의 제1 시야의 전경 영역에 대응함 - ,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하고 - 상기 제2 부분은 상기 사용자의 상기 제1 시야의 주변 영역에 대응함 - ,
    상기 사용자의 응시 중심의 이동에 기초하여 상기 사용자의 제2 시야를 결정하고,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하고,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록
    구성되며,
    상기 제3 부분은 상기 제2 시야의 주변 영역에 대응하며,
    상기 검출 모듈은 상기 사용자의 상기 응시 중심의 이동을 검출하도록 구성되는 것인, 시스템.
  12. 제11항에 있어서,
    상기 검출 모듈은 또한, 상기 사용자의 응시 중심을 검출함으로써 상기 응시 중심의 이동을 검출하도록 구성되는 것인, 시스템.
  13. 제12항에 있어서,
    상기 검출 모듈은 또한, 상기 사용자의 응시 중심을 검출할 때,
    상기 사용자의 각 눈에 광을 전송하고,
    상기 사용자의 각 눈의 이미지를 수집하고,
    각각의 이미지에서, 상기 사용자의 눈에서의 반사 위치를 검출하고,
    상기 사용자의 각각의 동공의 위치를 결정하고,
    각각의 동공의 위치를 각각의 반사 위치와 비교하고,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 상기 사용자의 각 눈의 응시 지점을 결정하고,
    상기 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 상기 응시 중심을 결정하도록
    구성되는 것인, 시스템.
  14. 제11항에 있어서,
    상기 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 검출 모듈은 또한, 상기 사용자의 응시 중심의 이동을 검출할 때, 상기 가속도계에 의해 상기 사용자의 머리의 가속도를 검출하도록 구성되는 것인, 시스템.
  15. 제11항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 상기 제어 회로는 또한, 디스플레이를 위한 상기 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하도록 구성되는 것인, 시스템.
  16. 제11항에 있어서,
    상기 제어 회로는 또한, 디스플레이를 위한 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하도록 구성되는 것인, 시스템.
  17. 제11항에 있어서,
    상기 제어 회로는 또한, 상기 응시 중심의 이동에 기초하여 상기 사용자의 상기 제2 시야를 결정할 때, 상기 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하고, 상기 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 상기 새로운 응시 중심 위로의 제2 수의 각도 및 상기 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하도록 구성되는 것인, 시스템.
  18. 제17항에 있어서,
    상기 제어 회로는 또한, 상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정할 때, 상기 제2 시야의 전경 영역을 결정하도록 구성되고,
    상기 제어 회로는 또한, 상기 제2 시야의 전경 영역을 결정할 때, 상기 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 상기 새로운 응시 중심 위로의 제5 수의 각도 및 상기 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하도록 구성되며,
    상기 제4 수는 상기 제1 수보다 작고, 상기 제5 수는 상기 제2 수보다 작으며, 상기 제6 수는 상기 제3 수보다 작은 것인, 시스템.
  19. 제11항에 있어서,
    사용자 인터페이스는 상기 사용자로부터의 입력을 수신하도록 구성되고, 상기 제어 회로는 또한, 상기 입력에 응답하여, 상기 제2 시야의 전경 영역에 대응하는 상기 가상 현실 환경의 일부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록 구성되는 것인, 시스템.
  20. 제11항에 있어서,
    상기 제어 회로는 또한, 디스플레이를 위한 상기 추가적인 콘텐트를 생성할 때,
    상기 사용자의 응시 중심의 이동 이후 상기 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하고,
    상기 시간 구간이 임계 시간 구간보다 크다고 결정하고,
    상기 시간 구간이 상기 임계 시간 구간보다 크다고 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록
    구성되는 것인, 시스템.
  21. 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 시스템으로서,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 제1 메인 콘텐트를 생성하는 수단 - 상기 제1 부분은 사용자의 제1 시야의 전경 영역에 대응함 - 과,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하는 수단 - 상기 제2 부분은 상기 사용자의 상기 제1 시야의 주변 영역에 대응함 - 과,
    상기 사용자의 응시 중심의 이동을 검출하는 수단과,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 제2 시야를 결정하는 수단과,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 수단과,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단 - 상기 제3 부분은 상기 제2 시야의 주변 영역에 대응함 -
    을 포함하는, 시스템.
  22. 제21항에 있어서,
    상기 응시 중심의 이동을 검출하는 수단은 상기 사용자의 응시 중심을 검출하는 수단을 포함하는 것인, 시스템.
  23. 제22항에 있어서,
    상기 사용자의 응시 중심을 검출하는 수단은,
    상기 사용자의 각 눈에 광을 전송하는 수단과,
    상기 사용자의 각 눈의 이미지를 수집하는 수단과,
    각각의 이미지에서, 상기 사용자의 눈에서의 반사 위치를 검출하는 수단과,
    상기 사용자의 각각의 동공의 위치를 결정하는 수단과,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 수단과,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 상기 사용자의 각 눈의 응시 지점을 결정하는 수단과,
    상기 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 상기 응시 중심을 결정하는 수단
    을 포함하는 것인, 시스템.
  24. 제21항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 응시 중심의 이동을 검출하는 수단은 상기 가속도계에 의해 상기 사용자의 머리의 가속도를 검출하는 수단을 포함하는 것인, 시스템.
  25. 제21항에 있어서,
    상기 헤드업 디스플레이는 사용자의 헤드에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단은 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 수단을 포함하는 것인, 시스템.
  26. 제21항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단은 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 수단을 포함하는 것인, 시스템.
  27. 제21항에 있어서,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 상기 제2 시야를 결정하는 수단은,
    상기 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하는 수단과,
    상기 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 상기 새로운 응시 중심 위로의 제2 수의 각도 및 상기 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하는 수단을 포함하는 것인, 시스템.
  28. 제27항에 있어서,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 수단은 상기 제2 시야의 전경 영역을 결정하는 수단을 포함하고,
    상기 제2 시야의 전경 영역을 결정하는 수단은 상기 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 상기 새로운 응시 중심 위로의 제5 수의 각도 및 상기 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하는 수단을 포함하고,
    상기 제4 수는 상기 제1 수보다 작으며, 상기 제5 수는 상기 제2 수보다 작으며, 상기 제6 수는 상기 제3 수보다 작은 것인, 시스템.
  29. 제21항에 있어서,
    상기 사용자로부터 입력을 수신하는 수단과,
    상기 입력에 응답하여, 상기 제2 시야의 전경 영역에 대응하는 상기 가상 현실 환경의 일부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단을 더 포함하는, 시스템.
  30. 제21항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단은,
    상기 응시 중심의 이동 이후 상기 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하는 수단과,
    상기 시간 구간이 임계 시간 구간보다 크다고 결정하는 수단과,
    상기 시간 구간이 상기 임계 시간 구간보다 크다고 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단
    을 포함하는 것인, 시스템.
  31. 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하는 방법으로서,
    제어 회로를 사용하여, 헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 제1 메인 콘텐트를 생성하는 단계 - 상기 제1 부분은 사용자의 제1 시야의 전경 영역에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하는 단계 - 상기 제2 부분은 상기 사용자의 상기 제1 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 응시 중심의 이동을 검출하는 단계와,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 제2 시야를 결정하는 단계와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 단계와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계 - 상기 제3 부분은 상기 제2 시야의 주변 영역에 대응함 -
    를 포함하는, 방법.
  32. 제31항에 있어서,
    상기 응시 중심의 이동을 검출하는 단계는 상기 사용자의 응시 중심을 검출하는 단계를 포함하는 것인, 방법.
  33. 제32항에 있어서,
    상기 사용자의 응시 중심을 검출하는 단계는,
    상기 사용자의 각 눈에 광을 전송하는 단계와
    상기 사용자의 각 눈의 이미지를 수집하는 단계와,
    각각의 이미지에서, 상기 사용자의 눈에서의 반사 위치를 검출하는 단계와,
    상기 사용자의 각각의 동공의 위치를 결정하는 단계와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 단계와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 상기 사용자의 각 눈의 응시 지점을 결정하는 단계와,
    상기 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 상기 응시 중심을 결정하는 단계
    를 포함하는 것인, 방법.
  34. 제31항 내지 제33항 중 어느 한 항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 응시 중심의 이동을 검출하는 단계는 상기 가속도계에 의해 상기 사용자의 머리의 가속도를 검출하는 단계를 포함하는 것인, 방법.
  35. 제31항 내지 제34항 중 어느 한 항에 있어서,
    상기 헤드업 디스플레이는 사용자의 헤드에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 단계를 포함하는 것인, 방법.
  36. 제31항 내지 제35항 중 어느 한 항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 단계를 포함하는 것인, 방법.
  37. 제31항 내지 제36항 중 어느 한 항에 있어서,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 상기 제2 시야를 결정하는 단계는,
    상기 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하는 단계와,
    상기 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 상기 새로운 응시 중심 위로의 제2 수의 각도 및 상기 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하는 단계
    를 포함하는 것인, 방법.
  38. 제37항에 있어서,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 단계는 상기 제2 시야의 전경 영역을 결정하는 단계를 포함하고,
    상기 제2 시야의 전경 영역을 결정하는 단계는 상기 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 상기 새로운 응시 중심 위로의 제5 수의 각도 및 상기 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하는 단계를 포함하되, 상기 제4 수는 상기 제1 수보다 작으며, 상기 제5 수는 상기 제2 수보다 작으며, 상기 제6 수는 상기 제3 수보다 작은 것인, 방법.
  39. 제31항 내지 제38항 중 어느 한 항에 있어서,
    상기 사용자로부터 입력을 수신하는 단계와,
    상기 입력에 응답하여, 상기 제2 시야의 전경 영역에 대응하는 상기 가상 현실 환경의 일부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 더 포함하는, 방법.
  40. 제31항 내지 제39항 중 어느 한 항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는,
    상기 응시 중심의 이동 이후 상기 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하는 단계와,
    상기 시간 구간이 임계 시간 구간보다 크다고 결정하는 단계와,
    상기 시간 구간이 상기 임계 시간 구간보다 크다고 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 포함하는 것인, 방법.
  41. 메인 콘텐트의 사용자의 시청을 방해하지 않으면서 상기 메인 콘텐트를 표시하는 헤드업 디스플레이 상의 가상 현실 환경에 추가적인 콘텐트를 제시하기 위해 인코딩된 머신 판독가능 명령어를 포함하는 비 일시적 머신 판독가능 매체로서,
    상기 명령어는,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 제1 메인 콘텐트를 생성하는 명령어 - 상기 제1 부분은 사용자의 제1 시야의 전경 영역에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 제2 메인 콘텐트 및 추가적인 콘텐트를 생성하는 명령어 - 상기 제2 부분은 상기 사용자의 상기 제1 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 응시 중심의 이동을 검출하는 명령어와,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 제2 시야를 결정하는 명령어와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 명령어와,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정한 것에 응답하여, 상기 가상 현실 환경의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어 - 상기 제3 부분은 상기 제2 시야의 주변 영역에 대응함 -
    를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  42. 제41항에 있어서,
    상기 응시 중심의 이동을 검출하는 명령어는 상기 사용자의 응시 중심을 검출하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  43. 제42항에 있어서,
    상기 사용자의 응시 중심을 검출하는 명령어는,
    상기 사용자의 각 눈에 광을 전송하는 명령어와,
    상기 사용자의 각 눈의 이미지를 수집하는 명령어와,
    각각의 이미지에서, 상기 사용자의 눈에서의 반사 위치를 검출하는 명령어와,
    상기 사용자의 각각의 동공의 위치를 결정하는 명령어와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 명령어와,
    각각의 동공의 위치를 각각의 반사 위치와 비교하는 것에 기초하여, 상기 사용자의 각각의 눈의 응시 지점을 결정하는 명령어와,
    상기 사용자의 각 눈의 응시 지점 사이의 중점을 결정함으로써 상기 응시 중심을 결정하는 명령어
    를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  44. 제41항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 응시 중심의 이동을 검출하는 명령어는 상기 가속도계에 의해 상기 사용자의 머리의 가속도를 검출하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  45. 제41항에 있어서,
    상기 헤드업 디스플레이는 사용자의 헤드에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  46. 제41항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어는 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  47. 제41항에 있어서,
    상기 응시 중심의 이동에 기초하여 상기 사용자의 상기 제2 시야를 결정하는 명령어는,
    상기 응시 중심의 이동에 기초하여 새로운 응시 중심을 결정하는 명령어와,
    상기 새로운 응시 중심의 우측 및 좌측으로의 제1 수의 각도, 상기 새로운 응시 중심 위로의 제2 수의 각도 및 상기 새로운 응시 중심 아래로의 제3 수의 각도 내에 존재하는 영역을 결정하는 명령어
    를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  48. 제47항에 있어서,
    상기 제2 부분이 상기 제2 시야의 전경 영역에 대응한다고 결정하는 명령어는 상기 제2 시야의 전경 영역을 결정하는 명령어를 포함하고,
    상기 제2 시야의 전경 영역을 결정하는 명령어는 상기 새로운 응시 중심의 우측 및 좌측으로의 제4 수의 각도, 상기 새로운 응시 중심 위로의 제5 수의 각도 및 상기 새로운 응시 중심 아래로의 제6 수의 각도 내에 존재하는 영역을 결정하는 명령어를 포함하되, 상기 제4 수는 상기 제1 수보다 작으며, 상기 제5 수는 상기 제2 수보다 작으며, 상기 제6 수는 상기 제3 수보다 작은 것인, 비 일시적 머신 판독가능 매체.
  49. 제41항에있어서,
    상기 사용자로부터 입력을 수신하는 명령어와,
    상기 입력에 응답하여, 상기 제2 시야의 전경 영역에 대응하는 상기 가상 현실 환경의 일부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어
    를 더 포함하는, 비 일시적 머신 판독가능 매체.
  50. 제41항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어는,
    상기 응시 중심의 이동 이후 상기 사용자의 응시 중심이 실질적으로 이동하지 않은 시간 구간을 측정하는 명령어와,
    상기 시간 구간이 임계 시간 구간보다 크다고 결정하는 명령어와,
    상기 시간 구간이 상기 임계 시간 구간보다 크다고 결정한 것에 응답하여, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어
    를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  51. 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 상기 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동(full body movement)을 가능하게 하는 방법으로서,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 메인 콘텐트를 생성하는 단계 - 상기 제1 부분은 사용자의 시야의 전경 영역에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 단계 - 상기 제2 부분은 상기 사용자의 상기 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 전신 이동을 검출하는 단계와,
    상기 전신 이동의 검출에 응답하여 상기 가상 현실 환경의 상기 제1 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 포함하고,
    상기 추가적인 콘텐트는 상기 사용자가 상기 전신 이동을 수행하도록 지원하는 것인, 방법.
  52. 제51항에 있어서,
    상기 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 단계를 포함하는 것인, 방법.
  53. 제51항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 단계를 포함하는 것인, 방법.
  54. 제51항에 있어서,
    상기 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 전신 이동을 검출하는 단계는 상기 가속도계에 의해 사용자가 취한 제1 발걸음(footstep)을 검출하는 단계를 포함하는 것인, 방법.
  55. 제54항에 있어서,
    상기 사용자가 취한 제2 발걸음을 검출하는 단계와,
    상기 제2 발걸음의 검출에 응답하여, 상기 추가적인 콘텐트를 확대하는 단계
    를 더 포함하는, 방법.
  56. 제54항에 있어서,
    상기 사용자가 취한 제2 발걸음을 검출하는 단계와,
    상기 제2 발걸음의 검출에 응답하여, 상기 메인 콘텐트의 불투명도를 감소시키는 것 및 상기 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하는 단계
    를 더 포함하는, 방법.
  57. 제51항에 있어서,
    상기 사용자로부터 입력을 수신하는 단계와,
    상기 입력에 응답하여, 상기 헤드업 디스플레이로부터 상기 추가적인 콘텐트를 제거하는 단계
    를 더 포함하는, 방법.
  58. 제52항에 있어서,
    상기 사용자의 전신 이동을 검출하는 단계는 상기 사용자의 물리적 주변 환경의 상기 비디오에서의 변화를 검출하는 단계를 포함하는 것인, 방법.
  59. 제51항에 있어서,
    상기 사용자가 실질적으로 정지하고 있음을 검출하는 단계와,
    상기 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 상기 디스플레이의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 더 포함하는, 방법.
  60. 제51항에 있어서,
    상기 메인 콘텐트의 재생을 중지시키는 옵션을 상기 사용자에게 제시하는 단계를 더 포함하는, 방법.
  61. 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 상기 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 가능하게 하는 시스템으로서,
    제어 회로 및 검출 모듈을 포함하고,
    상기 제어 회로는,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 메인 콘텐트를 생성하고 - 상기 제1 부분은 사용자의 시야의 전경 영역에 대응함 - ,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하고 - 상기 제2 부분은 상기 사용자의 상기 시야의 주변 영역에 대응함 - ,
    상기 전신 이동의 검출에 응답하여 상기 가상 현실 환경의 상기 제1 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록
    구성되며,
    상기 검출 모듈은 상기 사용자의 상기 전신 이동을 검출하도록 구성되며,
    상기 추가적인 콘텐트는 상기 사용자가 상기 전신 이동을 수행하도록 지원하는 것인, 시스템.
  62. 제61항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 상기 제어 회로는 또한, 디스플레이를 위한 상기 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하도록 구성되는 것인, 시스템.
  63. 제61항에 있어서,
    상기 제어 회로는 또한, 디스플레이를 위한 상기 추가적인 콘텐트를 생성할 때, 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하도록 구성되는 것인, 시스템.
  64. 제61항에 있어서,
    상기 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 검출 모듈은 상기 헤드 장착 디스플레이에 포함된 가속도계를 포함하고, 상기 검출 모듈은 또한, 사용자의 전신 이동을 검출할 때, 사용자에 의해 취해진 제1 발걸음을 가속도계를 이용하여 검출하도록 구성되는 것인, 시스템.
  65. 제64항에 있어서,
    상기 검출 모듈은 또한, 상기 가속도계를 사용하여 상기 사용자에 의해 취해진 제2 발걸음을 검출하도록 구성되고, 상기 제어 회로는 또한, 상기 제2 발걸음의 검출에 응답하여, 상기 추가적인 콘텐트를 확대하도록 구성되는 것인, 시스템.
  66. 제64항에 있어서,
    상기 검출 모듈은 또한, 상기 가속도계를 사용하여 상기 사용자에 의해 취해진 제2 발걸음을 검출하도록 구성되고, 상기 제어 회로는 또한, 상기 제2 발걸음의 검출에 응답하여 적어도 상기 메인 콘텐트의 불투명도를 감소시키는 것 및 상기 추가적인 콘텐트의 불투명도를 증가시키는 것 중의 적어도 하나를 수행하도록 구성되는 것인, 시스템.
  67. 제61항에 있어서,
    사용자 인터페이스는 상기 사용자로부터 입력을 수신하도록 구성되고, 상기 제어 회로는 또한, 상기 입력에 응답하여 상기 헤드업 디스플레이로부터 상기 추가적인 콘텐트를 제거하도록 구성되는 것인, 시스템.
  68. 제62항에 있어서,
    상기 검출 모듈은 또한, 상기 사용자의 전신 이동을 검출할 때, 상기 사용자의 물리적 주변 환경의 비디오의 변화를 검출하도록 구성되는 것인, 시스템.
  69. 제61항에 있어서,
    상기 검출 모듈은 또한, 상기 사용자가 실질적으로 정지하고 있음을 검출하도록 구성되고, 상기 제어 회로는 또한, 상기 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 상기 디스플레이의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하도록 구성되는 것인, 시스템.
  70. 제61항에 있어서,
    사용자 인터페이스는 상기 메인 콘텐트의 재생을 중지시키는 옵션을 상기 사용자에게 제시하도록 구성되는 것인, 시스템.
  71. 제어 회로를 포함하여 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 상기 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 가능하게 하는 시스템으로서,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 메인 콘텐트를 디스플레이하는 수단 - 상기 제1 부분은 사용자의 시야의 전경 영역에 대응함 - 과,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 수단 - 상기 제2 부분은 상기 사용자의 상기 시야의 주변 영역에 대응함 - 과,
    상기 사용자의 전신 이동을 검출하는 수단과,
    상기 전신 이동의 검출에 응답하여 상기 가상 현실 환경의 상기 제1 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단
    을 포함하고,
    상기 추가적인 콘텐트는 상기 사용자가 상기 전신 이동을 수행하도록 지원하는 것인, 시스템.
  72. 제71항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단은 디스플레이를 위한 사용자의 물리적 주변 환경의 비디오를 생성하는 수단을 포함하는 것인, 시스템.
  73. 제71항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단은 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 수단을 포함하는 것인, 시스템.
  74. 제71항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 전신 이동을 검출하는 수단은 상기 사용자에 의해 취해진 제1 발걸음을 상기 가속도계에 의해 검출하기 위한 수단을 포함하는 것인, 시스템.
  75. 제74항에 있어서,
    상기 사용자에게 취해진 제2 발걸음을 검출하는 수단과,
    상기 제2 발걸음의 검출에 응답하여, 상기 추가적인 콘텐트를 확대하는 수단
    을 더 포함하는, 시스템.
  76. 제74항에 있어서,
    상기 사용자에 의해 취해진 제2 발걸음을 검출하는 수단과,
    상기 제2 발걸음의 검출에 응답하여, 상기 메인 콘텐트의 불투명도를 감소시키는 것 및 상기 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하는 수단
    을 더 포함하는, 시스템.
  77. 제71항에 있어서,
    상기 사용자로부터 입력을 수신하는 수단과,
    상기 입력에 응답하여, 상기 헤드업 디스플레이로부터 상기 추가적인 콘텐트를 제거하는 수단
    을 포함하는, 시스템.
  78. 제72항에 있어서,
    상기 사용자의 전신 이동을 검출하는 수단은 상기 사용자의 물리적 주변 환경의 비디오에서의 변화를 검출하는 수단을 포함하는 것인, 시스템.
  79. 제71항에 있어서,
    상기 사용자가 실질적으로 정지하고 있음을 검출하는 수단과,
    상기 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 상기 디스플레이의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 수단
    을 더 포함하는, 시스템.
  80. 제71항에 있어서,
    상기 메인 콘텐트의 재생을 중지시키는 옵션을 상기 사용자에게 제시하는 수단을 더 포함하는, 시스템.
  81. 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 상기 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 가능하게 하는 방법으로서,
    제어 회로를 사용하여, 헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 메인 콘텐트를 생성하는 단계 - 상기 제1 부분은 사용자의 시야의 전경 영역에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 단계 - 상기 제2 부분은 상기 사용자의 상기 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 전신 이동을 검출하는 단계와,
    상기 전신 이동의 검출에 응답하여 상기 가상 현실 환경의 상기 제1 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 포함하고,
    상기 추가적인 콘텐트는 상기 사용자가 상기 전신 이동을 수행하도록 지원하는 것인, 방법.
  82. 제81항에 있어서,
    상기 헤드업 디스플레이는 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 단계를 포함하는 것인, 방법.
  83. 제81항 또는 제82항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계는 디스플레이를 위한 상기 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 단계를 포함하는 것인, 방법.
  84. 제81항 내지 제83항 중 어느 한 항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 전신 이동을 검출하는 단계는 가속도계에 의해 사용자에 의해 취해진 제1 발걸음을 검출하는 단계를 포함하는 것인, 방법.
  85. 제84항에 있어서,
    상기 사용자에 의해 취해진 제2 발걸음을 검출하는 단계와,
    상기 제2 발걸음의 검출에 응답하여, 상기 추가적인 콘텐트를 확대하는 단계
    를 더 포함하는, 방법.
  86. 제84항에 있어서,
    상기 사용자에 의해 취해진 제2 발걸음을 검출하는 단계와,
    상기 제2 발걸음의 검출에 응답하여, 상기 메인 콘텐트의 불투명도를 감소시키는 것 및 상기 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하는 단계
    를 더 포함하는, 방법.
  87. 제81항 내지 제86항 중 어느 한 항에 있어서,
    상기 사용자로부터 입력을 수신하는 단계와,
    상기 입력에 응답하여, 상기 헤드업 디스플레이로부터 상기 추가적인 콘텐트를 제거하는 단계
    를 더 포함하는, 방법.
  88. 제82항에 있어서,
    상기 사용자의 전신 이동을 검출하는 단계는 상기 사용자의 물리적 주변 환경의 상기 비디오에서의 변화를 검출하는 단계를 포함하는 것인, 방법.
  89. 제81항 내지 제88항 중 어느 한 항에 있어서,
    상기 사용자가 실질적으로 정지하고 있음을 검출하는 단계와,
    상기 사용자가 실질적으로 정지하고 있음을 검출한 것에 응답하여, 상기 디스플레이의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 단계
    를 더 포함하는, 방법.
  90. 제81항 내지 제89항 중 어느 한 항에 있어서,
    상기 메인 콘텐트의 재생을 중지시키는 옵션을 상기 사용자에게 제시하는 단계를 더 포함하는, 방법.
  91. 헤드업 디스플레이 상의 콘텐트의 시청을 방해하지 않고 사용자가 상기 헤드업 디스플레이 상의 가상 현실 환경을 시청하면서 전신 이동을 수행할 수 있도록 하기 위해 인코딩된 머신 판독가능 명령어를 포함하는 비 일시적 머신 판독가능 매체로서,
    헤드업 디스플레이 내의 가상 현실 환경의 제1 부분에 디스플레이를 위한 메인 콘텐트를 생성하는 명령어 - 상기 제1 부분은 사용자의 시야의 전경 영역에 대응함 - 와,
    상기 헤드업 디스플레이 내의 상기 가상 현실 환경의 제2 부분에 디스플레이를 위한 추가적인 콘텐트를 생성하는 명령어 - 상기 제2 부분은 상기 사용자의 상기 시야의 주변 영역에 대응함 - 와,
    상기 사용자의 전신 이동을 검출하는 명령어와,
    상기 전신 이동의 검출에 응답하여 상기 가상 현실 환경의 상기 제1 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어
    를 포함하고,
    상기 추가적인 콘텐트는 상기 사용자가 상기 전신 이동을 수행하도록 지원하는 것인, 비 일시적 머신 판독가능 매체.
  92. 제91항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 머리에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 상기 사용자의 물리적 주변 환경의 비디오를 상기 헤드 장착 디스플레이에 공급하는 카메라를 포함하고, 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어는 디스플레이를 위한 상기 사용자의 물리적 주변 환경의 비디오를 생성하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  93. 제91항에 있어서,
    디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어는 디스플레이를 위한 추가적인 콘텐트를 픽쳐-인-픽쳐로서 생성하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  94. 제91항에 있어서,
    상기 헤드업 디스플레이는 상기 사용자의 헤드에 물리적으로 결합된 헤드 장착 디스플레이이고, 상기 헤드 장착 디스플레이는 가속도계를 포함하고, 상기 사용자의 전신 이동을 검출하는 명령어는 상기 사용자에 의해 취해진 제1 발걸음을 상기 가속도계에 의해 검출하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  95. 제94항에 있어서,
    상기 사용자에 의해 취해진 제2 발걸음을 검출하는 명령어와,
    상기 제2 발걸음의 검출에 응답하여, 상기 추가적인 콘텐트를 확대하는 명령어
    를 더 포함하는, 비 일시적 머신 판독가능 매체.
  96. 제94항에 있어서,
    상기 사용자에 의해 취해진 제2 발걸음을 검출하는 명령어와,
    상기 제2 발걸음의 검출에 응답하여, 상기 메인 콘텐트의 불투명도를 감소시키는 것 및 상기 추가적인 콘텐트의 불투명도를 증가시키는 것 중 적어도 하나를 수행하는 명령어
    를 더 포함하는, 비 일시적 머신 판독가능 매체.
  97. 제91항에 있어서,
    상기 사용자로부터의 입력을 수신하는 명령어와,
    상기 입력에 응답하여, 상기 헤드업 디스플레이로부터 상기 추가적인 콘텐트를 제거하는 명령어
    를 더 포함하는, 비 일시적 머신 판독가능 매체.
  98. 제92항에 있어서,
    상기 사용자의 전신 이동을 검출하는 명령어는 상기 사용자의 물리적 주변 환경의 비디오의 변화를 검출하는 명령어를 포함하는 것인, 비 일시적 머신 판독가능 매체.
  99. 제91항에 있어서,
    상기 사용자가 실질적으로 정지하고 있다는 것을 검출하는 명령어와,
    상기 사용자가 실질적으로 정지하고 있음을 검출하는 것에 응답하여 상기 디스플레이의 제3 부분에 디스플레이를 위한 상기 추가적인 콘텐트를 생성하는 명령어
    를 더 포함하는, 방법.
  100. 제91항에 있어서,
    상기 메인 콘텐트의 재생을 중지시키는 옵션을 상기 사용자에게 제시하는 명령어를 더 포함하는, 비 일시적 머신 판독가능 매체.
KR1020187018599A 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템 KR20190002416A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237010112A KR20230044556A (ko) 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/140,249 2016-04-27
US15/140,249 US9851792B2 (en) 2016-04-27 2016-04-27 Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US15/140,272 2016-04-27
US15/140,272 US10025376B2 (en) 2016-04-27 2016-04-27 Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
PCT/US2017/029593 WO2017189699A1 (en) 2016-04-27 2017-04-26 Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237010112A Division KR20230044556A (ko) 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20190002416A true KR20190002416A (ko) 2019-01-08

Family

ID=58692608

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187018599A KR20190002416A (ko) 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
KR1020237010112A KR20230044556A (ko) 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237010112A KR20230044556A (ko) 2016-04-27 2017-04-26 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템

Country Status (6)

Country Link
EP (3) EP3650994A1 (ko)
JP (5) JP6968800B2 (ko)
KR (2) KR20190002416A (ko)
AU (1) AU2017255567A1 (ko)
CA (1) CA2999057C (ko)
WO (1) WO2017189699A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033223A (ko) * 2020-09-09 2022-03-16 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539579B1 (ko) * 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
TWI719483B (zh) 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
US11391945B2 (en) * 2020-08-31 2022-07-19 Sony Interactive Entertainment LLC Automatic positioning of head-up display based on gaze tracking

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US6388714B1 (en) 1995-10-02 2002-05-14 Starsight Telecast Inc Interactive computer system for providing television schedule information
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
BR9909241A (pt) 1998-03-04 2000-11-14 United Video Properties Inc Sistema de guia de programas com propaganda direcionada
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
ATE225998T1 (de) 1998-07-17 2002-10-15 United Video Properties Inc Interaktive fernsehprogrammführung mit mehreren geräten an einem ort
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
KR101548473B1 (ko) 2001-02-21 2015-08-28 로비 가이드스, 인크. 개인용 비디오 녹화 특징을 갖는 대화식 프로그램 가이드를 위한 시스템 및 방법
JP4364047B2 (ja) * 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP5654284B2 (ja) * 2010-08-09 2015-01-14 東芝アルパイン・オートモティブテクノロジー株式会社 車両用ディスプレイ装置
JP5391224B2 (ja) * 2011-03-28 2014-01-15 日本電信電話株式会社 映像付加情報表示制御装置およびその動作方法
CN107656615B (zh) * 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5665140B2 (ja) * 2012-08-17 2015-02-04 Ｎｅｃソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム
JP6364735B2 (ja) * 2013-10-04 2018-08-01 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP6089705B2 (ja) * 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2014164537A (ja) * 2013-02-26 2014-09-08 Yasuaki Iwai 仮想現実サービス提供システム、仮想現実サービス提供方法
KR20160016907A (ko) * 2013-05-29 2016-02-15 미쓰비시덴키 가부시키가이샤 정보 표시 장치
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP6039525B2 (ja) * 2013-09-27 2016-12-07 株式会社トヨタマップマスター ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN105992986B (zh) * 2014-01-23 2019-03-12 索尼公司 图像显示装置和图像显示方法
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
GB201404732D0 (en) * 2014-03-17 2014-04-30 Sony Comp Entertainment Europe Virtual Reality
KR101920983B1 (ko) * 2014-04-23 2018-11-21 노키아 테크놀로지스 오와이 헤드 마운트형 디스플레이 상에서의 정보의 디스플레이
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US20160025971A1 (en) * 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
JP6476643B2 (ja) * 2014-08-11 2019-03-06 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033223A (ko) * 2020-09-09 2022-03-16 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
AU2017255567A1 (en) 2018-07-12
EP3650994A1 (en) 2020-05-13
JP2020120410A (ja) 2020-08-06
CA2999057A1 (en) 2017-11-02
CA2999057C (en) 2023-12-05
JP2023116433A (ja) 2023-08-22
JP6968800B2 (ja) 2021-11-17
JP7028909B2 (ja) 2022-03-02
EP3377962A1 (en) 2018-09-26
JP2020120411A (ja) 2020-08-06
JP7286828B2 (ja) 2023-06-05
JP7027478B2 (ja) 2022-03-01
WO2017189699A1 (en) 2017-11-02
KR20230044556A (ko) 2023-04-04
JP2019515361A (ja) 2019-06-06
JP2022078113A (ja) 2022-05-24
EP3457251A1 (en) 2019-03-20

Similar Documents

Publication Publication Date Title
US11353949B2 (en) Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US9851792B2 (en) Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US9229616B2 (en) Methods and systems for arranging media objects on a display screen to compensate for user disabilities
US9852774B2 (en) Methods and systems for performing playback operations based on the length of time a user is outside a viewing area
US11706493B2 (en) Augmented reality content recommendation
JP7286828B2 (ja) 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2020120411A5 (ko)
JP2020120410A5 (ko)
US10147388B2 (en) Systems and methods for enhancing viewing experiences of users
US10003778B2 (en) Systems and methods for augmenting a viewing environment of users
US9729927B2 (en) Systems and methods for generating shadows for a media guidance application based on content
US20150189375A1 (en) Systems and methods for presenting information to groups of users using user optical devices

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination