KR20210097210A - 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법 - Google Patents

감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210097210A
KR20210097210A KR1020217023683A KR20217023683A KR20210097210A KR 20210097210 A KR20210097210 A KR 20210097210A KR 1020217023683 A KR1020217023683 A KR 1020217023683A KR 20217023683 A KR20217023683 A KR 20217023683A KR 20210097210 A KR20210097210 A KR 20210097210A
Authority
KR
South Korea
Prior art keywords
game
user
hmd
mounted display
head mounted
Prior art date
Application number
KR1020217023683A
Other languages
English (en)
Other versions
KR102378669B1 (ko
Inventor
데이비드 페리
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Publication of KR20210097210A publication Critical patent/KR20210097210A/ko
Application granted granted Critical
Publication of KR102378669B1 publication Critical patent/KR102378669B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/401—Secure communication, e.g. using encryption or authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/532—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing using secure communication, e.g. by encryption, authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

감소된 홉을 이용해 두부 장착형 디스플레이 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법. 게임 클라우드 시스템을 통한 게임 플레이를 위해 두부 장착형 디스플레이가 사용된다. 상기 두부 장착형 디스플레이는 네트워크를 통해 게임 프로그램과 연관된 실세계 미디어를 전송하기 위한 통신 회로를 포함한다. 실세계 미디어는 게임 클라우드 시스템에 의해 프로세싱되고 통신 회로로부터 게임 클라우드 시스템으로 직접 스트리밍된다. 상기 두부 장착형 디스플레이는 통신 회로에 연결된 게임 프로세싱 회로를 더 포함한다. 상기 게임 프로세싱 회로는 게임 클라우드 시스템으로부터 네트워크를 통해 수신된 컴퓨터 생성형 대화형 미디어를 디코딩하기 위해 사용된다. 상기 게임 프로세싱 회로는 컴퓨터 생성형 대화형 미디어를 실세계 미디어 상에 중첩시킴으로써 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상기 컴퓨터 생성형 대화형 미디어는 실세계 미디어를 기초로 생성된다.

Description

감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR USING REDUCED HOPS TO GENERATE AN AUGMENTED VIRTUAL REALITY SCENE WITHIN A HEAD MOUNTED SYSTEM}
본 발명은 감소된 홉(hop)을 이용하여 두부 장착형 시스템(head mounted system)에서 증강 가상 현실(augmented virtual reality) 장면을 운영하기 위한 방법 및 시스템과 관련된다.
일반적으로, 비디오 게임 콘솔이 증강 가상 현실 게임을 플레이하기 위해 사용된다. 예를 들어, 사용자는 보통 증강 가상 현실 게임을 플레이하기 위해 제어기와 콘솔을 구매한다. 상기 콘솔은 인터넷에 연결될 수 있다. 상기 콘솔은 켜지고 제어기는 사용자에 의해 동작되어 상기 콘솔과 인터넷을 통해 게임을 플레이할 수 있다. 그러나, 게임 데이터가 게임 플레이를 용이하게 하기 위해 통과하는 홉의 수, 네트워크 장치의 수 등이 증강 가상 현실 게임의 플레이의 속도를 늦출 수 있다. 예를 들어, 사용자는 증강 가상 현실 게임의 특정 스테이지를 플레이하도록 기다려야 할 수 있다.
상술한 증강현실 관련 종래기술로 예를 들어 대한민국특허 제10-0586818호에는 "증강현실 기술을 이용하는 두부장착 디스플레이 장치"가 개시되어 있다. 좀 더 구체적으로, 상기 종래기술에 개시된 증강현실 기술을 이용하는 두부장착 디스플레이 장치는 시각적 체험경험을 기록할 수 있을 뿐만 아니라 증강현실을 이용하여 교육용 등 다양한 분야에 활용할 수 있다. 이러한 두부장착 디스플레이 장치는 사람의 머리부위에 장착되어 화상을 출력하는 장치로서 헬멧형과 안경형으로 분류될 수 있다. 두부장착 디스플레이는 착용자가 높은 집중도와 몰입감을 가지고 화면을 보게 되고, 또한 착용자가 머리를 다른데로 돌려도 화면이 따라 돌아가므로 보다 자유롭게 화면을 볼 수 있다는 장점이 있다.
이 맥락에서, 본 개시내용에 기재된 실시예가 나타난다.
한국등록특허공보 제10-0586818호
본 명세서에 기재된 실시예는 감소된 홉을 이용해 두부 장착형 시스템에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법을 제공한다.
일반적으로 말하면, 여러 실시예에서, 시스템 및 방법은 미디어 데이터가, 두부 장착형 디스플레이와 네트워크 사이의 라우터를 우회함으로써 상기 네트워크로부터 상기 두부 장착형 디스플레이로 스트리밍되는 증강 가상 현실 게임 플레이를 가능하게 한다. 라우터를 사용하지 않음으로써 두부 장착형 디스플레이와 사용자가 증강 가상 현실 게임을 플레이할 수 있도록 게임 프로그램을 실행하는 게임 클라우드 간 홉의 수가 감소된다.
일부 실시예에서, 게임 클라우드 시스템을 통한 게임 플레이를 위해 두부 장착형 디스플레이가 사용된다. 상기 두부 장착형 디스플레이는 네트워크를 통해 게임 프로그램과 연관된 실세계 미디어를 전송하기 위한 통신 회로를 포함한다. 실세계 미디어는 게임 클라우드 시스템에 의해 프로세싱되고 통신 회로로부터 게임 클라우드 시스템으로 직접 스트리밍된다. 상기 두부 장착형 디스플레이는 통신 회로에 연결된 게임 프로세싱 회로를 더 포함한다. 상기 게임 프로세싱 회로는 게임 클라우드 시스템으로부터 네트워크를 통해 수신된 컴퓨터 생성형 대화형 미디어를 디코딩하기 위해 사용된다. 상기 게임 프로세싱 회로는 컴퓨터 생성형 대화형 미디어를 실세계 미디어 상에 중첩시킴으로써 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상기 컴퓨터 생성형 대화형 미디어는 실세계 미디어를 기초로 생성된다.
여러 실시예에서, 게임 클라우드를 통한 게임 플레이를 위한 방법이 기재된다. 상기 방법은 네트워크를 통해 게임 프로그램과 연관된 실세계 미디어를 전송하는 단계를 포함한다. 실세계 미디어는 게임 클라우드 시스템에 의해 프로세싱되고 게임 클라우드 시스템으로 직접 스트리밍된다. 상기 방법은 게임 클라우드로부터 네트워크를 통해 수신된 컴퓨터 생성형 대화형 미디어를 디코딩하는 단계를 포함한다. 상기 방법은 컴퓨터 생성형 대화형 미디어를 실세계 미디어 상에 중첩시킴으로써 게임 프로그램과 연관된 상호대화의 일부분을 구동하는 단계를 포함한다. 상기 컴퓨터 생성형 대화형 미디어는 실세계 미디어를 기초로 생성된다.
다양한 실시예에서, 게임 클라우드 시스템을 통한 게임 플레이를 위한 컴퓨터 실행 명령이 저장된 비일시적 컴퓨터 판독형 매체가 기재된다. 상기 컴퓨터 실행형 명령은 컴퓨터의 프로세서에 의해 실행될 때 네트워크를 통해 게임 프로그램과 연관된 실세계 미디어를 직접 전송한다. 실세계 미디어는 게임 클라우드 시스템에 의해 프로세싱되고 게임 클라우드 시스템으로 직접 스트리밍된다. 컴퓨터 실행형 명령은 프로세서에 의해 실행될 때 게임 클라우드로부터 네트워크를 통해 수신된 컴퓨터 생성형 대화형 미디어를 디코딩한다. 컴퓨터 실행형 명령은 프로세서에 의해 실행될 때 컴퓨터 생성형 대화형 미디어를 실세계 미디어 상에 중첩시킴으로써 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상기 컴퓨터 생성형 대화형 미디어는 실세계 미디어를 기초로 생성된다.
기재되는 그 밖의 다른 양태가 본 명세서에 기재된 실시예의 원리를 예시로서 도시하는 첨부된 도면을 참조하여 다음의 상세한 설명으로부터 자명해 질 것이다.
본 명세서에 기재되는 다양한 실시예는 첨부되는 도면과 함께 이하의 상세한 설명을 참조하여 더 잘 이해될 수 있다.
도 1a는 본 명세서에 기재된 하나의 실시예에 따르는, HMD에서 증강 가상 현실 장면을 생성하기 위해, 게임 클라우드와 두부 장착형 디스플레이(HMD) 또는 핸드헬드 제어기(HHC) 간 홉의 수를 감소시키는 시스템의 다이어그램이다.
도 1b는 본 명세서에 기재된 하나의 실시예에 따르는, HMD에서 증강 가상 현실 장면을 생성하기 위해 네트워크 및 라우터를 통해 HMD 또는 HHC와 게임 클라우드 간에 데이터를 전송하기 위한 시스템의 다이어그램이다.
도 1c는 본 명세서에 기재된 하나의 실시예에 따라, 미디어 데이터를 통신하기 위한 콘솔을 이용하고, 입력 데이터 및/또는 미디어 데이터 및/또는 실세계 환경 데이터를 통신하여 HMD에 증강 가상 현실 장면을 생성하기 위해 라우터를 이용하거나 이용하지 않는 시스템의 다이어그램이다.
도 2는 본 명세서에 기재된 하나의 실시예에 따라, 사용자의 두부 동작 및/또는 손 동작을 기초로 입력 데이터의 생성을 도시하는 시스템의 다이어그램이다.
도 3은 본 명세서에 기재된 하나의 실시예에 따라, 도 1a의 HMD의 일례인 HMD의 다이어그램이다.
도 4a는 본 명세서에 기재된 하나의 실시예에 따라, 무선 네트워크를 액세스하기 위해 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 이미지의 다이어그램이다.
도 4b는 본 명세서에 기재된 하나의 실시예에 따라, 무선 네트워크를 액세스하기 위해 컴퓨터의 디스플레이 스크린 상에 디스플레이되는 이미지의 다이어그램이다.
도 5a는 본 명세서에 기재된 하나의 실시예에 따라, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, 이때 HMD의 디스플레이 스크린의 주변 영역은 저 해상도를 갖고, 중앙 영역은 고 해상도를 가진다.
도 5b는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, HMD의 디스플레이 스크린의 상부 영역과 하부 영역은 저 해상도를 가지며, 상부 영역과 하부 영역 사이의 영역은 고 해상도를 가진다.
도 5c는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, 여기서, HMD의 디스플레이 스크린의 우측 영역 및 좌측 영역이 저 해상도를 가지며, 상기 우측 영역과 좌측 영역 사이의 영역이 고 해상도를 가진다.
도 6은 본 명세서에 기재된 하나의 실시예에 따르는 HHC의 다양한 유형을 도시하는 다이어그램이다.
도 7a는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 일례인 HMD의 일례의 다이어그램이다.
도 7b는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 일례인 HMD의 일례의 등각도이다.
도 8a는 본 명세서에 기재된 하나의 실시예에 따르는, Dualshock 제어기를 갖는 도 7b의 HMD의 사용을 도시하는 다이어그램이다.
도 8b는 본 명세서에 기재되는 하나의 실시예에 따르는 Move™ 제어기를 갖는 도 7b의 HMD의 사용을 도시하는 다이어그램이다.
도 9a는 본 명세서에 기재되는 하나의 실시예에 따르는, 증강 가상 현실 장면에서 게임을 플레이하기 위한 도 8a의 Dualshock 제어기를 갖는 도 7b의 HMD의 사용을 도시하는 다이어그램이다.
도 9b는 본 명세서에 기재되는 하나의 실시예에 따르는, 도 9a의 증강 가상 현실 장면을 나타내는 다이어그램이다.
도 10은 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HHC 및 HMD과 인터페이싱하기 위해 호환되는 콘솔의 블록도이다.
도 11은 본 명세서에 기재된 하나의 실시예에 따르는 게임 시스템의 하나의 실시예의 블록도이다.
감소된 홉을 이용해 두부 장착형 시스템(head mounted system)에서 증강 가상 현실(augmented virtual reality)을 수행하기 위한 시스템 및 방법이 기재된다. 예를 들어, 네트워크 장치, 가령, 라우터, 리피터, 허브, 컴퓨터, 콘솔 등이 네트워크 장치를 통해 전송되는 데이터에 홉을 추가한다. 하나 이상의 네트워크 장치가 두부 장착형 디스플레이(head mounted display)(HMD)와 네트워크 사이에 및/또는 핸드헬드 제어기(handheld controller)(HHC)와 네트워크 사이에 위치할 수 있다. 네트워크 장치가 또 다른 장치로부터 데이터를 수신, 네트워크 장치에 의한 데이터의 버퍼링, 데이터의 분석, 및 네트워크 장치에 의해 데이터를 또 다른 장치로 재전송하는 것의 결과로서 홉이 추가될 수 있다. 시스템 및 방법이 HMD와 네트워크 사이 및/또는 HHC와 네트워크 사이 네트워크 장치의 개수를 감소시킨다. 네트워크 장치의 개수의 감소가 대기시간(latency), 가령, 지체 시간, 데이터 버퍼링 시간, 데이터 수신 시간, 데이터 분석 시간, 데이터 재전송 시간 등을 감소시킨다. 대기시간이 감소될 때, HMD 및/또는 HMC가 사용되어, 최소 대기시간을 갖고 네트워크를 통해 게임 클라우드로부터 수신된 집중 그래픽(intense graphics)을 디스플레이할 수 있다. 집중 그래픽은 증강 가상 현실 장면을 생성하도록 사용된다. 본 명세서에 기재된 다양한 실시예가 이들 특정 상세사항 중 일부 또는 전부 없이도 실시될 수 있음이 이해되어야 한다. 또 다른 예를 들면, 잘 알려진 프로세스 동작은 본 명세서에 기재되는 다양한 실시예를 불필요하게 모호하게 하지 않도록 상세히 기재되지 않는다.
일부 실시예에서, 시스템은 컴퓨터, HHC 및 HMD를 포함한다. 다양한 실시예에서, 컴퓨터는 특수 컴퓨터, 게임 콘솔, 모바일 폰, 태블릿, 또는 디스플레이 상에 렌더링되는 대화형 게임 프로그램의 하나 이상의 부분을 실행하는 그 밖의 다른 이러한 장치일 수 있다. 이들 실시예에서, 대화형 게임 프로그램의 임의의 나머지 부분은 게임 클라우드 시스템, 가령, 하나 이상의 가상 머신(VM)에서 실행된다. 일부 실시예에서, 상기 게임 클라우드 시스템은 게임 프로그램을 실행하여 게임 장치, 가령, HMD, 컴퓨터 스크린, 텔레비전 스크린 등 상에 게임 환경을 생성하는 복수의 서버를 포함한다. 예를 들어, 하이퍼바이저가 물리적 자원, 가령, 프로세서, 메모리 장치, 서버 등 상에서 실행되어, 복수의 운영 체제 및 복수의 컴퓨터 소프트웨어 애플리케이션을 실행해, HMD 상에 게임 환경을 생성하도록 더 사용되는 데이터를 생성할 수 있다. 게임 콘솔의 예시로는 Sony Computer Entertainment™, Inc.및 그 밖의 다른 제조사에 의해 제조되는 게임 콘솔이 있다. 대화형 게임 프로그램은 복수의 사용에 의해 플레이되는 다중-사용자 게임 프로그램 또는 컴퓨터와 사용자가 플레이하는 단일 사용자 게임 프로그램일 수 있다.
복수의 실시예에서, 대화형 게임 프로그램의 모든 부분이 게임 클라우드 시스템 또는 컴퓨터 상에서 실행된다.
HMD는 사용자가 두부에 착용하거나 작은 디스플레이 광소자, 가령, 렌즈, 안경 등을 사용자의 하나 또는 각각의 눈앞에 갖는 헬멧의 일부인 장치이다. 일부 실시예에서, 2개의 눈에 대해 2개의 광소자가 사용될 때에도, 하나의 장면, 가령, 가상 장면, 증강 가상 현실 장면 등이 HMD의 디스플레이 스크린 상에 디스플레이된다. 두 눈이 하나의 장면을 본다.
일부 실시예에서, HMD는 컴퓨터로부터 비디오 출력을 수신하고 렌더링할 수 있다. 다양한 실시예에서, HHC 및/또는 HMD가 컴퓨터와 무선 통신하는데, 이것이 유선 연결보다 HHC 및/또는 HMD의 움직임의 더 큰 자유를 제공하기 때문이다.
HHC는 다양한 특징부, 가령, 버튼, 조이스틱, 지향성 패드, 트리거, 터치패드, 손 제스처, 터치스크린, 또는 그 밖의 다른 유형의 입력 메커니즘 등 중 임의의 것을 포함하여, 대화형 게임 프로그램으로 입력을 제공할 수 있다. HHC의 하나의 예시로는 Sony Computer Entertainment™, Inc.가 제조하는 Sony Dualshock 4 제어기가 있다. HHC의 그 밖의 다른 예시로는 그 밖의 다른 개체에 의해 제조되며 임의의 모델 번호와 임의의 버전 수를 갖는 제어기가 있다.
덧붙여, HHC는 사용자가 이를 이동시킴으로써 대화형 게임 프로그램과 인터페이싱하고 상기 대화형 게임 프로그램으로 입력을 제공하게 할 수 있는 모션 제어기일 수 있다. 상기 모션 제어기의 하나의 예시로는 Sony Computer Entertainment™, Inc.가 제작한 PlayStation Move™ 제어기가 있다.
마찬가지로, HMD는 사용자가 HMD를 이동시킴으로써 대화형 게임 프로그램과 인터페이싱하고 상기 대화형 게임 프로그램으로 입력을 제공할 수 있게 하는 사용자 입력 회로를 포함할 수 있다. 모션 제어기 및/또는 HMD의 위치 및 움직임을 검출하기 위해 다양한 기법이 채용될 수 있다. 예를 들어, 모션 제어기 및/또는 사용자 입력 회로는 다양한 유형의 관성 센서, 가령, 가속도계, 자이로스코프 및 자기력계를 포함할 수 있다. 일부 실시예에서, 가속도계는 6축 저 대기시간 가속도계이다. 몇 개의 실시예에서, 모션 제어기 및/또는 HMD는 하나 이상의 고정된 기준 물체, 가령, 발광 다이오드(LED), 채색된 점, 광 반사체, 마커(marker), 역반사 물질, 지정된 형태, 지정된 색채, 지정된 물체, 바코드, 태그, QR(quick response) 코드 등을 포함할 수 있고 고정된 기준 물체의 이미지가 하나 이상의 디지털 카메라에 의해 캡처된다. 일부 실시예에서, 디지털 카메라는 단일 CCD(Charge Coupled Device), LED 지시자, 및 압축된 비디오 데이터가 적절한 형태, 가령, 인트라-이미지 기반 MPEG(motion picture expert group) 표준으로 전송될 수 있도록 하드웨어-기반 실시간 데이터 압축 및 인코딩 장치를 더 포함하는 비디오 카메라를 포함한다. 그 후 하나 이상의 디지털 카메라에 의해 캡처되는 이미지의 분석을 통해 모션 제어기 및/또는 HMD의 위치 및 움직임이 결정될 수 있다.
도 1a는 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간 감소된 홉(hop) 수를 이용해 HMD(104)에 증강 가상 현실 장면을 생성하기 위한 시스템(100)의 하나의 실시예의 다이어그램이다. 일부 실시예에서, 게임 클라우드(102)는 본 명세서에서 게임 클라우드 시스템이라고 지칭된다. 다양한 실시예에서, HMD(104)는 사용자(108)가 헬멧을 쓸 방식과 유사하게 사용자(108)에 의해 자신의 두부에 위치되어, HMD(104)의 렌즈가 자신의 눈 앞에 위치하게 할 수 있다. 여러 실시예에서, HMD(104)는 안경, 가령, 처방 안경, 고글 등처럼 착용된다. 여러 실시예에서, HMD(104)는 사용자(108)의 두 눈을 모두 덮는다. HHC(106)는 사용자(106) 손에 쥐어진다.
다양한 실시예에서, HHC(106) 대신, 사용자(106)는 제스처, 가령, 손 제스처, 손가락 제스처 등을 HMD(104)로 제공하도록 사용된다. 예를 들어, HMD(104) 내 디지털 카메라가 제스처의 이미지를 캡처하고 상기 HMD(104) 내 프로세서가 상기 제스처를 분석하여 상기 HMD(104) 내에서 디스플레이되는 게임이 상기 제스처에 의해 영향 받는지 여부를 결정할 수 있다.
본 명세서에서 사용될 때, 프로세서는 마이크로프로세서, 프로그래머블 로직 장치(PLD), 주문형 집적 회로(ASIC), 또는 이들의 조합일 수 있다.
시스템(100)은 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 또는 이들의 조합일 수 있는 네트워크(110)를 포함한다. 네트워크(110)의 예시로는, 인터넷, 인트라넷, 또는 이들의 조합이 있다. 일부 실시예에서, 네트워크(110)는 전송 제어 프로토콜(TCP)/인터넷 프로토콜(IP) 또는 사용자 데이터그램 프로토콜/IP(UDP/IP)를 이용해, 네트워크(110)를 통해 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간에 미디어 데이터를 통신할 수 있다. 다양한 실시예에서, 네트워크(110)는 이더넷 프로토콜, TCP/IP 프로토콜, 또는 둘 모두의 프로토콜을 이용해 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간에 네트워크(110)를 통해 미디어 데이터를 통신할 수 있다. 게임 클라우드(102)는 코더/디코더(코덱(codec))(112) 및 스트림 버퍼(114)를 포함한다. 상기 스트림 버퍼(114)는 미디어 데이터(116)의 스트림을 저장하며, 상기 스트림은 게임 프로그램(117)이 실행되면 생성된다. 게임 프로그램(117)은 대화형 게임 프로그램의 예시이며 게임 클라우드(102)의 하나 이상의 서버에 의해 실행된다.
상기 미디어 데이터(116)는 가상 환경 데이터, 가상 게임 객체 데이터, 이들의 조합 등을 포함한다. 다양한 실시예에서, 가상 환경 데이터는 게임의 가상 환경을 생성하도록 렌더링되고 가상 게임 객체 데이터는 하나 이상의 가상 게임 객체, 가령, 가상 게임 캐릭터, 가상 포인트, 가상 상품, 게임 인터페이스 등을 생성하도록 렌더링된다.
일부 실시예에서, 게임의 가상 환경은 가상 게임 객체를 포함한다. 가상 환경의 예로는 가상 지리적 영역, 가령, 가상 도시, 가상 도로, 가상 호수, 가상 바다 등이 있다.
코덱(112)의 예시로는 압축기/압축해제기가 있다. 예를 들어, 코덱(112)은 미디어 데이터(116)를 코딩/디코딩한다. 압축의 예시로는 손실 압축, 무손실 압축 등이 있다.
일부 실시예에서, 코덱(112)은 패킷화(packetization) 및 역패킷화(depacketization)를 수행하고, 코딩 및 디코딩을 수행한다. 이들 실시예에서, 코덱(112)은 스트림 버퍼(114)를 포함한다.
사용자(108)는 HMD(104)를 이용해 HMD(104)의 프로세서에 의해 실행되는 운영 체제(OS)를 액세스할 수 있다. 예를 들어, 사용자(108)는 버튼 HMD(104)을 켜고, HMD(104)의 프로세서는 OS를 실행시킨다.
일부 실시예에서, OS에 의해 HMD(104)는 네트워크(110)를 액세스할 수 있다. 예를 들어, 사용자(108)가 OS에 추가로 HMD(104)의 프로세서에 의해 실행되는 네트워크 액세스 애플리케이션, 가령, 네트워크 액세스 아이콘, 네트워크 액세스 심볼 등을 선택할 때, 네트워크 액세스 애플리케이션은 HMD(104)의 마이크로제어기로 네트워크의 리스트를 제공하여, 사용자(108)에게 디스플레이할 수 있다. 사용자(108)는 사용자 입력 회로를 이용해 네트워크(110)를 액세스하기 위한 네트워크 중 하나를 선택할 수 있다. 예를 들어, 사용자(108)는 하나 이상의 두부 동작, 가령, 두부 기울이기, 윙크, 응시, 째려보기, 끄덕이기, 가로 젓기 등을 수행할 수 있고, 이는 사용자 입력 회로에 의해 검출되어 네트워크들 중 하나를 선택하기 위한 입력을 생성할 수 있다. 또 다른 예를 들면, 사용자(108)는 HHC(106) 상의 버튼을 선택하여 네트워크들 중 하나를 선택할 수 있고, HHC(106)의 통신 회로에 의해 선택이 HHC(106)에서 HMD(104)로 통신된다. 통신 회로의 예시는 트랜시버, 전송/수신 회로, 네트워크 인터페이스 제어기, 또는 이들의 조합 등을 포함한다. 네트워크 액세스 애플리케이션은 패스워드, 가령, 보안 키, 패스코드 등을 사용자(108)로부터 요청하여 네트워크(110)를 액세스할 수 있다. 패스워드가 유효하다고 인증되면, 상기 네트워크 액세스 애플리케이션이 사용자(108)에 의한 네트워크(110)의 액세스를 허용한다.
네트워크(110)가 액세스되면, OS에 의해 HMD(104)가 게임 프로그램(117)을 액세스할 수 있다. 예를 들어, 사용자(108)가 OS에 추가로 HMD(104)의 프로세서에 의해 실행되는 게임 액세스 애플리케이션, 가령, 게임 액세스 아이콘, 게임 액세스 심볼 등을 선택할 때, 상기 게임 액세스 애플리케이션은 네트워크(110)를 통한 게임 프로그램(117)으로의 액세스를 요청한다. 예를 들어, 사용자(108)는 하나 이상의 두부 동작을 수행하고 상기 두부 동작은 사용자 입력 회로에 의해 검출되어 게임 액세스 애플리케이션을 선택하기 위한 입력을 생성할 수 있다. 또 다른 예를 들면, 사용자(108)는 HHC(106) 상의 버튼을 선택하여 게임 액세스 애플리케이션을 선택하고, HHC(106)의 통신 회로에 의해 상기 선택이 HHC(106)에서 HMD(104)로 통신된다.
네트워크(110)를 통한 게임 프로그램(117)으로의 액세스가 획득되면, HMD(104)의 마이크로제어기가 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이한다. 일부 실시예에서, HMD(104)의 디스플레이 스크린은, HMD(104)가 빠르게 움직일 때 블러(blur) 현상을 감소시키기 위한 고성능 스크린이다. 사용자(108)는 두부 동작 중 하나 이상을 수행하고 각각의 두부 동작이 사용자 입력 회로를 트리거하여 입력을 생성하게 하며, 상기 입력은 게임을 플레이하도록 사용될 수 있다. 일부 실시예에서, 사용자(108)는 자신의 손 및 각각의 손 동작, 가령, 손가락 누름, 손가락 이동, 손가락 회전, 손가락 상향 이동, 손가락 하향 이동, 손가락 우향 이동, 손가락 좌향 이동 등을 이용해 HHC(106)의 하나 이상의 버튼을 선택하고, HHC(106)를 트리거하여 입력을 생성하게 하고 상기 입력이 게임을 플레이하도록 사용될 수 있다.
일부 실시예에서, 게임 액세스 애플리케이션은 사용자(108)로부터 사용자 이름 및/또는 패스워드를 요청하여 게임 프로그램(117)을 액세스할 수 있다. 게임 클라우드(102)로부터 사용자 이름 및/또는 패스워드가 유효하다는 인증이 수신되면, 게임 액세스 애플리케이션이 사용자(108)에 의한 게임 프로그램(117)의 액세스를 허용한다. 여러 실시예에서, 사용자(108)는 손 동작들 중 하나 이상을 수행 및/또는 두부 동작들 중 하나 이상을 수행함으로써 사용자 이름 및/또는 패스워드를 제공한다.
다양한 실시예에서, 게임 액세스 애플리케이션을 액세스하는 대신, 사용자(108)는 네트워크(110)에 액세스할 때 웹 페이지로의 액세스를 요청하고 상기 웹 페이지는 사용자(108)가 게임 프로그램(117)을 액세스하게 한다. 예를 들어, 사용자(108)는 두부 동작들 중 하나 이상을 수행함으로써 사용자 입력 회로를 통해 또는 손 동작들 중 하나 이상을 수행함으로써 HHC(106)를 통해 웹 브라우저 애플리케이션을 선택하여 웹 페이지를 액세스할 수 있다. 웹 페이지를 액세스하면, 사용자(108)가 웹 페이지 상에 디스플레이되는 게임을 플레이한다. 상기 게임은 게임 프로그램(117)이 게임 클라우드(102) 상에서 실행될 때 디스플레이된다.
일부 실시예에서, 게임 프로그램(117)이 게임 클라우드(102) 상에서 실행될 때 디스플레이되는 게임을 플레이하기 위해 웹 페이지를 액세스하기 전에 사용자(108)의 사용자 이름 및/또는 패스워드가 인증된다. 사용자 이름 및/또는 패드워드는 사용자(108)가 게임 액세스 애플리케이션을 통해 게임을 액세스할 때 앞서 기재된 것과 유사한 방식으로 인증된다.
게임 프로그램(117)이 액세스될 때, 코덱(112)은 미디어 데이터(116)의 디지털 데이터 스트림을 인코딩, 가령, 압축 등을 하여 상기 네트워크(110)를 통해 상기 인코딩된 미디어 데이터의 스트림을 HMD(104)로 전송할 수 있다. 일부 실시예에서, 인코딩된 미디어 데이터의 디지털 데이터 스트림은 네트워크(110)를 통해 전송되도록 패킷의 형태를 가진다. HMD(104)는 네트워크(110)를 통해 코덱(112)으로부터 인코딩된 미디어 데이터의 디지털 데이터 스트림을 수신하고 상기 디지털 데이터 스트림은 프로세싱, 가령, 디코딩, 패킷화 등이 되고, HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이하도록 렌더링될 수 있다.
게임이 HMD(104)의 디스플레이 스크린 상에 디스플레이될 때, 상기 HMD(104)의 외부 비디오 카메라가 사용자(108)를 둘러 싸는 실세계 환경의 하나 이상의 이미지를 캡처한다. 실시계 환경의 예시로는 사용자(108)가 위치하는 방, 사용자(108)가 위치하는 지리적 영역, 사용자(108) 주위의 실세계 물체 등이 있다. 지리적 영역의 예시로는, 공원, 도로, 거리, 호수, 도시, 랜드마크 등이 있다. 실세계 물체의 예시로는, 버스 정류장, 커피숍, 상점, 플레이용 카드, 카드 더미, 양동이, 병, 전화기, 이동 전화기, 플레이용 카드 상의 바코드, 사무실, 차량, 방, 책상, 테이블, 의자 등이 있다. 실세계 환경의 하나 이상의 이미지의 데이터인 실세계 환경 데이터는 HMD(104)에 의해 패킷화 및 인코딩되고 인코딩된 환경 데이터의 스트림으로서 네트워크(110)를 통해 코덱(112)으로 전송된다. 예를 들어, 실세계 환경 데이터가 라우터를 통해 전송되지 않을 때, 상기 실세계 환경 데이터는 HMD(104)로부터 직접 네트워크(110)를 통해 게임 클라우드(102)로 전송된다. 일부 실시예에서, 실세계 환경 데이터는 오디오 데이터, 비디오 데이터, 또는 이들의 조합을 포함한다. 다양한 실시예에서, 상기 실세계 환경 데이터는 본 명세서에서 실세계 미디어로 지칭된다.
일부 실시예에서, HMD(104)의 외부 비디오 카메라를 대신하여 또는 이에 추가로, 이동성 디지털 카메라가 실세계 환경의 이미지를 캡처하도록 사용된다. 예를 들어, 비디오 카메라는 사용자(108)를 둘러싸고 사용자를 포함하는 실세계 환경의 이미지를 캡처하도록 로봇 장치로 연결된다. 로봇 장치의 예로는 멀티콥터(multicopter), 로봇 암, 로봇, 로봇 차량, 로봇 자동차, 쿼드콥터(quadcopter) 등이 있다. 예를 들어, 디지털 카메라는, 가령, HMD(104), 사용자(108) 및/또는 HHC(106)를 둘러 싸는 실세계의 이미지를 캡처하기 위한 로봇 장치의 아래, 위, 측방에 부착된다.
인코딩된 실세계 환경 데이터의 스트림을 수신하면, 코덱(112)은 상기 인코딩된 실세계 환경 데이터 를 디코딩하고 게임 클라우드(102)의 하나 이상의 서버가 스트림을 역패킷화한다. 일부 실시예에서, HMD(104)로부터 수신된 인코딩된 실세계 환경 데이터의 스트림이 게임 클라우드(102)에 의해 우선 역패킷화되고 그 후 디코딩된다.
디코딩된 실세계 환경 데이터를 기초로, 게임 프로그램(117)은 추가 미디어 데이터의 스트림을 생성하도록 게임 클라우드(102)의 하나 이상의 서버에 의해 패킷화되는 추가 미디어 데이터를 생성한다. 예를 들어, 게임 프로그램(117)은 실세계 책상의 이미지 상에 디스플레이될 가상 게임 캐릭터를 생성한다. 또 다른 예를 들면, 게임 프로그램(117)은 사용자(108)의 실세계 사무실의 이미지 내에 디스플레이될 가상 디스플레이 스크린을 생성한다.
일부 실시예에서, 생성된 가상 게임 객체는 실세계 물체들 간 실세계 관계를 기초로 한다. 예를 들어, 실세계에서,실제 자동차가 실제 도로 상에서 운전된다. 이 예시에서, 가상 자동차는 실세계 도로의 이미지가 게임 프로그램(117)에 의해 수신될 때 생성된다. 또 다른 예를 들면 실제 사무실 내 실제 책상 상에 실제 전화기 또는 실제 컴퓨터가 위치한다. 이 예시에서, 가상 전화기 또는 가상 디스플레이 스크린이 실세계 사무실에 위치하는 실세계 책상의 이미지 상에 배치된다. 추가 미디어 데이터가 가상 게임 객체 데이터 및/또는 가상 환경 데이터를 포함한다. 가상 게임 객체 데이터 및 가상 환경 데이터의 예로는, 컴퓨터 생성형 객체 데이터, 게임 클라우드(102)의 하나 이상의 서버에 의해 생성된 객체 데이터 등이 있다.
일부 실시예에서, 추가 미디어 데이터는 게임 클라우드(102)의 하나 이상의 서버에 의해 생성되는 가상 게임 객체 데이터를 포함하고, HMD(104)로부터 네트워크(110)를 통해 수신된 실세계 환경 데이터를 포함한다.
추가 미디어 데이터의 스트림이 스트림 버퍼(114)에 저장되고, 코덱(112)에 의해 인코딩되며, 네트워크(110)를 통해 HMD(104)로 인코딩된 추가 미디어 데이터의 스트림으로서 전송된다. 일부 실시예에서, 추가 미디어 데이터는 우선 인코딩되고 그 후 패킷화되어 인코딩된 추가 미디어 데이터의 스트림을 생성할 수 있다. HMD(104)는 인코딩된 추가 미디어 데이터의 스트림을 수신하고, 상기 스트림을 역패킷화하며, 인코딩된 추가 미디어 데이터를 디코딩하여 추가 미디어 데이터를 HMD(104)의 마이크로제어기로 제공할 수 있다.
HMD(104)의 마이크로제어기는 추가 미디어 데이터를 기초로 게임 프로그램(117)에 의해 실행되는 게임의 디스플레이를 변경한다. 예를 들어, HMD(104)의 마이크로제어기가 가상 게임 객체 데이터를 렌더링하여 가상 게임 객체의 하나 이상의 이미지를 생성할 수 있고 마이크로제어기에 의해 상기 가상 게임 객체는 HMD(104)의 외부 비디오 카메라에 의해 캡처된 실세계 환경의 하나 이상의 이미지 상에 덧씌워진다. 또 다른 예를 들면, 아바타 또는 가상 게임 캐릭터가 플레이용 카드의 바코드 위에 중첩된다.
실세계 환경의 하나 이상의 이미지 상에 덧씌워진 가상 게임 객체의 예시로서, 실세계 환경에서의 테이블의 외양, 가령, 색상, 형태, 질감 등이 변경된다. 또 다른 예시로서, 실세계 방 안의 모든 실세계 물체가 일부 실세계 물체에 대해서만 제외하고 제거된다.
게임 플레이 동안, 가령, 실세계 환경의 하나 이상의 이미지 상에 가상 게임 객체를 덧씌우기 전 또는 후에, 하나 이상의 입력이 HMD(104) 및/또는 HHC(106)로부터 수신된다. 예를 들어, 사용자(108)는 HMD(104)를 착용하면 두부 동작들 중 하나 이상을 수행한다. 하나 이상의 두부 동작이 수행되어, 실세계 환경의 하나 이상의 이미지 상에 덧씌워진 가상 게임 객체 또는 가상 환경을 제어, 가령, 위치 변경, 자세 변경, 외양 변경, 모션 변경 등을 할 수 있다. 또 다른 예를 들면, 사용자(108)는 손 동작, 가령, 버튼 누름, 조이스틱 이동, 손 제스처, 손가락 제스처, 이들의 조합 등 중 하나 이상을 수행하여, 실세계 환경의 하나 이상의 이미지 상에 덧씌워진 가상 게임 객체 또는 가상 환경을 제어할 수 있고, 상기 하나 이상의 손 동작이 수행될 때, HHC(106)는 HMD(104)의 통신 회로로 전송되도록 HHC(106)의 통신 회로에 의해 입력 신호로 변환되는 입력 데이터를 생성한다. 복수의 실시예에서, 사용자(108)는 두부 동작 및/또는 손 동작을 수행해 실세계 환경의 하나 이상의 이미지 상에 중첩된 가상 객체의 위치 및/또는 배향을 변화시킨다. HMD(104)의 통신 회로에 의해 입력 신호가 아날로그 형태에서 디지털 형태로 변환되어 입력 데이터를 생성하고, 상기 입력 데이터는 HMD(104)에 의해 패킷화 및 인코딩되고 네트워크(110)를 통해 코덱(112)으로 전송된다.
일부 실시예에서, 게임 프로그램(117)은 하나 이상의 두부 동작들을 기초로 생성된 입력 데이터를 하나 이상의 손 동작을 기초로 생성된 입력 데이터와 사상하여 HMD(104) 상에 디스플레이되는 게임의 상태를 변경할지 여부를 결정할 수 있다. 예를 들어, HHC(106) 상의 버튼의 누름을 가리키는 입력과 함께 두부 기울임(head tilt)을 나타내는 입력이 네트워크(110)를 통해 수신될 때, 게임 프로그램(117)은 게임의 상태를 변경시키도록 결정한다. 이와 다른 경우, 게임 프로그램(117)은 게임의 상태를 변경하지 않도록 결정한다.
하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성되는 입력의 입력 데이터가 HMD(104)에 의해 패킷화 및 인코딩되며 네트워크(110)를 통해 코덱(112)으로 인코딩된 입력 데이터의 스트림으로서 전송된다. 예를 들어, 입력 데이터가 라우터를 통해 전송되지 않을 때, 상기 입력 데이터는 HMD(104)로부터 직접 네트워크(110)를 통해 게임 클라우드(102)로 전송된다. 상기 라우터는 HMD(104)와 네트워크(110) 사이에 위치하여, HMD(104)와 네트워크(110) 사이에서 주소지정된 장치 등으로 데이터를 라우팅, 가령, 지향, 전송을 할 수 있다.
코덱(112)은 HMD(104)로부터 네트워크(110)를 통해 수신된 인코딩된 입력 데이터의 스트림을 디코딩, 가령, 압축해제 등을 하고, 디코딩된 입력 데이터는 역패킷화 및 게임 프로그램(117)으로 전송되도록 스트림 버퍼(114)에 버퍼링된다. 게임 클라우드(102)의 하나 이상의 서버가 디코딩된 입력 데이터의 스트림을 역패킷화하고 입력 데이터를 게임 프로그램(117)으로 전송한다. 일부 실시예에서, 게임 클라우드(102)는 우선 역패킷화를 수행하고 그 후 디코딩을 수행한다.
입력 데이터를 기초로, 게임 프로그램(117)은 다음 미디어 데이터의 스트림을 생성하도록 게임 클라우드(102)의 하나 이상의 서버에 의해 패킷화되는 다음 미디어 데이터를 생성한다. 다음 미디어 데이터의 스트림이 스트림 버퍼(114)에 저장되고, 코덱(112)에 의해 인코딩되며, 네트워크(110)를 통해 HMD(104)로 인코딩된 다음 미디어 데이터의 스트림으로서 전송된다. 일부 실시예에서, 다음 미디어 데이터를 네트워크(110)를 통해 HMD(104)로 전송하기 전에, 다음 미디어 데이터는 우선 인코딩되고, 그 후 패킷화된다. HMD(104)는 인코딩된 다음 미디어 데이터의 스트림을 수신하고, 상기 스트림을 역패킷화하며, 인코딩된 다음 미디어 데이터를 디코딩하여 다음 미디어 데이터를 HMD(104)의 마이크로제어기로 제공할 수 있다.
일부 실시예에서, 게임 환경은 미디어 데이터(116), 또는 추가 미디어 데이터, 또는 다음 미디어 데이터, 또는 이들의 조합을 포함한다.
HMD(104)의 마이크로제어기는 다음 미디어 데이터를 기초로 게임 프로그램(117)에 의해 실행되는 게임의 디스플레이를 변경한다. 예를 들어, 마이크로제어기는 실세계 환경의 하나 이상의 이미지 상에 덧씌워진 가상 게임 객체의 외양, 위치 및/또는 배향을 변화시킨다. 또 다른 예를 들어, 사용자(108)가 끄덕일 때, 게임 프로그램(117)을 실행함으로써 생성된 게임의 가상 세계에서 사용자(108)의 아바타(avatar)가 또한 끄덕인다. 이 예시에서, 아바타는 실세계 환경의 하나 이상의 이미지 상에 덧씌워진다. 또 다른 예를 들면, 사용자(108)가 자신의 두부를 가로 저으면, 게임 프로그램(117)을 실행함으로써 생성되는 게임의 가상 세계에서 사용자의 아바타(108) 역시 두부를 가로 젓는다. 이 예시에서, 아바타는 실세계 환경의 하나 이상의 이미지 상에 덧씌워진다. 또 다른 예를 들면, 사용자(108)가 HMD(104)의 디스플레이 스크린 상에 디스플레이되는 가상 게임 캐릭터를 바라볼 때, 가상 게임 캐릭터가 사용자(108)를 바라본다. 사용자(108)가 가상 게임 캐릭터로부터 시선을 뗄 때, 상기 가상 게임 캐릭터가 사용자(108)로부터 시선을 뗀다. 이 예시에서, 아바타는 실세계 환경의 하나 이상의 이미지 상에 덧씌워진다. 덧붙여, 이 예시에서, HMD(104)의 외부 비디오 카메라가 사용자(108)의 눈의 이미지 또는 두부 위치를 캡처한다. 눈의 시선 또는 두부 위치를 기초로, 게임 프로그램(117)은 가상 게임 캐릭터의 눈의 위치를 변화시킨다.
하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력의 입력 데이터가 게임의 상태를 변화시킴이 주지되어야 한다. 일부 실시예에서, 게임의 디스플레이가 게임 프로그램(117)과 연관된 대화의 일부분으로 지칭된다.
다양한 실시예에서, HHC(106)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터를 HMD(104)로 통신하는 대신, 입력 데이터가 HHC(106)로부터 직접 네트워크(110)를 통해 코덱(112)으로 직접 통신된다. 예를 들어, 입력 데이터가 HHC(106)와 네트워크(110) 사이에서 라우터(도시되지 않음)를 통해 통신되지 않을 때, 입력 데이터가 HHC(106)로부터 직접 네트워크(110)를 통해 코덱(112)으로 통신된다. HMD(104)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터가, HMD(104)에 의해 입력 데이터가 통신되는 것과 유사한 방식으로 HHC(106)에 의해 통신된다. 예를 들어, HMD(104)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터가 HHC(106)에 의해 인코딩 및 패킷화되고, 인코딩된 입력 데이터의 스트림으로서 네트워크(110)를 통해 코덱(112)으로 전송된다.
HMD(104)와 네트워크(110) 사이의 라우터의 부재(도시되지 않음)가 네트워크(110)와 HMD(104) 간 홉의 수를 감소시킴이 자명할 것이다. 라우터가 없는 실시예에서, 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)에 의해 네트워크(110)를 통해 HMD(104)의 무선 액세스 카드(WAC)로 직접 스트리밍된다. 덧붙여, 이들 실시예에서, 데이터, 가령, 입력 데이터, 실세계 환경 데이터 등이 HMD(104)의 WAC에 의해 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 직접 스트리밍된다. 홉 수의 감소가 라우터와 연관된 시간을 절약한다. 예를 들어, 라우터는 또 다른 장치로부터 데이터를 수신하고 상기 데이터를 버퍼링하며, 데이터를 분석하고 상기 데이터를 또 다른 네트워크 장치로 재전송한다. 데이터가 라우터를 우회하여 네트워크(110)를 통해 HMD(104)와 게임 클라우드(102) 간에 전송될 때 데이터를 수신하고, 데이터를 버퍼링하며, 데이터를 분석하고, 데이터를 재전송하는 시간이 절약된다. 또한 데이터가 라우터를 우회하여 네트워크(110)를 통해 HHC(106)와 게임 클라우드(102) 간에 전송될 때, 데이터를 수신하고, 데이터를 버퍼링하며, 데이터를 분석하고, 데이터를 재전송하는 시간이 절약된다.
마찬가지로, HMD(104) 또는 HHC(104)와 네트워크(110) 간에 컴퓨터, 가령, 콘솔, 모바일 장치 등이 사용되지 않을 때, 데이터를 수신하고, 저장하며, 분석하고, 재전송하는 것과 연관된 시간이 절약된다.
도 1b는 네트워크(110) 및 라우터(152)를 통해 HMD(104) 또는 HHC(106)와 게임 클라우드(102) 간에 데이터를 전송하기 위한 시스템(150)의 하나의 실시예의 다이어그램이다. 상기 시스템(150)이 HMD(104)와 네트워크(110) 사이에서 라우터(152)를 포함한다는 것을 제외하고, 상기 시스템(150)은 시스템(100)(도 1a)과 유사하다. 상기 라우터(152)는 HHC(106)와 네트워크(110) 사이에도 위치한다.
HMD(104)는, 무선 연결, 가령, Bluetooth 연결, Wi-Fi 연결 등을 통해 라우터(152)로 연결된다. 덧붙여, HHC(106)는 무선 연결, 가령, Bluetooth 연결, Wi-Fi 연결 등을 통해 라우터(152)로 연결된다. 일부 구현예에서, 라우터(152)는 유선 연결을 통해 네트워크(110)로 연결된다.
인코딩된 데이터의 스트림이 HMD(104) 또는 HHC(106)에서 라우터(152)로 전송되는 것을 제외하고, 시스템(150)은 시스템(100)(도 1a)과 유사하게 동작한다. 상기 라우터(152)는, 인코딩된 데이터의 스트림을 네트워크(110) 내 하나의 경로로 라우팅, 가령, 지향 등을 시켜, 코덱(112)으로 스트림을 전송하는 것을 촉진할 수 있다. 상기 라우터(152)는 코덱(112)의 IP 주소 및/또는 매체 액세스 층(MAC) 주소를 이용해, 인코딩된 데이터의 스트림을 코덱(112)으로 라우팅할 수 있다. 일부 실시예에서, 상기 라우터(152)는 하나 이상의 네트워크 트래픽 요인, 가령, 네트워크 경로 상의 패킷 트래픽, 네트워크 경로 상의 혼잡 등을 기초로, 네트워크(110)의 네트워크 경로를 결정한다.
라우터(152)는 네트워크(110)를 통해 게임 클라우드(102)로부터 인코딩된 데이터의 스트림을 수신하고 상기 인코딩된 데이터의 스트림을 HMD(104)로 라우팅한다. 예를 들어, 라우터(152)는 수신된 인코딩된 데이터의 스트림을 HMD(104)의 IP 주소 및/또는 MAC 주소를 기초로 게임 클라우드(102)로부터 네트워크(110)를 통해 HMD(104)로 라우팅한다.
도 1c는 컴퓨터(172)를 이용하여 미디어 데이터를 통신하고 라우터(152)를 이용하거나 이용하지 않고 입력 데이터 및/또는 미디어 데이터 및/또는 실세계 환경 데이터를 통신하기 위한 시스템(170)의 하나의 실시예의 다이어그램이다.
일부 실시예에서, HMD(104) 대신, 무선 네트워크의 리스트가 컴퓨터(172)로 연결되거나 컴퓨터(172) 내에 위치하는 디스플레이 스크린 상에 표시된다. 예를 들어, 컴퓨터(172)가 모바일 전화기일 때, 컴퓨터(172)는 무선 네트워크의 리스트를 디스플레이하기 위한 디스플레이 스크린을 포함한다. 또 다른 예를 들면, 컴퓨터(172)가 텔레비전 디스플레이 스크린으로 연결될 때, 무선 네트워크의 리스트가 디스플레이 스크린 상에 디스플레이된다. 이들 실시예에서, 컴퓨터(172)의 프로세서(176)가 컴퓨터(172)의 메모리 장치 내에 저장된 무선 액세스 애플리케이션을 실행할 때 무선 네트워크의 리스트가 액세스된다. 사용자(108)가 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써 HMD(104) 또는 HHC(106)를 통해 무선 액세스 애플리케이션을 액세스할 때, 상기 프로세서(176)는 무선 액세스 애플리케이션을 실행한다. 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력 데이터가 HMD(104) 또는 HHC(106)의 통신 회로로부터 컴퓨터(172)로 전송된다. 컴퓨터(172)의 프로세서(176)가 입력 데이터를 수신할 때, 무선 액세스 애플리케이션이 실행되어 무선 네트워크의 리스트를 생성할 수 있다.
컴퓨터(172)는 게임 클라우드(102)로부터 게임 프로그램(117)의 일부분을 요청하는 네트워크 인터페이스 제어기(NIC)(174)를 포함한다. NIC의 예시는 네트워크 인터페이스 카드 및 네트워크 어댑터를 포함한다. 게임 프로그램(117)의 일부분은 코덱(112)에 의해 인코딩되고 네트워크(110)를 통해 컴퓨터(172)의 NIC(174)로 스트리밍된다. 컴퓨터(172)의 프로세서(176)는 게임 프로그램(117)의 일부분을 실행하여 미디어 데이터를 생성하며, 상기 미디어 데이터는 통신 회로(178), 트랜시버, 전송/수신 회로, 네트워크 인터페이스 제어기 등으로부터 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이된다. HMD(104)의 통신 회로가 컴퓨터(172)로부터 미디어 데이터를 수신하고 상기 미디어 데이터를 HMD(104)의 마이크로제어기로 전송하여 HMD(104)의 디스플레이 스크린 상에 디스플레이할 수 있다.
덧붙여, 컴퓨터(172)의 통신 회로(178)는 HMD(104)의 통신 회로로부터 실세계 환경 데이터를 수신한다. 실세계 환경 데이터에 응답하여, 상기 프로세서(176)는 컴퓨터(172) 내에 저장된 게임 프로그램(117)의 일부분을 실행하여, 추가 미디어 데이터를 생성하고, 상기 미디어 데이터는 통신 회로(178)로부터 HMD(104)의 통신 회로로 전송된다.
추가 미디어 데이터를 수신하기 전 또는 후에, 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 HMD(104) 및/또는 HHC(106)로부터의 입력 데이터가 HMD(104)의 통신 회로에 의해 통신 회로(178)를 통해 프로세서(176)로 전송된다. 입력 데이터에 응답하여, 상기 프로세서(176)는 컴퓨터(172) 내에 저장된 게임 프로그램(117)의 일부분을 실행하여, 다음 미디어 데이터를 생성하고, 상기 미디어 데이터는 통신 회로(178)로부터 HMD(104)의 통신 회로로 전송된다. 다음 미디어 데이터는 HMD(104)의 통신 회로로 전송되어 게임 프로그램(117)의 실행에 의해 디스플레이되는 가상 게임 객체 및/또는 게임의 가상 환경을 변경한다. 게임 객체, 가령, 실제 게임 객체, 가상 게임 객체 등 및/또는 환경, 가령, 실제 환경, 가상 환경 등이 변할 때 게임 프로그램(117)의 실행에 의해 디스플레이되는 게임의 게임 상태가 변한다.
일부 실시예에서, 컴퓨터(172)의 NIC(174)에 의해 게임 상태가 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)로 전송되어, 게임 클라우드(102)의 하나 이상의 서버에게 게임 상태를 알려줄 수 있다.
다양한 실시예에서, 게임 프로그램(117)의 일부분이 게임 클라우드(102)로부터 컴퓨터(172)로 다운로드될 때까지, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송된다. 예를 들어, 초기에, 사용자(108)는 게임 액세스 애플리케이션을 이용해 게임 프로그램(117)을 액세스할 수 있다. 게임 프로그램(117)의 일부분의 액세스 동안, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이될 수 있다. HMD(104) 상으로의 디스플레이를 위한 게임 클라우드(102)로부터의 미디어 데이터의 액세스 시간 동안, 컴퓨터(172)의 NIC(174)는 네트워크(110) 및 라우터(152)를 통해 게임 클라우드(102)로부터 게임 프로그램(117)의 일부분을 다운로드한다.
일부 실시예에서, 게임 프로그램(117)의 일부분이 콘솔(172)에 의해 액세스될 때, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이될 수 있다. 이들 실시예에서, 라우터(152)는 우회되어 홉의 수를 감소시킬 수 있다. 라우터(152)를 우회한 후 HMD(104) 상에 디스플레이되도록 게임 클라우드(102)로부터의 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등의 액세스 시간 동안, 컴퓨터(172)의 NIC(174)는 게임 클라우드(102)로부터 네트워크(110) 및 라우터(152)를 통해 게임 프로그램(117)의 일부분을 다운로드한다.
여러 실시예에서, 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작 및/또는 실세계 환경 데이터의 일부분을 기초로 생성된 입력 데이터의 일부분이 HMD(104)로부터 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고 입력 데이터의 나머지 부분 및/또는 실세계 환경 데이터의 나머지 부분이 HMD(104)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다.
다양한 실시예에서, 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HHC(106)의 통신 회로로부터 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되며 입력 데이터의 나머지 부분이 HHC(106)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다.
일부 실시예에서, 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작 및/또는 실세계 환경 데이터의 일부분을 기초로 생성된 입력 데이터의 일부분이 HMD(104)로부터 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고 입력 데이터의 나머지 부분 및/또는 실세계 환경 데이터의 나머지 부분이 HMD(104)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다. 이들 실시예에서, 라우터(152)가 우회된다.
여러 실시예에서, 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HHC(106)의 통신 회로로부터 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고 입력 데이터의 나머지 부분이 HHC(106)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다. 이들 실시예에서, 라우터(152)가 우회된다.
다양한 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되는 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 미디어 데이터를 렌더링하여 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이하며, 컴퓨터(172)의 프로세서(176)에 의해 게임 프로그램(117)의 일부분의 실행에 의해 생성된 미디어 데이터가 컴퓨터(172)의 통신 회로(178)로부터 HMD(104)로 전송되어 디스플레이 스크린 상에 게임을 디스플레이할 수 있다. 이들 실시예에서, 게임 클라우드(102) 및 컴퓨터(172)는 동기화된 게임 상태를 가진다. 예를 들어, 코덱(112)은 게임 프로그램(117)의 실행에 의해 생성된 게임 상태를 네트워크(110) 및 라우터(152)를 통해 컴퓨터(172)의 NIC(174)로 전송하여 컴퓨터(172)에게 게임 상태를 알릴 수 있다. 또 다른 예를 들면, 컴퓨터(172)의 NIC(174)는 컴퓨터(172) 상에서의 게임 프로그램(117)의 일부분의 실행에 의해 생성된 게임 상태를 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송하여, 하나 이상의 게임 클라우드 서버에게 게임 상태를 알릴 수 있다.
일부 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되는 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 미디어 데이터를 렌더링하여 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이하며, 컴퓨터(172)의 프로세서(176)에 의해 게임 프로그램(117)의 일부분의 실행에 의해 생성된 미디어 데이터가 컴퓨터(172)의 통신 회로(178)로부터 HMD(104)로 전송되어 디스플레이 스크린 상에 게임을 디스플레이할 수 있다. 이들 실시예에서, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 코덱(112)에서 HMD(104)로 전송될 때 라우터(152)는 우회된다. 이들 실시예에서, 앞서 기재된 바와 같이 게임 클라우드(102)와 컴퓨터(172)가 게임 상태를 동기화한다.
여러 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되고 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 미디어 데이터를 렌더링하기 위한 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등이 컴퓨터(172)의 프로세서(176)에 의해 게임 프로그램(117)의 일부분의 실행에 의해 생성되는 미디어 데이터보다 많은 그래픽을 가진다.
일부 실시예에서, 게임 프로그램(117)을 실행함으로써 생성되고 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 미디어 데이터를 렌더링하기 위한 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터, 다음 미디어 데이터 등은 컴퓨터(172)의 프로세서(176)에 의한 게임 프로그램(117)의 일부분의 실행에 의해 생성되는 미디어 데이터보다 많은 그래픽을 가진다. 이들 실시예에서, 미디어 데이터가 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송될 때, 라우터(152)가 우회된다.
다양한 실시예에서, HMD(104)(도 1a-1c, 2)가 2차원 또는 3차원 이미지를 디스플레이하도록 사용된다.
도 2는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 하는 입력 데이터의 생성을 나타내기 위한 시스템(200)의 하나의 실시예의 다이어그램이다. 사용자(108)는 HMD(202)를 착용하고, HHC(204)를 쥐고 있다. HMD(202)는 HMD(104)(도 1a-1c)의 예시이며 HHC(204)는 HHC(106)(도 1a-1c)의 예시이다.
HMD(202)는 하나 이상의 마커, 가령, 마커(M1), 마커(M2), 및 마커(M3) 등을 포함한다. 마찬가지로, HHC(204)는 하나 이상의 마커, 가령, 마커(M4), 마커(M5), 마커(M6) 등을 포함한다. 각각의 마커는 발광 다이오드, 광원, 컬러, 반사성 물질 등일 수 있다.
비디오 카메라(206)는 HMD(202)의 이미지를 캡처한다. 사용자(108)의 두부가 기울어지거나 움직일 때, xyz 좌표계에서 마커(M1 내지 M3)의 위치가 변경된다. 상기 비디오 카메라(206)는 마커(M1 내지 M3)의 이미지를 캡처하고 상기 이미지를 컴퓨터(172)로 전송한다. 마커(M1 내지 M3)의 이미지는 입력 데이터의 예시이다. 3차원 공간(X, Y, Z)에서의 HMD(202)의 위치가 이미지에서 마커(M1 내지 M3)의 위치를 기초로 컴퓨터(172)의 프로세서(176)(도 1c)에 의해 결정될 수 있다. 또한, HMD(202)의 관성 운동, 가령, 요(yaw), 틸트(tilt), 및 롤(roll) 등이 마커(M1 내지 M3)의 움직임을 기초로 컴퓨터(172)의 프로세서(176)(도 1c)에 의해 결정된다.
다양한 실시예에서, 비디오 카메라(206)는 이동형(mobile)이다. 예를 들어, 비디오 카메라(206)는 로봇 장치, 가령, 멀티콥터(multicopter), 로봇 암, 로봇, 로봇 차량, 로봇 자동차, 쿼드콥터(quadcopter) 등에 부착된다. 예를 들어, 상기 비디오 카메라(206)는 사용자(108) 및/또는 HMD(202) 및/또는 HHC(204)의 이미지를 캡처하기 위해 로봇 장치 아래, 위, 측방 등에 부착된다. HMD(202)는 사용자(108)의 두부의 움직임에 따라 이동한다. 여러 실시예에서, 비디오 카메라(206) 대신, 디지털 카메라가 사용된다.
일부 실시예에서, 비디오 카메라(206)는 HHC(204)의 이미지를 캡처한다. 사용자(108)의 손이 움직일 때, 마커(M4 내지 M6)의 위치가 좌표계에서 변화한다. 비디오 카메라(206)가 마커(M4 내지 M6)의 이미지를 캡처하고 상기 이미지를 컴퓨터(172)로 전송한다. 마커(M4 내지 M6)의 이미지는 입력 데이터의 예시이다. 3차원 공간(X, Y, Z)에서의 HHC(204)의 위치가 상기 이미지에서의 마커(M4 내지 M6)의 위치를 기초로 컴퓨터(172)의 프로세서(176)에 의해 결정될 수 있다. 덧붙여, HHC(204)의 관성 운동, 가령, 요, 틸트, 및 롤 등이 상기 마커(M4 내지 M6)의 움직임을 기초로 컴퓨터(172)의 프로세서(176)에 의해 결정된다.
일부 실시예에서, HHC(204) 대신, 사용자(108)의 손이 마커(M4 내지 M6)로 마킹된다.
도 3은 HMD(250)의 실시예의 다이어그램이며, 이는 HMD(104)(도 1a-1c)의 일례이다. HMD(250)는 비디오 오디오 분리기(254), 비디오 디코더(255), WAC(258), 스트림 버퍼(259), 하나 이상의 스피커(260), 사용자 입력 회로(262), 디스플레이 스크린(266), 마이크로제어기(268), 오디오 버퍼(272), 외부 비디오 카메라(274), 오디오 코덱(276), 내부 디지털 카메라(278), 비디오 버퍼(280), 비디오 오디오 동기화기(282), 마이크로폰(284), 및 제어기/컴퓨터 통신 회로(287)를 포함한다. 상기 외부 비디오 카메라(274)는 사용자(108)의 실세계 환경을 대면하고 내부 디지털 카메라(278)는 사용자(108), 가령, 사용자(108)의 눈, 두부 등을 대면한다.
여러 실시예에서, 스피커(260)는 오디오 회로이다. 다양한 실시예에서, 오디오 코덱(276), 오디오 버퍼(272), 및/또는 스피커(260)는 오디오 회로이다. 일부 실시예에서, 비디오 디코더(255)와 마이크로제어기(268)의 조합이 게임 프로세싱 회로로 지칭된다. 다양한 실시예에서, 마이크로제어기(268)는 디스플레이 회로이다. 디스플레이 스크린의 예시가 LED 스크린, 액정 디스플레이(LCD) 스크린, 실리콘 액정(liquid crystal on silicon) 스크린, 유기 LED(OLED) 스크린, 플라스마 스크린 등을 포함한다. 외부 디지털 카메라(274)의 하나의 예시는 Sony Computer Entertainment, Inc.가 제조하는 Playstation Eye®를 포함한다.
마이크로제어기(268)는 렌더링 프로그램(286) 및 운영 체제(288)를 저장한다. 상기 렌더링 프로그램(286) 및 운영 체제(288)는 마이크로제어기(286)의 메모리 장치에 저장되고 마이크로제어기(268)의 마이크로프로세서에 의해 실행된다. 상기 마이크로제어기(268)의 하나의 예시는 디스플레이 스크린(266) 상에 게임을 디스플레이하기 위해 디스플레이 스크린(266)의 요소, 가령, LCD를 구동하는, 가령, 신호를 제공하거나 활성화하기 위한 신호를 생성하는 드라이버, 가령, LCD 드라이버를 포함하는 저 비용 마이크로제어기를 포함한다. 마이크로제어기(268)의 또 다른 예시는 그래픽 처리 유닛(GPU) 및 메모리 장치를 포함한다.
일부 실시예에서, 마이크로제어기(268)의 메모리 장치는 플래시 메모리 또는 랜덤 액세스 메모리(RAM)가 아닌 다른 것이다. 예를 들어, 마이크로제어기의 메모리 장치는 버퍼이다. 다양한 실시예에서, 마이크로제어기(268)의 메모리 장치는 플래시 메모리 또는 RAM이다. 사용자 입력 회로(262)의 예시는 자이로스코프, 자기력계 및 가속도계를 포함한다. WAC(258)의 예시는 NIC를 포함한다. 일부 실시예에서, WAC(258)는 통신 회로로 지칭된다.
인코딩된 미디어 데이터의 스트림이 네트워크(110) 또는 라우터(152)(도 1b-1c, 2)로부터 스트림 버퍼(259)로 수신된다. 스트림 버퍼(259)에 의해 수신되는 인코딩된 미디어 데이터의 예시는 인코딩된 미디어 데이터(116)(도 1a-1c, 2), 인코딩된 추가 미디어 데이터, 및 인코딩된 다음 미디어 데이터 등을 포함한다. 라우터(152)가 컴퓨터(172)(도 2)에 연결될 때, 컴퓨터(172)로부터 수신된 데이터는 스트림 버퍼(259)에 저장된 대신 HMD(250)의 버퍼(도시되지 않음)에 저장된다.
WAC(258)는 스트림 버퍼(259)로부터 인코딩된 미디어 데이터의 스트림을 액세스하고 상기 스트림을 역패킷화한다. 또한 WAC(258)는 인코딩된 미디어 데이터를 디코딩하기 위한 디코더도 포함한다.
인코딩된 미디어 데이터의 스트림이 라우터(152)(도 1c)를 통해 컴퓨터(172)(도 1c)에 의해 수신되는 실시예에서, 컴퓨터(172)의 NIC(174)(도 1c)가 상기 인코딩된 미디어 데이터의 스트림을 역패킷화하고 디코딩하여, 디코딩된 데이터를 생성하며, 상기 디코딩된 데이터는 라우터(152)에 의해 HMD(250)의 버퍼(도시되지 않음)로 전송되어 저장될 수 있다.
비디오 오디오 분리기(254)에 의해 디코딩된 데이터가 WAC(258) 또는 HMD(250)의 버퍼(도시되지 않음)로부터 액세스된다. 비디오 오디오 분리기(254)는 디코딩된 데이터 내에서 비디오 데이터와 오디오 데이터를 분리한다.
상기 비디오 오디오 분리기(254)는 오디오 데이터를 오디오 버퍼(272)로 전송하고 비디오 데이터를 비디오 버퍼(280)로 전송한다. 상기 비디오 오디오 동기화기(282)가 비디오 버퍼(280)에 저장된 비디오 데이터를 오디오 버퍼(272)에 저장된 오디오 데이터와 동기화한다. 예를 들어, 비디오 오디오 동기화기(282)는 비디오 데이터 및 오디오 데이터의 재생 시점을 이용해 상기 비디오 데이터를 오디오 데이터와 동기화할 수 있다.
오디오 코덱(276)은 동기화된 오디오 데이터를 디지털 포맷에서 아날로그 포맷으로 변환하여 오디오 신호를 생성하고 상기 오디오 신호는 스피커(260)에 의해 재생되어 소리를 발생시킬 수 있다. 비디오 디코더(255)는 동기화된 비디오 데이터를 디지털 형태에서 아날로그 형태 등으로 디코딩, 가령, 변경하여, 아날로그 비디오 신호를 생성할 수 있다. 마이크로제어기(268)는 렌더링 프로그램(286)을 실행시켜 상기 비디오 디코더(255)에 의해 생성된 동기화된 아날로그 비디오 신호를 기초로 디스플레이 스크린(266) 상에 게임을 디스플레이할 수 있다. 일부 실시예에서, 디스플레이 스크린(266) 상에 디스플레이되는 게임이 오디오 신호의 재생과 동기화되어 디스플레이된다.
덧붙여, 사용자(108)(도 1a-1c, 2)가 마이크로폰(284)에 말하며, 상기 마이크로폰이 소리, 가령, 음성 등의 신호를 전기 신호, 가령, 오디오 신호로 변환한다. 오디오 코덱(276)은 오디오 신호를 아날로그 포맷에서 디지털 포맷으로 변환하여 오디오 버퍼(276)에 저장된 오디오 데이터를 생성할 수 있다. 오디오 버퍼(276)에 저장된 오디오 데이터는 사용자(108)의 소리를 기초로 생성된 입력 데이터의 예시이다. 상기 오디오 데이터는 오디오 버퍼(276)로부터 WAC(258)에 의해 액세스되어 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 오디오 버퍼(276)로부터 액세스된 오디오 데이터를 패킷화 및 인코딩하여, 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 오디오 데이터는 오디오 버퍼(276)로부터 WAC(258)에 의해 액세스되어 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 오디오 버퍼(276)로부터 액세스된 오디오 데이터를 패킷화 및 인코딩하여 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
내부 디지털 카메라(278)가 사용자(108)(도 1a-1c, 2)의 하나 이상의 두부 동작의 하나 이상의 이미지를 캡처하여, 하나 이상의 두부 동작을 기초로 생성된 입력 데이터의 예시인 이미지 데이터를 생성할 수 있다. 마찬가지로, 외부 비디오 카메라(274)가 실세계 환경 및/또는 HMD(250) 또는 사용자(108)의 손 상에 위치하는 마커의 하나 이상의 이미지를 캡처하여, 입력 데이터의 일례인 이미지 데이터를 생성할 수 있다. 사용자(108)의 손에 위치하는 마커 또는 사용자(108)의 손의 움직임을 기초로 하여 생성된 이미지 데이터는 손 동작을 기초로 생성된 입력 데이터의 예시이다. 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 비디오 버퍼(280)에 저장된다.
일부 실시예에서, 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 HMD(250)의 버퍼에 저장되고 상기 버퍼는 비디오 버퍼(280)가 아닌 다른 것이다. 다양한 실시예에서, 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 비디오 디코더(255)에 의해 디코딩되고 마이크로제어기(268)로 전송되어 디스플레이 스크린(266) 상에 이미지를 디스플레이할 수 있다.
일부 실시예에서, 카메라(274 및 278)에 의해 캡처된 이미지 데이터가 비디오 버퍼(280)로부터 WAC(258)에 의해 액세스되어, 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 비디오 버퍼(280)로부터 액세스된 이미지 데이터를 인코딩하여 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 비디오 데이터는 비디오 버퍼(280)로부터 WAC(258)에 의해 액세스되어 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 비디오 버퍼(280)로부터의 비디오 데이터를 패킷화 및 인코딩하여, 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
제어기/컴퓨터 통신 회로(287)는 컴퓨터(172)로부터 미디어 데이터를 수신하여 HMD(250)의 버퍼(도시되지 않음)에 저장할 수 있다. 덧붙여, 제어기/컴퓨터 통신 회로(287)는 HHC(106)(도 1a-1c, 2)로부터 입력 신호를 수신하고, 상기 입력 신호를 아날로그 형태에서 디지털 형태로 변환하여, 입력 데이터를 생성할 수 있으며, 상기 입력 데이터는 WAC(258)에 의해 액세스되어 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 제어기/컴퓨터 통신 회로(287)로부터 액세스되는 입력 데이터를 패킷화 및 인코딩하여 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 제어기/컴퓨터 통신 회로(287)로부터 WAC(258)에 의해 입력 데이터가 액세스되어, 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 비디오 버퍼(280)로부터의 비디오 데이터를 패킷화 및 인코딩하여, 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 제어기/컴퓨터 통신 회로(287)가 HHC(106)(도 1a-1c, 2)로부터 실세계 환경 데이터를 수신하고 실세계 환경 데이터는 WAC(258)에 의해 액세스되어 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 HHC(106)의 제어기/컴퓨터 통신 회로(287)의 통신 회로로부터 수신된 실세계 환경 데이터를 패킷화 및 인코딩하여, 네트워크(110)를 통해 코덱(112)으로 전송되게 할 수 있다.
일부 실시예에서, 제어기/컴퓨터 통신 회로(287)로부터 WAC(258)에 의해 실세계 환경 데이터가 액세스되어, 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 제어기/컴퓨터 통신 회로(287)로부터 액세스되는 실세계 환경 데이터를 패킷화 및 인코딩하여 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
제어기/컴퓨터 통신 회로(287) 대신, 2개의 개별 통신 회로가 사용될 수 있는데, 하나는 컴퓨터(172)(도 1b)와 통신, 가령, 데이터를 수신, 전송 등을 위해 사용되고, 또 다른 하나는 HHC(106)(도 1a-1c, 2)와 데이터를 통신하기 위해 사용된다.
여러 실시예에서, WAC(258)의 디코더가 WAC(258) 외부에 위치한다. 다양한 실시예에서, 스트림 버퍼(259)는 WAC(258) 내에 위치한다.
여러 실시예에서, HMD(250)는 임의의 개수의 마이크로제어기, 임의의 개수의 버퍼, 및/또는 임의의 개수의 메모리 장치를 포함한다.
다양한 실시예에서, HMD(250)는 전력을 구성요소, 가령, 비디오 오디오 분리기(254), 무선 액세스 카드(258), 스트림 버퍼(259), 하나 이상의 스피커(260), 사용자 입력 회로(262), 디스플레이 스크린(266) 마이크로제어기(268), 오디오 버퍼(272), 외부 비디오 카메라(274), 오디오 코덱(276), 내부 디지털 카메라(278), 비디오 버퍼(280), 비디오 오디오 동기화기(282), 마이크로폰(284), 및 제어기/컴퓨터 통신 회로(287)로 제공하는 하나 이상의 배터리를 포함한다. 상기 하나 이상의 배터리는 교류 아웃렛으로 플러그인될 수 있는 충전기(도시되지 않음)에 의해 충전된다.
일부 실시예에서, HMD(250)는 페어링을 통해 로컬 사용자들 간 피어-투-피어(peer-to-peer) 다중 채널 통신을 촉진하기 위해 통신 회로(도시되지 않음)를 포함한다. 예를 들어, HMD(250)는 마이크로폰(284)으로부터 수신된 소리 신호를 변조하고 채널을 통해 변조된 신호를 타 HMD(도시되지 않음)의 트랜시버로 전송하는 트랜시버를 포함한다. 타 HMD의 트랜시버는 신호를 복조하여 상기 타 HMD의 스피커로 제공하여 사용자들 간 통신을 촉진할 수 있다.
다양한 실시예에서, 서로 다른 채널이 HMD(250)의 트랜시버에 의해 사용되어 서로 다른 타 HMD과 통신할 수 있다. 예를 들어, 변조된 신호가 제1 타 HMD로 전송될 때 통과하는 채널이 변조된 신호가 제2 타 HMD로 전송될 때 통과하는 채널과 상이하다.
일부 실시예에서, WAC(258), 사용자 입력 회로(262), 마이크로제어기(268) 및 비디오 디코더(255)는 하나 이상의 개별 회로 칩으로 집적된다. 예를 들어, WAC(258), 비디오 디코더(255) 및 마이크로제어기(268)는 하나의 회로 칩에 집적되고 사용자 입력 회로(262)는 또 다른 회로 칩으로 집적된다. 또 다른 예를 들면, WAC(258), 사용자 입력 회로(262), 마이크로제어기(268) 및 비디오 디코더(255) 각각이 개별 회로 칩에 집적된다.
여러 실시예에서, HMD(250)에 외부 디지털 카메라(274) 및/또는 내부 디지털 카메라(278)가 부재한다. 이들 실시예에서, 사용자 입력 회로(262)에 의해 생성되고 네트워크(110)(도 1a-1c, 2)를 통해 전송된, 또는 라우터(152)(도 1b-1c, 2) 및 네트워크(110)를 통해 전송된, 또는 라우터(152), 컴퓨터(172), 및 네트워크(110)를 통해 전송된 입력 데이터를 기초로 게임 클라우드(102)의 하나 이상의 서버 및/또는 컴퓨터(172)(도 1c)의 프로세서(176)(도 1c)에 의해 HMD(250)의 위치 및 모션이 결정된다.
일부 실시예에서, 내부 디지털 카메라(278)가 사용자(108)의 눈 또는 두부를 볼 수 없을 때 및/또는 비디오 카메라(206)(도 2)가 사용자(108)의 두부를 볼 수 없을 때, 사용자 입력 회로(262)는 입력 데이터를 생성한다. 이들 실시예에서, 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)로 전송된 또는 라우터(152)(도 1b-1c, 2) 및 네트워크(110)를 통해 전송된 또는 라우터(152), 컴퓨터(172), 및 네트워크(110)를 통해 전송된 입력 데이터를 기초로, 게임 클라우드(102)의 하나 이상의 서버 및/또는 컴퓨터(172)(도 1c)의 프로세서(176)(도 1c)에 의해, HMD(250)의 위치 및 움직임이 결정된다.
일부 실시예에서, HMD(250), 가령, HMD(250)의 WAC(258) 등이 둘 이상의 모드를 스위칭한다. 제1 모드는 네트워크(110)(도 1a-1c, 2)를 통한 HMD(250)와 게임 클라우드(102)(도 1a-1c, 2) 간 통신 시 라우터(152)(도 1b-1c, 2) 및 컴퓨터(172)(도 1c 및 2)의 사용을 포함한다. 제2 모드는 네트워크(110)를 통해 HMD(250)와 게임 클라우드(102) 간에 데이터를 통신할 시 라우터(152)의 사용을 포함한다. 제2 모드에서, 데이터가 통신될 때 컴퓨터(172)는 우회된다. 제3 모드는 네트워크(110)를 통해 HMD(250)와 게임 클라우드(102) 간에 데이터를 통신할 때 네트워크(110)의 사용을 포함한다. 제3 모드에서, 데이터가 통신될 때 라우터(152) 및 컴퓨터(172)가 우회된다.
일부 실시예에서, 사용자(108)는 HHC(106)와 함께 HMD(104)를 사용하고, HMD(104)의 위치 및 모션과 HHC(106)의 위치 및 모션이 단일 증강된 가상 현실 게임 장면에서 나타난다. 예를 들어, HHC(106)는 게임 프로그램(117)의 실행에 의해 생성되고 HMD(104)에서 디스플레이되는 증강 가상 현실 게임 내에서 가상의 검으로 표현된다. 이 예시에서, 게임은 검이 실세계 숲의 이미지 상에 덧씌워지는 증강 가상 현실 게임 장면을 가진다. 사용자(108)가 자신의 두부를 왼쪽으로 돌릴 때, 사용자(108)에게 숲의 왼쪽 부분이 보여지고, 사용자(108)가 자신의 두부를 오른쪽으로 돌릴 때, 사용자(108)에게 숲의 오른쪽 부분이 보여진다. 숲의 일부분의 디스플레이는 HMD(104)의 위치 및 움직임을 기초로 이뤄진다. 덧붙여, 사용자(108)가 HHC(106)를 왼쪽으로 이동시키고 HMD(104)를 왼쪽으로 이동시킬 때, 사용자에게 숲의 왼쪽 부분에서 왼쪽을 가리키는 검이 보여진다. 사용자(108)가 HHC(106)를 왼쪽으로 이동시키고 HMD(104)를 오른쪽으로 이동시킬 때, 사용자(108)에게 숲의 오른쪽 부분이 보여지고 검은 상기 오른쪽 부분에 디스플레이되지 않는다. 덧붙여, 사용자(108)가 HHC(106)를 오른쪽으로 이동시키고 HMC(104)를 오른쪽으로 이동시킬 때, 사용자에게 숲의 오른쪽 부분에서 오른쪽을 가리키는 검이 보여진다. 사용자(108)가 HHC(106)를 오른쪽으로 이동시키고 HMD(104)를 왼쪽으로 이동시킬 때, 사용자(108)에게 숲의 왼쪽 부분이 보여지고 검은 상기 왼쪽 부분에 디스플레이되지 않는다. 숲의 부분에서의 검의 디스플레이 또는 부재가 HHC(106)의 위치 및 모션을 기초로 이뤄진다.
도 4a는 무선 네트워크를 액세스하기 위해 HMD(250)의 디스플레이 스크린(266)(도 3) 상에 디스플레이되는 이미지(300)의 실시예의 다이어그램이다. 마이크로제어기(268)(도 3)에 의해 네트워크 액세스 애플리케이션이 실행될 때 상기 이미지(300)는 마이크로제어기(268)(도 3)에 의해 생성된다. 상기 이미지(300)는 HMD(250)가 게임 클라우드(102)로부터 게임 프로그램(117)의 액세스를 위해 연결할 수 있는 네트워크, 가령, 무선 네트워크 A, 무선 네트워크 B, 무선 네트워크 C 등의 리스트를 포함한다. 사용자(108)는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써 무선 네트워크 A, B 및 C 중 하나를 선택하여, HMD(250)를 무선 네트워크로 연결할 수 있다.
여러 실시예에서, 이미지(300)는 나열되는 임의의 개수의 무선 네트워크를 포함한다.
도 4b는 무선 네트워크를 액세스하기 위해 컴퓨터(172)(도 2)의 디스플레이 스크린(312) 상에 디스플레이되는 이미지(310)의 하나의 실시예의 다이어그램이다. 컴퓨터(172)의 프로세서(176)(도 2)에 의해 네트워크 액세스 애플리케이션이 실행될 때 상기 이미지(310)는 컴퓨터(172)의 GPU에 의해 생성된다. 상기 이미지(310)는 게임 클라우드(102)로부터 게임 프로그램(117)의 액세스를 위해 HMD(250)가 라우터(152) 및 컴퓨터(172)를 통해 연결할 수 있는 네트워크, 가령, 무선 네트워크 A, 무선 네트워크 B, 무선 네트워크 C 등의 리스트를 포함한다. 사용자(108)는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써, 무선 네트워크 A, B 및 C 중 하나를 선택하여, 라우터(152) 및 컴퓨터(172)를 통해 무선 네트워크로 HMD(250)를 연결할 수 있다.
여러 실시예에서, 이미지(310)는 나열되는 임의의 개수의 무선 네트워크를 포함한다.
도 5a는 디스플레이 스크린(266)(도 3)의 일례인, 디스플레이 스크린(321) 상에 디스플레이되는 게임의 이미지(320)의 실시예의 다이어그램이다. 이미지(320)의 주변 영역(322)이 마이크로제어기(268)(도 3)에 의해 저 해상도로 디스플레이되고, 중앙 영역(324)이 마이크로제어기(268)에 의해 고 해상도로 디스플레이된다. 상기 고 해상도는 상기 저 해상도보다 높다. 상기 주변 영역(322)은 디스플레이 스크린(321)의 에지(edge)(E1 내지 E4)에 인접한다.
일부 실시예에서, 에지(E1)는 에지(E2) 및 에지(E4)에 수직이다. 에지(E3)는 에지(E2 및 E4)에 수직이고 에지(E1)에 평행이다. 다양한 실시예에서, 에지(E1)는 에지(E2) 및 에지(E4)와 실질적으로 수직, 가령, 87도 내지 93도의 각을 이룬다. 에지(E3)는 에지(E2 및 E4)에 실질적으로 수직이며 에지(E1)에 실질적으로 평행이다.
일부 실시예에서 디스플레이 스크린(321)은 임의의 형태, 가령, 직사각형, 정사각형, 원형, 타원형, 다각형, 곡면형 등을 가짐을 이해해야 한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처되는 시선(gaze)의 이미지를 기초로, 마이크로제어기(268)(도 3)는 디스플레이 스크린(321)을 영역(322 및 324)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중앙 영역(324)을 응시하고 있다고 결정되면, 마이크로제어기(268)는 상기 중앙 영역(324)이 고 해상도를 가짐을 결정하며, 주변 영역(322)이 저 해상도를 가짐을 결정하고, 렌더링 프로그램(286)을 실행시켜, 중앙 영역(324)을 고 해상도로 디스플레이하고 주변 영역(322)을 저 해상도로 디스플레이할 수 있다.
도 5b는 디스플레이 스크린(321) 상에 디스플레이되는 이미지(330)의 실시예의 다이어그램이다. 이미지(330)는 상부 주변 영역(332) 및 하부 주변 영역(334)을 가진다. 상부 주변 영역(332)은 에지(E1)에 인접하고 하부 주변 영역(334)은 에지(E3)에 인접한다. 상기 주변 영역(332 및 334)은 저 해상도를 갖고, 중간 영역(336)은 고 해상도를 가진다. 상기 중간 영역(336)은 에지(E2 및 E4)에 인접하게 위치하고 영역(332)과 영역(334) 사이에 위치한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처된 시선의 이미지를 기초로, 마이크로제어기(268)(도 3)가 디스플레이 스크린(321)을 영역(332, 334, 및 336)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중간 영역(336)을 응시하는 중이라고 결정되면, 마이크로제어기(268)는 상기 중간 영역(336)이 고 해상도를 가짐을 결정하며, 상기 주변 영역(332 및 334)이 저 해상도를 가짐을 결정하고, 프로그램(286)을 실행시켜 상기 중간 영역(336)을 고 해상도로 상기 주변 영역(332 및 334)을 저 해상도로 디스플레이할 수 있다.
일부 실시예에서, 상기 주변 영역(332)은 주변 영역(334)의 해상도와 상이한 해상도를 가진다. 예를 들어, 상기 주변 영역(332)은 저 해상도와 고 해상도 사이의 중간 해상도를 가지며, 상기 주변 영역(334)은 저 해상도를 가진다. 또 다른 예를 들면, 주변 영역(334)은 중간 해상도를 가지며 상기 주변 영역(332)은 저 해상도를 가진다.
도 5c는 디스플레이 스크린(321) 상에 디스플레이되는 이미지(340)의 실시예의 다이어그램이다. 이미지(340)는 오른쪽 주변 영역(342)과 왼쪽 주변 영역(344)을 가진다. 상기 오른쪽 주변 영역(342)은 에지(E2)에 인접하고 왼쪽 주변 영역(344)은 에지(E4)에 인접한다. 상기 주변 영역(342 및 344)은 저 해상도를 가지며 중간 영역(346)은 고 해상도를 가진다. 상기 중간 영역(346)은 에지(E1 및 E3)에 인접하게 위치하고 영역(342)과 영역(344) 사이에 위치한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처되는 이미지를 기초로, 마이크로제어기(268)(도 3)가 디스플레이 스크린(321)을 영역(342, 344, 및 346)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중간 영역(346)을 응시 중이라고 결정되면, 마이크로제어기(268)는 중간 영역(346)이 고 해상도를 가짐을 결정하고, 주변 영역(342 및 344)이 저 해상도를 가짐을 결정하며, 렌더링 프로그램(286)을 실행시켜 상기 중간 영역(346)을 고 해상도로 상기 주변 영역(342 및 344)을 저 해상도로 디스플레이할 수 있다.
일부 실시예에서, 상기 주변 영역(342)은 주변 영역(344)의 해상도와 상이한 해상도를 가진다. 예를 들어, 상기 주변 영역(342)은 저 해상도와 고 해상도 사이의 중간 해상도를 가지며, 상기 주변 영역(344)은 저 해상도를 가진다. 또 다른 예를 들면, 주변 영역(344)은 중간 해상도를 가지며, 주변 영역(342)은 저 해상도를 가진다.
다양한 실시예에서, 시선 대신, 그 밖의 다른 임의의 두부 동작이 사용되어 고 해상도를 가질 디스플레이 스크린(321)의 하나 이상의 영역을 결정하고, 저 해상도를가질 디스플레이 스크린(321)의 하나 이상의 영역을 결정할 수 있다.
일부 실시예에서, 디스플레이 스크린의 주변 영역이 임의의 형태, 가령, 곡선형, 반원형, 다각형 등이며 디스플레이 스크린의 중앙 또는 중간 영역이 임의의 형태, 가령, 사각형, 원형, 다각형, 타원형, 곡선형 등이다.
도 6은 HHC(350, 352, 354, 356, 358, 및 360)의 다양한 유형을 도시하는 다이어그램이다. 각각의 HHC(350, 352, 354, 356, 358, 및 360)는 HHC(106)(도 1a-1c, 2)의 일례이다. 도시된 바와 같이, HHC(350)는 부메랑의 형태를 가지며, HHC(352)는 마이크로폰의 형태를 갖고, HHC(354)는 운전대의 형태를 가진다. 덧붙여, HHC(356)는 사용자(108)가 자신의 손에 착용하는 장갑이고, HHC(358)는 사용자(108)가 자신의 상체에 착용하는 자켓, 상의 의복, 또는 셔츠 등이며, HHC(360)는 사용자(108)가 자신의 하체에 착용하는 바지이다.
각각의 HHC(350, 352, 354, 356, 358, 및 360)는 게임 프로그램(117)(도 1a-1c, 2)을 실행시킴으로써 디스플레이되는 증강 가상 현실 게임의 플레이 동안 피드백을 사용자(108)에게 제공하기 위해, 하나 이상의 피드백 수단, 가령, 센서, 기계 압축기, 기계적 중량 증진기, 기계적 중량 감소기, 기계적 역압축기, 진동 메커니즘, 촉각 피드백 수단, 가열기, 냉각기, 전기 충격기 등을 포함한다.
다양한 실시예에서, 사용자(108)는 자신의 손에 HHC(356)를 착용하고, 게임 프로그램(117)을 실행시킴으로써 디스플레이되는 증강 가상 현실 게임의 플레이 동안 가상의 개를 쓰다듬는다. 상기 가상의 개는 실세계 공원 이미지 상에 덧씌워진다. 촉각 피드백 수단이 사용자(108)에게 촉각 피드백을 제공하여, 사용자(108)는 사용자(108)가 실제 개를 쓰다듬고 있는 것처럼 느끼게 할 수 있다. 사용자(108)가 가상의 개를 들어올릴 때, 상기 중량 증진기에 의해, 사용자(108)는 사용자(108)가 실제 개를 들어 올리고 있는 것처럼 느낄 수 있다.
여러 실시예에서, 사용자(108)는 HMD(104)를 착용하는 것에 추가로 자신의 손에 HHC(356)를 착용하며 HMD(104)는 실세계 장소, 가령, 도쿄, 뉴욕 등의 장면을 생성한다. 사용자(108)가 가상의 한 컵의 커피를 잡기 위해 자신의 손을 뻗을 때, 게임 프로그램(117)은 실행되어 상기 장면에 사용자(108)의 가상의 손을 디스플레이함으로써 증강된 가상 현실 장면을 생성할 수 있다. 사용자(108)가 컵을 들어 올릴 때, 중량 증진기가 사용자(108)의 실제 손에 중량을 가함으로써, 사용자(108)는 사용자(108)가 실제 컵을 들어 올리고 있는 것처럼 느낄 수 있다. 사용자(108)가 장면 내 실제 테이블의 이미지 상에 컵을 놓을 때, 상기 중량 감소기가 사용자(108)의 실제 손에 가해지는 중량을 감소시킴으로써 사용자(108)는 사용자(108)가 실세계 컵을 놓고 있는 것처럼 느낄 수 있다.
일부 실시예에서, 사용자(108)는 HMD(104)를 착용하는 것에 추가로 HHC(358)를 착용하고 실세계 바다의 비디오에서 가상 캐릭터로서 가상 스쿠바 다이빙을 한다. 기계적 중량 증진기가 사용자(108)에게 가해지는 중량을 증가시켜 사용자(108)는 사용자(108)가 실제 바다에서 스쿠버 다이빙을 하고 있고 사용자(108)에게 물의 중량이 추가된 것처럼 느낄 수 있다. 마찬가지로, 사용자(108)는 해수면에 접근할 때, 기계적 중량 감소기가 사용자(108)에게 가해진 중량을 감소시킨다.
일부 실시예에서, 각각의 HHC(350, 352, 354, 356, 358, 및 360)는 HHC의 위치 및 모션을 결정하기 위해 하나 이상의 고정 기준 물체를 포함하며, 이들의 예시가 앞서 제공되었다.
다양한 실시예에서, HHC(106)는 임의의 형태, 가령, 사각형, 원형, 타원형, 다각형, 곡선형, 나선형 등을 가진다.
도 7a는 HMD(370)의 하나의 실시예의 다이어그램이다. 상기 HMD(370)는 HMD(250)(도 3)의 일례이다. 상기 HMD(370)는 사용자(108)가 착용할 때 사용자(108)(도 1a-1c, 2)의 두부 뒤로 가는 밴드(372 및 374)를 포함한다. 덧붙여, HMD(370)은 게임 프로그램(117)(도 1a-1c)의 실행에 의해 플레이되는 게임과 연관된 소리를 발산하는 이어폰(376A 및 376B), 가령, 스피커 등을 포함한다. 상기 HMD(370)는 사용자(108)가 게임 프로그램(117)의 실행에 의해 플레이되고 디스플레이 스크린(266)(도 3) 상에 디스플레이되는 게임을 볼 수 있게 하는 렌즈(378A 및 378B)를 포함한다. 홈(groove)(380)이 사용자(108)의 코에 놓여 코 위의 HMD(370)를 지지할 수 있다.
일부 실시예에서, HMD(370)는 사용자(108)에 의해 선글라스, 안경, 또는 독서용 안경이 사용자(108)에 의해 착용되는 것과 유사한 방식으로 착용된다.
도 7b는 HMD(250)(도 3)의 예시인 HMD(400)의 하나의 실시예의 등각도이다. 일부 실시예에서, HMD(400)는 Sony Computer Entertainment America LLC에 의한 연구 개발 산물이다. HMD(400)는 두부 지지부(402)를 포함한다. HMD(400)는 마커, 가령, LED(404A 및 404B), 적외선 발광체(406A, 406B, 406C, 406D, 406E, 406F, 406G, 및 406H)를 더 포함한다. 적외선 발광체의 예시로는 LED가 있다. HMD(400)는 HMD(400)에 전력이 공급 또는 차단될 수 있게 하는 온/오프 스위치(408)를 포함한다.
마커는 HMD(400)의 위치 및 모션을 결정하도록 사용된다. 예를 들어, 사용자(108)(도 1a-1c, 2)의 두부의 움직임에 의해, 외부 비디오 카메라(274)(도 3)에 의해 캡처되는 LED(404A 및 404B)의 이미지의 크기가 변한다. 크기를 기초로, 컴퓨터(172)(도 3) 또는 게임 클라우드(102)(도 1a-1c, 2)의 하나 이상의 서버의 프로세서가 좌표계에서 HMD(400)의 위치 및 모션을 결정한다.
도 8a는 본 명세서에 기재된 하나의 실시예에 따르는, Dualshock 제어기(450)를 갖는 도 7b의 HMD(400)의 사용을 도시하는 다이어그램이다. 사용자(108)는 Dualshock 제어기(450)를 동작시켜, 실세계 장면 상에 덧씌워진 가상 객체, 가령, 가상 자동차, 가상 캐릭터 등의 위치 및/또는 모션을 변경할 수 있다. 실세계 장면 상의 가상 객체의 덧씌워짐이 HMD(400)에서 디스플레이된다.
도 8b는 본 명세서에 기재되는 하나의 실시예에 따르는 Move™ 제어기, 가령, HHC(352)를 갖는 HMD(400)(도 7b)의 사용을 도시하는 다이어그램이다. 사용자(108)는 상기 무브(move) 제어기를 동작시켜, 실세계 장면 상에 덧씌워진 가상 객체, 가령, 검, 펜 등의 위치 및/또는 모션을 변경할 수 있다. 실세계 장면 상의 가상 객체의 덧씌워짐이 HMD(400)에서 디스플레이된다.
도 9a는 본 명세서에 기재되는 하나의 실시예에 따르는, 증강 가상 현실 장면에서 게임을 플레이하기 위한 Dualshock 제어기(450)를 갖는 도 7b의 HMD(400)의 사용을 도시하는 다이어그램이다. 사용자(108)는 Dualshock 제어기(450) 및 HMD(400)를 동작시켜 증강 가상 현실 장면에서 게임을 플레이할 수 있다. 상기 Dualshock 제어기(450) 및 HMD(400)의 자세 및 위치가 비디오 카메라(208)에 의해 캡처된 이미지에 의해 결정된다.
도 9b는 본 명세서에 기재되는 하나의 실시예에 따르는 증강 가상 현실 장면(410)을 나타내는 다이어그램이다. 상기 증강 가상 현실 장면(410)은 사용자(108)가 착용한 HMD(400)에서 디스플레이된다. 사용자(108)가 손 동작 중 하나 이상을 수행하여 Dualshock 제어기(450)(도 9a)를 동작시킬 때, 게임 프로그램(117)(도 1a-1c, 2)이 증강 가상 현실 장면(410)에 가상 운전대(411)를 디스플레이하도록 실행된다. 덧붙여, 게임 프로그램(117)은 실세계 환경, 가령, 실세계 거리, 사용자(108)의 실제 손 등의 이미지를 디스플레이하도록 실행된다. 사용자(108)의 실세계 손의 이미지(412A 및 412B)는 가상 운전대(411) 상에 덧씌워진다. 일부 실시예에서, 게임 프로그램(117)은 가상 환경 상에 실세계 환경의 이미지를 덧씌우도록 실행된다.
다양한 실시예에서, 이미지(412A 및 412B) 대신, 가상 손, 가령, 장갑 낀 손, 채색된 손 등이 증강 가상 현실 장면(410)에 디스플레이된다. 여러 실시예에서, 실세계 거리의 이미지(413) 대신, 가상 거리의 이미지가 증강 가상 현실 장면(410)에서 사용된다.
도 10은 HHC(106) 및 HMD(104)(도 1a-1c, 2)와 인터페이싱하도록 호환 가능한 콘솔(500)의 실시예의 블록도이다. 상기 콘솔(500)은 게임 프로그램(117)의 일부분을 실행 및 렌더링하도록 사용될 수 있다. 상기 콘솔(500)은 HHC(106) 및 HMD(104)(도 1a-1c, 2)를 게임 프로그램(117)과 인터페이싱시키도록 호환 가능하다. 상기 콘솔(500)은 다양한 주변 장치가 콘솔(500)로 연결 가능하도록 제공된다. 상기 콘솔(500)은 셀 프로세서(528), Rambus® 동적 랜덤 액세스 메모리(XDRAM) 유닛(526), 전용 비디오 랜덤 액세스 메모리(VRAM) 유닛(532)을 갖는 현실 합성기 그래픽 프로세서 유닛(530) 및 입/출력(I/O) 브리지(534)를 가진다. 상기 콘솔(500)은 디스크(540a)로부터 판독하기 위한 Blu Ray® 디스크 리드-온리 메모리(BD-ROM) 광학 디스크 판독기(540) 및 I/O 브리지(534)를 통해 액세스 가능한 탈착식 슬롯-인 하드 디스크 드라이브(HDD)(536)를 가진다. 선택사항으로서, 콘솔(500)은 또한 컴팩트 플래시 메모리 카드, Memory Stick® 메모리 카드 등을 판독하기 위한 메모리 카드 판독기(538)를 포함하며, 이는 I/O 브리지(534)를 통해 유사하게 액세스 가능하다.
I/O 브리지(534)는 전역 직렬 버스(USB) 2.0 포트(524), 기가비트 이더넷 포트(522), IEEE 802.11b/g 무선 네트워크(Wi-Fi) 포트(520), 및 Bluetooth 연결을 지원할 수 있는 Bluetooth 무선 링크 포트(518)로도 연결된다.
동작 중에, I/O 브리지(534)는 모든 무선, 전역 직렬 버스(USB) 및 이더넷 데이터, 가령, 하나 이상의 게임 제어기(502 및 503) 및 HMD(250)(도 3)의 예시인 HMD(505)로부터의 데이터를 다룬다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 게임 프로그램(117)(도 1a)의 일부분의 실행에 의해 생성된 게임을 플레이 중일 때, I/O 브리지(534)는 Bluetooth 링크를 통해 게임 제어기(502 또는 503) 또는 HMD(505)로부터 입력 데이터를 수신하고 상기 입력 데이터를 셀 프로세서(528)로 전달하며, 상기 셀 프로세서는 이에 따라 게임의 현재 상태를 업데이트한다. 각각의 게임 제어기(502 및 503)는 HHC(106)(도 1a-1c, 2)의 예시이다.
무선, USB 및 이더넷 포트가 또한, 게임 제어기(502 및 503) 및 HMD(505)에 추가로 그 밖의 다른 주변 장치, 가령, 원격 제어기(504), 키보드(506), 마우스(508), 휴대용 엔터테인먼트 장치(510), 가령, Sony Playstation Portable® 엔터테인먼트 장치, 비디오 카메라, 가령 EyeToy® 비디오 카메라(512), 마이크로폰 헤드세트(514), 및 마이크로폰(515)에 대한 연결성을 제공한다. 따라서 이러한 주변 장치는 원칙적으로 콘솔(500)에 무선으로 연결될 수 있는데, 예컨대, 휴대용 엔터테인먼트 장치(510)는 Wi-Fi 애드-호크(ad-hoc) 연결을 통해 통신할 수 있고, 마이크로폰 헤드세트(514)는 Bluetooth 링크를 통해 통신할 수 있다.
이들 인터페이스의 제공은 콘솔(500)이 또한 주변 장치, 가령, 디지털 비디오 레코더(DVR), 셋-톱 박스, 디지털 카메라, 휴대용 미디어 재생기, 보이스 오버 IP(Voice over IP) 전화기, 모바일 전화기, 프린터 및 스캐너와 호환될 가능성이 있음을 의미한다.
덧붙여, 레거시(legacy) 메모리 카드 판독기(516)가 USB 포트(524)를 통해 콘솔(500)에 연결되어, 상기 콘솔(500)에 의해 사용되는 유형의 메모리 카드(548)의 판독이 가능해질 수 있다.
게임 제어기(502 및 503) 및 HMD(505)는 Bluetooth 링크를 통해 콘솔(500)과 무선으로 통신하거나 USB 포트에 연결되도록 동작 가능함으로써, 게임 제어기(502 및 503) 및 HMD(505)의 배터리를 충전하기 위한 전력을 제공할 수도 있다. 일부 실시예에서, 게임 제어기(502 및 503) 및 HMD(505) 각각은 메모리, 프로세서, 메모리 카드 판독기, 영구 메모리, 가령, 플래시 메모리, 발광체, 가령, 조명되는 구 섹션(illuminated spherical section), LED 또는 적외선 조명, 초음파 통신을 위한 마이크로폰 및 스피커, 음향 챔버, 디지털 카메라, 내부 클록, 인식 가능한 형태, 가령, 게임 콘솔을 대면하는 구 섹션, 및 프로토콜, 가령, Bluetooth, Wi-Fi 등을 이용한 무선 통신부를 포함할 수 있다.
게임 제어기(502)는 사용자(108)의 두 손으로 사용되도록 설계된 제어기이고, 게임 제어기(503)는 부착재(attachment)를 갖는 한손 제어기이다. HMD(505)는 두부의 상부 및/또는 사용자(108)의 눈 앞에 끼워 맞춤되도록 설계된다. 하나 이상의 아날로그 조이스틱 및 종래의 제어 버튼에 추가로, 각각의 게임 제어기(502 및 503)는 3차원 위치 결정의 대상이 된다. 마찬가지로, HMD(505)는 3차원 위치 결정의 대상이 된다. 결과적으로, 게임 제어기(502 및 503) 및 HMD(505)의 사용자(108)에 의한 제스처 및 움직임이 종래의 버튼 또는 조이스틱 명령에 추가로 또는 이를 대신하여, 게임의 입력으로서 해석될 수 있다. 선택적으로, 그 밖의 다른 무선으로 활성화되는 주변 장치, 가령, Playstation™ 휴대용 장치가 제어기로서 사용될 수 있다. Playstation™ 휴대용 장치의 경우, 추가 게임 또는 제어 정보(가령, 제어 명령 또는 목숨의 수)가 장치의 디스플레이 스크린 상에 제공될 수 있다. 그 밖의 다른 대안적 또는 보충적 제어 장치가 또한 사용될 수 있는데, 가령, 댄스 매트(dance mat)(도시되지 않음), 라이트 건(light gun)(도시되지 않음), 및 운전대 및 페달(도시되지 않음) 또는 맞춤 제작된 제어기, 가령, 신속한 반응의 빠른 게임을 위한 단일 또는 복수의 대형 버튼(도시되지 않음)이 있다.
또한 원격 제어기(504)는 Bluetooth 링크를 통해 콘솔(500)과 무선으로 통신하도록 동작 가능하다. 상기 원격 제어기(504)는 Blu Ray™ 디스크 BD-ROM 판독기(540)의 동작 및 디스크 콘텐츠의 탐색에 적합한 제어기를 포함한다.
Blu Ray™ 디스크 BD-ROM 판독기(540)는, 종래의 사전 기록되고 기록 가능한 CD 및 이른바 수퍼 오디오 CD(Super Audio CD)에 추가로, 콘솔(500)과 호환 가능한 CD-ROM을 판독하도록 동작 가능하다. 판독기(540)는 또한, 종래의 사전 기록되고 기록 가능한 DVD에 추가로, 콘솔(500)과 호환되는 디지털 비디오 디스크-ROM(DVD-ROM)을 판독하도록 동작 가능하다. 상기 판독기(540)는 콘솔(500)과 호환되는 BD-ROM 및 종래의 사전 기록되고 기록 가능한 Blu-Ray 디스크를 판독하도록 더 동작 가능하다.
콘솔(500)은 현실 합성기 그래픽 유닛(530)을 통해 생성 또는 디코딩된 오디오 및 비디오를 오디오 연결기(550) 및 비디오 연결기(552)를 통해 디스플레이 및 소리 출력 장치(542), 가령, 디스플레이 스크린(544) 및 하나 이상의 확성기(546)를 갖는 모니터 또는 텔레비전 세트로 공급하도록 동작 가능하다. 상기 오디오 연결기(550)는 종래의 아날로그 및 디지털 출력을 포함할 수 있고, 비디오 연결기(552)는 컴포넌트 비디오, S-비디오, 복합 비디오 및 하나 이상의 고선명 멀티미디어 인터페이스(HDMI) 출력을 다양하게 포함할 수 있다. 따라서 비디오 출력은 PAL 또는 NTSC 같은 포맷으로 또는 520p, 1080i 또는 1080p 고선명으로 존재할 수 있다.
오디오 프로세싱(생성, 디코딩 등)이 셀 프로세서(528)에 의해 수행된다. 콘솔(500)의 운영 체제는 Dolby® 5.1 서라운드 사운드, Dolby® 씨어터 서라운드(DTS), 및 Blu-Ray® 디스크의 7.1 서라운드 사운드의 디코딩을 지원한다.
일부 실시예에서, 비디오 카메라, 가령, 비디오 카메라(512) 등이 단일 전하 결합 소자(CCD), LED 지시자, 및 하드웨어 기반 실시간 데이터 압축 및 인코딩 장치를 포함하여, 압축된 비디오 데이터가 콘솔(500)에 의해 디코딩되기 위한 적절한 포맷, 가령, 인트라-이미지 기반 MPEG(motion picture expert group) 표준으로 전송될 수 있게 한다. 비디오 카메라(512)의 LED 지시자가 콘솔(500)로부터 적절한 제어 데이터에 응답하여 조명하도록, 가령, 역광 조명 상태를 나타내도록 배열된다. 비디오 카메라(512)의 실시예는 USB, Bluetooth 또는 Wi-Fi 통신 포트를 통해 콘솔(500)로 다양하게 연결될 수 있다. 비디오 카메라의 실시예는 하나 이상의 연관된 마이크로폰을 포함하고 또한 오디오 데이터를 전송할 수 있다. 비디오 카메라의 실시예에서, CCD는 고선명 비디오 캡처에 적합한 해상도를 가질 수 있다. 사용될 때, 비디오 카메라에 의해 캡처되는 이미지는, 예를 들어, 게임 내에 포함되거나 게임 제어 입력으로 해석될 수 있다. 또 다른 실시예에서, 비디오 카메라는 적외선 광을 검출하기에 적합한 적외선 카메라이다.
다양한 실시예에서, 콘솔(500)의 통신 포트들 중 하나를 통해, 주변 장치, 가령, 비디오 카메라 또는 원격 제어기와의 성공적인 데이터 통신이 발생하기 위해, 적절한 소프트웨어, 가령, 장치 드라이버가 제공된다.
일부 실시예에서, 콘솔 장치, 휴대용 HHC 및 휴대용 HMD를 포함하는 앞서 언급된 시스템 장치에 의해, HHC 및 휴대용 HMD가 게임 프로그램(117)(도 1a-1c)의 대화형 세션의 비디오를 디스플레이하고 캡처할 수 있다. 콘솔 장치는 게임 프로그램(117)의 대화형 세션을 개시하고 상기 대화형 세션은 사용자(108)와 게임 프로그램(117) 간 상호대화를 정의한다. 상기 시스템 장치는 사용자(108)에 의해 동작되는 HHC 및/또는 HMD의 초기 위치 및 배향을 결정한다. 콘솔 장치는 사용자(108)와 게임 프로그램(117) 간 대화 가능성을 기초로 상기 게임 프로그램(117)의 현재 상태를 결정한다. 상기 시스템 장치는 사용자(108)의 게임 프로그램(117)과의 대화 세션 동안 HHC 및 또는 HMD의 위치 및 배향을 추적한다. 상기 시스템 장치는 게임 프로그램(117)의 현재 상태 및 HHC 및/또는 HMD의 추적된 위치 및 배향을 기초로 대화 세션의 관중 비디오 스트림을 생성한다. 일부 실시예에서, HHC는 HHC의 디스플레이 스크린 상에 관중 비디오 스트림을 렌더링한다. 다양한 실시예에서, HMD는 HMD의 디스플레이 스크린 상에 관중 비디오 스트림을 렌더링한다.
도 11은 본 명세서에서 기재되는 다양한 실시예에 따르는 게임 시스템(600)의 블록도이다. 일부 실시예에서, 게임 시스템(600)은, 하나 이상의 자원, 가령, 서버, 메모리 장치 등을 이용해, VM, 가령, 운영 체제, 소프트웨어 애플리케이션 등이, 자원과 VM 사이에 하이퍼바이저에 의해 관계가 확립된 후, 실행되는 클라우드 게임 시스템이다. 상기 게임 시스템(600)은, 네트워크(110)(도 1a-1c, 2)의 일례인 네트워크(615)를 통해 비디오 스트림을 하나 이상의 클라이언트(610)에게 제공하도록 사용된다. 게임 시스템(600)은 비디오 서버 시스템(620) 및 선택사항적 게임 서버(625)를 포함한다. 상기 비디오 서버 시스템(620)은 서비스 품질과 함께 비디오 스트림을 하나 이상의 클라이언트(610)에게 제공하도록 사용된다. 예를 들어, 비디오 서버 시스템(620)은 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행함으로써 플레이되는 게임의 상태 또는 게임 내 시점을 변경하는 게임 명령어를 수신하고, 지체 시간을 최소한으로 하여, 클라이언트(610)에게 이 상태 변경을 반영하는 업데이트된 비디오 스트림을 제공할 수 있다. 비디오 서버 시스템(620)은 아직 정의되지 않은 포맷을 포함해 다양한 대안적 비디오 포맷으로 비디오 스트림을 제공하도록 사용될 수 있다. 또한, 비디오 스트림은 다양한 프레임률(frame rate)로 사용자(108)(도 1a-1c, 2)에게 표시(presentation)하기 위해 사용되는 비디오 프레임을 포함할 수 있다. 일반적인 프레임률은 초당 30 프레임, 초당 60 프레임, 초당 620 프레임이 있다. 더 높거나 더 낮은 프레임률이 본원에 기재되는 다양한 실시예에서 포함된다.
본 명세서에서 개별적으로 610A, 610B 등으로 지칭되는 클라이언트(610)가 HMD(104)(도 1a-1c, 2), HHC(104)(도 1a-1c, 2), 단말기, 개인 컴퓨터, 게임 콘솔, 태블릿 컴퓨터, 전화기, 셋 톱 박스, 키오스크, 무선 장치, 디지털 패드, 자립형 장치 및/또는 기타 등을 포함할 수 있다. 상기 클라이언트(610)는 인코딩된 비디오 스트림을 수신하고 비디오 스트림을 디코딩하며 최종 비디오를 사용자(108), 가령, 게임의 플레이어에게 표시하도록 사용된다. 인코딩된 비디오 스트림을 수신 및/또는 비디오 스트림을 디코딩하는 프로세스는 클라이언트의 수신 버퍼에 개별 비디오 프레임을 저장하는 것을 포함한다. 비디오 스트림은 클라이언트(610)와 일체 구성된 디스플레이 상에 또는 별도 장치, 가령, 모니터 또는 텔레비전 상에서 사용자(108)에게 표시될 수 있다.
선택사항으로서 상기 클라이언트(610)는 둘 이상의 게임 플레이어를 지원하도록 사용된다. 예를 들어, 2개, 3개, 4개 또는 그 이상의 동시 플레이어를 지원하도록 게임 콘솔이 사용될 수 있다. 이들 플레이어 각각은 개별 비디오 스트림을 수신하거나, 단일 비디오 스트림이 각각의 플레이어에 대해 특정하게 생성된, 가령, 각각의 플레이어의 시점을 기초로 생성된 프레임의 영역을 포함할 수 있다.
클라이언트(610)는 지리적으로 분산되어 있다. 게임 시스템(600)에 포함된 클라이언트의 수는 1 또는 2명에서 수천 명, 수만 명, 또는 그 이상으로 다양할 수 있다. 본 명세서에서 사용될 때, 용어 "게임 플레이어"는 게임을 플레이하는 사람을 지칭하고, 용어 "게임 플레잉 장치"는 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행함으로써 플레이되는 게임을 플레이하기 위해 사용되는 장치를 지칭한다. 일부 실시예에서, 게임 플레잉 장치는 사용자(108)에게 게임 경험을 전달하도록 협력하는 복수의 계산 장치를 지칭할 수 있다. 예를 들어, 게임 콘솔 및 HMD(104)(도 1a-1c, 2)가 비디오 서버 시스템(620)과 협업하여 HMD(104)를 통해 보는 게임을 전달할 수 있다. 하나의 실시예에서, 게임 콘솔은 비디오 서버 시스템(620)으로부터 비디오 스트림을 수신하고, 상기 게임 콘솔은 비디오 스트림 또는 비디오 스트림의 업데이트를 렌더링을 위해 HMD(104)로 전달한다.
클라이언트(610)는 네트워크(615)를 통해 비디오 스트림을 수신하도록 사용된다. 네트워크(615)는 임의의 유형의 통신 네트워크, 가령, 전화 네트워크, 인터넷, 무선 네트워크, 전력선 네트워크, 로컬 영역 네트워크, 광역 네트워크, 사설 네트워크, 및/또는 이들과 유사한 것일 수 있다. 일부 실시예에서, 비디오 스트림은 표준 프로토콜, 가령, TCP/IP 또는 UDP/IP를 통해 통신된다. 여러 실시예에서, 비디오 스트림은 사유 표준(proprietary standard)을 통해 통신된다.
클라이언트(610) 중 하나의 일반적인 예시가 프로세서, 비휘발성 메모리, 디스플레이, 디코딩 로직, 네트워크 통신 능력, 및 하나 이상의 입력 장치를 포함하는 개인 컴퓨터이다. 상기 디코딩 로직은 하드웨어, 펌웨어, 및/또는 비일시적 컴퓨터 판독형 매체 상에 저장되는 소프트웨어를 포함할 수 있다.
클라이언트(610)는, 반드시 요구되는 것은 아니지만, 수신된 비디오를 수정하기 위해 사용되는 시스템을 더 포함할 수 있다. 예를 들어, 클라이언트는 추가 렌더링을 수행, 가령, 하나의 비디오 이미지 상에 또 다른 비디오 이미지를 덧씌우기(overlay), 비디오 이미지를 자르기(crop), 및/또는 이들과 유사한 것을 수행하도록 사용될 수 있다. 또 다른 예를 들면, 클라이언트가 실세계 환경의 이미지 위에 가상 세계 환경을 덧씌워 디스플레이 스크린 상에 증강 가상 현실 장면을 생성할 수 있다. 또 다른 예를 들면, 클라이언트(610)는 다양한 유형의 비디오 프레임, 가령, 인트라-코딩된 픽처(I-프레임), 예측 프레임(P-프레임) 및 양방향 예측 픽처 프레임(B-프레임)을 수신하고, 이들 프레임을 이미지로 프로세싱하여, 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임을 사용자(108)에게 디스플레이할 수 있다. 일부 실시예에서, 클라이언트(610)의 구성요소가 사용되어, 비디오 스트림에 추가 렌더링, 쉐이딩(shading), 3-D로의 변환 등의 작업을 수행할 수 있다. 선택사항으로서 둘 이상의 오디오 또는 비디오 스트림을 수신하도록 클라이언트(610)의 구성요소가 사용된다.
클라이언트(610)의 입력 장치는, 예를 들어, 한손 게임 제어기, 양손 게임 제어기, 제스처 인식 시스템, 시선 인식 시스템(gaze recognition system), 음성 인식 시스템, 키보드, 조이스틱, 포인팅 장치, 포스 피드백 장치(force feedback device), 모션 및/또는 위치 감지 장치, 마우스, 터치 스크린, 신경 인터페이스(neural interface), 카메라, 아직 개발되지 않은 입력 장치 및/또는 이들과 유사한 것을 포함할 수 있다.
클라이언트(610)에 의해 수신된 비디오 스트림, 및 선택적으로 오디오 시스템이 비디오 서버 시스템(620)에 의해 생성 및 제공된다. 이 비디오 스트림은 비디오 프레임을 포함하며 오디오 스트림은 오디오 프레임을 포함한다. 적절한 데이터 구조로 된 픽셀 정보를 포함하는 상기 비디오 프레임은 사용자(108)에게 디스플레이되는 이미지에 유의미하게 기여한다. 본 명세서에서 사용될 때, 용어 "비디오 프레임"은 주로, 사용자(108)에 의해 플레이되는 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 이미지에 기여, 가령, 영향을 미치기 위해 사용되는 정보를 포함하는 프레임을 지칭하도록 사용된다. "비디오 프레임"과 관련된 본 명세서의 설명 대부분은 "오디오 프레임"에도 적용될 수 있다.
다양한 실시예에서, 클라이언트(610)는 사용자(108)로부터 입력을 수신하도록 사용된다. 이들 입력은, 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 상태를 변경하거나 그 밖의 다른 방식으로 게임 플레이에 영향을 미치는 게임 명령어를 포함할 수 있다. 상기 게임 명령어는 입력 장치, 가령, 사용자 입력 회로(262)(도 4) 등을 이용해 수신되거나, 및/또는 클라이언트(610) 상에서 실행되는 명령을 컴퓨팅함으로써 자동으로 생성될 수 있다. 수신된 게임 명령어는 클라이언트(610)로부터 네트워크(615)를 통해 비디오 서버 시스템(620) 및/또는 게임 서버(625)로 통신된다. 예를 들어, 게임 명령어는 비디오 서버 시스템(620)을 통해 게임 서버(625)로 통신된다.
일부 실시예에서, 게임 명령어의 개별적인 카피가 클라이언트(610)로부터 게임 서버(625) 및 비디오 서버 시스템(620)으로 통신된다.
선택사항으로서 게임 명령어의 통신이 명령어의 신원에 따라 달라진다. 선택사항으로서 게임 명령어는 클라이언트(610A)로부터, 오디오 또는 비디오 스트림을 제공하기 위해 사용되는 서로 다른 라우트 또는 통신 채널을 통해 클라이언트(610A)로 통신된다.
선택사항으로서 게임 서버(625)는 비디오 서버 시스템(620)과 상이한 개체에 의해 운영된다. 예를 들어, 게임 서버(625)는 게임의 퍼블리셔(publisher)에 의해 운영될 수 있다. 이 예시에서, 선택사항으로서 비디오 서버 시스템(620)은 게임 서버(625)가 클라이언트로서 보고, 선택사항으로서 게임 서버(625)의 시점에서 게임 엔진을 실행시키는 클라이언트로 보이도록 사용된다. 선택사항으로 비디오 서버 시스템(620)과 게임 서버(625) 간 통신이 네트워크(615)를 통해 발생한다. 따라서 게임 서버(625)는 게임 상태 정보를 복수의 클라이언트에게 전송하는 다중플레이어 게임 서버일 수 있고, 복수의 클라이언트 중 하나가 게임 서버 시스템(620)이다.
비디오 서버 시스템(620)은 게임 서버(625)의 복수의 인스턴스와 동시에 통신하도록 사용될 수 있다. 예를 들어, 비디오 서버 시스템(620)은 복수의 서로 다른 비디오 게임을 서로 다른 사용자에게 제공하도록 사용될 수 있다. 이들 서로 다른 비디오 게임 각각은 서로 다른 게임 서버(625)에 의해 지원 및/또는 서로 다른 개체에 의해 퍼블리싱될 수 있다.
일부 실시예에서, 비디오 서버 시스템(620)의 복수의 지리적으로 분산된 인스턴스가 복수의 서로 다른 사용자에게 게임 비디오를 제공하도록 사용된다. 비디오 서버 시스템(620)의 이들 인스턴스 각각은 게임 서버(625)의 동일한 인스턴스와 통신 중일 수 있다.
선택사항으로서 비디오 서버 시스템(620)과 하나 이상의 게임 서버(625) 간 통신은 전용 통신 채널을 통해 발생한다. 예를 들어, 비디오 서버 시스템(620)은 이들 2개의 시스템 간 통신에 특화된 고대역폭 채널을 통해 게임 서버(625)로 연결될 수 있다.
비디오 서버 시스템(620)은 적어도 비디오 소스(630), I/O 장치(645), 프로세서(650), 및 저장부(655)를 포함한다. 비디오 서버 시스템(620)은 하나의 컴퓨팅 장치를 포함하거나 복수의 컴퓨팅 장치에 분산될 수 있다. 선택사항으로서 이들 컴퓨팅 장치는 통신 시스템, 가령, 로컬 영역 네트워크를 통해 연결된다.
비디오 소스(630)는 동화상을 형성하기 위해, 비디오 스트림, 가령, 스트리밍 비디오 또는 일련의 비디오 프레임을 제공하도록 사용된다. 일부 실시예에서, 비디오 소스(630)는 비디오 게임 엔진 및 렌더링 로직을 포함한다.
상기 비디오 게임 엔진은 플레이어로부터 게임 명령어를 수신하고, 상기 수신된 명령어를 기초로, 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 상태의 카피를 유지하도록 사용된다. 이 게임 상태는 게임 환경에서의 객체의 위치 및 시점을 포함한다. 상기 게임 상태는 또한 객체의 속성, 이미지, 색채 및/또는 질감을 포함할 수 있다. 상기 게임 상태는 게임 규칙 및 게임 명령어, 가령, 이동, 회전, 공격, 집중, 대화, 사용 및/또는 이들과 유사한 것을 기초로 유지된다. 선택사항으로서 게임 엔진의 일부분이 게임 서버(625) 내에 배치된다. 상기 게임 서버(625)는 지리적으로 분산된 클라이언트를 이용해 복수의 플레이어로부터 수신된 게임 명령어를 기초로 게임의 상태의 카피를 유지할 수 있다. 이들 경우, 게임 상태는 게임 서버(625)에 의해 비디오 소스(630)로 제공되며, 여기서 게임 상태의 카피가 저장되고 렌더링이 수행된다. 상기 게임 서버(625)는 게임 명령어를 클라이언트(610)로부터 네트워크(615)를 통해 직접 수신하거나, 비디오 서버 시스템(620)을 통해 게임 명령어를 수신할 수 있다.
비디오 소스(630)는 렌더링 로직, 가령, 하드웨어, 펌웨어, 및/또는 비일시적 컴퓨터 판독형 매체, 가령, 저장부(655) 상에 저장되는 소프트웨어를 포함한다. 이 렌더링 로직은 게임 상태를 기초로 비디오 스트림의 비디오 프레임을 생성하도록 사용된다. 선택사항으로서 렌더링 로직의 전부 또는 일부가 GPU 내에 배치된다. 렌더링 로직은 게임 상태 및 시점을 기초로, 객체들 간 3차원 공간 관계를 결정 및/또는 적절한 질감 등을 적용하기 위해 사용되는 프로세싱 스테이지를 포함한다. 상기 렌더링 로직은 원시 비디오(raw video)를 생성하고, 상기 원시 비디오는 클라이언트(610)로 통신되기 전에 인코딩되는 것이 일반적이다. 예를 들어, 원시 비디오는 Adobe Flash® 표준, .wav, H.264, H.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x.Xvid.FFmpeg, x264, VP6-8, realvideo, mp3 등에 따라 인코딩될 수 있다. 상기 인코딩 프로세스는 선택사항으로서 원격 장치 상의 디코더로 전달되도록 패키징될 수 있는 비디오 스트림을 생성한다.
비디오 스트림은 프레임 크기 및 프레임률에 의해 특징화된다. 일반적인 프레임 크기는 800 × 600, 1280 × 720 (가령, 720p), 1024 × 768을 포함하지만, 그 밖의 다른 임의의 프레임 크기가 사용될 수 있다. 프레임률은 초당 비디오 프레임의 수이다. 비디오 스트림은 서로 다른 유형의 비디오 프레임을 포함할 수 있다. 예를 들어, H.264 표준은 "P" 프레임 및 "I" 프레임을 포함한다. I-프레임은 디스플레이 장치 상의 모든 매크로 블록/픽셀을 리프레시(refresh)하기 위한 정보를 포함하고, 반면에 P-프레임은 이의 부분집합을 리프레시하기 위한 정보를 포함한다. P-프레임의 데이터 크기가 I-프레임의 데이터 크기보다 작다. 본 명세서에서 사용될 때, 용어 "프레임 크기"는 하나의 프레임 내 픽셀의 수를 지칭한다. 용어 "프레임 데이터 크기"는 프레임을 저장하기 위해 요구되는 바이트의 수를 지칭하기 위해 사용된다.
일부 실시예에서, 비디오 소스(630)는 비디오 렌더링 장치, 가령, 카메라를 포함한다. 이 카메라는 컴퓨터 게임의 비디오 스트림에 포함될 수 있는 딜레이된 또는 실시간 비디오를 생성하도록 사용될 수 있다. 선택사항으로서, 최종 비디오 스트림은 정지 또는 비디오 카메라를 이용해 렌더링된 이미지와 기록된 이미지 모두를 포함한다. 상기 비디오 소스(630)는 또한 비디오 스트림에 포함될 이전에 기록된 비디오를 저장하도록 사용되는 저장 장치를 포함할 수 있다. 상기 비디오 소스(630)는 또한 HMD(104), HHC(106), 또는 사용자(108)(도 1a-1c, 2)의 모션 또는 위치를 검출하기 위해 사용되는 모션 또는 위치 감지 장치, 및 게임 상태를 결정하고 검출된 모션 및/또는 위치를 기초로 비디오를 생성하기 위해 사용되는 로직을 포함할 수 있다.
선택사항으로서 상기 비디오 소스(630)는 또 다른 비디오 상에 놓이도록 사용되는 덧씌우기(overlay)를 제공하도록 사용된다. 예를 들어, 이들 덧씌우기는 명령어 인터페이스, 로그 인 지시사항, 게임 플레이어에게로의 메시지, 다른 게임 플레이어의 이미지, 다른 게임 플레이어의 비디오 피드(feed)(가령, 웹캠 비디오)를 포함할 수 있다. 클라이언트(610A)가 터치 스크린 인터페이스 또는 시선 검출 인터페이스를 포함하는 일부 실시예에서, 상기 덧씌우기는 가상 키보드, 조이스틱, 터치 패드 및/또는 이들과 유사한 것을 포함할 수 있다. 덧씌우기의 하나의 예시에서, 플레이어의 음성이 오디오 스트림 상에 덧씌워진다. 선택사항으로서 상기 비디오 소스(630)는 하나 이상의 오디오 소스를 더 포함한다.
둘 이상의 플레이어로부터의 입력을 기초로 비디오 서버 시스템(620)이 사용되어 게임 상태를 유지하는 실시예에서, 각각의 플레이어는 위치 및 시점을 포함하는 서로 다른 시점을 가질 수 있다. 선택사항으로서 상기 비디오 소스(630)는 개별 플레이어 각자의 시점을 기초로 각각의 플레이어에 대해 개별적인 비디오 스트림을 제공하도록 사용된다. 덧붙여, 비디오 소스(630)는 서로 다른 프레임 크기, 프레임 데이터 크기, 및/또는 인코딩을 각각의 클라이언트(610)로 제공하도록 사용될 수 있다. 선택사항으로서 비디오 소스(630)는 3D 비디오를 제공하도록 사용된다.
I/O 장치(645)가 비디오 서버 시스템(620)이 정보, 가령, 비디오, 명령어, 정보 요청, 게임 상태, 시선 정보, 장치 모션, 장치 위치, 사용자 모션, 클라이언트 신원, 플레이어 신원, 게임 명령어, 보안 정보, 오디오 및/또는 이들과 유사한 것을 전송 및/또는 수신할 수 있다. 상기 I/O 장치(645)는 통신 하드웨어, 가령, 네트워크 인터페이스 카드 또는 모뎀을 포함한다. 상기 I/O 장치(645)는 게임 서버(625), 네트워크(615) 및/또는 클라이언트(610)와 통신하도록 사용된다.
프로세서(650)는 본 명세서에서 언급된 비디오 서버 시스템(620)의 다양한 구성요소 내에 포함되는 로직, 가령, 소프트웨어를 실행하도록 사용된다. 예를 들어, 프로세서(650)는 비디오 소스(630), 게임 서버(625) 및/또는 클라이언트 정성자(client qualifier)(660)의 기능을 수행하도록 소프트웨어 명령으로 프로그램될 수 있다. 선택사항으로서 비디오 서버 시스템(620)은 프로세서(650)의 둘 이상의 인스턴스를 포함한다. 상기 프로세서(650)는 또한 비디오 서버 시스템(620)에 의해 수신된 명령어를 실행하도록 또는 본 명세서에 기재된 게임 시스템(600)의 다양한 요소들의 동작을 조화시키도록 소프트웨어 명령으로 프로그램될 수 있다. 상기 프로세서(650)는 하나 이상의 하드웨어 장치를 포함할 수 있다. 상기 프로세서(650)는 전자 프로세서이다.
저장부(655)는 비일시적 아날로그 및/또는 디지털 저장 장치를 포함한다. 예를 들어, 저장부(655)는 비디오 프레임을 저장하기 위해 사용되는 아날로그 저장 장치를 포함할 수 있다. 저장부(655)는 비일시적 컴퓨터 판독형 디지털 저장부, 가령, 하드 드라이브, 광학 드라이브 또는 솔리드 스테이트 저장부를 포함할 수 있다. 상기 저장부(615)는 비디오 프레임, 인공 프레임(artificial frame), 비디오 프레임과 인공 프레임 모두를 포함하는 비디오 스트림, 오디오 프레임, 오디오 스트림 및/또는 이들과 유사한 것을 저장하도록 (가령, 적절한 데이터 구조 또는 파일 시스템에 의해) 사용된다. 선택사항으로서 상기 저장부(655)는 복수의 장치에 분산되어 있다. 일부 실시예에서, 저장부(655)는 본 명세서에서 언급된 비디오 소스(630)의 소프트웨어 구성요소를 저장하도록 사용된다. 이들 구성요소는 필요할 때 프로비저닝되도록 준비된 포맷으로 저장될 수 있다.
선택사항으로서 비디오 서버 시스템(620)은 클라이언트 정성자(660)를 더 포함한다. 클라이언트 정성자(660)는 클라이언트, 가령, 클라이언트(610A 또는 610B)의 능력을 원격으로 결정하도록 사용된다. 이들 능력은 클라이언트(610A) 자체의 능력과 클라이언트(610A)와 비디오 서버 시스템(620) 간 하나 이상의 통신 채널의 능력 모두를 포함할 수 있다. 예를 들어, 클라이언트 정성자(660)는 네트워크(615)를 통해 통신 채널을 시험하도록 사용될 수 있다.
상기 클라이언트 정성자(660)는 클라이언트(610A)의 능력을 수동으로 또는 자동으로 결정(가령, 발견)할 수 있다. 수동 결정은 클라이언트(610A)의 사용자(108)와 통신하고 사용자(108)에게 능력을 제공할 것을 요청하는 것을 포함한다. 예를 들어, 일부 실시예에서, 클라이언트 정성자(660)는 이미지, 텍스트 및/또는 이들과 유사한 것을 클라이언트(610A)의 웹 브라우저 내에 디스플레이하도록 사용된다. 하나의 실시예에서, 클라이언트(610A)는 웹 브라우저를 포함하는 HMD, 가령, HMD(104) 등이다. 또 다른 실시예에서, 클라이언트(610A)는 HMD 상에 디스플레이될 수 있는 웹 브라우저를 갖는 게임 콘솔이다. 디스플레이되는 객체는 사용자(108)가 클라이언트(610A)의 정보, 가령, 운영 체제, 프로세서, 비디오 디코더 유형, 네트워크 연결의 유형, 디스플레이 해상도 등을 입력할 것을 요청한다. 사용자(108)에 의해 입력되는 정보는 클라이언트 정성자(660)에게로 다시 통신된다.
예를 들어, 클라이언트(610A) 상에서 에이전트를 실행시키거나 및/또는 클라이언트(610A)로 시험 비디오를 전송함으로써 자동 결정이 이뤄질 수 있다. 상기 에이전트는 웹 페이지에 내장되거나 애드-온(add-on)으로서 설치되는 컴퓨팅 명령, 가령, 자바 스크립트를 포함할 수 있다. 선택사항으로서 상기 에이전트는 클라이언트 정성자(660)에 의해 제공된다. 다양한 실시예에서, 에이전트는 클라이언트(610A)의 프로세싱 파워, 클라이언트(610A)의 디코딩 및 디스플레이 능력, 클라이언트(610A)와 비디오 서버 시스템(620) 간 통신 채널의 지체 시간 신뢰성 및 대역폭, 클라이언트(610A)의 디스플레이 유형, 클라이언트(610A) 상에 존재하는 방화벽, 클라이언트(610A)의 하드웨어, 클라이언트(610A) 상에서 실행되는 소프트웨어, 상기 클라이언트(610A) 내의 레지스트리 엔트리 및/또는 이들과 유사한 것을 발견할 수 있다.
클라이언트 정성자(660)는 비일시적 컴퓨터 판독형 매체 상에 저장된 하드웨어, 펌웨어, 및/또는 소프트웨어를 포함한다. 클라이언트 정성자(660)는 비디오 서버 시스템(620)의 하나 이상의 다른 요소와 별개인 컴퓨팅 장치 상에 배치된다. 예를 들어, 일부 실시예에서, 클라이언트 정성자(660)는 클라이언트(610)와 비디오 서버 시스템(620)의 둘 이상의 인스턴스 간 통신 채널의 특성을 결정하도록 사용된다. 이들 실시예에서, 클라이언트 정성자에 의해 발견된 정보가 사용되어 비디오 서버 시스템(620)의 어느 인스턴스가 클라이언트(610) 중 하나로 스트리밍 비디오를 전달하기에 가장 적합한지를 결정할 수 있다.
일부 실시예에서, 미디어 데이터는 실세계 환경 데이터, 가상 세계 환경 데이터, 또는 이들의 조합을 포함한다. 상기 실세계 환경 데이터는 실세계 환경의 하나 이상의 이미지, 가령, 실제 자동차, 실제 사람, 실제 지리적 위치, 실제 구조물, 실제 집, 실제 나무, 실제 물체, 실제 생물, 실제 무생물 등으로부터 생성된 데이터를 포함한다. 상기 실세계 환경 데이터는, 카메라가 실세계 환경의 이미지를 캡처할 때 카메라, 가령, 비디오 카메라, 오디오 카메라 등에 의해 생성된다. 가상 세계 환경 데이터는 컴퓨터, 가령, 게임 프로그램(117)을 실행하는 프로세서 등에 의해 생성되는 데이터이다.
여러 실시예에서, 하나 이상의 사용자, 가령, 사용자(108), 또 다른 사용자 등은 증강 가상 현실 세계와 대화할 수 있다. 본 명세서에서 사용될 때 증강 가상 현실 세계라는 용어는 실세계 환경 및 허구인, 가령, 컴퓨터로 생성된 등의 환경인 가상 세계 환경을 포함한다. 허구의 환경은 하나 이상의 디스플레이 스크린을 통해 실제 사용자가 지각할 수 있는 및/또는 하나 이상의 사용자 인터페이스 장치를 통해 대화할 수 있는 하나 이상의 프로세서에 의해 시뮬레이션되는 대화의 규칙을 가진다. 본 명세서에서 사용될 때, 용어 사용자 인터페이스 장치는, 사용자(108)가 증강 가상 현실 세계로 입력을 전송하거나 가상 세계로부터 출력을 수신할 때 이용할 수 있는 실제 장치, 가령, HMD(104), HHC(106)(도 1a-1c, 2) 등을 지칭한다. 상기 증강 가상 현실 세계는 하나 이상의 프로세서 모듈, 가령, 게임 클라우드(102)(도 1a-1c, 2)의 하나 이상의 서버, 마이크로제어기(268)(도 3), 프로세서(176)(도 1c) 등에 의해 시뮬레이션될 수 있다. 하나 이상의 프로세서 모듈은 네트워크(110)(도 1a-1c, 2)를 통해 서로 연결될 수 있다. 사용자(108)는 프로세서 모듈과 통신할 수 있는 사용자 인터페이스 장치를 통해 그리고 네트워크(110)를 통해 그 밖의 다른 인터페이스 장치를 통해 증강 가상 현실 세계와 대화할 수 있다. 증강 가상 현실 세계의 특정 양태가 그래픽 디스플레이 스크린, 가령, 컴퓨터 모니터, 텔레비전 모니터, 디스플레이 스크린(266), HHC(106)의 디스플레이 스크린, 또는 이와 유사한 디스플레이 상에 그래픽 형태로 사용자(108)에게 표시될 수 있다. 증강 가상 현실 세계의 그 밖의 다른 특정 양태가 그래픽 디스플레이와 연관될 수 있는 스피커, 가령, 스피커(260)(도 3), 컴퓨터(172)(도 1c)의 스피커, HHC(106)(도 1a-1c)의 스피커 등 상에 가청 형태(audible form)로 사용자에게 표시될 수 있다.
증강 가상 현실 세계 내에서, 사용자는 아바타에 의해 표현될 수 있다. 증강 가상 현실 세계 내 각각의 아바타가 서로 다른 사용자와 고유하게 연관될 수 있다. 사용자(108)의 이름 및 가명이 아바타 옆에 디스플레이되어 사용자(108)가 또 다른 사용자에 의해 쉽게 식별되게 할 수 있다. 사용자(108)의 증강 가상 현실 세계와의 대화가 아바타의 하나 이상의 대응하는 동작에 의해 표현될 수 있다. 예를 들어, 사용자(108)가 두부 동작을 수행할 때, 상기 아바타는 동일한 두부 동작을 수행한다. 또 다른 예를 들면, 사용자(108)가 손 동작을 수행할 때, 아바타는 증강 가상 현실 세계에서 동일한 손 동작을 수행한다. 서로 다른 사용자가 이들의 아바타를 통해 증강 가상 현실 공공 공간, 가령, 증강 가상 현실 지리적 영역 등에서 서로 대화할 수 있다. 사용자(108)를 나타내는 아바타는 사람, 동물, 또는 물체와 유사한 외관을 가질 수 있다. 사람의 형상을 한 아바타는 사용자(108)와 동일한 성별 또는 상이한 성별을 가질 수 있다. 상기 아바타는 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 10), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등 상에 나타나서, 사용자(108)가 증강 가상 현실 세계에서 다른 객체들과 함께 아바타를 볼 수 있다.
다양한 실시예에서, 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 10), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등이 아바타를 나타내지 않으면서 아바타의 시점으로 증강 가상 현실 세계를 나타낼 수 있다. 증강 가상 현실 세계에 대한 아바타의 관점이 가상 카메라의 시야인 것으로 생각될 수 있다. 본 명세서에서 사용될 때, 가상 카메라는 3차원 장면의 2차원 이미지를 증강 가상 현실 세계에 렌더링하기 위해 사용될 수 있는 증강 가상 현실 세계 내 시점을 지칭한다. 사용자는 각각의 로비와 연관된 채팅 채널(chat channel)에 의해 자신들의 아바타를 통해 증강 가상 현실 세계에서 서로 대화할 수 있다. 사용자는 자신들의 사용자 인터페이스를 통해 타 사용자와의 채팅을 위해 텍스트를 입력할 수 있다. 그 후 텍스트는 사용자의 아바타 위에 또는 가령, 때로는 채팅 풍선(chat bubble)이라고 지칭되는 코믹북 스타일의 대화 풍선의 형태로 상기 아바타 옆에 나타날 수 있다. 이러한 채팅은, 때로는 퀵 채팅(quick chat)이라고 지칭되는 사전 기록된 구문 채팅 시스템(canned phrase chat system)을 사용함으로써 용이해 질 수 있다. 퀵 채팅을 이용할 때, 사용자(108)는 메뉴에서 하나 이상의 채팅 구문을 선택할 수 있다.
일부 실시예에서, 공공 공간(public space)은 공공 공간이 임의의 특정 사용자 또는 사용자 그룹과 고유하게 연결되지 않고 어떠한 사용자 또는 사용자 그룹도 타 사용자를 상기 공공 공간에서 배제시킬 수 없다는 점에서 공공적이다. 이와 달리 개인 공간(private space)은 복수의 사용자 중 특정 사용자와 연관된다. 개인 공간은 개인 공간과 연관된 특정 사용자가 타 사용자에 의한 개인 공간으로의 액세스를 제한할 수 있다는 점에서 개인적이다. 개인 공간은 친숙한 개인 부동산의 외관을 취할 수 있다. 또 다른 실시예에서, 사용자는 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 10), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등 상에서 보이는 아바타를 제어할 필요가 없을 수 있다. 가상 공간에서 나타나는 아바타는 기계, 가령, 프로세서 등에 의해 제어되는 봇(bot)일 수 있다. 따라서 사용자(108)에 의해 제어되는 아바타가 그러는 것처럼 유사한 방식으로 아바타 봇은 증강 가상 현실 세계를 돌아 다닐 수 있지만, 어떠한 실세계 사용자도 아바타 봇을 실제로 제어하지 않는다. 여러 방식으로, 아바타 봇은 공간을 돌아다니고, 동작을 취하며, 메시지를 게시하고, 특정 메시지에 대한 특권을 할당하며, 실세계 사용자 등에 의해 제어되는 타 아바타 봇 또는 아바타와 대화할 수 있다. 또한, 봇은 지정된 방식으로 대화하고, 환경을 수정하며, 광고를 게시하며, 메시지를 게시하고, 가상 공간, 가상 건물 또는 가상 객체, 객체의 그래픽 표현을 구축하며, 실제 또는 가상의 화폐를 교환하는 등을 하도록 설정될 수 있다.
일부 실시예에서, 덧씌움 또는 중첩 부분은 투명, 반투명 또는 불투명하다. 예를 들어, 실세계 물체에 덧씌워지는 가상 물체는 투명, 반투명 또는 불투명하다. 예를 들어, 실세계 환경에 덧씌워지는 가상 환경은 투명, 반투명 또는 불투명하다.
본 명세서에 기재된 실시예는 다양한 컴퓨터 시스템 구성, 가령, 핸드-헬드 장치, 마이크로프로세서 시스템, 마이크로프로세서 기반 또는 프로그래머블 소비자 전자장치, 미니컴퓨터, 메인프레임 컴퓨터 등에 의해 실시될 수 있다. 또한 본 명세서에서 기재된 복수의 실시예는 유선 또는 무선 네트워크를 통해 연결되는 원격 프로세싱 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다.
상기의 실시예를 고려하여, 본 명세서에 기재된 복수의 실시예는 컴퓨터 시스템에 저장된 데이터를 포함하는 다양한 컴퓨터 구현형 동작을 채용할 수 있음이 이해되어야 한다. 이들 동작은 물리량의 물리적 조작을 필요로 하는 것들이다. 본 명세서에 기재된 다양한 실시예의 일부를 형성하는 본 명세서에 기재된 동작들 중 임의의 것이 유용한 기계 동작이다. 본 명세서에 기재된 복수의 실시예는 이들 동작을 수행하기 위한 디바이스 또는 장치와 관련된다. 상기 장치는 필요한 목적을 위해 특수하게 구성되거나, 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 구성될 수 있는 컴퓨터일 수 있다. 특히, 다양한 기계가 본원의 설명에 따라 써진 컴퓨터 프로그램과 함께 사용되거나, 필요한 동작을 수행하도록 더 특수화된 장치를 구성하기에 더 편리할 수 있다.
본 명세서에 기재된 다양한 실시예가 비일시적 컴퓨터 판독형 매체 상의 컴퓨터-판독형 코드로서 구현될 수 있다. 비일시적 컴퓨터 판독형 매체는 컴퓨터 시스템에 의해 판독될 수 있는 데이터, 가령, RAM, ROM, 플래시 메모리, 디스크 등을 저장할 수 있는 임의의 데이터 저장 장치이다. 컴퓨터 판독형 매체의 예시는 하드 드라이브, 네트워크 부착 저장장치(NAS), ROM, RAM, 컴팩트 디스크-ROM(CD-ROM), CD-레코더블(CD-R), CD-리라이터블(RW), 자기 테이프 및 그 밖의 다른 광학 및 비광학 데이터 저장 장치가 있다. 비일시적 컴퓨터 판독형 매체는 컴퓨터 판독형 코드가 분산 방식으로 저장 및 실행되도록 네트워크 연결된 컴퓨터 시스템에 걸쳐 분산되는 컴퓨터 판독형 유형 매체를 포함할 수 있다.
방법 동작들이 특정 순서로 기재되었지만, 동작들 사이에 그 밖의 다른 정리 동작(housekeeping operation)이 수행되거나, 동작들이 약간 상이한 때에 발생되도록 동작들이 조절되거나, 프로세싱과 연관된 다양한 간격으로 프로세싱 동작의 발생을 허용하는 시스템에 분산될 수 있거나, 오버레이 동작의 프로세싱이 바람직한 방식으로 수행되는 한 동작들이 서로 다른 순서로 수행될 수 있다.
상기의 실시예는 명확한 이해 목적으로 일부 상세히 기재되었지만, 첨부된 특허청구범위 내에서 특정 변경 및 수정이 실시될 수 있음이 자명할 것이다. 따라서 본 발명의 실시예는 한정이 아닌 예시로서 고려되어야 하며, 본 명세서에 기재된 다양한 실시예가 본 명세서에서 제공된 세부사항에 한정되지 않지만, 이하의 청구범위 및 균등물 내에서 수정될 수 있다.

Claims (13)

  1. 게임 클라우드 시스템을 통해 게임을 플레이하기 위한 두부 장착형 디스플레이(head mounted display)로서, 상기 두부 장착형 디스플레이는:
    사용자가 상기 두부 장착형 디스플레이를 착용하고 있는 실세계 환경의 복수의 이미지를 캡처하도록 구성된 카메라;
    상기 카메라에 연결된 무선 액세스 회로; 및
    상기 무선 액세스 회로에 연결된 게임 프로세싱 회로
    를 포함하고,
    상기 무선 액세스 회로는 상기 실세계 환경의 복수의 인코딩된 이미지를 출력하기 위해 상기 이미지를 인코딩하도록 구성되며,
    상기 무선 액세스 회로는 상기 실세계 환경의 패킷화된 데이터를 출력하기 위해 상기 실세계 환경의 상기 인코딩된 이미지를 패킷화하도록 구성되고,
    상기 무선 액세스 회로는 상기 인코딩된 이미지를 갖는 상기 패킷화된 데이터를 상기 게임 클라우드 시스템에 의한 처리를 위해 라우터 및 네트워크를 통해 상기 게임 클라우드 시스템에 전송하도록 구성되며,
    상기 무선 액세스 회로는 역패킷화딘 데이터를 제공하기 위해 상기 라우터 및 상기 네트워크를 통해 상기 게임 클라우드 시스템으로부터 수신된 인코딩된 미디어 데이터의 스트림을 역패킷화하도록 구성되고,
    상기 무선 액세스 회로는 컴퓨터 생성된 대화형 미디어를 출력하기 위해 상기 역패킷화된 데이터를 디코딩하도록 구성되며,
    상기 게임 프로세싱 회로는 상기 컴퓨터 생성된 대화형 미디어를 상기 이미지 중 적어도 하나에 중첩시킴으로써 게임 프로그램과 연관된 상호대화의 일부분을 구동하도록 구성되고, 상기 컴퓨터 생성된 대화형 미디어는 상기 이미지에 기초하여 생성되는 것을 특징으로 하는 두부 장착형 디스플레이.
  2. 제1항에 있어서, 입력을 생성하기 위해 상기 사용자로부터 동작을 수신하기 위한 사용자 입력 회로를 더 포함하고, 상기 입력은 상기 사용자의 음성 또는 상기 사용자의 시선인 것을 특징으로 하는 두부 장착형 디스플레이.
  3. 제1항에 있어서, 상기 두부 장착형 디스플레이는 상기 게임 클라우드 시스템과 직접 통신하는 핸드 헬드 제어기와 함께 사용되는 것을 특징으로 하는 두부 장착형 디스플레이.
  4. 제1항에 있어서, 상기 두부 장착형 디스플레이는 핸드 헬드 제어기와 함께 사용되고, 상기 두부 장착형 디스플레이의 위치와 이동 및 상기 핸드 헬드 제어기의 위치와 이동이 단일 증강된 가상 현실 장면에서 표현되는 것을 특징으로 하는 두부 장착형 디스플레이.
  5. 제1항에 있어서, 상기 사용자로부터 입력을 생성하기 위한 동작을 수신하기 위한 사용자 입력 회로를 더 포함하고, 상기 입력은 상기 사용자 입력 회로에 의해 감지된 위치 및 이동을 포함하며, 상기 무선 액세스 회로는 상기 입력을 상기 라우터를 통해 상기 게임 클라우드 시스템에 전송하는 것을 특징으로 하는 두부 장착형 디스플레이.
  6. 제1항에 있어서, 핸드 헬드 제어기로부터 입력 신호를 수신하기 위해, 상기 핸드 헬드 제어기에 연결된 통신 회로를 더 포함하고, 상기 무선 액세스 회로는 상기 두부 장착형 디스플레이의 상기 통신 회로에 연결되어 상기 입력 신호에 액세스하며 상기 라우터 및 상기 네트워크를 통해 상기 입력 신호를 상기 게임 클라우드 시스템으로 전송하는 것을 특징으로 하는 두부 장착형 디스플레이.
  7. 게임 클라우드 시스템을 통한 게임 플레이 방법으로서, 상기 방법은:
    두부 장착형 디스플레이(HMD)의 카메라에 의해, 사용자아 상기 두부 장착형 디스플레이를 착용하고 있는 실세계 환경의 복수의 이미지를 캡처하는 단계;
    상기 두부 장착형 디스플레이에 의해, 상기 실세계 환경의 복수의 인코딩된 이미지를 출력하기 위해 상기 이미지를 인코딩하는 단계;
    상기 두부 장착형 디스플레이에 의해, 상기 실세계 환경의 패킷화된 데이터를 출력하기 위해 상기 실세계 환경의 상기 인코딩된 이미지를 패킷화하는 단계;
    상기 두부 장착형 디스플레이로부터, 상기 인코딩된 이미지를 갖는 상기 패킷화된 데이터를 상기 게임 클라우드 시스템에 의한 처리를 위해 네트워크 및 라우터를 통해 상기 게임 클라우드 시스템으로 전송하는 단계;
    상기 두부 장착형 디스플레이에 의해, 역패킷화된 데이터를 제공하기 위해 상기 게임 클라우드 시스템으로부터 수신된 인코딩된 미디어 데이터의 스트림을 상기 네트워크 및 상기 라우터를 통해 역패킷화하는 단계;
    상기 두부 장착형 디스플레이에 의해, 컴퓨터 생성된 대화형 미디어를 출력하기 위해 상기 역패킷화된 데이터를 디코딩하는 단계; 및
    상기 두부 장착형 디스플레이에 의해, 상기 컴퓨터 생성된 대화형 미디어를 상기 실세계 환경의 상기 이미지 중 적어도 하나에 중첩시킴으로써, 게임 프로그램과 연관된 상호대화의 일부분을 구동하는 단계
    를 포함하고,
    상기 컴퓨터 생성된 대화형 미디어는 상기 이미지에 기초하여 생성되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 사용자로부터 입력을 생성하기 위한 동작을 수신하는 단계를 더 포함하고, 상기 입력은 상기 사용자의 음성 또는 상기 사용자의 시선인 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 두부 장착형 디스플레이는 상기 게임 클라우드 시스템과 직접 통신하는 핸드 헬드 제어기와 함께 사용되는 것을 특징으로 하는 방법.
  10. 제7항에 있어서, 상기 두부 장착형 디스플레이는 핸드 헬드 제어기와 함께 사용되고, 상기 방법은 상기 두부 장착형 디스플레이의 위치와 이동 및 상기 핸드 헬드 제어기의 위치와 이동을 단일 증강된 가상 현실 장면으로 표현하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제7항에 있어서, 상기 사용자로부터 입력을 생성하기 위한 동작을 수신하는 단계를 더 포함하고, 상기 입력은 사용자 입력 회로에 의해 감지된 위치 및 이동을 포함하며, 상기 방법은 상기 입력을 상기 라우터를 통해 상기 게임 클라우드 시스템에 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제7항에 있어서,
    핸드 헬드 제어기로부터 입력 신호를 수신하는 단계; 및
    상기 입력 신호를 상기 라우터 및 상기 네트워크를 통해 상기 게임 클라우드 시스템에 전송하기 위해 상기 입력 신호를 패킷화하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  13. 게임 클라우드 시스템을 통한 게임 플레이를 위해 컴퓨터 실행 가능한 명령이 저장된 비 일시적 컴퓨터 판독 가능한 매체로서, 상기 컴퓨터 실행 가능한 명령은, 컴퓨터의 프로세서에 의해 실행될 경우:
    두부 장착형 디스플레이(HMD)의 카메라에 의해, 사용자아 상기 두부 장착형 디스플레이를 착용하고 있는 실세계 환경의 복수의 이미지를 캡처하는 단계;
    상기 두부 장착형 디스플레이에 의해, 상기 실세계 환경의 복수의 인코딩된 이미지를 출력하기 위해 상기 이미지를 인코딩하는 단계;
    상기 두부 장착형 디스플레이에 의해, 상기 실세계 환경의 패킷화된 데이터를 출력하기 위해 상기 실세계 환경의 상기 인코딩된 이미지를 패킷화하는 단계;
    상기 두부 장착형 디스플레이로부터, 상기 인코딩된 이미지를 갖는 상기 패킷화된 데이터를 상기 게임 클라우드 시스템에 의한 처리를 위해 네트워크 및 라우터를 통해 상기 게임 클라우드 시스템으로 전송하는 단계;
    상기 두부 장착형 디스플레이에 의해, 역패킷화된 데이터를 제공하기 위해 상기 게임 클라우드 시스템으로부터 수신된 인코딩된 미디어 데이터의 스트림을 상기 네트워크 및 상기 라우터를 통해 역패킷화하는 단계;
    상기 두부 장착형 디스플레이에 의해, 컴퓨터 생성된 대화형 미디어를 출력하기 위해 상기 역패킷화된 데이터를 디코딩하는 단계; 및
    상기 두부 장착형 디스플레이에 의해, 상기 컴퓨터 생성된 대화형 미디어를 상기 실세계 환경의 상기 이미지 중 적어도 하나에 중첩시킴으로써, 게임 프로그램과 연관된 상호대화의 일부분을 구동하는 단계
    를 포함하는 방법의 동작을 수행하고,
    상기 컴퓨터 생성된 대화형 미디어는 상기 이미지에 기초하여 생성되는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능한 매체.
KR1020217023683A 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법 KR102378669B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361832776P 2013-06-07 2013-06-07
US61/832,776 2013-06-07
US14/144,210 US10137361B2 (en) 2013-06-07 2013-12-30 Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US14/144,210 2013-12-30
PCT/US2014/039409 WO2014197230A1 (en) 2013-06-07 2014-05-23 Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
KR1020207023435A KR20200098736A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207023435A Division KR20200098736A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210097210A true KR20210097210A (ko) 2021-08-06
KR102378669B1 KR102378669B1 (ko) 2022-03-25

Family

ID=52005903

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020207023435A KR20200098736A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020167000301A KR20160018691A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020187012341A KR20180049225A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020217023683A KR102378669B1 (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020197021874A KR20190090880A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207023435A KR20200098736A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020167000301A KR20160018691A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법
KR1020187012341A KR20180049225A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197021874A KR20190090880A (ko) 2013-06-07 2014-05-23 감소된 홉을 이용해 두부 장착형 시스템 내에서 증강 가상 현실 장면을 생성하기 위한 시스템 및 방법

Country Status (8)

Country Link
US (3) US10137361B2 (ko)
EP (2) EP3003514B1 (ko)
JP (3) JP6532864B2 (ko)
KR (5) KR20200098736A (ko)
CN (2) CN104238738B (ko)
BR (1) BR112015030580B1 (ko)
RU (1) RU2639118C2 (ko)
WO (1) WO2014197230A1 (ko)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9575319B2 (en) * 2014-03-10 2017-02-21 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US9690367B2 (en) * 2014-12-10 2017-06-27 Sixense Entertainment, Inc. System and method for assisting a user in locating physical objects while the user is in a virtual reality environment
US20160342968A1 (en) * 2014-12-15 2016-11-24 Empire Technology Development Llc Loyalty program system
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9767613B1 (en) 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10726625B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
JP6693718B2 (ja) 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
EP4236299A3 (en) * 2015-02-27 2023-09-06 Sony Interactive Entertainment Inc. Display control program, dislay control device, and display control method
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
US9779554B2 (en) * 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
CN107735152B (zh) * 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
CN105653020A (zh) * 2015-07-14 2016-06-08 朱金彪 穿越时空的方法和装置以及使用其的眼镜或头盔
CN106358104A (zh) * 2015-07-15 2017-01-25 视讯联合科技股份有限公司 一种具备隐藏视像屏及多种传感器的耳机
CN105169701A (zh) * 2015-07-22 2015-12-23 陈飞 用于情境模拟训练/游戏的头盔
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
CN105068648A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互系统
KR20170134606A (ko) 2015-08-19 2017-12-06 선전 로욜 테크놀로지스 컴퍼니 리미티드 착용가능한 디스플레이 장비
CN107209374A (zh) 2015-08-19 2017-09-26 深圳市柔宇科技有限公司 头戴式电子装置
KR102003629B1 (ko) 2015-08-19 2019-07-24 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드 장착 전자 장치
JP6524333B2 (ja) 2015-08-19 2019-06-05 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウント電子デバイス
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的手套
WO2017045110A1 (zh) * 2015-09-14 2017-03-23 深圳市柔宇科技有限公司 一种头戴式显示设备
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
CN105148513B (zh) * 2015-09-23 2017-06-06 腾讯科技（深圳）有限公司 智能硬件的操作方法及装置
CN105334494B (zh) * 2015-10-22 2017-10-31 浙江大学 一种基于眼镜架的头部运动轨迹射频追踪系统
CN105334959B (zh) * 2015-10-22 2019-01-15 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
CN105913371A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种针对虚拟现实应用延迟的系统优化方法和装置
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
CN108292168B (zh) * 2015-11-26 2021-04-06 日商可乐普拉股份有限公司 针对虚拟空间内对象的动作指示方法及介质
WO2017088187A1 (zh) * 2015-11-27 2017-06-01 深圳市欢创科技有限公司 对虚拟现实设备实现位置追踪的系统及方法
CN105338272A (zh) * 2015-11-27 2016-02-17 广东长虹电子有限公司 基于VR技术及Miracast技术的电视机
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10582017B2 (en) * 2015-12-24 2020-03-03 Intel Corporation Techniques to provide wireless storage and processing capabilities
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
JP6783541B2 (ja) * 2016-03-30 2020-11-11 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106095090A (zh) * 2016-06-07 2016-11-09 北京行云时空科技有限公司 基于智能系统的空间场景的操控方法、装置和系统
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
WO2017218306A1 (en) * 2016-06-13 2017-12-21 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
CN109416679B (zh) * 2016-06-21 2023-06-06 蓝色歌姬有限责任公司 用于混合现实交互的多个电子控制和追踪装置
CN106200899A (zh) * 2016-06-24 2016-12-07 北京奇思信息技术有限公司 根据用户头部动作控制虚拟现实交互的方法及系统
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10453262B1 (en) 2016-07-21 2019-10-22 Relay Cars LLC Apparatus and method for dynamic reflecting car mirrors in virtual reality applications in head mounted displays
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
CN106648048A (zh) * 2016-09-18 2017-05-10 三峡大学 一种基于虚拟现实的外语学习方法与系统
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US10303820B2 (en) * 2016-09-27 2019-05-28 Google Llc Selective simulation of virtualized hardware inputs
WO2018064195A1 (en) 2016-09-27 2018-04-05 Snap Inc. Eyewear device mode indication
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
CN106331181B (zh) * 2016-11-09 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种虚拟公交站台的实现方法及装置
WO2018101279A1 (ja) 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
CN106708258A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN106648084A (zh) * 2016-12-09 2017-05-10 深圳市天易联科技有限公司 虚拟现实设备中的数据处理方法及装置
CN108205409A (zh) * 2016-12-16 2018-06-26 百度在线网络技术（北京）有限公司 用于调整虚拟场景的方法和装置以及设备
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建系统及方法
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
AU2018218182B2 (en) * 2017-02-08 2022-12-15 Immersive Robotics Pty Ltd Antenna control for mobile device communication
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
SE540869C2 (en) * 2017-04-11 2018-12-11 Cargotec Patenter Ab A three dimensional presentation system using an orientation sensor and a digital curtain
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
CN107198876B (zh) * 2017-06-07 2021-02-05 北京小鸟看看科技有限公司 游戏场景的加载方法及装置
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10556185B2 (en) * 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
US10668382B2 (en) * 2017-09-29 2020-06-02 Sony Interactive Entertainment America Llc Augmenting virtual reality video games with friend avatars
CN108031116A (zh) * 2017-11-01 2018-05-15 上海绿岸网络科技股份有限公司 实时进行动作行为补偿的vr游戏系统
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训系统
CN107959887B (zh) * 2017-12-04 2019-12-10 神州租屏(武汉)网络技术有限公司 一种屏幕展示互动系统及实现方法
CN108211365A (zh) * 2018-01-18 2018-06-29 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的过山车系统
CN108452521A (zh) * 2018-01-18 2018-08-28 安徽三弟电子科技有限责任公司 一种基于vr虚拟现实的游戏系统
CN108187338A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的高空跳伞系统
CN108319369B (zh) * 2018-02-01 2021-04-27 网易（杭州）网络有限公司 驾驶交互方法、装置、存储介质及处理器
EP4086736A1 (en) * 2018-02-23 2022-11-09 Telefonaktiebolaget LM Ericsson (publ) Coordinating alignment of coordinate systems used for a computer generated reality device and a haptic device
JP2019149066A (ja) * 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
CN108196686B (zh) * 2018-03-13 2024-01-26 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统
CN110809149B (zh) 2018-08-06 2022-02-25 苹果公司 用于计算机生成现实的媒体合成器
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN109765035B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于渐变编码的vr头盔的移动延迟测量方法
CN109632263B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于光栅尺的vr头盔的移动延迟测量方法
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
KR102237608B1 (ko) * 2019-01-22 2021-04-09 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
US11964202B2 (en) 2019-02-22 2024-04-23 Mursion, Inc. Peer to peer communication system and method
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11327307B2 (en) 2019-05-03 2022-05-10 Microsoft Technology Licensing, Llc Near-eye peripheral display device
US20210405758A1 (en) * 2019-06-05 2021-12-30 Lg Electronics Inc. Method of controlling augmented reality electronic device
WO2020250106A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for teleportation for enhanced audio-visual interaction in mixed reality (mr) using a head mounted device (hmd)
CN112068693A (zh) * 2019-06-10 2020-12-11 Oppo广东移动通信有限公司 控制方法、头戴设备、服务器和运算系统
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
CN113661477A (zh) * 2019-09-27 2021-11-16 苹果公司 管理具有加法显示器的设备
TWI724615B (zh) * 2019-11-07 2021-04-11 南開科技大學 依據擴增實境之圖像配置進行解鎖的系統及其方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111475132A (zh) * 2020-04-07 2020-07-31 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、系统及存储介质
US11257391B2 (en) 2020-04-27 2022-02-22 Nithin S Senthil System and a method for virtual learning of driving a vehicle
KR20220018330A (ko) 2020-08-06 2022-02-15 주식회사 엘지화학 양극 활물질 전구체 및 그 제조 방법
JP7197217B2 (ja) * 2021-06-04 2022-12-27 株式会社コナミアミューズメント ゲームシステム、それに用いるコンピュータプログラム、及び制御方法
KR102567805B1 (ko) * 2021-06-14 2023-08-21 (주)이머시브캐스트 컨트롤 입력 기반의 pc 게임 확장 vr 시스템
CN113542849B (zh) * 2021-07-06 2023-06-30 腾讯科技（深圳）有限公司 视频数据处理方法及装置、电子设备、存储介质
US20240061499A1 (en) * 2022-08-22 2024-02-22 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350608A (ja) 1991-05-29 1992-12-04 Mitsubishi Electric Corp ズームレンズユニット
JP3163786B2 (ja) 1992-10-09 2001-05-08 ソニー株式会社 眼鏡型映像表示装置
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
EP1027781B1 (en) * 1997-10-31 2004-12-29 STMicroelectronics Asia Pacific Pte Ltd. Apparatus and method for depacketizing and aligning packetized input data
US6490324B1 (en) 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
US20020155808A1 (en) * 2000-04-12 2002-10-24 Harumi Kawamura Data transmission method and data transmission apparatus
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US7445549B1 (en) * 2001-05-10 2008-11-04 Best Robert M Networked portable and console game systems
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
CN100534026C (zh) 2002-06-26 2009-08-26 诺基亚有限公司 基于蓝牙rf的rf标记读/写站
US7096383B2 (en) * 2002-08-29 2006-08-22 Cosine Communications, Inc. System and method for virtual router failover in a network routing system
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9756349B2 (en) * 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
US20040176143A1 (en) * 2003-02-07 2004-09-09 Willins Bruce A. System and method for wireless collection and presentation of data
KR20050025083A (ko) 2003-09-03 2005-03-11 휴먼센스 주식회사 영상저장매체 착탈 가능한 두부장착 디스플레이 장치
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
US20060230073A1 (en) * 2004-08-31 2006-10-12 Gopalakrishnan Kumar C Information Services for Real World Augmentation
US8460108B2 (en) * 2005-02-25 2013-06-11 Microsoft Corporation Computerized method and system for generating a gaming experience in a networked environment
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
RU2008110056A (ru) * 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем
US20090221367A1 (en) * 2005-12-22 2009-09-03 Pkr Limited On-line gaming
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
EP2189966B1 (en) * 2007-07-11 2018-09-05 Joled Inc. Display unit, method for processing video signal, and program for processing video signal
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US10058778B2 (en) * 2007-12-05 2018-08-28 Sony Interactive Entertainment America Llc Video compression system and method for reducing the effects of packet loss over a communication channel
US7730219B2 (en) * 2008-01-07 2010-06-01 Lenovo (Singapore) Pte. Ltd. System and method for detecting free and open wireless networks
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
TW201018132A (en) * 2008-10-23 2010-05-01 Asustek Comp Inc Power saving control method for wireless LAN
US9753746B2 (en) * 2008-12-19 2017-09-05 Paul Krzyzanowski Application store and intelligence system for networked telephony and digital media services devices
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US8320954B2 (en) * 2009-07-31 2012-11-27 Research In Motion Limited System and method for enabling messages to be sent while a mobile device is out-of-coverage
TWI392485B (zh) * 2009-12-03 2013-04-11 Univ Nat Yang Ming 一種具立體視覺之頭盔式弱視輔具裝置及系統
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
KR101171660B1 (ko) * 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
WO2011129907A1 (en) 2010-04-13 2011-10-20 Sony Computer Entertainment America Llc Calibration of portable devices in a shared virtual space
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US20110307927A1 (en) * 2010-06-11 2011-12-15 Toshihisa Nakano Method, system and apparatus for managing network services
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
US20120077437A1 (en) * 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
US20120092327A1 (en) * 2010-10-14 2012-04-19 Sony Corporation Overlaying graphical assets onto viewing plane of 3d glasses per metadata accompanying 3d image
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN105898429B (zh) 2011-02-25 2019-05-28 英派尔科技开发有限公司 能够增强现实演出的方法、设备和增强现实设备
US20120224070A1 (en) * 2011-03-04 2012-09-06 ZionEyez, LLC Eyeglasses with Integrated Camera for Video Streaming
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
RU2621644C2 (ru) 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8190749B1 (en) * 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP2013044913A (ja) * 2011-08-24 2013-03-04 Sony Corp 表示装置及び表示制御方法
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130084976A1 (en) 2011-10-01 2013-04-04 Microsoft Corporation Game paradigm for language learning and linguistic data generation
US8971873B2 (en) * 2011-11-18 2015-03-03 General Motors Llc Method of selecting wireless base stations
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8970960B2 (en) 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
EP2849438A4 (en) * 2012-04-23 2016-01-27 Japan Science & Tech Agency MOTION GUIDANCE METHOD AND SYSTEM THEREFOR AND MOTION GUIDANCE APPARATUS
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
WO2014011156A1 (en) * 2012-07-10 2014-01-16 Empire Technology Development Llc Portable multimedia display
KR20140025930A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US8971194B2 (en) * 2012-10-29 2015-03-03 At&T Intellectual Property I, L.P. Controlling wireless transition timers based on application and content
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140129343A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140172640A1 (en) 2012-12-19 2014-06-19 Wal-Mart Stores, Inc. Augmented reality shopping game
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US8976197B1 (en) * 2013-02-21 2015-03-10 Hurricane Electric LLC Solution generating devices and methods
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9420331B2 (en) * 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US11882188B2 (en) * 2019-12-23 2024-01-23 Sony Interactive Entertainment Inc. Methods and systems for maintaining smooth frame rate during transmission of streaming video content
US20230289194A1 (en) * 2022-03-14 2023-09-14 Sony Interactive Entertainment Inc. Sled level boot management control of compute nodes for context switching using boot controllers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices

Also Published As

Publication number Publication date
KR20190090880A (ko) 2019-08-02
US20190070498A1 (en) 2019-03-07
RU2015156217A (ru) 2017-07-14
CN104238738B (zh) 2018-12-28
JP2018069069A (ja) 2018-05-10
EP3003514B1 (en) 2020-03-04
EP3659682B1 (en) 2023-08-16
WO2014197230A1 (en) 2014-12-11
US10137361B2 (en) 2018-11-27
JP6532864B2 (ja) 2019-06-19
KR20200098736A (ko) 2020-08-20
KR102378669B1 (ko) 2022-03-25
US20210220730A1 (en) 2021-07-22
BR112015030580A2 (pt) 2017-07-25
US10974136B2 (en) 2021-04-13
JP2020171712A (ja) 2020-10-22
JP7073444B2 (ja) 2022-05-23
JP2016528942A (ja) 2016-09-23
BR112015030580B1 (pt) 2021-11-09
EP3659682A1 (en) 2020-06-03
KR20160018691A (ko) 2016-02-17
JP6982466B2 (ja) 2021-12-17
KR20180049225A (ko) 2018-05-10
EP3003514A1 (en) 2016-04-13
RU2639118C2 (ru) 2017-12-19
CN110083227A (zh) 2019-08-02
CN110083227B (zh) 2022-08-23
CN104238738A (zh) 2014-12-24
US20140364209A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
US11697061B2 (en) Systems and methods for reducing hops associated with a head mounted system
US20210220730A1 (en) Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant