KR20180095741A - 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법 - Google Patents

두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180095741A
KR20180095741A KR1020187023915A KR20187023915A KR20180095741A KR 20180095741 A KR20180095741 A KR 20180095741A KR 1020187023915 A KR1020187023915 A KR 1020187023915A KR 20187023915 A KR20187023915 A KR 20187023915A KR 20180095741 A KR20180095741 A KR 20180095741A
Authority
KR
South Korea
Prior art keywords
mounted display
game
head
network
data
Prior art date
Application number
KR1020187023915A
Other languages
English (en)
Inventor
데이비드 페리
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Publication of KR20180095741A publication Critical patent/KR20180095741A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

두부 장착형 디스플레이와 연관된 홉을 감소시키기 위한 시스템 및 방법이 기재된다. 상기 두부 장착형 디스플레이(104)는 네트워크(110)를 통해 게임 프로그램(117)과 연관된 대화형 미디어를 수신 및 송신하기 위한 통신 회로를 포함한다. 대화형 미디어는 게임 클라우드 시스템(102)에 의해 프로세싱되고 두부 장착형 디스플레이의 통신 회로로 직접 스트리밍될 수 있다. 두부 장착형 디스플레이는 입력을 생성하기 위해 사용자로부터의 동작을 수신하기 위한 사용자 입력 회로를 더 포함하며, 상기 입력은 사용자 입력 회로에 의해 검출된 위치 및 모션을 포함한다. 상기 두부 장착형 디스플레이는 네트워크로부터 수신된 대화형 미디어를 디코딩하기 위한 게임 프로세싱 회로를 포함한다. 상기 게임 프로세싱 회로는 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상기 상호대화의 일부분은 입력을 기초로 생성된다.

Description

두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR REDUCING HOPS ASSOCIATED WITH A HEAD MOUNTED SYSTEM}
본 발명은 두부 장착형 시스템(head mounted system)과 연관된 홉(hop)을 감소시키기 위한 방법 및 시스템과 관련된다.
일반적으로, 비디오 게임 콘솔이 게임을 플레이하기 위해 사용된다. 예를 들어, 사용자는 보통 게임을 플레이하기 위해 제어기와 콘솔을 구매한다. 상기 콘솔은 인터넷에 연결될 수 있다. 상기 콘솔은 켜지고 제어기는 사용자에 의해 동작되어 상기 콘솔과 인터넷을 통해 게임을 플레이할 수 있다. 그러나, 게임 데이터가 게임 플레이를 용이하게 하기 위해 통과하는 홉의 수, 네트워크 장치의 수 등이 게임의 플레이의 속도를 늦출 수 있다. 예를 들어, 사용자는 특정 게임 스테이지를 플레이하기 위해 인터넷으로부터 그래픽이 콘솔에 다운로드되기를 기다려야 할 수 있다.
상술한 증강현실 관련 종래기술로 예를 들어 대한민국특허 제10-0586818호에는 "증강현실 기술을 이용하는 두부장착 디스플레이 장치"가 개시되어 있다. 좀 더 구체적으로, 상기 종래기술에 개시된 증강현실 기술을 이용하는 두부장착 디스플레이 장치는 시각적 체험경험을 기록할 수 있을 뿐만 아니라 증강현실을 이용하여 교육용 등 다양한 분야에 활용할 수 있다. 이러한 두부장착 디스플레이 장치는 사람의 머리부위에 장착되어 화상을 출력하는 장치로서 헬멧형과 안경형으로 분류될 수 있다. 두부장착 디스플레이는 착용자가 높은 집중도와 몰입감을 가지고 화면을 보게 되고, 또한 착용자가 머리를 다른데로 돌려도 화면이 따라 돌아가므로 보다 자유롭게 화면을 볼 수 있다는 장점이 있다.
이 맥락에서, 본 개시내용에 기재된 실시예가 나타난다.
한국등록특허공보 제10-0586818호
본 명세서에 기재된 실시예는 두부 장착형 시스템과 연관된 홉 수를 감소시키기 위한 시스템 및 방법을 제공한다.
일반적으로 말하면, 다양한 실시예에서, 시스템 및 방법은 미디어 데이터가, 두부 장착형 디스플레이와 네트워크 사이의 라우터를 우회함으로써 상기 네트워크로부터 상기 두부 장착형 디스플레이로 스트리밍되는 게임 플레이를 가능하게 한다. 라우터를 사용하지 않음으로써 두부 장착형 디스플레이와 사용자가 게임을 플레이할 수 있도록 게임 프로그램을 실행하는 게임 클라우드 간 홉의 수가 감소된다.
일부 실시예에서, 게임 클라우드 시스템을 통한 게임 플레이를 위해 사용되는 두부 장착형 디스플레이가 기재된다. 상기 두부 장착형 디스플레이는 네트워크를 통해 게임 프로그램과 연관된 대화형 미디어를 수신 및 송신하기 위한 통신 회로를 포함한다. 대화형 미디어는 게임 클라우드 시스템에 의해 프로세싱되고 두부 장착형 디스플레이의 통신 회로로 직접 스트리밍된다. 상기 두부 장착형 디스플레이는 사용자 입력 회로에 의해 검출되는 위치 및 모션을 포함하는 입력을 생성하도록 사용자로부터의 동작을 수신하기 위한 사용자 입력 회로를 더 포함한다. 상기 두부 장착형 디스플레이는 네트워크로부터 수신된 대화형 미디어를 디코딩하기 위한 게임 프로세싱 회로를 포함한다. 상기 게임 프로세싱 회로는 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상기 상호대화의 일부분은 입력을 기초로 생성된다.
여러 실시예에서, 게임 클라우드를 통한 게임 플레이를 위한 방법이 기재된다. 상기 방법은 네트워크를 통해 게임 프로그램과 연관된 대화형 미디어를 직접 스트리밍하는 단계를 포함한다. 상기 대화형 미디어는 게임 클라우드 시스템에 의해 프로세싱된다. 직접 스트리밍하는 동작은 두부 장착형 디스플레이에 의해 수행된다. 상기 방법은 두부 장착형 디스플레이에 의해 검출된 위치 및 모션을 포함하는 입력을 수신하는 단계, 네트워크로부터 수신된 대화형 미디어를 디코딩하는 단계, 및 게임 프로그램과 연관된 상호대화의 일부분을 구동하는 단계를 더 포함한다. 상호대화의 일부분이 입력을 기초로 생성된다.
다양한 실시예에서, 게임 클라우드 시스템을 통한 게임 플레이를 위한 컴퓨터 실행 명령이 저장된 비일시적 컴퓨터 판독형 매체가 기재된다. 상기 컴퓨터 실행형 명령은 컴퓨터의 프로세서에 의해 실행될 때 네트워크를 통해 게임 프로그램과 연관된 대화형 미디어를 직접 스트리밍한다. 상기 대화형 미디어는 게임 클라우드 시스템에 의해 프로세싱된다. 덧붙여, 컴퓨터 실행형 명령은, 프로세서에 의해 실행될 때, 두부 장착형 디스플레이로부터 입력을 수신한다. 입력은 두부 장착형 디스플레이에 의해 검출되는 위치 및 모션을 포함한다. 상기 컴퓨터 실행형 명령은 프로세서에 의해 실행될 때 네트워크로부터 수신된 대화형 미디어를 디코딩하고 상기 게임 프로그램과 연관된 상호대화의 일부분을 구동한다. 상호대화의 일부분이 입력을 기초로 생성된다.
기재되는 그 밖의 다른 양태가 본 명세서에 기재된 실시예의 원리를 예시로서 도시하는 첨부된 도면을 참조하여 다음의 상세한 설명으로부터 자명해 질 것이다.
본 명세서에 기재되는 다양한 실시예는 첨부되는 도면과 함께 이하의 상세한 설명을 참조하여 더 잘 이해될 수 있다.
도 1a는 본 명세서에 기재된 하나의 실시예에 따르는 게임 클라우드와 두부 장착형 디스플레이(HMD) 또는 핸드헬드 제어기(HHC) 간 홉의 수를 감소시키는 시스템의 다이어그램이다.
도 1b는 본 명세서에 기재된 하나의 실시예에 따르는 네트워크 및 라우터를 통해 HMD 또는 HHC와 게임 클라우드 간에 데이터를 전송하기 위한 시스템의 다이어그램이다.
도 1c는 본 명세서에 기재된 하나의 실시예에 따라, 미디어 데이터를 통신하기 위한 콘솔을 이용하고, 입력 데이터 및/또는 미디어 데이터를 통신하기 위해 라우터를 이용하거나 이용하지 않는 시스템의 다이어그램이다.
도 2는 본 명세서에 기재된 하나의 실시예에 따라, 사용자의 두부 동작 및/또는 손 동작을 기초로 입력 데이터의 생성을 도시하는 시스템의 다이어그램이다.
도 3은 본 명세서에 기재된 하나의 실시예에 따라, 도 1a의 HMD의 일례인 HMD의 다이어그램이다.
도 4a는 본 명세서에 기재된 하나의 실시예에 따라, 무선 네트워크를 액세스하기 위해 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 이미지의 다이어그램이다.
도 4b는 본 명세서에 기재된 하나의 실시예에 따라, 무선 네트워크를 액세스하기 위해 컴퓨터의 디스플레이 스크린 상에 디스플레이되는 이미지의 다이어그램이다.
도 5a는 본 명세서에 기재된 하나의 실시예에 따라, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, 이때 HMD의 디스플레이 스크린의 주변 영역은 저 해상도를 갖고, 중앙 영역은 고 해상도를 가진다.
도 5b는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, HMD의 디스플레이 스크린의 상부 영역과 하부 영역은 저 해상도를 가지며, 상부 영역과 하부 영역 사이의 영역은 고 해상도를 가진다.
도 5c는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 디스플레이 스크린 상에 디스플레이되는 게임의 이미지의 다이어그램이며, 여기서, HMD의 디스플레이 스크린의 우측 영역 및 좌측 영역이 저 해상도를 가지며, 상기 우측 영역과 좌측 영역 사이의 영역이 고 해상도를 가진다.
도 6은 본 명세서에 기재된 하나의 실시예에 따르는 HHC의 다양한 유형을 도시하는 다이어그램이다.
도 7a는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 일례인 HMD의 일례의 다이어그램이다.
도 7b는 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HMD의 일례인 HMD의 일례의 등각도이다.
도 8은 본 명세서에 기재된 하나의 실시예에 따르는, 도 3의 HHC 및 HMD과 인터페이싱하기 위해 호환되는 콘솔의 블록도이다.
도 9는 본 명세서에 기재된 하나의 실시예에 따르는 게임 시스템의 하나의 실시예의 블록도이다.
두부 장착형 시스템(head mounted system)과 연관된 홉(hop)의 수를 감소시키기 위한 시스템 및 방법이 기재된다. 예를 들어, 네트워크 장치, 가령, 라우터, 리피터, 허브, 컴퓨터, 콘솔 등이 네트워크 장치를 통해 전송되는 데이터에 홉을 추가한다. 하나 이상의 네트워크 장치가 두부 장착형 디스플레이(head mounted display)(HMD)와 네트워크 사이에 및/또는 핸드헬드 제어기(handheld controller)(HHC)와 네트워크 사이에 위치할 수 있다. 네트워크 장치가 또 다른 장치로부터 데이터를 수신, 네트워크 장치에 의한 데이터의 버퍼링, 데이터의 분석, 및 네트워크 장치에 의해 데이터를 또 다른 장치로 재전송하는 것의 결과로서 홉이 추가될 수 있다. 시스템 및 방법이 HMD와 네트워크 사이 및/또는 HHC와 네트워크 사이 네트워크 장치의 개수를 감소시킨다. 네트워크 장치의 개수의 감소가 대기시간(latency), 가령, 지체 시간, 데이터 버퍼링 시간, 데이터 수신 시간, 데이터 분석 시간, 데이터 재전송 시간 등을 감소시킨다. 대기시간이 감소될 때, HMD 및/또는 HMC가 사용되어, 최소 대기시간을 갖고 네트워크를 통해 게임 클라우드로부터 수신된 집중 그래픽을 디스플레이할 수 있다. 본 명세서에 기재된 다양한 실시예가 이들 특정 상세사항 중 일부 또는 전부 없이도 실시될 수 있음이 이해되어야 한다. 또 다른 예를 들면, 잘 알려진 프로세스 동작은 본 명세서에 기재되는 다양한 실시예를 불필요하게 모호하게 하지 않도록 상세히 기재되지 않는다.
일부 실시예에서, 시스템은 컴퓨터, HHC 및 HMD를 포함한다. 다양한 실시예에서, 컴퓨터는 특수 컴퓨터, 게임 콘솔, 모바일 폰, 태블릿, 또는 디스플레이 상에 렌더링되는 대화형 게임 프로그램의 하나 이상의 부분을 실행하는 그 밖의 다른 이러한 장치일 수 있다. 이들 실시예에서, 대화형 게임 프로그램의 임의의 나머지 부분은 게임 클라우드 시스템, 가령, 하나 이상의 가상 머신(VM)에서 실행된다. 일부 실시예에서, 상기 게임 클라우드 시스템은 게임 프로그램을 실행하여 게임 장치, HMD, 텔레비전, 컴퓨터 스크린 상에 게임 환경을 생성하는 복수의 서버를 포함한다. 예를 들어, 하이퍼바이저가 물리적 자원, 가령, 프로세서, 메모리 장치, 서버 등 상에서 실행되어, 복수의 운영 체제 및 복수의 컴퓨터 소프트웨어 애플리케이션을 실행해, HMD 상에 게임 환경을 생성하도록 더 사용되는 데이터를 생성할 수 있다. 게임 콘솔의 예시로는 Sony Computer Entertainment™, Inc. 및 그 밖의 다른 제조사에 의해 제조되는 게임 콘솔이 있다. 대화형 게임 프로그램은 복수의 사용에 의해 플레이되는 다중-사용자 게임 프로그램 또는 컴퓨터와 사용자가 플레이하는 단일 사용자 게임 프로그램일 수 있다.
복수의 실시예에서, 대화형 게임 프로그램의 모든 부분이 게임 클라우드 시스템 또는 컴퓨터 상에서 실행된다.
다양한 실시예에서, 대화형 게임 프로그램은 HMD 내에 몰입형 환경(immersive environment)을 생성하도록 실행된다. 예를 들어, 사용자가 몰입하는 몰입형 환경은 프로세서에 의해 생성된다. 상기 몰입형 환경에 의해 사용자는 프로세서가 만든 가상 세계의 일부인 것처럼 느끼게 된다. 상기 몰입형 환경은 사용자를 실세계로부터 정신적으로 분리시키고 사용자를 가상 시계로 보내 사용자에게 게임 경험을 제공할 수 있다. 복수의 실시예에서, 프로세서는 HMD 내에 디스플레이되는 몰입형 환경을 생성하여, 상기 몰입형 환경의 가상 세계가 실제라고 사용자가 느끼게 만든다. 일부 실시예에서, 본 명세서에 기재된 미디어 데이터 또는 추가 미디어 데이터는 몰입형 환경을 생성하도록 사용되는 데이터를 포함한다.
HMD는 사용자가 두부에 착용하거나 작은 디스플레이 광소자, 가령, 렌즈, 안경 등을 사용자의 하나 또는 각각의 눈앞에 갖는 헬멧의 일부인 장치이다. 일부 실시예에서, 2개의 눈에 대해 2개의 광소자가 사용될 때에도, 하나의 장면, 가령, 가상 장면, 증강 가상 현실 장면 등이 HMD의 디스플레이 스크린 상에 디스플레이된다. 두 눈이 하나의 장면을 본다.
일부 실시예에서, HMD는 컴퓨터로부터 비디오 출력을 수신하고 렌더링할 수 있다. 다양한 실시예에서, HHC 및/또는 HMD가 컴퓨터와 무선 통신하는데, 이것이 유선 연결보다 HHC 및/또는 HMD의 움직임의 더 큰 자유를 제공하기 때문이다.
HHC는 다양한 특징부, 가령, 버튼, 조이스틱, 지향성 패드, 트리거, 손 제스처, 터치패드, 터치스크린, 또는 그 밖의 다른 유형의 입력 메커니즘 등 중 임의의 것을 포함하여, 대화형 게임 프로그램으로 입력을 제공할 수 있다. HHC의 하나의 예시로는 Sony Computer Entertainment, Inc.가 제조하는 Sony Dualshock 4 제어기가 있다. HHC의 그 밖의 다른 예시로는 그 밖의 다른 개체에 의해 제조되며 임의의 모델 번호와 임의의 버전 수를 갖는 제어기가 있다.
덧붙여, HHC는 사용자가 이를 이동시킴으로써 대화형 게임 프로그램과 인터페이싱하고 상기 대화형 게임 프로그램으로 입력을 제공하게 할 수 있는 모션 제어기일 수 있다. 상기 모션 제어기의 하나의 예시로는 Sony Computer Entertainment™, Inc.가 제작한 PlayStation Move™ 제어기가 있다.
마찬가지로, HMD는 사용자가 HMD를 이동시킴으로써 대화형 게임 프로그램과 인터페이싱하고 상기 대화형 게임 프로그램으로 입력을 제공할 수 있게 하는 사용자 입력 회로를 포함할 수 있다. 모션 제어기 및/또는 HMD의 위치 및 움직임을 검출하기 위해 다양한 기법이 채용될 수 있다. 예를 들어, 모션 제어기 및/또는 사용자 입력 회로는 다양한 유형의 관성 센서, 가령, 가속도계, 자이로스코프 및 자기력계를 포함할 수 있다. 일부 실시예에서, 가속도계는 6축 저 대기시간 가속도계이다. 몇 개의 실시예에서, 모션 제어기 및/또는 HMD는 하나 이상의 고정된 기준 물체, 가령, 발광 다이오드(LED), 채색된 점, 광 반사체, 마커(marker), 역반사 물질, 지정된 형태, 지정된 색채, 지정된 물체, 바코드, 태그, QR(quick response) 코드 등을 포함할 수 있고 고정된 기준 물체의 이미지가 하나 이상의 디지털 카메라에 의해 캡처된다. 일부 실시예에서, 디지털 카메라는 단일 CCD(Charge Coupled Device), LED 지시자, 및 압축된 비디오 데이터가 적절한 형태, 가령, 인트라-이미지 기반 MPEG(motion picture expert group) 표준으로 전송될 수 있도록 하드웨어-기반 실시간 데이터 압축 및 인코딩 장치를 더 포함하는 비디오 카메라를 포함한다. 그 후 하나 이상의 디지털 카메라에 의해 캡처되는 이미지의 분석을 통해 모션 제어기 및/또는 HMD의 위치 및 움직임이 결정될 수 있다.
도 1a는 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간 홉(hop)의 수를 감소시키기 위한 시스템(100)의 하나의 실시예의 다이어그램이다. 일부 실시예에서, 게임 클라우드(102)는 본 명세서에서 게임 클라우드 시스템이라고 지칭된다. 다양한 실시예에서, HMD(104)는 사용자(108)가 헬멧을 쓸 방식과 유사하게 사용자(108)에 의해 자신의 두부에 위치되어, HMD(104)의 렌즈가 자신의 눈 앞에 위치하게 할 수 있다. 몇 개의 실시예에서, HMD(104)는 안경, 가령, 처방 안경, 고글 등처럼 착용된다. 여러 실시예에서, HMD(104)는 사용자(108)의 두 눈을 모두 덮는다. HHC(106)는 사용자(106) 손에 쥐어진다.
다양한 실시예에서, HHC(106) 대신, 사용자(106)는 제스처, 가령, 손 제스처, 손가락 제스처 등을 HMD(104)로 제공하도록 사용된다. 예를 들어, HMD(104) 내 디지털 카메라가 제스처의 이미지를 캡처하고 상기 HMD(104) 내 프로세서가 상기 제스처를 분석하여 상기 HMD(104) 내에서 디스플레이되는 게임이 상기 제스처에 의해 영향 받는지 여부를 결정할 수 있다.
본 명세서에서 사용될 때, 프로세서는 마이크로프로세서, 프로그래머블 로직 장치(PLD), 주문형 집적 회로(ASIC), 또는 이들의 조합일 수 있다.
시스템(100)은 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 또는 이들의 조합일 수 있는 네트워크(110)를 포함한다. 네트워크(110)의 예시로는, 인터넷, 인트라넷, 또는 이들의 조합이 있다. 일부 실시예에서, 네트워크(110)는 송신 제어 프로토콜(TCP)/인터넷 프로토콜(IP) 또는 사용자 데이터그램 프로토콜/IP(UDP/IP)를 이용해, 네트워크(110)를 통해 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간에 미디어 데이터를 통신할 수 있다. 다양한 실시예에서, 네트워크(110)는 이더넷 프로토콜, TCP/IP 프로토콜, 또는 둘 모두의 프로토콜을 이용해 게임 클라우드(102)와 HMD(104) 또는 HHC(106) 간에 네트워크(110)를 통해 미디어 데이터를 통신할 수 있다.
게임 클라우드(102)는 코더/디코더(코덱(codec))(112) 및 스트림 버퍼(114)를 포함한다. 상기 스트림 버퍼(114)는 미디어 데이터(116)의 스트림을 저장하며, 상기 스트림은 게임 프로그램(117)이 실행되면 생성된다. 상기 미디어 데이터(116)는 가상 환경 데이터, 가상 게임 객체 데이터, 이들의 조합 등을 포함한다. 다양한 실시예에서, 가상 환경 데이터는 게임의 가상 환경을 생성하도록 렌더링되고 가상 게임 객체 데이터는 하나 이상의 가상 게임 객체, 가령, 가상 게임 캐릭터, 가상 포인트, 가상 상품, 게임 인터페이스 등을 생성하도록 렌더링된다. 일부 실시예에서, 게임의 가상 환경은 가상 게임 객체를 포함한다. 가상 환경의 예로는 가상 지리적 영역, 가령, 가상 도시, 가상 도로, 가상 호수, 가상 바다 등이 있다. 게임 프로그램(117)은 대화형 게임 프로그램의 예시이며 게임 클라우드(102)의 하나 이상의 서버에 의해 실행된다. 코덱(112)의 예시로는 압축기/압축해제기가 있다. 예를 들어, 코덱(112)은 미디어 데이터(116)를 코딩/디코딩한다. 압축의 예시로는 손실 압축, 무손실 압축 등이 있다. 일부 실시예에서, 코덱(112)은 패킷화(packetization) 및 역패킷화(depacketization)를 수행하고, 코딩 및 디코딩을 수행한다. 이들 실시예에서, 코덱(112)은 스트림 버퍼(114)를 포함한다.
사용자(108)는 HMD(104)를 이용해 HMD(104)의 프로세서에 의해 실행되는 운영 체제(OS)를 액세스할 수 있다. 예를 들어, 사용자(108)는 버튼 HMD(104)을 켜고, HMD(104)의 프로세서는 OS를 실행시킨다.
일부 실시예에서, OS에 의해 HMD(104)는 네트워크(110)를 액세스할 수 있다. 예를 들어, 사용자(108)가 OS에 추가로 HMD(104)의 프로세서에 의해 실행되는 네트워크 액세스 애플리케이션, 가령, 네트워크 액세스 아이콘, 네트워크 액세스 심볼 등을 선택할 때, 네트워크 액세스 애플리케이션은 HMD(104)의 마이크로제어기로 네트워크의 리스트를 제공하여, 사용자(108)에게 디스플레이할 수 있다. 사용자(108)는 사용자 입력 회로를 이용해 네트워크(110)를 액세스하기 위한 네트워크 중 하나를 선택할 수 있다. 예를 들어, 사용자(108)는 하나 이상의 두부 동작, 가령, 두부 기울이기, 윙크, 응시, 째려보기, 끄덕이기, 가로 젓기 등을 수행할 수 있고, 이는 사용자 입력 회로에 의해 검출되어 네트워크들 중 하나를 선택하기 위한 입력을 생성할 수 있다. 또 다른 예를 들면, 사용자(108)는 HHC(106) 상의 버튼을 선택하여 네트워크들 중 하나를 선택할 수 있고, HHC(106)의 통신 회로에 의해 선택이 HHC(106)에서 HMD(104)로 통신된다. 통신 회로의 예시는 트랜시버, 송신/수신 회로, 네트워크 인터페이스 제어기, 또는 이들의 조합 등을 포함한다. 네트워크 액세스 애플리케이션은 패스워드, 가령, 보안 키, 패스코드 등을 사용자(108)로부터 요청하여 네트워크(110)를 액세스할 수 있다. 패스워드가 유효하다고 인증되면, 상기 네트워크 액세스 애플리케이션이 사용자(108)에 의한 네트워크(110)의 액세스를 허용한다.
네트워크(110)가 액세스되면, OS에 의해 HMD(104)가 게임 프로그램(117)을 액세스할 수 있다. 예를 들어, 사용자(108)가 OS에 추가로 HMD(104)의 프로세서에 의해 실행되는 게임 액세스 애플리케이션, 가령, 게임 액세스 아이콘, 게임 액세스 심볼 등을 선택할 때, 상기 게임 액세스 애플리케이션은 네트워크(110)를 통한 게임 프로그램(117)으로의 액세스를 요청한다. 예를 들어, 사용자(108)는 하나 이상의 두부 동작을 수행하고 상기 두부 동작은 사용자 입력 회로에 의해 검출되어 게임 액세스 애플리케이션을 선택하기 위한 입력을 생성할 수 있다. 또 다른 예를 들면, 사용자(108)는 HHC(106) 상의 버튼을 선택하여 게임 액세스 애플리케이션을 선택하고, HHC(106)의 통신 회로에 의해 상기 선택이 HHC(106)에서 HMD(104)로 통신된다.
네트워크(110)를 통한 게임 프로그램(117)으로의 액세스가 획득되면, HMD(104)의 마이크로제어기가 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이한다. 일부 실시예에서, HMD(104)의 디스플레이 스크린은, HMD(104)가 빠르게 움직일 때 블러(blur) 현상을 감소시키기 위한 고성능 스크린이다. 사용자(108)는 두부 동작 중 하나 이상을 수행하고 각각의 두부 동작이 사용자 입력 회로를 트리거하여 입력을 생성하게 하며, 상기 입력은 게임을 플레이하도록 사용될 수 있다. 일부 실시예에서, 사용자(108)는 자신의 손 및 각각의 손 동작, 가령, 손가락 누름, 손가락 이동, 손가락 회전, 손가락 상향 이동, 손가락 하향 이동, 손가락 우향 이동, 손가락 좌향 이동 등을 이용해 HHC(106)의 하나 이상의 버튼을 선택하고, HHC(106)를 트리거하여 입력을 생성하게 하고 상기 입력이 게임을 플레이하도록 사용될 수 있다.
일부 실시예에서, 게임 액세스 애플리케이션은 사용자(108)로부터 사용자 이름 및/또는 패스워드를 요청하여 게임 프로그램(117)을 액세스할 수 있다. 게임 클라우드(102)로부터 사용자 이름 및/또는 패스워드가 유효하다는 인증이 수신되면, 게임 액세스 애플리케이션이 사용자(108)에 의한 게임 프로그램(117)의 액세스를 허용한다. 여러 실시예에서, 사용자(108)는 손 동작들 중 하나 이상을 수행 및/또는 두부 동작들 중 하나 이상을 수행함으로써 사용자 이름 및/또는 패스워드를 제공한다.
다양한 실시예에서, 게임 액세스 애플리케이션을 액세스하는 대신, 사용자(108)는 네트워크(110)에 액세스할 때 웹 페이지로의 액세스를 요청하고 상기 웹 페이지는 사용자(108)가 게임 프로그램(117)을 액세스하게 한다. 예를 들어, 사용자(108)는 두부 동작들 중 하나 이상을 수행함으로써 사용자 입력 회로를 통해 또는 손 동작들 중 하나 이상을 수행함으로써 HHC(106)를 통해 웹 브라우저 애플리케이션을 선택하여 웹 페이지를 액세스할 수 있다. 웹 페이지를 액세스하면, 사용자(108)가 웹 페이지 상에 디스플레이되는 게임을 플레이한다. 상기 게임은 게임 프로그램(117)이 게임 클라우드(102) 상에서 실행될 때 디스플레이된다.
일부 실시예에서, 게임 프로그램(117)이 게임 클라우드(102) 상에서 실행될 때 디스플레이되는 게임을 플레이하기 위해 웹 페이지를 액세스하기 전에 사용자(108)의 사용자 이름 및/또는 패스워드가 인증된다. 사용자 이름 및/또는 패드워드는 사용자(108)가 게임 액세스 애플리케이션을 통해 게임을 액세스할 때 앞서 기재된 것과 유사한 방식으로 인증된다.
게임 프로그램(117)이 액세스될 때, 코덱(112)은 미디어 데이터(116)의 디지털 데이터 스트림을 인코딩, 가령, 압축 등을 하여 상기 네트워크(110)를 통해 상기 인코딩된 미디어 데이터의 스트림을 HMD(104)로 전송할 수 있다. 일부 실시예에서, 인코딩된 미디어 데이터의 디지털 데이터 스트림은 네트워크(110)를 통해 전송되도록 패킷의 형태를 가진다.
HMD(104)는 네트워크(110)를 통해 코덱(112)으로부터 인코딩된 미디어 데이터의 디지털 데이터 스트림을 수신하고 상기 디지털 데이터 스트림은 프로세싱, 가령, 디코딩, 패킷화 등이 되고, HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이하도록 렌더링될 수 있다. 게임이 HMD(104)의 디스플레이 스크린 상에 디스플레이될 때, 하나 이상의 입력이 HMD(104) 및/또는 HHC(106)로부터 수신된다. 예를 들어, 사용자(108)는 HMD(104)를 착용하면 두부 동작들 중 하나 이상을 수행한다. 또 다른 예를 들면, 사용자(108)는 손 동작, 가령, 버튼 누름, 조이스틱 이동, 손 제스처, 손가락 제스처, 이들의 조합 등 중 하나 이상을 수행하고, 하나 이상의 손 동작이 수행될 때, HHC(106)는 HMD(104)의 통신 회로로 전송되도록 HHC(106)의 통신 회로에 의해 입력 신호로 변환되는 입력 데이터를 생성한다. HMD(104)의 통신 회로에 의해 입력 신호가 아날로그 형태에서 디지털 형태로 변환되어 입력 데이터를 생성하고, 상기 입력 데이터는 HMD(104)에 의해 패킷화 및 인코딩되고 네트워크(110)를 통해 코덱(112)으로 전송된다.
일부 실시예에서, 게임 프로그램(117)은 하나 이상의 두부 동작들을 기초로 생성된 입력 데이터를 하나 이상의 손 동작을 기초로 생성된 입력 데이터와 사상하여 HMD(104) 상에 디스플레이되는 게임의 상태를 변경할지 여부를 결정할 수 있다. 예를 들어, HHC(106) 상의 버튼의 누름을 가리키는 입력과 함께 두부 기울임(head tilt)을 나타내는 입력이 네트워크(110)를 통해 수신될 때, 게임 프로그램(117)은 게임의 상태를 변경시키도록 결정한다. 이와 다른 경우, 게임 프로그램(117)은 게임의 상태를 변경하지 않도록 결정한다.
하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성되는 입력의 입력 데이터가 HMD(104)에 의해 패킷화 및 인코딩되며 네트워크(110)를 통해 코덱(112)으로 인코딩된 입력 데이터의 스트림으로서 전송된다. 예를 들어, 입력 데이터가 라우터를 통해 전송되지 않을 때, 상기 입력 데이터는 HMD(104)로부터 직접 네트워크(110)를 통해 게임 클라우드(102)로 전송된다. 상기 라우터는 HMD(104)와 네트워크(110) 사이에 위치하여, HMD(104)와 네트워크(110) 사이에서 주소지정된 장치 등으로 데이터를 라우팅, 가령, 지향, 전송 등을 할 수 있다.
코덱(112)은 HMD(104)로부터 네트워크(110)를 통해 수신된 인코딩된 입력 데이터의 스트림을 디코딩, 가령, 압축해제 등을 하고, 디코딩된 입력 데이터는 역패킷화 및 게임 프로그램(117)으로 전송되도록 스트림 버퍼(114)에 버퍼링된다. 게임 클라우드(102)의 하나 이상의 서버가 디코딩된 입력 데이터의 스트림을 역패킷화하고 입력 데이터를 게임 프로그램(117)으로 전송한다. 일부 실시예에서, 게임 클라우드(102)는 우선 역패킷화를 수행하고 그 후 디코딩을 수행한다.
입력 데이터를 기초로, 게임 프로그램(117)은 추가 미디어 데이터의 스트림을 생성하도록 게임 클라우드(102)의 하나 이상의 서버에 의해 패킷화되는 추가 미디어 데이터를 생성한다. 추가 미디어 데이터의 스트림이 스트림 버퍼(114)에 저장되고, 코덱(112)에 의해 인코딩되며, 네트워크(110)를 통해 HMD(104)로 인코딩된 추가 미디어 데이터의 스트림으로서 전송된다. 일부 실시예에서, 추가 미디어 데이터를 네트워크(110)를 통해 HMD(104)로 전송하기 전에, 추가 미디어 데이터는 우선 인코딩되고, 그 후 패킷화된다. HMD(104)는 인코딩된 추가 미디어 데이터의 스트림을 수신하고, 상기 스트림을 역패킷화하며, 인코딩된 추가 미디어 데이터를 디코딩하여 추가 미디어 데이터를 HMD(104)의 마이크로제어기로 제공할 수 있다.
일부 실시예에서, 게임 환경은 미디어 데이터(116), 추가 미디어 데이터, 또는 이들의 조합을 포함한다.
HMD(104)의 마이크로제어기는 추가 미디어 데이터를 기초로 게임 프로그램(117)에 의해 실행되는 게임의 디스플레이를 변경한다. 예를 들어, 사용자(108)가 끄덕일 때, 게임 프로그램(117)을 실행함으로써 생성된 게임의 가상 세계에서 사용자(108)의 아바타(avatar)가 또한 끄덕인다. 또 다른 예를 들면, 사용자(108)가 자신의 두부를 가로 저으면, 게임 프로그램(117)을 실행함으로써 생성되는 게임의 가상 세계에서 사용자의 아바타(108) 역시 두부를 가로 젓는다. 또 다른 예를 들면, 사용자(108)가 HMD(104)의 디스플레이 스크린 상에 디스플레이되는 가상 게임 캐릭터를 바라볼 때, 가상 게임 캐릭터가 사용자(108)를 바라본다. 사용자(108)가 가상 게임 캐릭터로부터 시선을 뗄 때, 상기 가상 게임 캐릭터가 사용자(108)로부터 시선을 뗀다. 덧붙여, 이 예시에서, HMD(104)의 디지털 카메라가 사용자(108)의 눈의 이미지 또는 두부 위치를 캡처한다. 눈의 시선 또는 두부 위치를 기초로, 게임 프로그램(117)은 가상 게임 캐릭터의 눈의 위치를 변화시킨다. 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력의 입력 데이터가 게임의 상태를 변화시킴이 주지되어야 한다. 일부 실시예에서, 게임의 디스플레이가 게임 프로그램(117)과 연관된 대화의 일부분으로 지칭된다.
다양한 실시예에서, HHC(106)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터를 HMD(104)로 통신하는 대신, 입력 데이터가 HHC(106)로부터 직접 네트워크(110)를 통해 코덱(112)으로 직접 통신된다. 예를 들어, 입력 데이터가 HHC(106)와 네트워크(110) 사이에서 라우터(도시되지 않음)를 통해 통신되지 않을 때, 입력 데이터가 HHC(106)로부터 직접 네트워크(110)를 통해 코덱(112)으로 통신된다. HMD(104)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터가, HMD(104)에 의해 입력 데이터가 통신되는 것과 유사한 방식으로 HHC(106)에 의해 통신된다. 예를 들어, HMD(104)로부터의 하나 이상의 손 동작을 기초로 생성된 입력 데이터가 HHC(106)에 의해 인코딩 및 패킷화되고, 인코딩된 입력 데이터의 스트림으로서 네트워크(110)를 통해 코덱(112)으로 전송된다.
HMD(104)와 네트워크(110) 사이의 라우터의 부재(도시되지 않음)가 네트워크(110)와 HMD(104) 간 홉의 수를 감소시킴이 자명할 것이다. 라우터가 없는 실시예에서, 대화형 미디어, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)에 의해 네트워크(110)를 통해 HMD(104)의 무선 액세스 카드(WAC)로 직접 스트리밍된다. 덧붙여, 이들 실시예에서, 대화형 미디어, 가령, 입력 데이터 등이 WAC에 의해 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 직접 스트리밍된다.
홉 수의 감소가 라우터와 연관된 시간을 절약한다. 예를 들어, 라우터는 또 다른 장치로부터 데이터를 수신하고 상기 데이터를 버퍼링하며, 데이터를 분석하고 상기 데이터를 또 다른 네트워크 장치로 재전송한다. 데이터가 라우터를 우회하여 네트워크(110)를 통해 HMD(104)와 게임 클라우드(102) 간에 전송될 때 데이터를 수신하고, 데이터를 버퍼링하며, 데이터를 분석하고, 데이터를 재전송하는 시간이 절약된다. 또한 데이터가 라우터를 우회하여 네트워크(110)를 통해 HHC(106)와 게임 클라우드(102) 간에 전송될 때, 데이터를 수신하고, 데이터를 버퍼링하며, 데이터를 분석하고, 데이터를 재전송하는 시간이 절약된다.
마찬가지로, HMD(104) 또는 HHC(104)와 네트워크(110) 간에 컴퓨터, 가령, 콘솔, 모바일 장치 등이 사용되지 않을 때, 데이터를 수신하고, 저장하며, 분석하고, 재전송하는 것과 연관된 시간이 절약된다.
도 1b는 네트워크(110) 및 라우터(152)를 통해 HMD(104) 또는 HHC(106)와 게임 클라우드(102) 간에 데이터를 전송하기 위한 시스템(150)의 하나의 실시예의 다이어그램이다. 상기 시스템(150)이 HMD(104)와 네트워크(110) 사이에서 라우터(152)를 포함한다는 것을 제외하고, 상기 시스템(150)은 시스템(100)(도 1a)과 유사하다. 상기 라우터(152)는 HHC(106)와 네트워크(110) 사이에도 위치한다.
HMD(104)는, 무선 연결, 가령, Bluetooth 연결, Wi-Fi 연결 등을 통해 라우터(152)로 연결된다. 덧붙여, HHC(106)는 무선 연결, 가령, Bluetooth 연결, Wi-Fi 연결 등을 통해 라우터(152)로 연결된다. 일부 구현예에서, 라우터(152)는 유선 연결을 통해 네트워크(110)로 연결된다.
인코딩된 데이터의 스트림이 HMD(104) 또는 HHC(106)에서 라우터(152)로 전송되는 것을 제외하고, 시스템(150)은 시스템(100)(도 1a)과 유사하게 동작한다. 상기 라우터(152)는, 인코딩된 데이터의 스트림을 네트워크(110) 내 하나의 경로로 라우팅, 가령, 지향 등을 시켜, 코덱(112)으로 스트림을 전송하는 것을 촉진시킬 수 있다. 상기 라우터(152)는 코덱(112)의 IP 주소 및/또는 매체 액세스 층(MAC) 주소를 이용해, 인코딩된 데이터의 스트림을 코덱(112)으로 라우팅할 수 있다. 일부 실시예에서, 상기 라우터(152)는 하나 이상의 네트워크 트래픽 요인, 가령, 네트워크 경로 상의 패킷 트래픽, 네트워크 경로 상의 혼잡 등을 기초로, 네트워크(110)의 네트워크 경로를 결정한다.
라우터(152)는 네트워크(110)를 통해 게임 클라우드(102)로부터 인코딩된 데이터의 스트림을 수신하고 상기 인코딩된 데이터의 스트림을 HMD(104)로 라우팅한다. 예를 들어, 라우터(152)는 수신된 인코딩된 데이터의 스트림을 HMD(104)의 IP 주소 및/또는 MAC 주소를 기초로 게임 클라우드(102)로부터 네트워크(110)를 통해 HMD(104)로 라우팅한다.
도 1c는 컴퓨터(172)를 이용하여 미디어 데이터를 통신하고 라우터(152)를 이용하거나 이용하지 않고 입력 데이터 및/또는 미디어 데이터를 통신하기 위한 시스템(170)의 하나의 실시예의 다이어그램이다.
일부 실시예에서, HMD(104) 대신, 무선 네트워크의 리스트가 컴퓨터(172)로 연결되거나 컴퓨터(172) 내에 위치하는 디스플레이 스크린 상에 표시된다. 예를 들어, 컴퓨터(172)가 모바일 전화기일 때, 컴퓨터(172)는 무선 네트워크의 리스트를 디스플레이하기 위한 디스플레이 스크린을 포함한다. 또 다른 예를 들면, 컴퓨터(172)가 텔레비전 디스플레이 스크린으로 연결될 때, 무선 네트워크의 리스트가 디스플레이 스크린 상에 디스플레이된다. 이들 실시예에서, 컴퓨터(172)의 프로세서(176)가 컴퓨터(172)의 메모리 장치 내에 저장된 무선 액세스 애플리케이션을 실행할 때 무선 네트워크의 리스트가 액세스된다. 사용자(108)가 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써 HMD(104) 또는 HHC(106)를 통해 무선 액세스 애플리케이션을 액세스할 때, 상기 프로세서(176)는 무선 액세스 애플리케이션을 실행한다. 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력 데이터가 HMD(104) 또는 HHC(106)의 통신 회로로부터 컴퓨터(172)로 전송된다. 컴퓨터(172)의 프로세서(176)가 입력 데이터를 수신할 때, 무선 액세스 애플리케이션이 실행되어 무선 네트워크의 리스트를 생성할 수 있다.
컴퓨터(172)는 게임 클라우드(102)로부터 게임 프로그램(117)의 일부분을 요청하는 네트워크 인터페이스 제어기(NIC)(174)를 포함한다. NIC의 예시는 네트워크 인터페이스 카드 및 네트워크 어댑터를 포함한다. 게임 프로그램(117)의 일부분은 코덱(112)에 의해 인코딩되고 네트워크(110)를 통해 컴퓨터(172)의 NIC(174)로 스트리밍된다. 컴퓨터(172)의 프로세서(176)는 게임 프로그램(117)의 일부분을 실행하여 미디어 데이터를 생성하며, 상기 미디어 데이터는 통신 회로(178), 트랜시버, 송신/수신 회로, 네트워크 인터페이스 제어기 등으로부터 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이된다. HMD(104)의 통신 회로가 컴퓨터(172)로부터 미디어 데이터를 수신하고 상기 미디어 데이터를 HMD(104)의 마이크로제어기로 전송하여 HMD(104)의 디스플레이 스크린 상에 디스플레이할 수 있다.
덧붙여, 컴퓨터(172)의 통신 회로(178)가 HMD(104) 및/또는 HHC(106)로부터 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력 데이터를 수신하고, 입력 데이터를 프로세서(176)로 전송한다. 입력 데이터에 응답하여, 상기 프로세서(176)는 컴퓨터(172) 내에 저장된 게임 프로그램(117)의 일부분을 실행하여, 미디어 데이터를 생성하고, 상기 미디어 데이터는 통신 회로(178)로부터 HMD(104)의 통신 회로로 전송된다. 미디어 데이터는 HMD(104)의 통신 회로로 전송되어 게임 프로그램(117)의 실행에 의해 디스플레이되는 가상 게임 객체 및/또는 게임의 가상 환경을 변경한다. 가상 게임 객체 및/또는 가상 환경이 변할 때, 게임 프로그램(117)의 실행에 의해 디스플레이되는 게임의 게임 상태가 변한다.
일부 실시예에서, 컴퓨터(172)의 NIC(174)에 의해 게임 상태가 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)로 전송되어, 게임 클라우드(102)의 하나 이상의 서버에게 게임 상태를 알려줄 수 있다.
다양한 실시예에서, 게임 프로그램(117)의 일부분이 게임 클라우드(102)로부터 컴퓨터(172)로 다운로드될 때까지, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송된다. 예를 들어, 초기에, 사용자(108)는 게임 액세스 애플리케이션을 이용해 게임 프로그램(117)을 액세스할 수 있다. 게임 프로그램(117)의 일부분의 액세스 동안, 상기 미디어 데이터(116)는 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이될 수 있다. HMD(104) 상으로의 디스플레이를 위한 게임 클라우드(102)로부터의 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등의 액세스 시간 동안, 컴퓨터(172)의 NIC(174)는 네트워크(110) 및 라우터(152)를 통해 게임 클라우드(102)로부터 게임 프로그램(117)의 일부분을 다운로드한다.
일부 실시예에서, 게임 프로그램(117)의 일부분이 콘솔(172)에 의해 액세스될 때, 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 디스플레이될 수 있다. 이들 실시예에서, 라우터(152)는 우회되어 홉의 수를 감소시킬 수 있다. 라우터(152)를 우회한 후 HMD(104) 상에 디스플레이되도록 게임 클라우드(102)로부터의 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등의 액세스 시간 동안, 컴퓨터(172)의 NIC(174)는 게임 클라우드(102)로부터 네트워크(110) 및 라우터(152)를 통해 게임 프로그램(117)의 일부분을 다운로드한다.
여러 실시예에서, 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HMD(104)로부터 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고 입력 데이터의 나머지 부분이 HMD(104)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다.
다양한 실시예에서, 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HHC(106)의 통신 회로로부터 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되며 입력 데이터의 나머지 부분이 HHC(106)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다.
일부 실시예에서, 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HMD(104)로부터 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고, 입력 데이터의 나머지 부분이 HMD(104)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다. 이들 실시예에서, 라우터(152)가 우회된다.
여러 실시예에서, 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 일부분이 HHC(106)의 통신 회로로부터 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송되고 입력 데이터의 나머지 부분이 HHC(106)의 통신 회로로부터 컴퓨터(172)의 통신 회로(178)로 전송된다. 이들 실시예에서, 라우터(152)가 우회된다.
다양한 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되는 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 미디어 데이터를 렌더링하여 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이하며, 컴퓨터(172)의 프로세서(176)에 의해 게임 프로그램(117)의 일부분의 실행에 의해 생성된 미디어 데이터가 컴퓨터(172)의 통신 회로(178)로부터 HMD(104)로 전송되어 디스플레이 스크린 상에 게임을 디스플레이할 수 있다. 이들 실시예에서, 게임 클라우드(102) 및 컴퓨터(172)는 동기화된 게임 상태를 가진다. 예를 들어, 코덱(112)은 게임 프로그램(117)의 실행에 의해 생성된 게임 상태를 네트워크(110) 및 라우터(152)를 통해 컴퓨터(172)의 NIC(174)로 전송하여 컴퓨터(172)에게 게임 상태를 알릴 수 있다. 또 다른 예를 들면, 컴퓨터(172)의 NIC(174)는 컴퓨터(172) 상에서의 게임 프로그램(117)의 일부분의 실행에 의해 생성된 게임 상태를 라우터(152) 및 네트워크(110)를 통해 게임 클라우드(102)의 코덱(112)으로 전송하여, 하나 이상의 게임 클라우드 서버에게 게임 상태를 알릴 수 있다.
일부 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되는 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 미디어 데이터를 렌더링하여 HMD(104)의 디스플레이 스크린 상에 게임을 디스플레이할 수 있고, 컴퓨터(172)의 프로세서(176)에 의한 게임 프로그램(117)의 일부분의 실행에 의해 생성되는 미디어 데이터가 컴퓨터(172)가 통신 회로(178)로부터 HMD(104)로 전송되어 디스플레이 스크린 상에 게임을 디스플레이할 수 있다. 이들 실시예에서, 미디어 데이터가 코덱(112)에서 HMD(104)로 전송될 때 라우터(152)는 우회된다. 이들 실시예에서, 앞서 기재된 바와 같이 게임 클라우드(102)와 컴퓨터(172)가 게임 상태를 동기화한다.
여러 실시예에서, 게임 프로그램(117)을 실행시킴으로써 생성되고 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110) 및 라우터(152)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 미디어 데이터를 렌더링하기 위한 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등이 컴퓨터(172)의 프로세서(176)에 의해 게임 프로그램(117)의 일부분의 실행에 의해 생성되는 미디어 데이터보다 많은 그래픽을 가진다.
일부 실시예에서, 게임 프로그램(117)을 실행함으로써 생성되고 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송되어 HMD(104)의 디스플레이 스크린 상에 미디어 데이터를 렌더링하기 위한 미디어 데이터, 가령, 미디어 데이터(116), 추가 미디어 데이터 등은 컴퓨터(172)의 프로세서(176)에 의한 게임 프로그램(117)의 일부분의 실행에 의해 생성되는 미디어 데이터보다 많은 그래픽을 가진다. 이들 실시예에서, 미디어 데이터가 게임 클라우드(102)의 코덱(112)으로부터 네트워크(110)를 통해 HMD(104)로 전송될 때, 라우터(152)가 우회된다.
다양한 실시예에서, HMD(104)(도 1a-1c)가 2차원 또는 3차원 이미지를 디스플레이하도록 사용된다.
도 2는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 기초로 하는 입력 데이터의 생성을 나타내기 위한 시스템(200)의 하나의 실시예의 다이어그램이다. 사용자(108)는 HMD(202)를 착용하고, HHC(204)를 쥐고 있다. HMD(202)는 HMD(104)(도 1a-1c)의 예시이며 HHC(204)는 HHC(106)(도 1a-1c)의 예시이다.
HMD(202)는 하나 이상의 마커, 가령, 마커(M1), 마커(M2), 및 마커(M3) 등을 포함한다. 마찬가지로, HHC(204)는 하나 이상의 마커, 가령, 마커(M4), 마커(M5), 마커(M6) 등을 포함한다. 각각의 마커는 발광 다이오드, 광원, 컬러, 반사성 물질 등일 수 있다.
비디오 카메라(206)는 HMD(202)의 이미지를 캡처한다. 사용자(108)의 두부가 기울어지거나 움직일 때, xyz 좌표계에서 마커(M1 내지 M3)의 위치가 변경된다. 상기 비디오 카메라(206)는 마커(M1 내지 M3)의 이미지를 캡처하고 상기 이미지를 컴퓨터(172)로 전송한다. 마커(M1 내지 M3)의 이미지는 입력 데이터의 예시이다. 3차원 공간(X, Y, Z)에서의 HMD(202)의 위치가 이미지에서 마커(M1 내지 M3)의 위치를 기초로 컴퓨터(172)의 프로세서(176)(도 1c)에 의해 결정될 수 있다. 또한, HMD(202)의 관성 운동, 가령, 요(yaw), 틸트(tilt), 및 롤(roll) 등이 마커(M1 내지 M3)의 움직임을 기초로 컴퓨터(172)의 프로세서(176)(도 1c)에 의해 결정된다.
다양한 실시예에서, 비디오 카메라(206)는 이동형(mobile)이다. 예를 들어, 비디오 카메라(206)는 로봇 장치, 가령, 멀티콥터(multicopter), 로봇 암, 로봇, 로봇 차량, 로봇 자동차, 쿼드콥터(quadcopter) 등에 부착된다. 예를 들어, 상기 비디오 카메라(206)는 HMD(202) 및/또는 HHC(204)의 이미지를 캡처하기 위해 로봇 장치 아래, 위, 측방 등에 부착된다. HMD(202)는 사용자(108)의 두부의 움직임에 따라 이동한다. 여러 실시예에서, 비디오 카메라(206) 대신, 디지털 카메라가 사용된다.
일부 실시예에서, 비디오 카메라(206)는 HHC(204)의 이미지를 캡처한다. 사용자(108)의 손이 움직일 때, 마커(M4 내지 M6)의 위치가 좌표계에서 변화한다. 비디오 카메라(206)가 마커(M4 내지 M6)의 이미지를 캡처하고 상기 이미지를 컴퓨터(172)로 전송한다. 마커(M4 내지 M6)의 이미지는 입력 데이터의 예시이다. 3차원 공간(X, Y, Z)에서의 HHC(204)의 위치가 상기 이미지에서의 마커(M4 내지 M6)의 위치를 기초로 컴퓨터(172)의 프로세서(176)에 의해 결정될 수 있다. 덧붙여, HHC(204)의 관성 운동, 가령, 요, 틸트, 및 롤 등이 상기 마커(M4 내지 M6)의 움직임을 기초로 컴퓨터(172)의 프로세서(176)에 의해 결정된다.
일부 실시예에서, HHC(204) 대신, 사용자(108)의 손이 마커(M4 내지 M6)로 마킹된다.
도 3은 HMD(250)의 실시예의 다이어그램이며, 이는 HMD(104)(도 1a-1c)의 일례이다. HMD(250)는 비디오 오디오 분리기(254), 비디오 디코더(255), WAC(258), 스트림 버퍼(259), 하나 이상의 스피커(260), 사용자 입력 회로(262), 디스플레이 스크린(266), 마이크로제어기(268), 오디오 버퍼(272), 외부 디지털 카메라(274), 오디오 코덱(276), 내부 디지털 카메라(278), 비디오 버퍼(280), 비디오 오디오 동기화기(282), 마이크로폰(284), 및 제어기/컴퓨터 통신 회로(287)를 포함한다. 상기 외부 디지털 카메라(274)는 사용자(108)의 실세계 환경을 대면하고 내부 디지털 카메라(278)는 사용자(108), 가령, 사용자(108)의 눈, 두부 등을 대면한다.
여러 실시예에서, 스피커(260)는 오디오 회로이다. 다양한 실시예에서, 오디오 코덱(276), 오디오 버퍼(272), 및/또는 스피커(260)는 오디오 회로이다. 일부 실시예에서, 비디오 디코더(255)와 마이크로제어기(268)의 조합이 게임 프로세싱 회로로 지칭된다. 다양한 실시예에서, 마이크로제어기(268)는 디스플레이 회로이다. 디스플레이 스크린의 예시가 LED 스크린, 액정 디스플레이(LCD) 스크린, 실리콘 액정(liquid crystal on silicon) 스크린, 유기 LED(OLED) 스크린, 플라스마 스크린 등을 포함한다. 외부 디지털 카메라(274)의 하나의 예시는 Sony Computer Entertainment, Inc.가 제조하는 Playstation Eye®를 포함한다.
마이크로제어기(268)는 렌더링 프로그램(286) 및 운영 체제(288)를 저장한다. 상기 렌더링 프로그램(286) 및 운영 체제(288)는 마이크로제어기(286)의 메모리 장치에 저장되고 마이크로제어기(268)의 마이크로프로세서에 의해 실행된다. 상기 마이크로제어기(268)의 하나의 예시는 디스플레이 스크린(266) 상에 게임을 디스플레이하기 위해 디스플레이 스크린(266)의 요소, 가령, LCD를 구동하는, 가령, 신호를 제공하거나 활성화하기 위한 신호를 생성하는 드라이버, 가령, LCD 드라이버를 포함하는 저 비용 마이크로제어기를 포함한다. 마이크로제어기(268)의 또 다른 예시는 그래픽 처리 유닛(GPU) 및 메모리 장치를 포함한다.
일부 실시예에서, 마이크로제어기(268)의 메모리 장치는 플래시 메모리 또는 랜덤 액세스 메모리(RAM)가 아닌 다른 것이다. 예를 들어, 마이크로제어기의 메모리 장치는 버퍼이다. 다양한 실시예에서, 마이크로제어기(268)의 메모리 장치는 플래시 메모리 또는 RAM이다. 사용자 입력 회로(262)의 예시는 자이로스코프, 자기력계 및 가속도계를 포함한다. WAC(258)의 예시는 NIC를 포함한다. 일부 실시예에서, WAC(258)는 통신 회로로 지칭된다.
인코딩된 미디어 데이터의 스트림이 네트워크(110) 또는 라우터(152)(도 1b-1c, 2)로부터 스트림 버퍼(259)로 수신된다. 스트림 버퍼(259)에 의해 수신되는 인코딩된 미디어 데이터의 예시는 인코딩된 미디어 데이터(116)(도 1a-1c, 2) 및 인코딩된 추가 미디어 데이터 등을 포함한다. 라우터(152)가 컴퓨터(172)(도 2)에 연결될 때, 컴퓨터(172)로부터 수신된 미디어 데이터는 스트림 버퍼(259)에 저장된 대신 HMD(250)의 버퍼(도시되지 않음)에 저장된다.
WAC(258)는 스트림 버퍼(259)로부터 인코딩된 미디어 데이터의 스트림을 액세스하고 상기 스트림을 역패킷화한다. 또한 WAC(258)는 인코딩된 미디어 데이터를 디코딩하기 위한 디코더도 포함한다.
인코딩된 미디어 데이터의 스트림이 라우터(152)(도 1c)를 통해 컴퓨터(172)(도 1c)에 의해 수신되는 실시예에서, 컴퓨터(172)의 NIC(174)(도 1c)가 상기 인코딩된 미디어 데이터의 스트림을 역패킷화하고 디코딩하여, 디코딩된 데이터를 생성하며, 상기 디코딩된 데이터는 라우터(152)에 의해 HMD(250)의 버퍼(도시되지 않음)로 전송되어 저장될 수 있다.
비디오 오디오 분리기(254)에 의해 디코딩된 데이터가 WAC(258) 또는 HMD(250)의 버퍼(도시되지 않음)로부터 액세스된다. 비디오 오디오 분리기(254)는 디코딩된 데이터 내에서 비디오 데이터와 오디오 데이터를 분리한다.
상기 비디오 오디오 분리기(254)는 오디오 데이터를 오디오 버퍼(272)로 전송하고 비디오 데이터를 비디오 버퍼(280)로 전송한다. 상기 비디오 오디오 동기화기(282)가 비디오 버퍼(280)에 저장된 비디오 데이터를 오디오 버퍼(272)에 저장된 오디오 데이터와 동기화한다. 예를 들어, 비디오 오디오 동기화기(282)는 비디오 데이터 및 오디오 데이터의 재생 시점을 이용해 상기 비디오 데이터를 오디오 데이터와 동기화할 수 있다.
오디오 코덱(276)은 동기화된 오디오 데이터를 디지털 포맷에서 아날로그 포맷으로 변환하여 오디오 신호를 생성하고 상기 오디오 신호는 스피커(260)에 의해 재생되어 소리를 발생시킬 수 있다. 비디오 디코더(255)는 동기화된 비디오 데이터를 디지털 형태에서 아날로그 형태 등으로 디코딩, 가령, 변경하여, 아날로그 비디오 신호를 생성할 수 있다. 마이크로제어기(268)는 렌더링 프로그램(286)을 실행시켜 상기 비디오 디코더(255)에 의해 생성된 아날로그 비디오 신호를 기초로 디스플레이 스크린(266) 상에 게임을 디스플레이할 수 있다. 일부 실시예에서, 디스플레이 스크린(266) 상에 디스플레이되는 게임이 오디오 신호의 재생과 동기화되어 디스플레이된다.
덧붙여, 사용자(108)(도 1a-1c, 2)가 마이크로폰(284)에 말하며, 상기 마이크로폰이 소리, 가령, 음성 등의 신호를 전기 신호, 가령, 오디오 신호로 변환한다. 오디오 코덱(276)은 오디오 신호를 아날로그 포맷에서 디지털 포맷으로 변환하여 오디오 버퍼(276)에 저장된 오디오 데이터를 생성할 수 있다. 오디오 버퍼(276)에 저장된 오디오 데이터는 사용자(108)의 소리를 기초로 생성된 입력 데이터의 예시이다. 상기 오디오 데이터는 오디오 버퍼(276)로부터 WAC(258)에 의해 액세스되어 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 오디오 버퍼(276)로부터 액세스된 오디오 데이터를 패킷화 및 인코딩하여, 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 오디오 데이터는 오디오 버퍼(276)로부터 WAC(258)에 의해 액세스되어 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 오디오 버퍼(276)로부터 액세스된 오디오 데이터를 패킷화 및 인코딩하여 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
내부 디지털 카메라(278)가 사용자(108)(도 1a-1c, 2)의 하나 이상의 두부 동작의 하나 이상의 이미지를 캡처하여, 하나 이상의 두부 동작을 기초로 생성된 입력 데이터의 예시인 이미지 데이터를 생성할 수 있다. 마찬가지로, 외부 디지털 카메라(278)가 사용자(108)의 손의 하나 이상의 이미지 및/또는 HMD(250) 또는 사용자(108)의 손 상에 위치하는 마커의 하나 이상의 이미지를 캡처하여 이미지 데이터를 생성할 수 있다. 사용자(108)의 손에 위치하는 마커 또는 사용자(108)의 손의 움직임을 기초로 하여 생성된 이미지 데이터는 하나 이상의 손 동작을 기초로 생성된 입력 데이터의 예시이다. 디지털 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 비디오 버퍼(280)에 저장된다.
일부 실시예에서, 디지털 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 HMD(250)의 버퍼에 저장되고 상기 버퍼는 비디오 버퍼(280)가 아닌 다른 것이다. 다양한 실시예에서, 디지털 카메라(274 및 278)에 의해 캡처되는 이미지 데이터가 비디오 디코더(255)에 의해 디코딩되고 마이크로제어기(268)로 전송되어 디스플레이 스크린(266) 상에 이미지를 디스플레이할 수 있다.
디지털 카메라(274 및 278)에 의해 캡처된 이미지 데이터가 비디오 버퍼(280)로부터 WAC(258)에 의해 액세스되어, 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 비디오 버퍼(280)로부터 액세스된 이미지 데이터를 인코딩하여 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 비디오 데이터는 비디오 버퍼(280)로부터 WAC(258)에 의해 액세스되어 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 비디오 버퍼(280)로부터의 비디오 데이터를 패킷화 및 인코딩하여, 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
제어기/컴퓨터 통신 회로(287)는 컴퓨터(172)로부터 미디어 데이터를 수신하여 HMD(250)의 버퍼(도시되지 않음)에 저장할 수 있다. 덧붙여, 제어기/컴퓨터 통신 회로(287)는 HHC(106)(도 1a-1c, 2)로부터 입력 신호를 수신하고, 상기 입력 신호를 아날로그 형태에서 디지털 형태로 변환하여, 입력 데이터를 생성할 수 있으며, 상기 입력 데이터는 WAC(258)에 의해 액세스되어 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)(도 1a-1c, 2)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 제어기/컴퓨터 통신 회로(287)로부터 액세스되는 입력 데이터를 패킷화 및 인코딩하여 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
일부 실시예에서, 제어기/컴퓨터 통신 회로(287)로부터 WAC(258)에 의해 입력 데이터가 액세스되어, 라우터(152)(도 1b-1c, 2) 및 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)의 코덱(112)(도 1a-1c)으로 전송될 수 있다. 예를 들어, WAC(258)는 제어기/컴퓨터 통신 회로(287)로부터 액세스되는 입력 데이터를 패킷화 및 인코딩하여 라우터(152) 및 네트워크(110)를 통해 코덱(112)으로 전송할 수 있다.
제어기/컴퓨터 통신 회로(287) 대신, 2개의 개별 통신 회로가 사용될 수 있는데, 하나는 컴퓨터(172)(도 1b)와 통신, 가령, 데이터를 수신, 전송 등을 위해 사용되고, 또 다른 하나는 HHC(106)(도 1a-1c, 2)와 데이터를 통신하기 위해 사용된다.
여러 실시예에서, WAC(258)의 디코더가 WAC(258) 외부에 위치한다. 다양한 실시예에서, 스트림 버퍼(259)는 WAC(258) 내에 위치한다.
일부 실시예에서, HMD(250)는 외부 디지털 카메라(274)를 포함하지 않는다. 여러 실시예에서, HMD(250)는 임의의 개수의 마이크로제어기, 임의의 개수의 버퍼, 및/또는 임의의 개수의 메모리 장치를 포함한다.
다양한 실시예에서, HMD(250)는 전력을 구성요소, 가령, 비디오 오디오 분리기(254), 무선 액세스 카드(258), 스트림 버퍼(259), 하나 이상의 스피커(260), 사용자 입력 회로(262), 디스플레이 스크린(266) 마이크로제어기(268), 오디오 버퍼(272), 외부 디지털 카메라(274), 오디오 코덱(276), 내부 디지털 카메라(278), 비디오 버퍼(280), 비디오 오디오 동기화기(282), 마이크로폰(284), 및 제어기/컴퓨터 통신 회로(287)로 제공하는 하나 이상의 배터리를 포함한다. 상기 하나 이상의 배터리는 교류 아웃렛으로 플러그인될 수 있는 충전기(도시되지 않음)에 의해 충전된다.
여러 실시예에서, 입력 데이터 및/또는 미디어 데이터는 대화형 미디어로서 지칭된다.
일부 실시예에서, HMD(250)는 페어링을 통해 로컬 사용자들 간 피어-투-피어(peer-to-peer) 다중 채널 통신을 촉진하기 위해 통신 회로(도시되지 않음)를 포함한다. 예를 들어, HMD(250)는 마이크로폰(284)으로부터 수신된 소리 신호를 변조하고 채널을 통해 변조된 신호를 타 HMD(도시되지 않음)의 트랜시버로 전송하는 트랜시버를 포함한다. 타 HMD의 트랜시버는 신호를 복조하여 상기 타 HMD의 스피커로 제공하여 사용자들 간 통신을 촉진할 수 있다.
다양한 실시예에서, 서로 다른 채널이 HMD(250)의 트랜시버에 의해 사용되어 서로 다른 타 HMD과 통신할 수 있다. 예를 들어, 변조된 신호가 제1 타 HMD로 전송될 때 통과하는 채널이 변조된 신호가 제2 타 HMD로 전송될 때 통과하는 채널과 상이하다.
일부 실시예에서, WAC(258), 사용자 입력 회로(262), 마이크로제어기(268) 및 비디오 디코더(255)는 하나 이상의 개별 회로 칩으로 집적된다. 예를 들어, WAC(258), 비디오 디코더(255) 및 마이크로제어기(268)는 하나의 회로 칩에 집적되고 사용자 입력 회로(262)는 또 다른 회로 칩으로 집적된다. 또 다른 예를 들면, WAC(258), 사용자 입력 회로(262), 마이크로제어기(268) 및 비디오 디코더(255) 각각이 개별 회로 칩에 집적된다.
일부 실시예에서, 비디오 카메라가 디지털 카메라를 대신하여 사용된다. 예를 들어, 비디오 카메라가 외부 디지털 카메라(274)(도 3)를 대신하여 사용되며 또 다른 비디오 카메라가 내부 디지털 카메라(278)(도 3)를 대신하여 사용된다.
여러 실시예에서, HMD(250)에 외부 디지털 카메라(274) 및/또는 내부 디지털 카메라(278)가 부재한다. 이들 실시예에서, 사용자 입력 회로(262)에 의해 생성되고 네트워크(110)(도 1a-1c, 2)를 통해 전송된, 또는 라우터(152)(도 1b-1c, 2) 및 네트워크(110)를 통해 전송된, 또는 라우터(152), 컴퓨터(172), 및 네트워크(110)를 통해 전송된 입력 데이터를 기초로 게임 클라우드(102)의 하나 이상의 서버 및/또는 컴퓨터(172)(도 1c)의 프로세서(176)(도 1c)에 의해 HMD(250)의 위치 및 모션이 결정된다.
일부 실시예에서, 내부 디지털 카메라(278)가 사용자(108)의 눈 또는 두부를 볼 수 없을 때 및/또는 비디오 카메라(206)(도 2)가 사용자(108)의 두부를 볼 수 없을 때, 사용자 입력 회로(262)는 입력 데이터를 생성한다. 이들 실시예에서, 네트워크(110)(도 1a-1c, 2)를 통해 게임 클라우드(102)로 전송된 또는 라우터(152)(도 1b-1c, 2) 및 네트워크(110)를 통해 전송된 또는 라우터(152), 컴퓨터(172), 및 네트워크(110)를 통해 전송된 입력 데이터를 기초로, 게임 클라우드(102)의 하나 이상의 서버 및/또는 컴퓨터(172)(도 1c)의 프로세서(176)(도 1c)에 의해, HMD(250)의 위치 및 움직임이 결정된다.
일부 실시예에서, HMD(250), 가령, HMD(250)의 WAC(258) 등이 둘 이상의 모드를 스위칭한다. 제1 모드는 네트워크(110)(도 1a-1c, 2)를 통한 HMD(250)와 게임 클라우드(102)(도 1a-1c, 2) 간 통신 시 라우터(152)(도 1b-1c, 2) 및 컴퓨터(172)(도 1c 및 2)의 사용을 포함한다. 제2 모드는 네트워크(110)를 통해 HMD(250)와 게임 클라우드(102) 간에 데이터를 통신할 시 라우터(152)의 사용을 포함한다. 제2 모드에서, 데이터가 통신될 때 컴퓨터(172)는 우회된다. 제3 모드는 네트워크(110)를 통해 HMD(250)와 게임 클라우드(102) 간에 데이터를 통신할 때 네트워크(110)의 사용을 포함한다. 제3 모드에서, 데이터가 통신될 때 라우터(152) 및 컴퓨터(172)가 우회된다.
일부 실시예에서, 사용자(108)는 HHC(106)와 함께 HMD(104)를 사용하고, HMD(104)의 위치 및 모션과 HHC(106)의 위치 및 모션이 단일 가상 게임 장면에서 나타난다. 예를 들어, HHC(106)는 게임, 가령, 몰입형 환경 게임 등 내에서, 게임 프로그램(117)의 실행에 의해 생성되고 HMD(104)에서 디스플레이되는 검으로 표현된다. 이 예시에서, 게임은 가상 게임 장면을 가진다. 사용자(108)가 자신의 두부를 왼쪽으로 돌릴 때, 사용자(108)에게 게임 장면의 왼쪽 부분이 보여지고, 사용자(108)가 자신의 두부를 오른쪽으로 돌릴 때, 사용자(108)에게 게임 장면의 오른쪽 부분이 보여진다. 게임 장면의 일부분의 디스플레이는 HMD(104)의 위치 및 움직임을 기초로 이뤄진다. 덧붙여, 사용자(108)가 HHC(106)를 왼쪽으로 이동시키고 HMD(104)를 왼쪽으로 이동시킬 때, 사용자에게 게임 장면의 왼쪽 부분에서 왼쪽을 가리키는 검이 보여진다. 사용자(108)가 HHC(106)를 왼쪽으로 이동시키고 HMD(104)를 오른쪽으로 이동시킬 때, 사용자에게 게임 장면의 오른쪽 부분이 보여지고 검은 상기 오른쪽 부분에 디스플레이되지 않는다. 덧붙여, 사용자(108)가 HHC(106)를 오른쪽으로 이동시키고 HMD(104)를 오른쪽으로 이동시킬 때, 사용자에게 상기 게임 장면의 오른쪽 부분에서 오른쪽을 가리키는 검이 보여진다. 사용자(108)가 HHC(106)를 오른쪽으로 이동시키고 HMD(104)를 왼쪽으로 이동시킬 때, 사용자(108)에게 게임 장면의 오른쪽 부분이 보여지고 검은 게임 장면의 오른쪽 부분에 디스플레이되지 않는다. 게임 장면의 부분에서의 검의 디스플레이 또는 부재가 HHC(106)의 위치 및 모션을 기초로 이뤄진다.
도 4a는 무선 네트워크를 액세스하기 위해 HMD(250)의 디스플레이 스크린(266)(도 3) 상에 디스플레이되는 이미지(300)의 실시예의 다이어그램이다. 마이크로제어기(268)(도 3)에 의해 네트워크 액세스 애플리케이션이 실행될 때 상기 이미지(300)는 마이크로제어기(268)(도 3)에 의해 생성된다. 상기 이미지(300)는 HMD(250)가 게임 클라우드(102)로부터 게임 프로그램(117)의 액세스를 위해 연결할 수 있는 네트워크, 가령, 무선 네트워크 A, 무선 네트워크 B, 무선 네트워크 C 등의 리스트를 포함한다. 사용자(108)는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써 무선 네트워크 A, B 및 C 중 하나를 선택하여, HMD(250)를 무선 네트워크로 연결할 수 있다.
여러 실시예에서, 이미지(300)는 나열되는 임의의 개수의 무선 네트워크를 포함한다.
도 4b는 무선 네트워크를 액세스하기 위해 컴퓨터(172)(도 2)의 디스플레이 스크린(312) 상에 디스플레이되는 이미지(310)의 하나의 실시예의 다이어그램이다. 컴퓨터(172)의 프로세서(176)(도 2)에 의해 네트워크 액세스 애플리케이션이 실행될 때 상기 이미지(310)는 컴퓨터(172)의 GPU에 의해 생성된다. 상기 이미지(310)는 게임 클라우드(102)로부터 게임 프로그램(117)의 액세스를 위해 HMD(250)가 라우터(152) 및 컴퓨터(172)를 통해 연결할 수 있는 네트워크, 가령, 무선 네트워크 A, 무선 네트워크 B, 무선 네트워크 C 등의 리스트를 포함한다. 사용자(108)는 하나 이상의 두부 동작 및/또는 하나 이상의 손 동작을 수행함으로써, 무선 네트워크 A, B 및 C 중 하나를 선택하여, 라우터(152) 및 컴퓨터(172)를 통해 무선 네트워크로 HMD(250)를 연결할 수 있다.
여러 실시예에서, 이미지(310)는 나열되는 임의의 개수의 무선 네트워크를 포함한다.
도 5a는 디스플레이 스크린(266)(도 3)의 일례인, 디스플레이 스크린(321) 상에 디스플레이되는 게임의 이미지(320)의 실시예의 다이어그램이다. 이미지(320)의 주변 영역(322)이 마이크로제어기(268)(도 3)에 의해 저 해상도로 디스플레이되고, 중앙 영역(324)이 마이크로제어기(268)에 의해 고 해상도로 디스플레이된다. 상기 고 해상도는 상기 저 해상도보다 높다. 상기 주변 영역(322)은 디스플레이 스크린(321)의 에지(edge)(E1 내지 E4)에 인접한다.
일부 실시예에서, 에지(E1)는 에지(E2) 및 에지(E4)에 수직이다. 에지(E3)는 에지(E2 및 E4)에 수직이고 에지(E1)에 평행이다. 다양한 실시예에서, 에지(E1)는 에지(E2) 및 에지(E4)와 실질적으로 수직, 가령, 87도 내지 93도의 각을 이룬다. 에지(E3)는 에지(E2 및 E4)에 실질적으로 수직이며 에지(E1)에 실질적으로 평행이다.
일부 실시예에서 디스플레이 스크린(321)은 임의의 형태, 가령, 직사각형, 정사각형, 원형, 타원형, 다각형, 곡면형 등을 가짐을 이해해야 한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처되는 시선(gaze)의 이미지를 기초로, 마이크로제어기(268)(도 3)는 디스플레이 스크린(321)을 영역(322 및 324)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중앙 영역(324)을 응시하고 있다고 결정되면, 마이크로제어기(268)는 상기 중앙 영역(324)이 고 해상도를 가짐을 결정하며, 주변 영역(322)이 저 해상도를 가짐을 결정하고, 렌더링 프로그램(286)을 실행시켜, 중앙 영역(324)을 고 해상도로 디스플레이하고 주변 영역(322)을 저 해상도로 디스플레이할 수 있다.
도 5b는 디스플레이 스크린(321) 상에 디스플레이되는 이미지(330)의 실시예의 다이어그램이다. 이미지(330)는 상부 주변 영역(332) 및 하부 주변 영역(334)을 가진다. 상부 주변 영역(332)은 에지(E1)에 인접하고 하부 주변 영역(334)은 에지(E3)에 인접한다. 상기 주변 영역(332 및 334)은 저 해상도를 갖고, 중간 영역(336)은 고 해상도를 가진다. 상기 중간 영역(336)은 에지(E2 및 E4)에 인접하게 위치하고 영역(332)과 영역(334) 사이에 위치한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처된 시선의 이미지를 기초로, 마이크로제어기(268)(도 3)가 디스플레이 스크린(321)을 영역(332, 334, 및 336)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중간 영역(336)을 응시하는 중이라고 결정되면, 마이크로제어기(268)는 상기 중간 영역(336)이 고 해상도를 가짐을 결정하며, 상기 주변 영역(332 및 334)이 저 해상도를 가짐을 결정하고, 프로그램(286)을 실행시켜 상기 중간 영역(336)을 고 해상도로 상기 주변 영역(332 및 334)을 저 해상도로 디스플레이할 수 있다.
일부 실시예에서, 상기 주변 영역(332)은 주변 영역(334)의 해상도와 상이한 해상도를 가진다. 예를 들어, 상기 주변 영역(332)은 저 해상도와 고 해상도 사이의 중간 해상도를 가지며, 상기 주변 영역(334)은 저 해상도를 가진다. 또 다른 예를 들면, 주변 영역(334)은 중간 해상도를 가지며 상기 주변 영역(332)은 저 해상도를 가진다.
도 5c는 디스플레이 스크린(321) 상에 디스플레이되는 이미지(340)의 실시예의 다이어그램이다. 이미지(340)는 오른쪽 주변 영역(342)과 왼쪽 주변 영역(344)을 가진다. 상기 오른쪽 주변 영역(342)은 에지(E2)에 인접하고 왼쪽 주변 영역(344)은 에지(E4)에 인접한다. 상기 주변 영역(342 및 344)은 저 해상도를 가지며 중간 영역(346)은 고 해상도를 가진다. 상기 중간 영역(346)은 에지(E1 및 E3)에 인접하게 위치하고 영역(342)과 영역(344) 사이에 위치한다.
내부 디지털 카메라(278)(도 3)에 의해 캡처되는 이미지를 기초로, 마이크로제어기(268)(도 3)가 디스플레이 스크린(321)을 영역(342, 344, 및 346)으로 분할한다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 중간 영역(346)을 응시 중이라고 결정되면, 마이크로제어기(268)는 중간 영역(346)이 고 해상도를 가짐을 결정하고, 주변 영역(342 및 344)이 저 해상도를 가짐을 결정하며, 렌더링 프로그램(286)을 실행시켜 상기 중간 영역(346)을 고 해상도로 상기 주변 영역(342 및 344)을 저 해상도로 디스플레이할 수 있다.
일부 실시예에서, 상기 주변 영역(342)은 주변 영역(344)의 해상도와 상이한 해상도를 가진다. 예를 들어, 상기 주변 영역(342)은 저 해상도와 고 해상도 사이의 중간 해상도를 가지며, 상기 주변 영역(344)은 저 해상도를 가진다. 또 다른 예를 들면, 주변 영역(344)은 중간 해상도를 가지며, 주변 영역(342)은 저 해상도를 가진다.
다양한 실시예에서, 시선 대신, 그 밖의 다른 임의의 두부 동작이 사용되어 고 해상도를 가질 디스플레이 스크린(321)의 하나 이상의 영역을 결정하고, 저 해상도 또는 중저 해상도를 가질 디스플레이 스크린(321)의 하나 이상의 영역을 결정할 수 있다.
일부 실시예에서, 디스플레이 스크린의 주변 영역이 임의의 형태, 가령, 곡선형, 반원형, 다각형 등이며 디스플레이 스크린의 중앙 또는 중간 영역이 임의의 형태, 가령, 사각형, 원형, 다각형, 타원형, 곡선형 등이다.
도 6은 HHC(350, 352, 354, 356, 358, 및 360)의 다양한 유형을 도시하는 다이어그램이다. 각각의 HHC(350, 352, 354, 356, 358, 및 360)는 HHC(106)(도 1a-1c, 2)의 일례이다. 도시된 바와 같이, HHC(350)는 부메랑의 형태를 가지며, HHC(352)는 마이크로폰의 형태를 갖고, HHC(354)는 운전대의 형태를 가진다. 덧붙여, HHC(356)는 사용자(108)가 자신의 손에 착용하는 장갑이고, HHC(358)는 사용자(108)가 자신의 상체에 착용하는 자켓, 상의 의복, 또는 셔츠 등이며, HHC(360)는 사용자(108)가 자신의 하체에 착용하는 바지이다.
각각의 HHC(350, 352, 354, 356, 358, 및 360)는 게임 프로그램(117)(도 1a-1c, 2)을 실행시킴으로써 디스플레이되는 게임의 플레이 동안 피드백을 사용자(108)에게 제공하기 위해, 하나 이상의 피드백 수단, 가령, 센서, 기계 압축기, 기계적 중량 증진기, 기계적 중량 감소기, 기계적 역압축기, 진동 메커니즘, 촉각 피드백 수단, 가열기, 냉각기, 전기 충격기 등을 포함한다.
다양한 실시예에서, 사용자(108)는 HMD(104)를 착용하는 것에 추가로 자신의 손에 HHC(356)를 착용하고, 게임 프로그램(117)을 실행시킴으로써 디스플레이되는 게임의 플레이 동안 가상의 개를 쓰다듬는다. 촉각 피드백 수단이 사용자(108)에게 촉각 피드백을 제공하여, 사용자(108)는 사용자(108)가 실제 개를 쓰다듬고 있는 것처럼 느끼게 할 수 있다. 사용자(108)가 가상의 개를 들어올릴 때, 상기 중량 증진기에 의해, 사용자(108)는 사용자(108)가 실제 개를 들어 올리고 있는 것처럼 느낄 수 있다.
일부 실시예에서, 사용자(108)는 HMD(104)를 착용하는 것에 추가로 HHC(358)를 착용하고 가상 바다(virtual ocean)에서 가상 스쿠바 다이빙을 한다. 기계적 중량 증진기가 사용자(108)에게 가해지는 중량을 증가시켜 사용자(108)는 사용자(108)가 실제 바다에서 스쿠버 다이빙을 하고 있고 사용자(108)에게 물의 중량이 추가된 것처럼 느낄 수 있다. 마찬가지로, 사용자(108)는 해수면에 접근할 때, 기계적 중량 감소기가 사용자(108)에게 가해진 중량을 감소시킨다.
일부 실시예에서, 각각의 HHC(350, 352, 354, 356, 358, 및 360)는 HHC의 위치 및 모션을 결정하기 위해 하나 이상의 고정 기준 물체를 포함하며, 이들의 예시가 앞서 제공되었다.
다양한 실시예에서, HHC(106)는 임의의 형태, 가령, 사각형, 원형, 타원형, 다각형, 곡선형, 나선형 등을 가진다.
도 7a는 HMD(370)의 하나의 실시예의 다이어그램이다. 상기 HMD(370)는 HMD(250)(도 3)의 일례이다. 상기 HMD(370)는 사용자(108)가 착용할 때 사용자(108)(도 1a-1c, 2)의 두부 뒤로 가는 밴드(372 및 374)를 포함한다. 덧붙여, HMD(370)은 게임 프로그램(117)(도 1a-1c)의 실행에 의해 플레이되는 게임과 연관된 소리를 발산하는 이어폰(376A 및 376B), 가령, 스피커 등을 포함한다. 상기 HMD(370)는 사용자(108)가 게임 프로그램(117)(도 1a-1c)의 실행에 의해 플레이되고 디스플레이 스크린(266)(도 3) 상에 디스플레이되는 게임을 볼 수 있게 하는 렌즈(378A 및 378B)를 포함한다. 홈(groove)(380)이 사용자(108)의 코에 놓여 코 위의 HMD(370)를 지지할 수 있다.
일부 실시예에서, HMD(370)는 사용자(108)에 의해 선글라스, 안경, 또는 독서용 안경이 사용자(108)에 의해 착용되는 것과 유사한 방식으로 착용된다.
도 7b는 HMD(250)(도 3)의 예시인 HMD(400)의 하나의 실시예의 등각도이다. 일부 실시예에서, HMD(400)는 Sony Computer Entertainment America LLC에 의한 연구 개발 산물이다. HMD(400)는 두부 지지부(402)를 포함한다. HMD(400)는 마커, 가령, LED(404A 및 404B), 적외선 발광체(406A, 406B, 406C, 406D, 406E, 406F, 406G, 및 406H)를 더 포함한다. 적외선 발광체의 예시로는 LED가 있다. HMD(400)는 HMD(400)에 전력이 공급 또는 차단될 수 있게 하는 온/오프 스위치(408)를 포함한다.
마커는 HMD(400)의 위치 및 모션을 결정하도록 사용된다. 예를 들어, 사용자(108)(도 1a-1c, 2)의 두부의 움직임에 의해, 외부 디지털 카메라(274)(도 3)에 의해 캡처되는 LED(404A 및 404B)의 이미지의 크기가 변한다. 크기를 기초로, 컴퓨터(172)(도 3) 또는 게임 클라우드(102)(도 1a-1c, 2)의 하나 이상의 서버의 프로세서가 좌표계에서 HMD(400)의 위치 및 모션을 결정한다.
도 8은 HHC(106) 및 HMD(104)(도 1a-1c, 2)와 인터페이싱하도록 호환 가능한 콘솔(500)의 실시예의 블록도이다. 상기 콘솔(500)은 게임 프로그램(117)의 일부분을 실행 및 렌더링하도록 사용될 수 있다. 상기 콘솔(500)은 HHC(106) 및 HMD(104)(도 1a-1c, 2)를 게임 프로그램(117)과 인터페이싱시키도록 호환 가능하다. 상기 콘솔(500)은 다양한 주변 장치가 콘솔(500)로 연결 가능하도록 제공된다. 상기 콘솔(500)은 셀 프로세서(528), Rambus® 동적 랜덤 액세스 메모리(XDRAM) 유닛(526), 전용 비디오 랜덤 액세스 메모리(VRAM) 유닛(532)을 갖는 현실 합성기 그래픽 프로세서 유닛(530) 및 입/출력(I/O) 브리지(534)를 가진다. 상기 콘솔(500)은 디스크(540a)로부터 판독하기 위한 Blu Ray® 디스크 리드-온리 메모리(BD-ROM) 광학 디스크 판독기(540) 및 I/O 브리지(534)를 통해 액세스 가능한 탈착식 슬롯-인 하드 디스크 드라이브(HDD)(536)를 가진다. 선택사항으로서, 콘솔(500)은 또한 컴팩트 플래시 메모리 카드, Memory Stick® 메모리 카드 등을 판독하기 위한 메모리 카드 판독기(538)를 포함하며, 이는 I/O 브리지(534)를 통해 유사하게 액세스 가능하다.
I/O 브리지(534)는 전역 직렬 버스(USB) 2.0 포트(524), 기가비트 이더넷 포트(522), IEEE 802.11b/g 무선 네트워크(Wi-Fi) 포트(520), 및 Bluetooth 연결을 지원할 수 있는 Bluetooth® 무선 링크 포트(518)로도 연결된다.
동작 중에, I/O 브리지(534)는 모든 무선, 전역 직렬 버스(USB) 및 이더넷 데이터, 가령, 하나 이상의 게임 제어기(502 및 503) 및 HMD(250)(도 3)의 예시인 HMD(505)로부터의 데이터를 다룬다. 예를 들어, 사용자(108)(도 1a-1c, 2)가 게임 프로그램(117)(도 1a)의 일부분의 실행에 의해 생성된 게임을 플레이 중일 때, I/O 브리지(534)는 Bluetooth 링크를 통해 게임 제어기(502 또는 503) 또는 HMD(505)로부터 입력 데이터를 수신하고 상기 입력 데이터를 셀 프로세서(528)로 전달하며, 상기 셀 프로세서는 이에 따라 게임의 현재 상태를 업데이트한다. 각각의 게임 제어기(502 및 503)는 HHC(106)(도 1a-1c, 2)의 예시이다.
무선, USB 및 이더넷 포트가 또한, 게임 제어기(502 및 503) 및 HMD(505)에 추가로 그 밖의 다른 주변 장치, 가령, 원격 제어기(504), 키보드(506), 마우스(508), 휴대용 엔터테인먼트 장치(510), 가령, Sony Playstation Portable® 엔터테인먼트 장치, 비디오 카메라, 가령 EyeToy® 비디오 카메라(512), 마이크로폰 헤드세트(514), 및 마이크로폰(515)에 대한 연결성을 제공한다. 따라서 이러한 주변 장치는 원칙적으로 콘솔(500)에 무선으로 연결될 수 있는데, 예컨대, 휴대용 엔터테인먼트 장치(510)는 Wi-Fi 애드-호크(ad-hoc) 연결을 통해 통신할 수 있고, 마이크로폰 헤드세트(514)는 Bluetooth 링크를 통해 통신할 수 있다.
이들 인터페이스의 제공은 콘솔(500)이 또한 주변 장치, 가령, 디지털 비디오 레코더(DVR), 셋-톱 박스, 디지털 카메라, 휴대용 미디어 재생기, 보이스 오버 IP(Voice over IP) 전화기, 모바일 전화기, 프린터 및 스캐너와 호환될 가능성이 있음을 의미한다.
덧붙여, 레거시(legacy) 메모리 카드 판독기(516)가 USB 포트(524)를 통해 콘솔(500)에 연결되어, 상기 콘솔(500)에 의해 사용되는 유형의 메모리 카드(548)의 판독이 가능해질 수 있다.
게임 제어기(502 및 503) 및 HMD(505)는 Bluetooth 링크를 통해 콘솔(500)과 무선으로 통신하거나 USB 포트에 연결되도록 동작 가능함으로써, 게임 제어기(502 및 503) 및 HMD(505)의 배터리를 충전하기 위한 전력을 제공할 수도 있다. 일부 실시예에서, 게임 제어기(502 및 503) 및 HMD(505) 각각은 메모리, 프로세서, 메모리 카드 판독기, 영구 메모리, 가령, 플래시 메모리, 발광체, 가령, 조명되는 구 섹션(illuminated spherical section), LED 또는 적외선 조명, 초음파 통신을 위한 마이크로폰 및 스피커, 음향 챔버, 디지털 카메라, 내부 클록, 인식 가능한 형태, 가령, 게임 콘솔을 대면하는 구 섹션, 및 프로토콜, 가령, Bluetooth, Wi-Fi 등을 이용한 무선 통신부를 포함할 수 있다.
게임 제어기(502)는 사용자(108)의 두 손으로 사용되도록 설계된 제어기이고, 게임 제어기(503)는 부착재(attachment)를 갖는 한손 제어기이다. HMD(505)는 두부의 상부 및/또는 사용자(108)의 눈 앞에 끼워 맞춤되도록 설계된다. 하나 이상의 아날로그 조이스틱 및 종래의 제어 버튼에 추가로, 각각의 게임 제어기(502 및 503)는 3차원 위치 결정의 대상이 된다. 마찬가지로, HMD(505)는 3차원 위치 결정의 대상이 된다. 결과적으로, 게임 제어기(502 및 503) 및 HMD(505)의 사용자(108)에 의한 제스처 및 움직임이 종래의 버튼 또는 조이스틱 명령에 추가로 또는 이를 대신하여, 게임의 입력으로서 해석될 수 있다. 선택적으로, 그 밖의 다른 무선으로 활성화되는 주변 장치, 가령, Playstation™ 휴대용 장치가 제어기로서 사용될 수 있다. Playstation™ 휴대용 장치의 경우, 추가 게임 또는 제어 정보(가령, 제어 명령 또는 목숨의 수)가 장치의 디스플레이 스크린 상에 제공될 수 있다. 그 밖의 다른 대안적 또는 보충적 제어 장치가 또한 사용될 수 있는데, 가령, 댄스 매트(dance mat)(도시되지 않음), 라이트 건(light gun)(도시되지 않음), 및 운전대 및 페달(도시되지 않음) 또는 맞춤 제작된 제어기, 가령, 신속한 반응의 빠른 게임을 위한 단일 또는 복수의 대형 버튼(도시되지 않음)이 있다.
또한 원격 제어기(504)는 Bluetooth 링크를 통해 콘솔(500)과 무선으로 통신하도록 동작 가능하다. 상기 원격 제어기(504)는 Blu Ray™ 디스크 BD-ROM 판독기(540)의 동작 및 디스크 콘텐츠의 탐색에 적합한 제어기를 포함한다.
Blu Ray™ 디스크 BD-ROM 판독기(540)는, 종래의 사전 기록되고 기록 가능한 CD 및 이른바 수퍼 오디오 CD(Super Audio CD)에 추가로, 콘솔(500)과 호환 가능한 CD-ROM을 판독하도록 동작 가능하다. 판독기(540)는 또한, 종래의 사전 기록되고 기록 가능한 DVD에 추가로, 콘솔(500)과 호환되는 디지털 비디오 디스크-ROM(DVD-ROM)을 판독하도록 동작 가능하다. 상기 판독기(540)는 콘솔(500)과 호환되는 BD-ROM 및 종래의 사전 기록되고 기록 가능한 Blu-Ray 디스크를 판독하도록 더 동작 가능하다.
콘솔(500)은 현실 합성기 그래픽 유닛(530)을 통해 생성 또는 디코딩된 오디오 및 비디오를 오디오 연결기(550) 및 비디오 연결기(552)를 통해 디스플레이 및 소리 출력 장치(542), 가령, 디스플레이 스크린(544) 및 하나 이상의 확성기(546)를 갖는 모니터 또는 텔레비전 세트로 공급하도록 동작 가능하다. 상기 오디오 연결기(550)는 종래의 아날로그 및 디지털 출력을 포함할 수 있고, 비디오 연결기(552)는 컴포넌트 비디오, S-비디오, 복합 비디오 및 하나 이상의 고선명 멀티미디어 인터페이스(HDMI) 출력을 다양하게 포함할 수 있다. 따라서 비디오 출력은 PAL 또는 NTSC 같은 포맷으로 또는 520p, 1080i 또는 1080p 고선명으로 존재할 수 있다.
오디오 프로세싱(생성, 디코딩 등)이 셀 프로세서(528)에 의해 수행된다. 콘솔(500)의 운영 체제는 Dolby® 5.1 서라운드 사운드, Dolby® 씨어터 서라운드(DTS), 및 Blu-Ray® 디스크의 7.1 서라운드 사운드의 디코딩을 지원한다.
일부 실시예에서, 비디오 카메라, 가령, 비디오 카메라(512) 등이 단일 전하 결합 소자(CCD), LED 지시자, 및 하드웨어 기반 실시간 데이터 압축 및 인코딩 장치를 포함하여, 압축된 비디오 데이터가 콘솔(500)에 의해 디코딩되기 위한 적절한 포맷, 가령, 인트라-이미지 기반 MPEG(motion picture expert group) 표준으로 전송될 수 있게 한다. 비디오 카메라(512)의 LED 지시자가 콘솔(500)로부터 적절한 제어 데이터에 응답하여 조명하도록, 가령, 역광 조명 상태를 나타내도록 배열된다. 비디오 카메라(512)의 실시예는 USB, Bluetooth 또는 Wi-Fi 통신 포트를 통해 콘솔(500)로 다양하게 연결될 수 있다. 비디오 카메라의 실시예는 하나 이상의 연관된 마이크로폰을 포함하고 또한 오디오 데이터를 송신할 수 있다. 비디오 카메라의 실시예에서, CCD는 고선명 비디오 캡처에 적합한 해상도를 가질 수 있다. 사용될 때, 비디오 카메라에 의해 캡처되는 이미지는, 예를 들어, 게임 내에 포함되거나 게임 제어 입력으로 해석될 수 있다. 또 다른 실시예에서, 비디오 카메라는 적외선 광을 검출하기에 적합한 적외선 카메라이다.
다양한 실시예에서, 콘솔(500)의 통신 포트들 중 하나를 통해, 주변 장치, 가령, 비디오 카메라 또는 원격 제어기와의 성공적인 데이터 통신이 발생하기 위해, 적절한 소프트웨어, 가령, 장치 드라이버가 제공된다.
일부 실시예에서, 콘솔 장치, 휴대용 HHC 및 휴대용 HMD를 포함하는 앞서 언급된 시스템 장치에 의해, HHC 및 휴대용 HMD가 게임 프로그램(117)(도 1a-1c)의 대화형 세션의 비디오를 디스플레이하고 캡처할 수 있다. 콘솔 장치는 게임 프로그램(117)의 대화형 세션을 개시하고 상기 대화형 세션은 사용자(108)와 게임 프로그램(117) 간 상호대화를 정의한다. 상기 시스템 장치는 사용자(108)(도 1a-1c, 2)에 의해 동작되는 HHC 및/또는 HMD의 초기 위치 및 배향을 결정한다. 콘솔 장치는 사용자(108)와 게임 프로그램(117) 간 대화 가능성을 기초로 상기 게임 프로그램(117)의 현재 상태를 결정한다. 상기 시스템 장치는 사용자(108)의 게임 프로그램(117)과의 대화 세션 동안 HHC 및 또는 HMD의 위치 및 배향을 추적한다. 상기 시스템 장치는 게임 프로그램(117)의 현재 상태 및 HHC 및/또는 HMD의 추적된 위치 및 배향을 기초로 대화 세션의 관중 비디오 스트림을 생성한다. 일부 실시예에서, HHC는 HHC의 디스플레이 스크린 상에 관중 비디오 스트림을 렌더링한다. 다양한 실시예에서, HMD는 HMD의 디스플레이 스크린 상에 관중 비디오 스트림을 렌더링한다.
도 9는 본 명세서에서 기재되는 다양한 실시예에 따르는 게임 시스템(600)의 블록도이다. 일부 실시예에서, 게임 시스템(600)은, 하나 이상의 자원, 가령, 서버, 메모리 장치 등을 이용해, VM, 가령, 운영 체제, 소프트웨어 애플리케이션 등이, 자원과 VM 사이에 하이퍼바이저에 의해 관계가 확립된 후, 실행되는 클라우드 게임 시스템이다. 상기 게임 시스템(600)은, 네트워크(110)(도 1a-1c, 2)의 일례인 네트워크(615)를 통해 비디오 스트림을 하나 이상의 클라이언트(610)에게 제공하도록 사용된다. 게임 시스템(600)은 비디오 서버 시스템(620) 및 선택사항적 게임 서버(625)를 포함한다. 상기 비디오 서버 시스템(620)은 서비스 품질과 함께 비디오 스트림을 하나 이상의 클라이언트(610)에게 제공하도록 사용된다. 예를 들어, 비디오 서버 시스템(620)은 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행함으로써 플레이되는 게임의 상태 또는 게임 내 시점을 변경하는 게임 명령어를 수신하고, 지체 시간을 최소한으로 하여, 클라이언트(610)에게 이 상태 변경을 반영하는 업데이트된 비디오 스트림을 제공할 수 있다. 비디오 서버 시스템(620)은 아직 정의되지 않은 포맷을 포함해 다양한 대안적 비디오 포맷으로 비디오 스트림을 제공하도록 사용될 수 있다. 또한, 비디오 스트림은 다양한 프레임률(frame rate)로 사용자(108)(도 1a-1c, 2)에게 표시(presentation)하기 위해 사용되는 비디오 프레임을 포함할 수 있다. 일반적인 프레임률은 초당 30 프레임, 초당 60 프레임, 초당 620 프레임이 있다. 더 높거나 더 낮은 프레임률이 본원에 기재되는 다양한 실시예에서 포함된다.
본 명세서에서 개별적으로 610A, 610B 등으로 지칭되는 클라이언트(610)가 HMD(104)(도 1a-1c, 2), HHC(104)(도 1a-1c, 2), 단말기, 개인 컴퓨터, 게임 콘솔, 태블릿 컴퓨터, 전화기, 셋 톱 박스, 키오스크, 무선 장치, 디지털 패드, 자립형 장치 및/또는 기타 등을 포함할 수 있다. 상기 클라이언트(610)는 인코딩된 비디오 스트림을 수신하고 비디오 스트림을 디코딩하며 최종 비디오를 사용자(108), 가령, 게임의 플레이어에게 표시하도록 사용된다. 인코딩된 비디오 스트림을 수신 및/또는 비디오 스트림을 디코딩하는 프로세스는 클라이언트의 수신 버퍼에 개별 비디오 프레임을 저장하는 것을 포함한다. 비디오 스트림은 클라이언트(610)와 일체 구성된 디스플레이 상에 또는 별도 장치, 가령, 모니터 또는 텔레비전 상에서 사용자(108)에게 표시될 수 있다.
선택사항으로서 상기 클라이언트(610)는 둘 이상의 게임 플레이어를 지원하도록 사용된다. 예를 들어, 2개, 3개, 4개 또는 그 이상의 동시 플레이어를 지원하도록 게임 콘솔이 사용될 수 있다. 이들 플레이어 각각은 개별 비디오 스트림을 수신하거나, 단일 비디오 스트림이 각각의 플레이어에 대해 특정하게 생성된, 가령, 각각의 플레이어의 시점을 기초로 생성된 프레임의 영역을 포함할 수 있다.
클라이언트(610)는 지리적으로 분산되어 있다. 게임 시스템(600)에 포함된 클라이언트의 수는 1 또는 2명에서 수천 명, 수만 명, 또는 그 이상으로 다양할 수 있다. 본 명세서에서 사용될 때, 용어 "게임 플레이어"는 게임을 플레이하는 사람을 지칭하고, 용어 "게임 플레잉 장치"는 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행함으로써 플레이되는 게임을 플레이하기 위해 사용되는 장치를 지칭한다. 일부 실시예에서, 게임 플레잉 장치는 사용자(108)에게 게임 경험을 전달하도록 협력하는 복수의 계산 장치를 지칭할 수 있다. 예를 들어, 게임 콘솔 및 HMD(104)(도 1a-1c, 2)가 비디오 서버 시스템(620)과 협업하여 HMD(104)를 통해 보는 게임을 전달할 수 있다. 하나의 실시예에서, 게임 콘솔은 비디오 서버 시스템(620)으로부터 비디오 스트림을 수신하고, 상기 게임 콘솔은 비디오 스트림 또는 비디오 스트림의 업데이트를 렌더링을 위해 HMD(104)로 전달한다.
클라이언트(610)는 네트워크(615)를 통해 비디오 스트림을 수신하도록 사용된다. 네트워크(615)는 임의의 유형의 통신 네트워크, 가령, 전화 네트워크, 인터넷, 무선 네트워크, 전력선 네트워크, 로컬 영역 네트워크, 광역 네트워크, 사설 네트워크, 및/또는 이들과 유사한 것일 수 있다. 일부 실시예에서, 비디오 스트림은 표준 프로토콜, 가령, TCP/IP 또는 UDP/IP를 통해 통신된다. 여러 실시예에서, 비디오 스트림은 사유 표준(proprietary standard)을 통해 통신된다.
클라이언트(610) 중 하나의 일반적인 예시가 프로세서, 비휘발성 메모리, 디스플레이, 디코딩 로직, 네트워크 통신 능력, 및 하나 이상의 입력 장치를 포함하는 개인 컴퓨터이다. 상기 디코딩 로직은 하드웨어, 펌웨어, 및/또는 비일시적 컴퓨터 판독형 매체 상에 저장되는 소프트웨어를 포함할 수 있다.
클라이언트(610)는, 반드시 요구되는 것은 아니지만, 수신된 비디오를 수정하기 위해 사용되는 시스템을 더 포함할 수 있다. 예를 들어, 클라이언트는 추가 렌더링을 수행, 가령, 하나의 비디오 이미지 상에 또 다른 비디오 이미지를 덧씌우기(overlay), 비디오 이미지를 자르기(crop), 및/또는 이들과 유사한 것을 수행하도록 사용될 수 있다. 또 다른 예를 들면, 클라이언트(610)는 다양한 유형의 비디오 프레임, 가령, 인트라-코딩된 픽처(I-프레임), 예측 프레임(P-프레임) 및 양방향 예측 픽처 프레임(B-프레임)을 수신하고, 이들 프레임을 이미지로 프로세싱하여, 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임을 사용자(108)에게 디스플레이할 수 있다. 일부 실시예에서, 클라이언트(610)의 구성요소가 사용되어, 비디오 스트림에 추가 렌더링, 쉐이딩(shading), 3-D로의 변환 등의 작업을 수행할 수 있다. 선택사항으로서 둘 이상의 오디오 또는 비디오 스트림을 수신하도록 클라이언트(610)의 구성요소가 사용된다.
클라이언트(610)의 입력 장치는, 예를 들어, 한손 게임 제어기, 양손 게임 제어기, 제스처 인식 시스템, 시선 인식 시스템(gaze recognition system), 음성 인식 시스템, 키보드, 조이스틱, 포인팅 장치, 포스 피드백 장치(force feedback device), 모션 및/또는 위치 감지 장치, 마우스, 터치 스크린, 신경 인터페이스(neural interface), 카메라, 아직 개발되지 않은 입력 장치 및/또는 이들과 유사한 것을 포함할 수 있다.
클라이언트(610)에 의해 수신된 비디오 스트림, 및 선택적으로 오디오 시스템이 비디오 서버 시스템(620)에 의해 생성 및 제공된다. 이 비디오 스트림은 비디오 프레임을 포함하며 오디오 스트림은 오디오 프레임을 포함한다. 적절한 데이터 구조로 된 픽셀 정보를 포함하는 상기 비디오 프레임은 사용자(108)에게 디스플레이되는 이미지에 유의미하게 기여한다. 본 명세서에서 사용될 때, 용어 "비디오 프레임"은 주로, 사용자(108)에 의해 플레이되는 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 이미지에 기여, 가령, 영향을 미치기 위해 사용되는 정보를 포함하는 프레임을 지칭하도록 사용된다. "비디오 프레임"과 관련된 본 명세서의 설명 대부분은 "오디오 프레임"에도 적용될 수 있다.
다양한 실시예에서, 클라이언트(610)는 사용자(108)로부터 입력을 수신하도록 사용된다. 이들 입력은, 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 상태를 변경하거나 그 밖의 다른 방식으로 게임 플레이에 영향을 미치는 게임 명령어를 포함할 수 있다. 상기 게임 명령어는 입력 장치, 가령, 사용자 입력 회로(262)(도 4) 등을 이용해 수신되거나, 및/또는 클라이언트(610) 상에서 실행되는 명령을 컴퓨팅함으로써 자동으로 생성될 수 있다. 수신된 게임 명령어는 클라이언트(610)로부터 네트워크(615)를 통해 비디오 서버 시스템(620) 및/또는 게임 서버(625)로 통신된다. 예를 들어, 게임 명령어는 비디오 서버 시스템(620)을 통해 게임 서버(625)로 통신된다.
일부 실시예에서, 게임 명령어의 개별적인 카피가 클라이언트(610)로부터 게임 서버(625) 및 비디오 서버 시스템(620)으로 통신된다.
선택사항으로서 게임 명령어의 통신이 명령어의 신원에 따라 달라진다. 선택사항으로서 게임 명령어는 클라이언트(610A)로부터, 오디오 또는 비디오 스트림을 제공하기 위해 사용되는 서로 다른 라우트 또는 통신 채널을 통해 클라이언트(610A)로 통신된다.
선택사항으로서 게임 서버(625)는 비디오 서버 시스템(620)과 상이한 개체에 의해 운영된다. 예를 들어, 게임 서버(625)는 게임의 퍼블리셔(publisher)에 의해 운영될 수 있다. 이 예시에서, 선택사항으로서 비디오 서버 시스템(620)은 게임 서버(625)가 클라이언트로서 보고, 선택사항으로서 게임 서버(625)의 시점에서 게임 엔진을 실행시키는 클라이언트로 보이도록 사용된다. 선택사항으로 비디오 서버 시스템(620)과 게임 서버(625) 간 통신이 네트워크(615)를 통해 발생한다. 따라서 게임 서버(625)는 게임 상태 정보를 복수의 클라이언트에게 전송하는 다중플레이어 게임 서버일 수 있고, 복수의 클라이언트 중 하나가 게임 서버 시스템(620)이다.
비디오 서버 시스템(620)은 게임 서버(625)의 복수의 인스턴스와 동시에 통신하도록 사용될 수 있다. 예를 들어, 비디오 서버 시스템(620)은 복수의 서로 다른 비디오 게임을 서로 다른 사용자에게 제공하도록 사용될 수 있다. 이들 서로 다른 비디오 게임 각각은 서로 다른 게임 서버(625)에 의해 지원 및/또는 서로 다른 개체에 의해 퍼블리싱될 수 있다.
일부 실시예에서, 비디오 서버 시스템(620)의 복수의 지리적으로 분산된 인스턴스가 복수의 서로 다른 사용자에게 게임 비디오를 제공하도록 사용된다. 비디오 서버 시스템(620)의 이들 인스턴스 각각은 게임 서버(625)의 동일한 인스턴스와 통신 중일 수 있다.
선택사항으로서 비디오 서버 시스템(620)과 하나 이상의 게임 서버(625) 간 통신은 전용 통신 채널을 통해 발생한다. 예를 들어, 비디오 서버 시스템(620)은 이들 2개의 시스템 간 통신에 특화된 고대역폭 채널을 통해 게임 서버(625)로 연결될 수 있다.
비디오 서버 시스템(620)은 적어도 비디오 소스(630), I/O 장치(645), 프로세서(650), 및 저장부(655)를 포함한다. 비디오 서버 시스템(620)은 하나의 컴퓨팅 장치를 포함하거나 복수의 컴퓨팅 장치에 분산될 수 있다. 선택사항으로서 이들 컴퓨팅 장치는 통신 시스템, 가령, 로컬 영역 네트워크를 통해 연결된다.
비디오 소스(630)는 동화상을 형성하기 위해, 비디오 스트림, 가령, 스트리밍 비디오 또는 일련의 비디오 프레임을 제공하도록 사용된다. 일부 실시예에서, 비디오 소스(630)는 비디오 게임 엔진 및 렌더링 로직을 포함한다.
상기 비디오 게임 엔진은 플레이어로부터 게임 명령어를 수신하고, 상기 수신된 명령어를 기초로, 비디오 게임, 가령, 게임 프로그램(116)(도 1a-1c) 등을 실행시킴으로써 플레이되는 게임의 상태의 카피를 유지하도록 사용된다. 이 게임 상태는 게임 환경에서의 객체의 위치 및 시점을 포함한다. 상기 게임 상태는 또한 객체의 속성, 이미지, 색채 및/또는 질감을 포함할 수 있다. 상기 게임 상태는 게임 규칙 및 게임 명령어, 가령, 이동, 회전, 공격, 집중, 대화, 사용 및/또는 이들과 유사한 것을 기초로 유지된다. 선택사항으로서 게임 엔진의 일부분이 게임 서버(625) 내에 배치된다. 상기 게임 서버(625)는 지리적으로 분산된 클라이언트를 이용해 복수의 플레이어로부터 수신된 게임 명령어를 기초로 게임의 상태의 카피를 유지할 수 있다. 이들 경우, 게임 상태는 게임 서버(625)에 의해 비디오 소스(630)로 제공되며, 여기서 게임 상태의 카피가 저장되고 렌더링이 수행된다. 상기 게임 서버(625)는 게임 명령어를 클라이언트(610)로부터 네트워크(615)를 통해 직접 수신하거나, 비디오 서버 시스템(620)을 통해 게임 명령어를 수신할 수 있다.
비디오 소스(630)는 렌더링 로직, 가령, 하드웨어, 펌웨어, 및/또는 비일시적 컴퓨터 판독형 매체, 가령, 저장부(655) 상에 저장되는 소프트웨어를 포함한다. 이 렌더링 로직은 게임 상태를 기초로 비디오 스트림의 비디오 프레임을 생성하도록 사용된다. 선택사항으로서 렌더링 로직의 전부 또는 일부가 GPU 내에 배치된다. 렌더링 로직은 게임 상태 및 시점을 기초로, 객체들 간 3차원 공간 관계를 결정 및/또는 적절한 질감 등을 적용하기 위해 사용되는 프로세싱 스테이지를 포함한다. 상기 렌더링 로직은 원시 비디오(raw video)를 생성하고, 상기 원시 비디오는 클라이언트(610)로 통신되기 전에 인코딩되는 것이 일반적이다. 예를 들어, 원시 비디오는 Adobe Flash® 표준, .wav, H.264, H.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3 등에 따라 인코딩될 수 있다. 상기 인코딩 프로세스는 선택사항으로서 원격 장치 상의 디코더로 전달되도록 패키징될 수 있는 비디오 스트림을 생성한다.
비디오 스트림은 프레임 크기 및 프레임률에 의해 특징화된다. 일반적인 프레임 크기는 800 × 600, 1280 × 720 (가령, 720p), 1024 × 768를 포함하지만, 그 밖의 다른 임의의 프레임 크기가 사용될 수 있다. 프레임률은 초당 비디오 프레임의 수이다. 비디오 스트림은 서로 다른 유형의 비디오 프레임을 포함할 수 있다. 예를 들어, H.264 표준은 "P" 프레임 및 "I" 프레임을 포함한다. I-프레임은 디스플레이 장치 상의 모든 매크로 블록/픽셀을 리프레시(refresh)하기 위한 정보를 포함하고, 반면에 P-프레임은 이의 부분집합을 리프레시하기 위한 정보를 포함한다. P-프레임의 데이터 크기가 I-프레임의 데이터 크기보다 작다. 본 명세서에서 사용될 때, 용어 "프레임 크기"는 하나의 프레임 내 픽셀의 수를 지칭한다. 용어 "프레임 데이터 크기"는 프레임을 저장하기 위해 요구되는 바이트의 수를 지칭하기 위해 사용된다.
일부 실시예에서, 비디오 소스(630)는 비디오 렌더링 장치, 가령, 카메라를 포함한다. 이 카메라는 컴퓨터 게임의 비디오 스트림에 포함될 수 있는 딜레이된 또는 실시간 비디오를 생성하도록 사용될 수 있다. 선택사항으로서, 최종 비디오 스트림은 정지 또는 비디오 카메라를 이용해 렌더링된 이미지와 기록된 이미지 모두를 포함한다. 상기 비디오 소스(630)는 또한 비디오 스트림에 포함될 이전에 기록된 비디오를 저장하도록 사용되는 저장 장치를 포함할 수 있다. 상기 비디오 소스(630)는 또한 HMD(104), HHC(106), 또는 사용자(108)(도 1a-1c, 2)의 모션 또는 위치를 검출하기 위해 사용되는 모션 또는 위치 감지 장치, 및 게임 상태를 결정하고 검출된 모션 및/또는 위치를 기초로 비디오를 생성하기 위해 사용되는 로직을 포함할 수 있다.
선택사항으로서 상기 비디오 소스(630)는 또 다른 비디오 상에 놓이도록 사용되는 덧씌우기(overlay)를 제공하도록 사용된다. 예를 들어, 이들 덧씌우기는 명령어 인터페이스, 로그 인 지시사항, 게임 플레이어에게로의 메시지, 다른 게임 플레이어의 이미지, 다른 게임 플레이어의 비디오 피드(feed)(가령, 웹캠 비디오)를 포함할 수 있다. 클라이언트(610A)가 터치 스크린 인터페이스 또는 시선 검출 인터페이스를 포함하는 일부 실시예에서, 상기 덧씌우기는 가상 키보드, 조이스틱, 터치 패드 및/또는 이들과 유사한 것을 포함할 수 있다. 덧씌우기의 하나의 예시에서, 플레이어의 음성이 오디오 스트림 상에 덧씌워진다. 선택사항으로서 상기 비디오 소스(630)는 하나 이상의 오디오 소스를 더 포함한다.
둘 이상의 플레이어로부터의 입력을 기초로 비디오 서버 시스템(620)이 사용되어 게임 상태를 유지하는 실시예에서, 각각의 플레이어는 위치 및 시점을 포함하는 서로 다른 시점을 가질 수 있다. 선택사항으로서 상기 비디오 소스(630)는 개별 플레이어 각자의 시점을 기초로 각각의 플레이어에 대해 개별적인 비디오 스트림을 제공하도록 사용된다. 덧붙여, 비디오 소스(630)는 서로 다른 프레임 크기, 프레임 데이터 크기, 및/또는 인코딩을 각각의 클라이언트(610)로 제공하도록 사용될 수 있다. 선택사항으로서 비디오 소스(630)는 3D 비디오를 제공하도록 사용된다.
I/O 장치(645)가 비디오 서버 시스템(620)이 정보, 가령, 비디오, 명령어, 정보 요청, 게임 상태, 시선 정보, 장치 모션, 장치 위치, 사용자 모션, 클라이언트 신원, 플레이어 신원, 게임 명령어, 보안 정보, 오디오 및/또는 이들과 유사한 것을 전송 및/또는 수신할 수 있다. 상기 I/O 장치(645)는 통신 하드웨어, 가령, 네트워크 인터페이스 카드 또는 모뎀을 포함한다. 상기 I/O 장치(645)는 게임 서버(625), 네트워크(615) 및/또는 클라이언트(610)와 통신하도록 사용된다.
프로세서(650)는 본 명세서에서 언급된 비디오 서버 시스템(620)의 다양한 구성요소 내에 포함되는 로직, 가령, 소프트웨어를 실행하도록 사용된다. 예를 들어, 프로세서(650)는 비디오 소스(630), 게임 서버(625) 및/또는 클라이언트 정성자(client qualifier)(660)의 기능을 수행하도록 소프트웨어 명령으로 프로그램될 수 있다. 선택사항으로서 비디오 서버 시스템(620)은 프로세서(650)의 둘 이상의 인스턴스를 포함한다. 상기 프로세서(650)는 또한 비디오 서버 시스템(620)에 의해 수신된 명령어를 실행하도록 또는 본 명세서에 기재된 게임 시스템(600)의 다양한 요소들의 동작을 조화시키도록 소프트웨어 명령으로 프로그램될 수 있다. 상기 프로세서(650)는 하나 이상의 하드웨어 장치를 포함할 수 있다. 상기 프로세서(650)는 전자 프로세서이다.
저장부(655)는 비일시적 아날로그 및/또는 디지털 저장 장치를 포함한다. 예를 들어, 저장부(655)는 비디오 프레임을 저장하기 위해 사용되는 아날로그 저장 장치를 포함할 수 있다. 저장부(655)는 비일시적 컴퓨터 판독형 디지털 저장부, 가령, 하드 드라이브, 광학 드라이브 또는 솔리드 스테이트 저장부를 포함할 수 있다. 상기 저장부(615)는 비디오 프레임, 인공 프레임(artificial frame), 비디오 프레임과 인공 프레임 모두를 포함하는 비디오 스트림, 오디오 프레임, 오디오 스트림 및/또는 이들과 유사한 것을 저장하도록 (가령, 적절한 데이터 구조 또는 파일 시스템에 의해) 사용된다. 선택사항으로서 상기 저장부(655)는 복수의 장치에 분산되어 있다. 일부 실시예에서, 저장부(655)는 본 명세서에서 언급된 비디오 소스(630)의 소프트웨어 구성요소를 저장하도록 사용된다. 이들 구성요소는 필요할 때 프로비저닝되도록 준비된 포맷으로 저장될 수 있다.
선택사항으로서 비디오 서버 시스템(620)은 클라이언트 정성자(660)를 더 포함한다. 클라이언트 정성자(660)는 클라이언트, 가령, 클라이언트(610A 또는 610B)의 능력을 원격으로 결정하도록 사용된다. 이들 능력은 클라이언트(610A) 자체의 능력과 클라이언트(610A)와 비디오 서버 시스템(620) 간 하나 이상의 통신 채널의 능력 모두를 포함할 수 있다. 예를 들어, 클라이언트 정성자(660)는 네트워크(615)를 통해 통신 채널을 시험하도록 사용될 수 있다.
상기 클라이언트 정성자(660)는 클라이언트(610A)의 능력을 수동으로 또는 자동으로 결정(가령, 발견)할 수 있다. 수동 결정은 클라이언트(610A)의 사용자(108)와 통신하고 사용자(108)에게 능력을 제공할 것을 요청하는 것을 포함한다. 예를 들어, 일부 실시예에서, 클라이언트 정성자(660)는 이미지, 텍스트 및/또는 이들과 유사한 것을 클라이언트(610A)의 웹 브라우저 내에 디스플레이하도록 사용된다. 하나의 실시예에서, 클라이언트(610A)는 웹 브라우저를 포함하는 HMD, 가령, HMD(104) 등이다. 또 다른 실시예에서, 클라이언트(610A)는 HMD 상에 디스플레이될 수 있는 웹 브라우저를 갖는 게임 콘솔이다. 디스플레이되는 객체는 사용자(108)가 클라이언트(610A)의 정보, 가령, 운영 체제, 프로세서, 비디오 디코더 유형, 네트워크 연결의 유형, 디스플레이 해상도 등을 입력할 것을 요청한다. 사용자(108)에 의해 입력되는 정보는 클라이언트 정성자(660)에게로 다시 통신된다.
예를 들어, 클라이언트(610A) 상에서 에이전트를 실행시키거나 및/또는 클라이언트(610A)로 시험 비디오를 전송함으로써 자동 결정이 이뤄질 수 있다. 상기 에이전트는 웹 페이지에 내장되거나 애드-온(add-on)으로서 설치되는 컴퓨팅 명령, 가령, 자바 스크립트를 포함할 수 있다. 선택사항으로서 상기 에이전트는 클라이언트 정성자(660)에 의해 제공된다. 다양한 실시예에서, 에이전트는 클라이언트(610A)의 프로세싱 파워, 클라이언트(610A)의 디코딩 및 디스플레이 능력, 클라이언트(610A)와 비디오 서버 시스템(620) 간 통신 채널의 지체 시간 신뢰성 및 대역폭, 클라이언트(610A)의 디스플레이 유형, 클라이언트(610A) 상에 존재하는 방화벽, 클라이언트(610A)의 하드웨어, 클라이언트(610A) 상에서 실행되는 소프트웨어, 상기 클라이언트(610A) 내의 레지스트리 엔트리 및/또는 이들과 유사한 것을 발견할 수 있다.
클라이언트 정성자(660)는 비일시적 컴퓨터 판독형 매체 상에 저장된 하드웨어, 펌웨어, 및/또는 소프트웨어를 포함한다. 클라이언트 정성자(660)는 비디오 서버 시스템(620)의 하나 이상의 다른 요소와 별개인 컴퓨팅 장치 상에 배치된다. 예를 들어, 일부 실시예에서, 클라이언트 정성자(660)는 클라이언트(610)와 비디오 서버 시스템(620)의 둘 이상의 인스턴스 간 통신 채널의 특성을 결정하도록 사용된다. 이들 실시예에서, 클라이언트 정성자에 의해 발견된 정보가 사용되어 비디오 서버 시스템(620)의 어느 인스턴스가 클라이언트(610) 중 하나로 스트리밍 비디오를 전달하기에 가장 적합한지를 결정할 수 있다.
일부 실시예에서, 미디어 데이터는 실세계 환경 데이터, 가상 세계 환경 데이터, 또는 이들의 조합을 포함한다. 상기 실세계 환경 데이터는 실세계 환경의 하나 이상의 이미지, 가령, 실제 자동차, 실제 사람, 실제 지리적 위치, 실제 구조물, 실제 집, 실제 나무, 실제 물체, 실제 생물, 실제 무생물 등으로부터 생성된 데이터를 포함한다. 상기 실세계 환경 데이터는, 카메라가 실세계 환경의 이미지를 캡처할 때 카메라, 가령, 비디오 카메라, 오디오 카메라 등에 의해 생성된다. 가상 세계 환경 데이터는 컴퓨터, 가령, 게임 프로그램(117)을 실행하는 프로세서 등에 의해 생성되는 데이터이다.
여러 실시예에서, 하나 이상의 사용자, 가령, 사용자(108), 또 다른 사용자 등은 가상 세계와 대화할 수 있다. 본 명세서에서 사용될 때, 용어 가상 세계는 하나 이상의 디스플레이 스크린을 통해 실제 사용자가 지각할 수 있는 및/또는 하나 이상의 사용자 인터페이스 장치를 통해 대화할 수 있는 하나 이상의 프로세서에 의해 시뮬레이션되는 대화의 규칙을 갖는 허구의, 가령, 가상의, 컴퓨터에 의해 생성된 등의 환경의 표현을 의미한다. 본 명세서에서 사용될 때, 용어 사용자 인터페이스 장치는, 사용자(108)가 가상 세계로 입력을 전송하거나 가상 세계로부터 출력을 수신할 때 이용할 수 있는 실제 장치, 가령, HMD(104), HHC(106)(도 1a-1c, 2) 등을 지칭한다. 상기 가상 세계는 하나 이상의 프로세서 모듈, 가령, 게임 클라우드(102)(도 1a-1c, 2)의 하나 이상의 서버, 마이크로제어기(268)(도 3), 프로세서(176)(도 1c) 등에 의해 시뮬레이션될 수 있다. 하나 이상의 프로세서 모듈은 네트워크(110)(도 1a-1c, 2)를 통해 서로 연결될 수 있다. 사용자(108)는 프로세서 모듈과 통신할 수 있는 사용자 인터페이스 장치를 통해 그리고 네트워크(110)를 통해 그 밖의 다른 인터페이스 장치를 통해 가상 세계와 대화할 수 있다. 가상 세계의 특정 양태가 그래픽 디스플레이 스크린, 가령, 컴퓨터 모니터, 텔레비전 모니터, 디스플레이 스크린(266), HHC(106)의 디스플레이 스크린, 또는 이와 유사한 디스플레이 상에 그래픽 형태로 사용자(108)에게 표시될 수 있다. 가상 세계의 그 밖의 다른 특정 양태가 그래픽 디스플레이와 연관될 수 있는 스피커, 가령, 스피커(260)(도 3) 등 상에 가청 형태(audible form)로 사용자에게 표시될 수 있다.
가상 세계 내에서, 사용자는 아바타에 의해 표현될 수 있다. 가상 세계 내 각각의 아바타가 서로 다른 사용자와 고유하게 연관될 수 있다. 사용자(108)의 이름 및 가명이 아바타 옆에 디스플레이되어 사용자(108)가 또 다른 사용자에 의해 쉽게 식별되게 할 수 있다. 사용자(108)의 가상 세계와의 대화가 아바타의 하나 이상의 대응하는 동작에 의해 표현될 수 있다. 예를 들어, 사용자(108)가 두부 동작을 수행할 때, 상기 아바타는 동일한 두부 동작을 수행한다. 또 다른 예를 들면, 사용자(108)가 손 동작을 수행할 때, 아바타는 가상 세계에서 동일한 손 동작을 수행한다. 서로 다른 사용자가 이들의 아바타를 통해 가상 공공 공간, 가령, 가상 지리적 영역 등에서 서로 대화할 수 있다. 사용자(108)를 나타내는 아바타는 사람, 동물, 또는 물체와 유사한 외관을 가질 수 있다. 사람의 형상을 한 아바타는 사용자(108)와 동일한 성별 또는 상이한 성별을 가질 수 있다. 상기 아바타는 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 8), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등 상에 나타나서, 사용자(108)가 가상 세계에서 다른 객체들과 함께 아바타를 볼 수 있다.
다양한 실시예에서, 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 8), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등이 아바타를 나타내지 않으면서 아바타의 시점으로 가상 세계를 나타낼 수 있다. 가상 세계에 대한 아바타의 관점이 가상 카메라의 시야인 것으로 생각될 수 있다. 본 명세서에서 사용될 때, 가상 카메라는 3차원 장면의 2차원 이미지를 가상 세계에 렌더링하기 위해 사용될 수 있는 가상 세계 내 시점을 지칭한다. 사용자는 각각의 로비와 연관된 채팅 채널(chat channel)에 의해 자신들의 아바타를 통해 서로 대화할 수 있다. 사용자는 자신들의 사용자 인터페이스를 통해 타 사용자와의 채팅을 위해 텍스트를 입력할 수 있다. 그 후 텍스트는 사용자의 아바타 위에 또는 가령, 때로는 채팅 풍선(chat bubble)이라고 지칭되는 코믹북 스타일의 대화 풍선의 형태로 상기 아바타 옆에 나타날 수 있다. 이러한 채팅은, 때로는 퀵 채팅(quick chat)이라고 지칭되는 사전 기록된 구문 채팅 시스템(canned phrase chat system)을 사용함으로써 용이해 질 수 있다. 퀵 채팅을 이용할 때, 사용자(108)는 메뉴에서 하나 이상의 채팅 구문을 선택할 수 있다.
일부 실시예에서, 공공 공간(public space)은 공공 공간이 임의의 특정 사용자 또는 사용자 그룹과 고유하게 연결되지 않고 어떠한 사용자 또는 사용자 그룹도 타 사용자를 상기 공공 공간에서 배제시킬 수 없다는 점에서 공공적이다. 이와 달리 개인 공간(private space)은 복수의 사용자 중 특정 사용자와 연관된다. 개인 공간은 개인 공간과 연관된 특정 사용자가 타 사용자에 의한 개인 공간으로의 액세스를 제한할 수 있다는 점에서 개인적이다. 개인 공간은 친숙한 개인 부동산의 외관을 취할 수 있다. 또 다른 실시예에서, 사용자는 디스플레이 스크린, 가령, 디스플레이 스크린(266)(도 3), 디스플레이 스크린(544)(도 8), HHC(106)의 디스플레이 스크린(도 1a-1c), 컴퓨터(172)(도 1c)의 디스플레이 스크린 등 상에서 보이는 아바타를 제어할 필요가 없을 수 있다. 가상 공간에서 나타나는 아바타는 기계, 가령, 프로세서 등에 의해 제어되는 봇(bot)일 수 있다. 따라서 사용자(108)에 의해 제어되는 아바타가 그러는 것처럼 유사한 방식으로 아바타 봇은 가상 공간을 돌아 다닐 수 있지만, 어떠한 실세계 사용자도 아바타 봇을 실제로 제어하지 않는다. 여러 방식으로, 아바타 봇은 공간을 돌아다니고, 동작을 취하며, 메시지를 게시하고, 특정 메시지에 대한 특권을 할당하며, 실세계 사용자 등에 의해 제어되는 타 아바타 봇 또는 아바타와 대화할 수 있다. 또한, 봇은 지정된 방식으로 대화하고, 환경을 수정하며, 광고를 게시하며, 메시지를 게시하고, 가상 공간, 가상 건물 또는 가상 객체, 객체의 그래픽 표현을 구축하며, 실제 또는 가상의 화폐를 교환하는 등을 하도록 설정될 수 있다.
본 명세서에 기재된 실시예는 다양한 컴퓨터 시스템 구성, 가령, 핸드-헬드 장치, 마이크로프로세서 시스템, 마이크로프로세서 기반 또는 프로그래머블 소비자 전자장치, 미니컴퓨터, 메인프레임 컴퓨터 등에 의해 실시될 수 있다. 또한 본 명세서에서 기재된 복수의 실시예는 유선 또는 무선 네트워크를 통해 연결되는 원격 프로세싱 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다.
상기의 실시예를 고려하여, 본 명세서에 기재된 복수의 실시예는 컴퓨터 시스템에 저장된 데이터를 포함하는 다양한 컴퓨터 구현형 동작을 채용할 수 있음이 이해되어야 한다. 이들 동작은 물리량의 물리적 조작을 필요로 하는 것들이다. 본 명세서에 기재된 다양한 실시예의 일부를 형성하는 본 명세서에 기재된 동작들 중 임의의 것이 유용한 기계 동작이다. 본 명세서에 기재된 복수의 실시예는 이들 동작을 수행하기 위한 디바이스 또는 장치와 관련된다. 상기 장치는 필요한 목적을 위해 특수하게 구성되거나, 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 구성될 수 있는 컴퓨터일 수 있다. 특히, 다양한 기계가 본원의 설명에 따라 써진 컴퓨터 프로그램과 함께 사용되거나, 필요한 동작을 수행하도록 더 특수화된 장치를 구성하기에 더 편리할 수 있다.
본 명세서에 기재된 다양한 실시예가 비일시적 컴퓨터 판독형 매체 상의 컴퓨터-판독형 코드로서 구현될 수 있다. 비일시적 컴퓨터 판독형 매체는 컴퓨터 시스템에 의해 판독될 수 있는 데이터, 가령, RAM, ROM, 플래시 메모리, 디스크 등을 저장할 수 있는 임의의 데이터 저장 장치이다. 컴퓨터 판독형 매체의 예시는 하드 드라이브, 네트워크 부착 저장장치(NAS), ROM, RAM, 컴팩트 디스크-ROM(CD-ROM), CD-레코더블(CD-R), CD-리라이터블(RW), 자기 테이프 및 그 밖의 다른 광학 및 비광학 데이터 저장 장치가 있다. 비일시적 컴퓨터 판독형 매체는 컴퓨터 판독형 코드가 분산 방식으로 저장 및 실행되도록 네트워크 연결된 컴퓨터 시스템에 걸쳐 분산되는 컴퓨터 판독형 유형 매체를 포함할 수 있다.
방법 동작들이 특정 순서로 기재되었지만, 동작들 사이에 그 밖의 다른 정리 동작(housekeeping operation)이 수행되거나, 동작들이 약간 상이한 때에 발생되도록 동작들이 조절되거나, 프로세싱과 연관된 다양한 간격으로 프로세싱 동작의 발생을 허용하는 시스템에 분산될 수 있거나, 오버레이 동작의 프로세싱이 바람직한 방식으로 수행되는 한 동작들이 서로 다른 순서로 수행될 수 있다.
상기의 실시예는 명확한 이해 목적으로 일부 상세히 기재되었지만, 첨부된 특허청구범위 내에서 특정 변경 및 수정이 실시될 수 있음이 자명할 것이다. 따라서 본 발명의 실시예는 한정이 아닌 예시로서 고려되어야 하며, 본 명세서에 기재된 다양한 실시예가 본 명세서에서 제공된 세부사항에 한정되지 않지만, 이하의 청구범위 및 균등물 내에서 수정될 수 있다.

Claims (43)

  1. 두부 장착형 디스플레이(HMD) 상의 프로그램의 가상 현실 장면을 디스플레이하기 위하여, 상기 두부 장착형 디스플레이와 게임 클라우드 간에 통신을 처리하기 위한 방법으로서, 상기 방법은:
    핸드헬드 제어기 상의 선택을 나타내는 입력 데이터를 수신하는 단계;
    상기 두부 장착형 디스플레이의 무선 액세스 회로가, 패킷화된 입력 데이터를 생성하기 위해, 상기 입력 데이터를 패킷화하는 단계;
    별도의 로컬 컴퓨터와 최초로 통신하지 않고, 상기 패킷화된 입력 데이터를 라우터 및 인터넷을 통해 상기 두부 장착형 디스플레이로부터 상기 게임 클라우드로 송신하는 단계;
    상기 무선 액세스 회로가 상기 인터넷을 통해 수신된 인코딩된 미디어 데이터의 스트림을 역패킷화하는 단계;
    상기 두부 장착형 디스플레이의 디코더가, 디코딩된 미디어 데이터를 생성하기 위해, 상기 역패킷화된 데이터를 디코딩하는 단계; 및
    상기 두부 장착형 디스플레이의 마이크로제어기가, 상기 두부 장착형 디스플레이의 디스플레이 장치 상에 상기 프로그램의 상기 가상 현실 장면을 디스플레이하기 위해, 상기 디코딩된 미디어 데이터를 렌더링하는 단계를 포함하고,
    상기 선택은 상기 두부 장착형 디스플레이를 착용하고 있는 사용자에 의해 이루어지며,
    상기 라우터는 상기 두부 장착형 디스플레이와 상기 인터넷 사이에 위치하고,
    상기 게임 클라우드는 미디어 데이터를 생성하고 상기 미디어 데이터를 인코딩하고 패킷화하여 상기 인코딩된 미디어 데이터의 스트림을 생성하도록 상기 프로그램을 실행하며, 상기 미디어 데이터는 상기 입력 데이터에 기초하여 생성되고,
    상기 인코딩된 미디어 데이터의 스트림은, 상기 별도의 로컬 컴퓨터의 사용과 관련된 대기시간(latency)을 감소시키기 위해 상기 별도의 로컬 컴퓨터와 통신하지 않고, 상기 두부 장착형 디스플레이에 의해 상기 인터넷과 상기 라우터를 통해 상기 게임 클라우드로부터 직접 수신되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 게임 클라우드는 코덱을 포함하고, 상기 코덱은 압축기 또는 압축 해제기이며, 상기 압축기는 상기 인코딩된 미디어 데이터를 생성하기 위해 상기 미디어 데이터에 대해 손실 압축을 수행하거나 상기 인코딩된 미디어 데이터를 생성하기 위해 상기 미디어 데이터에 무손실 압축을 수행하도록 구성되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 두부 장착형 디스플레이의 프로세서가 상기 인터넷에 액세스하기 위한 운영 체제를 실행하는 단계;
    네트워크 액세스 애플리케이션의 선택을 수신하는 단계;
    상기 네트워크 액세스 애플리케이션이 상기 디스플레이 장치 상에 상기 리스트를 디스플레이하기 위해 상기 마이크로제어기에 무선 네트워크들의 리스트를 제공하는 단계;
    상기 두부 장착형 디스플레이에 결합된 상기 핸드헬드 제어기를 통해, 상기 리스트로부터 상기 무선 네트워크들 중 하나의 선택을 수신하는 단계;
    상기 네트워크 액세스 애플리케이션이 상기 무선 네트워크들 중 하나에 액세스하기 위한 패스워드를 요청하는 단계;
    상기 네트워크 액세스 애플리케이션이 상기 패스워드가 인증될 때 상기 인터넷에 대한 액세스를 제공하는 단계;
    상기 인터넷에 대한 액세스를 제공하는 것에 응답하여 게임 액세스 애플리케이션에 대한 액세스를 제공하는 단계;
    상기 핸드헨드 제어기를 통해 상기 게임 액세스 애플리케이션의 선택을 수신하는 단계; 및
    상기 게임 액세스 애플리케이션의 선택을 수신하는 것에 응답하여 상기 프로그램에 대한 액세스를 제공하는 단계를 더 포함하고,
    상기 네트워크 액세스 애플리케이션은 상기 운영 체제의 최상부 상의 프로세서에 의해 실행되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 게임 액세스 애플리케이션을 통해 상기 프로그램에 액세스하기 위한 사용자 이름 및 패스워드에 대한 요청을 수신하는 단계;
    상기 프로그램에 액세스하기 위한 상기 사용자 이름과 상기 패스워드를 송신하는 단계를 더 포함하고,
    상기 프로그램에 액세스하기 위한 상기 사용자 이름과 상기 패스워드가 인증된 것으로 판단되면 상기 프로그램에 대한 액세스가 제공되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 두부 장착형 디스플레이의 프로세서가 상기 인터넷에 액세스하기 위해 운영 체제를 실행하는 단계;
    네트워크 액세스 애플리케이션의 선택을 수신하는 단계;
    상기 네트워크 액세스 애플리케이션이 상기 디스플레이 장치 상에 상기 리스트를 디스플레이하기 위해 상기 마이크로 컨트롤러에 무선 네트워크들의 리스트를 제공하는 단계;
    상기 두부 장착형 디스플레이에 결합된 상기 핸드헬드 제어기를 통해, 상기 리스트로부터 상기 무선 네트워크들 중 하나의 선택을 수신하는 단계;
    상기 네트워크 액세스 애플리케이션이 상기 무선 네트워크들 중 하나에 액세스하기 위한 패스워드를 요청하는 단계;
    상기 패스워드가 인증될 경우, 상기 네트워크 액세스 애플리케이션에 의해 상기 무선 네트워크 중 하나에 대한 액세스를 제공하는 단계;
    상기 무선 네트워크 중 하나에 대한 액세스를 제공하는 것에 응답하여 웹브라우저 애플리케이션에 대한 액세스를 제공하는 단계;
    상기 핸드헬드 제어기를 통해 상기 웹브라우저 애플리케이션의 선택을 수신하는 단계; 및
    상기 웹브라우저 애플리케이션의 선택을 수신하면 상기 두부 장착형 디스플레이를 통해 상기 프로그램에 액세스하는 단계를 더 포함하고,
    상기 네트워크 액세스 애플리케이션은 상기 운영 체제의 최상부 상의 상기 프로세서에 의해 수행되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 프로그램에 액세스하기 위한 사용자 이름 및 패스워드를 웹페이지를 통해 전송하는 단계를 더 포함하고, 상기 프로그램에 액세스하기 위한 상기 사용자 이름 및 상기 패스워드가 인증된 것으로 판단되면 상기 프로그램에 대한 액세스가 수신되는 것을 특징으로 하는 방법.
  7. 상기 두부 장착형 디스플레이는 상기 무선 연결을 통해 상기 라우터에 연결되어 있는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 무선 연결은 Wi-Fi 연결인 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 라우터가 상기 인터넷으로부터 상기 인코딩된 미디어 데이터의 스트림을 수신하는 단계;
    상기 라우터가 상기 두부 장착형 디스플레이의 주소에 기초하여 상기 인코딩된 미디어 데이터의 스트림을 상기 두부 장착형 디스플레이로 라우팅하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 핸드헬드 제어기로부터의 입력 신호를 상기 두부 장착형 디스플레이의의 제어기 통신 회로에 의해 수신하는 단계;
    상기 제어기 통신 회로가 상기 입력 신호를 상기 입력 데이터로 변환하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 라우터가 상기 인터넷으로부터 상기 인코딩된 미디어 데이터의 스트림을 수신하는 단계;
    상기 두부 장착형 디스플레이의 스트림 버퍼가 상기 인코딩된 미디어 데이터의 스트림을 버퍼링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 상기 디코딩 및 상기 역패킷화는 상기 버퍼링 이후에 상기 두부 장착형 디스플레이에 의해 수행되는 것을 특징으로하는 방법.
  13. 제1항에 있어서,
    상기 두부 장착형 디스플레이의 비디오 오디오 분리기가 상기 디코딩된 미디어 데이터를 오디오 데이터 및 비디오 데이터로 분리하는 단계;
    상기 두부 장착형 디스플레이의 비디오 오디오 동기화기가 상기 비디오 데이터를 상기 오디오 데이터와 동기화시키는 단계;
    상기 두부 장착형 디스플레이의 오디오 코덱이 상기 동기화된 오디오 데이터를 변환하여 오디오 신호를 생성하는 단계;
    상기 두부 장착형 디스플레이의 하나 이상의 스피커가 사운드를 생성하기 위해 상기 오디오 신호를 재생하는 단계;
    상기 두부 장착형 디스플레이에 의해 상기 동기화된 비디오 데이터를 아날로그 비디오 신호로 변환하는 단계를 더 포함하고,
    상기 렌더링은 상기 가상 현실 장면을 표시하기 위해 상기 아날로그 비디오 신호를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제1항에 있어서,
    상기 두부 장착형 디스플레이의 내부 카메라가 상기 사용자의 시선을 포착하도록 상기 사용자의 눈의 이미지 데이터를 캡처하는 단계;
    상기 무선 액세스 회로가 패킷화된 인코딩된 이미지 데이터를 생성하도록 상기 사용자의 눈의 이미지 데이터를 인코딩 및 패킷화하는 단계; 및
    상기 패킷화된 인코딩된 이미지 데이터를 상기 라우터 및 상기 인터넷을 통해 상기 게임 클라우드로 전송하는 단계를 더 포함하고,
    상기 내부 디지털 카메라는 상기 사용자의 눈을 향하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 마이크로 제어기가 상기 디스플레이 장치의 디스플레이 스크린을 상기 사용자의 시선에 기초하여 상이한 해상도들로 분할하는 단계를 더 포함하고,
    고해상도를 갖는 상기 디스플레이 스크린의 부분은 상기 시선의 방향인 것을 특징으로 하는 방법.
  16. 제1항에 있어서, 상기 프로그램은 대화형 게임 프로그램이고, 상기 방법은:
    상기 대화형 게임 프로그램의 세션 동안 상기 라우터 및 상기 인터넷을 통해 상기 두부 장착형 디스플레이로부터 상기 게임 클라우드로 추가적인 입력 데이터를 전송하는 단계;
    상기 세션 동안 다른 가상 현실 장면을 표시하기 위해, 상기 라우터 및 상기 네트워크를 통해 상기 게임 클라우드로부터 수신된 부가적인 미디어 데이터를 렌더링하는 단계를 더 포함하고,
    상기 부가적인 미디어 데이터는 부가적인 입력 데이터에 기초하여 상기 게임 클라우드에 의해 생성되는 것을 특징으로 하는 방법.
  17. 제16항에 있어서, 상기 게임 클라우드는 상기 부가적인 입력 데이터에 기초하여 상기 두부 장착형 디스플레이의 위치 및 이동을 판단하고, 상기 부가적인 미디어 데이터는 상기 위치 및 이동으로부터 생성되는 것을 특징으로 하는 방법.
  18. 제1항에 있어서, 상기 인터넷을 통해 상기 게임 클라우드와 통신하기 위한 상기 라우터를 사용하는 모드로부터 상기 라우터 및 상기 인터넷을 통해 상기 게임 클라우드와 통신하기 위한 상기 별도의 로컬 컴퓨터를 사용하는 모드로, 상기 무선 액세스 회로의 모드를 스위칭하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  19. 제1항에 있어서, 상기 인터넷을 통해 상기 게임 클라우드와 통신하기 위한 상기 라우터를 사용하는 모드로부터 상기 인터넷을 통해 상기 게임 클라우드와 통신하기 위한 상기 라우터를 우회하는 모드로, 상기 무선 액세스 회로의 모드를 스위칭하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  20. 시스템으로서, 상기 시스템은:
    두부 장착형 디스플레이(HMD)를 포함하고,
    상기 두부 장착형 디스플레이는:
    핸드헬드 제어기 상의 선택을 나타내는 입력 데이터를 수신하도록 구성된 통신 회로;
    상기 통신 회로에 연결된 무선 액세스 회로;
    상기 무선 액세스 회로에 연결된 디코더; 및
    상기 디코더에 연결된 마이크로 컨트롤러를 포함하며,
    상기 선택은 상기 두부 장착형 디스플레이를 착용하고 있는 사용자에 의해 이루어지고,
    상기 무선 액세스 회로는 패킷화된 입력 데이터를 생성하기 위해 상기 입력 데이터를 패킷화하도록 구성되며,
    상기 무선 액세스 회로는 별도의 로컬 컴퓨터와 먼저 통신하지 않고 상기 패킷화된 입력 데이터를 라우터 및 인터넷을 통해 상기 게임 클라우드에 직접 전송하도록 구성되고, 상기 라우터는 상기 두부 장착형 디스플레이와 상기 인터넷 사이에 위치하며,
    상기 게임 클라우드는 미디어 데이터를 생성하기 위한 프로그램을 실행하고 인코딩된 미디어 데이터의 스트림을 생성하기 위해 상기 미디어 데이터를 인코딩 및 패킷화하고, 상기 미디어 데이터는 상기 입력 데이터에 기초하여 생성되며,
    상기 무선 액세스 회로는 상기 인터넷을 통해 수신된 인코딩된 미디어 데이터의 스트림을 상기 게임 클라우드로부터 역패킷화하여 패킷화되지 않은 데이터를 생성하도록 구성되고,
    상기 인코딩된 미디어 데이터의 스트림은 상기 별도의 로컬 컴퓨터와 통신하지 않고 상기 인터넷 및 상기 라우터를 통해 상기 게임 클라우드로부터 직접 상기 두부 장착형 디스플레이에 의해 수신되어 상기 별도의 로컬 컴퓨터 사용과 관련된 대기시간을 감소시키며,
    상기 디코더는 상기 역패킷화된 데이터를 디코딩하여 디코딩된 미디어 데이터를 생성하도록 구성되고, 상기 마이크로제어기는 상기 두부 장착형 디스플레이의 디스플레이 장치 상에 상기 프로그램의 가상 현실 장면을 디스플레이하도록 구성되는 것을 특징으로 하는 시스템.
  21. 제20항에 있어서, 상기 두부 장착형 디스플레이는:
    운영 체제를 실행하여 상기 인터넷에 액세스하도록 구성된 프로세서를 더 포함하고,
    상기 프로세서는 네트워크 액세스 애플리케이션의 선택을 수신하도록 구성되며, 상기 네트워크 액세스 애플리케이션은 상기 운영체제의 최상부 상의 상기 프로세서에 의해 실행되며,
    상기 네트워크 액세스 애플리케이션은 무선 네트워크의 리스트를 상기 마이크로 컨트롤러에 제공하여 상기 디스플레이 장치 상에 리스트를 디스플레이하도록 구성되고,
    상기 핸드헬드 제어기는 상기 두부 장착형 디스플레이에 연결되고, 상기 핸드헬드 제어기는 상기 리스트로부터 상기 무선 네트워크들 중 하나의 선택을 수신하도록 구성되며,
    상기 네트워크 액세스 애플리케이션은 상기 무선 네트워크들 중 하나에 액세스하기 위한 패스워드를 요청하도록 구성되고,
    상기 네트워크 액세스 애플리케이션은 상기 패스워드가 인증되었다는 판단에 응답하여 상기 인터넷에 대한 액세스를 제공하도록 구성되며,
    게임 액세스 애플리케이션은 상기 인터넷에 대한 액세스에 응답하여 액세스되고,
    상기 핸드헬드 제어기는 상기 게임 액세스 애플리케이션의 선택을 수신하도록 구성되며,
    상기 프로그램은 상기 게임 액세스 애플리케이션의 선택을 수신하는 것에 응답하여 액세스되는 것을 특징으로 하는 시스템.
  22. 제21항에 있어서,
    상기 두부 장착형 디스플레이는 상기 프로그램에 액세스하기 위한 사용자 명 및 패스워드에 대한 상기 게임 액세스 애플리케이션을 통한 요청을 수신하도록 구성되고,
    상기 두부 장착형 디스플레이는 상기 핸드헬드 제어기로부터 상기 프로그램에 액세스하기 위한 상기 사용자 이름 및 상기 패스워드를 수신하도록 구성되며,
    상기 프로그램에 액세스하기 위한 상기 사용자 이름 및 상기 패스워드가 인증된 것으로 판단되면 상기 프로그램에 액세스되는 것을 특징으로 하는 시스템.
  23. 게임 클라우드 시스템을 통한 게임 플레이를 위한 두부 장착형 디스플레이로서, 상기 두부 장착형 디스플레이는:
    네트워크를 통해 게임 프로그램과 관련된 압축된 대화형 미디어를 수신하기위한 통신 회로;
    게임 프로세싱 회로; 및
    상기 게임 프로세싱 회로에 연결된 입력 회로를 포함하고,
    상기 게임 프로그램은 상기 게임 클라우드 시스템에 의해 실행되며, 상기 압축된 대화형 미디어는 상기 게임 클라우드 시스템에 의해 전송되고, 상기 압축된 대화형 미디어는, 라우터를 통해 상기 네트워크와 통신하기 위한 컴퓨터를 사용하지 않고, 상기 네트워크와 연결된 상기 라우터를 통하여 상기 두부 장착형 디스플레이의 상기 통신 회로로 스트리밍되며, 상기 라우터는 상기 두부 장착형 디스플레이와 상기 압축된 대화형 미디어를 상기 두부 장착형 디스플레이로 라우팅하기 위한 상기 네트워크 사이에 있고,
    상기 게임 프로세싱 회로는, 상기 라우터를 통해 상기 네트워크로부터 수신 된 상기 압축된 대화형 미디어를 디코딩하여 디코딩된 대화형 미디어를 출력하는 디코더, 및 상기 디코딩된 대화형 미디어로부터 이미지를 렌더링하기 위한, 상기 디코더에 연결된 마이크로제어기를 포함하며,
    상기 입력 회로는 사용자에 의해 수행되는 동작에 기초하여 입력을 생성하도록 구성되고, 상기 입력은 상기 입력 회로에 의해 검출된 위치 및 이동을 포함하며,
    상기 라우터는 상기 두부 장착형 디스플레이와 상기 네트워크 사이에서 주소 지정된 장치로 데이터를 라우팅하는 것을 특징으로 하는 두부 장착형 디스플레이.
  24. 제23항에 있어서. 상기 디코딩된 대화형 미디어 또는 상기 입력에 기초하여 사운드를 생성하는 오디오 회로를 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  25. 제23항에 있어서, 상기 입력 회로는 상기 위치 및 이동을 판단하기 위한 관성 센서 회로를 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  26. 제25항에 있어서, 상기 관성 센서 회로는 자이로스코프, 자력계, 가속도계, 또는 이들의 조합을 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  27. 제23항에 있어서, 페어링을 통해 로컬 사용자 간의 피어-투- 피어 다중 채널 통신을 용이하게 하는 통신 회로를 더 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  28. 제23항에 있어서, 상기 통신 회로는 상기 네트워크를 통한 사용자들 간 원격 대화형 다중-사용자 게임 플레이를 위해 사용되는 것을 특징으로 하는 두부 장착형 디스플레이.
  29. 제23항에 있어서, 상기 통신 회로, 상기 사용자 입력 회로, 상기 게임 프로세싱 회로는 하나 이상의 개별 회로 칩 내에 집적되는 것을 특징으로 하는 두부 장착형 디스플레이.
  30. 제23항에 있어서, 상기 마이크로제어기는 상기 디코딩된 대화형 미디어로부터의 상기 이미지를 렌더링하기 위한 마이크로 프로세서를 포함하고, 상기 두부 장착형 디스플레이는 상기 스트림을 버퍼링하기 위한 버퍼를 더 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  31. 제23항에 있어서, 핸드헬드 제어기와 통신하기 위한 통신 회로를 더 포함하는 것을 특징으로 하는 두부 장착형 디스플레이.
  32. 제23항에 있어서, 상기 입력은 핸드헬드 제어기의 입력에 매핑되는 것을 특징으로 하는 두부 장착형 디스플레이.
  33. 제23항에 있어서, 상기 두부 장착형 디스플레이는 상기 게임 클라우드 시스템과 통신하는 핸드헬드 제어기와 함께 사용되는 것을 특징으로 하는 두부 장착형 디스플레이.
  34. 제23항에 있어서, 상기 두부 장착형 디스플레이는 핸드헬드 제어기와 함께 사용되고, 상기 두부 장착형 디스플레이의 상기 위치 및 이동과 상기 핸드헬드 제어기의 위치 및 이동은 단일 가상 장면으로 표현되는 것을 특징으로 하는 두부 장착형 디스플레이.
  35. 제23항에 있어서, 상기 컴퓨터는 게임 콘솔인 것을 특징으로 하는 두부 장착형 디스플레이.
  36. 제23항에 있어서, 상기 두부 장착형 디스플레이는 핸드헬드 제어기 및 콘솔과 통신하는 것을 특징으로 하는 두부 장착형 디스플레이.
  37. 제23항에 있어서, 상기 통신 회로는 상기 입력을 상기 게임 클라우드 시스템에 전송하는 것을 특징으로 하는 두부 장착형 디스플레이.
  38. 게임 클라우드 시스템을 통해 게임 플레이를 위한 방법으로서, 상기 방법은 두부 장착형 디스플레이에 의해 실행되는 아래의 단계들을 포함하되, 상기 아래의 단계들은,
    네트워크를 통해 게임 프로그램과 관련된 압축된 대화형 미디어의 스트림을 수신하는 단계;
    디코딩된 대화형 미디어를 출력하기 위해 라우터를 통해 상기 네트워크로부터 수신된 상기 압축된 대화형 미디어를 상기 두부 장착형 디스플레이의 디코더에 의해 디코딩하는 단계;
    상기 디코딩된 대화형 미디어로부터 이미지를 렌더링하는 단계;
    상기 두부 장착형 디스플레이에 의해 검출된 위치 및 이동을 포함하는 입력을 수신하는 단계를 포함하고,
    상기 압축된 대화형 미디어는 상기 게임 클라우드 시스템에 의해 전송되며,
    상기 수신하는 단계는, 상기 라우터를 통해 상기 네트워크와 통신하기 위한 컴퓨터를 사용하지 않고, 상기 네트워크에 연결된 라우터를 통해 상기 두부 장착형 디스플레이에 의해 수행되고, 상기 라우터는 상기 두부 장착형 디스플레이와 상기 압축된 대화형 미디어를 상기 두부 장착형 디스플레이로 라우팅하기 위한 상기 네트워크 사이에 있으며,
    상기 렌더링은 상기 두부 장착형 디스플레이의 마이크로 제어기에 의해 수행되고, 상기 마이크로 제어기는 상기 디코더에 연결되며,
    상기 라우터는 데이터를 상기 두부 장착형 디스플레이와 상기 네트워크 사이의 주소 지정된 장치로 라우팅하는 것을 특징으로 하는 방법.
  39. 제38항에 있어서, 상기 스트림을 버퍼링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  40. 제38항에 있어서, 상기 디코딩된 대화형 미디어에 기초하여 사운드를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  41. 게임 클라우드 시스템을 통한 게임 플레이를 위한 컴퓨터 실행 가능 명령어가 저장된 비-일시적인 컴퓨터 판독 가능한 저장 매체로서, 상기 컴퓨터 실행 가능 명령어는 컴퓨터에 의해 실행될 때,
    네트워크를 통해 게임 프로그램과 관련된 압축된 대화형 미디어의 스트림을 수신하는 단계;
    디코딩된 대화형 미디어를 출력하기 위해 라우터를 통해 상기 네트워크로부터 수신된 상기 압축된 대화형 미디어를 두부 장착형 디스플레이의 디코더에 의해 디코딩하는 단계;
    상기 디코딩된 대화형 미디어로부터 이미지를 렌더링하는 단계;
    상기 두부 장착형 디스플레이에 의해 검출된 위치 및 이동을 포함하는 입력을 수신하는 단계를 포함하는 동작을 수행하고,
    상기 압축된 대화형 미디어는 상기 게임 클라우드 시스템에 의해 전송되며,
    상기 수신하는 단계는, 상기 라우터를 통해 상기 네트워크와 통신하기 위한 컴퓨터를 사용하지 않고, 상기 네트워크에 연결된 상기 라우터를 통해 상기 두부 장착형 디스플레이에 의해 수행되고, 상기 라우터는 상기 두부 장착형 디스플레이와 상기 압축된 대화형 미디어를 상기 두부 장착형 디스플레이로 라우팅하기 위한 상기 네트워크 사이에 있으며,
    상기 렌더링하는 단계는 상기 두부 장착형 디스플레이의 마이크로 제어기에 의해 수행되고, 상기 마이크로 제어기는 상기 디코더에 연결되며,
    상기 라우터는 데이터를 상기 두부 장착형 디스플레이와 상기 네트워크 사이의 주소 지정된 장치로 라우팅하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독 가능한 저장 매체.
  42. 제41항에 있어서, 상기 동작은 상기 스트림을 버퍼링하는 단계를 더 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독 가능한 저장 매체.
  43. 제41항에 있어서, 상기 디코딩된 대화형 미디어에 기초하여 사운드를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독 가능한 저장 매체.
KR1020187023915A 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법 KR20180095741A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832773P 2013-06-07 2013-06-07
US61/832,773 2013-06-07
US14/144,185 US10905943B2 (en) 2013-06-07 2013-12-30 Systems and methods for reducing hops associated with a head mounted system
US14/144,185 2013-12-30
PCT/US2014/039405 WO2014197229A1 (en) 2013-06-07 2014-05-23 Systems and methods for reducing hops associated with a head mounted system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000299A Division KR20160018690A (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030554A Division KR102158004B1 (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180095741A true KR20180095741A (ko) 2018-08-27

Family

ID=52005902

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187023915A KR20180095741A (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
KR1020197030554A KR102158004B1 (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
KR1020167000299A KR20160018690A (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020197030554A KR102158004B1 (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
KR1020167000299A KR20160018690A (ko) 2013-06-07 2014-05-23 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법

Country Status (8)

Country Link
US (2) US10905943B2 (ko)
EP (3) EP3005073B1 (ko)
JP (2) JP2016533659A (ko)
KR (3) KR20180095741A (ko)
CN (2) CN104225915B (ko)
BR (1) BR112015030576B1 (ko)
RU (1) RU2628665C2 (ko)
WO (1) WO2014197229A1 (ko)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9575319B2 (en) * 2014-03-10 2017-02-21 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US11983401B1 (en) * 2014-06-04 2024-05-14 ULTRAHAPTICS IP TWO LIMITED, , United Kingd Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space
US10034508B2 (en) * 2014-08-12 2018-07-31 Microsoft Technology Licensing, Llc Weight-distributing headband for head-worn assembly
GB201500545D0 (en) * 2015-01-14 2015-02-25 Mvr Global Ltd Controller for computer entertainment system
US9529416B2 (en) 2015-02-25 2016-12-27 Sony Interactive Entertainment America Llc Rack space power utilization
WO2016136794A1 (ja) 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US20160259453A1 (en) 2015-03-06 2016-09-08 Sony Computer Entertainment America Llc Dynamic adjustment of cloud game data streams to output device and network quality
JP6691351B2 (ja) * 2015-03-31 2020-04-28 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
US10135892B2 (en) * 2015-07-28 2018-11-20 Google Llc Independent control of interactive streaming media
CN107533222B (zh) 2015-08-19 2020-05-05 深圳市柔宇科技有限公司 头戴式电子装置
WO2017028282A1 (zh) 2015-08-19 2017-02-23 深圳市柔宇科技有限公司 穿戴式显示设备
CN107209374A (zh) 2015-08-19 2017-09-26 深圳市柔宇科技有限公司 头戴式电子装置
EP3339934A4 (en) 2015-08-19 2019-04-10 Shenzhen Royole Technologies Co. Ltd. ELECTRONIC DEVICE INSTALLED ON THE HEAD
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
CN105829949B (zh) * 2015-09-14 2018-06-12 深圳市柔宇科技有限公司 一种头戴式显示设备
KR102037161B1 (ko) * 2015-10-06 2019-10-29 주식회사 소니 인터랙티브 엔터테인먼트 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체
CN108352867A (zh) * 2015-11-19 2018-07-31 索尼互动娱乐股份有限公司 天线控制装置、头戴式显示器、天线控制方法以及程序
CN109069924A (zh) * 2015-12-21 2018-12-21 格瑞拉伯克斯有限公司 用于播放云端中的应用程序的方法以及用于经由确定的远程通信系统来流处理和再现应用程序（app）的远程通信网络以及用于流处理和再现应用程序（app）的远程通信网络的应用
WO2017132082A1 (en) * 2016-01-27 2017-08-03 Dolby Laboratories Licensing Corporation Acoustic environment simulation
CN105771240A (zh) * 2016-02-22 2016-07-20 深圳市伴悦科技有限公司 一种仿真交互式游戏方法
US10317997B2 (en) * 2016-03-11 2019-06-11 Sony Interactive Entertainment Inc. Selection of optimally positioned sensors in a glove interface object
US11163358B2 (en) 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及系统
CN105915990B (zh) * 2016-05-25 2022-11-15 歌尔光学科技有限公司 一种虚拟现实头盔及其使用方法
WO2018002800A1 (en) * 2016-06-28 2018-01-04 Nokia Technologies Oy Method and apparatus for creating sub-content within a virtual reality content and sharing thereof
CN109478342B (zh) 2016-07-15 2020-03-10 纳维株式会社 图像显示装置及图像显示系统
KR102523377B1 (ko) * 2016-07-15 2023-04-20 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이를 포함하는 두부 장착 표시 시스템
JP6779715B2 (ja) * 2016-09-02 2020-11-04 株式会社Ｌｉｖｉｎｇ Ａｎｙｗｈｅｒｅ Ｇａｒａｇｅ 情報処理システム
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
KR102654621B1 (ko) 2016-12-08 2024-04-04 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치
CN110337318B (zh) * 2017-02-28 2024-06-14 奇跃公司 混合现实装置中的虚拟和真实对象记录
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
BR112019016820B1 (pt) * 2017-04-11 2022-05-24 Dolby Laboratories Licensing Corporation Método para experiências de entretenimento aumentadas em camadas
US10278001B2 (en) * 2017-05-12 2019-04-30 Microsoft Technology Licensing, Llc Multiple listener cloud render with enhanced instant replay
US10279269B2 (en) 2017-06-22 2019-05-07 Centurion VR, LLC Accessory for virtual reality simulation
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
CN112074705A (zh) * 2017-12-18 2020-12-11 Alt有限责任公司 光学惯性跟踪运动物体的方法和系统
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
US11100713B2 (en) 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US10773156B2 (en) * 2018-11-05 2020-09-15 Sony Interactive Entertainment LLC Systems and methods for establishing direct communication between a server system and a video game controller
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
JP7496677B2 (ja) * 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
JP2021057770A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像圧縮方法
JP7491676B2 (ja) * 2019-09-30 2024-05-28 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像圧縮方法
US11184601B2 (en) * 2019-12-19 2021-11-23 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for display encoding
US20220070239A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. System and method to provision cloud computing-based virtual computing resources within a virtual environment
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US12107907B2 (en) * 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
KR20220101485A (ko) * 2021-01-11 2022-07-19 삼성전자주식회사 디스플레이 장치 및 그 동작방법
KR20230169339A (ko) * 2021-04-14 2023-12-15 램 리써치 코포레이션 혼합 현실 (mixed reality) 환경들에서의 반도체 제작 장비의 제어
US11599338B2 (en) * 2021-06-18 2023-03-07 Qingdao Pico Technology Co., Ltd. Model loading method and apparatus for head-mounted display device, and head-mounted display device
WO2023009166A1 (en) * 2021-07-30 2023-02-02 Hewlett-Packard Development Company, L.P. Image-based adjustment of display content in a head-mounted user device
KR20230081402A (ko) * 2021-11-30 2023-06-07 삼성전자주식회사 서버와 전자 장치 사이의 영상 콘텐트를 스트리밍하는 방법, 영상 콘텐트를 스트리밍하는 서버 및 전자 장치
EP4395329A1 (en) 2021-11-30 2024-07-03 Samsung Electronics Co., Ltd. Method for allowing streaming of video content between server and electronic device, and server and electronic device for streaming video content
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
US20240177196A1 (en) * 2022-11-30 2024-05-30 Oracle International Corporation Contextual targeting based on metaverse monitoring

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3163786B2 (ja) 1992-10-09 2001-05-08 ソニー株式会社 眼鏡型映像表示装置
JPH06176131A (ja) 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6868091B1 (en) * 1997-10-31 2005-03-15 Stmicroelectronics Asia Pacific Pte. Ltd. Apparatus and method for depacketizing and aligning packetized input data
US6734838B1 (en) * 1998-05-18 2004-05-11 Dimension Technologies Inc. Enhanced resolution for image generation
US6490324B1 (en) 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
US6429867B1 (en) * 1999-03-15 2002-08-06 Sun Microsystems, Inc. System and method for generating and playback of three-dimensional movies
KR20020040676A (ko) * 2000-04-12 2002-05-30 이데이 노부유끼 데이터 전송 방법 및 데이터 전송 장치
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
AU2003244901A1 (en) 2002-06-26 2004-01-19 Nokia Corporation Bluetooth rf based rf-tag read/write station
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US8387099B2 (en) * 2002-12-10 2013-02-26 Ol2, Inc. System for acceleration of web page delivery
US8893207B2 (en) * 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US20040176143A1 (en) * 2003-02-07 2004-09-09 Willins Bruce A. System and method for wireless collection and presentation of data
KR20050025083A (ko) 2003-09-03 2005-03-11 휴먼센스 주식회사 영상저장매체 착탈 가능한 두부장착 디스플레이 장치
DE102004062492A1 (de) * 2004-12-24 2006-07-13 Daimlerchrysler Ag Verfahren zum Betrieb einer Brennkraftmaschine mit einem Abgasturbolader und einer Nutzturbine
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US8275397B2 (en) * 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
US8696113B2 (en) * 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8355452B2 (en) * 2006-02-27 2013-01-15 Sharp Laboratories Of America, Inc. Selective frame dropping for initial buffer delay reduction
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
CA2667315A1 (en) * 2006-11-03 2008-05-15 University Of Georgia Research Foundation Interfacing with virtual reality
US20080139301A1 (en) * 2006-12-11 2008-06-12 Ole-Ivar Holthe System and method for sharing gaming experiences
JP2008209653A (ja) * 2007-02-26 2008-09-11 Brother Ind Ltd 光走査装置、網膜走査型表示装置及び光走査装置の製造方法
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
JP2008310130A (ja) * 2007-06-15 2008-12-25 Konica Minolta Holdings Inc 制御ユニットおよびヘッドマウントディスプレイ
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
TW201018132A (en) * 2008-10-23 2010-05-01 Asustek Comp Inc Power saving control method for wireless LAN
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
TWI392485B (zh) * 2009-12-03 2013-04-11 Univ Nat Yang Ming 一種具立體視覺之頭盔式弱視輔具裝置及系統
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9235492B2 (en) * 2010-03-05 2016-01-12 Nec Corporation Control policy adjusting apparatus, method of adjusting control policy, and program
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
WO2011129907A1 (en) 2010-04-13 2011-10-20 Sony Computer Entertainment America Llc Calibration of portable devices in a shared virtual space
US8842170B2 (en) * 2010-06-01 2014-09-23 Intel Corporation Method and apparaus for making intelligent use of active space in frame packing format
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
IL208600A (en) 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101482025B1 (ko) 2011-02-25 2015-01-13 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 프리젠테이션
US20120224070A1 (en) * 2011-03-04 2012-09-06 ZionEyez, LLC Eyeglasses with Integrated Camera for Video Streaming
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8581084B2 (en) * 2011-07-10 2013-11-12 Iman Pouyania Tempo counter device
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP2013044913A (ja) * 2011-08-24 2013-03-04 Sony Corp 表示装置及び表示制御方法
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9498720B2 (en) * 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
RU2017115669A (ru) * 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9042266B2 (en) * 2011-12-21 2015-05-26 Kik Interactive, Inc. Methods and apparatus for initializing a network connection for an output device
US8970960B2 (en) * 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US20150170418A1 (en) 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
JP6021366B2 (ja) * 2012-03-12 2016-11-09 キヤノン株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム。
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
US9910488B2 (en) * 2012-04-23 2018-03-06 Japan Science And Technology Agency Motion guide presentation method and system therefor, and motion guide presentation device
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US8854452B1 (en) * 2012-05-16 2014-10-07 Google Inc. Functionality of a multi-state button of a computing device
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
KR20140025930A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US8744418B2 (en) * 2012-08-31 2014-06-03 Analog Devices, Inc. Environment detection for mobile devices
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140152676A1 (en) * 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140172640A1 (en) * 2012-12-19 2014-06-19 Wal-Mart Stores, Inc. Augmented reality shopping game
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9374369B2 (en) * 2012-12-28 2016-06-21 Lookout, Inc. Multi-factor authentication and comprehensive login system for client-server networks
KR20140088354A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 무선 액세스 포인트 접속 운용 방법 및 이를 지원하는 단말기
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US8976197B1 (en) * 2013-02-21 2015-03-10 Hurricane Electric LLC Solution generating devices and methods
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
EP2811460A3 (en) * 2013-06-04 2015-11-11 Technion Research & Development Foundation Limited Creating a synthetic model with organic veracity
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US10371944B2 (en) * 2014-07-22 2019-08-06 Sony Interactive Entertainment Inc. Virtual reality headset with see-through mode
CN105721517A (zh) * 2014-12-02 2016-06-29 速位互动系统有限公司 一种由智能手机来控制的照相机与其控制系统
US9898091B2 (en) * 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US10244211B2 (en) * 2016-02-29 2019-03-26 Microsoft Technology Licensing, Llc Immersive interactive telepresence
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치

Also Published As

Publication number Publication date
US20140364208A1 (en) 2014-12-11
EP3872618B1 (en) 2022-11-16
CN104225915B (zh) 2021-01-15
EP4142254A1 (en) 2023-03-01
EP3005073A1 (en) 2016-04-13
EP4142254B1 (en) 2024-04-24
JP2016533659A (ja) 2016-10-27
US20210129012A1 (en) 2021-05-06
BR112015030576B1 (pt) 2022-08-23
JP2018129054A (ja) 2018-08-16
WO2014197229A1 (en) 2014-12-11
RU2628665C2 (ru) 2017-08-21
EP3872618A1 (en) 2021-09-01
EP3005073B1 (en) 2021-07-07
KR20190121407A (ko) 2019-10-25
BR112015030576A2 (pt) 2017-07-25
US10905943B2 (en) 2021-02-02
CN112742022A (zh) 2021-05-04
RU2015156224A (ru) 2017-07-18
KR102158004B1 (ko) 2020-09-21
JP6550158B2 (ja) 2019-07-24
US11697061B2 (en) 2023-07-11
KR20160018690A (ko) 2016-02-17
CN104225915A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
US11697061B2 (en) Systems and methods for reducing hops associated with a head mounted system
JP7073444B2 (ja) より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment
A107 Divisional application of patent