KR20210005603A - 인공 지능을 사용하는 음성 지원 시스템 - Google Patents
인공 지능을 사용하는 음성 지원 시스템 Download PDFInfo
- Publication number
- KR20210005603A KR20210005603A KR1020207030609A KR20207030609A KR20210005603A KR 20210005603 A KR20210005603 A KR 20210005603A KR 1020207030609 A KR1020207030609 A KR 1020207030609A KR 20207030609 A KR20207030609 A KR 20207030609A KR 20210005603 A KR20210005603 A KR 20210005603A
- Authority
- KR
- South Korea
- Prior art keywords
- game
- player
- response
- inquiry
- gaming
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/497—Partially or entirely replaying previous game actions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
Abstract
게이밍 지원을 위한 방법. 게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보가 네트워크를 통해 백-엔드 서버에서 수신된다. 상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의가 수신되며, 상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련된다. 상기 정보로부터 제1 플레이어의 제1 게임 플레이의 현재 게임 컨텍스트가 결정된다. 상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답이 생성된다. 상기 응답은 상기 제1 플레이어의 디바이스로 다시 전달된다.
Description
본 개시는 게이밍 애플리케이션들에 관한 것이다. 특히, 본 개시는 게이밍 애플리케이션과 관련된 사용자의 문의에 응답하여 게이밍 지원을 제공하기 위한 방법들 및 시스템들을 설명한다.
비디오 게임들은 프로세싱 능력이 높아짐에 따라, 더 복잡해지고 확장되고 있다. 그러나 복잡성이 증가함에 따라, 사용자들은 비디오 게임을 탐색 및/또는 완료하는 것이 점점 더 어려워질 수 있다. 예를 들어, 비디오 게임들은 더 확장될 수 있고 사용자들이 이용 가능한 수백만 및 심지어 수조 개의 이용 가능한 옵션을 포함할 수 있다. 그에 따라, 사용자는 그것들의 이용 가능한 옵션들 각각을 시도할 수도, 해당 옵션들 중 어떤 것이 사용 가능한지 이해할 수도 없다. 다른 경우들에는, 사용자가 탐색하거나 해결하는 것이 불가능해 보이는 비디오 게임 지점에 도달할 수 있다. 사용자들의 경우, 이는 사용자가 게임을 진행할 수 없거나 게임을 진행할 수 없기 때문에 점점 더 좌절감을 느끼고 결국 비디오 게임을 종료하는 경우 매우 자주 발생한다. 예를 들어, 비디오 게임의 게임 플레이에서 사용자는 게임 플레이를 진행시키기 위해 게임 세계의 다른 부분에 도달하기 위해 명백한 게이트웨이를 통과하려고 할 수 있다. 설명을 위해, 사용자는 게이트웨이 역할을 하는 폭포를 통과해야 할 수 있고 통과를 시도하는 데 이용 가능한 모든 옵션을 다 사용한 것으로 보인다. 그러나, 알려진 경우 솔루션이 이용 가능하고 간단하더라도(예를 들어, 안정된 바위를 집어 들고 폭포를 통과하는 경우), 어떤 이유로든 사용자는 진입을 위한 올바른 경로나 동작 시퀀스를 찾을 수 없다. 몇 시간의 헛된 시간이 지나면, 사용자는 진행할 방법을 찾을 수 없기 때문에 게임을 종료할 수 있다.
이러한 맥락에서 본 발명의 실시예들이 발생한다.
본 개시의 실시 예들은 게이밍 애플리케이션과 관련된 플레이어의 문의에 응답하여 게이밍 지원을 제공하는 것에 관한 것이며, 응답은 사용자의 게임 플레이를 디스플레이할 수 있거나 하지 않을 수 있는 플레이어의 디바이스에 제공되고, 응답은 사용자의 게임 플레이 동안 지원을 제공할 수 있으며, 응답은 사용자의 임의의 게임 플레이와 관계 없이 지원을 제공할 수 있다. 이하, 본 개시의 몇몇 혁신적인 실시 예를 설명한다.
일 실시예에서, 게이밍 지원을 제공하기 위한 방법이 개시된다. 상기 방법은 게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하는 단계를 포함한다. 상기 방법은 상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하는 단계로서, 상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련된, 상기 문의를 수신하는 단계를 포함한다. 상기 방법은 상기 정보로부터 상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계를 포함한다. 상기 방법은 상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하는 단계를 포함한다. 예를 들어, 응답은 현재 게임 컨텍스트를 고려하여 문의를 응답과 매칭하도록 구성된 딥 러닝 엔진에 의해 생성될 수 있다. 상기 방법은 상기 응답을 상기 제1 플레이어의 디바이스로 전송하는 단계를 포함한다.
다른 실시 예로, 게이밍 지원을 제공하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독 가능한 매체가 개시된다. 상기 컴퓨터 판독 가능한 매체는 게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하기 위한 프로그램 명령들을 포함한다. 상기 컴퓨터 판독 가능한 매체는 상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하기 위한 프로그램 명령들로서, 상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련되는, 상기 문의를 수신하기 위한 프로그램 명령들을 포함한다. 상기 컴퓨터 판독 가능한 매체는 상기 정보로부터 상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하기 위한 프로그램 명령들을 포함한다. 상기 컴퓨터 판독 가능한 매체는 상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하기 위한 프로그램 명령들을 포함한다. 예를 들어, 응답은 현재 게임 컨텍스트를 고려하여 문의를 응답과 매칭하도록 구성된 딥 러닝 엔진에 의해 생성될 수 있다. 상기 컴퓨터 판독 가능한 매체는 상기 응답을 상기 제1 플레이어의 디바이스로 전송하기 위한 프로그램 명령들을 포함한다.
또 다른 실시 예에서, 프로세서 및 상기 프로세서에 연결되는 메모리를 갖는 컴퓨터 시스템이 개시되며, 상기 메모리는 상기 컴퓨터 시스템에 의해 실행되는 경우 상기 컴퓨터 시스템이 게이밍 지원을 제공하기 위한 방법을 실행하게하는 명령들을 저장한다. 상기 방법은 게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하는 단계를 포함한다. 상기 방법은 상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하는 단계로서, 상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련된, 상기 문의를 수신하는 단계를 포함한다. 상기 방법은 상기 정보로부터 상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계를 포함한다. 상기 방법은 상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하는 단계를 포함한다. 예를 들어, 응답은 현재 게임 컨텍스트를 고려하여 문의를 응답과 매칭하도록 구성된 딥 러닝 엔진에 의해 생성될 수 있다. 상기 방법은 상기 응답을 상기 제1 플레이어의 디바이스로 전송하는 단계를 포함한다.
본 개시의 다른 양태들은 본 개시의 원리들을 예로서 도시하는 첨부 도면들과 함께 취해지는 이하의 구체적인 내용으로부터 분명해질 것이다.
본 개시는 첨부 도면들과 함께 취해지는 이하의 내용을 참조하여 가장 잘 이해될 수 있으며, 첨부 도면들에서:
도 1a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 1b는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 제어기에 의해 수신되는 구두의 문의를 요청하는 사용자에 응답하여 게이밍 지원을 제공하는 시스템을 도시한다.
도 1c는 본 개시의 일 실시 예에 따라, HMD로 VR 장면들을 보는 하나 이상의 사용자에 대한 단속적 움직임의 모델들을 구축하는데 사용되는 예시적인 뉴럴 네트워크를 도시한다.
도 2a는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 2b는 본 개시의 일 실시 예에 따라, 플레이어에 로컬로 실행되고 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 2c는 본 개시의 일 실시 예에 따라, 클라우드 게임 네트워크를 통해 실행되는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 3a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 사용자와 백-엔드 서버 간 데이터 흐름을 도시하는 데이터 흐름도를 도시한다.
도 3b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 및 게임 컨텍스트 데이터 및 글로벌 컨텍스트 데이터를 포함하는 정보의 주기적 수집을 도시한다.
도 3c는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하기 위한 방법의 단계들을 도시하는 흐름도이다.
도 3d는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하기 위한 방법의 단계들을 도시하는 흐름도이다.
도 3e는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하는 시스템 또는 방법에서 데이터의 흐름을 도시하는 데이터 흐름도이다.
도 4a는 본 개시의 일 실시 예에 따라, 로컬 게이밍 콘솔 또는 클라우드 게임 네트워크상에서 실행되는 게이밍 애플리케이션을 플레이하는 플레이어에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스의 홈 페이지 스크린을 도시한다.
도 4b는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스상의 빠른 검색 버튼의 선택 및 모바일 디바이스와 별개의 디스플레이상의 빠른 검색 버튼의 문의에 응답하여 제공되는 정보의 제시를 도시한다.
도 4c는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스와, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이를 제시하고 플레이어를 요청된 정보에 대해 모바일 디바이스로 안내하는 디스플레이 간 상호 작용을 도시한다.
도 4d는 본 개시의 일 실시 예에 따라, 현재 게이밍 애플리케이션을 플레이하고 있지 않지만, 지원을 위해 백-엔드 서버에 게이밍 애플리케이션과 관련된 문의를 제시하는 사용자에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스를 도시한다.
도 4e는 본 개시의 일 실시 예에 따라, 플레이어의 게임 플레이를 지원시 사용자에게 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스(11)를 도시한다.
도 5a 내지 도 5b는 본 개시의 일 실시 예에 따라, 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 6a 내지 도 6g는 본 개시의 일 실시 예에 따라, 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 탐색하도록 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 7은 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가에 연결하기 위한 옵션이 제시되는 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 플레이어의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 8a 내지 도 8g는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 자산을 획득하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 9a 내지 도 9c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 상대를 물리치기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 10a 내지 도 10d는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 개체 또는 위치를 찾기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 11a 내지 도 11b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 기본 의도 및 보조 의도, 이를테면 과업을 실현하기 위한 요구 사항(예를 들어, General Tullius를 만나는 것)을 갖는 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 12a 내지 도 12c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 과업을 실현하는 방법을 학습하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 13a 내지 도 13b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 게이밍 애플리케이션에 대한 어떤 것(예를 들어, 적 전투원)을 이해하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 14는 본 개시의 다양한 실시 예의 양태들을 수행하는 데 사용될 수 있는 예시적인 디바이스의 구성요소들을 도시한다.
도 15는 본 개시의 일 실시 예에 따라, 머리 착용 디스플레이의 구성요소들을 도시하는 도해가 도시되어 있다.
도 16은 본 발명의 다양한 실시 예에 따른, 게임 시스템의 블록도이다.
도 1a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 1b는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 제어기에 의해 수신되는 구두의 문의를 요청하는 사용자에 응답하여 게이밍 지원을 제공하는 시스템을 도시한다.
도 1c는 본 개시의 일 실시 예에 따라, HMD로 VR 장면들을 보는 하나 이상의 사용자에 대한 단속적 움직임의 모델들을 구축하는데 사용되는 예시적인 뉴럴 네트워크를 도시한다.
도 2a는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 2b는 본 개시의 일 실시 예에 따라, 플레이어에 로컬로 실행되고 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 2c는 본 개시의 일 실시 예에 따라, 클라우드 게임 네트워크를 통해 실행되는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템을 도시한다.
도 3a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 사용자와 백-엔드 서버 간 데이터 흐름을 도시하는 데이터 흐름도를 도시한다.
도 3b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 및 게임 컨텍스트 데이터 및 글로벌 컨텍스트 데이터를 포함하는 정보의 주기적 수집을 도시한다.
도 3c는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하기 위한 방법의 단계들을 도시하는 흐름도이다.
도 3d는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하기 위한 방법의 단계들을 도시하는 흐름도이다.
도 3e는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하는 시스템 또는 방법에서 데이터의 흐름을 도시하는 데이터 흐름도이다.
도 4a는 본 개시의 일 실시 예에 따라, 로컬 게이밍 콘솔 또는 클라우드 게임 네트워크상에서 실행되는 게이밍 애플리케이션을 플레이하는 플레이어에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스의 홈 페이지 스크린을 도시한다.
도 4b는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스상의 빠른 검색 버튼의 선택 및 모바일 디바이스와 별개의 디스플레이상의 빠른 검색 버튼의 문의에 응답하여 제공되는 정보의 제시를 도시한다.
도 4c는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스와, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이를 제시하고 플레이어를 요청된 정보에 대해 모바일 디바이스로 안내하는 디스플레이 간 상호 작용을 도시한다.
도 4d는 본 개시의 일 실시 예에 따라, 현재 게이밍 애플리케이션을 플레이하고 있지 않지만, 지원을 위해 백-엔드 서버에 게이밍 애플리케이션과 관련된 문의를 제시하는 사용자에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스를 도시한다.
도 4e는 본 개시의 일 실시 예에 따라, 플레이어의 게임 플레이를 지원시 사용자에게 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스(11)를 도시한다.
도 5a 내지 도 5b는 본 개시의 일 실시 예에 따라, 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 6a 내지 도 6g는 본 개시의 일 실시 예에 따라, 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 탐색하도록 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 7은 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가에 연결하기 위한 옵션이 제시되는 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 플레이어의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다.
도 8a 내지 도 8g는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 자산을 획득하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 9a 내지 도 9c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 상대를 물리치기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 10a 내지 도 10d는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 개체 또는 위치를 찾기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 11a 내지 도 11b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 기본 의도 및 보조 의도, 이를테면 과업을 실현하기 위한 요구 사항(예를 들어, General Tullius를 만나는 것)을 갖는 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 12a 내지 도 12c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 과업을 실현하는 방법을 학습하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 13a 내지 도 13b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 게이밍 애플리케이션에 대한 어떤 것(예를 들어, 적 전투원)을 이해하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다.
도 14는 본 개시의 다양한 실시 예의 양태들을 수행하는 데 사용될 수 있는 예시적인 디바이스의 구성요소들을 도시한다.
도 15는 본 개시의 일 실시 예에 따라, 머리 착용 디스플레이의 구성요소들을 도시하는 도해가 도시되어 있다.
도 16은 본 발명의 다양한 실시 예에 따른, 게임 시스템의 블록도이다.
이하의 구체적인 내용은 예시를 위해 많은 구체적인 세부 사항을 포함하지만, 해당 기술분야에서의 통상의 기술자는 이하의 세부 사항들에 대한 많은 변형 및 변경이 본 개시의 범위 내임을 이해할 것이다. 따라서, 후술될 본 개시의 양태들은 이 내용에 뒤따르는 청구범위에 대한 일반성의 어떠한 손실 없이, 그리고 청구범위에 어떠한 제한도 가하지 않고 제시된다.
일반적으로 말하면, 본 개시의 다양한 실시 예는 플레이어에 의한 게이밍 애플리케이션의 게임 플레이 동안 또는 관계 없이 게이밍 지원을 제공하는 시스템들 및 방법들을 설명한다. 예를 들어, 플레이어가 게이밍 어플리케이션의 일부에 갇혀 있을 때, 플레이어는 문의를 통해 백-엔드 게임 지원 서버에 도움을 요청할 수 있다. 문의는 오디오, 텍스트, 비디오 등을 포함하여, 임의의 포맷 또는 포맷들의 조합일 수 있다. 게임 지원 서버는 문의가 제시된 현재 게임 컨텍스트에 기초하여 문의를 모델링된 응답들과 매칭시키도록 구성된다. 매칭은 예를 들어, 게임 지원 서버 또는 인공 지능(AI)을 제공하여 딥 러닝을 포함하는 서드 파티에 의해 수행되는 딥 러닝 엔진에 의해 수행된다. 응답은 오디오, 텍스트, 비디오 등을 포함하여, 임의의 포맷 또는 포맷들의 조합으로 사용자에 제시될 수 있다. 이러한 방식으로, 플레이어의 게이밍 경험이 개선된다. 게이밍 애플리케이션의 게임 플레이 동안, 플레이어는 언제든 어떤 이유로든 문의를 생성할 수 있다. 플레이어는 캐릭터 정보, 전략 정보, 게이밍 애플리케이션의 전반적인 인기도와 같은 게이밍 애플리케이션의 일부 양태에 대한 더 많은 정보를 얻고, 클라우드 게이밍 서비스를 통해 친구들과 멀티 플레이어 포맷으로 플레이할 시간을 스케줄링하고, 동일한 게이밍 애플리케이션 또는 다른 게이밍 애플리케이션을 플레이하고 있는 소셜 네트워크 친구들에 대한 정보를 얻으며(예를 들어, 친구가 플레이 중인 게이밍 애플리케이션을 검색, 해당 게이밍 애플리케이션에 대한 정보를 획득, 해당 게임 애플리케이션에 대한 구매 정보를 획득하는 등), 플레이어가 게이밍 애플리케이션에서 진행하는 것을 방해하는 일부 장애물을 극복하는 방법에 대한 정보 등을 얻고 싶을 수 있다. 결과로서, 플레이어는 게이밍 애플리케이션에 대해 보다 몰입감 있는 경험을 할 수 있다. 즉, 게이밍 애플리케이션을 바로 플레이하는 것이 아니라, 말하자면, 플레이어가 게임 플레이와 동시에 제시되는 정보(예를 들어, 오디오, 텍스트, 비디오 등) 및/또는 게임 플레이 동안 플레이어에 심리적 및 정보 지원을 제공하도록 구성된 자동화된 게이밍 지원(예를 들어, 게이밍 버틀러/내비게이터)과 이어지는 대화게임 플레이를 향상시킬 수 있다. 또한, 게임 콘솔의 역할은 문의에 문의들에 응답할 목적으로 정보의 모델들을 구축할 보다 많고 풍부한 정보 세트를 제공하는 것과 관련하여 확장된다. 즉, 게이밍 애플리케이션 및/또는 플레이어에 대한 컨텍스트 정보를 결정하기 위해 플레이어의 게임 플레이 동안 게임 콘솔로부터 하위 레벨 운영 체제(OS) 정보가 전달될 수 있다. 즉, 사용되는 게임 플레이에 대한 정보뿐 아니라, 플레이와 관련된 정보도 하나 이상의 문의에 응답하기 위한 컨텍스트 정보를 채우는 데 사용된다. OS 레벨 정보에는 버튼 시퀀스들, 버튼 작동 속도, 플레이 속도, 플레이어가 플레이하고 있는 때, 플레이어가 얼마나 오래 플레이하고 있는지, 플레이어가 플레이하고 있는 게임들이 어느 것인지 등이 포함될 수 있다. 또한 게임 콘솔은 하나 이상의 디바이스에 게이밍 지원 기능을 분산할 수 있다. 예를 들어, 응답 모델링 및 응답 매칭에 대한 문의는 게이밍 콘솔 대신 백-엔드 게임 지원 서버에 의해 수행된다. 또한, 게이밍 콘솔은 게이밍 지원 서버에 의해 전달되는 응답을 플레이어에 제시하기 위해 하나 이상의 다른 디바이스에 분산할 수 있다. 예를 들어, 응답은 현재 게임 플레이와 동시에 디스플레이상에 제공될 수 있거나, 응답은 게임 플레이를 제시하는 디스플레이와 협력하여 또는 게임 플레이의 오디오와 관계 없이 응답을 제공하는 데 전용되는 별개의 스피커 세트(예를 들어, 독립형, 게이밍 제어기상에 위치하는 등)를 통해 작동하는 안내용 디바이스(예를 들어, 모바일 전화)에 제공될 수 있다. 이러한 방식으로, 오디오 믹싱이 없거나 비디오 믹싱이 없거나 최소화되므로, 게이밍 애플리케이션의 게임 플레이에 대한 간섭이 최소화된다.
다양한 실시 예에 대한 상기한 일반적인 이해와 함께, 이제 실시 예들의 예시적인 세부 사항들이 다양한 도면을 참조하여 설명될 것이다.
본 명세서에 걸쳐, "게이밍 애플리케이션"이라는 언급은 입력 명령들의 실행을 통해 지시되는 임의의 유형의 쌍방향 애플리케이션을 나타내는 것으로 의도된다. 단지 예시를 위해, 쌍방향 애플리케이션은 게이밍, 워드 프로세싱, 비디오 프로세싱, 비디오 게임 프로세싱 등을 위한 어플리케이션들을 포함한다. 또한, 비디오 게임 및 게이밍 어플리케이션이라는 용어들은 통용된다.
도 1a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스(100)상에서 또는 클라우드 게임 네트워크(명확성을 위해 도시되지 않음)를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어(5)의 게임 플레이 동안 게이밍 지원을 제공하는 시스템(100A)을 도시한다. 게이밍 지원은 이를테면 플레이어(5)가 게이밍 애플리케이션의 개체에 대한 정보를 요청하거나 게이밍 애플리케이션의 장애물을 극복하는 데 지원을 요청할 때, 게임 플레이와 관련하여 제공될 수 있다. 다른 실시 예들에서, 게이밍 지원은 이를테면 플레이어가 어떠한 게임 플레이도 수반하지 않는 환경(예를 들어, 직장, 택시 탑승, 대중 교통 탑승 등)에 있으나 게이밍 애플리케이션 또는 일반적으로 게이밍 환경에 대한 문의들을 하는 데 관심이 있는 때, 게임 플레이와 관계 없이 제공될 수 있다.
특히, 도 1a에 도시된 바와 같이, 게이밍 애플리케이션은 플레이어(5)의 클라이언트 디바이스(100)에서 로컬로 실행될 수도 있고, 클라우드 게임 네트워크 또는 게임 클라우드 시스템의 백-엔드 게임 서버(도시되지 않음)에서 작동하는 백-엔드 게임 실행 엔진에서 실행될 수도 있다.
또한, 클라이언트 디바이스(100)는 시스템(100A)의 백-엔드에서 게임 지원 서버(140)에 대한 프론트 엔드로서 작용한다. 특히, 클라이언트 디바이스(100)는 후술될 바와 같이, 플레이어(5)로부터 문의들을 수신하고 백-엔드 게임 지원 서버(140)와 협력하여 플레이어(5)에 그러한 문의들에 대한 응답들을 전달하도록 구성된 클라이언트 게임 지원 모듈(120)을 포함한다. 클라이언트 디바이스(100)의 사용자 인터페이스(110)는 문의들(예를 들어, 텍스트)을 수신하고 응답들(예를 들어, 오디오, 비디오 등)을 제시함으로써 클라이언트 게임 지원 모듈(120)을 지원한다.
또한, 게임 지원 모듈(120)은 클라이언트 자동 음성 인식(ASR, automatic speech recognition) 엔진(125)과 협력하여 임의적으로 문의들을 제1 포맷에서 제 2포맷으로 변환한다. 예를 들어, 문의는 플레이어(5)로부터 오디오의 형태로 올 수 있고, ASR 엔진(125)은 오디오 문의를 다운스트림 디바이스가 핸들링(예를 들어, 분석, 전송 등)하기에 더 적합한 텍스트 포맷으로 변환하도록 구성된다. ASR 엔진(125)은 또한 텍스트로 수신된 응답이 오디오로 브로드캐스팅되도록, 텍스트를 오디오로 변환하도록 구성될 수 있다.
클라이언트 디바이스(100)는 인터넷과 같은 네트워크(150)를 통해 게이밍 애플리케이션에의 액세스를 요청하도록, 그리고 게임 실행 엔진(111) 또는 백-엔드 게임 서버(205)(도 2 참조)에 의해 실행되는 비디오 게임들 또는 게이밍 애플리케이션들의 인스턴스들을 렌더링하고 렌더링된 인스턴스들(예를 들어, 오디오 및 비디오)을 플레이어(5)와 연관된 디스플레이 디바이스(12) 및/또는 머리 착용 디스플레이(HMD)(102)에 전달하도록 구성된다. 예를 들어, 플레이어(5)는 클라이언트 디바이스(100)를 통해 클라우드 게이밍 게임 프로세서(201)상에서 실행되는 게이밍 애플리케이션의 인스턴스와 상호 작용할 수 있다. 도시된 바와 같이, 게임 실행 엔진(111)은 전술된 바와 같이, 게이밍 애플리케이션의 로컬 실행을 위해 구성된다. 클라이언트 디바이스(100)는 게임 제어기들(6), 태블릿 컴퓨터들(11), 키보드들과 같은 다양한 유형의 입력 디바이스로부터 입력, 및 비디오 카메라들, 마우스들, 터치 패드들 등에 의해 캡처되는 제스처들을 수신할 수 있다. 클라이언트 디바이스(100)는 적어도 메모리 및 네트워크(150)를 통해 게임 서버(205)에 연결할 수 있는 프로세서 모듈을 갖는 임의의 유형의 컴퓨팅 디바이스일 수 있다. 클라이언트 디바이스(100)의 일부 예는 개인용 컴퓨터(PC), 게임 콘솔, 홈 씨어터 디바이스, 범용 컴퓨터, 모바일 컴퓨팅 디바이스, 태블릿, 전화 또는 비디오 게임의 인스턴스를 실행하기 위해 게임 서버(205)와 상호 작용할 수 있는 임의의 다른 유형들의 컴퓨팅 디바이스들을 포함한다. 실시 예들에서, HMD(102)는 클라이언트 디바이스(100)의 기능들을 수행하도록 구성될 수 있다.
클라이언트 디바이스(100)는 플레이어(5)와의 인터페이스 역할을 하는 로컬 문의 에이전트(115)와 상호 작용할 수 있다. 예를 들어, 문의 에이전트(115)는 플레이어(5)로부터 오디오를 수신 및/또는 레코딩하도록 구성된 마이크로폰(131)을 포함한다. 그러한 방식으로, 플레이어(5)에 의해 제시된 구두 문의(181)는 문의 에이전트(115)를 통해 시스템(100A)으로 입력될 수 있다. 일 실시 예에서, 문의 에이전트(115)는 변환 없이 동일한 포맷으로 문의(182)를 클라이언트 디바이스(100)의 클라이언트 게임 지원 모듈(120)에 전달한다. 다른 실시 예에서, 클라이언트 디바이스(100)는 또한 ASR 엔진(141C)을 포함하여 문의를 제1 포맷에서 제2 포맷으로(예를 들어, 오디오에서 텍스트로, 텍스트에서 오디오로 등) 변환한 다음, 문의(182)를 제2 포맷으로 클라이언트 게임 지원 모듈(120)에 전달한다.
다른 실시 예들에서, 문의(181)는 다른 통신 경로를 통해 제시될 수 있다. 예를 들어, 문의는 텍스트 또는 비디오의 형태일 수 있고, 모바일 디바이스(11) 또는 디스플레이(12)를 통해(예를 들어, 키보드 등을 통해) 또는 HMD(102)의 인터페이스를 통해 수신될 수 있다. 문의(181)는 (예를 들어, 모바일 디바이스(11)로부터) 직접, 또는 사용자 인터페이스(110)를 통해 클라이언트 디바이스에 전달될 수 있다. 다른 실시 예에서, 문의(181 ')는 모바일 디바이스(11)(또는 다른 유형의 디바이스)로부터 직접 네트워크(150)를 통해 게임 지원 서버(140)에 전달된다. 유사하게, 응답(195')은 다시 모바일 디바이스 또는 임의의 기타 디바이스로 직접 전달된다.
특정 포맷(예를 들어, 제1 또는 제2, 텍스트 또는 오디오, 포맷)의 문의(181)는 클라이언트 게임 지원 모듈(120)로부터 네트워크(150)를 통해 문의에 응답하여 플에이어(5)에 게이밍 지원을 제공하도록 구성된 백-엔드 게임 지원 서버(100A)로 전달된다. 게임 지원 서버(140)는 임의적으로 문의(181)를 하나의 포맷에서 다른 포맷으로 변환하도록 구성되는 ASR 엔진(141B)을 포함한다. 예를 들어, ASR 엔진(141B)은 문의를 오디오에서 텍스트로 변환(예를 들어, 딥 러닝 엔진을 사용하여 음성 인식을 수행)하거나, 그 반대로 변환할 수 있다. 변환은 게임 지원 서버(140)를 포함하여 플레이어(5)의 문의(181)에 의해 취해진 경로를 따라, 또는 게임 지원 서버(140)로부터의 다운스트림의 임의의 지점에서 발생할 수 있다는 점에 유의하는 것이 중요하다. 일부 실시 예에서, ASR 엔진은 상당량의 자원(예를 들어, 딥 러닝 엔진 포함)을 요구할 수 있기 때문에, ASR 엔진은 게임 지원 서버(140) 또는 ASR을 수행하는 다른 서드 파티 서버에 위치될 수 있다.
또한, 게임 지원 서버(140)는 문의(181)와 관련하여 적어도 게이밍 컨텍스트를 제공하도록 구성되는 예비 컨텍스트 분석기(145)를 포함한다. 게임 컨텍스트 데이터(하위 레벨 OS 컨텍스트 데이터 포함) 및 글로벌 컨텍스트 데이터(예를 들어, 사용자 프로필 관련 정보)를 포함하는 컨텍스트 데이터(184)는 클라이언트 디바이스(100)(예를 들어, 게임 실행 엔진(111)에 의해 부분적으로 생성됨)로부터 게임 지원 서버(140)로 전달된다. 예비 컨텍스트 분석기(145)는 문의(181)와 연관되는 현재 컨텍스트(187)(예를 들어, 현재 게임 컨텍스트)를 결정할 수 있다. 예를 들어, 예비 컨텍스트 분석기(145)는 문의(181)가 제1 게이밍 애플리케이션과 관련하여 제시되는 것으로 결정할 수 있다. 플레이어가 게임 플레이에 참여한 장면 또는 레벨과 같은 추가 컨텍스트가 결정될 수 있다. 그러한 방식으로, 문의에는 응답이 매칭되거나 생성될 수 있는 일부 컨텍스트가 제공된다. 예를 들어, 제1 게이밍 애플리케이션과 제2 게이밍 애플리케이션은 일반적으로 동일한 장애물(예를 들어, 산의 벽을 오르는)을 가질 수 있고, 추가 컨텍스트가 없는 일반 문의(이러한 벽을 오르는 방법)는 잘못된 게이밍 애플리케이션에 대한 것으로 부정확한 응답을 반환할 수 있다. 그러나, 적절한 현재 컨텍스트(187)와 함께인 문의는 적절한 응답을 반환할 것이다.
일 실시 예에서, 응답(195)은 ASR 엔진(141A), 자연어 처리(NLP) 엔진(142) 및 기계 또는 딥 러닝 엔진(190)을 포함하는 서드 파티 인공 지능(AI) 프로세서(160)에 의해 생성된다. 특히, 문의(181) 및 현재 컨텍스트(187)는 게임 지원 서버(140)로부터 AI 프로세서(160)로 전달된다. 문의(181)가 AI 프로세서(141A)에 의해 처리하기에 적절한 포맷으로 변환되지 않았다면, ASR 엔진(141A)은 음성 인식 기술들을 사용하는 것과 같은 적절한 변환(예를 들어, 오디오/음성을 텍스트로 등)을 수행할 수 있게 된다. 다른 실시 예에서, 응답(195)은 NLP 엔진 및 딥 러닝 엔진을 또한 포함하는 게임 지원 서버(140)에 의해 생성된다.
또한, 문의(181)가 적절한 포맷(예를 들어, 텍스트)으로 변환되었다면, NLP 엔진(142)은 문의의 특성을 해석하거나 플레이어(5)에 의해 요청된 것(예를 들어, 문의 내용)을 이해하도록 구성된다. 예를 들어, NLP 엔진은 딥 러닝 엔진을 사용하여 텍스트 포맷의 문의를 분석하여 문의의 의미를 결정할 수 있다. 그러한 방식으로, 해석된 문의에 대한 적합한 응답이 아래에서 설명될 바와 같이, AI 프로세서(160)에 의해 주어진 현재 컨텍스트(187)에 대해 매칭되거나 생성될 수 있다.
특히, 플레이어(5)뿐 아니라 게이밍 애플리케이션을 플레이하는 다른 플레이어들로부터 수집된 컨텍스트 정보에 기초하여, 플레이어(5)에는 주어진 현재 컨텍스트(187)에 대한 문의(181)에 직접 응답하는 사전 생성된 응답(195)을 제시될 수 있다. 사전 생성된 응답(195)은 이러한 특정 문의(181)에 대한 모델링된 응답이거나, 딥 러닝 엔진(190)에 의해 학습된 유사한 문의들에 대한 응답일 수 있다. 이와 같이, 딥 러닝 엔진(190)은 문의(181)를 적절한 모델링된 응답(195)에 매칭하도록 구성된다. 특히, 딥 러닝 엔진(190)은 문의에 대한 응답을 제공하기 위해 해석된 문의를 응답들 또는 문의들/응답들의 모델들과 매칭하도록 구성된다. 일 실시 예에서, 어떠한 응답(예를 들어, 텍스트, 오디오, 비디오 등)도 문의와 매칭되지 않을 때, 하나 이상의 가장 근접한 매칭 모델에 기초하여 새로운 응답이 생성될 수 있다.
이와 같이, 딥 러닝 엔진(190)은 응답(195)을 다시 게임 지원 서버(140)로 반환한다. 응답(195)은 적합한 포맷을 가질 수 있다. 예를 들어, 응답(195)은 텍스트와 같은 제1 포맷을 가질 수 있다. 플레이어(5)로 다시 전달되는 동안의 어떤 지점에서, 응답(195)은 플레이어(5)에 적합한 포맷으로 변환될 수 있다. 일 구현에서, 응답(195)은 어떤 지점에서(예를 들어, AI 프로세서(141A)의 ASR 엔진(141A), 게임 지원 서버(140)의 ASR 엔진(141B), 클라이언트 디바이스(100)의 ASR 엔진(125), 또는 로컬 문의 에이전트(115)의 ASR 엔진(141C)에서) 텍스트에서 오디오로 변환된다. 그러한 방식으로, 로컬 문의 에이전트의 스피커(132)는 문의(195)를 플레이어(5)에 브로드캐스팅할 수 있다. 다른 구현에서, 응답(195)은 텍스트 형식으로 다시 클라이언트 디바이스(100)에 전달되고 플레이어(5)와 인터페이싱하는 적절한 디바이스, 이를테면 디스플레이(12), 모바일 디바이스(11), HMD(102) 등로 전달된다. 디스플레이를 통해 또는 다른 적절한 디바이스를 통해 비디오로 응답을 제시하는 것과 같은 또 다른 실시 예들도 지원된다.
도 1b는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 제어기에 의해 수신되는 구두의 문의를 요청하는 사용자에 응답하여 게이밍 지원을 제공하는 시스템(100B)을 도시한다. 시스템(100B)의 기능은 제어기(6)가 로컬 문의 에이전트로서 구성된다는 점을 제외하고는 도 1a의 시스템(100A)에 의해 수행되는 것과 동일하다. 특히, 클라이언트 디바이스(100)는 플레이어(5)와의 인터페이스 역할을 하는 제어기(6)와 상호 작용할 수 있다. 예를 들어, 제어기(6)는 플레이어(5)로부터 오디오를 수신 및/또는 레코딩하도록(문의(181)를 수신하도록) 구성된 마이크로폰(131')을 포함한다. 제어기(5)는 임의적으로 문의를 제1 포맷에서 제2 포맷으로(예를 들어, 오디오에서 텍스트로, 텍스트에서 오디오로 등) 변환하도록 구성된 ASR 엔진(141C')을 포함할 수 있다. 또한, 제어기(6)는 플레이어(5)의 이익을 위해 응답(195)을 브로드캐스팅하도록 구성된 스피커(132')를 포함한다.
도 1c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 컨텍스트 정보 및 대응하는 문의들에 기초하여 응답 모델들 및/또는 문의/응답 모델들을 구축하는 데 사용되는 예시적인 뉴럴 네트워크를 도시한다. 구체적으로, AI 프로세서(160)의 딥 러닝 또는 기계 학습 엔진(190)은 예를 들어, 컨텍스트 데이터, 문의들 및 기본 응답들과 관련된 정보를 수신하기 위한 입력으로서 구성된다. 딥 러닝 엔진(190)은 딥 러닝 알고리즘들, 강화 학습 또는 기타 인공 지능 기반 알고리즘들을 포함하는 인공 지능을 이용하여 응답 및/또는 문의/응답 모델들을 구축한다. 즉, 학습 및/또는 모델링 단계들 동안, 입력 데이터가 하나 이상의 문의에 응답하는 데 사용될 수 있는 응답 및/또는 문의/응답 모델들을 생성하기 위해 딥 러닝 엔진(190)에 의해 사용된다. 일부 실시 예에서, 딥 러닝 엔진(190)은 또한 ASR 및 NLP 처리를 위해 구성된다.
특히, 뉴럴 네트워크(190)는 대응하는 사용자의 응답들, 행동들, 거동, 요구들 및/또는 니즈를 결정하기 위해 데이터 세트드을 분석하기 위한 자동화된 분석 도구의 일례를 나타낸다. 상이한 유형들의 뉴럴 네트워크들(190)이 가능하다. 일례에서, 뉴럴 네트워크(190)는 딥 러닝을 지원한다. 그에 따라, 딥 뉴럴 네트워크, 컨볼루션 딥 뉴럴 네트워크 및/또는 감독 또는 비감독 훈련을 사용하는 순환 뉴럴 네트워크가 구현될 수 있다. 다른 예에서, 뉴럴 네트워크(190)는 강화 학습을 지원하는 딥 러닝 네트워크를 포함한다. 예를 들어, 뉴럴 네트워크(190)는 강화 학습 알고리즘을 지원하는 마르코프 결정 과정(MDP, Markov decision process)으로 설정된다.
일반적으로, 뉴럴 네트워크(190)는 인공 뉴럴 네트워크와 같은 상호 연결된 노드들의 네트워크를 나타낸다. 각 노드는 데이터로부터 일부 정보를 학습한다. 상호 연결들을 통해 노드들 간에 지식이 교환될 수 있다. 뉴럴 네트워크(190)에 대한 입력은 노드 세트를 활성화한다. 차례로. 이러한 노드 세트는 다른 노드들을 활성화함으로써, 입력에 대한 지식을 전파한다. 이러한 활성화 프로세스는 출력이 제공될 때까지 다른 노드들에 걸쳐 반복된다.
도시된 바와 같이, 뉴럴 네트워크(190)는 노드들의 계층을 포함한다. 최하위 계층 레벨에는, 입력층(191)이 존재한다. 입력층(191)은 입력 노드 세트를 포함한다. 예를 들어, 이러한 입력 노드들 각각은 대응하는 단속 운동을 겪고 있는 테스트 사용자/주체(예를 들어, 눈 방향 데이터)의 모니터링 동안 액추에이터들을 통해 능동적으로 또는 센서들에 의해 수동적으로 수집된 로컬 데이터(115)에 매핑된다.
최상위 계층 레벨에는, 출력층(193)이 존재한다. 출력층(193)은 출력 노드의세트를 포함한다. 출력 노드는 응답 정보(예를 들어, 주어진 컨텍스트 등에 대한)와 관련된 결정(예를 들어, 예측)을 나타낸다. 그에 따라, 출력 노드들은 문의를 대응하는 컨텍스트를 고려하여 특정 응답에 매칭할 수 있다.
이러한 결과들은 딥 러닝 엔진(190)에 의해 사용되는 파라미터들을 정제 및/또는 수정하여 적절한 응답 및/또는 문의/응답 모델들을 반복적으로 결정하기 위해 이전 상호 작용들 및 테스트 대상들의 모니터링으로부터 얻어지는 실제 및 미리 결정된 결과들을 비교할 수 있다. 즉, 뉴럴 네트워크(190)의 노드들은 파라미터들을 정제할 때 그러한 결정들을 하는 데 사용될 수 있는 모델들의 파라미터들을 학습한다. 그러한 방식으로, 주어진 문의는 이제까지 정제된 모델링된 응답들, 및 가능하게는 새로운 모델링된 응답과 연관될 수 있다.
특히, 입력층(191)과 출력층(193) 사이에는 은닉층(192)이 존재한다. 은닉층(192)은 "N"개의 은닉층을 포함하며, 여기서 "N"은 1보다 크거나 같은 정수이다. 차례로, 은닉층들 각각에는 또한 은닉 노드 세트가 포함된다. 입력 노드들은 은닉 노드들과 상호 연결된다. 마찬가지로, 은닉 노드들은 출력 노드들에 상호 연결되어, 입력 노드들은 출력 노드들에 직접 연결되지 않게 된다. 은닉층이 다수 존재하는 경우, 입력 노드들은 최하위 은닉층의 은닉 노드들과 상호 연결된다. 차례로, 이러한 은닉 노드들은 다음 은닉층의 은닉 노드들에 상호 연결되는 등이다. 차상위 은닉층의 은닉 노드들은 출력 노드들에 상호 연결된다. 상호 연결은 두 노드를 연결한다. 상호 연결들은 학습될 수 있는 수치 가중치를 가져, 뉴럴 네트워크(190)가 입력들에 적응하고 학습할 수 있게 만든다.
일반적으로, 은닉층(192)은 입력 노드들에 대한 지식이 출력 노드들에 대응하는 모든 작업간에 공유될 수 있게 한다. 그렇게 하기 위해, 일 구현에서, 변환 f가 은닉층(192)을 통해 입력 노드들에 적용된다. 일례에서, 변환 f는 비선형이다. 예를 들어, 선형 정류기 함수 f(x) = max(0, x)를 포함하여 상이한한 비선형 변환들 f가 이용 가능하다.
뉴럴 네트워크(190)는 또한 최적 해를 찾기 위해 비용 함수(cost function) c를 사용한다. 비용 함수는 주어진 입력 x에 대해 f(x)로 정의된 뉴럴 네트워크(190)에 의해 출력되는 예측과 실측 자료 또는 타겟 값 y(예를 들어, 예상 결과)간의 편차를 측정한다. 최적 해는 최적 해의 비용보다 비용이 낮은 해가 없는 상황을 나타낸다. 비용 함수의 일례는 그러한 지상 검증 자료 라벨들이 이용 가능한 데이터에 대한, 예측과 지상 검증 자료간의 평균 제곱 오차이다. 학습 프로세스 동안, 뉴럴 네트워크(190)는 비용 함수를 최소화하는 모델 파라미터들(예를 들어, 은닉층들(192)의 노드들간의 상호 연결들에 대한 가중치들)을 학습하는 데 상이한 최적화 방법들을 채용하기 위해 역-전파 알고리즘들을 사용할 수 있다. 그러한 최적화 방법의 일례는 확률적 경사 하강법(stochastic gradient descent)이다.
일례에서, 뉴럴 네트워크(190)에 대한 훈련 데이터 세트는 동일한 데이터 도메인에서 유래할 수 있다. 예를 들어, 뉴럴 네트워크(190)는 주어진 입력 세트 또는 입력 데이터에 기초하여 유사한 문의들의 패턴들 및/또는 특성들을 학습하도록 훈련된다. 예를 들어, 데이터 도메인에는 주어진 게이밍 컨텍스트에 대한 게이밍 애플리케이션의 특정 장면과 관련된 문의들이 포함된다. 다른 예에서, 훈련 데이터 세트는 상이한 데이터 도메인들에서 유래하여 기준선 이외의 입력 데이터를 포함한다. 이와 같이, 뉴럴 네트워크(190)는 다른 데이터 도메인들을 사용하여 문의를 인식할 수 있거나, 그러한 데이터 도메인들에 기초하여 주어진 문의에 대한 응답 모델을 생성하도록 구성될 수 있다.
도 2a는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템(10)을 도시한다. 예를 들어, 지원은 게임 플레이를 지원하도록 구성된 사용자 인터페이스를 통해(예를 들어, 안내용 디바이스 모바일 전화 - 또는 스피커, 제어기 스피커 등을 통해) 제공될 수 있다. 게이밍 애플리케이션은 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있다.
도 2a에 도시된 바와 같이, 게이밍 애플리케이션은 플레이어(5)의 클라이언트 디바이스(100)에서 로컬로 실행될 수도 있고, 클라우드 게임 네트워크 또는 게임 클라우드 시스템의 백-엔드 게임 서버(205)에서 작동하는 백-엔드 게임 실행 엔진(211)에서 실행될 수도 있다. 게임 실행 엔진(211)은 게임 서버(205)의 많은 게임 프로세서(201) 중 하나 내에서 작동할 수 있다. 어느 경우든, 클라우드 게임 네트워크는 문의들에 대한 응답들을 제공함으로써 플레이어에 게이밍 지원을 제공하도록 구성된다. 예를 들어, 게임 서버(205) 및/또는 게임 프로세서(201)는 전술한 바와 같이, 플레이어(5)에 게이밍 지원을 제공하도록 구성된 게임 지원 서버(140)를 포함할 수 있고, AI 프로세서(160’)를 포함할 수 있다. 일부 실시 예에서, AI는 서드 파티(예를 들어,도 1a 내지 도 1b의 AI 프로세서(160))에 의해 수행된다.
일 구현에서, 클라이언트 디바이스(100)의 사용자 인터페이스(110)는 플레이어가 사용자 인터페이스(110)를 통해 문의를 제시할 수 있고, 사용자 인터페이스(110)에 제공되는 응답과 상호 작용(예를 들어, 시청, 청취, 제시 등)할 수 있도록 게이밍 지원 제공을 지원할 수 있다. 다른 실시 예들에서, 사용자 인터페이스는 전술된 바와 같이, 상이한 디바이스, 이를테면 모바일 디바이스(예를 들어, 전화) 또는 스피커에 제공된다. 또한, 게이밍 애플리케이션은 싱글 플레이어 모드 또는 멀티 플레이어 모드로 실행될 수 있으며, 여기서 본 발명의 실시 예들은 작동 모드 양자에 멀티 플레이어 향상(예를 들어, 지원, 통신 등)을 제공한다.
일부 실시 예에서, 클라우드 게임 네트워크는 호스트 기계의 하이퍼바이저상에서 실행되는 복수의 가상 기계(VM, virtual machine)를 포함할 수 있으며, 하나 이상의 가상 기계는 싱글 플레이어 또는 멀티 플레이어 비디오 게임들을 지원하는 호스트의 하이퍼바이저가 이용 가능한 하드웨어 자원들을 이용하여 게임 프로세서 모듈(201)을 실행하도록 구성된다. 다른 실시 예들에서, 클라우드 게임 네트워크는 복수의 사용자를 지원하는 복수의 로컬 컴퓨팅 디바이스를 지원하도록 구성되며, 각 로컬 컴퓨팅 디바이스는 싱글 플레이어 또는 멀티 플레이어 비디오 게임에서와 같은 비디오 게임의 인스턴스를 실행할 수 있다. 예를 들어, 멀티 플레이어 모드에서, 비디오 게임이 로컬로 실행되는 동안, 클라우드 게임 네트워크는 동시에 각 로컬 컴퓨팅 디바이스로부터 정보(예를 들어, 게임 상태 데이터)를 수신하고 각 사용자가 멀티 플레이어 비디오 게임의 게이밍 환경에서 다른 사용자들과 상호 작용할 수 있도록(예를 들어, 비디오 게임의 대응하는 캐릭터를 통해) 그에 따라 그러한 정보를 로컬 컴퓨팅 디바이스들 중 하나 이상에 배포한다. 그러한 방식으로, 클라우드 게임 네트워크는 멀티 플레이어 게이밍 환경 내에서 사용자들 각각에 대한 게임 플레이들을 조정하고 조합한다.
도시된 바와 같이, 시스템(10)은 복수의 쌍방향 게이밍 애플리케이션에의 액세스를 제공하는 게임 프로세서 모듈(201)을 실행하는 게임 서버(205)를 포함한다. 게임 서버(205)는 전술된 바와 같이, 클라우드에서 이용 가능한 임의의 유형의 서버 컴퓨팅 디바이스일 수 있고, 하나 이상의 호스트상에서 실행되는 하나 이상의 가상 기계로서 구성될 수 있다. 예를 들어, 게임 서버(205)는 게임 프로세서(201)를 지원하는 가상 기계를 관리할 수 있다. 게임 서버(205)는 또한 사용자(5)에게 추가 서비스들 및/또는 콘텐츠를 제공하도록 구성된다. 예를 들어, 게임 서버(205)는 대응하는 게이밍 애플리케이션을 플레이하고 있거나 현재 플레이하고 있지 않지만 게이밍 애플리케이션과 관련된 정보에 관심이 있는 플레이어(5)에 게이밍 지원을 제공하도록 구성 가능하다. 지원은 문의에 대한 응답의 형태일 수 있다. 일부 실시 예에서, 주어진 문의에 매칭되는 응답이 없는 경우, 게임 서버는 실시간 지원을 제공하기 위해 통신 세션을 통해 게이밍 애플리케이션을 플레이하는 플레이어를 전문가와 연결하도록 구성될 수 있으며, 이때 게임 서버는 지원 요청을 수신하고, 이를테면 도움 세션 제어기(220)를 통해, 플레이어를 적절한 전문가와 매칭하며, 플레이어의 게임 플레이 동안 실시간으로 플레이어를 전문가와 연결하는 도움 세션을 수립하도록 구성된다.
클라이언트 디바이스(100)는 인터넷과 같은 네트워크(150)를 통해 게이밍 애플리케이션에의 액세스를 요청하도록, 그리고 게임 서버(205)에 의해 실행되고 사용자(5)와 연관된 디스플레이 디바이스(12) 및/또는 머리 착용 디스플레이(HMD)(102)에 전달되는 비디오 게임들 또는 게이밍 애플리케이션들의 인스턴스들을 렌더링하도록 구성된다. 예를 들어, 사용자(5)는 클라이언트 디바이스(100)를 통해 게임 프로세서(201)상에서 실행되는 게이밍 애플리케이션의 인스턴스와 상호 작용할 수 있다. 클라이언트 디바이스(100)는 또한 전술된 바와 같이, 게이밍 애플리케이션의 로컬 실행을 위해 구성된 게임 실행 엔진(111)을 포함할 수 있다. 클라이언트 디바이스(100)는 게임 제어기들(6), 태블릿 컴퓨터들(11), 키보드들과 같은 다양한 유형의 입력 디바이스로부터 입력, 및 비디오 카메라들, 마우스들, 터치 패드들 등에 의해 캡처되는 제스처들을 수신할 수 있다. 클라이언트 디바이스(100)는 적어도 메모리 및 네트워크(150)를 통해 게임 서버(205)에 연결할 수 있는 프로세서 모듈을 갖는 임의의 유형의 컴퓨팅 디바이스일 수 있다. 클라이언트 디바이스(100)의 일부 예는 개인용 컴퓨터(PC), 게임 콘솔, 홈 씨어터 디바이스, 범용 컴퓨터, 모바일 컴퓨팅 디바이스, 태블릿, 전화 또는 비디오 게임의 인스턴스를 실행하기 위해 게임 서버(205)와 상호 작용할 수 있는 임의의 다른 유형들의 컴퓨팅 디바이스들을 포함한다. 실시 예들에서, HMD(102)는 클라이언트 디바이스(100)의 기능들을 수행하도록 구성될 수 있다.
클라이언트 디바이스(100)는 렌더링된 이미지들을 수신하고, 렌더링된 이미지들을 디스플레이(12) 및/또는 HMD(102)상에 디스플레이하도록 구성된다. 예를 들어, 네트워크(150)를 통해 렌더링된 이미지들은 사용자(5)와 관련하여 게임 서버(205)의 게임 실행 엔진(211)상에서 실행되는 게이밍 애플리케이션의 인스턴스에 의해 전달될 수 있다. 다른 예에서는, 로컬 게임 프로세싱을 통해, 렌더링된 이미지들이 로컬 게임 실행 엔진(111)에 의해 전달될 수 있다. 어느 경우든, 클라이언트 디바이스(100)는 이를테면 게임 플레이를 구동하는 데 사용되는 입력 명령들을 통해, 사용자(5)의 게임 플레이와 관련하여 실행 엔진(211 또는 111)과 상호 작용하도록 구성된다.
또한, 클라이언트 디바이스(100)는 게이밍 애플리케이션을 플레이할 때 사용자(5)의 게임 플레이의 하나 이상의 게임 컨텍스트(예를 들어, 하위 레벨 OS 컨텍스트들), 및 글로벌 컨텍스트 정보를 캡처 및 저장하기 위해 게임 서버(205)와 상호 작용하도록 구성된다. 각 게임 컨텍스트는 게임 플레이와 관련된 정보(예를 들어, 게임 상태, 사용자 정보 등)를 포함하고, 하드웨어 동작들(예를 들어, 버튼 작동, 작동 속도, 게임 플레이 시간 등)과 관련된 하위 레벨 OS 정보를 포함할 수 있다. 보다 구체적으로, 게임 서버(205)의 게임 프로세서(201)는 게이밍 애플리케이션을 플레이할 때 사용자(5)의 게임 플레이의 게임 및/또는 OS 레벨 컨텍스트를 생성 및/또는 수신하도록 구성된다. 또한, 글로벌 컨텍스트 데이터가 또한 수집되고, 일반적으로 사용자 프로필 데이터(예를 들어, 플레이어가 게이밍 애플리케이션을 얼마나 오래 플레이하는지, 플레이어가 게이밍 애플리케이션을 마지막으로 재생한 때, 플레이어가 얼마만큼 자주 지원을 요청하는지, 플레이어가 다른 플레이어들과 비교하여 얼마나 숙련되었는지)와 관련된다. 다른 구현에서, OS 레벨 컨텍스드들 및 글로벌 컨텍스트들을 포함하는 게임 컨텍스트들이 클라이언트 디바이스(100)상의 로컬 게임 실행 엔진(111)에 의해 생성되고, 네트워크(150)를 통해 게임 프로세서(201)로 출력 및 전달될 수 있다. 또한, OS 레벨 컨텍스드들 및 글로벌 컨텍스트들을 포함하는 게임 컨텍스트들은 이를테면 게임 컨텍스트 생성기(222)를 통해, 클라우드 네트워크에서 게임 프로세서(201) 내 게임 실행 엔진(211)에 의해 생성될 수 있다. OS 레벨 컨텍스드들 및 글로벌 컨텍스트들을 포함하는 게임 컨텍스트들은 클라이언트 디바이스(100)상에 로컬로 저장되고/거나 게임 서버(205)의 컨텍스트 프로파일 데이터베이스(242)에 저장될 수 있다.
특히, 각 게임 컨텍스트는 게임 플레이와 관련된 메타 데이터 및/또는 정보를 포함한다. 게임 컨텍스트들은 레벨 중간과 같이 게이밍 애플리케이션의 플레이 진행의 다양한 지점에서 캡처될 수 있다. 예를 들어, 게임 컨텍스트들은 게이밍 애플리케이션 내에서 플레이어(예를 들어, 플레이어의 캐릭터)가 있었던 곳, 게이밍 애플리케이션 내에서 플레이어가 있는 곳, 플레이어가 수행했던 것, 누적된 플레이어 또는 캐릭터의 자산 및 스킬들, 플레이어에 제시되는 퀘스트들 또는 작업들, 게이밍 애플리케이션 내 플레이어가 갈 위치를 결정하는 데 도움이될 수 있다. 또한, 각 게임 컨텍스트의 메타 데이터 및 정보는 이를테면 문의를 응답과 매칭할 때, 플레이어의 게임 플레이(이때 게임 플레이는 문의와 관련된 특정 컨텍스트를 가짐)와 관련된 지원을 제공 및/또는 제공하기 위해 분석할 수 있고, 매칭되는 응답은 딥 러닝을 통해 결정됨에 따라, 문의에 답변하는 데 가장 적합하다. 구체적으로, 게임 컨텍스트들에 기초하여, 클라이언트 디바이스(100)는 게임 서버(205)와 상호 작용하여 플레이어의 게임 플레이 동안 또는 임의의 게임 플레이와 관계 없이 게이밍 지원을 제공하기 위해 문의들과 관련하여 응답들을 디스플레이할 수 있는 사용자 인터페이스를 디스플레이하도록 구성된다. 일부 실시 예에서, 응답은 별도의 디바이스(예를 들어, 스피커)를 통해 제공된다.
보다 구체적으로, 게임 컨텍스트는 또한 해당 지점에서 게임의 상태를 정의하는 게임 상태 데이터를 포함한다. 예를 들어, 게임 상태 데이터는 게임 캐릭터들, 게임 개체들, 게임 개체 속성들, 게임 속성들, 게임 개체 상태들, 그래픽 오버레이들, 플레이어(5)의 게임 플레이의 게임 세계 내 캐릭터의 위치, 게임 플레이의 장면 또는 게임 환경, 게이밍 애플리케이션의 레벨, 캐릭터의 자산(예를 들어, 무기, 도구, 폭탄 등), 캐릭터의 유형 또는 레이스(race)(예를 들어, 마법사, 군인 등), 현재 플레이어에 제시되는 퀘스트 및/또는 작업, 캐릭터의 무기, 스킬 세트, 게임 레벨, 캐릭터 속성들, 캐릭터 위치, 남은 생명 수, 이용 가능한 총 생명 수, 갑옷, 트로피, 시간 카운터 값들 및 기타 자산 정보 등을 포함할 수 있다. 그러한 방식으로, 게임 상태 데이터는 비디오 게임에서의 대응하는 지점에 존재했던 게이밍 환경의 생성을 가능하게 한다. 게임 상태 데이터는 또한 CPU, GPU, 메모리, 레지스터 값들, 프로그램 카운터 값, 프로그램 가능한 DMA 상태, DMA를 위해 버퍼링된 데이터, 오디오 칩 상태, CD-ROM 상태 등과 같은 게임 플레이를 렌더링하는 데 사용되는 모든 디바이스의 상태를 포함할 수 있다. 게임 상태 데이터에는 버튼 작동, 작동 속도, 어느 게이밍 애플리케이션이 플레이되었는지 그리고 기타 하드웨어 관련 데이터와 같은 하위 레벨 OS 데이터가 포함될 수 있다. 게임 상태 데이터는 게임 상태 데이터베이스(245)에 저장된다.
또한, 게임 컨텍스트는 플레이어와 관련된 사용자 및/또는 플레이어 정보를 포함할 수 있다. 일반적으로, 사용자/플레이어 저장 데이터는 대응하는 플레이어의 비디오 게임을 개인화하는 정보를 포함한다. 이는 플레이어의 캐릭터와 연관된 정보를 포함하여, 비디오 게임이 해당 플레이어에 고유할 수 있는 캐릭터(예를 들어, 형상, 레이스, 룩, 옷, 무기류 등)로 렌더링되게 된다. 그러한 방식으로, 사용자/플레이어 저장 데이터는 대응하는 대응하는 플레이어의 게임 플레이를 위한 캐릭터의 생성을 가능하게 하며, 이때 캐릭터는 게임 컨텍스트와 연관된 게이밍 애플리케이션에서의 지점에 대응하는 상태를 갖는다.
일 구현에서, 게임 컨텍스트는 대응하는 스냅 샷과 연관된 비디오 게임의 한 지점으로부터 시작되는 비디오 게임의 인스턴스의 실행을 가능하게하는 정보를 제공하는 스냅샷 정보와 관련된다. 플레이어의 게임 플레이 동안 캡처되고 저장되는 특정 스냅 샷에 대한 액세스를 통해 전술된 게임 컨텍스트와 관련된 게임 상태 및 가능한 사용자 정보와 같은 스냅 샷의 정보를 사용하여 게이밍 애플리케이션의 다른 인스턴스가 실행될 수 있다. 예를 들어, 다른 사용자가 스냅 샷과 연관된 게임 플레이의 평행 버전으로 점프할 수 있다. 스냅 샷들의 생성 및 사용에 대한 전체 논의는 "Method And System For Saving A Snapshot of Game Play And Used To Begin Later Execution Of The Game Play By Any User As Executed On A Game Cloud System"이라는 명칭의 미국 출원 일련 번호 15/411,421에 제공되며, 이는 그 전체가 참고로 통합된다.
일 실시 예에서, 스냅 샷은 해당 지점에서 렌더링되는 장면 스냅 샷 이미지를 포함한다. 스냅 샷 이미지는 스냅 샷 이미지 데이터베이스(246)에 저장된다. 스냅 샷 이미지는 타임 라인에 대한 썸네일 형태로 제시될 수 있으며, 이때 스냅 샷들은 타임 라인에 의해 표기되는 바와 같이 사용자에 의한 진행의 대응하는 지점들에서 사용자의 게임 플레이로 다양한 뷰를 제공한다. 스냅 샷 생성기(212)는 게임 플레이 동안 스냅 샷을 생성하도록 구성될 수 있다.
또 다른 실시 예들에서, 컨텍스트 데이터는 글로벌 컨텍스트 데이터를 포함한다. 예를 들어, 글로벌 컨텍스트 데이터는 플레이어의 스킬 또는 능력, 플레이어가 도움을 구하는 전반적인 준비도, 플레이어에 의한 최근 게이밍 애플리케이션 플레이, 게임을 플레이할 때 사용자(5)에 의해 선택된 게임 난이도 등을 포함할 수 있다. 사용자/플레이어 저장 데이터는 또한 예를 들어, 사용자(5)를 식별하는 사용자 프로필 데이터를 포함할 수 있다. 사용자/플레이어 저장 데이터는 데이터베이스(241) 또는 플레이어 프로필 데이터베이스(243)에 저장된다.
또한, 대응하는 플레이어와 관련된 정보를 포함하는 플레이어 프로필이 생성되어 프로필 데이터베이스(243)에 저장될 수 있다. 프로필 정보는 이름, 나이, 거주지, 계정 정보, 게임 컨텍스트로부터의 사용자 관련 정보(예를 들어, 데이터베이스(241)에 사용자 저장 데이터) 등을 포함할 수 있다. 플레이어/전문가 게임 프로필 생성기(221)는 플레이어 프로필을 생성하고 관리하도록 구성된다.
전술한 바와 같이, 게임 프로세서(201)는 플레이어에 게이밍 지원을 제공하도록 구성된 게임 지원 서버(140)를 포함할 수 있다. 특히, 게임 지원 서버(140)는 문의를 수신하고, 임의적으로 문의를 적절한 포맷으로 변환하며, 문의를 적절한 모델 응답에 매칭하기 위한 AI 엔진(예를 들어, ASR 엔진, NLP 엔진 및 딥 러닝 엔진 포함)에 문의를 전송한다. 예를 들어, 플레이어가 장애물을 통과하는(예를 들어, 벽을 오르는) 데 도움을 요청하면, 게임 지원 서버(140)는 전술한 바와 같이, 그것의 시스템 내에서 문의를 핸들링하거나(예를 들어, 로컬 AI 프로세서(160’)를 통해 로컬로) 핸들링을 위해 서드 파티 AI 프로세서(160)에 문의를 전송한다. 모델링된 응답이 매칭되면, 그 응답은 예를 들어 디스플레이 또는 스피커 등으로의 추가 배포를 위해 클라이언트 디바이스(100)로 다시 반환된다. 일부 실시 예에서, 게이밍 지원은 디스플레이 및 상호 작용을 위해 디바이스(11)(예를 들어, 태블릿)에 전달될 수 있으며, 이때 디바이스(11)는 사용자(5) 상호 작용을 게이밍 애플리케이션을 실행 및/또는 실행을 지원하도록 구성된 클라이언트 디바이스(100와 별개일 수 있다)(안내용 디바이스). 예를 들어, 게임 서버(205)와 클라이언트 디바이스(100) 간에 제1 통신 채널이 수립될 수 있고, 게이밍 지원을 전달하기 위해 게임 서버(205)와 디바이스(11) 간에 별개의 제2 통신 채널이 수립될 수 있다. 모델링된 응답들 및/또는 모델링된 문의들/응답들은 딥 러닝을 통해 생성됨에 따라, 데이터베이스(247)에 저장될 수 있다.
도 2b는 플레이어의 문의들(예를 들어, 텍스트, 오디오, 비디오 등)을 적절한 응답(예를 들어, 텍스트, 오디오, 비디오 등)과 매칭하도록 구성된 백-엔드 서버의 게임 지원 서버(140)를 사용하여 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 또는 게임 플레이 밖에서 플레이어에 게이밍 지원을 제공하는 시스템(206B)을 도시한다. 도 2b에 도시된 바와 같이, 게이밍 애플리케이션은 대응하는 플레이어에 로컬로 실행되고, 백-엔드 서버 지원(예를 들어, 게임 서버(205)를 통해 액세스 가능한)이 도움 세션의 수립 및 관리를 구현할 수 있다. 일 실시 예에서, 시스템(206B)은 전술한 바와 같이, 게임 클라우드 시스템(210)에서의 문의들에 대한 응답들을 제공함으로써 플레이어에 게이밍 지원을 제공하도록 도 2a의 시스템(10)과 함께 작동한다. 이제 도면들을 참조하여, 유사한 참조 부호들은 동일하거나 대응하는 부분들을 지정한다.
도 2b에 도시된 바와 같이, 복수의 플레이어(215)(예를 들어, 플레이어 5A, 플레이어 5B … 플레이어 5N)는 복수의 게이밍 애플리케이션을 플레이하고 있으며, 이때 게이밍 애플리케이션들 각각은 대응하는 사용자의 대응하는 클라이언트 디바이스(100)(예를 들어, 게임 콘솔)상에서 로컬로 실행된다. 시스템(206B)은 일정 시간 기간 동안과 같이, 하나 이상의 시점에 복수의 플레이어(215)에 의한 게임 플레이를 지원한다. 또한, 복수의 플레이어(215) 각각은 전술된 바와 같이, 게이밍 지원을 제공하는 정보를 수신하도록 구성된 이전에 소개된 디바이스(11) 또는 기타 디바이스(예를 들어, 스피커 )에 액세스할 수 있다. 클라이언트 디바이스들(100) 각각은 대응하는 게이밍 애플리케이션의 로컬 실행이 수행된다는 점에서 유사하게 구성될 수 있다. 예를 들어, 플레이어 5A는 대응하는 클라이언트 디바이스(100)상에서 제1 게이밍 애플리케이션을 플레이할 수 있으며, 이때 제1 게이밍 애플리케이션의 인스턴스가 대응하는 게임 타이틀 실행 엔진(111)에 의해 실행된다. 제1 게이밍 애플리케이션을 구현하는 게임 로직(126A)(예를 들어, 실행 가능한 코드)은 대응하는 클라이언트 디바이스(100)상에 저장되어, 제1 게이밍 애플리케이션을 실행하는 데 사용된다. 예시를 위해, 게임 로직은 포터블 매체(예를 들어, 플래시 드라이브, 콤팩트 디스크 등)를 통해 또는 네트워크를 통해(예를 들어, 게이밍 제공자로부터 인터넷(150)를 통해 다운로드됨) 대응하는 클라이언트 디바이스(100)로 전달될 수 있다. 또한, 플레이어 5B는 대응하는 클라이언트 디바이스(100)상에서 제2 게이밍 애플리케이션을 플레이할 수 있으며, 이때 제2 게이밍 애플리케이션의 인스턴스가 대응하는 게임 타이틀 실행 엔진(111)에 의해 실행된다. 제2 게이밍 애플리케이션은 플레이어(5A)에 대해 실행 중인 제1 게이밍 애플리케이션과 동일하거나 상이한 게이밍 애플리케이션일 수 있다. 제2 게이밍 애플리케이션을 구현하는 게임 로직(126B)(예를 들어, 실행 가능한 코드)은 전술된 바와 같이 대응하는 클라이언트 디바이스(100)상에 저장되어, 제2 게이밍 애플리케이션을 실행하는 데 사용된다. 또한, 플레이어 115N은 대응하는 클라이언트 디바이스(100)상에서 제N 게이밍 애플리케이션을 플레이할 수 있으며, 이때 제N 게이밍 애플리케이션의 인스턴스가 대응하는 게임 타이틀 실행 엔진(111)에 의해 실행된다. 제N 게이밍 애플리케이션은 제1 또는 제2 게이밍 애플리케이션과 동일할 수도 있고, 완전히 상이한 게이밍 애플리케이션일 수도 있다. 제N 게이밍 애플리케이션을 구현하는 게임 로직(126N)(예를 들어, 실행 가능한 코드)은 전술된 바와 같이 대응하는 클라이언트 디바이스(100)상에 저장되어, 제N 게이밍 애플리케이션을 실행하는 데 사용된다.
전술된 바와 같이, 각 클라이언트 디바이스(100)는 게임 제어기들, 태블릿 컴퓨터들, 키보드들과 같은 다양한 유형의 입력 디바이스로부터 입력, 및 비디오 카메라들, 마우스들, 터치 패드들 등에 의해 캡처되는 제스처들을 수신할 수 있다. 클라이언트 디바이스(100)는 적어도 메모리 및 네트워크(150)를 통해 게임 서버(205)에 연결할 수 있는 프로세서 모듈을 갖는 임의의 유형의 컴퓨팅 디바이스일 수 있다. 또한, 대응하는 플레이어의 클라이언트 디바이스(100)는 로컬에서 실행되는 게임 타이틀 실행 엔진(111)에 의해 실행되는 렌더링된 이미지들을 생성하도록, 그리고 디스플레이상에 렌더링된 이미지들을 디스플레이하도록 구성된다. 예를 들어, 렌더링된 이미지들은 플레이어 5A의 클라이언트 디바이스(100)상에서 실행되는 제1 게이밍 애플리케이션의 인스턴스와 연관될 수 있다. 예를 들어, 대응하는 클라이언트 디바이스(100)는 이를테면 게임 플레이를 구동하는 데 사용되는 입력 명령들을 통해, 대응하는 플레이어의 게임 플레이를 구현하기 위해 로컬로 또는 원격으로 실행되는 대응하는 게이밍 애플리케이션의 인스턴스와 상호 작용하도록 구성된다.
일 실시 예에서, 클라이언트 디바이스(100)는 게이밍 애플리케이션을 플레이하고 있는 대응하는 플레이어에 대해 싱글 플레이어 모드로 작동하고 있다.
다른 실시 예에서, 다수의 클라이언트 디바이스(100)는 각각 특정 게이밍 애플리케이션을 플레이하고 있는 대응하는 플레이어들에 대해 멀티 플레이어 모드로 작동하고 있다. 그 경우, 게임 서버를 통한 백-엔드 서버 지원은 이를테면 멀티 플레이어 프로세싱 엔진(119)을 통해, 멀티 플레이어 기능을 제공할 수 있다. 특히, 멀티 플레이어 프로세싱 엔진(119)은 특정 게이밍 애플리케이션에 대한 멀티 플레이어 게이밍 세션을 제어하도록 구성된다. 예를 들어, 멀티 플레이어 프로세싱 엔진(130)은 멀티 플레이어 게임 세션에 참여하는 사용자들 및/또는 플레이어들 각각과의 통신 세션을 수립하고 유지하도록 구성된 멀티 플레이어 세션 제어기(116)와 통신한다. 그러한 방식으로, 세션의 플레이어들은 멀티 플레이어 세션 제어기(116)에 의해 제어되는 대로 서로 통신할 수 있다.
또한, 멀티 플레이어 프로세싱 엔진(119)은 각 사용자의 대응하는 게임 환경들 내에서 사용자들 간의 상호 작용을 가능하게 하기 위해 멀티 플레이어 로직(118)과 통신한다. 특히, 상태 공유 모듈(117)은 멀티 플레이어 게임 세션에서 사용자들 각각에 대한 상태들을 관리하도록 구성된다. 예를 들어, 상태 데이터는 특정 지점에서 대응하는 사용자에 대한 (게이밍 애플리케이션의) 게임 플레이의 상태를 정의하는 게임 상태 데이터를 포함할 수 있다. 예를 들어, 게임 상태 데이터는 게임 캐릭터들, 게임 객체들, 게임 객체 속성들, 게임 속성들, 게임 객체 상태, 그래픽 오버레이들 등을 포함할 수 있다. 그러한 방식으로, 게임 상태 데이터는 게이밍 애플리케이션에서의 대응하는 지점에 존재하는 게이밍 환경의 생성을 가능하게 한다. 게임 상태 데이터는 또한 CPU, GPU, 메모리, 레지스터 값들, 프로그램 카운터 값, 프로그램 가능한 DMA 상태, DMA를 위해 버퍼링된 데이터, 오디오 칩 상태, CD-ROM 상태 등과 같은 게임 플레이를 렌더링하는 데 사용되는 모든 디바이스의 상태를 포함할 수 있다. 게임 상태 데이터는 또한 해당 지점으로부터 비디오 게임을 실행하기 위해 실행 코드의 어느 부분들이 로딩될 필요가 있는지를 식별할 수 있다. 게임 상태 데이터는 도 2a의 데이터베이스(240)에 저장될 수 있고, 상태 공유 모듈(117)에 의해 액세스 가능하다.
또한, 상태 데이터는 대응하는 플레이어의 비디오 게임을 개인화하는 정보를 포함하는 사용자 저장 데이터를 포함할 수 있다. 이는 사용자에 의해 플레이되는 캐릭터와 연관된 정보를 포함하여, 비디오 게임이 해당 사용자에 고유할 수 있는 캐릭터(예를 들어, 위치, 형상, 룩, 옷, 무기류 등)로 렌더링되게 된다. 그러한 방식으로, 사용자 저장 데이터는 대응하는 사용자의 게임 플레이를 위한 캐릭터의 생성을 가능하게 하며, 이때 캐릭터는 대응하는 사용자에 의해 현재 경험되는 게이밍 애플리케이션에서의 지점에 대응하는 상태를 갖는다. 예를 들어, 사용자 저장 데이터는 게임을 플레이할 때 대응하는 사용자에 의해 선택된 게임 난이도, 게임 레벨, 캐릭터 속성들, 캐릭터 위치, 남은 생명 수, 이용 가능한 총 생명 수, 갑옷, 트로피, 시간 카운터 값들 등을 포함할 수 있다. 사용자 저장 데이터는 또한 예를 들어, 대응하는 플레이어를 식별하는 사용자 프로필 데이터를 포함할 수 있다. 사용자 저장 데이터는 데이터베이스(240)에 저장될 수 있다.
그러한 방식으로, 상태 공유 데이터(117) 및 멀티 플레이어 로직(118)을 사용하는 멀티 플레이어 프로세싱 엔진(119)은 멀티 플레이어 게이밍 세션에 참여하는 사용자들의 게임 환경들 각각에 개체들 및 캐릭터들을 오버레이/삽입할 수 있다. 예를 들어, 제1 사용자의 캐릭터가 제2 사용자의 게이밍 환경에 오버레이/삽입된다. 이를 통해 각각의 게임 환경들(예를 들어, 스크린상에 디스플레이되는) 각각을 통해 멀티 플레이어 게임 세션에서 사용자들 간의 상호 작용이 가능하다.
게임 서버(205)를 통한 백-엔드 서버 지원은 본 개시의 일 실시 예에 따라, 후술될 바와 같이, 플레이어의 문의들에 매칭되는 응답들을 제공하는 것과 같이, 대응하는 플레이어의 게임 플레이를 지원하는 지원을 제공할 수 있다. 예를 들어, 게임 지원 서버(140)는 게임 서버(205)와 협력하여 게이밍 지원을 제공하도록 구성된다. 특히, 게임 지원 서버(140)는 전술된 바와 같이, 딥 러닝 엔진을 사용하여 문의들을 응답들과 매칭시키도록 AI 프로세서(160)와 함께 작동한다. 예를 들어, AI 프로세서(160)는 임의적으로 문의를 사용하기에 적합한 포맷으로 변환하도록 구성된 ASR 엔진(141A), 및 문의를 해석하도록 구성된 NLP 엔진을 포함한다. 또한, 딥 러닝 엔진(190)은 문의를 딥 러닝 엔진을 통해 이전에 학습되었던 모델링된 응답들과 매칭시키도록 구성된다.
도 2c는 본 개시의 일 실시 예에 따라, 클라우드 게임 네트워크를 통해 실행되는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 시스템(206C)을 도시한다. 도시된 바와 같이, 시스템(106C)은 본 개시의 일 실시 예에 따라, 클라우드 게임 네트워크를 통해 실행됨에 따라 게이밍 애플리케이션을 플레이하는 복수의 플레이어(215)(예를 들어, 플레이어들 5L, 5M … 5Z)에 게이밍 제어를 제공한다. 일부 실시 예에서, 클라우드 게임 네트워크는 호스트 기계의 하이퍼바이저상에서 실행되는 복수의 가상 기계(VM)(하나 이상의 가상 기계는 호스트의 하이퍼바이저가 이용 가능한 하드웨어 자원들을 이용하여 게임 프로세서 모듈을 실행하도록 구성됨)를 포함하는 게임 클라우드 시스템(210)일 수 있다. 일 실시 예에서, 시스템(206C)은 문의와 연관된 게이밍 지원을 제공하도록 도 2a의 시스템(10)과 함께 작동한다. 이제 도면들을 참조하여, 유사한 참조 부호들은 동일하거나 대응하는 부분들을 지정한다.
도시된 바와 같이, 게임 클라우드 시스템(210)은 복수의 쌍방향 비디오 게임 또는 게이밍 애플리케이션에의 액세스를 제공하는 게임 서버(205)를 포함한다. 게임 서버(205)는 클라우드에서 이용 가능한 임의의 유형의 서버 컴퓨팅 디바이스일 수 있고, 하나 이상의 호스트상에서 실행되는 하나 이상의 가상 기계로서 구성될 수 있다. 예를 들어, 게임 서버(205)는 사용자를 위해 게이밍 애플리케이션의 인스턴스를 인스턴스화하는 게임 프로세서를 지원하는 가상 기계를 관리할 수 있다. 그에 따라, 복수의 가상 기계와 연관된 게임 서버(205)의 복수의 게임 프로세서는 복수의 사용자(215)의 게임 플레이들과 연관된 게이밍 애플리케이션의 다수의 인스턴스를 실행하도록 구성된다. 그러한 방식으로, 백-엔드 서버 지원은 복수의 게이밍 애플리케이션의 게임 플레이들의 매체들(예를 들어, 비디오, 오디오 등)을 복수의 대응하는 사용자에게 스트리밍하는 것을 제공한다.
복수의 플레이어(215)는 네트워크(150)를 통해 게임 클라우드 시스템(210)에 액세스하며, 이때 플레이어들(예를 들어, 플레이어들 5L, 5M … 5Z)은 대응하는 클라이언트 디바이스들(100')을 통해 네트워크(150)에 액세스하며, 이때 클라이언트 디바이스(100')는 도1a 내지 도 1b 및 도2a 내지 도 2b 의 클라이언트 디바이스(100)(예를 들어, 게임 실행 엔진(111) 등을 포함)와 유사하게 구성될 수 있거나, 또는 계산 기능을 제공하는 백-엔드 서버(예를 들어, 게임 실행 엔진(211)을 포함)와의 인터페이스들을 제공하는 씬 클라이언트로서 구성될 수 있다. 또한, 복수의 플레이어(215) 각각은 전술된 바와 같이, 하나 이상의 문의에 답변하기 위한 게이밍 지원(예를 들어, 응답들)을 제시하도록 구성된 이전에 소개된 디바이스(11) 또는 임의의 기타 디바이스(예를 들어, 스피커 )에 액세스할 수 있다. 특히, 대응하는 플레이어 5L의 클라이언트 디바이스(100')는 인터넷과 같은 네트워크(150)를 통해 게이밍 애플리케이션들에의 액세스를 요청하고 게임 서버(205)에 의해 실행되고 대응하는 플레이어 5L과 관련된 디스플레이 디바이스로 전달되는 게이밍 애플리케이션의 인스턴스들(예를 들어, 비디오 게임)을 렌더링하도록 구성된다. 예를 들어, 플레이어 5L은 클라이언트 디바이스(100')를 통해 게임 서버(205)의 게임 프로세서상에서 실행되는 게이밍 애플리케이션의 인스턴스와 상호 작용할 수 있다. 보다 구체적으로, 게이밍 애플리케이션의 인스턴스는 게임 타이틀 실행 엔진(211)에 의해 실행된다. 게이밍 애플리케이션을 구현하는 게임 로직(예를 들어, 실행 가능한 코드)은 전술된 데이터 저장소(140)를 통해 저장되고 액세스 가능하며, 게이밍 애플리케이션을 실행하는 데 사용된다. 게임 타이틀 프로세싱 엔진(211)은 도시된 바와 같이, 복수의 게임 로직(177)을 사용하여 복수의 게이밍 애플리케이션을 지원할 수 있다.
전술된 바와 같이, 클라이언트 디바이스(100')는 게임 제어기들, 태블릿 컴퓨터들, 키보드들과 같은 다양한 유형의 입력 디바이스로부터 입력, 및 비디오 카메라들, 마우스들, 터치 패드들 등에 의해 캡처되는 제스처들을 수신할 수 있다. 클라이언트 디바이스(100')는 적어도 메모리 및 네트워크(150)를 통해 게임 서버(205)에 연결할 수 있는 프로세서 모듈을 갖는 임의의 유형의 컴퓨팅 디바이스일 수 있다. 또한, 대응하는 플레이어의 클라이언트 디바이스(100')는 로컬에서 실행되는 게임 타이틀 실행 엔진(211)에 의해 실행되는 렌더링된 이미지들을 생성하도록, 그리고 디스플레이상에 렌더링된 이미지들을 디스플레이하도록 구성된다. 예를 들어, 렌더링된 이미지들은 플레이어 5L의 클라이언트 디바이스(100')상에서 실행되는 제1 게이밍 애플리케이션의 인스턴스와 연관될 수 있다. 예를 들어, 대응하는 클라이언트 디바이스(100')는 이를테면 게임 플레이를 구동하는 데 사용되는 입력 명령들을 통해, 대응하는 플레이어의 게임 플레이를 구현하기 위해 로컬로 또는 원격으로 실행되는 대응하는 게이밍 애플리케이션의 인스턴스와 상호 작용하도록 구성된다.
다른 실시 예에서, 전술된 멀티 플레이어 프로세싱 엔진(119)은 게이밍 애플리케이션에 대한 멀티 플레이어 게이밍 세션을 제어하는 것을 제공한다. 특히, 멀티 플레이어 프로세싱 엔진(119)은 멀티 플레이어 세션을 관리할 때, 멀티 플레이어 세션 제어기(116)는 멀티 플레이어 세션에서의 사용자들 및/또는 플레이어들 각각과의 통신 세션들을 수립하고 유지하도록 구성된다. 그러한 방식으로, 세션의 플레이어들은 멀티 플레이어 세션 제어기(116)에 의해 제어되는 대로 서로 통신할 수 있다.
또한, 멀티 플레이어 프로세싱 엔진(119)은 각 플레이어의 대응하는 게이밍 환경들 내에서 플레이어들 간의 상호 작용을 가능하게 하기 위해 멀티 플레이어 로직(118)과 통신한다. 특히, 상태 공유 모듈(117)은 멀티 플레이어 게이밍 세션에서 플레이어들 각각에 대한 상태들을 관리하도록 구성된다. 예를 들어, 상태 데이터는 전술된 바와 같이, 특정 지점에서 대응하는 플레이어(115A)에 대한 (게이밍 애플리케이션의) 게임 플레이의 상태를 정의하는 게임 상태 데이터를 포함할 수 있다. 또한, 상태 데이터는 전술된 바와 같이, 대응하는 플레이어의 비디오 게임을 개인화하는 정보를 포함하는 사용자/플레이어 저장 데이터를 포함할 수 있다. 예를 들어, 상태 데이터는 사용자의 캐릭터와 연관된 정보를 포함하여, 비디오 게임이 해당 사용자에 고유할 수 있는 캐릭터(예를 들어, 형상, 룩, 옷, 무기류 등)로 렌더링되게 한다. 그러한 방식으로, 상태 공유 데이터(117) 및 멀티 플레이어 로직(118)을 사용하는 멀티 플레이어 프로세싱 엔진(119)은 멀티 플레이어 게이밍 세션에 참여하는 사용자들의 게임 환경들 각각에 개체들 및 캐릭터들을 오버레이/삽입할 수 있다. 이를 통해 각각의 게임 환경들(예를 들어, 스크린상에 디스플레이되는) 각각을 통해 멀티 플레이어 게임 세션에서 사용자들 간의 상호 작용이 가능하다.
또한, 게임 서버(205)를 통한 백-엔드 서버 지원은 본 개시의 일 실시 예에 따라, 후술될 바와 같이, 플레이어의 문의들에 매칭되는 응답들을 제공하는 것과 같이, 대응하는 플레이어의 게임 플레이를 지원하는 지원을 제공할 수 있다. 예를 들어, 게임 지원 서버(140)는 게임 서버(205)와 협력하여 게이밍 지원을 제공하도록 구성된다. 특히, 게임 지원 서버(140)는 전술된 바와 같이, 딥 러닝 엔진을 사용하여 문의들을 응답들과 매칭시키도록 AI 프로세서(160)와 함께 작동한다. 예를 들어, AI 프로세서(160)는 임의적으로 문의를 사용하기에 적합한 포맷으로 변환하도록 구성된 ASR 엔진(141A), 및 문의를 해석하도록 구성된 NLP 엔진을 포함한다. 또한, 딥 러닝 엔진(190)은 문의를 딥 러닝 엔진을 통해 이전에 학습되었던 모델링된 응답들과 매칭시키도록 구성된다.
도 3a는 본 개시의 일 실시 예에 따라, 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 게이밍 지원을 제공하는 사용자와 백-엔드 서버 간 데이터 흐름을 도시하는 데이터 흐름도를 도시한다.
도시된 바와 같이, 복수의 플레이어의 게임 플레이로부터 수집된 컨텍스트 정보(305)는 문의에 대해 새로 생성되거나 매칭된 응답을 제공하는 데 사용될 수 있다. 수집된 컨텍스트 정보(305)는 전술한 바와 같이, 게임 컨텍스트 데이터(315_ 및 글로벌 컨텍스트 데이터(310)를 포함할 수 있다. 컨텍스트 정보(305)는 문의(182)와 함께 게임 지원 서버(140)로 전달된다.
게임 컨텍스트 데이터(315)는 전술한 바와 같이 게임의 상태를 정의하는 게임 상태 데이터, 플레이어와 관련된 사용자/플레이어 정보 및 시스템 레벨 데이터(예를 들어, OS)와 같은 게임 플레이와 관련된 메타 데이터 및/또는 정보를 포함할 수 있다. 예를 들어, 게임 상태 데이터에는 비디오 게임 또는 게이밍 애플리케이션의 대응하는 지점에 존재한 게이밍 환경의 생성을 가능하게 하는 정보가 포함된다(예를 들어, 게임 개체들, 개체 속성들, 그래픽 오버레이들, 게임 캐릭터들, 장면/게이밍 환경, 게임 경로 정보, 비율 정보 - 암살 대 사망률 및 기타 - 캐릭터 정보의 위치, 정확성, 작업 실현 속도 등). 또한, 게임 컨텍스트 데이터에는 대응하는 플레이어에 대한 비디오 게임을 개인화하는 정보(예를 들어, 사용자 맞춤화를 위한 캐릭터 자산 - 형상, 레이스, 옷차림, 무기 등)가 포함된 사용자/플레이어 정보가 포함될 수 있다. 게임 컨텍스트 데이터에는 제어기 입력 데이터, 제어기 입력 작동 속도, 게임 입력이 작동된 횟수, 사용자에 의해 유도된 제어기의 모션들, 게임 콘솔이 사용된 횟수 및 목적 - 게이밍, 인터넷, 스트리밍 등 - 기타 게임 독립 행위들 등과 같은 시스템 레벨 데이터(예를 들어, OS 데이터)가 포함될 수 있다. 글로벌 컨텍스트 데이터(310)는 플레이어의 전반적인 게이밍 스킬, 게임 제어기 스킬 및 핸들링 특성들, 사용자가 게임을 플레이하는 빈도, 게이밍 콘솔에 의해 제공되는 게이밍 및/또는 기타 기능들을 위해 사용자가 콘솔을 시작하고 사용하는 빈도, 비디오 게임이 플레이된 일시, 대응하는 게임 플레이 지속 시간 등과 같은 사용자에 대한 사용자 프로필 데이터를 포함할 수 있다.
컨텍스트 데이터(305)는 모델링된 응답들을 생성하고 문의들을 대응하는 응답들에 매칭하기 위해 AI 엔진(160)에 의해 액세스 가능한 데이터베이스(340B)에 수집된다. 도시된 바와 같이, 데이터베이스(340B)는 사용자/플레이어들 각각에 대한 사용자 데이터 및 통계를 포함한다. 예를 들어, 데이터베이스(305B)는 게임들 1 … N 각각에 대한 사용자 1과 관련된 정보를 포함한다. 데이터베이스(205B)는 또한 다른 사용자들과 관련된 정보를 포함한다. 또한, 데이터베이스(205A)는 게이밍 애플리케이션들 1 … N 각각에 대한 모델링된 응답들을 포함한다.
지원을 요청하는 플레이어 및 동일한 게이밍 애플리케이션을 플레이하는 다른 플레이어들로부터 수집된 컨텍스트 정보(예를 들어, 게임 및 글로벌 컨텍스트 데이터)의 이력(317)에 기초하여, 이를테면 딥 러닝 과정을 통해, 게이밍 애플리케이션과 관련된 하나 이상의 문의 또는 기타 일반적인 게이밍 질문에 답변하는 모델링된 응답들이 생성될 수 있다. 특히, 각 게이밍 애플리케이션은 자체 모델링된 응답 세트를 갖는다. 그러한 방식으로, 포괄적인 문의(산의 벽을 오르는 방법)는 현재 컨텍스트 데이터(305A)를 고려하여 적절한 응답과 매칭될 수 있다. 예를 들어, 이제 문의는 장애물로 위장한 산에 벽을 갖는 상이한 게이밍 애플리케이션에 대한 응답 대신, 대응하는 게이밍 애플리케이션에 대한 응답에 매칭될 수 있다.
그 후, 문의(182)가 플레이어에 의해 제시 될 때, 사전 생성되거나 모델링된 응답(319)이 주어진 현재 컨텍스트 데이터(305A)에 대해 요청 플레이어에 제시될 수 있다. 일 실시 예에서, 게임 플레이는 일시 정지 인식 박스(320)에 표기된 바와 같이, 문의를 서비스하는 동안 일시 정지된다. 데이터 수집기는 현재 컨텍스트 데이터(305A) 및 문의(182)(예를 들어, 산의 벽을 오르는 방법)를 수집하고 그것을 게임 지원 서버(140)로 전달하도록 구성된다.
또한, 도움을 요청하는 플레이어에는 도움 요청에 바로 답변하는 새로 모델링된 응답(텍스트, 오디오, 비디오 등)이 제시될 수도 있다. 예를 들어, 요청 또는 문의는 사용자에 의해 제1 포맷(예를 들어, 텍스트, 오디오, 비디오 등)으로 제시될 수 있고 도움을 제공하는 서버에 의해 이해되는 포맷으로 변환된다. 일 구현에서, 문의는 오디오 포맷으로 제공되고 게임 지원 서버에 의해 이해될 수 있는 텍스트 포맷으로 변환된다(예를 들어, 음성 인식 기술들을 사용하여). 그 다음 포맷이 변경된 요청/문의는 해석되어 문의의 특성(예를 들어, 도움 문의의 내용)이 이해된다.
AI 엔진(160)에 의해 적용되는 인공 지능(AI)은 해석된 문의 및 현재 컨텍스트 데이터(305A)를 사전 생성된 콘텐츠(레코딩된 도움 세션, 텍스트 답변, 오디오 답변, 비디오 답변 등)에 매칭시키는 데 사용될 수 있다. AI 엔진(160)은 문의에 대한 응답을 제공하기 위해 문의를 응답들 및/또는 문의들/응답들의 모델들에 매칭하는 데 사용되는 기계 학습 또는 딥 러닝 엔진(190)을 포함한다. 일 실시 예에서, 모델링된 응답은 텍스트, 오디오, 비디오 등과 같은 특정 포맷으로 제공된다. 또한, 다른 실시 예들에서, 사전 생성되거나 모델링된 응답은 다른 사용자와 전문가(요청에 제공된 동일하거나 관련된 도움 문의에 대한 지원을 제공하는)간 레코딩된 도움 세션(예를 들어, 오디오 및 비디오 레코딩)일 수 있다. 사전 생성된 응답은 동일하거나 관련된 도움 문의에 대해 다른 사용자에게 지원을 제공하기 위해 이전에 생성된 사전 생성된 응답(예를 들어, 텍스트, 오디오, 비디오 등)일 수 있다. 사전 생성된 응답이 이용 가능하지 않을 때, AI가 부분적으로 하나 이상의 가장 근접하게 매칭되는 모델에 기초하여, 문의에 대해 새로 모델링된 응답(예를 들어, 텍스트 답변, 오디오 답변, 비디오 답변 등)을 생성하는 데 사용될 수 있다.
또한, 사전 생성된 응답 또는 새로 생성된 응답이 이용 가능하지 않을 때, 본 개시의 실시 예들은 도움을 요청하는 사용자/플레이어에 실시간 지원(예를 들어, 전문가와의 라이브 도움 세션)을 제공한다.
도 3b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 및 게임 컨텍스트 데이터 및 글로벌 컨텍스트 데이터를 포함하는 컨텍스트 데이터의 주기적 수집을 도시한다. 컨텍스트 데이터는 전술한 바와 같이, 백-엔드 게임 지원 서버를 통해 구현되는 게임 플레이 동안 플레이어에 의해 제시되는 하나 이상의 문의에 대한 응답을 제공하기 위해 사용된다.
특히, 플레이어의 현재 세션은 게이밍 애플리케이션을 통해 게임 플레이 진행을 나타내는 타임 라인(350)에 보여진다. 타임 라인(350)은 세션의 시작 지점(301) 및 세션의 종료 지점(302)을 포함한다. 세션 동안 플레이어의 캐릭터에 의해 다양한 행위 및 과업이 수행된다.
또한, 타임 라인(350)에 표기된 바와 같이 세션 전반에 걸쳐 컨텍스트 데이터가 수집된다. 일 실시 예에서, 컨텍스트 데이터는 게임 플레이 동안 주기적으로 그리고/또는 중요한 순간들에 수집된다. 예를 들어, 글로벌 컨텍스트 데이터(310A-310N)는 타임 라인(350) 동안 다양한 지점에서 수집되며, 이때 글로벌 컨텍스트 데이터는 전술한 바와 같이 사용자에 대한 사용자 프로필 데이터 및 사용자와 연관된 기타 메트릭 데이터를 포함할 수 있다. 또한, 게임 컨텍스트 데이터(315A-315N)는 타임 라인(350) 동안 다양한 지점에서 수집되며, 이때 게임 컨텍스트 데이터(315A-315N)는 게임의 상태를 정의하는 게임 상태 데이터, 플레이어와 관련된 사용자/플레이어 정보 및 시스템 레벨 데이터(예를 들어, OS)와 같은 게임 플레이와 관련된 메타 데이터 및/또는 정보를 포함할 수 있다.
도 3b에 도시된 바와 같이, 플레이어는 게임 플레이 동안 순환 루프(370)를 겪고 있으며, 이때 플레이어는 게이밍 애플리케이션에서 특정 지점 또는 장애물(예를 들어, 미니 보스 또는 보스를 이김 등)을 지나쳐 진행할 수 없다. 예를 들어, 스크린 샷(360)에서 플레이어는 레벨 3이 끝날 때 보스를 이길 수 없으며, 이때 스크린 샷(360)은 SONY Interactive Entertainment이 출시한 게이밍 애플리케이션 - God of War에서 Kratos와 거대한 크기의 보스간의 상호 작용을 보여줄 수 있다. God of War 게이밍 애플리케이션에서, 크라토스는 그리스 신화의 Spartan 전사로, 전쟁의 신 Ares를 죽이는 임무를 맡는다. 여러 번 시도한 후, 플레이어는 "보스를 이길 수 있는 방법"을 묻는 문의(374)를 할 수 있으며, 이는 전술한 바와 같이 백-엔드 게임 지원 서버로 다시 전달된다. 문의(374)와 함께, 적용 가능한 컨텍스트 데이터가 또한 전달되어, 적어도 딥 러닝 엔진의 적용을 통해, 문의(374)를 적절한 응답(375)에 매칭시킬 목적으로 게임 지원 서버에 적어도 게임 컨텍스트가 제공된다.
예를 들어, 응답(375)은 보스를 이기는 열쇠가 "해머 타격 시퀀스"를 수행하는 것임을 나타낼 수 있다. 또한, 플레이어가 시퀀스를 이해하는 것을 돕기 위해, 응답(375)은 제어기 입력 시퀀스(예를 들어, 오른쪽 버튼, 왼쪽 버튼, A 버튼, A 버튼, O 버튼, X 버튼 등)를 포함할 수 있다. 응답은 오디오, 텍스트, 비디오 등과 같은 하나 이상의 포맷을 통해 제공될 수 있다. 일 구현에서, 제어기 입력 시퀀스는 해머 타격 시퀀스를 실행하는 방법을 시각적으로 보여주는 교육용 비디오를 통해 제공될 수 있다. 또한, 시퀀스에서 각각의 버튼들 또는 액추에이터들과 상호 작용하는 방법을 보여주는 고스트 핸즈가 제시될 수 있다.
플레이어가 응답(375)에 제공된 지침 및/또는 팁들을 따르고 보스를 이긴 후, 플레이어는 루프(370)에서 벗어나고, 게임 플레이 타임 라인(350)의 꼬리 섹션(371)에 표기된 바와 같이 게임 플레이를 진행할 수 있다. 예를 들어, 레벨 3이 끝날 때 보스를 이긴 후, 플레이어는 레벨 4로 진행할 수 있다.
이제 네트워크를 통해 통신하는 게임 지원 서버 및 클라이언트 디바이스의 다양한 모듈에 대한 상세한 설명과 함께, 이제 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션이 로컬 컴퓨팅 디바이스상에서 또는 클라우드 게임 네트워크를 통해 실행될 수 있는 대응하는 플레이어의 게임 플레이를 지원하는 게이밍 지원을 제공하기 위한 방법이 도 3c의 흐름도(300C)와 관련하여 설명된다. 흐름도(300C)는 딥 러닝 엔진을 통해 문의를 응답에 매칭할 목적으로 게임 지원 서버측에서 수반되는 동작들의 프로세스 및 데이터 흐름을 도시한다. 응답은 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이를 디스플레이하는 다른 디바이스와 별개일 수 있는 플레이어의 디바이스로 송신될 수 있거나, 게임 플레이를 디스플레이하는 디바이스로 송신될 수 있다. 특히, 흐름도(300C)의 방법은 도 1a 내지 도 1b 및 도 2a 내지 도 2c의 게임 지원 서버(140)에 의해 적어도 부분적으로 수행될 수 있다.
380에서, 상기 방법은 게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하는 단계를 포함한다. 정보는 전술한 바와 같이 글로벌 컨텍스트 데이터 및 게임 컨텍스트 데이터와 같은 컨텍스트 데이터를 포함할 수 있다.
예를 들어, 글로벌 컨텍스트 데이터는 사용자에 대한 사용자 프로필 데이터 및 사용자와 연관된 기타 메트릭 데이터를 포함할 수 있다. 예를 들어, 글로벌 컨텍스트 데이터는 플레이어 프로필 데이터; 플레이어의 플레이 스타일; 플레이어의 스킬 레벨; 플레이어가 현재 게이밍 애플리케이션을 플레이 중인지 여부; 플레이어가 온라인 상태인지 여부; 게이밍 애플리케이션의 타이틀; 플레이어가 함께 플레이하는 공동 플레이어들; 입력 제어기 작동 빈도; 플레이어의 친구들 등을 포함할 수 있다.
또한, 게임 컨텍스트 데이터는 게임의 상태를 정의하는 게임 상태 데이터, 플레이어와 관련된 사용자/플레이어 정보 및 시스템 레벨 데이터(예를 들어, OS)와 같은 게임 플레이와 관련된 메타 데이터 및/또는 정보를 포함할 수 있다. 예를 들어, 게임 상태 정보는 캐릭터 정보(예를 들어, 유형, 레이스 등), 게이밍 애플리케이션, 캐릭터가 위치한 곳, 플레이 중인 레벨 캐릭터 자산, 캐릭터의 자산, 게임 개체들, 게임 개체 속성들, 게임 속성들, 게임 개체 상태, 그래픽 오버레이들, 캐릭터 자산(예를 들어, 옷, 무기 등), 무기, 캐릭터의 스킬 세트, 게이밍 환경/세계에서 캐릭터의 지리적 위치, 게임 플레이의 제1 캐릭터에 제시되는 현재 퀘스트 및/또는 과업, 게임 플레이의 제1 캐릭터에 대한 다음 퀘스트 무기, 캐릭터의 스킬 세트, 게이밍 환경에서 게임 플레이의 위치; 등을 포함하여 대응하는 지점에서의 게임 플레이 상태를 정의할 수 있다. 또한, 게임 컨텍스트 데이터는 OS 레벨 데이터를 포함할 수 있으며, 이때 OS 레벨 데이터는 게임 입력; 제어기 입력; 제어기 입력의 타임 스탬프들 등을 포함할 수 있다. 게임 상태 데이터는 플레이어의 스킬 또는 능력, 플레이어가 도움을 구하는 전반적인 준비도, 플레이어에 의한 최근 게이밍 애플리케이션 플레이, 게임을 플레이할 때 사용자(5)에 의해 선택된 게임 난이도, 게임 레벨, 캐릭터 속성들, 캐릭터 위치, 남은 생명 수, 이용 가능한 총 생명 수, 갑옷, 트로피, 시간 카운터 값들 및 기타 자산 정보 등과 같이, 대응하는 플레이어에 대해 비디오 게임을 개인화하는 정보를 포함할 수 있는 사용자/플레이어 정보를 포함할 수 있다. 일반적으로, 게임 상태 데이터는 비디오 게임에서의 대응하는 지점에 존재했던 게이밍 환경의 생성을 가능하게 한다.
382에서, 상기 방법은 게이밍 애플리케이션을 플레이하는 플레이어로부터 플레이어의 게임 플레이와 관련된 문의를 수신하는 단계를 포함한다. 예를 들어, 문의는 플레이어에 장애물 해결 방법을 알려주는 정보, 플레이어가 직면한 게이밍 환경에 대한 일반 정보, 게임 캐릭터에 대한 정보, 게이밍 애플리케이션을 플레이하는 친구들에 대한 정보, 게이밍 애플리케이션에 대한 정보, 플레이어가 다른 플레이어들에 대해 얼마나 잘하고 있는지 등을 요청할 수 있다.
일부 실시 예에서, 문의는 처리에 적합한 포맷으로 변환된다. 예를 들어, 문의는 제1 포맷에서 제2 포맷으로 변환된다. 일 실시 예에서, 문의는 오디오, 텍스트, 비디오 포맷 중 하나로 제시되지만, 다른 포맷들도 지원된다. 일 구현에서, 제1 포맷은 오디오이고, 제2 포맷은 텍스트이며, 그에 따라 오디오 포맷으로 송신되는 마이크로폰 시스템(예를 들어, 독립형 송수신기)을 통해 플레이어에 의해 문의가 제시될 수 있게 된다. 그러한 방식으로, 텍스트 포맷의 문의는 전술한 바와 같이 이를테면 NPL 엔진을 사용하여, 문의의 내용을 결정하도록 해석될 수 있다.
384에서, 상기 방법은 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계를 포함한다. 컨텍스트 데이터는 게임 플레이 동안 지속적으로 수집되고, 글로벌 컨텍스트 데이터 및 게임 컨텍스트 데이터를 포함한다. 현재 게임 컨텍스트는 컨텍스트 데이터로부터 결정되고 문의를 적절한 응답에 매칭시키는 데 사용될 수 있다. 특히, 386에서, 상기 방법은 복수의 게임 플레이와 관련된 정보에 기초하여 문의 및 현재 게임 컨텍스트에 대한 응답을 생성하는 단계를 포함한다. 예를 들어, 현재 게임 컨텍스트에는 게이밍 애플리케이션의 타이틀, 플레이어가 직면한 현재 장면 또는 게이밍 환경 등이 포함된다. 그러한 방식으로, 문의가 요청하는 것과 해당 문의에 가장 잘 응답하는 방법을 더 잘 이해하기 위해 일반화된 문의(예를 들어, 보스를 이기는 방법)에 게이밍 컨텍스트가 주어질 수 있다. 예를 들어, 문의에는 답할 수 없지만, 특정 게이밍 애플리케이션의 컨텍스트와 레벨, 레벨의 보스가 있으면, 보스의 약점을 나타내는 적절한 응답이 플레이어에 반환될 수 있다.
일 실시 예에서, 게이밍 애플리케이션에 대한 해석된 문의 및 현재 게임 컨텍스트가 해석된 문의 및 현재 게임 컨텍스트를 응답에 매칭시키도록 구성된 딥 러닝 엔진으로 입력으로서 제공된다. 딥 러닝 엔진은 이전에 복수의 모델링된 응답 및/또는 문의/응답을 생성하기 위해 문의들 및 응답들에 관해 훈련되었으며, 이때 매칭되는 응답은 게이밍 애플리케이션에 대한 모델링된 응답들 중 하나이다. 일 실시 예에서, 딥 러닝 엔진은 서드 파티 AI 엔진의 일부이다. 그에 따라, 임의적으로 문의를 해석하고 해석된 문의 및 현재 게임 컨텍스트를 응답에 매칭시키도록 구성될 수 있는 서드 파티 AI 엔진으로 문의 및 현재 게임 컨텍스트가 전달된다.
388에서, 상기 방법은 응답을 제1 플레이어의 디바이스로 전송하는 단계를 포함한다. 일 실시 예에서, 디바이스는 게임 플레이를 제시하는 디스플레이와 별 도의 안내용 모바일 디바이스를 포함할 수 있다. 예를 들어, 안내용 디바이스는 문의를 수신하여 백-엔드 게임 지원 서버로 전달하고, 응답을 수신하여 플레이어에 다시 제시하는 데 사용될 수 있는 모바일 전화일 수 있다. 또한, 안내용 디바이스는 독립형 스피커일 수도 있다. 예를 들어, 안내용 디바이스는 오디오, 텍스트 및/또는 비디오 제시를 포함할 수 있다. 다른 실시 예에서, 디바이스는 응답 및 게임 플레이를 동시에 디스플레이하는 디스플레이일 수 있다.
일 실시 예에서, 매칭에 이용 가능한 응답이 없을 때, 게임 지원 서버는 플레이어에 실시간(예를 들어, 라이브) 도움을 제공할 수 있는 전문가를 찾을 수 있다. 특히, 현재 게임 컨텍스트는 전문가로 분류되는 다른 플레이어들의 게임 컨텍스트들에 매칭될 수 있다. 컨텍스트들(예를 들어, 글로벌 및/또는 게임 컨텍스트들)에 기초하여 유사한 방식으로(예를 들어, 동일한 무기를 사용하여 문의의 보스를 이김) 최근 게이밍 애플리케이션을 플레이한 전문가가 문의의 현재 게임 컨텍스트에 매칭될 수 있다. 예를 들어, 플레이어(도움을 요청한)의 현재 게임 컨텍스트는 전문가가 플레이어와 얼마나 가깝게 매칭되는지 확인하기 위해 복수의 이력적 전문가 게임 컨텍스트와 비교될 수 있다. 일 실시 예에서, 매칭은 딥 러닝 엔진을 통해 이루어질 수 있다. 즉, 비교는 각 전문가의 게임 플레이가 제1 플레이어의 게임 플레이와 얼마나 가깝게 매칭되는지 결정한다. 전문가들은 최고 매칭 평가, 가용성, 요구되는 도움의 브로드캐스트 알림에 대한 전문가 응답의 신속성 등을 포함하는 다양한 요인에 기초하여 선택될 수 있다. 플레이어가 동의하면, 전문가가 전문가가 플레이어에 지원을 줄 수 있도록 플레이어와 전문가의 디바이스들간에 통신 세션을 통해 플레이어에 연결된다.
도 3d는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하기 위한 방법의 단계들을 도시하는 흐름도이다. 도움 세션은 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이를 디스플레이하는 다른 디바이스와 별개일 수 있는 플레이어의 디바이스로 송신될 수 있다.
일부 실시 예에서, 사용자로부터의 도움에 대한 응답으로 사용자가 전문가와 매칭되기 전에, 복수의 플레이어 및/또는 전문가의 게임 플레이로부터 수집된 컨텍스트 정보가 사용되어 새로 생성되거나 다시 생성되는 응답이 제공될 수 있다. 컨텍스트 정보는 전술한 바와 같이 게임의 상태를 정의하는 게임 상태 데이터, 플레이어와 관련된 사용자/플레이어 정보 및 시스템 레벨 데이터(예를 들어, OS)와 같은 게임 플레이와 관련된 메타 데이터 및/또는 정보를 포함할 수 있다. 예를 들어, 게임 상태 데이터에는 비디오 게임 또는 게이밍 애플리케이션의 대응하는 지점에 존재한 게이밍 환경의 생성을 가능하게 하는 정보가 포함된다(예를 들어, 게임 개체들, 개체 속성들, 그래픽 오버레이들, 게임 캐릭터들, 장면/게이밍 환경, 게임 경로 정보, 비율 정보 - 암살 대 사망률 및 기타 - 캐릭터 정보의 위치, 정확성, 작업 실현 속도 등). 사용자/플레이어 정보는 대응하는 플레이어에 대한 비디오 게임을 개인화하는 정보(예를 들어, 사용자 맞춤화를 위한 캐릭터 자산 - 형상, 레이스, 옷차림, 무기 등)를 포함한다. 사용자/플레이어 정보는 또한 플레이어의 전반적인 게이밍 스킬, 게임 제어기 스킬 및 핸들링 특성들, 사용자가 게임을 플레이하는 빈도, 게이밍 콘솔에 의해 제공되는 게이밍 및/또는 기타 기능들을 위해 사용자가 콘솔을 시작하고 사용하는 빈도 등과 같은 사용자에 대한 사용자 프로필 데이터를 포함할 수 있다. 또한, 시스템 레벨 데이터(예를 들어, OS 데이터)는 제어기 입력 데이터, 제어기 입력 작동 속도, 게임 입력이 작동된 횟수, 사용자에 의해 유도된 제어기의 모션들, 게임 콘솔이 사용된 횟수 및 목적 - 게이밍, 인터넷, 스트리밍 등 - 기타 게임 독립 행위들 등을 포함한다.
도움을 요청하는 사용자/플레이어 및 비디오 게임을 플레이하는 다른 사용자들로부터 수집된 컨텍스트 정보에 기초하여, 사용자/플레이어에는 도움 요청에 바로 응답하는 사전 생성된 응답이 제시될 수 있다. 사전 생성된 응답은 다른 사용자와 전문가(요청에 제공된 동일하거나 관련된 도움 문의에 대한 지원을 제공하는)간 레코딩된 도움 세션(예를 들어, 오디오 및 비디오 레코딩)일 수 있다. 사전 생성된 응답은 요청에 제공되는 동일하거나 관련된 도움 문의에 대해 다른 사용자에게 지원을 제공하기 위해 이전에 생성된 사전 생성된 응답(예를 들어, 텍스트, 오디오, 비디오 등)일 수 있다. 또한, 도움을 요청하는 사용자/플레이어에는 도움 요청에 바로 답변하는 새로 생성되는 응답(텍스트, 오디오, 비디오 등)이 제시될 수도 있다. 예를 들어, 요청 또는 문의는 사용자에 의해 제1 포맷(예를 들어, 텍스트, 오디오, 비디오 등)으로 제시될 수 있고 도움을 제공하는 서버에 의해 이해되는 포맷으로 변환된다. 일 구현에서, 요청은 오디오 포맷으로 제공되고 도움 서버에 의해 이해될 수 있는 텍스트 포맷으로 변환된다(예를 들어, 음성 인식 기술들을 사용하여). 그 다음 포맷이 변경된 요청/문의는 해석되어 문의의 특성(예를 들어, 도움 문의의 내용)이 이해된다. 해석된 문의를 사전 생성된 응답에 매칭하는 데에는 인공 지능이 사용될 수 있다.
응답이 생성되지 않으면, 도 3d의 방법이 구현된다. 특히, 390에서, 상기 방법은 게이밍 애플리케이션에 대한 복수의 플레이어의 복수의 게임 플레이와 관련된 정보를 백-엔드 서버에서 네트워크를 통해 수신하는 단계를 포함한다. 플레이어들은 현재 게이밍 어플리케이션을 플레이 중이거나, 게이밍 어플리케이션을 플레이했을 수 있다. 일부 실시 예에서, 정보는 게임 플레이들을 포함한다. 일부 실시 예에서, 정보는 게임 상태 데이터와 같이 게임 플레이와 관련하여 생성된 정보 및/또는 메타 데이터를 포함한다. 예를 들어, 정보는 전술된 바와 같이, 게임 상태 정보 및 사용자/플레이어 저장 정보를 포함할 수 있다. 정보는 대응하는 스냅 샷과 연관된 비디오 게임의 한 지점으로부터 시작되는 비디오 게임의 인스턴스의 실행을 가능하게하는 정보를 제공할 수 있는 스냅샷 정보를 포함할 수 있다. 예를 들어, 게임 상태 정보는 캐릭터 정보(예를 들어, 유형, 레이스 등), 게이밍 애플리케이션, 캐릭터가 위치한 곳, 플레이 중인 레벨 캐릭터 자산, 캐릭터의 자산, 게임 개체들, 게임 개체 속성들, 게임 속성들, 게임 개체 상태, 그래픽 오버레이들, 캐릭터 자산, 캐릭터의 스킬 세트, 게이밍 환경/세계에서 캐릭터의 지리적 위치, 플레이어에 제시되는 현재 퀘스트 및/또는 작업, 무기, 캐릭터의 스킬 세트 등을 포함하여 대응하는 지점에서의 게임 플레이 상태를 정의할 수 있다. 게임 상태 데이터는 비디오 게임에서의 대응하는 지점에 존재했던 게이밍 환경의 생성을 가능하게 한다. 또한, 플레이어와 관련된 사용자/플레이어 정보는 플레이어의 스킬 또는 능력, 플레이어가 도움을 구하는 전반적인 준비도, 플레이어에 의한 최근 게이밍 애플리케이션 플레이, 게임을 플레이할 때 사용자(5)에 의해 선택된 게임 난이도, 게임 레벨, 캐릭터 속성들, 캐릭터 위치, 남은 생명 수, 이용 가능한 총 생명 수, 갑옷, 트로피, 시간 카운터 값들 및 기타 자산 정보 등과 같이, 대응하는 플레이어에 대해 비디오 게임을 개인화하는 정보를 포함할 수 있다.
391에서, 상기 방법은 정보로부터 제1 플레이어의 제1 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계를 포함한다. 제1 게임 컨텍스트는 제1 플레이어의 게임 플레이의 현재 상태와 관련된다. 구체적으로, 제1 플레이어의 현재 게임 플레이에 관한 정보가 수신된다. 일례로, 현재 게임 플레이가 라이브이므로, 제1 플레이어는 현재 게이밍 애플리케이션을 플레이하고 있다. 게임 컨텍스트는 게임 플레이의 특정 지점에서 게임 환경을 정의한다. 현재 게임 컨텍스트는 대응하는 게임 플레이의 현재 지점에서의 게임 환경을 정의한다. 게임 컨텍스트들은 대응하는 게임 플레이의 하나 이상의 지점에 대해 정의될 수 있다. 예를 들어, 게임 컨텍스트는 플레이어의 캐릭터, 해당 플레이어의 다양한 특성, 해당 플레이어와 연관된 자산, 플레이어에게 제시되는 작업들 등을 정의할 수 있다. 게임 컨텍스트는 이전에 수신된 메타 데이터 및/또는 게임 플레이와 관련하여 생성된 정보에 기초하거나 밀접하게 관련될 수 있다.
392에서, 상기 방법은 정보로부터 게이밍 애플리케이션을 플레이한 전문가들의 복수의 전문가 게임 플레이의 복수의 이력적 전문가 게임 컨텍스트를 결정하는 단계를 포함한다. 일 구현에서, 전문가는 또한 현재 게이밍 애플리케이션을 플레이하고 있고 대응하는 게임 플레이를 통해 새로운 이력적 전문가 게임 컨텍스트들을 생성할 수 있다. 전문가 게임 플레이들은 게이밍 애플리케이션에 대한 전문가들로서 분류된 플레이어들로부터 생성된다. 전술된 바와 같이, 일반적으로 게임 컨텍스트들은 이를테면 하나 이상의 전문가에 대한 것들과 같이, 대응하는 게임 플레이의 하나 이상의 지점에 대해 정의될 수 있다. 전문가 게임 플레이들은 복수의 게임 플레이, 구체적으로 전문가들로 분류된 플레이어들의 게임 플레이들로부터 취해진다. 플레이어는 자체 등록, 자격 부여 또는 임의의 다른 방법을 통해 분류될 수 있다. 일 실시 예에서, 모든 플레이어의 복수의 게임 플레이의 게임 컨텍스트들을 결정할 때 전문가 게임 컨텍스트들이 동시에 결정되었다. 그에 따라, 플레이어가 전문가로 분류되면, 전문가의 대응하는 게임 플레이어의 게임 컨텍스트 정보는 하나 또는 전문가 게임 컨텍스트들로 식별될 수 있다. 또한, 대응하는 게임 플레이 동안 다수의 지점에 대한 게임 컨텍스트 정보가 결정될 수 있다. 예를 들어, 제1 전문가에 대한 게임 컨텍스트 정보는 게임 플레이의 제1 지점에서의 제1 게임 컨텍스트, 게임 플레이의 제2 지점에서의 제2 게임 컨텍스트 … 및 게임 플레이의 제N 지점에서의 제N 게임 컨텍스트를 포함할 수 있다. 예를 들어, 대응하는 전문가에 대한 게임 플레이는 레벨 1에서 보스와 대면하는 게임 컨텍스트, 레벨 2에서 보스와 대면하는 게임 컨텍스트, 주어진 사이드 퀘스트 내에서의 진행 등을 포함하여 복수의 게임 컨텍스트를 가질 수 있다. 다수의 플레이어가 전문가로 분류되었을 때, 각 전문가에 대한 게임 컨텍스트 정보가 결정될 수 있다.
특정 게이밍 애플리케이션에 대해 분류된 전문가들은 복수의 플레이어 세트를 이룬다. 전술된 바와 같이, 전문가들은 이를테면 어떠한 자격 기준 없이, 자체 등록될 수 있다. 다른 구현에서, 전문가들은 전술된 바와 같이, 플레이어의 스킬, 작업 수행, 퀘스트 완료, 일정 시간 기간 내 게임의 일부 완료, 일정 시간 기간 내 게임 완료 등과 같은 일부 자격을 가질 수 있다. 자격에 도달한 후, 전문가는 자체 등록되고/거나, 자동으로 전문가로 라벨링될 수 있다(예를 들어, 승인으로).
동일한 게이밍 애플리케이션을 플레이하는 상이한 플레이어들 및/또는 전문가들은 그들의 대응하는 게임 플레이 내에서 동일하거나 유사한 게임 컨텍스트들을 가질 수 있다. 예를 들어, 모두 동일한 게이밍 애플리케이션을 플레이하는 다수의 플레이어의 게임 컨텍스트들을 수집함으로써, 상이한 플레이어들의 게임 플레이들이 동일한 자산을 가진 유사한 캐릭터들, 상이한 플레이어들의 유사한 플레이 스타일들, 게이밍 애플리케이션의 게이밍 세계를 통한 유사한 라우팅 등으로 정렬될 수 있다. 게임 컨텍스트 정보는 전문가가 후술될 바와 같이, 지원을 요청한 플레이어의 게임 플레이에 지원을 제공할 수 있도록, 플레이어를 전문가로(예를 들어, 자체 등록, 자격 부여되는 등) 분류된 다른 플레이어와 매칭하는 데 사용될 수 있다.
393에서, 상기 방법은 제1 게임 플레이와 관련된 지원 문의를 수신하는 단계를 포함한다. 즉, 제1 플레이어가 또한 지원 요청을 하거나 요청 알림 등을 하고 있다. 예를 들어, 문의는 구체적으로 게임의 특정 지점(예를 들어, 레벨 보스, 퀘스트, 작업 등)을 어떻게 이길 수 있는지에 관한 것일 수 있거나, 개체에 대한 정보(예를 들어, 보스의 이름, 게임 플레이에서 직면한 개체)를 얻는 것에 관한 것일 수 있거나, 게이밍 애플리케이션의 이러한 지점에서 플레이어의 전반적인 목표에 관한 것일 수 있다.
또한, 제1 플레이어의 현재 게임 컨텍스트는 요청이 이루어진 게임 플레이의 지점에 가장 가까운 게임의 상태와 관련된다. 예를 들어, 게임 컨텍스트는 제1 플레이어의 캐릭터, 캐릭터가 보유한 자산, 캐릭터가 직면한 게이밍 애플리케이션의 레벨 및 레벨의 장면과 관련된 정보를 제공할 수 있다. 제1 플레이어에 의한 지원에 대한 임의의 문의 또는 요청은 반드시 현재 게임 컨텍스트와 관련이 있을 것이다. 그에 따라, 제1 플레이어의 현재 게임 컨텍스트와 밀접하게 매칭되는 게임 컨텍스트를 갖는 다른 플레이어(예를 들어, 분류된 전문가, 친구 등)의 게임 플레이는 제1 플레이어에 도움이 되는 게이밍 어플리케이션에 대한 지식을 가질 수 있다.
394에서, 상기 방법은 제1 플레이어(도움을 요청한)의 현재 게임 컨텍스트를 복수의 이력적 전문가 게임 컨텍스트와 비교하여 이를테면 각각의 게임 플레이어들의 게임 컨텍스트와 관련하여, 전문가가 제1 플레이어와 얼마나 가깝게 매칭되는지 확인하는 단계를 포함한다. 즉, 비교는 각 전문가의 게임 플레이가 제1 플레이어의 게임 플레이와 얼마나 가깝게 매칭되는지 결정한다. 일 실시 예에서, 특정 전문가에 대해 캡처된 각 게임 컨텍스트에 대해 비교가 수행되고, 제1 플레이어의 제1 게임 컨텍스트에 가장 가까운 게임 컨텍스트가 해당 전문가를 대표하는 것으로 사용된다. 다른 실시 예에서, 특정 전문가의 게임 플레이 동안 다양한 지점에서 수집된 게임 컨텍스트 정보는 조합되어 제1 플레이어의 제1 게임 컨텍스트와의 비교를 위해 사용될 수 있다. 일 구현에서, 제1 게임 컨텍스트와 매칭되는 대응하는 이력적 전문가 게임 컨텍스트를 갖는 적어도 한 전문가가 결정된다.
395에서, 방법은 지원을 받기 위해 제1 플레이어에 제1 전문가를 배정하는 단계를 포함한다. 즉, 제1 전문가는 그 다음 그 또는 그녀의 게임 플레이와 관련하여 제1 플레이어에게 도움을 제공할 수 있다. 전문가 풀에서 제1 전문가를 선택하기 위해 다양한 선택 방법이 구현될 수 있다. 예를 들어, 제1 전문가는 제1 플레이어와 전문가 세트/풀에서의 전문가의 게임 컨텍스트들에 기초하여 선택된다.
일 실시 예에서, 제1 전문가는 게임 컨텍스트들 간의 매칭의 질에 기초하여 선택된다. 예를 들어, 매칭된 전문가 게임 컨텍스트 세트는 도 3b와 관련하여 더 설명될 바와 같이, 제1 게임 컨텍스트와 대응하는 전문가 게임 컨텍스트의 매칭의 질을 나타내는 매칭 값들을 갖는다. 예를 들어, 상기 방법은 가장 높은 값을 가진 제1 매칭 값을 결정한다. 제1 매칭 값은 전문가 게임 컨텍스트에 대응한다. 일례로, 제1 매칭 값은 제1 전문가의 제1 전문가 게임 컨텍스트에 대응한다. 그에 따라, 게임 컨텍스트들에 기초하여, 제1 플레이어에 도움을 제공하는 데 전문가 풀에서 가장 적합한 제1 전문가가 도움 세션을 위해 선택된다.
다른 실시 예에서, 전문가 풀로부터의 제1 전문가는 이용 가능성 팩터에 기초하여 선택된다. 이는 도움을 요청한 플레이어들과 전문가들을 매칭하는 복잡하지 않은 접근법을 제공한다. 특히, 이러한 접근법은 게이밍 애플리케이션이 처음 출시될 때 유용할 수 있다. 최신 출시로 인해, 등록한 전문가들이 많지 않을 수 있고, 정보 부족으로 인해 전문가들 간 임의의 비교가 어려울 수 있다. 일 구현에서, 도움 세션을 위해 제1 이용 가능한 전문가가 선택되고 제1 플레이어에 배정된다.
다른 실시 예들에서, 전문가는 도 3b에서 추가로 설명될 바와 같이, 도움을 줄 수 있을 가능성이 가장 높은 자격을 갖춘 그리고/또는 이용 가능한 전문가들로부터 응답하기 위한 레이스에서와 같이 응답 시간들에 기초하여 선택된다. 다른 실시 예에서, 전문가들은 그들이 지원을 제공하고자 하는지 여부를 결정하기 위해 차례로 폴링된다. 폴링 프로세스 동안, 도 3b에서 더 설명될 바와 같이, 긍정적으로 응답하는 제1 전문가가 지원을 제공하도록 배정된다.
특히, 396에서, 상기 방법은 제1 플레이어 및 제1 전문가를 연결하는 통신 세션을 생성하는 단계를 포함한다. 일 실시 예에서, 백-엔드 서버의 통신 세션 관리자는 통신 세션을 수립하고 관리하기 위한 중개자 역할을 한다. 적어도, 통신 세션은 제1 전문가의 디바이스와 제1 플레이어의 디바이스 간에 수립된다. 통신 세션은 이를테면 제1 전문가와 제1 플레이어 간의 도움 세션을 통해, 전문가가 플레이어에 도움을 제공할 수 있게 하는 데 사용된다. 일 실시 예에서, 통신 세션은 텍스트, 오디오, 비디오, 삽입된 오디오 및 비디오 등에 대해 구성된다. 예를 들어, 상기 방법은 음성 채널을 수립하는 것, 통신 세션에서 텍스트 채널을 수립하는 것, 비디오 챗을 위해 구성된 비디오 채널(예를 들어, 삽입된 비디오)을 수립하는 것 중 하나 이상을 포함할 수 있다. 또한, 통신 세션 관리기는 공유스크린 기능, 공유플레이 기능 등을 제공하는 것과 같은 다른 통신 형태들을 허용하기 위해 새로운 세션들을 생성하는 작용을 할 수 있다. 일 실시 예에서, 통신 세션은 피어 투 피어 연결일 수 있거나 또는 중간 노드 역할을하는 백-엔드 서버를 포함할 수 있다. 즉, 통신 세션 관리기에 의해 생성되면, 통신 세션은 제1 플레이어와 제1 전문가의 디바이스들 간의 직접적인 통신 경로이다. 다른 실시 예에서, 통신 세션은 백-엔드 서버를 통할 수 있다.
일 실시 예에서, 제1 전문가는 전술된 바와 같이, 이를테면 공유 스크린 기능을 통해, 제1 플레이어의 스크린을 공유할 수 있다. 제1 전문가는 제1 플레이어의 게임 플레이를 봄으로써, 제1 플레이어가 직면한 문제를 더 잘 파악하고, 그에 따라 더 나은 도움을 제공할 수 있다. 일 실시 예에서, 공유 스크린 기능은 통신 세션을 통해 구현된다. 스크린 공유 요청은 제1 플레이어 또는 제1 전문가 중 어느 하나가 할 수 있다. 예를 들어, 제1 전문가는 제1 플레이어의 게임 플레이의 비디오 공유를 요청할 수 있다. 일 구현에서, 요청은 도움 세션 제어기에 의해 백-엔드 서버에서 수신된다. 요청 알림이 제1 플레이어의 디바이스로 전송된다. 예를 들어, 알림이 도움 세션 제어기로부터 전달될 수 있다. 승인은 도움 세션 제어기에 의해 제1 플레이어의 디바이스로부터 수신되며, 이때 승인은 게임 플레이의 비디오를 전문가와 공유하기 위해 제1 플레이어에 의해 제공된다. 그에 따라, 제1 플레이어의 게임 플레이가 제1 전문가의 디바이스로 스트리밍된다. 예를 들어, 도움 세션 제어기는 통신 세션을 통해 또는 독립 스트리밍 채널을 통해 스트리밍을 가능하게 할 수 있다.
다른 실시 예에서, 제1 전문가는 전술된 바와 같이, 이를테면 공유 플레이 기능을 통해, 제1 플레이어의 게임 플레이 제어를 취할 수 있다. 공유 플레이에 의해, 전문가는 예를 들어 제1 플레이어가 수행할 수 없는 목표를 완료하기 위해 게임 플레이의 제어를 넘겨 받을 수 있다. 플레이 공유 요청은 제1 플레이어 또는 제1 전문가 중 어느 하나가 할 수 있다. 예를 들어, 제1 전문가의 디바이스로부터 제1 플레이어의 게임 플레이의 제어를 공유할 것을 요청하는 요청이 수신된다. 전문가로부터의 요청은 사용자의 게임 플레이 내에서 목표를 실현하기 위한 전문가로부터의 지원의 제공 형태일 수 있다. 요청은 도움 세션 제어기에 의해 백-엔드 서버에서 수신될 수 있다. 요청의 알림이 도움 세션 제어기에 의해 생성될 수 있고, 도움 세션 제어기로부터 제1 플레이어의 디바이스로 전달될 수 있다. 승인은 도움 세션 제어기에 의해 제1 플레이어의 디바이스로부터 수신되며, 이때 승인은 게임 플레이의 제어를 전문가와 공유하기 위해 제1 플레이어에 의해 제공된다. 그러한 방식으로, 전문가는 게임 입력 명령들을 제출함으로써 게임 플레이를 제어를 취할 수 있다. 일 실시 예에서, 입력 제어 또는 명령 세트가 도움 세션 제어기에 의해 제1 전문가의 디바이스로부터 수신된다. 게임 엔진(예를 들어, 로컬 콘솔 또는 백-엔드 게이밍 프로세서)이 제1 플레이어의 제어기 디바이스에서 발생하는 입력 명령들을 차단하고 제1 전문가의 제어기 디바이스에서 발생하는 입력 명령을 통과시키도록, 블록이 제1 플레이어의 입력 제어기로부터의 입력 명령들상에 배치된다. 예를 들어, 도움 세션 제어기는 제1 플레이어의 게임 플레이를 위해 게이밍 애플리케이션을 실행하는 프로세서(예를 들어, 게임 엔진)에 제1 플레이어와 연관된 입력 제어를 차단하기 위한 명령을 전송할 수 있다. 그에 따라, 제1 전문가의 제어기 디바이스로부터의 입력 제어 세트가 제1 플레이어의 게임 플레이를 위해 게이밍 애플리케이션을 실행하는 프로세서(예를 들어, 게임 프로세서)로 전달된다. 또한, 제어는 언제든지 제1 플레이어에 다시 넘겨질 수 있다. 예를 들어, 제1 플레이어는 전술된 바와 같이, 언제든지 게임 플레이 제어를 다시 취할 수 있는(이를테면, 킬 명령을 사용하여) 능력을 가질 수 있다.
도 3e는 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가와 연결함으로써 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원을 제공하는 시스템 또는 방법에서 데이터의 흐름을 도시하는 데이터 흐름도이다.
도시된 바와 같이, 플레이어 1(P1)은 게이밍 애플리케이션을 플레이하고 있다. 플레이어(P1)는 그 또는 그녀의 게임 플레이 동안 장애물에 직면하고, 정보 및/또는 지원을 요청할 수 있다. 예를 들어, 플레이어(P1)로부터의 문의는 전술된 바와 같이, 사용자 인터페이스(351-P1)를 통해 이루어지고 네트워크(150)를 통해 백-엔드 서버의 도움 세션 제어기(352)로 다시 전달된다. 특히, 매칭 엔진(353)은 도움 세션 제어기(352)와 협력하여 플레이어(P1)의 게임 컨텍스트들과 전문가 풀(354)을 매칭하도록 구성된다. 전문가 풀은 하나 이상의 게이밍 어플리케이션을 플레이하고 있는 복수의 플레이어(355)로부터 취해진다. 풀(355)의 전문가들은 모두 게이밍 애플리케이션을 플레이했고, 예를 들어 게이밍 애플리케이션의 전문가들로 등록된다. 예를 들어, 풀(355)은 하나 이상의 전문가(E1 … E5 … E103 … En)를 포함한다.
게임 컨텍스트들(356)은 비교를 위해 매칭 엔진(123)으로 입력된다. 예를 들어, 입력은 플레이어(P1)에 대한 게임 컨텍스트(356-P1), 플레이어(E1)에 대한 게임 컨텍스트(356-E1), 전문가(E103)에 대한 게임 컨텍스트(356-E103), 전문가(E64)에 대한 게임 컨텍스트(356-E64), 전문가(E5)에 대한 게임 컨텍스트(356-E5) … 전문가(En)에 대한 게임 컨텍스트(356-En)를 포함한다. 매칭 엔진에 의해 수행되는 매칭 프로세스는 전술되었다. 기본적으로, 플레이어(P1)의 게임 컨텍스트(356-P1)는 전문가 풀(354)과 연관된 게임 컨텍스트들 각각과 비교된다. 매칭 벡터들은 게임 컨텍스트들 각각에 대해 결정되며, 이때 각 매칭 벡터는 플레이어(P1)의 게임 컨텍스트(356-P1)와 대응하는 전문가 게임 컨텍스트의 매칭의 질을 나타내는 대응하는 매칭 값(예를 들어, 양호도 또는 Q-팩터)을 갖는다.
매칭 엔진(353)은 전문가 풀(354)에서 전문가들 중 하나를 선택하도록 구성된다. 도시된 바와 같이, 전문가(E5)가 선택되고, 매칭 엔진(353)으로부터의 출력(357)으로서 제공된다. 출력(357)은 플레이어(P1)에 지원을 제공하는 도움 세션을 생성 및 관리하기 위한 도움 세션 제어기(352)로 제공된다. 전술된 바와 같이, 전문가의 선택을 위해 하나 이상의 방법이 구현될 수 있다. 예를 들어, 전문가 풀(354)은 임계치를 매칭 값들에 적용함으로써 추가로 필터링될 수 있으며, 이때 임계치 기준을 충족하는 매칭 값들과 연관된 전문가가 선택을 위해 고려된다. 일 구현에서, 최고 품질의 매칭 값이 전문가의 선택에 사용된다. 즉, 최고 매칭 값이 선택에 사용된다. 다른 예에서, 도움 세션 요청의 알림은 임계치 기준을 충족하는 매칭 값들과 연관된 전문가들에게 전달된다. 알림에 처음 응답하는 전문가가 도움 세션에 선택될 수 있다. 또 다른 예에서, 이를테면 랜덤 선택, 제1 선택 등을 통해, 임계치 기준을 충족하는 매칭 값들과 연관된 전문가들 중 어느 하나가 선택될 수 있다.
일 실시 예에서, 플레이어(P1)를 전문가와 매칭시키는 대신, 매칭 엔진(353)은 친구 풀에서 전문가의 친구를 선택할 수 있다. 예를 들어, 친구들은 하나 이상의 소셜 네트워크를 통해 수립된 소셜 네트워크 친구들일 수 있다.
도움 세션 제어기는 플레이어(P1)에 실시간 지원을 제공하기 위해 도움 세션을 수립정하고 관리하도록 구성된다. 예를 들어, 플레이어(P1)의 디바이스(예를 들어, 사용자 인터페이스(351-P1))와 전문가(E5)의 디바이스(예를 들어, 사용자 인터페이스(351-E5)) 간에 통신 세션이 생성된다. 일 실시 예에서, 통신 세션은 도움 세션 제어기(352)의 통신 세션 관리기, 플레이어(P1)의 디바이스 및 전문가(E5)의 디바이스 간에 생성된다. 다른 실시 예에서, 통신 세션이 생성되고 플레이어(P1)의 디바이스와 전문가(E5)의 디바이스 간의 직접 통신을 수립한다.
통신 세션에 하나 이상의 통신 채널이 수립될 수 있다. 예를 들어, 음성 채널(361), 텍스트 채널(362), 스크린 공유 채널(363) 및/또는 공유 플레이 채널 중 하나 이상이 수립될 수 있다. 도시된 바와 같이, 음성 채널(361)은 플레이어(P1)와 전문가(E5)가 서로의 음성 통신을 말하고 들을 수 있도록 양방향 통신 경로이다. 또한, 텍스트 채널(362)도 플레이어(P1)와 전문가(E5)가 텍스트를 통해 서로 통신할 수 있도록 양방향 통신 경로이다. 또한, 스크린 공유 채널(363)은 플레이어(P1)의 게임 플레이로부터의 비디오가 시청할 전문가(E5)의 디바이스로 전달되도록 단방향 통신 경로일 수 있다. 또한, 공유 플레이 채널(364)은 입력 제어가 전문가(E5)로부터 플레이어(P1)에 로컬 인 게임 엔진으로, 또는 백-엔드 서버의 다른 게이밍 엔진으로 전달될 수 있도록 양방향 통신 경로일 수 있다.
도움 세션 제어기(352)와 사용자 인터페이스(351-P1) 또는 사용자 인터페이스(351-E5) 사이에 제어 및 다른 정보를 전달하기 위해 별도의 제어 채널이 설정될 수 있다. 예를 들어, 플레이어(P1)에서 발생하는 입력 제어를 차단하거나 스크린 공유 채널(363)을 통해 비디오를 전송하는 명령들이 사용자 인터페이스(351-P1)에 전달될 수 있다. 또한, 평가 정보를 제공하는 채널(365)을 통해 평가 정보가 전달될 수 있다. 예를 들어, 도움 세션 이후, 플레이어(P1)는 채널(365)을 통해 도움 세션의 평가를 제공할 수 있다. 또한, 플레이어(P1)는 전문가(E5)의 전반적인 성능의 평가(예를 들어, 성격, 유용성, 스포일러 공개 제어 능력, 게이밍 애플리케이션에 대한 지식의 깊이 등)를 제공할 수 있다. 또한 전문가(E5)는 플레이어(P1)의 평가를 제공할 수 있다(예를 들어, 협력 수준, 도움을 받을 수 있는 능력, 성격, 감사 등).
일 실시 예에서, 도움 세션은 사용자의 게임 플레이와 동시에 플레이어(P1)과 연관된 제2 컴퓨팅 디바이스상에서 구현된다. 예를 들어, 일 실시 예에서는, 사용자의 게임 플레이를 나타내는 데이터를 플레이어(P1)의 제1 컴퓨팅 디바이스에 전달하도록 수립된 제1 통신 채널, 및 도움 세션과 연관된 데이터를 플레이어(P2)의 제2 컴퓨팅 디바이스에 전달하도록 수립된 제2 통신 채널과 같이, 정보를 전달하는 두 개의 통신 채널이 있을 수 있다. 예를 들어, 제1 컴퓨팅 디바이스는 로컬 게임 콘솔 및/또는 디스플레이일 수 있고, 제2 컴퓨팅 디바이스는 스마트 폰일 수 있다. 다른 실시 예에서, 도움 세션은 이를테면 게임 플레이를 보여주는 제1 스크린 및 도움 세션을 보여주는 제2 스크린을 포함하는 분할 스크린을 통해, 사용자의 게임 플레이를 나타내는 데이터와 함께 전달될 수 있다.
도 4 내지 도 13은 하나 이상의 게이밍 애플리케이션과 관련하여 문의 또는 관련 문의 시퀀스를 입력하는 플레이어의 다양한 예의 도해들이다. 플레이어는 대응하는 게이밍 애플리케이션을 플레이할 때, 또는 게이밍 애플리케이션 플레이와 관계 없이(예를 들어, 여행 중, 회의 중, 수업 중 등) 행동할 수 있다.
도 4a는 본 개시의 일 실시 예에 따라, 로컬 게이밍 콘솔 또는 클라우드 게임 네트워크상에서 실행되는 게이밍 애플리케이션을 플레이하는 플레이어에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스(11)의 홈 페이지 스크린(405)을 도시한다. 안내용 모바일 디바이스(11)는 디바이스(11)상에서 찾아지는 것과 상이한 디스플레이상에 제시되는 게임 플레이를 지원한다. 홈 페이지 스크린(405)은 게이밍 애플리케이션에서 게임 플레이의 현재 위치에 기초하여 변할 수 있는 배경 이미지를 포함한다. 예를 들어, 뒤쪽의 이미지가 예시를 위해 게이밍 애플리케이션 Horizon Zero Dawn에서 찾아지는 마을의 실루엣일 수 있다.
아이콘(401)은 북마크에 대한 액세스를 제공한다. 일 실시 예에서, 북마크는 게임 플레이를 제시하는 디스플레이로부터 푸시되는 콘텐츠를 포함할 수 있다. 예를 들어, "추가 읽기"를 위해 북마크를 통해 액세스될 수 있는 온스크린 디스플레이 사용자 인터페이스로부터 콘텐츠가 푸시될 수 있다.
아이콘(410)은 플레이어가 말하기를 통해 문의를 입력할 수 있게 하는 마이크 기능을 보여준다. 게임 지원 기능은 다음 몇 개의 문장 중 적어도 하나가 문의를 포함할 수 있음을 나타내는 트리거 단어를 통해 활성화될 수 있다. 일반 필드(407)는 게임 지원 기능이 켜져 있음을 나타낸다. 그러나 게임 지원 기능은 검색 필드에 텍스트 포맷의 문의들을 수동으로 타이핑하는 것(예를 들어, "타이핑 또는 말하기" 풍선)을 포함하여 임의의 다수의 방법을 통해 입력될 수 있다. 말하기가 옵션이 아닐 때(예를 들어, 수업 중)에는 타이핑이 수행될 수 있다.
빠른 검색 버튼들(415)은 플레이어가 빠른 검색 버튼들(415) 중 하나를 선택함으로써 문의를 선택할 수 있게 한다. 예를 들어, 플레이어는 "도와주세요" 또는 "이제 어떻게 해요?" 또는 "제가 놓친 거 있나요?"와 같은 문의들을 포함하는 다양한 버튼간에서 선택할 수 있다. 예를 들어, 빠른 검색 버튼(415D)은 "가장 가까운 보건"이라는 문의를 제공한다. 빠른 검색 버튼들은 텍스트 지침들이나 오디오 지침들을 제공하지 않고 플레이어를 조종하는 데 도움이 되도록 선택됨에 따라 점진적으로 변할 수 있다. 빠른 검색 버튼들은 게임 플레이를 제시하는 텔레비전 또는 디스플레이의 사용자 인터페이스에서 사용될 수 있는 바로가기 행위들에 대한 교육 도구 역할을 할 수 있다.
또한, 컨텍스트 카드들(420)은 토픽 또는 개체 그룹에 관한 정보를 제공한다. 예를 들어, 컨텍스트 카드는 특정 위치(예를 들어, Hunter’s Lodge)에 관한 정보를 제공할 수 있거나, 또는 특정 캐릭터(예를 들어, Talanah Khane Padish)에 관한 정보를 제공할 수 있다. 다른 예에서, 컨텍스트 카드(420C)는 게이밍 애플리케이션 Horizon Zero Dawn에서 Thunderjaw 짐승인 Redmaw와 같은 특정 적 짐승에 관한 정보를 제공할 수 있다.
도 4b는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스(11)상의 빠른 검색 버튼(415D)의 선택을 도시한다. 특히, 도 4b는 플레이어에 의한 문의에 대한 응답을 디스플레이할 때 안내용 모바일 디바이스와 디스플레이(12) 간의 상호 작용을 도시하며, 이때 디스플레이(12)가 플레이어의 게임 플레이를 제시하도록 구성된다. 특히, 사용자의 캐릭터가 치유하거나 추가 생명을 얻을 수 있도록, "가장 가까운 보건" 위치를 요청하는 안내용 모바일 디바이스(예를 들어, 빠른 검색 버튼(415D)의 선택)로부터 문의가 제시된다. 빠른 검색 버튼의 문의에 대한 응답은 모바일 디바이스(11)와 별도의 디스플레이(12)상에 표시된다. 예를 들어, 모바일 디바이스(11)의 스크린은 문의(415D)가 "가장 가까운 보건"임을 보여주고, 또한 응답(맵)이 디스플레이(12)상에 제시됨을 나타내는 지침들(435A)을 제공한다. 특히, Horizon Dawn에 대한 게이밍 환경의 맵(430)은 현재 위치 "Aloy" 및 가장 가까운 보건 위치를 보여주는 마커(435B)를 보여준다. 그에 따라, 플레이어는 하나의 디바이스상에 문의를 입력하고 다른 디바이스상에서 응답을 수신할 수 있다.
도 4c는 본 개시의 일 실시 예에 따라, 게이밍 지원을 제공하도록 구성된 도 4a의 안내용 모바일 디바이스와, 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이를 제시하고 플레이어를 요청된 정보에 대해 모바일 디바이스로 안내하는 디스플레이(12) 간 상호 작용을 도시한다. 특히, 문의가 플레이어에 의해 도 4a의 안내용 모바일 디바이스(11)상의 빠른 검색 버튼(420C)("Redmaw")을 선택하여 입력될 수 있다. 문의는 이를테면 독립형 스피커 또는 게임 콘솔에 연결된 스피커 등을 통해 입력될 수 있다. 일 실시 예에서, 문의는 디스플레이(12)상의 스피커를 통해 또는 디스플레이(12)상의 검색 상자를 통해 입력된다. 문의에 대한 응답은 또한 안내용 모바일 디바이스(11)의 스크린상에 제시될 수도 있다. 예를 들어, 이미지(450B)는 Redmaw의 사진을 보여주고, 창(450C)은 다음과 같은 Redmaw에 대한 관련 정보를 제공한다: “Redmaw는 전설적인 Thunderjaw이며 ….”
또한, 게임 플레이를 보여주고 있는 디스플레이(12)상에 포인터 지침이 제공될 수 있다. 예를 들어, 지침(450A)은 문의에 대한 응답이 안내용 모바일 디바이스(11)상에 제시됨을 나타낸다 - "Redmaw에 대한 추가 정보를 전화로 전송했습니다." 그러한 방식으로, 플레이어가 게임 플레이에 몰두할 경우, 플레이어는 응답이 안내용 모바일 디바이스(11)상에 있음을 조용히 상기한다. 그에 따라, 플레이어는 하나의 디바이스상에 문의를 입력하고 다른 디바이스상에서 응답을 수신할 수 있다.
도 4d는 본 개시의 일 실시 예에 따라, 현재 게이밍 애플리케이션을 플레이하고 있지 않지만, 지원을 위해 백-엔드 서버에 게이밍 애플리케이션과 관련된 문의를 제시하는 사용자에 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스를 도시한다. 예를 들어, 사용자는 직장에 있거나 여행 중일 수 있다. 사용자는 게이밍 애플리케이션에 대한 일반 정보, 또는 하나 이상의 게이밍 애플리케이션을 플레이하는 소셜 네트워크 친구와 관련된 정보를 원할 수도 있고, 한 명 이상의 친구와 게임 세션을 스케줄링하기를 원할 수도 있다. 또한, 사용자가 다른 보다 구체적인 정보를 요청할 수도 있다. 예를 들어, 사용자 - River Hsu - 는 "플레이스테이션"(미도시)과 같은 트리거 단어들을 말함으로써 모바일 디바이스(11)를 통해 게임 지원 서버와의 도움 세션을 개시할 수 있다. 그러한 방식으로, 게이밍 지원 애플리케이션(예를 들어, 플레이스테이션 지원)이 문의를 예상하여 로컬에서 시작되거나 다시 시작되며, 이때 게이밍 지원 애플리케이션은 원격 디바이스들간 인터페이싱을 제공할 수 있다. 그 다음 사용자는 "내가 God of War® 플레이를 언제 시작했나요?"를 묻는 문의(460A)(예를 들어, 모바일 디바이스(11)상의 마이크로폰을 통해 구두로)을 입력할 수 있다. 그 다음 문의가 수신되어 문의를 처리하는 백-엔드 게임 지원 서버로 전달된다. 예를 들어, 백-엔드 게임 지원 서버는 현재 컨텍스트를 고려하여 문의를 적절한 응답에 매칭시키도록 딥 러닝 엔진을 구현할 수 있다. 문의는 게이밍 애플리케이션 플레이를 벗어나 제시되기 때문에, 컨텍스트가 지나치게 충분하지 않을 수 있으므로, 문의는 일반화된 질문보다는 더 많은 정보를 요청할 수 있다. 문의에는 게이밍 애플리케이션의 타이틀(예를 들어, God of War®)이 포함되기 때문에, 문의 매칭을 위한 충분한 컨텍스트가 제공된다. 이와 같이, 게이밍 애플리케이션의 사용자의 게임 플레이 전반에 걸쳐 사용자로부터 수집된 정보(예를 들어, 글로벌 및 게임 컨텍스트들)에 기초하여, 응답이 매칭 및/또는 생성될 수 있다. 를 들어, 응답(460B)은 사용자가 2017년 12월에 게이밍 애플리케이션을 플레이하기 시작했음을 나타낼 수 있다.
또한, 후속 질문이 사용자가 얼마나 오래 플레이했는지, 사용자가 게임을 얼마나 오래 플레이했는지와 사용자가 게임을 얼마나 많이 완료했는지 묻는 두 번째 문의(470A)로 입력된다. 응답(470B)은 게임 지원 서버에 의해 매칭 및/또는 생성되며, 이때 응답은 사용자가 총 약 16시간 동안 게임을 했고 게이밍 애플리케이션의 과업들의 약 27%를 완료했으며 게이밍 세계(예를 들어, 열린 세계 환경)의 55%를 방문했음을 나타낸다.
도 4e는 본 개시의 일 실시 예에 따라, 플레이어의 게임 플레이를 지원시 사용자에게 게이밍 지원을 제공하도록 구성된 안내용 모바일 디바이스(11)를 도시한다. 모바일 디바이스(11)의 사용자 인터페이스는 게임 플레이가 게이밍 애플리케이션 Horizon Zero Dawn®에 대한 것이고, 제공된 정보가 플레이스테이션 지원 애플리케이션에서 유래한 것임을 나타내는 헤더(510)를 포함한다. 푸터 영역(footer region)(520)은 헤드 업 디스플레이 기능(HUD, heads up display feature), 가이드들로의 링크, 문의들 및 응답들 이력으로의 링크 및 메시징으로의 링크와 같은 플레이스테이션 지원에 의해 제공되는 다양한 기능으로의 링크들을 포함한다. 예를 들어, 플레이어는 게이밍 애플리케이션의 게이밍 환경의 특정 위치에서 플레이하고있을 수 있고, 묘약 및 전투의 위치들을 묻는 문의를 입력한다. 백-엔드 게임 지원 서버는 딥 러닝 엔진을 통해 게임 플레이의 현재 컨텍스트를 사용하여 문의를 처리한다. 응답은 게이밍 환경 내에서 플레이어의 캐릭터를 보여주는 중앙 위치를 포함하여 게이밍 환경의 맵을 포함하도록 생성될 수 있다. 또한, 플레이어 캐릭터의 위치에 대하여 묘약 및 전투의 위치들이 제시된다.
도 5a 내지 도 5b는 본 개시의 일 실시 예에 따라, 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스(11)의 사용을 도시한다. 특히, 모바일 디바이스(11)의 스크린 샷은 게임 플레이가 게이밍 애플리케이션 Horizon Zero Dawn®에 대한 것이고, 제공된 정보가 플레이스테이션 지원 애플리케이션에서 유래한 것임을 나타내는 헤더(510)를 포함하고, 헤드 업 디스플레이 기능(HUD, heads up display feature), 가이드들로의 링크, 문의들 및 응답들 이력으로의 링크 및 메시징으로의 링크와 같은 플레이스테이션 지원에 의해 제공되는 다양한 기능으로의 링크들을 포함하는 푸터 영역(520)을 포함한다. 헤더(510) 및 푸터 영역(520)은 도 6 내지 도 7의 사용자 인터페이스들에 도시될 수 있다. 플레이어 - River Hsu - 는 전술한 바와 같이 이를테면 트리거 단어를 통해, 이미 플레이스테이션 지원 애플리케이션을 트리거했다. 그러한 것으로, 플레이스테이션 지원으로부터의 통신(515)은 애플리케이션이 플레이어로부터의 문의들을 받아 들일 준비가 되었음을 나타낸다. 플레이어는 게이밍 애플리케이션을 플레이하고 있으며, 이때 게임 플레이는 별도의 디스플레이상에 제시될 수 있다. 이와 같이, 문의는 게임 플레이를 지원할 수 있다. 특히, 플레이어에 의한 문의(517)는 "이 드래곤을 어떻게 암살하죠?"라고 묻는다. 문의가 컨텍스트 데이터(게임 컨텍스트 및 글로벌 컨텍스트 데이터를 포함)와 함께 입력되기 때문에, 문의는 적절한 응답에 매칭될 수 있다. 게임 지원 서버는 플레이스테이션 지원 애플리케이션을 통해 이를테면 딥 러닝 엔진 프로세스 등을 통해 응답을 생성한다. 예를 들어, 드래곤의 취약성에 대한 정보를 얻기 위한 버튼(525A)을 선택하거나 드래곤을 물리치기 위한 전략에 대한 정보를 얻기 위한 버튼(527)을 선택함으로써, 정보가 이용 가능함을 나타내는 플레이스테이션 지원으로부터의 통신(515)에 의해 응답이 도입된다. 또한, 게임 플레이의 게임 컨텍스트(예를 들어, 플레이어 캐릭터의 현재 위치)를 고려하여, 플레이스테이션 지원은 게임 플레이에 가까운 시간이나 위치에 제시되는 어려움들을 통해 플레이어를 돕는 "가이드들"을 제시(예를 들어, 예정된 내용에 대한 미리 알림 또는 몇 가지 팁을 제공)할 수 있다. 예를 들어, 버튼(528)은 강철 검을 얻는 방법을 설명하는 가이드에 대한 액세스를 제공한다.
플레이어 - River Hsu - 는 더 많은 정보를 얻기 위해 취약성 버튼(525A)을 선택할 수 있다. 도 5b에 도시된 바와 같이, 헤딩(525B)은 Thunderjaw 드래곤의 취약점들을 보여준다. 드래곤과 싸우는 방법에 대한 팁들을 제공하는 추가 정보도 또한 제공될 수 있다. 또한, 플레이어가 Thunderjaw 드래곤과 관련된 더 많은 정보를 원하는 경우, 버튼들(530)은 드래곤을 이기는 방법에 대한 팁들을 제공하는 "전략", 및 특정 영역들에서 드래곤이 얼마나 강한지에 대한 정보를 제공하는 "저항"으로의 링크들을 제공하며, 이는 드래곤을 이기는 방법에 대한 정보를 제공할 수 있다.
도 6a 내지 도 6g는 본 개시의 일 실시 예에 따라, 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 탐색하도록 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스의 사용을 도시한다. 특히, 각각의 도면들에 도시된 바와 같이, 모바일 디바이스(11)의 스크린 샷들은 게임 플레이가 게이밍 애플리케이션 Horizon Zero Dawn®에 대한 것이고, 제공된 정보가 플레이스테이션 지원 애플리케이션에서 유래한 것과 제공되는 정보가 플레이스테이션 지원 애플리케이션으로부터 제공됨을 나타내는 헤더(510) 및 포함한다. 푸터 영역(footer region)(520)은 전술한 바와 같이, 플레이스테이션 지원에 의해 제공되는 다양한 기능으로의 링크들을 포함한다. 각각 도 6a에 도시된 바와 같이 링크 또는 대응하는 버튼을 통해 액세스 가능한 다양한 카테고리의 정보가 플레이어에 제공된다. 예를 들어, 버튼(630A)은 도 6a 내지 도 6g에 제공되는 바와 같이, 게이밍 애플리케이션에 대한 단계별 절차들에 대한 액세스를 제공하며, 이는 선택될 때 단계별 절차들과 관련된 정보 트리에 대한 액세스를 제공한다.
도 6b는 도 6a의 버튼(630A)을 선택한 후, 모바일 디바이스(11)의 스크린 샷상의 하나 이상의 단계별 절차를 도시한다. 버튼(630B)은 사용자를 도 6a의 스크린으로 되돌리는 뒤로 가기 버튼이다. 도시된 바와 같이, 단계별 절차들(635)은 메인 퀘스트 단계별 절차, 사이드 퀘스트 단계별 절차(버튼(640A)을 통해 선택 가능) 및 사환 단계별 절차를 포함하며, 이들 각각은 대응하는 버튼을 통해 선택 가능하다. 다른 레이어에서, 도 6c는 도 6b에서 버튼(640A)을 선택한 후 하나 이상의 사이드 퀘스트 및 그것들의 단계별 절차들을 도시한다. 도시된 바와 같이, 사이드 퀘스트들(645)은 안내용 사이드 퀘스트, College of Winterhold 사이드 퀘스트(버튼(650A)을 통해 선택 가능) 및 Thieves’ Guild 사이드 퀘스트를 포함하며, 이들 각각은 대응하는 버튼을 통해 선택 가능하다. 뒤로 가기 버튼(640B)은 플레이어를 도 6b의 사용자 인터페이스로 되돌린다.
다른 레이어에서, 도 6d는 College of Winterhold 사이드 퀘스트에 대한 단계별 절차를 도시하며, 여기서 버튼(650B)은 플레이어를 도 6c에 도시된 사용자 인터페이스로 되돌린다. 특히, 처음 레슨(완료됨), Under Saarthal(버튼(660A)을 통해 선택 가능) 등을 포함하여 섹션(655)에 단계별 절차들이 제공되며, 이들 각각은 대응하는 버튼을 통해 선택 가능하다. 다른 레이어에서,도 6e는 버튼(660A)을 선택한 후 "Under Saarthal" 단계에 대한 특정 단계별 절차를 도시하며, 이때 버튼(660B)은 플레이어를 도 6d에 제공된 사용자 인터페이스로 되돌린다. 이러한 단계를 실현하는 데 걸리는 시간과 이러한 단계를 완료한 후 어떤 보상을 받는지를 포함한 일반 정보가 제공된다. 버튼(670A)은 단계별 절차를 시작한다.
다른 레이어에서, 도 6f는 "Under Saarthal" 단계 및 그것의 단계별 절차에서 수행되어야 하는 개별 행위들을 보여준다. 도 1은 단계 정보에 액세스하기 위한 "단계들"(671)의 섹션을 보여준다. 예를 들어, 단계별 절차의 단계 1이 보여지고(Tolfir 만나기), 단계 2도 보여진다(Arnial 찾기). 요청시 플레이어에 추가 부분들이 보여질 수 있다(예를 들어, 아래로 스크롤). 다른 레이어에서, 도 6g는 단계별 절차들을 보기 위한 옵션에 액세스하기 위한 도 6f에서의 "미디어"(672)의 선택을 보여준다. 예를 들어, 별개의 디바이스로 메일링될 수 있는 엔벨로프(673)를 통해 전체 단계별 절차에 액세스 가능하다. 단계별 절차의 각 단계에 대한 구체적인 단계들 또는 하위 단계들에도 액세스 가능할 수 있다. 도시된 바와 같이, 단계 1(Tolfir 만나기)에 대해 하나 이상의 하위 단계가 메일링되는 엔벨로프를 통해 액세스될 수 있고(예를 들어, 디지털), 단계 2(Arnial 찾기)에 대해 하나 이상의 하위 단계가 메일링되는 엔벨로프들을 통해 액세스될 수 있다.
도 7은 본 개시의 일 실시 예에 따라, 통신 세션을 통해 플레이어를 전문가에 연결하기 위한 옵션이 제시되는 별개의 디스플레이상에 제시되는 게이밍 애플리케이션의 플레이어의 게임 플레이와 관련된 게이밍 지원을 위한 안내용 모바일 디바이스(11)의 사용을 도시한다. 특히, 모바일 디바이스(11)의 스크린 샷은 전술한 바와 같이 게임 플레이가 게이밍 애플리케이션 Horizon Zero Dawn®에 대한 것이고, 제공된 정보가 플레이스테이션 지원 애플리케이션에서 유래한 것임을 나타내는 헤더(510), 및 플레이스테이션 지원에 의해 제공되는 다양한 기능으로의 링크들을 제공하는 푸터 영역(520)을 포함한다.
플레이어 - River Hsu - 는 전술한 바와 같이 이를테면 트리거 단어를 통해, 이미 플레이스테이션 지원 애플리케이션을 트리거했다. 그러한 것으로, 플레이스테이션 지원으로부터의 통신(720)은 애플리케이션이 플레이어로부터의 문의들을 받아 들일 준비가 되었음을 나타낸다. 플레이어는 게이밍 애플리케이션을 플레이하고 있으며, 이때 게임 플레이는 별도의 디스플레이상에 제시될 수 있다. 이와 같이, 문의는 게임 플레이를 지원할 수 있다. 특히, 플레이어에 의한 문의(735)는 "Cauldron Zeta 입구"를 찾는 방법에 대한 정보를 묻는다.
게임 지원 서버를 통해 지원되는 플레이스테이션 지원 애플리케이션은 문의를 모델링 또는 생성된 응답과 매칭할 수 없다. 플레이스테이션 지원 애플리케이션으로부터의 통신(720)은 이용 가능한 응답이 없음을 나타낸다. 그러나, 플레이어가 해당 형태의 도움을 받기를 원한다면, 전문가가 실시간 도움 세션에 이용 가능하다. 예를 들어, 플레이스테이션 지원 애플리케이션은 버튼 인터페이스(740A)를 통해 플레이어를 전문가 Aspen Tokokhan(5 성급)에 연결하거나 버튼 인터페이스(740B)를 통해 전문가 Rain-ah(3 성급)에 연결할 수 있다. 옵션으로 제시할 전문가의 선택은 전술되었고, 플레이어의 현재 컨텍스트(예를 들어, 글로벌 및/또는 게임 컨텍스트들)를 바람직하게는 게임을 플레이했던 전문가들의 유사한 컨텍스트들과 매칭하는 것을 수반할 수 있다.
도 8a 내지 도 8g는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 자산을 획득하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 특히, 도 8a 내지 도 8g는 플레이어가 예를 들어, 자산을 획득하는 방법에 대한 정보를 요청하는 획득 의도 프로세스를 도시한다. 정보는 전술한 바와 같이 플레이스테이션 지원 애플리케이션과 같은 게임 지원 서버를 통해 생성 및/또는 매칭되고, 게임 플레이의 비디오/이미지를 또한 보여주는 디스플레이의 창에 제공될 수 있다. 도시된 바와 같이, 플레이어는 Skyrim®과 같은 게이밍 애플리케이션을 플레이하고 있다. 도 8a 내지 도 8g에 도시된 문의들 및 응답들은 게이밍 애플리케이션과 관련이 있다.
특히, 도 8a는 Skyrim 엠블럼(예를 들어, 날아 다니는 드래곤)이 제시된 창을 도시한다. 플레이어의 게임 플레이 또한 상이한 창에 보여진다(예를 들어, 날아 다니는 짐승에게 접근하는 캐릭터). 게임 지원 기능은 사용자가 이용 가능하며, 이때 플레이어는 마이크로폰 아이콘(410)으로 도시된 바와 같이 마이크로폰을 통해 문의들을 입력할 수 있다. 플레이어는 "플레이스테이션"이라는 트리거 단어를 통해 플레이스테이션 지원 애플리케이션을 트리거하는 것으로 도시되어 있다. 입력된 문의는 강철 검 획득에 대한 정보와 관련이 있다. 예를 들어 글로벌 컨텍스트, 게이밍 컨텍스트 및 현재 게임 컨텍스트를 포함하는 게이밍 애플리케이션의 컨텍스트를 고려하여 문의를 적절한 응답에 매칭한 후, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 문의를 응답에 매칭시킬 수 있다. 응답은 강철 검을 얻는 방법에 대한 정보가 도시된 도 8b에 보여진다. 예를 들어, 강철 검은 약탈, 상인, 제작, 퀘스트 완료 등 다양한 기술을 통해 획득될 수 있다.
플레이어는 초기 문의를 보충하는 후속 또는 보충 요청할 수 있다. 예를 들어, 플레이어는 강철 검을 약탈하는 방법을 묻는 문의(예를 들어, 구두의)를 할 수 있다. 도 8c는 후속 문의에 대한 응답을 제시하는 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버를 도시한다. 게임 어시스트 서버는 문의를 적절한 응답에 매칭하기 위해 딥 러닝 엔진의 적용을 통해 매칭을 수행할 수 있다. 예를 들어, 검을 약탈하는 방법에 관한 도 8c 정보에는 다양한 레벨의 보물 상자와 같이 검을 찾을 수 있는 위치들이 포함될 수 있다. 검을 약탈할 수 있는 고정된 위치들에 대한 더 많은 정보를 얻기 위한 옵션이 도 8c에 제공된다. 선택 후, 특정 전리품 위치들이 도 8d에 바위 cairn 또는 Alvor의 벽난로를 포함하는 것으로 제공된다.
도 8e는 초기 문의 또는 중간 문의들에 기초하여 다른 후속 또는 보충 요청과 관련하여 제시된 응답을 도시한다. 예를 들어, 플레이어는 강철 검을 구매하는 방법을 묻는 문의(예를 들어, 구두의)를 할 수 있다. 검을 판매하는 상인들에 대한 정보가 제공되고, 이는 가장 가까운 상인인 Whiterun 마을의 Annie Traveler와 검 가격 - 100 코인을 포함한다. Adrianne Avenicci 및 Arnskar Ember-Master를 포함한 다른 상인들도 도시되어 있다.
플레이어는 초기 문의를 보충하는 후속 또는 보충 요청할 수 있다. 예를 들어, 플레이어는 강철 검을 제작하는 방법을 묻는 문의(예를 들어, 구두의)를 할 수 있다. 도 8f는 이를테면 딥 러닝을 통해 구현된 모델링된 응답과의 매칭을 통해, 후속 문의에 대한 응답을 제시하는 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버를 도시한다. 검을 제작하는 방법에 대한 정보에는 필요한 재료들 및 검을 만드는 위치 - 대장간의 - 가 포함된다.
도 8g는 초기 문의 또는 중간 문의들에 기초하여 다른 후속 또는 보충 요청과 관련하여 제시된 응답을 도시한다. 예를 들어, 플레이어는 퀘스트들을 통해 강철 검을 획득하는 방법을 묻는 문의(예를 들어, 구두의)를 할 수 있다. Wolf Queen Awakened 퀘스트 및 Laid to Rest 퀘스트를 포함하여 강철 검 보상을 제공하는 하나 이상의 퀘스트에 대한 정보가 제공된다. 각각의 퀘스트들에 대한 단계별 절차들에는 도시된 바와 같이 링크들을 통해 액세스할 수 있다.
도 9a 내지 도 9c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 상대를 물리치는 방법에 관한 정보를 요청하는 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 특히, 도 8a 내지 도 8g는 플레이어가 예를 들어, 짐승 또는 상대를 물리치는 방법에 대한 정보를 요청하는 격파 의도 프로세스를 도시한다. 정보는 전술한 바와 같이 플레이스테이션 지원 애플리케이션과 같은 게임 지원 서버를 통해 생성 및/또는 매칭될 수 있다. 도시된 바와 같이, 플레이어는 Skyrim®과 같은 게이밍 애플리케이션을 플레이하고 있다. 도 9a 내지 도 9g에 도시된 문의들 및 응답들은 게이밍 애플리케이션과 관련이 있다.
특히, 도 9a는 플레이어의 게임 플레이를 제시하는 창을 도시한다(예를 들어, 날아 다니는 짐승 - 드래곤 Mirmulni에 접근하는 캐릭터). 게임 지원 기능은 사용자가 이용 가능하며, 이때 플레이어는 마이크로폰 아이콘(410)으로 도시된 바와 같이 마이크로폰을 통해 문의들을 입력할 수 있다. 플레이어는 "플레이스테이션"이라는 트리거 단어를 통해 플레이스테이션 지원 애플리케이션을 트리거하는 것으로 도시되어 있다. 입력된 문의는 게임 플레이에 보여지는 드래곤(Mirmulni)을 물리치는 정보와 관련이 있다. 예를 들어 글로벌 컨텍스트, 게이밍 컨텍스트 및 현재 게임 컨텍스트를 포함하는 게이밍 애플리케이션의 컨텍스트를 고려하여 문의를 적절한 응답에 매칭한 후, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 문의를 응답에 매칭시킬 수 있다. 응답은 드래곤 Mirmulni를 물리치는 방법에 대한 정보가 도시된 도 9a에 보여진다. 예를 들어, 전략 카테고리 및 공격 카테고리를 포함하여 드래곤을 물리치는 방법에 대해 학습하는 것에 관한 정보의 두 섹션/카테고리가 액세스될 수 있다.
플레이어는 전략 카테고리를 선택할 수 있다(예를 들어, 구두로). 드래곤 Mirmulni와 전투할 때 사용할 좋은 전략에 대한 정보가 보여지고, 이는 유용한 팁들(예를 들어, 건강 회복을 위해 숨는 것 등)을 포함한다. 또한, 도 9b는 플레이어가 요청된 섹션의 명칭(예를 들어, 전략 또는 공격)을 언급함으로써 섹션들간을 뛰어 넘을 수 있음을 도시한다. 또한, 플레이어는 "도움 종료"를 언급함으로써 언제든지 플레이스테이션 지원 애플리케이션을 종료할 수 있다.
도 9c는 문의에서 카테고리를 선택하는(예를 들어, 구두 지시를 통해) 플레이어에 응답하여 제공되는 공격 섹션하의 정보를 포함한다. 공격 정보에는 밀리 공격(melee attack)(예를 들어, 측면 공격), 마법 사용(예를 들어, 불을 피하는 주문), 활과 화살 무기에 대한 정보(드래곤이 착륙할 때 쏘기)가 포함된다.
도 10a 내지 도 10d는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 개체 또는 위치를 찾기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 특히, 도 10a 내지 도 10d는 플레이어가 예를 들어, 위치에 대한 방향들을 요청하는 찾기 의도 프로세스를 도시한다. 정보는 전술한 바와 같이 플레이스테이션 지원 애플리케이션과 같은 게임 지원 서버를 통해 생성 및/또는 매칭될 수 있다. 도시된 바와 같이, 플레이어는 Skyrim®과 같은 게이밍 애플리케이션을 플레이하고 있다. 도 10a 내지 도 10d에 도시된 문의들 및 응답들은 게이밍 애플리케이션과 관련이 있다.
특히, 도 10a는 플레이어의 게임 플레이를 제시하는 창을 도시한다(예를 들어, 강 위를 덮는 다리에 접근하는 캐릭터). 게임 지원 기능은 사용자가 이용 가능하며, 이때 플레이어는 마이크로폰 아이콘으로 도시된 바와 같이 마이크로폰을 통해 문의들을 입력할 수 있다. 플레이어는 "플레이스테이션"이라는 트리거 단어를 통해 플레이스테이션 지원 애플리케이션을 트리거하는 것으로 도시되어 있다. 입력된 문의는 특정 위치 - Bleak Falls로의 방향들을 획득하는 것에 대한 정보와 관련이 있다.
예를 들어 글로벌 컨텍스트, 게이밍 컨텍스트 및 현재 게임 컨텍스트를 포함하는 게이밍 애플리케이션의 컨텍스트를 고려하여 문의를 적절한 응답에 매칭한 후, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 문의를 응답에 매칭시킬 수 있다. 응답은 방향 정보가 도시되어 있는 도 10b에 보여진다. 예를 들어, 게임 플레이에 보여지는 현재 위치로부터 Bleak Falls Barrow에 도달하기 위한 단계별 지침들이 제공된다. 또한, 근처의 보물 상자에 대한 정보도 제공될 수 있다(예를 들어, 탑 내).
플레이어는 초기 문의를 보충하는 후속 또는 보충 요청할 수 있다. 예를 들어, 플레이어는 Bleak Falls Barrow 지역을 나가는 방법을 묻는 문의(예를 들어, 구두의)를 할 수 있다. 도 10c는 이를테면 딥 러닝을 통해 구현된 모델링된 응답과의 매칭을 통해, 후속 문의에 대한 응답을 제시하는 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버를 도시한다. 나가는 방법에 대한 정보는 도 10d에 제공된다. 구체적으로, 동굴로 가서 레버를 당겨 들어감으로써 Bleak Falls Barrow를 떠나는 방법에 관한 단계별 지침들이 제공된다. 근처의 적들(예를 들어, Draugr) 및 근처의 보물에 대한 정보를 포함하는 추가 정보가 제공된다. 플레이스테이션 지원 애플리케이션은 플레이어와 실행 중인 대화를 가질 수 있지만, 응답이 제공됨을 나타낸다. 또한, 플레이어는 중지할 것을 구두로 지시함으로써 언제든지 플레이스테이션 지원 애플리케이션을 종료할 수 있다.
도 11a 내지 도 11b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 기본 의도 및 보조 의도, 이를테면 과업을 실현하기 위한 요구 사항(예를 들어, Whiterun의 General Tullius를 만나는 것)을 갖는 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 예를 들어, Bleak Falls Barrow를 탐색하는 동안, 플레이어는 또한 부차적인 퀘스트 과업도 맡을 수 있다. 이는 아이콘을 통해 표기될 수 있다. 예를 들어, Bleak Falls Barrow로의 방향들에 제공되는 단계들 중 하나가 게임 플레이에서 캐릭터가 General Tullius에 접근할 것을 요구할 수 있다. 플레이어는 General Tullius가 누구인지 묻는 문의를 입력할 수 있다. 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 응답이 제공됨을 나타낼 수 있다. 또한, 플레이어는 부차적인 의도(예를 들어, General Tullius 만나기)를 입력하고 종료하기 위해 방향들을 종료하거나 방향들을 재개할 수 있다. 도 11b에 도시된 바와 같이, General Tullius에 대한 정보는 전기 정보와 그의 현재 위치를 포함하여 제공된다. 또한, 플레이어는 Whiterun의 위치, 보다 구체적으로 General Tullius의 위치를 보여주는 맵에 대한 액세스를 요청할 수 있다.
도 12a 내지 도 12c는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 과업을 실현하는 방법을 학습하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 특히, 도 12a 내지 도 12c는 예를 들어, 플레이어가 퍼즐을 푸는 방법을 요청하는 학습 의도 프로세스를 도시한다. 정보는 전술한 바와 같이 플레이스테이션 지원 애플리케이션과 같은 게임 지원 서버를 통해 생성 및/또는 매칭될 수 있다. 도시된 바와 같이, 플레이어는 Skyrim®과 같은 게이밍 애플리케이션을 플레이하고 있다. 도 12a 내지 도 12c에 도시된 문의들 및 응답들은 게이밍 애플리케이션과 관련이 있다.
특히, 도 12a는 플레이어의 게임 플레이를 제시하는 창을 도시한다(예를 들어, 키스톤 잠금 장치가 있는 캐릭터). 게임 지원 기능은 사용자가 이용 가능하며, 이때 플레이어는 마이크로폰 아이콘으로 도시된 바와 같이 마이크로폰을 통해 문의들을 입력할 수 있다. 플레이어는 "플레이스테이션"이라는 트리거 단어를 통해 플레이스테이션 지원 애플리케이션을 트리거하는 것으로 도시되어 있다. 입력된 문의는 게임 플레이에 보여지는 키스톤을 잠금 해제하는 방법에 대한 정보와 관련이 있다. 예를 들어 글로벌 컨텍스트, 게이밍 컨텍스트 및 현재 게임 컨텍스트를 포함하는 게이밍 애플리케이션의 컨텍스트를 고려하여 문의를 적절한 응답에 매칭한 후, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 문의를 응답에 매칭시킬 수 있다. 응답은 키스톤을 잠금 해제하는 방법에 대한 정보가 도시된 도 12b에 보여진다. 예를 들어, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 응답이 제공됨을 나타낼 수 있고, 속기의 단서 - "Arvel의 저널에 들르기" - 를 제공한다. Arvel의 저널로의 링크가 또한 제공되고, 선택될 때 적절한 저널 진입을 보여준다.
플레이어는 초기 문의를 보충하는 후속 또는 보충 요청할 수 있다. 예를 들어, 플레이어는 구체적으로 Arvel의 저널 진입에 중요한 것을 묻는 문의(예를 들어, 구두의)를 할 수 있다. 도 12c는 이를테면 딥 러닝을 통해 구현된 모델링된 응답과의 매칭을 통해, 후속 문의에 대한 응답을 제시하는 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버를 도시한다. 황금 발톱이 어떻게 해결책인지에 대한 정보가 제공된다. 또한, 출입문 코드도 제공된다(예를 들어, 곰 - 나방 - 올빼미).
도 13a 내지 도 13b는 본 개시의 일 실시 예에 따라, 게이밍 애플리케이션의 플레이어의 게임 플레이 및 게이밍 애플리케이션에 대한 어떤 것(예를 들어, 적 전투원)을 이해하기 위한 문의에 응답하여 제공되는 일련의 연결된 정보 계층을 제시하는 디스플레이의 사용을 도시한다. 특히, 도 13a 내지 도 13b는 플레이어가 예를 들어, 개체에 대한 정보를 요청하는 이해 의도 프로세스를 도시한다. 정보는 전술한 바와 같이 플레이스테이션 지원 애플리케이션과 같은 게임 지원 서버를 통해 생성 및/또는 매칭될 수 있다. 도시된 바와 같이, 플레이어는 Skyrim®과 같은 게이밍 애플리케이션을 플레이하고 있다. 도 13a 내지 도 13b에 도시된 문의들 및 응답들은 게이밍 애플리케이션과 관련이 있다.
특히, 도 13a는 플레이어의 게임 플레이를 제시하는 창을 도시한다(예를 들어, 알려지지 않은 생물체를 만난 캐릭터). 게임 지원 기능은 사용자가 이용 가능하며, 이때 플레이어는 마이크로폰 아이콘으로 도시된 바와 같이 마이크로폰을 통해 문의들을 입력할 수 있다. 플레이어는 "플레이스테이션"이라는 트리거 단어를 통해 플레이스테이션 지원 애플리케이션을 트리거하는 것으로 도시되어 있다. 입력된 문의는 알려지지 않은 개체에 대한 정보와 관련이 있다 - "저것은 무엇인가!". 생물체와 플레이어의 캐릭터가 전투에 참여함에 따라 긴급함이 암시된다. 예를 들어 글로벌 컨텍스트, 게이밍 컨텍스트 및 현재 게임 컨텍스트를 포함하는 게이밍 애플리케이션의 컨텍스트를 고려하여 문의를 적절한 응답에 매칭한 후, 플레이스테이션 지원 애플리케이션을 지원하는 게임 지원 서버는 문의를 응답에 매칭시킬 수 있다. 응답은 생물체(예를 들어, Draugr)에 대한 정보가 도시된 도 13b에 보여진다. 예를 들어, 정보에는 생물체에 대한 일반 정보뿐만 아니라 Draugr Thrall, Restless Draugr 등 상이한 유형들의 Draugr 이미지가 포함된다. 추가 정보도 요청될 수 있다.
도 14는 본 개시의 다양한 실시 예의 양태들을 수행하는 데 사용될 수 있는 예시적인 디바이스(1400)의 구성요소들을 도시한다. 예를 들어, 도 14는 일 실시 예에 따라, 이를테면 게이밍 애플리케이션과 관련된 사용자의 문의(문의는 딥 러닝 엔진을 사용하여 모델링된 응답과 매칭됨)에 응답하여 게이밍 지원을 제공하여, 사용자를 지원하는 서비스들을 제공하는 디바이스를 구현하는 데 적합한 대표적인 하드웨어를 도시한다. 이러한 블록도는 본 개시의 일 실시 예를 실행하는 데 적합한 개인용 컴퓨터, 비디오 게임 콘솔, 개인용 디지털 어시스턴트, 또는 다른 디지털 디바이스를 통합할 수 있거나 그러한 것일 수 있는 디바이스(1400)를 도시한다. 디바이스(1400)는 소프트웨어 애플리케이션들 및 선택적으로 운영 체제를 실행하기 위한 중앙 프로세싱 유닛(CPU)(1402)을 포함한다. CPU(1402)는 하나 이상의 동종 또는 이종 프로세싱 코어로 구성될 수 있다. 예를 들어, CPU(1402)는 하나 이상의 프로세싱 코어를 갖는 하나 이상의 범용 마이크로 프로세서이다. 추가 실시 예들은 미디어 및 쌍방향 엔터테인먼트 애플리케이션들과 같은 고도로 병렬 및 계산 집약적인 애플리케이션들, 또는 전술된 바와 같이, 게이밍 애플리케이션과 관련된 사용자의 문의에 응답하여 게이밍 지원을 제공하도록 구성된 애플리케이션들을 위해 특별히 구성된 마이크로 프로세서 아키텍처들은 갖춘 하나 이상의 CPU를 사용하여 구현될 수 있다. 디바이스(1400)는 지원을 요청하는 플레이어(예를 들어, 게임 콘솔)에 로컬라이징되거나, 플레이어로부터 원격(예를 들어, 백-엔드 게임 지원 프로세서)일 수 있다.
메모리(1404)는 CPU(1402)에 의한 사용을 위한 애플리케이션들 및 데이터를 저장한다. 저장 장치(1406)는 애플리케이션들 및 데이터를 위한 비휘발성 저장 장치 및 기타 컴퓨터 판독 가능 매체를 제공하고 고정 디스크 드라이브들, 이동식 디스크 드라이브들, 플래시 메모리 디바이스들 및 CD-ROM, DVD-ROM, Blu-ray, HD-DVD 또는 기타 광학 저장 디바이스들, 뿐만 아니라 신호 전송 및 저장 매체를 포함할 수 있다. 사용자 입력 디바이스들(1408)은 하나 이상의 사용자로부터의 사용자 입력을 디바이스(1400)로 전달하며, 이의 예들은 키보드, 마우스, 조이스틱, 터치 패드, 터치 스크린, 스틸 또는 비디오 레코더/카메라, 제스처들을 인식하기 위한 추적 디바이스 및/또는 마이크로폰을 포함할 수 있다. 네트워크 인터페이스(1414)는 디바이스(1400)가 전자 통신 네트워크를 통해 다른 컴퓨터 시스템들과 통신할 수 있게 하고, 근거리 네트워크들 및 광역 네트워크들 이를테면 인터넷을 통한 유선 또는 무선 통신을 포함할 수 있다. 오디오 프로세서(1412)는 CPU(1402), 메모리(1404) 및/또는 저장 장치(1406)에 의해 제공된 명령들 및/또는 데이터로부터 아날로그 또는 디지털 오디오 출력을 생성하도록 구성된다. CPU(1402), 메모리(1404), 데이터 저장 장치(1406), 사용자 입력 디바이스들(1408), 네트워크 인터페이스(1410) 및 오디오 프로세서(1412)를 포함하여, 디바이스(1400)의 구성요소들은 하나 이상의 데이터 버스(1422)를 통해 연결된다.
그래픽 서브 시스템(1414) 또한 데이터 버스(1422) 및 장치(1400)의 구성요소들과 연결된다. 그래픽 서브 시스템(1414)은 그래픽 프로세싱 유닛(GPU)(1416) 및 그래픽 메모리(1418)를 포함한다. 그래픽 메모리(1418)는 출력 이미지의 각 픽셀에 대한 픽셀 데이터를 저장하는 데 사용되는 디스플레이 메모리(예를 들어, 프레임 버퍼)를 포함한다. 그래픽 메모리(1418)는 GPU(1416)와 동일한 디바이스에 통합되거/거나, GPU(1416)와 별도의 디바이스로서 연결되고/되거나, 메모리(1404) 내에 구현될 수 있다. 픽셀 데이터는 CPU(1402)로부터 직접 그래픽 메모리(1418)에 제공될 수 있다. 대안적으로, CPU(1402)는 GPU(1416)에 원하는 출력 이미지들을 정의하는 데이터 및/또는 명령들을 제공하며, 이로부터 GPU(1416)는 하나 이상의 출력 이미지의 픽셀 데이터를 생성한다. 원하는 출력 이미지들을 정의하는 데이터 및/또는 명령들은 메모리(1404) 및/또는 그래픽 메모리(1418)에 저장될 수 있다. 일 실시 예에서, GPU(1416)는 장면에 대한 기하학적 구조, 조명, 음영, 텍스처링, 모션 및/또는 카메라 파라미터들을 정의하는 명령들 및 데이터로부터 출력 이미지들에 대한 픽셀 데이터를 생성하기 위한 3D 렌더링 기능들을 포함한다. GPU(1416)는 셰이더 프로그램들을 실행할 수 있는 하나 이상의 프로그램 가능한 실행 유닛을 더 포함할 수 있다.
그래픽 서브 시스템(1414)은 디스플레이 디바이스(1410)상에 디스플레이되거나, 또는 투영 시스템(1440)에 의해 투영될 그래픽 메모리(1418)로부터 이미지에 대한 픽셀 데이터를 주기적으로 출력한다. 디스플레이 디바이스(1410)는 CRT, LCD, 플라즈마 및 OLED 디스플레이들을 포함하는 디바이스(1400)로부터의 신호에 응답하여 시각 정보를 디스플레이할 수 있는 임의의 디바이스일 수 있다. 디바이스(1400)는 예를 들어, 아날로그 또는 디지털 신호를 디스플레이 디바이스(1410)에 제공할 수 있다.
라이브 도움 세션들(예를 들어, 통신 세션을 통해 플레이어를 전문가와 연결하는)을 통해 또는 레코딩된 도움 세션들(예를 들어, 플레이어를 통신 세션을 통해 송신되는 레코딩된 도움 세션에 연결하는)을 통해 게이밍 애플리케이션을 플레이하는 플레이어의 게임 플레이 동안 실시간 지원 제공을 설명하기 위해 구체적인 실시 예들이 제공되었지만, 이들은 제한이 아닌 예로서 설명된다. 본 개시를 읽은 해당 기술분야의 통상의 기술자들은 본 개시의 사상 및 범위 내에 속하는 추가 실시 예들을 실현할 것이다.
넓은 지리적 영역에 걸쳐 전달되는 현재 실시 예들의 게임들에의 액세스를 제공하는 것과 같은 액세스 서비스들은 보통 클라우드 컴퓨팅을 사용함에 주의해야 한다. 클라우드 컴퓨팅은 동적으로 확장 가능하고 보통 가상화된 자원들이 인터넷을 통해 서비스로 제공되는 컴퓨팅 방식이다. 사용자들은 기술 인프라들을 지원하는 "클라우드"의 기술 인프라의 전문가일 필요는 없다. 클라우드 컴퓨팅은 IaaS(Infrastructure as a Service), PaaS(Platform as a Service) 및 SaaS(Software as a Service)와 같은 상이한 서비스들로 나눠질 수 있다. 클라우드 컴퓨팅 서비스들은 웹 브라우저로부터 액세스되는 비디오 게임들과 같은 일반적인 애플리케이션들을 온라인으로 제공하는 한편, 소프트웨어 및 데이터는 클라우드의 서버들에 저장된다. 클라우드라는 용어는 인터넷이 컴퓨터 네트워크 다이어그램들에 어떻게 표시되는지에 기초하여, 인터넷에 대한 상징으로 사용되고 그것이 숨기는 복합 인프라들에 대한 추상적 개념이다.
게임 프로세싱 서버 (GPS, Game Processing Server) (또는 간단히 "게임 서버")는 게임 클라이언트들이 싱글 및 멀티 플레이어 비디오 게임들을 플레이하는 데 사용된다. 인터넷을 통해 플레이되는 대부분의 비디오 게임은 게임 서버에의 연결을 통해 작동된다. 통상적으로, 게임들은 플레이어들로부터 데이터를 수집하고 그것을 다른 플레이어들에게 분산시키는 전용 서버 애플리케이션을 사용한다. 이는 피어 투 피어 장치보다 효율적이고 효과적이지만, 서버 애플리케이션을 호스팅하려면 별도의 서버를 필요로 한다. 다른 실시 예에서, GPS는 플레이어들과 그 각각의 게임 플레이 디바이스들 사이의 통신을 수립하여 중앙 집중식 GPS에 의존하지 않고 정보를 교환한다.
전용 GPS들은 클라이언트와 관계 없이 실행되는 서버들이다. 그러한 서버들은 일반적으로 데이터 센터들에 위치되는 전용 하드웨어 상에서 실행되어, 보다 넓은 대역폭 및 전용 프로세싱 능력을 제공한다. 전용 서버들은 대부분의 PC 기반 멀티 플레이어 게임을 위해 선호되는 게임 서버들의 호스팅 방법이다. 대규모 멀티 플레이어 온라인 게임들은 일반적으로 게임 타이틀을 소유한 소프트웨어 회사가 호스팅하는 전용 서버들상에서 실행되어, 그것들이 콘텐츠를 제어하고 업데이트할 수 있게 한다.
사용자들은 적어도 CPU, 디스플레이 및 I/O를 포함하는 클라이언트 디바이스들로 원격 서비스들에 액세스한다. 클라이언트 디바이스는 PC, 휴대 전화, 넷북, PDA 등일 수 있다. 일 실시 예에서, 게임 서버상에서 실행되는 네트워크는 클라이언트에 의해 사용되는 디바이스의 유형을 인식하고 채택된 통신 방법을 조정한다. 다른 경우, 클라이언트 디바이스들은 html과 같은 표준 통신 방법을 사용하여 인터넷을 통해 게임 서버상의 애플리케이션에 액세스한다.
본 개시의 실시예들은 핸드헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램 가능한 소비자 전자 장치들, 미니 컴퓨터들, 메인 프레임 컴퓨터들 기타 같은 종류의 것을 포함하여 다양한 컴퓨터 시스템 구성으로 실시될 수 있다. 본 개시는 또한 작업들이 유선 기반 또는 무선 네트워크를 통해 링크되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다.
소정의 비디오 게임 또는 게이밍 애플리케이션은 특정 플랫폼 및 특정 관련 제어기 디바이스용으로 개발될 수 있다는 것을 이해해야 한다. 그러나, 그러한 게임이 본 명세서에 제시된 바와 같이 게임 클라우드 시스템을 통해 이용 가능하게 될 때, 사용자는 다른 제어기 디바이스로 비디오 게임에 액세스하고 있을 수 있다. 예를 들어, 게임은 게임 콘솔과 관련 제어기용으로 개발되었을 수 있는 반면, 사용자는 키보드와 마우스를 이용하여 개인용 컴퓨터로부터 클라우드 기반 게임 버전에 액세스하고 있을 수 있다. 그러한 시나리오에서, 입력 파라미터 구성은 사용자의 이용 가능한 제어기 디바이스들(이 경우, 키보드 및 마우스)에 의해 생성될 수 있는 입력들로부터 비디오 게임의 실행에 수용 가능한 입력들에 대한 맵핑을 정의할 수 있다.
다른 예로, 사용자는 태블릿 컴퓨팅 디바이스, 터치 스크린 스마트 폰, 또는 기타 터치 스크린 구동 디바이스를 통해 클라우드 게임 시스템에 액세스할 수 있다. 이 경우, 클라이언트 디바이스와 제어기 디바이스는 감지된 터치 스크린 입력들/제스처들을 통해 입력들이 제공되는 동일한 디바이스에 함께 통합된다. 그러한 디바이스의 경우, 입력 파라미터 구성은 비디오 게임을위한 게임 입력들에 대응하는 특정 터치 스크린 입력들을 정의할 수 있다. 예를 들어, 사용자가 게임 입력을 생성하기 위해 터치할 수 있는 터치 스크린상의 위치들을 나타내기 위해 비디오 게임의 실행 동안 버튼들, 방향 패드, 또는 다른 유형들의 입력 요소들이 디스플레이 또는 오버레이될 수 있다. 특정 방향들로의 스와이프들 또는 특정 터치 동작들과 같은 제스처들이 게임 입력들로 감지 될 수도 있다. 일 실시 예에서, 예를 들어, 비디오 게임의 게임 플레이를 시작하기 전에, 터치 스크린상의 재어부들의 조작에 사용자를 순응시키기 위해 게임 플레이용 터치 스크린을 통해 입력을 제공하는 방법을 나타내는 튜토리얼이 사용자에게 제공될 수 있다.
일부 실시 예에서, 클라이언트 디바이스는 제어기 디바이스에 대한 접속점으로서의 역할을 한다. 즉, 제어기 디바이스는 클라이언트 디바이스와 무선 또는 유선 연결을 통해 통신하여 제어기 디바이스로부터 클라이언트 디바이스로 입력들을 송신한다. 클라이언트 디바이스는 차례로 이러한 입력들을 프로세싱한 다음 네트워크를 통해 (예를 들어, 라우터와 같은 로컬 네트워킹 디바이스를 통해 액세스되는) 입력 데이터를 클라우드 게임 서버에 송신할 수 있다. 그러나, 다른 실시 예들에서, 제어기는 클라이언트 디바이스를 통해 그러한 입력들을 먼저 전달할 필요 없이, 그 자체가 네트워크를 통해 클라우드 게임 서버에 직접 입력을 전달할 수 있는 기능을 가진 네트워크화된 디바이스일 수 있다. 예를 들어, 제어기는 로컬 네트워킹 디바이스(이를테면 앞서 언급한 라우터)에 연결하여 클라우드 게임 서버와 데이터를 송수신할 수 있다. 따라서, 클라이언트 디바이스는 여전히 클라우드 기반 비디오 게임으로부터 비디오 출력을 수신하여 그것을 로컬 디스플레이상에 렌더링할 필요가 있을 수 있지만, 제어기가 클라이언트 디바이스를 우회하여, 네트워크를 통해 직접 클라우드 게임 서버에 입력들을 송신할 수 있게 함으로써 입력 대기 시간을 줄일 수 있다.
일 실시 예에서, 네트워크형 제어기 및 클라이언트 디바이스는 제어기로부터 클라우드 게임 서버로 직접 특정 유형들의 입력들 및 클라이언트 디바이스를 통해 다른 유형들의 입력들을 송신하도록 구성될 수 있다. 예를 들어, 감지가 제어기 자체 외의 어떠한 추가 하드웨어 또는 프로세싱에도 의존하지 않는 입력들이 클라이언트 디바이스를 우회하여, 제어기로부터 네트워크를 통해 클라우드 게임 서버로 직접 송신될 수 있다. 그러한 입력들은 버튼 입력들, 조이스틱 입력들, 내장된 모션 검출 입력들(예를 들어, 가속도계, 자력계, 자이로스코프) 등을 포함할 수 있다. 그러나, 추가 하드웨어를 이용하거나 클라이언트 디바이스에서 프로세싱할 필요가 있는 입력들은 클라이언트 디바이스에 의해 클라우드 게임 서버로 송신될 수 있다. 이들에는 클라우드 게임 서버에 송신하기 전에 클라이언트 디바이스에서 프로세싱될 수 있는 게임 환경으로부터 캡처된 비디오 또는 오디오가 포함될 수 있다. 또한, 제어기의 모션 검출 하드웨어로부터의 입력들은 캡처된 비디오와 관련하여 클라이언트 디바이스에 의해 프로세싱되어, 제어기의 위치 및 움직임을 검출 할 수 있으며, 이는 클라이언트 디바이스에 의해 클라우드 게임 서버에 전달될 수 있다. 다양한 실시 예들에 따른 제어기 디바이스는 또한 클라이언트 디바이스로부터 또는 클라우드 게이밍 서버로부터 직접적으로 데이터 (예를 들어, 피드백 데이터)를 수신 할 수 있음을 이해해야한다.
여기에 설명 된 실시 예는 임의의 유형의 클라이언트 디바이스에서 실행될 수 있음을 알아야한다. 일부 실시 예에서, 클라이언트 디바이스는 머리 착용 디스플레이(HMD, head mounted display), 또는 투사 시스템이다. 도 9는 본 개시의 일 실시 예에 따라, 머리 착용 디스플레이(102)의 구성요소들을 도시하는 도해가 도시되어 있다. HMD(102)는 게이밍 애플리케이션과 관련된 사용자의 문의에 응답하여 게이밍 지원을 제공 및 수신하도록 구성될 수 있으며, 문의는 백-엔드 게임 지원 서버와 연관된 딥 러닝 엔진을 사용하여 모델링된 응답과 매칭된다.
머리 착용 디스플레이(102)는 프로그램 명령들을 실행하기 위한 프로세서(1500)를 포함한다. 메모리(1502)는 저장 목적을 위해 제공되고, 휘발성 및 비휘발성 메모리 양자를 포함할 수 있다. 사용자가 볼 수 있는 시각적 인터페이스를 제공하는 디스플레이(1504)가 포함된다. 머리 착용 디스플레이(102)의 전원으로는 배터리(1506)가 제공된다. 모션 검출 모듈(1508)은 자기력계(1510), 가속도계(1512) 및 자이로스코프(1514)와 같은 임의의 다양한 유형의 모션 감지 하드웨어를 포함할 수 있다.
가속도계는 가속도 및 중력 유도 반작용력을 측정하기 위한 디바이스이다. 가속도의 크기 및 방향을 상이한 방향들에서 검출하기 위해 단일 및 다중 축 모델들이 이용 가능하다. 가속도계는 기울기, 진동 및 충격을 감지하는 데 사용된다. 일 실시 예에서는, 세 개의 가속도계(1512)가 중력 방향을 제공하는 데 사용되며, 이는 두 각도(월드-스페이스 피치 및 월드-스페이스 롤)에 대한 절대적인 기준을 제공한다.
자력계는 머리 착용 디스플레이 부근 자기장의 강도 및 방향을 측정한다. 일 실시 예에서, 세 개의 자기력계(1510)가 머리 착용 디스플레이 내에 사용되어, 월드-스테이스 요 각도에 대한 절대적인 기준을 보장한다. 일 실시 예에서, 자력계는 ± 80 마이크로테슬라인 지구 자기장에 걸쳐 이어지도록 설계된다. 자력계들은 금속에 영향을 받고, 실제 요와 단조인 요 측정치를 제공한다. 환경에서 금속으로 인해 자기장이 뒤틀릴 수 있으며, 이는 요 측정에 뒤틀림을 야기한다. 필요한 경우, 이러한 뒤틀림은 자이로스코프 또는 카메라와 같은 다른 센서들로부터의 정보를 사용하여 캘리브레이트될 수 있다. 일 실시 예에서, 가속도계(1512)는 머리 착용 디스플레이(102)의 경사 및 방위각을 얻기 위해 자기력계(1510)와 함께 사용된다.
자이로스코프는 각 운동량의 원리들에 기초하여, 배향을 측정하거나 유지하는 디바이스이다. 일 실시 예에서, 세 개의 자이로스코프(1514)가 관성 감지에 기초하여 각각의 축(x, y 및 z)에 걸친 움직임에 대한 정보를 제공한다. 자이로스코프는 빠른 회전을 검출하는 데 도움이 된다. 그러나, 자이로스코프들은 절대적인 기준이 없어 시간이 지남에 따라 서서히 드리프트할 수 있다. 이는 자이로스코프들을 주기적으로 재설정할 것을 필요로 하며, 이는 객체의 시각적 추적, 가속도계, 자력계 등에 기초하여 위치/배향 결정과 같은 다른 이용 가능한 정보를 사용하여 이루어질 수 있다.
카메라(1516)는 실제 환경의 이미지들 및 이미지 스트림들을 캡처하기 위해 제공된다. 머리 착용 디스플레이(102)에는 후방(사용자가 머리 착용 디스플레이(102)의 디스플레이를 보고 있을 때 사용자로부터 멀어지게 향하는) 카메라 및 전방(사용자가 머리 착용 디스플레이(102)의 디스플레이를 보고 있을 때 사용자를 향하는) 카메라를 포함하여, 하나보다 많은 카메라가 포함될 수 있다. 또한, 머리 착용 디스플레이(102)에는 실제 환경에서 객체의 깊이 정보를 감지하기 위한 깊이 카메라(1518)가 포함될 수도 있다.
일 실시 예에서, HMD의 전면에 통합 된 카메라는 안전에 관한 경고를 제공하는 데 사용될 수 있다. 예를 들어, 사용자가 벽이나 물체에 접근하면 사용자에게 경고 할 수 있다. 일 실시 예에서, 사용은 사용자에게 그들의 존재를 경고하기 위해, 실내의 물리적 객체의 아웃 라인 뷰를 구비할 수 있다. 아웃 라인은 예를 들어, 가상 환경에서의 오버레이일 수 있다. 일부 실시 예에서, HMD 사용자에게는 예를 들어 바닥에 중첩되는 기준 마커에 대한 뷰가 제공될 수 있다. 예를 들어, 마커는 사용자가 게임을 하는 방의 중심이 어디인지에 대한 기준을 사용자에게 제공할 수 있다. 이는 예를 들어 방의 벽이나 다른 물체를 치지 않도록 사용자가 이동해야하는 시각 정보를 사용자에게 제공할 수 있다. 사용자가 HMD를 착용하고 게임을하거나 콘텐츠를 탐색할 때 더 많은 안전을 제공하기 위해 촉각 경고가 사용자에게 제공되거나 오디오 경고가 제공될 수도 있다.
머리 착용 디스플레이(102)는 오디오 출력을 제공하기 위한 스피커들(1520)를 포함한다. 또한, 주변 환경으로부터의 소리, 사용자에 의해 만들어진 음성 등을 포함하여 실제 환경으로부터 오디오를 포착하기 위해 마이크로폰(1522)이 포함될 수 있다. 머리 착용 디스플레이(102)는 촉각 피드백을 사용자에게 제공하기 위한 촉감 피드백 모듈( 1524)을 포함한다. 일 실시 예에서, 촉감 피드백 모듈(1524)은 촉각 피드백을 사용자에게 제공하기 위해 머리 착용 디스플레이(102)의 움직임 및 / 또는 진동을 야기할 수 있다.
LED들(1526)은 머리 착용 디스플레이(102)의 상태들의 시각적 표시자들로서 제공된다. 예를 들어, LED는 배터리 레벨, 파워 온 등을 나타낼 수 있다. 카드 리더기(1528)는 머리 착용 디스플레이(102)가 메모리 카드로부터 정보를 판독하고 메모리 카드에 정보를 기록할 수 있게 하기 위해 제공된다. USB 인터페이스(1530)는 주변 디바이스들의 연결, 또는 다른 휴대용 디바이스들, 컴퓨터들 등과 같은 다른 디바이스들에의 연결을 가능하게 하기 위한 인터페이스의 일례로서 포함된다. 머리 착용 디스플레이(102)의 다양한 실시 예에서, 임의의 다양한 유형의 인터페이스들은 머리 착용 디스플레이(102)의 보다 큰 연결성을 가능하게 하기 위해 포함될 수 있다.
와이파이 모듈(1532)은 무선 네트워킹 기술들을 통해 인터넷에의 연결을 가능하게 하기 위해 포함된다. 또한, 머리 착용 디스플레이(102)는 다른 디바이스들에의 무선 연결을 가능하게 하는 블루투스 모듈(1534)을 포함한다. 통신 링크(1536) 또한 다른 디바이스들에의 연결을 위해 포함될 수 있다. 일 실시 예에서, 통신 링크(1536)는 무선 통신을 위해 적외선 송신을 이용한다. 다른 실시 예들에서, 통신 링크(1536)는 다른 디바이스들과의 통신을 위해 임의의 다양한 무선 또는 유선 송신 프로토콜을 이용할 수 있다.
입력 버튼들/센서들(1538)은 사용자에 대한 입력 인터페이스를 제공하기 위해 포함된다. 버튼들, 터치 패드, 조이스틱, 트랙볼 등과 같은 임의의 다양한 유형의 입력 인터페이스들이 포함될 수 있다. 초음파 통신 모듈(1540)은 초음파 기술들을 통해 다른 디바이스들과의 통신을 가능하게 하기 위해 머리 착용 디스플레이(102)에 포함될 수 있다.
바이오-센서들(1542)은 사용자로부터의 생리학적 데이터의 검출을 가능하게 하기 위해 포함된다. 일 실시 예에서, 바이오-센서들(1542)는 사용자의 피부를 통해 사용자의 생체 전기 신호들을 검출하기 위한 하나 이상의 건식 전극을 포함한다.
광 센서들(1544)은 3-차원 물리적 환경에 배치된 방출기들(예를 들어, 적외선 기지국들)로부터의 신호들에 응답하기 위해 포함된다. 게임 콘솔은 광 센서들(1544) 및 방출기들로부터의 정보를 분석하여 머리 착용 디스플레이(102)와 관련된 위치 및 배향 정보를 결정한다.
또한, 시선 추적 시스템(1565)이 포함되고 사용자의 시선을 추적할 수 있도록 구성된다. 예를 들어, 시스템(1565)은 사용자의 시선 방향을 결정하기 위해 분석되는 사용자의 눈의 이미지들을 캡처하는 시선 추적 카메라를 포함할 수 있다. 일 실시 예에서, 사용자의 시선 방향에 대한 정보는 비디오 렌더링에 영향을 주기 위해 이용될 수 있다. 시선 방향의 비디오 렌더링은 보다 자세한 세부 정보, 포비티드 렌더링(foveated rendering)을 통해 보다 높은 해상도, 포비얼 영역에 디스플레이되는 입자 시스템 효과의 보다 높은 해상도, 포비얼 영역 외부에 디스플레이되는 입자 시스템 효과의 보다 낮은 해상도, 또는 사용자가 보고 있는 영역의 보다 빠른 업데이트를 제공함으로써 우선 순위가 지정되거나 강조될 수 있다.
머리 착용 디스플레이(102)의 앞에서의 구성요소들은 머리 착용 디스플레이(102)에 포함될 수 있는 단지 예시적인 구성요소들로서 설명되었다. 본 개시의 다양한 실시 예에서, 머리 착용 디스플레이(102)는 다양한 상술된 구성요소 중 일부를 포함할 수도 포함하지 않을 수도 있다. 머리 착용 디스플레이(102)의 실시 예들은 여기에 설명된 바와 같은 본 개시의 양태들을 가능하게 하기 위해, 현재 설명되지는 않지만 해당 기술분야에 알려져 있는 다른 구성요소들을 추가로 포함할 수 있다.
해당 기술분야의 통상의 기술자들이라면 본 개시의 다양한 실시 예에서, 상술된 머리 착용 디바이스가 다양한 쌍방향 기능을 제공하기 위해 디스플레이상에 디스플레이되는 쌍방향 애플리케이션과 관련하여 이용될 수 있음을 이해할 것이다. 여기에 설명된 대표적인 실시 예들은 제한이 아니라, 단지 예로서 제공된다.
도 16은 본 발명의 다양한 실시 예에 따른, 게임 시스템의 블록도(1600)이다. 게임 시스템(1600)은 네트워크(1615)를 통해 하나 이상의 클라이언트(1610)에 비디오 스트림을 제공하도록 구성된다. 게임 시스템(1600)은 통상적으로 비디오 서버 시스템(1620) 및 임의적인 게임 서버(1625)를 포함한다. 비디오 서버 시스템(1620)은 최소한의 서비스 품질로 하나 이상의 클라이언트(1610)에 비디오 스트림을 제공하도록 구성된다. 예를 들어, 비디오 서버 시스템(1620)은 비디오 게임 내의 상태 또는 뷰 포인트를 변경하는 게임 명령을 수신 할 수 있고, 클라이언트(1610)에게 최소 래그 시간으로 상태의 이러한 변화를 반영하는 업데이트 된 비디오 스트림을 제공 할 수있다. 비디오 서버 시스템(1620)은 아직 정의되지 않은 포맷들을 포함하여 매우 다양한 대체 비디오 포맷으로 비디오 스트림을 제공하도록 구성될 수 있다. 나아가, 비디오 스트림은 매우 다양한 프레임 속도로 사용자에게 제시되도록 구성된 비디오 프레임들을 포함할 수 있다. 더 높은 또는 더 낮은 프레임 속도가 본 발명의 다른 실시 예에 포함되지만, 통상적인 프레임 속도들은 초당 30 프레임, 초당 80 프레임 및 초당 820 프레임이다.
본 명세서에서 개별적으로 1610A, 1610B 등으로 지칭된 클라이언트(1610)는 개인용 컴퓨터, 게임 콘솔, 태블릿 컴퓨터, 전화기, 셋톱 박스, 키오스크, 무선 장치, 디지털 패드, 독립형 장치, 핸드헬드 게임 장치 및/또는 기타 등등을 포함할 수 있다. 통상적으로, 클라이언트(1610)는 인코딩된 비디오 스트림(즉, 압축된)을 수신하고, 비디오 스트림을 디코딩하고, 결과 비디오를 사용자, 예를 들어 게임의 플레이어에게 제공하도록 구성된다. 인코딩된 비디오 스트림들을 수신하고/거나 비디오 스트림들을 디코딩하는 프로세스들은 통상적으로 개별 비디오 프레임들을 클라이언트의 수신 버퍼에 저장하는 것을 포함한다. 비디오 스트림들은 클라이언트(1610)에 통합된 디스플레이 상에서 또는 모니터 또는 텔레비전과 같은 별개의 디바이스 상에서 사용자에게 제시될 수 있다. 클라이언트들(1610)은 임의적으로 하나보다 많은 게임 플레이어를 지원하도록 구성된다. 예를 들어, 게임 콘솔은 2, 3, 4명 이상의 동시 플레이어를 지원하도록 구성될 수 있다. 이러한 플레이어들 각각은 별개의 비디오 스트림을 수신할 수 있거나, 단일 비디오 스트림이 예를 들어 각 플레이어의 시점에 기초하여 생성된, 각 플레이어에 대해 특별히 생성된 프레임의 영역들을 포함할 수 있다. 클라이언트들(1610)는 임의적으로 지리적으로 분산되어 있다. 게임 시스템(1600)에 포함되는 클라이언트 수는 1 또는 2에서 수천, 수만 또는 그 이상까지 매우 다양할 수 있다. 여기서 사용될 때, "게임 플레이어"라는 용어는 게임을 플레이하는 사람을 지칭하는데 사용되고 "게임 플레이 디바이스"라는 용어는 게임을 플레이하는데 사용되는 디바이스를 지칭하는데 사용된다. 일부 실시 예에서, 게임 플레이 디바이스는 협력하여 사용자에게 게임 경험을 전달하는 복수의 컴퓨팅 디바이스를 지칭할 수 있다. 예를 들어, 게임 콘솔 및 HMD는 HMD를 통해 보여지는 게임을 전달하기 위해 비디오 서버 시스템(1620)과 협력할 수 있다. 일 실시 예에서, 게임 콘솔은 비디오 서버 시스템(1620)으로부터 비디오 스트림을 수신하고, 게임 콘솔은 렌더링을 위해 HMD로 비디오 스트림을 포워딩하거나 비디오 스트림으로 업데이트한다.
클라이언트들(1610)은 네트워크(1615)를 통해 비디오 스트림들을 수신하도록 구성된다. 네트워크(1615)는 전화 네트워크, 인터넷, 무선 네트워크, 전력선 네트워크, 근거리 네트워크, 광역 네트워크, 사설 네트워크 및/또는 기타를 포함하는 임의의 유형의 통신 네트워크일 수 있다. 통상적인 실시 예들에서, 비디오 스트림들은 TCP/IP 또는 UDP/IP와 같은 표준 프로토콜들을 통해 전달된다. 대안적으로, 비디오 스트림들은 특허 표준들을 통해 전달된다.
클라이언트들(1610)의 통상적인 예는 프로세서, 비휘발성 메모리, 디스플레이, 디코딩 로직, 네트워크 통신 기능들 및 입력 디바이스들을 포함하는 개인용 컴퓨터이다. 디코딩 로직은 컴퓨터 판독 가능한 매체 상에 저장된 하드웨어, 펌웨어 및/또는 소프트웨어를 포함할 수 있다. 비디오 스트림들을 디코딩(및 인코딩)하기위한 시스템들은 해당 기술분야에 주지되어 있고 사용되는 특정 인코딩 방식에 따라 다양하다.
클라이언트들(1610)은 수신된 비디오를 수정하도록 구성된 시스템들을 더 포함할 수 있지만, 반드시 그러한 것은 아니다. 예를 들어, 클라이언트는 추가 렌더링을 수행하도록, 하나의 비디오 이미지를 다른 비디오 이미지 상에 오버레이하도록, 비디오 이미지를 자르도록, 그리고/또는 기타를 위해 구성될 수 있다. 예를 들어, 클라이언트들(1610)는 I-프레임, P-프레임 및 B-프레임과 같은 다양한 유형의 비디오 프레임들을 수신하도록, 그리고 이러한 프레임들을 사용자에게 디스플레이하기 위한 이미지들로 처리하도록 구성될 수 있다. 일부 실시 예에서, 클라이언트들(1610)의 멤버는 비디오 스트림 상에 추가 렌더링, 음영 처리, 3D로의 변환 또는 기타 동작들을 수행하도록 구성된다. 클라이언트들(1610)의 멤버는 임의적으로 하나보다 많은 오디오 또는 비디오 스트림을 수신하도록 구성된다. 클라이언트들(1610)의 입력 디바이스들은 예를 들어, 한손 게임 제어기, 양손 게임 제어기, 제스처 인식 시스템, 시선 인식 시스템, 음성 인식 시스템, 키보드, 조이스틱, 포인팅 디바이스, 힘 피드백 디바이스, 모션 및/또는 위치 감지 디바이스, 마우스, 터치 스크린, 뉴럴 인터페이스, 카메라, 아직 개발되지 않은 입력 디바이스들 및/또는 기타를 포함할 수 있다.
클라이언트들(1610)에 의해 수신된 비디오 스트림(및 임의적으로 오디오 스트림)은 비디오 서버 시스템(1620)에 의해 생성되어 제공된다. 여기서의 다른 곳에서 더 설명되는 바와 같이, 이러한 비디오 스트림은 비디오 프레임들을 포함한다(그리고 오디오 스트림은 오디오 프레임들을 포함한다). 비디오 프레임들은 사용자에게 디스플레이되는 이미지들에 의미 있게 기여하도록 구성된다(예를 들어, 그것들은 적절한 데이터 구조의 픽셀 정보를 포함한다). 여기서 사용될 때, "비디오 프레임들"이라는 용어는 사용자에게 제시되는 이미지들에 기여하도록, 예를 들어, 효과를 내도록 구성된 대부분 정보를 포함하는 프레임들을 지칭하는데 사용된다. "비디오 프레임들"에 관한 여기서의 교시 내용 대부분은 "오디오 프레임들"에도 적용될 수 있다.
클라이언트들(1610)은 통상적으로 사용자로부터 입력들을 수신하도록 구성된다. 이러한 입력은 비디오 게임의 상태를 변경하거나 게임 플레이에 영향을 미치도록 구성된 게임 명령을 포함할 수 있다. 게임 명령들은 입력 디바이스들을 사용하여 수신될 수 있고/있거나 클라이언트들(1610)상에서 실행되는 명령들을 컴퓨팅함으로써 자동으로 생성될 수 있다. 수신된 게임 명령들은 클라이언트들(1610)로부터 네트워크(1615)를 통해 비디오 서버 시스템(1620) 및/또는 게임 서버(1625)로 전달된다. 예를 들어, 일부 실시 예에서, 게임 명령들은 비디오 서버 시스템(1620)을 통해 게임 서버(1625)에 전달된다. 일부 실시 예에서는, 게임 명령들의 별개의 복사본들이 클라이언트들(1610)로부터 게임 서버(1625) 및 비디오 서버 시스템(1620)으로 전달된다. 게임 명령들의 전달은 임의적으로 명령의 신원에 의존한다. 게임 명령들은 임의적으로 오디오 또는 비디오 스트림들을 클라이언트(1610A)에 제공하는데 사용 되는 것과 상이한 루트 또는 통신 채널을 통해 클라이언트(1610A)로부터 전달된다.
게임 서버(1625)는 임의적으로 비디오 서버 시스템(1620)과 상이한 엔티티에 의해 작동된다. 예를 들어, 게임 서버(1625)는 멀티 플레이어 게임의 발행인에 의해 작동될 수 있다. 이러한 예에서, 비디오 서버 시스템(1620)은 임의적으로 게임 서버(1625)에 의해 클라이언트로서 보여지고 임의적으로 게임 서버(1625)의 시점에서 종래 기술의 게임 엔진을 실행하는 종래 기술의 클라이언트인 것으로 보이도록 구성된다. 비디오 서버 시스템(1620)과 게임 서버(1625) 간 통신은 임의적으로 네트워크(1615)를 통해 일어난다. 그에 따라, 게임 서버(1625)는 게임 상태 정보를 다수의 클라이언트에게 전송하는 종래의 멀티 플레이어 게임 서버일 수 있으며, 이들 중 하나는 게임 서버 시스템(1620)이다. 비디오 서버 시스템(1620)은 게임 서버(1625)의 다수의 인스턴스와 동시에 통신하도록 구성될 수 있다. 예를 들어, 비디오 서버 시스템(1620)은 상이한 사용자들에게 복수의 상이한 비디오 게임을 제공하도록 구성될 수 있다. 이러한 상이한 비디오 게임들 각각은 상이한 게임 서버(1625)에 의해 지원되고/거나 상이한 엔티티들에 의해 발행될 수 있다. 일부 실시 예에서, 비디오 서버 시스템(1620)의 몇몇 지리적으로 분산된 인스턴스는 게임 비디오를 복수의 상이한 사용자에게 제공하도록 구성된다. 비디오 서버 시스템(1620)의 이러한 인스턴스들 각각은 게임 서버(1625)의 동일한 인스턴스와 통신할 수 있다. 비디오 서버 시스템(1620)과 하나 이상의 게임 서버(1625) 간 통신은 임의적으로 전용 통신 채널을 통해 일어난다. 예를 들어, 비디오 서버 시스템(1620)은 이러한 두 시스템 간 통신에 전용되는 고대역폭 채널을 통해 게임 서버(1625)에 연결될 수 있다.
비디오 서버 시스템(1620)은 적어도 비디오 소스(1630), I/O 디바이스(1645), 프로세서(1650) 및 비일시적 스토리지(1655)를 포함한다. 비디오 서버 시스템(1620)은 하나의 컴퓨팅 디바이스를 포함하거나 복수의 컴퓨팅 디바이스 사이에 분산될 수 있다. 이러한 컴퓨팅 디바이스들은 임의적으로 근거리 네트워크와 같은 통신 시스템을 통해 연결된다.
비디오 소스(1630)는 비디오 스트림, 예를 들어, 스트리밍 비디오 또는 동영상을 형성하는 일련의 비디오 프레임을 제공하도록 구성된다. 일부 실시 예에서, 비디오 소스(1630)는 비디오 게임 엔진 및 렌더링 로직을 포함한다. 비디오 게임 엔진은 플레이어로부터 게임 명령들을 수신하도록 그리고 수신된 명령들에 기초하여 비디오 게임의 상태의 복사본을 유지하도록 구성된다. 이러한 게임 상태에는 게임 환경에서의 객체의 위치, 뿐만 아니라 통상적으로 시점도 포함한다. 게임 상태는 또한 객체들의 속성들, 이미지들, 색상들 및/또는 텍스처들을 포함할 수도 있다.
게임 상태는 통상적으로 게임 규칙들, 뿐만 아니라 이동, 회전, 공격, 포커스 설정, 상호 작용, 사용 및/또는 기타와 같은 게임 명령들에 기초하여 유지된다. 게임 엔진의 일부는 임의적으로 게임 서버(1625) 내에 배치된다. 게임 서버(1625)는 지리적으로 분산된 클라이언트들을 사용하여 다수의 플레이어로부터 수신되는 게임 명령들에 기초하여 게임의 상태의 복사본을 유지할 수 있다. 이러한 경우들에서, 게임 상태는 게임 서버(1625)에 의해 비디오 소스(1630)에 제공되며, 여기서 게임 상태의 복사본이 저장되고 렌더링이 수행된다. 게임 서버(1625)는 네트워크(1615)를 통해 클라이언트들(1610)로부터 직접 게임 명령들을 수신할 수 있고/거나, 비디오 서버 시스템(1620)을 통해 게임 명령들을 수신할 수 있다.
비디오 소스(1630)는 통상적으로 스토리지(1655)과 같은 컴퓨터 판독 가능 매체 상에 저장되는 렌더링 로직, 예를 들어, 하드웨어, 펌웨어 및/또는 소프트웨어를 포함한다. 이러한 렌더링 로직은 게임 상태에 기초하여 비디오 스트림의 비디오 프레임들을 생성하도록 구성된다. 렌더링 로직의 전부 또는 일부는 임의적으로 그래픽 처리 유닛(GPU) 내에 배치된다. 렌더링 로직은 통상적으로 객체들 간 3차원 공간적 관계들을 결정하고/거나 게임 상태 및 시점에 기초하여, 적절한 텍스처들 등을 적용하도록 구성된 처리 스테이지들을 포함한다. 렌더링 로직은 클라이언트들(1610)에 전달하기 전에 일반적으로 인코딩되는 원시 비디오를 생성한다. 예를 들어, 원시 비디오는 Adobe Flash® standard, .wav, H.264, H.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3 또는 기타에 따라 인코딩될 수 있다. 인코딩 프로세스는 임의적으로 원격 디바이스 상의 디코더로의 전달을 위해 패키징된 비디오 스트림을 생성한다. 비디오 스트림은 프레임 크기 및 프레임 속도로 특징지어진다. 통상적인 프레임 크기들은 800 x 600, 1280 x 720 (예를 들어, 720p), 1024 x 768을 포함하지만, 임의의 다른 프레임 크기들이 사용될 수 있다. 프레임 속도는 초당 비디오 프레임 수이다. 비디오 스트림은 상이한 유형들의 비디오 프레임들을 포함할 수 있다. 예를 들어, H.264 표준은 "P"프레임과 "I"프레임을 포함한다. I-프레임들은 디스플레이 디바이스 상의 모든 매크로 블록/픽셀을 리프레시하기 위한 정보를 포함하는 한편, P-프레임들은 그 서브 세트를 리프레시하기 위한 정보를 포함한다. P-프레임들은 통상적으로 I-프레임들보다 데이터 크기가 작다. 여기서 사용될 때, "프레임 크기"라는 용어는 프레임 내 픽셀 수를 지칭하도록 의도된다. "프레임 데이터 크기"라는 용어는 프레임을 저장하는데 필요한 바이트 수를 지칭하는데 사용된다.
대안적인 실시 예들에서, 비디오 소스(1630)는 카메라와 같은 비디오 레코딩 디바이스를 포함한다. 이러한 카메라는 컴퓨터 게임의 비디오 스트림에 포함될 수 있는 지연된 또는 라이브 비디오를 생성하는데 사용될 수 있다. 그 결과로 초래되는 비디오 스트림은 임의적으로 렌더링된 이미지들 및 스틸 또는 비디오 카메라를 사용하여 레코딩된 이미지들 양자를 포함한다. 비디오 소스(1630)는 또한 비디오 스트림에 포함될 이전에 리코딩된 비디오를 저장하도록 구성된 저장 디바이스들을 포함할 수 있다. 비디오 소스(1630)는 또한 객체, 예를 들어, 사람의 모션 또는 위치를 검출하도록 구성된 모션 또는 위치 감지 디바이스들, 및 검출된 모션 및/또는 위치에 기초하여 게임 상태를 결정하거나 비디오를 생성하도록 구성된 로직을 포함할 수도 있다.
비디오 소스(1630)는 임의적으로 다른 비디오 상에 배치되도록 구성된 오버레이들을 제공하도록 구성된다. 예를 들어, 이러한 오버레이들은 명령 인터페이스, 로그인 지침들, 게임 플레이어에 대한 메시지들, 다른 게임 플레이어들의 이미지들, 다른 게임 플레이어들의 비디오 피드들(예를 들어, 웹캠 비디오)를 포함할 수 있다. 터치 스크린 인터페이스 또는 시선 검출 인터페이스를 포함하는 클라이언트(1610A)의 실시 예들에서, 오버레이는 가상 키보드, 조이스틱, 터치 패드 및/또는 기타를 포함할 수 있다. 오버레이의 일례에서, 플레이어의 음성은 오디오 스트림 상에 오버레이된다. 비디오 소스(1630)는 임의적으로 하나 이상의 오디오 소스를 더 포함한다.
비디오 서버 시스템(1620)이 하나보다 많은 플레이어로부터의 입력에 기초하여 게임 상태를 유지하도록 구성되는 실시 예들에서, 각각의 플레이어는 위치 및 보는 방향을 포함하여 상이한 시점을 가질 수 있다. 비디오 소스(1630)는 임의적으로 그들의 시점에 기초하여 각 플레이어에 대한 개별 비디오 스트림을 제공하도록 구성된다. 나아가, 비디오 소스(1630)는 각각의 클라이언트(1610)에 상이한 프레임 크기, 프레임 데이터 크기 및/또는 인코딩을 제공하도록 구성될 수 있다. 비디오 소스(1630)는 임의적으로 3-D 비디오를 제공하도록 구성된다.
I/O 디바이스(1645)는 비디오 서버 시스템(1620)이 비디오, 명령, 정보 요청, 게임 상태, 시선 정보, 디바이스 모션, 디바이스 위치, 사용자 모션, 클라이언트 신원, 플레이어 신원, 게임 명령, 보안 정보, 오디오 및/또는 기타와 같은 정보를 전송 및/또는 수신하도록 구성된다. I/O 디바이스(1645)는 통상적으로 네트워크 카드 또는 모뎀과 같은 통신 하드웨어를 포함한다. I/O 디바이스(1645)는 게임 서버(1625), 네트워크(1615) 및/또는 클라이언트들(1610)과 통신하도록 구성된다.
프로세서(1650)는 여기서 논의 된 비디오 서버 시스템(1620)의 다양한 구성요소 내에 포함된 로직, 예를 들어, 소프트웨어를 실행하도록 구성된다. 예를 들어, 프로세서(1650)는 비디오 소스(1630), 게임 서버(1625) 및/또는 클라이언트 퀄리파이어(1660)의 기능들을 수행하도록 소프트웨어 명령들로 프로그램될 수 있다. 비디오 서버 시스템(1620)은 임의적으로 프로세서(1650)의 하나보다 많은 인스턴스를 포함한다. 프로세서(1650)는 또한 비디오 서버 시스템(1620)에 의해 수신되는 명령들을 실행하거나, 또는 여기서 논의 된 게임 시스템(1600)의 다양한 요소의 동작을 조정하도록 소프트웨어 명령들로 프로그램될 수 있다. 프로세서(1650)는 하나 이상의 하드웨어 디바이스를 포함할 수 있다. 프로세서(1650)는 전자 프로세서이다.
스토리지(1655)는 비일시적 아날로그 및/또는 디지털 스토리지 디바이스들을 포함한다. 예를 들어, 스토리지(1655)는 비디오 프레임들을 저장하도록 구성된 아날로그 저장 디바이스를 포함할 수 있다. 스토리지(1655)는 컴퓨터 판독 가능 디지털 스토리지, 예를 들어 하드 드라이브, 광학 드라이브 또는 고체 상태 스토리지를 포함할 수 있다. 스토리지(1655)는 비디오 프레임들, 인공 프레임들, 비디오 프레임들 및 인공 프레임들 양자를 포함하는 비디오 스트림, 오디오 프레임, 오디오 스트림 및/또는 기타를 저장하도록 구성된다(예를 들어, 적절한 데이터 구조 또는 파일 시스템에 의해). 스토리지(1655)는 임의적으로 복수의 디바이스 사이에 분산된다. 일부 실시 예에서, 스토리지(1655)는 여기서의 다른 곳에서 논의된 비디오 소스(1630)의 소프트웨어 구성요소들을 저장하도록 구성된다. 이러한 구성요소들은 요구될 때 프로비저닝될 준비가 되는 포맷으로 저장될 수 있다.
비디오 서버 시스템(1620)은 임의적으로 클라이언트 퀄리파이어(1660)를 더 포함한다. 클라이언트 퀄리파이어(1660)는 클라이언트들(1610A 또는 1610B)과 같은 클라이언트의 기능들을 원격으로 결정하도록 구성된다. 이러한 기능들은 클라이언트(1610A) 자체의 기능들 뿐만 아니라 클라이언트(1610A)와 비디오 서버 시스템(1620) 간 하나 이상의 통신 채널의 기능들을 모두 포함할 수 있다. 예를 들어, 클라이언트 퀄리파이어(1660)는 네트워크(1615)를 통해 통신 채널을 테스트하도록 구성될 수 있다.
클라이언트 퀄리파이어(1660)는 클라이언트(1610A)의 기능들을 수동 또는 자동으로 결정(예를 들어, 발견)할 수 있다. 수동 결정은 클라이언트(1610A)의 사용자와 통신하고 사용자에게 기능들을 제공할 것을 요청하는 것을 포함한다. 예를 들어, 일부 실시 예에서, 클라이언트 퀄리파이어(1660)는 클라이언트(1610A)의 브라우저 내에 이미지들, 텍스트 및/또는 기타를 디스플레이하도록 구성된다. 일 실시 예에서, 클라이언트(1610A)는 브라우저를 포함하는 HMD이다. 다른 실시 예에서, 클라이언트(1610A)는 HMD 상에 디스플레이될 수 있는 브라우저를 갖는 게임 콘솔이다. 디스플레이되는 객체들은 사용자가 클라이언트(1610A)의 운영 체제, 프로세서, 비디오 디코더 유형, 네트워크 연결 유형, 디스플레이 해상도 등과 같은 정보를 입력하도록 요청한다. 사용자에 의해 입력되는 정보는 다시 클라이언트 퀄리파이어(1660)로 전달된다.
예를 들어, 클라이언트(1610A) 상에서 에이전트를 실행하고/거나 테스트 비디오를 클라이언트(1610A)로 전송하여 자동 결정이 이루어질 수 있다. 에이전트는, 웹 페이지에 내포되거나 애드온(add-on)으로서 설치되는 자바 스크립트와 같은 컴퓨팅 명령들을 포함할 수 있다. 에이전트는 임의적으로 클라이언트 퀄리파이어(1660)에 의해 제공된다. 다양한 실시 예에서, 에이전트는 클라이언트(1610A)의 처리 능력, 클라이언트(1610A)의 디코딩 및 디스플레이 기능들, 클라이언트(1610A)와 비디오 서버 시스템(1620) 간 통신 채널들의 래그 시간 신뢰성 및 대역폭, 클라이언트(1610A)의 디스플레이 유형, 클라이언트(1610A) 상에 존재하는 방화벽, 클라이언트(1610A)의 하드웨어, 클라이언트(1610A) 상에서 실행되는 소프트웨어, 클라이언트(1610A) 내의 레지스트리 엔트리들 및/또는 기타를 알아낼 수 있다.
클라이언트 퀄리파이어(1660)는 컴퓨터 판독 가능한 매체 상에 저장된 하드웨어, 펌웨어 및/또는 소프트웨어를 포함한다. 클라이언트 퀄리파이어(1660)는 임의적으로 비디오 서버 시스템(1620)의 하나 이상의 다른 요소와 별개인 컴퓨팅 디바이스 상에 배치된다. 예를 들어, 일부 실시 예에서, 클라이언트 퀄리파이어(1660)는 클라이언트들(1610)과 비디오 서버 시스템(1620)의 하나보다 많은 인스턴스 간 통신 채널들의 특성들을 결정하도록 구성된다. 이러한 실시 예들에서, 클라이언트 퀄리파이어에 의해 발견된 정보는 클라이언트들(1610) 중 하나에 스트리밍 비디오의 전달에 가장 적합한 비디오 서버 시스템(1620)의 인스턴스를 결정하는데 사용될 수 있다.
사용자의 눈(들)의 움직임이 업데이트된 표적 랜딩 포인트에서 디스플레이상의 중심와 영역의 제시와 일치하도록 디스플레이상의 타겟 랜딩 포인트들의 예측 및 업데이트를 실증하기 위해 구체적인 실시 예들이 제공되었지만, 이들은 제한이 아닌 예로서 설명된다. 본 개시를 읽은 해당 기술분야의 통상의 기술자들은 본 개시의 사상 및 범위 내에 속하는 추가 실시 예들을 실현할 것이다.
여기에 정의된 다양한 실시 예는 여기에 개시된 다양한 특징을 사용하여 특정 구현 예들로 조합되거나 어셈블될 수 있음을 이해해야 한다. 따라서, 제공된 예는 단지 더 많은 구현을 정의하기 위해 다양한 요소를 조합함으로써 가능한 다양한 구현 예에 제한없이, 단지 몇몇 가능한 예일 뿐이다. 일부 예에서, 일부 구현은 개시된 또는 균등한 구현들의 사상에서 벗어나지 않으면서 더 적은 수의 요소를 포함할 수 있다.
본 개시의 실시예들은 핸드헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램 가능한 소비자 전자 장치들, 미니 컴퓨터들, 메인 프레임 컴퓨터들 기타 같은 종류의 것을 포함하여 다양한 컴퓨터 시스템 구성으로 실시될 수 있다. 본 개시의 실시 예들은 또한 작업들이 유선 기반 또는 무선 네트워크를 통해 링크되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다.
상기한 실시예들을 유념하여, 본 개시는 컴퓨터 시스템들에 저장된 데이터를 수반하는 다양한 컴퓨터-구현 동작을 채용할 수 있다는 것이 이해되어야 한다. 이러한 동작들은 물리량들의 물리적 조작들을 필요로 하는 것들이다. 본 개시의 일부를 형성하는 여기에 설명된 임의의 동작들은 유용한 기계 동작들이다. 본 발명의 실시 예들은 또한 이러한 동작들을 수행하기 위한 디바이스 또는 장치에 관한 것이다. 장치는 특히 요청된 목적을 위해 구성될 수도 있고, 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 구성되는 범용 컴퓨터일 수도 있다. 특히, 다양한 범용 기계는 여기서의 기술들에 따라 기록된 컴퓨터 프로그램들을 이용하여 사용될 수도 있고, 그것은 요청된 동작들을 수행하기 위해 보다 특화된 장치를 구성하기에 보다 편리한 것일 수도 있다.
본 개시는 또한 컴퓨터 판독 가능한 매체상에 컴퓨터 판독 가능한 코드로서 구현될 수도 있다. 컴퓨터 판독 가능한 매체는 그 후에 컴퓨터 시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 판독 가능한 매체의 예들은 하드 드라이브들, 네트워크 접속 스토리지(NAS), 판독-전용 메모리, 랜덤 액세스 메모리, CD-ROM들, CD-R들, CD-RW들, 자기 테이프들 및 다른 광학 및 비-광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 코드가 분산 방식으로 저장 및 실행되도록 네트워크 결합 컴퓨터 시스템에 걸쳐 분산되는 컴퓨터 판독 가능한 유형의 매체를 포함할 수 있다.
방법 동작들이 특정 순서로 설명되었지만, 오버레이 동작들의 프로세싱 바람직한 방식으로 수행되는 한, 다른 하우스키핑 동작들이 동작들 간에 수행될 수 있거나, 동작들이 그것들이 약간 상이한 시간들에 발생하도록 조절될 수 있거나, 또는 프로세싱과 연관되어 다양한 간격을 두고 프로세싱 동작들의 발생을 가능하게 하는 시스템에 분산될 수 있다는 것이 이해되어야 한다.
전술한 개시가 명확한 이해를 위해 설명되었지만, 특정 변경예들 및 변형 예들이 첨부된 청구항들의 범위 내에서 실시될 수 있다는 것이 명백할 것이다. 따라서, 본 실시예들은 제한적이 아니라 예시적인 것으로 고려될 것이고, 본 개시의 실시 예들은 여기서 주어진 세부 사항들에 제한되는 것이 아니라, 첨부된 청구항들의 범이 및 균등물들 내에서 변형될 수 있다.
Claims (22)
- 게이밍 지원을 제공하기 위한 방법으로서,
게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하는 단계;
상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하는 단계-상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련됨-;
상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계;
상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하는 단계; 및
상기 응답을 상기 제1 플레이어의 디바이스로 전송하는 단계를 포함하는, 방법. - 청구항 1에 있어서, 응답을 생성하는 단계는:
상기 문의를 해석하는 단계; 및
해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 딥 러닝 엔진으로 상기 게이밍 애플리케이션에 대한 해석된 상기 문의 및 상기 현재 게임 컨텍스트를 입력으로서 제공하는 단계-상기 응답은 상기 게이밍 애플리케이션에 대한 복수의 모델링된 응답 중 하나임-를 포함하는, 방법. - 청구항 2에 있어서,
상기 문의를 해석하고 해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 서드 파티 인공 지능 엔진으로 상기 문의 및 상기 현재 게임 컨텍스트를 전송하는 단계를 더 포함하는, 방법. - 청구항 2에 있어서,
상기 문의를 제1 포맷에서 제2 포맷으로 변환하는 단계를 더 포함하되, 상기 제1 포맷은 오디오이고 상기 제2 포맷은 텍스트인, 방법. - 청구항 1에 있어서, 상기 문의는 오디오, 텍스트 및 비디오 중 적어도 하나를 포함하는 포맷으로 제시되는, 방법.
- 청구항 1에 있어서, 상기 응답은 오디오, 텍스트 및 비디오 중 적어도 하나를 포함하는 포맷으로 제시되는, 방법.
- 청구항 1에 있어서, 상기 디바이스는 안내용 모바일 디바이스를 포함하되, 상기 게임 플레이가 디스플레이상에 제시되는, 방법.
- 청구항 1에 있어서, 상기 디바이스는 상기 제1 게임 플레이 및 상기 응답을 제시하도록 구성된 디스플레이를 포함하는, 방법.
- 청구항 1에 있어서,
지원을 받기 위해 상기 제1 플레이어에 제1 전문가를 배정하는 단계; 및
상기 전문가가 상기 제1 플레이어에 지원을 줄 수 있게 하기 위해 상기 전문가의 디바이스와 상기 제1 플레이어의 상기 디바이스 간 통신 세션을 생성하는 단계를 더 포함하는, 방법. - 청구항 1에 있어서, 상기 정보는 게임 컨텍스트 데이터 및 글로벌 컨텍스트 데이터를 포함하는, 방법.
- 청구항 10에 있어서, 상기 게임 컨텍스트 데이터는 게임 상태 데이터 및 (OS) 레벨 데이터를 포함하는, 방법.
- 청구항 11에 있어서, 게임 상태 데이터는 다음:
캐릭터;
캐릭터 레이스 또는 유형;
상기 게임 플레이에서 제1 캐릭터에 대한 현재 퀘스트;
상기 게임 플레이에서 상기 제1 캐릭터에 대한 다음 퀘스트;
게이밍 환경에서 상기 게임 플레이의 위치;
상기 게이밍 환경을 플레이하는 게임의 레벨;
자산;
무기; 및
상기 제1 캐릭터의 스킬 세트; 중 적어도 하나를 포함하는, 방법. - 청구항 11에 있어서, 상기 OS 레벨 데이터는 다음:
게이밍 입력;
제어기 입력;
제어기 입력의 타임스탬프들; 중 적어도 하나를 포함하는, 방법. - 청구항 10에 있어서, 상기 글로벌 컨텍스트 데이터는 다음:
플레이어 프로필 데이터;
상기 제1 플레이어의 플레이 스타일;
상기 제1 플레이어의 스킬 레벨;
상기 제1 플레이어가 현재 상기 게이밍 애플리케이션을 플레이하고 있는지 여부;
상기 제1 플레이어가 온라인 상태인지 여부;
상기 게이밍 애플리케이션의 타이틀;
상기 제1 플레이어와 플레이하고 있는 공동 플레이어들;
입력 제어기 작동 빈도; 및
상기 제1 플레이어의 친구들; 중 적어도 하나를 포함하는, 방법. - 게이밍 지원을 제공하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독 가능한 매체로서,
게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하기 위한 프로그램 명령들;
상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하기 위한 프로그램 명령들-상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련됨-;
상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하기 위한 프로그램 명령들;
상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하기 위한 프로그램 명령들; 및
상기 응답을 상기 제1 플레이어의 디바이스로 전송하기 위한 프로그램 명령들을 포함하는, 컴퓨터 판독 가능한 매체. - 청구항 15에 있어서, 응답을 생성하기 위한 프로그램 명령들은:
상기 문의를 해석하기 위한 프로그램 명령들; 및
해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 딥 러닝 엔진으로 상기 게이밍 애플리케이션에 대한 해석된 상기 문의 및 상기 현재 게임 컨텍스트를 입력으로서 제공하기 위한 프로그램 명령들-상기 응답은 상기 게이밍 애플리케이션에 대한 복수의 모델링된 응답 중 하나임-을 포함하는, 컴퓨터 판독 가능한 매체. - 청구항 16에 있어서,
상기 문의를 해석하고 해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 서드 파티 인공 지능 엔진으로 상기 문의 및 상기 현재 게임 컨텍스트를 전송하기 위한 프로그램 명령들을 더 포함하는, 컴퓨터 판독 가능한 매체. - 청구항 16에 있어서,
상기 문의를 제1 포맷에서 제2 포맷으로 변환하기 위한 프로그램 명령들을 더 포함하되, 상기 제1 포맷은 오디오이고 상기 제2 포맷은 텍스트인, 컴퓨터 판독 가능한 매체. - 컴퓨터 시스템으로서,
프로세서; 및
프로세서에 연결되고 상기 컴퓨터 시스템에 의해 실행되는 경우 상기 컴퓨터 시스템이 게이밍 지원을 제공하기 위한 방법을 실행하게하는 명령들을 저장한 메모리를 포함하며, 상기 방법은:
게이밍 애플리케이션에 대한 플레이어들의 복수의 게임 플레이와 관련된 정보를 네트워크를 통해 백-엔드 서버에서 수신하는 단계;
상기 게이밍 애플리케이션을 플레이하는 제1 플레이어로부터 문의를 수신하는 단계-상기 문의는 상기 제1 플레이어의 제1 게임 플레이와 관련됨-;
상기 제1 게임 플레이의 현재 게임 컨텍스트를 결정하는 단계;
상기 복수의 게임 플레이와 관련된 상기 정보에 기초하여 문의 및 상기 현재 게임 컨텍스트에 대한 응답을 생성하는 단계; 및
상기 응답을 상기 제1 플레이어의 디바이스로 전송하는 단계를 포함하는, 컴퓨터 시스템. - 청구항 19에 있어서, 상기 방법에서 응답을 생성하는 단계는:
상기 문의를 해석하는 단계; 및
해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 딥 러닝 엔진으로 상기 게이밍 애플리케이션에 대한 해석된 상기 문의 및 상기 현재 게임 컨텍스트를 입력으로서 제공하는 단계-상기 응답은 상기 게이밍 애플리케이션에 대한 복수의 모델링된 응답 중 하나임-를 포함하는, 컴퓨터 시스템. - 청구항 20에 있어서, 상기 방법은:
상기 문의를 해석하고 해석된 상기 문의 및 현재 게임 컨텍스트를 상기 응답과 매칭시키도록 구성된 서드 파티 인공 지능 엔진으로 상기 문의 및 상기 현재 게임 컨텍스트를 전송하는 단계를 더 포함하는, 컴퓨터 시스템. - 청구항 20에 있어서, 상기 방법은:
상기 문의를 제1 포맷에서 제2 포맷으로 변환하는 단계를 더 포함하되, 상기 제1 포맷은 오디오이고 상기 제2 포맷은 텍스트인, 컴퓨터 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237007252A KR20230037061A (ko) | 2018-03-23 | 2019-03-21 | 인공 지능을 사용하는 음성 지원 시스템 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862647541P | 2018-03-23 | 2018-03-23 | |
| US62/647,541 | 2018-03-23 | ||
| US15/992,092 | 2018-05-29 | ||
| US15/992,092 US11439917B2 (en) | 2018-03-23 | 2018-05-29 | Voice help system using artificial intelligence |
| PCT/US2019/023352 WO2019183343A1 (en) | 2018-03-23 | 2019-03-21 | Voice help system using artificial intelligence |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237007252A Division KR20230037061A (ko) | 2018-03-23 | 2019-03-21 | 인공 지능을 사용하는 음성 지원 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210005603A true KR20210005603A (ko) | 2021-01-14 |
| KR102506504B1 KR102506504B1 (ko) | 2023-03-06 |
Family
ID=67984040
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217015480A KR102527768B1 (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
| KR1020207030611A KR102257367B1 (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
| KR1020237014220A KR20230061575A (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
| KR1020207030609A KR102506504B1 (ko) | 2018-03-23 | 2019-03-21 | 인공 지능을 사용하는 음성 지원 시스템 |
| KR1020237007252A KR20230037061A (ko) | 2018-03-23 | 2019-03-21 | 인공 지능을 사용하는 음성 지원 시스템 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217015480A KR102527768B1 (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
| KR1020207030611A KR102257367B1 (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
| KR1020237014220A KR20230061575A (ko) | 2018-03-23 | 2019-01-22 | 게이밍 애플리케이션의 게임 플레이 동안 플레이어를 실시간으로 전문가 도움과 연결 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237007252A KR20230037061A (ko) | 2018-03-23 | 2019-03-21 | 인공 지능을 사용하는 음성 지원 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (5) | US10874947B2 (ko) |
| EP (2) | EP3768403A1 (ko) |
| JP (2) | JP7299231B2 (ko) |
| KR (5) | KR102527768B1 (ko) |
| CN (3) | CN112601589B (ko) |
| WO (2) | WO2019182680A1 (ko) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9805125B2 (en) | 2014-06-20 | 2017-10-31 | Google Inc. | Displaying a summary of media content items |
| US10206014B2 (en) * | 2014-06-20 | 2019-02-12 | Google Llc | Clarifying audible verbal information in video content |
| CN111315456A (zh) * | 2017-09-11 | 2020-06-19 | 耐克创新有限合伙公司 | 用于目标搜索并使用地理寻宝的设备、系统和方法 |
| EP3682398A1 (en) | 2017-09-12 | 2020-07-22 | Nike Innovate C.V. | Multi-factor authentication and post-authentication processing system |
| US11263179B2 (en) | 2018-06-15 | 2022-03-01 | Microsoft Technology Licensing, Llc | System for collaborative editing based on document evaluation |
| US11100052B2 (en) * | 2018-06-20 | 2021-08-24 | Microsoft Technology Licensing, Llc | System for classification based on user actions |
| US10938824B2 (en) | 2018-06-20 | 2021-03-02 | Microsoft Technology Licensing, Llc | Metric-based content editing system |
| CN109036425B (zh) * | 2018-09-10 | 2019-12-24 | 百度在线网络技术（北京）有限公司 | 用于操作智能终端的方法和装置 |
| CN113260434A (zh) | 2018-10-22 | 2021-08-13 | 索尼互动娱乐有限责任公司 | 统一数据平台的数据模型 |
| EP3871423A4 (en) * | 2018-10-23 | 2022-07-06 | Sony Interactive Entertainment LLC | CROSS-PLATFORM REVEAL BLOCKING SERVICE |
| EP3870321A4 (en) | 2018-10-25 | 2022-08-10 | Sony Interactive Entertainment LLC | CROSS-PLATFORM CONSUMPTION OF ITEMS IN A GAME |
| JP6713525B2 (ja) * | 2018-12-19 | 2020-06-24 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
| US11011158B2 (en) * | 2019-01-08 | 2021-05-18 | International Business Machines Corporation | Analyzing data to provide alerts to conversation participants |
| US10978066B2 (en) | 2019-01-08 | 2021-04-13 | International Business Machines Corporation | Analyzing information to provide topic avoidance alerts |
| TWI727590B (zh) * | 2019-12-31 | 2021-05-11 | 宏碁股份有限公司 | 遊戲鍵盤設定方法及電子裝置 |
| TWI737220B (zh) * | 2020-03-17 | 2021-08-21 | 中興保全科技股份有限公司 | 語音呼救系統 |
| US11260297B2 (en) * | 2020-05-01 | 2022-03-01 | Dell Products L.P. | Information handling system wheel input device |
| US11290851B2 (en) * | 2020-06-15 | 2022-03-29 | Snap Inc. | Location sharing using offline and online objects |
| US11503432B2 (en) | 2020-06-15 | 2022-11-15 | Snap Inc. | Scalable real-time location sharing framework |
| US11314776B2 (en) | 2020-06-15 | 2022-04-26 | Snap Inc. | Location sharing using friend list versions |
| US11483267B2 (en) | 2020-06-15 | 2022-10-25 | Snap Inc. | Location sharing using different rate-limited links |
| DE102020208206A1 (de) * | 2020-07-01 | 2022-01-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Inertialsensoreinheit und Verfahren zum Detektieren einer Sprachaktivität |
| EP4221853A1 (en) | 2020-11-05 | 2023-08-09 | Onmobile Global Solutions Canada Limited | Game moment implementation system and method of use thereof |
| KR102259551B1 (ko) * | 2020-11-09 | 2021-06-03 | 주식회사 지아소프트 | 멘토링을 이용한 게임 커뮤니티 운영 서비스 제공 시스템 |
| US11853381B2 (en) * | 2020-11-13 | 2023-12-26 | Google Llc | Hybrid fetching using a on-device cache |
| US11420123B2 (en) * | 2020-12-30 | 2022-08-23 | Sony Interactive Entertainment Inc. | Helper mode in spectated video games |
| WO2022146719A1 (en) * | 2020-12-30 | 2022-07-07 | Sony Interactive Entertainment Inc. | Helper mode in spectated video games |
| CN113244626A (zh) * | 2021-05-10 | 2021-08-13 | 网易（杭州）网络有限公司 | 信息推送方法、装置、设备及存储介质 |
| CN113181630B (zh) * | 2021-05-14 | 2022-10-28 | 歌尔科技有限公司 | 一种游戏手柄及其扳机 |
| KR20220169926A (ko) * | 2021-06-21 | 2022-12-28 | 주식회사 버서스나우 | 스트리밍 내기 게임 방법 및 시스템 |
| KR20220169921A (ko) * | 2021-06-21 | 2022-12-28 | 주식회사 버서스나우 | 게임 승패 제공 시스템 및 방법 |
| CN113599827B (zh) * | 2021-08-25 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 游戏数据处理方法、装置、设备及计算机可读存储介质 |
| US11865455B2 (en) * | 2021-10-26 | 2024-01-09 | Paradigm Tilt LLC | Arcade machine strategy guides |
| WO2023182876A1 (ko) * | 2022-03-25 | 2023-09-28 | 주식회사 지지큐컴퍼니 | 맞춤형 게임 코칭 제공방법 및 그 시스템 |
| CN115087061B (zh) * | 2022-06-08 | 2023-08-15 | 咪咕互动娱乐有限公司 | 在途云游戏通信方法、设备及存储介质 |
| JP7295999B1 (ja) * | 2022-07-22 | 2023-06-21 | 株式会社Cygames | プログラム、情報処理装置、方法、及びシステム |
| US11941546B2 (en) | 2022-07-25 | 2024-03-26 | Gravystack, Inc. | Method and system for generating an expert template |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080004117A1 (en) * | 2006-07-03 | 2008-01-03 | Microsoft Corporation | Multi-Player Gaming |
| WO2017041008A1 (en) * | 2015-09-02 | 2017-03-09 | True Image Interactive, Llc | Intelligent virtual assistant systems and related methods |
| WO2018004812A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Automated artificial intelligence (ai) personal assistant |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6663492B2 (en) * | 2001-04-03 | 2003-12-16 | Keith L Thompson | Game assistant |
| US7296007B1 (en) * | 2004-07-06 | 2007-11-13 | Ailive, Inc. | Real time context learning by software agents |
| US8241129B2 (en) * | 2005-06-20 | 2012-08-14 | Microsoft Corporation | Setting up on-line game sessions out of a game context |
| US20070087798A1 (en) * | 2005-10-13 | 2007-04-19 | Elliot Mcgucken | Morality system and method for video game: system and method for creating story, deeper meaning and emotions, enhanced characters and AI, and dramatic art in video games |
| US7572187B2 (en) * | 2005-10-14 | 2009-08-11 | Leviathan Entertainment | Video game environment that tracks help and advice provided to other player characters |
| US8469821B2 (en) * | 2006-02-14 | 2013-06-25 | Leviathan Entertainment, Llc | Video game which facilitates players assisting other players |
| US20080148165A1 (en) * | 2006-11-22 | 2008-06-19 | Sony Computer Entertainment America Inc. | System and method of providing assistance over a network |
| US20080194333A1 (en) * | 2006-11-22 | 2008-08-14 | Gary Zalewski | System and method of providing assistance through incentives |
| KR20090001499A (ko) * | 2007-04-19 | 2009-01-09 | 주식회사 모퍼스 | 게임 트레이너기능을 구비된 서버시스템과 그 제어방법 |
| US20110149020A1 (en) * | 2009-12-17 | 2011-06-23 | Ilya Klebanov | Method and system for video post-processing based on 3d data |
| US20120142429A1 (en) * | 2010-12-03 | 2012-06-07 | Muller Marcus S | Collaborative electronic game play employing player classification and aggregation |
| US20160187654A1 (en) * | 2011-02-28 | 2016-06-30 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| US8628423B2 (en) * | 2011-06-28 | 2014-01-14 | United Video Properties, Inc. | Systems and methods for generating video hints for segments within an interactive video gaming environment |
| US8622841B2 (en) | 2011-08-02 | 2014-01-07 | Zynga Inc. | Automated apparent responses in massively multiplayer online games |
| US8753183B2 (en) * | 2011-11-03 | 2014-06-17 | Cbs Interactive, Inc. | Techniques to automatically provide assistance for electronic games |
| KR101843345B1 (ko) * | 2011-12-30 | 2018-03-30 | 주식회사 엔씨소프트 | 온라인 게임에서의 멘토 시스템 및 그 제공방법 |
| US9280610B2 (en) * | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9731206B2 (en) * | 2013-02-19 | 2017-08-15 | Amazon Technologies, Inc. | Delegating video game tasks via a sharing service |
| US20140256420A1 (en) * | 2013-03-11 | 2014-09-11 | Microsoft Corporation | Univied game preview |
| US20140357352A1 (en) | 2013-06-03 | 2014-12-04 | Andrew Van Luchene | Video game with player assistance |
| US9813254B2 (en) | 2013-09-04 | 2017-11-07 | Nvidia Corporation | System and method for providing real-time assistance regarding a cloud-based application |
| US10286326B2 (en) * | 2014-07-03 | 2019-05-14 | Activision Publishing, Inc. | Soft reservation system and method for multiplayer video games |
| US20170250006A1 (en) * | 2014-08-06 | 2017-08-31 | Mido Play Inc. | Single platform system for multiple jurisdiction lotteries |
| CN105413175A (zh) | 2015-10-28 | 2016-03-23 | 华为技术有限公司 | 实现游戏求助的方法、装置和服务器 |
| US10112113B2 (en) * | 2016-03-30 | 2018-10-30 | Sony Interactive Entertainment Inc. | Personalized data driven game training system |
| CN106075912B (zh) | 2016-06-07 | 2019-12-03 | 维沃移动通信有限公司 | 一种网络游戏互助的方法及网络游戏系统 |
| EP3469802A1 (en) | 2016-06-13 | 2019-04-17 | Sony Interactive Entertainment LLC | In-game location based game play companion application |
| US11045737B2 (en) * | 2016-06-13 | 2021-06-29 | Sony Interactive Entertainment LLC | In-game location based game play companion application |
| US10179289B2 (en) * | 2016-06-21 | 2019-01-15 | Activision Publishing, Inc. | System and method for reading graphically-encoded identifiers from physical trading cards through image-based template matching |
| US10888788B2 (en) * | 2016-06-30 | 2021-01-12 | Sony Interactive Entertainment Inc. | Automated artificial intelligence (AI) control mode for playing specific tasks during gaming applications |
| CN107362538B (zh) * | 2017-07-05 | 2018-11-09 | 腾讯科技（深圳）有限公司 | 一种游戏辅助信息展示方法、装置以及客户端 |
-
2018
- 2018-05-07 US US15/973,246 patent/US10874947B2/en active Active
- 2018-05-29 US US15/992,092 patent/US11439917B2/en active Active
-
2019
- 2019-01-22 KR KR1020217015480A patent/KR102527768B1/ko active IP Right Grant
- 2019-01-22 KR KR1020207030611A patent/KR102257367B1/ko active IP Right Grant
- 2019-01-22 CN CN201980027868.1A patent/CN112601589B/zh active Active
- 2019-01-22 WO PCT/US2019/014616 patent/WO2019182680A1/en active Application Filing
- 2019-01-22 JP JP2020550150A patent/JP7299231B2/ja active Active
- 2019-01-22 KR KR1020237014220A patent/KR20230061575A/ko not_active Application Discontinuation
- 2019-01-22 CN CN202210638264.4A patent/CN115054911A/zh active Pending
- 2019-01-22 EP EP19704494.4A patent/EP3768403A1/en active Pending
- 2019-03-21 KR KR1020207030609A patent/KR102506504B1/ko active IP Right Grant
- 2019-03-21 KR KR1020237007252A patent/KR20230037061A/ko not_active Application Discontinuation
- 2019-03-21 WO PCT/US2019/023352 patent/WO2019183343A1/en active Application Filing
- 2019-03-21 EP EP19715678.9A patent/EP3768404A1/en active Pending
- 2019-03-21 JP JP2020550075A patent/JP7379360B2/ja active Active
- 2019-03-21 CN CN201980030234.1A patent/CN112218693A/zh active Pending
-
2020
- 2020-12-29 US US17/137,197 patent/US11590428B2/en active Active
-
2022
- 2022-09-12 US US17/942,987 patent/US20230016824A1/en active Pending
-
2023
- 2023-02-28 US US18/176,350 patent/US11857883B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080004117A1 (en) * | 2006-07-03 | 2008-01-03 | Microsoft Corporation | Multi-Player Gaming |
| WO2017041008A1 (en) * | 2015-09-02 | 2017-03-09 | True Image Interactive, Llc | Intelligent virtual assistant systems and related methods |
| WO2018004812A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Automated artificial intelligence (ai) personal assistant |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112601589B (zh) | 2022-06-24 |
| JP2021518201A (ja) | 2021-08-02 |
| KR20210064391A (ko) | 2021-06-02 |
| US11857883B2 (en) | 2024-01-02 |
| WO2019182680A8 (en) | 2020-10-29 |
| US20190291010A1 (en) | 2019-09-26 |
| US11590428B2 (en) | 2023-02-28 |
| KR102257367B1 (ko) | 2021-05-28 |
| WO2019183343A1 (en) | 2019-09-26 |
| US20190291011A1 (en) | 2019-09-26 |
| JP7299231B2 (ja) | 2023-06-27 |
| JP7379360B2 (ja) | 2023-11-14 |
| KR102527768B1 (ko) | 2023-05-02 |
| KR102506504B1 (ko) | 2023-03-06 |
| US20230016824A1 (en) | 2023-01-19 |
| EP3768403A1 (en) | 2021-01-27 |
| US20210113931A1 (en) | 2021-04-22 |
| KR20230037061A (ko) | 2023-03-15 |
| CN112218693A (zh) | 2021-01-12 |
| JP2021518197A (ja) | 2021-08-02 |
| US10874947B2 (en) | 2020-12-29 |
| CN112601589A (zh) | 2021-04-02 |
| CN115054911A (zh) | 2022-09-16 |
| KR20230061575A (ko) | 2023-05-08 |
| EP3768404A1 (en) | 2021-01-27 |
| KR20200128751A (ko) | 2020-11-16 |
| US11439917B2 (en) | 2022-09-13 |
| US20230211240A1 (en) | 2023-07-06 |
| WO2019182680A1 (en) | 2019-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102506504B1 (ko) | 인공 지능을 사용하는 음성 지원 시스템 | |
| US11383167B2 (en) | Automated artificial intelligence (AI) control mode for playing specific tasks during gaming applications | |
| US20220297016A1 (en) | A marker in a message providing access to a full version of a video game | |
| US11724204B2 (en) | In-game location based game play companion application | |
| JP7339318B2 (ja) | ゲーム内位置ベースのゲームプレイコンパニオンアプリケーション | |
| EP3469801B1 (en) | Generating challenges using a location based game play companion applicaiton |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |