KR102577903B1 - 증강 현실 모바일 에지 컴퓨팅 - Google Patents

증강 현실 모바일 에지 컴퓨팅 Download PDF

Info

Publication number
KR102577903B1
KR102577903B1 KR1020217030620A KR20217030620A KR102577903B1 KR 102577903 B1 KR102577903 B1 KR 102577903B1 KR 1020217030620 A KR1020217030620 A KR 1020217030620A KR 20217030620 A KR20217030620 A KR 20217030620A KR 102577903 B1 KR102577903 B1 KR 102577903B1
Authority
KR
South Korea
Prior art keywords
client
peer
clients
results
map data
Prior art date
Application number
KR1020217030620A
Other languages
English (en)
Other versions
KR20210121289A (ko
Inventor
벤자민 피크
데이비드 그레이슨 스미스
시 잉 다이애나 후
간디번 라구라만
피터 제임스 터너
Original Assignee
나이앤틱, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나이앤틱, 인크. filed Critical 나이앤틱, 인크.
Priority to KR1020237030530A priority Critical patent/KR20230132894A/ko
Publication of KR20210121289A publication Critical patent/KR20210121289A/ko
Application granted granted Critical
Publication of KR102577903B1 publication Critical patent/KR102577903B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/567—Integrating service provisioning from a plurality of service providers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5566—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history by matching opponents or finding partners to build a team, e.g. by skill level, geographical area, background, play style

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Computer And Data Communications (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

공유된 증강 현실 경험 내에서 동작 처리는 통신 네트워크(예컨대, 셀 타워)의 에지 노드와 서버 간에 분할된다. 결과적으로, 현재 상태의 계산은 현실 세계 위치를 기초로 일반적으로 에지 노드에 의해 제공되는 상태 업데이트와 마스터 상태를 기초로 충돌 해결을 제공하는 서버(예컨대, 다른 에지 노드에 연결된 행동이 잠재적으로 서로 간섭하는 경우), 자연스럽게 분할될 수 있다. 이러한 방식으로, 게임 서버를 통해 행동을 라우팅하지 않고서 동일한 에지 노드에 연결된 클라이언트들 사이에서 피어-투-피어(peer-to-peer, P2P) 프로토콜을 사용하여 게임 행동들이 통신되므로 레이턴시가 감소될 수 있다.

Description

증강 현실 모바일 에지 컴퓨팅
본 출원은 2019년 2월 25일에 출원된 미국 가특허출원 제62/810,115호의 이익을 주장하며, 이는 참조로 포함된다.
본 발명은 증강 현실(AR), 특히 저지연(low-latency) 공유된 AR 경험을 제공하기 위한 계층화된 네트워크 아키텍처에 관한 것이다.
평행 현실(parallel-reality) 게임 시스템에서, 플레이어는 현실 세계의 적어도 일부와 평행하는 공유된 가상 세계에서 컴퓨팅 디바이스를 통해 상호작용한다. 가상 세계에서 플레이어의 위치는 현실 세계에서의 플레이어의 위치를 기초로 한다. 그러나 가상 세계를 참조하여 주로 행동을 취하는 경우 가상 세계는 플레이어가 서로 참여하는데 장벽으로 작용할 수 있다. 플레이어는 가상 세계와 상호작용하여 다른 플레이어를 멀리 있거나 비현실적으로 보이게 만든다. 결과적으로 많은 개인이 현실 세계의 지리적 영역에서 게임을 하는 경우에도 게임 경험은 사회적이기보다는 개인적으로 느껴질 수 있다.
평행 현실 게임 시스템은 변경(예를 들어, 게임에서 다른 플레이어의 행동의 결과)을 반영하기 위해 플레이어가 상호작용하는 가상 세계의 게임 상태를 업데이트하기 위해 하나 이상의 프로토콜을 사용할 수 있다. 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP)과 같은 통신 프로토콜은 컴퓨터 네트워크를 사용하여 데이터를 교환하기 위한 규칙의 체계를 정의한다. UDP는, 데이터그램의 보증된 전달, 주문, 또는 비-이중성(non-duplicity)을 갖지 않는 비연결형 통신 모델에 부착된다. UDP를 사용하여 통신하는 컴퓨팅 디바이스는 각각 헤더와 페이로드를 포함하는 통신의 기본 단위인 데이터그램을 컴퓨터 네트워크를 통해 서로 전송한다.
UDP와 같은 비연결형 통신 프로토콜은 일반적으로, 데이터를 송신하기 전에 컴퓨팅 디바이스 사이에 연결들을 확립하는 전송 제어 프로토콜(Transmission Control Protocol, TCP)과 같은 연결형 통신 프로토콜보다 더 낮은 오버헤드 및 레이턴시(latency)를 갖는다. 그러나, 기존의 비연결형 통신 프로토콜들은 당업계에 의해 수용되는 것보다 더 적은 레이턴시를 요구하는 데이터 전달에 부적절하다. 예를 들어, 초당 60 프레임(60 frames per second, FPS)에서 스트리밍하는평행 현실 게임 환경은 현재 기술에 의해 제공되는 것보다 10배 낮은 레이턴시를 요구할 수 있다. 그러한 게임 환경에서 프레임은 대략 16밀리초 간격들로 이격되는 반면, 현재 통신 프로토콜은 전형적으로 대략 1백밀리초(이상)의 레이턴시를 제공한다.
따라서, 이러한 기존의 비연결형 통신 프로토콜의 레이턴시는 평행 현실 게임 시스템에서 플레이어와 가상 세계 사이에 장벽을 제공한다. 이러한 기존 통신 프로토콜을 사용하면 플레이어는 현재 게임 상태와 상호 작용하지 않으며, 오직 최근 게임 상태와 상호 작용한다. 예를 들어, 평행 현실 게임에서, 가상 위치 데이터가 사실상 객체에 대한 새로운 위치를 가진 동안(예컨대, 가상 객체가 다른 플레이어에 의해 이동됨) 플레이어는 구 위치(예컨대, 객체가 100밀리초 이전이었던 경우)에서의 가상 객체를 볼 수 있다. 클라이언트와 평행 현실 게임을 호스팅 또는 조정하는 서버 사이의 통신에 있어서의 이러한 레이턴시는 불만스러운 사용자 경험을 가져올 수 있다. 이러한 문제는 하나 초과의 사용자가 게임에 참여하고 있는 경우에 특히 극심할 수 있는데, 그 이유는 레이턴시가 하나의 플레이어가 가상 세계의 다른 플레이어들의 시야에 나타나는 행동 사이에 현저한 지연을 야기할 수 있기 때문이다.
증강 현실(augmented reality, AR) 시스템은 컴퓨터 생성 콘텐츠로 현실 세계의 뷰(view)들을 보완한다. AR을 평행 현실(parallel-reality) 게임 내에 통합하는 것은 현실 세계와 가상 세계 사이의 통합을 개선할 수 있다. AR은, 또한 플레이어가 상호작용하는 공유 게이밍 환경에 참여할 기회들을 그들에게 제공함으로써 플레이어 사이의 상호작용성(interactivity)을 증가시킬 수 있다. 예를 들어, 탱크전 게임에서, 플레이어는 현실 세계 위치 주위의 가상 탱크들을 내비게이팅하여, 서로의 탱크들을 파괴하고자 할 수도 있다. 다른 예에서, 태그 배틀 게임에서 플레이어는 포인트를 획득하기 위해 에너지 볼로 서로 태그를 시도할 수 있다.
기존 AR 세션 기법들은, 서버가 마스터 상태를 유지하고, 네트워크(예컨대, 인터넷)를 통해 플레이어 디바이스들에서의 로컬 게임 상태를 마스터 상태에 주기적으로 동기화시키는 것을 수반한다. 그러나, 플레이어의 로컬 게임 상태를 동기화시키는 것은 상당한 시간(예컨대, 약 수백 밀리초)이 걸릴 수 있는데, 이는 게이밍 경험에 유해하다. 플레이어는, 사실상, 현재 게임 상태보다 과거 게임 상태와 상호작용하고 있다. 이러한 문제는 하나 초과의 사용자가 AR 게임에 참여하고 있는 경우에 특히 극심할 수 있는데, 그 이유는 레이턴시가 하나의 플레이어가 다른 플레이어들의 시야에 나타나는 행동 사이에 현저한 지연을 야기하기 때문이다. 예를 들어, 하나의 플레이어가 세계에서 AR 객체를 이동시키는 경우, 다른 플레이어들은, 인간이 인지가능한 지연인 100밀리초(또는 그 이상) 전에는 그것이 이동했음을 알 수 없다. 이와 같이, 다른 플레이어는 이전 위치에 있는 객체와 상호작용하려고 시도할 수 있으며, 게임이 레이턴시를 정정할 때(예컨대, 플레이어에 의해 요청되는 행동을 구현하는 것을 거절함) 좌절감을 느낄 수 있다.
이 문제 및 기타 문제는 네트워크의 에지 노드(edge node)(예를 들어, 셀 타워)에서 일부 게임 상태 처리를 수행함으로써 해결될 수 있다. 결과적으로, 게임 상태의 계산은 현실 세계 위치를 기초로 자연스럽게 분할될 수 있으며 마스터 게임 상태는 충돌 해결을 제공하는 서버에 의해 유지된다(예컨대, 근처 셀 타워에 연결된 플레이어의 행동이 잠재적으로 서로 간섭하는 경우). 레이턴시는 또한 게임 서버를 통해 업데이트들을 라우팅하지 않고서 동일한 에지 노드에 연결된 클라이언트들 사이에서 게임 업데이트들을 교환하는 피어-투-피어(peer-to-peer, P2P) 프로토콜을 사용하여 감소될 수 있다. 이러한 접근법을 이용하면, 레이턴시는 약 10밀리초 이하로 감소될 수 있다. 더욱이, 이는 대역폭 가용성을 증가시켜 더 많은 플레이어들이 공통된 AR 경험을 공유할 수 있게 할 수 있다.
일 실시예에서, 에지 노드에 의해 공유된 AR 경험을 제공하기 위한 방법은 에지 노드에서 클라이언트로부터 연결 요청을 수신하는 단계 및 연결 요청에 기초하여 클라이언트에 대한 공유된 AR 경험을 식별하는 단계를 포함한다. 상기 방법은 또한 공유된 AR 경험을 위한 맵 데이터(map data) 및 로컬 게임 상태를 클라이언트에 제공하는 단계를 포함한다. 에지 노드는 공유된 AR 경험에서 가상 아이템과의 원하는 상호작용을 나타내는 클라이언트로부터 행동 요청을 수신하고 에지 노드에 의해 유지되는 로컬 게임 상태를 기초로 행동 요청의 결과를 결정한다. 상기 방법은 결과를 에지 노드에 연결된 복수의 클라이언트에 제공하는 단계 및 서버에 의해 유지되는 마스터 게임 상태로 결과를 검증하는 단계를 더 포함한다. 상기 결과는 상기 결과가 초기에 복수의 클라이언트에 제공된 후에 검증될 수 있다.
도 1은 AR 콘텐츠가 클라이언트에 제공되는 네트워크 컴퓨팅 환경의 일 실시예를 도시한다.
도 2는, 일 실시예에 따른, 도 1의 네트워크 컴퓨팅 환경 내에서 사용하기에 적합한 데이터그램의 블록도이다.
도 3은, 일 실시예에 따른, 네트워크 컴퓨팅 환경의 에지 노드에 의해 데이터그램을 라우팅하기 위한 프로세스를 도시하는 흐름도이다.
도 4는, 일 실시예에 따른, 도 1의 셀 타워를 도시하는 블록도이다.
도 5는, 일 실시예에 따른, 공유된 AR 경험을 제공하는 방법을 도시한 흐름도이다.
도 6은, 일 실시예에 따른, 도 1의 네트워크 컴퓨팅 환경에서 사용하기에 적합한 컴퓨터의 예를 도시하는 블록도이다.
도면 및 다음의 설명은 오로지 예시로서 소정 실시예들을 설명한다. 당업자는 다음의 설명으로부터 구조 및 방법의 대안적인 실시예가 설명되는 원리로부터 벗어나지 않고서 채용될 수 있음을 용이하게 인식할 것이다. 여러 실시예들이 참조될 것이며, 그 예는 첨부 도면에 도시되어 있다. 유사한 또는 비슷한 참조 번호들은 도면에서 유사한 또는 비슷한 기능을 나타내는 데 사용된다. 요소들이 상이한 문자가 뒤따르는 공통 숫자를 공유하는 경우, 그 요소들은 유사하거나 동일하다. 그 숫자는 단독으로 그러한 요소들 중 임의의 하나 또는 그러한 요소들의 임의의 조합을 지칭한다. 아래에 설명된 실시예는 평행 현실 게임에 관한 것이지만, 당업자는 개시된 기술이 다른 유형의 공유된 AR 경험에 사용될 수 있음을 인식할 것이다.
예시적인 컴퓨팅 환경
도 1은 AR 콘텐츠가 클라이언트(130)에 제공되는 네트워크 컴퓨팅 환경의 일 실시예를 도시한다. AR 콘텐츠는 플레이어가 현실 세계의 적어도 일부와 평행하는 공유 가상 세계에서 상호작용하는 평행 현실 게임의 일부일 수 있다. 도시된 실시예에서, 네트워크 컴퓨팅 환경은 서버(110), 셀 타워(120), 및 2개의 클라이언트(130)를 포함한다. 편의상 두 개의 클라이언트(130)만이 도시되어 있지만, 실제로는 더 많은(예를 들어, 수십 또는 수백)의 클라이언트(130)가 셀 타워(120)에 연결될 수 있다. 다른 실시예에서, 네트워크 컴퓨팅 환경은 상이하거나 추가적인 컴포넌트들을 포함할 수 있다. 예를 들어, 네트워크 컴퓨팅 환경은 셀 타워(130) 대신 하나 이상의 WiFi 라우터를 네트워크 노드로서 사용하는 근거리 통신망(local area network, LAN)일 수 있다. 추가로, 기능들은 설명된 것과 상이한 방식으로 요소들 사이에 분포될 수 있다.
서버(110)는 통신 네트워크에서 클라이언트(130)에 서비스를 제공하는 하나 이상의 컴퓨팅 디바이스이다. 서버(110)는 통신 네트워크(예를 들어, 셀 타워(120))의 에지 노드를 통해 클라이언트(130)와 통신한다. 일 실시예에서, 서버(110)는 평행 현실 게임에 대한 마스터 게임 상태, 즉 궁극적으로 평행 현실 게임의 실측(ground truth) 상태를 유지한다. 이러한 맥락에서, 마스터 게임 상태는 마스터 게임 상태와 로컬 게임 상태 사이에 충돌이 발생하는 경우 마스터 게임 상태가 지배한다는 점에서 실측 상태에 해당한다. 이것은 2개의 로컬 게임 상태(예를 들어, 네트워크에서 인접한 셀 타워(120)에 의해 유지되는 2개의 로컬 게임 상태)가 겹치는 지리적 영역에 대응하는 경우에 특히 유용할 수 있다. 따라서, 두 셀 타워(120)에 연결된 디바이스는 다른 AR 세션에 연결되어 있는 동안 (마스터 게임 상태에서) 동일한 게임 콘텐츠와 상호작용할 수 있다.
셀 타워(120)는 클라이언트(130)가 통신 네트워크에 연결하는 에지 노드이다. 위에서 설명된 바와 같이, 컴퓨터 네트워크는 셀 타워(120)를 대체하거나 그에 추가로 유사한 통신을 가능하게 하는 다른 에지 노드를 포함할 수 있다. 일 실시예에서, 셀 타워는 AR 데이터를 저장하고 연결된 클라이언트(130)에 AR 서비스를 제공하도록 구성된 하나 이상의 컴퓨팅 디바이스를 포함한다. 클라이언트(130)는 셀 타워에 상대적으로 가깝게 위치하고 직접 연결되기 때문에 클라이언트에 데이터 및 서비스를 제공하는 지연 시간은 서버(110)보다 상당히 짧을 수 있다. 셀 타워(120)의 다양한 실시예는 도 4를 참조하여 이하에서 더 상세히 설명된다.
클라이언트(130)는 개인용 컴퓨터, 랩톱, 태블릿, 스마트폰 등과 같은 컴퓨팅 디바이스이다. 평행 현실 게임과 관련된 실시예에서, 클라이언트(130)는 일반적으로 연결되거나 내장된 카메라를 갖고 플레이어가 쉽게 휴대할 수 있는 스마트폰 또는 태블릿이다. 클라이언트(예를 들어, 클라이언트(130A))는 P2P 메시지를 동일한 셀 타워에 연결된 다른 클라이언트(예를 들어, 클라이언트(130B))로 포워딩하는 셀 타워(120)에 P2P 메시지를 전송함으로써 통신할 수 있다. 클라이언트(130)는 또한 서버(110)에 메시지를 전송함으로써(셀 타워(120)를 통해) 서로 통신할 수 있으며, 서버(110)는 메시지를 수신자에게 차례로 전달한다. 예를 들어, 클라이언트(130A)는 이러한 방식으로 다른 셀 타워(120) 또는 서버(110)에 연결된 다른 클라이언트(130B)로 메시지를 보낼 수 있다.
일 실시예에서, 클라이언트 통신은 서버(110) 또는 피어-투-피어(peer-to-peer, P2P)를 통해 라우팅될 수 있다. 서버(110)를 통해 라우팅된 통신은 셀 타워(120)를 통해 제1 클라이언트(130A)로부터 서버(110)로 갈 수 있고, 그 다음 셀 타워(120)를 통해 제2 클라이언트(130B)로 되돌아올 수 있다. 대조적으로, P2P 통신은 제1 클라이언트(130A)로부터 셀 타워(120)로, 그리고 이어서 제2 클라이언트(130B)로 직접적으로 이어질 수 있다. 일부 경우에 있어서, 통신이 신호 부스터와 같은 다른 중간 디바이스를 통과할 수 있다는 것에 유의한다. 본원에서 사용되는 바와 같이, 통신은, 서버(110)를 통과하지 않고서 타겟 클라이언트(130B)로 라우팅되는 경우 P2P로 간주된다. 이것은 통신이 타겟 클라이언트(130B)로 전송되기 전에 서버(110)로 통신을 전송할 필요성을 우회함으로써 레이턴시를 감소시킬 수 있다. 예를 들어, 메시지(예컨대, 데이터그램)는 타겟 클라이언트(130B)가 전송 클라이언트(130A)와 동일한 셀 타워(120)에 연결되는 경우에는 P2P로 전송될 수 있고 그렇지 않은 경우에는 서버(110)를 통해 라우팅될 수 있다. 다른 실시예에서, 클라이언트(130)는 전적으로 P2P 통신을 사용하여 통신한다.
일 실시예에서, 클라이언트(130)는 조정 서비스(예컨대, 서버에서 호스팅되고, TCP를 통해 통신됨)를 사용하여 IP 어드레스를 동기화시킨다. 클라이언트(130)는 자유롭게 접근가능한 IP 어드레스 또는 근거리 통신망(LAN)을 사용하여 (예컨대, UDP를 통해) 통신할 수 있다. 예를 들어, 제1 클라이언트(130A)는 요청을 TCP를 통해 조정 서비스로 전송하여 로컬 AR 공유된 환경에 합류할 수 있다. 조정 서비스는 (예컨대, 동일한 셀 타워(120)를 통해) AR 세션에 연결된 제2 클라이언트(130B)의 IP 어드레스를 제1 클라이언트(110A)에 제공할 수 있다. 조정 서비스는 또한 제1 클라이언트의 IP 어드레스를 제2 클라이언트(130B)에 제공할 수 있고, 또는 제1 클라이언트(130A)가 (조정 서비스에 의해 제공되는 바와 같은) 제2 클라이언트의 IP 어드레스를 사용하여 직접 제공할 수 있다. 일부 실시예에서, 조정 서비스는 제2 클라이언트의 IP 어드레스가 제공되기 전 (예컨대, 사용자 확인을 요청하거나 승인된 클라이언트(130)의 목록을 체크하여 제2 클라이언트(130B)와 연결함으로써) 제2 클라이언트(130B)가 제1 클라이언트(130A)를 승인할 것을 촉구할 수 있다.
다른 장점들 중에서, 도 1에 도시된 방식으로 네트워크 컴퓨팅 환경을 구성하는 것은 계산의 효율적인 분배를 가능하게 한다. 정보는 짧은 지연 시간으로 클라이언트(130) 사이에서 P2P 교환될 수 있고, 플레이어가 현실 세계에서 상호작용하는 것과 유사한 방식으로 공유된 AR 경험 내에서 상호작용할 수 있게 한다. 유사하게, 셀 타워(120)는 클라이언트(130)에 제공할 맵 데이터를 결정할 수 있고 연결된 클라이언트(130) 사이의 게임 상태를 동기화할 수 있다. 셀 타워(120)는 동일한 상태를 서버(110)와 전역적으로 동기화하는 것보다 더 적은 지연으로 게임 상태를 동기화할 수 있다. 그런 다음 서버(110)는 장기간 프로세싱을 처리하고 충돌을 해결하는데 사용될 수 있다. 예를 들어, 서버(110)는 서로 다른 셀 타워(120)에 의해 처리되는 지리적 영역 간의 연결을 관리할 수 있으며, 셀 타워에서 결정한 사항을 다시 확인하고(필요한 경우 수정함), 추가 보안 검사를 수행하고, 부정 행위를 탐지하기 위해 클라이언트(130)로부터 수신된 데이터를 분석하고, 글로벌 데이터(예컨대, 단일 셀 타워의 커버리지보다 큰 지역에 대한 총 팀 점수) 등을 유지한다.
예시적인 P2P 프로토콜
도 2는 도 1의 네트워크 컴퓨팅 환경에서 사용하기에 적합한 데이터그램(200)의 일 실시예를 도시한다. 전술한 바와 같이, 데이터그램(200)은 통신의 기분 단위이다. 도시된 실시예에서, 데이터그램(200)은 페이로드(202) 및 헤더(204)를 포함하고, 헤더(204)는 표시자로도 알려진 P2P 플래그(206)를 포함한다. 헤더(204)는 소스 포트, 목적지 포트, 데이터그램(200)의 길이, 및 데이터그램(200)의 체크섬(checksum)과 같은 데이터그램(200)의 여러 측면을 특정하는 메타데이터이다. 페이로드(202)는 데이터그램(200)에 의해 전달되는 데이터이다. 다른 실시예에서, 데이터그램(200)은 상이하거나 추가적인 요소를 포함할 수 있다.
페이로드(202)는 수신자 클라이언트 또는 클라이언트들(130)로의 전달을 위한 데이터그램(200)의 내용을 포함한다. 일 실시예에서, 헤더(204)는 P2P 플래그(206)가 추가된 UDP 헤더와 유사할 수 있다. 헤더(204)는 또한 추가 메타데이터를 포함할 수 있다. P2P 플래그(206)는 데이터그램(200)이 서버(110)로 전송되는지 아니면 P2P로 다른 클라이언트(130)로 전송되는지 결정하는데 사용된다. 다른 실시예에서, P2P 플래그(206)는 유사한 기능을 제공하는 헤더 내의 하나 이상의 다른 표시자들로 대체된다.
도 3은 일 실시예에 따른 에지 노드(예를 들어, 셀 타워(120))에서 P2P 통신 프로토콜을 사용하기 위한 프로세스를 도시하는 흐름도이다. 도 3에서, 셀 타워(120)는 클라이언트(130A)로부터 데이터그램(200)을 수신한다(305). 셀 타워(120)는 데이터그램(200)을 분석하여(310) 그것이 P2P로 전송되어야 하는지 또는 서버(110)를 통해 전송되어야 하는지 결정한다. 일 실시예에서, P2P 플래그(206)는 데이터그램(200)이 P2P 메시지이고, 셀 타워(120)가 클라이언트(130A)에 연결된 하나 이상의 클라이언트(130)에 데이터그램(200)을 전송한다(315). 예를 들어, 데이터그램(200)의 헤더(204)가 목적지 포트가 클라이언트(130B)의 헤더임을 나타내면, 셀 타워(120)는 데이터그램(200)을 클라이언트(130B)로 전송한다(315). 대안적으로, 셀 타워는 로컬 AR 세션에 참여하는 연결된 클라이언트(130)의 목록을 유지하고 로컬 AR 세션에 참여하는 모든 클라이언트(130)(또는 플레이어의 팀원에 해당하는 클라이언트와 같은 클라이언트의 서브세트)에 데이터그램(200)을 전송할 수 있다(315). 대조적으로, P2P 플래그(206)가 데이터그램(200)이 서버(110)로 향하는 것을 나타내면, 셀 타워(120)는 데이터그램(200)을 서버(110)로 전송(320)한다.
다른 실시예에서, 가능하다면 데이터그램(200)이 P2P로 전송되어야 함을 나타내도록 전송 클라이언트(110A)는 P2P 플래그(206)를 설정할 수 있다. 셀 타워(120)는 데이터그램(200)을 수신(305) 및 분석(310)하고, P2P 플래그(206)가 데이터그램(200)이 P2P로 전송되어야 함을 나타낸다고 가정한 경우 (예컨대, 타겟 클라이언트(130B)의 식별자를 현재 연결된 클라이언트들(130)의 목록과 비교함으로써), 타겟 클라이언트(130B)가 셀 타워(120)에 현재 연결되어 있는지 여부를 결정한다. 타겟 클라이언트(130B)가 셀 타워(120)에 연결된 경우, 셀 타워(120)는 서버(110)를 거치지 않고 데이터그램(200)을 타겟 클라이언트(130B)로 직접 전송한다(315). 대조적으로, 타겟 클라이언트(130B)가 셀 타워(120)에 연결되어 있지 않은 경우, 데이터그램(200)은 서버(110)로 전송되어, (예컨대, 그것이 현재 연결된 제2 셀 타워(120)를 통해) 타겟 클라이언트(130B) 상에 전송된다. 예를 들어, 서버(110)는 어느 셀 타워(120)가 어느 클라이언트 디바이스(130)에 현재 연결되어 있거나 최근에 연결되었는지의 데이터베이스 또는 기타 목록을 유지할 수 있다. 일부 실시예에서, 셀 타워(120)는 데이터그램(200)을 타겟 클라이언트(130B) 및 서버(110) 둘 다로 전송할 수 있다.
다른 실시예에서, P2P 플래그(206)는 AR 세션, 사용자, 디바이스, 게임 계정 등의 식별자일 수 있다. 셀 타워(120)는 데이터그램(200)이 P2P로(또는, 가능하다면, P2P로) 전송해야 하는P2P 플래그들(206)의 목록을 유지한다. 셀 타워(120)는 데이터그램(200)을 수신하고(305) 분석하여(310) 그것이 서버(110)를 통해 전송되어야 하는지 아니면 P2P로 전송되어야 하는지 결정한다. P2P 플래그(206)가 목록 상에 엔티티의 식별자를 포함하는 경우, 데이터그램(200)은 P2P 메시지이고, 셀 타워(120)는 데이터그램(200)을 식별된 엔티티와 연관된 하나 이상의 클라이언트들(130B)로 전송한다(315). 예를 들어, 데이터그램(200)의 헤더(204)가 목적지 포트가 클라이언트(130B)의 것임을 나타내는 경우, 셀 타워(120)는 데이터그램(200)을 클라이언트(130B)로 전송한다(315). 다른 예를 들자면, P2P 플래그(206)가 AR 세션을 식별하는 경우 데이터그램(200)은 해당 세션에 연결된 모든 클라이언트들(130)로 전송되고, 게임 계정인 경우 데이터그램은 해당 게임 계정 등과 연관된 하나 이상의 클라이언트로 전송된다. 대조적으로, P2P 플래그(206)가 목록에 없는 엔티티를 식별하는 경우, 셀 타워(120)는 엔티티와 연관된 클라이언트들(130)에 전송되도록 P2P 플래그(206)를 서버(110)로 전송한다(320). 대안적으로, 목록은 P2P로 전송되지 않을 메시지들에 대한 P2P 플래그(206)를 나타낼 수 있는데, 이러한 경우, P2P 플래그(206)가 목록 상에 있지 않은 경우의 디폴트 거동은 대응하는 데이터그램 P2P를 타겟 클라이언트(예컨대, 클라이언트(130B))로 전송하는 것이다.
예시적인 에지 노드
도 4는 통신 네트워크에서 에지 노드의 일 실시예를 도시한다. 도시된 실시예에서, 에지 노드는 라우팅 모듈(410), 데이터 인제스트 모듈(420), AR 환경 모듈(430), 맵 프로세싱 모듈(440), 인가 체크 모듈(450), 및 로컬 데이터 스토어(460)를 포함하는 셀 타워(120)이다. 셀 타워(120)는, 또한, 데이터를 교환하기 위해 서버(110) 및 클라이언트들(130)로의 연결을 확립하기 위한 하드웨어 및 펌웨어 또는 소프트웨어(미도시)를 포함한다. 예를 들어, 셀 타워(120)는 광섬유 또는 다른 유선 인터넷 연결을 통해 서버(110)에 그리고 무선 연결(예컨대, 4G 또는 5G)을 사용하여 클라이언트들(130)에 연결할 수 있다. 다른 실시예에서, 셀 타워(120)는 상이한 또는 추가적인 컴포넌트를 포함할 수 있다. 추가로, 기능들은 설명된 것과 상이한 방식으로 요소들 사이에 분포될 수 있다.
라우팅 모듈(410)은 데이터 패킷을 수신하고, 그 패킷을 하나 이상의 수신자 디바이스로 전송한다. 일 실시예에서, 라우팅 모듈(410)은 클라이언트(130)로부터 데이터그램(200)을 수신하고, 수신된 데이터그램을 어디로 전송할지 도 3을 참조하여 설명된 방법을 사용하여 결정한다. 라우팅 모듈(410)은 또한, 특정 클라이언트(130), 또는 셀 타워(120)에 연결된 모든 클라이언트로 어드레싱된 데이터 패킷을 서버로부터 수신할 수 있다. 라우팅 모듈(410)은 데이터 패킷을 그가 어드레싱된 클라이언트(130)로 포워딩한다.
데이터 인제스트 모듈(420)은 셀 타워(120)가 연결된 클라이언트(130)를 통해 플레이어에게 공유된 AR 경험을 제공하는 데 사용하는 하나 이상의 소스로부터 데이터를 수신한다. 일 실시예에서, 데이터 인제스트 모듈(420)은 현실 세계 조건들에 관한 실시간 또는 실질적으로 실시간 정보를 (예컨대, 제3자 서비스로부터) 수신한다. 예를 들어, 데이터 인제스트 모듈(420)은 셀 타워를 둘러싸는 지리적 영역 내의 기상 조건들을 나타내는 기상 서비스로부터 기상 데이터를 주기적으로(예컨대, 시간마다) 수신할 수도 있다. 다른 예로서, 데이터 인제스트 모듈(420)은 공원, 박물관, 또는 다른 공공 장소에 대한 개장 시간을 검색할 수 있다. 또 다른 예로서, 데이터 인제스트 모듈(420)은 셀 타워(120)를 둘러싸는 지리적 영역에서 얼마나 많은 차량이 도로 상에서 주행하고 있는지를 나타내는 교통 데이터를 수신할 수 있다. 현실 세계 조건에 관한 그러한 정보는 가상 세계와 현실 세계 사이의 시너지를 개선하는 데 사용될 수 있다.
AR 환경 모듈(430)은 셀 타워(120)를 둘러싸는 지리적 영역 내의 플레이어가 공유된 AR 경험에 참여할 수 있는 AR 세션을 관리한다. 일 실시예에서, 클라이언트(130)는 AR 게임을 실행하는 동안 셀 타워(120)에 연결하며, AR 환경 모듈(430)은 클라이언트(130)를 게임을 위한 AR 세션에 연결시킨다. 셀 타워(120)에 연결하는 게임의 모든 플레이어는 단일 AR 세션을 공유할 수 있고, 또는 플레이어는 다수의 AR 세션 사이에 배분될 수 있다. 예를 들어, 특정 AR 세션에 플레이어의 최대 수(예컨대, 10명, 20명, 100명 등)가 있을 수 있다. 다수의 AR 세션이 있는 경우, 클라이언트(130)가 무작위로 세션에 새롭게 연결될 수 있고, 또는 클라이언트가 사용자 인터페이스(UI)를 제공하여 플레이어가 어느 환경에 합류할지 선택할 수 있게 할 수 있다. 따라서, 플레이어는 AR 세션에서 친구들과 참여할 것을 선택할 수 있다. 일부 실시예에서, 플레이어는 액세스 보호되는(예컨대, 합류하기 위해 패스워드 또는 코드를 요구하는) 사적 AR 세션을 확립할 수 있다.
다양한 실시예에서, AR 객체(예컨대, 생물, 차량 등)가 현실 세계 특징부와 상호작용하는 것(예컨대, 장애물들을 통과해 가는 것이 아니라 그 위로 점프하는 것)으로 보일 수 있게 하기 위해, AR 환경 모듈(430)은 클라이언트의 근접지에서 현실 세계를 표현하는 맵 데이터(예컨대, 로컬 데이터 스토어(460)에 저장된 것)를 연결된 클라이언트(130)에게 제공한다. AR 환경 모듈(430)은 클라이언트(130)에 대한 위치 데이터(예컨대, GPS 위치)를 수신할 수 있고, 클라이언트를 둘러싸는(예컨대, 클라이언트의 현재 포지션의 임계 거리 내에 있는) 지리적 영역에 대한 맵 데이터를 제공할 수 있다.
맵 데이터는 현실 시계의 하나 이상의 표현을 포함할 수 있다. 예를 들어, 맵 데이터는 포인트 클라우드 모델, 평면 매칭 모델, 라인 매칭 모델, 지리 정보 시스템(geographic information system, GIS) 모델, 건물 인식 모델, 풍경 인식 모델 등을 포함할 수 있다. 맵 데이터는 또한 상이한 레벨의 디테일로 주어진 유형의 하나 초과의 표현을 포함할 수 있다. 예를 들어, 맵 데이터는 각각 상이한 수의 포인트를 포함하는 2개 이상의 포인트 클라우드 모델을 포함할 수 있다.
클라이언트(130)는 맵 데이터를 클라이언트(130) 상의 하나 이상의 센서에 의해 수집된 데이터와 비교하여 클라이언트의 위치를 개선할 수 있다. 예를 들어, 클라이언트(130) 상의 카메라에 의해 캡처되는 이미지를 포인트 클라우드 모델에 맵핑함으로써 클라이언트의 위치 및 배향이 정확하게 (예컨대, 1 센티미터 및 0.1도 이내로) 결정될 수 있다. 클라이언트(130)는, 플레이어에 의해 취해진 임의의 행동(예컨대, 슈팅하는 것, 상호작용할 가상 아이템을 선택하는 것, 가상 아이템을 떨어뜨리는 것 등)과 함께, 결정된 위치 및 배향을 AR 환경 모듈(430)로 다시 제공한다. 따라서, AR 환경 모듈(430)은 AR 세션에 참여된 모든 플레이어에 대해 게임의 상태를 업데이트할 수 있다.
맵 프로세싱 모듈(440)은 현재 조건들에 기초하여 맵 데이터(예컨대, 데이터 인제스트 모듈(420)로부터의 데이터)를 업데이트한다. 현실 세계가 정적이지 않기 때문에, 로컬 데이터 스토어(460) 내의 맵 데이터는 현재 현실 세계 조건들을 표현하지 않을 수도 있다. 예를 들어, 버몬트에 있는 동일한 공원 오솔길은 상이한 계절에서는 매우 상이하게 보일 수 있다. 여름에 오솔길은 깨끗할 수도 있고 주변 나무들은 나뭇잎으로 덮여있을 것이다. 대조적으로, 겨울에 오솔길은 눈더미에 의해 막힐 수 있고 나무들은 잎이 없을 수 있다. 맵 프로세싱 모듈(440)은 맵 데이터를 변환하여 그러한 변화들을 근사화할 수 있다.
일 실시예에서, 맵 프로세싱 모듈(440)은 현재 조건 데이터를 검색하여 변환을 식별하고, 그 변환을 맵 데이터에 적용한다. 상이한 조건에 대한 변환은 경험 규칙(heuristic rule)에 의해 정의될 수 있거나, 학습된 기계 학습 모델의 형태를 취할 수 있거나, 또는 양 접근법 모두의 조합을 이용할 수 있다. 예를 들어, 맵 프로세싱 모듈(440)은 현재 기상 조건 데이터를 수신하고, 현재 기상 조건들에 대한 변환을 선택하여, 변환을 맵 데이터에 적용할 수도 있다. 대안적으로, 맵 프로세싱 모듈(440)은 변환된 맵을 사전계산할 수 있고, 이들을 (예컨대, 로컬 데이터 스토어(460)에) 저장할 수 있다. 이 경우, 클라이언트(130)가 셀 타워(120)에 연결할 때, 맵 프로세싱 모듈(440)은 현재 조건을 결정하고, 맵 데이터의 적절한 사전계산된 버전을 선택하여, 그 버전을 클라이언트(130)에 제공한다.
인가 체크 모듈(450)은 상이한 클라이언트들(130)의 게임 상태 사이의 동기화를 유지한다. 일 실시예에서, 인가 체크 모듈(450)은, 클라이언트(130)로부터 수신된 게임 행동이 AR 환경 모듈(430)에 의해 유지되는 게임 상태와 일치함을 확인한다. 예를 들어, 2명의 플레이어 모두가 동일한 게임내 아이템을 픽업하려고 시도하는 경우, 인가 체크 모듈(450)은 (예컨대, 요청과 연관된 타임스탬프에 기초하여) 어느 플레이어가 아이템을 수신하는지 결정한다. 설명된 바와 같이, 셀 타워(120)에서의 로컬 프로세싱 및 P2P 프로토콜의 사용은 플레이어가 요청한 액션(예컨대, 가상 객체 캡처)의 결과를 다른 플레이어의 클라이언트(130)에 직접 제공함으로써, AR 세션 동안 다른 플레이어의 클라이언트(130)에서 보이는 플레이어의 행동의 레이턴시를 현저히 감소시킬 수 있다. 따라서, 그러한 행동간의 충돌이 발생하고 인가 체크 모듈(450)에 의해 해결되는 경우의 가능성(및 수)이 감소되고, AR 경험이 개선될 수 있다.
인가 체크 모듈(450)은 또한 게임 상태의 로컬 복제본과 서버(110)에 의해 유지되는 마스터 상태 사이의 동기화를 유지할 수 있다. 일 실시예에서, 인가 체크 모듈(450)은 서버(110)로부터 게임 상태에 관한 글로벌 업데이트를 주기적으로(예컨대, 매 1초 내지 10초마다) 수신한다. 인가 체크 모듈(450)은 이러한 업데이트를 게임 상태의 로컬 복제본과 비교하고, 임의의 불일치성을 해결한다. 예를 들어, 아이템을 픽업하려는 플레이어의 요청이 초기에 인가 체크 모듈(450)에 의해 승인되었지만, 서버(110)로부터의 게임 업데이트가, 플레이어가 아이템을 픽업하려고 시도하기 전에 그 아이템이 다른 플레이어에 의해 픽업되었음(또는 달리 이용불가능하게 되었음)을 나타내는 경우, 인가 체크 모듈(450)은 아이템이 플레이어의 인벤토리로부터 제거되어야 함을 나타내는 업데이트를 플레이어의 클라이언트(130)로 전송할 수도 있다.
이러한 프로세스는 상이한 셀 타워들(120)에 의해 제공되는 커버리지 사이의 경계에 가깝게 위치된 클라이언트(130)에 대한 값을 제공할 수 있다. 이러한 경우, 상이한 셀 타워(120)에 연결된 플레이어 양쪽 모두가 동일한 가상 요소와 상호작용할 수 있다. 따라서, 각각의 개별 셀 타워(120)는 요소와의 상호작용이 충돌하는 것을 초기에 승인할 수도 있지만, 서버(110)가 그 충돌을 검출하고 업데이트를 전송하여 충돌을 해결할 것이다(예컨대, 셀 타워(120) 중 하나에게 그의 행동의 초기 승인을 철회하고, 이에 따라 그의 로컬 상태를 업데이트할 것을 지시함).
로컬 데이터 스토어(460)는 셀 타워에 의해 사용되는 데이터를 저장하도록 구성된 하나 이상의 비일시적 컴퓨터 판독가능 매체이다. 일 실시예에서, 저장된 데이터는 맵 데이터, 현재 조건 데이터, 현재(또는 최근에) 연결된 클라이언트(130)의 목록, P2P 플래그의 목록, 지리적 영역에 대한 게임 상태의 로컬 복제본 등을 포함할 수 있다. 로컬 데이터 스토어(460)가 단일 엔티티로서 도시되어 있지만, 데이터는 다수의 저장 매체에 걸쳐서 분할될 수 있다. 더욱이, 데이터 중 일부는 통신 네트워크 내의 어딘가에 저장되고 원격으로 액세스될 수 있다. 예를 들어, 셀 타워(120)는 필요에 따라 현재 조건 데이터를 (예컨대, 제3자 서버로부터) 원격으로 액세스할 수 있다.
예시적인 방법
도 5는 일 실시예에 따른 공유된 AR 경험을 제공하는 방법(500)을 도시한다. 도 5의 단계들은 방법(500)을 수행하는 에지 노드(예컨대, 셀 타워(120))의 관점에서 도시된다. 그러나 일부 또는 모든 단계는 다른 엔터티 또는 컴포넌트에 의해 수행될 수 있다. 또한, 일부 실시예는 단계를 병렬로 수행하거나, 단계를 다른 순서로 수행하거나, 다른 단계를 수행할 수 있다.
도 5에 도시된 실시예에서, 방법(500)은 셀 타워(120)가 클라이언트(130)로부터 연결 요청을 수신(510)하는 것으로 시작한다. 연결 요청은 클라이언트(130)의 식별자, 게임의 식별자, 플레이어 식별자(예컨대, 사용자 이름), 클라이언트(130)에 대한 현재 위치 데이터(예컨대, GPS 포지션) 등 중 하나 이상을 포함할 수 있다. 상기 연결 요청은 둘 이상의 부분으로 분할될 수 있다. 예를 들어, 클라이언트(130)는 먼저 셀 타워(120)와 통신 채널을 설정한 다음 클라이언트(130)에서 실행되는 AR 게임이 공유된 AR 경험을 제공하기 위해 공유된 AR 세션에 참여하라는 요청을 전송할 수 있다.
셀 타워(120)는 클라이언트(130)에 대한 공유된 AR 세션을 식별(520)한다. 특정 공유된 AR 세션은 클라이언트(130) 상에서 실행하는 특정 AR 게임, 플레이어에 대한 정보(예컨대, 셀 타워는 플레이어를 연락처 또는 유사한 게임 내 프로필을 가진 다른 플레이어와 연결하는 것을 선호할 수 있음), 진행중인 AR 세션에 이미 연결된 플레이어의 수 등에 기초하여 선택될 수 있다. 일 실시예에서, 클라이언트(130)는 (예컨대, 플레이어 입력에 기초하여) 어떤 공유된 AR 세션에 참여할 것인지 식별하고, 이는 셀 타워(120)에 전달된다. 경우에 따라 사용 가능한 공유된 AR 세션이 하나만 있을 수 있다. 이 경우, 셀 타워(120)는 클라이언트(130)를 그 공유된 AR 세션에 자동으로 연결할 수 있다.
셀 타워(120)는 맵 데이터 및 공유된 AR 세션에 대한 로컬 게임 상태를 클라이언트(130)에 제공한다(530). 일 실시예에서, 셀 타워는 클라이언트(130)로부터 수신된 포지션 데이터(예컨대, GPS 데이터)를 사용하여 클라이언트에 제공(530)하기 위해 이용 가능한 맵 데이터의 서브세트(subset)를 식별한다. 예를 들어, 셀 타워(120)는 클라이언트(130)의 임계 거리 내(예컨대, 100미터 이내) 현실 세계 위치를 설명하는 맵 데이터를 제공할 수 있다. 전술한 바와 같이, 맵 데이터는 클라이언트(130) 주변의 현실 세계 지리적 영역을 나타내는 하나 이상의 모델을 포함할 수 있다. 클라이언트(130)는 맵 데이터를 사용하여 공유된 AR 세션 내에서 클라이언트(130)를 찾고 로컬 게임 상태(예를 들어, 가상 아이템, 생물, 표지판 등)에 기초한 AR 콘텐츠를 포함하는 AR 경험을 제시한다.
셀 타워(120)는 클라이언트(130)로부터 행동 요청을 수신한다(540). 행동 요청은 가상 아이템, 가상 캐릭터, 가상 생물 또는 다른 플레이어와 같은 AR 경험의 콘텐츠와 플레이어 간의 원하는 상호 작용을 나타낼 수 있다. 예를 들어, 플레이어는 가상 아이템 픽업(pick up), 가상 아이템 드롭(drop), 가상 아이템 사용하기, 가상 아이템과 상호작용하기, 가상 캐릭터와 대화하기, 가상 생물 공격하기, 다른 플레이어 공격하기 등을 원할 수 있다. 당업자는 AR 게임의 특정 특성에 따라 수행될 수 있는 광범위한 가능한 행동을 인식할 것이다.
셀 타워(120)는 게임 상태에 기초하여 행동 요청에 대한 결과를 결정한다(550). 결과는 특정 행동에 따라 다양한 수준의 복잡성을 가질 수 있는 일련의 규칙을 기초로 할 수 있다. 예를 들어, 행동이 가상 아이템을 픽업하는 것이라면, 셀 타워가 다른 플레이어가 아이템을 이미 픽업, 이동했거나, 그것을 파괴했다고 결정하지 않는 한 행동은 단순히 성공할 수 있다. 앞서 언급한 바와 같이, 개시된 기술을 사용하여 달성된 감소된 레이턴시로 인해, 이것은 드문 경우일 수 있다. 대조적으로, 행동이 가상 생물에 대한 공격인 경우, 결과는 일련의 계산 및 가상 주사위 역할을 기초로 할 수 있다. 당업자는 행동의 결과를 결정하는데 사용될 수 있는 광범위한 가능한 규칙 세트 및 접근 방식을 인식할 것이다.
셀 타워(120)는 연결된 클라이언트(130)에 행동의 결과를 제공한다(560). 일 실시예에서, 셀 타워(120)는 AR 세션에 연결된 모든 클라이언트(130)에게 결과를 제공한다. 다른 실시예에서, 셀 타워(120)는 행동을 수행하는 플레이어의 임계 현실 세계 거리(예컨대, 100미터) 내에 있는 클라이언트(130)에게만 결과를 제공한다. 개시된 기술로 인한 레이턴시가 상대적으로 낮기 때문에(예를 들어, 10밀리초 이하), 플레이어는 실질적으로 실시간으로 행동의 결과를 경험할 수 있다. 따라서 플레이어는 공유된 AR 경험에서 서로 직접 상호 작용하고 있다는 인상을 받을 수 있다.
셀 타워(120)는 서버(110)에 의해 유지되는 마스터 게임 상태로 행동의 결과를 검증(570)한다. 일부 실시예에서, 셀 타워(120)는 마스터 게임 상태를 업데이트하라는 표시를 서버(110)에 전송하여, 행동이 마스터 게임 상태의 관점에서 유효한 것으로 입증된다면 로컬 게임 상태에서 플레이어에 의해 취해진 임의의 행동을 반영한다. 일 실시예에서, 셀 타워(120)는 주기적으로(예를 들어, 1초 내지 10초마다) 자신의 로컬 게임 상태가 마스터 게임 상태와 일치하는지 확인한다. 전술한 바와 같이, 이것은 다른 셀 타워(120)에 연결된 플레이어의 행동이 서로 간섭할 수 있는 경우를 처리하기 위해 셀 타워(120)에 의해 덮인 영역의 가장자리에서 특히 유용할 수 있다. 로컬 게임 상태와 마스터 게임 상태 사이의 불일치가 검출되면, 셀 타워(120)는 연결된 클라이언트(130)에 업데이트를 푸시하여 그들의 게임 상태를 마스터 게임 상태와 동기화할 수 있다. 또한, 일부 실시예에서, 셀 타워(120)는 검증을 위해 서버에 행동 및 그 결과를 전송할 수 있고, 서버는 결과가 마스터 게임 상태와 충돌한다고 표시하는 경우, 셀 타워(120)는 결과를 철회하기 위해 로컬 게임 상태를 업데이트한다.
예시적인 컴퓨팅 시스템
도 6은 일 실시예에 따른, 도 1에 도시된 네트워크 컴퓨팅 환경(100) 내에서의 사용에 적합한 예시적인 컴퓨터(600)를 도시하는 하이-레벨 블록도이다. 예시적인 컴퓨터(600)는 칩셋(604)에 결합되는 적어도 하나의 프로세서(602)를 포함한다. 편의상, 프로세서(602)는 단일 엔티티로 지칭되지만, 대응하는 기능은 멀티 코어 프로세서 사용, 특정 동작을 특수 프로세서(예컨대, 그래픽 처리 장치)에 할당, 분산 컴퓨팅 환경에서 작업 분할 등을 포함하는 다양한 방식을 사용하여 다수의 프로세서들 사이에 분산될 수 있음을 이해해야 한다. 프로세서(602)에 대한 임의의 참조는 그러한 아키텍처를 포함하는 것으로 해석되어야 한다.
칩셋(604)은 메모리 제어기 허브(620) 및 입력/출력(I/O) 제어기 허브(622)를 포함한다. 메모리(606) 및 그래픽 어댑터(612)는 메모리 제어기 허브(620)에 결합되고, 디스플레이(618)는 그래픽 어댑터(612)에 결합된다. 저장 디바이스(608), 키보드(610), 포인팅 디바이스(614), 및 네트워크 어댑터(616)는 I/O 제어기 허브(622)에 결합된다. 컴퓨터(600)의 다른 실시예들은 상이한 아키텍처들을 갖는다.
도 6에 도시된 실시예에서, 저장 디바이스(608)는 하드 디스크, 콤팩트 디스크 판독 전용 메모리(CD-ROM), DVD, 또는 솔리드 스테이트 메모리 디바이스와 같은 비일시적 컴퓨터 판독가능 저장 매체이다. 메모리(606)는 프로세서(602)에 의해 사용되는 명령어 및 데이터를 보유한다. 포인팅 디바이스(614)는 마우스, 트랙볼, 터치 스크린, 또는 다른 유형의 포인팅 디바이스이고, 데이터를 컴퓨터 시스템(600) 내에 입력하기 위해 키보드(610)(이는 온-스크린 키보드일 수 있음)와 조합하여 사용된다. 그래픽 어댑터(612)는 디스플레이(618) 상에 이미지들 및 다른 정보를 디스플레이한다. 네트워크 어댑터(616)는 컴퓨터 시스템(600)을 하나 이상의 컴퓨터 네트워크에 결합시킨다.
도 1의 엔티티에 의해 사용되는 컴퓨터의 유형은 실시예 및 엔티티에 의해 요구되는 프로세싱 전력에 따라 다를 수 있다. 예를 들어, 서버(110)는 설명된 기능을 제공하기 위해 함께 작동하는 다중 서버를 포함하는 분산형 데이터베이스 시스템을 포함할 수도 있다. 더욱이, 컴퓨터들은 키보드(610), 그래픽 어댑터(612), 및 디스플레이(618)와 같은 전술된 컴포넌트 중 일부가 없을 수 있다.
추가 고려 사항
위 설명의 일부 부분은 알고리즘 프로세스 또는 동작의 관점에서 실시예를 설명한다. 이러한 알고리즘에 대한 서술 및 설명은 데이터 처리 기술분야의 당업자들이 작업의 내용을 동 기술 분야의 다른 당업자에게 효과적으로 전달하는 데 일반적으로 사용하는 것이다. 이러한 동작은 기능적으로, 전산적으로, 또는 논리적으로 설명되지만, 프로세서 또는 등가 전기 회로, 마이크로코드 등에 의한 실행을 위한 명령을 포함하는 컴퓨터 프로그램에 의해 구현되는 것으로 이해된다. 또한, 이러한 기능적 동작들의 배열을 일반성을 잃지 않고 모듈이라고 지칭하는 것이 때로는 편리하다는 것도 입증되었다.
본원에 사용된 바와 같이, "일 실시예" 또는 "실시예"라는 언급은 그 실시예와 관련하여 설명된 특정 요소, 특징, 구조, 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 명세서의 여러 위치에서 출현하는 "일 실시예에서"라는 문구는 반드시 모두가 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예는 "결합된" 및 "연결된"이라는 표현을 이들의 파생어와 함께 사용하여 설명될 수 있다. 이러한 용어들은 서로 동의어로 의도된 것이 아님을 이해해야 한다. 예를 들어, 일부 실시예는 둘 이상의 요소들이 서로 직접적으로 물리적 또는 전기적 접촉을 하고 있음을 나타내기 위해 "연결된"이라는 용어를 사용하여 설명될 수 있다. 다른 예로서, 일부 실시예는 둘 이상의 요소들이 직접적으로 물리적 또는 전기적 접촉을 하고 있음을 나타내기 위해 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나, "결합된"이라는 용어는 또한 둘 이상의 요소들이 서로 직접적으로 접촉하지 않지만 여전히 서로 협력하거나 상호 작용한다는 것을 의미할 수도 있다. 이러한 맥락에서 실시예는 제한되지 않는다.
본원에 사용된 용어 "포함하다", "포함하는", "포함한다", "포함하는", "갖는다", "갖는" 또는 이들의 임의의 다른 변형은 비배타적 포함까지 망라하도록 의도된 것이다. 예를 들어, 소정의 목록의 요소들을 포함하는 프로세스, 방법, 물품, 또는 장치는 반드시 그러한 요소들로만 제한되는 것이 아니고, 명시적으로 나열되지 않았거나 그러한 프로세스, 방법, 물품, 또는 장치에 고유하지 않은 그 밖의 다른 요소들을 포함할 수 있다. 또한, 상반된 언급을 명시적으로 하지 않는 한, "또는"은 포괄적인 '또는'을 지칭하는 것이지, 배타적인 '또는'을 지칭하는 것이 아니다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 충족된다: A는 참(또는 존재)이고 B는 거짓(또는 부재)인 것; A는 거짓(또는 부재)이고 B는 참(또는 존재)인 것; A와 B가 모두 참(또는 존재)인 것.
또한, 부정관사("a" 또는 "an")의 용법은 실시예의 요소들 및 구성 요소들을 설명하는 데 사용된다. 이는 단지 편의를 위해 사용하는 것이며 개시내용의 일반적인 의미를 제공하기 위해 사용하는 것이다. 이러한 설명은 하나 또는 적어도 하나를 포함하는 것으로 해석해야 하며, 단수는 달리 의미하는 것이 명백하지 않은 한 복수도 포함한다.
마지막으로, 특정 실시예 및 애플리케이션이 예시되고 설명되었지만, 이러한 실시예는 예시적인 것임을 이해해야 한다. 개시된 예에 대한 다양한 수정, 변경 및 변형은 당업자에게 자명할 수 있다. 따라서, 개시된 실시예는 보호 범위를 제한하는 것으로 간주되어서는 안된다. 오히려, 보호 범위는 다음의 청구범위에 의해서만 제한되어야 한다.

Claims (20)

  1. 통신 네트워크의 에지 노드(edge node)가 공유된 증강 현실(augmented reality, AR) 경험을 제공하는 방법으로서,
    상기 에지 노드에서 클라이언트로부터 연결 요청을 수신하는 단계;
    상기 연결 요청을 기초로 상기 클라이언트에 대한 공유된 AR 세션(session)을 식별하는 단계;
    공유된 AR 세션에 의해 제공되는 AR 경험의 에지 노드에 의해 유지되는 맵 데이터 및 로컬 상태를 클라이언트에 제공하는 단계;
    상기 AR 경험에서 가상 아이템과의 원하는 상호작용을 나타내는 행동 요청을 클라이언트로부터 수신하는 단계;
    상기 AR 경험의 로컬 상태를 기초로 행동 요청의 결과를 결정하는 단계;
    에지 노드에 연결된 복수의 클라이언트들에게 상기 결과를 제공하는 단계; 및
    상기 복수의 클라이언트에게 상기 결과를 제공한 후, 서버에 의해 유지되는 AR 경험의 마스터 상태로 결과를 검증하는 단계를 포함하고,
    상기 AR 경험의 마스터 상태로 결과를 검증하는 단계는:
    상기 결과가 마스터 상태와 충돌한다는 표시를 서버로부터 수신하는 것에 응답하여, 상기 결과를 철회하기 위해 로컬 상태를 업데이트하는 단계; 및
    상기 결과가 철회되었음을 나타내는 업데이트를 복수의 클라이언트 각각에 전송하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 에지 노드는 복수의 클라이언트 및 서버에 연결된 셀 타워인, 방법.
  3. 제1항에 있어서,
    상기 행동 요청은 데이터그램에 포함되고, 상기 방법은,
    데이터그램의 플래그에 기초하여 상기 결과를 피어-투-피어(peer-to-peer)로 전송할지 여부를 결정하기 위해 상기 데이터그램을 분석하는 단계;
    상기 결과를 피어-투-피어로 전송하기로 결정한 것에 응답하여, 상기 결과를 에지 노드에서 복수의 클라이언트들 중 하나 이상에 직접 제공하는 단계; 및
    상기 결과를 피어-투-피어로 전송하지 않기로 결정한 것에 응답하여 서버에 결과를 제공하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 맵 데이터는 포인트 클라우드 모델, 평면 매칭 모델, 라인 매칭 모델, 지리 정보 시스템(geographic information system, GIS) 모델, 건물 인식 모델, 풍경 인식 모델 중 하나 이상을 포함하는, 방법.
  5. 제1항에 있어서,
    상기 클라이언트의 포지션(position)을 수신하는 단계; 및
    상기 클라이언트에게 맵 데이터로서 제공하는 이용 가능한 맵 데이터의 서브세트(subset)를 식별하는 단계로서, 상기 이용 가능한 맵 데이터의 서브세트는 클라이언트의 포지션의 임계 거리 내에 있는 이용 가능한 맵 데이터의 서브세트를 식별하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 마스터 상태는 복수의 상이한 로컬 상태를 사용하여 계산되고, 각각의 로컬 상태는 상이한 현실 세계 위치에서 상이한 에지 노드에 의해 유지되는, 방법.
  7. 삭제
  8. 프로세서에 의해 실행 가능한 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령어는:
    에지 노드에서 클라이언트로부터 연결 요청을 수신하는 명령어;
    상기 연결 요청을 기초로 상기 클라이언트에 대한 공유된 AR 세션(session)을 식별하는 명령어;
    공유된 AR 세션에 의해 제공되는 AR 경험의 에지 노드에 의해 유지되는 맵 데이터 및 로컬 상태를 클라이언트에 제공하는 명령어;
    상기 AR 경험에서 가상 아이템과의 원하는 상호작용을 나타내는 행동 요청을 클라이언트로부터 수신하는 명령어;
    상기 AR 경험의 로컬 상태를 기초로 행동 요청의 결과를 결정하는 명령어;
    에지 노드에 연결된 복수의 클라이언트에게 상기 결과를 제공하는 명령어; 및
    상기 복수의 클라이언트에게 상기 결과를 제공한 후, 서버에 의해 유지되는 AR 경험의 마스터 상태로 결과를 검증하는 명령어를 포함하고,
    상기 복수의 클라이언트에 결과를 제공한 후, 서버에 의해 유지되는 AR 경험의 마스터 상태로 결과를 검증하는 명령어는:
    상기 결과가 마스터 상태와 충돌한다는 표시를 서버로부터 수신하는 것에 응답하여, 상기 결과를 철회하기 위해 로컬 상태를 업데이트하는 명령어; 및
    상기 결과가 철회되었음을 나타내는 업데이트를 복수의 클라이언트 각각에 전송하는 명령어를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  9. 제8항에 있어서,
    상기 에지 노드는 복수의 클라이언트 및 서버에 연결된 셀 타워인, 비일시적 컴퓨터 판독 가능 저장 매체.
  10. 제8항에 있어서,
    상기 행동 요청은 데이터그램에 포함되고, 상기 명령어는,
    상기 데이터그램의 플래그에 기초하여 상기 결과를 피어-투-피어(peer-to-peer)로 전송할지 여부를 결정하기 위해 상기 데이터그램을 분석하는 명령어;
    상기 결과를 피어-투-피어로 전송하기로 결정한 것에 응답하여, 상기 결과를 에지 노드에서 복수의 클라이언트 중 하나 이상에 직접 제공하는 명령어; 및
    상기 결과를 피어-투-피어로 전송하지 않기로 결정한 것에 응답하여, 서버에 상기 결과를 제공하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  11. 제8항에 있어서,
    상기 맵 데이터는 포인트 클라우드 모델, 평면 매칭 모델, 라인 매칭 모델, 지리 정보 시스템(geographic information system, GIS) 모델, 건물 인식 모델, 풍경 인식 모델 중 하나 이상을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  12. 제8항에 있어서,
    상기 명령어는:
    상기 클라이언트의 포지션(position)을 수신하는 명령어; 및
    상기 클라이언트에게 맵 데이터로서 제공하는 이용 가능한 맵 데이터의 서브세트(subset)를 식별하는 명령어로서, 상기 이용 가능한 맵 데이터의 서브세트는 클라이언트의 포지션의 임계 거리 내에 있는 이용 가능한 맵 데이터의 서브세트를 식별하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 제8항에 있어서,
    상기 마스터 상태는 복수의 상이한 로컬 상태를 사용하여 계산되고, 각각의 로컬 상태는 상이한 현실 세계 위치에서 상이한 에지 노드에 의해 유지되는, 비일시적 컴퓨터 판독 가능 저장 매체.
  14. 삭제
  15. 컴퓨팅 네트워크의 에지 노드(edge node)로서,
    상기 에지 노드는:
    상기 에지 노드에 연결된 하나 이상의 클라이언트들의 목록을 저장하는 로컬 데이터 스토어; 및 라우팅 모듈을 포함하고,
    상기 라우팅 모듈은:
    추가적인 클라이언트로부터 연결 요청을 수신하는 단계;
    상기 연결 요청을 기초로 상기 추가적인 클라이언트에 대한 공유된 AR 세션(session)을 식별하는 단계;
    공유된 AR 세션에 의해 제공되는 AR 경험의 에지 노드에 의해 유지되는 맵 데이터 및 로컬 상태를 상기 추가적인 클라이언트에 제공하는 단계;
    상기 AR 경험에서 가상 아이템과의 원하는 상호작용을 나타내는 행동 요청을 상기 추가적인 클라이언트로부터 수신하는 단계;
    상기 AR 경험의 로컬 상태를 기초로 행동 요청의 결과를 결정하는 단계;
    에지 노드에 연결된 하나 이상의 클라이언트들에게 상기 결과를 제공하는 단계; 및
    상기 하나 이상의 클라이언트들에게 상기 결과를 제공한 후, 서버에 의해 유지되는 AR 경험의 마스터 상태로 상기 결과를 검증하는 단계를 포함하는 동작을 수행하도록 구성되고,
    상기 AR 경험의 마스터 상태로 결과를 검증하는 단계는:
    상기 결과가 마스터 상태와 충돌한다는 표시를 서버로부터 수신하는 것에 응답하여, 상기 결과를 철회하기 위해 로컬 상태를 업데이트하는 단계; 및
    상기 결과가 철회되었음을 나타내는 업데이트를 상기 하나 이상의 클라이언트들 각각에 전송하는 단계를 포함하는, 에지 노드.
  16. 제15항에 있어서,
    상기 행동 요청은 데이터그램에 포함되고, 상기 동작은:
    상기 데이터그램의 플래그에 기초하여 상기 결과를 피어-투-피어(peer-to-peer)로 전송할지 여부를 결정하기 위해 상기 데이터그램을 분석하는 단계;
    상기 결과를 피어-투-피어로 전송하기로 결정한 것에 응답하여, 상기 결과를 상기 목록에 있는 상기 하나 이상의 클라이언트들에게 직접 제공하는 단계; 및
    상기 결과를 피어-투-피어로 전송하지 않기로 결정한 것에 응답하여, 서버에 상기 결과를 제공하는 단계를 더 포함하는, 에지 노드.
  17. 제15항에 있어서,
    상기 맵 데이터는 포인트 클라우드 모델, 평면 매칭 모델, 라인 매칭 모델, 지리 정보 시스템(geographic information system, GIS) 모델, 건물 인식 모델, 풍경 인식 모델 중 하나 이상을 포함하는, 에지 노드.
  18. 제15항에 있어서,
    상기 동작은:
    상기 추가적인 클라이언트의 포지션(position)을 수신하는 단계; 및
    상기 추가적인 클라이언트에게 맵 데이터로서 제공하는 이용 가능한 맵 데이터의 서브세트(subset)를 식별하는 단계로서, 상기 이용 가능한 맵 데이터의 서브세트는 상기 추가적인 클라이언트의 포지션의 임계 거리 내에 있는 이용 가능한 맵 데이터의 서브세트를 식별하는 단계를 더 포함하는, 에지 노드.
  19. 제15항에 있어서,
    상기 마스터 상태는 복수의 상이한 로컬 상태를 사용하여 결정되고, 각각의 로컬 상태는 상이한 현실 세계 위치에서 상이한 에지 노드에 의해 유지되는, 에지 노드.
  20. 삭제
KR1020217030620A 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅 KR102577903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237030530A KR20230132894A (ko) 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962810115P 2019-02-25 2019-02-25
US62/810,115 2019-02-25
PCT/IB2020/051614 WO2020174404A1 (en) 2019-02-25 2020-02-25 Augmented reality mobile edge computing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237030530A Division KR20230132894A (ko) 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅

Publications (2)

Publication Number Publication Date
KR20210121289A KR20210121289A (ko) 2021-10-07
KR102577903B1 true KR102577903B1 (ko) 2023-09-14

Family

ID=72142647

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217030620A KR102577903B1 (ko) 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅
KR1020237030530A KR20230132894A (ko) 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237030530A KR20230132894A (ko) 2019-02-25 2020-02-25 증강 현실 모바일 에지 컴퓨팅

Country Status (9)

Country Link
US (2) US11420116B2 (ko)
EP (1) EP3918579A4 (ko)
JP (2) JP7185068B2 (ko)
KR (2) KR102577903B1 (ko)
CN (2) CN113728362B (ko)
AU (2) AU2020228333B2 (ko)
CA (2) CA3130880C (ko)
TW (1) TWI849064B (ko)
WO (1) WO2020174404A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
US11420116B2 (en) 2019-02-25 2022-08-23 Niantic, Inc. Augmented reality mobile edge computing
US11489763B2 (en) 2019-12-20 2022-11-01 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
US11724188B2 (en) * 2020-09-29 2023-08-15 Activision Publishing, Inc. Methods and systems for selecting a level of detail visual asset during the execution of a video game
US11833423B2 (en) 2020-09-29 2023-12-05 Activision Publishing, Inc. Methods and systems for generating level of detail visual assets in a video game
US11717753B2 (en) * 2020-09-29 2023-08-08 Activision Publishing, Inc. Methods and systems for generating modified level of detail visual assets in a video game
JP6913809B1 (ja) * 2020-10-21 2021-08-04 株式会社Ｃｙｇａｍｅｓ ゲームシステム、エッジ側サーバ、クラウド側サーバ、ゲーム端末及びゲーム制御方法
US20220147616A1 (en) * 2020-11-11 2022-05-12 Red Hat, Inc. Implementing trusted clients using secure execution environments
CN113628347B (zh) * 2021-07-16 2024-07-02 炫彩互动网络科技有限公司 基于边缘计算的云ar实景共享方法及系统
CN113706721A (zh) * 2021-09-07 2021-11-26 中国计量大学 一种基于增强现实技术的电梯检验方法及系统
TWI823146B (zh) * 2021-09-14 2023-11-21 仁寶電腦工業股份有限公司 用於即時mr互動應用之邊緣渲染運算方法及系統
CN115242774B (zh) * 2022-06-24 2024-09-03 浪潮通信技术有限公司 边缘计算网关配置传输方法及装置
TWI817825B (zh) * 2022-11-11 2023-10-01 財團法人資訊工業策進會 擴增實境互動系統、伺服器以及行動裝置
WO2024143659A1 (ko) * 2022-12-28 2024-07-04 서울과학기술대학교 산학협력단 콘텐츠 시각화 시스템 및 방법

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473404B1 (en) 1998-11-24 2002-10-29 Connect One, Inc. Multi-protocol telecommunications routing optimization
US6865169B1 (en) 1999-11-02 2005-03-08 Ipwireless, Inc. Cellular wireless internet access system using spread spectrum and internet protocol
TW463840U (en) 2000-05-26 2001-11-11 Great Asia Engineering Consult Construction device for retaining wall and foundation pile of caisson type
SE520129C2 (sv) * 2000-10-27 2003-05-27 Terraplay Systems Ab Kommunikationsinfrastrukturanordning i och en datorläsbar programprodukt för ett databearbetningssystem för fleranvändarapplikationer
US7616961B2 (en) 2002-04-29 2009-11-10 Harris Corporation Allocating channels in a mobile ad hoc network
US8149707B2 (en) 2003-02-12 2012-04-03 Rockstar Bidco, LP Minimization of radio resource usage in multi-hop networks with multiple routings
WO2005041496A1 (en) 2003-10-27 2005-05-06 Nokia Corporation Method and devices for relayed peer-to-peer communications between terminals in mobile networks
US20170310500A1 (en) 2005-03-16 2017-10-26 Icontrol Networks, Inc. Controlling Data Routing in Premises Management Systems
WO2006125454A1 (en) 2005-05-23 2006-11-30 Telefonaktiebolaget L.M. Ericsson (Publ.) Traffic diversion in an ethernet-based access network
US20070104190A1 (en) 2005-11-07 2007-05-10 Nokia Corporation User datagram protocol packet processing on network elements
US7839815B2 (en) 2006-02-10 2010-11-23 Alcatel-Lucent Usa Inc. Triggering migration of a network access agent associated with an access terminal
US7780522B2 (en) 2007-02-23 2010-08-24 Cfph, Llc Game at cash register
US8787366B2 (en) 2007-06-29 2014-07-22 Qualcomm Incorporated Community driven program access system and method
US8407605B2 (en) * 2009-04-03 2013-03-26 Social Communications Company Application sharing
KR101561716B1 (ko) 2007-11-29 2015-10-19 퀄컴 인코포레이티드 원격 메시지 라우팅 디바이스 및 이의 방법들
JP5599781B2 (ja) 2008-04-29 2014-10-01 ノキア シーメンス ネットワークス オサケユキチュア 簡易化したローカル経路指定
US8619756B2 (en) 2009-07-15 2013-12-31 Qualcomm Incorporated Systems and methods for providing resource allocation meeting communication constraints for multi-hop network data flows
US9992762B2 (en) 2010-02-25 2018-06-05 James Michael Graziano Reverse path communication system
JP2011188358A (ja) 2010-03-10 2011-09-22 Panasonic Corp Ｖｐｎ装置及びｉｐ通信装置
US8402515B2 (en) 2010-05-06 2013-03-19 Jonathan Weizman Apparatus and method for establishing a peer-to-peer communication session with a client device
JP5507350B2 (ja) * 2010-06-11 2014-05-28 任天堂株式会社 携帯型情報端末、携帯型情報端末制御プログラム、携帯型情報システム、および、携帯型情報端末制御方法
KR101763887B1 (ko) 2011-01-07 2017-08-02 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR101292463B1 (ko) * 2011-01-27 2013-07-31 주식회사 팬택 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
CN103404109B (zh) 2011-02-21 2017-04-05 黑莓有限公司 蜂窝网络中管理的对等共享
CN102843349B (zh) 2011-06-24 2018-03-27 中兴通讯股份有限公司 实现移动增强现实业务的方法及系统、终端及服务器
US20130034047A1 (en) 2011-08-05 2013-02-07 Xtreme Labs Inc. Method and system for communicating with web services using peer-to-peer technology
CN102984186A (zh) 2011-09-05 2013-03-20 中兴通讯股份有限公司 会话建立方法及装置
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
AU2012345757A1 (en) 2011-12-02 2014-06-26 No Strings Toys, Llc Wireless devices and control method
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
JP6048784B2 (ja) * 2012-02-16 2016-12-21 任天堂株式会社 ゲームシステム、ゲーム制御方法、携帯型ゲーム装置及びゲーム制御プログラム
EP2645667A1 (en) 2012-03-27 2013-10-02 Alcatel-Lucent Apparatus for updating and transmitting augmented reality data
US20140015858A1 (en) 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US9148484B2 (en) 2013-07-15 2015-09-29 Federico Fraccaroli Method, system and apparatus for providing a mediated sensory experience to users positioned in a shared location
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
CN102968549B (zh) * 2012-10-17 2016-01-20 北京大学 基于智能移动终端设备的多人在线交互方法与系统
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
GB2513345B (en) 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
US9413797B2 (en) 2013-04-23 2016-08-09 Gurulogic Microsystems Oy Data communication system and method
KR20160092014A (ko) * 2013-12-01 2016-08-03 인터디지탈 패튼 홀딩스, 인크 정책 기반 결정 엔진을 사용하는 경험 품질 최적화
CN103760972B (zh) * 2013-12-18 2017-03-01 微软技术许可有限责任公司 跨平台的增强现实体验
US10142444B2 (en) 2014-07-01 2018-11-27 Trinity Mobile Networks, Inc. Methods, devices, and systems for implementing centralized hybrid wireless self-organizing networks
KR101608172B1 (ko) 2014-12-22 2016-03-31 주식회사 넥슨코리아 객체를 제어하는 방법 및 장치
US11627639B2 (en) 2015-01-26 2023-04-11 Ievgen Verzun Methods and apparatus for HyperSecure last mile communication
JP5937709B1 (ja) 2015-01-29 2016-06-22 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信制御装置、通信制御方法及び通信制御プログラム
SG10201505822UA (en) 2015-07-27 2017-02-27 Huawei Internat Pte Ltd A policy aware unified file system
US10382322B2 (en) 2015-11-20 2019-08-13 Sap Se Data routing for electronic devices
US10201755B2 (en) * 2016-02-25 2019-02-12 Pick A Play Networks Inc. System and method for providing a platform for real time interactive game participation
US10238965B2 (en) * 2016-04-28 2019-03-26 Sony Interactive Entertainment America Llc Cloud gaming device handover
KR101940720B1 (ko) * 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CN106656800B (zh) 2017-02-21 2020-04-14 网宿科技股份有限公司 一种路径选取方法及系统、网络加速节点及网络加速系统
US20180262432A1 (en) 2017-03-10 2018-09-13 Vidscale, Inc. Vertical packet aggregation using a distributed network
EP3603006B1 (en) 2017-03-23 2024-05-01 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
WO2018225313A1 (ja) 2017-06-08 2018-12-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
JP6598863B2 (ja) 2017-07-14 2019-10-30 ガンホー・オンライン・エンターテイメント株式会社 サーバ装置、プログラム及び方法
US10717005B2 (en) * 2017-07-22 2020-07-21 Niantic, Inc. Validating a player's real-world location using activity within a parallel reality game
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
US10911381B2 (en) * 2018-12-27 2021-02-02 Verizon Media Inc. Presenting and sharing augmented reality objects
US11420116B2 (en) 2019-02-25 2022-08-23 Niantic, Inc. Augmented reality mobile edge computing
US11182966B2 (en) * 2019-06-24 2021-11-23 At&T Intellectual Property I, L.P. System for collaboration of augmented reality events

Also Published As

Publication number Publication date
KR20210121289A (ko) 2021-10-07
AU2020228333B2 (en) 2023-05-25
JP2023029888A (ja) 2023-03-07
CN118055131A (zh) 2024-05-17
EP3918579A4 (en) 2022-04-13
WO2020174404A1 (en) 2020-09-03
AU2020228333A1 (en) 2021-10-28
EP3918579A1 (en) 2021-12-08
TW202040981A (zh) 2020-11-01
JP7518139B2 (ja) 2024-07-17
US11420116B2 (en) 2022-08-23
US20200269132A1 (en) 2020-08-27
TWI849064B (zh) 2024-07-21
US11794101B2 (en) 2023-10-24
JP2022523215A (ja) 2022-04-21
AU2023219969A1 (en) 2023-09-14
US20220355195A1 (en) 2022-11-10
CA3218625A1 (en) 2020-09-03
KR20230132894A (ko) 2023-09-18
CN113728362A (zh) 2021-11-30
CN113728362B (zh) 2024-04-16
CA3130880C (en) 2024-01-02
JP7185068B2 (ja) 2022-12-06
CA3130880A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
KR102577903B1 (ko) 증강 현실 모바일 에지 컴퓨팅
CN112352413B (zh) 低时延数据报响应的计算机网络协议
US20220407804A1 (en) Routing using partial message parsing

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent