KR102441514B1 - 하이브리드 스트리밍 - Google Patents
하이브리드 스트리밍 Download PDFInfo
- Publication number
- KR102441514B1 KR102441514B1 KR1020227017202A KR20227017202A KR102441514B1 KR 102441514 B1 KR102441514 B1 KR 102441514B1 KR 1020227017202 A KR1020227017202 A KR 1020227017202A KR 20227017202 A KR20227017202 A KR 20227017202A KR 102441514 B1 KR102441514 B1 KR 102441514B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- client device
- background video
- implementations
- server
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 87
- 239000002131 composite material Substances 0.000 claims abstract description 25
- 238000009877 rendering Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 41
- 230000000694 effects Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Glass Compositions (AREA)
- Optical Communication System (AREA)
- Paper (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
컴퓨터 기반 게임을 위한 비디오와 같은 미디어 콘텐츠의 하이브리드 스트리밍을 위한 방법 및 시스템이 제공된다. 일부 구현에서, 배경 미디어 콘텐츠 스트림은 서버에서 렌더링된 배경 비디오를 포함한다. 배경 미디어 콘텐츠 스트림은 클라이언트 장치에서 수신된다. 클라이언트 장치는 하나 이상의 3차원 객체를 렌더링하고, 배경 미디어 콘텐츠 스트림과 하나 이상의 3차원 객체를 결합함으로써, 합성 미디어 스트림을 형성한다. 합성 미디어 스트림은 디스플레이 또는 다른 외부 시스템으로 출력될 수 있다.
Description
실시예는 일반적으로 인터랙티브 미디어 시스템에 관한 것으로, 보다 구체적으로는 컴퓨터 생성 비디오와 같은 미디어 콘텐츠의 하이브리드 스트리밍을 위한 방법, 시스템 및 컴퓨터 판독가능 매체에 관한 것이지만, 이에 한정되지 않는다.
온라인 게이밍과 같은 일부 인터랙티브 미디어 시스템은 클라이언트-서버 아키텍처를 포함하며, 여기에서 서버는 렌더링을 위한 컴퓨팅 파워(computing power)를 가질 수 있지만, 네트워크 연결로 인해 래그(lag)(또는 시간 지연)가 발생할 수 있고, 클라이언트 장치는 래그가 없을 수 있지만 서버의 컴퓨팅 리소스가 부족할 수 있다.
일부 컴퓨터 기반 게임은 3차원 외관을 갖는 비디오를 포함하며, 여기에서 비디오는 3차원으로 렌더링된 하나 이상의 전경 객체(foreground object) 및 배경 이미지를 포함한다. 래그 없이 움직임을 나타내기 위해 전경 객체의 변경에 응답하면서, 렌더링을 수행하기 위한 컴퓨팅 리소스에 대한 필요성이 존재할 수 있다. 일부 구현은 그 중에도 위에서 언급한 필요에 비추어 고안되었다.
일부 구현은 방법을 포함할 수 있다. 방법은 클라이언트 장치와 연관된 특정 밴티지 포인트(vantage point)에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 클라이언트 장치에서 수신하는 단계 - 여기에서 배경 비디오는 서버에서 렌더링됨 -, 및 클라이언트 장치를 사용하여, 적어도 부분적으로 가상 환경의 전경 부분에 있는 하나 이상의 렌더링된 객체를 렌더링하는 단계를 포함할 수 있다. 방법은 또한 클라이언트 장치를 사용하여, 배경 비디오의 적어도 일부와 하나 이상의 렌더링된 객체 중 적어도 하나를 합성 비디오로 결합하는 단계 및 합성 비디오를 출력하는 단계를 포함할 수 있다.
일부 구현에서, 배경 비디오는 클라이언트 장치와 연관된 특정 밴티지 포인트의 위치 근처의 가상 환경의 파노라마 뷰를 포함할 수 있다. 일부 구현에서, 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함한다.
방법은 또한 배경 비디오에 대응하는 부가 데이터(supplemental data)를 서버로부터 수신하는 단계를 포함할 수 있다. 일부 구현에서, 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함할 수 있다. 일부 구현에서, 결합하는 단계는 배경 비디오의 상단에 하나 이상의 렌더링된 객체를 오버레이하는 단계를 포함할 수 있고, 방법은 하나 이상의 렌더링된 객체 앞에 또는 하나 이상의 렌더링된 객체 뒤에 있는 배경 비디오의 부분을 결정하기 위해 깊이 및 지오메트리 정보를 사용하는 단계를 더 포함할 수 있다. 일부 구현에서, 결합하는 단계는 현재 뷰 포인트와 일치시키기 위해 지오메트리 정보의 깊이를 사용하는 단계를 포함할 수 있다.
일부 구현에서, 결합하는 단계는 각각의 상이한 거리에 대응하는 파노라마 이미지의 복수의 레이어를 사용하여 시차 효과(parallax effect)를 생성하는 단계를 포함할 수 있다. 일부 구현에서, 합성 비디오를 생성하는 단계는 배경 비디오의 하나 이상의 위치에 대한 하나 이상의 렌더링된 객체의 배치를 결정하기 위해 깊이 정보를 사용하는 단계를 포함한다.
일부 구현은 하이브리드 비디오 스트리밍을 수행하기 위한 장치를 포함할 수 있으며, 장치는 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 때, 동작을 수행하도록 하는 저장된 명령어를 갖는 하나 이상의 프로세서에 결합된 메모리를 포함할 수 있다. 동작은 클라이언트 장치와 연관된 특정 밴티지 포인트에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 클라이언트 장치에서 수신하는 것 - 여기에서 배경 비디오는 서버에서 렌더링됨 -, 및 클라이언트 장치를 사용하여, 적어도 부분적으로 가상 환경의 전경 부분에 있는 하나 이상의 렌더링된 객체를 렌더링하는 것을 포함할 수 있다. 동작은 또한 클라이언트 장치를 사용하여, 배경 비디오의 적어도 일부와 하나 이상의 렌더링된 객체 중 적어도 하나를 합성 비디오로 결합하는 것 및 합성 비디오를 출력하는 것을 포함할 수 있다.
일부 구현에서, 배경 비디오는 클라이언트 장치와 연관된 특정 밴티지 포인트의 위치 근처의 가상 환경의 파노라마 뷰를 포함할 수 있다. 일부 구현에서, 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함한다.
동작은 또한 배경 비디오에 대응하는 부가 데이터를 서버로부터 수신하는 것을 포함할 수 있다. 일부 구현에서, 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함할 수 있다. 일부 구현에서, 결합하는 것은 배경 비디오의 상단에 하나 이상의 렌더링된 객체를 오버레이하는 것을 포함할 수 있고, 동작은 하나 이상의 렌더링된 객체 앞에 또는 하나 이상의 렌더링된 객체 뒤에 있는 배경 비디오의 부분을 결정하기 위해 깊이 및 지오메트리 정보를 사용하는 것을 더 포함할 수 있다. 일부 구현에서, 결합하는 것은 현재 뷰 포인트와 일치시키기 위해 지오메트리 정보의 깊이를 사용하는 것을 포함할 수 있다.
일부 구현에서, 결합하는 것은 각각의 상이한 거리에 대응하는 파노라마 이미지의 복수의 레이어를 사용하여 시차 효과를 생성하는 것을 포함할 수 있다. 일부 구현에서, 합성 비디오를 생성하는 것은 배경 비디오의 하나 이상의 위치에 대한 하나 이상의 렌더링된 객체의 배치를 결정하기 위해 깊이 정보를 사용하는 것을 포함한다.
일부 구현은 프로세싱 장치에 의한 실행에 응답하여, 프로세싱 장치가 동작을 수행하도록 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 동작은 클라이언트 장치와 연관된 특정 밴티지 포인트에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 클라이언트 장치에서 수신하는 것 - 여기에서 배경 비디오는 서버에서 렌더링됨 -, 및 클라이언트 장치를 사용하여, 적어도 부분적으로 가상 환경의 전경 부분에 있는 하나 이상의 렌더링된 객체를 렌더링하는 것을 포함할 수 있다. 동작은 또한 클라이언트 장치를 사용하여, 배경 비디오의 적어도 일부와 하나 이상의 렌더링된 객체 중 적어도 하나를 합성 비디오로 결합하는 것 및 합성 비디오를 출력하는 것을 포함할 수 있다.
일부 구현에서, 배경 비디오는 클라이언트 장치와 연관된 특정 밴티지 포인트의 위치 근처의 가상 환경의 파노라마 뷰를 포함할 수 있다. 일부 구현에서, 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함한다.
동작은 또한 배경 비디오에 대응하는 부가 데이터를 서버로부터 수신하는 것을 포함할 수 있다. 일부 구현에서, 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함할 수 있다. 일부 구현에서, 결합하는 것은 배경 비디오의 상단에 하나 이상의 렌더링된 객체를 오버레이하는 것을 포함할 수 있고, 동작은 하나 이상의 렌더링된 객체 앞에 또는 하나 이상의 렌더링된 객체 뒤에 있는 배경 비디오의 부분을 결정하기 위해 깊이 및 지오메트리 정보를 사용하는 것을 더 포함할 수 있다. 일부 구현에서, 결합하는 것은 현재 뷰 포인트와 일치시키기 위해 지오메트리 정보의 깊이를 사용하는 것을 포함할 수 있다.
일부 구현에서, 결합하는 것은 각각의 상이한 거리에 대응하는 파노라마 이미지의 복수의 레이어를 사용하여 시차 효과를 생성하는 것을 포함할 수 있다. 일부 구현에서, 합성 비디오를 생성하는 것은 배경 비디오의 하나 이상의 위치에 대한 하나 이상의 렌더링된 객체의 배치를 결정하기 위해 깊이 정보를 사용하는 것을 포함한다.
도 1은 일부 구현에 따른 온라인 게이밍을 위한 예시적인 시스템 아키텍처의 도식이다.
도 2는 일부 구현에 따른 하이브리드 비디오 스트리밍을 위한 예시적인 방법의 흐름도이다.
도 3은 일부 구현에 따라 서버로부터 클라이언트로 배경 비디오를 제공하기 위한 방법의 흐름도이다.
도 4는 일부 구현에 따라 클라이언트 장치에서 렌더링된 하나 이상의 3차원 객체와 클라이언트 장치에서 결합된 서버로부터의 배경 비디오를 도시하는 도식이다.
도 5a 및 5b는 일부 구현에 따른 파노라마 장면 배포 형식의 유형을 도시한다.
도 6a는 일부 구현에 따른 클라이언트 장치의 현재 뷰 포인트에서 서버 장치 상에 렌더링된 배경 비디오 프레임을 도시한다.
도 6b는 일부 구현에 따른 3차원 객체가 클라이언트에서 렌더링되고 도 6a의 배경 프레임과 결합된 비디오 프레임을 도시한다.
도 7a 및 7b는 일부 구현에 따른 비디오 프레임 및 대응하는 깊이 맵을 각각 도시한다.
도 8a 및 8b는 일부 구현에 따른 깊이 기반 뷰 투영 및 재투영을 각각 도시한다.
도 9는 일부 구현에 따른 예시적인 컴퓨팅 장치를 예시하는 블록도이다.
도 2는 일부 구현에 따른 하이브리드 비디오 스트리밍을 위한 예시적인 방법의 흐름도이다.
도 3은 일부 구현에 따라 서버로부터 클라이언트로 배경 비디오를 제공하기 위한 방법의 흐름도이다.
도 4는 일부 구현에 따라 클라이언트 장치에서 렌더링된 하나 이상의 3차원 객체와 클라이언트 장치에서 결합된 서버로부터의 배경 비디오를 도시하는 도식이다.
도 5a 및 5b는 일부 구현에 따른 파노라마 장면 배포 형식의 유형을 도시한다.
도 6a는 일부 구현에 따른 클라이언트 장치의 현재 뷰 포인트에서 서버 장치 상에 렌더링된 배경 비디오 프레임을 도시한다.
도 6b는 일부 구현에 따른 3차원 객체가 클라이언트에서 렌더링되고 도 6a의 배경 프레임과 결합된 비디오 프레임을 도시한다.
도 7a 및 7b는 일부 구현에 따른 비디오 프레임 및 대응하는 깊이 맵을 각각 도시한다.
도 8a 및 8b는 일부 구현에 따른 깊이 기반 뷰 투영 및 재투영을 각각 도시한다.
도 9는 일부 구현에 따른 예시적인 컴퓨팅 장치를 예시하는 블록도이다.
다음의 상세한 설명에서, 그 일부를 형성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 유사한 기호는 문맥에서 달리 지시하지 않는 한 전형적으로 유사한 컴포넌트를 식별한다. 상세한 설명, 도면 및 청구범위에 설명된 예시적인 실시예는 제한을 의미하지 않는다. 다른 실시예가 활용될 수 있고, 여기에서 제시된 대상의 정신 또는 범위를 벗어나지 않고 다른 변경이 이루어질 수 있다. 여기에서 일반적으로 설명되고 도면에 예시된 본 개시의 양태는 매우 다양한 상이한 구성으로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 여기에서 고려된다.
온라인 게이밍 플랫폼("사용자 생성 콘텐츠 플랫폼" 또는 "사용자 생성 콘텐츠 시스템"을 포함할 수 있음)과 같은 인터랙티브 미디어 애플리케이션 또는 시스템은 사용자가 서로 상호작용하도록 다양한 방식을 제공할 수 있다. 예컨대, 온라인 게이밍 플랫폼의 사용자는 공동의 목표를 위해 함께 작업하고, 다양한 가상 게이밍 아이템을 공유하고, 서로에게 전자 메시지를 전송하는 것 등을 할 수 있다. 온라인 게이밍 플랫폼의 사용자는 캐릭터를 사용하여 게임을 플레이할 수 있다.
온라인 게이밍 플랫폼은 또한 플랫폼의 사용자가 새로운 캐릭터 및 아바타를 생성하고 애니메이팅할 수 있도록 허용한다. 예컨대, 온라인 게이밍 플랫폼의 사용자는 새로운 캐릭터를 생성, 디자인 및 커스터마이징하도록 허용될 수 있다.
도 1: 시스템 아키텍처
도 1은 본 개시의 일부 구현에 따른, 예시적인 시스템 아키텍처(100)를 예시한다. 시스템 아키텍처(100)(여기에서, "시스템"이라고도 지칭됨)는 온라인 게이밍 플랫폼(102), 제1 클라이언트 장치(110)(여기에서 일반적으로 "클라이언트 장치(들)(110)"로 지칭됨), 네트워크(122), 및 적어도 하나의 제2 클라이언트 장치(116)를 포함한다. 온라인 게이밍 플랫폼(102)은 그 중에서도, 게임 엔진(104), 하나 이상의 게임(105), 그래픽 모듈(106), 하이브리드 스트리밍 모듈(107) 및 데이터 저장소(108)를 포함할 수 있다. 클라이언트 장치(110)는 게임 애플리케이션(112), 사용자 인터페이스(114)(예컨대, 오디오/비디오 입력/출력 장치) 및 하이브리드 스트리밍 모듈(115)을 포함할 수 있다. 클라이언트 장치(116)는 게임 애플리케이션(118), 사용자 인터페이스(120)(예컨대, 오디오/비디오 입력/출력 장치) 및 하이브리드 스트리밍 모듈(121)을 포함할 수 있다. 하이브리드 스트리밍 모듈(115 및 121)은 게임 애플리케이션(각각, 112 및 118)과 분리되거나 통합될 수 있다. 온라인 게이밍 플랫폼(102)의 하이브리드 스트리밍 모듈(107)은 별도의 모듈일 수 있거나, 그래픽 모듈(106)과 같은 다른 모듈에 통합될 수 있다. 오디오/비디오 입력/출력 장치는 마이크, 스피커, 헤드폰, 디스플레이 장치 등 중 하나 이상을 포함할 수 있다.
시스템 아키텍처(100)는 제한보다는 예시를 위해 제공된다. 일부 구현에서, 시스템 아키텍처(100)는 도 1에 도시된 것과 동일하거나 상이한 방식으로 구성된 동일하거나, 더 적거나, 더 많거나, 또는 상이한 요소를 포함할 수 있다.
일 구현에서, 네트워크(122)는 공중 네트워크(예컨대, 인터넷), 사설 네트워크(예컨대, LAN(local area network) 또는 WAN(wide area network)), 유선 네트워크(예컨대, 이더넷 네트워크), 무선 네트워크(예컨대, 802.11 네트워크, Wi-Fi® 네트워크 또는 WLAN(wireless LAN)), 셀룰러 네트워크(예컨대, LTE(long term evolution) 네트워크), 라우터, 허브, 스위치, 서버 컴퓨터 또는 이들의 조합을 포함할 수 있다.
일 구현에서, 데이터 저장소(108)는 비일시적 컴퓨터 판독가능 메모리(예컨대, 랜덤 액세스 메모리), 캐시, 드라이브(예컨대, 하드 드라이브), 플래시 드라이브, 데이터베이스 시스템, 또는 데이터를 저장할 수 있는 다른 유형의 컴포넌트 또는 장치일 수 있다. 데이터 저장소(108)는 또한 다중 컴퓨팅 장치(예컨대, 다중 서버 컴퓨터)에 걸쳐 있을 수도 있는, 다중 저장 컴포넌트(예컨대, 다중 드라이브 또는 다중 데이터베이스)를 포함할 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 하나 이상의 컴퓨팅 장치(예컨대, 클라우드 컴퓨팅 시스템, 랙마운트 서버, 서버 컴퓨터, 물리적 서버의 클러스터 등)를 갖는 서버를 포함할 수 있다. 일부 구현에서, 서버는 온라인 게이밍 플랫폼(102)에 포함될 수 있거나, 독립적인 시스템일 수 있거나, 또는 다른 시스템 또는 플랫폼의 일부일 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 온라인 게이밍 플랫폼(102)에서 동작을 수행하고 사용자에게 온라인 게이밍 플랫폼(102)에 대한 액세스를 제공하는 데 사용될 수 있는 하나 이상의 컴퓨팅 장치(예컨대, 랙마운트 서버, 라우터 컴퓨터, 서버 컴퓨터, 개인용 컴퓨터, 메인프레임 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크탑 컴퓨터 등), 데이터 저장소(예컨대, 하드 디스크, 메모리, 데이터베이스), 네트워크, 소프트웨어 컴포넌트 및/또는 하드웨어 컴포넌트를 포함할 수 있다. 온라인 게이밍 플랫폼(102)은 또한 온라인 게이밍 플랫폼(102)에 의해 제공된 콘텐츠에 대한 액세스를 사용자에게 제공하는 데 사용될 수 있는 웹사이트(예컨대, 웹페이지) 또는 애플리케이션 백엔드 소프트웨어를 포함할 수 있다. 예컨대, 사용자는 클라이언트 장치(110) 상의 게임 애플리케이션(112)을 사용하여, 온라인 게이밍 플랫폼(102)에 액세스할 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 사용자 간의 연결을 제공하는 소셜 네트워크의 유형 또는 사용자(예컨대, 최종 사용자 또는 소비자)가 온라인 게이밍 플랫폼(102) 상에서 다른 사용자와 통신하도록 허용하는 사용자 생성 콘텐츠 시스템의 유형을 포함할 수 있고, 여기에서 통신은 음성 채팅(예컨대, 동기 및/또는 비동기 음성 통신), 비디오 채팅(예컨대, 동기 및/또는 비동기 비디오 통신), 또는 텍스트 채팅(예컨대, 동기 및/또는 비동기 텍스트 기반 통신)을 포함할 수 있다. 본 개시의 일부 구현에서, "사용자"는 단일 개인으로 표현될 수 있다. 그러나, 본 개시의 다른 구현은 "사용자"(예컨대, 사용자 생성)가 사용자의 세트 또는 자동화된 소스에 의해 제어되는 엔티티인 것을 포함한다. 예컨대, 사용자 생성 콘텐츠 시스템에서 커뮤니티 또는 그룹으로 연합된 개별 사용자의 세트는 "사용자"로 간주될 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 가상 게이밍 플랫폼일 수 있다. 예컨대, 게이밍 플랫폼은 네트워크(122)를 통해 클라이언트 장치(110)를 사용하여 게임에 액세스하거나 상호작용할 수 있는 사용자의 커뮤니티에 싱글 플레이어 또는 멀티 플레이어 게임을 제공할 수 있다. 일부 구현에서, 게임(여기에서 “비디오 게임”, “온라인 게임" 또는 "가상 게임"이라고도 지칭됨)은 예컨대, 2차원(2D) 게임, 3차원(3D) 게임(예컨대, 3D 사용자 생성 게임), 가상 현실(VR) 게임 또는 증강 현실(AR) 게임일 수 있다. 일부 구현에서, 사용자는 다른 사용자와 게임플레이에 참여할 수 있다. 일부 구현에서, 게임은 게임의 다른 사용자와 실시간으로 플레이될 수 있다.
일부 구현에서, 게임플레이는 게임(예컨대, 105) 내에서 클라이언트 장치(예컨대, 110 및/또는 116)를 사용하는 하나 이상의 플레이어의 상호작용 또는 클라이언트 장치(110 또는 116)의 디스플레이 또는 다른 사용자 인터페이스(예컨대, 114/120) 상의 상호작용의 표시를 지칭할 수 있다.
일부 구현에서, 게임(105)은 게임 콘텐츠(예컨대, 디지털 미디어 아이템)를 엔티티에 제시하도록 구성된 소프트웨어, 펌웨어 또는 하드웨어를 사용하여 실행되거나 로드될 수 있는 전자 파일을 포함할 수 있다. 일부 구현에서, 게임 애플리케이션(112)은 실행될 수 있고, 게임(105)이 게임 엔진(104)과 관련하여 렌더링될 수 있다. 일부 구현에서, 게임(105)은 규칙의 공통 세트 또는 공통 목표를 가질 수 있고, 게임(105)의 환경은 규칙의 공통 세트 또는 공통 목표를 공유한다. 일부 구현에서, 상이한 게임은 서로 상이한 규칙 또는 목표를 가질 수 있다.
일부 구현에서, 게임은 다중 환경이 링크될 수 있는 하나 이상의 환경(여기에서, "게이밍 환경" 또는 "가상 환경"이라고도 지칭됨)을 가질 수 있다. 환경의 예시는 3차원(3D) 환경일 수 있다. 게임 애플리케이션(105)의 하나 이상의 환경은 여기에서 "세계" 또는 "게이밍 세계" 또는 "가상 세계" 또는 "유니버스"로 집합적으로 지칭될 수 있다. 세계의 예시는 게임(105)의 3D 세계일 수 있다. 예컨대, 사용자는 다른 사용자에 의해 생성된 다른 가상 환경에 링크되는 가상 환경을 구축할 수 있다. 가상 게임의 캐릭터는 가상 경계를 넘어 인접한 가상 환경으로 들어갈 수 있다.
3D 환경 또는 3D 세계는 게임 콘텐츠를 나타내는 지오메트리 데이터의 3차원 표현을 제공하는 그래픽을 사용한다는 점에 유의할 수 있다 (또는 지오메트리 데이터의 3D 표현이 사용되는지 여부에 관계없이 적어도 현재 게임 콘텐츠가 3D 콘텐츠로 나타남). 2D 환경 또는 2D 세계는 게임 콘텐츠를 나타내는 지오메트리 데이터의 2차원 표현을 제공하는 그래픽을 사용한다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 하나 이상의 게임(105)을 호스팅할 수 있고, 사용자가 클라이언트 장치(110)의 게임 애플리케이션(112)을 사용하여 게임(105)과 상호작용하는 것을 허가할 수 있다. 온라인 게이밍 플랫폼(102)의 사용자는 게임(105)을 플레이, 생성, 상호작용 또는 구축하고, 다른 사용자와 통신하고, 그리고/또는 게임(105)의 객체(예컨대, 여기에서 “아이템(들)” 또는 “게임 객체” 또는 “가상 게임 아이템(들)이라고도 지칭됨)를 생성 및 구축할 수 있다. 예컨대, 사용자 생성 가상 아이템을 생성하는 데 있어, 사용자는 그 중에서도 캐릭터, 캐릭터를 위한 애니메이션, 캐릭터를 위한 장식, 인터랙티브 게임을 위한 하나 이상의 가상 환경을 생성하거나, 게임(105)에서 사용된 구조를 구축할 수 있다. 일부 구현에서, 사용자는 플랫폼 내 화폐(예컨대, 가상 화폐)와 같은, 게임 가상 게임 객체를 온라인 게이밍 플랫폼(102)의 다른 사용자와 구매, 판매 또는 거래할 수 있다. 일부 구현에서, 온라인 게이밍 플랫폼(102)은 게임 콘텐츠를 게임 애플리케이션(예컨대, 112)으로 전송할 수 있다. 일부 구현에서, 게임 콘텐츠(여기에서 "콘텐츠"라고도 지칭됨)는 온라인 게이밍 플랫폼(102) 또는 게임 애플리케이션과 연관된 임의의 데이터 또는 소프트웨어 명령어(예컨대, 게임 객체, 게임, 사용자 정보, 비디오, 이미지, 명령, 미디어 아이템 등)를 지칭할 수 있다. 일부 구현에서, 게임 객체(예컨대, 여기에서 "아이템(들)" 또는 "객체" 또는 "가상 게임 아이템(들)"이라고도 지칭됨)는 온라인 게이밍 플랫폼(102)의 게임 애플리케이션(105) 또는 클라이언트 장치(110/116)의 게임 애플리케이션(112 또는 118)에 사용되거나, 생성되거나, 공유되거나, 그 외 도시되는 객체를 지칭할 수 있다. 예컨대, 게임 객체는 부품, 모델, 캐릭터 또는 (얼굴, 팔, 입술 등과 같은) 그 컴포넌트, 도구, 무기, 의복, 건물, 차량, 화폐, 식물군, 동물군, 전술한 것의 컴포넌트(예컨대, 건물의 창) 등을 포함할 수 있다.
게임(105)을 호스팅하는 온라인 게이밍 플랫폼(102)은 제한보다는 예시의 목적으로 제공된다는 점에 유의할 수 있다. 일부 구현에서, 온라인 게이밍 플랫폼(102)은 한 사용자로부터 하나 이상의 다른 사용자로의 통신 메시지를 포함할 수 있는 하나 이상의 미디어 아이템을 호스팅할 수 있다. 미디어 아이템은 디지털 비디오, 디지털 영화, 디지털 사진, 디지털 음악, 오디오 콘텐츠, 멜로디, 웹사이트 콘텐츠, 소셜 미디어 업데이트, 전자 책, 전자 잡지, 디지털 신문, 디지털 오디오 북, 전자 저널, 웹 블로그, RSS(real simple syndication) 피드, 전자 만화책, 소프트웨어 애플리케이션 등을 포함할 수 있지만, 이에 제한되지는 않는다. 일부 구현에서, 미디어 아이템은 디지털 미디어 아이템을 엔티티에 제시하도록 구성된 소프트웨어, 펌웨어 또는 하드웨어를 사용하여 실행되거나 로드될 수 있는 전자 파일일 수 있다.
일부 구현에서, 게임(105)은 특정 사용자 또는 사용자의 특정 그룹과 연관되거나 (예컨대, 비공개 게임), 온라인 게이밍 플랫폼(102)의 사용자에게 널리 이용 가능하게 만들어질 수 있다 (예컨대, 공개 게임). 온라인 게이밍 플랫폼(102)이 하나 이상의 게임(105)을 특정 사용자 또는 사용자 그룹과 연관시키는 일부 구현에서, 온라인 게이밍 플랫폼(102)은 사용자 계정 정보(예컨대, 사용자 이름 및 비밀번호와 같은 사용자 계정 식별자)를 사용하여 특정 사용자(들)를 게임(105)과 연관시킬 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102) 또는 클라이언트 장치(110)는 게임 엔진(104) 또는 게임 애플리케이션(112/118)을 포함할 수 있다. 일부 구현에서, 게임 엔진(104)은 게임(105)의 개발 또는 실행을 위해 사용될 수 있다. 예컨대, 게임 엔진(104)은 다른 특징 중에서, 2D, 3D, VR 또는 AR 그래픽을 위한 렌더링 엔진("렌더러(renderer)"), 물리 엔진, 충돌 감지 엔진(및 충돌 응답), 사운드 엔진, 스크립팅 기능, 애니메이션 엔진, 인공 지능 엔진, 네트워킹 기능, 스트리밍 기능, 메모리 관리 기능, 스레딩 기능(threading functionality), 장면 그래프 기능 또는 시네마틱에 대한 비디오 지원을 포함할 수 있다. 게임 엔진(104)의 컴포넌트는 게임을 컴퓨팅하고 렌더링하는 것을 돕는 명령(예컨대, 렌더링 명령, 충돌 명령, 애니메이션 명령, 물리 명령 등)을 생성할 수 있다. 일부 구현에서, 클라이언트 장치(110/116)의 게임 애플리케이션(112/118)은 각각 독립적으로, 온라인 게이밍 플랫폼(102)의 게임 엔진(104)과 협력하여, 또는 이 둘의 조합으로 작동할 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102) 및 클라이언트 장치(110/116) 모두는 게임 엔진(각각, 104, 112, 118)을 실행할 수 있다. 게임 엔진(104)을 사용하는 온라인 게이밍 플랫폼(102)은 게임 엔진 기능(예컨대, 물리 명령, 애니메이션 명령, 렌더링 명령 생성 등)의 일부 또는 전부를 수행하거나, 게임 엔진 기능의 일부 또는 전부를 클라이언트 장치(110)의 게임 엔진(104)에 오프로드할 수 있다. 일부 구현에서, 각각의 게임(105)은 온라인 게이밍 플랫폼(102) 상에서 수행되는 게임 엔진 기능과 클라이언트 장치(110 및 116) 상에서 수행되는 게임 엔진 기능 사이에 상이한 비율을 가질 수 있다. 예컨대, 온라인 게이밍 플랫폼(102)의 게임 엔진(104)은 적어도 2개의 게임 객체 사이에 충돌이 있는 경우 물리 명령을 생성하는 데 사용될 수 있는 반면, 추가 게임 엔진 기능(예컨대, 렌더링 명령 생성)은 클라이언트 장치(110)로 오프로드될 수 있다. 일부 구현에서, 온라인 게이밍 플랫폼(102) 및 클라이언트 장치(110) 상에서 수행되는 게임 엔진 기능의 비율은 게임플레이 조건에 기초하여 (예컨대, 동적으로) 변경될 수 있다. 예컨대, 특정 게임(105)의 게임플레이에 참여하는 사용자의 수가 임계 수를 초과하는 경우, 온라인 게이밍 플랫폼(102)은 클라이언트 장치(110 또는 116)에 의해 이전에 수행되었던 하나 이상의 게임 엔진 기능을 수행할 수 있다.
예컨대, 사용자는 클라이언트 장치(110 및 116)에서 게임(105)을 플레이할 수 있고, 제어 명령어(예컨대, 오른쪽, 왼쪽, 위, 아래, 사용자 선택, 또는 캐릭터 위치 및 속도 정보 등과 같은 사용자 입력)를 온라인 게이밍 플랫폼(102)에 전송할 수 있다. 클라이언트 장치(110 및 116)로부터 제어 명령어를 수신한 후, 온라인 게이밍 플랫폼(102)은 게임플레이 명령어(예컨대, 그룹 게임플레이에 참여하는 캐릭터의 위치 및 속도 정보 또는 렌더링 명령, 충돌 명령과 같은 명령 등)를 제어 명령어에 기초하여 클라이언트 장치(110 및 116)에 전송할 수 있다. 예컨대, 온라인 게이밍 플랫폼(102)은 클라이언트 장치(110 및 116)에 대한 게임플레이 명령어를 생성하기 위해 제어 명령어에 대한 (예컨대, 게임 엔진(104)을 사용하는) 하나 이상의 논리 연산을 수행할 수 있다. 다른 경우에서, 온라인 게이밍 플랫폼(102)은 하나의 클라이언트 장치(110)로부터 게임(105)에 참여하는 다른 클라이언트 장치(예컨대, 116)로 제어 명령어 중 하나 이상을 전달할 수 있다. 클라이언트 장치(110 및 116)는 게임플레이 명령어를 사용하고, 클라이언트 장치(110 및 116)의 디스플레이 상에서의 표시를 위해 게임플레이를 렌더링할 수 있다.
일부 구현에서, 제어 명령어는 사용자의 캐릭터의 게임 내 활동을 나타내는 명령어를 지칭할 수 있다. 예컨대, 제어 명령어는 오른쪽, 왼쪽, 위, 아래, 사용자 선택, 자이로스코프 위치 및 방향 데이터, 힘 센서 데이터 등과 같은 게임 내 활동을 제어하기 위한 사용자 입력을 포함할 수 있다. 제어 명령어는 캐릭터 위치 및 속도 정보를 포함할 수 있다. 일부 구현에서, 제어 명령어는 온라인 게이밍 플랫폼(102)으로 직접 전송된다. 다른 구현에서, 제어 명령어는 클라이언트 장치(110)로부터 다른 클라이언트 장치(예컨대, 116)로 전송될 수 있으며, 여기에서 다른 클라이언트 장치는 로컬 게임 엔진(104)을 사용하여 게임플레이 명령어를 생성한다. 제어 명령어는 오디오 장치(예컨대, 스피커, 헤드폰 등)에서 다른 사용자로부터의 음성 통신 메시지 또는 다른 사운드, 예컨대, 여기에서 설명된 바와 같은 오디오 공간화 기법을 사용하여 생성된 음성 통신 또는 다른 사운드를 플레이하기 위한 명령어를 포함할 수 있다.
일부 구현에서, 게임플레이 명령어는 클라이언트 장치(110)(또는 116)가 멀티 플레이어 게임과 같은, 게임의 게임플레이를 렌더링하도록 허용하는 명령어를 지칭할 수 있다. 게임플레이 명령어는 사용자 입력(예컨대, 제어 명령어), 캐릭터 위치 및 속도 정보, 또는 명령(예컨대, 물리 명령, 애니메이션 명령, 렌더링 명령, 충돌 명령 등) 중 하나 이상을 포함할 수 있다.
일부 구현에서, 캐릭터(또는 일반적으로 게임 객체)는 컴포넌트로부터 구성되고, 그 중 하나 이상이 사용자에 의해 선택될 수 있으며, 이는 편집(editing)에서 사용자를 돕기 위해 자동으로 함께 결합된다. 하나 이상의 캐릭터(여기에서, "아바타" 또는 "모델"이라고도 지칭됨)는 사용자와 연관될 수 있고, 여기에서 사용자는 게임(105)과의 사용자 상호작용을 용이하게 하기 위해 캐릭터를 제어할 수 있다. 일부 구현에서, 캐릭터는 신체 부분(예컨대, 애니메이팅될 수 있는, 머리카락, 팔, 다리 등) 및 액세서리(예컨대, 티셔츠, 안경, 장식 이미지, 도구 등)와 같은 컴포넌트를 포함할 수 있다. 일부 구현에서, 커스터마이징 가능한 캐릭터의 신체 부분은 그 중에서도, 머리 유형, 신체 부분 유형(팔, 다리, 몸통 및 손), 얼굴 유형, 머리카락 유형 및 피부 유형을 포함한다. 일부 구현에서, 커스터마이징 가능한 액세서리는 의복(예컨대, 셔츠, 바지, 모자, 신발, 안경 등), 무기 또는 기타 도구를 포함한다. 일부 구현에서, 사용자는 또한 캐릭터의 스케일(예컨대, 높이, 너비 또는 깊이) 또는 캐릭터의 컴포넌트의 스케일을 제어할 수 있다. 일부 구현에서, 사용자는 캐릭터의 비율(예컨대, 뭉툭한(blocky), 해부학적(anatomical) 등)을 제어할 수 있다. 일부 구현에서, 캐릭터가 캐릭터 게임 객체(예컨대, 신체 부분 등)를 포함하지 않을 수 있지만, 사용자는 게임(예컨대, 렌더링된 캐릭터 게임 객체가 없지만 사용자가 여전히 게임 내 활동을 제어하기 위해 캐릭터를 제어하는 퍼즐 게임)과 사용자의 상호작용을 용이하게 하기 위해 (캐릭터 게임 객체 없이) 캐릭터를 제어할 수 있다는 점에 유의할 수 있다.
일부 구현에서, 신체 부분과 같은 컴포넌트는 블록, 실린더, 구 등과 같은 기본 지오메트리 형상 또는 쐐기(wedge), 원환체(torus), 튜브, 채널 등과 같은 일부 다른 기본 형상일 수 있다. 일부 구현에서, 생성자 모듈은 온라인 게이밍 플랫폼(102)의 다른 사용자가 보거나 사용할 수 있도록 사용자의 캐릭터를 공개할 수 있다. 일부 구현에서, 캐릭터, 다른 게임 객체, 게임(105) 또는 게임 환경을 생성하고, 수정하고, 커스터마이징하는 것은 사용자 인터페이스(예컨대, 개발자 인터페이스)를 사용하고, 스크립팅이 있거나 없는 (또는 API(application programming interface)가 있거나 없는) 사용자에 의해 수행될 수 있다. 제한이 아닌 예시의 목적으로 캐릭터가 휴머노이드 형태를 갖는 것으로 설명된다는 점에 유의할 수 있다. 캐릭터는 차량, 동물, 무생물 객체(inanimate object) 또는 기타 창의적인 형태와 같은 임의의 형태를 가질 수 있음을 더 유의할 수 있다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 사용자에 의해 생성된 캐릭터를 데이터 저장소(108)에 저장할 수 있다. 일부 구현에서, 온라인 게이밍 플랫폼(102)은 사용자에게 제시될 수 있는 캐릭터 카탈로그 및 게임 카탈로그를 유지한다. 일부 구현에서, 게임 카탈로그는 온라인 게이밍 플랫폼(102)에 저장된 게임의 이미지를 포함한다. 또한, 사용자는 선택된 게임에 참여하기 위해 캐릭터 카탈로그로부터 캐릭터(예컨대, 사용자 또는 다른 사용자에 의해 생성된 캐릭터)를 선택할 수 있다. 캐릭터 카탈로그는 온라인 게이밍 플랫폼(102)에 저장된 캐릭터의 이미지를 포함한다. 일부 구현에서, 캐릭터 카탈로그의 캐릭터 중 하나 이상은 사용자에 의해 생성되거나 커스터마이징될 수 있다. 일부 구현에서, 선택된 캐릭터는 캐릭터의 컴포넌트 중 하나 이상을 정의하는 캐릭터 설정을 가질 수 있다.
일부 구현에서, 사용자의 캐릭터는 컴포넌트의 구성을 포함할 수 있으며, 여기에서 컴포넌트의 구성 및 외관, 보다 일반적으로 캐릭터의 외관은 캐릭터 설정에 의해 정의될 수 있다. 일부 구현에서, 사용자의 캐릭터의 캐릭터 설정은 사용자에 의해 적어도 부분적으로 선택될 수 있다. 다른 구현에서, 사용자는 디폴트 캐릭터 설정 또는 다른 사용자에 의해 선택된 캐릭터 설정을 갖는 캐릭터를 선택할 수 있다. 예컨대, 사용자는 미리 정의된 캐릭터 설정을 갖는 캐릭터 카탈로그에서 디폴트 캐릭터를 선택할 수 있으며, 사용자는 캐릭터 설정 중 일부를 변경(예컨대, 커스터마이징된 로고가 있는 셔츠를 추가)하여 디폴트 캐릭터를 추가로 커스터마이징할 수 있다. 캐릭터 설정은 온라인 게이밍 플랫폼(102)에 의해 특정 캐릭터와 연관될 수 있다.
일부 구현에서, 클라이언트 장치(들)(110 또는 116)는 개인용 컴퓨터(PC), 모바일 장치(예컨대, 랩톱, 모바일 전화, 스마트폰, 태블릿 컴퓨터, 또는 넷북 컴퓨터), 네트워크 연결된 텔레비전, 게이밍 콘솔 등과 같은 컴퓨팅 장치를 각각 포함할 수 있다. 일부 구현에서, 클라이언트 장치(110 또는 116)는 또한 "사용자 장치"로도 지칭될 수 있다. 일부 구현에서, 하나 이상의 클라이언트 장치(110 또는 116)는 임의의 주어진 순간에 온라인 게이밍 플랫폼(102)에 연결할 수 있다. 클라이언트 장치(110 또는 116)의 수는 제한보다는 예시로서 제공된다는 점에 유의할 수 있다. 일부 구현에서, 임의의 수의 클라이언트 장치(110 또는 116)가 사용될 수 있다.
일부 구현에서, 각각의 클라이언트 장치(110 또는 116)는 게임 애플리케이션(112 또는 118)의 인스턴스를 각각 포함할 수 있다. 일 구현에서, 게임 애플리케이션(112 또는 118)은 사용자가 온라인 게이밍 플랫폼(102)에 의해 호스팅되는 가상 게임에서 가상 캐릭터를 제어하거나, 게임(105), 이미지, 비디오 아이템, 웹 페이지, 문서 등과 같은 콘텐츠를 보거나 업로드하는 것과 같이, 온라인 게이밍 플랫폼(102)을 사용하고 상호작용하는 것을 허가할 수 있다. 일 예시에서, 게임 애플리케이션은 웹 서버에 의해 제공된 콘텐츠(예컨대, 가상 환경의 가상 캐릭터 등)에 액세스, 검색, 제시 또는 탐색할 수 있는 웹 애플리케이션(예컨대, 웹 브라우저와 함께 동작하는 애플리케이션)일 수 있다. 다른 예시에서, 게임 애플리케이션은 클라이언트 장치(110 또는 116)에 설치 및 로컬로 실행되고, 사용자가 온라인 게이밍 플랫폼(102)과 상호작용할 수 있도록 허용하는 네이티브 애플리케이션(예컨대, 모바일 애플리케이션, 앱, 또는 게이밍 프로그램)일 수 있다. 게임 애플리케이션은 콘텐츠(예컨대, 웹 페이지, 미디어 뷰어)를 (예컨대, 플랫폼 하이브리드 스트리밍 모듈(107)과 함께 하이브리드 스트리밍 모듈(115 및 121)을 통해) 사용자에게 렌더링, 디스플레이 또는 제시할 수 있다. 구현에서, 게임 애플리케이션은 또한 웹 페이지에 임베디드되는 임베디드 미디어 플레이어(예컨대, Flash® 플레이어)를 포함할 수 있다.
본 개시의 양태에 따르면, 게임 애플리케이션은 사용자가 온라인 게이밍 플랫폼(102)과 상호작용할 뿐만 아니라(예컨대, 온라인 게이밍 플랫폼(102)에 의해 호스팅되는 게임(105)을 플레이함), 콘텐츠를 온라인 게이밍 플랫폼(102)에 구축하고, 생성하고, 편집하고, 업로드하는 온라인 게이밍 플랫폼 애플리케이션일 수 있다. 이와 같이, 게임 애플리케이션은 온라인 게이밍 플랫폼(102)에 의해 클라이언트 장치(110 또는 116)에 제공될 수 있다. 다른 예시에서, 게임 애플리케이션은 서버로부터 다운로드되는 애플리케이션일 수 있다.
일부 구현에서, 사용자는 게임 애플리케이션을 통해 온라인 게이밍 플랫폼(102)에 로그인할 수 있다. 사용자는 사용자 계정 정보(예컨대, 사용자 이름 및 비밀번호)를 제공함으로써 사용자 계정에 액세스할 수 있으며, 여기에서 사용자 계정은 온라인 게이밍 플랫폼(102)의 하나 이상의 게임(105)에 참여할 수 있는 하나 이상의 캐릭터와 연관된다.
일반적으로, 온라인 게이밍 플랫폼(102)에 의해 수행되는 것으로 일 구현에서 설명된 기능은 또한 적절한 경우 다른 구현에서 클라이언트 장치(들)(110 또는 116) 또는 서버에 의해 수행될 수 있다. 또한, 특정 컴포넌트에 부여된 기능은 함께 동작하는 상이한 또는 다수의 컴포넌트에 의해 수행될 수 있다. 온라인 게이밍 플랫폼(102)은 또한 적절한 API(application programming interface)를 통해 다른 시스템 또는 장치에 제공된 서비스로서 액세스될 수 있고, 따라서 웹사이트에서의 사용에 제한되지 않는다.
일부 구현에서, 온라인 게이밍 플랫폼(102)은 그래픽 모듈(106)을 포함할 수 있다. 일부 구현에서, 그래픽 모듈(106)은 온라인 게이밍 플랫폼(102)이 그래픽 및 애니메이션 기능을 제공하도록 허가하는 시스템, 애플리케이션, 또는 모듈일 수 있다. 일부 구현에서, 그래픽 모듈(106)은 도 2 또는 3에 도시된 흐름도와 관련하여 아래에서 설명되는 동작 중 하나 이상을 수행할 수 있다.
도 2: 합성 비디오를 생성하기 위한 방법
도 2는 일부 구현에 따른 하이브리드 비디오 스트리밍을 수행하기 위한 예시적인 방법(200)(예컨대, 컴퓨터 구현된 방법)의 흐름도이다.
일부 구현에서, 방법(200)은 예컨대, 서버 장치 또는 클라이언트 장치 또는 다른 장치, 또는 장치의 조합 중 하나 이상에서 구현될 수 있다. 일부 구현에서, 방법(200)의 일부 또는 전부는 도 1에 도시된 장치(102 또는 110/116) 중 하나 이상, 또는 도 4에 도시된 장치(402 또는 408) 중 하나 이상 및/또는 서버 장치(들) 및 클라이언트 장치(들) 모두에서 구현될 수 있다. 설명된 예시에서, 구현 시스템은 하나 이상의 디지털 하드웨어 프로세서 또는 프로세싱 회로("프로세서"), 및 하나 이상의 저장 장치를 포함한다. 방법(200)은 클라이언트 장치 상에서 실행하는 하이브리드 스트리밍 모듈(예컨대, 115 또는 121)에 의해 수행될 수 있다. 일부 구현에서, 하나 이상의 장치 또는 설비의 상이한 컴포넌트는 방법(200)의 상이한 블록 또는 다른 부분을 수행할 수 있다.
일부 구현에서, 방법(200) 또는 방법의 일부는 장치에 의해 자동으로 개시될 수 있다. 예컨대, 방법(또는 그 일부)은 하나 이상의 특정 이벤트 또는 조건의 발생에 기초하여 주기적으로 수행되거나 수행될 수 있다. 예컨대, 그러한 이벤트 또는 조건은 비디오 게임을 실행하는 클라이언트 장치, 방법(200)의 마지막 수행 이후 만료된 미리 결정된 기간, 및/또는 방법(200)을 구현하는 장치의 설정에서 지정될 수 있는 발생하는 하나 이상의 다른 이벤트 또는 조건을 포함할 수 있다. 일부 구현에서, 그러한 조건은 사용자의 저장된 맞춤 선호도(custom preference)(사용자 동의가 있는 장치 또는 방법에 의해 액세스 가능)에서 사용자에 의해 사전에 지정될 수 있다. 일부 예시에서, 장치(서버 또는 클라이언트)는 하나 이상의 애플리케이션에 대한 액세스로 방법(200)을 수행할 수 있다. 다른 예시에서, 서버 장치는 네트워크를 통해 클라이언트에 데이터를 전송할 수 있고, 클라이언트는 방법(200)을 전체적으로 또는 부분적으로 수행할 수 있다. 방법(200)은 또한 서버 장치, 하나 이상의 클라이언트 장치 및/또는 상기 조합에 대한 프로세싱의 조합을 사용하여 수행될 수 있다.
프로세싱은 202에서 시작하며, 여기에서 클라이언트 장치는 클라이언트 장치와 연관된 특정 밴티지 포인트에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 수신한다 (예컨대, 비디오 게임 가상 환경의 특정 위치에 있는 아바타, 게임 플레이어, 또는 사용자의 밴티지 포인트). 일부 구현에서, 배경 비디오는 도 3과 함께 아래에서 설명되는 바와 같이 서버 상에서 렌더링된 배경 비디오를 포함할 수 있다. 일부 구현에서, 비디오는 게임 플레이어 또는 아바타의 뷰 포인트(예컨대, 특정 밴티지 포인트)을 통해 보이는 환경의 뷰, 게임 플레이어 또는 아바타의 위치에서 환경의 파노라마 뷰, 또는 3D 장면의 지오메트리에 매핑하기 위한 색상 정보를 포함할 수 있다. 일부 구현에서, 배경 비디오는 또한 배경 위에 전경 객체의 배치 및 포지셔닝을 돕기 위해 전경 객체를 프로세싱할 때 사용될 수 있는 색상 맵 데이터, 깊이 버퍼 데이터 또는 3차원 지오메트리 정보 중 하나 이상과 같은 부가 데이터를 포함할 수 있다. 프로세싱은 204으로 계속된다.
204에서, 클라이언트 장치는 적어도 부분적으로 가상 환경의 전경에 있는 하나 이상의 렌더링된 객체를 렌더링한다. 예컨대, 렌더링된 객체는 클라이언트 장치와 연관된 비디오 게임 사용자(또는 플레이어)에 의해 제어되는 위치 또는 방향을 갖는 캐릭터, 차량 또는 다른 객체와 같은 하나 이상의 객체를 포함할 수 있다. 렌더링된 객체는 또한 클라이언트 장치와 연관된 사용자와 상이한 다른 비디오 게임 사용자에 의해 제어되는 위치 또는 방향을 갖는 하나 이상의 객체를 포함할 수 있다. 렌더링된 객체는 또한 비디오 게임에 의해 제어된 위치 또는 방향을 갖는 하나 이상의 객체(예컨대, 인공 지능 객체, 차량, 캐릭터, 아바타 등과 같은 컴퓨터 제어된 객체)를 포함할 수 있다. 프로세싱은 206으로 계속된다.
206에서, 클라이언트 장치는 배경 비디오의 적어도 일부와 하나 이상의 렌더링된 객체 중 적어도 하나를 합성 비디오로 결합한다. 전술한 부가 정보는 깊이 정보(예컨대, 지오메트리의 깊이)를 포함할 수 있다. 배경 및 부가 데이터는 또한 복수의 레이어(예컨대, 3D 장면 내의 상이한 깊이에 대응하는 레이어)를 포함할 수 있다. 서버에서 부가 데이터로 제공된 깊이 정보는 클라이언트 장치에서 렌더링 또는 결합할 때 사용될 수 있다.
예컨대, 국부적으로 렌더링된 객체(및 그 일부)는 비디오의 프레임에서 특정 깊이 및 위치를 가질 수 있다. 깊이는 배경 비디오의 객체 깊이와 비교되어 로컬로 렌더링된 객체가 전경에 완전히 있는지, 부분적으로 전경에 있는지 또는 배경에 의해 오클루딩되는지 여부를 결정할 수 있다. 렌더링 및/또는 결합은 그에 따라 조정될 수 있고, 예컨대, 결합된 비디오는 객체 픽셀이 대응하는 배경 비디오 픽셀보다 밴티지 포인트로부터 더 낮은 거리(또는 깊이)와 연관되는지 여부에 기초하여 배경 비디오 또는 렌더링된 객체의 하나 이상의 픽셀 값을 사용할 수 있다.
결합(또는 합성)은 배경 비디오 위에(즉, 전경에서) 클라이언트 객체를 오버레이하는 것, 비디오의 어떤 부분이 클라이언트의 객체 앞이나 뒤에 있는지 결정하기 위해 깊이 및 지오메트리 정보를 사용하는 것, 또는 비디오 콘텐츠를 뒤틀리게 하여 클라이언트의 현재 뷰 포인트와 더 정확하게 일치시키기 위해 깊이 및 지오메트리 정보를 사용하는 것 및 이후 전술한 기법 중 하나를 사용하여 합성을 수행하는 것을 포함하지만 이에 제한되지 않는 다양한 방식으로 수행될 수 있다. 일부 구현에서, 결합은 프레임 단위로 각 프레임에 대해 수행될 수 있다. 각 프레임에서 렌더링 및 결합함으로써, 대기 시간(latency)을 최소화할 수 있다. 서버(또는 플랫폼)의 프레임은 정기적 간격으로 또는 렌더링 및 결합이 클라이언트 장치에 의해 수행되는 것과 동일한 간격으로 클라이언트 장치에 도착하지 않을 수 있다. 따라서, 클라이언트 상에서 렌더링된 그래픽은 클라이언트 장치 상에서의 현재 렌더링 이전에 수신된 서버로부터의 프레임(예컨대, 이전 프레임)과 결합될 수 있다. 프로세싱은 208으로 계속된다.
208에서, 클라이언트 장치는 합성 비디오를 출력한다. 예컨대, 클라이언트 장치는 클라이언트 장치 또는 다른 출력 장치(예컨대, 외부 비디오 디스플레이 장치, 가상 현실 헤드셋, 웨어러블 디스플레이 장치, 비디오 프로젝터 등)에 결합된 디스플레이에 합성 비디오를 출력할 수 있다. 클라이언트 장치는 또한 가상 현실(VR), 증강 현실(AR) 또는 확장 현실(XR) 기능을 포함할 수 있으며, 클라이언트 장치 상의 렌더링, 결합 또는 출력 기능은 클라이언트 장치의 VR, AR, 또는 XR 시스템과 함께 구동하거나 작동할 수 있다.
블록(202-208)은 전체적으로 또는 부분적으로 반복될 수 있거나, 블록(202-208)이 수행되는 순서는 고려되는 하이브리드 비디오 스트리밍 작업에 따라 변할 수 있다.
도 3: 배경 비디오 및 부가 데이터를 생성하기 위한 서버 방법
도 3은 일부 구현에 따른, 서버로부터 클라이언트로 배경 비디오를 제공하기 위한 예시적인 방법(300)(예컨대, 컴퓨터 구현된 방법)의 흐름도이다.
일부 구현에서, 방법(300)은 예컨대, 서버 장치 또는 클라이언트 장치, 또는 다른 장치 중 하나 이상 또는 장치의 조합에서 구현될 수 있다. 일부 구현에서, 방법(300)의 일부 또는 전부는 도 1에 도시된 장치(102 또는 110/116) 중 하나 이상, 또는 도 4에 도시된 장치(402 또는 408) 중 하나 이상 및/또는 서버 장치(들) 및 클라이언트 장치(들) 모두에서 구현될 수 있다. 설명된 예시에서, 구현 시스템은 하나 이상의 디지털 하드웨어 프로세서 또는 프로세싱 회로("프로세서"), 및 하나 이상의 저장 장치를 포함한다. 방법(300)은 서버 또는 플랫폼 시스템(예컨대, 102)에서 실행하는 하이브리드 스트리밍 모듈(예컨대, 107)에 의해 수행될 수 있다. 일부 구현에서, 하나 이상의 장치 또는 설비의 상이한 컴포넌트는 방법(300)의 상이한 블록 또는 다른 부분을 수행할 수 있다.
일부 구현에서, 방법(300) 또는 방법의 일부는 장치에 의해 자동으로 개시될 수 있다. 예컨대, 방법(또는 그 일부)은 하나 이상의 특정 이벤트 또는 조건의 발생에 기초하여 주기적으로 수행되거나 수행될 수 있다. 예컨대, 이러한 이벤트 또는 조건은 비디오 게임을 실행하는 클라이언트 장치, 방법(300)의 마지막 수행 이후 만료된 미리 결정된 기간, 및/또는 방법(300)을 구현하는 장치의 설정에서 지정될 수 있는 발생하는 하나 이상의 다른 이벤트 또는 조건을 포함할 수 있다. 일부 구현에서, 이러한 조건은 사용자의 저장된 맞춤 선호도(사용자 동의가 있는 장치 또는 방법에 의해 액세스 가능)에서 사용자에 의해 사전에 지정될 수 있다. 일부 예시에서, 장치(서버 또는 클라이언트)는 하나 이상의 애플리케이션에 대한 액세스로 방법(300)을 수행할 수 있다. 다른 예시에서, 서버 장치는 네트워크를 통해 클라이언트에 데이터를 전송할 수 있고, 클라이언트는 방법(300)을 전체적으로 또는 부분적으로 수행할 수 있다. 방법(300)은 또한 서버 장치, 하나 이상의 클라이언트 장치, 및/또는 상기 조합에 대한 프로세싱의 조합을 사용하여 수행될 수 있다.
프로세싱은 배경 비디오가 렌더링되는 302에서 시작된다. 일부 구현에서, 서버는 클라이언트의 뷰 포인트(예컨대, 특정 밴티지 포인트)을 통해 보이는 환경의 뷰, 클라이언트의 위치 주변 환경의 파노라마 뷰, 또는 3D 장면의 지오메트리에 매핑하기 위한 색상 정보 중 하나 이상을 포함하여 배경 비디오를 렌더링할 수 있다. 서버 측에서의 렌더링은 표준 렌더링 기법 또는 여기에서 설명된 바와 같은 하이브리드 스트리밍에 특화된 기법을 사용하여 수행될 수 있다. 사용되는 특정 기법은 전술한 요소에 기초할 수 있는, 서버 장치와 클라이언트 장치 간의 프로세싱 분할에 달려있을 수 있다. 일부 구현에서, 서버는 하이브리드 스트리밍을 위한 다른 렌더링 기법을 포함할 수 있다. 예컨대, 서버에 클라이언트가 렌더링할 것에 대한 정보가 있는 경우, 서버는 차이를 컴퓨팅하고 클라이언트가 렌더링할 것과 상이한 부분만 렌더링할 수 있다. 다른 예시에서, 서버에 클라이언트가 디스플레이되는 환경의 일부 컴포넌트에 대한 고해상도 데이터를 가짐을 나타내는 정보가 있는 경우, 서버는 환경의 해당 부분 렌더링을 스킵하고, 클라이언트가 필요할 수 있는 부분(즉, 클라이언트가 고해상도로 렌더링하지 않는 환경 부분)만 렌더링할 수 있다.
다른 예시에서, 콘텐츠 결정은 서버에서 이루어질 수 있다. 예컨대, 서버는 캐릭터 모델이 클라이언트에서 렌더링되는지 결정할 수 있고, 서버는 서버에서 캐릭터 모델 렌더링을 스킵할 수 있다. 일부 구현에서, 클라이언트는 이전에 서버에서 렌더링된 그래픽 컴포넌트를 재사용할 수 있다. 이전에 렌더링된 객체의 재사용은 인근 위치에서 유사하게 보일 수 있으므로 환경에서 더 먼 객체에 대해 잘 작동할 수 있다.
일부 구현에서, 전체 객체의 렌더링의 재사용은 사용되지 않을 수 있지만, 렌더링을 수행하는 데 사용되는 데이터는 재사용될 수 있다. 예컨대, 조명의 뷰에 독립적인 부분(view-independent portion)은 컴퓨팅되고, 동일한 맵(또는 환경)의 모든 클라이언트에 공유될 수 있다. 또한, 상세 수준, 지형, 절차적 효과 등에 대한 계산이 동일한 맵 또는 환경의 클라이언트에 공유될 수 있다. 일부 구현에서, 서버는 서버에서 수행할 환경의 렌더링 정도와 클라이언트에 위임할 정도를 결정하기 위해 클라이언트 특정 파라미터(예컨대, 클라이언트에서 렌더링 파워)를 평가할 수 있다.
일반적으로, 일부 구현에서, 서버 및 클라이언트는 클라이언트가 로컬로 렌더링하고 있는 환경 부분의 서버 렌더링을 서버가 전송하지 않도록 서버와 클라이언트 간의 렌더링 책임 분할에 대한 정보를 통신할 수 있다. 결합(또는 합성)은 클라이언트와 서버가 어떤 장치가 렌더링할 부분을 조정할 때 더 효율적으로 수행될 수 있다. 프로세싱은 304으로 계속된다.
304에서, 배경에 대응하는 부가 데이터가 선택적으로 생성된다. 일부 구현에서, 부가 데이터는 배경 비디오가 나타내는(또는 매핑되는) 환경의 지오메트리 구성에 대해 클라이언트에게 알려주는 추가 데이터를 포함할 수 있다. 추가 데이터는 클라이언트 장치가 합성 동작을 보다 정확하고 그리고/또는 효율적으로 수행하는 데 도움이 될 수 있다.
부가 데이터는 깊이 버퍼 데이터 또는 3차원 지오메트리 정보 중 하나 이상을 포함할 수 있다. 일부 구현에서, 클라이언트는 이미 객체의 3차원 지오메트리를 가질 수 있으며, 전송될 변환 매트릭스만 필요할 수 있다. 변환 매트릭스만 전송함으로써, 프로세스는 3차원 지오메트리 데이터를 전송하는 기법에 비해 프로세스를 효율적으로 이루어질 수 있다. 일부 구현에서, 클라이언트는 서버로부터 전송될 3차원 지오메트리 데이터를 요구하지 않을 수 있지만, 오히려 재투영 및/또는 합성 동작을 수행하기에 충분한 지오메트리 데이터만 요구할 수 있다. 서버는 재투영 및/또는 합성 동작을 수행하는 데 필요한 최소 양의 지오메트리 데이터를 컴퓨팅할 수 있고, 따라서 서버에 의해 컴퓨팅하고 전송하는 데 필요한 데이터의 양을 감소시킬 수 있다. 프로세싱은 306으로 계속된다.
306에서, 서버는 배경 비디오 및 선택적으로, 부가 데이터를 클라이언트에 전송한다. 예컨대, 게이밍 플랫폼(102)은 배경 비디오 및/또는 부가 데이터를 사용자 장치(110) 상의 게임 애플리케이션(112)에 전송할 수 있다.
도 4: 비디오 생성을 위한 클라이언트-서버 시스템
도 4는 렌더링된 배경 비디오(404)를 갖고, 렌더링된 배경 비디오(404)를 네트워크(406)를 통해 클라이언트 장치(408)(예컨대, 클라이언트 장치(110 및/또는 116))로 전송하는 서버(402)(예컨대, 게이밍 플랫폼(102))를 도시하는 도식이다. 클라이언트 장치(408)는 하나 이상의 객체(410)(예컨대, 3차원 객체)를 렌더링하고, 하나 이상의 객체(410)를 렌더링된 배경 비디오(404)와 결합하여 합성 비디오(412)를 생성한다. 클라이언트 장치(408)는 합성 비디오를 클라이언트 장치의 스크린, 예컨대, LED 스크린, 클라이언트 장치에 의해 제어되는 프로젝터 등의 사용자 인터페이스에 디스플레이할 수 있다.
일부 구현에서, 서버(402)는 비디오 게임 비디오(또는 다른 인터랙티브 미디어)를 하나 이상의 클라이언트 장치(408)로 효율적으로 스트리밍(또는 렌더링, 또는 디스플레이)하도록 구성된다. 여기에서 설명된 기법은 전형적으로 종래의 간단한 비디오 스트리밍으로 획득 가능한 대응성(responsiveness)과 비교하여 개선된 대응성을 제공할 수 있다. 또한, 여기에서 개시된 기법은 클라이언트 장치에서 완전히 3D 장면을 단순히 렌더링하는 종래의 기법에 의해 획득될 수 있는 품질 및 계산 리소스 요구에 비해 더 적은 계산 리소스 요구(예컨대, 프로세서 사이클 및/또는 메모리)를 사용하여 더 높은 품질의 비디오 출력을 제공할 수 있다. 예컨대, 로컬로 렌더링되는 전경 객체는 로컬 계산으로 인해 사용자 입력(예컨대, 왼쪽, 위 또는 아래로 이동, 기울이기 등)에 즉시(또는 거의 즉시) 응답할 수 있지만, 대응하는 배경은 서버에서 자동으로 수신되는데, 여기에서 움직임으로 인한 시각의 작은 변화가 클라이언트에서 버퍼링될 수 있기 때문에 배경에서 약간의 지연이 허용된다.
또한, 서버에서 배경 렌더링을 수행하는 것은 부족할 수 있는 클라이언트측 리소스(예컨대, 모바일 장치의 낮은 프로세싱 용량, 제한된 메모리, 제한된 배터리 전력 등)를 절약하는 데 도움이 될 수 있다.
일부 구현은 저장 및 계산 요건을 낮춤으로써, 전통적인(예컨대, 콘솔) 비디오 게임에서 모바일 게임으로의 더 쉬운 변환을 허용한다. 일부 구현은 래그될 수 있지만(예컨대, 네트워크 대기 시간으로 인해) 요구하는 렌더링 동작(예컨대, 배경과 같은 비디오의 큰 섹션의 렌더링)을 수행하기에 충분히 강력한 서버 상의 서버 측 스트림(예컨대, 배경 비디오)의 구성 및 렌더링 제한(예컨대, 프로세서 처리량 및/또는 메모리)이 있을 수 있지만 래그(예컨대, 네트워크 대기 시간으로 인한 래그)가 거의 또는 전혀 없을 수 있는 온디바이스 렌더링된 3D 객체와 서버 측 스트림 결합을 포함할 수 있다.
일부 구현에서, 클라이언트 장면 데이터 또한 스트리밍되며, 이는 클라이언트가 로컬에서 렌더링할 수 있는 모든 것에 대한 데이터를 클라이언트가 가질 필요가 없기 때문에 클라이언트 성능 및 리소스 활용에 도움이 될 수 있다. 일반적으로, 구현은 클라이언트 파워 대 네트워크 대역폭 간의 절충을 제공하는 서버 프로세싱 및 클라이언트 프로세싱의 분할을 포함할 수 있다. 클라이언트 파워와 네트워크 대역폭 간의 절충을 고려하여 서버와 클라이언트 프로세싱의 다중 분할이 가능하다.
일부 구현에서, 서버와 클라이언트 간의 프로세싱 분할(예컨대, 얼마나 많은 비디오가 서버에서 렌더링되고 클라이언트로 전송되는지)은 이용 가능한 클라이언트 프로세싱 리소스 및 네트워크 대역폭에 기초하여 결정될 수 있다. 예컨대, 클라이언트가 제한된 프로세싱 리소스를 갖지만, 네트워크 연결이 빠른 경우(예컨대, 높은 대역폭 및 짧은 대기 시간을 갖는 경우), 시스템은 서버에서 가능한 한 많이 렌더링하고, 렌더링된 비디오를 빠른 네트워크 연결을 통해 클라이언트로 스트리밍할 수 있다. 다른 예시에서, 클라이언트가 충분한 프로세싱 리소스를 갖지만(예컨대, 전경 및 배경의 적어도 일부를 렌더링하기 위해) 네트워크 연결이 상대적으로 느린 경우, 시스템은 서버에서 더 적게 렌더링하고 더 많은 프로세싱을 클라이언트로 이동하여, 네트워크를 통해 전송되도록 요구되는 데이터의 양을 감소시킬 수 있다.
일반적으로, 상대적으로 강력한 클라이언트와 상대적으로 약한 네트워크 연결을 갖는 상황에서는 더 많은 로컬 렌더링이 좋을 수 있다. 네트워크 대역폭을 이용 가능한 경우, 서버는 클라이언트에서 렌더링을 적게 하는 대신 배경 비디오를 렌더링하는 프로세싱에 더 소비할 수 있다. 예컨대, 파노라마 이미지의 복수의 레이어를 갖는 배경 비디오를 제공한다. 각각 상이한 거리에 할당된 레이어로의 배경 비디오 스트림의 분리는 시차 효과(parallax effect)를 허용하고, 비디오 스트림에서 객체가 카메라(또는 뷰 포인트)에 더 가깝게 렌더링되더라도 사실적으로 보일 수 있다.
일부 구현에서, 서버와 클라이언트 장치 간의 하이브리드 스트리밍 기능의 분할을 결정하기 위해 평가될 수 있는 요소는: 얼마나 많은 네트워크 대역폭이 비디오에 전용될 수 있는지, 얼마나 많은 프로세싱 파워가 클라이언트 장치 상의 렌더링에 이용 가능한지, 또는 얼마나 많은 데이터가 클라이언트 장치에 저장될 수 있는지 포함할 수 있다. 예컨대, 높은 클라이언트 프로세싱 파워가 이용 가능하고, 낮은 네트워크 대역폭이 이용 가능한 상황에서, 시스템은 배경 및 전경 객체를 로컬로(즉, 클라이언트 장치에서) 렌더링할 수 있다. 예컨대, 높은 클라이언트 프로세싱 파워와 높은 네트워크 대역폭이 이용 가능한 상황에서, 배경은 서버에서 렌더링될 수 있고, 전경 객체는 로컬로 렌더링되고, 배경과 결합될 수 있다.
낮은 클라이언트 파워가 이용 가능하고 낮은 네트워크 대역폭이 이용 가능한 다른 예시적인 상황에서, 배경 및 전경 모두는 로컬에서 더 낮은 품질로 렌더링될 수 있고, 서버는 이용 가능한 네트워크 대역폭에 기초하여 렌더링을 제공할 수 있다. 낮은 클라이언트 파워가 이용 가능하고 높은 네트워크 대역폭이 이용 가능한 또 다른 예시적인 상황에서, 서버에서 더 많은 렌더링이 수행될 수 있고, 클라이언트 장치는 주요 전경 객체만 로컬로 렌더링하는 데 사용될 수 있다.
예시 구현 1
도 5 및 6: 예시 비디오
일부 구현에서, 하이브리드 스트리밍을 위한 한 기법은 원거리 장면(또는 배경)의 파노라마 비디오를 스트리밍하는 것을 포함한다. 파노라마 장면은 수평 십자형 또는 입방체 형식(도 5a에 도시된 바와 같음), 위도/경도 형식(도 5b에 도시된 바와 같음)을 포함하는 다양한 형식으로 배포될 수 있다. 클라이언트 측에서, 클라이언트는 현재 뷰 포인트(파노라마 장면 형식에 기초함)으로부터 파노라마 장면을 렌더링하고, 예컨대, 파노라마 장면 배경에 3D 객체를 오버레이함로써, 3D 객체와 비디오를 결합한다
도 6a는 일부 구현에 따른 클라이언트 장치의 현재 뷰 포인트에서 클라이언트 장치 상의 파노라마 비디오(예컨대, 도 5a 또는 도 5b에 도시된 형식 중 하나)로부터 렌더링된 배경 비디오 프레임(602)(예컨대, 스틸 2-d 이미지)을 도시한다. 도 6b는 클라이언트에서 렌더링된 객체(604)(예컨대, 3차원 객체)와 결합되고, 도 6a의 배경 프레임과 결합된 도 6a의 배경 비디오 프레임을 도시한다.
이 기법은 파노라마 비디오를 현재 뷰로 워핑할 수 있기 때문에 효과적일 수 있다. 워핑은 카메라 회전을 수용할 수 있다. 또한, 아주 멀리 있는 객체에 대해서는 번역(translation)이 중요한 문제가 아닐 수 있다. 이 기법은 비디오 스트림의 대부분의 비트가 디스오클루전(disocclusion)에 사용되기 때문에 효율적으로 스트리밍할 수 있는데, 이는 상당한 시차가 존재하지 않는 경우(예컨대, 대부분의 객체가 멀리 있는 객체인 경우) 발생하지 않는다. 이 기법은 장면의 배경에서 상대적으로 멀리 떨어져 있는 객체를 갖는 비디오 스트림에 매우 적합할 수 있다. 이러한 기법으로, 여전히 상당한 양의 렌더링이 로컬로(즉, 클라이언트 장치에서) 수행된다.
이 기법은 상대적으로 강력한 클라이언트 장치가 상대적으로 약한 네트워크 연결에 결합되는 상황에서 효과적일 수 있다. 이 기법은 파노라마 이미지의 복수의 레이어를 배경으로 제공함으로써, 클라이언트에서 렌더링을 줄이는 대신 배경 비디오에 더 많은 대역폭을 할당하도록 조정될 수 있다. 각각 상이한 거리에 할당된 레이어로의 비디오 스트림의 분리는 시차 효과를 허용하고, 따라서 비디오 스트림에서 카메라에 더 가까운 객체를 렌더링하는 경우에도 사실적으로 보일 것이다.
예시 구현 2
도 7 및 8: 예시 비디오
카메라에 더 가까운 객체를 스트리밍하는 경우, 올바른 워핑 및 합성을 위한 더 많은 정보를 얻기 위해 비디오에 더 많은 네트워크 대역폭을 할당하는 상이한 기법이 사용될 수 있다. 예컨대, 비디오가 깊이 정보를 포함하는 경우, 깊이 정보는 서버 또는 클라이언트 측에서 렌더링하는 데 사용될 수 있다.
도 7a 및 7b는 각각 비디오 프레임 및 대응하는 깊이 맵을 도시한다. 도 7a는 예시 목적을 위한 간단한 장면의 도식이다. 장면은 3개의 구조물(702, 704 및 706), 도로(708) 및 배경 부분(710)을 포함한다. 장면의 이러한 특징은 도 7b에 도시된 바와 같이 대응하는 깊이 정보를 갖는다. 깊이 정보는 구조물(702)에 대응하는 제1 깊이(712), 구조물(704)에 대응하는 제2 깊이(714), 구조물(706)에 대응하는 제3 깊이(716), 도로(708)에 대응하는 제4 깊이(718) 및 배경 부분(710)에 대응하는 제5 깊이(720)를 포함할 수 있다.
깊이 정보는 비디오의 객체가 새로운 카메라 위치에서 어디에 있어야 하는지 결정하는 데 사용될 수 있다. 이러한 깊이 정보는 이후 어떤 객체가 비디오 장면 앞에 있어야 하는지 그리고 뒤에 있어야 하는지 나타냄으로써, 클라이언트 생성된 3D 그래픽으로 적절한 합성을 수행하는 데에도 사용될 수 있다. 깊이는 비디오와 함께 스트리밍될 수 있거나, 이미 온디바이스일 수 있으며, 항상 클라이언트 장치에 저장된 전체 장면의 3D 지오메트리의 거친 표현(coarse representation)을 포함할 수 있다. 깊이 정보는 깊이 맵 또는 비디오가 매핑되는 3D 객체의 세트(예컨대, 프로젝션 매핑 스타일 기법에서의 사용을 위함)를 포함할 수 있다.
도 8a는 이미지(806)의 행(또는 행의 일부)에 있는 픽셀에 대한 깊이 정보(802)의 하향식 시각화(800)의 도식을 도시한다. 깊이 정보는 이미지(예컨대, 배경 장면 또는 파노라마 장면)의 각각의 픽셀에 대한 깊이 값을 포함할 수 있다. 깊이(810)는 라인(808)을 따라 매핑된 특정 픽셀로부터 카메라(804)까지의 거리(810)를 나타낸다.
도 8b는 이미지(816)가 새로운 카메라 위치(805)에 기초하여 재투영되는 깊이 기반 뷰 재투영(801)의 도식을 도시한다. 일부 구현에서, 재투영된 이미지는 새로운 이미지(816)의 위치에서 깊이 정보를 샘플링함으로써 생성될 수 있다. 샘플링 기법은 새로운 이미지(816) 거리에 도달하기 위해, 반복이 점(814)으로 도시되는 광선(812)을 따라 반복적으로 이동하는 것을 포함할 수 있다.
일부 구현에서, 하이-파워 클라이언트(예컨대, 각각의 임계값보다 높은 프로세싱 및/또는 메모리 리소스를 갖는 클라이언트)에서 하이브리드 스트리밍 기법을 사용할 이유가 적거나 전혀 없을 수 있다. 그러나, 클라이언트 장치가 이용 가능한 메모리, 컴퓨팅 및/또는 GPU 리소스가 충분하지 않을 때, 여기에서 설명된 하이브리드 스트리밍 기법은 비디오 게임을 프로세싱하는 성능 및 능력에 유익할 수 있다. 일부 구현에서, 클라이언트는 전체 게임 환경을 저장하는 데 불충분한 메모리를 가질 수 있다. 또한, 일부 구현에서, 서버는 고해상도 데이터를 가질 수 있는 반면, 클라이언트는 저해상도만 가질 수 있으며, 클라이언트는 일부 콘텐츠를 완전히 누락할 수 있다.
일부 구현에서, 클라이언트와 서버 간의 비디오 스트림 프로세싱의 파티셔닝(또는 분할)은 메모리(클라이언트 또는 서버에서), 대역폭(클라이언트 또는 서버에서), 파워(클라이언트 또는 서버에서) 등 중 하나 이상에 기초하여 동적으로 변경할 수 있다. 일부 구현은 이미 컴퓨팅된 최종 형식으로 클라이언트에 스트리밍할 것과 클라이언트가 (스트리밍된) 소스 데이터에서 컴퓨팅할 것에 대한 동적 트레이드오프를 포함할 수 있다. 클라이언트/네트워크 사양이 균형을 결정하는 데 사용될 것이다/수 있다.
하이브리드 스트리밍은 더 많은 서버 CPU 리소스, GPU 리소스 및/또는 대역폭 리소스를 요구할 수 있어서, 게이밍 플랫폼의 운영자는 이러한 특징에 대해 더 많이 청구할 수 있다. 일부 구현에서, 서버 계산량은 일부 지불 형태에 관련될 수 있으며, 예컨대 시스템은 프리미엄 고객을 위한 "HD" 버전을 스트리밍할 수 있다. 또한, 하이브리드 스트리밍은 온라인 비디오 게임 경험에 빠르게 뛰어들 수 있다는 개념과 관련되기 때문에, 사용자가 처음 게임/세계에 참여할 때, 사용자는 더 많은 비디오 스트리밍을 얻을 수 있고(예컨대, 로컬 자산을 가능한 많이 가져야 할 필요성을 감소시키기 위해), 그리고 자산 스트리밍이 진행됨에 따라 (예컨대, 사용자가 가상 세계에서 일정 시간을 보낸 후) 시스템은 렌더링을 위해 일부 항목을 로컬 클라이언트로 이동할 수 있다.
일부 구현에서, 비디오로 스트리밍할 것과 클라이언트 장치에서 로컬로 수행할 것 간의 균형은 대기 시간에 민감한 아이템에 의존할 수 있다. 예컨대 게임 플레이에 중요한 동적 객체는 로컬에서 렌더링되어야 한다. 일부 구현에서, 개발자는 오직 로컬 렌더링을 위해 이를 태깅할 수 있다.
일부 구현에서, 모바일 클라이언트가 일시적으로 연결을 잃을 때, 시스템은 이전에 수신된 데이터로부터 계속 렌더링할 수 있지만, 시각적 아티팩트가 나타나거나, 그리고/또는 시간이 지남에 따라 악화될 수 있다. 예컨대, 오래된 데이터에서 렌더링되지 않았지만 지금은 보이는 영역으로 인해 홀(hole)이 나타날 수 있다. 홀 채우기 및 기타 예측 기법이 사용하여 아티팩트를 감소시키는 데 도움이 되도록 사용될 수 있다.
일부 구현에서, 시스템은 네트워크 조건에 동적으로 적응하고, 네트워크 대역폭이 제한될 때 클라이언트 장치에서 더 많은 동작을 수행하고, 고품질 네트워크가 존재할 때 서버 장치에서 더 많은 동작을 수행하도록 구성될 수 있다.
일부 구현에서, 클라이언트 및 서버를 포함하는 하이브리드 스트리밍 시스템은 클라이언트 및 서버 각각이 뷰잉 파라미터에 대한 데이터를 유지하고 지오메트리 정보를 싱크로 유지하도록 구성될 수 있다. 일부 구현에서, 전환은 로컬 및 원격 컴포넌트 간의 부조화 전환(jarring transition)을 감소시키는 데 도움이 되도록 렌더링 차이를 완화하는 데 중점을 둘 수 있다.
일부 구현에서, 클라이언트는 서버에서 이용 가능한 전체 조명 정보에 대한 근사치를 가질 수 있다. 예컨대, 클라이언트는 주요 광원을 알고, 서버에서 보다 완전한 렌더링에 비해 덜 정확한 조명 및 그림자를 컴퓨팅할 수 있다. 클라이언트는 서버 렌더링의 품질 수준과 유사한 품질 수준으로 그 책임 하에 객체를 렌더링하기에 충분한 정보를 가질 필요가 있을 수 있다. 조명 및/또는 렌더링 정보(예컨대, 자산, 텍스처 또는 조명)는 필요한 경우에만 서버에서 스트리밍될 수 있어서, 전체 게임 세계의 부분 집합이다. 일부 구현에서, 시스템은 전 세계에 대해 전역적으로 서버에서 컴퓨팅될 수 있지만, 또한 또는 대안적으로 주어진 플레이어 주변의 것에 대해서만 클라이언트에서 컴퓨팅될 수 있다.
일부 구현에서, 비디오 게임은 임의의 주어진 시간에 무엇이 중요한지 또는 중요하지 않은지에 대한 다양한 힌트를 제공할 수 있다. 사물의 중요성 변화는 장면의 주어진 부분을 스트리밍하는 데 대역폭을 어느 정도 전용할 것인지 측면에서 스트리밍 품질을 변경할 수 있다.
일부 구현에서, 유사한 뷰 포인트을 가진 클라이언트는 이미 컴퓨팅된 스트림을 공유하거나 재사용할 수 있다. 일부 구현에서, 서버에서 수행된 렌더링이 공유될 수 있다. 예컨대, 조명 및/또는 그림자 및 다른 효과는 뷰-독립적인 방식으로 컴퓨팅되고, 상이한 클라이언트 뷰에 대한 특정 이미지를 생성하는 데 재사용될 수 있다. 일부 구현은 상이한 클라이언트 간의 계산의 상환(amortization)을 포함할 수 있다.
일부 구현에서, 클라이언트 측 입력은 서버 및 클라이언트로부터의 물리 시뮬레이션과 함께, 클라이언트에 대한 뷰잉 파라미터를 결정하는 데 사용될 수 있다. 서버 렌더링된 데이터는 클라이언트 뷰잉 파라미터에 대해 다시 렌더링되거나 워핑되고, 임의의 클라이언트 측 렌더링과 합성(또는 결합)된다. 일부 구현에서, 서버는 클라이언트가 보고 있는 곳과 관련하여 항상 클라이언트를 "뒤에 래그(lag behind)"할 수 있고, 그렇기 때문에 클라이언트 측에서는 이러한 불일치(disparity)를 수용하고, 래그 없는 클라이언트 뷰를 제공하기 위해, 서버에서 전송한 데이터(비디오 스트림)를 "워핑"하는 규정이 있을 것이다.
도 9: 예시 컴퓨팅 장치
도 9는 여기에서 설명된 하나 이상의 특징을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 장치(900)의 블록도이다. 도 1의 클라이언트 장치(110 및 116) 및/또는 게이밍 플랫폼(102)은 도 9의 컴퓨팅 장치(900)의 형태로 제공될 수 있다. 일 예시에서, 장치(900)는 컴퓨터 장치(예컨대, 도 1의 102, 110 및/또는 116)를 구현하고, 여기에서 설명된 적절한 방법 구현을 수행하는 데 사용될 수 있다. 컴퓨팅 장치(900)는 임의의 적합한 컴퓨터 시스템, 서버, 또는 다른 전자 또는 하드웨어 장치일 수 있다. 예컨대, 컴퓨팅 장치(900)는 메인프레임 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 휴대용 컴퓨터, 또는 전자 장치(휴대용 장치, 모바일 장치, 휴대 전화, 스마트폰, 태블릿 컴퓨터, 텔레비전, TV 셋톱 박스, PDA(personal digital assistant), 미디어 플레이어, 게임 장치, 웨어러블 장치 등)일 수 있다. 일부 구현에서, 장치(900)는 프로세서(902), 메모리(904), 입력/출력(I/O) 인터페이스(906) 및 오디오/비디오 입력/출력 장치(914)를 포함한다.
프로세서(902)는 프로그램 코드를 실행하고, 장치(900)의 기본 동작을 제어하기 위한 하나 이상의 프로세서 및/또는 프로세싱 회로일 수 있다. "프로세서"는 데이터, 신호 또는 기타 정보를 프로세싱하는 임의의 적합한 하드웨어 및/또는 소프트웨어 시스템, 메커니즘 또는 컴포넌트를 포함한다. 프로세서는 범용 CPU(central processing unit), 다중 프로세싱 유닛, 기능을 달성하기 위한 전용 회로(dedicated circuitry)를 갖는 시스템 또는 다른 시스템을 포함할 수 있다. 프로세싱은 특정 지리적 위치에 제한되거나, 시간적 제한이 있을 필요는 없다. 예컨대, 프로세서는 "실시간", "오프라인", "배치 모드(batch mode)" 등으로 그 기능을 수행할 수 있다. 프로세싱의 일부는 상이한(또는 동일한) 프로세싱 시스템에 의해, 상이한 시간 및 상이한 위치에서 수행될 수 있다. 컴퓨터는 메모리와 통신하는 임의의 프로세서일 수 있다.
메모리(904)는 전형적으로 프로세서(902)에 의한 액세스를 위해 장치(900)에 제공되며, 프로세스에 의한 실행을 위한 명령어를 저장하는 데 적합하고 프로세서(902)와 분리되어 위치되고, 그리고/또는 그와 통합된 임의의 적합한 프로세서 판독가능 저장 매체, 예컨대, RAM(random access memory), ROM(read-only memory), EEPROM(electrical erasable read-only memory), 플래시 메모리 등일 수 있다. 메모리(904)는 프로세서(902)에 의해 서버 장치(900) 상에서 동작하는 소프트웨어를 저장할 수 있고, 운영 체제(908), 하나 이상의 애플리케이션(910), 예컨대, 하이브리드 비디오 스트리밍 애플리케이션 및 애플리케이션 데이터(912)를 포함한다. 일부 구현에서, 애플리케이션(910)은 프로세서(902)가 여기에서 설명된 기능, 예컨대, 도 2 또는 3의 방법의 일부 또는 전부 또는 여기에서 설명된 예시적인 구현 1 또는 2를 수행하도록 하는 명령어를 포함할 수 있다.
예컨대, 애플리케이션(910)은 여기에서 설명된 바와 같이 온라인 게이밍 플랫폼(예컨대, 102) 내에서 오디오 공간화를 제공할 수 있는 오디오 공간화 모듈(912)을 포함할 수 있다. 메모리(904)에서 소프트웨어 중 임의의 것은 대안적으로 임의의 다른 적합한 저장 위치 또는 컴퓨터 판독가능 매체에 저장될 수 있다. 또한, 메모리(904)(및/또는 다른 연결된 저장 장치(들))는 여기에서 설명된 특징에 사용된 명령어 및 데이터를 저장할 수 있다. 메모리(904) 및 임의의 다른 유형의 스토리지(자기 디스크, 광 디스크, 자기 테이프 또는 기타 실감 매체(tangible media))는 "스토리지" 또는 "저장 장치"로 간주될 수 있다.
I/O 인터페이스(906)는 서버 장치(900)를 다른 시스템 및 장치와 인터페이스할 수 있도록 하는 기능을 제공할 수 있다. 예컨대, 네트워크 통신 장치, 저장 장치(예컨대, 메모리 및/또는 데이터 저장소(108)) 및 입력/출력 장치는 인터페이스(906)를 통해 통신할 수 있다. 일부 구현에서, I/O 인터페이스는 입력 장치(키보드, 포인팅 장치, 터치스크린, 마이크, 카메라, 스캐너 등) 및/또는 출력 장치(디스플레이 장치, 스피커 장치, 프린터, 모터 등)를 포함하는 인터페이스 장치에 연결될 수 있다.
오디오/비디오 입력/출력 장치(914)는 오디오 메시지를 입력으로 수신하는 데 사용할 수 있는 오디오 입력 장치(예컨대, 마이크 등), 오디오 출력 장치(예컨대, 스피커, 헤드폰 등) 및/또는 도 2의 단계(208)의 결합된 비디오 출력과 같은 그래픽 및 시각적 출력을 제공하는 데 사용될 수 있는 디스플레이 장치를 포함할 수 있다.
설명의 편의를 위해, 도 9는 프로세서(902), 메모리(904), I/O 인터페이스(906) 및 소프트웨어 블록(908 및 910) 각각에 대해 하나의 블록을 도시한다. 이들 블록은 하나 이상의 프로세서 또는 프로세싱 회로, 운영 체제, 메모리, I/O 인터페이스, 애플리케이션 및/또는 소프트웨어 모듈을 표현할 수 있다. 다른 구현에서, 장치(900)는 도시된 컴포넌트들 모두를 갖지 않을 수 있고, 그리고/또는 여기에서 도시된 것들 대신에 또는 이에 추가하여 다른 유형의 요소를 포함하는 다른 요소를 가질 수 있다. 온라인 게이밍 플랫폼(102)은 여기에서 일부 구현에 설명된 바와 같이 동작을 수행하는 것으로 설명되지만, 온라인 게이밍 플랫폼(102) 또는 유사한 시스템의 임의의 적합한 컴포넌트 또는 컴포넌트의 조합, 또는 이러한 시스템과 연관된 임의의 적합한 프로세서 또는 프로세서들이 설명된 동작을 수행할 수 있다.
사용자 (또는 클라이언트) 장치는 또한 여기에서 설명된 특징을 구현 및/또는 사용할 수 있다. 예시적인 사용자 장치는 장치(900)와 일부 유사한 컴포넌트, 예컨대, 프로세서(들)(902), 메모리(904) 및 I/O 인터페이스(906)를 포함하는 컴퓨터 장치일 수 있다. 클라이언트 장치에 적합한 운영 체제, 소프트웨어 및 애플리케이션은 메모리에 제공되고, 프로세서에 의해 사용될 수 있다. 클라이언트 장치를 위한 I/O 인터페이스는 네트워크 통신 장치뿐만 아니라, 입력 및 출력 장치, 예컨대, 사운드를 캡처하기 위한 마이크, 이미지 또는 비디오를 캡처하기 위한 카메라, 소리를 출력하기 위한 오디오 스피커 장치, 이미지 또는 비디오를 출력하기 위한 디스플레이 장치, 또는 기타 출력 장치에 연결될 수 있다. 예컨대, 오디오/비디오 입력/출력 장치(914) 내의 디스플레이 장치는 장치(900)에 연결(또는 포함)되어, 여기에서 설명된 바와 같은 이미지 전처리 및 후처리(images pre- and post-processing)를 디스플레이할 수 있으며, 여기에서 이러한 디스플레이 장치는 임의의 적합한 디스플레이 장치, 예컨대, LCD, LED 또는 플라즈마 디스플레이 스크린, CRT, 텔레비전, 모니터, 터치스크린, 3D 디스플레이 스크린, 프로젝터, 또는 기타 시각적 디스플레이 장치를 포함할 수 있다. 일부 구현은 오디오 출력 장치, 예컨대, 텍스트를 말하는 음성 출력 또는 합성을 제공할 수 있다.
여기에서 설명된 하나 이상의 방법(예컨대, 방법(200 또는 300)의 하나 이상의 단계)은 컴퓨터에서 실행될 수 있는 컴퓨터 프로그램 명령어 또는 코드에 의해 구현될 수 있다. 예컨대, 코드는 하나 이상의 디지털 프로세서(예컨대, 마이크로프로세서 또는 다른 프로세싱 회로)에 의해 구현될 수 있고, 비일시적 컴퓨터 판독가능 매체(예컨대, 저장 매체), 예컨대, 반도체 또는 솔리드 스테이트 메모리를 포함하는, 자기, 광학, 전자기 또는 반도체 저장 매체, 자기 테이프, 이동식 컴퓨터 디스켓(removable computer diskette), RAM(random access memory), ROM(read-only memory), 플래시 메모리, 강자성 디스크(rigid magnetic disk), 광 디스크, 솔리드 스테이트 메모리 드라이브 등을 포함하는, 컴퓨터 프로그램 제품에 저장될 수 있다. 프로그램 명령어는 예컨대, 서버(예컨대, 분산 시스템 및/또는 클라우드 컴퓨팅 시스템)로부터 전달되는 SaaS(software as a service)의 형태에서, 전자 신호에 포함되고, 제공될 수도 있다. 대안적으로, 하나 이상의 방법은 하드웨어(논리 게이트 등), 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예시적인 하드웨어는 프로그래밍 가능한 프로세서(예컨대, FPGA(field-programmable gate array), 복합 프로그래밍 가능 논리 소자(complex programmable logic device)), 범용 프로세서, 그래픽 프로세서, ASIC(application specific integrated circuit) 등일 수 있다. 하나 이상의 방법은 시스템에서 실행되는 애플리케이션의 일부 또는 컴포넌트, 또는 다른 애플리케이션 및 운영 체제와 함께 실행되는 애플리케이션 또는 소프트웨어로 수행될 수 있다.
여기에서 설명된 하나 이상의 방법은 임의의 유형의 컴퓨팅 장치에서 실행될 수 있는 자립형 프로그램(standalone program), 웹 브라우저에서 실행되는 프로그램, 모바일 컴퓨팅 장치(예컨대, 휴대폰, 스마트폰, 태블릿 컴퓨터, 웨어러블 장치(손목시계, 암 밴드, 보석, 모자, 고글, 안경 등), 랩톱 컴퓨터 등)에서 실행되는 모바일 애플리케이션("앱")에서 실행될 수 있다. 일 예시에서, 클라이언트/서버 아키텍처가 사용될 수 있으며, 예컨대, (클라이언트 장치로서) 모바일 컴퓨팅 장치는 사용자 입력 데이터를 서버 장치로 전송하고, 서버로부터 출력을 위한(예컨대, 디스플레이를 위한) 최종 출력 데이터를 수신한다. 다른 예시에서, 모든 계산은 모바일 컴퓨팅 장치의 모바일 앱(및/또는 다른 앱) 내에서 수행될 수 있다. 다른 예시에서, 계산은 모바일 컴퓨팅 장치와 하나 이상의 서버 장치 사이에서 분할될 수 있다.
설명이 그 특정 구현과 관련하여 설명되었지만, 이러한 특정 구현은 단지 예시적이며 제한적이지 않는다. 예시에 설명된 개념은 다른 예시 및 구현에 적용될 수 있다.
본 개시에 설명된 기능 블록, 동작, 특징, 방법, 장치 및 시스템은 당업자에게 알려진 바와 같이 시스템, 장치 및 기능 블록의 상이한 조합으로 통합되거나 분할될 수 있음에 유의한다. 임의의 적합한 프로그래밍 언어 및 프로그래밍 기법이 특정 구현의 루틴을 구현하는 데 사용될 수 있다. 상이한 프로그래밍 기법, 예컨대, 절차적 또는 객체 지향(procedural or object-oriented)이 사용될 수 있다. 루틴은 단일 프로세싱 장치 또는 다중 프로세서에서 실행할 수 있다. 단계, 동작 또는 계산이 특정 순서로 제시될 수 있지만, 순서는 상이한 특정 구현에서 변경될 수 있다. 일부 구현에서, 본 명세서에서 순차적으로 도시된 다수의 단계 또는 동작은 동시에 수행될 수 있다.
Claims (20)
- 클라이언트 장치에서, 상기 클라이언트 장치와 연관된 단일 밴티지 포인트(vantage point)에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 수신하는 단계 - 상기 배경 비디오는 서버에서 렌더링됨 -;
상기 클라이언트 장치를 사용하여, 상기 가상 환경의 전경 부분에 적어도 부분적으로 있는 하나 이상의 렌더링된 객체를 렌더링하는 단계 - 상기 하나 이상의 렌더링된 객체는 상기 클라이언트 장치의 비디오 게임 사용자에 의해 제어된 위치 또는 방향을 갖는 적어도 하나의 3차원(3D) 객체를 포함함 -;
깊이 및 지오메트리 정보를 사용하여, 상기 하나 이상의 렌더링된 객체 앞에 또는 상기 하나 이상의 렌더링된 객체 뒤에 있는 상기 배경 비디오의 부분을 결정하는 단계;
상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 더 정확하게 일치하도록 상기 배경 비디오를 워핑하는 단계;
상기 클라이언트 장치를 사용하여, 상기 워핑된 배경 비디오의 적어도 일부와 상기 하나 이상의 렌더링된 객체 중 적어도 하나를 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 일치하는 합성 비디오(composite video)로 결합하는 단계; 및
상기 합성 비디오를 출력하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 배경 비디오는 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트의 위치에서 상기 가상 환경의 파노라마 뷰를 포함하는 것인, 방법. - 제1항에 있어서,
상기 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함하는 것인, 방법. - 제1항에 있어서,
상기 배경 비디오에 대응하는 부가 데이터(supplemental data)를 상기 서버로부터 수신하는 단계를 더 포함하는 방법. - 제4항에 있어서,
상기 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함하는 것인, 방법. - 제1항에 있어서,
상기 결합하는 단계는 상기 워핑된 배경 비디오의 상단에 상기 하나 이상의 렌더링된 객체를 오버레이하는 단계를 포함하는 것인, 방법. - 제1항에 있어서,
상기 결합하는 단계는 각각 상이한 거리에 대응하는 파노라마 이미지의 복수의 레이어를 사용하여 시차 효과(parallax effect)를 생성하는 단계를 포함하는 것인, 방법. - 제1항에 있어서,
상기 합성 비디오를 생성하는 단계는 상기 워핑된 배경 비디오의 하나 이상의 위치에 대한 상기 하나 이상의 렌더링된 객체의 배치를 결정하기 위해 깊이 정보를 사용하는 단계를 포함하는 것인, 방법. - 하이브리드 비디오 스트리밍을 수행하기 위한 클라이언트 장치로서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행될 때, 동작을 수행하도록 하는 저장된 명령어를 갖는, 상기 하나 이상의 프로세서에 결합된 메모리
를 포함하고, 상기 동작은:
상기 클라이언트 장치와 연관된 단일 밴티지 포인트에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 수신하는 것 - 상기 배경 비디오는 서버에서 렌더링됨 -;
적어도 부분적으로 상기 가상 환경의 전경에 있는 하나 이상의 렌더링된 객체를 렌더링하는 것 - 상기 하나 이상의 렌더링된 객체는 상기 클라이언트 장치의 비디오 게임 사용자에 의해 제어된 위치 또는 방향을 갖는 적어도 하나의 3차원(3D) 객체를 포함함 -;
깊이 및 지오메트리 정보를 사용하여, 상기 하나 이상의 렌더링된 객체 앞에 또는 상기 하나 이상의 렌더링된 객체 뒤에 있는 상기 배경 비디오의 부분을 결정하는 것;
상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 더 정확하게 일치하도록 상기 배경 비디오를 워핑하는 것;
상기 워핑된 배경 비디오의 적어도 일부와 상기 하나 이상의 렌더링된 객체 중 적어도 하나를 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 일치하는 합성 비디오로 결합하는 것; 및
상기 합성 비디오를 출력하는 것
을 포함하는, 클라이언트 장치. - 제9항에 있어서,
상기 배경 비디오는 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트의 위치에서 상기 가상 환경의 파노라마 뷰를 포함하는 것인, 클라이언트 장치. - 제9항에 있어서,
상기 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함하는 것인, 클라이언트 장치. - 제9항에 있어서,
상기 동작은 상기 배경 비디오에 대응하는 부가 데이터를 상기 서버로부터 수신하는 것을 더 포함하고,
상기 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함하는 것인, 클라이언트 장치. - 제9항에 있어서,
상기 결합하는 것은 상기 워핑된 배경 비디오의 상단에 상기 하나 이상의 렌더링된 객체를 오버레이하는 것을 포함하는, 클라이언트 장치. - 제9항에 있어서,
상기 합성 비디오를 생성하는 것은 상기 배경 비디오의 하나 이상의 위치에 대한 상기 하나 이상의 렌더링된 객체의 배치를 결정하기 위해 깊이 정보를 사용하는 것을 포함하는, 클라이언트 장치. - 프로세싱 장치에 의한 실행에 응답하여, 상기 프로세싱 장치로 하여금 동작을 수행하도록 하는 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작은:
클라이언트 장치에서, 상기 클라이언트 장치와 연관된 단일 밴티지 포인트에서 볼 때 가상 환경의 배경 부분에 대응하는 배경 비디오를 수신하는 것 - 상기 배경 비디오는 서버에서 렌더링됨 -;
상기 클라이언트 장치를 사용하여, 적어도 부분적으로 상기 가상 환경의 전경에 있는 하나 이상의 렌더링된 객체를 렌더링하는 것 - 상기 하나 이상의 렌더링된 객체는 상기 클라이언트 장치의 비디오 게임 사용자에 의해 제어된 위치 또는 방향을 갖는 적어도 하나의 3차원(3D) 객체를 포함함 -;
깊이 및 지오메트리 정보를 사용하여, 상기 하나 이상의 렌더링된 객체 앞에 또는 상기 하나 이상의 렌더링된 객체 뒤에 있는 상기 배경 비디오의 부분을 결정하는 것;
상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 더 정확하게 일치하도록 상기 배경 비디오를 워핑하는 것;
상기 클라이언트 장치를 사용하여, 상기 배경 비디오의 적어도 일부와 상기 하나 이상의 렌더링된 객체 중 적어도 하나를 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트와 일치하는 합성 비디오로 결합하는 것; 및
상기 합성 비디오를 출력하는 것
을 포함하는, 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서,
상기 배경 비디오는 상기 클라이언트 장치와 연관된 상기 단일 밴티지 포인트의 위치 근처의 상기 가상 환경의 파노라마 뷰를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체. - 제15항에 있어서,
상기 배경 비디오는 3차원 장면을 매핑하기 위한 색상 맵 정보를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체. - 제15항에 있어서,
상기 동작은 상기 배경 비디오에 대응하는 부가 데이터를 상기 서버로부터 수신하는 것을 더 포함하고,
상기 부가 데이터는 깊이 버퍼 또는 3차원 지오메트리 정보 중 하나 이상으로부터의 데이터를 포함하고,
상기 결합하는 것은 상기 워핑된 배경 비디오의 상단에 상기 렌더링된 하나 이상의 객체를 오버레이하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227030190A KR20220125813A (ko) | 2019-12-04 | 2019-12-06 | 하이브리드 스트리밍 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/703,824 US11297116B2 (en) | 2019-12-04 | 2019-12-04 | Hybrid streaming |
| US16/703,824 | 2019-12-04 | ||
| PCT/US2019/065097 WO2021112882A1 (en) | 2019-12-04 | 2019-12-06 | Hybrid streaming |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227030190A Division KR20220125813A (ko) | 2019-12-04 | 2019-12-06 | 하이브리드 스트리밍 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220079685A KR20220079685A (ko) | 2022-06-13 |
| KR102441514B1 true KR102441514B1 (ko) | 2022-09-08 |
Family
ID=76210389
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227030190A KR20220125813A (ko) | 2019-12-04 | 2019-12-06 | 하이브리드 스트리밍 |
| KR1020227017202A KR102441514B1 (ko) | 2019-12-04 | 2019-12-06 | 하이브리드 스트리밍 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227030190A KR20220125813A (ko) | 2019-12-04 | 2019-12-06 | 하이브리드 스트리밍 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11297116B2 (ko) |
| EP (1) | EP4069388A4 (ko) |
| JP (1) | JP7425196B2 (ko) |
| KR (2) | KR20220125813A (ko) |
| CN (1) | CN114616035A (ko) |
| WO (1) | WO2021112882A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7360112B2 (ja) * | 2019-09-27 | 2023-10-12 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
| US11297116B2 (en) * | 2019-12-04 | 2022-04-05 | Roblox Corporation | Hybrid streaming |
| US20220129295A1 (en) | 2020-10-25 | 2022-04-28 | Meta Platforms, Inc. | Server-side hosted environment for a cloud gaming system |
| US20220360855A1 (en) * | 2021-05-06 | 2022-11-10 | Anthony Palmer | System and method for providing digital graphics and associated audiobooks |
| KR102653243B1 (ko) * | 2023-05-08 | 2024-04-02 | 주식회사 오썸피아 | 메타 라이브 서비스 제공 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217760A1 (en) | 2015-01-22 | 2016-07-28 | Microsoft Technology Licensing, Llc. | Reconstructing viewport upon user viewpoint misprediction |
| US20190355172A1 (en) | 2018-05-15 | 2019-11-21 | Adobe Inc. | Synthesis of composite images having virtual backgrounds |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266068B1 (en) * | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| US6384821B1 (en) * | 1999-10-04 | 2002-05-07 | International Business Machines Corporation | Method and apparatus for delivering 3D graphics in a networked environment using transparent video |
| EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
| US20020147987A1 (en) | 2001-03-20 | 2002-10-10 | Steven Reynolds | Video combiner |
| CN102239506B (zh) * | 2008-10-02 | 2014-07-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
| RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
| US9628722B2 (en) * | 2010-03-30 | 2017-04-18 | Personify, Inc. | Systems and methods for embedding a foreground video into a background feed based on a control input |
| US9160938B2 (en) * | 2010-04-12 | 2015-10-13 | Wsi Corporation | System and method for generating three dimensional presentations |
| WO2012071435A1 (en) * | 2010-11-24 | 2012-05-31 | Google Inc. | Rendering and navigating photographic panoramas with depth information in a geographic information system |
| US8872813B2 (en) * | 2011-09-02 | 2014-10-28 | Adobe Systems Incorporated | Parallax image authoring and viewing in digital media |
| US9305373B2 (en) * | 2012-09-11 | 2016-04-05 | Potential Dynamics Corp. | Customized real-time media system and method |
| US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| US20140292803A1 (en) * | 2013-03-29 | 2014-10-02 | Nvidia Corporation | System, method, and computer program product for generating mixed video and three-dimensional data to reduce streaming bandwidth |
| CA2927076A1 (en) * | 2013-10-14 | 2015-04-23 | Koninklijke Philips N.V. | Remapping a depth map for 3d viewing |
| US10341632B2 (en) * | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
| WO2017171005A1 (ja) | 2016-04-01 | 2017-10-05 | 株式会社ｗｉｓｅ | ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
| JP6320488B1 (ja) | 2016-11-07 | 2018-05-09 | ヤフー株式会社 | 仮想現実提供システム、仮想現実提供方法、仮想現実提供装置、およびプログラム |
| US11184599B2 (en) * | 2017-03-15 | 2021-11-23 | Pcms Holdings, Inc. | Enabling motion parallax with multilayer 360-degree video |
| US10489915B2 (en) * | 2017-04-01 | 2019-11-26 | Intel Corporation | Decouple multi-layer render fequency |
| US10417810B2 (en) * | 2017-05-31 | 2019-09-17 | Verizon Patent And Licensing Inc. | Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene |
| US10297087B2 (en) * | 2017-05-31 | 2019-05-21 | Verizon Patent And Licensing Inc. | Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams |
| US10719987B1 (en) * | 2017-06-28 | 2020-07-21 | Kilburn Live, Llc | Augmented reality in a virtual reality environment |
| US10839577B2 (en) * | 2017-09-08 | 2020-11-17 | Apple Inc. | Creating augmented reality self-portraits using machine learning |
| US11297116B2 (en) * | 2019-12-04 | 2022-04-05 | Roblox Corporation | Hybrid streaming |
-
2019
- 2019-12-04 US US16/703,824 patent/US11297116B2/en active Active
- 2019-12-06 KR KR1020227030190A patent/KR20220125813A/ko active IP Right Grant
- 2019-12-06 CN CN201980101790.3A patent/CN114616035A/zh active Pending
- 2019-12-06 KR KR1020227017202A patent/KR102441514B1/ko active IP Right Grant
- 2019-12-06 EP EP19955308.2A patent/EP4069388A4/en active Pending
- 2019-12-06 WO PCT/US2019/065097 patent/WO2021112882A1/en unknown
- 2019-12-06 JP JP2022530272A patent/JP7425196B2/ja active Active
-
2022
- 2022-04-01 US US17/711,109 patent/US20220224739A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217760A1 (en) | 2015-01-22 | 2016-07-28 | Microsoft Technology Licensing, Llc. | Reconstructing viewport upon user viewpoint misprediction |
| US20190355172A1 (en) | 2018-05-15 | 2019-11-21 | Adobe Inc. | Synthesis of composite images having virtual backgrounds |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4069388A1 (en) | 2022-10-12 |
| EP4069388A4 (en) | 2023-12-06 |
| CN114616035A (zh) | 2022-06-10 |
| KR20220079685A (ko) | 2022-06-13 |
| JP2023504609A (ja) | 2023-02-06 |
| US20220224739A1 (en) | 2022-07-14 |
| US20210176288A1 (en) | 2021-06-10 |
| WO2021112882A1 (en) | 2021-06-10 |
| JP7425196B2 (ja) | 2024-01-30 |
| US11297116B2 (en) | 2022-04-05 |
| KR20220125813A (ko) | 2022-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102441514B1 (ko) | 하이브리드 스트리밍 | |
| EP3760287B1 (en) | Method and device for generating video frames | |
| JP6310073B2 (ja) | 描画システム、制御方法、及び記憶媒体 | |
| JP6232423B2 (ja) | 情報処理装置、描画装置、方法及びプログラム | |
| US9717988B2 (en) | Rendering system, rendering server, control method thereof, program, and recording medium | |
| TWI668577B (zh) | 渲染設備、其之渲染方法、程式和記錄媒體 | |
| US8363051B2 (en) | Non-real-time enhanced image snapshot in a virtual world system | |
| CN108604389B (zh) | 连续深度排序图像合成 | |
| WO2023071586A1 (zh) | 画面生成方法、装置、设备及介质 | |
| JP6306089B2 (ja) | ネットワークを通してメディアを伝送するシステム及び方法 | |
| US11645805B2 (en) | Animated faces using texture manipulation | |
| WO2022182441A1 (en) | Latency-resilient cloud rendering | |
| WO2022098512A1 (en) | Latency-resilient cloud rendering | |
| KR102396060B1 (ko) | 전자 게임에서 카메라 뷰 변경 | |
| US12002139B2 (en) | Robust facial animation from video using neural networks | |
| US20220270314A1 (en) | Robust facial animation from video using neural networks | |
| WO2022224964A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN116917957A (zh) | 基于神经网络的鲁棒视频面部动画 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |