JP7467613B2 - クラウドゲーム用の方法および装置 - Google Patents
クラウドゲーム用の方法および装置 Download PDFInfo
- Publication number
- JP7467613B2 JP7467613B2 JP2022517928A JP2022517928A JP7467613B2 JP 7467613 B2 JP7467613 B2 JP 7467613B2 JP 2022517928 A JP2022517928 A JP 2022517928A JP 2022517928 A JP2022517928 A JP 2022517928A JP 7467613 B2 JP7467613 B2 JP 7467613B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- image frame
- encoding
- image
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 79
- 230000033001 locomotion Effects 0.000 claims description 72
- 238000012545 processing Methods 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000005562 fading Methods 0.000 claims description 7
- 238000004091 panning Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000004397 blinking Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 3
- 238000005286 illumination Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 36
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この出願は、2021年2月24日に出願された米国特許出願第17/184,082号「クラウドゲーム用の方法および装置」に対する優先権の利益を主張し、それは、2020年3月16日に出願された米国仮特許出願第62/990,204号「クラウドゲームシステムにおけるメタデータによるビデオコーディング方法」に対する優先権の利益を主張する。従来の出願の全開示は、その全体が参照により本明細書に組み込まれる。
この開示は、クラウドゲームの分野におけるマルチメディア技術に一般的に関連する実施形態を説明する。
101 サーバシステム
102 クライアントシステム
110 サーバ
111 インターフェース回路
115 メモリ
120 処理回路
125 ゲームエンジン
130 ビデオエンコーダ
150 ネットワーク
160 クライアントデバイス
161 インターフェース回路
165 ディスプレイ
169 ユーザ入力デバイス
170 処理回路
175 ゲームクライアント
180 ビデオデコーダ
Claims (20)
- 電子デバイスが実行するクラウドゲーム用の方法であって、
ビデオシーケンスと、前記ビデオシーケンスに関連付けられたメタデータとをゲームエンジンから受信するステップであって、前記メタデータは、ゲーム環境に関するゲーム制御情報に基づいて作成され、前記ゲーム制御情報は、ユーザ制御情報と、ゲームシーン情報とを含み、前記メタデータは、前記ユーザ制御情報がユーザ入力に応じて変更されることに基づいて前記ゲームエンジンにおいて更新され、かつ、前記ゲームシーン情報がゲームシーンの動きに応じて変更されることに基づいて前記ゲームエンジンにおいて更新され、前記ビデオシーケンスは、前記ゲーム制御情報に応答して生成された一連の画像フレームを含む、ステップと、
前記メタデータに基づいて、前記ビデオシーケンスを符号化するための符号化構成を決定するステップと、
前記符号化構成に基づいて、前記ビデオシーケンスをコード化されたビデオビットストリームに符号化するステップと、
を含み、
前記メタデータは、前記ビデオシーケンスの画像フレームの照明変化特徴、点滅特性、およびフェーディング特徴のうちの少なくとも1つの画像特徴を示し、前記方法は、さらに、
前記画像特徴に基づいて、前記画像フレームを符号化するための符号化構成を決定するステップ、を含むことを特徴とする方法。 - 前記メタデータは、動きベクトルを含み、前記方法は、さらに、
前記動きベクトルに基づいて、前記ビデオシーケンスの画像フレーム内のブロックを符号化するための動き探索の開始ポイントを決定するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、前記ビデオシーケンスの画像フレームのシーン変化特徴、パンニング特徴、ズーミング特徴、およびオーバーレイ特徴のうちの少なくとも1つの画像特徴をさらに示し、前記方法は、さらに、
前記画像特徴に基づいて、前記画像フレームを符号化するための符号化構成を決定するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、画像フレームにおける境界ボックスを示し、前記方法は、さらに、
前記境界ボックスに基づいて、現在の画像フレームの前の画像フレームに対する前記現在の画像フレームにおける境界ボックスによってカバーされていないエリアのための前記前の画像フレームにおける参照エリアを決定するステップと、
前記前の画像フレームにおける参照エリアに基づいて、前記現在の画像フレームにおける境界ボックスによってカバーされていないエリアを符号化するステップと、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、第1画像フレームから第2画像フレームへのモデル変換を示し、前記方法は、さらに、
前記モデル変換に基づいて、前記符号化構成を決定するステップと、
前記符号化構成に基づいて、前記第2画像フレームにおけるブロックを、前記第1画像フレームにおける参照フレームに基づいて符号化するステップと、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、後続の画像フレームにおける現在の画像フレームのオブジェクトの存在を示し、前記方法は、さらに、
前記メタデータに基づいて、バッファ構成を決定するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、画像フレームのノイズレベルを示し、前記方法は、さらに、
前記ノイズレベルに基づいて、前記画像フレームを前処理/後処理するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、画像フレームにおける関心のある領域を示し、前記方法は、さらに、
前記関心のある領域外のブロックを符号化するために使用される第2符号化構成よりも高品質を有する第1符号化構成を使用して、前記関心のある領域を符号化するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、画像フレームの領域におけるグラフィックオーバーレイを示し、前記方法は、さらに、
前記グラフィックオーバーレイに基づいて、前記領域を符号化するための符号化構成を決定するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記メタデータは、オーバーレイメッセージ用の画像フレームにおけるメッセージボックスを示し、前記方法は、さらに、
前記コード化されたビデオビットストリームの特定のネットワーク抽象化層ユニットNALUに、前記オーバーレイメッセージの情報を含ませるステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - クラウドゲーム用の装置であって、
処理回路を備え、前記処理回路は、
ビデオシーケンスと、前記ビデオシーケンスに関連付けられたメタデータとをゲームエンジンから受信することであって、前記メタデータは、ゲーム環境に関するゲーム制御情報に基づいて作成され、前記ゲーム制御情報は、ユーザ制御情報と、ゲームシーン情報とを含み、前記メタデータは、前記ユーザ制御情報がユーザ入力に応じて変更されることに基づいて前記ゲームエンジンにおいて更新され、かつ、前記ゲームシーン情報がゲームシーンの動きに応じて変更されることに基づいて前記ゲームエンジンにおいて更新され、前記ビデオシーケンスは、前記ゲーム制御情報に応答して生成された一連の画像フレームを含む、ことと、
前記メタデータに基づいて、前記ビデオシーケンスを符号化するための符号化構成を決定することと、
前記符号化構成に基づいて、前記ビデオシーケンスをコード化されたビデオビットストリームに符号化することと、を実行するように構成され、
前記メタデータは、前記ビデオシーケンスの画像フレームの照明変化特徴、点滅特性、およびフェーディング特徴のうちの少なくとも1つの画像特徴を示し、前記処理回路は、さらに、
前記画像特徴に基づいて、前記画像フレームを符号化するための符号化構成を決定することを、実行するように構成される、
ことを特徴とする装置。 - 前記メタデータは、動きベクトルを含み、前記処理回路は、さらに、
前記動きベクトルに基づいて、前記ビデオシーケンスの画像フレーム内のブロックを符号化するための動き探索の開始ポイントを決定すること、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、前記ビデオシーケンスの画像フレームのシーン変化特徴、パンニング特徴、ズーミング特徴、およびオーバーレイ特徴のうちの少なくとも1つの画像特徴をさらに示し、前記処理回路は、さらに、
前記画像特徴に基づいて、前記画像フレームを符号化するための符号化構成を決定することを、実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、画像フレームにおける境界ボックスを示し、前記処理回路は、さらに、
前記境界ボックスに基づいて、現在の画像フレームの前の画像フレームに対する前記現在の画像フレームにおける境界ボックスによってカバーされていないエリアのための前記前の画像フレームにおける参照エリアを決定することと、
前記前の画像フレームにおける参照エリアに基づいて、前記現在の画像フレームにおける境界ボックスによってカバーされていないエリアを符号化することと、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、第1画像フレームから第2画像フレームへのモデル変換を示し、前記処理回路は、さらに、
前記モデル変換に基づいて、前記符号化構成を決定することと、
前記符号化構成に基づいて、前記第2画像フレームにおけるブロックを、前記第1画像フレームにおける参照フレームに基づいて符号化することと、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、後続の画像フレームにおける現在の画像フレームのオブジェクトの存在を示し、前記処理回路は、さらに、
前記メタデータに基づいて、バッファ構成を決定すること、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、画像フレームのノイズレベルを示し、前記処理回路は、さらに、
前記ノイズレベルに基づいて、前記画像フレームを前処理/後処理すること、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 前記メタデータは、画像フレームにおける関心のある領域を示し、前記処理回路は、さらに、
前記関心のある領域外のブロックを符号化するために使用される第2符号化構成よりも高品質を有する第1符号化構成を使用して、前記関心のある領域を符号化すること、を実行するように構成される、
ことを特徴とする請求項11に記載の装置。 - 電子デバイスであって、
前記電子デバイスには、プロセッサとメモリとが含まれ、
前記メモリには、読み取り可能な命令が記憶されており、前記読み取り可能な命令が前記プロセッサによってロードされて実行されると、請求項1~10のいずれか1項に記載の方法が実現される、
ことを特徴とする電子デバイス。 - コンピュータプログラムであって、
前記コンピュータプログラムは、電子デバイスによってロードされて実行されるとき、前記電子デバイスに請求項1~10のいずれか1項に記載の方法を実行させる、
ことを特徴とするコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062990204P | 2020-03-16 | 2020-03-16 | |
US62/990,204 | 2020-03-16 | ||
US17/184,082 | 2021-02-24 | ||
US17/184,082 US11833419B2 (en) | 2020-03-16 | 2021-02-24 | Method and apparatus for cloud gaming |
PCT/US2021/022347 WO2021188428A1 (en) | 2020-03-16 | 2021-03-15 | Method and apparatus for cloud gaming |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024060304A Division JP2024074918A (ja) | 2020-03-16 | 2024-04-03 | クラウドゲーム用の方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022550288A JP2022550288A (ja) | 2022-12-01 |
JP7467613B2 true JP7467613B2 (ja) | 2024-04-15 |
Family
ID=77664159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517928A Active JP7467613B2 (ja) | 2020-03-16 | 2021-03-15 | クラウドゲーム用の方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11833419B2 (ja) |
EP (1) | EP4011069A4 (ja) |
JP (1) | JP7467613B2 (ja) |
CN (1) | CN114402592A (ja) |
WO (1) | WO2021188428A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115767245A (zh) * | 2021-08-30 | 2023-03-07 | 瑞昱半导体股份有限公司 | 视频处理系统以及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004517590A (ja) | 2001-01-24 | 2004-06-10 | オーワイ ゲームクラスター リミテッド | ビデオ情報圧縮方法 |
JP2008517530A (ja) | 2004-10-18 | 2008-05-22 | トムソン ライセンシング | フィルム粒子のシミュレーション方法 |
US20110069757A1 (en) | 2008-05-22 | 2011-03-24 | Satya Ghosh Ammu | Content adaptive video encoder and coding method |
US20150092856A1 (en) | 2013-10-01 | 2015-04-02 | Ati Technologies Ulc | Exploiting Camera Depth Information for Video Encoding |
US20190045213A1 (en) | 2017-08-03 | 2019-02-07 | Intel Corporation | Reference frame reprojection for improved video coding |
US20190158704A1 (en) | 2017-11-17 | 2019-05-23 | Ati Technologies Ulc | Game engine application direct to video encoder rendering |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8711923B2 (en) * | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
WO2010033642A2 (en) | 2008-09-16 | 2010-03-25 | Realnetworks, Inc. | Systems and methods for video/multimedia rendering, composition, and user-interactivity |
US20110211634A1 (en) * | 2010-02-22 | 2011-09-01 | Richard Edwin Goedeken | Method and apparatus for offset metadata insertion in multi-view coded view |
US10390024B2 (en) | 2013-04-08 | 2019-08-20 | Sony Corporation | Region of interest scalability with SHVC |
US9888240B2 (en) * | 2013-04-29 | 2018-02-06 | Apple Inc. | Video processors for preserving detail in low-light scenes |
US20150296215A1 (en) * | 2014-04-11 | 2015-10-15 | Microsoft Corporation | Frame encoding using hints |
WO2017142353A1 (ko) * | 2016-02-17 | 2017-08-24 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
US10735725B2 (en) | 2016-09-14 | 2020-08-04 | Microsoft Technology Licensing, Llc | Boundary-intersection-based deblock filtering |
US10506255B2 (en) * | 2017-04-01 | 2019-12-10 | Intel Corporation | MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video |
US10567788B2 (en) | 2017-04-21 | 2020-02-18 | Zenimax Media Inc. | Systems and methods for game-generated motion vectors |
US11004209B2 (en) | 2017-10-26 | 2021-05-11 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
WO2019235904A1 (ko) * | 2018-06-08 | 2019-12-12 | 엘지전자 주식회사 | 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치 |
US11652863B2 (en) | 2020-03-16 | 2023-05-16 | Tencent America LLC | Method and apparatus for cloud gaming |
-
2021
- 2021-02-24 US US17/184,082 patent/US11833419B2/en active Active
- 2021-03-15 CN CN202180005359.6A patent/CN114402592A/zh active Pending
- 2021-03-15 JP JP2022517928A patent/JP7467613B2/ja active Active
- 2021-03-15 EP EP21772572.0A patent/EP4011069A4/en active Pending
- 2021-03-15 WO PCT/US2021/022347 patent/WO2021188428A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004517590A (ja) | 2001-01-24 | 2004-06-10 | オーワイ ゲームクラスター リミテッド | ビデオ情報圧縮方法 |
JP2008517530A (ja) | 2004-10-18 | 2008-05-22 | トムソン ライセンシング | フィルム粒子のシミュレーション方法 |
US20110069757A1 (en) | 2008-05-22 | 2011-03-24 | Satya Ghosh Ammu | Content adaptive video encoder and coding method |
US20150092856A1 (en) | 2013-10-01 | 2015-04-02 | Ati Technologies Ulc | Exploiting Camera Depth Information for Video Encoding |
US20190045213A1 (en) | 2017-08-03 | 2019-02-07 | Intel Corporation | Reference frame reprojection for improved video coding |
US20190158704A1 (en) | 2017-11-17 | 2019-05-23 | Ati Technologies Ulc | Game engine application direct to video encoder rendering |
Non-Patent Citations (1)
Title |
---|
Byeongdoo Choi, et al.,AHG8: E-Sport Use cases of VVC region-wise scalability and its system support,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0335-v2,15th Meeting: Gothenburg, SE,2019年06月,pp.1-5 |
Also Published As
Publication number | Publication date |
---|---|
EP4011069A4 (en) | 2023-03-22 |
US11833419B2 (en) | 2023-12-05 |
US20210283499A1 (en) | 2021-09-16 |
EP4011069A1 (en) | 2022-06-15 |
KR20220053655A (ko) | 2022-04-29 |
CN114402592A (zh) | 2022-04-26 |
WO2021188428A1 (en) | 2021-09-23 |
JP2022550288A (ja) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021517411A (ja) | ビデオ符号化のための方法、装置及びコンピュータプログラム | |
JP7027617B2 (ja) | ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体 | |
CN113519163B (zh) | 点云压缩的方法、装置和存储介质 | |
JP7055485B2 (ja) | 映像符号化のための方法並びに、その、装置及びコンピュータプログラム | |
CN112997503B (zh) | 对已编码视频序列进行解码的方法、装置及存储介质 | |
CN113574873B (zh) | 对已编码视频流的子码流进行解码的方法和计算机设备 | |
JP7016971B2 (ja) | ビデオ符号化の方法及び装置 | |
KR102611065B1 (ko) | 클라우드 게이밍을 위한 방법 및 장치 | |
JP7457170B2 (ja) | サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム | |
CN111641836A (zh) | 点云压缩的方法、装置、计算机设备和存储介质 | |
JP2022524107A (ja) | イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置 | |
CN111641834B (zh) | 点云编码的方法和装置、计算机设备和存储介质 | |
JP2022516062A (ja) | ビデオ復号のための方法、ビデオデコーダ、およびコンピュータプログラム、ならびにビデオ符号化のための方法 | |
JP2021517410A5 (ja) | ||
JP7442919B2 (ja) | データ操作のためのパッチ可能なリモート要素方法、装置、およびコンピュータプログラム | |
JP7467613B2 (ja) | クラウドゲーム用の方法および装置 | |
JP2023154040A (ja) | ビデオコーディングのための方法および装置 | |
JP7237410B2 (ja) | ビデオビットストリームにおけるピクチャサイズおよび分割情報の効率的なシグナリングのための方法、装置、およびコンピュータプログラム | |
KR102666825B1 (ko) | 클라우드 게이밍을 위한 방법 및 장치 | |
JP2022525989A (ja) | ビデオコーディングのための方法、装置及びプログラム | |
JP2024074918A (ja) | クラウドゲーム用の方法および装置 | |
RU2775739C1 (ru) | Способ поуровневого произвольного доступа в кодированном видеопотоке | |
WO2024010994A1 (en) | Vertex position coding in mesh compression | |
CN117461059A (zh) | 网格压缩中的顶点位置预测 | |
CN118118667A (zh) | 视频编码、解码的方法和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230904 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7467613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |