JP4996603B2 - 事前符号化マクロブロックを使用するビデオゲームシステム - Google Patents
事前符号化マクロブロックを使用するビデオゲームシステム Download PDFInfo
- Publication number
- JP4996603B2 JP4996603B2 JP2008520254A JP2008520254A JP4996603B2 JP 4996603 B2 JP4996603 B2 JP 4996603B2 JP 2008520254 A JP2008520254 A JP 2008520254A JP 2008520254 A JP2008520254 A JP 2008520254A JP 4996603 B2 JP4996603 B2 JP 4996603B2
- Authority
- JP
- Japan
- Prior art keywords
- macroblocks
- video
- encoded
- video game
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000006835 compression Effects 0.000 claims abstract description 19
- 238000007906 compression Methods 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 36
- 238000013139 quantization Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 71
- 238000010586 diagram Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 12
- 238000002156 mixing Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/406—Transmission via wireless network, e.g. pager or GSM
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/407—Data transfer via internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/409—Data transfer via television network
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、包括的にはインタラクティブビデオゲームシステムに関し、詳細には、事前符号化マクロブロックを使用するインタラクティブビデオゲームシステムに関する。
ビデオゲームはエンターテインメントの人気のある形態である。2人以上の個人が共通の擬似環境内で同時にプレイするマルチプレーヤゲームは、特に、これまで以上に多くのユーザが、インターネットとも呼ばれるワールドワイドウェブ(WWW)等のネットワークを使用して互いに対話することができるので、ますます一般的になりつつある。ビデオゲームをネットワーク化された環境で実施するには、いくつかの問題がある。
ビデオフレームを生成する方法及び関連するシステムが開示される。この方法では、要求が受信される。ビデオフレームが、複数の事前符号化マクロブロックを使用して生成される。ビデオフレームはMPEG圧縮規格に準拠する。複数の事前符号化マクロブロックは、要求前に事前符号化される。いくつかの実施形態では、要求によりビデオゲームが開始される。
実施形態をこれより詳細に参照し、実施形態の例を添付図面に示す。以下の詳細な説明では、本発明の完全な理解を提供するために多くの特定の詳細が述べられる。しかし、本発明がそういった特定の詳細なしで実施可能なことが当業者に理解されよう。場合によっては、周知の方法、手順、構成要素、回路については、実施形態の態様を不必要に曖昧にしないように、詳細に説明していない。
図1は、1つ又は複数のビデオゲーム等のコンテンツ(マルチユーザビデオゲームを含む)に対する注文を受信し、注文されたコンテンツを1人又は複数のユーザに提供するケーブルテレビシステム100の一実施形態を示すブロック図である。いくつかのコンテンツデータストリームを各加入者に送信することができ、各加入者は、サービスを注文するか、又はビデオゲームでのユーザアクションを送信することができる。アナログテレビジョン信号等の衛星信号は、衛星アンテナ144を使用して受信することができる。アナログ信号は、アナログヘッドエンド146で処理され、無線周波(RF)結合器134に連結され、ネットワーク136を介してセットトップボックス(STB)140に送信される。さらに、信号は衛星受信器148で処理し、マルチプレクサ(MUX)150に連結され、直交振幅変調器(QAM)132−2(256レベルQAM等)を使用してデジタルフォーマットに変換され、無線周波(RF)結合器134に連結され、ネットワーク136を介してSTB140に送信される。ビデオオンデマンド(VOD)サーバ118が、注文された映画に対応する信号をスイッチ126−2に提供することができ、スイッチ126−2は信号をQAM132−1に連結してデジタルフォーマットに変換する。これらデジタル信号は無線周波(RF)結合器134に連結され、ネットワーク136を介してSTB140に送信される。STB140は、後述するビデオゲームコンテンツに対応する信号を含む1つ又は複数の信号をテレビジョン又は他の表示装置138に表示することができる。図1は1つの加入者STB140及びテレビジョン又は他の表示装置138を示すが、他の実施形態では、1つ又は複数のSTB及び/又はテレビジョンもしくは他の表示装置をそれぞれ有するさらなる加入者が存在してもよい。
図2は、ビデオフレームを生成するプロセス200の一実施形態を示す流れ図である。要求が受信される(210)。要求はビデオゲームを開始することができる。ビデオフレームが、複数の事前符号化マクロブロック(すなわち、要求前に事前符号化されるマクロブロック)を使用して生成される(212)。プロセス200は、より少数の動作又は追加の動作を含んでもよい。さらに、2つ以上の動作を組み合わせてもよく、且つ/又は動作の順序を変更してもよい。
これより、ビデオゲームの1つ又は複数のビデオフレームに対応するピクチャグループ(GOP:group of picture)及び関連データストリームの実施形態に注意を向ける。MPEG2等のMPEG圧縮では、イントラ(I)フレーム及び予測可能(P)フレームを含む数種類のフレームがある。Iフレームは、フレーム内符号化マクロブロック(上述した)をそれぞれ含む複数のスライスを含む。Iフレーム内のマクロブロックはすべて存在しなければならない。Pフレームは複数のスライスを含む。スライスは、イントラ符号化マクロブロック及び予測可能マクロブロック(上述した)を含むことができる。各スライスは、少なくとも2つのマクロブロック(スライス内の最初と最後のマクロブロック)を有さなければならない。予測可能マクロブロックは空(すなわち、ヘッダのみが送信される)であってもよい。別法として、スライス内の1つ又は複数の予測可能マクロブロックをスキップしてもよい。後続するマクロブロックのアドレス増分により、何個のマクロブロックがスキップされたかを示す。40列及び30行を有するビデオフレームの例示的な実施形態では、30個のスライスがある。Pフレームの場合、各スライスは、少なくとも、最初と最後のマクロブロックを有する。したがって、この実施形態での予測可能マクロブロックでのアドレス増分の範囲は1〜39になる。
多くの既存のビデオゲームは、プレイフィールドに対応する大きなマップを含む。1人又は複数のユーザが、ユーザコマンドに従ってマップ内をスクロールする。しかし、1人又は複数のユーザは、随時、マップの小部分しか経験しない、又は見ない(例えば、ディスプレイ上で)。プレイフィールドが大きい(両方の次元で数千ピクセル)場合、随時必要とされるのが小部分のみであるにもかかわらず、相当量の情報がSTB140(図1)に伝達され得る。
データストリーム1400(図14)の符号化は、常に、結果として得られる画像の複雑性(データ速度)と品質とのトレードオフを表す。さらに、送信できる情報量は、あるビデオフレームから次のビデオフレームへの変化量及びデコーダ1914(図19)でのデータバッファサイズの関数でもある。データバッファサイズは、STB140でのビデオフレームの復号化待ち時間に上限を設定する。
いくつかの実施形態では、1つ又は複数の事前符号化ビデオシーケンスを、合成されたビデオゲーム画像情報を含むビデオフレームと組み合わせることができる。例えば、ビデオゲームは、ビデオシーケンスが表示されるテレビジョン又は他の表示装置の画像を含むことができる。1つ又は複数の事前符号化ビデオシーケンスが、ビデオゲーム画像情報に対応する画像エリアの1つ又は複数のサブセットに含まれる場合、すなわち、ビデオフレームがビデオゲーム画像情報に対応し、事前符号化ビデオシーケンスを有する領域を含む場合、このような組み合わせは問題がより少ない。合成されたビデオゲーム画像情報は、ビデオシーケンスが占める1つ又は複数の矩形領域から除外することができる。しかし、ビデオゲーム情報が、事前符号化ビデオシーケンスに対応する画像エリアの1つ又は複数のサブセットに含まれる場合、すなわち、ビデオフレームが事前符号化ビデオシーケンスに対応し、ビデオゲーム画像情報を有する領域を含む場合、組み合わせはより困難であり得る。この場合、ビデオゲーム画像情報の符号化に使用される手法と互換性のある手法を使用して、事前符号化ビデオシーケンスを符号化することができる。したがって、事前符号化ビデオシーケンスは、ビデオゲーム情報と同じGOPを有し、ひいては同じデータストリームフォーマットを有するように符号化することができる。これにより、ビデオシーケンスのビデオフレーム内の1つ又は複数のサブセットを、動き推定計算において動きソースとして使用されることから除外することができる。したがって、ビデオゲーム画像情報が事前符号化ビデオシーケンスを損なうことを回避しながら、2つのデータストリームを符号化領域で併合することができる。その結果として得られる各ビデオフレームのデータストリームは、ビデオシーケンスのマクロブロック及びビデオゲーム画像情報のマクロブロックを含むマクロブロックの組み合わせを有することになる。事前符号化ビデオゲームマクロブロックは、ビデオゲーム画像情報(複数のビデオフレームで略同じであり得る)よりも広範囲のAC係数及び量子化値を有し得る。さらに、事前符号化ビデオシーケンスを有する1つ又は複数の領域内の動きベクトルは、ビデオゲーム画像情報を有する領域を参照せず、この逆も同様であり得る。
これより、事前符号化マクロブロックを使用して1つ又は複数のビデオゲームに対応する1つ又は複数のビデオフレームを生成するハードウェアのいくつかの実施形態に注意を向ける。図18は、ビデオゲームシステム1800の一実施形態を示すブロック図である。ビデオゲームシステム1800は、少なくとも1つのデータプロセッサ、ビデオプロセッサ、及び/又は中央演算処理装置(CPU)1810と、1つ又は複数のオプションのユーザインタフェース1814と、他のコンピュータ、サーバ、及び/又は1つもしくは複数のSTB(図1のSTB140等)と通信するための通信インタフェース又はネットワークインタフェース1820と、メモリ1822と、これら構成要素を互いに結合する1つ又は複数の信号線1812と、を含むことができる。少なくとも、1つのデータプロセッサ、ビデオプロセッサ、及び/又は中央演算処理装置(CPU)1810は、マルチスレッド又は並列処理に向けて構成されるか、又は構成可能であることができる。ユーザインタフェース1814は、1つ又は複数のキーボード1816及び/又はディスプレイ1818を有することができる。1つ又は複数の信号線1812は、1つ又は複数の通信バスを構成することができる。
Claims (16)
- 1つの又は複数のビデオゲームサーバ(116)を備えるビデオゲームシステムにおける方法であって、前記ビデオゲームサーバ(116)は、1つ又は複数の通信ネットワークによって前記ビデオゲームシステムに結合された複数のユーザ装置(140)にインタラクティブビデオゲームサービスを提供するように構成され、前記複数のユーザ装置(140)は、前記ビデオゲームシステムとは区別されており、前記複数のユーザ装置(140)のそれぞれは、ビデオデコーダと個別のディスプレイとを備えており、前記方法は、
各ユーザ装置(140)から、ビデオゲームを開始する要求を受信する工程(210)と、
前記各ユーザ装置(140)から、前記ビデオゲームにおける各ユーザのアクションに対応するコマンドを受信する工程と、
前記ビデオゲームにおける各ユーザのアクションに対応するコマンドに応答して、複数の事前符号化マクロブロック(612)のバンク(610)に記憶された複数の事前符号化マクロブロック(612)を使用して前記ビデオゲームにおける各ユーザのアクションに対応する第1のビデオフレーム(910)を生成する工程(212)と、
前記第1のビデオフレームを表示のために前記ユーザ装置(140)に送信する工程と、
含む方法であって、
前記第1のビデオフレーム(910)はMPEG圧縮規格に準拠し、前記複数の事前符号化マクロブロック(612)は、前記ビデオゲームを開始する前記要求を受信する前に事前符号化され且つ前記バンク(610)に記憶される、方法。 - 各事前符号化マクロブロックはピクセルセットに対応し、
前記方法は、
前記各事前符号化マクロブロックを事前符号化する工程(710)を含み、
前記各事前符号化マクロブロックを事前符号化する工程(710)は、
離散コサイン変換演算(712)、量子化演算(714)、及びランレングス符号化演算(716)を実行する工程を含み、
前記生成する工程は、前記第1のビデオフレーム内の隣接する事前符号化マクロブロックを相互に関連付ける工程を含む、請求項1に記載の方法。 - 前記事前符号化する工程は、動きベクトル及び補正データを計算する工程(718)を含む、請求項2に記載の方法。
- 前記相互に関連付ける工程は、ルミナンス情報を含む第1のブロックの第1のDC係数値(814)、クロミナンス情報を含む第2のブロックの第2のDC係数値(816)、
及びクロミナンス情報を含む第3のブロックの第3のDC係数値(816)を決定する工程を含む、請求項2に記載の方法。 - 前記複数の事前符号化マクロブロックのバンクは、個々にアドレス指定可能な事前符号化マクロブロックのバンクであり、
前記複数の事前符号化マクロブロックのサブセットは、2つ以上のビデオゲーム間で共用される、請求項1に記載の方法。 - 前記複数の事前符号化マクロブロックのサブセットは、2つ以上のビデオフレーム間で共用される、請求項1に記載の方法。
- 前記複数の事前符号化マクロブロックは、ビデオゲームの2つ以上のインスタンス間で共用される、請求項1に記載の方法。
- 前記第1のビデオフレームを生成する工程は、前記複数の事前符号化マクロブロックをグリッド(614)内の各位置に割り当てる工程をさらに含み、
前記グリッドは、二次元アレイを含み、前記グリッド内の各位置には、ビデオフレームの生成時に対応するマクロブロックが割り当てられ、前記グリッド内の少なくとも複数の位置には、対応する事前符号化マクロブロックが割り当てられ、
前記生成する工程は、前記グリッドの前の状態と前記グリッドの現在の状態とを比較する工程、及び該比較に従って、イントラマクロブロック及び予測可能マクロブロックを前記第1のビデオフレームに対応するデータストリームに選択的に含める工程を含む、請求項1に記載の方法。 - 前記複数の事前符号化マクロブロックのサブセットは、非圧縮ピクセル情報を含む、請求項1又は8に記載の方法。
- 複数のマクロブロックを動的に生成する工程をさらに含み、該動的に生成される複数のマクロブロックは、非圧縮ピクセル情報を含む前記記憶される複数の事前符号化マクロブロックのサブセットとオブジェクトに対応する画像情報との組み合わせを含む、請求項9に記載の方法。
- 複数のユーザ装置(140)にインタラクティブビデオゲームサービスを提供するように構成された装置であって、前記複数のユーザ装置(140)は、1つ又は複数の通信ネットワークによって前記装置に結合され、前記装置とは区別されており、前記複数のユーザ装置(140)のそれぞれは、ビデオデコーダと個別のディスプレイとを備えており、前記装置は、
メモリ(1822)と、
プロセッサ(1810)と、
前記メモリに記憶され、前記プロセッサにより実行されるように構成されるプログラム(1846)であって、各ユーザ装置(140)から、ビデオゲームを開始する要求を受信する(210)命令と、前記各ユーザ装置(140)から、前記ビデオゲームにおける各ユーザのアクションに対応するコマンドを受信する命令と、前記ビデオゲームにおける各ユーザのアクションに対応するコマンドに応答して、複数の事前符号化マクロブロック(612)のバンク(610)に記憶された複数の事前符号化マクロブロックを使用して前記ビデオゲームにおける各ユーザのアクションに対応する第1のビデオフレーム(910)を生成する(212)命令と、前記第1のビデオフレームを表示のために前記ユーザ装置(140)に送信する命令と、を含むプログラムと、
を備え、
前記第1のビデオフレーム(910)はMPEG圧縮規格に準拠し、前記複数の事前符号化マクロブロック(612)は、前記ビデオゲームを開始する前記要求を受信する前に事前符号化され且つ前記バンク(610)に記憶される、装置。 - 前記第1のビデオフレームを生成する命令は、前記複数の事前符号化マクロブロックをグリッド(614)内の各位置に割り当てる命令をさらに含む、請求項11に記載の装置。
- 前記ビデオゲームにおけるユーザアクションに対応するコマンドを受信する工程(410)と、
前記要求を受信する前に事前符号化される複数の事前符号化マクロブロック、及び、前記要求を受信した後且つ前記コマンドを受信する前に符号化される複数の要求後符号化マクロブロックを使用して第2のビデオフレームを生成する工程(412)と、
をさらに含む、請求項1に記載の方法。 - 前記第2のビデオフレームを生成する工程(412)は、前記コマンドを受信した後に符号化される複数の動的符号化マクロブロックを使用する工程をさらに含む、請求項13に記載の方法。
- 前記ビデオゲームにおけるユーザアクションに対応するコマンドを受信する命令と、
前記要求を受信する前に事前符号化される複数の事前符号化マクロブロック、及び、前記要求を受信した後且つ前記コマンドを受信する前に符号化される複数の要求後符号化マクロブロックを使用して第2のビデオフレームを生成する命令と、
をさらに含む、請求項11に記載の装置。 - 前記第2のビデオフレームを生成する前記命令は、前記複数の事前符号化マクロブロック、前記複数の要求後符号化マクロブロック、及び前記コマンドを受信した後に符号化される複数の動的符号化マクロブロックを使用してビデオフレームを生成するようさらに構成される、請求項15に記載の装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/178,183 US8284842B2 (en) | 2005-07-08 | 2005-07-08 | Video game system using pre-encoded macro-blocks and a reference grid |
US11/178,183 | 2005-07-08 | ||
US11/178,182 US20070009042A1 (en) | 2005-07-08 | 2005-07-08 | Video game system using pre-encoded macro-blocks in an I-frame |
US11/178,189 US8118676B2 (en) | 2005-07-08 | 2005-07-08 | Video game system using pre-encoded macro-blocks |
US11/178,189 | 2005-07-08 | ||
US11/178,182 | 2005-07-08 | ||
PCT/US2006/024195 WO2007008356A1 (en) | 2005-07-08 | 2006-06-19 | Video game system using pre-encoded macro-blocks |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009503921A JP2009503921A (ja) | 2009-01-29 |
JP2009503921A5 JP2009503921A5 (ja) | 2009-05-28 |
JP4996603B2 true JP4996603B2 (ja) | 2012-08-08 |
Family
ID=37312036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008520254A Expired - Fee Related JP4996603B2 (ja) | 2005-07-08 | 2006-06-19 | 事前符号化マクロブロックを使用するビデオゲームシステム |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP1908293B1 (ja) |
JP (1) | JP4996603B2 (ja) |
AT (1) | ATE475266T1 (ja) |
DE (1) | DE602006015650D1 (ja) |
HK (1) | HK1116323A1 (ja) |
WO (1) | WO2007008356A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US8468575B2 (en) | 2002-12-10 | 2013-06-18 | Ol2, Inc. | System for recursive recombination of streaming interactive video |
US8661496B2 (en) | 2002-12-10 | 2014-02-25 | Ol2, Inc. | System for combining a plurality of views of real-time streaming interactive video |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US8840475B2 (en) * | 2002-12-10 | 2014-09-23 | Ol2, Inc. | Method for user session transitioning among streaming interactive video servers |
US8387099B2 (en) | 2002-12-10 | 2013-02-26 | Ol2, Inc. | System for acceleration of web page delivery |
US9032465B2 (en) | 2002-12-10 | 2015-05-12 | Ol2, Inc. | Method for multicasting views of real-time streaming interactive video |
US8526490B2 (en) | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
US8832772B2 (en) | 2002-12-10 | 2014-09-09 | Ol2, Inc. | System for combining recorded application state with application streaming interactive video output |
US8893207B2 (en) | 2002-12-10 | 2014-11-18 | Ol2, Inc. | System and method for compressing streaming interactive video |
US9003461B2 (en) | 2002-12-10 | 2015-04-07 | Ol2, Inc. | Streaming interactive video integrated with recorded video segments |
US8949922B2 (en) | 2002-12-10 | 2015-02-03 | Ol2, Inc. | System for collaborative conferencing using streaming interactive video |
US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US10201760B2 (en) | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
US8591334B2 (en) | 2010-06-03 | 2013-11-26 | Ol2, Inc. | Graphical user interface, system and method for implementing a game controller on a touch-screen device |
US8382591B2 (en) | 2010-06-03 | 2013-02-26 | Ol2, Inc. | Graphical user interface, system and method for implementing a game controller on a touch-screen device |
EP2628306B1 (en) | 2010-10-14 | 2017-11-22 | ActiveVideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
EP2695388B1 (en) | 2011-04-07 | 2017-06-07 | ActiveVideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
CN103945230A (zh) * | 2013-01-18 | 2014-07-23 | 鸿富锦精密工业(深圳)有限公司 | 影片传输系统及方法 |
US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US20160271495A1 (en) * | 2014-01-09 | 2016-09-22 | Square Enix Holdings Co., Ltd. | Method and system of creating and encoding video game screen images for transmission over a network |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
KR102617595B1 (ko) | 2017-04-21 | 2023-12-22 | 제니맥스 미디어 인크. | 게임-생성된 모션 벡터들을 위한 시스템들 및 방법들 |
RU2720067C1 (ru) * | 2017-04-21 | 2020-04-23 | Зенимакс Медиа Инк. | Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки |
DE112018002096T5 (de) | 2017-04-21 | 2020-01-09 | Zenimax Media Inc. | Spielereingabebewegungskompensation durch antizipation von bewegungsvektoren |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596693A (en) * | 1992-11-02 | 1997-01-21 | The 3Do Company | Method for controlling a spryte rendering processor |
US5990912A (en) * | 1997-06-27 | 1999-11-23 | S3 Incorporated | Virtual address access to tiled surfaces |
US6810528B1 (en) * | 1999-12-03 | 2004-10-26 | Sony Computer Entertainment America Inc. | System and method for providing an on-line gaming experience through a CATV broadband network |
US6614442B1 (en) * | 2000-06-26 | 2003-09-02 | S3 Graphics Co., Ltd. | Macroblock tiling format for motion compensation |
GB2374687A (en) * | 2001-04-19 | 2002-10-23 | Ibm | Managing configuration changes in a data processing system |
US20020191851A1 (en) * | 2001-05-01 | 2002-12-19 | Giora Keinan | Efficient encoding of video frames using pre-encoded primitives |
US6747658B2 (en) * | 2001-12-31 | 2004-06-08 | Intel Corporation | Automatic memory management for zone rendering |
EP1483741A2 (en) * | 2002-03-01 | 2004-12-08 | t5 Labs Ltd | Centralised interactive graphical application server |
US7038676B2 (en) * | 2002-06-11 | 2006-05-02 | Sony Computer Entertainmant Inc. | System and method for data compression |
US20060230428A1 (en) * | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
-
2006
- 2006-06-19 EP EP06773714A patent/EP1908293B1/en not_active Not-in-force
- 2006-06-19 DE DE602006015650T patent/DE602006015650D1/de active Active
- 2006-06-19 WO PCT/US2006/024195 patent/WO2007008356A1/en active Application Filing
- 2006-06-19 AT AT06773714T patent/ATE475266T1/de not_active IP Right Cessation
- 2006-06-19 JP JP2008520254A patent/JP4996603B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-06 HK HK08111073.9A patent/HK1116323A1/xx not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US11073969B2 (en) | 2013-03-15 | 2021-07-27 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
Also Published As
Publication number | Publication date |
---|---|
WO2007008356A1 (en) | 2007-01-18 |
DE602006015650D1 (de) | 2010-09-02 |
JP2009503921A (ja) | 2009-01-29 |
ATE475266T1 (de) | 2010-08-15 |
HK1116323A1 (en) | 2008-12-19 |
EP1908293B1 (en) | 2010-07-21 |
EP1908293A1 (en) | 2008-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4996603B2 (ja) | 事前符号化マクロブロックを使用するビデオゲームシステム | |
US8619867B2 (en) | Video game system using pre-encoded macro-blocks and a reference grid | |
US7936819B2 (en) | Video encoder with latency control | |
US8118676B2 (en) | Video game system using pre-encoded macro-blocks | |
US9061206B2 (en) | Video game system using pre-generated motion vectors | |
US20070009042A1 (en) | Video game system using pre-encoded macro-blocks in an I-frame | |
US9060101B2 (en) | Video game system having an infinite playing field | |
Nguyen et al. | An optimal tile-based approach for viewport-adaptive 360-degree video streaming | |
KR102360052B1 (ko) | 온라인 인터랙티브 게임 세션들에 대한 콘텐츠를 렌더링 및 인코딩하기 위한 방법들 및 시스템들 | |
JP5405819B2 (ja) | マルチプレーヤビデオゲームシステム | |
CN112533059B (zh) | 图像渲染方法、装置、电子设备以及存储介质 | |
US7426304B2 (en) | Method and device for three-dimensional graphics to two-dimensional video encoding | |
WO2021223577A1 (zh) | 一种视频处理的方法、相关装置、存储介质及程序产品 | |
CN106331750B (zh) | 一种基于感兴趣区域的云游戏平台自适应带宽优化方法 | |
CN103918258A (zh) | 减少视频编码中的数据量 | |
WO2014175784A2 (ru) | Обработка видеопотоков | |
CN112351284B (zh) | 视频编码、解码方法和装置、电子设备和存储介质 | |
CN115738240A (zh) | 一种用于iptv的体感游戏方法、系统及存储介质 | |
WO2024010588A1 (en) | Cloud-based gaming system for supporting legacy gaming applications with high frame rate streams | |
CN117354524A (zh) | 编码器编码性能测试方法、装置、设备及计算机介质 | |
CN116761002A (zh) | 视频编码方法、虚拟现实直播方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111020 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120117 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120423 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |