JP7190026B2 - 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム - Google Patents
画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム Download PDFInfo
- Publication number
- JP7190026B2 JP7190026B2 JP2021508767A JP2021508767A JP7190026B2 JP 7190026 B2 JP7190026 B2 JP 7190026B2 JP 2021508767 A JP2021508767 A JP 2021508767A JP 2021508767 A JP2021508767 A JP 2021508767A JP 7190026 B2 JP7190026 B2 JP 7190026B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- substitute
- display target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 232
- 230000005540 biological transmission Effects 0.000 title claims description 136
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000013016 learning Effects 0.000 description 301
- 238000012545 processing Methods 0.000 description 117
- 238000012549 training Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 29
- 238000013210 evaluation model Methods 0.000 description 27
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000000306 recurrent effect Effects 0.000 description 8
- 230000002787 reinforcement Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
Claims (22)
- 画像送信装置と、画像受信装置と、を含み、
前記画像送信装置は、
第1の画像を生成し、前記第1の画像が生成された後に第2の画像を生成する画像生成部と、
前記第1の画像に基づいて生成される第1画像データを送信する画像データ送信部と、
前記第2の画像に基づいて生成される第2画像データを送信するか否かを制御する送信制御部と、を含み、
前記画像受信装置は、
前記第1画像データを受信する画像データ受信部と、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、
前記表示対象画像生成部により前記第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
前記送信制御部は、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御し、
前記代替画像生成部は、前記第1画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第1代替画像及び画像データの一部である部分画像データの入力に応じて第2代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
ことを特徴とする画像送受信システム。 - 画像送信装置と、画像受信装置と、を含み、
前記画像送信装置は、
第1の画像を生成し、前記第1の画像が生成された後に第2の画像を生成する画像生成部と、
前記第1の画像に基づいて生成される第1画像データを送信する画像データ送信部と、
前記第2の画像に基づいて生成される第2画像データを送信するか否かを制御する送信制御部と、を含み、
前記画像受信装置は、
前記第1画像データを受信する画像データ受信部と、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、
前記表示対象画像生成部により前記第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
前記送信制御部は、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御し、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とする画像送受信システム。 - 前記送信制御部は、前記第1の画像の特徴量と前記第2の画像の特徴量とに基づいて判定される前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1又は2に記載の画像送受信システム。 - 前記送信制御部は、前記第1の画像の特徴量と前記第2の画像の特徴量とを含む特徴量の時系列に基づいて判定される前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項3に記載の画像送受信システム。 - 前記送信制御部は、前記第2の画像をダウンスケールしたダウンスケール画像のエンコードに用いられるパラメータである特徴量に基づいて判定される前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記ダウンスケール画像を表す前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から3のいずれか一項に記載の画像送受信システム。 - 前記画像データ送信部は、前記第1の画像をダウンスケールした第1ダウンスケール画像を表す前記第1画像データを送信し、
前記送信制御部は、前記第1ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、前記第2の画像をダウンスケールした第2ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、に基づいて判定される前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2ダウンスケール画像を表す前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から3のいずれか一項に記載の画像送受信システム。 - 前記特徴量は、画像の特徴点、エッジ強度、画像に含まれる各画素の奥行き、及び、画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも1つを示すものである、
ことを特徴とする請求項3から6のいずれか一項に記載の画像送受信システム。 - 前記送信制御部は、特徴量を示す特徴量データが、画像を示す画像データよりも優先して前記画像受信装置に送信されるよう制御する、
ことを特徴とする請求項3から7のいずれか一項に記載の画像送受信システム。 - 前記送信制御部は、前記第2の画像がキーフレームであるか否かに基づいて、前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から8のいずれか一項に記載の画像送受信システム。 - 前記送信制御部は、前記第2の画像のシーンが前記第1の画像のシーンから切り替わったか否かに基づいて、前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から9のいずれか一項に記載の画像送受信システム。 - 前記送信制御部は、前記第1の画像に表れていないオブジェクトの像が前記第2の画像に表れているか否かに基づいて、前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から10のいずれか一項に記載の画像送受信システム。 - 前記代替画像生成部は、前記第2画像データの受信成否が確認されるよりも前に、前記第1画像データに基づく前記代替画像の生成を開始する、
ことを特徴とする請求項1から11のいずれか一項に記載の画像送受信システム。 - 前記送信制御部は、前記画像送信装置の通信速度が所定の速度よりも早い場合は、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に関わらず、前記第2画像データが送信されるよう制御する、
ことを特徴とする請求項1から12のいずれか一項に記載の画像送受信システム。 - 前記第1の画像をダウンスケールした第1ダウンスケール画像をエンコードすることで前記第1画像データを生成し、前記第1画像データが生成された後に前記第2の画像をダウンスケールした第2ダウンスケール画像をエンコードすることで前記第2画像データを生成するエンコード処理部、をさらに含み、
前記送信制御部は、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2ダウンスケール画像をエンコードすることで生成された前記第2画像データを送信するか否かを制御する、
ことを特徴とする請求項1から13のいずれか一項に記載の画像送受信システム。 - 第1の画像を生成し、前記第1の画像が生成された後に第2の画像を生成する画像生成部と、
前記第1の画像に基づいて生成される第1画像データを受信する画像データ受信部と、前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第2の画像に基づいて生成される第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第1画像データを送信する画像データ送信部と、
前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2の画像に基づいて生成される前記第2画像データを前記画像受信装置に送信するか否かを制御する送信制御部と、を含み、
前記送信制御部は、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御し、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とする画像送信装置。 - 画像送信装置から第1画像データを受信する画像データ受信部と、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、
前記表示対象画像生成部により第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
前記第1の表示対象画像を表示させた後に、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かが前記画像送信装置により制御される前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
前記代替画像生成部は、前記第1画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第1代替画像及び画像データの一部である部分画像データの入力に応じて第2代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
ことを特徴とする画像受信装置。 - 画像送信装置から第1の画像に基づいて生成される第1画像データを受信する画像データ受信部と、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、
前記表示対象画像生成部により第2の画像に基づいて生成される第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
前記第1の表示対象画像を表示させた後に、前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かが前記画像送信装置により制御される前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とする画像受信装置。 - 画像送信装置が、第1の画像を生成する第1画像生成ステップと、
前記画像送信装置が、前記第1の画像が生成された後に第2の画像を生成する第2画像生成ステップと、
前記画像送信装置が、前記第1の画像に基づいて生成される第1画像データを送信する画像データ送信ステップと、
前記画像送信装置が、前記第2の画像に基づいて生成される第2画像データを送信するか否かを制御する送信制御ステップと、
画像受信装置が、前記第1画像データを受信する画像データ受信ステップと、
前記画像受信装置が、前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成ステップと、
前記画像受信装置が、前記表示対象画像生成ステップにおいて前記第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成ステップと、
前記画像受信装置が、前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御ステップと、を含み、
前記送信制御ステップでは、前記画像送信装置が、前記代替画像生成ステップにおいて前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御し、
前記代替画像生成ステップでは、前記第1画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第1代替画像及び画像データの一部である部分画像データの入力に応じて第2代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
ことを特徴とする画像送受信方法。 - 画像送信装置が、第1の画像を生成する第1画像生成ステップと、
前記画像送信装置が、前記第1の画像が生成された後に第2の画像を生成する第2画像生成ステップと、
前記画像送信装置が、前記第1の画像に基づいて生成される第1画像データを送信する画像データ送信ステップと、
前記画像送信装置が、前記第2の画像に基づいて生成される第2画像データを送信するか否かを制御する送信制御ステップと、
画像受信装置が、前記第1画像データを受信する画像データ受信ステップと、
前記画像受信装置が、前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成ステップと、
前記画像受信装置が、前記表示対象画像生成ステップにおいて前記第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成ステップと、
前記画像受信装置が、前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御ステップと、を含み、
前記送信制御ステップでは、前記画像送信装置が、前記代替画像生成ステップにおいて前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かを制御し、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とする画像送受信方法。 - 第1の画像を生成する第1画像生成手順、
前記第1の画像が生成された後に第2の画像を生成する第2画像生成手順、
前記第1の画像に基づいて生成される第1画像データを受信する画像データ受信部と、前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第2の画像に基づいて生成される第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第1の表示対象画像を表示させた後に、前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第1画像データを送信する画像データ送信手順、
前記代替画像生成部による前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2の画像に基づいて生成される前記第2画像データを前記画像受信装置に送信するか否かを制御する送信制御手順、をコンピュータに実行させ、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とするプログラム。 - 画像送信装置から第1画像データを受信する画像データ受信手順、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成手順、
前記表示対象画像生成手順で第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成手順、
前記第1の表示対象画像を表示させた後に、前記代替画像生成手順において前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かが前記画像送信装置により制御される前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御手順、をコンピュータに実行させ、
前記代替画像生成手順では、前記第1画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第1代替画像及び画像データの一部である部分画像データの入力に応じて第2代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
ことを特徴とするプログラム。 - 画像送信装置から第1の画像に基づいて生成される第1画像データを受信する画像データ受信手順、
前記第1画像データに基づいて、第1の表示対象画像を生成する表示対象画像生成手順、
前記表示対象画像生成手順で第2の画像に基づいて生成される第2画像データに基づいて生成されるべき第2の表示対象画像の前記第1画像データに基づく推定結果である代替画像を生成する代替画像生成手順、
前記第1の表示対象画像を表示させた後に、前記代替画像生成手順において前記第1画像データに基づく前記第2の表示対象画像の推定が成功する可能性に基づいて、前記第2画像データを送信するか否かが前記画像送信装置により制御される前記第2画像データの受信成否に応じて、当該第2画像データに基づいて生成される前記第2の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御手順、をコンピュータに実行させ、
前記第1の画像、及び、前記第2の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019056322 | 2019-03-25 | ||
JP2019056322 | 2019-03-25 | ||
PCT/JP2019/050906 WO2020194957A1 (ja) | 2019-03-25 | 2019-12-25 | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020194957A1 JPWO2020194957A1 (ja) | 2021-11-11 |
JP7190026B2 true JP7190026B2 (ja) | 2022-12-14 |
Family
ID=72610696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508767A Active JP7190026B2 (ja) | 2019-03-25 | 2019-12-25 | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12005350B2 (ja) |
JP (1) | JP7190026B2 (ja) |
CN (1) | CN113678431A (ja) |
WO (1) | WO2020194957A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541876B (zh) * | 2020-12-15 | 2023-08-04 | 北京百度网讯科技有限公司 | 卫星图像处理方法、网络训练方法、相关装置及电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2588925B2 (ja) | 1988-03-11 | 1997-03-12 | 富士通株式会社 | 可変ビットレート画像符号化装置 |
JP2000308059A (ja) | 1999-04-19 | 2000-11-02 | Sharp Corp | ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器 |
JP2002016923A (ja) | 2000-06-28 | 2002-01-18 | Mitsubishi Electric Corp | 画像符号化装置および画像符号化方法 |
JP2007295142A (ja) | 2006-04-24 | 2007-11-08 | Hitachi Ltd | 記録再生装置、送出装置及び伝送システム。 |
JP2009302755A (ja) | 2008-06-11 | 2009-12-24 | Sony Corp | 記憶再生装置、記憶装置、再生装置及び記憶再生方法 |
JP4930409B2 (ja) | 2008-02-21 | 2012-05-16 | 富士通株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
JP2014220571A (ja) | 2013-05-01 | 2014-11-20 | 日本放送協会 | 画像処理装置、符号化装置、及び符号化プログラム |
JP2017011397A (ja) | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4930409B1 (ja) * | 1969-02-25 | 1974-08-13 | ||
JP2919211B2 (ja) * | 1992-12-25 | 1999-07-12 | 日本電気株式会社 | 動画像のフレーム内挿方式及び符号化復号化方式 |
US6130911A (en) | 1997-11-21 | 2000-10-10 | Sharp Laboratories Of America, Inc. | Method and apparatus for compressing reference frames in an interframe video codec |
JPH11298890A (ja) | 1998-04-13 | 1999-10-29 | Hitachi Ltd | 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム |
US7177358B2 (en) | 2000-06-27 | 2007-02-13 | Mitsubishi Denki Kabushiki Kaisha | Picture coding apparatus, and picture coding method |
US20110126255A1 (en) * | 2002-12-10 | 2011-05-26 | Onlive, Inc. | System and method for remote-hosted video effects |
JP6468193B2 (ja) * | 2013-11-01 | 2019-02-13 | 日本電気株式会社 | 通信装置及び通信装置におけるネットワーク利用可能帯域推定方法、並びにネットワーク利用可能帯域推定プログラム |
GB201410285D0 (en) * | 2014-06-10 | 2014-07-23 | Appeartome Ltd | Augmented reality apparatus and method |
JP6501665B2 (ja) * | 2015-07-30 | 2019-04-17 | キヤノン株式会社 | 情報処理装置およびその制御方法およびプログラム |
CN109076258B (zh) * | 2016-04-14 | 2021-08-27 | 索尼互动娱乐股份有限公司 | 接收装置、发送装置、控制方法、发送方法和存储介质 |
JP6689656B2 (ja) * | 2016-04-18 | 2020-04-28 | ルネサスエレクトロニクス株式会社 | 画像処理システム、画像処理方法及び画像送信装置 |
WO2018225187A1 (ja) * | 2017-06-07 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法 |
US11363382B2 (en) * | 2019-05-31 | 2022-06-14 | Apple Inc. | Methods and user interfaces for audio synchronization |
-
2019
- 2019-12-25 CN CN201980094424.XA patent/CN113678431A/zh active Pending
- 2019-12-25 US US17/435,857 patent/US12005350B2/en active Active
- 2019-12-25 WO PCT/JP2019/050906 patent/WO2020194957A1/ja active Application Filing
- 2019-12-25 JP JP2021508767A patent/JP7190026B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2588925B2 (ja) | 1988-03-11 | 1997-03-12 | 富士通株式会社 | 可変ビットレート画像符号化装置 |
JP2000308059A (ja) | 1999-04-19 | 2000-11-02 | Sharp Corp | ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器 |
JP2002016923A (ja) | 2000-06-28 | 2002-01-18 | Mitsubishi Electric Corp | 画像符号化装置および画像符号化方法 |
JP2007295142A (ja) | 2006-04-24 | 2007-11-08 | Hitachi Ltd | 記録再生装置、送出装置及び伝送システム。 |
JP4930409B2 (ja) | 2008-02-21 | 2012-05-16 | 富士通株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
JP2009302755A (ja) | 2008-06-11 | 2009-12-24 | Sony Corp | 記憶再生装置、記憶装置、再生装置及び記憶再生方法 |
JP2014220571A (ja) | 2013-05-01 | 2014-11-20 | 日本放送協会 | 画像処理装置、符号化装置、及び符号化プログラム |
JP2017011397A (ja) | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020194957A1 (ja) | 2021-11-11 |
WO2020194957A1 (ja) | 2020-10-01 |
US20220152489A1 (en) | 2022-05-19 |
CN113678431A (zh) | 2021-11-19 |
US12005350B2 (en) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111479112B (zh) | 一种视频编码方法、装置、设备和存储介质 | |
CN109379550B (zh) | 基于卷积神经网络的视频帧率上变换方法及系统 | |
JP7490575B2 (ja) | 3dゲームストリーミングシナリオでの推測航法及び遅延の改善 | |
US8913664B2 (en) | Three-dimensional motion mapping for cloud gaming | |
EP3760287A1 (en) | Method and device for generating video frames | |
KR20110100640A (ko) | 3차원 컴퓨터 생성 가상 환경의 비디오 표시를 제공하는 방법 및 장치 | |
JP2010532612A (ja) | モーションチューブを用いて表現される画像シーケンスを符号化および復号化する方法、装置、コンピュータプログラム製品、信号 | |
US20230260084A1 (en) | Video frame playing method and apparatus, device, storage medium, and program product | |
JP7038903B2 (ja) | 画像表示制御装置、送信装置、画像表示制御方法及びプログラム | |
KR20060025099A (ko) | 3차원그래픽-2차원비디오 인코딩 방법, 그래픽-비디오인코더, 3차원그래픽-2차원비디오 인코딩 시스템 및컴퓨터 판독 가능 매체 | |
JP7190026B2 (ja) | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム | |
KR20230028250A (ko) | 강화 학습 기반 속도 제어 | |
CN113469930B (zh) | 图像处理方法、装置、及计算机设备 | |
Muruganandham et al. | Adaptive fractal image compression using PSO | |
JP7267436B2 (ja) | 送信装置、送信方法及びプログラム | |
JP7116244B2 (ja) | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム | |
JP7444971B2 (ja) | 送信装置、送信方法及びプログラム | |
JP7321464B2 (ja) | 抽出プログラム、画像生成プログラム、抽出方法、画像生成方法、抽出装置、および画像生成装置 | |
JP7377345B2 (ja) | 送信装置、送信方法及びプログラム | |
JP2024058838A (ja) | 映像送信システム及び映像送信方法 | |
WO2021044974A1 (ja) | 送信装置、受信装置、送信方法、受信方法及びプログラム | |
CN116010697A (zh) | 数据处理方法、电子设备以及存储介质 | |
CN118339838A (zh) | 允许在服务器和电子装置之间流传输视频内容的方法以及用于流传输视频内容的服务器和电子装置 | |
CN114973051A (zh) | 视频传输方法、装置及计算机可读存储介质 | |
TWI523673B (zh) | 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7190026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |