JP7190026B2 - 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム - Google Patents

画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム Download PDF

Info

Publication number
JP7190026B2
JP7190026B2 JP2021508767A JP2021508767A JP7190026B2 JP 7190026 B2 JP7190026 B2 JP 7190026B2 JP 2021508767 A JP2021508767 A JP 2021508767A JP 2021508767 A JP2021508767 A JP 2021508767A JP 7190026 B2 JP7190026 B2 JP 7190026B2
Authority
JP
Japan
Prior art keywords
image
image data
data
substitute
display target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508767A
Other languages
English (en)
Other versions
JPWO2020194957A1 (ja
Inventor
活志 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020194957A1 publication Critical patent/JPWO2020194957A1/ja
Application granted granted Critical
Publication of JP7190026B2 publication Critical patent/JP7190026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラムに関する。
近年注目されているクラウドゲーミングサービスの技術においては、ゲームのプログラムが実行されるクラウドサーバと通信可能な端末に対して当該ゲームをプレイするユーザが操作を行うと、当該操作に応じた操作信号が端末からクラウドサーバに送信される。そしてクラウドサーバにおいて当該操作信号に応じた処理などを含むゲーム処理が実行され、当該ゲームのプレイ状況を表すプレイ画像が生成される。そして、当該プレイ画像に基づく画像データがクラウドサーバから端末に送信され、端末において当該画像データに基づいて生成される画像が表示される。この一連の処理が繰り返し実行されることで、ゲームのプレイ状況を表す動画像が端末に表示される。
クラウドサーバから端末への画像データの送信頻度が高いほど、フレームレートが高い滑らかな動画像を端末に表示させることが可能になる一方で、クラウドサーバと端末との間の通信量が増加する。
ここで、表示される動画像の滑らかさの低下を抑えつつ通信量を低減するために、画像データの送信頻度を下げ、送信されない画像データについては当該画像データに基づいて生成されるべき画像の推定結果である画像を端末で生成することが考えられる。
しかし、例えばプレイ画像に表れている場面が突然切り替わった場合や過去には表れていないオブジェクトが含まれるプレイ画像が生成された場合などにおいては、送信されない画像データに基づいて生成されるべき画像を端末がうまく推定できない。このような場合は、本来表示されるべき画像とは異なる虚構の動画像が表示されるおそれがある。なおこのことはクラウドゲーミングサービスが提供される状況のみならず、画像に基づくデータが通信される状況において一般的にあてはまる。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、本来表示されるべき画像とは異なる虚構の動画像が表示されるおそれを低減しつつ画像データの通信量を低減できる画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る画像送受信システムは、画像送信装置と、画像受信装置と、を含み、前記画像送信装置は、第１の画像を生成し、前記第１の画像が生成された後に第２の画像を生成する画像生成部と、前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信部と、前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御部と、を含み、前記画像受信装置は、前記第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、前記送信制御部は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御する。
本発明の一態様では、前記送信制御部は、前記第１の画像の特徴量と前記第２の画像の特徴量とに基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御する。
この態様では、前記送信制御部は、前記第１の画像の特徴量と前記第２の画像の特徴量とを含む特徴量の時系列に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御してもよい。
また、本発明の一態様では、前記送信制御部は、前記第２の画像をダウンスケールしたダウンスケール画像のエンコードに用いられるパラメータである特徴量に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記ダウンスケール画像を表す前記第２画像データを送信するか否かを制御する。
あるいは、前記画像データ送信部は、前記第１の画像をダウンスケールした第１ダウンスケール画像を表す前記第１画像データを送信し、前記送信制御部は、前記第１ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、前記第２の画像をダウンスケールした第２ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２ダウンスケール画像を表す前記第２画像データを送信するか否かを制御する。
ここで、前記特徴量は、画像の特徴点、エッジ強度、画像に含まれる各画素の奥行き、画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すものであってもよい。
また、前記送信制御部は、特徴量を示す特徴量データが、画像を示す画像データよりも優先して前記画像受信装置に送信されるよう制御してもよい。
また、本発明の一態様では、前記送信制御部は、前記第２の画像がキーフレームであるか否かに基づいて、前記第２画像データを送信するか否かを制御する。
また、本発明の一態様では、前記送信制御部は、前記第２の画像のシーンが前記第１の画像のシーンから切り替わったか否かに基づいて、前記第２画像データを送信するか否かを制御する。
また、本発明の一態様では、前記送信制御部は、前記第１の画像に表れていないオブジェクトの像が前記第２の画像に表れているか否かに基づいて、前記第２画像データを送信するか否かを制御する。
また、本発明の一態様では、前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記代替画像の生成を開始する。
また、本発明の一態様では、前記送信制御部は、前記画像送信装置の通信速度が所定の速度よりも早い場合は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に関わらず、前記第２画像データが送信されるよう制御する。
また、本発明に係る画像送信装置は、第１の画像を生成し、前記第１の画像が生成された後に第２の画像を生成する画像生成部と、前記第１の画像に基づいて生成される第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第１画像データを送信する画像データ送信部と、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２の画像に基づいて生成される前記第２画像データを前記画像受信装置に送信するか否かを制御する送信制御部と、を含む。
また、本発明に係る画像受信装置は、画像送信装置から第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む。
また、本発明に係る画像送受信方法は、画像送信装置が、第１の画像を生成する第１画像生成ステップと、前記画像送信装置が、前記第１の画像が生成された後に第２の画像を生成する第２画像生成ステップと、前記画像送信装置が、前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信ステップと、前記画像送信装置が、前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御ステップと、画像受信装置が、前記第１画像データを受信する画像データ受信ステップと、前記画像受信装置が、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成ステップと、前記画像受信装置が、前記表示対象画像生成ステップにおいて前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成ステップと、前記画像受信装置が、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御ステップと、を含み、前記送信制御ステップでは、前記画像送信装置が、前記代替画像生成ステップにおいて前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御する。
また、本発明に係るプログラムは、第１の画像を生成する第１画像生成手順、前記第１の画像が生成された後に第２の画像を生成する第２画像生成手順、前記第１の画像に基づいて生成される第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第１画像データを送信する画像データ送信手順、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２の画像に基づいて生成される前記第２画像データを前記画像受信装置に送信するか否かを制御する送信制御手順、をコンピュータに実行させる。
また、本発明に係る別のプログラムは、画像送信装置から第１画像データを受信する画像データ受信手順、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成手順、前記表示対象画像生成手順で第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成手順、前記第１の表示対象画像を表示させた後に、前記代替画像生成手順において前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御手順、をコンピュータに実行させる。
本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。 推定成功可能性判定モデルの一例を模式的に示す図である。 図４に示す推定成功可能性判定モデルの学習の一例を模式的に示す図である。 本発明の一実施形態に係る端末において行われる処理の流れの一例を示すフロー図である。 アップスケールモデルの一例を模式的に示す図である。 図７に示すアップスケールモデルの学習の一例を模式的に示す図である。 代替画像生成モデルの一例を模式的に示す図である。 図９に示す代替画像生成モデルの学習の一例を模式的に示す図である。 代替画像更新モデルの一例を模式的に示す図である。 図１１に示す代替画像更新モデルの学習の一例を模式的に示す図である。 本発明の一実施形態に係る端末において行われる処理の流れの別の一例を示すフロー図である。 アップスケールモデルの別の一例を模式的に示す図である。 図１４に示すアップスケールモデルの学習の一例を模式的に示す図である。 代替画像生成モデルの別の一例を模式的に示す図である。 図１６に示す代替画像生成モデルの学習の一例を模式的に示す図である。 特徴量データ更新モデルの一例を模式的に示す図である。 図１８に示す特徴量データ更新モデルの学習の一例を模式的に示す図である。 代替画像更新モデルの別の一例を模式的に示す図である。 図２０に示す代替画像更新モデルの学習の一例を模式的に示す図である。
図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。
本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。
図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。
プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。
エンコード・デコード部１０ｄは、例えば画像をエンコードして画像データを生成するエンコーダと画像データをデコードして画像を生成するデコーダとを含む。
本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。
図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。
プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。
エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。
表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。
本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すプレイ画像が生成される。本実施形態では、所定のフレームレート（例えば６０ｆｐｓ）で、ゲーム処理及びプレイ画像の生成が実行される。なお、本実施形態において、可変のフレームレートで、ゲーム処理及びプレイ画像の生成が実行されてもよい。
ここで本実施形態では当該プレイ画像を表す画像データではなく、当該プレイ画像をダウンスケールした画像を表す画像データが、クラウドサーバ１０から端末１２に送信される。以下、ダウンスケールされる前のプレイ画像をオリジナル画像と呼び、オリジナル画像をダウンスケールした画像をダウンスケール画像と呼ぶこととする。ここで、オリジナル画像が４Ｋ画像であり、ダウンスケール画像が２Ｋ画像であってもよい。
そして端末１２は、クラウドサーバ１０から受信する画像データに基づいて、上述のダウンスケール画像よりも高解像度である画像を生成する。以下、このようにして生成される、ダウンスケール画像よりも高解像度である画像を、アップスケール画像と呼ぶこととする。そして、端末１２の表示部１２ｆにアップスケール画像が表示される。この一連の処理が繰り返し実行されることで、一連のアップスケール画像から構成される動画像が端末１２に表示される。
クラウドサーバ１０から端末１２への画像データの送信頻度が高いほど、フレームレートが高い滑らかな動画像を端末１２に表示させることが可能になる一方で、クラウドサーバ１０と端末１２との間の通信量が増加する。
ここで、表示される動画像の滑らかさの低下を抑えつつ通信量を低減するために、画像データの送信頻度を下げ、送信されない画像データについては当該画像データに基づいて生成されるべき画像の推定結果である画像（以下、代替画像と呼ぶ。）を端末１２で生成することが考えられる。
しかし、例えばプレイ画像に表れている場面が突然切り替わった場合や過去には表れていないオブジェクトが含まれるプレイ画像が生成された場合などにおいては、送信されない画像データに基づいて生成されるべき画像を端末１２がうまく推定できない。このような場合は、本来表示されるべき画像とは異なる虚構の動画像が表示されるおそれがある。
そこで本実施形態では以下のようにして、上述の生成されるべき画像の推定に端末１２が成功する可能性に応じた画像データの送信制御を行うことで、本来表示されるべき画像とは異なる虚構の動画像が表示されるおそれを低減しつつ画像データの通信量を低減できるようにした。
以下、画像データの送信制御に関する処理を中心に、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドゲーミングシステム１で実行される処理について、さらに説明する。
図２は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図２に示す機能のすべてが実装される必要はなく、また、図２に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の機能など）が実装されていても構わない。
図２に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、オリジナル画像生成部２０、ダウンスケール部２２、エンコード処理部２４、特徴量データ生成部２６、特徴量データ記憶部２８、送信制御部３０、データ送信部３２、が含まれる。
オリジナル画像生成部２０、ダウンスケール部２２、送信制御部３０は、プロセッサ１０ａを主として実装される。エンコード処理部２４は、エンコード・デコード部１０ｄを主として実装される。特徴量データ生成部２６は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。特徴量データ記憶部２８は、記憶部１０ｂを主として実装される。データ送信部３２は、通信部１０ｃを主として実装される。クラウドサーバ１０は、本実施形態において、画像データを送信する画像送信装置としての役割を担うこととなる。
そして以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
また、図２に示すように、本実施形態に係る端末１２には、機能的には例えば、データ受信部４０、デコード処理部４２、アップスケール部４４、画像記憶部４６、代替画像生成部４８、表示制御部５０、が含まれる。データ受信部４０は、通信部１２ｃを主として実装される。デコード処理部４２は、エンコード・デコード部１２ｄを主として実装される。アップスケール部４４、代替画像生成部４８は、プロセッサ１２ａ及び記憶部１２ｂを主として実装される。画像記憶部４６は、記憶部１２ｂを主として実装される。表示制御部５０は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。端末１２は、本実施形態において、画像データを受信する画像受信装置としての役割を担うこととなる。
そして以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
オリジナル画像生成部２０は、本実施形態では例えば、上述のオリジナル画像を生成する。上述の通り、オリジナル画像は、例えば、ゲームのプレイ状況を表すプレイ画像である。
ダウンスケール部２２は、本実施形態では例えば、オリジナル画像生成部２０が生成するオリジナル画像をダウンスケールしたダウンスケール画像を生成する。
エンコード処理部２４は、本実施形態では例えば、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する。例えば、エンコード処理部２４は、ダウンスケール部２２により生成されるダウンスケール画像をエンコードすることで、当該ダウンスケール画像を表す画像データを生成する。ここでダウンスケール画像をエンコードすることで、当該ダウンスケール画像が圧縮され、当該ダウンスケール画像よりもサイズが小さな画像データが生成されてもよい。ダウンスケール画像のエンコードに用いられるエンコード方式として、ＭＰＥＧ－４ ＡＶＣ(Advanced Video Coding)／Ｈ.２６４／やＨＥＶＣ(High Efficiency Video Coding)／Ｈ２６５などが挙げられる。
特徴量データ生成部２６は、本実施形態では例えば、オリジナル画像生成部２０により生成されるオリジナル画像の特徴量、及び、ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する。特徴量データは、ダウンスケール画像を表す画像データのみからは特定不能なデータである。
そして、特徴量データ生成部２６は、本実施形態では例えば、生成される特徴量データを特徴量データ記憶部２８に記憶させる。ここで例えば特徴量データが、特徴量データが生成されたタイミングを表すタイムスタンプや生成された順序を示す情報などに関連付けられた状態で、特徴量データ記憶部２８に記憶されるようにしてもよい。このように、本実施形態では、特徴量データ記憶部２８に記憶されている複数の特徴量データのそれぞれについて、当該特徴量データが生成されたタイミングや当該特徴量データが生成された順序を特定できるようになっている。
ここで、上述の特徴量は、オリジナル画像の特徴点、エッジ強度、オリジナル画像に含まれる各画素の奥行き、オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すものであってもよい。例えば、特徴量データ生成部２６が、オリジナル画像の特徴量を抽出し、抽出される特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、オリジナル画像のテクスチャの種類を示すデータ（例えば、edge領域、flat領域、high density領域、detail領域、crowd領域の位置を示すデータ）が含まれていてもよい。また当該特徴量データには、オリジナル画像におけるハリス・コーナー特徴点の位置や、エッジ強度を示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像におけるオプティカル・フローを示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像に含まれる各画素の奥行きを示すデプスデータが含まれていてもよい。
また特徴量データ生成部２６は、オリジナル画像に対して物体認識処理を実行してもよい。そして、物体認識処理により特定されたオリジナル画像が表す物体を示すデータを含む、オリジナル画像の特徴量を示すデータが、特徴量データに含まれていてもよい。
また、特徴量データ生成部２６は、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、画像内の矩形領域がどの方向にどの速度で動いているかを示すMotion Estimation（ＭＥ）情報のデータが含まれていてもよい。また、当該特徴量データには、ＣＵユニットの大きさ毎の、当該大きさのＣＵユニットが割り当てられた位置を示すＣＵユニット割り当て情報のデータが含まれていてもよい。また、当該特徴量データには、高画質化のために高ビットレートが割り当てられた領域であるResion of Interesting（ＲＯＩ）領域を示すデータが含まれていてもよい。また、当該特徴量データには、量子化パラメータの値を示すデータが含まれていてもよい。また当該特徴量データには、シーンが切り替わったか否かを示すデータや、キーフレーム（Ｉフレーム）であるか否かを示すデータが含まれていてもよい。
また例えば、特徴量データ生成部２６は、オリジナル画像の特徴量と、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量と、を示す特徴量データを生成してもよい。また例えば、オリジナル画像の特徴量を示すデータとエンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータとに基づいて生成されるデータを含む特徴量データが生成されてもよい。例えば、特徴量データ生成部２６が、オリジナル画像の特徴量を示すデータと、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータと、に基づいて、超解像処理の実行要否を決定してもよい。そして、特徴量データ生成部２６が、超解像処理の実行要否を示すデータを含む特徴量データを生成してもよい。
特徴量データ記憶部２８は、本実施形態では例えば、特徴量データ生成部２６が生成する特徴量データを記憶する。
送信制御部３０は、本実施形態では例えば、エンコード処理部２４が生成する画像データを端末１２に送信するか否かを制御する。ここでは例えば、送信制御部３０は、データ送信部３２を制御することで、画像データを端末１２に送信させるか否かを制御する。
データ送信部３２は、本実施形態では例えば、エンコード処理部２４が生成する画像データを端末１２に送信する。本実施形態では、データ送信部３２は、送信制御部３０による制御に応じて、画像データを端末１２に送信したり送信しなかったりする。ここでデータ送信部３２は、端末１２に送信しない画像データを破棄してもよい。
データ受信部４０は、本実施形態では例えば、クラウドサーバ１０から送信される、上述の画像データを受信する。
本実施形態では、データ送信部３２による画像データの送信、及び、データ受信部４０による画像データの受信は、繰り返し実行される。
デコード処理部４２は、本実施形態では例えば、データ受信部４０が受信する画像データをデコードすることにより画像を生成する。以下、このようにして生成される画像をデコード画像と呼ぶこととする。本実施形態では、デコード画像は、ダウンスケール画像と同じ解像度の画像（例えば２Ｋ画像）である。ダウンスケール画像のエンコード方式が不可逆方式である場合は、通常、デコード画像はダウンスケール画像とは完全には同じではない。
アップスケール部４４は、本実施形態では例えば、データ受信部４０が受信する画像データに基づいて、表示部１２ｆに表示される表示対象画像を生成する。ここでは例えば、表示対象画像として、ダウンスケール部２２により生成されるダウンスケール画像よりも高解像度であるアップスケール画像が生成される。アップスケール画像は、オリジナル画像と同じ解像度の画像（例えば４Ｋ画像）であってもよい。本実施形態では、オリジナル画像に基づく画像データに基づいて、当該オリジナル画像と同一又は類似の表示対象画像が生成されることとなる。アップスケール画像の生成処理の詳細については後述する。
画像記憶部４６は、本実施形態では例えば、端末１２において生成される画像を記憶する。ここで画像記憶部４６が、アップスケール部４４が生成したアップスケール画像を記憶してもよい。また、画像記憶部４６が、代替画像生成部４８が生成する後述の代替画像を記憶してもよい。
代替画像生成部４８は、本実施形態では例えば、第１のタイミングに受信した第１画像データに基づいて、当該第１のタイミングよりも後である第２のタイミングに受信する予定の第２画像データに対応する代替画像を生成する。例えばオリジナル画像生成部２０が、第１のオリジナル画像を生成し、第１のオリジナル画像が生成された後に第２のオリジナル画像を生成したとする。そして第１のオリジナル画像に基づいて、第１画像データが生成され、第２のオリジナル画像に基づいて、第２画像データが生成されるとする。この場合、代替画像生成部４８は、第１画像データに基づいて、第２画像データに基づいてアップスケール部４４により生成されるべきアップスケール画像の推定結果である代替画像を生成してもよい。また、代替画像生成部４８は、第１画像データに基づいて、第２のオリジナル画像の推定結果である代替画像を生成してもよい。
ここで、代替画像生成部４８は、本実施形態では例えば、第２画像データの受信成否が確認されるよりも前に、第１画像データに基づく第２画像データに対応する代替画像の生成を開始してもよい。ここで例えば、受信した第１画像データに基づいて、第１画像データの次に受信する予定である第２画像データに対応する代替画像が生成されてもよい。代替画像は、ダウンスケール画像よりも高解像度である画像（例えば、アップスケール画像と同じ解像度の画像（例えば４Ｋ画像））であってもよい。代替画像の生成処理の詳細については後述する。
表示制御部５０は、本実施形態では例えば、第１画像データに基づいて生成される第１の表示対象画像を表示させる。そしてその後に、表示制御部５０は、本実施形態では例えば、第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される第２の表示対象画像、又は、第１画像データに基づく代替画像のいずれか一方を表示させる。ここで例えば、表示制御部５０は、第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される第２の表示対象画像、又は、上述の第１画像データに基づいて生成される代替画像のいずれか一方を表示させてもよい。ここでは例えば、表示制御部５０は、端末１２の表示部１２ｆにアップスケール画像又は代替画像のいずれか一方を表示させる。
ここで、本実施形態に係るクラウドサーバ１０において実行される、画像データの生成処理及び送信処理の流れの一例を、図３に例示するフロー図を参照しながら説明する。図３に示すＳ１０１～Ｓ１０８に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ１０１～Ｓ１０８に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
まず、オリジナル画像生成部２０が、当該フレームにおけるオリジナル画像を生成する（Ｓ１０１）。ここで上述のように、当該フレームにおいて端末１２から受け付ける操作信号の影響を受けた当該ゲームのプレイ状況を表すオリジナル画像が生成されてもよい。
そして、ダウンスケール部２２が、Ｓ１０１に示す処理で生成されたオリジナル画像に対してダウンスケール処理を実行することにより、ダウンスケール画像を生成する（Ｓ１０２）。
そして、エンコード処理部２４が、Ｓ１０２に示す処理で生成されたダウンスケール画像に対してエンコード処理を実行することにより、画像データを生成する（Ｓ１０３）。
そして、特徴量データ生成部２６が、特徴量データを生成する（Ｓ１０４）。Ｓ１０４に示す処理では、例えば、特徴量データ生成部２６が、Ｓ１０１に示す処理で生成されたオリジナル画像の特徴量を示す特徴量データを生成してもよい。ここで例えば、Ｓ１０１に示す処理で生成されたオリジナル画像から抽出される特徴量を示す特徴量データが生成されてもよい。また例えば、特徴量データ生成部２６が、Ｓ１０３に示すエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。また例えば、特徴量データ生成部２６が、Ｓ１０１に示す処理で生成されたオリジナル画像から抽出される特徴量と、Ｓ１０３に示すエンコードに用いられるパラメータである特徴量の両方を示す特徴量データを生成してもよい。
そして、特徴量データ生成部２６が、Ｓ１０４に示す処理で生成された特徴量データを特徴量データ記憶部２８に記憶させる（Ｓ１０５）。
そして、送信制御部３０が、直前のフレームで送信された画像データに基づく当該フレームにおけるアップスケール画像の推定に代替画像生成部４８が成功する可能性を判定する（Ｓ１０６）。ここで当該可能性を表す評価値が特定されてもよい。例えば、成功する可能性が高い場合は評価値「１」が特定され、成功する可能性が低い場合は評価値「０」が特定されてもよい。
送信制御部３０は、画像に表れている場面が突然切り替わった、あるいは、過去には表れていないオブジェクトの像が含まれる画像が生成されたと判定される場合に、評価値「０」を特定し、そうでない場合に評価値「１」を特定してもよい。ここで例えば、送信制御部３０は、Ｓ１０４に示す処理で生成された特徴量データが示す、当該フレームにおけるダウンスケール画像のエンコードに用いられるパラメータである特徴量に基づいて上述の可能性を判定してもよい。例えば、当該フレームにおける特徴量データに、シーンが切り替わったか否かを示すデータや、キーフレーム（Ｉフレーム）であることを示すデータが含まれている場合に、評価値「０」が特定され、そうでない場合に評価値「１」が特定されてもよい。また例えばエンコード処理において生成された画像データのサイズが所定のサイズよりも大きい場合に、評価値「０」が特定され、そうでない場合に評価値「１」が特定されてもよい。
また、送信制御部３０は、例えば、特徴量データ記憶部２８に記憶されている、直前のフレームにおける特徴量データである第１特徴量データと、当該フレームにおける特徴量データである第２特徴量データとに基づいて、上述の可能性を評価してもよい。ここで例えば、第１特徴量データは、直前のフレームにおけるオリジナル画像の特徴量を示すデータであり、第２特徴量データは、当該フレームにおけるオリジナル画像の特徴量を示すデータであってもよい。また、第１特徴量データは、直前のフレームにおけるダウンスケール画像のエンコードに用いられるパラメータである特徴量を示すデータであってもよい。そして、第２特徴量データは、当該フレームにおけるダウンスケール画像のエンコードに用いられるパラメータである特徴量を示すデータであってもよい。
例えば、第２特徴量データに対応するヒストグラムと第１特徴量データに対応するヒストグラムとの差が所定の差よりも大きい場合に、評価値「０」が特定され、そうでない場合に評価値「１」が特定されてもよい。また例えば、第２特徴量データに示されている物体のなかに、第１特徴量データに示されていない物体が含まれている場合は、評価値「０」が特定され、そうでない場合に評価値「１」が特定されてもよい。
そしてデータ送信部３２は、Ｓ１０６に示す処理での、直前のフレームで送信された画像データに基づく代替画像の推定に代替画像生成部４８が成功する可能性が低いと判定されたか否かを確認する（Ｓ１０７）。
代替画像生成部４８が推定に成功する可能性が高いと判定された場合（例えば、評価値「１」が特定された場合）は（Ｓ１０７：Ｎ）、Ｓ１０１に示す処理に戻る。この場合は、データ送信部３２は、Ｓ１０３に示す処理で生成された画像データを端末１２に送信しない。
代替画像生成部４８が推定に成功する可能性が低いと判定された場合（例えば、評価値「０」が特定された場合）は（Ｓ１０７：Ｙ）、データ送信部３２は、Ｓ１０３に示す処理で生成された画像データを端末１２に送信し（Ｓ１０８）、Ｓ１０１に示す処理に戻る。
ここで、クラウドサーバ１０の通信速度が所定の速度よりも早い場合は、第１画像データに基づく第２の表示対象画像の推定が成功する可能性に関わらず、送信制御部３０が、第２画像データが送信されるよう制御してもよい。この場合、データ送信部３２が、第１画像データに基づく第２の表示対象画像の推定が成功する可能性に関わらず、第２画像データを送信してもよい。
例えば、送信制御部３０が、クラウドサーバ１０から端末１２へのデータの送信結果に基づいて、クラウドサーバ１０の通信速度を常時測定するようにしてもよい。そして、現在の通信速度が所定の速度より早い場合は、送信制御部３０は、Ｓ１０６に示す処理での判定結果に関わらず、第２画像データが送信されるよう制御してもよい。この場合、Ｓ１０６に示す処理での判定結果に関わらず、Ｓ１０８に示す処理が実行される。
上述のようにして、送信制御部３０が、代替画像生成部４８による第１画像データに基づく第２の表示対象画像の推定が成功する可能性に基づいて、第２画像データを端末１２に送信するか否かを制御してもよい。
そして端末１２による第１画像データに基づく第２のオリジナル画像の推定が成功する可能性は、第１のオリジナル画像の特徴量と第２のオリジナル画像の特徴量とに基づいて判定されてもよい。あるいは、当該可能性は、オリジナル画像をダウンスケールしたダウンスケール画像のエンコードに用いられるパラメータである特徴量に基づいて判定されてもよい。例えば、当該可能性が、第１のオリジナル画像をダウンスケールしたダウンスケール画像についての上述の特徴量と、第２のオリジナル画像をダウンスケールしたダウンスケール画像についての上述の特徴量と、に基づいて判定されてもよい。
また、第２の画像がキーフレームである場合は、代替画像生成部４８による第１画像データに基づく第２の表示対象画像の推定が成功する可能性が低い。このことを踏まえ、送信制御部３０が、第２の画像がキーフレームであるか否かに基づいて、第２画像データを送信するか否かを制御してもよい。この場合、第２の画像がキーフレームであるか否かが上述の第２特徴量データに基づいて判定されてもよい。
また、第２の画像のシーンが第１の画像のシーンから切り替わった場合は、代替画像生成部４８による第１画像データに基づく第２の表示対象画像の推定が成功する可能性が低い。このことを踏まえ、送信制御部３０が、第２の画像のシーンが第１の画像のシーンから切り替わったか否かに基づいて、第２画像データを送信するか否かを制御してもよい。この場合、第２の画像のシーンが第１の画像のシーンから切り替わったか否かが第１の画像及び第２の画像に基づいて判定されてもよい。あるいは、第２の画像のシーンが第１の画像のシーンから切り替わったか否かが上述の第１特徴量データ及び第２特徴量データのうちの少なくとも一方に基づいて判定されてもよい。
また、第１の画像に表れていないオブジェクトの像が第２の画像に表れた場合は、代替画像生成部４８による第１画像データに基づく第２の表示対象画像の推定が成功する可能性が低い。このことを踏まえ、送信制御部３０が、第１の画像に表れていないオブジェクトの像が第２の画像に表れているか否かに基づいて、第２画像データを送信するか否かを制御してもよい。この場合、第１の画像に表れていないオブジェクトの像が第２の画像に表れたか否かが第１の画像及び第２の画像に基づいて判定されてもよい。あるいは、第１の画像に表れていないオブジェクトの像が第２の画像に表れたか否かが上述の第１特徴量データ及び第２特徴量データのうちの少なくとも一方に基づいて判定されてもよい。
また、上述の処理例のＳ１０６に示す処理において、図４に例示する学習済の機械学習モデルである推定成功可能性評価モデル６０を用いた上述の判定が実行されてもよい。ここで推定成功可能性評価モデル６０が、深層学習の技術を用いたものであってもよい。推定成功可能性評価モデル６０には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
この場合、特徴量データ記憶部２８に記憶されている、直前のフレームにおける特徴量データである第１特徴量データ、及び、当該フレームにおける特徴量データである第２特徴量データが、推定成功可能性評価モデル６０に入力される。そして、推定成功可能性評価モデル６０から、当該入力に応じた推定成功可能性データが出力される。ここで例えば、推定が成功する可能性が高い場合は値１が設定された推定成功可能性データが出力され、推定が成功する可能性が低い場合は値０が設定された推定成功可能性データが出力されてもよい。ここで推定成功可能性評価モデル６０は、例えば、送信制御部３０に含まれる。
図５は、図４に示す推定成功可能性評価モデル６０の学習の一例を模式的に示す図である。推定成功可能性評価モデル６０では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、第１学習入力特徴量データ及び第２学習入力特徴量データを含む学習入力データと、推定成功可能性評価モデル６０の出力である推定成功可能性データと比較される教師データである推定成功可能性教師データと、が含まれる。
上述した処理と同様の処理により、所与の動画像に含まれる第１フレーム画像である高解像度画像（例えば４Ｋ画像）に対応する特徴量データである第１学習入力特徴量データが生成されてもよい。そして、上述した処理と同様の処理により、上述の所与の動画像における第１フレーム画像の次のフレームのフレーム画像である第２フレーム画像に対応する特徴量データである第２学習入力特徴量データが生成されてもよい。そして当該第１学習入力特徴量データ及び当該第２学習入力特徴量データを含む学習入力データが生成されてもよい。
そしてユーザが当該学習入力データに対応する推定成功可能性教師データの値を決定してもよい。例えば第１フレーム画像と第２フレーム画像との比較や、代替画像生成部４８により第１フレーム画像に基づいて生成される代替画像と第２フレーム画像との比較の目視によって、推定成功可能性教師データの値が決定されてもよい。また例えば、経験則によってユーザが推定成功可能性教師データの値を決定してもよい。そして、このようにして値が決定される推定成功可能性教師データと、当該推定成功可能性教師データに対応する学習入力データと、を含む学習データが生成されてもよい。
そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、推定成功可能性評価モデル６０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが推定成功可能性評価モデル６０に入力された際の出力である推定成功可能性データと、当該学習データに含まれる推定成功可能性教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により推定成功可能性評価モデル６０のパラメータが更新されることにより、推定成功可能性評価モデル６０の学習が実行されてもよい。
なお、推定成功可能性評価モデル６０の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって推定成功可能性評価モデル６０の学習が実行されてもよい。
また、推定成功可能性評価モデル６０が、第１特徴量データの基礎となった、直前のフレームにおけるオリジナル画像、及び、第２特徴量データの基礎となった、当該フレームにおけるオリジナル画像のうちの少なくとも一方が入力されるものであってもよい。この場合、推定成功可能性評価モデル６０への入力に対応する、第１フレーム画像、及び、第２フレーム画像のうちの少なくとも一方を含む学習データを用いた推定成功可能性評価モデル６０の学習が実行されてもよい。
次に、本実施形態に係る端末１２において実行される、アップスケール画像、又は、代替画像の表示制御処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。図６に示すＳ２０１～Ｓ２１２に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ２０１～Ｓ２１２に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
まず、データ受信部４０が、Ｓ１０８に示す処理でクラウドサーバ１０から送信された画像データを受信する（Ｓ２０１）。
そして、デコード処理部４２が、Ｓ２０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ２０２）。
そして、アップスケール部４４が、当該フレームにおける画像データの全部の受信に成功したか否かを確認する（Ｓ２０３）。画像データが端末１２に届かない場合や、端末１２が受信した画像データの全部が破損している場合は、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認される。またＳ２０２に示す処理でデコード画像の全部が生成されなかった場合は、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。またここで、データ受信部４０が、画像データの全部の受信に失敗した場合に、その旨をアップスケール部４４に通知してもよい。そして、アップスケール部４４が当該通知を受信した際に、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。
Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に成功したことが確認されたとする（Ｓ２０３：Ｙ）。この場合は、アップスケール部４４が、Ｓ２０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ２０４）。ここでは、図７に例示する学習済の機械学習モデルであるアップスケールモデル６２を用いたアップスケール処理が実行される。ここでアップスケールモデル６２が、深層学習の技術を用いたものであってもよい。アップスケールモデル６２には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ２０４に示す処理では例えば、Ｓ２０２に示す処理で生成された当該フレームにおけるデコード画像がアップスケールモデル６２に入力される。そして、アップスケールモデル６２から、当該入力に応じたアップスケール画像が出力される。ここでアップスケールモデル６２は、例えば、アップスケール部４４に含まれる。
図８は、図７に示すアップスケールモデル６２の学習の一例を模式的に示す図である。アップスケールモデル６２では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像を含む学習入力データと、アップスケールモデル６２の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。
そして、上述の学習入力画像と上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６２に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６２のパラメータが更新されることにより、アップスケールモデル６２の学習が実行されてもよい。
なお、アップスケールモデル６２の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによってアップスケールモデル６２の学習が実行されてもよい。
Ｓ２０４に示す処理が終了すると、代替画像生成部４８が、Ｓ２０１に示す処理に受信した画像データに基づいて生成された画像であって、代替画像の生成に用いられる基礎画像に基づく、次フレーム用の代替画像の生成を開始する（Ｓ２０５）。ここで例えば、アップスケール部４４が、Ｓ２０４に示す処理で生成されたアップスケール画像を基礎画像として画像記憶部４６に記憶させてもよい。また例えば、アップスケール部４４が、Ｓ２０２に示す処理で生成されたデコード画像を基礎画像として画像記憶部４６に記憶させてもよい。そして、代替画像生成部４８が、画像記憶部４６に記憶された基礎画像に基づく代替画像の生成を開始してもよい。
ここでは、図９に例示する学習済の機械学習モデルである代替画像生成モデル６４を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル６４が、深層学習の技術を用いたものであってもよい。代替画像生成モデル６４には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ２０５に示す処理では例えば、当該フレームにおいて画像記憶部４６に記憶された基礎画像が代替画像生成モデル６４に入力される。そして、代替画像生成モデル６４から、当該入力に応じた代替画像が出力される。ここで代替画像生成モデル６４は、例えば、代替画像生成部４８に含まれる。
図１０は、図９に示す代替画像生成モデル６４の学習の一例を模式的に示す図である。代替画像生成モデル６４では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像を含む学習入力データと、代替画像生成モデル６４の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
そして、上述の学習入力画像を含む学習入力データと、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル６４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル６４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル６４のパラメータが更新されることにより、代替画像生成モデル６４の学習が実行されてもよい。
なお、代替画像生成モデル６４の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像生成モデル６４の学習が実行されてもよい。
そして、代替画像生成部４８が、Ｓ２０５に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部４６に記憶させる（Ｓ２０６）。
そして、表示制御部５０が、Ｓ２０４に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ２０７）、Ｓ２０１に示す処理に戻る。
Ｓ２０３に示す処理において、当該フレームにおける画像データの全部の受信に失敗したことが確認されたとする（Ｓ２０３：Ｎ）。この場合は、代替画像生成部４８が、当該フレームにおける画像データの一部の受信に成功したか否かを確認する（Ｓ２０８）。端末１２が受信した画像データの一部が破損している場合は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認される。またＳ２０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部４０が、画像データの一部の受信に失敗した場合に、その旨を代替画像生成部４８に通知してもよい。そして、代替画像生成部４８が当該通知を受信した際に、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。
Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ２０８：Ｙ）。この場合は、代替画像生成部４８が、当該フレームにおいて受信した画像データの一部に基づいて、当該フレーム用の代替画像を更新する（Ｓ２０９）。Ｓ２０９に示す処理では、当該フレーム用の代替画像に当該フレームにおいて受信した画像データの一部が反映される。ここでは、図１１に例示する学習済の機械学習モデルである代替画像更新モデル６６を用いた代替画像の更新処理が実行される。ここで代替画像更新モデル６６が、深層学習の技術を用いたものであってもよい。代替画像更新モデル６６には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ２０９に示す処理では例えば、直前のフレームのＳ２０６に示す処理で記憶された第１代替画像と、当該フレームにおいて受信した画像データの一部である部分画像データと、が代替画像更新モデル６６に入力される。そして、代替画像更新モデル６６から、当該入力に応じた第２代替画像が出力される。このようにして、直前のフレームのＳ２０６に示す処理で記憶された第１代替画像は第２代替画像に更新される。ここで代替画像更新モデル６６は、例えば、代替画像生成部４８に含まれる。
図１２は、図１１に示す代替画像更新モデル６６の学習の一例を模式的に示す図である。代替画像更新モデル６６では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力部分画像データを含む学習入力データと、代替画像更新モデル６６の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
そして、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
そして、上述の学習入力画像と上述の学習入力部分画像データとを含む学習入力データ、及び、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル６６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル６６に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル６６のパラメータが更新されることにより、代替画像更新モデル６６の学習が実行されてもよい。
なお、代替画像更新モデル６６の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像更新モデル６６の学習が実行されてもよい。
Ｓ２０９に示す処理が終了した場合、又は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功しなかったことが確認された場合は（Ｓ２０８：Ｎ）、代替画像生成部４８が、次フレーム用の代替画像の生成を開始する（Ｓ２１０）。ここで、Ｓ２０９に示す処理が終了した場合は、代替画像生成部４８が、Ｓ２０９に示す処理で更新された代替画像を基礎画像として画像記憶部４６に記憶させてもよい。そして、代替画像生成部４８が、当該基礎画像に基づいて、次フレーム用の代替画像の生成を開始してもよい。また、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功しなかった場合は、直前のフレームのＳ２０６に示す処理で記憶された代替画像を基礎画像として画像記憶部４６に記憶させてもよい。そして、代替画像生成部４８が、当該基礎画像に基づいて、次フレーム用の代替画像の生成を開始してもよい。
ここでは、図９に例示する学習済の機械学習モデルである代替画像生成モデル６４を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル６４が、深層学習の技術を用いたものであってもよい。
そして、代替画像生成部４８が、Ｓ２１０に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部４６に記憶させる（Ｓ２１１）。
そして、表示制御部５０が、当該フレーム用の代替画像を表示部１２ｆに表示させて（Ｓ２１２）、Ｓ２０１に示す処理に戻る。
本処理例において、ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に成功したことが確認されたとする（Ｓ２０３：Ｙ）。この場合は、ｎ番目のフレームにおいて受信した画像データに基づいて生成されるアップスケール画像が表示される（Ｓ２０７）。またこの場合は、ｎ番目のフレームにおいて、当該アップスケール画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２０５、Ｓ２０６）。
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗し、ｎ番目のフレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ２０３：Ｎ、Ｓ２０８：Ｙ）。この場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が更新される（Ｓ２０９）。そして更新後のｎ番目のフレーム用の代替画像が表示される（Ｓ２１２）。またこの場合は、ｎ番目のフレームにおいて、更新後のｎ番目のフレーム用の代替画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２１０、Ｓ２１１）。
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗し、ｎ番目のフレームにおける画像データの一部の受信に成功しなかったことが確認されたとする（Ｓ２０３：Ｎ、Ｓ２０８：Ｎ）。この場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が表示される（Ｓ２１２）。またこの場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成されたｎ番目のフレーム用の代替画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２１０、Ｓ２１１）。
また、本処理例において、次フレーム用の代替画像の生成の開始、及び、次フレーム用の代替画像の記憶の終了を待つことなく、アップスケール画像の表示、あるいは、当該フレーム用の代替画像の表示が実行されてもよい。
また、代替画像更新モデル６６が、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が第２代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像更新モデル６６が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像更新モデル６６の学習が実行されてもよい。この場合、Ｓ２０９に示す処理で、代替画像更新モデル６６から当該判定値が併せて出力されてもよい。
そして当該判定値に基づいて、Ｓ２１２に示す処理で、表示制御部５０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像更新モデル６６から判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。また、代替画像更新モデル６６から判定値「０」が出力された場合は、表示制御部５０は、代替画像が表示されるよう制御してもよい。
また、代替画像生成モデル６４についても同様に、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像生成モデル６４が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像生成モデル６４の学習が実行されてもよい。この場合、Ｓ２０５、又は、Ｓ２１０に示す処理で、代替画像生成モデル６４から当該判定値が併せて出力されてもよい。
そして当該判定値に基づいて、次のフレームのＳ２１２に示す処理で、表示制御部５０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像生成モデル６４から判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。また、代替画像生成モデル６４から判定値「０」が出力された場合は、表示制御部５０は、代替画像が表示されるよう制御してもよい。
ここで例えば、代替画像生成モデル６４と代替画像更新モデル６６のいずれかから判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。
また、図３のＳ１０８に示す処理において、データ送信部３２が、Ｓ１０３に示す処理で生成された画像データ、及び、当該画像データに関連付けられた、Ｓ１０４に示す処理で生成された特徴量データを、端末１２に送信してもよい。この場合、送信制御部３０が、特徴量データが画像データよりも優先して端末１２に送信されるよう制御してもよい。この場合、データ送信部３２が、特徴量データを画像データよりも優先して端末１２に送信してもよい。例えば、ＱｏＳ（Quality of Service）やプライオリティ制御の技術を用いて、特徴量データが画像データよりも優先して端末１２に送信されるようにしてもよい。
ここで、端末１２に画像データ及び特徴量データが送信される場合に端末１２において実行される、アップスケール画像、又は、代替画像の表示制御処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。図１３に示すＳ３０１～Ｓ３１４に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ３０１～Ｓ３１４に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
まず、データ受信部４０が、Ｓ１０８に示す処理でクラウドサーバ１０から送信された画像データ及び当該画像データに関連付けられている特徴量データを受信する（Ｓ３０１）。
そして、デコード処理部４２が、Ｓ３０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ３０２）。
そして、アップスケール部４４が、当該フレームにおける画像データ及び特徴量データの全部の受信に成功したか否かを確認する（Ｓ３０３）。画像データ及び特徴量データが端末１２に届かない場合や、端末１２が受信した画像データ及び特徴量データの全部が破損している場合は、Ｓ３０３に示す処理で当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認される。またＳ３０２に示す処理でデコード画像の全部が生成されなかった場合は、Ｓ３０３に示す処理で当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認されてもよい。またここで、データ受信部４０が、画像データ及び特徴量データの全部の受信に失敗した場合に、その旨をアップスケール部４４に通知してもよい。そして、アップスケール部４４が当該通知を受信した際に、Ｓ３０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。
Ｓ３０３に示す処理において、当該フレームにおける画像データ及び特徴量データの全部の受信に成功したことが確認されたとする（Ｓ３０３：Ｙ）。この場合は、アップスケール部４４が、Ｓ３０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ３０４）。ここでは、図１４に例示する学習済の機械学習モデルであるアップスケールモデル６８を用いたアップスケール処理が実行される。ここでアップスケールモデル６８が、深層学習の技術を用いたものであってもよい。アップスケールモデル６８には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ３０４に示す処理では例えば、Ｓ３０２に示す処理で生成されたデコード画像及びＳ３０１に示す処理で受信された特徴量データがアップスケールモデル６８に入力される。そして、アップスケールモデル６８から、当該入力に応じたアップスケール画像が出力される。ここでアップスケールモデル６８は、例えば、アップスケール部４４に含まれる。
図１５は、図１４に示すアップスケールモデル６８の学習の一例を模式的に示す図である。アップスケールモデル６８では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、アップスケールモデル６８の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６８に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６８のパラメータが更新されることにより、アップスケールモデル６８の学習が実行されてもよい。
なお、アップスケールモデル６８の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによってアップスケールモデル６８の学習が実行されてもよい。
Ｓ３０４に示す処理が終了すると、代替画像生成部４８が、基礎画像、及び、当該基礎画像に対応する特徴量データに基づく、次フレーム用の代替画像の生成を開始する（Ｓ３０５）。ここで例えば、アップスケール部４４が、基礎画像、及び、当該基礎画像に対応する特徴量データを、互いに関連付けて画像記憶部４６に記憶させてもよい。ここで当該基礎画像は、例えば、Ｓ３０１に示す処理に受信した画像データに基づいて生成された画像であって、代替画像の生成に用いられる画像である。ここで例えば、Ｓ３０４に示す処理で生成されたアップスケール画像が基礎画像として画像記憶部４６に記憶されてもよい。また例えば、Ｓ３０２に示す処理で生成されたデコード画像が基礎画像として画像記憶部４６に記憶されてもよい。また、画像記憶部４６に記憶される特徴量データは、例えば、Ｓ３０１に示す処理に受信した画像データに関連付けられている特徴量データであってもよい。そして、代替画像生成部４８が、画像記憶部４６に記憶された基礎画像、及び、当該基礎画像に対応する特徴量データに基づく代替画像の生成を開始してもよい。
ここでは、図１６に例示する学習済の機械学習モデルである代替画像生成モデル７０を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル７０が、深層学習の技術を用いたものであってもよい。代替画像生成モデル７０には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ３０５に示す処理では例えば、当該フレームにおいて画像記憶部４６に記憶された基礎画像、及び、当該基礎画像に関連付けられている、当該フレームに送信された特徴量データが代替画像生成モデル７０に入力される。そして、代替画像生成モデル７０から、当該入力に応じた代替画像が出力される。ここで代替画像生成モデル７０は、例えば、代替画像生成部４８に含まれる。
図１７は、図１６に示す代替画像生成モデル７０の学習の一例を模式的に示す図である。代替画像生成モデル７０では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、代替画像生成モデル７０の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル７０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル７０に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル７０のパラメータが更新されることにより、代替画像生成モデル７０の学習が実行されてもよい。
なお、代替画像生成モデル７０の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像生成モデル７０の学習が実行されてもよい。
そして、代替画像生成部４８が、Ｓ３０５に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部４６に記憶させる（Ｓ３０６）。また、Ｓ３０６に示す処理では、代替画像生成部４８が、Ｓ３０５に示す処理での代替画像の生成に用いられた特徴量データを、次フレーム用の特徴量データとして画像記憶部４６に併せて記憶させる。
そして、表示制御部５０が、Ｓ３０４に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ３０７）、Ｓ３０１に示す処理に戻る。
Ｓ３０３に示す処理において、当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認されたとする（Ｓ３０３：Ｎ）。この場合は、代替画像生成部４８が、当該フレームにおける特徴量データの一部の受信に成功したか否かを確認する（Ｓ３０８）。端末１２が受信した特徴量データの一部が破損している場合は、Ｓ３０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認される。またＳ３０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ３０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部４０が、特徴量データの一部の受信に失敗した場合に、その旨を代替画像生成部４８に通知してもよい。そして、代替画像生成部４８が当該通知を受信した際に、Ｓ３０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されてもよい。
Ｓ３０８に示す処理で当該フレームにおける特徴量データの一部の受信に成功したことが確認されたとする（Ｓ３０８：Ｙ）。この場合は、代替画像生成部４８が、当該フレームにおいて受信した特徴量データの一部に基づいて、当該フレーム用の特徴量データを更新する（Ｓ３０９）。Ｓ３０９に示す処理では、当該フレーム用の特徴量データに当該フレームにおいて受信した特徴量データが反映される。ここでは、図１８に例示する学習済の機械学習モデルである特徴量データ更新モデル７２を用いた特徴量データの更新処理が実行される。ここで特徴量データ更新モデル７２が、深層学習の技術を用いたものであってもよい。特徴量データ更新モデル７２には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ３０９に示す処理では例えば、直前のフレームのＳ３０６に示す処理で記憶された第１特徴量データと、当該フレームにおいて受信した特徴量データの一部である部分特徴量データと、が特徴量データ更新モデル７２に入力される。そして、特徴量データ更新モデル７２から、当該入力に応じた第２特徴量データが出力される。このようにして、直前のフレームのＳ３０６に示す処理で記憶された第１特徴量データは第２特徴量データに更新される。ここで特徴量データ更新モデル７２は、例えば、代替画像生成部４８に含まれる。
図１９は、図１８に示す特徴量データ更新モデル７２の学習の一例を模式的に示す図である。特徴量データ更新モデル７２では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力特徴量データと学習入力部分特徴量データを含む学習入力データと、特徴量データ更新モデル７２の出力である特徴量データと比較される教師データである特徴量教師データと、が含まれる。
例えば、上述した処理と同様の処理により、所与の動画像に含まれる第１フレーム画像である高解像度画像（例えば４Ｋ画像）に対応する特徴量データである学習入力特徴量データが生成されてもよい。そして、上述した処理と同様の処理により、上述の所与の動画像における第１フレーム画像の次のフレームのフレーム画像である第２フレーム画像に対応する特徴量データの一部である学習入力部分特徴量データが生成されてもよい。
そして、上述の学習入力特徴量データと上述の学習入力部分特徴量データとを含む学習入力データ、及び、上述した処理と同様の処理により生成される第２フレーム画像に対応する特徴量データである特徴量教師データとを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、特徴量データ更新モデル７２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが特徴量データ更新モデル７２に入力された際の出力である特徴量データと、当該学習データに含まれる特徴量教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により特徴量データ更新モデル７２のパラメータが更新されることにより、特徴量データ更新モデル７２の学習が実行されてもよい。
なお、特徴量データ更新モデル７２の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって特徴量データ更新モデル７２の学習が実行されてもよい。
Ｓ３０９に示す処理が終了した、あるいは、Ｓ３０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されたとする（Ｓ３０８：Ｎ）。これらの場合は、代替画像生成部４８が、当該フレームにおける画像データの一部の受信に成功したか否かを確認する（Ｓ３１０）。端末１２が受信した画像データの一部が破損している場合は、Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認される。またＳ３０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部４０が、画像データの一部の受信に失敗した場合に、その旨を代替画像生成部４８に通知してもよい。そして、代替画像生成部４８が当該通知を受信した際に、Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。
Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ３１０：Ｙ）。この場合は、代替画像生成部４８が、当該フレームにおいて受信した画像データの一部に基づいて、当該フレーム用の代替画像を更新する（Ｓ３１１）。ここでは例えば、当該フレーム用の代替画像に当該フレームにおいて受信した画像データの一部が反映される。ここでは、図２０に例示する学習済の機械学習モデルである代替画像更新モデル７４を用いた代替画像の更新処理が実行される。ここで代替画像更新モデル７４が、深層学習の技術を用いたものであってもよい。代替画像更新モデル７４には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
Ｓ３１１に示す処理では例えば、直前のフレームのＳ３０６に示す処理で記憶された第１代替画像と、当該フレームにおいて受信した画像データの一部である部分画像データと、特徴量データと、が代替画像更新モデル７４に入力される。ここで、Ｓ３０９に示す処理が実行された場合は、更新後の当該フレーム用の特徴量データが代替画像更新モデル７４に入力される。一方で、Ｓ３０９に示す処理が実行されていない場合は、直前のフレームで記憶された当該フレーム用の特徴量データが代替画像更新モデル７４に入力される。そして、代替画像更新モデル７４から、当該入力に応じた第２代替画像が出力される。このようにして、直前のフレームのＳ３０６に示す処理で記憶された第１代替画像は第２代替画像に更新される。ここで代替画像更新モデル７４は、例えば、代替画像生成部４８に含まれる。
図２１は、図２０に示す代替画像更新モデル７４の学習の一例を模式的に示す図である。代替画像更新モデル７４では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力部分画像データと学習入力特徴量データとを含む学習入力データと、代替画像更新モデル７４の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
そして、上述の所与の動画像における当該学習入力画像に対応する第１フレーム画像の次のフレームのフレーム画像である第２フレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。そして、上述した処理と同様の処理により、第１フレーム画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。なお第１フレーム画像に対応する特徴量データを第２フレーム画像に対応する特徴量データに基づいて更新した特徴量データが、学習入力特徴量データとして用いられてもよい。
そして、上述の学習入力画像と上述の学習入力部分画像データと上述の学習入力特徴量データを含む学習入力データ、及び、上述の第２フレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル７４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル７４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル７４のパラメータが更新されることにより、代替画像更新モデル７４の学習が実行されてもよい。
なお、代替画像更新モデル７４の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像更新モデル７４の学習が実行されてもよい。
Ｓ３１１に示す処理が終了した場合、又は、Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に成功しなかったことが確認された場合は（Ｓ３１０：Ｎ）、代替画像生成部４８が、次フレーム用の代替画像の生成を開始する（Ｓ３１２）。ここで、Ｓ３１１に示す処理が終了した場合は、代替画像生成部４８が、Ｓ３１１に示す処理で更新された代替画像を基礎画像として画像記憶部４６に記憶させてもよい。また、Ｓ３１０に示す処理で当該フレームにおける画像データの一部の受信に成功しなかった場合は、直前のフレームのＳ３０６に示す処理で記憶された代替画像を基礎画像として画像記憶部４６に記憶させてもよい。また、Ｓ３０９に示す処理が実行された場合は、代替画像生成部４８は、更新後の特徴量データを当該基礎画像に関連付けて画像記憶部４６に記憶させてもよい。また、Ｓ３０９に示す処理が実行されていない場合は、代替画像生成部４８は、当該フレーム用の特徴量データを当該基礎画像に関連付けて画像記憶部４６に記憶させてもよい。そして、代替画像生成部４８が、当該基礎画像、及び、当該基礎画像に関連付けられている特徴量データに基づいて、次フレーム用の代替画像の生成を開始してもよい。
ここでは、図１６に例示する学習済の機械学習モデルである代替画像生成モデル７０を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル７０が、深層学習の技術を用いたものであってもよい。
そして、代替画像生成部４８が、Ｓ３１２に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部４６に記憶させる（Ｓ３１３）。ここで、Ｓ３０９に示す処理が実行された場合は、代替画像生成部４８は、更新後の特徴量データを次フレーム用の特徴量データとして当該代替画像に関連付けて画像記憶部４６に記憶させる。また、Ｓ３０９に示す処理が実行されていない場合は、代替画像生成部４８は、当該フレーム用の特徴量データを次フレーム用の特徴量データとして当該代替画像に関連付けて画像記憶部４６に記憶させる。
そして、表示制御部５０が、当該フレームで生成された代替画像を表示部１２ｆに表示させて（Ｓ３１４）、Ｓ３０１に示す処理に戻る。
本処理例において、ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データ及び特徴量データの全部の受信に成功したことが確認されたとする（Ｓ３０３：Ｙ）。この場合は、ｎ番目のフレームにおいて受信した画像データ及び特徴量データに基づいて生成されるアップスケール画像が表示される（Ｓ３０７）。またこの場合は、ｎ番目のフレームにおいて、当該アップスケール画像及び当該特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ３０５、Ｓ３０６）。
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗したとする（Ｓ３０３：Ｎ）。この場合であって、ｎ番目のフレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ３１０：Ｙ）。この場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が更新される（Ｓ３１１）。そして更新後のｎ番目のフレーム用の代替画像が表示される（Ｓ３１４）。またこの場合は、ｎ番目のフレームにおいて、更新後のｎ番目のフレーム用の代替画像、及び、ｎ番目のフレーム用の特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ３１２、Ｓ３１３）。
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗したとする（Ｓ３０３：Ｎ）。この場合であって、ｎ番目のフレームにおける画像データの一部の受信に成功しなかったことが確認されたとする（Ｓ３１０：Ｎ）。この場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が表示される（Ｓ３１４）。またこの場合は、ｎ番目のフレームにおいて、（ｎ－１）番目のフレームで生成されたｎ番目のフレーム用の代替画像、及び、ｎ番目のフレーム用の特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ３１２、Ｓ３１３）。
また、ｎ番目のフレームにおいて、特徴量データの一部の受信に成功した場合は（Ｓ３０８：Ｙ）、（ｎ－１）番目のフレームで生成された、ｎ番目のフレーム用の特徴量データが更新される（Ｓ３０９）。
部分特徴量データにＭＥ情報のデータやオプティカル・フローを示すデータなどが含まれている場合、画像に示されているオブジェクトの動きを予想した代替画像の生成が可能となる。このとき、部分特徴量データが示す他の特徴量も予想の精度を上げるために活用される。部分特徴量データは、アップスケール画像の品質の向上のみならず、代替画像についての直前のフレームからの時間方向でのオブジェクトの画像内変化の再現性向上にも活用できる。
また、本処理例において、次フレーム用の代替画像の生成の開始、及び、次フレーム用の代替画像の記憶の終了を待つことなく、アップスケール画像の表示、あるいは、当該フレーム用の代替画像の表示が実行されてもよい。
また、受信に失敗した画像データに関連付けられている特徴量データの全部の受信に成功する場合がある。例えばこのような場合に、代替画像生成部４８が、第１画像データ、及び、第２画像データに関連付けられている特徴量データに基づいて、代替画像を生成してもよい。
また、送信制御部３０は、第２画像データを送信しないよう制御する場合は、画像データを送信しないことの通知が端末１２に送信されるよう制御してもよい。この場合、データ送信部３２は、画像データを送信しないことの通知を端末１２に送信する。またこの場合、アップスケール部４４が、データ受信部４０が受信する画像データを送信しないことの通知に基づいて、Ｓ２０３又はＳ３０３に示す処理で、通信フレームにおける画像データの全部の受信に成功したか否かを確認してもよい。
また、代替画像更新モデル７４が、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が第２代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像更新モデル７４が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像更新モデル７４の学習が実行されてもよい。この場合、Ｓ３１１に示す処理で、代替画像更新モデル７４から当該判定値が併せて出力されてもよい。
そして当該判定値に基づいて、Ｓ３１４に示す処理で、表示制御部５０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像更新モデル７４から判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。また、代替画像更新モデル７４から判定値「０」が出力された場合は、表示制御部５０は、代替画像が表示されるよう制御してもよい。
また、代替画像生成モデル７０についても同様に、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像生成モデル７０が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像生成モデル７０の学習が実行されてもよい。この場合、Ｓ３０５、又は、Ｓ３１２に示す処理で、代替画像生成モデル７０から当該判定値が併せて出力されてもよい。
そして当該判定値に基づいて、次のフレームのＳ３１４に示す処理で、表示制御部５０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像生成モデル７０から判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。また、代替画像生成モデル７０から判定値「０」が出力された場合は、表示制御部５０は、代替画像が表示されるよう制御してもよい。
ここで例えば、代替画像生成モデル７０と代替画像更新モデル７４のいずれかから判定値「１」が出力された場合は、表示制御部５０は、代替画像が表示されないよう制御してもよい。
以上で説明したように、本実施形態では、クラウドサーバ１０が、生成されるべき表示対象画像の推定に端末１２が成功する可能性に応じた画像データの送信制御を行う。そのため本実施形態によれば、本来表示されるべき画像とは異なる虚構の動画像が表示されるおそれを低減しつつ画像データの通信量を低減できることとなる。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、上述の第１特徴量データと上述の第２特徴量データを含む特徴量データの時系列に基づいて、代替画像生成部４８による第１画像データに基づく第２の表示対象画像の推定が成功する可能性が判定されてもよい。
ここで例えば、推定成功可能性評価モデル６０が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。
そしてこの場合に、Ｓ１０６に示す処理において、推定成功可能性評価モデル６０に、当該フレームの特徴量データを含む、特徴量データ記憶部２８に記憶されている特徴量データの時系列が入力されるようにしてもよい。そして推定成功可能性評価モデル６０が、当該入力に応じて推定成功可能性データを出力してもよい。
ここで推定成功可能性評価モデル６０の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）に対応する、特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
そして、当該一連の高解像度画像の比較や、当該一連の高解像度画像に関し、代替画像生成部４８により生成される代替画像の比較の目視によって、推定成功可能性教師データの値が決定されてもよい。また例えば、経験則によってユーザが推定成功可能性教師データの値を決定してもよい。
そして、上述の学習入力特徴量データの時系列を含む学習入力データと、上述の推定成功可能性教師データと、を含む学習データが生成されてもよい。
そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、推定成功可能性評価モデル６０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが推定成功可能性評価モデル６０に入力された際の出力である推定成功可能性データと、当該学習データに含まれる推定成功可能性教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により推定成功可能性評価モデル６０のパラメータが更新されることにより、推定成功可能性評価モデル６０の学習が実行されてもよい。
また例えば、アップスケールモデル６２が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部４４が、Ｓ２０２に示す処理で生成されたデコード画像を記憶するようにしてもよい。
そしてこの場合に、Ｓ２０４に示す処理で、最新のデコード画像を含む、デコード画像の時系列が、アップスケールモデル６２に入力されてもよい。そして、アップスケールモデル６２から、当該入力に応じたアップスケール画像が出力されてもよい。
ここでアップスケールモデル６２の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。
そして、上述の学習入力画像の時系列を含む学習入力データと上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６２に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６２のパラメータが更新されることにより、アップスケールモデル６２の学習が実行されてもよい。
また例えば、代替画像生成モデル６４が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部４８が、基礎画像を記憶するようにしてもよい。
そしてこの場合に、Ｓ２０５、又は、Ｓ２１０に示す処理で、最新の基礎画像を含む、基礎画像の時系列が、代替画像生成モデル６４に入力されてもよい。そして、代替画像生成モデル６４から、当該入力に応じた代替画像が出力されてもよい。
例えば基礎画像がデコード画像であるとする。この場合、代替画像生成モデル６４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像生成モデル６４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。
そして、上述の学習入力画像の時系列を含む学習入力データと、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像と、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル６４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル６４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル６４のパラメータが更新されることにより、代替画像生成モデル６４の学習が実行されてもよい。
また例えば、代替画像更新モデル６６が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部４８が、代替画像を記憶するようにしてもよい。
そしてこの場合に、代替画像更新モデル６６に、直前のフレームの代替画像を含む代替画像の時系列、及び、当該フレームにおいて受信した画像データの一部である部分画像データが、代替画像更新モデル６６に入力されてもよい。そして、代替画像更新モデル６６から、当該入力に応じた第２代替画像が出力されてもよい。
例えば基礎画像がデコード画像であるとする。この場合、代替画像更新モデル６６の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像更新モデル６６の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。
そして、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
そして、上述の学習入力画像の時系列、及び、学習入力部分画像データを含む学習入力データと、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル６６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル６６に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル６６のパラメータが更新されることにより、代替画像更新モデル６６の学習が実行されてもよい。
また例えば、アップスケールモデル６８が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部４４が、Ｓ３０２に示す処理で生成されたデコード画像、及び、Ｓ３０１に示す処理で受信された特徴量データを記憶するようにしてもよい。
そしてこの場合に、Ｓ３０４に示す処理で、アップスケールモデル６８に、最新のデコード画像を含む、デコード画像の時系列、及び、最新の特徴量データを含む、特徴量データの時系列が、アップスケールモデル６８に入力されてもよい。そして、アップスケールモデル６８から、当該入力に応じたアップスケール画像が出力されてもよい。
ここでアップスケールモデル６８の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
そして、上述の学習入力画像の時系列と上述の学習入力特徴量データの時系列とを含む学習入力データと、上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像と、を含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６８に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６８のパラメータが更新されることにより、アップスケールモデル６８の学習が実行されてもよい。
また例えば、代替画像生成モデル７０が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部４８が、基礎画像及び基礎画像に関連付けられている特徴量データを記憶するようにしてもよい。
そしてこの場合に、代替画像生成モデル７０に、最新の基礎画像を含む、基礎画像の時系列、及び、最新の特徴量データを含む、特徴量データの時系列が、代替画像生成モデル７０に入力されてもよい。そして、代替画像生成モデル７０から、当該入力に応じた代替画像が出力されてもよい。
例えば基礎画像がデコード画像であるとする。この場合、代替画像生成モデル６４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像生成モデル７０の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像の時系列に対応する学習入力特徴量データの時系列が生成されてもよい。
そして、上述の学習入力画像の時系列、及び、上述の学習入力特徴量データの時系列を含む学習入力データと、一連の高解像度画像の次のフレームのフレーム画像である代替教師画像と、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル７０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル７０に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル７０のパラメータが更新されることにより、代替画像生成モデル７０の学習が実行されてもよい。
また例えば、特徴量データ更新モデル７２が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部４８が、特徴量データを記憶するようにしてもよい。
そしてこの場合に、特徴量データ更新モデル７２に、直前のフレームの特量量データを含む特徴量データの時系列、及び、当該フレームにおいて受信した特徴量データの一部である部分特徴量データが、特徴量データ更新モデル７２に入力されてもよい。そして、特徴量データ更新モデル７２から、当該入力に応じた第２特徴量データが出力されてもよい。
特徴量データ更新モデル７２の学習において、上述した処理と同様の処理により、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。そして、上述した処理と同様の処理により、一連の高解像度画像の次のフレームのフレーム画像である第２フレーム画像に対応する特徴量データの一部である学習入力部分特徴量データが生成されてもよい。
そして、上述の学習入力特徴量データの時系列、及び、上述の学習入力部分特徴量データを含む学習入力データと、上述の第２フレーム画像に対応する特徴量データである特徴量教師データと、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、特徴量データ更新モデル７２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが特徴量データ更新モデル７２に入力された際の出力である特徴量データと、当該学習データに含まれる特徴量教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により特徴量データ更新モデル７２のパラメータが更新されることにより、特徴量データ更新モデル７２の学習が実行されてもよい。
また例えば、代替画像更新モデル７４が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部４８が、代替画像、及び、特徴量データを記憶するようにしてもよい。
そしてこの場合に、代替画像更新モデル７４に、直前のフレームの代替画像を含む代替画像の時系列、直前のフレームの代替画像を含む代替画像の時系列に対応する特徴量データの時系列、及び、当該フレームにおいて受信した画像データの一部である部分画像データが、代替画像更新モデル７４に入力されてもよい。そして、代替画像更新モデル７４から、当該入力に応じた第２代替画像が出力されてもよい。
例えば基礎画像がデコード画像であるとする。この場合、代替画像更新モデル７４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像更新モデル７４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。また、上述の処理と同様の処理により、当該高解像度画像の時系列に対応する学習入力特徴量データの時系列が生成されてもよい。
そして、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
そして、上述の学習入力画像の時系列、上述の学習入力特徴量データの時系列、及び、学習入力部分画像データを含む学習入力データと、上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル７４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル７４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル７４のパラメータが更新されることにより、代替画像更新モデル７４の学習が実行されてもよい。
以上のように本実施形態においてデータの時系列が入力される機械学習モデルを用いることで、過去のフレームのデータの時系列に基づいて当該フレームで起こる変化の予測を加味したデータが機械学習モデルから出力される。そのため機械学習モデルの出力結果の精度をより向上させることができる。
また本実施形態において例えば、推定成功可能性評価モデル６０が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、アップスケールモデル６２が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像生成モデル６４が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像更新モデル６６が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、アップスケールモデル６８が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像生成モデル７０が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、特徴量データ更新モデル７２が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像更新モデル７４が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。
また例えば、端末１２のアップスケール部４４が、特徴量データに含まれる、超解像処理の実行要否を示すデータに基づいて、超解像処理の実行要否を決定してもよい。そして、超解像処理を実行しないことが決定された場合に、アップスケール部４４は、アップスケール処理を実行しないよう制御してもよい。また、超解像処理を実行しないことが決定された場合に、アップスケール部４４は、代替画像の生成処理を実行しないよう代替画像生成部４８を制御してもよい。そしてこの場合に、表示制御部５０が、デコード画像、又は、直前のフレームで表示された画像を、表示部１２ｆに表示させてもよい。
また例えば、端末１２の代替画像生成部４８が、基礎画像に基づいて、代替画像を生成するか否かを決定してもよい。ここで上述した方法と同様の方法による学習が実行された、代替画像を生成するか否かを示す情報を出力する学習済の代替画像生成モデル６４を用いて代替画像を生成するか否かが決定されてもよい。また、代替画像生成部４８が、基礎画像、及び、当該基礎画像に関連付けられている特徴量データに基づいて、代替画像を生成するか否かを決定してもよい。ここで上述した方法と同様の方法による学習が実行された、代替画像を生成するか否かを示す情報を出力する学習済の代替画像生成モデル７０を用いて代替画像を生成するか否かが決定されてもよい。そして、代替画像を生成しないことが決定された際に、表示制御部５０が、デコード画像、又は、直前のフレームで表示された画像を、表示部１２ｆに表示させてもよい。
また例えば、ダウンスケールされる前のプレイ画像が複数の部分画像に分割されてもよい。ここで例えば、プレイ画像が、８×８ピクセル、あるいは、３２×３２ピクセルなどのサイズの矩形領域を占める複数の部分画像に分割されてもよい。また例えば、プレイ画像を横方向に分割することにより、プレイ画像が、複数のライン（例えば３２ライン）を束ねたスライス状（ストライプ状）の複数の部分画像に分割されてもよい。この場合、当該部分画像が上述のオリジナル画像に相当する。そして当該部分画像である当該オリジナル画像に対して、図３に示すＳ１０２～Ｓ１０８、及び、図６に示すＳ２０１～Ｓ２１２に示す一連の処理が実行されるようにしてもよい。あるいは、当該部分画像である当該オリジナル画像に対して、図３に示すＳ１０２～Ｓ１０８、及び、図１３に示すＳ３０１～Ｓ３１４に示す一連の処理が実行されるようにしてもよい。
また、プレイ画像がオリジナル画像に相当する場合であっても、部分画像がオリジナル画像に相当する場合であっても、Ｓ２０４、Ｓ２０６、Ｓ２０９、Ｓ２１１、Ｓ３０４、Ｓ３０６、Ｓ３１１、Ｓ３１３に示す処理が、オリジナル画像よりも小さな粒度で実行されてもよい。例えば、８×８ピクセルの画像毎、あるいは、３２×３２ピクセルなどの画像毎にＳ２０４、Ｓ２０６、Ｓ３０４、及び、Ｓ３０６に示す処理が実行されてもよい。ここで、デコード画像の解像度が１９２０×１０８８ピクセルであって、３２×３２ピクセルの画像毎に上述の処理が実行される際には、当該処理が６０×２４回実行されることとなる。この場合、機械学習モデルの学習に用いられる学習入力画像は、当該処理において当該機械学習モデルに入力される画像と同形同サイズの画像であってもよい。
また、Ｓ３０４、Ｓ３０９、Ｓ３１１、Ｓ３１３に示す処理が、特徴量データよりも小さな粒度で実行されてもよい。この場合、機械学習モデルの学習に用いられる学習入力部分特徴量データや学習入力特徴量データは、当該処理において当該機械学習モデルに入力されるデータと同サイズのデータであってもよい。
また、アップスケール部４４が、超解像処理や外挿を実行することによりアップスケール画像を生成してもよい。また、代替画像生成部４８が、外挿を実行することにより代替画像を生成してもよい。
また、アップスケールモデル６２、代替画像生成モデル６４、代替画像更新モデル６６、アップスケールモデル６８、代替画像生成モデル７０、特徴量データ更新モデル７２、代替画像更新モデル７４は、それぞれ別の機械学習モデルであってもよいし、一部又は全部について一体化された一体型の機械学習モデルであってもよい。
また本発明の適用範囲は、クラウドゲーミングサービスが提供される状況に限定されない。本発明は、画像データが送受信される状況については一般的に適用可能である。
ここで例えば、ゲームのプレイ状況を表す動画像を配信する配信サーバに、クラウドサーバ１０から、画像データ、あるいは、画像データ及び特徴量データが、繰り返し送信されるようにしてもよい。そして配信サーバが、一連のプレイ画像に相当する、それぞれ順序が関連付けられた、画像データ、あるいは、画像データ及び特徴量データを記憶するようにしてもよい。そして事後的に、ゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末からの要求に応じて、配信サーバが、配信サーバに記憶された画像データ、あるいは、画像データ及び特徴量データを、関連付けられている順序に従って当該端末に順次送信するようにしてもよい。そして当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
また、ゲーム実況が行われる状況において、上述の配信サーバが、画像データ、あるいは、画像データ及び特徴量データの受信に応じて、リアルタイムで、画像データ、あるいは、画像データ及び特徴量データをゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末に送信してもよい。そして、当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
ここでクラウドサーバ１０が、画像データ、あるいは、画像データ及び特徴量データを端末に送信する上述の配信サーバの役割を兼ねていてもよい。また、端末１２において図１に示すクラウドサーバ１０と同様の処理が実行され、一連のプレイ画像に相当する、画像データ、あるいは、画像データ及び特徴量データが端末１２から配信サーバに繰り返し送信されるようにしてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (22)

  1. 画像送信装置と、画像受信装置と、を含み、
    前記画像送信装置は、
    第１の画像を生成し、前記第１の画像が生成された後に第２の画像を生成する画像生成部と、
    前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信部と、
    前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御部と、を含み、
    前記画像受信装置は、
    前記第１画像データを受信する画像データ受信部と、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、
    前記表示対象画像生成部により前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
    前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
    前記送信制御部は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御し、
    前記代替画像生成部は、前記第１画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第１代替画像及び画像データの一部である部分画像データの入力に応じて第２代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
    ことを特徴とする画像送受信システム。
  2. 画像送信装置と、画像受信装置と、を含み、
    前記画像送信装置は、
    第１の画像を生成し、前記第１の画像が生成された後に第２の画像を生成する画像生成部と、
    前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信部と、
    前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御部と、を含み、
    前記画像受信装置は、
    前記第１画像データを受信する画像データ受信部と、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、
    前記表示対象画像生成部により前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
    前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
    前記送信制御部は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御し、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とする画像送受信システム。
  3. 前記送信制御部は、前記第１の画像の特徴量と前記第２の画像の特徴量とに基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１又は２に記載の画像送受信システム。
  4. 前記送信制御部は、前記第１の画像の特徴量と前記第２の画像の特徴量とを含む特徴量の時系列に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項３に記載の画像送受信システム。
  5. 前記送信制御部は、前記第２の画像をダウンスケールしたダウンスケール画像のエンコードに用いられるパラメータである特徴量に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記ダウンスケール画像を表す前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から３のいずれか一項に記載の画像送受信システム。
  6. 前記画像データ送信部は、前記第１の画像をダウンスケールした第１ダウンスケール画像を表す前記第１画像データを送信し、
    前記送信制御部は、前記第１ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、前記第２の画像をダウンスケールした第２ダウンスケール画像のエンコードに用いられるパラメータである特徴量と、に基づいて判定される前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２ダウンスケール画像を表す前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から３のいずれか一項に記載の画像送受信システム。
  7. 前記特徴量は、画像の特徴点、エッジ強度、画像に含まれる各画素の奥行き、及び、画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すものである、
    ことを特徴とする請求項３から６のいずれか一項に記載の画像送受信システム。
  8. 前記送信制御部は、特徴量を示す特徴量データが、画像を示す画像データよりも優先して前記画像受信装置に送信されるよう制御する、
    ことを特徴とする請求項３から７のいずれか一項に記載の画像送受信システム。
  9. 前記送信制御部は、前記第２の画像がキーフレームであるか否かに基づいて、前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から８のいずれか一項に記載の画像送受信システム。
  10. 前記送信制御部は、前記第２の画像のシーンが前記第１の画像のシーンから切り替わったか否かに基づいて、前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から９のいずれか一項に記載の画像送受信システム。
  11. 前記送信制御部は、前記第１の画像に表れていないオブジェクトの像が前記第２の画像に表れているか否かに基づいて、前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から１０のいずれか一項に記載の画像送受信システム。
  12. 前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記代替画像の生成を開始する、
    ことを特徴とする請求項１から１１のいずれか一項に記載の画像送受信システム。
  13. 前記送信制御部は、前記画像送信装置の通信速度が所定の速度よりも早い場合は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に関わらず、前記第２画像データが送信されるよう制御する、
    ことを特徴とする請求項１から１２のいずれか一項に記載の画像送受信システム。
  14. 前記第１の画像をダウンスケールした第１ダウンスケール画像をエンコードすることで前記第１画像データを生成し、前記第１画像データが生成された後に前記第２の画像をダウンスケールした第２ダウンスケール画像をエンコードすることで前記第２画像データを生成するエンコード処理部、をさらに含み、
    前記送信制御部は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２ダウンスケール画像をエンコードすることで生成された前記第２画像データを送信するか否かを制御する、
    ことを特徴とする請求項１から１３のいずれか一項に記載の画像送受信システム。
  15. 第１の画像を生成し、前記第１の画像が生成された後に第２の画像を生成する画像生成部と、
    前記第１の画像に基づいて生成される第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第１画像データを送信する画像データ送信部と、
    前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２の画像に基づいて生成される前記第２画像データを前記画像受信装置に送信するか否かを制御する送信制御部と、を含み、
    前記送信制御部は、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御し、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とする画像送信装置。
  16. 画像送信装置から第１画像データを受信する画像データ受信部と、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、
    前記表示対象画像生成部により第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
    前記第１の表示対象画像を表示させた後に、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
    前記代替画像生成部は、前記第１画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第１代替画像及び画像データの一部である部分画像データの入力に応じて第２代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
    ことを特徴とする画像受信装置。
  17. 画像送信装置から第１の画像に基づいて生成される第１画像データを受信する画像データ受信部と、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、
    前記表示対象画像生成部により第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、
    前記第１の表示対象画像を表示させた後に、前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とする画像受信装置。
  18. 画像送信装置が、第１の画像を生成する第１画像生成ステップと、
    前記画像送信装置が、前記第１の画像が生成された後に第２の画像を生成する第２画像生成ステップと、
    前記画像送信装置が、前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信ステップと、
    前記画像送信装置が、前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御ステップと、
    画像受信装置が、前記第１画像データを受信する画像データ受信ステップと、
    前記画像受信装置が、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成ステップと、
    前記画像受信装置が、前記表示対象画像生成ステップにおいて前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成ステップと、
    前記画像受信装置が、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御ステップと、を含み、
    前記送信制御ステップでは、前記画像送信装置が、前記代替画像生成ステップにおいて前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御し、
    前記代替画像生成ステップでは、前記第１画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第１代替画像及び画像データの一部である部分画像データの入力に応じて第２代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
    ことを特徴とする画像送受信方法。
  19. 画像送信装置が、第１の画像を生成する第１画像生成ステップと、
    前記画像送信装置が、前記第１の画像が生成された後に第２の画像を生成する第２画像生成ステップと、
    前記画像送信装置が、前記第１の画像に基づいて生成される第１画像データを送信する画像データ送信ステップと、
    前記画像送信装置が、前記第２の画像に基づいて生成される第２画像データを送信するか否かを制御する送信制御ステップと、
    画像受信装置が、前記第１画像データを受信する画像データ受信ステップと、
    前記画像受信装置が、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成ステップと、
    前記画像受信装置が、前記表示対象画像生成ステップにおいて前記第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成ステップと、
    前記画像受信装置が、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御ステップと、を含み、
    前記送信制御ステップでは、前記画像送信装置が、前記代替画像生成ステップにおいて前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かを制御し、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とする画像送受信方法。
  20. 第１の画像を生成する第１画像生成手順、
    前記第１の画像が生成された後に第２の画像を生成する第２画像生成手順、
    前記第１の画像に基づいて生成される第１画像データを受信する画像データ受信部と、前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成部と、前記表示対象画像生成部により前記第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成部と、前記第１の表示対象画像を表示させた後に、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御部と、を含む画像受信装置に、前記第１画像データを送信する画像データ送信手順、
    前記代替画像生成部による前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２の画像に基づいて生成される前記第２画像データを前記画像受信装置に送信するか否かを制御する送信制御手順、をコンピュータに実行させ、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とするプログラム。
  21. 画像送信装置から第１画像データを受信する画像データ受信手順、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成手順、
    前記表示対象画像生成手順で第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成手順、
    前記第１の表示対象画像を表示させた後に、前記代替画像生成手順において前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御手順、をコンピュータに実行させ、
    前記代替画像生成手順では、前記第１画像データに基づく画像の入力に応じて前記代替画像を出力する学習済の機械学習モデルである代替画像生成モデル、及び、第１代替画像及び画像データの一部である部分画像データの入力に応じて第２代替画像を出力する学習済の機械学習モデルである代替画像更新モデルを用いることで、前記代替画像を生成する、
    ことを特徴とするプログラム。
  22. 画像送信装置から第１の画像に基づいて生成される第１画像データを受信する画像データ受信手順、
    前記第１画像データに基づいて、第１の表示対象画像を生成する表示対象画像生成手順、
    前記表示対象画像生成手順で第２の画像に基づいて生成される第２画像データに基づいて生成されるべき第２の表示対象画像の前記第１画像データに基づく推定結果である代替画像を生成する代替画像生成手順、
    前記第１の表示対象画像を表示させた後に、前記代替画像生成手順において前記第１画像データに基づく前記第２の表示対象画像の推定が成功する可能性に基づいて、前記第２画像データを送信するか否かが前記画像送信装置により制御される前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記第２の表示対象画像、又は、前記代替画像のいずれか一方を表示させる表示制御手順、をコンピュータに実行させ、
    前記第１の画像、及び、前記第２の画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
    ことを特徴とするプログラム。
JP2021508767A 2019-03-25 2019-12-25 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム Active JP7190026B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019056322 2019-03-25
JP2019056322 2019-03-25
PCT/JP2019/050906 WO2020194957A1 (ja) 2019-03-25 2019-12-25 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020194957A1 JPWO2020194957A1 (ja) 2021-11-11
JP7190026B2 true JP7190026B2 (ja) 2022-12-14

Family

ID=72610696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508767A Active JP7190026B2 (ja) 2019-03-25 2019-12-25 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム

Country Status (4)

Country Link
US (1) US12005350B2 (ja)
JP (1) JP7190026B2 (ja)
CN (1) CN113678431A (ja)
WO (1) WO2020194957A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2588925B2 (ja) 1988-03-11 1997-03-12 富士通株式会社 可変ビットレート画像符号化装置
JP2000308059A (ja) 1999-04-19 2000-11-02 Sharp Corp ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器
JP2002016923A (ja) 2000-06-28 2002-01-18 Mitsubishi Electric Corp 画像符号化装置および画像符号化方法
JP2007295142A (ja) 2006-04-24 2007-11-08 Hitachi Ltd 記録再生装置、送出装置及び伝送システム。
JP2009302755A (ja) 2008-06-11 2009-12-24 Sony Corp 記憶再生装置、記憶装置、再生装置及び記憶再生方法
JP4930409B2 (ja) 2008-02-21 2012-05-16 富士通株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2014220571A (ja) 2013-05-01 2014-11-20 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム
JP2017011397A (ja) 2015-06-18 2017-01-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4930409B1 (ja) * 1969-02-25 1974-08-13
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
US6130911A (en) 1997-11-21 2000-10-10 Sharp Laboratories Of America, Inc. Method and apparatus for compressing reference frames in an interframe video codec
JPH11298890A (ja) 1998-04-13 1999-10-29 Hitachi Ltd 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム
US7177358B2 (en) 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
JP6468193B2 (ja) * 2013-11-01 2019-02-13 日本電気株式会社 通信装置及び通信装置におけるネットワーク利用可能帯域推定方法、並びにネットワーク利用可能帯域推定プログラム
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP6501665B2 (ja) * 2015-07-30 2019-04-17 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
CN109076258B (zh) * 2016-04-14 2021-08-27 索尼互动娱乐股份有限公司 接收装置、发送装置、控制方法、发送方法和存储介质
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
WO2018225187A1 (ja) * 2017-06-07 2018-12-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
US11363382B2 (en) * 2019-05-31 2022-06-14 Apple Inc. Methods and user interfaces for audio synchronization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2588925B2 (ja) 1988-03-11 1997-03-12 富士通株式会社 可変ビットレート画像符号化装置
JP2000308059A (ja) 1999-04-19 2000-11-02 Sharp Corp ディジタル画像の圧縮方法、ディジタル動画復号器における基準フレームの蓄積及び検索方法、及び、ディジタル動画復号器
JP2002016923A (ja) 2000-06-28 2002-01-18 Mitsubishi Electric Corp 画像符号化装置および画像符号化方法
JP2007295142A (ja) 2006-04-24 2007-11-08 Hitachi Ltd 記録再生装置、送出装置及び伝送システム。
JP4930409B2 (ja) 2008-02-21 2012-05-16 富士通株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2009302755A (ja) 2008-06-11 2009-12-24 Sony Corp 記憶再生装置、記憶装置、再生装置及び記憶再生方法
JP2014220571A (ja) 2013-05-01 2014-11-20 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム
JP2017011397A (ja) 2015-06-18 2017-01-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2020194957A1 (ja) 2021-11-11
WO2020194957A1 (ja) 2020-10-01
US20220152489A1 (en) 2022-05-19
CN113678431A (zh) 2021-11-19
US12005350B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
CN111479112B (zh) 一种视频编码方法、装置、设备和存储介质
CN109379550B (zh) 基于卷积神经网络的视频帧率上变换方法及系统
JP7490575B2 (ja) ３ｄゲームストリーミングシナリオでの推測航法及び遅延の改善
US8913664B2 (en) Three-dimensional motion mapping for cloud gaming
EP3760287A1 (en) Method and device for generating video frames
KR20110100640A (ko) 3차원 컴퓨터 생성 가상 환경의 비디오 표시를 제공하는 방법 및 장치
JP2010532612A (ja) モーションチューブを用いて表現される画像シーケンスを符号化および復号化する方法、装置、コンピュータプログラム製品、信号
US20230260084A1 (en) Video frame playing method and apparatus, device, storage medium, and program product
JP7038903B2 (ja) 画像表示制御装置、送信装置、画像表示制御方法及びプログラム
KR20060025099A (ko) 3차원그래픽-2차원비디오 인코딩 방법, 그래픽-비디오인코더, 3차원그래픽-2차원비디오 인코딩 시스템 및컴퓨터 판독 가능 매체
JP7190026B2 (ja) 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
KR20230028250A (ko) 강화 학습 기반 속도 제어
CN113469930B (zh) 图像处理方法、装置、及计算机设备
Muruganandham et al. Adaptive fractal image compression using PSO
JP7267436B2 (ja) 送信装置、送信方法及びプログラム
JP7116244B2 (ja) 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
JP7444971B2 (ja) 送信装置、送信方法及びプログラム
JP7321464B2 (ja) 抽出プログラム、画像生成プログラム、抽出方法、画像生成方法、抽出装置、および画像生成装置
JP7377345B2 (ja) 送信装置、送信方法及びプログラム
JP2024058838A (ja) 映像送信システム及び映像送信方法
WO2021044974A1 (ja) 送信装置、受信装置、送信方法、受信方法及びプログラム
CN116010697A (zh) 数据处理方法、电子设备以及存储介质
CN118339838A (zh) 允许在服务器和电子装置之间流传输视频内容的方法以及用于流传输视频内容的服务器和电子装置
CN114973051A (zh) 视频传输方法、装置及计算机可读存储介质
TWI523673B (zh) 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221202

R150 Certificate of patent or registration of utility model

Ref document number: 7190026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150