WO2025005018A1

WO2025005018A1 - 画像処理システム、画像処理方法及びプログラム

Info

Publication number: WO2025005018A1
Application number: PCT/JP2024/022662
Authority: WO
Inventors: 健一郎横田; 尚小曳; 渉一池上
Original assignee: Sony Interactive Entertainment Inc; Sony Group Corp
Current assignee: Sony Interactive Entertainment Inc; Sony Group Corp
Priority date: 2023-06-30
Filing date: 2024-06-21
Publication date: 2025-01-02
Anticipated expiration: 2025-12-30
Also published as: EP4738239A1; CN121729708A; JPWO2025005018A1

Abstract

動き情報に依拠せずテクスチャが変化するオブジェクトから生成された動画像に対して高精度な超解像処理を施すことを可能とする。画像処理システムであって、プロセッサは、入力画素数を有する第１～第Ｎの入力フレーム及び各入力フレームから第１～第Ｎの中間フレームを取得し、各中間フレームから第１～第Ｎの推定フレームを取得し、オブジェクトのテクスチャ情報に基づいて、第ｎの中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、第ｎの累積特徴情報における色変化画素の画素値を所定の値に置換することにより第ｎの補助情報を取得し、機械学習モデルは、第ｎの累積特徴情報を出力する出力層と第ｎの推定フレームを出力する出力層を含み、学習中間フレームと、色変化画素が所定の値に置換された補助情報と、学習推定フレームを含む複数の訓練データにより学習されたものである。

Description

画像処理システム、画像処理方法及びプログラム

　本開示は、画像処理システム、画像処理方法及びプログラムに関する。

　従来、機械学習モデルを用いて、低画質の静止画像に基づいて高画質の静止画像を推定する技術（超解像）が知られている（下記非特許文献１参照）。

Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang. Learning a Deep Convolutional Network for Image Super-Resolution, in Proceedings of European Conference on Computer Vision (ECCV), 2014

　本願の発明者らは、上記の超解像をゲーム画面のような動画像に応用することを検討している。ここで、動画像の超解像においては、処理対象となる各フレームの情報のみならず、該フレームの過去フレームの情報を考慮することで、より高画質な動画像を推定することができると考えられる。特に、モーションベクトル等と呼ばれるオブジェクトの動きを表す情報を考慮することで、ゴーストによる画質の低下を回避することができる。しかしながら、オブジェクトが鏡であったり、アニメーションテクスチャが付されたオブジェクトあったりする場合等、オブジェクトの動き情報とは無関係に当該オブジェクトのテクスチャが変化するものも存在する。このようなオブジェクトから生成された動画像に対して動き情報を考慮した超解像処理を行うと、かえって画質が低下する要因となる。

　本開示は、動き情報及び過去フレームの情報を利用して、低画質の動画像に基づいて高画質の動画像を推定する画像処理手段において、動き情報に依拠せずテクスチャが変化するオブジェクトから生成された動画像に対して高精度な超解像処理を施すことができる画像処理システム、画像処理方法及びプログラムを提供することを目的とする。

　本開示に係る画像処理システムは、少なくとも一つのプロセッサを含む画像処理システムであって、前記少なくとも一つのプロセッサは、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得し、前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、前記機械学習モデルは、第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、前記少なくとも一つのプロセッサは、オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得し、前記機械学習モデルは、前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである。

画像処理システムのハードウェア構成の一例を示す図である。画像処理システムの概要を示す図である。画像処理システムの処理を模式的に示す図である。画像処理システムで実現される機能の一例を示す機能ブロック図である。レンダリング部の処理を説明する図である。中間フレーム取得部における処理を説明する図である。色変化画素を特定する処理を模式的に示す図である。画像処理システムで実行される処理の流れの一例を示すフロー図である。

　以下、本開示に係る画像処理システムの実施形態の一例について、図面を参照しながら説明する。

［１．画像処理システムのハードウェア構成］
　図１は、画像処理システム１のハードウェア構成の一例を示す図である。画像処理システム１は、例えばゲームコンソール（ゲーム機）等のコンピュータである。図１に示すように、画像処理システム１は、制御部１０、記憶部１２、通信部１４、操作部１６、表示部１８及び音声出力部１９を含む。

　制御部１０は、例えば画像処理システム１にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスを含む。また、制御部１０は、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）も含む。

　記憶部１２は、例えばＲＯＭやＲＡＭ等の主記憶装置及びＨＤＤやＳＳＤ等の補助記憶装置を含む。記憶部１２には、制御部１０によって実行されるプログラムなどが記憶される。記憶部１２は、後述する画像処理システム１の各種機能を実現するためのプログラムに加えて、例えばゲームプログラム（ゲームソフトウェア）を記憶する。また、記憶部１２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

　通信部１４は、例えばイーサネット（登録商標）モジュールや無線ＬＡＮモジュール等の通信インタフェースである。

　操作部１６は、キーボードやマウス、ゲームコンソールのコントローラ等のユーザインタフェースであり、ユーザの操作入力を受け付けて、その内容を示す信号を制御部１０に出力する。

　表示部１８は、液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスであり、制御部１０の指示に従って各種の画像を表示する。

　音声出力部１９は、例えばスピーカ等であり、画像処理システム１が生成する音声データが示す音声を出力する。

　なお、画像処理システム１は、上記したデバイスの他に、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスク等の光ディスクを読み取る光ディスクドライブや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート等を含んでいてもよい。

［２．画像処理システムの概要］
　図２は、画像処理システム１の概要を示す図である。図３は、画像処理システム１の処理を模式的に示す図である。本実施形態では、画像処理システム１が、ゲームにおけるプレイ動画像の画質向上に利用される場合を例示する。プレイ動画像は、制御部１０が実行するゲームプログラムや操作部１６が受け付けるユーザの入力等に応じて生成される動画像であり、時系列データである複数の静止画像（フレーム）から構成される。画像処理システム１で行われる処理は主に以下の通りである。

（１）入力フレームの生成
　まず画像処理システム１は、所定の視点から見た一以上のゲームオブジェクトを示す３次元データのレンダリングを実行することにより、該ゲームオブジェクトが描画された画像（入力フレーム）を生成する。この入力フレームは、所定の画素数（入力画素数）及び所定の画質（入力画質）を有する画像である（図３参照）。入力フレームは所定時間毎に生成される。入力フレームの画素数は、例えば１９２０×１０８０（１０８０ｐ）である。生成された各入力フレームは、そのまま表示部１８に表示されるのではなく、一旦記憶部１２に格納され、以降の処理に供される。なお、以降の説明においては、ｎ番目の（第ｎの）入力フレーム２０＿ｎを対象とする処理を主に例示するが、同様の処理は他の入力フレームに対しても実行される（すなわち、ｎ＝２，３，…，Ｎ）。

（２）中間フレームの取得
　画像処理システム１は、取得された入力フレーム２０＿ｎに基づいて、入力画素数より多い画素数（中間画素数）を有するフレーム（中間フレーム）２２＿ｎを取得する。中間画素数は、例えば３８４０×２１６０（４Ｋ）である。具体的には、入力フレーム２０＿ｎに対して拡大及び補間処理が実行されることにより、中間フレーム２２＿ｎが生成される（図３参照）。

　ここで、中間フレーム２２＿ｎは入力フレーム２０＿ｎの画素数より多い画素数を有するものの、その画質は必ずしも十分には改善されていないことに留意されたい。すなわち、フレームの画質とは、単に画素数の多さ（解像度の高さ）をいうのではない。フレームの画質は、例えば、基準となるフレームと比較した際の、ＳＮ比の高さ、空間周波数の再現性の高さ、時間安定性の高さ（複数のフレームを連続表示した際におけるアーティファクトやちらつきの少なさ）等のそれぞれ又はこれらの総合考慮に基づいて評価されてよい。

（３）推定フレームの取得
　画像処理システム１は、中間フレーム２２＿ｎを機械学習モデル２００に入力し、推定フレーム２４＿ｎを取得する。推定フレーム２４＿ｎは、中間画素数と同数の画素数（推定画素数）及び入力画質以上の画質である画質（推定画質）を有する画像である（図３参照）。

　ここで、機械学習モデル２００には、中間フレーム２２＿ｎに加えて、第ｎ－１の補助情報２８＿ｎ－１が入力される（図２、図３参照）。補助情報２８＿ｎ－１は、第１～第ｎ－１の中間フレーム２２の特徴を示す第ｎ－１の累積特徴情報２６＿ｎ－１に基づく情報である。累積特徴情報２６及び補助情報２８の詳細については後述する。

　なお、機械学習モデル２００は、入力画素数及び入力画質を有する学習入力フレームに基づいて生成された中間画素数を有する学習中間フレームと、推定画素数及び推定画質を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたモデルである。機械学習モデル２００の詳細については後述する。

（４）累積特徴情報の取得
　機械学習モデル２００は、中間フレーム２２＿ｎと、補助情報２８＿ｎ－１と、が入力され、第１～第ｎの中間フレーム２２の特徴を示す第ｎの累積特徴情報２６＿ｎを出力する累積特徴情報出力層２０２を有する（図２参照）。画像処理システム１は、第ｎの累積特徴情報２６＿ｎを取得する。

　取得された第ｎの累積特徴情報２６＿ｎは、推定フレーム出力層２０４に入力され、推定フレーム出力層２０４からは第ｎの推定フレーム２４＿ｎが出力される（図２参照）。なお、取得された第ｎの累積特徴情報２６＿ｎは、記憶部１２にも格納され、次の入力フレーム（第ｎ＋１の入力フレーム）２０＿ｎ＋１に対応する推定フレーム２４＿ｎ＋１の推定に供される。

（５）補助情報の取得
　第ｎ－１の累積特徴情報２６＿ｎ－１は、前述の通り、第１～第ｎ－１の中間フレーム２２（ひいては第１～第ｎ－１の入力フレーム２０）の特徴を示す情報である。このように過去の入力フレーム２０の情報が蓄積された累積特徴情報２６＿ｎ－１を第ｎの推定フレーム２４＿ｎの推定に利用すれば、推定に利用可能な情報が増えるので、高画質な推定フレーム２４＿ｎを得ることができる。

　しかしながら、第ｎ－１の入力フレーム２０＿ｎ－１と第ｎの入力フレーム２０＿ｎとの間で、表示されるゲームオブジェクトに動き等があった場合、第ｎの中間フレーム２２＿ｎと累積特徴情報２６＿ｎ－１とがそのまま機械学習モデル２００に入力されると、第ｎ－１の入力フレーム２０＿ｎ－１に表示されていたゲームオブジェクトの残像が表示されてしまう現象（いわゆるゴースト現象）が発生しうる。

　そこで、画像処理システム１は、累積特徴情報２６＿ｎ－１に対して、レンダリングの際に得られる情報（動きベクトル、深度バッファ。テクスチャの種類を示す情報等）に基づく、後述する種々の補正を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する（図２、図３参照）。取得された第ｎ－１の補助情報２８＿ｎ－１は、前述の通り、第ｎの中間フレーム２２＿ｎとともに機械学習モデル２００に入力され、第ｎの推定フレーム２４＿ｎの推定に供される。

　以上に説明したように、本実施形態に係る画像処理システム１によれば、現在の入力フレーム２０に対応する中間フレーム２２に加えて、過去の情報が蓄積された補助情報２８を用いて、推定フレーム２４を推定する。これにより、推定に利用可能な情報が増えるので、高画質な推定フレーム２４＿ｎを得ることができる。以下、画像処理システム１の詳細について説明する。

［３．画像処理システムで実現される機能］
　図４は、画像処理システム１で実現される機能の一例を示す機能ブロック図である。図４に示すように、画像処理システム１では、ゲーム処理部３００、レンダリング部３０２、レンダリング情報記憶部３０４、入力フレーム取得部３０６、変動情報取得部３０８、中間フレーム取得部３１０、機械学習モデル記憶部３１２、推定フレーム取得部３１４、動き情報取得部３１６、深度情報取得部３１８、出現画素特定部３２０、補助情報取得部３２２及び色変化画素情報取得部３２４が実現される。ゲーム処理部３００、レンダリング部３０２、入力フレーム取得部３０６、変動情報取得部３０８、中間フレーム取得部３１０、推定フレーム取得部３１４、動き情報取得部３１６、深度情報取得部３１８、出現画素特定部３２０、補助情報取得部３２２及び色変化画素情報取得部３２４は、主に制御部１０により実現される。レンダリング情報記憶部３０４及び機械学習モデル記憶部３１２は、主に記憶部１２により実現される。なお、ゲーム処理部３００、レンダリング部３０２及びレンダリング情報記憶部３０４は、ゲームソフトウェアにより提供される機能である。

［ゲーム処理部］
　ゲーム処理部３００は、ゲームに関する種々の処理を実行する。ゲーム処理部３００は、例えば、制御部１０が実行するゲームプログラムや操作部１６が受け付けるユーザの入力に応じて、仮想３次元空間ＶＳにゲームオブジェクトＯを配置する処理や、ゲームオブジェクトＯを動作させ又は移動させる処理、仮想３次元空間ＶＳを見る視点Ｃを変更する処理等を実行する（図５参照）。ゲームオブジェクトＯは、３次元データが示すポリゴン等のプリミティブにより構成される。３次元データは、頂点の位置等を示す幾何情報と、頂点同士をどのように結ぶかを示す位相情報と、色等の属性情報と、を含む。

［レンダリング部］
　図５は、レンダリング部３０２の処理を説明する図である。レンダリング部３０２は、所定の視点Ｃから見た一以上のゲームオブジェクトＯを示す３次元データのレンダリング（描画処理）を実行することにより、第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレーム２０を生成する。レンダリング部３０２は、ゲーム処理部３００で実行される種々の処理の結果に基づいてレンダリングを実行する。レンダリング部３０２は、具体的には、仮想３次元空間ＶＳに配置されたゲームオブジェクトＯを示す３次元データに基づいて、頂点処理（頂点シェーディング）及び画素処理（ピクセルシェーディング）を実行する。頂点処理は、ビュー座標系からスクリーン座標系への座標変換処理（透視投影）を含み、該座標変換処理に用いられる透視投影行列（カメラ行列）には、後述するように、視点Ｃの変動に係る数値が加えられる。レンダリング部３０２は、光源情報や深度情報（デプスバッファ）、テクスチャ情報、法線情報等に基づいて、レンダリングを実行してもよい。ゲームオブジェクトのテクスチャ情報は、動画像であるアニメーションテクスチャ（アニメーション情報）や、当該ゲームオブジェクトを鏡面として視点Ｃに入射する色情報（ミラーマップ情報）であってもよい。また、ゲームオブジェクトのテクスチャ情報は、視点Ｃと描画面上の各画素を結ぶ直線を空間内に延長していき、透過や屈折を反映しつつ最初にぶつかった物体表面上の点における光の強さから算出された色情報（レイトレーシング情報）であってもよい。レンダリング部３０２は、上記の処理の他、例えば、被写界深度（ＤｏＦ）やモーションブラー等のエフェクトを適用する処理を実行してもよい。レンダリング部３０２の処理は、ゲームソフトウェアの開発者等が適宜設定してよい。ここで、ゲームソフトウェアの開発者等は、推定フレーム２４の推定画素数等に応じて、テクスチャのＭＩＰを調整してよい。これにより、推定フレーム２４において、モアレ等のノイズの発生を抑制することができる。

　ここで、レンダリング部３０２は、視点Ｃが入力フレーム２０毎に変動するようにレンダリングを実行することにより、各入力フレーム２０を生成する。ここで、ゲーム処理部３００が視点Ｃを所定の位置に固定させていたとしても、レンダリング部３０２は、入力フレーム２０毎に視点Ｃに変動を加える。その結果、図５に示すように、入力フレーム２０＿ｎ，２０＿ｎ＋１，２０＿ｎ＋２のそれぞれにおいて、表示されるゲームオブジェクトＯの位置が変動している。換言すれば、レンダリング部３０２は、各入力フレーム２０の生成の際に、ジッター（Ｊｉｔｔｅｒ）を適用している。レンダリング部３０２は、具体的には、入力フレーム２０毎に異なる、一画素未満の大きさに対応する数値を透視投影行列に加えることにより、視点Ｃを入力フレーム２０毎に変動させる。レンダリング部３０２は、所定の規則に従って視点Ｃを入力フレーム２０毎に変動させる。そのような規則としては、例えばＨａｌｔｏｎ列が利用可能である。

［レンダリング情報記憶部］
　レンダリング情報記憶部３０４は、レンダリング部３０２でのレンダリング処理に必要な情報及びレンダリング処理の結果得られる情報を記憶する。例えば、レンダリング情報記憶部３０４は、入力フレーム２０を記憶する。また、レンダリング情報記憶部３０４は、変動情報、動き情報及び深度情報を記憶する。変動情報、動き情報及び深度情報の詳細については後述する。さらに、レンダリング情報記憶部３０４は、ゲームオブジェクトのテクスチャ情報がアニメーション情報、ミラーマップ情報またはレイトレーシング情報である場合に、入力フレーム２０の画素のうちこれらの情報に基づいて生成された画素の分布を表す色変化画素情報を記憶してもよい。レンダリング情報記憶部３０４は、その他、レンダリング情報記憶部３０４は、座標変換に用いるパラメータや、光源情報、テクスチャ情報、法線情報等を記憶してよい。

［入力フレーム取得部］
　入力フレーム取得部３０６は、第１～第Ｎの入力フレーム２０をそれぞれ取得する。具体的には、入力フレーム取得部３０６は、レンダリング情報記憶部３０４に記憶された第１～第Ｎの入力フレーム２０をそれぞれ取得する。

［変動情報取得部］
　変動情報取得部３０８は、変動情報を取得する。変動情報取得部３０８は、レンダリング情報記憶部３０４に記憶された変動情報を取得する。変動情報は、具体的には、変動前と変動後との間での視点Ｃの変動量を示す情報である。変動量を示す情報は、変動の方向及び距離を示す変動ベクトルであるということもできる。例えば、前述したＨａｌｔｏｎ列に視点Ｃの変動量を示す情報が含まれているため、その情報を変動情報として用いてよい。

［中間フレーム取得部］
　中間フレーム取得部３１０は、各入力フレーム２０に基づいて、該入力フレーム２０に対応するとともに入力画素数以上の中間画素数を有する中間フレーム２２を生成することにより、第１～第Ｎの中間フレーム２２をそれぞれ取得する。本実施形態では、各中間フレーム２２は、入力画素数より多い中間画素数を有する。すなわち、本実施形態では，各中間フレーム２２は、該中間フレーム２２に対応する入力フレーム２０を拡大した画像である。

　具体的には、中間フレーム取得部３１０は、変動情報と、各入力フレーム２０の各画素と、に基づいて、該入力フレーム２０における、変動前の各画素に相当する位置の画素値を補間により求め、各中間フレーム２２を生成する。図６は、中間フレーム取得部３１０における処理を説明する図である。図６では、第ｎの中間フレーム２２＿ｎを求める場合を例示する。例えば、図６に示すように、取得しようとする中間フレーム２２＿ｎにおけるある画素の画素中心がＰ１，０であるとすると、中間フレーム取得部３１０は、入力フレーム２０＿ｎにおけるＰ１，０に最も近い４つの画素それぞれの画素中心Ｐ’０，０，Ｐ’１，０，Ｐ’０，１，Ｐ’１，１の座標及び画素値に基づいて、Ｐ１，０の画素値を双一次（バイリニア）補間により求める。ここで、Ｐ’１，０は、変動情報が示す変動量の分だけＰ１，０からずれた位置にある。拡大処理により新たに生成された画素の画素値についても、同様にして求められる。なお、補間の方法としては、バイリニア補間の他にも、双三次（バイキュービック）補間やＬａｎｃｚｏｓ補間等、種々の公知の手法が利用可能である。

　視点Ｃが入力フレーム２０毎に変動するようにレンダリングを実行すると、時系列の情報量が増えるところ、そのようにして得られた各入力フレーム２０（以下、「変動入力フレーム」という。）を推定に利用すれば、より高画質な推定フレーム２４を得ることができる。

　一方、変動入力フレーム（又はこれを拡大した画像）をそのまま機械学習モデル２００に入力すると、上記の視点Ｃの変動の影響により、推定の確度が低下しまうおそれもある。

　そこで、画像処理システム１では、前述したように、変動情報と、各入力フレーム２０の各画素と、に基づいて、該入力フレーム２０における、変動前の各画素に相当する位置の画素値を補間により求め、各中間フレーム２２を生成し、これを機械学習モデル２００に入力するようにした。これにより、視点Ｃの変動の影響が補正されるので、推定の確度が低下しまうことを抑制することができる。

［機械学習モデル］
　機械学習モデル２００は、第ｎの中間フレーム２２＿ｎに基づいて、第ｎの推定フレーム２４＿ｎを推定するモデルである。具体的には、機械学習モデル２００は、第ｎの中間フレーム２２＿ｎ及び第ｎ－１の補助情報２８＿ｎ－１に基づいて、第ｎの推定フレーム２４＿ｎを推定するモデルである。機械学習モデル２００は、具体的には、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）である。機械学習モデル２００としては、例えば、残差接続機構を有する多層構造のＲｅｓＮｅｔや、いわゆるエンコーダ－デコーダ型のＵ－Ｎｅｔ等、公知のモデルが利用可能である。機械学習モデル２００として、非特許文献１に記載のモデルを利用してもよい。

　機械学習モデル２００は、入力画素数を有する学習入力フレームに基づいて生成された中間画素数を有する学習中間フレームと、色変化画素が所定の値に置換された補助情報２８と、推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたモデルである。機械学習モデル２００の学習には、誤差逆伝播法等の種々の公知の手法が利用可能である。訓練データに含まれる補助情報２８は色変化画素が所定の値に置換されている。すなわち、機械学習モデル２００は、色変化画素については動き補償（後述）が適用されていない補助情報２８を用いて、学習が実行済である。

　機械学習モデル２００は、具体的には、累積特徴情報出力層２０２と、推定フレーム出力層２０４と、畳み込み層２０６と、を含む（図２参照）。

　累積特徴情報出力層２０２は、第ｎの中間フレーム２２＿ｎと、第１～第ｎ－１の中間フレーム２２の特徴を示す第ｎ－１の累積特徴情報２６＿ｎ－１に基づく第ｎ－１の補助情報２８＿ｎ－１と、が入力され、第１～第ｎの中間フレーム２２＿ｎの特徴を示す第ｎの累積特徴情報２６＿ｎを出力する。累積特徴情報出力層２０２は、例えば一以上の畳み込み層により構成されてよい。累積特徴情報２６＿ｎ－１は、中間画素数と同数の画素数を有する画像情報（ビットマップ形式の情報）である。累積特徴情報２６＿ｎ－１は、第１～第ｎ－１の中間フレーム２２の特徴を示す特徴マップであるということもできる。

　なお、累積特徴情報出力層２０２は、第１の中間フレーム２２＿１と、所与の補助情報と、が入力され、第１の累積特徴情報２６＿１を出力する。ｎ＝１の場合、それ以前の累積特徴情報２６及び補助情報２８が存在しないため、予め用意した所与の補助情報が、第１の中間フレーム２２＿１ともに累積特徴情報出力層２０２に入力される。

　推定フレーム出力層２０４は、第ｎの累積特徴情報２６＿ｎが入力され、第ｎの推定フレーム２４＿ｎを出力する。推定フレーム出力層２０４は、累積特徴情報出力層２０２と同様、例えば一以上の畳み込み層により構成されてよい。或いは、推定フレーム出力層２０４は、一以上の転置畳み込み層（逆畳み込み層）により構成されてもよい。

　畳み込み層２０６は、累積特徴情報２６の画素数を維持しつつそのチャンネル数を減少させる層である。畳み込み層２０６から出力された累積特徴情報２６は、補助情報取得部３２２での処理に供される。畳み込み層２０６によれば、累積特徴情報２６の次元が削減されるので、計算コストを抑えることができる。畳み込み層２０６は、例えばカーネルサイズが１×１の畳み込み層であるが、これに限定されない。

［機械学習モデル記憶部］
　機械学習モデル記憶部３１２は、機械学習モデル２００を記憶する。具体的には、機械学習モデル記憶部３１２は、機械学習モデル２００のパラメータ（畳み込み層の数や各畳み込み層に使用されるノード数、各ノードの重み等）を記憶する。

［推定フレーム取得部］
　推定フレーム取得部３１４は、各中間フレーム２２を機械学習モデル２００に入力して、入力画素数より多く中間画素数以上の推定画素数を有する第１～第Ｎの推定フレーム２４をそれぞれ取得する。本実施形態では、推定フレーム２４は、中間画素数と同数の推定画素数を有する。推定フレーム取得部３１４は、より具体的には、第ｎの中間フレーム２２＿ｎ及び第ｎ－１の補助情報２８＿ｎ－１を機械学習モデル２００に入力して、第ｎの推定フレーム２４＿ｎを取得する。

［動き情報取得部］
　動き情報取得部３１６は、第ｎ－１の入力フレーム２０＿ｎ－１から第ｎの入力フレーム２０＿ｎへの動きの量及び方向を示す情報である第ｎ－１の動き情報を取得する。第ｎ－１の動き情報は、具体的には、中間画素数と同数の画素を有し、第ｎ－１の入力フレーム２０＿ｎ－１と第ｎの入力フレーム２０＿ｎとの間における各画素の動きの量及び方向を示す画像情報である（ビットマップ形式の情報）。動き情報は、モーションベクトル（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）とも呼ばれる。動き情報取得部３１６は、具体的には、入力画素数と同数の画素数を有する動き情報を取得し、該動き情報に対して拡大及び補間処理を実行することにより、中間画素数と同数の画素を有する動き情報を取得する。動き情報取得部３１６は、レンダリングによって動いていないゲームオブジェクトから生成された画素の動き情報として、停止していることを表す情報（例えば０値）を取得する。ここで、ゲームオブジェクトのテクスチャ情報がアニメーション情報、ミラーマップ情報またはレイトレーシング情報である場合、動き情報取得部３１６は、停止していることを表す情報に代えて、当該画素が色変化画素であることを表す情報を取得してもよい。色変化画素は、例えば、無限大（ＩＮＦ）または非数（ＮａＮ）であることを表す情報によって表される（図７参照）。

［深度情報取得部］
　深度情報取得部３１８は、第ｎ－１の入力フレーム２０＿ｎ－１の各画素の深度を示す第ｎ－１の深度情報と、第ｎの入力フレーム２０＿ｎの各画素の深度を示す第ｎの深度情報と、を取得する。深度情報は、具体的には、中間画素数と同数の画素を有する画像情報である（ビットマップ形式の情報）。深度情報は、深度バッファ、Ｚバッファ又はデプスバッファとも呼ばれる。深度情報取得部３１８は、具体的には、入力画素数と同数の画素数を有する深度情報を取得し、該深度情報に対して拡大及び補間処理を実行することにより、中間画素数と同数の画素を有する深度情報を取得する。

［出現画素特定部］
　出現画素特定部３２０は、第ｎ－１の深度情報と、第ｎの深度情報と、に基づいて、第ｎの中間フレーム２２＿ｎの画素のうち、第ｎ－１の中間フレーム２２＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている画素である第ｎの出現画素２２２＿ｎを特定する（図３参照）。出現画素特定部３２０は、具体的には、第ｎ－１の深度情報と、第ｎの深度情報と、の差分に基づいて、第ｎの出現画素２２２＿ｎを特定する。なお、出現画素特定部３２０は、第ｎ－１の中間フレーム２２＿ｎ－１に係る第ｎ－１の透視投影行列と、第ｎの中間フレーム２２＿ｎに係る第ｎの透視投影行列と、に基づいて、第ｎの出現画素２２２＿ｎを特定してもよい。また、出現画素特定部３２０は、第ｎ－１の動き情報を利用して第ｎの出現画素２２２＿ｎを特定してもよい。なお、出現画素特定部３２０は、より具体的には、第ｎの出現画素２２２＿ｎを特定し、第ｎの出現画素２２２＿ｎの位置を示す画像情報である第ｎの出現画素情報を生成する。

［色変化画素情報取得部］
　色変化画素情報取得部３２４は、オブジェクトのテクスチャ情報に基づいて、第ｎの中間フレーム２２におけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、色変化画素情報を取得する。具体的には、図７に示す色変化画素を特定する処理を示す図を用いて説明する。図７上部には、レーシングゲーム等において、運転席を視点としてフロントガラス上に映る景色をレンダリングする様子を模式的に記載している。当該図には、空を背景として複数の木が並んでおり、中央付近にルームミラー７００が配置されている様子が表されている。それぞれの木は、葉や幹からなるゲームオブジェクトであって、当該木のゲームオブジェクトには緑色や茶色などの色情報がテクスチャとして付されている。

　一方、ルームミラー７００は、枠等の鏡面以外の部分と鏡面の部分とで構成されるゲームオブジェクトである。鏡面の部分には、視点Ｃから見てルームミラー７００によって反射して見える景色がテクスチャとして付されている。例えば、ルームミラー７００の位置を新たな視点として、視点Ｃと対称な方向（鏡面反射する方向）に向かってレンダリングして生成した画像が、ルームミラーというゲームオブジェクトのテクスチャとして付される。

　動き情報取得部３１６は、第ｎ－１の入力フレーム２０＿ｎ－１から第ｎの入力フレーム２０＿ｎへの動きの量及び方向を示す情報である第ｎの動き情報として、図７左下に示す動き情報を取得する。具体的には、視点Ｃの位置が車内に存在するため、フロントガラスに映る景色は、車というゲームオブジェクトの移動に従って変化する。例えば、動き情報取得部３１６は、木が表された画素について、ｘ方向に０．０ｆ、ｙ方向に０．１ｆ動いていることを表す動き情報を取得する。また、動き情報取得部３１６は、ルームミラーが表された画素についても動き情報を取得する。ここで、ルームミラー７００は車の内部に固定されており、視点Ｃから見たときに静止している。しかしながら、動き情報取得部３１６は、ルームミラー７００本来の静止していることを表す動き情報（すなわちｘ方向に０、ｙ方向に０動いていることを表す動き情報）ではなく、色変化画素であることを表す情報（例えばｘ方向としてＮａＮ、ｙ方向としてＮａＮ）を取得する。

　色変化画素情報取得部３２４は、動き情報において、第ｎの中間フレーム２２におけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、色変化画素情報を取得する。すなわち、色変化画素情報取得部３２４は、動き情報において色変化画素であることを表す情報（ここではＮａＮ）が含まれている画素を特定し、図７右下に示す色変化画素情報を生成する。色変化画素情報は、特定された色変化画素が０であり、色変化画素以外の画素がＲｅｆｅｒ　ＲＦＭである画像情報である（ビットマップ形式の情報）。なお、Ｒｅｆｅｒ　ＲＦＭは、補助情報取得部による色変化画素情報を用いた処理において、当該画素については演算を行わないことを表す情報である。色変化画素情報取得部３２４は、入力画素数と同数の画素数を有する色変化画素情報を取得し、該色変化画素情報に対して拡大及び補間処理を実行することにより、中間画素数と同数の画素を有する色変化画素情報を取得する。

　なお、レンダリング情報記憶部３０４が、アニメーション情報、ミラーマップ情報またはレイトレーシング情報の情報に基づいて生成された画素の分布を表す色変化画素情報を記憶している場合には、色変化画素情報取得部３２４は、動き情報を介さずにレンダリング情報記憶部３０４から色変化画素情報を取得してもよい。

［補助情報取得部］
　補助情報取得部３２２は、第ｎ－１の動き情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１に対して動き補償を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。動き補償とは、例えば、第ｎ－１の中間フレーム２２＿ｎ－１では位置ｘにある画素が、第ｎの中間フレーム２２＿ｎでは位置ｘ’に動いていた場合において、第ｎ－１の累積特徴情報２６＿ｎの位置ｘにある画素を位置ｘ’に移動させる処理をいう（図３参照）。すなわち、補助情報取得部３２２は、第ｎ－１の動き情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１の一以上の画素のそれぞれの画素値を、該画素の動きの量及び方向に従って移動した位置の画素に設定することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。

　第ｎの入力フレーム２０＿ｎと第ｎ－１の入力フレーム２０＿ｎ－１との間でゲームオブジェクトＯに動きがあった場合に、第ｎの推定フレーム２４＿ｎを取得する際、第ｎの中間フレーム２２＿ｎと第ｎ－１の累積特徴情報２６＿ｎ－１とをそのまま機械学習モデル２００に入力してしまうと、出力される第ｎの推定フレーム２４＿ｎにおいて、第ｎの中間フレーム２２＿ｎに表示されていたゲームオブジェクトＯの残像が表示されてしまうゴースト現象が発生しうる。

　そこで、画像処理システム１では、上記のように、第ｎ－１の動き情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１に対して動き補償を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得し、第ｎの推定フレーム２４＿ｎを取得する際、この第ｎ－１の補助情報２８＿ｎ－１を機械学習モデル２００に入力するようにした。これにより、上記のゴースト現象を抑制することができる。

　また、補助情報取得部３２２は、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。補助情報取得部３２２は、具体的には、第ｎの出現画素情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。所定の値は、例えば０（黒）等の一定値であってもよいし、第ｎの中間フレーム２２＿ｎにおける第ｎの出現画素２２２＿ｎの画素値であってもよい。

　第ｎの入力フレーム２０＿ｎにおいて、第ｎ－１の入力フレーム２０＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている場合に、第ｎの推定フレーム２４＿ｎを取得する際、第ｎの中間フレーム２２＿ｎと第ｎ－１の累積特徴情報２６＿ｎ－１とをそのまま機械学習モデル２００に入力してしまうと、出力される第ｎの推定フレーム２４＿ｎにおいて、前述のゴースト現象が発生しうる。

　そこで、画像処理システム１では、上記のように、第ｎの中間フレーム２２＿ｎの画素のうち、第ｎ－１の中間フレーム２２＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている画素である第ｎの出現画素２２２＿ｎを特定し、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得するようにした。これにより、上記のゴースト現象を抑制することができる。

　また、補助情報取得部３２２は、第ｎの累積特徴情報における色変化画素の画素値を所定の値に置換することにより、第ｎの補助情報を取得する。補助情報取得部３２２は、具体的には、第ｎの色変化画素情報に基づいて、第ｎの累積特徴情報２６＿ｎにおける第ｎの色変化画素の画素値を所定の値に置換することにより、第ｎの補助情報２８＿ｎを取得する。所定の値は、例えば０（黒）等の一定値であってもよいし、第ｎの中間フレーム２２＿ｎにおける第ｎの色変化画素ｎの画素値であってもよい。補助情報取得部３２２は、色変化画素以外の画素に関しては、上記置換を行わない。

　上記のように特定される色変化画素は、ゲームオブジェクトの動き情報とは何ら関係なく、テクスチャが変化するゲームオブジェクトに基づいて色情報が取得される画素である。仮に当該ゲームオブジェクトが動いていたとしても、その動きを表す動き情報と、ゲームオブジェクトのテクスチャにも何ら関係がない。このような色変化画素に対して、上記のような動き補償を適用してしまうと、かえって画質を損なってしまう。

　そこで、画像処理システム１では、上記のように、オブジェクトのテクスチャ情報に基づいて、第ｎの中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、第ｎの累積特徴情報における色変化画素の画素値を所定の値に置換することにより、第ｎの補助情報を取得するようにした。これにより、上記の画質の低下を抑制することができる。

　なお、補助情報取得部３２２による、動き補償、出現画素情報に基づく置換処理及び色変化画素情報に基づく置換処理は、１の累積特徴情報２６に対して全てが実施されてもよいし一部のみ実施されてもよい。

［４．画像処理システムで実行される処理］
　図８は、画像処理システム１で実行される処理の流れの一例を示すフロー図である。図７に示す処理は、制御部１０が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。

（１）ｎ＝１における処理
　まず、制御部１０は、第１の入力フレーム２０＿１を取得する（Ｓ７００）。制御部１０は、第１の入力フレーム２０＿１に基づいて、第１の中間フレーム２２＿１を取得する（Ｓ７０２）。そして、制御部１０は、第１の中間フレーム２２＿１と、所与の補助情報と、を機械学習モデル２００に入力し、第１の推定フレーム２４＿１と、第１の累積特徴情報２６＿１と、を取得する（Ｓ７０４）。

（２）ｎ≧２における処理
　制御部１０は、第ｎの入力フレーム２０＿ｎを取得する（Ｓ７０６）。制御部１０は、第ｎの入力フレーム２０＿ｎに基づいて、第ｎの中間フレーム２２＿ｎを取得する（Ｓ７０８）。

　次いで、制御部１０は、第ｎ－１の動き情報を取得する（Ｓ７１０）。また、制御部１０は、第ｎ－１の深度情報と、第ｎの深度情報と、を取得し（Ｓ７１２）、第ｎ－１の深度情報と、第ｎの深度情報と、に基づいて、第ｎの出現画素２２２＿ｎを特定する（Ｓ７１４）。制御部１０は、第ｎ－１の累積特徴情報２６＿ｎ－１と、第ｎ－１の動き情報と、第ｎの出現画素２２２＿ｎと、に基づいて、第ｎ－１の補助情報２８＿ｎ－１を取得する（Ｓ７１６）。そして、制御部１０は、第ｎの中間フレーム２２＿ｎと、第ｎ－１の補助情報２８＿ｎ－１と、を機械学習モデル２００に入力し、第ｎの推定フレーム２４＿ｎと、第ｎの累積特徴情報２６＿ｎと、を取得する（Ｓ７１８）。制御部１０は、次のフレームが存在するか否かを判定し（Ｓ７２０）、次のフレームが存在すると判定した場合には（Ｓ７２０；Ｙ）、ｎ＝ｎ＋１にインクリメントし、Ｓ７０６～Ｓ７１８の処理を繰り返す。制御部１０は、次のフレームが存在しないと判定した場合には（Ｓ７２０；Ｎ）、本処理を終了する。なお、制御部１０は、次のフレームが存在しないと判定した場合に（Ｓ７２０；Ｎ）、そのまま第１～第Ｎの推定フレーム２４を表示部１８に表示させてもよい。

［５．まとめ］
　以上に説明した本実施形態に係る画像処理システム１によれば、オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、第ｎの累積特徴情報における色変化画素の画素値を所定の値に置換することにより、第ｎの補助情報を取得する。すなわち、動き情報及び過去フレームの情報を利用して、低画質の動画像に基づいて高画質の動画像を推定する画像処理手段において、動き情報に依拠せずテクスチャが変化するオブジェクトから生成された動画像に対して高精度な超解像処理を施すことができる。

　なお、本開示に係る発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

　例えば、本実施形態では、中間画素数が入力画素数より多く、且つ、中間画素数と推定画素数とが同数である場合を例示したが、中間画素数と入力画素数とが同数であり、且つ、推定画素数が中間画素数より多くてもよい。すなわち、中間フレーム２２は、必ずしも入力フレーム２０を拡大したものでなくてもよい。

［６．付記］
（１）
　少なくとも一つのプロセッサを含む画像処理システムであって、
　前記少なくとも一つのプロセッサは、
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得し、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記少なくとも一つのプロセッサは、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得し、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　画像処理システム。
（２）
　前記各入力フレームは、所定の視点から見た一以上のオブジェクトを示す３次元データのレンダリングを実行することにより得られる画像である、
　（１）に記載の画像処理システム。
（３）
　前記各入力フレームは、前記視点が前記入力フレーム毎に変動するように前記レンダリングを実行することにより得られる画像であり、
　前記少なくとも一つのプロセッサは、
　前記レンダリングにおける前記入力フレーム毎の前記視点の変動に係る情報である変動情報を取得し、
　前記変動情報と、前記各入力フレームの各画素と、に基づいて、該入力フレームにおける、変動前の各画素に相当する位置の画素値を補間により求め、前記各中間フレームを生成する、
　（２）に記載の画像処理システム。
（４）
　前記少なくとも一つのプロセッサは、
　第ｎ－１の前記入力フレームから第ｎの前記入力フレームへの動きの量及び方向を示す情報である第ｎ－１の動き情報を取得し、
　第ｎ－１の前記動き情報に基づいて、第ｎ－１の前記累積特徴情報に対して動き補償を適用することにより、第ｎ－１の前記補助情報を取得する、
　（２）又は（３）に記載の画像処理システム。
（５）
　前記少なくとも一つのプロセッサは、
　第ｎ－１の前記入力フレームの各画素の深度を示す第ｎ－１の深度情報と、第ｎの前記入力フレームの各画素の深度を示す第ｎの深度情報と、を取得し、
　第ｎ－１の前記深度情報と、第ｎの前記深度情報と、に基づいて、第ｎの前記中間フレームの画素のうち、第ｎ－１の前記中間フレームでは表示されていない前記オブジェクトの全部又は一部が表示されている画素である第ｎの出現画素を特定し、
　第ｎ－１の前記累積特徴情報における第ｎの前記出現画素の画素値を所定の値に置換することにより、第ｎ－１の前記補助情報を取得する、
　（４）に記載の画像処理システム。
（６）
　前記累積特徴情報出力層は、第１の前記中間フレームと、所与の補助情報と、が入力され、第１の前記累積特徴情報を出力する、
　（１）又は（２）に記載の画像処理システム。
（７）
　前記累積特徴情報は、前記中間画素数と同数の画素数を有する画像情報である、
　（１）又は（２）に記載の画像処理システム。
（８）
　前記色変化画素は、無限大または非数であることを表す情報によって表される、
　（１）又は（２）に記載の画像処理システム。
（９）
　プロセッサが、
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得し、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記プロセッサが、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得し、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　画像処理方法。
（１０）
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得する入力フレーム取得手段、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得する中間フレーム取得手段、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得する推定フレーム取得手段、
　としてコンピュータを機能させるためのプログラムであって、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記プログラムはさらに、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定する特定手段、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得する補助情報取得手段、
　として前記コンピュータを機能させ、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　プログラム。

Claims

　少なくとも一つのプロセッサを含む画像処理システムであって、
　前記少なくとも一つのプロセッサは、
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得し、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記少なくとも一つのプロセッサは、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得し、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　画像処理システム。
　前記各入力フレームは、所定の視点から見た一以上のオブジェクトを示す３次元データのレンダリングを実行することにより得られる画像である、
　請求項１に記載の画像処理システム。
　前記各入力フレームは、前記視点が前記入力フレーム毎に変動するように前記レンダリングを実行することにより得られる画像であり、
　前記少なくとも一つのプロセッサは、
　前記レンダリングにおける前記入力フレーム毎の前記視点の変動に係る情報である変動情報を取得し、
　前記変動情報と、前記各入力フレームの各画素と、に基づいて、該入力フレームにおける、変動前の各画素に相当する位置の画素値を補間により求め、前記各中間フレームを生成する、
　請求項２に記載の画像処理システム。
　前記少なくとも一つのプロセッサは、
　第ｎ－１の前記入力フレームから第ｎの前記入力フレームへの動きの量及び方向を示す情報である第ｎ－１の動き情報を取得し、
　第ｎ－１の前記動き情報に基づいて、第ｎ－１の前記累積特徴情報に対して動き補償を適用することにより、第ｎ－１の前記補助情報を取得する、
　請求項２又は３に記載の画像処理システム。
　前記少なくとも一つのプロセッサは、
　第ｎ－１の前記入力フレームの各画素の深度を示す第ｎ－１の深度情報と、第ｎの前記入力フレームの各画素の深度を示す第ｎの深度情報と、を取得し、
　第ｎ－１の前記深度情報と、第ｎの前記深度情報と、に基づいて、第ｎの前記中間フレームの画素のうち、第ｎ－１の前記中間フレームでは表示されていない前記オブジェクトの全部又は一部が表示されている画素である第ｎの出現画素を特定し、
　第ｎ－１の前記累積特徴情報における第ｎの前記出現画素の画素値を所定の値に置換することにより、第ｎ－１の前記補助情報を取得する、
　請求項４に記載の画像処理システム。
　前記累積特徴情報出力層は、第１の前記中間フレームと、所与の補助情報と、が入力され、第１の前記累積特徴情報を出力する、
　請求項１又は２に記載の画像処理システム。
　前記累積特徴情報は、前記中間画素数と同数の画素数を有する画像情報である、
　請求項１又は２に記載の画像処理システム。
　前記色変化画素は、無限大または非数であることを表す情報によって表される、
　請求項１又は２に記載の画像処理システム。
　プロセッサが、
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得し、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記プロセッサが、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定し、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得し、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　画像処理方法。
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレームをそれぞれ取得する入力フレーム取得手段、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得する中間フレーム取得手段、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得する推定フレーム取得手段、
　としてコンピュータを機能させるためのプログラムであって、
　前記機械学習モデルは、
　第ｎの前記中間フレーム（ｎ＝２，３，…，Ｎ）と、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記プログラムはさらに、
　オブジェクトのテクスチャ情報に基づいて、第ｎの前記中間フレームにおけるオブジェクトの動きに依らず変化する色情報を含む第ｎの色変化画素を特定する特定手段、
　第ｎの前記累積特徴情報における前記色変化画素の画素値を所定の値に置換することにより、第ｎの前記補助情報を取得する補助情報取得手段、
　として前記コンピュータを機能させ、
　前記機械学習モデルは、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記色変化画素が所定の値に置換された前記補助情報と、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　プログラム。