WO2025005017A1 - 検査システム、検査方法及び検査プログラム - Google Patents

Abstract

元となる低画質の動画像の各フレームに含まれる情報が正しいものであるか容易に判別することが可能な検査システム、検査方法及び検査プログラムを提供する。プロセッサと、プロセッサにより実行される命令と、複数の訓練データにより学習された機械学習モデルと、を記憶する記憶部と、表示部と、を含むゲームプログラムの検査システムであって、記憶部は、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、プロセッサは、ユーザの指示により記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の付属情報を編集し、機械学習モデルは、第１から第ｎ―１までの入力フレーム及び付属情報と、第ｎの入力フレーム及び編集された付属情報と、に基づいて、入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、表示部は、第ｎの推定フレームを表示する。

Description

検査システム、検査方法及び検査プログラム

　本開示は、検査システム、検査方法及び検査プログラムに関する。

　従来、機械学習モデルを用いて、低画質の静止画像に基づいて高画質の静止画像を推定する技術（超解像）が知られている（下記非特許文献１参照）。

Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang. Learning a Deep Convolutional Network for Image Super-Resolution, in Proceedings of European Conference on Computer Vision (ECCV), 2014

　動画像の超解像においては、処理対象となる各フレームの情報のみならず、該フレームの過去フレームの情報を考慮することで、より高画質な動画像を推定することができると考えられる。一方、高画質の動画像の推定にあたって過去フレームの情報が考慮された画像を推定する画像処理システムでは、当該システムに入力するフレームごとに各フレームに含まれる情報が正しいものであるか判別することが困難である。

　本開示は、過去フレームの情報を利用して、低画質の動画像に基づいて高画質の動画像を推定する画像処理手法において、元となる低画質の動画像の各フレームに含まれる情報が正しいものであるか容易に判別することが可能な検査システム、検査方法及び検査プログラムを提供することを目的とする。

　本開示に係るゲームプログラムの検査システムは、プロセッサと、前記プロセッサにより実行される命令と、複数の訓練データにより学習された機械学習モデルと、を記憶する記憶部と、表示部と、を含むゲームプログラムの検査システムであって、前記記憶部は、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、前記プロセッサは、ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集し、前記機械学習モデルは、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、前記表示部は、第ｎの前記推定フレームを表示する。

画像処理システム及び検査システムのハードウェア構成の一例を示す図である。 画像処理システムの概要を示す図である。 画像処理システムの処理を模式的に示す図である。 画像処理システムで実現される機能の一例を示す機能ブロック図である。 レンダリング部の処理を説明する図である。 中間フレーム取得部における処理を説明する図である。 画像処理システムで実行される処理の流れの一例を示すフロー図である。 検査システムで実行される処理を説明する図である。 検査システムで実行される処理を説明する図である。 各フレームにおいてレンダリング情報記憶部が記憶する情報を示す図である。

　以下、本開示に係る画像処理システムの実施形態の一例について、図面を参照しながら説明する。

［１．画像処理システムのハードウェア構成］
　図１は、画像処理システム１及び検査システム２のハードウェア構成の一例を示す図である。画像処理システム１は、例えばゲームコンソール（ゲーム機）等のコンピュータである。検査システム２は、例えばゲームプログラムを作成するためのプログラムがインストールされたコンピュータである。図１に示すように、画像処理システム１及び検査システム２は、制御部１０、記憶部１２、通信部１４、操作部１６、表示部１８及び音声出力部１９を含む。

　制御部１０は、例えば画像処理システム１及び検査システム２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスを含む。また、制御部１０は、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）も含む。

　記憶部１２は、例えばＲＯＭやＲＡＭ等の主記憶装置及びＨＤＤやＳＳＤ等の補助記憶装置を含む。記憶部１２には、制御部１０によって実行されるプログラムなどが記憶される。記憶部１２は、プロセッサにより実行される命令と、複数の訓練データにより学習された機械学習モデルと、を記憶する。例えば、記憶部１２は、後述する画像処理システム１の各種機能を実現するためのプログラムに加えて、例えばゲームプログラム（ゲームソフトウェア）を記憶する。また、記憶部１２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

　通信部１４は、例えばイーサネット（登録商標）モジュールや無線ＬＡＮモジュール等の通信インタフェースである。

　操作部１６は、キーボードやマウス、ゲームコンソールのコントローラ等のユーザインタフェースであり、ユーザの操作入力を受け付けて、その内容を示す信号を制御部１０に出力する。

　表示部１８は、液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスであり、制御部１０の指示に従って各種の画像を表示する。

　音声出力部１９は、例えばスピーカ等であり、画像処理システム１が生成する音声データが示す音声を出力する。

　なお、画像処理システム１は、上記したデバイスの他に、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスク等の光ディスクを読み取る光ディスクドライブや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート等を含んでいてもよい。

［２．画像処理システムの概要］
　図２は、画像処理システム１の概要を示す図である。図３は、画像処理システム１の処理を模式的に示す図である。本実施形態では、画像処理システム１が、ゲームにおけるプレイ動画像の画質向上に利用される場合を例示する。プレイ動画像は、制御部１０が実行するゲームプログラムや操作部１６が受け付けるユーザの入力等に応じて生成される動画像であり、時系列データである複数の静止画像（フレーム）から構成される。画像処理システム１で行われる処理は主に以下の通りである。

（１）入力フレームの生成
　まず画像処理システム１は、所定の視点から見た一以上のゲームオブジェクトを示す３次元データのレンダリングを実行することにより、該ゲームオブジェクトが描画された画像（入力フレーム）を生成する。この入力フレームは、所定の画素数（入力画素数）及び所定の画質（入力画質）を有する画像である（図３参照）。入力フレーム２０は、色情報によって構成される。入力フレームは所定時間毎に生成される。入力フレームの画素数は、例えば１９２０×１０８０（１０８０ｐ）である。生成された各入力フレームは、そのまま表示部１８に表示されるのではなく、一旦記憶部１２に格納され、以降の処理に供される。なお、以降の説明においては、ｎ番目の（第ｎの）入力フレーム２０＿ｎを対象とする処理を主に例示するが、同様の処理は他の入力フレームに対しても実行される（すなわち、ｎ＝２，３，…，Ｎ）。

（２）中間フレームの取得
　画像処理システム１は、取得された入力フレーム２０＿ｎに基づいて、入力画素数より多い画素数（中間画素数）を有するフレーム（中間フレーム）２２＿ｎを取得する。中間画素数は、例えば３８４０×２１６０（４Ｋ）である。具体的には、入力フレーム２０＿ｎに対して拡大及び補間処理が実行されることにより、中間フレーム２２＿ｎが生成される（図３参照）。

　ここで、中間フレーム２２＿ｎは入力フレーム２０＿ｎの画素数より多い画素数を有するものの、その画質は必ずしも十分には改善されていないことに留意されたい。すなわち、フレームの画質とは、単に画素数の多さ（解像度の高さ）をいうのではない。フレームの画質は、例えば、基準となるフレームと比較した際の、ＳＮ比の高さ、空間周波数の再現性の高さ、時間安定性の高さ（複数のフレームを連続表示した際におけるアーティファクトやちらつきの少なさ）等のそれぞれ又はこれらの総合考慮に基づいて評価されてよい。

（３）推定フレームの取得
　画像処理システム１は、中間フレーム２２＿ｎを機械学習モデル２００に入力し、推定フレーム２４＿ｎを取得する。推定フレーム２４＿ｎは、中間画素数と同数の画素数（推定画素数）及び入力画質以上の画質である画質（推定画質）を有する画像である（図３参照）。

　ここで、機械学習モデル２００には、中間フレーム２２＿ｎに加えて、第ｎ－１の補助情報２８＿ｎ－１が入力される（図２、図３参照）。補助情報２８＿ｎ－１は、第１～第ｎ－１の中間フレーム２２の特徴を示す第ｎ－１の累積特徴情報２６＿ｎ－１に基づく情報である。累積特徴情報２６及び補助情報２８の詳細については後述する。

　なお、機械学習モデル２００は、入力画素数及び入力画質を有する学習入力フレームに基づいて生成された中間画素数を有する学習中間フレームと、推定画素数及び推定画質を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたモデルである。機械学習モデル２００の詳細については後述する。

（４）累積特徴情報の取得
　機械学習モデル２００は、中間フレーム２２＿ｎと、補助情報２８＿ｎ－１と、が入力され、第１～第ｎの中間フレーム２２の特徴を示す第ｎの累積特徴情報２６＿ｎを出力する累積特徴情報出力層２０２を有する（図２参照）。画像処理システム１は、第ｎの累積特徴情報２６＿ｎを取得する。

　取得された第ｎの累積特徴情報２６＿ｎは、推定フレーム出力層２０４に入力され、推定フレーム出力層２０４からは第ｎの推定フレーム２４＿ｎが出力される（図２参照）。なお、取得された第ｎの累積特徴情報２６＿ｎは、記憶部１２にも格納され、次の入力フレーム（第ｎ＋１の入力フレーム）２０＿ｎ＋１に対応する推定フレーム２４＿ｎ＋１の推定に供される。

（５）補助情報の取得
　第ｎ－１の累積特徴情報２６＿ｎ－１は、前述の通り、第１～第ｎ－１の中間フレーム２２（ひいては第１～第ｎ－１の入力フレーム２０）の特徴を示す情報である。このように過去の入力フレーム２０の情報が蓄積された累積特徴情報２６＿ｎ－１を第ｎの推定フレーム２４＿ｎの推定に利用すれば、推定に利用可能な情報が増えるので、高画質な推定フレーム２４＿ｎを得ることができる。

　しかしながら、第ｎ－１の入力フレーム２０＿ｎ－１と第ｎの入力フレーム２０＿ｎとの間で、表示されるゲームオブジェクトに動き等があった場合、第ｎの中間フレーム２２＿ｎと累積特徴情報２６＿ｎ－１とがそのまま機械学習モデル２００に入力されると、第ｎ－１の入力フレーム２０＿ｎ－１に表示されていたゲームオブジェクトの残像が表示されてしまう現象（いわゆるゴースト現象）が発生しうる。

　そこで、画像処理システム１は、累積特徴情報２６＿ｎ－１に対して、レンダリングの際に得られる付属情報（動きベクトルや深度バッファ等）に基づく、後述する種々の補正を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する（図２、図３参照）。取得された第ｎ－１の補助情報２８＿ｎ－１は、前述の通り、第ｎの中間フレーム２２＿ｎとともに機械学習モデル２００に入力され、第ｎの推定フレーム２４＿ｎの推定に供される。

　以上に説明したように、本実施形態に係る画像処理システム１によれば、現在の入力フレーム２０に対応する中間フレーム２２に加えて、過去の情報が蓄積された補助情報２８を用いて、推定フレーム２４を推定する。これにより、推定に利用可能な情報が増えるので、高画質な推定フレーム２４＿ｎを得ることができる。以下、画像処理システム１の詳細について説明する。

［３．画像処理システムで実現される機能］
　図４は、画像処理システム１及び検査システム２で実現される機能の一例を示す機能ブロック図である。図４に示すように、画像処理システム１では、ゲーム処理部３００、レンダリング部３０２、レンダリング情報記憶部３０４、入力フレーム取得部３０６、変動情報取得部３０８、中間フレーム取得部３１０、機械学習モデル記憶部３１２、推定フレーム取得部３１４、動き情報取得部３１６、深度情報取得部３１８、出現画素特定部３２０及び補助情報取得部３２２が実現される。検査システム２では、画像処理システム１の各部に加えて、編集部３２４、付属情報処理部３２６及び表示部３２８が実現される。ゲーム処理部３００、レンダリング部３０２、入力フレーム取得部３０６、変動情報取得部３０８、中間フレーム取得部３１０、推定フレーム取得部３１４、動き情報取得部３１６、深度情報取得部３１８、出現画素特定部３２０、補助情報取得部３２２、編集部３２４及び付属情報処理部３２６は、主に制御部１０により実現される。レンダリング情報記憶部３０４及び機械学習モデル記憶部３１２は、主に記憶部１２により実現される。表示部３２８としての機能は、主にデバイスである表示部１８により実現される。なお、ゲーム処理部３００、レンダリング部３０２及びレンダリング情報記憶部３０４は、ゲームソフトウェアにより提供される機能である。

［ゲーム処理部］
　ゲーム処理部３００は、ゲームに関する種々の処理を実行する。ゲーム処理部３００は、例えば、制御部１０が実行するゲームプログラムや操作部１６が受け付けるユーザの入力に応じて、仮想３次元空間ＶＳにゲームオブジェクトＯを配置する処理や、ゲームオブジェクトＯを動作させ又は移動させる処理、仮想３次元空間ＶＳを見る視点Ｃを変更する処理等を実行する（図５参照）。ゲームオブジェクトＯは、３次元データが示すポリゴン等のプリミティブにより構成される。３次元データは、頂点の位置等を示す幾何情報と、頂点同士をどのように結ぶかを示す位相情報と、色等の属性情報と、を含む。

［レンダリング部］
　図５は、レンダリング部３０２の処理を説明する図である。レンダリング部３０２は、所定の視点Ｃから見た一以上のゲームオブジェクトＯを示す３次元データのレンダリング（描画処理）を実行することにより、第１～第Ｎ（Ｎは２以上の自然数である。）の入力フレーム２０を生成する。レンダリング部３０２は、ゲーム処理部３００で実行される種々の処理の結果に基づいてレンダリングを実行する。レンダリング部３０２は、具体的には、仮想３次元空間ＶＳに配置されたゲームオブジェクトＯを示す３次元データに基づいて、頂点処理（頂点シェーディング）及び画素処理（ピクセルシェーディング）を実行する。頂点処理は、ビュー座標系からスクリーン座標系への座標変換処理（透視投影）を含み、該座標変換処理に用いられる透視投影行列（カメラ行列）には、後述するように、視点Ｃの変動に係る数値が加えられる。レンダリング部３０２は、光源情報や深度情報（デプスバッファ）、テクスチャ情報、法線情報等に基づいて、レンダリングを実行してもよい。レンダリング部３０２は、上記の処理の他、例えば、被写界深度（ＤｏＦ）やモーションブラー等のエフェクトを適用する処理を実行してもよい。レンダリング部３０２の処理は、ゲームソフトウェアの開発者等が適宜設定してよい。ここで、ゲームソフトウェアェアの開発者等は、推定フレーム２４の推定画素数等に応じて、テクスチャのＭＩＰを調整してよい。これにより、推定フレーム２４において、モアレ等のノイズの発生を抑制することができる。

　ここで、レンダリング部３０２は、視点Ｃが入力フレーム２０毎に変動するようにレンダリングを実行することにより、各入力フレーム２０を生成する。ここで、ゲーム処理部３００が視点Ｃを所定の位置に固定させていたとしても、レンダリング部３０２は、入力フレーム２０毎に視点Ｃに変動を加える。その結果、図５に示すように、入力フレーム２０＿ｎ，２０＿ｎ＋１，２０＿ｎ＋２のそれぞれにおいて、表示されるゲームオブジェクトＯの位置が変動している。換言すれば、レンダリング部３０２は、各入力フレーム２０の生成の際に、ジッター（Ｊｉｔｔｅｒ）を適用している。レンダリング部３０２は、具体的には、入力フレーム２０毎に異なる、一画素未満の大きさに対応する数値を透視投影行列に加えることにより、視点Ｃを入力フレーム２０毎に変動させる。レンダリング部３０２は、所定の規則に従って視点Ｃを入力フレーム２０毎に変動させる。そのような規則としては、例えばＨａｌｔｏｎ列が利用可能である。

［レンダリング情報記憶部］
　レンダリング情報記憶部３０４は、レンダリング部３０２でのレンダリング処理に必要な情報及びレンダリング処理の結果得られる情報を記憶する。例えば、レンダリング情報記憶部３０４は、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレーム２０を記憶する。また、レンダリング情報記憶部３０４は、入力フレーム２０とともに該入力フレーム２０ごとの付属情報を記憶する。付属情報は、変動情報、動き情報及び深度情報を含む。付属情報の詳細については後述する。また、レンダリング情報記憶部３０４は、付属情報に基づいて生成された情報（出現画素情報及び補助情報２８）を記憶する。その他、レンダリング情報記憶部３０４は、座標変換に用いるパラメータや、光源情報、テクスチャ情報、法線情報等を記憶してよい。

［入力フレーム取得部］
　入力フレーム取得部３０６は、第１～第Ｎの入力フレーム２０をそれぞれ取得する。具体的には、入力フレーム取得部３０６は、レンダリング情報記憶部３０４に記憶された第１～第Ｎの入力フレーム２０をそれぞれ取得する。

［変動情報取得部］
　変動情報取得部３０８は、変動情報を取得する。変動情報取得部３０８は、レンダリング情報記憶部３０４に記憶された変動情報を取得する。変動情報は、具体的には、変動前と変動後との間での視点Ｃの変動量を示す情報である。変動量を示す情報は、変動の方向及び距離を示す変動ベクトルであるということもできる。例えば、前述したＨａｌｔｏｎ列に視点Ｃの変動量を示す情報が含まれているため、その情報を変動情報として用いてよい。

［中間フレーム取得部］
　中間フレーム取得部３１０は、各入力フレーム２０に基づいて、該入力フレーム２０に対応するとともに入力画素数以上の中間画素数を有する中間フレーム２２を生成することにより、第１～第Ｎの中間フレーム２２をそれぞれ取得する。本実施形態では、各中間フレーム２２は、入力画素数より多い中間画素数を有する。すなわち、本実施形態では，各中間フレーム２２は、該中間フレーム２２に対応する入力フレーム２０を拡大した画像である。

　具体的には、中間フレーム取得部３１０は、変動情報と、各入力フレーム２０の各画素と、に基づいて、該入力フレーム２０における、変動前の各画素に相当する位置の画素値を補間により求め、各中間フレーム２２を生成する。図６は、中間フレーム取得部３１０における処理を説明する図である。図６では、第ｎの中間フレーム２２＿ｎを求める場合を例示する。例えば、図６に示すように、取得しようとする中間フレーム２２＿ｎにおけるある画素の画素中心がＰ１，０であるとすると、中間フレーム取得部３１０は、入力フレーム２０＿ｎにおけるＰ１，０に最も近い４つの画素それぞれの画素中心Ｐ’０，０，Ｐ’１，０，Ｐ’０，１，Ｐ’１，１の座標及び画素値に基づいて、Ｐ１，０の画素値を双一次（バイリニア）補間により求める。ここで、Ｐ’１，０は、変動情報が示す変動量の分だけＰ１，０からずれた位置にある。拡大処理により新たに生成された画素の画素値についても、同様にして求められる。なお、補間の方法としては、バイリニア補間の他にも、双三次（バイキュービック）補間やＬａｎｃｚｏｓ補間等、種々の公知の手法が利用可能である。

　視点Ｃが入力フレーム２０毎に変動するようにレンダリングを実行すると、時系列の情報量が増えるところ、そのようにして得られた各入力フレーム２０（以下、「変動入力フレーム」という。）を推定に利用すれば、より高画質な推定フレーム２４を得ることができる。

　一方、変動入力フレーム（又はこれを拡大した画像）をそのまま機械学習モデル２００に入力すると、上記の視点Ｃの変動の影響により、推定の確度が低下しまうおそれもある。

　そこで、画像処理システム１では、前述したように、変動情報と、各入力フレーム２０の各画素と、に基づいて、該入力フレーム２０における、変動前の各画素に相当する位置の画素値を補間により求め、各中間フレーム２２を生成し、これを機械学習モデル２００に入力するようにした。これにより、視点Ｃの変動の影響が補正されるので、推定の確度が低下しまうことを抑制することができる。

［機械学習モデル］
　機械学習モデル２００は、第ｎの中間フレーム２２＿ｎに基づいて、第ｎの推定フレーム２４＿ｎを推定するモデルである。具体的には、機械学習モデル２００は、第ｎの中間フレーム２２＿ｎ及び第ｎ－１の補助情報２８＿ｎ－１に基づいて、第ｎの推定フレーム２４＿ｎを推定するモデルである。なお、機械学習モデル２００は画像処理システム１検査の一部としても機能するし、システム２の一部としても機能する。どちらの場合でも機械学習モデル２００は同一であるが、機械学習モデル２００が検査システム２の一部として機能する場合には、第１から第ｎ－１までの入力フレーム２０及び付属情報と、第ｎの入力フレーム２０＿ｎ及び編集された付属情報と、に基づいて、入力画素数以上の推定画素数を有する第ｎの推定フレームを出力する。機械学習モデル２００は、具体的には、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）である。機械学習モデル２００としては、例えば、残差接続機構を有する多層構造のＲｅｓＮｅｔや、いわゆるエンコーダ－デコーダ型のＵ－Ｎｅｔ等、公知のモデルが利用可能である。機械学習モデル２００として、非特許文献１に記載のモデルを利用してもよい。

　機械学習モデル２００は、入力画素数を有する学習入力フレームに基づいて生成された中間画素数を有する学習中間フレームと、推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたモデルである。機械学習モデル２００の学習には、誤差逆伝播法等の種々の公知の手法が利用可能である。

　機械学習モデル２００は、具体的には、累積特徴情報出力層２０２と、推定フレーム出力層２０４と、畳み込み層２０６と、を含む（図２参照）。

　累積特徴情報出力層２０２は、第ｎの中間フレーム２２＿ｎと、第１～第ｎ－１の中間フレーム２２の特徴を示す第ｎ－１の累積特徴情報２６＿ｎ－１に基づく第ｎ－１の補助情報２８＿ｎ－１と、が入力され、第１～第ｎの中間フレーム２２＿ｎの特徴を示す第ｎの累積特徴情報２６＿ｎを出力する。累積特徴情報出力層２０２は、例えば一以上の畳み込み層により構成されてよい。累積特徴情報２６＿ｎ－１は、中間画素数と同数の画素数を有する画像情報（ビットマップ形式の情報）である。累積特徴情報２６＿ｎ－１は、第１～第ｎ－１の中間フレーム２２の特徴を示す特徴マップであるということもできる。

　なお、累積特徴情報出力層２０２は、第１の中間フレーム２２＿１と、所与の補助情報と、が入力され、第１の累積特徴情報２６＿１を出力する。ｎ＝１の場合、それ以前の累積特徴情報２６及び補助情報２８が存在しないため、予め用意した所与の補助情報が、第１の中間フレーム２２＿１ともに累積特徴情報出力層２０２に入力される。

　推定フレーム出力層２０４は、第ｎの累積特徴情報２６＿ｎが入力され、第ｎの推定フレーム２４＿ｎを出力する。推定フレーム出力層２０４は、累積特徴情報出力層２０２と同様、例えば一以上の畳み込み層により構成されてよい。或いは、推定フレーム出力層２０４は、一以上の転置畳み込み層（逆畳み込み層）により構成されてもよい。

　畳み込み層２０６は、累積特徴情報２６の画素数を維持しつつそのチャンネル数を減少させる層である。畳み込み層２０６から出力された累積特徴情報２６は、補助情報取得部３２２での処理に供される。畳み込み層２０６によれば、累積特徴情報２６の次元が削減されるので、計算コストを抑えることができる。畳み込み層２０６は、例えばカーネルサイズが１×１の畳み込み層であるが、これに限定されない。

［機械学習モデル記憶部］
　機械学習モデル記憶部３１２は、機械学習モデル２００を記憶する。具体的には、機械学習モデル記憶部３１２は、機械学習モデル２００のパラメータ（畳み込み層の数や各畳み込み層に使用されるノード数、各ノードの重み等）を記憶する。

［推定フレーム取得部］
　推定フレーム取得部３１４は、各中間フレーム２２を機械学習モデル２００に入力して、入力画素数より多く中間画素数以上の推定画素数を有する第１～第Ｎの推定フレーム２４をそれぞれ取得する。本実施形態では、推定フレーム２４は、中間画素数と同数の推定画素数を有する。推定フレーム取得部３１４は、より具体的には、第ｎの中間フレーム２２＿ｎ及び第ｎ－１の補助情報２８＿ｎ－１を機械学習モデル２００に入力して、第ｎの推定フレーム２４＿ｎを取得する。

［動き情報取得部］
　動き情報取得部３１６は、第ｎ－１の入力フレーム２０＿ｎ－１から第ｎの入力フレーム２０＿ｎへの動きの量及び方向を示す情報である第ｎの動き情報を取得する。具体的には、例えば、第ｎの動き情報は、第ｎの入力フレームに付属する付属情報に含まれる動き情報である。また、第ｎの動き情報は、中間画素数と同数の画素を有する情報である。動き情報は、第ｎ－１の入力フレーム２０＿ｎ－１と第ｎの入力フレーム２０＿ｎとの間における各画素の動きの量及び方向を示す画像情報である（ビットマップ形式の情報）。動き情報は、モーションベクトル（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）とも呼ばれる。動き情報取得部３１６は、具体的には、入力画素数と同数の画素数を有する動き情報を取得し、該動き情報に対して拡大及び補間処理を実行することにより、中間画素数と同数の画素を有する動き情報を取得する。以下、入力画素数と同数の画素数を有する動き情報を元動き情報とも呼称する。

［深度情報取得部］
　深度情報取得部３１８は、第ｎ－１の入力フレーム２０＿ｎ－１の各画素の深度を示す第ｎ－１の深度情報と、第ｎの入力フレーム２０＿ｎの各画素の深度を示す第ｎの深度情報と、を取得する。深度情報は、具体的には、中間画素数と同数の画素を有する画像情報である（ビットマップ形式の情報）。深度情報は、深度バッファ、Ｚバッファ又はデプスバッファとも呼ばれる。深度情報取得部３１８は、具体的には、入力画素数と同数の画素数を有する深度情報を取得し、該深度情報に対して拡大及び補間処理を実行することにより、中間画素数と同数の画素を有する深度情報を取得する。以下、入力画素数と同数の画素数を有する深度情報を元深度情報とも呼称する。

［出現画素特定部］
　出現画素特定部３２０は、第ｎ－１の深度情報と、第ｎの深度情報と、に基づいて、第ｎの中間フレーム２２＿ｎの画素のうち、第ｎ－１の中間フレーム２２＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている画素である第ｎの出現画素２２２＿ｎを特定する（図３参照）。出現画素特定部３２０は、具体的には、第ｎ－１の深度情報と、第ｎの深度情報と、の差分に基づいて、第ｎの出現画素２２２＿ｎを特定する。なお、出現画素特定部３２０は、第ｎ－１の中間フレーム２２＿ｎ－１に係る第ｎ－１の透視投影行列と、第ｎの中間フレーム２２＿ｎに係る第ｎの透視投影行列と、に基づいて、第ｎの出現画素２２２＿ｎを特定してもよい。また、出現画素特定部３２０は、第ｎ－１の動き情報を利用して第ｎの出現画素２２２＿ｎを特定してもよい。なお、出現画素特定部３２０は、より具体的には、第ｎの出現画素２２２＿ｎを特定し、第ｎの出現画素２２２＿ｎの位置を示す画像情報である第ｎの出現画素情報を生成する。

［補助情報取得部］
　補助情報取得部３２２は、第ｎ－１の動き情報（元動き情報を除く）に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１に対して動き補償を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。動き補償とは、例えば、第ｎ－１の中間フレーム２２＿ｎ－１では位置ｘにある画素が、第ｎの中間フレーム２２＿ｎでは位置ｘ’に動いていた場合において、第ｎ－１の累積特徴情報２６＿ｎの位置ｘにある画素を位置ｘ’に移動させる処理をいう（図３参照）。すなわち、補助情報取得部３２２は、第ｎ－１の動き情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１の一以上の画素のそれぞれの画素値を、該画素の動きの量及び方向に従って移動した位置の画素に設定することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。

　第ｎの入力フレーム２０＿ｎと第ｎ－１の入力フレーム２０＿ｎ－１との間でゲームオブジェクトＯに動きがあった場合に、第ｎの推定フレーム２４＿ｎを取得する際、第ｎの中間フレーム２２＿ｎと第ｎ－１の累積特徴情報２６＿ｎ－１とをそのまま機械学習モデル２００に入力してしまうと、出力される第ｎの推定フレーム２４＿ｎにおいて、第ｎの中間フレーム２２＿ｎに表示されていたゲームオブジェクトＯの残像が表示されてしまうゴースト現象が発生しうる。

　そこで、画像処理システム１では、上記のように、第ｎ－１の動き情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１に対して動き補償を適用することにより、第ｎ－１の補助情報２８＿ｎ－１を取得し、第ｎの推定フレーム２４＿ｎを取得する際、この第ｎ－１の補助情報２８＿ｎ－１を機械学習モデル２００に入力するようにした。これにより、上記のゴースト現象を抑制することができる。

　また、補助情報取得部３２２は、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。補助情報取得部３２２は、具体的には、第ｎの出現画素情報に基づいて、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得する。所定の値は、例えば０（黒）等の一定値であってもよいし、第ｎの中間フレーム２２＿ｎにおける第ｎの出現画素２２２＿ｎの画素値であってもよい。

　第ｎの入力フレーム２０＿ｎにおいて、第ｎ－１の入力フレーム２０＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている場合に、第ｎの推定フレーム２４＿ｎを取得する際、第ｎの中間フレーム２２＿ｎと第ｎ－１の累積特徴情報２６＿ｎ－１とをそのまま機械学習モデル２００に入力してしまうと、出力される第ｎの推定フレーム２４＿ｎにおいて、前述のゴースト現象が発生しうる。

　そこで、画像処理システム１では、上記のように、第ｎの中間フレーム２２＿ｎの画素のうち、第ｎ－１の中間フレーム２２＿ｎ－１では表示されていないゲームオブジェクトＯの全部又は一部が表示されている画素である第ｎの出現画素２２２＿ｎを特定し、第ｎ－１の累積特徴情報２６＿ｎ－１における第ｎの出現画素２２２＿ｎの画素値を所定の値に置換することにより、第ｎ－１の補助情報２８＿ｎ－１を取得するようにした。これにより、上記のゴースト現象を抑制することができる。

［編集部］
　編集部３２４は、ユーザの指示によりレンダリング情報記憶部３０４に記憶された第ｎの付属情報を編集する。具体的には、例えば、編集部３２４は、ユーザが選択した第ｎの入力フレーム２０＿ｎに付属する動き情報の値を、ユーザが指定した値に変更する。ここで、変更される動き情報は、入力画素数と同数の画素数を有する動き情報（すなわち元動き情報）である。変更された動き情報の値は、第ｎの入力フレーム２０＿ｎの他の付属情報と関連付けてレンダリング情報記憶部３０４に記憶される。なお、ユーザの指示により編集される付属情報は、動き情報に限られず変動情報または深度情報であってもよい。

［付属情報処理部］
　付属情報処理部３２６は、第ｎの付属情報に基づいて、第ｎ－１の入力フレーム２０＿ｎ－１に対して付属情報を適用した画像と、第ｎの入力フレーム２０＿ｎが表す画像と、の差分画像を生成する。具体的には、例えば、付属情報処理部３２６は、第ｎの動き情報に基づいて、第ｎ－１の入力フレーム２０＿ｎ－１に対して動き補償を適用した画像と、第ｎの入力フレーム２０＿ｎが表す画像と、の差分画像を生成する。

［表示部］
　表示部３２８は、第ｎの推定フレーム２４＿ｎを表示する。具体的には、例えば、表示部３２８は、推定フレーム取得部３１４が、第ｎの中間フレーム２２＿ｎ及び第ｎ－１の補助情報２８＿ｎ－１を機械学習モデル２００に入力して取得した第ｎの推定フレーム２４＿ｎを表示する。また、表示部３２８は、付属情報処理部３２６が生成した差分画像を表示する。その他、表示部３２８は、レンダリング情報記憶部３０４に記憶された入力フレーム２０及び各付属情報を表示する。表示部３２８は、推定フレーム２４、各付属情報、差分画像のうち、ユーザに選択された一部または全部を並べて表示してもよい。

［４．画像処理システムで実行される処理］
　図７は、画像処理システム１で実行される処理の流れの一例を示すフロー図である。図７に示す処理は、制御部１０が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。

（１）ｎ＝１における処理
　まず、制御部１０は、第１の入力フレーム２０＿１を取得する（Ｓ７００）。制御部１０は、第１の入力フレーム２０＿１に基づいて、第１の中間フレーム２２＿１を取得する（Ｓ７０２）。そして、制御部１０は、第１の中間フレーム２２＿１と、所与の補助情報と、を機械学習モデル２００に入力し、第１の推定フレーム２４＿１と、第１の累積特徴情報２６＿１と、を取得する（Ｓ７０４）。

（２）ｎ≧２における処理
　制御部１０は、第ｎの入力フレーム２０＿ｎを取得する（Ｓ７０６）。制御部１０は、第ｎの入力フレーム２０＿ｎに基づいて、第ｎの中間フレーム２２＿ｎを取得する（Ｓ７０８）。

　次いで、制御部１０は、第ｎ－１の動き情報を取得する（Ｓ７１０）。また、制御部１０は、第ｎ－１の深度情報と、第ｎの深度情報と、を取得し（Ｓ７１２）、第ｎ－１の深度情報と、第ｎの深度情報と、に基づいて、第ｎの出現画素２２２＿ｎを特定する（Ｓ７１４）。制御部１０は、第ｎ－１の累積特徴情報２６＿ｎ－１と、第ｎ－１の動き情報と、第ｎの出現画素２２２＿ｎと、に基づいて、第ｎ－１の補助情報２８＿ｎ－１を取得する（Ｓ７１６）。そして、制御部１０は、第ｎの中間フレーム２２＿ｎと、第ｎ－１の補助情報２８＿ｎ－１と、を機械学習モデル２００に入力し、第ｎの推定フレーム２４＿ｎと、第ｎの累積特徴情報２６＿ｎと、を取得する（Ｓ７１８）。制御部１０は、次のフレームが存在するか否かを判定し（Ｓ７２０）、次のフレームが存在すると判定した場合には（Ｓ７２０；Ｙ）、ｎ＝ｎ＋１にインクリメントし、Ｓ７０６～Ｓ７１８の処理を繰り返す。制御部１０は、次のフレームが存在しないと判定した場合には（Ｓ７２０；Ｎ）、本処理を終了する。なお、制御部１０は、次のフレームが存在しないと判定した場合に（Ｓ７２０；Ｎ）、そのまま第１～第Ｎの推定フレーム２４を表示部１８に表示させてもよい。

［５．検査システムで実行される処理］
　図８乃至図１０を参照しながら、一例としてユーザの指示により動き情報が編集された場合における検査システム２で実行される処理及び検査方法について説明する。本処理で編集される付属情報は動き情報のうちの元動き情報である。図８及び図９は、当該処理によって変化する入力フレーム２０や差分画像を表している。図８及び図９に示す処理は、制御部１０が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。図１０は、各フレームにおいて、レンダリング情報記憶部３０４が記憶する情報を表している。図８乃至図１０において、入力フレームは「Ｃｏｌｏｒ」、動き情報（元動き情報）は「ＭＶ」、深度情報（元深度情報）は「Ｄｅｐｔｈ」及び「Ｐｒｅｖ　Ｄｅｐｔｈ」、出現画素情報は「Ｅｘｐｏｓｕｒｅ」、補助情報を「ＲＦＭ」と表記する。なお、「Ｐｒｅｖ　Ｄｅｐｔｈ」は「Ｄｅｐｔｈ」の１フレーム前の深度情報を意味する。また、ｎ番目のフレームに属する情報であることを表すために各情報に（ｎ）を付して表記する。

　図８の（ａ）は、第ｎの動き情報、すなわち、第ｎ－１の入力フレームから第ｎの入力フレームにかけて、ゲームオブジェクトＱが動いた量及び方向を表すモーションベクトルを示す図である。なお、図８乃至図１０の説明においては説明を簡易にするため、各フレームの情報は、所定の視点から見たときに含まれるゲームオブジェクトがゲームオブジェクトＱのみであって他のゲームオブジェクトを含まない場合について説明する。図８の(a)に示すように、第ｎの動き情報であるＭＶ（ｎ）は、球体のゲームオブジェクトＱが第ｎ－１の入力フレームから第ｎの入力フレームにかけて左下から右上に向かって移動する情報であることを表している。矢印の向きは、第ｎの入力フレーム２０＿ｎのゲームオブジェクトから第ｎ－１の入力フレーム２０＿ｎ－１のゲームオブジェクトに向かう方向としている。

　図８の（ｂ）は、第ｎ－１の入力フレーム２０＿ｎ－１、すなわち、色情報Ｃｏｌｏｒ（ｎ－１）を示す図である。また、図８の（ｃ）は、第ｎの入力フレーム２０＿ｎ、すなわち、色情報Ｃｏｌｏｒ（ｎ）を示す図である。図８の（ｂ）及び（ｃ）はいずれも、ある視点から見たゲームオブジェクトＱが、背景の中の所定位置に表示されていることを表している。また、図８の（ｂ）は、（ｃ）の１フレーム前の入力フレーム２０であり、図８の（ｂ）に表されたゲームオブジェクトＱは、図８の（ｃ）に表されたゲームオブジェクトＱよりも左下に位置している。図８の（ａ）乃至（ｃ）はいずれもレンダリング部３０２が生成し、レンダリング情報記憶部３０４に記憶された情報である。

　付属情報処理部３２６は、第ｎの動き情報に基づいて、第ｎ－１の入力フレーム２０＿ｎに対して動き補償を適用した画像を生成する。具体的には、例えば、付属情報処理部３２６は、図８の（ｂ）に示す入力フレーム（Ｃｏｌｏｒ（ｎ－１））に対して、図８の（ａ）に示す動き情報ＭＶ（ｎ）を用いて動き補償（ＭＣ（ＭＶ（ｎ），Ｃｏｌｏｒ（ｎ－１）））を適用した画像を生成する。ここでの動き補償とは、第ｎ－１の入力フレーム２０＿ｎ－１では位置ｘにある画素が、第ｎの入力フレーム２０＿ｎでは位置ｘ’に動いていた場合において、第ｎ－１の入力フレーム２０＿ｎ－１の位置ｘにある画素を位置ｘ’に移動させる処理をいう。第ｎの動き情報は、第ｎ－１の入力フレーム２０＿ｎ－１と第ｎの入力フレーム２０＿ｎとの間における各画素の動きの量及び方向を示す画像情報である。そのため、付属情報処理部３２６は、図８の（ａ）動き情報ＭＶ（ｎ）に基づいて、図８の（ｂ）に示すゲームオブジェクトＱのそれぞれの画素値を、該画素の動きの量及び方向に従って移動した位置の画素に設定することにより、図８の（ｄ）に示す色情報（Ｃｏｌｏｒ（ｎ）’）を生成する。なお、付属情報処理部３２６は、図８の（ｂ）に示す入力フレーム２０＿ｎ－１の背景が表された画素に対しても処理を行うが、背景を表す画素は動き情報の値がない（０値）であるため、上記処理によって変化しない。

　さらに、付属情報処理部３２６は、動き補償を適用した画像と、第ｎの入力フレーム２０＿ｎが表す画像と、の差分画像を生成する。具体的には、例えば、図８の（ｄ）に示す動き補償を適用した色情報（Ｃｏｌｏｒ（ｎ）’）と、図８の（ｃ）に示す入力フレーム（Ｃｏｌｏｒ（ｎ））、の差分画像（Ｄｉｆｆ．Ｃｏｌｏｒ＝Ｃｏｌｏｒ（ｎ）’－Ｃｏｌｏｒ（ｎ））を生成する。図８の（ｅ）は、生成された差分画像を示す図である。図８の（ｅ）に示すように、第ｎの入力フレームおいてゲームプロジェクトＱが示されている領域に三日月形状のパターンが示されている。すなわち、第ｎの動き情報と第ｎ－１の入力フレーム２０＿ｎ－１から推定された第ｎの入力フレーム２０＿ｎは、レンダリング部から取得された第ｎの入力フレーム２０＿ｎとは齟齬が生じていることが分かる。ユーザは、図８の（ａ）から（ｅ）に示す各情報が目に見える画像として表示部３２８に表示されることにより、付属情報が正しいものであるか容易に判断することができる。

　次いで、付属情報を編集する場合について説明する。図９の（ａ）から（ｃ）はいずれも図８の（ａ）から（ｃ）と同じである。編集部３２４は、ユーザの指示によりレンダリング情報記憶部３０４に記憶された第ｎの動き情報ＭＶ（ｎ）を編集する。具体的には、図９の（ａ）に示す第ｎの動き情報を編集するための情報として、ユーザは操作部１６を操作して、ｘ方向及びｙ方向の始点位置のシフト量（ＭＶ．Ｏｆｆｓｅｔ）と、ｘ方向及びｙ方向の拡大率（ＭＶ．Ｓｃａｌｅ）を入力する。編集部３２４は、入力されたシフト量及び拡大率に基づいて、編集後の第ｎの動き情報ＭＶ‘（ｎ）を取得する。例えば、動き情報ＭＶ‘（ｎ）は、ＭＶ‘（ｎ）＝ＭＶ．Ｏｆｆｓｅｔ＋ＭＶ．Ｓｃａｌｅ＊ＭＶ（ｎ）の計算式で算出される。

　付属情報処理部３２６は、第ｎの動き情報に基づいて、第ｎ－１の入力フレームに対して動き補償を適用した画像を生成する。ここで、上記にように第ｎの動き情報は、ＭＶ（ｎ）からＭＶ’（ｎ）に変更されている。従って、付属情報処理部３２６は、図９の（ｂ）に示す入力フレーム（Ｃｏｌｏｒ（ｎ－１））に対して、編集された動き情報ＭＶ‘（ｎ）を用いて動き補償（ＭＣ（ＭＶ’（ｎ），Ｃｏｌｏｒ（ｎ－１）））を適用した画像を生成する。図９の（ｄ）は、生成された色情報（Ｃｏｌｏｒ（ｎ）’’）を示す図である。

　さらに、付属情報処理部３２６は、動き補償を適用した画像と、第ｎの入力フレーム２０＿ｎが表す画像と、の差分画像を生成する。具体的には、例えば、図９の（ｄ）に示す動き補償を適用した色情報（Ｃｏｌｏｒ（ｎ）’’）と、図９の（ｃ）に示す入力フレーム（Ｃｏｌｏｒ（ｎ））、の差分画像（Ｄｉｆｆ．Ｃｏｌｏｒ＝Ｃｏｌｏｒ（ｎ）’’－Ｃｏｌｏｒ（ｎ））を生成する。図９の（ｅ）は、生成された差分画像を示す図である。図９の（ｅ）に示すように、三日月形状のパターンが示されていない。すなわち、編集された動き情報と第ｎ－１の入力フレーム２０＿ｎ－１から推定された第ｎの入力フレーム２０＿ｎは、レンダリング部３０２から取得された第ｎの入力フレーム２０＿ｎとおよそ一致していることが分かる。ユーザは、本来レンダリング部３０２が生成すべき動き情報であるＭＶ‘（ｎ）を容易に取得することができる。

　上記のように、補助情報は、過去の複数の入力フレーム２０及び付属情報が反映された情報である。一方、ゲームはシーンに応じて画像が大きく変化することがあるため、シーン変更を跨いだ補助情報２８は、少ない情報量しか持たない。従って、本開示に係る検査方法は、同一のシーン内で実施されることが望ましい。

　図１０は、各フレームにおいて、レンダリング情報記憶部３０４が記憶する情報を表している。各フレームの情報の上に付した符号はフレームの順番を表している。第－ｋ－１（ｋは定数）の入力フレーム２０と、第－ｋの入力フレーム２０の間でシーンの切り替えがあったものとする。この場合、補助情報に十分な過去フレームの情報が含まれるように、上記検査方法は、シーンの切り替えから一定のフレームが経過した後が好ましい。図１０では第０の補助情報（ＲＦＭ）２８がレンダリング情報記憶部３０４に記憶されている。当該第０の補助情報２８は、第－ｋから第－１までの入力フレーム２０及び付属情報が反映された情報である。

　第０の補助情報２８がレンダリング情報記憶部３０４に記憶されているため、その後シーンの切り替えがない限り、機械学習モデル２００は過去フレームの情報を十分に含んだ高画質の画像を毎フレーム出力できる。

　ユーザは、第１のフレーム以降において、上記検査方法を実施する。例えば図１０に示すように、第ｎの付属情報であるＭＶをＭＶ‘に変更する。これにより、図９に示したような、差分画像が表示される。

　図１０に示した実施例では、全てのフレームにおいて、入力フレーム、動き情報、深度情報、出現画素情報及び元深度情報が記憶される。これらの情報が毎フレーム記憶されることにより、ユーザは、レンダリング部において正しくない付属情報が生成されたフレームを特定することができる。一方、補助情報２８は、十分な過去フレームの情報が含まれていればよく、編集の対象となるケースは稀である。そのため、補助情報２８は、所定のフレームでのみ記憶される。補助情報２８は、一定のフレーム毎に（例えば３２フレーム毎に）記憶されてもよい。また、補助情報２８が毎フレーム記憶されても問題は生じない。

　以上の説明では、付属情報のうち動き情報を編集する場合について説明したが、レンダリング情報記憶部３０４に記憶されている情報であれば編集対象は他の情報であってよい。

［６．まとめ］
　以上に説明した本実施形態に係る画像処理システム１によれば、第１～第ｎ－１の中間フレーム２２の特徴を示す第ｎ－１の累積特徴情報２６＿ｎ－１を用いて、第ｎの推定フレーム２４＿ｎを推定する。そして、本実施形態に係る検査システム２によれば、画像処理システム１を用いる高画質の動画像を推定する際に、元となる低画質の動画像の各フレームに含まれる情報が正しいものであるか容易に判別することが可能となる。

　なお、本開示に係る発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

　例えば、本実施形態では、中間画素数が入力画素数より多く、且つ、中間画素数と推定画素数とが同数である場合を例示したが、中間画素数と入力画素数とが同数であり、且つ、推定画素数が中間画素数より多くてもよい。すなわち、中間フレーム２２は、必ずしも入力フレーム２０を拡大したものでなくてもよい。

［７．付記］
（１）
　プロセッサと、
　前記プロセッサにより実行される命令と、複数の訓練データにより学習された機械学習モデルと、を記憶する記憶部と、
　表示部と、
　を含むゲームプログラムの検査システムであって、
　前記記憶部は、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、
　前記プロセッサは、ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集し、
　前記機械学習モデルは、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、
　前記表示部は、第ｎの前記推定フレームを表示する、
　ゲームプログラムの検査システム。
（２）
　前記プロセッサは、
　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
　前記機械学習モデルは、
　第ｎの前記中間フレームと、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
　（１）に記載の検査システム。
（３）
　前記付属情報は、第ｎ－１の前記入力フレームから第ｎの前記入力フレームへの動きの量及び方向を示す情報である第ｎの動き情報を含み、
　前記プロセッサは、第ｎの前記動き情報に基づいて、第ｎ－１の前記累積特徴情報に対して動き補償を適用することにより、第ｎの前記補助情報を取得する、
　（２）に記載の検査システム。
（４）
　前記プロセッサは、第ｎの前記動き情報に基づいて、第ｎ－１の前記入力フレームに対して動き補償を適用した画像と、第ｎの前記入力フレームが表す画像と、の差分画像を生成し、
　前記表示部は、前記差分画像を表示する、
　（３）に記載の検査システム。
（５）
　前記各入力フレームは、所定の視点から見た一以上のオブジェクトを示す３次元データのレンダリングを実行することにより得られる画像である、
　（２）に記載の検査システム。
（６）
　前記付属情報は、第ｎの前記入力フレームの各画素の深度を示す第ｎの深度情報を含み、
　前記プロセッサは、
　第ｎ－１の前記深度情報と、第ｎの前記深度情報と、に基づいて、第ｎの前記中間フレームの画素のうち、第ｎ－１の前記中間フレームでは表示されていない前記オブジェクトの全部又は一部が表示されている画素である第ｎの出現画素を特定し、
　第ｎ－１の前記累積特徴情報における第ｎの前記出現画素の画素値を所定の値に置換することにより、第ｎ－１の前記補助情報を取得する、
　（５）に記載の検査システム。
（７）
　前記各入力フレームは、前記視点が前記入力フレーム毎に変動するように前記レンダリングを実行することにより得られる画像であり、
　前記プロセッサは、
　前記レンダリングにおける前記入力フレーム毎の前記視点の変動に係る情報である変動情報を取得し、
　前記変動情報と、前記各入力フレームの各画素と、に基づいて、該入力フレームにおける、変動前の各画素に相当する位置の画素値を補間により求め、前記各中間フレームを生成する、
　（６）に記載の検査システム。
（８）
　前記累積特徴情報出力層は、第１の前記中間フレームと、所与の補助情報と、が入力され、第１の前記累積特徴情報を出力する、
　（２）に記載のゲームプログラムの検査システム。
（９）
　前記累積特徴情報は、前記中間画素数と同数の画素数を有する画像情報である、
　（２）に記載の検査システム。
（１０）
　記憶部が、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、
　プロセッサが、ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集し、
　複数の訓練データにより学習された機械学習モデルが、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、
　表示部は、第ｎの前記推定フレームを表示する、
　検査方法。
（１１）
　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶する記憶手段、
　ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集する編集手段、
　複数の訓練データにより学習された機械学習モデルにより、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力する出力手段、
　第ｎの前記推定フレームを表示する表示手段、
　としてコンピュータを機能させるための検査プログラム。

Claims (11)

1. 　プロセッサと、
   　前記プロセッサにより実行される命令と、複数の訓練データにより学習された機械学習モデルと、を記憶する記憶部と、
   　表示部と、
   　を含むゲームプログラムの検査システムであって、
   　前記記憶部は、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、
   　前記プロセッサは、ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集し、
   　前記機械学習モデルは、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、
   　前記表示部は、第ｎの前記推定フレームを表示する、
   　ゲームプログラムの検査システム。
2. 　前記プロセッサは、
   　前記各入力フレームに基づいて、該入力フレームに対応するとともに前記入力画素数以上の中間画素数を有する中間フレームを生成することにより、第１～第Ｎの前記中間フレームをそれぞれ取得し、
   　前記各中間フレームを機械学習モデルに入力して、前記入力画素数より多く前記中間画素数以上の推定画素数を有する第１～第Ｎの推定フレームをそれぞれ取得し、
   　前記機械学習モデルは、
   　第ｎの前記中間フレームと、第１～第ｎ－１の前記中間フレームの特徴を示す第ｎ－１の累積特徴情報に基づく第ｎ－１の補助情報と、が入力され、第１～第ｎの前記中間フレームの特徴を示す第ｎの前記累積特徴情報を出力する累積特徴情報出力層と、
   　第ｎの前記累積特徴情報が入力され、第ｎの前記推定フレームを出力する推定フレーム出力層と、を含み、
   　前記入力画素数を有する学習入力フレームに基づいて生成された前記中間画素数を有する学習中間フレームと、前記推定画素数を有する学習推定フレームと、をそれぞれ含む、複数の訓練データにより学習されたものである、
   　請求項１に記載の検査システム。
3. 　前記付属情報は、第ｎ－１の前記入力フレームから第ｎの前記入力フレームへの動きの量及び方向を示す情報である第ｎの動き情報を含み、
   　前記プロセッサは、第ｎの前記動き情報に基づいて、第ｎ－１の前記累積特徴情報に対して動き補償を適用することにより、第ｎの前記補助情報を取得する、
   　請求項２に記載の検査システム。
4. 　前記プロセッサは、第ｎの前記動き情報に基づいて、第ｎ－１の前記入力フレームに対して動き補償を適用した画像と、第ｎの前記入力フレームが表す画像と、の差分画像を生成し、
   　前記表示部は、前記差分画像を表示する、
   　請求項３に記載の検査システム。
5. 　前記各入力フレームは、所定の視点から見た一以上のオブジェクトを示す３次元データのレンダリングを実行することにより得られる画像である、
   　請求項２に記載の検査システム。
6. 　前記付属情報は、第ｎの前記入力フレームの各画素の深度を示す第ｎの深度情報を含み、
   　前記プロセッサは、
   　第ｎ－１の前記深度情報と、第ｎの前記深度情報と、に基づいて、第ｎの前記中間フレームの画素のうち、第ｎ－１の前記中間フレームでは表示されていない前記オブジェクトの全部又は一部が表示されている画素である第ｎの出現画素を特定し、
   　第ｎ－１の前記累積特徴情報における第ｎの前記出現画素の画素値を所定の値に置換することにより、第ｎ－１の前記補助情報を取得する、
   　請求項５に記載の検査システム。
7. 　前記各入力フレームは、前記視点が前記入力フレーム毎に変動するように前記レンダリングを実行することにより得られる画像であり、
   　前記プロセッサは、
   　前記レンダリングにおける前記入力フレーム毎の前記視点の変動に係る情報である変動情報を取得し、
   　前記変動情報と、前記各入力フレームの各画素と、に基づいて、該入力フレームにおける、変動前の各画素に相当する位置の画素値を補間により求め、前記各中間フレームを生成する、
   　請求項６に記載の検査システム。
8. 　前記累積特徴情報出力層は、第１の前記中間フレームと、所与の補助情報と、が入力され、第１の前記累積特徴情報を出力する、
   　請求項２に記載のゲームプログラムの検査システム。
9. 　前記累積特徴情報は、前記中間画素数と同数の画素数を有する画像情報である、
   　請求項２に記載の検査システム。
10. 　記憶部が、所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶し、
    　プロセッサが、ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集し、
    　複数の訓練データにより学習された機械学習モデルが、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力し、
    　表示部は、第ｎの前記推定フレームを表示する、
    　検査方法。
11. 　所定の入力画素数を有する第１～第Ｎ（Ｎは２以上の自然数）の入力フレームとともに該入力フレームごとの付属情報を記憶する記憶手段、
    　ユーザの指示により前記記憶部に記憶された第ｎ（ｎ＝２，３，…，Ｎ）の前記付属情報を編集する編集手段、
    　複数の訓練データにより学習された機械学習モデルにより、第１から第ｎ－１までの前記入力フレーム及び前記付属情報と、第ｎの前記入力フレーム及び編集された前記付属情報と、に基づいて、前記入力画素数以上の推定画素数を有する第ｎの推定フレームを出力する出力手段、
    　第ｎの前記推定フレームを表示する表示手段、
    　としてコンピュータを機能させるための検査プログラム。

Images