JP7274367B2 - フレームレート変換モデル学習装置およびフレームレート変換装置、ならびに、それらのプログラム - Google Patents

Description

本発明は、映像のフレームレートを変換するためのニューラルネットワークのモデルを学習するフレームレート変換モデル学習装置、および、そのモデルを用いてフレームレートを変換するフレームレート変換装置、ならびに、それらのプログラムに関する。

従来、映像のフレームレートを変換する種々の手法が開示されている（例えば、特許文献１、非特許文献１参照）。
例えば、フレームレートを変換する手法として０次ホールド法が知られている。０次ホールド法は、低フレームレートの映像を高フレームレートの映像に変換（例えば、６０ｆｐｓ〔フレーム毎秒〕の映像を１２０ｆｐｓに変換）する場合、過去の標本位置の信号値を保持し、同一フレームを単純に複数回連続させる。高フレームレートの映像を低フレームレートの映像に変換（例えば、１２０ｆｐｓの映像を６０ｆｐｓに変換）する場合、０次ホールド法では、フレームの間引き処理を行う。
逆に、低フレームレートの映像を高フレームレートの映像に変換する手法としては、フレーム間の動き補正によって内挿画像を生成し、フレーム間に内挿する手法も知られている。
さらに、高フレームレートの映像を低フレームレートの映像に変換する手法としては、複数フレームを平均化して１枚のフレームを生成する手法も知られている。

特開２００１－９２４２９号公報

「ハイビジョン技術」、日本放送出版協会、１９９８年１１月

しかしながら、前記した０次ホールド法は、低フレームレートの映像を高フレームレートの映像に変換する場合、同一フレームを単純に複数回連続させるため、ストロボ効果の影響を受けてしまう。そのため、この手法は、高フレームレート特有の動きの滑らかさがなくなってしまうという問題がある。
また、０次ホールド法は、高フレームレートの映像を低フレームレートの映像に変換する場合、フレームを単に間引くだけであるため、ジャーキネスが目立ってしまう場合があるという問題がある。
また、動き補正によって内挿画像を生成する手法は、動き検出の誤りによって、画質が低下してしまう場合があるという問題がある。
また、複数フレームを平均化する手法は、二重像が発生してしまい、動きぼやけが大きくなってしまうという問題がある。

本発明は、このような問題に鑑みてなされたものであり、フレームレート変換後の映像の画質を従来よりも改善することが可能なフレームレート変換モデル学習装置およびフレームレート変換装置、ならびに、それらのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係るフレームレート変換モデル学習装置は、映像のフレームレートを前記映像よりも高いフレームレートに変換するためのニューラルネットワークのモデルを学習するフレームレート変換モデル学習装置であって、第１画像パッチ切り出し手段と、第２画像パッチ切り出し手段と、学習手段と、を備える構成とした。

かかる構成において、フレームレート変換モデル学習装置は、第１画像パッチ切り出し手段によって、予め定めた低フレームレートの学習用映像である学習用低フレームレート映像のフレームごとに、予め定めた大きさの画像パッチを順次位置をずらしながら切り出す。この第１画像パッチ切り出し手段で切り出される画像パッチは、モデルに入力するための学習データとなる。

また、フレームレート変換モデル学習装置は、第２画像パッチ切り出し手段によって、学習用低フレームレート映像に対するフレームレート変換の倍率に対応した学習用高フレームレート映像から、その倍率に対応した数のフレームごとに、第１画像パッチ切り出し手段で切り出した画像パッチと同じ位置および大きさの画像パッチを順次切り出す。この第２画像パッチ切り出し手段で切り出される画像パッチは、モデルを学習するための正解データとなる。
このように、第１画像パッチ切り出し手段および第２画像パッチ切り出し手段は、画像パッチ単位で、モデルを学習するための画像を切り出すため、１枚のフレームから数多くのパターンの画像を取得することができる。
そして、フレームレート変換モデル学習装置は、学習手段によって、第１画像パッチ切り出し手段で順次切り出された画像パッチを、第２画像パッチ切り出し手段で順次切り出された数の画像パッチに変換するようにモデルを学習する。

また、前記課題を解決するため、本発明に係るフレームレート変換装置は、フレームレート変換モデル学習装置で学習されたニューラルネットワークのモデルを用いて、映像のフレームレートを前記映像よりも高いフレームレートに変換するフレームレート変換装置であって、第３画像パッチ切り出し手段と、ニューラルネットワーク演算手段と、画像パッチ再構成手段と、フレーム挿入手段と、を備える構成とした。

かかる構成において、フレームレート変換装置は、第３画像パッチ切り出し手段によって、フレームレート変換モデル学習装置への入力となる予め定めた大きさの画像パッチを、映像のフレームごとに順次切り出す。
そして、フレームレート変換装置は、ニューラルネットワーク演算手段によって、学習済のモデルを用いて、第３画像パッチ切り出し手段で切り出された画像パッチを、フレームレート変換の倍率に対応した数の画像パッチに変換する。例えば、倍率が２倍であれば、変換後の画像パッチの数は２となる。
そして、フレームレート変換装置は、画像パッチ再構成手段によって、ニューラルネットワーク演算手段で順次変換された画像パッチを再構成してフレームを生成する。
そして、フレームレート変換装置は、フレーム挿入手段によって、画像パッチ再構成手段で生成されたフレームを変換前の映像に挿入する。

また、前記課題を解決するため、本発明に係るフレームレート変換モデル学習装置は、映像のフレームレートを前記映像よりも低いフレームレートに変換するためのニューラルネットワークのモデルを学習するフレームレート変換モデル学習装置であって、第１画像パッチ切り出し手段と、第２画像パッチ切り出し手段と、学習手段と、を備える構成とした。

かかる構成において、フレームレート変換モデル学習装置は、第１画像パッチ切り出し手段によって、予め定めた低フレームレートの学習用映像である学習用低フレームレート映像のフレームごとに、予め定めた大きさの画像パッチを順次位置をずらしながら切り出す。この第１画像パッチ切り出し手段で切り出される画像パッチは、モデルを学習するための正解データとなる。

また、フレームレート変換モデル学習装置は、第２画像パッチ切り出し手段によって、学習用低フレームレート映像に対するフレームレート変換の倍率の逆数に対応した学習用高フレームレート映像から、その倍率の逆数に対応した数のフレームごとに、第１画像パッチ切り出し手段で切り出した画像パッチと同じ位置および大きさの画像パッチを順次切り出す。この第２画像パッチ切り出し手段で切り出される画像パッチは、モデルに入力するための学習データとなる。
そして、フレームレート変換モデル学習装置は、学習手段によって、第２画像パッチ切り出し手段で切り出された数の画像パッチを、第１画像パッチ切り出し手段で切り出された画像パッチに変換するようにモデルを学習する。

また、前記課題を解決するため、本発明に係るフレームレート変換装置は、フレームレート変換モデル学習装置で学習されたニューラルネットワークのモデルを用いて、映像のフレームレートを前記映像よりも低いフレームレートに変換するフレームレート変換装置であって、第３画像パッチ切り出し手段と、ニューラルネットワーク演算手段と、画像パッチ再構成手段と、を備える構成とした。

かかる構成において、フレームレート変換装置は、第３画像パッチ切り出し手段によって、フレームレート変換モデル学習装置への入力となる予め定めた大きさの画像パッチを、フレームレート変換の倍率の逆数に対応した数のフレームごとに順次切り出す。
そして、フレームレート変換装置は、ニューラルネットワーク演算手段によって、学習済のモデルを用いて、第３画像パッチ切り出し手段で切り出された倍率の逆数に対応した数の画像パッチを、１つの画像パッチに変換する。
そして、フレームレート変換装置は、画像パッチ再構成手段によって、ニューラルネットワーク演算手段で順次変換された画像パッチを再構成してフレームを生成する。

なお、フレームレート変換モデル学習装置は、コンピュータを、前記した手段として機能させるためのプログラムで動作させることができる。
また、フレームレート変換装置は、コンピュータを、前記した手段として機能させるためのプログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、映像のフレームの予め定めた大きさの画像パッチごとに学習したニューラルネットワークを用いてフレームレート変換を行うため、フレーム間の連続性を損なうことなく、滑らかな映像を生成することができる。

本発明の第１実施形態に係るモデル学習装置の構成を示すブロック構成図である。 学習用低フレームレート映像と学習用高フレームレート映像との関係を説明するための説明図である。 フレーム内の画像パッチの切り出し方法を説明するための説明図である。 低フレームレート映像内の画像パッチの切り出しと高フレームレート映像内の画像パッチの切り出しとの関係を説明するための説明図である。 低フレームレート映像の画像パッチから高フレームレートの画像パッチを生成するニューラルネットワークの概念を示す概念図である。 本発明の第１実施形態に係るモデル学習装置の動作を示すフローチャートである。 本発明の第１実施形態に係るフレームレート変換装置の構成を示すブロック構成図である。 低フレームレート映像を高フレームレート映像に変換する例を説明するための説明図である。 本発明の第１実施形態に係るフレームレート変換装置の動作を示すフローチャートである。 本発明の第２実施形態に係るモデル学習装置の構成を示すブロック構成図である。 高フレームレート映像の画像パッチから低フレームレートの画像パッチを生成するニューラルネットワークの概念を示す概念図である。 本発明の第２実施形態に係るフレームレート変換装置の構成を示すブロック構成図である。 高フレームレート映像を低フレームレート映像に変換する例を説明するための説明図である。 学習用低フレームレート映像と学習用高フレームレート映像との関係の他の例を説明するための説明図である。 ３倍または１／３倍のフレームレート変換を行うための学習用低フレームレート映像と学習用高フレームレート映像との関係の例を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
＜モデル学習装置の構成＞
まず、図１を参照して、本発明の第１実施形態に係るモデル学習装置１の構成について説明する。

モデル学習装置（フレームレート変換モデル学習装置）１は、低フレームレート映像を高フレームレート映像に変換するために用いるニューラルネットワークのモデルのパラメータを学習するものである。
ここで、パラメータを学習するために入力する学習用映像は、フレームレートが異なる２つの映像である。一方は、フレームレートが低い（例えば、６０ｆｐｓ）学習用低フレームレート映像ＬＶ_Ｌで、他方は、学習用低フレームレート映像ＬＶ_Ｌの２倍のフレームレート（例えば、１２０ｆｐｓ）である学習用高フレームレート映像ＬＶ_Ｈである。

例えば、図２に示すように、学習用高フレームレート映像ＬＶ_Ｈのフレームを、ｆ_Ｈ１，ｆ_Ｈ２，ｆ_Ｈ３，ｆ_Ｈ４，…としたとき、学習用高フレームレート映像ＬＶ_Ｈの偶数フレームであるｆ_Ｈ２，ｆ_Ｈ４，…を抽出し、学習用低フレームレート映像ＬＶ_Ｌ（ｆ_Ｌ１，ｆ_Ｌ２，…）とする。
モデル学習装置１は、学習用低フレームレート映像ＬＶ_Ｌのフレーム（例えば、ｆ_Ｌ１）から、当該フレームと双方向に隣接する学習用高フレームレート映像ＬＶ_Ｈのフレーム（例えば、ｆ_Ｈ１，ｆ_Ｈ３）を推定するためのモデルを学習する。
もちろん、学習用低フレームレート映像ＬＶ_Ｌおよび学習用高フレームレート映像ＬＶ_Ｈは、同一の画角でフレームレートだけが異なる映像として撮影したものであっても構わない。

図１に示すように、モデル学習装置１は、フレーム取り出し手段１０（１０Ａ，１０Ｂ）と、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）と、モデル記憶手段１２と、学習手段１３と、を備える。

フレーム取り出し手段１０（１０Ａ，１０Ｂ）は、映像からフレームを順次取り出すものである。
フレーム取り出し手段１０Ａは、学習用低フレームレート映像ＬＶ_Ｌから１フレームずつフレームを取り出すものである。具体的には、フレーム取り出し手段１０Ａは、学習用低フレームレート映像ＬＶ_Ｌから図２に示すフレームｆ_Ｌ１，ｆ_Ｌ２，ｆ_Ｌ３，ｆ_Ｌ４，…を順次取り出す。
フレーム取り出し手段１０Ａは、取り出したフレームを画像パッチ切り出し手段１１Ａに順次出力する。

フレーム取り出し手段１０Ｂは、学習用高フレームレート映像ＬＶ_Ｈからフレームレートの倍率に対応した数のフレームを順次取り出すものである。ここでは、フレームレートの倍率を２倍とするため、フレーム取り出し手段１０Ｂは、２フレームずつフレームを取り出す。このフレーム取り出し手段１０Ｂが取り出すフレームは、フレーム取り出し手段１０Ａが取り出したフレームをレート変換したときに正解データとなるフレームである。
具体的には、フレーム取り出し手段１０Ｂは、学習用高フレームレート映像ＬＶ_Ｈから図２に示すフレームｆ_Ｈ１およびｆ_Ｈ３，ｆ_Ｈ３およびｆ_Ｈ５，ｆ_Ｈ５およびｆ_Ｈ７，…と、２つの奇数フレームの対を、１枚のフレームが重なるようにフレーム順に順次取り出す。
フレーム取り出し手段１０Ｂは、取り出した２枚のフレームをフレーム順に画像パッチ切り出し手段１１Ｂに順次出力する。

画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、フレームから、予め定めた大きさの領域である画像パッチを順次切り出すものである。
画像パッチ切り出し手段（第１画像パッチ切り出し手段）１１Ａは、フレーム取り出し手段１０Ａが取り出した学習用低フレームレート映像ＬＶ_Ｌのフレームごとに、予め定めた大きさの横Ｗｘ画素、縦Ｗｙ画素（例えば、１６×１６画素）の画像パッチを順次切り出すものである。
画像パッチ切り出し手段１１Ａは、図３に示すように、画像パッチｐの位置を順次ずらし、例えば、ラスタ走査順に位置をずらして、画像パッチを切り出す。
なお、画像パッチｐの位置をずらす量は、任意の画素数でよいが、例えば、水平方向（ｘ方向）１画素、垂直方向（ｙ方向）１画素とする。
画像パッチ切り出し手段１１Ａは、切り出した画像パッチを、学習手段１３に出力する。

画像パッチ切り出し手段（第２画像パッチ切り出し手段）１１Ｂは、フレーム取り出し手段１０Ｂが取り出した、フレームレートの倍率に対応した数の学習用高フレームレート映像ＬＶ_Ｈのフレームごとに、画像パッチを順次切り出すものである。
画像パッチ切り出し手段１１Ｂは、画像パッチ切り出し手段１１Ａと同じ位置および大きさの画像パッチを切り出す。
画像パッチ切り出し手段１１Ｂは、図４に示すように、画像パッチ切り出し手段１１Ａがフレームｆ_Ｌで切り出した画像パッチｐ_Ｌと同じ位置で、２枚のフレームｆ_Ｈ，ｆ_Ｈにおいて、それぞれ画像パッチｐ_Ｈを切り出す。
なお、画像パッチ切り出し手段１１Ｂが切り出す２つの画像パッチは、画像パッチ切り出し手段１１Ａが切り出した画像パッチを高フレームレート化した際の正解データとなる。
画像パッチ切り出し手段１１Ｂは、切り出した画像パッチを、フレームの順で誤差演算手段１４に出力する。

モデル記憶手段１２は、畳み込みニューラルネットワークのモデル（構造およびパラメータ）を記憶するものである。モデル記憶手段１２は、半導体メモリ等の一般的な記憶媒体で構成することができる。
モデル記憶手段１２に記憶するモデルＭ_Ｈは、図５に示すように、１チャンネルの１６×１６画素の画像パッチｐ_Ｌを、２チャンネルの１６×１６画素の画像パッチｐ_Ｈ，ｐ_Ｈに変換する畳み込みニューラルネットワークのモデルである。
なお、モデルＭ_Ｈの構造は、１層以上の畳み込み層、活性化層等を含んだ一般的な構成とすることができる。
モデルＭ_Ｈのパラメータ（カーネルの結合重み係数）の初期値は、予め擬似乱数等によって設定しておく。また、モデルＭ_Ｈのパラメータは、学習手段１３によって更新される。

学習手段１３は、画像パッチ切り出し手段１１Ａで切り出された画像パッチを入力し、出力が画像パッチ切り出し手段１１Ｂで切り出された２つの画像パッチとなるように、モデルＭ_Ｈのパラメータを学習するものである。
学習手段１３は、ニューラルネットワーク演算手段１３０と、誤差演算手段１３１と、を備える。

ニューラルネットワーク演算手段１３０は、モデル記憶手段１２に記憶されているモデルＭ_Ｈを用いて、画像パッチ切り出し手段１１Ａで切り出された画像パッチに対して、畳み込みニューラルネットワークの演算を行うものである。
ニューラルネットワーク演算手段１３０は、演算結果として、２つの画像パッチを生成し、誤差演算手段１３１に出力する。
また、ニューラルネットワーク演算手段１３０は、誤差演算手段１３１から誤差を入力されるたびに、繰り返し、誤差逆伝播法によりモデルＭ_Ｈのパラメータを更新する。この繰り返しの回数は、予め定めた回数（例えば、１００万回）であってもよいし、ニューラルネットワーク演算手段１３０がパラメータの変化の度合いを監視し、その変化の度合いが予め定めた閾値を下回るまでであってもよい。

誤差演算手段１３１は、ニューラルネットワーク演算手段１３０で演算された２つの画像パッチと、画像パッチ切り出し手段１１Ｂで切り出された２つの画像パッチとの誤差を演算するものである。なお、画像パッチの誤差の計算には、画像間の一般的な誤差計算を用いればよい。例えば、画素値の平均二乗誤差（ＭＳＥ〔Mean Square Error〕）を用いることができる。
誤差演算手段１３１は、演算した誤差を、ニューラルネットワーク演算手段１３０に出力する。
以上説明したように、モデル学習装置１は、画像パッチ単位の大きさで、低フレームレート映像を高フレームレート映像に変換するためのモデルを学習することができる。
なお、モデル学習装置１は、コンピュータを、前記した各手段として機能させるためのモデル学習プログラムで動作させることができる。

＜モデル学習装置の動作＞
次に、図６を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るモデル学習装置１の動作について説明する。
ステップＳ１０において、フレーム取り出し手段１０（１０Ａ，１０Ｂ）は、学習用低フレームレート映像ＬＶ_Ｌおよび学習用高フレームレート映像ＬＶ_Ｈから順次フレームを取り出す。ここでは、フレーム取り出し手段１０Ａは、学習用低フレームレート映像ＬＶ_Ｌから１フレームずつフレームを取り出す。また、フレーム取り出し手段１０Ｂは、学習用高フレームレート映像ＬＶ_Ｈから、重なりを設けて２フレームずつ順に奇数フレームを取り出す（図２参照）。
ステップＳ１１において、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、画像パッチを切り出す初期位置を設定する。ここでは、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、フレームの左上座標を初期位置として設定する。

ステップＳ１２において、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、ステップＳ１で取り出されたフレームから、ステップＳ２で設定、または、後記するステップＳ１８で更新された切り出し位置において、画像パッチを切り出す。
ここでは、画像パッチ切り出し手段１１Ａは、フレーム取り出し手段１０Ａで取り出されたフレームから画像パッチを切り出す。また、画像パッチ切り出し手段１１Ｂは、フレーム取り出し手段１０Ｂで取り出された２つフレームから、それぞれ画像パッチを切り出す。

ステップＳ１３において、学習手段１３のニューラルネットワーク演算手段１３０は、モデルＭ_Ｈを用いて、ステップＳ１２でフレーム取り出し手段１０Ａにおいて取り出された画像パッチに対して、畳み込みニューラルネットワークの演算を行い、２つの画像パッチを生成する。
ステップＳ１４において、学習手段１３の誤差演算手段１３１は、ステップＳ１３で生成された２つの画像パッチと、ステップＳ１２で画像パッチ切り出し手段１１Ｂにおいて切り出された２つの画像パッチとの誤差を演算する。
ステップＳ１５において、ニューラルネットワーク演算手段１３０は、誤差逆伝播法により、パラメータを更新する。

ステップＳ１６において、ニューラルネットワーク演算手段１３０は、学習を完了したか否かを判定する。具体的には、ニューラルネットワーク演算手段１３０は、予め定めた回数学習を行ったか、あるいは、パラメータの変化の度合いが予め定めた閾値を下回ったか否かにより学習の完了を判定する。

ここで、学習を完了した場合（ステップＳ１６でＹｅｓ）、モデル学習装置１は、動作を終了する。
一方、まだ、学習を完了していない場合（ステップＳ１６でＮｏ）、ステップＳ１７において、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、フレームからすべての画像パッチを切り出したか否かを判定する。

ここで、すべての画像パッチを切り出していない場合（ステップＳ１７でＮｏ）、ステップＳ１８において、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）は、画像パッチの切り出し位置をずらして更新し、モデル学習装置１は、ステップＳ１２に動作を戻す。
一方、すべての画像パッチを切り出した場合（ステップＳ１７でＹｅｓ）、ステップＳ１９において、フレーム取り出し手段１０（１０Ａ，１０Ｂ）は、次のフレームが存在するか否かにより、学習用映像（学習用低フレームレート映像ＬＶ_Ｌおよび学習用高フレームレート映像ＬＶ_Ｈ）の終了を判定する。

ここで、学習用映像が継続する場合（ステップＳ１９でＮｏ）、モデル学習装置１は、ステップＳ１０に動作を戻す。
一方、学習用映像が終了した場合（ステップＳ１９でＹｅｓ）、モデル学習装置１は、動作を終了する。
以上の動作によって、モデル学習装置１は、低フレームレート映像を高フレームレート映像に変換するためのモデルを学習することができる。

＜フレームレート変換装置の構成＞
次に、図７を参照して、本発明の第１実施形態に係るフレームレート変換装置２の構成について説明する。

フレームレート変換装置２は、モデル学習装置１（図１参照）で学習したニューラルネットワークのモデルを用いて、低フレームレート映像を高フレームレート映像に変換するものである。
フレームレート変換装置２は、低フレームレート映像Ｖ_Ｌ（例えば、６０ｆｐｓ）を入力し、２倍のフレームレートの高フレームレート映像Ｖ_Ｈ（例えば、１２０ｆｐｓ）を出力するものとする。

ここでは、フレームレート変換装置２は、図８に示すように、低フレームレート映像Ｖ_Ｌの奇数番目のフレーム（ｆ_Ｌ１，ｆ_Ｌ３，…）から、高フレームレート映像Ｖ_Ｈの奇数番目のフレーム（ｆ_Ｈ１，ｆ_Ｈ３，ｆ_Ｈ５，ｆ_Ｈ７，…）を推定する。そして、フレームレート変換装置２は、低フレームレート映像Ｖ_Ｌの各フレーム（ｆ_Ｌ１，ｆ_Ｌ２，ｆ_Ｌ３，…）を、高フレームレート映像Ｖ_Ｈの偶数番目のフレーム（ｆ_Ｈ２，ｆ_Ｈ４，ｆ_Ｈ６，…）とする。これによって、フレームレート変換装置２は、低フレームレート映像Ｖ_Ｌのフレームレートを２倍にした、高フレームレート映像Ｖ_Ｈを生成する。

図７に示すように、フレームレート変換装置２は、フレーム取り出し手段２０と、画像パッチ切り出し手段２１と、モデル記憶手段２２と、ニューラルネットワーク演算手段２３と、画像パッチ再構成手段２４と、フレーム挿入手段２５と、を備える。

フレーム取り出し手段２０は、低フレームレート映像Ｖ_Ｌから予め定めた順でフレームを順次取り出すものである。
フレーム取り出し手段２０は、低フレームレート映像Ｖ_Ｌの奇数フレームのみを取り出し、画像パッチ切り出し手段２１に出力する。

画像パッチ切り出し手段（第３画像パッチ切り出し手段）２１は、フレーム取り出し手段２０で取り出したフレームから、予め定めた大きさの領域である画像パッチを順次切り出すものである。
画像パッチ切り出し手段２１は、フレーム取り出し手段２０が取り出したフレームから、モデル学習装置１の画像パッチ切り出し手段１１と同じ大きさの横Ｗｘ画素、縦Ｗｙ画素（例えば、１６×１６画素）の画像パッチを順次切り出す。
画像パッチ切り出し手段２１は、図３に示すように、画像パッチｐの位置を順次ずらし、例えば、ラスタ走査順に位置をずらして、画像パッチを切り出す。ただし、画像パッチｐの位置をずらす量は、水平方向においては横Ｗｘ画素、垂直方向においては縦Ｗｙ画素とする。
画像パッチ切り出し手段２１は、切り出した画像パッチを、ニューラルネットワーク演算手段２３に出力する。

モデル記憶手段２２は、畳み込みニューラルネットワークのモデル（構造およびパラメータ）を記憶するものである。モデル記憶手段２２は、半導体メモリ等の一般的な記憶媒体で構成することができる。
モデル記憶手段２２に記憶するモデルＭ_Ｈは、図１のモデル学習装置１で学習したモデルである。

ニューラルネットワーク演算手段２３は、モデル記憶手段２２に記憶されているモデルＭ_Ｈを用いて、畳み込みニューラルネットワークの演算を行うものである。
ニューラルネットワーク演算手段２３は、画像パッチ切り出し手段２１で切り出された画像パッチを入力し、モデルＭ_Ｈを用いて、畳み込みニューラルネットワークの演算を行うことで、フレームレート変換の倍率に対応した数の２つの画像パッチを生成する。
ニューラルネットワーク演算手段２３は、生成した２つの画像パッチを、順次、画像パッチ再構成手段２４に出力する。

画像パッチ再構成手段２４は、ニューラルネットワーク演算手段２３で順次生成される２つの画像パッチから、それぞれ、２枚のフレームを生成するものである。
画像パッチ再構成手段２４は、２つの画像パッチを、それぞれ、順次、切り出した位置と同じ位置に配置することで、２枚のフレームを生成する。
画像パッチ再構成手段２４は、生成した２枚のフレームを、フレーム挿入手段２５に出力する。

フレーム挿入手段２５は、画像パッチ再構成手段２４で順次生成される２枚ずつのフレームを、低フレームレート映像Ｖ_Ｌのフレームに挿入するものである。
具体的には、フレーム挿入手段２５は、図８に示すように、画像パッチ再構成手段２４で順次生成されるフレームｆ_Ｈ１，ｆ_Ｈ３，ｆ_Ｈ５，ｆ_Ｈ７，…を、低フレームレート映像Ｖ_Ｌの奇数フレームｆ_Ｌ１，ｆ_Ｌ３，…の前後に挿入する。
これによって、フレーム挿入手段２５は、高フレームレート映像Ｖ_Ｈを生成することができる。このとき、低フレームレート映像Ｖ_Ｌのフレームｆ_Ｌ１，ｆ_Ｌ２，ｆ_Ｌ３，ｆ_Ｌ４，…は、高フレームレート映像Ｖ_Ｈの偶数フレームｆ_Ｈ２，ｆ_Ｈ４，ｆ_Ｈ６，ｆ_Ｈ８，…として、そのまま利用される。
フレーム挿入手段２５は、高フレームレート映像Ｖ_Ｈを、低フレームレート映像Ｖ_Ｌのフレームレート変換後の映像として出力する。

以上説明したように、フレームレート変換装置２は、モデル学習装置１（図１参照）で学習されたモデルＭ_Ｈを用いて、低フレームレート映像Ｖ_Ｌを高フレームレート映像Ｖ_Ｈに変換することができる。モデルＭ_Ｈは、大量の学習データによってパラメータが学習されたモデルである。そのため、フレームレート変換装置２は、フレームレート変換を行っても、映像を滑らかに連続させることができる。
なお、フレームレート変換装置２は、コンピュータを、前記した各手段として機能させるためのフレームレート変換プログラムで動作させることができる。

＜フレームレート変換装置の動作＞
次に、図９を参照（構成については適宜図７参照）して、本発明の第１実施形態に係るフレームレート変換装置２の動作について説明する。
ステップＳ２０において、フレーム取り出し手段２０は、低フレームレート映像Ｖ_Ｌから順次フレームを取り出す。ここでは、フレーム取り出し手段２０は、低フレームレート映像Ｖ_Ｌの奇数フレームのみを取り出す。
ステップＳ２１において、画像パッチ切り出し手段２１は、画像パッチを切り出す初期位置を設定する。ここでは、画像パッチ切り出し手段２１は、フレームの左上座標を初期位置として設定する。

ステップＳ２２において、画像パッチ切り出し手段２１は、ステップＳ２０で取り出されたフレームから、ステップＳ２１で設定、または、後記するステップＳ２５で更新された切り出し位置において、画像パッチを切り出す。
ステップＳ２３において、ニューラルネットワーク演算手段２３は、モデルＭ_Ｈを用いて、ステップＳ２２で切り出された画像パッチに対して、畳み込みニューラルネットワークの演算を行い、２つの画像パッチを生成する。
ステップＳ２４において、画像パッチ切り出し手段２１は、フレームからすべての画像パッチを切り出したか否かを判定する。

ここで、すべての画像パッチを切り出していない場合（ステップＳ２４でＮｏ）、ステップＳ２５において、画像パッチ切り出し手段２１は、画像パッチの切り出し位置をずらして更新し、ステップＳ２２に動作を戻す。
一方、すべての画像パッチを切り出した場合（ステップＳ２４でＹｅｓ）、ステップＳ２６において、画像パッチ再構成手段２４は、ステップＳ２３で生成された２つの画像パッチを順次入力し、それぞれの画像パッチを切り出した位置と同じ位置に配置して、２枚のフレームを生成する。
これによって、ステップＳ２０で順次取り出した奇数フレームの時間方向で前後するフレームを生成することができる。

ステップＳ２７において、フレーム挿入手段２５は、ステップ２６で生成される２枚のフレームを、順次、低フレームレート映像Ｖ_Ｌの奇数フレームの前後に挿入する。
ステップＳ２８において、フレーム挿入手段２５は、低フレームレート映像Ｖ_Ｌのすべてのフレームの入力が終了したか否かを判定する。

ここで、まだ、低フレームレート映像Ｖ_Ｌのすべてのフレームの入力が終了していない場合（ステップＳ２８でＮｏ）、フレームレート変換装置２は、ステップＳ２０に戻って動作を継続する。
一方、低フレームレート映像Ｖ_Ｌのすべてのフレームの入力が終了した場合（ステップＳ２８でＹｅｓ）、フレームレート変換装置２は、動作を終了する。
以上の動作によって、フレームレート変換装置２は、低フレームレート映像を高フレームレート映像に変換することができる。

≪第２実施形態≫
＜モデル学習装置の構成＞
次に、図１０を参照して、本発明の第２実施形態に係るモデル学習装置１Ｂの構成について説明する。

モデル学習装置（フレームレート変換モデル学習装置）１Ｂは、高フレームレート映像を低フレームレート映像に変換するために用いるニューラルネットワークのモデルのパラメータを学習するものである。
なお、パラメータを学習するために入力する学習用映像は、図１で説明したモデル学習装置１で使用する学習用低フレームレート映像ＬＶ_Ｌおよび学習用高フレームレート映像ＬＶ_Ｈを用いることができる。

図１０に示すように、モデル学習装置１Ｂは、フレーム取り出し手段１０（１０Ａ，１０Ｂ）と、画像パッチ切り出し手段１１（１１Ａ，１１Ｂ）と、モデル記憶手段１２Ｂと、学習手段１３Ｂと、を備える。
フレーム取り出し手段１０および画像パッチ切り出し手段１１は、図１で説明したモデル学習装置１と同じ構成であるため、説明を省略する。

モデル記憶手段１２Ｂは、畳み込みニューラルネットワークのモデル（構造およびパラメータ）を記憶するものである。モデル記憶手段１２Ｂは、半導体メモリ等の一般的な記憶媒体で構成することができる。
モデル記憶手段１２Ｂに記憶するモデルＭ_Ｌは、図１１に示すように、２チャンネルの１６×１６画素の画像パッチｐ_Ｈ，ｐ_Ｈを、１チャンネルの１６×１６画素の画像パッチｐ_Ｌに変換する畳み込みニューラルネットワークのモデルである。
なお、モデルＭ_Ｌの構造は、１層以上の畳み込み層、活性化層等を含んだ一般的な構成とすることができる。
モデルＭ_Ｌのパラメータ（カーネルの結合重み係数）の初期値は、予め擬似乱数等によって設定しておく。また、モデルＭ_Ｌのパラメータは、学習手段１３Ｂによって更新される。

学習手段１３Ｂは、画像パッチ切り出し手段１１Ｂで切り出された２つの画像パッチを入力し、出力が画像パッチ切り出し手段１１Ａで切り出された１つの画像パッチとなるように、モデルＭ_Ｌのパラメータを学習するものである。
学習手段１３Ｂは、ニューラルネットワーク演算手段１３０Ｂと、誤差演算手段１３１Ｂと、を備える。

ニューラルネットワーク演算手段１３０Ｂは、モデル記憶手段１２Ｂに記憶されているモデルＭ_Ｌを用いて、画像パッチ切り出し手段１１Ｂで切り出された画像パッチに対して、畳み込みニューラルネットワークの演算を行うものである。
ニューラルネットワーク演算手段１３０Ｂは、演算結果として、１つの画像パッチを生成し、誤差演算手段１３１Ｂに出力する。
また、ニューラルネットワーク演算手段１３０Ｂは、誤差演算手段１３１Ｂから誤差を入力されるたびに、繰り返し、誤差逆伝播法によりモデルＭ_Ｌのパラメータを更新する。この繰り返しの回数は、予め定めた回数（例えば、１００万回）であってもよいし、ニューラルネットワーク演算手段１３０Ｂがパラメータの変化の度合いを監視し、その変化の度合いが予め定めた閾値を下回るまでであってもよい。

誤差演算手段１３１Ｂは、ニューラルネットワーク演算手段１３０Ｂで演算された画像パッチと、画像パッチ切り出し手段１１Ａで切り出された画像パッチとの誤差を演算するものである。なお、画像パッチの誤差の計算には、画像間の一般的な誤差計算を用いればよい。例えば、画素値の平均二乗誤差（ＭＳＥ）を用いることができる。
誤差演算手段１３１Ｂは、演算した誤差を、ニューラルネットワーク演算手段１３０Ｂに出力する。

以上説明したように、モデル学習装置１Ｂは、画像パッチ単位の大きさで、高フレームレート映像を低フレームレート映像に変換するためのモデルを学習することができる。
なお、モデル学習装置１Ｂは、コンピュータを、前記した各手段として機能させるためのモデル学習プログラムで動作させることができる。

このモデル学習装置１Ｂの動作は、学習する方向が異なるだけで、基本的に、図６で説明したモデル学習装置１と同じであるため、詳細な説明は省略する。モデル学習装置１が、１つの画像パッチを入力して２つの画像パッチを出力するモデルＭ_Ｈを学習するのに対し、モデル学習装置１Ｂは、２つの画像パッチを入力して１つの画像パッチを出力するモデルＭ_Ｌを学習する点が異なるだけである。

＜フレームレート変換装置の構成＞
次に、図１２を参照して、本発明の第２実施形態に係るフレームレート変換装置２Ｂの構成について説明する。

フレームレート変換装置２Ｂは、モデル学習装置１Ｂ（図１０参照）で学習したニューラルネットワークのモデルを用いて、高フレームレート映像を低フレームレート映像に変換するものである。
フレームレート変換装置２Ｂは、高フレームレート映像Ｖ_Ｈ（例えば、１２０ｆｐｓ）を入力し、１／２倍のフレームレートの低フレームレート映像Ｖ_Ｌ（例えば、６０ｆｐｓ）を出力するものとする。
ここでは、フレームレート変換装置２Ｂは、図１３に示すように、高フレームレート映像Ｖ_Ｈの奇数番目のフレーム（ｆ_Ｈ１，ｆ_Ｈ３，ｆ_Ｈ５，ｆ_Ｈ７，…）から、低フレームレート映像Ｖ_Ｌのフレーム（ｆ_Ｌ１，ｆ_Ｌ２，ｆ_Ｌ３，…）を推定する。

図１２に示すように、フレームレート変換装置２Ｂは、フレーム取り出し手段２０Ｂと、画像パッチ切り出し手段２１Ｂと、モデル記憶手段２２Ｂと、ニューラルネットワーク演算手段２３Ｂと、画像パッチ再構成手段２４Ｂと、を備える。

フレーム取り出し手段２０Ｂは、高フレームレート映像Ｖ_Ｈからフレームレートの倍率の逆数に対応した数のフレームを順次取り出すものである。ここでは、フレームレートの倍率を１／２倍とするため、フレーム取り出し手段２０Ｂは、２フレームずつフレームを取り出す。具体的には、フレーム取り出し手段２０Ｂは、高フレームレート映像Ｖ_Ｈから図１３に示すフレームｆ_Ｈ１およびｆ_Ｈ３，ｆ_Ｈ３およびｆ_Ｈ５，ｆ_Ｈ５およびｆ_Ｈ７，…と、２つの奇数フレームの対を、１枚のフレームが重なるようにフレーム順に順次取り出す。
フレーム取り出し手段２０Ｂは、取り出した２枚のフレームをフレーム順に画像パッチ切り出し手段２１Ｂに順次出力する。

画像パッチ切り出し手段２１Ｂは、フレーム取り出し手段２０Ｂが取り出したフレーム対のそれぞれのフレームから、画像パッチを順次切り出すものである。
画像パッチ切り出し手段２１Ｂは、フレーム取り出し手段２０Ｂが取り出したフレーム対のそれぞれのフレームから、モデル学習装置１Ｂの画像パッチ切り出し手段１１と同じ大きさの横Ｗｘ画素、縦Ｗｙ画素（例えば、１６×１６画素）の２つの画像パッチを順次切り出す。
画像パッチ切り出し手段２１Ｂは、図３に示すように、画像パッチｐの位置を順次ずらし、例えば、ラスタ走査順に位置をずらして、画像パッチを切り出す。ただし、画像パッチｐの位置をずらす量は、水平方向においては横Ｗｘ画素、水平方向においては縦Ｗｙ画素とする。
画像パッチ切り出し手段２１Ｂは、切り出した２つの画像パッチを、ニューラルネットワーク演算手段２３Ｂに出力する。

モデル記憶手段２２Ｂは、畳み込みニューラルネットワークのモデル（構造およびパラメータ）を記憶するものである。モデル記憶手段２２Ｂは、半導体メモリ等の一般的な記憶媒体で構成することができる。
モデル記憶手段２２Ｂに記憶するモデルＭ_Ｌは、図１０のモデル学習装置１Ｂで学習したモデルである。

ニューラルネットワーク演算手段２３Ｂは、モデル記憶手段２２Ｂに記憶されているモデルＭ_Ｌを用いて、畳み込みニューラルネットワークの演算を行うものである。
ニューラルネットワーク演算手段２３Ｂは、画像パッチ切り出し手段２１Ｂで切り出された２つの画像パッチを入力し、モデルＭ_Ｌを用いて、畳み込みニューラルネットワークの演算を行うことで、１つの画像パッチを生成する。
ニューラルネットワーク演算手段２３Ｂは、生成した画像パッチを、順次、画像パッチ再構成手段２４Ｂに出力する。

画像パッチ再構成手段２４Ｂは、ニューラルネットワーク演算手段２３Ｂで順次生成される画像パッチから、フレームを生成するものである。
画像パッチ再構成手段２４Ｂは、画像パッチを、順次、切り出した位置と同じ位置に配置することでフレームを生成する。
画像パッチ再構成手段２４Ｂは、順次生成するフレームを、低フレームレート映像Ｖ_Ｌのフレームとして出力する。

以上説明したように、フレームレート変換装置２Ｂは、モデル学習装置１Ｂ（図１０参照）で学習されたモデルＭ_Ｌを用いて、高フレームレート映像Ｖ_Ｈを低フレームレート映像Ｖ_Ｌに変換することができる。モデルＭ_Ｌは、大量の学習データによってパラメータが学習されたモデルである。そのため、フレームレート変換装置２Ｂは、単に間引いて映像を低フレーム化する場合に比べて、映像を滑らかに連続させることができる。
なお、フレームレート変換装置２Ｂは、コンピュータを、前記した各手段として機能させるためのフレームレート変換プログラムで動作させることができる。

このフレームレート変換装置２Ｂの動作は、図９で説明したフレームレート変換装置２の動作に対して、２つの画像パッチから１つの画像パッチを生成する点、および、フレーム挿入を行わない点が異なるだけであるため、詳細な説明は省略する。

以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
ここでは、映像を２倍のフレームレートに変換するために、モデル学習装置１は、図２に示すように、学習用低フレームレート映像ＬＶ_Ｌのフレームを、学習用高フレームレート映像ＬＶ_Ｈの偶数フレームとして、前後に隣接する双方向のフレームを推定するようにモデルを学習した。
また、その逆に、映像を１／２倍のフレームレートに変換するために、前後の双方向のフレームからその間のフレームを推定するようにモデルを学習した。
このように、本実施形態では、１枚のフレームから双方向のフレーム、あるいは、双方向のフレームからその間のフレームを推定するモデルを学習し、フレームレート変換を行うこととした。
しかし、フレームレート変換を行う場合、１枚のフレームから片方向のフレームを推定したり、片方向のフレームから１つフレームを推定したりしてもよい。

ここで、図１４を参照して、片方向のフレームを用いてフレームレート変換を行う例について説明する。
図１４に示すように、学習用高フレームレート映像ＬＶ_Ｈのフレームを、ｆ_Ｈ１，ｆ_Ｈ２，ｆ_Ｈ３，ｆ_Ｈ４，…としたとき、学習用高フレームレート映像ＬＶ_Ｈの奇数フレームであるｆ_Ｈ１，ｆ_Ｈ３，ｆ_Ｈ５，…を抽出し、学習用低フレームレート映像ＬＶ_Ｌ（ｆ_Ｌ１，ｆ_Ｌ２，…）とする。

この場合、図１に示したモデル学習装置１のフレーム取り出し手段１０Ｂは、学習用高フレームレート映像ＬＶ_Ｈの偶数フレームとそれに連続するフレームとのフレーム対を順次取り出す。これによって、モデルＭ_Ｈは、低フレームレート映像のフレームの画像パッチからそのフレームに続く２枚のフレームの画像パッチを推定するモデルとなる。
そして、図７に示したフレームレート変換装置２のフレーム挿入手段２５は、画像パッチ再構成手段２４で生成された２枚のフレームのうち、最初のフレームを偶数フレームとして、低フレームレート映像に挿入すればよい。
これによって、フレームレート変換装置２は、低フレームレート映像を高フレームレート映像に変換することができる。

また、同様に、図１０に示したモデル学習装置１のフレーム取り出し手段１０Ｂで、学習用高フレームレート映像ＬＶ_Ｈの偶数フレームとそれに連続するフレームとのフレーム対を順次取り出す。これによって、モデルＭ_Ｌは、高フレームレート映像の２枚のフレームの画像パッチから高フレームレート映像のフレームの画像パッチを推定するモデルとなる。
そして、図１２に示したフレームレート変換装置２Ｂのフレーム取り出し手段２０Ｂは、高フレームレート映像Ｖ_Ｈの偶数フレームとそれに連続するフレームとのフレーム対を順次取り出す。
これによって、フレームレート変換装置２Ｂは、高フレームレート映像を低フレームレート映像に変換することができる。

また、ここでは、学習用低フレームレート映像ＬＶ_Ｌの１枚のフレームと、学習用高フレームレート映像ＬＶ_Ｈの２枚のフレームとの関係性から、２倍または１／２倍のフレームレート変換を行うモデルを学習し、フレームレート変換を行う例を示した。
しかし、学習用低フレームレート映像ＬＶ_Ｌの１枚のフレームと、学習用高フレームレート映像ＬＶ_Ｈの３枚以上のフレームとの関係性から、３倍以上または１／３倍以下のフレームレート変換を行うモデルを学習し、フレームレート変換を行うこととしてもよい。

例えば、３倍または１／３倍のフレームレート変換を行うモデルを学習し、フレームレート変換を行う場合、図１５に示すように、学習用高フレームレート映像ＬＶ_Ｈのフレームを、ｆ_Ｈ１，ｆ_Ｈ２，ｆ_Ｈ３，ｆ_Ｈ４，…としたとき、学習用高フレームレート映像ＬＶ_Ｈのｆ_Ｈ２，ｆ_Ｈ５，ｆ_Ｈ８，…を抽出し、学習用低フレームレート映像ＬＶ_Ｌ（ｆ_Ｌ１，ｆ_Ｌ２，…）とする。
そして、モデル学習装置１，１Ｂは、学習用低フレームレート映像ＬＶ_Ｌの１枚のフレームと、学習用高フレームレート映像ＬＶ_Ｈの３枚のフレームとの関係性から、モデルＭ_Ｈ，Ｍ_Ｌを学習すればよい。また、フレームレート変換装置２は、学習したモデルＭ_Ｈを用いて、低フレームレート映像を３倍にレート変換し、フレームレート変換装置２Ｂは、学習したモデルＭ_Ｌを用いて、高フレームレート映像を１／３倍にレート変換することができる。

１，１Ｂ モデル学習装置（フレームレート変換モデル学習装置）
１０Ａ，１０Ｂ フレーム取り出し手段
１１Ａ 画像パッチ切り出し手段（第１画像パッチ切り出し手段）
１１Ｂ 画像パッチ切り出し手段（第２画像パッチ切り出し手段）
１２，１２Ｂ モデル記憶手段
１３，１３Ｂ 学習手段
１３０，１３０Ｂ ニューラルネットワーク演算手段
１３１，１３１Ｂ 誤差演算手段
２，２Ｂ フレームレート変換装置
２０，２０Ｂ フレーム取り出し手段
２１，２１Ｂ 画像パッチ切り出し手段（第３画像パッチ切り出し手段）
２２，２２Ｂ モデル記憶手段
２３，２３Ｂ ニューラルネットワーク演算手段
２４，２４Ｂ 画像パッチ再構成手段
２５ フレーム挿入手段

Claims (6)

1. 映像のフレームレートを前記映像よりも高いフレームレートに変換するためのニューラルネットワークのモデルを学習するフレームレート変換モデル学習装置であって、
   予め定めた低フレームレートの学習用映像である学習用低フレームレート映像のフレームごとに、予め定めた大きさの画像パッチを順次位置をずらしながら切り出す第１画像パッチ切り出し手段と、
   前記学習用低フレームレート映像に対するフレームレート変換の倍率に対応した学習用高フレームレート映像から、前記倍率に対応した数のフレームごとに、前記画像パッチと同じ位置および大きさの画像パッチを順次切り出す第２画像パッチ切り出し手段と、
   前記第１画像パッチ切り出し手段で順次切り出された画像パッチを、前記第２画像パッチ切り出し手段で順次切り出された数の画像パッチに変換するように前記モデルを学習する学習手段と、
   を備えることを特徴とするフレームレート変換モデル学習装置。
2. 請求項１に記載のフレームレート変換モデル学習装置で学習されたニューラルネットワークのモデルを用いて、映像のフレームレートを前記映像よりも高いフレームレートに変換するフレームレート変換装置であって、
   前記フレームレート変換モデル学習装置への入力となる予め定めた大きさの画像パッチを、前記映像のフレームごとに順次切り出す第３画像パッチ切り出し手段と、
   前記モデルを用いて、前記第３画像パッチ切り出し手段で順次切り出された画像パッチを、フレームレート変換の倍率に対応した数の画像パッチに変換するニューラルネットワーク演算手段と、
   前記ニューラルネットワーク演算手段で順次変換された画像パッチを再構成してフレームを生成する画像パッチ再構成手段と、
   前記画像パッチ再構成手段で生成されたフレームを前記映像に挿入するフレーム挿入手段と、
   を備えることを特徴とするフレームレート変換装置。
3. 映像のフレームレートを前記映像よりも低いフレームレートに変換するためのニューラルネットワークのモデルを学習するフレームレート変換モデル学習装置であって、
   予め定めた低フレームレートの学習用映像である学習用低フレームレート映像のフレームごとに、予め定めた大きさの画像パッチを順次位置をずらしながら切り出す第１画像パッチ切り出し手段と、
   前記学習用低フレームレート映像に対するフレームレート変換の倍率の逆数に対応した学習用高フレームレート映像から、前記倍率の逆数に対応した数のフレームごとに、前記画像パッチと同じ位置および大きさの画像パッチを順次切り出す第２画像パッチ切り出し手段と、
   前記第２画像パッチ切り出し手段で順次切り出された数の画像パッチを、前記第１画像パッチ切り出し手段で順次切り出された画像パッチに変換するように前記モデルを学習する学習手段と、
   を備えることを特徴とするフレームレート変換モデル学習装置。
4. 請求項３に記載のフレームレート変換モデル学習装置で学習されたニューラルネットワークのモデルを用いて、映像のフレームレートを前記映像よりも低いフレームレートに変換するフレームレート変換装置であって、
   前記フレームレート変換モデル学習装置への入力となる予め定めた大きさの画像パッチを、フレームレート変換の倍率の逆数に対応した数のフレームごとに順次切り出す第３画像パッチ切り出し手段と、
   前記モデルを用いて、前記第３画像パッチ切り出し手段で順次切り出された前記倍率の逆数に対応した数の画像パッチを、１つの画像パッチに変換するニューラルネットワーク演算手段と、
   前記ニューラルネットワーク演算手段で順次変換された画像パッチを再構成してフレームを生成する画像パッチ再構成手段と、
   を備えることを特徴とするフレームレート変換装置。
5. コンピュータを、請求項１または請求項３に記載のフレームレート変換モデル学習装置として機能させるためのフレームレート変換モデル学習プログラム。
6. コンピュータを、請求項２または請求項４に記載のフレームレート変換装置として機能させるためのフレームレート変換プログラム

Images