JP7102844B2 - フレーム補間装置、フレーム補間方法およびフレーム補間プログラム - Google Patents

Description

本発明は、フレーム補間装置、フレーム補間方法およびフレーム補間プログラムに関する。

従来、動画内の連続する２フレーム間で動きのあるオブジェクト（以降動作オブジェクトと呼ぶことがある。）について、動きベクトルをブロックごとに検出し、検出された動きベクトルを用いて補間フレームを生成し、生成された補間フレームを元のフレーム間に挿入することで高フレームレート化する、いわゆるフレーム補間技術が知られている。

例えば特許文献１には、画像品質を維持したままフレームレートを向上させる目的で、第１のフレーム上のオブジェクトに対する第２のフレーム上の動作オブジェクトの動きを表す動きベクトルを複数検出し、補間フレームの画像ブロック毎に第１及び第２のフレームとの相関の高いものを第２の動きベクトルとして選択し、それを利用して補間フレームを生成する装置が記載されている。

しかし、特許文献１に記載の装置では、補間フレームとして表示させる動作オブジェクト画像の生成について考慮されていないため、フレーム内の動作オブジェクトの動きと背景によっては、補間フレームが不自然となる可能性がある。

上記課題を解決するために、請求項１にかかる発明は、入力された連続する前後のフレーム間の補間フレームを作成するフレーム補間装置であって、前記前後のフレーム間でフレーム内での位置が変化するオブジェクトである動作オブジェクトを抽出する動作オブジェクト抽出部と、前記動作オブジェクトの前記補間フレームでの位置情報である補間オブジェクト位置と、前記補間フレームでの画像情報である補間オブジェクト画像とからなる補間オブジェクトを生成する補間オブジェクト生成部と、前記前後のフレームのうちいずれかである第一のフレームに基づき、前記補間フレームの基準となる画像である基準画像を生成する基準画像生成部と、前記前後のフレームのうち、前記第一のフレームでないフレームである第二のフレームから、前記基準画像内の前記動作オブジェクトの画像を除去する画像である除去用画像を生成する除去用画像生成部と、前記基準画像に、前記補間オブジェクトと、前記除去用画像とを合成して前記補間フレームを生成する画像生成部とを有し、前記除去用画像生成部は、前記第一のフレームから抽出された第一の画像と、前記第二のフレームから抽出された第二の画像の色情報に基づき、前記除去用画像を生成し、前記除去用画像生成部は、前記第一のフレームから第一の画像を抽出し、前記第二のフレームから第二の画像を抽出する画像抽出部と、前記第一の画像の色情報と前記第二の画像の色情報に基づいて前記第二の画像の色情報を補正する補正処理部とを有していて、前記補正処理部によって補正された前記第二の画像を除去用画像として生成し、前記第二の画像の面積は、前記第一のフレーム内の前記動作オブジェクトの面積以上であり、前記第一の画像の面積は、前記第二の画像の面積よりも大きいものであり、前記画像抽出部は、前記第一の画像を、前記第一のフレームでの動作オブジェクトの位置情報である動作オブジェクト位置から抽出し、前記第二の画像を、前記第二のフレーム内の前記第一のフレームの前記動作オブジェクト位置に対応する位置から抽出し、前記補正処理部は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像において前記第一の画像と前記第二の画像の間の領域である第一の画像部分と合わせて矩形となるように、前記第二の画像の少なくとも一部の色を前記第一の画像部分と同じ色に補正するフレーム補間装置である。

本発明によれば、連続する２フレーム間で動きのあるオブジェクトを含む動画について、より自然な補間フレームを得ることができる。

第１の実施の形態における画像処理システム１０００の構成図である。 第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。 第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。 第１の実施形態の補間フレーム生成部１５の機能ブロック図である。 補間オブジェクト位置を説明するための第一の画像例である。 補間オブジェクト位置を説明するための第二の画像例である。 補間オブジェクト画像生成を説明するための画像例である。 補間フレーム生成を説明するための画像例である。 エフェクトとフレーム補間処理を説明するための第一の画像例である。 第一の実施形態の除去用画像生成を説明するための第一の画像例である。 第一の実施形態の除去用画像生成を説明するための第二の画像例である。 図１１の第二の画像例の説明図である。 第１の実施形態のフレーム補間処理を説明するフロー図である。 エフェクトとフレーム補間処理を説明するための第二の画像例である。 エフェクトの画像例である。 第一の実施形態の除去用画像生成を説明するための第三の画像例である。 第一の実施形態の除去用画像生成を説明するための第四の画像例である。 第二の実施形態の除去用画像生成を説明するための第一の画像例である。 第二の実施形態の除去用画像生成を説明するための第二の画像例である。 第三の実施形態の除去用画像生成を説明するための第一の画像例である。 第三の実施形態の除去用画像生成を説明するための第二の画像例である。

以下、添付の図面に基づき、本発明の実施の形態について説明する。なお、本発明の実施の形態を説明するための各図面において、同一の機能もしくは形状を有する部材や構成部品等の構成要素については、判別が可能な限り同一符号を付すことにより一度説明した後ではその説明を省略する。

図１は、第１の実施の形態における画像処理システム１０００の構成例を示す図である。図１に示されるように、画像処理システム１０００は、フレーム補間装置であるユーザデバイス１００ａ～１００ｅ、サーバ２００、投影装置２０１、及びネットワーク３００を含む。ユーザデバイス１００ａ～１００ｅは、ネットワーク３００を介して、他のユーザデバイス１００及びサーバ２００と接続されている。

ユーザデバイス１００ａ～１００ｅは、ネットワーク３００経由で、他のユーザデバイス１００ａ～１００ｅから動画データを受信して、後述するようなフレーム補間方法でフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。また、ユーザデバイス１００ａ～１００ｅは、サーバ２００から受信した動画データについても、後述するようにフレーム補間処理を行い、フレーム補間処理後の動画を表示可能なデバイスである。

ユーザデバイス１００ａおよび１００ｂは、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ又はスマートフォン等である。ユーザデバイス１００ｂには投影装置２０１が接続されている。

投影装置２０１は、例えば、プロジェクタであり、ユーザデバイス１００ｂから出力される信号を受けて、画像を投影する。なお、投影装置２０１は、直接ネットワークと接続されて動画データを受信して、画像を投影してもよい。

ユーザデバイス１００ｃはネットワーク３００経由で受信した動画データを表示可能なディスプレイである。

ユーザデバイス１００ｄは、ディスプレイと音声デバイスを有し、ネットワーク３００経由で受信した動画データおよび音声データを再生することが可能なネットワーク会議デバイスである。

ユーザデバイス１００ｅは、ネットワーク３００経由で受信した動画データを表示可能なディスプレイを有する電子黒板である。

以降ユーザデバイス１００ａ～１００ｅをそれぞれ区別しない場合は、ユーザデバイス１００と呼ぶことがある。

サーバ２００は、動画データをネットワーク３００経由でユーザデバイス１００に送信する機能を有する。例えば、テレビ会議の多地点制御装置であり、あるユーザデバイス１００からカメラで撮影した動画データや、オフィス文書等が操作されるＰＣ画面の動画データを受信し、それら動画データを、ネットワーク３００を介して他のユーザデバイス１００に送信可能である。

なおユーザデバイス１００ａ～１００ｅは前述した通り、少なくともネットワーク３００経由で受信した動画データを表示、再生可能であるが、自らが動画データや音声データをネットワーク３００経由、またはネットワーク３００とサーバ２００経由で配信する機能を有していてもよい。

ここで、本画像処理システム１０００において、ユーザデバイス１００ａおよび１００ｂはＰＣ機能を有しているため、サーバ２００およびネットワーク３００を利用してＰＣで操作している画面を動画データとして他のユーザデバイスに送信することができる。つまりユーザデバイス１００ａおよび１００ｂにおいてＰＣ操作されている画面は動画データとして、他デバイスと共有することができる。この状態を特にＰＣ画面共有モードと呼ぶことがある。

図１においては、ユーザデバイス１００ａおよび１００ｂがＰＣ画面共有モードにおいて共有する画面を提供する側として動作することもでき、また受信する側として動作することもできる。それに対してユーザデバイス１００ｃ、１００ｄ、１００ｅは、受信する側として動作する。しかしこれに限られず、ユーザデバイス１００ｃ、１００ｄ、１００ｅであってもそれぞれのＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）を用いてＰＣと接続することにより、提供する側および受信する側の両方として動作することが可能となる。

図２は、第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。図２に示されるように、ユーザデバイス１００は、それぞれ相互に接続されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、表示装置１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４、通信Ｉ／Ｆ１０５、記憶装置１０６及び入出力Ｉ／Ｆ１０７等を有する。

ユーザデバイス１００での処理を実現するいわゆるコンピュータで実行可能なプログラム、一例として後述するフレーム補間処理を実現するフレーム補間プログラムは、ＲＯＭ１０３又は記憶装置１０６に格納される。記憶装置１０６は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体であり、インストールされたプログラムを格納すると共に、必要なデータを格納する。記憶装置１０６は、その他の例として、外部記憶媒体がユーザデバイス１００に装着されたものであってもよい。ユーザデバイスは一般的なコンピュータとして

ＲＡＭ１０４は、プログラムの起動指示があった場合に、ＲＯＭ１０３又は記憶装置１０６からプログラムを読み出して格納する。ＣＰＵ１０１は、ＲＡＭ１０４に格納されたプログラムに従ってユーザデバイス１００に係る機能を実現する。

表示装置１０２は、ユーザデバイス１００が有する表示装置であり、例えば、液晶ディスプレイ、タッチパネルディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、またプロジェクタ等の投影装置であってもよい。

通信Ｉ／Ｆ１０５は、他のユーザデバイス１００又はサーバ２００等とネットワークを介して通信を行うための有線又は無線のインタフェースである。

入出力Ｉ／Ｆ１０７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。

そして、ユーザデバイス１００は、上述のハードウェア構成に加え、カメラ、スキャナ、プリンタ、キーボード、マウス、マイク、スピーカ、電子ペンなどそれぞれのデバイス特有のハードウェア構成を有する。

なお、サーバ２００も図２と同様のハードウェア構成を有していてもよい。

図３は、第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。図３に示されるように、ユーザデバイス１００は、蓄積部１１、フレーム補間部１２、画像表示部１３を含む。これら各部は、ユーザデバイス１００にインストールされた１以上のいわゆるコンピュータで実行可能なプログラムがＣＰＵ１０１に実行させる処理により実現される。

蓄積部１１は、ネットワーク３００から時系列で順次入力される動画を、最新フレームから連続する過去フレームまで遡って所定のフレーム数分、蓄積する。フレームは、例えば、所定の水平解像度及び垂直解像度を有し、１ドットがＲＧＢの３色で、各色の色深度は８ｂｉｔであるカラー画像データである。色深度のビット数は、８ｂｉｔに限られず１６ｂｉｔ等さらに大きくてもよい。また、フレームは、ＹＵＶ（ＹＣｂＣｒ）のような輝度色差信号のデータ形式で記録されていてもよい。

フレーム補間部１２は、蓄積部１１から読み出した複数の入力フレームに基づいて、最新フレームと１つ前のフレームの間に挿入する補間フレームを生成する。生成し、補間するフレーム数は１枚でも複数枚でもよい。なお、連続するフレームを、Ｎを整数として、Ｎ－１フレーム、Ｎフレーム、Ｎ＋１フレーム…と呼ぶことがある。また、連続する二つの入力フレームを合わせて前後のフレーム、連続する二つの入力フレームのうち最新の方のフレームを後フレーム、１つ前のフレームを前フレームと呼ぶことがある。

画像表示部１３は、入力されたフレーム間に補間フレームが挿入された動画を、ユーザデバイス１００が有する表示装置１０２、又は投影装置２０１に、補間処理後の動画を順次出力又は表示する。

図４は、フレーム補間部１２の機能について説明する図である。図４に示されるようにフレーム補間部１２は、動作オブジェクト抽出部１２０、補間オブジェクト生成部１２２、画像生成部１２３、除去用画像生成部１２４を有する。そして除去用画像生成部１２４は、画像抽出部１２４１、補正要否判断部１２４２、補正処理部１２４３を有する。

ここでオブジェクトとは、フレームを構成している画像データから、人（ユーザ）にとって画像として意味のある単位で抽出した、言い換えると切り取った画像データをいう。またフレーム内でオブジェクトを含む領域を以降オブジェクト領域という。オブジェクト領域として抽出する形状は一例としては、オブジェクトを含んで矩形に切り取られた領域であるがこれに限られず、種々選択可能である。

あるフレーム内でのオブジェクト領域は、一例として抽出した形状の重心位置であらわすことができる。他の例としてオブジェクト領域として多角形を抽出した場合、多角形の頂点の座標であらわすこともできる。さらに、各フレームをあらかじめ定められた単位の縦横に並んだ矩形のブロックに分け、そのブロックのフレーム内の縦横位置であらわすこともできるが、これらに限られない。

オブジェクトの例として、特に動画データがＰＣ操作画面の場合は、カーソルが挙げられる。カーソルとは、コンピュータなどの表示画面上において、ユーザに対し入力位置を示したり、表示画面上の位置を指し示したりするために表示画面上を動く下線や記号、イラスト等であり、マウスカーソル、ポインタ、マウスポインタ、文字入力カーソル等と呼ばれることもある。ユーザデバイス１００であれば、カーソルは表示装置１０２上に表示される。以降オブジェクトを図面に示すときは、矢印型のマウスカーソルとして示す。

また、動作オブジェクトとは、少なくとも前後のフレームに共通に存在し、前後のフレーム間で動きのあるオブジェクトである。自然映像では人間や動物、自動車などが例として挙げられる。そして、コンピュータ等の表示画面の画像では、前述のカーソルなどであるがこれらに限られない。そして、各フレーム内の所定の動作オブジェクトの位置情報を以降動作オブジェクト位置という。各フレーム内での動作オブジェクト位置は、前述のオブジェクト領域で特定できる。

動作オブジェクト抽出部１２０は、蓄積部１１から入力される複数のフレームから、それぞれのフレーム内での動作オブジェクト位置を抽出する。

動作オブジェクト動き判断部１２１は、動作オブジェクト抽出部１２０から得られる前後のフレームそれぞれにおける動作オブジェクト位置から、動作オブジェクトの前後のフレーム間での動き方向を判断する。

補間オブジェクト生成部１２２は、オブジェクト動き判断部１２１で判断した動き方向を用いて、補間フレーム内の動作オブジェクト位置である補間オブジェクト位置を算出する。そして補間フレーム内に表示する動作オブジェクトの画像である補間オブジェクト画像を取得し、補間オブジェクト位置と他のオブジェクト画像とからなる補間オブジェクトを生成する。

なお、補間オブジェクト位置としては、後述するように動画の連続的な動きを再現できる位置を算出する。例えば前後のフレームの動作オブジェクト領域の中間位置としたり、さらに前後の２フレーム、または３フレーム以上のフレームを利用して動作オブジェクト位置の加速度を考慮したりしてもよいが、これらに限られない。

画像生成部１２３は、入力された前後のフレームのいずれかに基づき生成される画像である基準画像に、補間オブジェクトを合成する。生成の一例として、コピーされることにより生成されるが、これに限られない。

そして画像生成部１２３は、基準画像に、後述する除去用画像生成部１２４が生成した除去用画像を合成することで、補間フレームを生成する。そして、前後のフレームの間に、生成された補間フレームを画像表示部１３に送信する。合成は、基準画像の一部に除去用画像を重畳、上書きすることで行ってもよいし、基準画像の一部の画像に替えて除去用画像を埋め込んで行ってもよいが、これらに限られない。

また、前後のフレームのうち、基準画像としてコピーされるフレームを第一のフレームと呼ぶことがある。そして、前後のフレームのうち基準フレームでない方のフレームを第二のフレームと呼ぶことがある。

除去用画像生成部１２４は、基準画像内の動作オブジェクトの画像を除去するための画像である、除去用画像を生成する。除去とは、一例として、動作オブジェクト位置にその動作オブジェクトを覆うことができる面積を有する除去用画像を上書きすることであるがこれに限られない。

画像抽出部１２４１は、第二のフレーム内から第二の画像を抽出する。第二の画像は、第二のフレーム内の第一のフレーム内の動作オブジェクト位置に対応する位置から抽出される、動作オブジェクト画像以上の面積を有する画像である。

さらに画像抽出部１２４１は、第一のフレームの動作オブジェクト位置から第一の画像を抽出する。第一の画像の面積は、第二の画像の面積よりも大きい。

補正要否判断部１２４２は、画像抽出部１２４１が抽出した領域に基づき、入力された前後のフレームのうち、第二のフレームから抽出された第二の画像に対する補正要否を判断する。

補正処理部１２４３は、補正要否判断部１２４２が補正要と判断した際に画像抽出部１２４１が抽出した第二の画像に補正処理を行う。

なお、画像生成部１２３による補間オブジェクトの合成と除去用画像の合成はどちらが先でもよいが、除去用画像を合成した後に補間オブジェクトを合成した方が、除去用画像が合成後の補間オブジェクト画像の一部に上書きされるなどの影響を及ぼす可能性が低い。

以降、一例として、前後の入力フレームのうち、前フレームが基準フレーム、後フレームは基準フレームとしないフレームの場合を説明する。

図５は、補間フレームにおける動作オブジェクトを説明する画像例である。図５（ａ）（ｂ）（ｃ）はいずれもフレーム内の同じ画像部分を示している。図５（ａ）と図５（ｃ）はそれぞれ、ある時間での入力フレームであるＮ－１フレームと、その次の入力フレームであるＮフレームにおける動作オブジェクトを示している。図５で示されるように、Ｎ－１フレームとＮフレームとで、動作オブジェクトとして矢印型のカーソルの位置が変わって、つまり移動している。前フレームである図５（ａ）と後フレームである図５（ｃ）との間の補間フレームが図５（ｂ）に示される。

ここで、図５（ｂ）の補間フレームを生成する場合の動作オブジェクト抽出部１２０、動作オブジェクト動き判断部１２１、補間オブジェクト生成部１２２の機能について、図６、図７を用いて説明する。

図６は、動作オブジェクト抽出部１２０による、動作オブジェクト位置の算出の一例を説明する図である。図６（ａ）と図６（ｂ）はそれぞれ、図５で示したＮ－１フレームとＮフレームを所定の複数ブロック、一例として５×５のブロックに分割した図である。Ｎ－１フレームの個々のブロックとフレームＮの個々のブロックとを比較した相関の高さで、動作オブジェクト位置を判断することができる。つまりＮ－１フレームのあるブロックと相関が高いＮフレームのブロックがそれぞれのフレーム内の別の位置であった場合、そのブロックが各フレームの動作オブジェクト位置と算出できる。

例えば図６（ａ）中にＢ_Ｎ－１（１，５）と示したブロックと、図６（ｂ）中にＢ_Ｎ－１（５，５）と示したブロックとは互いに相関が高いブロックである。それに対し、図６（ｂ）中、つまりＮフレームのＢ_Ｎ－１（５，５）以外のブロック、例えばＢ_Ｎ（５，４）と示したブロックは、図６（ａ）のＢ_Ｎ（１，５）とは互いに相関が低いブロックである。相関の高いブロック同士が異なる位置であるため、Ｎ－１フレームの動作オブジェクト位置はＢ_Ｎ－１（１，５）であり、Ｎフレームの動作オブジェクト位置はＢ_Ｎ（５，５）であると判断できる。動作ブロック位置は、上述のように各ブロック自体に付与された識別番号であってもよいし、各ブロックの４つの頂点の座標で特定されてもよいし、各ブロックの中央位置の座標などでもよい。

図７は、動作オブジェクト抽出部１２０による動作オブジェクト画像の抽出の一例を説明する図である。図7は、背景を含まないカーソル部分だけを動作オブジェクト画像として抽出する例である。すなわち、ブロック内の画素（図７中の各点が画像内の画素位置を表す。）差分値を算出し、固定閾値で２値化、さらに差分画素の群を含む多角形（図７中で画素同士を結ぶ線で表される。）を算出し、算出した多角形に基づき動作オブジェクト画像を決定すればよい。

動作オブジェクト画像の抽出は図７で説明したものに限られず、動作オブジェクトであるカーソルを含むブロックの画像を動作オブジェクト画像としたり、ブロック内でさらにカーソルを含む最小の矩形領域の画像を動作オブジェクト画像としたりしてよい。また、あらかじめよく使用するカーソル等をテンプレート画像として定めておき、前述の多角形と相関が高ければ、そのテンプレート画像をオブジェクト画像としてもよい。以降はカーソルを含む最小の矩形領域の画像を動作オブジェクト画像とした場合を説明する。

動作オブジェクト動き判断部１２１は、動作オブジェクトの各フレーム内での位置情報である動作オブジェクト位置から、その動作オブジェクトを補間フレーム内のどの位置に置くかを算出する。図５の例では等速で移動しているとし、図５（ａ）と図５（ｃ）との中間の位置つまり、Ｂ（３，３）を補間オブジェクト位置とする。

補間オブジェクト生成部１２２は、動作オブジェクト抽出部１２０が抽出した動作オブジェクト画像を補間オブジェクト画像とする。そして、補間オブジェクト画像と、動作オブジェクト動き判断部１２１が算出した補間オブジェクト位置とからなる補間オブジェクトを生成する。

ここで除去用画像生成部１２４の機能の一部について再度図５を用いて説明する。除去用画像生成部の画像抽出部１２４１は、Ｎフレーム（図５（ｃ））内の、Ｎ－１フレーム（図５（ａ））の動作オブジェクト位置に対応する位置から、除去用画像を抽出する。図５の例では、図５（ｃ）から抽出される除去用画像は白一色の画像である。Ｎフレームの動作オブジェクト画像に除去用画像を上書きして除去する場合、除去したい動作オブジェクト画像を上書きできる形状と面積を抽出すればよい。つまり動作オブジェクト画像が矩形に抽出されていれば、一例として除去用画像は縦横の辺の長さがどちらも動作オブジェクト画像の辺以上である矩形を抽出すればよい。

次に図８を用いて、画像生成部１２３の機能について説明する。画像生成部１２３は、図８（ａ）で示されるＮ－１フレームをコピーして基準画像を生成する。なお図８（ａ）は図５（ａ）と同じくＮ－１フレームであるが、あらためて示している。

そして画像生成部１２３は、基準画像に補間オブジェクト生成部１２２が生成した補間オブジェクトを合成して、図８（ｂ）で示される画像を生成する。合成された補間オブジェクトは図８（ｂ）中に点線で示している。

画像生成部１２３はさらに、Ｎフレームから除去用画像を生成し、生成された除去用画像を図８（ｂ）に示した画像に合成して、図８（ｃ）中に示される補間フレームを生成する。合成された除去用画像は図８（ｃ）中に点線で示している。なお図８（ｃ）は図５（ｂ）と点線の有無が異なるが同じ補間フレームである。このようにして、フレーム補間部１２は補間フレームを生成することができる。

次に、図９に示される入力フレーム例を用いて、画像抽出部１２４１、補正要否判断部１２４２、補正処理部１２４３について説明する。

図９（ａ）（ｂ）（ｃ）は各フレームの同じ画像領域を示している。図９（ａ）はＮ－１フレーム、図９（ｃ）がＮフレームであり、いずれもエフェクト領域を含むフレームである。そして図９（ｂ）が、生成される補間フレームである。

ここでエフェクト領域について説明する。ＰＣ画面等の画面上にソフトウェア的に再現された、ソフトボタンと呼ばれる入力キーが知られている。ソフトボタンは他にも、ソフトキー、ＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ボタンなどと呼ばれることもある。このソフトボタンは、画面上に表示されたボタン部分をカーソルでクリックされたり、ボタン部分が選択された状態で別途実行するためのハードキーが押されたりして、入力が行われる。

このように、画面上で、ボタン部分にカーソルが置かれたり、ボタン部分が選択されたりしている状態（ボタンがアクティブな状態と呼ぶことがある。）であることを、画面上でユーザに対し視覚的に強調する効果を得るために、その状態の前の状態とで画像の一部を変化させる、一例として色を変えるなどの処理をおこなうことがある。このような、動きオブジェクトの動きに応じた画像の変化をエフェクトと呼ぶことがある。エフェクトとしてはその他にボタンや、ボタン内に記載されている文字の大きさを大きくするなどの処理もあるがこれらに限られない。そしてエフェクトが発生する領域をエフェクト領域と呼ぶ。

図９（ａ）は、ボタン１にカーソルが置かれた結果、エフェクトとしてボタン１の色がグレーに変化している。それに対し後フレームである図９（ｃ）には、ボタン１からカーソルが離れ、エフェクトが消失した結果、ボタン１の色が白に戻っている状態が示されている。

ボタン１に関するエフェクトは、カーソルがボタン１から移動した後、Ｎフレームでは消失する。そのため、補間フレームにおいてＮ－１フレームに存在していた動作オブジェクトであるカーソルを消去するためにＮフレーム画像に基づき除去用画像を生成し、前述の方法により合成すると、図９（ｂ）のように、ボタン１全体がグレー色であるはずが、エフェクトの一部の色が欠けた異常画像となり、動画の画質劣化につながる。

この異常画像はＮフレームを補間フレームの基準画像として使った場合でも同様に起こり、この場合はカーソルの移動先でエフェクトが発生した場合にその部分が補間フレームでは色が欠けた異常画像となる。

そこで本実施形態では、画像抽出部１２４１は、図１０（ｂ）で示すように基準画像ではないＮフレーム内の、Ｎ－１フレーム内の動作オブジェクト位置の第二の画像を抽出する。第二の画像の形状は一例として矩形である。そして画像抽出部１２４１は、Ｎ－１フレーム内の動作オブジェクト位置から、第二の画像より大きい面積をもつ画像を抽出する。一例として縦横の辺がいずれも第二の画像よりも大きい矩形画像を抽出する。

以降、第一の画像領域を大領域１、第二の画像を小領域と呼ぶことがある。除去用画像生成部は、この第一の画像と第二の画像の色情報に基づき、除去用画像を生成することで、図９（ｂ）で示したような色欠けが生じない補間フレームを生成できる。

除去用画像生成についてより詳細に説明する。補正処理部１２４３は、二つの矩形領域の内部色情報を元に、第二の画像の色の少なくとも一部を補正（以下色補正と呼ぶことがある。）して除去用画像とする。具体的には、図１１を用いて説明する。

図１１の左図は、第一の画像（大領域１）の上に第二の画像（小領域）を重ね合わせた画像である。（以降単に重ね合わせ画像と呼ぶことがある）そして図１１の右図は、図１１左図に対し、小領域に補正処理を実施した結果の画像である。つまり図１１の右図の点線内の画像が、第二の画像を補正した結果としての除去用画像である。ここで、重ね合わせ画像内で、１点鎖線と点線の間の領域を第一の画像部分（大領域１の画像部分）、点線内を第二の画像部分（小領域の画像部分）と呼ぶ。

このとき、補正処理部１２４３は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像（図１１左図）において、前記重ね合わせ画像の前記第一の画像部分と合わせて矩形となるように、第二の画像部分の色を第一の画像部分と同じ色に補正する。

また補正処理部１２４３は、第一フレームの動作オブジェクト位置に合わせて第一の画像と第二の画像とを比較したときに、互いに色が異なる位置の第二の画像の色を、前記位置の第一の画像の色に変更する補正をするということもできる。

つまり補正処理部１２４３は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像（図１１左図）において、第二の画像部分の、第一の画像部分と異なる色で接している３辺で定められる矩形部分を、第一の画像部分と同じ色に補正するということもできる。

さらに図１２と用いて説明する。図１２左図は、図１１左図に対し、符号Ｌ１と破線を追加した図である。図１２右図は図１１右図と同じ図である。補正処理部１２４３は、図１２に示すように、小領域が、矩形である大領域１の一辺（図１２左図中にＬ１と示した辺）を切り欠くように矩形に重なっている。言い換えると大領域１のグレー色が、コの字形状（図１２左図中に破線参照）に切り欠かれたともいえる。この時、図１２右図に示すように、小領域において、大領域１を切り欠いている矩形部分を、大領域１と同じグレー色に補正するということもできる。

以上説明したように第二の画像である小領域を色補正して除去用画像とすることで、色欠けの無い補正フレームを生成できる。

図１３は、第１の実施形態のフレーム補間方法のフロー図である。

まず、動作オブジェクト抽出工程として、動作オブジェクト抽出部１２０は、動作オブジェクトを抽出する（Ｓ１）。

次に動作オブジェクト動き判断工程として、動作オブジェクト動き判断部１２１は、前後のフレームでの動作オブジェクトの動きを判断する（Ｓ２）。

そして補間オブジェクト生成工程として、補間オブジェクト生成部１２２は、補間フレームにおける動作オブジェクト位置と動作オブジェクト画像である補間オブジェクトを生成する（Ｓ３）。

一方、画像抽出工程として、画像抽出部１２４１は、前後のフレームのうち、基準フレームから第一の画像を抽出し（Ｓ４）、基準フレームでないほうのフレームから第二の画像を抽出する（Ｓ５）。なお、画像を抽出する順番はこれに限られない。

そして補正要否判断工程として補正要否判断部１２４２は、第一の画像と第二の画像を比較し、補正要の場合はステップ７に進む。そして補正が不要の場合は第一の画像を除去用画像として生成し（Ｓ８）、画像生成部１２４に出力する。補正が不要な場合の画像例は後述する。

そしてステップＳ６で補正要と判断された場合は、補正処理工程として、補正処理部１２４３は、第一の画像と第二の画像の色情報に基づき、第二の画像の補正を行い（Ｓ７）、補正した結果を除去用画像として生成して（Ｓ８）、画像生成部１２３に出力する（Ｓ９）。

そして画像生成工程として、画像生成部１２４は、基準画像に補間オブジェクトと除去用画像を合成して、補間フレームを生成し（Ｓ９）、処理が終了する。

図１４（ａ）（ｂ）（ｃ）を用いて第一の実施形態の効果を述べる。図１４（ａ）（ｂ）（ｃ）は、図９（ａ）（ｂ）（ｃ）同様、各フレームの同じ画像領域を示している。そして図１４（ｂ）は、第一の実施形態によって色補正が行われた結果の補間フレームである。図９（ｂ）で示した補間フレームには色欠けが発生していたが、第一の実施形態の色補正を行うことにより図１４（ｂ）に示すような、色欠けの無い補間フレームを生成できる。

なお、動作オブジェクト画像、第一の画像、第二の画像それぞれの画像の面積は、動作オブジェクト画像≦第二の画像＜第一の画像という関係となっている。つまり第二の画像の面積は動作オブジェクト画像に上書きされた時に動作オブジェクト画像を隠す大きさを有している。そして第一の画像の面積は、第一の画像の上に第二の画像を重ねた時に、第一の画像と第二の画像の色情報を比較可能な大きさを有している。

また、本実施形態が適用可能なエフェクトは、図９に示されるエフェクトに限られない。図１５（ａ）（ｂ）（ｃ）は、図９のようにボタンの色にエフェクトが発生する他の画像例である。図１５（ａ）（ｂ）（ｃ）それぞれ、左図が通常時（言い換えるとエフェクトが発生していない時），右図がエフェクト発生中の画像である。

図１５（ａ）は、通常時には色が無い、または色が薄いボタンにエフェクト発生中は色が着いたり、色が濃くなったりする例を示している。図１５（ｂ）は、通常時には色が濃いボタンに、エフェクト発生中は色が薄くなる例を示している。図１５（ｃ）は、通常時は一色のボタンに、エフェクト発生中はその一部に色が着く、具体的には輪郭のみ色が濃くなる例を示している。このように、エフェクトはアプリケーションのＧＵＩの設計やユーザの設定により種々存在する。いずれも、第一の画像と第二の画像を抽出し、互いの内部の色情報に基づき除去用画像を生成することで補間フレームを作成することができる。

図１６（ａ）（ｂ）（ｃ）は色補正の他の例である。図１６（ａ）（ｂ）（ｃ）それぞれの左図は第一の画像（大領域１）の上に第二の画像（小領域）を重ね合わせた重ね合わせ画像である。図１６（ａ）（ｂ）（ｃ）それぞれの右図は、それぞれの左図の小領域に対して補正処理を実施した結果の画像である。図１６（ａ）（ｂ）（ｃ）それぞれの右図の点線内画像が除去用画像となる。

図１６（ａ）左図は、小領域の２辺に接する形状に重ね合わされている。Ｌの字形状ということもできる。この場合、補正処理部１２４３は、図１６右図に示すように、小領域の大領域１に接する２辺で決まる長方形部分をグレーに補正する。

つまり補正処理部１２４３は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像（図１６左図）において、前記重ね合わせ画像の前記第一の画像部分と合わせて矩形となるように、第二の画像部分の色を第一の画像部分と同じ色に補正している。

また補正処理部１２４３は、第一フレームの動作オブジェクト位置に合わせて第一の画像と第二の画像と比較したときに、互いに色が異なる位置の第二の画像の色を、前記位置の第一の画像の色に変更する補正をしているということもできる。

さらに補正処理部１２４３は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像（図１５左図）において、第二の画像部分の、第一の画像部分と異なる色で接している２辺で定められる矩形部分を、第一の画像部分と同じ色に補正しているということもできる。

また、図１６（ｂ）（ｃ）に示すように大領域１と小領域は円形状（楕円を含む）であってもよい。この場合、補正処理部１２４３は、図１６（ｂ）（ｃ）の右図に示すように、色補正を行なえばよい。つまり小領域の大領域１の色画像に接する円弧部分と、矩形である大領域１の矩形状ボタンの辺と平行な線を円弧の端から伸ばした線に囲まれた領域をグレーに補正するなどすればよい。

また補正処理部１２４３は、第一フレームの動作オブジェクト位置に合わせて第一の画像と第二の画像と比較したときに、互いに色が異なる位置の第二の画像の色を、前記位置の第一の画像の色に変更する補正をしているということもできる。

以上図１６に示したように大領域１と小領域の形状は種々選択可能であり、また互いの形状が同じでなくても、小領域とその周辺の色情報を比較できるように、基準フレームの動作オブジェクト位置を中心に大領域１の画像が小領域の画像周辺を含むようにそれぞれが抽出すればよい。

次に図１７を用いて、色補正を行わない画像例を説明する。つまり、補正要否判断部１２４２による比較の結果、補正処理部１２４３による補正処理を行わない例である

図１７（ａ）（ｂ）（ｃ）それぞれの左図は第一の画像（大領域１）の上に第二の画像（小領域）を重ね合わせた画像である重ね合わせ画像である。補正要否判断の説明の為、一部に点線で楕円（Ｒａ１、Ｒａ２、Ｒｂ１，Ｒｂ２，Ｒｃ１，Ｒｃ２，Ｒｃ３）を示している。図１７（ａ）（ｂ）（ｃ）それぞれの右図は、色補正を実施しなかった結果の画像である。図１７（ａ）（ｂ）（ｃ）それぞれの右図の点線内の画像が除去用画像となる。

図１７（ａ）左図には、図中のＲａ１、Ｒａ２で示すように、小領域の画像部分に、大領域１の画像部分から連続した色画像部分が存在する。このように小領域に大領域１から連続した色画像が少なくとも１箇所存在する色画像は、小領域が抽出された後フレームにおいても、前フレーム同様にその色画像が存在し続けていることを意味する。つまりこの連続した色画像は、エフェクトとして変化した色ではなく、エフェクトではない色画像と考えられる。したがってこの場合は、補正処理部１２４３による補正、つまり小領域の少なくとも一部を大領域１と同じ色で埋める補正処理を実施しない。

また、図１７（ｂ）左図には、図中Ｒｂ１、Ｒｂ２で示すように、大領域１の画像部分のうち、矩形の互いに対向する辺同士の間が同じ色画像である領域が２箇所ある。また図１７（ｃ）左図には、図中Ｒｃ１、Ｒｃ２、Ｒｃ３に示すように、矩形の互いに対向する辺同士の間が同じ色画像である領域が３箇所ある。これらの領域は図１４（ｃ）のような輪郭のみのエフェクトの一部の可能性を示す。したがってこの場合は、補正処理部１２４３による補正、つまり小領域の少なくとも一部を大領域１と同じ色で埋める補正処理を実施しない。なお２箇所の場合は、図１７（ｂ）のように２箇所が互いに重なる部分がある画像に限らず、互いに並行で重なる部分がない２箇所の場合も同様に補正処理を実施しないようにしてもよい。

また、大領域１の互いに対向する辺同士の間が同じ色画像である領域を、言い換えると、大領域１の辺の長さと、大領域１と小領域の辺の間の長さで定められる長方形内が同じ色画像である領域などということもできる。さらに大領域１のある辺に対応する領域が同じ色画像である領域といってもよい。

次に、第２の実施形態を説明する。第２の実施形態は、第１の実施形態の補正要否判断の別の例である。その他の構成や機能については第１の実施形態と共通の為、説明は省略する。

第２の実施形態は重ね合わせ画像の大領域１の部分が同じ色画像となった場合の補正要否判断の例である。図１８（ａ）（ｂ）はいずれも左図はエフェクト発生中のＮ－１フレーム，右図はエフェクトが消失したＮフレームを示している。それぞれ説明の補助として、大領域１を1点鎖線、小領域を点線で示している。

まず図１８（ａ）は、ボタン内部を色付けするエフェクトが発生する場合に、エフェクト領域であるボタン内部で大領域１と小領域が抽出された場合である。そして図１８（ｂ）は、矩形のボタンの輪郭のみ色付けするエフェクトが発生する場合に、ボタン輪郭の外形と大領域１の外周、そしてボタンの輪郭の内周と小領域の外周とが一致して抽出された場合である。図１８（ａ）（ｂ）の場合、大領域１と小領域を重ね合わせた画像はいずれも、図１８（ｃ）に示されるように、大領域１の周囲が同じ色画像となる。

このとき図１８（ｃ）に基づき補正処理部１２４３が、第１の実施形態同様、小領域を大領域１と同じ色画像に色補正すると、図１８（ａ）は異常画像とはならないが図１８（ｂ）は輪郭のみのエフェクトにも関わらずボタン全域が色で埋まり、補間フレームは異常画像となる。

そこで大領域１の周囲、大領域１が矩形であれば４辺が色で埋まるケースにおいては、画像抽出部１２４１は、第三の画像として、小領域と同じ位置から小領域より面積の小さい領域（以下比較用小領域と呼ぶことがある。）を抽出する。画像抽出部１２４１は、段階的に面積が異なる複数の比較用小領域を抽出してもよい。

図１９を用いて比較用小領域について説明する。図１９（ａ）（ｂ）はそれぞれ図１８（ａ）（ｂ）の場合に対応する小領域と大領域１を重ね合わせた重ね合わせ画像であり、どちらも図１８（ｃ）と同じ画像である。そして図１９（ａ）（ｂ）はどちらも比較用小領域を複数、具体的には３つ抽出し、画像面積の大きい順に左から比較用小領域１，２，３が示されている。

図１９（ａ）は、大領域１と、比較用小領域１～３それぞれとの重ね合わせ画像全てにおいて、比較用小領域の境界から大領域１の端まで同じ色で埋まっている。この場合は、補正要否判断部１２４２は図１８（ａ）のようなボタン全域のエフェクトと判断し、小領域内を全て色補正する。

一方、図１９（ｂ）は、大領域１と比較用小領域１との重ね合わせ画像において、比較用小領域１の外側は色がついていない。このように、小領域と大領域１との境界と、比較用小領域と大領域１との境界で色の変化が現れた場合は、補正要否判断部１２４２は、エフェクトによる色変化が四角形輪郭であると判断し、補正処理部１２４３による色補正処理を実施しない。

あるいは、小領域と、差分が初めて生じた比較用小領域との間の領域を色づけする補正処理を実施してもよい。補間フレームにおいてエフェクトの輪郭が実際のフレームより太くはなるが、同じ色に埋まってしまうという異常画像は防ぐことができる。比較用小領域をより多く取れば、補正フレームで輪郭が太くなってしまう程度は少なく、元のフレームにより近い補間フレームを得られる。このとき比較用小領域の大きさは、最も小さい比較用小領域の大きさをフレーム内の輪郭の色変化であるエフェクト領域の大きさより小さくすればよい。

また比較用小領域は１つでもよく、その場合、計算処理が簡単になりフレームレートが有利になるという効果が得られる。このとき比較用小領域の大きさは、フレーム内の輪郭の色変化であるエフェクト領域の大きさより小さくすればよい。そうすれば、補間フレームにおいてエフェクトの輪郭が実際のフレームより太くはなるが、同じ色に埋まってしまうという異常画像は防ぐことができる。

比較用小領域が複数の場合の最も小さい比較用小領域の大きさ、もしくは比較用小領域が１つの場合の比較用小領域の大きさは、ユーザが動画像で使用するアプリケーションに存在する四角形輪郭色付けエフェクトの大きさをあらかじめ把握しておき、それより小さくなるように設定すればよい。

次に第３の実施形態を説明する。第２の実施形態は、第１の実施例と補正処理を実施有無の判断方法が異なる。その他の構成や機能については第１の実施例と共通の為、説明は省略する。

図２０は、一例として模様としてグレー色部分と赤の斜線部分を有するボタンである。このボタンの外形はその一部が、矩形に切り取られた形状をしている。そして図２０左図にしめすようにＮ－１フレームで動作オブジェクトであるカーソルはボタンの切り取られた形状の部分付近にある。図２０右図に示されるＮフレームではその場所からカーソルは別な場所に移動している。

この時、図２０右図に点線で示したようにＮフレームから小領域を抽出して、図２０左図に１点鎖線で示す大領域１と比較すると、小領域の２辺が大領域１と接するため、大領域１の色に合わせて長方形に色補正を行った除去用画像を生成する。この場合、補間フレームにおいて元々のボタンの外形が変わる。

そこで本実施形態の画像抽出部１２４１は、図２０右図に２点鎖線で示すように、第四の画像として、Ｎフレームから大領域１と同じ位置、同じ大きさの大領域２を抽出する。つまり本第３の実施形態では画像抽出部１２４１は、基準フレームであるＮ－１フレームからは大領域１、基準フレームでないＮフレームからは小領域と大領域２を抽出する。

そして補正要否判断部１２４２は、少なくとも大領域１と大領域２について、構成される色情報を検出する。色情報の検出はある程度の画素で平均化したブロックで検出すればよい。さらに、動作オブジェクトを構成している色も抽出し、大領域１、大領域２を構成する色を比較する。

比較の結果Ｎ－１フレームにおける大領域１と、Ｎフレームにおける大領域２の色構成とが動作オブジェクトの構成色以外で異なる場合は、エフェクトとしての色変化が発生していると判断でき、補正処理部１２４３による補正処理を実施する。一方オブジェクトの構成色以外が同じであれば、エフェクトとしての色変化は発生していないと判断でき、補正処理を実施しない。

図２１の表で第３の実施形態で補正要否を判断する具体例を二つ示す。まず表中の例１は、図２０の画像例に対応する。図１９の斜線部分が赤の画像だったとする。その時、大領域１の色構成は、動作オブジェクトの黒と、ボタンの一部の色であるグレーと赤、そして背景の白である。それに対し大領域２は、ボタンの一部の色であるグレーと赤、そして背景の白である。したがって大領域１と大領域２を構成する色の種類の差分は、動作オブジェクトの色構成である黒の有無のみである。この場合、小領域の周辺は、色変化がないことがわかるので小領域の色補正を実施しない。

比較として図２１の表中で例２は、色構成の差分が、動作オブジェクトの色構成、一例として青の有無以外に、大領域１に含まれている緑が大領域２には含まれていないという差分も生じている。この場合はエフェクトによる色変化であると判断し、補正処理を実施する。

このように、第二フレームから第一の画像と同じ面積である第四の画像（大領域２）を抽出し、大領域１と互いに構成する色情報を比較して補正の有無を判断するため、小領域の形状と類似した形状をもつ背景画像を動作オブジェクトと判断して補正を行うことはない。したがって、正確に色補正の有無を判断して異常画像の無い補間フレームを生成できる。

以上、本発明の各実施形態について詳述したが、かかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ ユーザデバイス
１２ フレーム補間部
１２０ 動作オブジェクト抽出部
１２１ 動作オブジェクト動き判断部
１２２ 補間オブジェクト生成部
１２３ 画像生成部
１２４ 除去用画像生成部
１２４１ 画像抽出部
１２４２ 補正要否判断部
１２４３ 補正処理部

特開２００４－１５９２９４号公報

Claims (10)

1. 入力された連続する前後のフレーム間の補間フレームを作成するフレーム補間装置であって、
   前記前後のフレーム間でフレーム内での位置が変化するオブジェクトである動作オブジェクトを抽出する動作オブジェクト抽出部と、
   前記動作オブジェクトの前記補間フレームでの位置情報である補間オブジェクト位置と、前記補間フレームでの画像情報である補間オブジェクト画像とからなる補間オブジェクトを生成する補間オブジェクト生成部と、
   前記前後のフレームのうちいずれかである第一のフレームに基づき、前記補間フレームの基準となる画像である基準画像を生成する基準画像生成部と、
   前記前後のフレームのうち、前記第一のフレームでないフレームである第二のフレームから、前記基準画像内の前記動作オブジェクトの画像を除去する画像である除去用画像を生成する除去用画像生成部と、
   前記基準画像に、前記補間オブジェクトと、前記除去用画像とを合成して前記補間フレームを生成する画像生成部とを有し、
   前記除去用画像生成部は、前記第一のフレームから第一の画像を抽出し、前記第二のフレームから第二の画像を抽出する画像抽出部と、前記第一の画像の色情報と前記第二の画像の色情報に基づいて前記第二の画像の色情報を補正する補正処理部とを有していて、前記補正処理部によって補正された前記第二の画像を除去用画像として生成し、
   前記第二の画像の面積は、前記第一のフレーム内の前記動作オブジェクトの面積以上であり、
   前記第一の画像の面積は、前記第二の画像の面積よりも大きいものであり、
   前記画像抽出部は、
   前記第一の画像を、前記第一のフレームでの動作オブジェクトの位置情報である動作オブジェクト位置から抽出し、
   前記第二の画像を、前記第二のフレーム内の前記第一のフレームの前記動作オブジェクト位置に対応する位置から抽出し、
   前記補正処理部は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像において前記第一の画像と前記第二の画像の間の領域である第一の画像部分と合わせて矩形となるように、前記第二の画像の少なくとも一部の色を前記第一の画像部分と同じ色に補正するフレーム補間装置。
2. 前記補正処理部は、前記第一の画像と前記第二の画像とをフレーム内の位置を基準に比較したときに、互いに色が異なる位置の前記第二の画像の色を、対応する前記第一の画像の色に変更する補正をする請求項１のフレーム補間装置。
3. 前記第一の画像と前記第二の画像の形状が矩形である請求項１または２のフレーム補間装置。
4. 前記除去用画像生成部は補正要否判断部を有し、
   前記補正要否判断部は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像において、前記重ね合わせ画像の前記第一の画像部分で、矩形の対向する辺の間が同じ色画像である領域が、２箇所または３箇所存在する場合は、前記補正処理部による前記補正を行わずに前記第二の画像を前記除去用画像とする請求項３のフレーム補間装置。
5. 前記第一の画像と前記第二の画像の形状が円形である請求項１または２のフレーム補間装置。
6. 前記除去用画像生成部は補正要否判断部を有し、
   前記画像抽出部は、前記第二の画像と同じ位置から前記第二の画像の面積よりも面積の小さい画像である第三の画像を抽出し、
   前記補正要否判断部は、前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像を用いて比較したときに、前記重ね合わせ画像の前記第一の画像部分が全て同じ色である場合は、前記第一の画像の上に前記第三の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像の前記第一の画像と前記第三の画像の間の領域が全て同じ色である場合に、前記補正処理部による補正を実行する請求項１または２のフレーム補間装置。
7. 前記第三の画像の面積は、前記フレーム内で前記動作オブジェクトの動きに応じて色が変化する領域であるエフェクト領域よりも小さい請求項６のフレーム補間装置。
8. 前記画像抽出部は、
   前記第二のフレーム内の前記第一のフレームの動作オブジェクト位置から、前記第一の画像と同じ面積である第四の画像を抽出し、
   前記第一の画像と前記第四の画像を構成する色の種類が同じ場合は、前記補正を実行せずに前記第二の画像を前記除去用画像とする請求項１または２のフレーム補間装置。
9. 入力された連続する前後のフレーム間の補間フレームを作成するフレーム補間方法であって、
   前記前後のフレーム間でフレーム内での位置が変化するオブジェクトである動作オブジェクトを抽出する動作オブジェクト抽出工程と、
   前記動作オブジェクトの前記補間フレームでの位置情報である補間オブジェクト位置と、前記補間フレームでの画像情報である補間オブジェクト画像とからなる補間オブジェクトを生成する補間オブジェクト生成工程と、
   前記前後のフレームのうちいずれかである第一のフレームに基づき、前記補間フレームの基準となる画像である基準画像を生成する基準画像生成工程と、
   前記第一のフレームから第一の画像を抽出し、前記前後のフレームのうち前記第一のフレームでないフレームである第二のフレームから第二の画像を抽出する画像抽出工程と、前記第一の画像の色情報と前記第二の画像の色情報に基づいて前記第二の画像の色情報を補正する補正処理工程とを有していて、前記補正処理工程によって補正された前記第二の画像を除去用画像として生成する除去用画像生成工程と、
   前記基準画像に、前記補間オブジェクトと、前記除去用画像とを合成して前記補間フレームを生成する画像生成工程とからなり、
   前記第二の画像の面積は、前記第一のフレーム内の前記動作オブジェクトの面積以上であり、
   前記第一の画像の面積は、前記第二の画像の面積よりも大きいものであり、
   前記画像抽出工程は、
   前記第一の画像を、前記第一のフレームでの動作オブジェクトの位置情報である動作オブジェクト位置から抽出し、
   前記第二の画像を、前記第二のフレーム内の前記第一のフレームの前記動作オブジェクト位置に対応する位置から抽出するものであり、
   前記補正処理工程は、
   前記第一の画像の上に前記第二の画像をフレーム内の位置を基準に重ね合わせた画像である重ね合わせ画像において前記第一の画像と前記第二の画像の間の領域である第一の画像部分と合わせて矩形となるように、前記第二の画像の少なくとも一部の色を前記第一の画像部分と同じ色に補正するものであるフレーム補間方法。
10. コンピュータに請求項９に記載の各工程を実行させるためのフレーム補間プログラム。

Images