JPWO2008126252A1

JPWO2008126252A1 - 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体

Info

Publication number: JPWO2008126252A1
Application number: JP2009508802A
Authority: JP
Inventors: 研司水戸; 淑貴田中
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2010-07-22
Also published as: WO2008126252A1

Abstract

判定部（３０２）は、入力部（３０１）から連続して入力される一連のフレーム画像が一定方向の移動を示すか否かを判定する。変更部（３０３）は、一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する。判断部（３０４）は、変更部（３０３）によって変更された可能判断条件を用いて、補間フレーム画像の生成が可能か否かを判断する。そして、生成部（３０５）は、判断部（３０４）によって補間フレーム画像の生成が可能であると判断された場合、補間フレーム画像を生成する。

Description

この発明は、画像を生成する画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体に関する。ただし、この発明の利用は、上述した画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体には限られない。

従来より、一連のフレーム画像から構成される動画像をなめらかに表示するために、フレーム画像間を補間する補間フレーム画像を生成し、生成された補間フレーム画像をフレーム画像間に挿入する技術が知られている。

補間フレーム画像は、たとえば、所定の時間間隔（フレームレート）で入力されてくるフレーム画像における動きベクトルや各フレーム画像のそれぞれに対応する領域の画素値などを用いて生成される。このような補間フレーム画像によって、入力される情報量の削減のために低いフレームレートでフレーム画像が入力される場合であっても、なめらかな動画像を表示することができることとなる。

特に、ＰＡＮやＴＩＬＴやズーム（ＺＯＯＭ）など撮像装置において一定方向の駆動によって撮像されたフレーム画像から構成される動画像は、連続した動作になっているため、補間フレーム画像を挿入することにより、なめらかな動画像を表示することとなる。

具体的に、図１および図２を用いて、従来における補間フレーム画像の概要について説明する。図１は、従来における連続する２つのフレーム画像の一例を示す説明図である。

図１において、連続するフレーム画像１０１，１０２は、図示しない撮像装置におけるＰＡＮによって撮像されており、具体的には、撮像装置の水平方向の左から右への駆動によって撮像された動画像である。

フレーム画像１０１，１０２の間の補間フレーム画像は、たとえば、各フレーム画像１０１，１０２から抽出される動きベクトルを用いて、所定のブロック領域１１０（１１０ａ，１１０ｂ）の画素値を比較することによって生成が可能か否か判断される。そして、補間フレーム画像の生成が可能である場合、補間フレーム画像は、各フレーム画像１０１，１０２と、動きベクトルとを用いて生成することができる。

具体的には、たとえば、補間フレーム画像の生成に関する判断は、ブロックマッチングによって、フレーム画像１０１のブロック領域１１０ａの画素値と、抽出された動きベクトル分移動したフレーム画像１０２のブロック領域１１０ｂの画素値との差分を、所定のしきい値と比較することによっておこなう。

より具体的には、たとえば、ブロックマッチングは、ブロック領域１１０ａの画素値と、ブロック領域１１０ｂの画素値との差分が、所定のしきい値未満だった場合に、ブロック領域１１０ａと、ブロック領域１１０ｂとが一致すると判断する。

ここで、ブロック領域１１０は、複数であってもよく、所定の範囲（たとえば、４×４画素）の領域としてもよい。すなわち、補間フレーム画像の生成に関する判断は、たとえば、ブロックマッチングによって一致したブロック領域の数量によって判断してもよい。

そして、補間フレーム画像は、補間フレーム画像の生成が可能であると判断された場合、動きベクトルの中間の動きベクトルと、フレーム画像１０１，１０２の各画素とを用いて生成することができる。

つぎに、図２を用いて、従来におけるＰＡＮのシーンにおける補間フレーム画像の挿入の概要について説明する。図２は、従来におけるＰＡＮのシーンの補間フレーム画像の挿入の一例を示す説明図である。

図２において、一連のフレーム画像から構成される動画像２００は、フレーム画像２０１，２０２，２０３と、補間フレーム画像２０４と、から構成されている。

フレーム画像２０１，２０２，２０３は、図示しない受信機によりデコードされた画像であり、時間軸Ｔに沿って、連続的に入力される。また、フレーム画像２０１，２０２，２０３は、たとえば、所定のレートで連続的に入力され、具体的には、時間間隔ｔごとに入力される構成である。

ここで、フレーム画像２０２，２０３は、ＰＡＮのシーン２１０が撮像された画像である。また、フレーム画像２０１は、ＰＡＮのシーン２１０とは異なるシーン（通常のシーン）が撮像された画像である。

フレーム画像２０２は、フレーム画像２０２のつぎに入力されたフレーム画像とブロックマッチングに基づいて補間フレーム画像の生成が可能であると判断され、抽出される動きベクトルによって、連続する２つのフレーム画像２０２同士の間や、フレーム画像２０２とフレーム画像２０３との間を補間するための補間フレーム画像２０４が生成される。

また、フレーム画像２０３は、フレーム画像２０３のつぎのフレーム画像２０２とブロックマッチングに基づいて補間フレーム画像の生成が不可能であると判断され、連続する２つのフレーム画像２０２，２０３間を補間するための補間フレーム画像２０４が生成されない。

換言すれば、フレーム画像２０２は、つぎのフレーム画像２０２，２０３とブロックマッチングをしやすい画像であり、フレーム画像２０３は、つぎのフレーム画像２０２とブロックマッチングしにくい画像である。

補間フレーム画像２０４は、ブロックマッチングによって一致したブロック領域を多く有するフレーム画像２０２と、フレーム画像２０２，２０３との間を補間する画像であり、動きベクトルを用いて生成、挿入されている。

また、近年では、補間フレーム画像の生成の精度を向上させるために、符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得し、取得された動き補償ベクトルを画像ブロックの動きベクトルとして用いて補間フレーム画像を作成する提案がされている（たとえば、下記特許文献１参照。）。

特開２００５−６２７５号公報

しかしながら、上述した従来技術では、時間的に前後するフレーム画像から補間フレーム画像を生成して動画像に挿入するため、補間フレーム画像が生成できないフレーム画像からは補間フレーム画像が生成できず、なめらかな動画像を表示できないこととなる。

したがって、各フレーム画像の時間間隔が大きなフレーム画像を動画像として表示する場合、各フレーム画像にバラツキが生じ、ブロックマッチングによって補間フレーム画像の生成が不可能であると判断されてしまうという問題が一例として挙げられる。

また、各フレーム画像のビットレートが低く、本来の画像成分が十分に再現できない場合も、ブロックマッチングによって補間フレーム画像の生成が不可能であると判断されてしまうという問題が一例として挙げられる。

特に、ＰＡＮなど一定方向に連続した動作となるシーンでは、補間フレーム画像の生成がされない場合、利用者にとって違和感のある動画像を表示し、適切な動画像を提供できないこととなる。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像生成装置は、連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更手段と、前記変更手段によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断手段と、前記判断手段によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成手段と、を備えることを特徴とする。

また、請求項１５の発明にかかる画像生成方法は、連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定工程と、前記判定工程による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更工程と、前記変更工程によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断工程と、前記判断工程によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成工程と、を含むことを特徴とする。

また、請求項１６の発明にかかる画像生成プログラムは、請求項１５に記載の画像生成方法をコンピュータに実行させることを特徴とする。

また、請求項１７の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項１６に記載の画像生成プログラムを記録したことを特徴とする。

図１は、従来における連続する２つのフレーム画像の一例を示す説明図である。図２は、従来におけるＰＡＮのシーンの補間フレーム画像の挿入の一例を示す説明図である。図３は、本実施の形態にかかる画像生成装置の機能的構成の一例を示すブロック図である。図４は、本実施の形態にかかる画像生成装置の処理の内容を示すフローチャートである。図５は、本実施の形態にかかる画像生成装置から出力される動画像の一例を示す説明図である。図６は、本実施例１にかかるコンピュータ装置のハードウェア構成の一例を示すブロック図である。図７は、本実施例１にかかるコンピュータ装置の機能的構成の一例を示すブロック図である。図８は、本実施例１にかかるコンピュータ装置の処理の内容を示すフローチャートである。図９は、本実施例２にかかるコンピュータ装置の機能的構成の一例を示すブロック図である。図１０は、本実施例２にかかるコンピュータ装置の処理の内容を示すフローチャートである。

符号の説明

３００画像生成装置
３０１入力部
３０２判定部
３０３変更部
３０４判断部
３０５生成部
３０６出力部

以下に添付図面を参照して、この発明にかかる画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。

（実施の形態）
（画像生成装置の機能的構成）
まず、図３を用いて、本実施の形態にかかる画像生成装置の機能的構成について説明する。図３は、本実施の形態にかかる画像生成装置の機能的構成の一例を示すブロック図である。

図３において、画像生成装置３００は、入力部３０１と、判定部３０２と、変更部３０３と、判断部３０４と、生成部３０５と、出力部３０６と、から構成されている。

入力部３０１は、連続して入力される一連のフレーム画像を受け付ける。具体的には、たとえば、入力部３０１は、地上波デジタル放送やアナログテレビ放送やインターネットなどのネットワークを介して送信される画像信号をデコードすることによって、一連のフレーム画像の入力を受け付ける。また、入力部３０１は、図示しない撮像装置から撮像された映像を構成する一連のフレーム画像の入力を受け付けることとしてもよい。

判定部３０２は、入力部３０１によって入力を受け付けた一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する。具体的には、たとえば、判定部３０２は、一連のフレーム画像の動きベクトルを用いて、一連のフレーム画像のうち連続した所定数のフレーム画像が一定方向の移動を示す場合、所定数のフレーム画像のつぎに入力されるフレーム画像が、所定数のフレーム画像から一定方向の移動を示すか否かを判定する。

また、判定部３０２は、たとえば、所定数のフレーム画像が一定方向の移動を示す場合、一連のフレーム画像のうち、所定数のフレーム画像より後に入力される一のフレーム画像が、一のフレーム画像の前のフレーム画像から一定方向の移動を示すか否かを判定することとしてもよい。前のフレーム画像は、たとえば、一のフレーム画像の直前のフレーム画像でもよく、このようにすれば、一連のフレーム画像のうち所定数のフレーム画像が一定方向の移動を示した後は、前後のフレーム画像を比較するだけで、一定方向の移動を示すか否かを判定することができる。

所定数は、たとえば、一連のフレーム画像のうち、連続する３つ以上のフレーム画像としてもよい。ここで、一定方向の移動を示す動画は、たとえば、ＰＡＮやＴＩＬＴやＺＯＯＭなどのシーンである。すなわち、３つの連続するフレーム画像の動きベクトルがほぼ同一であれば、該動きベクトルの方向のＰＡＮのシーンであると判定してもよい。

また、判定部３０２は、一連のフレーム画像から、フレーム画像中における固定領域を除いた画像領域を用いて、一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定することとしてもよい。具体的には、たとえば、固定領域は、フレーム画像中におけるテロップを示す領域やフレーム画像中の有効画面以外の領域などである。有効画面は、たとえば、フレーム画像のサイズ比によって生じる上下や左右の黒い部分である。

変更部３０３は、判定部３０２による判定結果に応じて、一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する。そして、判断部３０４は、変更部３０３によって変更された可能判断条件を用いて、補間フレーム画像の生成が可能であるか否かを判断する。

具体的には、たとえば、変更部３０３は、所定数のフレーム画像および該所定数のフレーム画像のつぎのフレーム画像や、前のフレーム画像および一のフレーム画像など、時間的に前後するフレーム画像間を補間する補間フレーム画像における可能判断条件を変更する。

より具体的には、たとえば、変更部３０３は、補間フレーム画像の生成元となる時間的に前後するフレーム画像における所定領域の各画素値の差分のしきい値を変更することとしてもよい。ここで、しきい値は、たとえば、判定部３０２によって一定方向の移動を示すと判定された場合の方が、一定方向の移動を示さないと判定された場合に比べて高くなるように変更する。

そして、判断部３０４は、変更部３０３によって変更されたしきい値と、所定領域の各画素値の差分とを比較することで、補間フレーム画像の生成が可能であるか否かを判断する。具体的には、たとえば、判断部３０４は、各画素値の差分が、しきい値よりも低い場合に補間フレーム画像の生成が可能であると判断する。すなわち、変更部３０３は、一定方向の移動を示す場合の方が、一定方向の移動を示さない場合に比べて、高いしきい値に変更することで、補間フレーム画像の生成が可能であると判断されやすくなる構成である。

また、変更部３０３は、可能判断条件として、補間フレーム画像の生成元となる時間的に前後するフレーム画像における所定領域の各画素値の差分を演算する演算方式を変更してもよい。その場合、判断部３０４は、変更部３０３によって変更された演算方式に基づいて演算される所定領域の各画素値の差分によって、補間フレーム画像の生成が可能か否かを判断する。

具体的には、たとえば、変更部３０３は、一定方向の移動を示す場合の方が、一定方向の移動を示さない場合に比べて、各画素値の差分が小さくなる演算方式に変更することとしてもよく、判断部３０４は、一定方向の移動を示す場合の方が補間フレーム画像の生成が可能であると判断しやすくなる構成でもよい。

さらに、変更部３０３は、可能判断条件として、補間フレーム画像の生成元となる時間的に前後するフレーム画像に含まれる、補間フレーム画像の生成に用いられる生成用データの抽出方式を変更することとしてもよい。その場合、判断部３０４は、変更部３０３によって変更された抽出方式によって抽出された生成用データを用いて、補間フレーム画像の生成が可能か否かを判断する。

具体的には、たとえば、変更部３０３は、一定方向の移動を示す場合の方が、一定方向の移動を示さない場合に比べて、補間フレーム画像の生成しやすくなるような生成用データの抽出方式に変更することとしてもよく、判断部３０４によって、一定方向の移動を示す場合の方が補間フレーム画像の生成が可能であると判断されやすくなる構成でもよい。

また、変更部３０３は、可能判断条件として、補間フレーム画像の生成に用いる生成用データの数量を変更することとしてもよい。その場合、判断部３０４は、一定方向の移動を示すと判定された場合の方が、一定方向の移動を示さないと判定された場合に比べて、少ない数量の生成用データから補間フレーム画像を生成することが可能であると判断する。

また、変更部３０３は、可能判断条件として、補間フレーム画像を生成する際に生じる、補間フレーム画像の隙間領域の大きさのしきい値を変更することとしてもよい。すなわち、判断部３０４によって、一定方向の移動を示すと判定された場合の方が、一定方向の移動を示さないと判定された場合に比べて、隙間領域が大きくても補間フレーム画像の生成が可能であると判断できるように、隙間領域のしきい値を変更する。

生成部３０５は、判断部３０４によって補間フレーム画像の生成が可能であると判断された場合、補間フレーム画像を生成する。

出力部３０６は、生成部３０５によって生成された補間フレーム画像を出力する。さらに、出力部３０６は、入力部３０１によって入力されたフレーム画像を出力することとしてもよい。

具体的には、たとえば、出力部３０６は、ディスプレイなど動画を表示可能な機能部にフレーム画像および補間フレーム画像を出力する構成でもよい。すなわち、利用者は、出力部３０６から出力されたフレーム画像および補間フレーム画像によって、なめらかな動画を視聴することができる。

（画像生成装置３００の処理の内容）
つぎに、図４を用いて、本実施の形態にかかる画像生成装置３００の処理の内容について説明する。図４は、本実施の形態にかかる画像生成装置の処理の内容を示すフローチャートである。図４のフローチャートにおいて、まず、入力部３０１によってフレーム画像の入力を受け付けたか否かを判断する（ステップＳ４０１）。

ステップＳ４０１において、フレーム画像の入力を受け付けるのを待って、受け付けた場合（ステップＳ４０１：Ｙｅｓ）は、判定部３０２によって、ステップＳ４０１において入力を受け付けた一連のフレーム画像が示す動画が一定方向の移動を示すか判定する（ステップＳ４０２）。

つぎに、変更部３０３によって、ステップＳ４０１における判定結果に応じて、一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する（ステップＳ４０３）。

そして、判断部３０４によって、ステップＳ４０３において変更された可能判断条件を用いて、補間フレーム画像の生成が可能か判断し（ステップＳ４０４）、生成部３０５によって、ステップＳ４０４において補間フレーム画像の生成が可能であると判断された場合、補間フレーム画像を生成する（ステップＳ４０５）。

その後、出力部３０６によって、ステップＳ４０５において生成された補間フレーム画像を出力して（ステップＳ４０６）、一連の処理を終了する。なお、図４のフローチャートでは説明を省略したが、ステップＳ４０６における補間フレーム画像の出力は、ステップＳ４０１において入力されたフレーム画像とともにおこなうこととしてもよい。

（画像生成装置３００から出力される動画像の概要）
ここで、図５を用いて、本実施の形態にかかる画像生成装置３００から出力される動画像の概要について説明する。図５は、本実施の形態にかかる画像生成装置から出力される動画像の一例を示す説明図である。

図５において、一連のフレーム画像から構成される動画像５００は、フレーム画像５０１，５０２，５０３と、補間フレーム画像５０４，５０５と、から構成されている。

フレーム画像５０１，５０２，５０３は、図３に示した入力部３０１によって、図示しない撮像装置において撮像された画像の画像信号をデコードすることによって、連続的に入力を受け付ける。具体的には、たとえば、フレーム画像５０１，５０２，５０３は、地上波デジタル放送や地上波デジタルワンセグ放送やアナログテレビ放送やインターネットなどのネットワークを介して送信される画像信号をデコードすることによって入力を受け付けることとしてもよい。

また、フレーム画像５０１，５０２，５０３は、たとえば、所定のレートで連続的に入力され、具体的には、時間軸Ｔに沿って時間間隔ｔごとに入力される構成である。

ここで、フレーム画像５０２，５０３は、ＰＡＮのシーン５１０が撮像された画像である。また、フレーム画像５０１は、ＰＡＮのシーン５１０とは異なるシーン（通常のシーン）が撮像された画像である。また、フレーム画像５０２は、つぎのフレーム画像５０２，５０３とブロックマッチングをしやすい画像であり、フレーム画像５０３は、つぎのフレーム画像５０２とブロックマッチングしにくい画像である。

ＰＡＮのシーン５１０は、たとえば、図示しない撮像装置における一定方向の駆動によって撮像されたシーンであり、ＴＩＬＴやＺＯＯＭのシーンなどでもよい。すなわち、ＰＡＮのシーン５１０は、一定方向に連続した動作となるシーンとなるため、補間フレーム画像５０４，５０５を生成し、挿入することによって、利用者にとって違和感のない、なめらかなシーンとする必要がある。また、ＴＩＬＴやＺＯＯＭのシーンであっても一定方向の移動を示すブロック単位で補間フレーム画像５０４，５０５を生成し、挿入する構成となる。

具体的には、たとえば、ＰＡＮのシーン５１０では、図３に示した判定部３０２によって、所定数（たとえば、図５では３つ）の連続するフレーム画像５０２が示す動画が一定方向の移動を示すか否かを判定する。判定部３０２による判定結果によれば、動画像５００は、たとえば、一定方向の移動を示すと判定されたシーン５１１と、一定方向の移動を示すと判定されなかったシーン５１２（５１２ａ，５１２ｂ）と、から構成されることとなる。

そして、変更部３０３によって、判定結果に応じて可能判断条件を変更し、判断部３０４によって、変更された可能判断条件を用いて補間フレーム画像５０４，５０５の生成が可能か否かを判断する。判断部３０４による判断は、たとえば、シーン５１１では、連続するフレーム画像５０２，５０３および連続するフレーム画像５０２，５０３のつぎのフレーム画像５０１，５０２，５０３における所定領域の各画素値と、一定方向の移動を示すと判定された場合のしきい値とを比較するブロックマッチングによっておこなうこととしてもよい。

ここで、しきい値は、たとえば、変更部３０３によって、シーン５１１の方が、シーン５１２に比べてしきい値を高く変更される。このようなしきい値によって、判断部３０４は、各画素値の差分がしきい値よりも低い場合に補間フレーム画像５０４，５０５を生成することが可能と判断できる。

また、判定結果に応じてしきい値を変更する代わりに、ブロックマッチングにおける各画素値の演算処理の方法を変更したり、補間フレーム画像５０４，５０５の生成に用いられる生成用データを抽出する抽出方式などを変更したりしてもよい。換言すれば、判断部３０４は、判定部３０２における判定結果によるシーン５１１の方が、シーン５１２に比べて、補間フレーム画像５０４，５０５の生成が可能と判断することとなる。

このように、フレーム画像５０２は、たとえば、フレーム画像５０２のつぎのフレーム画像５０２，５０３とブロックマッチングに基づいて補間フレーム画像５０４の生成が可能であると判断され、抽出される動きベクトルによって、連続する２つのフレーム画像５０２，５０３間を補間するための補間フレーム画像５０４が生成される。

また、フレーム画像５０３は、たとえば、フレーム画像５０３のつぎのフレーム画像５０２とブロックマッチングに基づいて補間フレーム画像５０５の生成が可能であると判断され、抽出される動きベクトルによって、連続する２つのフレーム画像５０２，５０３間を補間するための補間フレーム画像５０５が生成される。

なお、図５の説明では、ＰＡＮのシーン５１０における補間フレーム画像５０４，５０５について説明したが、ＰＡＮのシーン５１０とは異なるシーン（通常のシーン）に補間フレーム画像を挿入する構成でもよい。

なお、本発明の画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体は、図３に示した画像生成装置３００によって、その機能を実現することとしたが、画像生成装置３００に限ることはなく、図３に示す機能部を備える構成とすれば、複数の装置であってもよい。各機能部を異なる装置として接続する場合、装置間の接続は、たとえば、有線、無線を問わず、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによって通信をおこなって接続することとしてもよい。

以上説明したように、本実施の形態にかかる画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体によれば、適切に補間フレーム画像を生成し、利用者に対して最適な動画像の提供を図ることができる。特に、ＰＡＮなど連続性の高いシーンに対して補間フレーム画像を生成して、利用者にとって違和感のない動画像を提供することができる。

以下に、本発明の実施例１について説明する。本実施例では、たとえば、地上波デジタル放送、特に地上波デジタルワンセグ放送によって送信される画像信号を受信して、画像信号における一連のフレーム画像からなる動画像を表示するコンピュータ装置によって、本発明の画像生成装置を実施した場合の一例について説明する。

（コンピュータ装置のハードウェア構成）
まず、図６を用いて、本実施例１にかかるコンピュータ装置のハードウェア構成について説明する。図６は、本実施例１にかかるコンピュータ装置のハードウェア構成の一例を示すブロック図である。

図６において、コンピュータ装置６００は、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、磁気ディスクドライブ６０４と、磁気ディスク６０５と、光ディスクドライブ６０６と、光ディスク６０７と、音声Ｉ／Ｆ（インターフェース）６０８と、スピーカ６０９と、入力デバイス６１０と、映像Ｉ／Ｆ６１１と、ディスプレイ６１２と、受信部６１３と、を備えている。また、各構成部６０１〜６１３はバス６２０によってそれぞれ接続されている。

まず、ＣＰＵ６０１は、コンピュータ装置６００の全体の制御を司る。ＲＯＭ６０２は、ブートプログラム、通信プログラム、表示制御プログラムなどの各種プログラムを記録している。また、ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。

表示制御プログラムは、たとえば、映像Ｉ／Ｆ６１１によってディスプレイ６１２に表示する動画像の表示形式を決定させ、決定された表示形式によって動画像をディスプレイ６１２に表示させる。

磁気ディスクドライブ６０４および光ディスクドライブ６０６は、ＣＰＵ６０１の制御にしたがって磁気ディスク６０５および光ディスク６０７に対するデータの読み取り／書き込みを制御する。そして、磁気ディスク６０５および光ディスク６０７は、磁気ディスクドライブ６０４および光ディスクドライブ６０６の制御で書き込まれたデータを記録する。

音声Ｉ／Ｆ６０８は、音声出力用のスピーカ６０９に接続され、スピーカ６０９からは音声が出力される。

入力デバイス６１０は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、マウス、タッチパネルなどが挙げられる。

映像Ｉ／Ｆ６１１は、ディスプレイ６１２と接続される。映像Ｉ／Ｆ６１１は、具体的には、たとえば、ディスプレイ６１２全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するＶＲＡＭ（ＶｉｄｅｏＲＡＭ）などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいて、ディスプレイ６１２を表示制御する制御ＩＣなどによって構成される。

ディスプレイ６１２には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像などの各種データが表示される。このディスプレイ６１２は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。

通信網には、ＬＡＮ、ＷＡＮ、公衆回線網や携帯電話網などがある。具体的には、受信部６１３は、たとえば、地上波デジタル放送や地上波デジタルワンセグ放送やアナログテレビ放送やＦＭラジオなどを受信可能なチューナーなどによって構成され、放送波を受信する。

また、受信部６１３は、無線を介してネットワークに接続される構成でもよく、ＬＡＮ、ＷＡＮ、公衆回線網や携帯電話網などの通信網を介して映像や音声を受信する構成でもよい。

なお、図３に示した画像生成装置３００が備える入力部３０１、判定部３０２、変更部３０３、判断部３０４、生成部３０５、出力部３０６は図６に示したコンピュータ装置６００におけるＲＯＭ６０２、ＲＡＭ６０３、磁気ディスク６０５、光ディスク６０７などに記録されたプログラムやデータを用いて、ＣＰＵ６０１が所定のプログラムを実行し、コンピュータ装置６００における各部を制御することによってその機能を実現する。

すなわち、本実施例１のコンピュータ装置６００は、コンピュータ装置６００における記録媒体としてのＲＯＭ６０２に記録されている各種プログラムを実行することにより、図３に示した画像生成装置３００が備える機能を、図４に示した手順で実行することができる。

（コンピュータ装置６００の機能的構成）
ここで、図７を用いて、本実施例１にかかるコンピュータ装置６００の機能的構成について説明する。図７は、本実施例１にかかるコンピュータ装置の機能的構成の一例を示すブロック図である。

図７において、コンピュータ装置６００は、シンタックスデコーダ部７０１と、使用可能データ抽出部７０２と、ブロックマッチング部７０３と、フレーム補間可能判定部７０４と、補間フレーム画像生成部７０５と、映像デコーダ部７０６と、フレーム補間状態検出部７０７と、マッチングしきい値設定部７０８と、参照フレームバッファメモリ７１０と、フレームバッファメモリ７２０と、から構成されている。

コンピュータ装置６００は、たとえば、地上波デジタルワンセグ放送によって所定の符号化方式によって送信される画像信号を受信して、受信した画像信号をデコードすることで、フレーム画像を出力し、必要に応じてフレーム画像間を補間する補間フレーム画像を生成して出力する。所定の符号化方式は、たとえば、Ｈ．２６４などである。

具体的には、コンピュータ装置６００において、シンタックスデコーダ部７０１は、画像信号から抽出されるＥＳ（エレメンタリストリーム）をデコードして、動画像を構成する一連のフレーム画像におけるブロック領域、動きベクトル値、参照フレームとの差分値、参照フレームＮｏ．などの各種データを使用可能データ抽出部７０２や映像デコーダ部７０６へ出力する。

映像デコーダ部７０６は、画像信号におけるＥＳやシンタックスデコーダ部７０１から出力された各種データを用いて、必要に応じて参照フレームバッファメモリ７１０の保持されている参照フレームの情報を使い映像デコードを行う。デコードされた画像はフレームバッファメモリ７２０へ出力される。フレームバッファメモリ７２０に格納されたカレントフレームは、たとえば、つぎのデコードの際には、参照フレームバッファメモリ７１０に格納された参照フレームとなる。

使用可能データ抽出部７０２は、シンタックスデコーダ部７０１から出力された各種データから、信頼性の高い使用可能なデータを抽出する。具体的には、たとえば、信頼性の高い使用可能なデータは、動きベクトル値が映像内オブジェクトの動きを表しているようなものである。

ブロックマッチング部７０３は、使用可能データ抽出部７０２から出力されたデータ、カレントフレーム、参照フレームを用いてブロックマッチングをおこなう。具体的には、たとえば、ブロックマッチングは、カレントフレームにおける所定のブロック領域と、参照フレームにおける所定のブロック領域との画素値と比較することによっておこなう。ＰＡＮなど一定方向の移動を示すシーンであれば、参照フレームのブロック領域は、たとえば、カレントフレームにおけるブロック領域から一定方向に遷移して特定することとしてもよい。

より具体的には、たとえば、ブロックマッチングは、使用可能データ抽出部７０２によって抽出された動きベクトルおよびゼロベクトルを用いて、参照フレームの４×４画素の領域の画素値と、参照フレームの４×４画素の領域から動きベクトル分離れた位置および同位置における、カレントフレームの４×４画素の領域の画素値との差分に基づいておこなう。この４×４画素の領域は、使用可能データ抽出部７０２によって動きベクトルの抽出されなかった領域などでもよく、４×４画素の範囲に限ることはない。

動きベクトルを用いた差分Ｚｖは、たとえば、下記式（１）を用いておこなう。

式（１）において、Ｐｃはカレントフレームの画素値、Ｐｂは参照フレームの画素値、Ｘｏ，Ｙｏはカレントフレームにおけるブロック領域の座標、Ｘｖ，Ｙｖは参照フレームにおけるＸｏ，Ｙｏから使用可能データ抽出部７０２によって抽出された動きベクトル分シフトした座標、ｎ，ｍはブロック領域の大きさである。

具体的には、たとえば、ブロック領域の範囲が４×４画素の場合、ｎ，ｍは、Ｘｏ，Ｙｏを０としたブロック領域の大きさとしてｎ＝３，ｍ＝３となり、計１６画素のブロック領域によってブロックマッチングをおこなうこととなる。

ここで、使用可能データ抽出部７０２によって抽出される動きベクトルは複数であってもよく、２つの動きベクトルが抽出された場合であれば、差分Ｚｖ１，Ｚｖ２を算出することとしてもよい。また、ゼロベクトルを用いた差分Ｚ０は、上式（１）における動きベクトルの成分を（０，０）として算出すればよい。

ブロックマッチングは、上述のように算出された差分（Ｚｖ１，Ｚｖ２，Ｚ０）のうち、最も小さい差分をＺｂｌｋｎとして、該Ｚｂｌｋｎと、後述するマッチングしきい値設定部７０８によって設定されるマッチングしきい値とを比較し、マッチングしきい値よりもＺｂｌｋｎが小さい場合にブロック領域が一致したこととする。

フレーム補間可能判定部７０４は、フレーム画像間の補間が可能か否かを判定する。具体的には、たとえば、フレーム補間可能判定部７０４は、フレーム画像間を補間する補間フレーム画像の生成が可能か否かを判定する。

より具体的には、たとえば、フレーム補間可能判定部７０４は、使用可能データ抽出部７０２によって抽出されたデータの数や種類や、ブロックマッチング部７０３において一致が確認されたブロック領域の数量などに基づいておこなう。

使用可能データ抽出部７０２によって抽出されたデータの数や種類は、たとえば、抽出されたブロック領域の数や種類、抽出された動きベクトルの数や種類などである。また、一致が確認されたブロック領域の数量は、たとえば、カレントフレームと、参照フレームとのマッチングが曖昧であるか否かを判定することとなる。

補間フレーム画像生成部７０５は、フレーム補間可能判定部７０４によって補間フレーム画像の生成が可能であると判断された場合、使用可能データ抽出部７０２によって抽出されたデータなどを用いて補間フレーム画像を生成する。

フレーム補間状態検出部７０７は、現在のシーンがＰＡＮなどの一定方向に連続するシーンか否かを判定することにより、現在のシーンの状態を検出する。具体的には、たとえば、所定数のフレーム画像の動きベクトルの変化が所定未満である場合、ＰＡＮなどの一定方向に連続するシーンであることを検出する。

より具体的には、たとえば、フレーム補間状態検出部７０７は、連続するシーンとしてＰＡＮのシーンであることを検出する場合、カレントフレーム内の動きベクトルのうち、大きさのある動きベクトルが概ね１つで、方向や大きさが前のフレーム（たとえば、参照フレーム）の動きベクトルとほぼ同一である場合に、ＰＡＮのシーンであることを検出する。

一方、カレントフレーム内の動きベクトルのうち、大きさのある動きベクトルがなかったり、前のフレーム（たとえば、参照フレーム）の動きベクトルと著しく相違する場合には、ＰＡＮのシーンを抜けたことを検出する。

マッチングしきい値設定部７０８は、フレーム補間状態検出部７０７によって検出される現在のシーンに応じて、ブロックマッチング部７０３におけるブロックマッチングに用いるマッチングしきい値を設定する。

具体的には、たとえば、マッチングしきい値設定部７０８は、図示しないメモリなどに記録された、ＰＡＮなど連続するシーン（以下、「連続シーン」ともいう）に対するマッチングしきい値と、ＰＡＮなど連続するシーンと異なるシーン（以下、「非連続シーン」ともいう）に対するマッチングしきい値とを用いて、フレーム補間状態検出部７０７によって検出された現在のシーンの状態に応じてマッチングしきい値を設定する。

より具体的には、たとえば、マッチングしきい値Ｄは、連続シーンに対するマッチングしきい値をＤｃ、非連続シーンに対するマッチングしきい値をＤｓとすると、Ｄｓ＜Ｄｃの関係となる。そして、ブロックマッチング部７０３において、前述したＺｂｌｋｎ＜Ｄとなる場合にブロック領域が一致したこととなる。

換言すれば、連続シーンの方が非連続シーンよりもブロックマッチングしやすい構成であり、すなわち、連続シーンのマッチングしきい値Ｄｃは、非連続シーンのマッチングしきい値Ｄｓと比較してゆるめの値、非連続シーンのマッチングしきい値Ｄｓは、連続シーンのマッチングしきい値Ｄｃと比較してきつめの値である。

このように、連続シーンと非連続シーンでマッチングしきい値Ｄを可変に設定することで、ブロックマッチングのしやすさが変更されるため、ＰＡＮなどの一定方向の移動を示す連続シーンにおいて、的確に補間フレーム画像の生成をおこなうことができる。換言すれば、連続シーンにおいて、補間フレーム画像の生成の取りこぼしを低減させることができることとなる。

なお、図７の説明では、マッチングしきい値Ｄを、連続シーンのマッチングしきい値Ｄｃおよび非連続シーンのマッチングしきい値Ｄｓの２つを用いて説明したが、３つ以上のマッチングしきい値を用いることとしてもよい。すなわち、フレーム補間状態検出部７０７によって検出される、現在のシーンの状態の種類の数量に応じて、マッチングしきい値Ｄを設定する構成でもよい。このようにすることで、現在のシーンの状態に応じて、補間フレーム画像の生成の最適化を図ることができる。

また、図７の説明では、マッチングしきい値Ｄを現在のシーンに応じて設定する構成としたが、マッチングしきい値Ｄを設定する代わりに、現在のシーンに応じてブロックマッチングに用いる差分Ｚｂｌｋｎの算出式を変更することとしてもよい。

具体的には、たとえば、算出式は、非連続シーンの算出式の方が、連続シーンよりも１画素あたりの相違の影響が大きくなる式とする。より具体的には、たとえば、算出式は、連続シーンの場合には、上述した式（１）を用いてＺｂｌｋｎ算出し、非連続シーンの場合には、下記式（２）を用いてＺｂｌｋｎを算出する。

このように、現在のシーンに応じて、算出式を変更することで、マッチングしきい値Ｄが一定であっても、ＰＡＮなどの一定方向の移動を示す連続シーンにおいて、的確に補間フレーム画像の生成をおこなうことができる。また、現在のシーンに応じて、マッチングしきい値Ｄおよび差分Ｚｂｌｋｎの双方を変更する構成としてもよく、双方の組み合わせによって、適用の幅が広がり、より的確に補間フレーム画像の生成をおこなうことができる。

なお、図７に示したコンピュータ装置６００が備えるシンタックスデコーダ部７０１、使用可能データ抽出部７０２、ブロックマッチング部７０３、フレーム補間可能判定部７０４、補間フレーム画像生成部７０５、映像デコーダ部７０６、フレーム補間状態検出部７０７、マッチングしきい値設定部７０８、参照フレームバッファメモリ７１０、フレームバッファメモリ７２０は、たとえば、図６に示したコンピュータ装置６００におけるＲＯＭ６０２、ＲＡＭ６０３、磁気ディスク６０５、光ディスク６０７などに記録されたプログラムやデータを用いて、ＣＰＵ６０１が所定のプログラムを実行し、コンピュータ装置６００における各部を制御することによってその機能を実現する。

（コンピュータ装置６００の処理の内容）
つぎに、図８を用いて、本実施例１にかかるコンピュータ装置６００の処理の内容について説明する。図８は、本実施例１にかかるコンピュータ装置の処理の内容を示すフローチャートである。図８のフローチャートにおいて、まず、初期値として、ＣＰＵ６０１によって、マッチングしきい値をきつめに設定する（ステップＳ８０１）。具体的には、たとえば、きつめのマッチングしきい値は、図７に示したマッチングしきい値設定部７０８によって、非連続シーンに対するマッチングしきい値を設定する。

そして、ＣＰＵ６０１によって、入力される現在のフレーム画像と、つぎのフレーム画像との間の補間フレーム画像の生成が可能か否かを判断する（ステップＳ８０２）。具体的には、たとえば、補間フレーム画像の生成に関する判断は、ステップＳ８０１において設定されたマッチングしきい値を用いて、図７に示したブロックマッチング部７０３で処理をおこない、その結果を用いてフレーム補間可能判定部７０４によっておこなう。

ステップＳ８０２において、補間フレーム画像の生成が可能である場合（ステップＳ８０２：Ｙｅｓ）は、ＣＰＵ６０１によって、補間フレーム画像を生成する（ステップＳ８０３）。具体的には、たとえば、補間フレーム画像の生成は、図７に示した補間フレーム画像生成部７０５によって、補間フレーム画像を生成する。

また、ステップＳ８０２において、補間フレーム画像の生成が可能でない場合（ステップＳ８０２：Ｎｏ）は、ＣＰＵ６０１によって、補間をおこない、かつ画像を代表する動きベクトルの変化が所定以上でない数をカウントするカウンタ値である補間状態カウンタ値を０に設定して（ステップＳ８０６）、ステップＳ８０２に戻って処理を繰り返す。具体的には、たとえば、補間状態カウンタ値の設定は、図７に示したフレーム補間状態検出部７０７によって、図示しないバッファメモリなどに一時的に記録することとしてもよい。

つぎに、ＣＰＵ６０１によって、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がないか否かを判断する（ステップＳ８０４）。具体的には、たとえば、動きベクトルの変化に関する判断は、図７に示したフレーム補間状態検出部７０７によって、現在のフレーム画像と、前のフレーム画像との間の動きベクトルの変化を判断する。

ステップＳ８０４において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がない場合（ステップＳ８０４：Ｙｅｓ）は、ＣＰＵ６０１によって、補間状態カウンタ値をインクリメントする（ステップＳ８０５）。具体的には、たとえば、補間状態カウンタ値のインクリメントは、図７に示したフレーム補間状態検出部７０７によって、図示しないバッファメモリなどに一時的に記録することとしてもよい。

また、ステップＳ８０４において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定より大きな変化がある場合（ステップＳ８０４：Ｎｏ）は、ＣＰＵ６０１によって、補間状態カウンタ値を０に設定して（ステップＳ８０６）、ステップＳ８０２に戻って処理を繰り返す。

そして、ＣＰＵ６０１によって、ステップＳ８０５においてインクリメントされた補間状態カウンタ値が所定数より大きいか否かを判断する（ステップＳ８０７）。具体的には、たとえば、補間状態カウンタ値の判断は、図７に示したフレーム補間状態検出部７０７によって、３以上のフレーム画像が連続して動きベクトルの変化が所定未満だったかを判断する。

ステップＳ８０７において、補間状態カウンタ値が所定数以下だった場合（ステップＳ８０７：Ｎｏ）は、ステップＳ８０２へ戻って処理を繰り返す。

また、ステップＳ８０７において、補間状態カウンタ値が所定数より大きい場合（ステップＳ８０７：Ｙｅｓ）は、ＣＰＵ６０１によって、マッチングしきい値をゆるめに設定する（ステップＳ８０８）。具体的には、たとえば、ゆるめのマッチングしきい値は、図７に示したマッチングしきい値設定部７０８によって、ブロックマッチングに対するしきい値を設定する。

そして、ＣＰＵ６０１によって、入力される現在のフレーム画像と、つぎのフレーム画像との間の補間フレーム画像の生成が可能か否かを判断する（ステップＳ８０９）。具体的には、たとえば、補間フレーム画像の生成に関する判断は、ステップＳ８０８において設定されたマッチングしきい値を用いて、図７に示したブロックマッチング７０３で処理をおこない、その結果をもとにフレーム補間可能判定部７０４によっておこなう。

ステップＳ８０９において、補間フレーム画像の生成が可能である場合（ステップＳ８０９：Ｙｅｓ）は、ＣＰＵ６０１によって、補間フレーム画像を生成する（ステップＳ８１０）。具体的には、たとえば、図７に示した補間フレーム画像生成部７０５によって、補間フレーム画像を生成する。

また、ステップＳ８０９において、補間フレーム画像の生成が可能でない場合（ステップＳ８０９：Ｎｏ）は、ステップＳ８０１へ戻ってマッチングしきい値がきつめに設定され処理を繰り返す。

つぎに、ＣＰＵ６０１によって、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がないか否かを判断する（ステップＳ８１１）。具体的には、たとえば、動きベクトルの変化に関する判断は、図７に示したフレーム補間状態検出部７０７によって、現在のフレーム画像と、前のフレーム画像との間の動きベクトルの変化を判断する。

ステップＳ８１１において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がない場合（ステップＳ８１１：Ｙｅｓ）は、ステップＳ８０９へ戻って処理を繰り返す。

また、ステップＳ８１１において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定より大きな変化がある場合（ステップＳ８１１：Ｎｏ）は、ステップＳ８０１へ戻ってマッチングしきい値がきつめに設定され処理を繰り返す。

なお、図８のフローチャートでは説明を省略したが、ステップＳ８０１〜ステップＳ８１１の処理は、たとえば、画像信号をデコードすることで入力されるすべてのフレーム画像について繰り返し処理をおこない、フレーム画像および補間フレーム画像を図示しない出力部へ出力することとしてもよい。

以上説明したように、本実施例１にかかるコンピュータ装置によれば、一連のフレーム画像からなる動画像のシーンの状態に応じて、ブロックマッチングのしきい値や手法を変更して、補間フレーム画像を生成することができるため、利用者に最適な動画像を提供することができる。

特に、低レートで入力されるフレーム画像からなる動画像や連続シーンなど、補間フレーム画像が挿入されなければ著しく動画像の品質が低下してしまう場合であっても、補間フレーム画像を生成しやすくして、適切な動画像を提供することができる。また、選択的に連続シーンなどに補間フレーム画像を挿入しやすくすることで、効率的に適切な動画像とすることができる。

つぎに、本発明の実施例２について説明する。前述の実施例１では、フレーム画像における現在のシーンに応じて、ブロックマッチングに用いるしきい値や、差分を変更する構成について説明した。本実施例２では、ブロックマッチングに用いるしきい値や、差分の代わりに、補間フレーム画像の生成が可能か否かの判定基準を変更する場合について説明する。

なお、本発明の実施例２にかかるコンピュータ装置のハードウェア構成については図６とほぼ同様であるため説明を省略する。

（コンピュータ装置６００の機能的構成）
ここで、図９を用いて、本実施例２にかかるコンピュータ装置６００の機能的構成について説明する。図９は、本実施例２にかかるコンピュータ装置の機能的構成の一例を示す説明図である。なお、図９において、前述の実施例１における図７に示した構成と同様の機能部については、同符号を付して説明を省略する。

図８において、コンピュータ装置６００は、シンタックスデコーダ部７０１と、使用可能データ抽出部７０２と、ブロックマッチング部７０３と、フレーム補間可能判定部７０４と、補間フレーム画像生成部７０５と、映像デコーダ部７０６と、フレーム補間状態検出部７０７と、可能判定基準設定部９０１と、参照フレームバッファメモリ７１０と、フレームバッファメモリ７２０と、から構成されている。

可能判定基準設定部９０１は、フレーム補間状態検出部７０７によって検出される現在のシーンに応じて、フレーム補間可能判定部７０４におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判定する可能判定基準を設定する。可能判定基準は、たとえば、使用可能データ抽出部７０２によって抽出されたデータの数や種類や、ブロックマッチング部７０３において一致が確認されたブロック領域の数量などの条件である。

より具体的には、たとえば、可能判定基準は、使用可能データ抽出部７０２によって抽出されたデータの数と、ブロックマッチング部７０３において一致が確認されたブロック領域の数との総和が、所定のしきい値を上回った場合に、フレーム画像間を補間する補間フレーム画像の生成が可能とする基準でもよい。すなわち、可能判定基準設定部９０１は、現在のシーンに応じて、総和と比較する所定のしきい値を、連続シーンの方が非連続シーンよりも低く設定することで、連続シーンにおいて、補間フレーム画像の生成が可能と判定しやすくする。

また、可能判定基準は、たとえば、使用可能データ抽出部７０２によって抽出されたブロック領域の数が所定のしきい値を上回った場合に、フレーム画像間を補間する補間フレーム画像の生成が可能とする基準でもよい。すなわち、可能判定基準設定部９０１は、現在のシーンに応じて、ブロック領域の数と比較する所定のしきい値を、連続シーンの方が非連続シーンよりも低く設定することで、連続シーンにおいて、補間フレーム画像の生成が可能と判定しやすくする。

また、可能判定基準は、たとえば、使用可能データ抽出部７０２によって抽出された動きベクトルの種類の数が所定のしきい値を下回った場合に、フレーム画像間を補間する補間フレーム画像の生成が可能とする基準でもよい。すなわち、可能判定基準設定部９０１は、現在のシーンに応じて、ベクトルの種類の数と比較する所定のしきい値を、連続シーンの方が非連続シーンよりも高く設定することで、連続シーンにおいて、補間フレーム画像の生成が可能と判定しやすくする。

さらに、可能判定基準は、たとえば、補間フレーム画像生成部７０５によって補間フレーム画像を生成する際、補間フレーム画像において、参照フレームやカレントフレームのブロック領域から再現が困難な隙間領域の大きさが所定のしきい値を下回った場合に、フレーム画像間を補間する補間フレーム画像の生成が可能とする基準でもよい。すなわち、可能判定基準設定部９０１は、現在のシーンに応じて、隙間領域の大きさと比較する所定のしきい値を、連続シーンの方が非連続シーンよりも高く設定することで、連続シーンにおいて、補間フレーム画像の生成が可能と判定しやすくする。

（コンピュータ装置６００の処理の内容）
つぎに、図１０を用いて、本実施例２にかかるコンピュータ装置６００の処理の内容について説明する。図１０は、本実施例２にかかるコンピュータ装置の処理の内容を示すフローチャートである。図１０のフローチャートにおいて、まず、現在のフレーム画像が入力されると、ＣＰＵ６０１によって、補間フレーム画像の生成の可能判定基準をきつめに設定する（ステップＳ１００１）。具体的には、たとえば、きつめの可能判定基準は、図９に示した可能判定基準設定部９０１によって、非連続シーンに対する可能判定基準を設定する。

そして、ＣＰＵ６０１によって、入力される現在のフレーム画像と、つぎのフレーム画像との間の補間フレーム画像の生成が可能か否かを判断する（ステップＳ１００２）。具体的には、たとえば、補間フレーム画像の生成に関する判断は、ステップＳ１００１において設定された可能判定基準を用いて、図９に示したフレーム補間可能判定部７０４によっておこなう。

ステップＳ１００２において、補間フレーム画像の生成が可能である場合（ステップＳ１００２：Ｙｅｓ）は、ＣＰＵ６０１によって、補間フレーム画像を生成する（ステップＳ１００３）。具体的には、たとえば、補間フレーム画像の生成は、図９に示した補間フレーム画像生成部７０５によって、補間フレーム画像を生成する。

また、ステップＳ１００２において、補間フレーム画像の生成が可能でない場合（ステップＳ１００２：Ｎｏ）は、ＣＰＵ６０１によって、補間状態カウンタ値を０に設定して（ステップＳ１００６）、ステップＳ１００２に戻って処理を繰り返す。具体的には、たとえば、補間状態カウンタ値の設定は、図９に示したフレーム補間状態検出部７０７によって、図示しないバッファメモリなどに一時的に記録することとしてもよい。

つぎに、ＣＰＵ６０１によって、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がないか否かを判断する（ステップＳ１００４）。具体的には、たとえば、動きベクトルの変化に関する判断は、図９に示したフレーム補間状態検出部７０７によって、現在のフレーム画像と、前のフレーム画像との間の動きベクトルの変化を判断する。

ステップＳ１００４において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がない場合（ステップＳ１００４：Ｙｅｓ）は、ＣＰＵ６０１によって、補間状態カウンタ値をインクリメントする（ステップＳ１００５）。具体的には、たとえば、補間状態カウンタ値のインクリメントは、図９に示したフレーム補間状態検出部７０７によって、図示しないバッファメモリなどに一時的に記録することとしてもよい。

また、ステップＳ１００４において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定より大きな変化がある場合（ステップＳ１００４：Ｎｏ）は、ＣＰＵ６０１によって、補間状態カウンタ値を０に設定して（ステップＳ１００６）、ステップＳ１００２に戻って処理を繰り返す。

そして、ＣＰＵ６０１によって、ステップＳ１００５においてインクリメントされた補間状態カウンタ値が所定数より大きいか否かを判断する（ステップＳ１００７）。具体的には、たとえば、補間状態カウンタ値の判断は、図９に示したフレーム補間状態検出部７０７によって、３以上のフレーム画像が連続して動きベクトルの変化が所定未満だったかを判断する。

ステップＳ１００７において、補間状態カウンタ値が所定数以下だった場合（ステップＳ１００７：Ｎｏ）は、ステップＳ１００２へ戻って処理を繰り返す。

また、ステップＳ１００７において、補間状態カウンタ値が所定数より大きい場合（ステップＳ１００７：Ｙｅｓ）は、ＣＰＵ６０１によって、補間フレーム画像の生成の可能判定基準をゆるめに設定する（ステップＳ１００８）。具体的には、たとえば、ゆるめのマッチングしきい値は、図９に示した可能判定基準設定部９０１によって、連続シーンに対する可能判定基準を設定する。

そして、ＣＰＵ６０１によって、入力される現在のフレーム画像と、つぎのフレーム画像との間の補間フレーム画像の生成が可能か否かを判断する（ステップＳ１００９）。具体的には、たとえば、補間フレーム画像の生成に関する判断は、ステップＳ１００８において設定された可能判定基準を用いて、図９に示したフレーム補間可能判定部７０４によっておこなう。

ステップＳ１００９において、補間フレーム画像の生成が可能である場合（ステップＳ１００９：Ｙｅｓ）は、ＣＰＵ６０１によって、補間フレーム画像を生成する（ステップＳ１０１０）。具体的には、たとえば、補間フレーム画像の生成は、図９に示した補間フレーム画像生成部７０５によって、補間フレーム画像を生成する。

また、ステップＳ１００９において、補間フレーム画像の生成が可能でない場合（ステップＳ１００９：Ｎｏ）は、ステップＳ１００１へ戻り、補間フレーム画像生成の可能判定基準をきつめに設定して処理を繰り返す。

つぎに、ＣＰＵ６０１によって、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がないか否かを判断する（ステップＳ１０１１）。具体的には、たとえば、動きベクトルの変化に関する判断は、図７に示したフレーム補間状態検出部７０７によって、現在のフレーム画像と、前のフレーム画像との間の動きベクトルの変化を判断する。

ステップＳ１０１１において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定以上の変化がない場合（ステップＳ１０１１：Ｙｅｓ）は、ステップＳ１００９へ戻って処理を繰り返す。

また、ステップＳ１０１１において、現在のフレーム画像における動きベクトルが、前のフレーム画像の動きベクトルから所定より大きな変化がある場合（ステップＳ１０１１：Ｎｏ）は、ステップＳ１００１へ戻り、補間フレーム画像生成の可能判定基準をきつめに設定して処理を繰り返す。

なお、図１０のフローチャートでは説明を省略したが、ステップＳ１００１〜ステップＳ１０１１の処理は、たとえば、画像信号をデコードすることで入力されるすべてのフレーム画像について繰り返し処理をおこない、フレーム画像および補間フレーム画像を図示しない出力部へ出力することとしてもよい。

以上説明したように、本実施例２にかかるコンピュータ装置によれば、一連のフレーム画像からなる動画像のシーンの状態に応じて、補間フレーム画像の生成に関する判定基準を変更して、補間フレーム画像を生成することができるため、利用者に最適な動画像を提供することができる。

なお、本発明にかかる画像生成装置は、実施例１および実施例２におけるコンピュータ装置を用いてそれぞれ説明したが、実施例１および実施例２の機能を組み合わせた構成でもよい。具体的には、たとえば、本発明にかかる画像生成装置は、一連のフレーム画像からなる動画像のシーンの状態に応じて、ブロックマッチングのしきい値、手法、補間フレーム画像の生成に関する判定基準を変更して、補間フレーム画像を生成することとしてもよい。このような双方の組み合わせによって、適用の幅が広がり、より的確に補間フレーム画像の生成をおこなうことができる。

また、上述した実施例１および実施例２ではコンピュータ装置によって本発明の画像生成装置を実施した場合について説明したが、利用者の携帯端末や、ＰＣ（パーソナル・コンピュータ）や、テレビ受像機などによって実施することとしてもよく、汎用性の向上を図ることができる。

また、本発明にかかる画像生成装置は、実施例１や実施例２で説明したブロックマッチングのしきい値、手法、補間フレーム画像の生成に関する判定基準の他に、たとえば、図７や図９に示した使用可能データ抽出部７０２における抽出方法を変更することとしてもよい。

具体的には、たとえば、動画像のシーンの状態に応じて、使用可能データの種類や数が補間フレーム画像の生成がしやすくなるように抽出することとすればよい。より具体的には、たとえば、使用可能データ抽出部７０２は、シンタックスデコーダ部７０１から出力された各種データから使用可能データを抽出する際の、Ｒｅｓｉｄｕａｌ（残差）成分の有無や、Ｒｅｓｉｄｕａｌ成分の大きさに関するしきい値を変更することとしてもよい。すなわち、使用可能データとして動きベクトルを抽出する場合は、たとえば、連続シーンの方が、非連続シーンよりも、シンタックスデコーダ部７０１から出力された動きベクトルのうち、Ｒｅｓｉｄｕａｌ成分の大きな動きベクトルを抽出することとなる。

なお、本実施の形態で説明した画像生成方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

特開２００５−６２７５号公報

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像生成装置は、連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更手段と、前記変更手段によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断手段と、前記判断手段によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成手段と、を備え、前記変更手段は、前記可能判断条件として、前記補間フレーム画像の生成元となる時間的に前後するフレーム画像の、所定領域の各画素値の差分のしきい値と、当該差分を演算する演算方式と、当該補間フレーム画像の生成に用いられる生成用データの抽出方式と、のいずれか一つを変更し、前記判断手段は、前記変更手段によって変更された前記しきい値と、前記演算方式と、前記抽出方式のいずれか一つに基づいて、前記補間フレーム画像の生成が可能か否かを判断することを特徴とする。

また、請求項１５の発明にかかる画像生成方法は、画像を生成する画像生成装置における画像生成方法であって、連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定工程と、前記判定工程による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更工程と、前記変更工程によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断工程と、前記判断工程によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成工程と、を含み、前記変更工程では、前記可能判断条件として、前記補間フレーム画像の生成元となる時間的に前後するフレーム画像の、所定領域の各画素値の差分のしきい値と、当該差分を演算する演算方式と、当該補間フレーム画像の生成に用いられる生成用データの抽出方式と、のいずれか一つを変更し、前記判断工程では、前記変更工程によって変更された前記しきい値と、前記演算方式と、前記抽出方式のいずれか一つに基づいて、前記補間フレーム画像の生成が可能か否かを判断することを特徴とする。

従来における連続する２つのフレーム画像の一例を示す説明図である。従来におけるＰＡＮのシーンの補間フレーム画像の挿入の一例を示す説明図である。本実施の形態にかかる画像生成装置の機能的構成の一例を示すブロック図である。本実施の形態にかかる画像生成装置の処理の内容を示すフローチャートである。本実施の形態にかかる画像生成装置から出力される動画像の一例を示す説明図である。本実施例１にかかるコンピュータ装置のハードウェア構成の一例を示すブロック図である。本実施例１にかかるコンピュータ装置の機能的構成の一例を示すブロック図である。本実施例１にかかるコンピュータ装置の処理の内容を示すフローチャートである。本実施例２にかかるコンピュータ装置の機能的構成の一例を示すブロック図である。本実施例２にかかるコンピュータ装置の処理の内容を示すフローチャートである。

Claims

連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更手段と、
前記変更手段によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断手段と、
前記判断手段によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成手段と、
を備えることを特徴とする画像生成装置。
前記判定手段は、
前記一連のフレーム画像の動きベクトルを用いて、当該一連のフレーム画像のうち連続した所定数のフレーム画像が一定方向の移動を示す場合、当該所定数のフレーム画像のつぎに入力されるフレーム画像が、当該所定数のフレーム画像から一定方向の移動を示すか否かを判定し、
前記変更手段は、
前記判定手段による判定結果に応じて、前記所定数のフレーム画像と、前記つぎのフレーム画像との間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更することを特徴とする請求項１に記載の画像生成装置。
前記判定手段は、
前記所定数のフレーム画像が一定方向の移動を示す場合、前記一連のフレーム画像のうち、当該所定数のフレーム画像より後に入力される一のフレーム画像が、当該一のフレーム画像の前のフレーム画像から一定方向の移動を示すか否かを判定し、
前記変更手段は、
前記判定手段による判定結果に応じて、前記前のフレーム画像と、前記一のフレーム画像との間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更することを特徴とする請求項２に記載の画像生成装置。
前記変更手段は、
前記可能判断条件として、前記補間フレーム画像の生成元となる時間的に前後するフレーム画像における所定領域の各画素値の差分のしきい値を変更し、
前記判断手段は、
前記しきい値と、前記所定領域の各画素値の差分とを比較することで、前記補間フレーム画像の生成が可能か否かを判断することを特徴とする請求項１に記載の画像生成装置。
前記変更手段は、
前記判定手段によって一定方向の移動を示すと判定された場合の方が、一定方向の移動を示さないと判定された場合に比べて高い前記しきい値に変更し、
前記判断手段は、
前記各画素値の差分が前記しきい値よりも低い場合に前記補間フレーム画像を生成することが可能であると判断することを特徴とする請求項４に記載の画像生成装置。
前記変更手段は、
前記可能判断条件として、前記補間フレーム画像の生成元となる時間的に前後するフレーム画像における所定領域の各画素値の差分を演算する演算方式を変更し、
前記判断手段は、
前記演算方式に基づいて演算される前記所定領域の各画素値の差分によって、前記補間フレーム画像の生成が可能か否かを判断することを特徴とする請求項１に記載の画像生成装置。
前記変更手段は、
前記可能判断条件として、前記補間フレーム画像の生成元となる時間的に前後するフレーム画像に含まれる、当該補間フレーム画像の生成に用いられる生成用データの抽出方式を変更し、
前記判断手段は、
前記生成用データを用いて、前記補間フレーム画像の生成が可能か否かを判断することを特徴とする請求項１に記載の画像生成装置。
前記変更手段は、
前記可能判断条件として、前記補間フレーム画像の生成に用いる前記生成用データの数量を変更することを特徴とする請求項７に記載の画像生成装置。
前記判断手段は、
前記判定手段によって一定方向の移動を示すと判定された場合の方が、一定方向の移動を示さないと判定された場合に比べて、少ない数量の前記生成用データから前記補間フレーム画像を生成することが可能であると判断することを特徴とする請求項７に記載の画像生成装置。
前記変更手段は、
前記可能判断条件として、前記補間フレーム画像を生成する際に生じる、当該補間フレーム画像の隙間領域の大きさのしきい値を変更することを特徴とする請求項１に記載の画像生成装置。
前記判定手段は、
前記一連のフレーム画像のうち、所定数として連続する３つ以上のフレーム画像が示す動画が一定方向の移動を示すか否かを判定することを特徴とする請求項２または３のいずれか一つに記載の画像生成装置。
前記判定手段は、
前記一連のフレーム画像から、当該フレーム画像中におけるあらかじめ定められた固定領域を除いた画像領域を用いて、前記一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定することを特徴とする請求項２に記載の画像生成装置。
前記判定手段は、
前記一連のフレーム画像から、前記固定領域として当該フレーム画像中におけるテロップを示す領域を除いた画像領域を用いて、前記一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定することを特徴とする請求項１２に記載の画像生成装置。
前記判定手段は、
前記一連のフレーム画像から、前記固定領域として当該フレーム画像中の有効画面の領域を除いた画像領域を用いて、前記一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定することを特徴とする請求項１２に記載の画像生成装置。
連続して入力される一連のフレーム画像が示す動画が一定方向の移動を示すか否かを判定する判定工程と、
前記判定工程による判定結果に応じて、前記一連のフレーム画像におけるフレーム画像間を補間する補間フレーム画像の生成が可能か否かを判断するための可能判断条件を変更する変更工程と、
前記変更工程によって変更された可能判断条件を用いて、前記補間フレーム画像の生成が可能であるか否かを判断する判断工程と、
前記判断工程によって前記補間フレーム画像の生成が可能であると判断された場合、当該補間フレーム画像を生成する生成工程と、
を含むことを特徴とする画像生成方法。
請求項１５に記載の画像生成方法をコンピュータに実行させることを特徴とする画像生成プログラム。
請求項１６に記載の画像生成プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。