JP5067003B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて検出する動きベクトルを用い、前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。

動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。

２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。

例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、ブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。
特開昭６０−１５８７８６号公報 特開平８−１８６８２０号公報

上記したように動きベクトルは、フレーム間のマッチングが取られることで求められるが、動きの境界や変形など、フレーム間で波形が保存されないところでは、誤検出されることがあった。誤検出された動きベクトルを用いて、フレーム間の補間フレームが作成されると、その部分に劣化が生じてしまう。

このような劣化のなかで、特に目立つ部分は、波形が不連続になる部分である。劣化を目立たなくするために、フィルター処理により画像をぼかす方法が提案されているが、その方法だと、全体的にぼけた画像になってしまう。また、部分的にぼかす方法もあるが、ぼかした部分とぼかさない部分の境目や、ぼかす部分の誤検出などにより、新たな劣化が生じる場合があった。

このような波形の不連続の原因は、連続する波形を作りたい隣り合う画素値が、間違えた動きベクトルにより、それぞれ、補間に用いるフレーム上の隣り合わない位置の画素値を用いた処理になってしまうためである。図１Ａと図１Ｂを参照し、このことについて説明を加える。

図１Ａは、正しく補間フレームが生成されたときの状況を示し、図１Ｂは、間違った補間フレームが生成されたときの状況を示している。図１Ａと図１Ｂにおいて、ここでは説明の都合上、白丸は、白色の情報を有する画素であるとし、黒丸は、黒色の情報を有する画素であるとする。

図１Ａと図１Ｂにおいて、過去フレームにおける白丸１１−１は、未来フレームにおける白丸１１−３に移動し、過去フレームにおける白丸１２−１は、未来フレームにおける白丸１２−３に移動し、過去フレームにおける白丸１３−１は、未来フレームにおける白丸１３−３に移動する。

このように画素が移動するときに、補間フレームの画素として、図１Ａのように画素が移動すれば正しく移動が行われたことになる。すなわち、過去フレームの白丸１１−１が、補間フレームの白丸１１−２に移動し、過去フレームの白丸１２−１が、補間フレームの白丸１２−２に移動し、過去フレームの白丸１３−１が、補間フレームの白丸１３−２に移動するような補間フレームが作成されれば、波形が不連続になることなく、特に目立つような劣化が起こることもない。

“波形が不連続になることなく”との意味は、例えば、図１Ａに示したように、例えば、白丸１２−１、白丸１２−２、白丸１２−３といったように、白色が並ぶことにより、画素値として急激な変化がないことを意味する。このように、画素値の変化が、過去、未来フレームと同等の場合に、波形が不連続ではないと表記する。

図１Ａにおいて、過去フレームにおける画素として黒丸１４が存在し、未来フレームにおける画素として黒丸１５が存在している。このようなときであり、黒丸１４が黒丸１５に移動したとき、または、黒丸１４と黒丸１５は無関係な画素（移動したという関係がない画素）であったときに、図１Ｂのように、画素が移動したとき、波形が不連続となり、特に目立つような劣化が起こる。

すなわち、図１Ｂを参照するに、過去フレームにおける黒丸１４から、未来フレームにおける黒丸１５への動きベクトルが検出され、その動きベクトルに基づき、補間フレームの黒丸１６が生成される。このような黒丸１６が生成されると、補間フレームは、白丸１１−２、黒丸１６、白丸１３−２となる。この場合、波形が不連続となり、特に目立つような劣化が生じたことになる。

このような劣化を抑えるために、図２を参照して説明するような方法が提案されている。図２に実線で示したのが、検出された動きベクトル２１乃至２３であり、点線で示したのが、補間フレームを作成するときに用いられる動きベクトル３１，３２である。検出された動きベクトル２１，２２と、動きベクトル２３は、隣接する画素からの動きベクトルであるが、異なる方向を向いており、全体としてばらつきがある。

このように、検出された動きベクトルにばらつきがあるときには、そのばらつきを抑えるようにした、新たな動きベクトルを生成し、その生成された動きベクトル、図２の場合、動きベクトル３１と動きベクトル３２を用いて処理を行うようにする。新たな動きベクトルは、例えば、検出されている周囲の動きベクトルの平均を取ることで行われる。

図２を参照して説明したような方法を適用した場合においても、そもそも関係のない補間に用いるフレーム上の画素同士を対応付けることにもなり、必ずしも劣化が見えにくくできるわけではなく、また、そのことにより新たな劣化が生じる場合もある。このようなことは、例えば、非特許文献１において指摘されている。
"動き補正テレビ方式変換の改善" 映像情報メディア学会誌Ｖｏｌ．５１，Ｎｏ．９，ｐｐ．１５７７〜１５８６（１９９７年）

例えば、画質をアップさせるために、補間フレームを生成し、フレーム数を増やしたとしても、その補間されたフレームが劣化していては、画質アップの妨げになってしまう。そのため、補間フレームにおいて、上記したような波形の不連続などが生じないように抑制し、目立つような劣化が起きないように処理されることが望まれていた。

本発明は、このような状況に鑑みてなされたものであり、画質を向上させることができるようにするものである。

本発明の一側面の画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置において、前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出する第１の算出手段と、前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出する第２の算出手段とを備え、前記第１の算出手段による算出と前記第２の算出手段により算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする。

前記第２の算出手段は、前記第２の画素を複数設定し、第２の画素毎に前記第２の動きベクトルを設定し、設定された複数の第２の動きベクトル毎に前記第２の画素値を算出するようにすることができる。

前記第１の画素を含む範囲であり、前記第１の画像と前記第２の画像のうち、画素値が一致する範囲を検索する検索手段をさらに備え、前記第２の算出手段は、前記検索手段により検索された範囲の情報を用いて、前記第２の動きベクトルを設定するようにすることができる。

本発明の一側面の画像処理方法は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置の画像処理方法において、前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出し、前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出するステップを含み、前記算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする。

本発明の一側面のプログラムは、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置を制御するコンピュータが読み取り可能なプログラムであって、前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出し、前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出するステップを含み、前記算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、第１の画像を構成する第１の画素の画素値と、第１の画素に設定されている第１の動きベクトルが通る第２の画像の画素の画素値とから、補間画像を構成する補間画素の画素値を算出する処理と、第１の画素の近接する第２の画素の画素値と、第２の画素を通り、第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、第２の画像の画素値から、補間画素の画素値を算出する処理が繰り返し行われ、その結果、１つの補間画素に、複数の画素値が設定された場合、複数の画素値を用いて所定の演算を行い、１つの画素値にされ、その画素値が補間画素の画素値とされる。

本発明の一側面によれば、動画像の画質を向上させることが可能となる。

以下に、本発明の実施の形態について図面を参照して説明する。

［フレーム補間装置の構成について］
図３は、本発明を適用したフレーム補間装置の一実施の形態の構成を示す図である。図３に示したフレーム補間装置４０は、フレームメモリ４１、動きベクトル検出部４２、補間フレーム作成部４３、および、信号切替部４４を含む構成とされている。

フレーム補間装置４０は、テレビジョン受像機、パーソナルコンピュータ、携帯電話機など、画像を表示する装置に組み込まれ、その画像を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。フレーム補間装置４０は、例えば、１秒間に含まれるフレーム数が６０フレームの動画像を、１２０フレームの動画像に変換するとき、その増加するフレームの画像を生成する。フレーム補間装置４０が、フレームを補間することにより、フレーム数が増すことになるので、画質を向上させることが可能となる。

フレームメモリ４１は、画像フレーム毎に入力された画像信号を記憶する。ここでは、少なくとも２フレームが記憶される。動きベクトル検出部４２は、フレームメモリ４１に記憶された複数の画像フレームに基づいて、画像フレームを構成する画像ブロックの動きベクトルを検出する。動きベクトルの検出の方法については、いくつか提案されているが、本実施の形態においては、動きベクトルの検出の仕方には依存せずに、補間フレームを作成できるため、動きベクトルの検出の方法として、どのような方法を適用しても良い。

換言すれば、補間フレーム作成部４３は、後述するような処理を行うことにより、補間フレームを生成するので、検出された動きベクトルが供給されることを前提としているため、動きベクトルがどのように検出されるかにより、補間フレーム作成部４３の処理に影響があるわけではない。

補間フレーム作成部４３は、フレームメモリ４１に記憶されている画像フレームと、動きベクトル検出部４２で検出された動きベクトルとから、補間フレームを生成する。信号切替部４４は、フレームメモリ４１が記憶する画像フレームと、補間フレーム作成部４３が作成した補間フレームとを切り換えて、図示していない表示装置などに出力する。

［補間フレーム作成部の第１の実施の形態について］
図４は、補間フレーム作成部４３の第１の実施の形態の構成を示す図である。図４に示した補間フレーム作成部４３は、着目画素設定部５１、画素値読み出し部５２、画素値演算部５３、記憶部５４、平均値演算部５５、および、動きベクトル設定部５６を含む構成とされている。

着目画素設定部５１は、過去フレームに含まれる画素のうち、処理対象とする画素を決定する。ここで、過去フレームとは、補間フレーム作成部４３が作成する補間フレームを作成するときに参照されるフレームであり、補間フレームより前の時点で表示されるフレームである。また、補間フレームを作成するときに参照されるフレームであり、補間フレームより後の時点で表示されるフレームを、未来フレームと記述する。

また、動きベクトル検出部４２は、過去フレームと未来フレームを参照して動きベクトルを検出する。例えば、動きベクトルを、所定の大きさのブロック毎に検出する場合、過去フレームは、動きベクトルの検出の基準となる画像フレームであり、画像ブロックに分割され、画像ブロック毎の動きベクトルが検出される画像フレームである。未来フレームは、動きベクトルの検出の対象となる画像フレームであり、過去フレームを構成する画像ブロックとのマッチングが行われる画像フレームである。

なお、以下の説明においては、動きベクトルは、画素毎に検出されるとして説明するが、以下の説明において画素との部分は、適宜、ブロックなどに置き換えることにより、ブロック毎に動きベクトルを検出するような場合でも本発明を適用できる。換言すれば、画素で処理を行うときを例にして説明するが、ブロックで処理を行うときには、画素との記載をブロックと読み替えることでブロックで処理を行うときにも本発明を適用することができる。また、ブロックは、複数の画素から構成され、以下の説明において、画素とは、ブロック中の画素との意味も含むとする。

着目画素設定部５１は、過去フレームに含まれる画素のうち、処理対象とする画素を決定し、その決定された画素の位置に関する情報を、画素値読み出し部５２と動きベクトル設定部５６に出力する。着目画素設定部５１は、例えば、過去フレームの左上から右下にかけて、順に着目画素を設定する。

動きベクトル設定部５６は、着目画素に設定されている動きベクトルを設定するとともに、その設定された動きベクトルを、着目画素の前後に位置する画素まで移動し、その着目画素の前後に位置する画素を始点とする動きベクトルを設定する。すなわち、着目画素を中心とし、着目画素を含めた３画素から、それぞれの画素を始点とする、同じ動きベクトルが設定される。

なおここでは、着目画素を中心とし、着目画素を含めた３画素とするが、着目画素に対して右側または左側に位置する２画素と、着目画素の３画素でも良い。また、ここでは、３画素とするが、７画素など、他の画素数でも勿論良い。この画素（ブロック）数は、第３の実施の形態として説明するように、可変的に設定されるようにすることも可能である。

以下の説明においては、着目画素を第１の着目画素とし、着目画素の前の位置に位置する画素を第２の着目画素とし、着目画素の後の位置に位置する画素を第３の着目画素と記述する。また、第１の着目画素を始点とする動きベクトルを、第１の動きベクトルとし、第２の着目画素を始点とする動きベクトルを、第２の動きベクトルとし、第３の着目画素を始点とする動きベクトルを、第３の動きベクトルとする。さらに、第１の動きベクトルの終点に位置する画素を第１の終点画素とし、第２の動きベクトルの終点に位置する画素を第２の終点画素とし、第３の動きベクトルの終点に位置する画素を第３の終点画素とする。

画素値読み出し部５２は、動きベクトル設定部５６で設定された動きベクトルの始点と終点に位置する画素の画素値をフレームメモリ４１（図３）に記憶されているフレームから読み出す。動きベクトルの始点となる画素は、過去フレームに含まれ、動きベクトルの終点となる画素は、未来フレームに含まれている。

すなわちこの場合、過去フレームから、第１の着目画素、第２の着目画素、および第３の着目画素の画素値が、それぞれ読み出され、未来フレームから、第１の終点画素、第２の終点画素、および第３の終点画素の画素値が、それぞれ読み出される。

画素値演算部５３は、読み出された画素値から補間フレームの対応する位置の画素の画素値を算出する。例えば、第１の着目画素の画素値と第１の終点画素の画素値の平均値を、第１の着目画素から第１の終点画素に向かう第１の動きベクトルが、補間フレーム内で通過する位置の画素の画素値として設定する。記憶部５４は、設定された画素値を、補間フレームを構成する画素値として一時記憶する。

このような処理が各部で行われると、記憶部５４に記憶されている補間フレームを構成する１画素に注目したとき、複数の画素値が設定されていることがある。平均値演算部５５は、複数の画素値が設定されている画素に対して、設定されている複数の画素値の平均値を算出し、その平均値を、補間フレームの画素値として、信号切替部４４（図３）に出力する。

なお、平均値演算部５５により演算された結果を、記憶する記憶部を、補間フレーム作成部４３に設け、その記憶部から、信号切替部４４に補間フレームが出力されるようにしても良い。また、その記憶部は、記憶部５４と共用する構成としても良いし、記憶部５４自体を、フレームメモリ４１と共用するような構成とすることも可能である。

［第１の実施の形態における補間フレームの生成の仕方について］
次に、図４に示したような構成を有する補間フレーム作成部４３において行われる補間フレームの生成について、図５乃至図９を参照して説明する。

図５は、過去フレームと未来フレームのそれぞれのフレームにおける画素と、動きベクトルとの関係を説明する図である。過去フレームにおいて、画素１０１−１、画素１０２−１、および画素１０３−１がそれぞれ隣り合う３画素として存在している。

過去フレームの画素１０１−１が、未来フレームの画素１１１−１に移動したとして検出されたために、動きベクトル１５１−１が検出される。同様に、過去フレームの画素１０１−２が、未来フレームの画素１１１−２に移動したとして検出されたために、動きベクトル１５１−２が検出される。同様に、過去フレームの画素１０１−３が、未来フレームの画素１１１−３に移動したとして検出されたために、動きベクトル１５１−３が検出される。

このように動きベクトルが検出されているとき、着目画素設定部５１により、着目画素が、画素１０１−１と設定された場合、図６のように、補間フレームにおける画素値が算出される。

図６を参照するに、まず、画素１０１−１が第１の着目画素に設定される。この場合、動きベクトル１５１−１が、第１の動きベクトルとされ、画素１１１−１が第１の終点画素とされる。

画素１０１−１の前の画素１０１−２が第２の着目画素とされる。動きベクトル１５１−１が移動され、第２の着目画素である画素１０１−２を始点とする動きベクトル１５１−２が設定される。この動きベクトル１５１−２の終点は、画素１１１−２となる。画素１１１−２は、画素１１１−１より前に位置する画素である。また、画素１１１−２は、第２の終点画素とされる。

同様に、画素１０１−１の後の画素１０１−３が第３の着目画素とされる。動きベクトル１５１−１が移動され、第３の着目画素である画素１０１−３を始点とする動きベクトル１５１−３が設定される。この動きベクトル１５１−３の終点は、画素１１１−３となる。画素１１１−３は、画素１１１−１より後に位置する画素である。また、画素１１１−３は、第３の終点画素とされる。

着目画素設定部５１は、第１の着目画素を画素１０１−１と設定し、第２の着目画素を画素１０１−２と設定し、第３の着目画素を画素１０１−３と設定する。動きベクトル設定部５６は、着目画素設定部５１により設定された画素毎に、動きベクトル１５１−１乃至１５１−３を、それぞれ設定する。

画素値読み出し部５２は、まず、第１の着目画素である画素１０１−１の画素値と第１の終点画素である画素１１１−１の画素値をフレームメモリ４１から読み出し、画素値演算部５３に供給する。画素値演算部５３は、画素１０１−１の画素値と画素１１１−１を加算し、２で除算する。すなわち、画素値演算部５３は、画素１０１−１の画素値と画素１１１−１の平均値を算出する。算出された画素値は、画素１２１−１の画素値として設定される。

このようにして、第１の着目画素と第１の終点画素を結ぶ動きベクトル１５１−１上に位置し、補間フレーム上に位置する画素１２１−１が設定され、その画素値が算出される。算出された画素値は、記憶部５４に記憶される。

同様に、画素値読み出し部５２は、第２の着目画素である画素１０１−２の画素値と第２の終点画素である画素１１１−２の画素値をフレームメモリ４１から読み出し、画素値演算部５３に供給する。画素値演算部５３は、画素１０１−２の画素値と画素１１１−２を加算し、２で除算することにより、画素１０１−１の画素値と画素１１１−１の平均値を算出する。算出された平均値は、画素１２１−２の画素値として設定される。

このようにして、第２の着目画素と第２の終点画素を結ぶ動きベクトル１５１−２上に位置し、補間フレーム上に位置する画素１２１−２が設定され、その画素値が算出される。算出された画素値は、記憶部５４に記憶される。

さらに、画素値読み出し部５２は、第３の着目画素である画素１０１−３の画素値と第３の終点画素である画素１１１−３の画素値をフレームメモリ４１から読み出し、画素値演算部５３に供給する。画素値演算部５３は、画素１０１−３の画素値と画素１１１−３を加算し、２で除算することにより、画素１０１−３の画素値と画素１１１−３の平均値を算出する。算出された平均値は、画素１２１−３の画素値として設定される。

このようにして、第３の着目画素と第３の終点画素を結ぶ動きベクトル１５１−３上に位置し、補間フレーム上に位置する画素１２１−３が設定され、その画素値が算出される。算出された画素値は、記憶部５４に記憶される。

このように、１つの着目画素、この場合、画素１０１−１に着目した場合、補間フレーム上には、３つの画素、この場合、画素１２１−１、画素１２１−２、および画素１２１−３が設定され、その画素値が生成される。

第１の着目画素とした画素１０１−１に対する処理がこのようにして行われると、次に、第１の着目画素を画素１０２−１（図５）に設定した処理が行われる。すなわち、１つの着目画素に対する処理が終了されると、隣に位置する画素が新たな着目画素に設定され、同じ処理が実行される。

第１の着目画素が画素１０２−１に設定された場合、図７のようになる。すなわち、まず画素１０２−１の前の画素１０２−２が第２の着目画素とされる。画素１０２−２からの動きベクトル１５２−１が移動され、第２の着目画素である画素１０２−２を始点とする動きベクトル１５２−２が設定される。この動きベクトル１５２−２の終点は、画素１１２−２となる。画素１１２−２は、画素１１２−１より前に位置する画素である。また、画素１１２−２は、第２の終点画素とされる。

同様に、画素１０２−１の後の画素１０２−３が第３の着目画素とされる。動きベクトル１５１−２が移動され、第３の着目画素である画素１０２−３を始点とする動きベクトル１５２−３が設定される。この動きベクトル１５２−３の終点は、画素１１２−３となる。画素１１２−３は、画素１１２−１より後に位置する画素である。また、画素１１２−３は、第３の終点画素とされる。

図６を参照して説明した場合と同じく、第１の着目画素の画素値と第１の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２２−１の画素値として設定される。また、第２の着目画素の画素値と第２の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２２−２の画素値として設定される。さらに第３の着目画素の画素値と第３の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２２−３の画素値として設定される。

このようにして、１つの着目画素、この場合、画素１０２−１に着目した場合、補間フレーム上には、３つの画素、この場合、画素１２２−１、画素１２２−２、および画素１２２−３が設定され、その画素値が生成される。

さらに第１の着目画素が画素１０３−１に設定された場合について、図８を参照して簡便に説明する。画素１０３−１が第１の着目画素とされたとき、画素１０３−１の前の画素１０３−２が第２の着目画素とされる。画素１０３−２からの動きベクトル１５３−１が移動され、第２の着目画素である画素１０３−２を始点とする動きベクトル１５３−２が設定される。この動きベクトル１５３−２の終点は、画素１１３−２となり、第２の終点画素とされる。

同様に、画素１０３−１の後の画素１０３−３が第３の着目画素とされる。動きベクトル１５３−１が移動され、第３の着目画素である画素１０３−３を始点とする動きベクトル１５３−３が設定される。この動きベクトル１５３−３の終点は、画素１１３−３となり、第３の終点画素とされる。

図６を参照して説明した場合と同じく、第１の着目画素の画素値と第１の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２３−１の画素値として設定される。また、第２の着目画素の画素値と第２の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２３−２の画素値として設定される。さらに第３の着目画素の画素値と第３の終点画素の画素値との平均が算出され、補間フレームの対応する画素、この場合、画素１２３−３の画素値として設定される。

このようにして、１つの着目画素、この場合、画素１０３−１に着目した場合、補間フレーム上には、３つの画素、この場合、画素１２３−１、画素１２３−２、および画素１２３−３が設定され、その画素値が生成される。

このような処理が、過去フレームを構成する画素毎に行われる。この場合、過去フレームを構成する３画素を例に挙げて説明した。このように、過去フレームを構成する３画素を例に挙げた場合、補間フレーム上に作成された画素値は、図９に示すようになる。

図９を参照するに、画素１０１−１を第１の着目画素としたときに、画素１２１−１乃至１２１−３が生成され、画素１０２−１を第１の着目画素としたときに、画素１２２−１乃至１２２−３が生成され、画素１０３−１を第１の着目画素としたときに、画素１２３−１乃至１２３−３が生成される。

これらの生成された画素同士の位置関係は、図９を参照するに、まず、位置Ａのところに、画素１２２−２が設定されている。その隣の画素の位置Ｂに、画素１２２―１と画素１２３―２が設定されている。さらに、位置Ｂの隣の画素の位置Ｃに、画素１２１−２、画素１２２−３、および画素１２３−１が設定されている。さらに、位置Ｃの隣の画素の位置Ｄに、画素１２１−１と画素１２３―３が設定されている。さらに、位置Ｄの隣の画素の位置Ｅとして、画素１２１−３が設定されている。

なお、図９においては、各位置に、複数の画素が設定されていることを図示すると、重なりあってしまうため、３段に分けて記載しているだけであり、例えば、位置Ｂには、同じ位置に、画素１２２−１と画素１２３−２という２つの画素が設定されている、換言すれば、位置Ｂの画素値として、２つの画素値が記憶部５４に記憶されていることを意味する。

このように、１つの画素の画素値として、複数の画素値が設定されている場合がある。そこで、平均値演算部５５は、複数の画素値が設定されている場合、その設定されている複数の画素値の平均値を算出し、その平均値を、その画素の画素値として設定する。

すなわち、例えば、位置Ｂの画素には、画素１２２−１と画素１２３−２が設定されているので、画素１２２−１の画素値と画素１２３−２の画素値の平均値が、位置Ｂの画素の画素値とされる。また同様に、例えば、位置Ｃの画素には、画素１２１−２、画素１２２−３、および画素１２３−１が設定されているので、画素１２１−２の画素値、画素１２２−３の画素値、および画素１２３−１の画素値の平均値が、位置Ｃの画素の画素値とされる。

このように、本発明においては、補間フレームを構成する画素値は、複数の画素値が設定され、その設定された複数の画素値の平均値が算出されることにより生成される。

［補間フレーム装置の動作について］
次に、図４に示した第１の実施の形態における補間フレーム作成部４３の動作について、図１０のフローチャートを参照して説明する。

ステップＳ２１において、着目画素設定部５１は、過去フレームを構成する画素のうち、処理対象とする画素を設定する。すなわち、第１の着目画素が設定される。ステップＳ２１における処理で、例えば、図５に示した画素１０１−１が第１の着目画素として設定される。

ステップＳ２２において、第１の着目画素からの動きベクトル（第１の動きベクトル）を用いて、補間する画素値が演算される。まず、動きベクトル設定部５６により、着目画素設定部５１により設定された第１の着目画素に設定されている第１の動きベクトルが、動きベクトル検出部４２から読み出される。読み出された第１の動きベクトルから、第１の着目画素に対応する第１の終点画素が求められる。

このようにして求められた第１の終点画素の画素値が、画素値読み出し部５２によりフレームメモリ４１から読み出される。画素値読み出し部５２は、第１の着目画素の画素値も、フレームメモリ４１から読み出す。読み出された２つの画素値は、画素値演算部５３に供給される。画素値演算部５３は、供給された２つの画素値の平均値を算出する。

例えば、第１の着目画素が画素１０１−１と設定された場合、図６を参照して説明したようなことが実行される。すなわち、動きベクトル設定部５６により、画素１０１−１に設定されている動きベクトル１５１−１が読み出される。動きベクトル１５１−１の終点画素は、画素１１１−１であるので、第１の終点画素が、画素１１１−１と求められる。

画素値読み出し部５２は、画素１０１−１の画素値を、フレームメモリ４１に記憶されている過去フレームから読み出す。また、画素値読み出し部５２は、画素１１１−１の画素値を、フレームメモリ４１に記憶されている未来フレームから読み出す。画素値演算部５３は、読み出された画素１０１−１の画素値と画素１１１−１の画素値の平均値を算出する。

このように算出された画素値は、ステップＳ２３において、記憶部５４の補間フレームを構成する画素のうちの、対応する画素の画素値として記憶される。対応する画素とは、この場合、第１の動きベクトルが通る補間フレーム上の画素である。

次に、ステップＳ２４において、着目画素の前後の画素値が始点となるように、動きベクトルが移動される。この処理は、動きベクトル設定部５６により行われる。動きベクトル設定部５６は、第１の着目画素の前後に位置する第２の着目画素と第３の着目画素を設定し、その第２の着目画素と第３の着目画素のそれぞれに対して、第１の着目画素に設定されている動きベクトルをあてがうことで、第２の着目画素に設定される動きベクトルと第３の着目画素に設定される動きベクトルを、それぞれ設定する。

図６を再度参照するに、ステップＳ２４における処理は、第１の着目画素である画素１０１−１に対して、前の位置に位置する画素１０１−２が第２の着目画素と設定され、後の位置に位置する画素１０１−３が第３の着目画素と設定される。この第２の着目画素である画素１０１−２を始点となるように、第１の着目画素である画素１０１−１に設定されている動きベクトル１５１−１を移動する。このことにより、動きベクトル１５１−２が設定される。同様の処理が行われることにより、第３の着目画素に対して、動きベクトル１５１−３が設定される。

このようにして、動きベクトルが設定されると、ステップＳ２５において、移動された動きベクトルを用いて、補間する画素値が演算される。ステップＳ２５における処理で、第２の着目画素からの第２の動きベクトルを用いて、補間する画素値が演算され、第３の着目画素からの第３の動きベクトルを用いて、補間する画素値が演算される。ステップＳ２５における処理は、基本的に、ステップＳ２２における処理と同様である。

図６を再度参照するに、ステップＳ２４の処理が実行されることにより、画素１２１−２の画素値と画素１２１−３の画素値がそれぞれ求められる。求められた画素値は、ステップＳ２６において、記憶部５４に記憶される。

ステップＳ２７において、１フレーム分の処理が終了したか否かが判断される。すなわち、図５に示したような、仮に１フレームが３画素から構成されているときには、画素１０１−１、画素１０２−１、および画素１０３−１に対して、ステップＳ２１乃至Ｓ２６の処理が行われたか否かが判断される。

図５に示したような状態のとき、ステップＳ２１乃至Ｓ２７が実行されることにより、図６乃至図８を参照して説明した処理が繰り返されることになる。その結果、例えば、図９に示したような画素値が、補間フレームの画素値として記憶部５４に記憶される。

ステップＳ２７において、１フレーム処理が終了したと判断された場合、ステップＳ２８に処理が進められる。ステップＳ２８において、画素毎に平均値が演算される。ステップＳ２８における処理は、平均値演算部５５（図４）により実行される。平均値演算部５５は、記憶部５４に記憶されている補間フレームを構成する１画素に注目し、その注目した画素に設定されている画素値を読み出す。そして、読み出した画素値の平均値を算出する。算出された画素値は、その注目した画素の画素値として出力される。

例えば、記憶部５４には、図９に示したように、１つの画素に対して、複数の画素値が設定され、それらの画素値が記憶されている。平均値演算部５５は、例えば、位置Ｃの画素に注目したとき、画素１２１−２の画素値、画素１２２−３の画素値、および画素１２３−１の画素値を読み出す。そして、読み出したこれらの３画素の画素値の平均値を算出する。算出された画素値は、位置Ｃの画素の画素値として出力される。

なお、ここでは、平均値が算出されるとして説明を続けるが、特定の画素値に重み付けするなどしても良い。

例えば、図９において、位置Ｃの画素に対しては、３つの画素値が設定されているが、そのうち画素１２３−１の画素値は、画素１２１−２の画素値や画素１２２−３の画素値と異なり、第１の着目画素と第１の終点画素から算出された画素値である。換言すれば、画素１２１−２の画素値や画素１２２−３の画素値は、あてがわれた動きベクトルを用いて算出された画素値であるが、画素１２３−１の画素値は、動きベクトル検出部４２により検出された動きベクトルを用いて算出された画素値である。このようなときには、画素１２３−１の画素値が、画素１２１−２の画素値や画素１２２−３の画素値よりも、生成される画素値に大きな影響を与えるような重み付けがされるようにしても良い。

平均値演算部５５による演算が、１フレーム分終了したか否かが、ステップＳ２９において判断される。ステップＳ２９において、１フレーム分の処理は終了していないと判断された場合、ステップＳ２８に処理が戻され、それ以降の処理が繰り返される。一方、ステップＳ２９において、１フレーム分の処理は終了しと判断された場合、１フレーム分の補間フレームを生成する、図１０に示したフローチャートの処理は終了される。

［効果について］
このように、補間フレームが作成されることにより、以下のような効果がある。まず、動きベクトルが一様な部分は、複数の画素値を設定することなく処理した場合と等価とすることがきるとともに、動きベクトルがばらつく部分は、ボケた画像とすることができる。換言すれば、動きベクトルがばらつく部分のみに対して、そのばらつきを吸収するような加工を施すことが可能となる。

図５を再度参照するに、図５において動きベクトル１５２−１と動きベクトル１５３−１は、同じ方向で同じ傾きであるが、動きベクトル１５１−１は、異なる方向で異なる傾きである。このような場合、図１Ｂを参照して説明したような状況であり、波形が不連続となり、特に目立つような劣化が起こる可能性がある。

このような状況であっても、本発明によれば、上述したように、隣接する画素の動きベクトルや隣接する画素の画素値を用いて、１つの画素に対して複数の画素値を生成し、その複数の画素値から補間すべき画素の画素値を設定するので、波形が不連続になるようなことを防ぐことが可能となる。

すなわち、例えば、図９を再度参照するに、位置Ｄに生成される画素値は、本発明によれば、画素１２１−１と画素１２３−３の画素値が用いられて設定される。これ対して、図１Ｂで説明したような方法を仮に適用した場合、画素１２１−１の画素値しか生成されない。

図１Ｂを参照して説明したような方法を適用し、画素１２１−１しか生成されなければ、隣接する画素の画素値、例えば、画素１２２−１や画素１２３−１に対して、画素１２１−１の画素値が急激に変化してしまい、波形が不連続になってしまう可能性がある。しかしながら、本発明によれば、このような波形が不連続になるような状況が発生しても、近接する画素の影響を受け、近接する画素の画素値に対して急激に変化するようなことを防ぐことが可能となるため、結果的に、画素値が急激に変化するようなことを防ぐことができ、波形が不連続になるようなことを防ぐことが可能となる。

“動きベクトルが一様な部分は、複数の画素値を設定することなく処理した場合と等価とすることができる”ということについて説明する。例えば、図１１に示したように、動きベクトル１７１乃至１７５が同じ方向で、同じ傾きであるような場合、動きベクトルが一様であると言える。このような場合、例えば、動きベクトル１７３が通る補間フレーム上に生成される画素の画素値は、本発明によれば、前後の動きベクトル１７２，１７４も用いられて生成されるが、動きベクトル１７２，１７４を移動すると（例えば、図１０のステップＳ２４に対応する処理を実行すると）、動きベクトル１７３と重なるため、結果的に、動きベクトル１７３を用いたときに算出される画素値が３つ算出されることになる。よって、その３つの画素値の平均値は、動きベクトル１７３を用いたいときに算出される値と同じになる。

図１１に示したような状況のときには、波形が不連続になるようなことはないため、目立つような劣化が起こることもない。図１Ｂを参照して説明したような方法、すなわち、１つの動きベクトルに基づき、１つの画素値を算出するようなときでも、図１１に示したような動きベクトルが一様なときには、波形が不連続になるようなことは少ない。よって、従来の方式で波形が不連続なるようなことがない部分であれば、本発明に基づく方式であっても、波形が不連続なるようなことはない。よって、本発明を適用することで、従来波形が不連続にならないよう部分が不連続なってしまうというようなことは起きないので、本発明を適用することで、画質が劣化するようなことはない。

すなわち、動きベクトルが一様な部分は、複数の画素値を設定することなく処理する従来の場合と等価とすることができ、従来適切に処理が行える部分は、本発明でも適切に処理ができる。

第１の実施の形態においては、例えば、図５における動きベクトル１５１−１が、他の動きベクトル１５２−１，１５３−１と異なる向きで、異なる傾きであるが、その動きベクトル１５１−１は、間違って検出された動きベクトルであるのか否かを判断するといったような判断を行うことなく、処理を行う。換言すれば、第１の実施の形態においては、検出された動きベクトルが正しいか否かといった判断を行うことはない。

よって、このような判断を行うことにより、この判断自体が誤判断となり、結果として、間違った処理を行ってしまうといったようなことを防ぐことが可能となる。換言すれば、判断を行い、判断結果により処理の切り換えを行うようなことをしないため、処理の切り換えによる劣化などが生じるようなことを防ぐことが可能となる。このような判断を行わなくても、本発明によれば、上述したように、波形が不連続にならないように制御することが可能である。

また、本発明によれば、波形の連続性を考慮した画素値を基に、最終的な画素値を求めているため、劣化部分も連続的な変化となり、劣化を目立ちにくくすることが可能となる。

［補間フレーム作成部の第２の実施の形態について］
図１２は、本発明を適用した第２の実施の形態における補間フレーム作成部４３の構成を示す図である。

図１２に示した第２の実施の形態における補間フレーム作成部４３は、画素位置決定部２０１、動きベクトル設定部２０２、前後画素位置決定部２０４、動きベクトル設定部２０５、画素値読み出し部２０３、画素値演算部２０６、記憶部２０７、および平均値演算部２０８を含む構成とされている。

画素位置決定部２０１は、補間フレームを構成する画素のうち、画素値を生成する処理を実行する画素を決定する。動きベクトル設定部２０２は、画素位置決定部２０１で決定された画素に設定されている動きベクトルを動きベクトル検出部４２（図３）から読み出し、設定する。画素値読み出し部２０３は、動きベクトル設定部２０２により設定された動きベクトルの始点に位置する画素の画素値と、終点に位置する画素の画素値を、それぞれフレームメモリ４２から読み出す。

前後画素位置決定部２０４は、画素位置決定部２０１により決定された画素の前後に位置する画素を決定する。動きベクトル設定部２０５は、前後画素位置決定部２０４で決定された画素に設定されている動きベクトルを、動きベクトル検出部４２からそれぞれ読み出し、それぞれ設定する。画素値読み出し部２０３は、動きベクトル設定部２０５により設定された２本の動きベクトルのそれぞれの始点に位置する画素の画素値と、それぞれの終点に位置する画素の画素値を、それぞれフレームメモリ４２から読み出す。

画素値演算部２０６は、画素値読み出し部２０３により読み出された、所定の動きベクトルの始点に位置する画素の画素値と、終点に位置する画素の画素値を用いて、補間フレームを構成する画素であり、画素位置決定部２０１により決定された画素の画素値を算出する。

記憶部２０７は、画素値演算部２０６による演算で算出された画素値を記憶する。記憶部２０７には、１つの画素に対して、複数の画素値が記憶される。平均値演算部２０８は、記憶部２０７に記憶されている複数の画素値を用いて、画素位置決定部２０１により決定された画素の、最終的な画素値を算出し、信号切替部４４（図３）に出力する。

［第２の実施の形態における補間フレームの生成の仕方について］
次に、図１２に示したような構成を有する補間フレーム作成部４３において行われる補間フレームの生成について、図１３乃至図１７を参照して説明する。

図１３は、過去フレームと未来フレームのそれぞれのフレームにおける画素と、動きベクトルとの関係を説明する図である。過去フレームにおいて、画素２３１−１、画素２３２−１、および画素２３３−１がそれぞれ隣り合う３画素として存在している。

過去フレームの画素２３１−１が、未来フレームの画素２３１−２に移動したとして検出されたために、動きベクトル２５１が検出される。同様に、過去フレームの画素２３２−１が、未来フレームの画素２３１−２に移動したとして検出されたために、動きベクトル２５２が検出される。同様に、過去フレームの画素２３３−１が、未来フレームの画素２３３−２に移動したとして検出されたために、動きベクトル２５３が検出される。

また、動きベクトル２５１が補間フレーム上を通る位置に位置する画素を、画素２３１―３とし、動きベクトル２５２が補間フレーム上を通る位置に位置する画素を、画素２３２―３とし、動きベクトル２５３が補間フレーム上を通る位置に位置する画素を、画素２３３―３とする。

このような関係が、成り立っていることを前提とし、以下の説明を続ける。すなわち、補間フレーム作成部４３の処理は、例えば、図１３における動きベクトル２５１乃至２５３が、動きベクトル検出部４２で検出されていることが前提とされている。

また、補間フレーム上の１画素には、検出された動きベクトルが１本だけ設定されている状態である。換言すれば、補間フレーム上の１画素に、複数の動きベクトルが通るような検出が行われたときには、何らかの処理が実行されることにより、１本の動きベクトルに絞り込まれる。よって、補間フレームを構成する全ての画素に動きベクトルが１本だけ設定されていることを前提としている。

このような前提が満たされるように、動きベクトル検出部４２は、動きベクトルを検出するが、その検出方法は、どのような方法でも良い。

図１３に示したような状況のとき、補間フレーム作成部４３は、以下のような処理を実行することで、補間フレーム上の所定の画素の画素値を算出する。

図１４を参照する。ここでは、補間フレーム上の画素である画素２３３−３が処理対象とされた場合を例に挙げて説明を続ける。画素位置決定部２０１（図１２）は、処理対象とする画素を、画素２３３−３と決定する。画素位置決定部２０１は、補間フレームを構成する画素のうち、例えば、左上から右下にかけて、順に、処理対象の画素とするように構成されている。

動きベクトル設定部２０２は、画素位置決定部２０１で処理対象の画素として設定された画素２３３−３を通る動きベクトルは、動きベクトル２５３であると設定する。動きベクトル２５３の始点の画素は、過去フレームの画素２３３−１であり、終点の画素は、未来フレームの画素２３３−２である。画素値読み出し部２０３は、画素２３３−１の画素値と画素２３３−２の画素値を、フレームメモリ４１からそれぞれ読み出し、画素値演算部２０６に供給する。

画素値演算部２０６は、供給された２つの画素値を用いて、画素２３３−３の画素値を算出し、記憶部２０７に出力する。画素値演算部２０６は、例えば、供給された２つの画素値の平均値を算出することで、画素２３３−３の画素値を算出し、記憶部２０７に出力する。ここでは、算出された画素値を、画素値２９３（図１７）とする。

このような処理が行われる一方で、前後画素位置決定部２０４は、画素位置決定部２０１により決定された画素２３３−３の前後に位置する画素を決定する。ここでは、前後の画素を１つずつ決定するとして説明を続けるが、決定される画素の個数は、前後の１つずつに限定されるわけではない。

前後画素位置決定部２０４は、この場合、画素２３３−３の前の画素として、画素２３２−３を決定し、後の画素として、画素２３１−３を決定する。

動きベクトル決定部２０５は、前後画素位置決定部２０４により決定された画素２３２−３を通る動きベクトルとして、動きベクトル２５２を設定する。さらに、動きベクトル決定部２０５は、動きベクトル２５２を、画素２３３―３をを通る動きベクトル２５２’（図１５）を設定する。画素値読み出し部２０３は、設定された動きベクトル２５２’の始点の位置の画素の画素値と、終点の位置の画素の画素値を、フレームメモリ４１からそれぞれ読み出す。

図１５を参照して説明するに、動きベクトル２５２が画素２３３−３を通るように移動されると、動きベクトル２５２’のようになる。動きベクトル２５２’の始点の画素は、画素２３３−１であり、終点の画素は、画素２３３−２となる。画素値読み出し部２０３は、画素２３３−１の画素値と画素２３３−２の画素値をそれぞれフレームメモリ４１から読み出し、画素値演算部２０６に供給する。

画素値演算部２０６は、供給された２つの画素値を用いて、画素２３３−３の画素値を算出し、記憶部２０７に出力する。ここでは、算出された画素値を、画素値２９２（図１７）とする。

同様に、動きベクトル決定部２０５は、図１６を参照して説明するように、前後画素位置決定部２０４により決定された画素２３１−３を通る動きベクトルとして、動きベクトル２５１を設定する。さらに、動きベクトル決定部２０５は、動きベクトル２５１を、画素２３３―３を通る動きベクトル２５１’を設定する。画素値読み出し部２０３は、設定された動きベクトル２５１’の始点の位置の画素の画素値と、終点の位置の画素の画素値を、フレームメモリ４１からそれぞれ読み出す。

図１６を参照するに、動きベクトル２５１が画素２３３−３を通るように移動されると、動きベクトル２５１’のようになる。動きベクトル２５１’の始点の画素は、画素２７１であり、終点の画素は、画素２７２となる。画素値読み出し部２０３は、画素２７１の画素値と画素２７２の画素値をそれぞれフレームメモリ４１から読み出し、画素値演算部２０６に供給する。

画素値演算部２０６は、供給された２つの画素値を用いて、画素２３３−３の画素値を算出し、記憶部２０７に出力する。ここでは、算出された画素値を、画素値２９１（図１７）とする。

このような処理が行われることにより、図１７を参照するに、補間フレームを構成する画素であり、画素位置決定部２０１により処理対象に設定された画素２３３−３には、画素値として、画素値２９１、画素値２９２、および画素値２９３が設定される。

平均値演算部２０８は、画素値２９１、画素値２９２、および画素値２９３の、例えば、平均値を算出し、その平均値を、画素２３３−３の画素値として出力する。なお、ここでは平均値として説明を続けるが、重み付けなどの処理が行われる演算が行われるようにしても良い。

このように、補間フレームを構成する１つの画素に注目したとき、その画素（注目画素とする）を通る動きベクトルＡの両端の画素の画素値を用いて画素値が算出され、注目画素の前に位置する画素を通る動きベクトルＢを、注目画素を通る動きベクトルＢ’とし、その動きベクトルＢ’の両端の画素の画素値を用いて画素値が算出され、さらに、注目画素の後に位置する画素を通る動きベクトルＣを、注目画素を通る動きベクトルＣ’とし、動きベクトルＣ’の両端の画素の画素値を用いて画素値が算出される。

この場合、１つの注目画素に対して、３つの画素値が算出される。記憶部２０７には、このように、１つの注目画素に対して、３つの画素値が記憶される。そして、３つの画素値から、注目画素の画素値が算出される。

［補間フレーム装置の動作について］
次に、図１２に示した第２の実施の形態における補間フレーム作成部４３の動作について、図１８のフローチャートを参照して説明する。

ステップＳ５１において、画素位置決定部２０１は、補間フレームを構成する画素のうち、処理対象とする画素（画素Ａ）を決定する。ステップＳ５１における処理で、例えば、図１４に示した画素２３３−３が画素Ａとされる。

ステップＳ５２において、動きベクトル設定部２０２は、画素Ａを通る動きベクトル（動きベクトルＡ）を設定する。画素２３３−３が画素Ａとされているときには、動きベクトル２５３が動きベクトルＡとされる（図１４参照）。

ステップＳ５３において、動きベクトルＡが用いられて、補間する画素値が演算される。画素値読み出し部２０３は、動きベクトル２５３が動きベクトルＡとされている場合、図１４を参照して説明したように、動きベクトル２５３の両端の画素の画素値、この場合、画素２３３−１の画素値と画素２３３−２の画素値を、それぞれフレームメモリ４１から読み出す。

画素値演算部２０６は、画素値読み出し部２０３により読み出された画素値を用いて、補間する画素値を算出する。この場合、画素２３３−１の画素値と画素２３３−２の画素値から、画素値２９３（図１７）が算出される。

ステップＳ５４において、画素値演算部２０６により算出された画素値が、画素Ａの画素値として、記憶部２０７に記憶される。この場合、画素値２９３が、画素２３３−３の画素値として記憶部２０７に記憶される。

ステップＳ５５において、前後画素位置決定部２０４は、画素Ａの前の画素Ｂと後の画素Ｃを決定する。ステップＳ５５における処理で、例えば、画素Ｂとして、図１５に示した画素２３２−３が設定され、画素Ｃとして、図１６に示した画素２３１−３が設定される。

ステップＳ５６において、動きベクトル設定部２０５は、画素Ｂを通る動きベクトル（動きベクトルＢ）と、画素Ｃを通る動きベクトル（動きベクトルＣ）を設定する。画素２３２−３が画素Ｂとされているときには、動きベクトル２５２が動きベクトルＢとされ、画素２３１−３が画素Ｃとされているときには、動きベクトル２５１が動きベクトルＢとされる（図１５、図１６参照）。

ステップＳ５７において、動きベクトル設定部２０５は、動きベクトルＢの方向と傾きを有する動きベクトルであり、画素Ａを通る動きベクトルＢ’を設定する。また、動きベクトル設定部２０５は、動きベクトルＣの方向と傾きを有する動きベクトルであり、画素Ａを通る動きベクトルＣ’を設定する。

図１５を再度参照するに、動きベクトルＢが動きベクトル２５２とされているとき、動きベクトル２５２と同じ方向と傾きを有し、画素２３３−３を通る、動きベクトル２５２’が動きベクトルＢ’と設定される。

また図１６を参照するに、動きベクトルＣが動きベクトル２５１とされているとき、動きベクトル２５１と同じ方向と傾きを有し、画素２３３−３を通る、動きベクトル２５１’が動きベクトルＣ’と設定される。

ステップＳ５８において、動きベクトルＢ’と動きベクトルＣ’がそれぞれ用いられて、補間する画素値が演算される。画素値読み出し部２０３は、動きベクトル２５２’が動きベクトルＢ’とされている場合、図１５を参照して説明したように、動きベクトル２５２’の両端の画素の画素値、この場合、画素２３３−１の画素値と画素２３３−２の画素値を、それぞれフレームメモリ４１から読み出す。

画素値演算部２０６は、画素値読み出し部２０３により読み出された画素値を用いて、補間する画素値を算出する。この場合、画素２３３−１の画素値と画素２３３−２の画素値から、画素値２９２（図１７）が算出される。

また同様に、画素値読み出し部２０３は、動きベクトル２５１が動きベクトルＣ’とされている場合、図１６を参照して説明したように、動きベクトル２５１’の両端の画素の画素値、この場合、画素２７１の画素値と画素２７２の画素値を、それぞれフレームメモリ４１から読み出す。

画素値演算部２０６は、画素値読み出し部２０３により読み出された画素値を用いて、補間する画素値を算出する。この場合、画素２７１の画素値と画素２７２の画素値から、画素値２９１（図１７）が算出される。

ステップＳ５９において、画素値演算部２０６により算出された画素値が、画素Ａの画素値として、記憶部２０７に記憶される。この場合、画素値２９１と画素値２９２が、画素２３３−３の画素値として記憶部２０７に追加記憶される。ステップＳ５４における処理と、ステップＳ５９における処理が行われたことで、画素２３３−３の画素値として、図１７に示したように、画素値２９１、画素値２９２、および画素値２９３が記憶部２０７に記憶される。

ステップＳ６０において、平均値演算部２０８は、記憶部２０７に記憶されている所定の画素に設定された複数の画素値から、その所定の画素の画素値を算出する。この場合、補間フレームを構成する画素のうち、画素２３３−３の画素値として、画素値２９１、画素値２９２、および画素値２９３が記憶されている。平均値演算部２０８は、画素値２９１、画素値２９２、および画素値２９３の平均値を算出することで、画素２３３−３の画素値を算出する。

平均値演算部２０８により演算された画素値は、信号切替部４４に出力される。平均値演算部２０８からの演算結果を記憶する記憶部を設け、その記憶部を介して信号切替部４４に出力されるようにしても良い。また、ステップＳ６１において、１フレーム分の処理が終了したか否かが判断されるが、１フレーム分の処理が終了した時点で、信号切替部４４に出力されるようにしても良い。

ステップＳ６１において、１フレーム分の処理が終了したか否かが判断され、１フレーム分の処理は終了していないと判断された場合、ステップＳ５１に処理が戻され、それ以降の処理が繰り返される。一方、ステップＳ６１において、１フレーム分の処理は終了したと判断された場合、補間フレームが１フレーム分生成されたことになるので、１フレームの補間フレームを作成する図１８に示したフローチャートの処理は終了される。

このように、第２の実施の形態においては、補間フレームを構成する１つの画素に注目し、その画素を通る動きベクトルと、その画素の前後の画素を通る動きベクトルを用いて、注目した画素の画素値が生成される。

第２の実施の形態においても、第１の実施の形態と同じ効果がある。第１の実施の形態のところで、効果については既に説明したので、ここでは、その説明を省略する。

第１の実施の形態と第２の実施の形態を比較するに、第１の実施の形態においては、補間フレームを構成する全ての画素に対して複数の画素値が設定されたあと、各画素の平均値が算出されることにより、補間フレームを構成する１つの画素の画素値が算出されるため、１フレームの処理が終了したあと、最終的な画素値が算出され、出力される。

換言すれば、第１の実施の形態において、図１０のフローチャートのステップＳ２１乃至Ｓ２７が繰り返し行われ、ステップＳ２７において、１フレーム分の処理が終了したと判断されたとき、ステップＳ２８において、画素毎に平均値が算出される。

第１の実施の形態に対して、第２の実施の形態においては、補間フレームを構成する１画素に注目したとき、その画素と隣接する画素を通る動きベクトルを用いて複数の画素値が演算されたあと、その複数の画素値の平均が算出されることで、その画素の画素値が算出される。

換言すれば、第２の実施の形態においては、図１８のフローチャートを参照するに、画素毎に平均値が算出されるのは、ステップＳ６０であり、１フレーム分の処理が終了したか否かの判断が行われるステップＳ６１よりも前の処理である。すなわち、第２の実施の形態においては、１フレーム分の処理を終わる前の時点で、最終的な画素値を算出し、出力することができる。

さらに換言するならば、第２の実施の形態においては、注目した画素の画素値を、他の画素値に関する処理を待たずに算出することができる。よって、第２の実施の形態においては、リアルタイムに画素値を算出することが可能となる。

また、ここで、例えば、補間フレームを構成する１画素に対して、３つの画素値が設定され、その３つの画素値の平均値が算出されることで、最終的な画素値が算出される場合を考える。

第１の実施の形態の場合、３つの画素値を設定するために、記憶部５４（図４）は、少なくとも３フレーム分の画素値を記憶するだけの容量を必要とする。これに対し、第２の実施の形態の場合、記憶部２０７（図１２）は、３つの画素値を記憶するだけの容量があればよい。よって、第２の実施の形態の方が、第１の実施の形態に比べて、記憶部の容量を小さくすることが可能となる。

第１の実施の形態または第２の実施の形態のどちらを適用した場合においても、処理後の画像に対しては、同様の効果を期待できる。図１９と図２０に、本発明を適用したときの画像の一例を示す。図１９は、本発明を適用せずに画素値を算出したときの画像であり、図２０は、第１の実施の形態、または、第２の実施の形態を適用して画素値を算出したときの画像である。

図１９中、円で囲んだ部分を、図１９と図２０の、それぞれの画像で比較するに、本発明を適用して処理した図２０の画像の方が、図１９の画像に比べて、滑らかな変化となっていることがわかる。

このように、本発明によれば、急激な変化を抑えることができ、波形が不連続にならないようにすることができ、画質を向上させることが可能となる。

［第３の実施の形態について］
次に、第３の実施の形態について説明する。第１の実施の形態と第２の実施の形態においては、補間フレームを構成する１画素に対して、複数の画素値を設定し、その複数の画素値の平均値を求めることにより、最終的な画素値を算出した。その複数の画素値は、注目している画素に近接する画素を通る動きベクトルを用いて算出した。

ところで、例えば、動き境界の部分など、近接する画素が急激に変化するが、その変化は正しい変化である。このような正しい変化の場合であっても、第１の実施の形態や第２の実施の形態の場合、近接する画素の影響をうけるため、動き境界などの部分もぼやけてしまう可能性がある。

本発明は、動きベクトルがばらつく部分を、ぼけた画像とする特徴があるが、複数の異なる動きベクトルが存在することが正しい、動き境界部の画像もぼかしてしまうことがある。そこで、動きベクトルが検出されるときなどに、動きの境界部であるというようなことを示す付加情報を生成し、その付加情報に基づいて、動きの境界部であれば、境界部の動きベクトルを用いないで処理を行うことにより、動き境界部がぼけないように処理しても良い。

このような付加情報自体を生成し、その生成した付加情報を用いて処理を行う第３の実施の形態について説明を加える。なお、第３の実施の形態として以下に説明するのは、第１の実施の形態、または第２の実施の形態において、付加情報を生成する処理を加えた実施の形態である。まず、第１の実施の形態において、付加情報を生成し、その生成された付加情報に用いた処理を行う第３の実施の形態について説明する。

図２１は、第３の実施の形態における補間フレーム作成部４３の構成例を示す図である。図２１に示した補間フレーム作成部４３は、図４に示した補間フレーム作成部４３に、付加情報生成部４０１を追加した構成とされている。付加情報生成部４０１は、着目画素設定部５１により設定された注目画素の近辺を探索し、動き境界であるか否かを判断し、その判断に基づく付加情報を生成する。付加情報を生成するとき、フレームメモリ４１に記憶されている過去フレームと未来フレームが参照される。

生成された付加情報は、動きベクトル設定部５６に供給される。動きベクトル設定部５６は、動き境界をまたぐような動きベクトルは用いないように動きベクトルを設定する。補間フレーム作成部４３の他の部分は、図４を参照して説明した場合と基本的に同様であるので、その説明は省略する。

図２２のフローチャートを参照し、図２１に示した補間フレーム作成部４３における処理について説明する。

ステップＳ１０１において、着目画素設定部５１は、過去フレームを構成する画素のうちから、処理対象とする着目画素を設定する。ステップＳ１０２において、着目画素設定部５１により、着目画素として設定された画素の近辺に関する付加情報が、付加情報生成部４０１により生成される。

図２３は、ステップＳ１０２において実行される付加情報生成処理の詳細を説明するフローチャートである。

ステップＳ１３１において、注目画素を中心とする、初期値のブロックサイズとブロック一致閾値が設定される。ブロック一致閾値とは、ブロック内の一致数がその閾値以上であれば、ブロックが一致しているとして判断して良いという許容範囲を示す値であり、好ましくは、ブロックの画素の数に設定される。

ここでは、初期値のブロックサイズを１画素として説明を続ける。なお、上述してきた説明において、画素との記述は、ブロックと置き換えることにより、ブロックで処理する場合にも適用できる。また、ブロックは、複数の画素から構成される。

ステップＳ１３２において、過去フレームと未来フレームから、それぞれ、画素値が読み出される。読み出される画素値は、注目画素とされた画素に設定されている動きベクトルの始点と終点に対応する画素の画素値である。なお、ブロックの場合、ブロックに設定されている動きベクトルが用いられ、その動きベクトルの始点と終点に対応する画素値がそれぞれ読み出される。

ステップＳ１３３において、読み出された画素値から差分絶対値が算出される。ステップＳ１３３において、過去フレームから読み出された始点に対応する画素の画素値と、未来フレームから読み出された終点に対応する画素の画素値との差分が算出される。そして、その差分値の絶対値が算出される。

ステップＳ１３４において、算出された差分値の絶対値が、画素一致閾値よりも小さいものの数を、一致数として算出する。ここで画素一致閾値とは、差分値の絶対値がその閾値以下であれば、一致する画素値として判断して良いという許容範囲を示す値であり、好ましくは、０に設定される。

ステップＳ１３５において、一致した画素数が、ブロック一致閾値より以上かどうかが判断される。ここでは、ブロック内の一致数を用いて、ブロックが一致しているか否かを判断するとするが、例えば、ブロック内の全ての画素値同士の差分の絶対値の和を算出し、その和の値が所定の閾値以上であるか否かを判断することで、画素（ブロック）が一致するか否かを判断するとするようにしても良い。また、変化量を用いた判断などでも良い。

ステップＳ１３５において、一致数がブロック一致閾値以上と判断された場合、ステップＳ１３６に処理が進められる。ステップＳ１３６において、ブロックサイズが広げられる。また、ステップＳ１３６において、ブロックサイズが広げられたことに伴い、ブロック一致閾値も変更される。ステップＳ１３６において、ブロックサイズを、どの程度広げるかにより、ブロック一致閾値もどのように変更するかが決定される。すなわち、例えば、ブロックサイズを１０ブロック広げた場合、広げた１０ブロックと元のブロックを含むサイズのときに、ブロック内の一致数がその閾値以上であれば、ブロックが一致しているとして判断して良いという許容範囲を示す値に変更される。

ブロックサイズが広げられ、ブロック一致閾値が変更されると、ステップＳ１３２に処理が戻され、その広げられたブロックサイズに対して、ステップＳ１３２以下の処理が繰り返し行われる。このように、ブロック一致閾値が変更された場合、ステップＳ１３５において用いられるブロック一致閾値は、変更後のブロック一致閾値である。

ブロックサイズの広げ方などについては、図２４を参照して後述する。ステップＳ１３５において、一致数がブロック一致閾値よりも小さいと判断された場合、ステップＳ１３７に処理が進められる。

ステップＳ１３７において、その時点で設定されているブロックサイズが付加情報として設定され、出力される。

ここで、図２４を参照して再度説明する。図２４において、白丸は、白い画素を示し、黒丸は、黒い画素を示すとする。ステップＳ１３１において、画素５０１−１が注目画素として設定され、初期ブロックサイズとして設定される。

ステップＳ１３２において、画素５０１―１に設定されている動きベクトル５１１の始点である画素５０１−１の画素値と、終点である画素５０１−２の画素値がフレームメモリ４１から読み出される。ステップＳ１３３において、画素５０１−１と画素５０１−２の差分が算出され、その絶対値が算出される。ステップＳ１３４において、画素５０１−１と画素５０１−２の差分絶対値が、画素一致閾値よりも小さいと判断される。この場合、画素５０１−１と画素５０１−２は、ともに白い画素であるので、一致している画素であると判断される。

ステップＳ１３５において、一致数は、ブロック一致閾値以下であると判断され、ステップＳ１３６に処理が進められる。ステップＳ１３６において、ブロックサイズが広げられる。図２４に示した例においては、画素５０２−１と画素５０３−１を新たに含むブロックに広げられる。即ち、この場合、画素５０１−１の１画素を含むブロックが、画素５０１−１、画素５０２−１、および画素５０３−１の３画素を含むブロックに拡大される。この拡大に伴い、ブロック一致閾値も変更される。なお、画素ではなく、ブロックで処理している場合、３個のブロックを含むブロックサイズに拡大されたことになる。

再度、ステップＳ１３２に処理が戻され、拡大されたブロックに含まれる画素値が、過去フレームと未来フレームからそれぞれ読み出される。この場合、画素５０２−１と画素５０２−２が読み出される。また、画素５０３−１と画素５０３−２も読み出される。この場合、読み出される画素は、全て白色の画素であるので、ステップＳ１３４において、“ＹＥＳ”と判断され、ステップＳ１３５に処理が進められる。ステップＳ１３５においても、“ＹＥＳ”と判断されると、ステップＳ１３６に処理が進められ、さらにブロックサイズが拡大され、ブロック一致閾値が変更される。

図２４に示した例では、画素５０４−１と画素５０５−１をさらに含むブロックサイズに拡大される。すなわちこの場合、５個の画素を含むブロックサイズに拡大される。なお、画素ではなく、ブロックで処理している場合、５個のブロックを含むブロックサイズに拡大されたことになる。

再度、ステップＳ１３２に処理が戻され、拡大されたブロックに含まれる画素値が、過去フレームと未来フレームからそれぞれ読み出される。この場合、画素５０４−１と画素５０４−２が読み出される。また、画素５０５−１と画素５０５−２も読み出される。この場合、読み出される画素のうち、画素５０４−１と画素５０４−２は、白い画素なので、ステップＳ１３５において、一致する画素であると判断されるが、画素５０５−１と画素５０５−２は、白い画素と黒い画素であるので、ステップＳ１３５において、一致しない画素であると判断される。

ステップＳ１３４において、一致しない画素であると判断されると、ステップＳ１３７に処理が進められる。ステップＳ１３７において、その時点で設定されているブロックサイズが付加情報とされる。この場合、３画素で構成されるブロックサイズが、付加情報とされる。

このようにして、付加情報が生成される。なお、ブロックサイズは、上記した例は、注目画素を中心として、左右方向に１画素ずつ、よって、２画素ずつ拡大される例を示したが、注目画素を含む８×８のブロックを、１６×１６のブロックに拡大し、その後、３２×３２のブロックに拡大するといったような拡大が行われるようにしても良い。

また、ブロックの広げ方として、左右方向、上下方向、斜め方向などの各方向にブロックを広げていくようにしても良い。ステップＳ１３１で初期値のブロックサイズが設定されるが、この初期値のブロックサイズは、動きベクトルを検出するときに用いられたブロックサイズと同一とするのが好ましい。また、拡大されたブロックは、正方形であることが好ましい。

なお、ここでは、図２３に示したフローチャートに基づいてブロックサイズが求められるとしたが、他の方法で、ブロックサイズが求められるようにしても良い。例えば、上記した方法を換言するならば、処理対象とされている画素（ブロック）を含む範囲であり、過去フレームと未来フレームの中で、一致する画素から構成される範囲を検出する方法であり、その検出方法として、上記した以外の方法を適用して、本発明を実施することも可能である。

このようなブロックサイズの拡大は、動きベクトルの正しさと連動させた拡大となる。正しい動きベクトルの部分では、ブロックサイズが拡大する傾向にあり、誤った動きベクトルが含まれる部分では、ブロックサイズが縮小する傾向にある。

このようにして、付加情報が求められると、ステップＳ１０３（図２２）に処理が進められる。ステップＳ１０３以下の処理は、図１０のステップＳ２２以下の処理と基本的に同様であるので、その説明は省略する。ただし、ステップＳ１０３以下の処理は、ステップＳ１０２において求められたブロックサイズで行われる点が、図１０のステップＳ２２以下の処理とは異なる。

このようにブロックサイズを可変とすることで、より画質を向上させた補間フレームを生成することが可能となる。

次に、第２の実施の形態において、付加情報を生成し、その生成された付加情報に用いた処理を行う第３の実施の形態について説明する。

図２５は、第３の実施の形態における補間フレーム作成部４３の構成例を示す図である。図２５に示した補間フレーム作成部４３は、図１２に示した補間フレーム作成部４３に、付加情報生成部５５１を追加した構成とされている。付加情報生成部５５１は、画素位置決定部２０１により設定された注目画素の近辺を探索し、エッジがあるか否かを判断し、その判断に基づく付加情報を生成する。付加情報を生成するとき、フレームメモリ４１に記憶されている過去フレームと未来フレームが参照される。

生成された付加情報は、前後画素位置決定部２０４に供給される。前後画素位置決定部２０４は、エッジの部分をまたぐような動きベクトルは用いないように注目画素の前後の画素を設定する。補間フレーム作成部４３の他の部分は、図１２を参照して説明した場合と基本的に同様であるので、その説明は省略する。

図２６のフローチャートを参照し、図２５に示した補間フレーム作成部４３における処理について説明する。

ステップＳ１５１において、画素位置決定部２０１により、求めたい画素（画素Ａ）が決定される。この処理は、図１８のフローチャートのステップＳ５１と同様に行われる。すなわち、画素位置決定部２０１は、補間フレームを構成する画素のうち、処理対象とする注目画素を決定する。

ステップＳ１５１において、画素位置決定部２０１により決定された注目画素の近辺に関する付加情報が、ステップＳ１５２において、付加情報生成部５５１により生成される。ステップＳ１５２において実行される付加情報生成処理は、既に図２３に示したフローチャートを参照して説明した処理と同様に行われる。ただし、この場合、ステップＳ１５１で注目画素として設定されるのは、補間フレームを構成する画素であるので、その画素を通る動きベクトルの始点が、処理対象の画素（ブロック）として設定される。

このようにして、付加情報が求められると、ステップＳ１５３（図２６）に処理が進められる。ステップＳ１５３以下の処理は、図１８のステップＳ５２以下の処理と基本的に同様であるので、その説明は省略する。ただし、ステップＳ１５３以下の処理は、ステップＳ１５２において求められたブロックサイズで行われる点が、図１８のステップＳ５２以下の処理とは異なる。

このようにブロックサイズを可変とすることで、より画質を向上させた補間フレームを生成することが可能となる。

第３の実施の形態においても、第１の実施の形態や第２の実施の形態と同様の効果を得ることができる。また、第３の実施の形態においては、さらに、エッジなどの部分をぼかすことなく処理を行えるという効果も加わる。

［記録媒体について］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、キーボード、マウス、マイクロホンなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１０１１を駆動するドライブ１０１０が接続されている。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の補間フレームの生成について説明する図である。 動きベクトルのばらつきについて説明する図である。 本発明を適用したフレーム補間装置の一実施の形態の構成を示す図である。 補間フレーム作成部の構成例を示す図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成について説明するフローチャートである。 一様な動きベクトルについて説明する図である。 補間フレーム作成部の構成例を示す図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成の仕方について説明する図である。 補間フレームの生成について説明するフローチャートである。 本発明を適用しないで処理したときの補間フレームの画像の一例を示す図である。 本発明を適用して処理したときの補間フレームの画像の一例を示す図である。 補間フレーム作成部の構成例を示す図である。 補間フレームの生成について説明するフローチャートである。 付加情報の生成の仕方について説明するフローチャートである。 ブロックサイズの拡大について説明するための図である。 補間フレーム作成部の構成例を示す図である。 補間フレームの生成について説明するフローチャートである。 記録媒体について説明する図である。

符号の説明

４０ フレーム補間装置， ４１ フレームメモリ， ４２ 動きベクトル検出部， ４３ 補間フレーム作成部， ４４ 信号切替部， ５１ 着目画素設定部， ５２ 画素値読み出し部， ５３ 画素値演算部， ５４ 記憶部， ５５ 平均値演算部， ５６ 動きベクトル設定部， ２０１ 画素位置決定部， ２０２ 動きベクトル設定部， ２０３ 画素値読み出し部， ２０４ 前後画素位置決定部， ２０５ 動きベクトル設定部， ２０６ 画素値演算部， ２０７ 記憶部， ２０８ 平均値演算部， ４０１ 付加情報生成部， ５５１ 付加情報生成部

Claims (5)

1. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置において、
   前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出する第１の算出手段と、
   前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出する第２の算出手段と
   を備え、
   前記第１の算出手段による算出と前記第２の算出手段により算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする
   画像処理装置。
2. 前記第２の算出手段は、前記第２の画素を複数設定し、第２の画素毎に前記第２の動きベクトルを設定し、設定された複数の第２の動きベクトル毎に前記第２の画素値を算出する
   請求項１に記載の画像処理装置。
3. 前記第１の画素を含む範囲であり、前記第１の画像と前記第２の画像のうち、画素値が一致する範囲を検索する検索手段をさらに備え、
   前記第２の算出手段は、前記検索手段により検索された範囲の情報を用いて、前記第２の動きベクトルを設定する
   請求項１に記載の画像処理装置。
4. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置の画像処理方法において、
   前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出し、
   前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出する
   ステップを含み、
   前記算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする
   画像処理方法。
5. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像と第２の画像の間に補間する補間画像を生成する画像処理装置を制御するコンピュータが読み取り可能なプログラムであって、
   前記第１の画像を構成する第１の画素の画素値と、前記第１の画素に設定されている第１の動きベクトルが通る前記第２の画像の画素の画素値とから、前記補間画像を構成する補間画素の画素値を算出し、
   前記第１の画素の近接する第２の画素の画素値と、前記第２の画素を通り、前記第１の動きベクトルと同じ方向の第２の動きベクトルを設定し、その第２の動きベクトルが通る、前記第２の画像の画素値から、前記補間画素の画素値を算出する
   ステップを含み、
   前記算出が、前記第１の画像を構成する全ての画素に対して行われた結果、１つの前記補間画素に、複数の画素値が設定された場合、前記複数の画素値を用いて所定の演算を行い、１つの画素値にし、前記補間画素の画素値とする
   プログラム。

Images