JP4375452B2 - 画像処理装置、画像処理方法、及びプログラム、並びに表示装置 - Google Patents

画像処理装置、画像処理方法、及びプログラム、並びに表示装置 Download PDF

Info

Publication number
JP4375452B2
JP4375452B2 JP2007186563A JP2007186563A JP4375452B2 JP 4375452 B2 JP4375452 B2 JP 4375452B2 JP 2007186563 A JP2007186563 A JP 2007186563A JP 2007186563 A JP2007186563 A JP 2007186563A JP 4375452 B2 JP4375452 B2 JP 4375452B2
Authority
JP
Japan
Prior art keywords
picture
pixel
motion
motion vector
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007186563A
Other languages
English (en)
Other versions
JP2009027300A (ja
Inventor
鉄朗 田中
健史 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007186563A priority Critical patent/JP4375452B2/ja
Priority to US12/218,421 priority patent/US20090021637A1/en
Priority to CN2008101377442A priority patent/CN101350884B/zh
Publication of JP2009027300A publication Critical patent/JP2009027300A/ja
Application granted granted Critical
Publication of JP4375452B2 publication Critical patent/JP4375452B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Description

本発明は、画像処理装置、画像処理方法、及びプログラム、並びに表示装置に関し、特に、例えば、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができるようにする画像処理装置、画像処理方法、及びプログラム、並びに表示装置に関する。
例えば、インターレース走査されるインターレース画像を、ノンインターレース走査されるプログレッシブ画像に変換するIP(Interlace Progressive)変換においては、インターレース画像の各フィールドにおいて、画素値が存在しない画素の補間が行われ、これにより、奇数ライン（奇数番目の水平ライン）、又は偶数ライン（偶数番目の水平ライン）のうちの一方にしか画素値が存在しないフィールドが、奇数ライン、及び偶数ラインの両方に画素値が存在するフレームに変換される。
IP変換における画素の補間の方法としては、フィールド内補間と、フィールド間補間と呼ばれる方法がある。
フィールド内補間、及びフィールド間補間では、インターレース画像のフィールドの、画素値が存在しない画素を、補間の対象の補間対象画素として、その補間対象画素の画素値（の補間値）が、画素値が存在する画素の画素値を用いて求められる。
ここで、本明細書では、垂直同期信号から、次の垂直同期信号まで、つまり、フィールドとフレームを、両方まとめて、ピクチャともいう。
また、以下、適宜、補間対象画素のうちの、注目している補間対象画素を、注目画素といい、注目画素のピクチャ（フィールド、フレーム）を、注目ピクチャという。
フィールド内補間では、注目画素の画素値が、注目ピクチャの画素のうちの、注目画素の近傍の画素の画素値を用いて求められる。
一方、フィールド間補間では、注目画素の画素値が、注目ピクチャの１ピクチャだけ前（時間的に過去）の前ピクチャの画素の画素値、及び、注目ピクチャの１ピクチャだけ後（時間的に未来）の後ピクチャの画素の画素値、並びに、注目画素の動きベクトルを用いて求められる。
すなわち、フィールド間補間では、注目画素の画素値が、前ピクチャの画素のうちの、注目画素の位置から注目画素の動きベクトルの分だけ移動した位置の画素の画素値と、後ピクチャの画素のうちの、注目画素の位置から注目画素の動きベクトルの分だけ移動した位置の画素の画素値とを用いて求められる。
以上のように、フィールド間補間では、注目画素（の画素値）の補間に、注目画素の動きベクトルが用いられる。したがって、注目画素の動きベクトルが、間違った動きを表している場合には、注目画素の画素値として、適切な補間値を求めることができず、その結果、プログレッシブ画像の画質が劣化する。
そこで、注目している注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲のブロックについて検出された動きベクトルとを用い、それらの動きベクトルの一致性に基づいて、注目ブロックについて検出された動きベクトルの信頼性（正確さ）を表す信頼性情報を求め、その信頼性情報に応じて、フィールド内補間で得られる補間値と、フィールド間補間で得られる補間値とを混合し、その混合結果を、注目画素の画素値とするIP変換がある（例えば、特許文献１を参照）。
特公平08-015334号公報
ところで、動きベクトルを検出する方法としては、複数の画素の集まりを用いるブロックマッチングと呼ばれる方法がある。いま、動きベクトルの検出に用いられる複数の画素の集まりをマクロブロック(MB)と呼ぶこととすると、ブロックマッチングでは、あるピクチャのマクロブロックを構成する画素の画素値と、他のピクチャのマクロブロックを構成する画素の画素値との差分（差の絶対値）の総和（以下、動き誤差という）が、マクロブロックを移動しながら求められる。そして、動き誤差が最小になるときの、あるピクチャのマクロブロックと、他のピクチャのマクロブロックとの位置関係が、動きベクトルとして求められる。
ブロックマッチングでは、マクロブロックのサイズが大であるほど（マクロブロックの画素数が多いほど）、信頼性の高い動きベクトルを求めることができる可能性が高い。
しかしながら、マクロブロックのサイズを大にすると、動き誤差を求めるのに必要な計算量が大となり、リアルタイムで処理を行うためには、高速で処理を行うことができるハードウェアが必要となって、装置が高コスト化する。
一方、マクロブロックのサイズを小にすると、動き誤差を求めるのに必要な計算量は小となり、低コスト化を図ることができるが、信頼性の低い動きベクトルが求められる可能性が高くなる。
そして、信頼性が低い可能性が高い動きベクトルの中で、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲のブロックについて検出された動きベクトルとだけを用いて、注目ブロックについて検出された動きベクトルの信頼性情報を求めるのでは、その信頼性情報が、動きベクトルの信頼性を正確に表していないことがある。
本発明は、このような状況に鑑みてなされたものであり、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができるようにするものである。
本発明の第１の側面の画像処理装置、又はプログラムは、画像の動きを表す動き情報を求める画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムであり、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する動き推定手段を備える画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムである。
本発明の第１の側面の画像処理方法は、画像の動きを表す動き情報を求める画像処理装置の画像処理方法であり、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力するステップを含む。
本発明の第２の側面の表示装置は、放送番組としての画像を表示する表示装置であり、前記放送番組としての画像を構成するピクチャにおいて注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する動き推定手段を備える。
本発明の第１及び第２の側面においては、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報が求められる。また、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値が求められるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値が求められる。そして、前記評価値を用いて、前記注目画素の動き情報の信頼性が判定され、その信頼性を表す信頼性情報が出力される。
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送し、又は、記録媒体に記録して、提供することができる。
本発明の第１及び第２の側面によれば、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した表示装置としてのTV（テレビジョン受像機）の一実施の形態の構成例を示すブロック図である。
チューナ１１には、例えば、地上ディジタル放送の放送信号が、アンテナから供給される。
チューナ１１は、そこに供給される放送信号から、所定の周波数帯域の信号となっている、例えば、トランスポートストリームを抽出し、デスクランブラ１２に供給する。
デスクランブラ１２は、チューナ１１からのトランスポートストリームにかかっているスクランブルを解き、デマルチプレクサ１３に供給する。
デマルチプレクサ１３は、デスクランブラ１２からのトランスポートストリームから、所定の放送番組としての画像データや音声データが含まれるTS(Transport Stream)パケットを分離して出力する。
デマルチプレクサ１３が出力する音声データのTSパケットは、図示せぬデコーダでデコードされる。そして、そのデコードの結果得られる音声データは、図示せぬスピーカに供給され、スピーカから、対応する音声が出力される。
また、デマルチプレクサ１３が出力する画像データのTSパケットは、デコーダ１４に供給される。デコーダ１４は、デマルチプレクサ１３からのTSパケットをデコードし、その結果得られるインターレース画像の画像データを、IP変換部１５に供給する。
IP変換部１５は、デコーダ１４からのインターレース画像を対象として、画像処理を行う画像処理装置であり、デコーダ１４からのインターレース画像（の画像データ）を、プログレッシブ画像にIP変換する。IP変換部１５におけるIP変換によって得られたプログレッシブ画像は、表示パネル１６に供給される。
表示パネル１６は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、IP変換部１５からのプログレッシブ画像を表示する。
図２は、図１のIP変換部１５の構成例を示している。
IP変換部１５は、メモリ部２１、動き推定部２２、及びプログレッシブ画像生成部２３から構成される。
メモリ部２１は、デコーダ１４から供給されるインターレース画像をピクチャ（フィールド）単位で一時記憶し、必要に応じて、動き推定部２２、及びプログレッシブ画像生成部２３に供給する。
動き推定部２２は、メモリ部２１に記憶された（インターレース画像の）ピクチャを、順次、注目している注目ピクチャとして、注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて出力する。
さらに、動き推定部２２は、注目ピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求めるとともに、注目ピクチャに隣接する他のピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求める。そして、動き推定部２２は、評価値を用いて、注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する。
動き推定部２２が出力する動き情報、及び信頼性情報は、プログレッシブ画像生成部２３に供給される。
プログレッシブ画像生成部２３は、動き推定部２２からの動き情報、及び信頼性情報を用い、メモリ部２１に記憶されたインターレース画像から、プログレッシブ画像を生成して出力する。
すなわち、プログレッシブ画像生成部２３は、注目ピクチャの他の画素の画素値を用いて、フィールド内補間を行うことによって、フィールド内補間値（第１の補間値）を求めるとともに、注目ピクチャに隣接するピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間を行うことによって、フィールド間補間値（第２の補間値）を求める。
そして、プログレッシブ画像生成部２３は、動き推定部２２からの信頼性情報が、注目画素の動き情報の信頼性がないことを表している場合、フィールド内補間値を、注目画素の画素値として選択する。
一方、プログレッシブ画像生成部２３は、動き推定部２２からの信頼性情報が、注目画素の動き情報の信頼性があることを表している場合、フィールド間補間値を、注目画素の画素値として選択する。
プログレッシブ画像生成部２３は、メモリ部２１に記憶された注目ピクチャにおいて画素値が存在しない画素を補間対象画素とし、その補間対象画素を、順次、注目画素として、注目画素、つまり、補間対象画素の画素値を求める。
そして、プログレッシブ画像生成部２３は、注目ピクチャにおいて画素値がある画素と、画素値を求めた補間対象画素とから、プログレッシブ画像を生成する。
次に、図３は、インターレース画像を示している。
インターレース画像のピクチャには、奇数ライン（の画素値）のみ存在し、偶数ライン（の画素値）が存在しないピクチャと、偶数ラインのみ存在し、奇数ラインが存在しないピクチャとがある。そして、奇数ラインのみ存在するピクチャ（奇数フィールド）と、偶数ラインのみ存在するピクチャ（偶数フィールド）とが交互に並んでいる。
ここで、図３では（後述する図４、図６、図７、及び図１１においても同様）、奇数ラインを実線で表し、偶数ラインを点線で表してある。
さらに、図３では（後述する図４、図６、図７、及び図１１においても同様）、奇数ラインの画素を丸印で表し、偶数ラインの画素を矩形（正方形）で表してある。
なお、奇数ラインの画素を表す丸印のうちの、画素値が存在する画素を表す丸印は実線になっており、画素値が存在しない画素を表す丸印は点線になっている。偶数ラインの画素についても同様に、偶数ラインの画素を表す矩形のうちの、画素値が存在する画素を表す矩形は実線になっており、画素値が存在しない画素を表す矩形は点線になっている。
図３では、第N-1ピクチャ、及び第N+1ピクチャが、偶数ラインのみ存在する偶数フィールドで、第Nピクチャが、奇数ラインのみ存在する奇数フィールドになっている。
ここで、第Nピクチャとは、例えば、ある放送番組としての画像の先頭からN番目のピクチャである。したがって、第N-1ピクチャは、第Nピクチャより１ピクチャ分だけ過去のピクチャ（以下、前ピクチャともいう）であり、第N+1ピクチャは、第Nピクチャより１ピクチャ分だけ未来のピクチャ（以下、後ピクチャともいう）である。
図４は、プログレッシブ画像を示している。
プログレッシブ画像のピクチャには、奇数ライン、及び偶数ラインの両方が存在する。
図２のIP変換部１５では、図３に示したインターレース画像の・・・、第N-1ピクチャ、第Nピクチャ、第N+1ピクチャ、・・・を、図４のプログレッシブ画像の・・・、第N-1ピクチャ、第Nピクチャ、第N+1ピクチャ、・・・に変換するIP変換が行われる。
図５は、図２のIP変換部１５で行われるIP変換の処理（IP変換処理）を説明するフローチャートである。
IP変換部１５では、デコーダ１４（図１）からインターレース画像の新たなピクチャが供給されるのを待って、メモリ部２１が、ステップＳ１１において、デコーダ１４からのインターレース画像のピクチャを一時記憶して、処理は、ステップＳ１２に進む。
ステップＳ１２では、動き推定部２２が、メモリ部２１に記憶された（インターレース画像の）ピクチャのうちの所定のピクチャを、注目ピクチャとして、その注目ピクチャの補間対象画素（画素値が存在しない画素）の動き情報と、その動き情報の信頼性を表す信頼性情報を求める動き推定処理を行う。
そして、動き推定部２２が、動き推定処理によって得られた動き情報、及び信頼性情報を、プログレッシブ画像生成部２３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
ステップＳ１３では、プログレッシブ画像生成部２３は、動き推定部２２からの動き情報、及び信頼性情報に基づき、メモリ部２１に記憶された注目ピクチャのインターレース画像を用いて、注目ピクチャのプログレッシブ画像を生成するプログレッシブ画像生成処理を行い、その結果得られるプログレッシブ画像を、表示パネル１６（図１）に供給する。
その後、処理は、ステップＳ１３からステップＳ１１に戻り、以下、同様の処理が繰り返される。
次に、IP変換部１５で行われるIP変換処理について、さらに説明するが、その前に、ブロックマッチングによる動きベクトルの検出の方法について説明する。
まず、図６を参照して、プログレッシブ画像の動きベクトルの検出の方法について説明する。
なお、ここでは、動きベクトルとしては、例えば、未来方向に向かうベクトル（過去側を始点とし、未来側を終点とするベクトル）を検出することとする。
図６は、プログレッシブ画像の連続する３つの第N-1ピクチャ、第Nピクチャ、及び第N+1ピクチャを示している。
いま、プログレッシブ画像の第Nピクチャを注目ピクチャとし、さらに、その注目ピクチャの、ある画素を注目画素として、注目画素の動きベクトルを検出する場合には、注目ピクチャと、注目ピクチャの１ピクチャだけ後の後ピクチャである第N+1ピクチャとを用いて、動きベクトルが検出される。
すなわち、注目ピクチャである第Nピクチャにおいて、注目画素を中心とする所定のサイズのマクロブロック（以下、適宜、単にブロックという）が設定される。図６では、注目画素を中心とする横×縦が３×３画素のブロックMBNが設定されている。
さらに、注目画素を始点とし、後ピクチャである第N+1ピクチャの画素の位置を終点とする複数のベクトルを、動きベクトルの候補である候補ベクトルとして、複数の候補ベクトルのうちの、１つの候補ベクトルv1が、注目候補ベクトルとして選択される。
そして、第N+1ピクチャにおいて、注目候補ベクトルv1の終点の位置の画素を中心として、ブロックMBNと同一のサイズのブロック、すなわち、横×縦が３×３画素のブロックMBN+1,1が、ブロックMBNに対応する対応ブロックとして設定され、ブロックMBNの各画素の画素値と、対応ブロックMBN+1,1の同一の位置の画素の画素値との、例えば、差分（差の絶対値）の総和等である動き誤差が求められる。
他の候補ベクトルについても、同様にして、動き誤差が求められ、候補ベクトルのすべてについて動き誤差が求められると、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
したがって、例えば、いま、候補ベクトルとして、２つのベクトルv1及びv2があるとすると、第N+1ピクチャにおいて、候補ベクトルv1の終点の位置の画素を中心とする対応ブロックMBN+1,1と、第Nピクチャにおいて、注目画素を中心とするブロックMBNとの、画素値の差分の総和が、候補ベクトルv1についての動き誤差として求められる。
さらに、第N+1ピクチャにおいて、候補ベクトルv2の終点の位置の画素を中心とする対応ブロックMBN+1,2と、第Nピクチャにおいて、注目画素を中心とするブロックMBNとの、画素値の差分の総和が、候補ベクトルv2についての動き誤差として求められる。
そして、候補ベクトルv1についての動き誤差と、候補ベクトルv2についての動き誤差とのうちの、候補ベクトルv1についての動き誤差の方が小さければ、候補ベクトルv1が、注目画素の動きベクトルとして検出される。一方、候補ベクトルv2についての動き誤差の方が小さければ、候補ベクトルv2が、注目画素の動きベクトルとして検出される。
以上のように、プログレッシブ画像の動きベクトルを検出する場合には、注目ピクチャと、その後ピクチャ（又は前ピクチャ）とが必要となる。
次に、図７を参照して、インターレース画像の動きベクトルの検出の方法について説明する。
図７は、インターレース画像の連続する３つの第N-1ピクチャ、第Nピクチャ、及び第N+1ピクチャを示している。
インターレース画像についても、プログレッシブ画像と同様に、複数の候補ベクトルのすべてについて動き誤差が求められ、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
但し、インターレース画像においては、図３で説明したように、奇数ラインのみ存在するピクチャ（奇数フィールド）と、偶数ラインのみ存在するピクチャ（偶数フィールド）とが交互に並んでいる。
このため、注目ピクチャである第Nピクチャと、後ピクチャである第N+1ピクチャとでは、画素値が存在する画素の位置がずれている。
そこで、インターレース画像については、動きベクトルの検出が、プログレッシブ画像のように、注目ピクチャである第Nピクチャと、後ピクチャである第N+1ピクチャとを用いて行われるのではなく、後ピクチャである第N+1ピクチャと、注目ピクチャの１ピクチャだけ前の前ピクチャである第N-1ピクチャとを用いて行われる。
すなわち、注目画素を通り、かつ、前ピクチャである第N-1ピクチャの画素の位置を始点とするとともに、後ピクチャである第N+1ピクチャの画素の位置を終点とする複数のベクトルを、動きベクトルの候補である候補ベクトルとして、複数の候補ベクトルのうちの、１つの候補ベクトルv1が、注目候補ベクトルとして選択される。
そして、第N-1ピクチャにおいて、注目候補ベクトルv1の始点の位置の画素を中心とする、注目画素のブロックMBNと同一のサイズのブロックMBN-1,1と、第N+1ピクチャにおいて、注目候補ベクトルv1の終点の位置の画素を中心とする、注目画素のブロックMBNと同一のサイズのブロックMBN+1,1との２つが、注目画素のブロックMBNに対応する対応ブロックとして設定され、２つの対応ブロックMBN-1,1とMBN+1,1との同一の位置の画素の画素値との差分の総和等が、注目候補ベクトルv1についての動き誤差として求められる。
他の候補ベクトルについても、同様にして、動き誤差が求められ、候補ベクトルのすべてについて動き誤差が求められると、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
したがって、例えば、いま、候補ベクトルとして、注目画素を通る２つのベクトルv1及びv2があるとすると、候補ベクトルv1の始点の位置の画素を中心とする第N-1ピクチャの対応ブロックMBN-1,1と、候補ベクトルv1の終点の位置の画素を中心とする第N+1ピクチャの対応ブロックMBN+1,1との、画素値の差分の総和が、候補ベクトルv1についての動き誤差として求められる。
さらに、候補ベクトルv2の始点の位置の画素を中心とする第N-1ピクチャの対応ブロックMBN-1,2と、候補ベクトルv2の終点の位置の画素を中心とする第N+1ピクチャの対応ブロックMBN+1,2との、画素値の差分の総和が、候補ベクトルv2についての動き誤差として求められる。
そして、候補ベクトルv1についての動き誤差と、候補ベクトルv2についての動き誤差とのうちの、候補ベクトルv1についての動き誤差の方が小さければ、候補ベクトルv1が、注目画素の動きベクトルとして検出される。一方、候補ベクトルv2についての動き誤差の方が小さければ、候補ベクトルv2が、注目画素の動きベクトルとして検出される。
以上のように、インターレース画像の動きベクトルを検出する場合には、注目ピクチャの前ピクチャと、その後ピクチャとが必要となる。
次に、図８は、図２のメモリ部２１の構成例を示している。
図８において、メモリ部２１は、６個のフレーム（フィールド）メモリ３１0，３１1，３１2，３１3，３１4、及び３１5が、シリーズに接続されて構成されている。メモリ３１i(i=0,1,・・・,5)は、少なくとも、１フィールド分の画素値を記憶することができる記憶容量を有する。
メモリ部２１には、デコーダ１４（図１）からインターレース画像のピクチャ（フィールド）が供給される。
デコーダ１４からメモリ部２１に供給されたピクチャは、動き推定部２２、及びプログレッシブ画像生成部２３（図２）に供給されるとともに、フレームメモリ３１0に供給される。
フレームメモリ３１0は、デコーダ１４からメモリ部２１に供給されるピクチャを、次のピクチャ（後ピクチャ）が供給されるまで記憶し、すなわち、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１1に供給するとともに、動き推定部２２、及びプログレッシブ画像生成部２３（図２）に供給する。
フレームメモリ３１1は、フレームメモリ３１0と同様に、前段のフレームメモリ３１0から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１2に供給するとともに、動き推定部２２、及びプログレッシブ画像生成部２３に供給する。
フレームメモリ３１2は、フレームメモリ３１0と同様に、前段のフレームメモリ３１1から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１3に供給するとともに、動き推定部２２に供給する。
フレームメモリ３１3は、フレームメモリ３１0と同様に、前段のフレームメモリ３１2から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１4に供給するとともに、動き推定部２２に供給する。
フレームメモリ３１4は、フレームメモリ３１0と同様に、前段のフレームメモリ３１3から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１5に供給するとともに、動き推定部２２に供給する。
フレームメモリ３１5は、フレームメモリ３１0と同様に、前段のフレームメモリ３１4から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、動き推定部２２に供給する。
したがって、ある時刻tにおいて、デコーダ１４からメモリ部２１に供給されたピクチャが、第N+1ピクチャであるとすると、メモリ部２１では、そのとき、フレームメモリ３１0ないし３１5に、第Nピクチャ、第N-1ピクチャ、第N-2ピクチャ、第N-3ピクチャ、第N-4ピクチャ、及び第N-5ピクチャがそれぞれ記憶されているから、第N+1ピクチャないし第N-5ピクチャの、連続する６ピクチャが出力される。
上述したように、動き推定部２２（図２）には、メモリ部２１が出力する６つの第N+1ピクチャないし第N-5ピクチャのすべてが供給され、プログレッシブ画像生成部２３（図２）には、メモリ部２１が出力する６つの第N+1ピクチャないし第N-5ピクチャのうちの、３つの第N+1ピクチャないし第N-1ピクチャが供給される。
そして、動き推定部２２、及びプログレッシブ画像生成部２３では、フレームメモリ３１0に記憶されたピクチャ、すなわち、フレームメモリ３１0ないし３１5に、第Nピクチャないし第N-5ピクチャがそれぞれ記憶されている場合には、第Nピクチャを、注目ピクチャとして処理が行われる。
次に、図９は、図２の動き推定部２２の第１の構成例を示すブロック図である。
図９において、動き推定部２２は、５個の動きベクトル検出部５１0，５１1，５１2，５１3、及び５１4、５つの評価値演算部５２0，５２1，５２2，５２3、及び５２4、動き情報算出部５３、並びに信頼性判定部５４から構成される。
動きベクトル検出部５１0ないし５１4は、注目ピクチャと、注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出し、評価値演算部５２0ないし５２4に、それぞれ供給する。
すなわち、例えば、いま、メモリ部２１（図８）のフレームメモリ３１0に、第Nピクチャが記憶されているとすると、そのフレームメモリ３１0に記憶されている第Nピクチャを、注目ピクチャとして、動きベクトル検出部５１0ないし５１4は、注目ピクチャである第Nピクチャと、注目ピクチャに隣接する１以上の他のピクチャとしての、フレームメモリ３１1ないし３１4に記憶された第N-1ピクチャないし第N-4ピクチャとの５つの第Nピクチャないし第N-4ピクチャについて、画素の動きベクトルを検出し、評価値演算部５２0ないし５２4に、それぞれ供給する。
具体的には、動きベクトル検出部５１0には、デコーダ１４（図１）からメモリ部２１に供給された最新の第N+1ピクチャと、フレームメモリ３１1（図８）に記憶された第N-1ピクチャとが、メモリ部２１から供給される。
動きベクトル検出部５１0は、注目ピクチャである第Nピクチャの前ピクチャである第N-1ピクチャと、後ピクチャである第N+1ピクチャとを用いて、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給する。
動きベクトル検出部５１1には、フレームメモリ３１0（図８）に記憶された第Nピクチャと、フレームメモリ３１2に記憶された第N-2ピクチャとが、メモリ部２１から供給される。
動きベクトル検出部５１1は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの１ピクチャ前の第N-1ピクチャの前ピクチャである第N-2ピクチャと、後ピクチャである第Nピクチャとを用いて、第N-1ピクチャの補間対象画素の動きベクトルmv1を、図７で説明したようにして検出し、評価値演算部５２1に供給する。
動きベクトル検出部５１2には、フレームメモリ３１1（図８）に記憶された第N-1ピクチャと、フレームメモリ３１3に記憶された第N-3ピクチャとが、メモリ部２１から供給される。
動きベクトル検出部５１2は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの２ピクチャ前の第N-2ピクチャの前ピクチャである第N-3ピクチャと、後ピクチャである第N-1ピクチャとを用いて、第N-2ピクチャの補間対象画素の動きベクトルmv2を、図７で説明したようにして検出し、評価値演算部５２2に供給する。
動きベクトル検出部５１3には、フレームメモリ３１2（図８）に記憶された第N-2ピクチャと、フレームメモリ３１4に記憶された第N-4ピクチャとが、メモリ部２１から供給される。
動きベクトル検出部５１3は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの３ピクチャ前の第N-3ピクチャの前ピクチャである第N-4ピクチャと、後ピクチャである第N-2ピクチャとを用いて、第N-3ピクチャの補間対象画素の動きベクトルmv3を、図７で説明したようにして検出し、評価値演算部５２3に供給する。
動きベクトル検出部５１4には、フレームメモリ３１3（図８）に記憶された第N-3ピクチャと、フレームメモリ３１5に記憶された第N-5ピクチャとが、メモリ部２１から供給される。
動きベクトル検出部５１4は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの４ピクチャ前の第N-4ピクチャの前ピクチャである第N-5ピクチャと、後ピクチャである第N-3ピクチャとを用いて、第N-4ピクチャの補間対象画素の動きベクトルmv4を、図７で説明したようにして検出し、評価値演算部５２4に供給する。
評価値演算部５２k(k=0,1,・・・,4)は、動きベクトル検出部５１kから供給される動きベクトルmvkを用いて、注目ピクチャの注目画素の動き情報を評価するための評価値を求め、信頼性判定部５４に供給する。
動き情報算出部５３は、５個の動きベクトル検出部５１0ないし５１4のうちの、注目ピクチャである第Nピクチャについての動きベクトル検出部５１0から供給される注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて、プログレッシブ画像生成部２３（図２）に供給する。
信頼性判定部５４は、評価値演算部５２0ないし５２4から供給される評価値を用いて、動き情報算出部５３で求められる注目画素の動き情報の信頼性を判定し、その信頼性を表す信頼性情報を、プログレッシブ画像生成部２３（図２）に供給する。
次に、図１０を参照して、図９の動きベクトル検出部５１kの処理についてさらに説明する。
動きベクトル検出部５１kは、注目ピクチャのｋピクチャ前の第N-kピクチャを、動きベクトルの検出の対象のピクチャ（以下、検出対象ピクチャともいう）として、その検出対象ピクチャの補間対象画素の動きベクトルmvkを、前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出する。
すなわち、動きベクトル検出部５１kでは、図７で説明したように、複数の候補ベクトルそれぞれについて、動き誤差が求められ、その動き誤差が最小の候補ベクトルが、動きベクトルとして検出される。
ここで、図１０は、複数の候補ベクトルの例を示している。
動きベクトル検出部５１kでは、例えば、図１０に示す４９個のベクトルv(-3,-3)ないしv(3,3)を候補ベクトルとして、動きベクトルが検出される。
いま、検出対象ピクチャである第N-kピクチャの補間対象画素の中で、動きベクトル検出部５１kが動きベクトルを検出しようとする画素を、検出対象画素ということとする。また、ピクチャの左から右方向にx軸をとり、上から下方向にy軸をとることとする。
この場合、図１０において、候補ベクトルv(x,y)は、検出対象画素を通り、かつ、検出対象ピクチャの後ピクチャである第N-k+1ピクチャの、検出対象画素の位置から(x,y)だけ移動した位置を終点とするとともに、検出対象ピクチャの前ピクチャである第N-k-1ピクチャの、検出対象画素の位置から(-x,-y)だけ移動した位置を終点とするベクトルである。
動きベクトル検出部５１kは、検出対象ピクチャである第N-kピクチャの検出対象画素について、図１０の４９個の候補ベクトルv(x,y)を、順次、注目候補ベクトルとする。
さらに、動きベクトル検出部５１kは、検出対象ピクチャの前ピクチャである第N-k-1ピクチャにおいて、注目候補ベクトルの始点の位置の画素を中心とする、例えば、横×縦が３×３画素の対応ブロックと、検出対象ピクチャの後ピクチャである第N-k+1ピクチャにおいて、注目候補ベクトルの終点の位置の画素を中心とする、横×縦が３×３画素の対応ブロックとを設定し、第N-k-1ピクチャの対応ブロックと、第N-k+1ピクチャの対応ブロックとの同一の位置の画素の画素値との差分の総和を、注目候補ベクトルについての動き誤差として求める。
そして、動きベクトル検出部５１kは、図１０に示した４９個の候補ベクトルv(-3,-3)ないしv(3,3)のうちの、動き誤差が最小の候補ベクトルv(x,y)を、検出対象画素の動きベクトルmvkとして検出する。
なお、候補ベクトルは、図１０に示した４９個のベクトルに限定されるものではない。
また、対応ブロックのサイズも、横×縦が３×３画素のブロックに限定されるものではない。
次に、図１１を参照して、図９の評価値演算部５２kの処理についてさらに説明する。
図１１は、第Nピクチャが注目ピクチャである場合に、図９の動きベクトル検出部５１0ないし５１4で動きベクトルが検出されるインターレース画像の第Nピクチャないし第N-4ピクチャを示している。
評価値演算部５２0は、動きベクトル検出部５１0から供給される注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を用いて、注目ピクチャの注目画素の動き情報を評価するための第０の評価値を求める。
すなわち、評価値演算部５２0は、注目ピクチャの、注目画素p0,0の動きベクトルmv0,0と、注目画素の近傍の複数の画素の動きベクトルとしての、例えば、注目画素p0,0の左隣の画素p0,-1の動きベクトルmv0,-1、注目画素p0,0から２画素分だけ左にある画素p0,-2の動きベクトルmv0,-2、注目画素p0,0の右隣の画素p0,1の動きベクトルmv0,1、及び注目画素p0,0から２画素分だけ右にある画素p0,2の動きベクトルmv0,2との、合計で５個の補間対象画素の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2の、例えば、平均値ave0と分散dis0を、第０の評価値として求める。
ここで、平均値ave0は、式（１）に従って計算される。
ave0=(mv0,0+mv0,-1+mv0,-2+mv0,1+mv0,2)/M
・・・（１）
また、分散dis0は、例えば、式（２）に従って、いわば簡易的に計算される。
dis0=(|mv0,0-ave0|+|mv0,-1-ave0|+|mv0,-2-ave0|+|mv0,1-ave0|+|mv0,2-ave0|)/M
・・・（２）
なお、式（１）及び式（２）において、Mは、正規化のための正規化係数であり、計算に用いられる動きベクトルの数である。したがって、式（１）及び式（２）における正規化係数Mは、5である。
評価値演算部５２1は、動きベクトル検出部５１1から供給される注目ピクチャの１ピクチャだけ前の第N-1ピクチャの補間対象画素の動きベクトルmv1を用いて、注目ピクチャの注目画素の動き情報を評価するための第１の評価値を求める。
すなわち、評価値演算部５２1は、注目ピクチャの１ピクチャだけ前の第N-1ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの、例えば、平均値ave1と分散dis1を、第１の評価値として求める。
ここで、動きベクトル検出部５１kでは、動きベクトルmvkが、ピクチャの補間対象画素についてだけ検出される。また、動きベクトル検出部５１kが動きベクトルmvkの検出の対象とするピクチャ（検出対象ピクチャ）は、インターレース画像である。したがって、注目ピクチャと、注目ピクチャから偶数のピクチャ数だけ離れたピクチャとでは、動きベクトルが検出される画素（補間対象画素）の位置が一致するが、注目ピクチャと、注目ピクチャから奇数のピクチャ数だけ離れたピクチャとでは、動きベクトルが検出される画素の位置が１ラインだけずれる。
このため、注目ピクチャの１ピクチャだけ前の第N-1ピクチャにおいては、注目画素の位置のラインの画素については、動きベクトルが検出されない。また、注目ピクチャの１ピクチャだけ前の第N-1ピクチャにおいては、注目画素の位置の１ラインだけ下のラインや、上のラインの画素については、動きベクトルが検出される。
そこで、評価値演算部５２1は、注目ピクチャの１ピクチャだけ前の第N-1ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、例えば、注目画素p0,0の位置の１ラインだけ下のラインにおける、水平方向の位置が注目画素p0,0と一致する画素pd1,0の動きベクトルmvd1,0、画素pd1,0の左隣の画素pd1,-1の動きベクトルmvd1,-1、画素pd1,0から２画素分だけ左にある画素pd1,-2の動きベクトルmvd1,-2、画素pd1,0の右隣の画素pd1,1の動きベクトルmvd1,1、及び画素pd1,0から２画素分だけ右にある画素pd1,2の動きベクトルmvd1,2と、注目画素p0,0の位置の１ラインだけ上のラインにおける、水平方向の位置が注目画素p0,0と一致する画素pu1,0の動きベクトルmvu1,0、画素pu1,0の左隣の画素pu1,-1の動きベクトルmvu1,-1、画素pu1,0から２画素分だけ左にある画素pu1,-2の動きベクトルmvu1,-2、画素pu1,0の右隣の画素pu1,1の動きベクトルmvu1,1、及び画素pu1,0から２画素分だけ右にある画素pu1,2の動きベクトルmvu1,2との、合計で１０個の補間対象画素の動きベクトルmvd1,0，mvd1,-1，mvd1,-2，mvd1,1，mvd1,2，mvu1,0，mvu1,-1，mvu1,-2，mvu1,1、及びmvu1,2を用い、その平均値ave1と分散dis1を、第１の評価値として求める。
ここで、平均値ave1は、式（１）と同様の式（３）に従って計算される。
ave1=(mvd1,0+mvd1,-1+mvd1,-2+mvd1,1+mvd1,2+mvu1,0+mvu1,-1+mvu1,-2+mvu1,1+mvu1,2)/M
・・・（３）
また、分散dis1は、式（２）と同様の式（４）に従って計算される。
dis1=(|mvd1,0-ave1|+|mvd1,-1-ave1|+|mvd1,-2-ave1|+|mvd1,1-ave1|+|mvd1,2-ave1|
+|mvu1,0-ave1|+|mvu1,-1-ave1|+|mvu1,-2-ave1|+|mvu1,1-ave1|+|mvu1,2-ave1|)/M
・・・（４）
なお、式（３）及び式（４）において、正規化係数Mは、10である。
評価値演算部５２2は、動きベクトル検出部５１2から供給される注目ピクチャの２ピクチャだけ前の第N-2ピクチャの補間対象画素の動きベクトルmv2を用いて、注目ピクチャの注目画素の動き情報を評価するための第２の評価値を求める。
すなわち、評価値演算部５２2は、注目ピクチャの２ピクチャだけ前の第N-2ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave2と分散dis2を、第２の評価値として求める。
ここで、注目ピクチャの２ピクチャだけ前の第N-2ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、注目ピクチャの場合と一致する。
そこで、評価値演算部５２2は、注目ピクチャの２ピクチャだけ前の第N-2ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２0と同様に、第N-2ピクチャにおいて、注目画素の位置を中心として水平方向に並ぶ５画素の動きベクトルを用いて、式（１）及び式（２）と同様の計算を行うことにより、その５画素の動きベクトルの平均値ave2と分散dis2を、第２の評価値として求める。
評価値演算部５２3は、動きベクトル検出部５１3から供給される注目ピクチャの３ピクチャだけ前の第N-3ピクチャの補間対象画素の動きベクトルmv3を用いて、注目ピクチャの注目画素の動き情報を評価するための第３の評価値を求める。
すなわち、評価値演算部５２3は、注目ピクチャの３ピクチャだけ前の第N-3ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave3と分散dis3を、第３の評価値として求める。
ここで、注目ピクチャの３ピクチャだけ前の第N-3ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、第N-1ピクチャと同様に、注目ピクチャと一致しない。
そこで、評価値演算部５２3は、注目ピクチャの３ピクチャだけ前の第N-3ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２1と同様に、第N-3ピクチャにおいて、注目画素の位置の１ラインだけ下のラインにおける、水平方向の位置が注目画素と一致する画素の位置を中心として水平方向に並ぶ５画素の動きベクトルと、注目画素の位置の１ラインだけ上のラインにおける、水平方向の位置が注目画素と一致する画素の位置を中心として水平方向に並ぶ５画素の動きベクトルとの、合計で１０画素の動きベクトルを用いて、式（３）及び式（４）と同様の計算を行うことにより、その１０画素の動きベクトルの平均値ave3と分散dis3を、第３の評価値として求める。
評価値演算部５２4は、動きベクトル検出部５１4から供給される注目ピクチャの４ピクチャだけ前の第N-4ピクチャの補間対象画素の動きベクトルmv4を用いて、注目ピクチャの注目画素の動き情報を評価するための第４の評価値を求める。
すなわち、評価値演算部５２4は、注目ピクチャの４ピクチャだけ前の第N-4ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave4と分散dis4を、第４の評価値として求める。
ここで、注目ピクチャの４ピクチャだけ前の第N-4ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、注目ピクチャと一致する。
そこで、評価値演算部５２4は、注目ピクチャの４ピクチャだけ前の第N-4ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２0と同様に、第N-4ピクチャにおいて、注目画素の位置を中心として水平方向に並ぶ５画素の動きベクトルを用いて、式（１）及び式（２）と同様の計算を行うことにより、その５画素の動きベクトルの平均値ave4と分散dis4を、第４の評価値として求める。
ここで、以下、適宜、注目画素の評価値（第０ないし第４の評価値）を求めるのに用いられる動きベクトルを、評価値演算用動きベクトルという。
なお、評価値演算用動きベクトルとしては、注目画素の位置に対して、空間的や時間的に近い位置の動きベクトルを採用することができ、図１１で説明した動きベクトルに限定されるものではない。
また、上述の場合には、評価値演算部５２kにおいて、評価値演算用動きベクトルの平均値と分散の両方を、評価値として求めるようにしたが、評価値としては、評価値演算用動きベクトルの平均値、又は分散のうちのいずれか一方だけを求めるようにすることができる。
さらに、上述の場合には、評価値演算部５２0において、注目ピクチャの注目画素を含む複数の画素の動きベクトルを、評価値演算用動きベクトルとして用いるようにしたが、注目ピクチャについては、その他、例えば、注目画素の動きベクトルの１つだけを、評価値演算用動きベクトルとすることが可能である。
同様に、注目ピクチャの１ないし４ピクチャだけ前のピクチャについても、注目画素の位置、又は注目画素の位置に近い位置の１画素の動きベクトルだけを、評価値演算用動きベクトルとすることが可能である。
ピクチャの１個の動きベクトルだけを、評価値演算用動きベクトルとする場合には、例えば、その評価値演算用動きベクトルが、そのまま評価値となる。
次に、図１２のフローチャートを参照して、図９の動き推定部２２が行う動き推定処理について説明する。
動き推定処理では、ステップＳ３１において、動きベクトル検出部５１0ないし５１4が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャと、注目ピクチャの１ないし４ピクチャ前の４つのピクチャのそれぞれとの５ピクチャを、検出対象ピクチャとして、その５つの検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャを含む７つのピクチャを用いて検出する。
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャを含む７つの第N+1ピクチャないし第N-5ピクチャが供給される。
動き推定部２２では、動きベクトル検出部５１kが、第N-kピクチャの補間対象画素の動きベクトルmvkを、メモリ部２１から供給される、第N-kピクチャの前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２kに供給する。
なお、動きベクトル検出部５１0ないし５１4のうちの、注目ピクチャである第Nピクチャの動きベクトルmv0を検出する動きベクトル検出部５１0では、注目ピクチャの動きベクトルmv0が、評価値演算部５２0の他、動き情報算出部５３にも供給される。
ステップＳ３１の後、処理は、ステップＳ３２に進み、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
すなわち、動き情報算出部５３は、動きベクトル検出部５１0からの注目ピクチャの動きベクトルmv0のうちの、注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、具体的には、例えば、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、例えば、式（１）の平均値ave0を、注目画素の動き情報として求める。
なお、注目画素の動き情報としては、平均値ave0の他、例えば、平均値ave0と、注目ピクチャの前ピクチャ（第N-1ピクチャ）において、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（３）の１０個の動きベクトルmvd1,0，mvd1,-1，mvd1,-2，mvd1,1，mvd1,2，mvu1,0，mvu1,-1，mvu1,-2，mvu1,1、及びmvu1,2の平均値ave1との平均値(ave0+ave1)/2等を採用することが可能である。
ステップＳ３２の後、処理は、ステップＳ３３に進み、評価値演算部５２0ないし５２4は、５つの検出対象ピクチャの動きベクトルを用いて、第０ないし第４の評価値を求める。
すなわち、評価値演算部５２kは、動きベクトル検出部５１kからの、注目ピクチャのｋピクチャ前のピクチャである検出対象ピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値として求める。
そして、評価値演算部５２kは、第ｋの評価値としての平均値avek及び分散diskを、信頼性判定部５４に供給して、処理は、ステップＳ３３からステップＳ３４に進む。
ステップＳ３４では、信頼性判定部５４が、評価値演算部５２0ないし５２4から供給される第０ないし第４の評価値としての平均値ave0ないしave4及び分散dis0ないしdis4を用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を行い、その信頼性を表す信頼性情報を求める。
ここで、信頼性判定部５４において、信頼性判定は、例えば、以下の制御文（５）に従って行われる。
If{(ABS(ave0-ave1)<=A) && (ABS(ave1-ave2)<=A) && (ABS(ave2-ave3)<=A) && (ABS(ave3-ave4)<=A) && (ABS(dis0-dis1)<=B) && (ABS(dis1-dis2)<=B) && (ABS(dis2-dis3)<=B) && (ABS(dis3-dis4)<=B)}
{Me_valid = 1}
Else
{Me_valid = 0}
・・・（５）
なお、制御文（５）において、ABS()は、括弧内の値の絶対値を表す。また、A及びBは、定数であり、定数Aは、平均値用の閾値で、定数Bは、分散用の閾値である。さらに、&&は、論理積を表し、Me_validは、信頼性情報を表す。
信頼性情報Me_validが1であることは、動き情報の信頼性があること、つまり、動き情報が表す動きが、注目画素の動きを正しく表している可能性が高いことを表す。一方、信頼性情報Me_validが0であることは、動き情報の信頼性がないこと、つまり、動き情報が表す動きが、注目画素の誤った動き表している可能性が高いことを表す。
制御文"If{X}{Y}Else{Z}"は、Xが真であれば、Yをし、Xが偽であれば、Zをすることを意味する。
したがって、制御文（５）による信頼性判定によれば、注目ピクチャを含む連続する５ピクチャにおいて隣接する２つのピクチャのセットすべてに関して、隣接する２つのピクチャについて求められた評価値どうしの差分が所定の閾値以下（又は未満）であるかを判定する評価値判定の判定結果が真である場合に、注目画素の動き情報の信頼性があると判定される。
すなわち、制御文（５）による信頼性判定によれば、注目ピクチャについて求められた第０の評価値としての平均値ave0と、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての平均値ave0との差分（差の絶対値）ABS(ave0-ave1)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第１の評価値判定という）が行われる。
同様に、制御文（５）による信頼性判定によれば、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての平均値ave1と、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての平均値ave2との差分ABS(ave1-ave2)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第２の評価値判定という）、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての平均値ave2と、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての平均値ave3との差分ABS(ave2-ave3)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第３の評価値判定という）、及び、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての平均値ave3と、注目ピクチャの４ピクチャ前のピクチャについて求められた第４の評価値としての平均値ave4との差分ABS(ave3-ave4)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第４の評価値判定という）が行われる。
また、制御文（５）による信頼性判定によれば、注目ピクチャについて求められた第０の評価値としての分散dis0と、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての分散dis0との差分ABS(dis0-dis1)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第１の評価値判定という）が行われる。
同様に、制御文（５）による信頼性判定によれば、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての分散dis1と、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての分散dis2との差分ABS(dis1-dis2)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第２の評価値判定という）、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての分散dis2と、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての分散dis3との差分ABS(dis2-dis3)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第３の評価値判定という）、及び、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての分散dis3と、注目ピクチャの４ピクチャ前のピクチャについて求められた第４の評価値としての分散dis4との差分ABS(dis3-dis4)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第４の評価値判定という）が行われる。
そして、信頼性判定によれば、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。
なお、信頼性判定は、評価値としての平均値ave0ないしave4と、分散dis0ないしdis4との両方ではなく、いずれか一方だけを用いて行うことが可能である。
信頼性判定を、平均値ave0ないしave4だけを用いて行う場合には、平均値についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。そして、この場合、評価値演算部５２0ないし５２4では、評価値として、平均値ave0ないしave4だけを求めれば済む。
また、信頼性判定を、分散dis0ないしdis4だけを用いて行う場合には、分散についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。そして、この場合、評価値演算部５２0ないし５２4では、評価値として、分散dis0ないしdis4だけを求めれば済む。
ステップＳ３４において、信頼性判定部５４が、注目画素の動き情報についての信頼性信頼性判定を行い、信頼性情報を求めると、処理は、ステップＳ３５に進み、動き情報算出部５３（又は、信頼性判定部５４）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
ステップＳ３５において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ３２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
また、ステップＳ３５において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ３６に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５４が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
次に、図１３は、図２のプログレッシブ画像生成部２３の構成例を示すブロック図である。
図１３において、プログレッシブ画像生成部２３は、フィールド間補間部６１、フィールド内補間部６２、選択部６３、及び合成部６４から構成される。
フィールド間補間部６１には、メモリ部２１（図２）から、注目ピクチャの前ピクチャと後ピクチャとが供給される。したがって、注目ピクチャが第Nピクチャである場合には、フィールド間補間部６１には、メモリ部２１から、注目ピクチャの前ピクチャである第N-1ピクチャと、注目ピクチャの後ピクチャである第N+1ピクチャとが供給される。
さらに、フィールド間補間部６１には、動き推定部２２（図２）から、注目画素の動き情報が供給される。
フィールド間補間部６１は、メモリ部２１からの前ピクチャと後ピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間、又は動き補償（Motion Compensation）補間と呼ばれる補間を行うことによって、補間対象画素である注目画素（の画素値）の補間値の候補の１つとしてのフィールド間補間値（第２の補間値）を求めて、選択部６３に供給する。
すなわち、フィールド間補間部６１は、例えば、前ピクチャの画素のうちの、注目画素の動き情報としてのベクトルの始点に位置する画素の画素値と、後ピクチャの画素のうちの、注目画素の動き情報としてのベクトルの終点に位置する画素の画素値との平均値を、フィールド間補間値としてを求め、選択部６３に供給する。
フィールド内補間部６２には、メモリ部２１（図２）から、注目ピクチャが供給される。
フィールド内補間部６２は、メモリ部２１からの注目ピクチャの画素の画素値を用いて、フィールド内補間を行うことによって、補間対象画素である注目画素の補間値の候補の他の１つとしてのフィールド内補間値（第１の補間値）を求めて、選択部６３に供給する。
すなわち、フィールド内補間部６２は、例えば、注目ピクチャの画素のうちの、注目画素の上に隣接する画素の画素値と、下に隣接する画素の画素値との平均値を、フィールド内補間値としてを求め、選択部６３に供給する。
選択部６３には、上述したように、フィールド間補間部６１からフィールド間補間値が供給されるとともに、フィールド内補間部６２からフィールド内補間値が供給される他、動き推定部２２（図２）から注目画素の動き情報の信頼性情報Me_validが供給される。
選択部６３は、注目画素の補間値として、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの一方を、動き推定部２２からの信頼性情報Me_validに従って選択する。
すなわち、選択部６３は、動き推定部２２からの信頼性情報Me_validが、注目画素の動き情報の信頼性がないことを表している場合、つまり、信頼性情報Me_validが0である場合、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの、フィールド内補間部６２からのフィールド内補間値を選択して、注目画素（の画素値）の補間値として、合成部６４に出力する。
また、選択部６３は、動き推定部２２からの信頼性情報Me_validが、注目画素の動き情報の信頼性があることを表している場合、つまり、信頼性情報Me_validが1である場合、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの、フィールド間補間部６１からのフィールド間補間値を選択して、注目画素（の画素値）の補間値として、合成部６４に出力する。
合成部６４には、選択部６３から、注目ピクチャの注目画素の補間値、つまり、補間対象画素の補間値が供給される他、メモリ部２１（図２）から、注目ピクチャが供給される。
合成部６４は、メモリ部２１からの注目ピクチャの画素値と、選択部６３からの注目画素の補間値とを合成し、すなわち、メモリ部２１からの注目ピクチャにおける注目画素の画素値として、選択部６３からの注目画素の補間値を設定し、これにより、注目ピクチャにおいて画素値がある画素と、画素値（補間値）が求められた補間対象画素とからなる、プログレッシブ画像のピクチャを生成し、表示パネル１６（図１）に供給する。
なお、選択部６３では、注目画素の補間値として、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの一方を、信頼性情報Me_validに従って選択する他、フィールド間補間値とフィールド内補間値とを、信頼性情報Me_validに従った重みで重み付け加算し、その重み付け加算の結果を、注目画素の補間値として出力することが可能である。
すなわち、上述の場合には、信頼性判定部５４（図９）において、制御文（５）による信頼性判定によって、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の、合計で８つの評価値判定の判定結果が、すべて真である場合に、値が1の信頼性情報を出力し、８つの評価値判定の判定結果の中に、１つでも偽がある場合には、値が0の信頼性情報を出力するようにしたが、その他、信頼性判定部５４では、８つの評価値判定の判定結果の真の数が多いほど、値が1に近くなる信頼性情報Me_valid（８つの評価値判定の判定結果の偽の数が多いほど、値が0に近くなる信頼性情報Me_valid）を出力することが可能である。
この場合、選択部６３では、フィールド間補間値Pと、フィールド内補間値Qとを、例えば、式Me_valid×P＋（１−Me_valid）×Qに従って重み付け加算し、その重み付け加算の結果を、注目画素の補間値として出力することが可能である。
次に、図１４のフローチャートを参照して、図１３のプログレッシブ画像生成部２３で行われるプログレッシブ画像生成処理について説明する。
プログレッシブ画像生成部２３では、メモリ部２１（図２）から、フィールド間補間部６１に対して、注目ピクチャの前ピクチャと後ピクチャとが供給される。また、メモリ部２１から、フィールド内補間部６２と合成部６４に対して、注目ピクチャが供給される。
ステップＳ５１において、フィールド間補間部６１は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択する。さらに、ステップＳ５１では、フィールド間補間部６１は、動き推定部２２（図２）から、フィールド間補間部６１に対して、注目画素の動き情報が供給されるとともに、動き推定部２２から、選択部６３に対して、注目画素の動き情報の信頼性情報が供給されるのを待って、メモリ部２１からの前ピクチャと後ピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間を行うことによって、注目画素のフィールド間補間値を求める。
そして、フィールド間補間部６１は、注目画素のフィールド間補間値を、選択部６３に供給して、処理は、ステップＳ５１からステップＳ５２に進む。
ステップＳ５２では、フィールド内補間部６２は、メモリ部２１からの注目ピクチャの画素の画素値を用いて、フィールド内補間を行うことによって、注目画素のフィールド内補間値を求め、選択部６３に供給して、処理は、ステップＳ５２からステップＳ５３に進む。
ステップＳ５３では、選択部６３は、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とを用い、動き推定部２２からの信頼性情報Me_validに基づいて、注目画素の補間値を求め、合成部６４に供給して、処理は、ステップＳ５４に進む。
すなわち、選択部６３は、例えば、フィールド間補間値、又はフィールド内補間値のうちの一方を、信頼性情報Me_validに従って選択し、その選択した方を、注目画素の補間値として、合成部６４に供給する。
ステップＳ５４では、フィールド間補間部６１が、注目ピクチャの補間対象画素すべてについて、補間値を求めたかどうかを判定する。
ステップＳ５４において、注目ピクチャの補間対象画素すべてについて、まだ、補間値を求めていないと判定された場合、処理は、ステップＳ５１に戻り、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つが、新たに注目画素に選択され、以下、同様の処理が繰り返される。
また、ステップＳ５４において、注目ピクチャの補間対象画素すべてについて、補間値が求められたと判定された場合、処理は、ステップＳ５５に進み、合成部６４は、メモリ部２１からの注目ピクチャの画素値が存在する画素と、選択部６３からの補間値を画素値とする画素とを合成することにより、プログレッシブ画像のピクチャを生成し、表示パネル１６（図１）に供給して、プログレッシブ画像生成処理は終了する。
以上のように、動き推定部２２において、注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて出力する一方、注目ピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求めるとともに、注目ピクチャに隣接する他のピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求め、評価値を用いて、注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力するので、動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができる。
すなわち、注目ピクチャが第Nピクチャであるとすると、図９の動き推定部２２では、動きベクトル検出部５１0ないし５１4において、注目ピクチャである第Nピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとの、合計で５個の第Nピクチャないし第N-4ピクチャについて、画素の動きベクトルmv0ないしmv4が検出される。
さらに、動き情報算出部５３において、注目ピクチャについての動きベクトル検出部５１0において検出された注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、すなわち、式（１）の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、注目画素の動き情報が求められる。
また、評価値演算部５２0ないし５２4において、第Nピクチャないし第N-4ピクチャの動きベクトルmv0ないしmv4を用いて、注目画素の動き情報を評価するための評価値としての平均値ave0ないしave4、及び分散dis0ないしdis4が求められる。
そして、信頼性判定部５４において、第Nピクチャないし第N-4ピクチャについて求められた評価値としての平均値ave0ないしave4、及び分散dis0ないしdis4を用いて、注目画素の動き情報の信頼性が判定され、その信頼性を表す信頼性情報が求められる。
したがって、信頼性情報が、注目ピクチャである第Nピクチャだけでなく、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャをも用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いても、動き情報の信頼性を正確に表す信頼性情報を求めることができる。すなわち、正確な信頼性情報を、低コストで求めることができる。
次に、図１５は、メモリ部２１（図８）が、時刻t，t+1、及びt+2のそれぞれにおいて、動き推定部２２（図９）に供給するピクチャを示している。
いま、時刻tにおいて、メモリ部２１が、第Nピクチャを注目ピクチャとして、第N+1ピクチャないし第N-5ピクチャを、動き推定部２２に供給することとする。
この場合、動き推定部２２（図６）では、５個の動きベクトル検出部５１0ないし５１4において、メモリ部２１からの第N+1ピクチャないし第N-5ピクチャを用いて、第Nないし第N+4の動きベクトルmv0ないしmv4が検出され、評価値演算部５２0ないし５２4に供給される。
いま、注目ピクチャである第Nピクチャの補間対象画素のうちの、左上から右方向にx番目で、下方向にy番目の画素p(x,y)が注目画素であるとすると、評価値演算部５２kは、動きベクトル検出部５１kからの動きベクトルmvkのうちの、注目画素p(x,y)についての評価値演算用動きベクトルを用いて、第ｋの評価値としての平均値avek及び分散diskを求める。
ここで、時刻tにおいて、注目ピクチャのｋピクチャ前のピクチャから検出された動きベクトルのうちの評価値演算用動きベクトルを用いて求められる第ｋの評価値を、Ek,tと表すこととすると、時刻tでは、評価値演算部５２0において、注目ピクチャである第Nピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,tが求められる。
同様に、時刻tでは、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,tが求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,tが求められる。さらに、時刻tでは、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-3ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,tが求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-4ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,tが求められる。
その後、時刻tから１ピクチャ分の時間が経過した時刻t+1では、第N+1フレームが注目ピクチャとなり、評価値演算部５２0において、注目ピクチャである第N+1ピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,t+1が求められる。
同様に、時刻t+1では、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第Nピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,t+1が求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,t+1が求められる。さらに、時刻t+1では、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,t+1が求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-3ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,t+1が求められる。
ここで、第Nピクチャと、第N+1ピクチャとでは、補間対象画素の位置が一致していないため、第Nピクチャの画素p(x,y)を、注目画素として、評価値が求められた場合には、第N+1ピクチャの画素p(x,y)を、注目画素として、評価値は求められない。
その後、時刻t+1から１ピクチャ分の時間が経過した時刻t+2では、第N+2フレームが注目ピクチャとなり、評価値演算部５２0において、注目ピクチャである第N+2ピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,t+2が求められる。
同様に、時刻t+2では、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第N+1ピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,t+2が求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第Nピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,t+2が求められる。さらに、時刻t+2では、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,t+2が求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,t+2が求められる。
ここで、第Nピクチャと、第N+2ピクチャとでは、補間対象画素の位置が一致する。したがって、第Nピクチャの画素p(x,y)を、注目画素として、評価値が求められた場合には、第N+2ピクチャについても、画素p(x,y)を、注目画素として、評価値が求められる。
そして、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、その第Nピクチャから求められる評価値E0,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの２ピクチャ前の第Nピクチャから求められる評価値E2,t+2とは一致する。
同様に、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、注目ピクチャの１ピクチャ前の第N-1ピクチャから求められる評価値E1,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの３ピクチャ前の第N-1ピクチャから求められる評価値E3,t+2とは一致する。さらに、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、注目ピクチャの２ピクチャ前の第N-2ピクチャから求められる評価値E2,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの４ピクチャ前の第N-2ピクチャから求められる評価値E4,t+2とは一致する。
一方、制御文（５）による信頼性判定としては、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の、合計で８つの評価値判定が行われる。そして、その８つの評価値判定の判定結果が、すべて真である場合に、信頼性情報は、動き情報の信頼性が高いことを表す値である1とされる。また、８つの評価値判定の判定結果の中に、１つでも偽がある場合には、信頼性情報は、動き情報の信頼性が低いことを表す値である0とされる。
時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第１の評価値判定（以下、適宜、単に、第１の評価値判定という）は、評価値E0,tとE1,tとを用いて行われる。
さらに、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第２の評価値判定（以下、適宜、単に、第２の評価値判定という）は、評価値E1,tとE2,tとを用いて行われる。
また、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第３の評価値判定（以下、適宜、単に、第３の評価値判定という）は、評価値E2,tとE3,tとを用いて行われる。
さらに、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第４の評価値判定（以下、適宜、単に、第４の評価値判定という）は、評価値E3,tとE4,tとを用いて行われる。
一方、時刻t+2において、画素p(x,y)を注目画素として行われる第１の評価値判定は、評価値E0,t+2とE1,t+2とを用いて行われる。
さらに、時刻t+2において、画素p(x,y)を注目画素として行われる第２の評価値判定は、評価値E1,t+2とE2,t+2とを用いて行われる。
また、時刻t+2において、画素p(x,y)を注目画素として行われる第３の評価値判定は、評価値E2,t+2とE3,t+2とを用いて行われる。
さらに、時刻t+2において、画素p(x,y)を注目画素として行われる第４の評価値判定は、評価値E3,t+2とE4,t+2とを用いて行われる。
上述したように、時刻tの評価値E0,tと、時刻t+2の評価値E2,t+2とは一致する。さらに、時刻tの評価値E1,tと、時刻t+2の評価値E3,t+2とは一致し、時刻tの評価値E2,tと、時刻t+2の評価値E4,t+2とは一致する。
したがって、時刻tにおいて、評価値E0,tとE1,tとを用いて行われる第１の評価値判定と、時刻t+2において、評価値E2,t+2とE3,t+2とを用いて行われる第３の評価値判定とについては、それらの判定結果は一致する。
また、時刻tにおいて、評価値E1,tとE2,tとを用いて行われる第２の評価値判定と、時刻t+2において、評価値E3,t+2とE4,t+2とを用いて行われる第４の評価値判定とについては、それらの判定結果は一致する。
したがって、時刻t+2における信頼性判定は、第１及び第２の評価値判定に用いられる第０ないし第２の評価値E0,t+2，E1,t+2、及びE2,t+2と、過去の信頼性判定の途中結果である判定途中結果、すなわち、時刻t+2の２ピクチャ分だけ前の時刻tの第１及び第２の評価値判定の判定結果とを用いて行うことができる。
過去の信頼性判定の判定途中結果を用いた信頼性判定は、制御文（５）に代えて、制御文（６）に従って行うことができる。
If{(ABS(ave0-ave1)<=A) && (ABS(ave1-ave2)<=A) && (ABS(dis0-dis1)<=B) && (ABS(dis1-dis2)<=B) && (valid_d==1)}
{Me_valid = 1}
Else
{Me_valid = 0}
・・・（６）
なお、式（６）において、valid_dは、２ピクチャ分だけ前の時刻における信頼性判定の判定途中結果を表す。判定途中結果valid_dは、２ピクチャ分だけ前の時刻における信頼性判定において、平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真である場合に、その旨を表す値である1（真）とされる。
また、判定途中結果valid_dは、２ピクチャ分だけ前の時刻における信頼性判定において、平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果の中に、１つでも偽がある場合には、その旨を表す値である0（偽）とされる。
制御文（６）に従った信頼性判定は、過去の信頼性判定の判定途中結果valid_dを用いることで、第３の評価値としての平均値ave3と分散dis3、及び第４の評価値としての平均値ave4と分散dis4を用いずに行うことができる。
したがって、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、求める必要がない。
次に、図１６は、上述のように、過去の信頼性判定の判定途中結果を用いた信頼性判定を行う図２の動き推定部２２の構成例（動き推定部２２の第２の構成例）を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
すなわち、図１６の動き推定部２２は、動き情報算出部５３が設けられている点で、図９の場合と共通する。
一方、図１６の動き推定部２２は、５個の動きベクトル検出部５１0ないし５１4に代えて、３個の動きベクトル検出部５１0ないし５１2が設けられている点、５個の評価値演算部５２0ないし５２4に代えて、３個の評価値演算部５２0ないし５２2が設けられている点、及び、信頼性判定部５４に代えて、信頼性判定部５７が設けられている点で、図９の場合と相違する。
さらに、図１６の動き推定部２２は、判定途中結果記憶部５６が新たに設けられている点で、図９の場合と相違する。
判定途中結果記憶部５６は、信頼性判定部５７から供給される、信頼性判定の途中結果である判定途中結果を記憶する。
信頼性判定部５７は、３つの評価値演算部５２0ないし５２2で求められた評価値と、判定途中結果記憶部５６に記憶された過去の信頼性判定の判定途中結果とを用いて、注目画素の動き情報についての信頼性判定を行い、その信頼性判定によって得られる、注目画素の動き情報の信頼性情報を、プログレッシブ画像生成部２３（図２）に供給する。
すなわち、図１６の動き推定部２２には、図９の５個の動きベクトル検出部５１0ないし５１4に代えて、３個の動きベクトル検出部５１0ないし５１2しか設けられていない。さらに、図１６の動き推定部２２には、図９の５個の評価値演算部５２0ないし５２4に代えて、３個の評価値演算部５２0ないし５２2が設けられていない。
このため、図１６の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、３個の動きベクトル検出部５１0ないし５１2において、第Nピクチャないし第N-2ピクチャの動きベクトルが、第N+1ピクチャないし第N-3ピクチャを用いて求められる。
そして、３つの評価値演算部５２0ないし５２2において、第０ないし第２の評価値が、第Nピクチャないし第N-2ピクチャの動きベクトルを用いて、それぞれ求められ、信頼性判定部５７に供給される。
信頼性判定部５７は、以上のようにして、３つの評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値の他、判定途中結果記憶部５６に記憶された２ピクチャ分だけ前の時刻に行われた信頼性判定の判定途中結果である第１及び第２の評価値判定の判定結果を用いて、上述の制御文（６）に従い、注目画素の動き情報についての信頼性判定を行う。
また、信頼性判定部５７は、信頼性判定の判定途中結果、すなわち、第０ないし第２の評価値を用いて行われる第１及び第２の評価値判定の判定結果を、判定途中結果記憶部５６に供給して記憶させる。この、判定途中結果記憶部５６に記憶された判定途中結果は、２ピクチャ分だけ後の時刻において、信頼性判定に用いられる。
次に、図１７のフローチャートを参照して、図１６の動き推定部２２が行う動き推定処理について説明する。
動き推定処理では、ステップＳ６１において、動きベクトル検出部５１0ないし５１2が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャと、注目ピクチャの１ないし２ピクチャ前の２つのピクチャのそれぞれとの３ピクチャを、検出対象ピクチャとして、その３つの検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャを含む５つのピクチャを用いて検出する。
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャを含む５つの第N+1ピクチャないし第N-3ピクチャが供給される。
動き推定部２２では、動きベクトル検出部５１kが、第N-kピクチャの補間対象画素の動きベクトルmvk(k=0,1,2)を、メモリ部２１から供給される、第N-kピクチャの前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２kに供給する。
なお、動きベクトル検出部５１0ないし５１2のうちの、注目ピクチャである第Nピクチャの動きベクトルmv0を検出する動きベクトル検出部５１0では、注目ピクチャの動きベクトルmv0が、評価値演算部５２0の他、動き情報算出部５３にも供給される。
ステップＳ６１の後、処理は、ステップＳ６２に進み、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
ステップＳ６２の後、処理は、ステップＳ６３に進み、評価値演算部５２0ないし５２2は、３つの検出対象ピクチャの動きベクトルを用いて、３つの第０ないし第２の評価値を求める。
すなわち、評価値演算部５２kは、動きベクトル検出部５１kからの、注目ピクチャのｋピクチャ前のピクチャである検出対象ピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値mvk(k=0,1,2)として求める。
そして、評価値演算部５２kは、第ｋの評価値としての平均値avek及び分散diskを、信頼性判定部５７に供給して、処理は、ステップＳ６３からステップＳ６４に進む。
ステップＳ６４では、信頼性判定部５７が、判定途中結果記憶部５６から、２ピクチャ分だけ前の時刻での信頼性判定の判定途中結果valid_dを読み出し、処理は、ステップＳ６５に進む。
ステップＳ６５では、信頼性判定部５７が、評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値としての平均値ave0ないしave2及び分散dis0ないしdis2と、直前のステップＳ６４で判定途中結果記憶部５６から読み出した判定途中結果valid_dとを用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、上述の制御文（６）に従って行い、その信頼性を表す信頼性情報を求める。
ステップＳ６５で信頼性情報が求められると、処理は、ステップＳ６６に進み、信頼性判定部５７は、直前のステップＳ６５で行った信頼性判定の途中で得られる判定途中結果、すなわち、制御文（６）における平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真であるかどうかを表す判定途中結果を、判定途中結果記憶部５６に供給して記憶させ、処理は、ステップＳ６７に進む。
ステップＳ６７では、動き情報算出部５３（又は、信頼性判定部５７）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
ステップＳ６７において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ６２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
また、ステップＳ６７において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ６８に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５７が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
以上のように、図１６の動き推定部２２でも、図９の場合と同様に、信頼性情報が、実質的に、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
さらに、図１６の動き推定部２２では、信頼性判定の判定途中結果を記憶しておき、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、IP変換部１５（図２）（ひいては、図１のTV）の小型化を図ることができる。
すなわち、図１６の動き推定部２２では、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、求める必要がない。
言い換えれば、図１６の動き推定部２２では、第０ないし第２の評価値、ひいては、注目ピクチャの動きベクトルと、注目ピクチャから１ピクチャ前のピクチャ、及び２ピクチャ前のピクチャの動きベクトルを求めれば済む。
したがって、メモリ部２１から動き推定部２２に対しては、注目ピクチャが第Nピクチャである場合には、注目ピクチャを含む５つの第N+1ピクチャないし第N-3ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャないし第N-3ピクチャを記憶する４つのフレームメモリ３１0ないし３１3で構成することができる。
その結果、図１６の動き推定部２２によれば、メモリ部２１を、６つのフレームメモリ３１0ないし３１5で構成しなければならない図９の動き推定部２２に比較して、IP変換部１５（図５）の小型化を図ることができる。
次に、図１８は、図２の動き推定部２２の第３の構成例を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
すなわち、図１８の動き推定部２２は、評価値演算部５２0ないし５２4、動き情報算出部５３、及び信頼性判定部５４が設けられている点で、図９の場合と共通する。
一方、図１８の動き推定部２２は、５個の動きベクトル検出部５１0ないし５１4に代えて、１個の動きベクトル検出部５１0、及び４個の動きベクトル記憶部５８1ないし５８4が設けられている点で、図９の場合と相違する。
動きベクトル記憶部５８1ないし５８4は、過去に注目ピクチャであったピクチャについて、動きベクトル検出部５１0が検出した動きベクトルを記憶する。
すなわち、動きベクトル記憶部５８1には、動きベクトル検出部５１0から、注目ピクチャの動きベクトルが供給される。動きベクトル記憶部５８1は、動きベクトル検出部５１0から供給される注目ピクチャの動きベクトルを、次の注目ピクチャの動きベクトルが動きベクトル検出部５１0から供給されるまで記憶し、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
したがって、動きベクトル記憶部５８1は、動きベクトル検出部５１0から注目ピクチャの動きベクトルmv0が供給されるとき、その注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1を記憶しており、その動きベクトルmv1を、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
動きベクトル記憶部５８2は、動きベクトル記憶部５８1から供給される注目ピクチャの１ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８1から供給されるまで記憶し、評価値演算部５２2と動きベクトル記憶部５８3に供給する。
したがって、動きベクトル記憶部５８2は、動きベクトル記憶部５８1から注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv2を記憶しており、その動きベクトルmv2を、評価値演算部５２2と動きベクトル記憶部５８3に供給する。
動きベクトル記憶部５８3は、動きベクトル記憶部５８2から供給される注目ピクチャの２ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８2から供給されるまで記憶し、評価値演算部５２3と動きベクトル記憶部５８4に供給する。
したがって、動きベクトル記憶部５８3は、動きベクトル記憶部５８2から注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv3を記憶しており、その動きベクトルmv3を、評価値演算部５２3と動きベクトル記憶部５８4に供給する。
動きベクトル記憶部５８4は、動きベクトル記憶部５８3から供給される注目ピクチャの３ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８3から供給されるまで記憶し、評価値演算部５２4に供給する。
したがって、動きベクトル記憶部５８4は、動きベクトル記憶部５８3から注目ピクチャの３ピクチャ前のピクチャの動きベクトルmv3が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv4を記憶しており、その動きベクトルmv4を、評価値演算部５２4に供給する。
以上から、図１８の動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャの動きベクトルmv0を検出して、評価値演算部５２0に供給するとき、動きベクトル記憶部５８k(k=1,2,3,4)は、注目ピクチャのkピクチャ前のピクチャの動きベクトルmvkを記憶しており、その動きベクトルmvkを、評価値演算部５２kに供給する。
そして、図１８の動き推定部２２には、１個の動きベクトル検出部５１0しか設けられていない。このため、図１８の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、１個の動きベクトル検出部５１0において、第Nピクチャの動きベクトルが、第N+1ピクチャ及び第N-1ピクチャを用いて求められる。
したがって、メモリ部２１から動き推定部２２に対しては、注目ピクチャが第Nピクチャである場合には、その第Nピクチャの動きベクトルを求めるのに必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給するだけで済む。
次に、図１９のフローチャートを参照して、図１８の動き推定部２２が行う動き推定処理について説明する。
動き推定処理では、ステップＳ７１において、動きベクトル検出部５１0が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャを、検出対象ピクチャとして、その検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャの前ピクチャと後ピクチャの２つのピクチャを用いて検出する。
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとが供給される。
動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、メモリ部２１から供給される、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
ステップＳ７２の後、処理は、ステップＳ７３に進み、評価値演算部５２0が、動きベクトル検出部５１0からの、注目ピクチャの動きベクトルmv0のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave0と分散dis0とを、第０の評価値として求め、信頼性判定部５４に供給する。
さらに、ステップＳ７３では、評価値演算部５２k(k=1,2,3,4)が、動きベクトル記憶部５８kに記憶された、注目ピクチャのｋピクチャ前のピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値として求め、信頼性判定部５４に供給して、処理は、ステップＳ７３からステップＳ７４に進む。
ステップＳ７４では、信頼性判定部５４が、評価値演算部５２0ないし５２4から供給される第０ないし第４の評価値としての平均値ave0ないしave4及び分散dis0ないしdis4を用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、制御文（５）に従って行い、その信頼性を表す信頼性情報を求めて、処理は、ステップＳ７５に進む。
ステップＳ７５では、動きベクトル記憶部５８1ないし５８4が、注目ピクチャと、注目ピクチャの１ないし３ピクチャ前のピクチャそれぞれとの、合計で４ピクチャの動きベクトルを、注目ピクチャの後のピクチャの１ないし４ピクチャ前のピクチャの動きベクトルとして記憶する。
すなわち、動きベクトル記憶部５８1は、動きベクトル検出部５１0で検出されて供給される注目ピクチャの動きベクトルを記憶する。動きベクトル記憶部５８1に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1として使用される。
また、動きベクトル記憶部５８2は、動きベクトル記憶部５８1に記憶されていた注目ピクチャの１ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８2に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2として使用される。
さらに、動きベクトル記憶部５８3は、動きベクトル記憶部５８2に記憶されていた注目ピクチャの２ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８3に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの３ピクチャ前のピクチャの動きベクトルmv3として使用される。
また、動きベクトル記憶部５８4は、動きベクトル記憶部５８3に記憶されていた注目ピクチャの３ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８4に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの４ピクチャ前のピクチャの動きベクトルmv4として使用される。
ステップＳ７５の後、処理は、ステップＳ７６に進み、動き情報算出部５３（又は、信頼性判定部５４）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
ステップＳ７６において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ７２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
また、ステップＳ７６において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ７７に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５４が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
以上のように、図１８の動き推定部２２でも、図９の場合と同様に、信頼性情報が、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
さらに、図１８の動き推定部２２では、動きベクトル記憶部５８1ないし５８4において、過去に注目ピクチャであったピクチャ、つまり、いま注目ピクチャとなっているピクチャの１ないし４ピクチャ前のピクチャについて、動きベクトル検出部５１0で検出された動きベクトルを記憶するので、IP変換部１５（図２）（ひいては、図１のTV）の小型化を図ることができる。
すなわち、図１８の動き推定部２２では、いま注目ピクチャとなっているピクチャの１ないし４ピクチャ前のピクチャについては、注目ピクチャとなったときに検出された動きベクトルを記憶しているので、再度検出する必要がなく、動きベクトルは、いま注目ピクチャとなっているピクチャについてだけ検出すれば済む。
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、第Nピクチャの動きベクトルの検出に必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャと第N-1ピクチャを記憶する２つのフレームメモリ３１0と３１1で構成することができる。
その結果、図１８の動き推定部２２によれば、メモリ部２１を、６つのフレームメモリ３１0ないし３１5で構成しなければならない図９の動き推定部２２や、メモリ部２１を、４つのフレームメモリ３１0ないし３１3で構成しなければならない図１６の動き推定部２２に比較して、IP変換部１５（図５）の小型化を図ることができる。
次に、図２０は、図２の動き推定部２２の第４の構成例を示すブロック図である。
なお、図中、図９、図１６、又は図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
すなわち、図２０の動き推定部２２は、３個の評価値演算部５２0ないし５２2、動き情報算出部５３、判定途中結果記憶部５６、及び信頼性判定部５７が設けられている点で、図１６の場合と共通する。
一方、図２０の動き推定部２２は、３個の動きベクトル検出部５１0ないし５１2に代えて、１個の動きベクトル検出部５１0と、図１８の２個の動きベクトル記憶部５８1及び５８2とが設けられている点で、図１６の場合と相違する。
図１８で説明したように、動きベクトル記憶部５８1と５８2は、過去に注目ピクチャであったピクチャについて、動きベクトル検出部５１0が検出した動きベクトルを記憶する。
すなわち、動きベクトル記憶部５８1には、動きベクトル検出部５１0から、注目ピクチャの動きベクトルが供給される。動きベクトル記憶部５８1は、動きベクトル検出部５１0から供給される注目ピクチャの動きベクトルを、次の注目ピクチャの動きベクトルが動きベクトル検出部５１0から供給されるまで記憶し、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
したがって、動きベクトル記憶部５８1は、動きベクトル検出部５１0から注目ピクチャの動きベクトルmv0が供給されるとき、その注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1を記憶しており、その動きベクトルmv1を、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
動きベクトル記憶部５８2は、動きベクトル記憶部５８1から供給される注目ピクチャの１ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８1から供給されるまで記憶し、評価値演算部５２2に供給する。
したがって、動きベクトル記憶部５８2は、動きベクトル記憶部５８1から注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv2を記憶しており、その動きベクトルmv2を、評価値演算部５２2に供給する。
以上から、図２０の動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャの動きベクトルmv0を検出して、評価値演算部５２0に供給するとき、動きベクトル記憶部５８k(k=1,2)は、注目ピクチャのkピクチャ前のピクチャの動きベクトルmvkを記憶しており、その動きベクトルmvkを、評価値演算部５２kに供給する。
そして、図２０の動き推定部２２には、１個の動きベクトル検出部５１0しか設けられていない。このため、図２０の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、１個の動きベクトル検出部５１0において、第Nピクチャの動きベクトルが、第N+1ピクチャ及び第N-1ピクチャを用いて求められる。
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、図１８の場合と同様に、第Nピクチャの動きベクトルを求めるのに必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給するだけで済む。
次に、図２１のフローチャートを参照して、図２０の動き推定部２２が行う動き推定処理について説明する。
動き推定処理では、ステップＳ８１において、動きベクトル検出部５１0が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャを、検出対象ピクチャとして、その検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャの前ピクチャと後ピクチャの２つのピクチャを用いて検出する。
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとが供給される。
動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、メモリ部２１から供給される、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給して、処理は、ステップＳ８２に進む。
ステップＳ８２では、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
ステップＳ８２の後、処理は、ステップＳ８３に進み、評価値演算部５２0が、動きベクトル検出部５１0からの、注目ピクチャの動きベクトルmv0のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave0と分散dis0とを、第０の評価値として求め、信頼性判定部５７に供給する。
さらに、ステップＳ８３では、評価値演算部５２1が、動きベクトル記憶部５８1に記憶された、注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave1と分散dis1とを、第１の評価値として求め、信頼性判定部５７に供給する。
また、ステップＳ８３では、評価値演算部５２2が、動きベクトル記憶部５８2に記憶された、注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave2と分散dis2とを、第２の評価値として求め、信頼性判定部５７に供給して、処理は、ステップＳ８３からステップＳ８４に進む。
ステップＳ８４では、信頼性判定部５７が、判定途中結果記憶部５６から、２ピクチャ分だけ前の時刻での信頼性判定の判定途中結果valid_dを読み出し、処理は、ステップＳ８５に進む。
ステップＳ８５では、信頼性判定部５７が、評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値としての平均値ave0ないしave2及び分散dis0ないしdis2と、直前のステップＳ８４で判定途中結果記憶部５６から読み出した判定途中結果valid_dとを用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、上述の制御文（６）に従って行い、その信頼性を表す信頼性情報を求める。
ステップＳ８５で信頼性情報が求められると、処理は、ステップＳ８６に進み、信頼性判定部５７は、直前のステップＳ８５で行った信頼性判定の途中で得られる判定途中結果、すなわち、制御文（６）における平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真であるかどうかを表す判定途中結果を、判定途中結果記憶部５６に供給して記憶させ、処理は、ステップＳ８７に進む。
ステップＳ８７では、動きベクトル記憶部５８1と５８2が、注目ピクチャと、注目ピクチャの１ピクチャ前のピクチャとの、合計で２ピクチャの動きベクトルを、注目ピクチャの後のピクチャの１と２ピクチャ前のピクチャの動きベクトルとして記憶する。
すなわち、動きベクトル記憶部５８1は、動きベクトル検出部５１0で検出されて供給される注目ピクチャの動きベクトルを記憶する。動きベクトル記憶部５８1に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1として使用される。
また、動きベクトル記憶部５８2は、動きベクトル記憶部５８1に記憶されていた注目ピクチャの１ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８2に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2として使用される。
ステップＳ８７の後、処理は、ステップＳ８８に進み、動き情報算出部５３（又は、信頼性判定部５７）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
ステップＳ８８において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ８２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
また、ステップＳ８８において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ８９に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５７が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
以上のように、図２０の動き推定部２２でも、図９の場合と同様に、実質的に、信頼性情報が、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
さらに、図２０の動き推定部２２では、動きベクトル記憶部５８1と５８2において、過去に注目ピクチャであったピクチャ、つまり、いま注目ピクチャとなっているピクチャの１と２ピクチャ前のピクチャについて、動きベクトル検出部５１0で検出された動きベクトルを記憶するとともに、判定途中結果記憶部５６において、信頼性判定の判定途中結果を記憶しておき、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、IP変換部１５（図２）（ひいては、図１のTV）のさらなる小型化を図ることができる。
すなわち、図２０の動き推定部２２では、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、検出する、又は記憶しておく必要がない。
言い換えれば、図２０の動き推定部２２では、第１及び第２の評価値、ひいては、注目ピクチャの動きベクトルと、注目ピクチャから１ピクチャ前のピクチャ、及び２ピクチャ前のピクチャの、合計で３ピクチャの動きベクトルがあれば、図９の場合と同一の信頼性判定を行うことができる。
さらに、図２０の動き推定部２２では、いま注目ピクチャとなっているピクチャの１と２ピクチャ前のピクチャについては、注目ピクチャとなったときに検出された動きベクトルを記憶しているので、再度検出する必要がなく、動きベクトルは、いま注目ピクチャとなっているピクチャについてだけ検出すれば済む。
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、第Nピクチャの動きベクトルの検出に必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャと第N-1ピクチャを記憶する２つのフレームメモリ３１0と３１1で構成することができる。
さらに、図２０の動き推定部２２では、第３及び第４の評価値を求め、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルを求める（記憶する）代わりに、過去の信頼性判定の判定途中結果を記憶するので、その判定途中結果を記憶する１個の判定途中結果記憶部５６を設けることで、図１８の２個の動きベクトル記憶部５８3及び５８4と、２個の評価値演算部５２3及び５２4とを設けずに済む。
その結果、図２０の動き推定部２２によれば、図１８の場合に比較して、IP変換部１５（図２）の小型化を図ることができる。
次に、上述したIP変換部１５（図２）の動き推定部２２やプログレッシブ画像生成部２３の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
以上、本発明を、インターレース画像をプログレッシブ画像に変換するIP変換に適用した場合について説明したが、本発明は、その他、画像から動き情報を求める画像処理装置に適用可能である。
また、本実施の形態では、画素単位で、動き情報を求めることとしたが、動き情報は、画像を複数の画素からなるブロックに分割し、そのブロック単位で求めることが可能である。但し、動き情報をブロック単位で求めることは、ブロックを構成する１つの画素の動き情報を求め、その動き情報を、ブロックを構成するすべての画素の動き情報とすることとみなすことができるので、結局は、動き情報を画素単位で求めることと等価である。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したTVの一実施の形態の構成例を示すブロック図である。 IP変換部１５の構成例を示すブロック図である。 インターレース画像を示す図である。 プログレッシブ画像を示す図である。 IP変換処理を説明するフローチャートである。 プログレッシブ画像を対象とした動きベクトルの検出の方法を説明する図である。 インターレース画像を対象とした動きベクトルの検出の方法を説明する図である。 メモリ部２１の構成例を示すブロック図である。 動き推定部２２の第１の構成例を示すブロック図である。 複数の候補ベクトルの例を示す図である。 評価値演算部５２kの処理を説明する図である。 動き推定処理を説明するフローチャートである。 プログレッシブ画像生成部２３の構成例を示すブロック図である。 プログレッシブ画像生成処理を説明するフローチャートである。 メモリ部２１から動き推定部２２に供給される画像を示す図である。 動き推定部２２の第２の構成例を示すブロック図である。 動き推定処理を説明するフローチャートである。 動き推定部２２の第３の構成例を示すブロック図である。 動き推定処理を説明するフローチャートである。 動き推定部２２の第４の構成例を示すブロック図である。 動き推定処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１１ チューナ， １２ デスクランブラ， １３ デマルチプレクサ， １４ デコーダ， １５ IP変換部， １６ 表示パネル， ２１ メモリ部， ２２ 動き推定部， ２３ プログレッシブ画像生成部， ３１0ないし３１5 フレームメモリ， ５１0ないし５１4 動きベクトル検出部， ５２0ないし５２4 評価値演算部， ５３ 動き情報算出部， ５４ 信頼性判定部， ５６ 判定途中結果記憶部， ５７ 信頼性判定部， ５８1ないし５８4 動きベクトル記憶部， ６１ フィールド間補間部， ６２ フィールド内補間部， ６３ 選択部， ６４ 合成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (11)

  1. 画像の動きを表す動き情報を求める画像処理装置において、
    注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
    動き推定手段を備える画像処理装置。
  2. 前記動き推定手段は、
    注目ピクチャについて、画素の動きベクトルを検出する１個の動きベクトル検出手段と、
    過去に注目ピクチャであった複数のピクチャについて検出された画素の動きベクトルを記憶する複数の動きベクトル記憶手段と、
    前記動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
    動き情報の信頼性を判定する信頼性判定の途中結果である判定途中結果を記憶する判定途中結果記憶手段と、
    前記複数の評価値演算手段で求められた評価値と、前記判定途中結果記憶手段に記憶された過去の信頼性判定の判定途中結果とを用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定を行うとともに、その信頼性判定の判定途中結果を、前記判定途中結果記憶手段に記憶させる信頼性判定手段と
    を有する
    請求項１に記載の画像処理装置。
  3. 前記動き推定手段は、
    注目ピクチャと、前記注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出する複数の動きベクトル検出手段と、
    前記複数の動きベクトル検出手段のうちの、前記注目ピクチャについての動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
    前記複数の動きベクトル検出手段において検出された、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
    前記複数の評価値演算手段で求められた評価値を用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定手段と
    を有する
    請求項１に記載の画像処理装置。
  4. 前記動き推定手段は、
    注目ピクチャと、前記注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出する複数の動きベクトル検出手段と、
    前記複数の動きベクトル検出手段のうちの、前記注目ピクチャについての動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
    前記複数の動きベクトル検出手段において検出された、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
    動き情報の信頼性を判定する信頼性判定の途中結果である判定途中結果を記憶する判定途中結果記憶手段と、
    前記複数の評価値演算手段で求められた評価値と、前記判定途中結果記憶手段に記憶された過去の信頼性判定の判定途中結果とを用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定を行うとともに、その信頼性判定の判定途中結果を、前記判定途中結果記憶手段に記憶させる信頼性判定手段と
    を有する
    請求項１に記載の画像処理装置。
  5. 前記動き推定手段は、
    注目ピクチャについて、画素の動きベクトルを検出する１個の動きベクトル検出手段と、
    過去に注目ピクチャであった複数のピクチャについて検出された画素の動きベクトルを記憶する複数の動きベクトル記憶手段と、
    前記動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
    前記複数の評価値演算手段で求められた評価値を用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定手段と
    を有する
    請求項１に記載の画像処理装置。
  6. 前記動き推定手段は、複数の動きベクトルの平均値と分散とのうちの一方、又は両方を、前記評価値として求める
    請求項１に記載の画像処理装置。
  7. 前記動き推定手段は、
    注目ピクチャを含む連続する複数のピクチャにおいて隣接する２つのピクチャのセットすべてに関して、隣接する２つのピクチャについて求められた前記評価値どうしの差分が所定の閾値以下であるかを判定する評価値判定の判定結果が真である場合に、前記注目画素の動き情報の信頼性があると判定し、
    少なくとも１つのセットに関しての評価値判定の判定結果が偽である場合に、前記注目画素の動き情報の信頼性がないと判定する
    請求項１に記載の画像処理装置。
  8. 前記注目画素について、前記注目ピクチャの他の画素の画素値を用いて第１の補間値を求める第１の補間手段と、
    前記注目画素について、前記注目ピクチャに隣接するピクチャの画素の画素値と動き情報とを用いて第２の補間値を求める第２の補間手段と、
    前記信頼性情報が、前記動き情報の信頼性がないことを表している場合、前記第１の補間値を選択して、前記注目画素の画素値として出力し、前記信頼性情報が、前記動き情報の信頼性があることを表している場合、前記第２の補間値を選択して、前記注目画素の画素値として出力する選択手段と
    を有し、インターレース画像から、プログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備える
    請求項１に記載の画像処理装置。
  9. 画像の動きを表す動き情報を求める画像処理装置の画像処理方法において、
    注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
    ステップを含む画像処理方法。
  10. 画像の動きを表す動き情報を求める画像処理装置として、コンピュータを機能させるプログラムにおいて、
    注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
    動き推定手段として、コンピュータを機能させるプログラム。
  11. 放送番組としての画像を表示する表示装置において、
    前記放送番組を受信する受信手段と、
    前記放送番組としての画像を構成するピクチャにおいて注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
    前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
    動き推定手段と、
    前記注目画素について、前記注目ピクチャの他の画素の画素値を用いて第１の補間値を求めるとともに、前記注目ピクチャに隣接するピクチャの画素の画素値と動き情報とを用いて第２の補間値を求め、
    前記信頼性情報が、前記動き情報の信頼性がないことを表している場合、前記第１の補間値を選択して、前記注目画素の画素値として出力し、前記信頼性情報が、前記動き情報の信頼性があることを表している場合、前記第２の補間値を選択して、前記注目画素の画素値として出力することにより、インターレース画像から、プログレッシブ画像を生成する
    プログレッシブ画像生成手段と、
    前記プログレッシブ画像を表示する表示手段と
    を備える表示装置。
JP2007186563A 2007-07-18 2007-07-18 画像処理装置、画像処理方法、及びプログラム、並びに表示装置 Expired - Fee Related JP4375452B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007186563A JP4375452B2 (ja) 2007-07-18 2007-07-18 画像処理装置、画像処理方法、及びプログラム、並びに表示装置
US12/218,421 US20090021637A1 (en) 2007-07-18 2008-07-15 Image processing device, image processing method, program, and display device
CN2008101377442A CN101350884B (zh) 2007-07-18 2008-07-18 图像处理设备、图像处理方法和显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007186563A JP4375452B2 (ja) 2007-07-18 2007-07-18 画像処理装置、画像処理方法、及びプログラム、並びに表示装置

Publications (2)

Publication Number Publication Date
JP2009027300A JP2009027300A (ja) 2009-02-05
JP4375452B2 true JP4375452B2 (ja) 2009-12-02

Family

ID=40264536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007186563A Expired - Fee Related JP4375452B2 (ja) 2007-07-18 2007-07-18 画像処理装置、画像処理方法、及びプログラム、並びに表示装置

Country Status (3)

Country Link
US (1) US20090021637A1 (ja)
JP (1) JP4375452B2 (ja)
CN (1) CN101350884B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统
CN104427337B (zh) * 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
JP6335504B2 (ja) * 2013-12-20 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN106162177B (zh) * 2016-07-08 2018-11-09 腾讯科技（深圳）有限公司 视频编码方法和装置
JP7142507B2 (ja) * 2018-07-23 2022-09-27 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
US5546130A (en) * 1993-10-11 1996-08-13 Thomson Consumer Electronics S.A. Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
US5650829A (en) * 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
JP3646845B2 (ja) * 1998-03-03 2005-05-11 Ｋｄｄｉ株式会社 ビデオ符号化装置
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
KR100484182B1 (ko) * 2002-12-03 2005-04-20 삼성전자주식회사 디인터레이싱 장치 및 방법
US20080259207A1 (en) * 2004-02-04 2008-10-23 Koninklijke Philips Electronic, N.V. Motion Compensated De-Interlacing with Film Mode Adaptation
JP4375080B2 (ja) * 2004-03-29 2009-12-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1734480A1 (en) * 2004-04-09 2006-12-20 Sony Corporation Image processing device and method, recording medium, and program
US20060193386A1 (en) * 2005-02-25 2006-08-31 Chia-Wen Lin Method for fast mode decision of variable block size coding

Also Published As

Publication number Publication date
JP2009027300A (ja) 2009-02-05
CN101350884B (zh) 2011-01-26
CN101350884A (zh) 2009-01-21
US20090021637A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
US7079159B2 (en) Motion estimation apparatus, method, and machine-readable medium capable of detecting scrolling text and graphic data
JP5205621B2 (ja) 高解像度ビデオおよび標準解像度ビデオ用の高機能デインターレーサ
US20050073607A1 (en) Image adaptive deinterlacing method and device based on edge
JP2005175671A (ja) ノイズ低減回路及び方法
JP4375452B2 (ja) 画像処理装置、画像処理方法、及びプログラム、並びに表示装置
US8144248B2 (en) Scan conversion apparatus
JP4991360B2 (ja) フレームレート変換装置および映像表示装置
US20100080299A1 (en) Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus
EP1039746B1 (en) Line interpolation method and apparatus
JPWO2004017634A1 (ja) 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置
US8605790B2 (en) Frame interpolation apparatus and method for motion estimation through separation into static object and moving object
US8244055B2 (en) Image processing apparatus and method, and program
JP2004519901A (ja) 動き推定の容易化
JP4506882B2 (ja) 画像処理装置および方法、並びにプログラム
JP2007129400A (ja) フィルムモード検出装置及び映像表示装置
US20080175473A1 (en) Device and method of estimating image signal noise and apparatus and method of converting image signal using the same
JP2007081500A (ja) 画像処理装置、動画像データのフィールド・オーダを決定する方法及びプログラム
JP4250598B2 (ja) 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法
JP2003179886A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20090046208A1 (en) Image processing method and apparatus for generating intermediate frame image
JP2006303910A (ja) フィルムモード検出装置
US7333630B2 (en) Method and apparatus for detecting film image using grouping
JP2000092455A (ja) 画像情報変換装置および画像情報変換方法
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
KR101572539B1 (ko) 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees