JP5040687B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、様々なプルダウンパターンを検出できるようにした画像処理装置および方法、並びにプログラムに関する。

フレームレートを変換させる技術が一般に普及しつつある。

代表的なものとして、映画に使用されている２４fps（Frame Per Second）のフレームレートをテレビに使用されている３０ftpのフレームレートに変換させるものとして、２−３プルダウンと呼ばれるプルダウン処理によりフレームレートを変換させる技術が提案されている（特許文献１参照）。

２−３プルダウンとは、例えば、映画の1フレーム目の画像をテレビ画像の1フィールド目と2フィールド目に使用し、映画の２フレーム目の画像をテレビ画像の３乃至５フィールド目に使用し、映画の３フレーム目の画像をテレビ画像の６，７フィールド目に使用し、映画の４フレーム目の画像をテレビ画像の８乃至１０フィールド目に使用し、この処理を順次繰り返すことにより、２４fpsのフレームレートを３０fpsに変換する処理である。ここで、奇数フィールドがトップフィールドで、偶数フィールドがボトムフィールドであり、連続する奇数フィールドと偶数フィールドにより1フレームのテレビ画像が生成される。この他にも２−２プルダウンなどのプルダウンパターンが存在する。

特開２００６−２５３７６６号公報

しかしながら、８−７プルダウン、６−４プルダウン、または５−５プルダウンといった、元のプログレッシブ画像のフレームレートが２４fpsよりも小さな場合に対応する処理は、異なる構成により検出する必要があるため、装置構成を煩雑にするのみならず、コスト高としてしまうことがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、様々なフレームレートの入力画像に対して、単一の処理構成により、プルダウンパターンを検出できるようにするものである。

本発明の一側面の画像処理装置は、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算手段と、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定手段と、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウント手段と、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定手段と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウント手段と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出手段とを含む。

前記プルダウンパターン検出手段により検出された前記画像のプルダウンパターンに基づいて、前記画像より、プログレッシブ画像を生成するプログレッシブ画像生成手段をさらに含ませるようにすることができる。

前記プルダウンパターン検出手段には、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記一致回数が所定数よりも大きくなく、かつ、前記所定数よりも小さい他の所定数よりも大きいとき、前記所定のプルダウンパターンの検出を保留させるようにすることができる。

前記切れ目判定手段には、前記相関値が所定の閾値よりも大きいか否か、または、相関値同士の比較処理結果に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定させるようにすることができる。

前記連続数に対応して、前記所定の閾値を小さくするように管理する閾値管理手段をさらに含ませるようにすることができる。

前記相関値演算手段には、連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、画像の中央近傍の第１の領域の画素の、相関値を演算させ、前記プルダウンパターン検出手段が、前記所定のプルダウンパターンを検出できる状態のとき、連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、前記画像の中央近傍の前記第１の領域よりも広い第２の領域の画素の相関値を演算させるようにすることができる。

本発明の一側面の画像処理方法は、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算ステップと、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定ステップと、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウントステップと、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定ステップと、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウントステップと、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出ステップとを含む。

本発明の一側面のプログラムは、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算ステップと、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定ステップと、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウントステップと、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定ステップと、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウントステップと、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出ステップとを含む処理をコンピュータに実行させる。

本発明のプログラム格納媒体は、請求項８に記載のプログラムが格納されている。

本発明の一側面の画像処理装置は、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値が演算され、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かが判定され、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することが連続数として累積的にカウントされ、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かが判定され、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数がマッチング数としてカウントされ、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンが前記連続的に入力されてくる画像のプルダウンパターンとして検出される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、特に、様々なフレームレートの入力画像に対して、単一の処理構成により、プルダウンパターンを検出することが可能となり、検出されたプルダウンパターンに基づいて、入力画像より元となるプログレッシブ画像を高い精度で再現することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の画像処理装置は、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算手段（例えば、図１の相関値演算部１３）と、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定手段（例えば、図１の切れ目判定部１４）と、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウント手段（例えば、図１の同一画像連続数カウンタ１５）と、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定手段（例えば、図１のパターン判定部１６）と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウント手段（例えば、図１のマッチング数カウンタ１９）と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出手段（例えば、図１のプルダウンパターン検出部１８）とを含む。

前記プルダウンパターン検出手段により検出された前記画像のプルダウンパターンに基づいて、前記画像より、プログレッシブ画像を生成するプログレッシブ画像生成手段（例えば、図１のプログレッシブ画像生成部２２）をさらに含ませるようにすることができる。

前記プルダウンパターン検出手段（例えば、図１のプルダウンパターン検出部１８）には、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記一致回数が所定数よりも大きくなく、かつ、前記所定数よりも小さい他の所定数よりも大きいとき、前記所定のプルダウンパターンの検出を保留させるようにすることができる。

前記切れ目判定手段（例えば、図１の切れ目判定部１４）には、前記相関値が所定の閾値よりも大きいか否か、または、相関値同士の比較処理結果に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定させるようにすることができる。

前記連続数に対応して、前記所定の閾値を小さくするように管理する閾値管理手段（例えば、図１の閾値管理部１４ａ）をさらに含ませるようにすることができる。

前記相関値演算手段（例えば、図１の相関値演算部１３）には、連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、画像の中央近傍の第１の領域の画素の相関値を演算させ、前記プルダウンパターン検出手段が、前記所定のプルダウンパターンを検出できる状態のとき、連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、前記画像の中央近傍の前記第１の領域よりも広い第２の領域の画素の相関値を演算させるようにすることができる。

本発明の一側面の画像処理方法は、連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算ステップ（例えば、図４のステップＳ２２，Ｓ２３）と、前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定ステップ（例えば、図７のステップＳ４２，Ｓ４４）と、前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウントステップ（例えば、図７のステップＳ４５）と、前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定ステップ（例えば、図７のステップＳ４８）と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウントステップ（例えば、図７のステップＳ５１）と、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出ステップ（例えば、図７のステップＳ５７）とを含む。

図１は、本発明を適用した一実施の形態の構成を示す画像処理装置である。

図１の画像処理装置１は、所定のフレームレートの動画像を構成する入力画像より、プルダウンパターンを検出し、さらに、検出されたプルダウンパターンに基づいて、入力画像よりプログレッシブ画像を生成して、LCD（Liquid Crystal Display）などからなる表示部２に表示させる。

バッファ１１−１乃至１１−３は、入力画像をフィールド単位で順次記憶し、後段のバッファ１１−２，１１−３およびプログレッシブ画像生成部２２に供給する。この処理により、バッファ１１−１乃至１１−３には、常時連続する３枚のフィールド画像が蓄えられる。尚、フィールド画像は、トップフィールド画像、およびボトムフィールド画像が順次交互に供給されてきており、トップフィールド画像とボトムフィールド画像とにより１枚のフレーム画像が構成される。

抽出部１２は、バッファ１１−１乃至１１−３よりそれぞれ記憶されているフィールド画像のうち、中央部近傍の領域の画素の画素値を抽出して、相関値演算部１３に供給する。また、抽出部１２は、状態管理部２０より供給されてくる状態情報に基づいて、抽出する中央部近傍の領域の範囲を切り替える。尚、状態情報、および状態情報に基づいた抽出する中央部近傍の領域の範囲については、詳細を後述する。

相関値演算部１３は、抽出部１２より供給されてくる３枚のフィールド画像の中央近傍の画素の画素値より、注目フィールド画像としてバッファ１１−２に記憶されているフィールド画像と、バッファ１１−１，１１−３に記憶されている、その前後のフィールド画像（以降、参照フィールド画像とも称する）との、同一位置の画素間の差分絶対値和を相関値として演算し、切れ目判定部１４に供給する。より詳細には、注目フィールド画像および、参照フィールド画像は、それぞれトップフィールド画像、および、ボトムフィールド画像となるため、画素位置が異なる。そこで、相関値演算部１３は、注目フィールドの各画素より、参照フィールド画像の各画素と同位置の画素を補間生成し、補間生成した画素と、各画素とを用いて画素間差分絶対値和を用いて、相関値を演算する。また、参照フィールド間の同位置の画素での、画素間差分絶対値和を用いて、異なる相関値も演算する。

切れ目判定部１４は、相関値演算部１３より供給されてくる相関値を閾値と比較し、処理対象となる注目フィールド画像が切れ目であるか否かを判定する。切れ目判定部１４は、切れ目を検出した場合、切れ目を検出したことを示す情報をパターン検出部１６に通知する。また、切れ目判定部１４は、切れ目を検出しない場合、直前のフィールド画像と同一のフィールド画像を検出した連続数を、同一画像連続数カウンタ１５にカウントアップさせ、切れ目が検出されたとき、連続数をリセットさせる。また、切れ目判定部１４は、閾値管理部１４ａを備えている。閾値管理部１４ａは、同一画像連続数カウンタ１５に記憶されている連続数に応じて、閾値を変化させる。

ここで、切れ目について説明する。例えば、プルダウンパターンが２−３プルダウンである場合、同一のフィールド画像が２枚、３枚、２枚、３枚・・・と交互に繰り返す。そこで、切れ目判定部１４は、相関値が小さいとき、直前のフィールド画像と同一のフィールド画像が連続しているものとみなし、相関値が大きいとき、２枚、または、３枚連続した同一のフィールド画像の塊が、次の2枚、または、３枚のフィールド画像の塊に切り替わる先頭位置のフィールド画像を切れ目とみなす。したがって、プルダウンパターンが２−３プルダウンである場合、2枚の同一のフィールド画像が連続した後に、切れ目となるフィールド画像が検出され、そのフィールド画像から３枚の同一のフィールド画像が連続した後に、切れ目となるフィールド画像が検出されるといった処理が繰り返されることになる。

パターン判定部１６は、切れ目判定部１４より切れ目となるフィールド画像が検出されたことが通知されると、同一画像連続数カウンタ１５に記憶されている、その直前のフィールド画像までの連続数に基づいて、プルダウンパターン記憶部１７に予め記憶されているプルダウンパターンにおける連続数である設定数と、連続数とが一致するか否かにより、切れ目となるフィールド画像の直前まで同一のフィールド画像の連続数がプルダウンパターンと一致するか否かを判定する。

パターン判定部１６は、切れ目となるフィールド画像の直前まで同一のフィールド画像の連続数がプルダウンパターンと一致すると判定した場合、プルダウンパターンと一致したマッチング数の情報をマッチング数カウンタ１９に記憶させる。また、パターン判定部１６は、連続数が一致するプルダウンパターンが検出されたことをプルダウンパターン検出部１８に通知する。すなわち、例えば、プルダウンパターン記憶部１７には、予め様々なプルダウンパターンが登録されており、当然のことながら予め２−３プルダウンが登録されているので、パターン判定部１６は、切れ目が検出された時点で連続数が、２または３のとき、一致するパターンが存在するものとみなし、マッチング数カウンタ１９に対して、２−３プルダウンのマッチング数をカウントさせる。ただし、連続数が２の場合、例えば、プルダウンパターンとして２−２プルダウンなどが予め登録されている場合、いずれであるか特定できないので、いずれのマッチング数についても、マッチング数カウンタ１９でカウントさせ、直前までに登録されているプルダウンパターンとの比較により、２−２プルダウンであるか、または、２−３プルダウンパターンであるかを判定する。プルダウンパターン記憶部１７には、２−３プルダウンの他にも８−７プルダウン、６−４プルダウン、５−５プルダウンなどの様々なプルダウンパターンが予め記憶されている。

プルダウンパターン検出部１８は、パターン検出部１６によりプルダウンパターンが検出されたことが通知されると、マッチング数カウンタ１９に問合せて、プルダウンパターン毎に一致した回数、すなわち、マッチング数と、対応するプルダウンパターンの情報を読み出し、所定数よりも多く一致したとき、そのプルダウンパターンを入力画像のものとみなし、検出した入力画像のプルダウンパターンをプログレッシブ画像生成部２２に供給する。

状態管理部２０は、抽出部１２、相関値演算部１３、切れ目判定部１４、パターン判定部１６、およびプルダウンパターン検出部１８のそれぞれの動作状態に応じて、図２で示される未検出状態、パターン検出状態、パターン判定状態、プルダウンパターン認識状態、および保留状態のいずれかに変位させ、動作状態を管理する。

未検出状態とは、全く切れ目が見つからない状態であり、切れ目が検出されるとパターン検出状態に遷移する。

パターン検出状態とは、最初の切れ目が検出されたのち、次の切れ目が検出されず、プルダウンパターンを構成するパターンが検出されていない状態であり、切れ目が検出されたのち、パターン判定状態に遷移する。

パターン判定状態とは、切れ目と切れ目との間の同一フィールド画像の連続数が一致する回数、すなわち、マッチング数によりプルダウンパターンを構成するパターンを検出するための判定状態であり、マッチング数が上限値より大きいとき、状態は、プルダウンパターン認識状態に遷移し、下限値よりも小さいとき、パターン検出状態に遷移し、上限値よりも小さく、かつ、下限値よりも大きいとき、保留状態を介してパターン検出状態に遷移し、連続数がいずれのプルダウンパターンとも一致しないとき、未検出状態に遷移する。

プログレッシブ画像生成部２２は、プルダウンパターン検出部１８より供給されてくるプルダウンパターンに基づいて、バッファ１１−３より順次供給される入力画像を変換して、プログレッシブ画像を生成し、表示部２に表示させる。

次に、図３のフローチャートを参照して、図１の画像処理装置１によるプログレッシブ画像生成処理について説明する。

ステップＳ１において、バッファ１１−１乃至１１−３は、フィールド画像が供給されてきたか否かを判定し、供給されてくるまで、同様の処理が繰り返される。ステップＳ１において、例えば、フィールド画像が順次供給されてきた場合、処理は、ステップＳ２に進む。

ステップＳ２において、バッファ１１−１乃至１１−３は、順次供給されてきたフィールド画像を記憶するとともに、記憶していたフィールド画像を後段に供給する。すなわち、バッファ１１−１は、入力されてきたフィールド画像を記憶すると同時に、直前まで記憶していたフィールド画像をバッファ１１−２に供給する。バッファ１１−２は、バッファ１１−１より供給されてきたフィールド画像を記憶すると同時に、直前まで記憶していたフィールド画像をバッファ１１−３に供給する。バッファ１１−３は、バッファ１１−２より供給されてきたフィールド画像を記憶すると同時に、直前まで記憶していたフィールド画像をプログレッシブ画像生成部２２に供給する。尚、最初の処理においては、バッファ１１−２，１１−３には、何も供給されないことになるので、少なくとも３枚のフィールド画像が供給された後に実質的な処理が開始される。

ステップＳ３において、抽出部１２および相関値演算部１３は、相関値演算処理を実行して、処理対象となるバッファ１１−２に記憶されているフィールド画像の相関値を、注目フィールド画像の相関値として演算する。

ここで、図４のフローチャートを参照して、相関値演算処理について説明する。

ステップＳ２１において、抽出部１２は、状態管理部２０に問合せて今現在の状態がプルダウンパターン認識状態であるか否かを判定する。例えば、状態管理部２０が、状態記憶部２１に問合せ、状態情報を読み出し、状態がプルダウンパターン認識状態であることを示す情報であった場合、ステップＳ２２において、抽出部１２は、バッファ１１−１乃至１１−３より、それぞれ注目フィールド画像、および注目フィールド画像の前後のフィールド画像のそれぞれの中心近傍の所定値よりも大きな範囲の画素を抽出し、相関値演算部１３に供給する。

一方、例えば、状態がプルダウンパターン認識状態ではないことを示す情報であった場合、ステップＳ２３において、抽出部１２は、バッファ１１−１乃至１１−３より、それぞれ注目フィールド画像、および注目フィールド画像の前後のフィールド画像のそれぞれの中心近傍の所定値よりも小さな範囲の画素を抽出し、相関値演算部１３に供給する。

すなわち、プルダウンパターン認識状態ではない場合、プルダウンパターンを検出することができていない状態であるので、例えば、図５で示されるように、フィールド画像Ｐに対して中心近傍の所定値よりも小さなａ１×ａ２の範囲の画素が抽出される。これは、フィールド画像Ｐの端部に近い範囲は、テロップなどのフィールド画像毎に変化する画像が含まれることが多く、同一の画像であるか否かの判定を困難にする可能性があるため、中央近傍の所定値よりも小さな範囲の画素が読み出されて、相関値が求められる。一方、プルダウンパターン認識状態である場合、プルダウンパターンを検出することができている状態であるので、例えば、図５で示されるように、フィールド画像Ｐに対して中心近傍の所定値よりも大きなｂ１×ｂ２（ｂ１＞ａ１，ｂ２＞ａ２）の範囲の画素が抽出される。これは、既にプルダウンパターンが検出できる状態であるため、より広い範囲を含めても、同一の画像であるか否かの判定を困難にすることはないことが予想されるため、中央近傍の所定値よりも大きな範囲の画素が読み出される。

ステップＳ２４において、相関値演算部１３は、供給されてきた画素の画素間差分絶対値和を求め、注目フィールド画像の相関値を求めて切れ目判定部１４に供給する。より詳細には、バッファ１１−２に記憶されている注目フィールド画像と、バッファ１１−１，１１−３に記憶されている注目フィールド画像の前後のフィールド画像（参照フィールド画像）とは、注目フィールド画像がトップフィールドであれば、前後の参照フィールド画像はボトムフィールドであり、逆に注目フィールド画像がボトムフィールドであれば、前後の参照フィールド画像はトップフィールドとなる。このため、相関値演算部１３は、前後の参照フィールド画像の各画素を用いて、注目フィールド画像の画素位置に対応する画素を仮想的に補間生成する。

すなわち、例えば、図６で示されるように、注目フィールド画像を時刻ｔｂのフィールド画像とし、垂直方向の画素を図中の下から画素Ｐ１１，Ｐ１２とし、前後の参照フィールド画像をそれぞれ時刻ｔａ，ｔｃのフィールド画像とし、それぞれの画素を画素Ｐ１、および画素Ｐ２１とすると、相関値演算部１３は、時刻ｔａ，ｔｃのフィールド画像上に、注目フィールド画像の画素位置に対応する画素Ｐ１１’（＝（Ｐ１２＋Ｐ１１）／２）を補間生成する。さらに、相関値演算部１３は、求められた画素Ｐ１１’と参照フィールド画像上の対応する位置の画素Ｐ１１、Ｐ２１とのそれぞれの差分絶対値（｜Ｐ１１’−Ｐ１｜，｜Ｐ１１’−Ｐ２１｜）を求め、同様にして求めた全画素に対応する和、すなわち、差分絶対値和をそれぞれ相関値ＰＲ，ＡＲとして演算する。また、画素Ｐ１１、Ｐ２１の差分絶対値（｜Ｐ１−Ｐ２１｜）を求め、同様にして求めた全画素に対応する和、すなわち、差分絶対値和をそれぞれ相関値ＦＲとして演算する。

尚、図６においては、横軸がフィールド画像の表示タイミングを示す時間方向を表しており、縦軸がフィールド画像の垂直方向（ｘ方向）の画素位置を表している。

このようにして求められる相関値ＦＲは、直前または直後の画像と同一の画像が連続している場合、画素間の画素値の差分絶対値和は小さくなり、同一の画像が連続しない場合、画素間の画素値の差分絶対値和は大きくなる。すなわち、注目フィールド画像が前後の参照フィールド画像と相関が高い場合、相関値ＦＲは小さな値となり、相関値ＰＲとＡＲは大体同じくらいの相関値になる。逆に、注目フィールド画像が前後の参照フィールド画像と相関が低い場合、例えば、前の参照フィールド画像と相関が低い場合、相関値ＦＲは大きな値となり、ＡＲはＰＲに対して小さな相関値となる。

以上の処理により、相関値が演算され、切れ目判定部１４に供給される。

ここで、図３のフローチャートの説明に戻る。

ステップＳ２の処理により、相関値が演算されると、ステップＳ３において、プルダウンパターン検出処理が実行され、プルダウンパターンが検出される。

ここで、図７のフローチャートを参照して、プルダウンパターン検出処理について説明する。

ステップＳ４１において、切れ目判定部１４は、状態管理部２０に状態情報を要求し、取得した状態情報に基づいて、パターン検出状態、または、プルダウンパターン検出状態であるか否かを判定する。例えば、状態管理部２０により管理され、状態記憶部２１に記憶されている状態がパターン検出状態、または、プルダウンパターン検出状態ではなく、未検出状態であった場合、処理は、ステップＳ４２に進む。

ステップＳ４２において、切れ目判定部１４は、相関値演算部１３より供給されてきた相関値ＰＲ，ＡＲ、ＦＲに基づいて切れ目か否かを判定する。例えば、ステップＳ４２において、相関値ＦＲが所定閾値ｔｈよりも小さい場合、または、相関値ＦＲが所定閾値ｔｈよりも大きいが、相関値ＡＲが相関値ＰＲに対して小さくない場合、すなわち、直前のフィールド画像と同一であると判定された場合、状態は、図２の遷移Ｃ１で示されるように、状態は遷移することなく、処理は終了する。

すなわち、例えば、図８で示されるように、時刻ｔ０から処理を開始した場合、最初の数枚のフィールド画像は、プルダウンパターンのどの位置のフィールド画像であるのかを識別することができないので、未検出状態のままとなる。

尚、図８においては、横軸に時間軸を設け、縦軸に各時刻におけるフィールド画像におけるある水平座標上の垂直方向の画素の配置を示している。すなわち、図８においては、時刻ｔ０において処理が開始されると、時刻ｔ１乃至ｔ１６において、対応するフィールド画像の垂直方向の画素配置が丸印で表示されており、時刻ｔ１，ｔ３，ｔ５，ｔ７，ｔ９，ｔ１１，ｔ１３，ｔ１５では、トップフィールド（TopField）のフィールド画像の垂直方向の２画素の配置例が示されており、時刻ｔ２，ｔ４，ｔ６，ｔ８，ｔ１０，ｔ１２，ｔ１４，ｔ１６では、ボトムフィールド（BottomField）のフィールド画像の垂直方向の２画素の配置例が示されている。また、各画素の画素値は、画素を示す丸印の模様で示されており、時刻ｔ１乃至ｔ３における、範囲Ｚ１においては、斑点状の丸印が、時刻ｔ４乃至ｔ８における、範囲Ｚ２においては白色の丸印が、時刻ｔ９乃至ｔ１３における、範囲Ｚ３においては、斜線状の丸印が、時刻ｔ１４乃至ｔ１６における、範囲Ｚ４においては、格子状の丸印が示されており、それぞれ同一の模様が同一の画素値であることを示している。

したがって、注目フィールド画像が、例えば、時刻ｔ２上のフィールド画像である場合、図８で示されるように、時刻ｔ２上のフィールド画像の画素は、直前の時刻ｔ１上のフィールド画像の画素、および、直後の時刻ｔ３上のフィールド画像の画素と、いずれも同一の画素値となるため、相関値ＦＲが小さな値のままとなり、所定閾値ｔｈよりも大きくはならないので、未検出の状態のままとなる。

また、注目フィールド画像が、例えば、時刻ｔ３上のフィールド画像である場合、図８で示されるように、時刻ｔ４上のフィールド画像の画素は、直前の時刻ｔ２上のフィールド画像の画素とは、異なる画素値となるため、相関値ＦＲは所定閾値ｔｈよりも大きくなる。しかし、時刻ｔ３上のフィールド画像の画素は、直前の時刻ｔ２上のフィールド画像の画素とは、同一の画素値となり、直後の時刻ｔ４上のフィールド画像の画素とは、画素値が異なるため、相関値ＰＲは小さい値となる傾向に対して、相関値ＡＲは大きい値となる傾向にあるため、相関値ＡＲが相関値ＰＲに対して小さい値にはならないので、未検出の状態のままとなる。

一方、ステップＳ４２において、例えば、相関値ＦＲが所定閾値ｔｈよりも大きく、かつ、相関値ＡＲが相関値ＰＲに対して小さい場合、すなわち、注目フィールド画像が、直前のフィールド画像とは異なり、切れ目が検出されたとみなされた場合、ステップＳ４３において、切れ目判定部１４は、状態管理部２０に対して切れ目が検出されたことを通知する。この処理に応じて、状態管理部２０は、図２の遷移Ｃ２で示されるように、状態を未検出状態からパターン検出状態に遷移させて、状態記憶部２１に記憶させる。

すなわち、例えば、図８で示されるように、注目フィールド画像が、例えば、時刻ｔ４上のフィールド画像である場合、直後の時刻ｔ５上のフィールド画像の画素は、直前の時刻ｔ３上のフィールド画像の画素とは、同一の画素値とはならないため、相関値ＦＲは所定閾値ｔｈよりも大きくなる。また、時刻ｔ４上のフィールド画像の画素は、直前の時刻ｔ３上のフィールド画像の画素とは、同一の画素値とはならないため、相関値ＰＲは大きな値になる傾向があり、また、時刻ｔ４上のフィールド画像の画素は、直後の時刻ｔ５上のフィールド画像の画素とは、画素値が同一になるため、相関値ＡＲは小さな値になる傾向がある。このため相関値ＡＲは相関値ＰＲに対して小さい値となるため、連続して入力されてくるフィールド画像の塊の先頭位置であることを認識することができるので、切れ目であると認識される。

この処理により、図２で示されるように、状態がパターン検出状態に遷移し、連続して入力されてくるフィールド画像の先頭位置を認識することになるので、以降において同一のフィールド画像が連続して供給されてくる際に連続数Ｃのカウントを開始することができる状態となる。

一方、ステップＳ４１において、状態が、例えば、パターン検出状態、または、プルダウンパターン検出状態であると判定された場合、ステップＳ４４において、ステップＳ４２の処理と同様に、切れ目判定部１４は、相関値演算部１３より供給されてきた相関値ＰＲ，ＡＲ，ＦＲにより、切れ目であるか否かを判定する。

ステップＳ４４において、切れ目ではないと判定された場合、すなわち、直前のフィールド画像と同一のフィールド画像が連続して入力されてきている場合、ステップＳ４５において、切れ目判定部１４は、同一画像連続数カウンタ１５に格納されている連続数Ｃを１インクリメントする。このとき、図２の遷移Ｃ３またはＣ１０で示されるように、状態は遷移することなく、連続数Ｃだけが１インクリメントされる。したがって、図８で示される時刻ｔ５乃至ｔ８、または、時刻ｔ９乃至ｔ１３においては、連続数Ｃが１インクリメントされることになる。

ステップＳ４６において、切れ目判定部１４の閾値管理部１４ａは、所定閾値ｔｈを連続数Ｃに対応して、例えば、図９で示されるように設定し、処理は終了する。すなわち、例えば、入力されてくるフィールド画像が変化の少ない状態が連続しているような場合、所定閾値ｔｈを一定の値としていると切れ目が検出できない状態が継続されてしまう恐れがあるため、図９で示されるように、相関値ｄｉｆが所定値ｄｉｆ１より小さくなり、変化の少ない画像が継続しているものとみなされたとき、相関値ｄｉｆの値に対応して小さな値に設定し直す。この処理により、変化の小さな画像が連続するような場合でも、切れ目を検出しやすくすることができる。

尚、図９においては、横軸が相関値ｄｉｆを表しており、縦軸が、所定閾値ｔｈを表している。

また、フィールド画像間差分がある程度小さければ、切れ目ではないと予想されるが、絵柄によっては必ずしも大きい相関値が計算されるとは限らない。そこで、相関値の大小判定として、過去に切れ目であると判断された際の相関値を使うようにしてもよい。すなわち、一般に静止する場合、相関値は減少することが想定されるので、一回前に求まった切れ目での相関値との相対関係によって今回の相関値が大きいか、小さいかを判断することで、切れ目を特定するようにしてもよい。

一方、ステップＳ４４において、切れ目であると判定された場合、ステップＳ４７において、状態管理部２０は、状態をパターン判定状態に遷移させて、状態記憶部２１に記憶させる。この処理により、図２の遷移Ｃ４またはＣ９で示されるように、状態が、パターン判定状態に遷移する。

ステップＳ４８において、パターン判定部１６は、同一画像連続数カウンタ１５の連続数Ｃが設定数と一致したか否かを判定する。ここでいう設定数とは、プルダウンパターンを構成する同一のフィールド画像の連続数である。例えば、図８においては、５−５プルダウンの場合のフィールド画像の入力例が示されており、時刻ｔ４乃至ｔ８、および時刻ｔ９乃至ｔ１３においては、同一のフィールド画像が５枚連続で入力されており、同一のフィールド画像が、５枚ずつ連続して入力されることが示されている。したがって、同一のフィールド画像が５枚連続で入力される場合、５−５プルダウンパターンを構成するフィールド画像の連続数であると判断できる。連続数Ｃは、先頭のフィールド画像と同一であると判断されるフィールド画像の数であることから、同一のフィールド画像が５枚入力される場合、同一画像連続数カウンタ１５は連続数Ｃ＝４となる。このため、５−５プルダウンパターンの場合、設定数は、４となる。

同様にして、２−３プルダウンの場合、同一のフィールド画像が２枚、３枚、・・・であるので、設定数は、１および２となり、さらに、８−７プルダウンの場合、同一のフィールド画像が８枚、７枚・・・であるので、設定数は、７および６となり、６−４プルダウンの場合、同一のフィールド画像が６枚、４枚・・・であるので、設定数は、５および３が設定数となる。

したがって、ステップＳ４８において、図８の場合、時刻ｔ９において、連続数Ｃは、４となることから、設定数と一致したと判定され、処理は、ステップＳ４９に進む。

ステップＳ４９において、パターン判定部１６は、設定数が一致したプルダウンパターンを推定する。すなわち、パターン判定部１６は、連続数Ｃと一致した設定数から対応するプルダウンパターンを推定する。図８の場合、連続数Ｃは４であるので、一致するのは５−５プルダウンであることが推定される。

ステップＳ５０において、パターン判定部１６は、マッチング数カウンタ１９に記憶されているマッチング数Ｍと対応付けて記憶されているプルダウンパターンを読み出し、推定したプルダウンパターンと一致するか否かを判定する。すなわち、マッチング数カウンタ１９には、マッチング数Ｍと対応付けて一致したプルダウンパターンが記憶されているので、パターン判定部１６は、その記憶されているプルダウンパターンと、推定したプルダウンパターンとを比較し、一致するか否かを判定する。

ステップＳ５０において、マッチング数Ｍに対応付けて記憶されているプルダウンパターンと、推定したプルダウンパターンとが一致すると判定された場合、ステップＳ５１において、パターン判定部１６は、マッチング数カウンタ１９に設定数と一致したマッチング数Ｍを１インクリメントさせて、推定されるプルダウンパターンと対応付けて記憶させると共に、設定数と一致したことをプルダウンパターン検出部１８に通知する。

したがって、図８における時刻ｔ９の場合、５−５プルダウンについて、マッチング数Ｍが１インクリメントされる。また、例えば、連続数Ｃが７または６であった場合、パターン判定部１６は、８−７プルダウンについて、マッチング数Ｍを１インクリメントする。さらに、例えば、連続数Ｃが５または３であった場合、パターン判定部１６は、６−４プルダウンについて、マッチング数Ｍを１インクリメントする。

一方、ステップＳ５０において、マッチング数Ｍに対応付けて記憶されているプルダウンパターンと、推定したプルダウンパターンとが一致しないと判定された場合、パターン判定部１６は、マッチング数Ｍを１にリセットし、推定したプルダウンパターンに対応付けて登録する。すなわち、マッチング数Ｍに対応付けて記憶されているプルダウンパターンと、推定したプルダウンパターンとが一致しないということは、切れ目が検出される前のタイミングと、その後のタイミングとでは、入力画像のプルダウンパターンが変更されている可能性が高いため、マッチング数をリセットする。

ステップＳ５３において、プルダウンパターン検出部１８は、マッチング数Ｍが下限値よりも小さいか否かを判定し、下限値よりも小さい場合、ステップＳ５４において、その旨を状態管理部２０に通知する。これにより、状態管理部２０は、状態をパターン検出状態に遷移させる。すなわち、図２の遷移Ｃ５で示されるように、状態は、パターン判定状態からパターン検出状態に遷移する。

一方、ステップＳ５３において、マッチング数Ｍが下限値よりも小さくない場合、ステップＳ５５において、プルダウンパターン検出部１８は、マッチング数Ｍが上限値よりも大きいか否かを判定し、上限値よりも大きい場合、同一フィールド画像の連続数Ｃが設定数と一致した回数が、プルダウンパターンを検出できる状態になるまで繰り返されたものとみなし、その旨を状態管理部２０に通知する。

ステップＳ５６において、状態管理部２０は、状態をパターン判定状態から、プルダウンパターン認識状態に遷移させる。この処理により、状態は、図２の遷移Ｃ８で示されるように、パターン判定状態からプルダウンパターン認識状態に遷移する。

ステップＳ５７において、プルダウンパターン検出部１８は、マッチング数カウンタ１９に記憶されているマッチング数に対応付けて記憶されているプルダウンパターンの情報を入力画像より検出されたプルダウンパターンの情報として、プログレッシブ画像生成部２２に供給する。

ステップＳ５８において、プルダウンパターン検出部１８は、同一画像連続数カウンタ１５に記憶されている連続数Ｃをリセットさせ、処理は、終了する。

一方、ステップＳ５５において、マッチング数Ｍが上限値よりも大きくない場合、すなわち、マッチング数Ｍが下限値よりは大きいが上限値よりも小さく、プルダウンパターンを構成する同一のフィールド画像が連続して検出されている回数が少ない場合、ステップＳ５９において、プルダウンパターン検出部１８は、状態管理部２０に対してマッチング数Ｍが下限値よりは大きいが上限値よりも小さいことを通知する。これに応じて、状態管理部２０は、状態をパターン判定状態から保留状態に遷移させる。すなわち、図２における遷移Ｃ６により、状態は、パターン判定状態から保留状態に遷移する。

ステップＳ６０において、プルダウンパターン検出部１８は、同一画像連続数カウンタ１５の連続数Ｃを０にリセットすると共に、その旨を状態管理部２０に通知する。

ステップＳ６１において、状態管理部２０は、この通知に基づいて、状態をパターン検出状態に遷移させる。すなわち、図２の遷移Ｃ７で示されるように、状態は、保留状態からパターン検出状態に遷移する。

また、ステップＳ４８において、同一画像連続数カウンタ１５の連続数Ｃが設定数と一致しない場合、すなわち、プルダウンパターン記憶部１７に予め登録されているプルダウンパターンを構成する同一フィールド画像の設定数ではない場合、検出不能なプルダウンパターンとなるので、ステップＳ６２において、パターン判定部１６は、同一画像連続数カウンタ１５に記憶されている連続数Ｃ、マッチング数カウンタ１９のマッチング数Ｍ、および切れ目判定部１４において、閾値管理部１４ａにより管理されている所定閾値ｔｈを全て初期化すると共に、その旨を状態管理部２０に通知する。

ステップＳ６３において、状態管理部２０は、状態記憶部２１に記憶されている状態の情報を読み出し、状態をパターン判定状態から未検出状態に遷移させる。すなわち、図２における遷移Ｃ１１により、状態は、パターン判定状態から未検出状態に遷移する。

ここで、図３のフローチャートの説明に戻る。

ステップＳ４において、プルダウンパターン検出処理が終了すると、ステップＳ５において、プログレッシブ画像生成部２２は、プルダウンパターンが検出されてきたか否かを判定する。すなわち、プルダウンパターン検出処理は、１枚のフィールド画像ごとに実行される処理であるので、ステップＳ４１、Ｓ４４，Ｓ４７，Ｓ４８乃至Ｓ５８の順序で処理が実行されない限り、必ずしもプルダウンパターンが検出されない。

そこで、ステップＳ５において、プルダウンパターンが検出された場合、ステップＳ６において、プログレッシブ画像生成部２２は、プルダウンパターンに基づいて、バッファ１１−３より供給されてくる入力画像をプログレッシブ画像に変換して表示部２に表示させる。

一方、プルダウンパターンが検出されない場合、ステップＳ６の処理はスキップされ、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。

以上の処理を纏めると以下のようになる。すなわち、例えば、図８の場合、時刻ｔ０で検出が開始されると、時刻ｔ３までの間は、未検出状態で、図７のステップＳ４１乃至Ｓ４３の処理が繰り返され、時刻ｔ４において、切れ目が検出されるとパターン検出状態に遷移する。時刻ｔ４乃至ｔ８において、ステップＳ４１，Ｓ４４，Ｓ４５の処理が順次繰り返されることにより、同一画像連続数カウンタ１５に記憶されている連続数Ｃが順次インクリメントされていく。時刻ｔ９において、再び切れ目が検出されたタイミングで、状態がパターン判定状態に遷移する。このとき、連続数Ｃは設定数である４と一致するので、最初の処理として、マッチング数Ｍ＝１が５−５プルダウンに対応付けられてマッチング数カウンタ１９に記憶される。

さらに、下限値を１、上限値を２とすると、一旦保留状態とされた後、状態がパターン検出状態に遷移して、時刻ｔ１０乃至ｔ１３において、ステップＳ４１，Ｓ４４，Ｓ４５，Ｓ４６の処理が繰り返される。そして、時刻ｔ１４において、再び切れ目が検出されるタイミングで、状態がパターン判定状態に遷移する。このとき、連続数Ｃは、やはり設定数である４と一致するので、マッチング数Ｍがインクリメントされて、マッチング数Ｍ＝２が５−５プルダウンに対応付けられてマッチング数カウンタ１９に記憶される。

マッチング数Ｍが２となると上限値よりも大きいので、プルダウンパターン検出部１８は、マッチング数カウンタ１９に記憶されているマッチング数Ｍに対応付けて記憶されているプルダウンパターンを、入力画像のプルダウンパターンとしてプログレッシブ画像生成部２２に供給する。

時刻ｔ１５以降においては、同一のプルダウンパターンが継続している限り、切れ目が検出される度にマッチング数Ｍは大きくなり続けるので、プルダウンパターンが検出され続けることになる。

また、途中でプルダウンパターンが変化してもマッチング数Ｍが上限値を越えた時点で、再び新たなプルダウンパターンを検出することになるので、様々なプルダウンパターンが動的に変化するような画像であっても、プルダウンパターンを検出し続けることが可能となる。

尚、以上においては、相関値として画像間の画素間差分絶対値和を用いる例について説明してきたが、相関値は画像間の相関が表現できる値であればよいので、その他の相関値を用いるようにしてもよく、例えば、符号化された画像列のデコード前のストリームヘッダ情報を相関値として用いるようにしてもよい。

以上によれば、低いフレームレートのプログレッシブ画像から作成されたインターレス画像でも、補間処理によって補間画像を作成するのではなく、元となったプログレッシブ画像を、検出されたプルダウンパターンに基づいて、完全に復元することができるため、高画質化を実現することが可能となる。

また、フレームレートが変わった場合でもプルダウンパターンの検出を維持し続けることが可能なため、一旦プルダウンパターンの検出を終了してから再度プルダウンパターンを検出するまでに発生する画質の劣化を抑制することが可能となる。

さらに、シーンチェンジや、編集が加わっていそうな箇所では、プルダウンパターンが変化し、適切に処理できない場合、処理を保留するため、誤って異なるフィールド画像間で元となったプログレッシブ画像を復元してしまった際に発生するコーミング現象等の画質の劣化を抑制することが可能となる。

また、元の画像の変化が小さく、絵柄が、ノイズと区別の付きにくい微小な相関値となっていても、同一のフィールド画像と検出される連続数に応じて相関値に対する所定閾値を動的に変化させるため、アニメーションなどでありがちな微小な相関値に対しても精度よく検出を維持し続けることが可能となる。また、微小な変動の際にありがちなコーミングや補間処理による画質の劣化を抑え高画質化を図ることが可能となる。

さらに、元の画像に完全に相関が発生しなくても、検出を維持することが可能なため、そこから絵柄が変わっても、検出を維持することが可能となる。そのため、高画質な映像を維持することが出来る。

また、最低３枚のフィールド画像で、全てのプルダウンの検出を行うことが出来るため、フレームメモリを最小にすることが可能となる。尚、以上においては、３枚のフィールド画像を用いる例について説明してきたが、それ以上のフィールド画像を用いるようにしても良い。また、フィールド画像ではなく、フレーム画像を用いても良い。

さらに、複数のプルダウンパターン全てを一度に検出するため、プルダウンパターン毎に処理系統や回路を設ける必要がないので、処理量や回路規模の削減を図ることが可能となる。

以上によれば、特に、様々なフレームレートの入力画像に対して、単一の処理構成により、プルダウンパターンを検出することが可能となり、検出されたプルダウンパターンに基づいて、入力画像より元となるプログレッシブ画像を高い精度で再現することが可能となる。

ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。 画像処理を説明する状態遷移図である。 プログレッシブ画像生成処理を説明するフローチャートである。 相関値演算処理を説明するフローチャートである。 相関値演算処理を説明する図である。 相関値演算処理を説明する図である。 プルダウンパターン検出処理を説明するフローチャートである。 プルダウンパターン検出処理を説明する図である。 切れ目を判定する際の所定閾値の設定を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 画像処理装置， １１，１１−１乃至１１−３ バッファ， １２ 抽出部， １３ 相関値演算部， １４ 切れ目判定部， １５ 同一画像連続数カウンタ， １６ パターン判定部， １７ プルダウンパターン記憶部， １８ プルダウンパターン検出部， １９ マッチング数カウンタ， ２０ 状態管理部， ２１ 状態記憶部

Claims (9)

1. 連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算手段と、
   前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定手段と、
   前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウント手段と、
   前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定手段と、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウント手段と、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出手段と
   を含む画像処理装置。
2. 前記プルダウンパターン検出手段により検出された前記画像のプルダウンパターンに基づいて、前記画像より、プログレッシブ画像を生成するプログレッシブ画像生成手段をさらに含む
   請求項１に記載の画像処理装置。
3. 前記プルダウンパターン検出手段は、前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記一致回数が所定数よりも大きくなく、かつ、前記所定数よりも小さい他の所定数よりも大きいとき、前記所定のプルダウンパターンの検出を保留する
   請求項１に記載の画像処理装置。
4. 前記切れ目判定手段は、前記相関値が所定の閾値よりも大きいか否か、または、相関値同士の比較処理結果に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する
   請求項１に記載の画像処理装置。
5. 前記連続数に対応して、前記所定の閾値を小さくするように管理する閾値管理手段をさらに含む
   請求項４に記載の画像処理装置。
6. 前記相関値演算手段は、
   連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、画像の中央近傍の第１の領域の画素の相関値を演算し、
   前記プルダウンパターン検出手段が、前記所定のプルダウンパターンを検出できる状態のとき、連続的に入力されてくる画像のうち、前記注目画像を含む前後の参照画像との、前記画像の中央近傍の前記第１の領域よりも広い第２の領域の画素の相関値を演算する
   請求項１に記載の画像処理装置。
7. 連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算ステップと、
   前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定ステップと、
   前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウントステップと、
   前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定ステップと、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウントステップと、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出ステップと
   を含む画像処理方法。
8. 連続的に入力されてくる画像のうち、注目画像を含む前後の参照画像との相関値を演算する相関値演算ステップと、
   前記相関値に基づいて、前記注目画素が、所定数の連続した同一の画像の切れ目であるか否かを判定する切れ目判定ステップと、
   前記注目画像が切れ目であると判定されない場合、同一の画像が連続することを連続数として累積的にカウントする連続数カウントステップと、
   前記注目画像が切れ目であると判定された場合、直前の画像までの連続数と、所定のプルダウンパターンに対応した連続数である設定数とが一致するか否かを判定するパターン判定ステップと、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定されたとき、前記所定のプルダウンパターンとの一致回数をマッチング数としてカウントするマッチング数カウントステップと、
   前記注目画像が切れ目であると判定された場合、前記直前の画像までの連続数と、前記設定数とが一致すると判定され、さらに、前記マッチング数が所定数よりも大きいとき、前記設定数に対応する前記所定のプルダウンパターンを前記連続的に入力されてくる画像のプルダウンパターンとして検出するプルダウンパターン検出ステップと
   を含む処理をコンピュータに実行させるプログラム。
9. 請求項８に記載のプログラムが格納されているプログラム格納媒体。

Images