JP5305822B2 - 映像信号処理装置、及び方法、プログラム - Google Patents

Description

本発明は、特定のプルダウンパターンによって得られた画像の領域を特定する技術に関する。

動画像データを伝送、蓄積する際に用いる形式として、従来より毎秒６０フィールドのインタレース画像が広く用いられている。デジタル放送による伝送や、ＤＶＤによるディジタルデータの蓄積には、ＭＰＥＧ−２の動画符号化方式を用いて毎秒６０フィールドのインタレース画像を圧縮している。ビデオカメラによる撮影においても、毎秒６０フィールドのインタレース形式での撮影が一般的である。一方、映画の撮影、上映では毎秒２４フレームのプログレッシブ画像が広く用いられている。従って、映画を放送したり、ＤＶＤに記録する際には通常毎秒２４フレームのプログレッシブ画像を毎秒６０フィールドのインタレース画像に変換する作業が行われており、この変換は一般に２−３プルダウンと呼ばれている。また、このような映画に付加される字幕は、毎秒３０フレームのプログレッシブ画像として生成される場合がある。このような字幕データは、映画を放送したり、ＤＶＤに記録する際には毎秒６０フィールドのインタレース画像に変換作業が行われる。このように、毎秒３０フレームのプログレッシブ画像を毎秒６０フィールドのインターレース画像に変換する方式は、一般に２−２プルダウンと呼ばれている。

図１５（Ａ）−（ａ）は、毎秒２４フレームの映画本編の画像を示しており、図１５（Ａ）−（ｂ）は毎秒６０フィールドのインターレース画像を示している。２−３プルダウンは、Ａ、Ｂ、Ｃ、Ｄと連続したフレームを、Ａｅ、Ａｏ、Ｂｅ、Ｂｏ、Ｂｅ、Ｃｏ、Ｃｅ、Ｄｏ、Ｄｅ、Ｄｏのように、２−３−２−３のパターンでインターレース画像に分割する。インターレース画像同様に図１５（Ｂ）−（ａ）は、毎秒３０フレームの字幕画像を示しており、図１５（Ｂ）−（ｂ）は、字幕を２−２プルダウンによって得られた、毎秒６０フィールドのインターレース画像を示している。２−２プルダウンは、Ａ、Ｂ、Ｃ、Ｄと連続したフレームを、Ａｅ、Ａｏ、Ｂｅ、Ｂｏ、Ｃｅ、Ｃｏ、Ｄｅ、Ｄｏのように、２−２−２−２のパターンでインターレース画像に分割する。

２−３、２−２プルダウンされたインタレース画像を、それぞれプログレッシブ画像に変換（以下Ｉ／Ｐ変換）する手法としてウィーブが一般的に知られている。ウィーブは、前後のフィールドを組み合わせることによりプログレッシブ画像を生成する手法である。図１６（Ａ）、（Ｂ）はそれぞれ、２−３、２−２プルダウンされたインターレース画像がウィーブによりＩ／Ｐ変換される様子を示している。２−３プルダウンに関しては、後、前、後、前、前の順に、各インターレース画像との組み合わせられるのに対して、２−２プルダウンに関しては、後、前、後、前、後の順に、各インターレース画像と組み合わせられる。このように複数のプルダウンパターンの画素が混在している映像において、１つのプルダウンパターンに応じたＩ／Ｐ変換を行うと、それとは異なるプルダウンパターンの映像の画質が低下する場合がある。例えば映画本編のプルダウンパターンに応じたＩ／Ｐ変換をした場合、字幕が画面上に現れたり消えたりする瞬間に、字幕が現れたインターレース画像と字幕が現れていないインターレース画像がウィーブされると、字幕がぼやけてしまう場合がある。また、例えば字幕がスクロールによって移動すると、字幕部分の走査線方向に櫛状のノイズ（以下コーミング）が生じる場合がある。逆に、字幕のプルダウンパターンに応じたＩ／Ｐ変換を行うと、字幕は正常に表示されるが、映画の本編が乱れてしまう現象が生じる場合がある。

このような問題に対して、輝度差によって字幕を検出し、字幕部分とそれ以外の部分においてそれぞれ別のＩ／Ｐ変換を行うような手法が提案されている（例えば、特許文献１）。
特開２００７−０７４４３９号公報

しかしながら、映像によっては、特定のプルダウンパターンによって得られた画像の領域を誤って検出してしまう場合があった。

つまり、異なるプルダウンパターンによってそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のプルダウンパターンによって得られたインターレース画像の領域を特定しようとしても、その領域を誤検出してしまう場合があった。

言い換えると、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を特定できない場合があった。

例えば、輝度差によって字幕部分を特定しようとすると、字幕でない部分の輝度差によっては、字幕でない部分を字幕として誤検出してしまう恐れがあった。また、字幕でない部分が字幕として検出されてしまうと、その領域のＩ／Ｐ変換を、字幕のプルダウンパターンに応じた方式で行ってしまい、画質劣化などを引き起こす恐れがあった。また、字幕とその周囲の輝度によっては、字幕の領域が字幕として検出されない恐れがあった。

本発明の目的は、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を精度良く検出することである。

上記の問題点を解決するため、例えば本発明の映像信号処理装置は以下の構成を備える。

即ち、第１のフレームレートのプログレッシブ画像から得られた第３のフレームレートのインターレース画像内に、第２のフレームレートの字幕画像から得られた第３のフレームレートのインターレース画像が合成されたインターレース画像である第１の合成画像から、前記字幕画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置であって、前記インターレース画像である第１の合成画像を複数に分割した各領域が、前記第１の合成画像と前記第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か、前記第１の合成画像と前記第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する判定手段と、前記第１の合成画像内の各領域のうち、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数を比較して、少ない方の領域を前記字幕画像から得られたインターレース画像が合成された領域として特定する特定手段とを備える。

また、本発明の映像信号処理方法は、第１のフレームレートのプログレッシブ画像から得られた第３のフレームレートのインターレース画像内に、第２のフレームレートの字幕画像から得られた第３のフレームレートのインターレース画像が合成されたインターレース画像である第１の合成画像から、前記字幕画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置が行う映像信号処理方法であって、前記インターレース画像である第１の合成画像を複数に分割した各領域が、前記第１の合成画像と前記第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か、前記第１の合成画像と前記第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する判定工程と、前記第１の合成画像内の各領域のうち、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数を比較して、少ない方の領域を前記字幕画像から得られたインターレース画像が合成された領域として特定する特定工程とを備える。

本発明によれば、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を精度良く検出することができる。

また、本発明によれば、検出された領域に応じて、プログレッシブ画像の生成方法を切り替えることにより、より高画質な映像を得ることができる。

以下、添付画面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、第１の実施形態における映像信号処理装置の一例を示すブロック図である。なお、説明を簡単なものとするため、処理対象を映像信号の輝度信号とする例を説明するが、これに限定するものではない。つまり、映像信号には、輝度信号のほかに、例えば色信号が含まれていても良い。この場合、本発明を色信号に対して適用することも可能である。

図１に示す映像信号処理装置は、入力端子１、フィールドメモリ２、フィールドメモリ３、コーミング度算出部４、コーミング度算出部５を備える。また、映像信号処理装置は、ウィーブ判定部６、ブロック検出部７、字幕検出部８、動き適応Ｉ／Ｐ変換部９、ウィーブＩ／Ｐ変換部１０、セレクタ１１、出力端子１２を備える。

入力端子１は、インタレース映像信号を入力するための入力端子である。本実施形態において、入力端子１から入力されるインターレース映像信号は、毎秒６０枚のインターレース映像信号である。また、このインターレース映像信号は、異なるプルダウンパターンによって生成されたインターレース画像を含む合成画像の映像信号として入力される。つまり、例えば毎秒２４フレームのプログレッシブ画像（映画本編）が２−３プルダウンされた毎秒６０枚のインターレース画像と、毎秒３０フレームのプログレッシブ画像（字幕）が２−２プルダウンされた毎秒６０枚のインターレース画像の合成画像が入力される。

本実施形態の映像信号処理装置は、入力されたインターレース画像（合成画像）から、例えば毎秒３０フレームのプログレッシブ画像（字幕）から得られたインターレース画像が合成された領域を特定する。

フィールドメモリ２、フィールドメモリ３は、それぞれ、入力端子１から入力されたインタレース信号の１フィールド分を格納する容量を備える。

コーミング度算出部４と、コーミング度算出部５はそれぞれ、入力された２つのフィールドに基づいて、コーミング度をブロック単位で算出する。コーミング度算出の詳細は後述する。

ウィーブ判定部６は、コーミング度算出部４、５で算出されたコーミング度に応じて、現フィールドが前後何れのフィールドとウィーブするのが良いかを示すウィーブパターンをブロック単位で判定する。つまり、ウィーブ判定部６は、コーミング度に応じて、現フィールドと、前フィールドと組み合わせてフレーム（プログレッシブ画像）を生成するべきか、現フィールドと、後フィールドとを組み合わせてフレームを生成するべきかをブロックごとに判定する。尚、前フィールドは、現フィールドの前に入力されたフィールドである。また、後フィールドは、現フィールドの後に入力されたフィールドである。また、現フィールドは、本実施形態において字幕の領域の検出を行う対象となるインターレース画像、前フィールドは現フィールドの前に入力されたインターレース画像、後フィールドは現フィールドの後に入力されたインターレース画像である。

即ち、ウィーブ判定部６は、インターレース画像である合成画像（第１の合成画像）内の領域が、第１の合成画像と第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か判定する。また、ウィーブ判定部６は、第１の合成画像内の領域が、第１の合成画像と第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する。そして、ウィーブ判定部６は、各ウィーブパターンに判定されたブロック数をカウントする。

尚、本実施形態のウィーブ判定部６による判定結果には、現フィールドをどちらのフィールドとも組み合わせるべきではないパターン、及び、どちらのフィールドと組み合わせることもできるパターンも含まれる。ウィーブ判定部６によるウィーブ判定の処理は後述する。

ブロック検出部７は、フレーム全体において、大部分を占めるウィーブパターンを示すブロックをメインブロックとし、さらにメインブロックに対して逆のウィーブパターンを示すブロックをサブブロックとして特定する。尚、ブロック検出部７は、予め特定したい領域が取り得る広さの範囲を記憶しておき、その範囲に基づいて、メインブロック（大部分のウィーブパターンのブロック）とサブブロック（小部分のウィーブパターンのブロック）を特定する。すなわち、本形態において、メインブロックの領域は、映画本編の領域であると特定される。一方、サブブロックの領域は、字幕領域であると特定される。ブロック検出部７は、例えば、フレーム全体のうち、字幕領域が取り得る広さの範囲を予め記憶しておく。そして、判定されたブロック数が少ないウィーブパターンの領域の広さが、予め記憶された字幕領域が取り得る広さの範囲内であった場合、その領域をサブブロック（小部分のウィーブパターンのブロック）として特定する。そして、ブロック検出部７は、サブブロック以外の領域をメインブロック（大部分のウィーブパターンのブロック）として特定する。ただし、メインブロックの領域を先に特定するようにしても良い。

つまり、ブロック検出部７は、ウィーブ判定部６によって、例えば、フィールドの大部分のブロックが前フィールドと組み合わせて再生するフレーム（プログレッシブ画像）を生成するべきであると判定された場合、そのブロックをメインブロックとする。そして、ブロック検出部７は、現フィールドのうち、後フィールドと組み合わせて再生するフレーム（プログレッシブ画像）を生成するべきであると判定されたブロックを、サブブロックとして特定する。また、ブロック検出部７は、大部分を占めるウィーブのパターンも検出する。つまり、ブロック検出部７は、大部分を占めるウイーブパターンが、例えば、現フィールドと前フィールドの組み合わせのパターンであるということを検出する。

字幕検出部８は、サブブロック内において、対象画素と周辺画素との輝度差を算出することで字幕の領域を特定する。そして、字幕検出部８は、特定した字幕の領域に基づいて、セレクタ１１に対して字幕検出信号を出力する。

動き適応Ｉ／Ｐ変換部９は、フィールド情報に基づいて、動き適応Ｉ／Ｐ変換により画素の補間を行う。動き適用Ｉ／Ｐ変換とは、前後に再生されるフレームのデータに応じた動き情報によって算出される補間画素情報を用いてＩ／Ｐ変換する方法である。ここで、Ｉ／Ｐ変換とは、インタレース画像を、プログレッシブ画像に変換する手法である。ただし、動き適用Ｉ／Ｐ変換部９は、動き適用Ｉ／Ｐ変換に限らず、例えば、現フィールド内のデータを用いてインターレース画像を補間することで、フレーム画像を生成するなどしても良い。

ウィーブＩ／Ｐ変換部１０は、フィールド情報に基づいて、ウィーブによるＩ／Ｐ変換により画素の補間を行う。つまり、ウィーブＩ／Ｐ変換部１０は、ウィーブ判定部６により判定されたウィーブパターンに応じたフィールドと、現フィールドを組み合わせることにより、再生するフレームを生成する。

セレクタ１１は、動き適応Ｉ／Ｐ変換部９から出力されたフレームの画素データと、ウィーブＩ／Ｐ変換部１０から出力されたフレームの画素データとのうち、出力端子１２に出力する画素データを、字幕検出部８から出力された字幕検出信号により切り替える。つまり、セレクタ１１は、字幕部分だと判定された領域については、動き適用Ｉ／Ｐ変換部９から出力された画素を出力し、映画本編だと判定された領域については、ウィーブＩ／Ｐ変換部１０から出力された画素を出力する。

出力端子１２では、セレクタ１１による切り替えに応じて、動き適用Ｉ／Ｐ変換部９、或いはウィーブＩ／Ｐ変換部１０から出力されたプログレッシブ画像を不図示の出力装置に対して出力する。本実施形態における出力装置とは、例えば、プログレッシブ画像の再生に対応するデジタルテレビや、ＤＶＤレコーダなどである。

上記構成における映像信号処理装置の処理概要は次の通りである。

入力端子１より入力されたインターレースの映像信号（実施形態では、説明を簡単なものとするため、色成分の無い輝度信号とする）は、フィールドメモリ２、コーミング度算出部４、動き適応Ｉ／Ｐ変換部９、ウィーブＩ／Ｐ変換部１０にそれぞれ供給される。

フィールドメモリ２は、入力信号を１フィールド時間分遅延させ、その遅延した信号をフィールドメモリ３、コーミング度算出部４、コーミング度算出部５、動き適応Ｉ／Ｐ変換部９、ウィーブＩ／Ｐ変換部１０、字幕検出部８に出力する。

フィールドメモリ３は、フィールドメモリ２によって遅延された入力信号をさらに１フィールド分遅延させ、コーミング度算出部５、動き適応Ｉ／Ｐ変換部９、ウィーブＩ／Ｐ変換部１０に出力する。

コーミング度算出部４は、入力された２フィールドを、ブロックごとにウィーブすることによってプログレッシブ画像を構成させ、それぞれのブロックにおけるコーミング度を算出する。そして、算出されたコーミング度をウィーブ判定部６に出力する。ただし、コーミング度算出部４は、ブロックごとにウィーブする代わりに、２つのフィールドをウィーブすることによってフレームを構成させ、そのフレームを複数のブロックに分割し、それぞれのブロックにおけるコーミング度を算出するようにしても良い。

同様にコーミング度算出部５は、入力された２フィールドのウィーブにより生成されるフレームを複数のブロックに分割し、それぞれのブロックにおけるコーミング度を算出し、算出されたコーミング度をウィーブ判定部６に出力する。

ここで、コーミング度とは、２つのフィールドをウィーブしたことによって生成されるフレームに違和感があるかを評価するための値である。つまり、現フィールドにおいて、上下に隣接する画素に関連性がある場合に、現フィールドとほかのフィールドをウィーブしたことによって生成されたフレームにおいて上下に隣接する画素に関連性がなくなると、コーミングが発生している可能性が高い。従って、このような場合は、高いコーミング度が算出される。一方、現フィールドにおいて、上下に隣接する画素に関連性があった場合に、現フィールドとほかのフィールドをウィーブしたことによって生成されたプログレッシブ画像においても上下に隣接する画素に関連性があれば、コーミングが発生している可能性は低い。従って、このような場合は、低いコーミング度が算出される。

つまり、コーミング度算出部４は、現フィールドと、後フィールドを組み合わせてフレーム（プログレッシブ画像）を構成した場合に、そのフレームのブロックにおいて、コーミングが生じると判断できる場合、そのブロックのコーミング度を高く算出する。また、コーミング度算出部５は、現フィールドと、前フィールドを組み合わせてフレームを構成した場合に、そのフレームのブロックにおいて、コーミングが生じると判断できる場合、そのブロックのコーミング度を高く算出する。尚、後フィールドは現フィールドの後に入力されたフィールド、前フィールドは現フィールドの前に入力されたフィールドである。一方、コーミング度算出部４、及び５は、生成されたフレームのブロックにおいて、コーミングが生じていないと判断できる場合、そのブロックのコーミング度を低く算出する。コーミング度の算出方法の詳細は後述する。

ウィーブ判定部６は、コーミング度算出部４、５によってそれぞれ算出された、２つのコーミング度に基づいて、現フィールドのブロックごとにウィーブパターンを判定する。ウィーブ判定部６が判定するウィーブパターンには、現フィールドと前フィールドとのウィーブが最適であるというパターン（パターン１）、或は現フィールドと後フィールドとのウィーブが最適であるというパターン（パターン２）が含まれる。さらに、ウィーブ判定部６が判定するウィーブパターンには、どちらのウィーブも最適ではないというパターン（パターン３）、或いは、コーミング度ではウィーブパターンを判断できないというパターン（パターン４）も含まれる。ウィーブ判定部６は、判定したウィーブパターンをブロック検出部７に出力する。

ブロック検出部７は、現フィールドの大部分のブロックが、パターン１、及び、パターン２のうちいずれか一方のパターンを示している場合、他方のパターンを示す領域をサブブロックとして特定し、その領域情報を字幕検出部８に出力する。また、このとき、ブロック検出部７は、大部分のブロックが示すウィーブパターン（パターン１又はパターン２）を示す情報を、ウィーブＩ／Ｐ変換部１０に出力する。

即ち、ブロック検出部７は、前記第１の合成画像内に、第１の領域と第２の領域とが存在する場合、次のように字幕領域を特定する。尚、第１の領域とは、第１の合成画像の領域と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第１の合成画像の前に入力された第２の合成画像である領域である。また、第２の領域とは、第１の合成画像と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第１の合成画像の後に入力された第３の合成画像である領域である。この場合、それぞれの領域に応じて、第２のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域（字幕領域）を特定する。尚、第１の合成画像には現フィールドが、第２の合成画像には前フィールドが、第３の合成画像には後フィールドが対応する。

また、本形態のブロック検出部７は、第１の領域と第２の領域のうち、狭いほうの領域（サブブロックの領域）を字幕領域として特定する。

字幕検出部８は、現フィールドの画素と、ブロック検出部７から出力されたサブブロックの領域情報に基づいて、字幕を特定し、字幕検出信号をセレクタ１１に出力する。つまり、字幕検出部８は、ブロック検出部７によって検出されたサブブロックの領域情報から、字幕の領域をブロック単位で特定し、さらに該ブロック内の画素情報により、字幕の詳細な位置を絞り込む。

即ち、字幕検出部８は、第１の領域と第２の領域のうち、狭いほうの領域内の輝度情報によって、第２のフレームレートのプログレッシブ画像から得られたインターレース画像（字幕）が合成された画素の位置を特定する。尚、第１の領域は、第１の合成画像と組み合わせてフレームを構成すべきインターレース画像が第２の合成画像（前フィールド）である領域である。また、第２の領域は、第１の合成画像を組み合わせてフレームを構成すべきインターレース画像が第３の合成画像（後フィールド）である領域である。

動き適応Ｉ／Ｐ変換部９は、入力された３フィールド（前フィールド、現フィールド、後フィールド）に基づいて動き適応Ｉ／Ｐ変換を行い、算出画素をセレクタ１１に出力する。ただし、上述のように、動き適用Ｉ／Ｐ変換部９は、動き適用Ｉ／Ｐ変換に限らず、例えば、現フィールド内のデータを用いてインターレース画像を補間することで、フレーム画像を生成するなどしても良い。

ウィーブＩ／Ｐ変換部１０は、入力された３フィールドと、フィールドの大部分を占めるウィーブパターンに基づいてウィーブによるＩ／Ｐ変換を行い、算出画素をセレクタ１１に出力する。

セレクタ１１は、動き適応Ｉ／Ｐ変換部９とウィーブＩ／Ｐ変換部１０からの出力を、字幕検出部８から出力された字幕検出信号によって切り替えて、出力端子１２より出力する。

上記のように構成された映像信号処理装置が行う、字幕の検出処理、及び検出結果に応じた映像信号の補正処理についてさらに詳しく説明する。

入力端子１より入力されたインターレース画像はフィールドメモリ２に蓄積される。フィールドメモリ２は、１フィールド分のメモリを有し、入力端子１からのインターレース画像を１フィールド時間分遅延させる。つまり、フィールドメモリ２は、入力端子１から入力された、あるインターレース画像（第１のインターレース画像）を、次のインターレース画像（第２のインターレース画像）の入力まで記憶する。そして、フィールドメモリ２は、第２のインターレース画像が入力されるタイミングに、第１のインターレース画像を、フィールドメモリ３、コーミング度算出部４、及び５、字幕検出部８、動き適用Ｉ／Ｐ変換部９、及びウィーブＩ／Ｐ変換部１０に出力する。つまり、フィールドメモリ２から出力されるインターレース画像は、入力端子１から入力されるインターレース画像よりも１フィールド時間分遅延されたものとなる。

また、フィールドメモリ２から出力されるインターレース画像はフィールドメモリ３に蓄積される。フィールドメモリ３は、１フィールド分メモリを有し、フィールドメモリ２からのインターレース画像を１フィールド時間分遅延させる。つまり、フィールドメモリ３は、フィールドメモリ２から出力された、あるインターレース画像（第２のインターレース画像）を、次のインターレース画像（第３のインターレース画像）の入力まで記憶する。そして、フィールドメモリ３は、第３のインターレース画像が入力されるタイミングに、第２のインターレース画像を、コーミング度算出部５、動き適用Ｉ／Ｐ変換部９、及びウィーブＩ／Ｐ変換部１０にそれぞれ出力する。つまり、フィールドメモリ３から出力されるインターレース画像は、入力端子１から入力されるインターレース画像よりも、２フィールド時間分遅延されたものとなる。

本形態では、２フィールド時間分遅延されたインターレース画像（第１のインターレース画像）を前フィールドとする。また、１フィールド時間分遅延されたインターレース画像（第２のインターレース画像）を現フィールド、入力されたインターレース画像（第３のインターレース画像）を後フィールドとする。つまり、入力端子１から、第１のインターレース画像、第２のインターレース画像、第３のインターレース画像が、順次入力される。そして、第３のインターレース画像（後フィールド）が入力端子１から入力されると、フィールドメモリ２には、第３のインターレース画像（後フィールド）が記憶される。また、このとき、フィールドメモリ３には、第２のインターレース画像（現フィールド）が記憶されている。

さらに、このとき、コーミング度算出部４には、第２のインターレース画像（現フィールド）と第３のインターレース画像（後フィールド）が記憶されている。また、コーミング度算出部５には、第１のインターレース画像（前フィールド）と第２のインターレース画像（現フィールド）が記憶されている。また、動き適用Ｉ／Ｐ変換部９、及び、ウィーブＩ／Ｐ変換部１０には、それぞれ、第１、第２、第３のインターレース画像（前フィールド、現フィールド、後フィールド）が記憶されている。また、字幕検出部８には、第２のインターレース画像（現フィールド）が記憶されている。

コーミング度算出部４は、ブロック単位でのコーミング度の算出を、１フレームに渡って行う。つまり、コーミング度算出部４は、現フィールド、及び後フィールドとを組み合わせることで構成されるフレームを複数のブロックに分割し、各ブロックにおけるコーミング度を算出する。本実施形態では、１９２０ｘ１０８０画素の画像（フレーム）を分割した２４０ｘ１３５画素のブロックごとにコーミング度を算出するものとする。ただし、フレームのサイズ、ブロックのサイズはこれに限らない。

コーミング度算出部４は、図２に示すような、現フィールドと後フィールドを組み合わせる（ウィーブ）ことで生成されたフレームを入力とする。これを、前述のように、２４０ｘ１３５画素のブロックに分割する。コーミング度算出部４は、各ブロックのコーミング度を次のように算出する。

コーミング度算出部４は、まず、２つのフィールドのウィーブにより生成されたフレームのある１つのブロック内において、各画素とその上下の画素を含む周辺の画素を用いて、各画素を中心とした小エリアのコーミング度を算出する。つまり、コーミング度算出部４は、フレームを構成するブロックをさらに複数の小エリアに分割し、その小エリアのコーミング度を算出する。コーミング度算出部４は、小エリアのコーミング度が閾値よりも大きければその小エリアの中心画素はコーミング画素であると判定する。すなわち、コーミング度算出部４は、小エリアにおいて、上下に隣接する画素の相関性が低い場合、その小エリアの中心画素をコーミング画素として判定する。さらに、コーミング度算出部４は、ブロック内におけるコーミング画素の個数をカウントすることにより、そのブロックのコーミング度を算出する。本実施形態の小エリアは、現フィールド３ｘ２画素、後フィールド３ｘ３画素であるとする。ただし、小エリアのサイズはこれに限らない。図３に示すように、現フィールドの小エリアの画素値をＣ００−Ｃ１２、後フィールドの小エリアの画素値をＮ００−Ｎ２２とする。以下、処理の詳細を述べる。

コーミング度算出部４は、まず、図４に示すように、現フィールドにおける小エリアの画素と後フィールドにおける小エリアの画素を用いてフレームを構成させ、さらにそれを３つの小エリアブロックに分割する。それぞれの小エリアブロックを、図４の上からブロックＡ、ブロックＢ、ブロックＣとした場合、各小エリアブロックにおいて次のような演算が行われる。但し、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの値の内もっとも小さい値を算出し、ｍａｘ（ａ，ｂ，ｃ）はａ，ｂ，ｃの値の内もっとも大きい値を算出し、｜ａ｜はａの絶対値を算出するものとする。
ブロックＡ：
Ａ１＝ｍｉｎ（｜Ｎ００−Ｃ００｜，｜Ｎ０１−Ｃ０１｜，｜Ｎ０２−Ｃ０２｜）
Ａ２＝ｍｉｎ（｜Ｃ００−Ｎ１０｜，｜Ｃ０１−Ｎ１１｜，｜Ｃ０２−Ｎ１２｜）
Ａ３＝ｍｉｎ（｜Ｎ００−Ｎ１０｜，｜Ｎ０１−Ｎ１１｜，｜Ｎ０２−Ｎ１２｜）
ＳＡ＝Ａ１＋Ａ２−Ａ３
ブロックＢ：
Ｂ１＝ｍｉｎ（｜Ｃ００−Ｎ１０｜，｜Ｃ０１−Ｎ１１｜，｜Ｃ０２−Ｎ１２｜）
Ｂ２＝ｍｉｎ（｜Ｎ１０−Ｃ１０｜，｜Ｎ１１−Ｃ１１｜，｜Ｎ１２−Ｃ１２｜）
Ｂ３＝ｍｉｎ（｜Ｃ００−Ｃ１０｜，｜Ｃ０１−Ｃ１１｜，｜Ｃ０２−Ｃ１２｜）
ＳＢ＝Ｂ１＋Ｂ２−Ｂ３
ブロックＣ：
Ｃ１＝ｍｉｎ（｜Ｎ１０−Ｃ１０｜，｜Ｎ１１−Ｃ１１｜，｜Ｎ１２−Ｃ１２｜）
Ｃ２＝ｍｉｎ（｜Ｃ１０−Ｎ２０｜，｜Ｃ１１−Ｎ２１｜，｜Ｃ１２−Ｎ２２｜）
Ｃ３＝ｍｉｎ（｜Ｎ１０−Ｎ２０｜，｜Ｎ１１−Ｎ２１｜，｜Ｎ１２−Ｎ２２｜）
ＳＣ＝Ｃ１＋Ｃ２−Ｃ３

つまり、Ａ１は、現フィールドと後フィールドを組み合わせたフレームの小エリアブロックであるブロックＡにおいて、上下に隣接する画素値の差が大きいほど大きな値が算出される。また、Ａ２も同様である。そして、Ａ３は、後フィールドにおいて上下に隣接する画素値の差が大きいほど大きな値が算出される。従って、ＳＡは、現フィールドと後フィールドを組み合わせたフレームにおいて、上下に隣接する画素値が大きく、後フィールドにおいて上下に隣接する画素値の差が小さいほど大きな値が算出される。ＳＢ、ＳＣの考え方もＳＡと同様である。

さらに、コーミング度算出部４は、各小エリアブロックの演算結果を基に、次式に従って該小エリアのコーミング度（ｓｃｏｒｅ１）を算出する。
Ｍ１＝ｍｉｎ（ＳＡ，ＳＢ）
Ｍ２＝ｍｉｎ（ＳＢ，ＳＣ）
ｓｃｏｒｅ１＝ｍａｘ（Ｍ１，Ｍ２）
このｓｃｏｒｅ１が閾値（ｂａｄ＿ｂｌｏｃｋ＿ｎｕｍ＿ｔｈｒｅｓｈｏｌｄ）よりも大きければ、この小エリアの中心画素はコーミング画素と判定される。つまり、コーミング度算出部４は、図３における小エリアのコーミング度が閾値よりも高い場合、Ｎ１１の位置に対応する画素がコーミング画素であると判定される。

即ち、コーミング度は、インターレース画像を組み合わせたフレームにおける上下に隣接する画素値の差に基づく値である。

さらに、コーミング度算出部４は、小エリアの中心画素がコーミング画素であると判定した場合、ブロック内のコーミング画素の個数を示すｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ１をインクリメントする。１つのブロックが全てコーミング画素であった場合のｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ１をｂａｄ＿ｂｌｏｃｋ＿ｍａｘ１とすると、このブロックのコーミング度ｃｏｍｂ１は、
ｃｏｍｂ１＝ｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ１／ｂａｄ＿ｂｌｏｃｋ＿ｍａｘ１
で算出される。つまり、コーミング度算出部４は、ブロック内の画素数と、ブロック内でコーミング画素と判定された画素数に応じて、ブロックのコーミング度（ｃｏｍｂ１）を算出する。コーミング度（ｃｏｍｂ１）は、現フィールドと後フィールドを組み合わせたフレームにおける、ある１つの注目ブロックのコーミング度である。

コーミング度算出部４は、上記のような方法で、現フィールドと後フィールドとのウィーブによって生成されたフレーム内の各ブロックのコーミング度を算出する。これによって、現フィールドと後フィールドとを組み合わせたフレーム内の全てのブロックがコーミング度を持つことになる。

同様にコーミング度算出部５に関しても詳細を述べる。処理の概要はコーミング度算出部４と同様である。コーミング度算出部５は図５に示すように、現フィールドと前フィールドを組み合わせる（ウィーブ）ことで生成されたフレームを入力とする。これを、前述のように、２４０ｘ１３５画素のブロックに分割する。コーミング度算出部５は、各ブロックのコーミング度を次のように算出する。

コーミング度算出部５は、まず、２つのフィールドのウィーブにより生成されたフレームのある１つのブロック内において、各画素とその周辺の画素を用いて、各画素を中心とした小エリアのコーミング度を算出する。つまり、コーミング度算出部５は、フレームを構成するブロックをさらに複数の小エリアに分割しその小エリアのコーミング度を算出する。小エリアのコーミング度が閾値よりも大きければその小エリアの中心画素はコーミング画素であると判定する。さらに、コーミング度算出部５は、ブロック内におけるコーミング画素の個数をカウントすることにより、そのブロックのコーミング度を算出する。上記のように、本実施形態の小エリアは、現フィールド３ｘ２画素、後フィールド３ｘ３画素で構成されるエリアとする。図６に示すように、現フィールドの小エリアの画素値をＣ００−Ｃ１２、前フィールドの小エリアの画素値をＰ００−Ｐ２２とする。以下、処理の詳細を述べる。

コーミング度算出部５は、図７に示すように、現フィールドにおける小エリアの画素と前フィールドにおける小エリアの画素を用いてフレームを構成させ、さらにそれを３つの小エリアブロックに分割する。それぞれの小エリアブロックを、図７の上からブロックＤ、ブロックＥ、ブロックＦとした場合、各小エリアブロックにおいて次のような演算が行われる。
ブロックＤ：
Ｄ１＝ｍｉｎ（｜Ｐ００−Ｃ００｜，｜Ｐ０１−Ｃ０１｜，｜Ｐ０２−Ｃ０２｜）
Ｄ２＝ｍｉｎ（｜Ｃ００−Ｐ１０｜，｜Ｃ０１−Ｐ１１｜，｜Ｃ０２−Ｐ１２｜）
Ｄ３＝ｍｉｎ（｜Ｐ００−Ｐ１０｜，｜Ｐ０１−Ｐ１１｜，｜Ｐ０２−Ｐ１２｜）
ＳＤ＝Ｄ１＋Ｄ２−Ｄ３
ブロックＥ：
Ｅ１＝ｍｉｎ（｜Ｃ００−Ｐ１０｜，｜Ｃ０１−Ｐ１１｜，｜Ｃ０２−Ｐ１２｜）
Ｅ２＝ｍｉｎ（｜Ｐ１０−Ｃ１０｜，｜Ｐ１１−Ｃ１１｜，｜Ｐ１２−Ｃ１２｜）
Ｅ３＝ｍｉｎ（｜Ｃ００−Ｃ１０｜，｜Ｃ０１−Ｃ１１｜，｜Ｃ０２−Ｃ１２｜）
ＳＥ＝Ｅ１＋Ｅ２−Ｅ３
ブロックＦ：
Ｆ１＝ｍｉｎ（｜Ｐ１０−Ｃ１０｜，｜Ｐ１１−Ｃ１１｜，｜Ｐ１２−Ｃ１２｜）
Ｆ２＝ｍｉｎ（｜Ｃ１０−Ｐ２０｜，｜Ｃ１１−Ｐ２１｜，｜Ｃ１２−Ｐ２２｜）
Ｆ３＝ｍｉｎ（｜Ｐ１０−Ｐ２０｜，｜Ｐ１１−Ｐ２１｜，｜Ｐ１２−Ｐ２２｜）
ＳＦ＝Ｆ１＋Ｆ２−Ｆ３

つまり、Ｄ１は、現フィールドと前フィールドを組み合わせたフレームの小エリアブロックであるブロックＤにおいて、上下に隣接する画素値の差が大きいほど大きな値が算出される。また、Ｄ２も同様である。そして、Ｄ３は、前フィールドにおいて上下に隣接する画素値の差が大きいほど大きな値が算出される。従って、ＳＤは、現フィールドと前フィールドを組み合わせたフレームにおいて、上下に隣接する画素値が大きく、前フィールドにおいて上下に隣接する画素値の差が小さいほど大きな値が算出される。ＳＥ、ＳＦの考え方もＳＤと同様である。

さらに、コーミング度算出部５は、各小エリアブロックの演算結果を基に、次式に従って該小エリアのコーミング度（ｓｃｏｒｅ２）を算出する。
Ｍ３＝ｍｉｎ（ＳＤ，ＳＥ）
Ｍ４＝ｍｉｎ（ＳＥ，ＳＦ）
ｓｃｏｒｅ２＝ｍａｘ（Ｍ３，Ｍ４）

このｓｃｏｒｅ２が閾値（ｂａｄ＿ｂｌｏｃｋ＿ｎｕｍ＿ｔｈｒｅｓｈｏｌｄ）よりも大きければ、この小エリアの中心画素はコーミング画素と判定される。つまり、コーミング度算出部５は、図６における小エリアのコーミング度が閾値よりも高い場合、Ｐ１１の位置に対応する画素がコーミング画素であると判定される。さらに、コーミング度算出部５は、小エリアの中心画素がコーミング画素であると判定した場合、ブロック内のコーミング画素の個数を示すｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ２をインクリメントする。１つのブロックが全てコーミング画素であった場合のｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ２をｂａｄ＿ｂｌｏｃｋ＿ｍａｘ２とすると、このブロックのコーミング度ｃｏｍｂ２は、
ｃｏｍｂ２＝ｂａｄ＿ｂｌｏｃｋ＿ｃｏｕｎｔ２／ｂａｄ＿ｂｌｏｃｋ＿ｍａｘ２
で算出される。つまり、コーミング度算出部５は、ブロック内の画素数と、ブロック内でコーミング画素と判定された画素数に応じて、ブロックのコーミング度（ｃｏｍｂ２）を算出する。コーミング度（ｃｏｍｂ２）は、現フィールドと前フィールドを組み合わせたフレームにおける、ある１つの注目ブロックのコーミング度である。

コーミング度算出部５は、上記のような方法で、現フィールドと前フィールドとのウィーブによって生成されたフレーム内の各ブロックのコーミング度を算出する。これによって現フィールドと前フィールドを組み合わせたフレーム内の全てのブロックがコーミング度を持つことになる。

ウィーブ判定部６は、コーミング度算出部４、コーミング度算出部５からの出力であるコーミング度が入力されると、各ブロックのウィーブパターンを判定する。

図８は、ウィーブ判定部６によるウィーブパターンの判定処理を示すフローチャートである。ここでは、コーミング度の閾値をｍｂ＿ｔｈする。つまり、例えば、算出されたあるウィーブパターンのコーミング度が閾値ｍｂ＿ｔｈよりも高い場合、そのブロックにおいてコーミングが発生する可能性が高いと判定する。この閾値ｍｂ＿ｔｈは、例えば、０．６などの値に設定することができる。ただし、別の値であっても良い。

また、ウィーブ判定部６は、ｃｏｍｂ１、ｃｏｍｂ２、ｍｂ＿ｔｈによって定まるｆｉｅｌｄ＿ｐａｉｒがｐａｔｔｅｒｎ１のときは現フィールドと前フィールドの組み合わせが最適である（パターン１）と判定する。また、ｆｉｅｌｄ＿ｐａｉｒがｐａｔｔｅｒｎ２のときは現フィールドと後フィールドの組み合わせが最適である（パターン２）と判定する。また、ｆｉｅｌｄ＿ｐａｉｒがｐａｔｔｅｒｎ３のときは前後いずれのフィールドとの組み合わせも最適ではない（パターン３）と判定する。また、ウィーブ判定部６は、ｆｉｅｌｄ＿ｐａｉｒがｐａｔｔｅｒｎ４のときは、前後いずれのフィールドとの組み合わせでもコーミングは発生しないと判定する（パターン４）。パターン４の場合、過去のパターン情報によって現フィールドと何れのフィールドを組み合わせるべきなのかを決定する。ただし、本形態においては、パターン４の場合のウィーブパターンの決定は、セレクタ１１において行う。ウィーブ判定部６は、判定されたパターンに基づく信号をブロック検出部７に対して出力する。以下、ウィーブ判定部６による処理の詳細について、図８を用いて説明する。尚、ウィーブ判定部６は、図８の処理を、フレーム内のブロック（注目ブロック）ごとに、現フィールド内のすべてのブロックに対して行う。

まず、変数ｎを０に初期化する（Ｓ１０１）。

次にｃｏｍｂ１と閾値ｍｂ＿ｔｈを比較する（Ｓ１０２）。上述のように、ｃｏｍｂ１は、現フィールドと後フィールドを組み合わせたフレームにおける、ある１つの注目ブロックのコーミング度である。つまり、ｃｏｍｂ１が閾値ｍｂ＿ｔｈよりも大きいということは、現フィールドと後フィールドを組み合わせたフレームの注目ブロックにおいて、コーミングが生じていると判断できることを意味している。このｍｂ＿ｔｈは、任意の値に設定することが可能である。ｃｏｍｂ１が閾値ｍｂ＿ｔｈよりも大きければ、Ｓ１０７に進む。一方、ｃｏｍｂ１が閾値ｍｂ＿ｔｈよりも小さければＳ１０３に進む。

Ｓ１０７では、ｎをインクリメントし、Ｓ１０３に進む。

Ｓ１０３において、ウィーブ判定部６は、ｃｏｍｂ２と閾値ｍｂ＿ｔｈを比較する。上述のように、ｃｏｍｂ２は、現フィールドと前フィールドを組み合わせたフレームにおける、ある１つの注目ブロックのコーミング度である。つまり、ｃｏｍｂ２が閾値ｍｂ＿ｔｈよりも大きいということは、現フィールドと前フィールドを組み合わせたフレームの注目ブロックにおいて、コーミングが生じていると判断できることを意味している。ｃｏｍｂ２が閾値ｍｂ＿ｔｈよりも大きければＳ１０８に進む。一方、ｃｏｍｂ２が閾値ｍｂ＿ｔｈよりも小さければＳ１０４に進む。

Ｓ１０８ではｎをインクリメントし、Ｓ１０４に進む。

Ｓ１０４では、ｎの値が１かどうかを調べる。ｎが１というのは、ｃｏｍｂ１またはｃｏｍｂ２のいずれかが閾値ｍｂ＿ｔｈを上回り、他方が閾値ｍｂ＿ｔｈを下回ったことを意味する。つまり、現フィールドの注目ブロックにおいて、前または後のフィールドとの組み合わせによってコーミングが生じているが、他方のフィールドとの組み合わせではコーミングが生じていないことを示している。ウィーブ判定部６は、このような場合、コーミングが生じていないフィールドとの組み合わせが最適であると判断する。

Ｓ１０４において、ｎが１であると判定された場合は、Ｓ１０６に進み、ｎが１ではないと判定された場合は、Ｓ１０５に進む。

Ｓ１０６において、ウィーブ判定部６は、ｃｏｍｂ１とｃｏｍｂ２との大小関係を比較する。Ｓ１０６においてｃｏｍｂ１がｃｏｍｂ２よりも大きいと判定された場合はＳ１１１に進み、ｃｏｍｂ１がｃｏｍｂ２よりも小さいと判定された場合はＳ１１２に進む。

即ち、ウィーブ判定部６は、Ｓ１０６において、インターレース画像である第１の合成画像（現フィールド）と組み合わせてプログレッシブ画像を構成すべきインターレース画像が、第２の合成画像（前フィールド）か、第３の合成画像（後フィールド）かを判定する。尚、第２の合成画像は第１の合成画像の前に入力された合成画像、第３の合成画像は第１の合成画像の後に入力された合成画像である。

Ｓ１１１において、ウィーブ判定部６は、現フィールドと前フィールドとを組み合わせて再生フレームの注目ブロックを構成することが最適であると判定し（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ１）、そのことを示す信号をブロック検出部７に出力する。つまり、ウィーブ判定部６は、現フィールドと後フィールドとを組み合わせて注目ブロックを構成させるとコーミングが発生し、現フィールドと前フィールドとを組み合わせるとコーミングが発生しないと判定する。そして、前フィールドとの組み合わせが最適であること（パターン１）を示す信号をブロック検出部７に出力する。

一方、ウィーブ判定部６は、Ｓ１１２において、現フィールドと後フィールドとを組み合わせて再生フレームの注目ブロックを構成することが最適であると判定し（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ２）、そのことを示す信号をブロック検出部７に出力する。つまり、ウィーブ判定部６は、現フィールドと前フィールドとを組み合わせて注目ブロックを構成するとコーミングが発生し、現フィールドと後フィールドとを組み合わせて注目ブロックを構成するとコーミングが発生しないと判定する。そして、後フィールドとの組み合わせが最適であること（パターン２）を示す信号をブロック検出部７に出力する。

即ち、ウィーブ判定部６は、第１の合成画像（現フィールド）と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第２の合成画像（前フィールド）か第３の合成画像（後フィールド）かを、コーミング度によって判定する。また、上述のように、コーミング度は、インターレース画像を組み合わせたフレームにおける上下に隣接する画素値の差に基づく値である。また、コーミング度は、第１の合成画像（現フィールド）と第２の合成画像（前フィールド）とを組み合わせたフレーム、及び、第１の合成画像と前記第３の合成画像（後フィールド）とを組み合わせたフレームにおいて、それぞれ算出される。

また、ウィーブ判定部６は、Ｓ１０４において、ｎが１でないと判定すると、Ｓ１０５において、ｎが２であるか否かを判定する。ｎが２となるのは、ｃｏｍｂ１とｃｏｍｂ２の両方ともが閾値ｍｂ＿ｔｈよりも大きな値であったことを示している。つまり、ｎが２というのは、現フィールドと前フィールドの組み合わせ、及び、現フィールドと後フィールドの組み合わせの両方で、注目ブロックにおいてコーミングが生じており、前後いずれのフィールドとの組み合わせも適さないことを意味している。Ｓ１０５において、ｎが２であると判定された場合はＳ１１０に、ｎが２ではないと判定された場合はＳ１０９に進む。

Ｓ１１０において、ウィーブ判定部６は、前と後のどちらのフィールドとの組み合わせも適切ではないと判定し（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ３）、そのことを示す信号をブロック検出部７に出力する。つまり、ウィーブ判定部６は、現フィールドと前フィールドを組み合わせた注目ブロックにおいても、現フィールドと後フィールドを組み合わせた注目ブロックにおいてもコーミングが発生する場合、どちらのフィールドとの組み合わせも適切でないと判定する。そして、ウィーブ判定部６は、そのこと（パターン３）を示す信号をブロック検出部７に出力する。

Ｓ１０４において、ウィーブ判定部６は、ｎ＝０であると判定する。ｎが０というのは、現フィールドと前フィールドの組み合わせ、及び、現フィールドと後フィールドの組み合わせの両方で、注目ブロックにおいてコーミングが発生していないと判定された場合を示している（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ４）。この状況は、例えば、画像全体に動きが少ない場合や、２−３プルダウンによって得られた３フィールドのうち、真中のフィールドが現フィールドである場合に起こる。この場合は、コーミング度によって最適な合成フィールドを判断することはできない。ウィーブ判定部６は、このようなパターン（パターン４）が発生した場合、そのことを示す信号をブロック検出部７に出力する。

尚、セレクタ１１は、このようなパターン（パターン４）と判定されたブロックのウィーブパターンを、例えば、現フィールドのほかのブロックのウィーブパターンによって判定することができる。つまり、例えば、パターン１とパターン２のうち多いほうのパターンにしたがって、パターン４に判定されたブロックのウィーブパターンを判定することができる。ただし、この方法に限らず、例えば、パターン４のウィーブパターンを、過去のパターン検出結果に基づいて判定するようにしても良い。つまり、セレクタ１１は、これまでに入力されたフィールドのウィーブパターンに従って、現在の注目ブロックのウィーブパターンを判定するようにしても良い。

ウィーブ判定部６は、上記のようにして注目ブロックのウィーブのパターンを判定し、その結果をブロック検出部７に出力する。そして、ウィーブ判定部６は、判定したウィーブパターンをブロック検出部７に出力すると、注目ブロックを１つずらして、図８の処理を行う。

ブロック検出部７は、ウィーブ判定部６から出力される、ウィーブパターンｂｌｏｃｋ＿ｐａｔｔｅｒｎを入力とする。そして、ブロック検出部７は、入力されたブロックごとのウィーブパターンに応じて、フレーム内における字幕領域をブロック単位で特定する。

図９を用いて、ブロック検出部７による具体的な処理の流れを説明する。ここでは説明のため、１フィールドにおけるブロック数を、ｂｌｏｃｋ＿ｍａｘ、閾値をｍｊ＿ｔｈとする。また、ｐ＝ｐａｔｔｅｒｎ１、ｎ＝ｐａｔｔｅｒｎ２、ｂ＝ｐａｔｔｅｒｎ４とする。尚、本形態のブロック検出部７は、前後どちらのインターレース画像ともウィーブしないパターン（パターン３）については、その数をカウントしない。

まず、Ｓ２０１において、１フィールド内の各ブロックにおけるウィーブパターンのカウント値であるｎ＿ｃｏｕｔ、ｐ＿ｃｏｕｎｔ、ｂ＿ｃｏｕｎｔを初期化する。また、フィールド内のブロックの位置を示すｂｌｏｃｋ＿ｃｏｕｎｔを初期化する。次に、Ｓ２０２において、ｂｌｏｃｋ＿ｃｏｕｎｔをインクリメントする。このとき、ｂｌｏｃｋ＿ｃｏｕｎｔ＝１がフィールド内での最初のブロック、ｂｌｏｃｋ＿ｃｏｕｎｔ＝ｌａｓｔ＿ｂｌｏｃｋが１フィールド内での最後のブロックであるとする。次に、ブロックにおける最適パターンを示すｂｌｏｃｋ＿ｐａｔｔｅｒｎが何であるかによって、処理を切り替える。

まず、Ｓ２０３においてｂｌｏｃｋ＿ｐａｔｔｅｒｎがｎであるか判断し、もしｎであればＳ２０７においてｎ＿ｃｏｕｎｔをインクリメントする。もしｎでなければＳ２０４の処理に進む。ここで、ｂｌｏｃｋ＿ｐａｔｔｅｒｎがｎであるとは、現在のｂｌｏｃｋ＿ｃｏｕｎｔに応じたブロックのウィーブパターンが、現フィールドと後フィールドとの組み合わせのパターン１（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ１）と判定されたことを示している。

Ｓ２０４では、ｂｌｏｃｋ＿ｐａｔｔｅｒｎがｐであるか判断し、もしｐであればＳ２０８においてｐ＿ｃｏｕｎｔをインクリメントする。もしｐでなければＳ２０５の処理に進む。ここで、ｂｌｏｃｋ＿ｐａｔｔｅｒｎがｐであるとは、現在のｂｌｏｃｋ＿ｃｏｕｎｔに応じたブロックのウィーブパターンが、現フィールドと前フィールドとの組み合わせのパターン２（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ２）と判定されたことを示している。

Ｓ２０５では、ｂｌｏｃｋ＿ｐａｔｔｅｒｎがｂであるか判断し、もしｂであればＳ２０９においてｂ＿ｃｏｕｎｔをインクリメントする。もしｂでなければＳ２０６の処理に進む。ここで、ｂｌｏｃｋ＿ｐａｔｔｅｒｎがｂであるとは、現在のｂｌｏｃｋ＿ｃｏｕｎｔに応じたブロックのウィーブパターンが、ウィーブ判定部６によって判定できなかったパターン４（ｆｉｅｌｄ＿ｐａｉｒ＝ｐａｔｔｅｒｎ４）と判定されたことを示す。

Ｓ２０６では、ｂｌｏｃｋ＿ｃｏｕｎｔが、最後のブロックを示すｌａｓｔ＿ｂｌｏｃｋであるかを判定する。ｂｌｏｃｋ＿ｃｏｕｎｔがｌａｓｔ＿ｂｌｏｃｋである、つまり、現フィールドのすべてのブロックに対してウィーブパターンのカウントが終了した場合は、Ｓ２１０に進み、そうでなければＳ２０２の処理に戻る。

Ｓ２１０において、ブロック検出部７は、ｎ＿ｃｏｕｎｔとｐ＿ｃｏｕｎｔの値の大きさを比較する。ｎ＿ｃｏｕｎｔの方が大きければ（Ｓ２１０の判定でＮｏ）、Ｓ２１２に進み、ｐ＿ｃｏｕｎｔの方が大きければ（Ｓ２１０の判定でＹｅｓ）Ｓ２１１に進む。

Ｓ２１２において、ブロック検出部７は、ｎ＿ｃｏｕｎｔにｂ＿ｃｏｕｎｔを加算し、ｍとして、Ｓ２１３に進む。つまり、ｐ＿ｃｏｕｎｔよりもｎ＿ｃｏｕｎｔのほうが大きい場合は、現フィールドと前フィールドを組み合わせるよりも、現フィールドと後フィールドと組み合わせたほうが、コーミングが生じないブロックが多いことを示している。したがって、ｎ＿ｃｏｕｎｔのほうが大きい場合は、現フィールドと後フィールドを組み合わせるウィーブパターン（パターン２）に判定されたブロック、及び、パターン４に判定されたブロックがメインブロックとなる。また、このとき、現フィールドと前フィールドを組み合わせるウィーブパターン（パターン１）に判定されたブロックがサブブロック（字幕の領域）となる。

一方、Ｓ２１１において、ブロック検出部７は、ｐ＿ｃｏｕｎｔにｂ＿ｃｏｕｎｔを加算し、ｍとして、Ｓ２１３に進む。つまり、ｎ＿ｃｏｕｎｔよりもｐ＿ｃｏｕｎｔのほうが大きい場合は、現フィールドと後フィールドを組み合わせるよりも、現フィールドと前フィールドを組み合わせたほうが、コーミングが生じないブロックが多いことを示している。したがって、ｐ＿ｃｏｕｎｔのほうが大きい場合は、現フィールドと前フィールドを組み合わせるウィーブパターン（パターン１）に判定されたブロック、及び、パターン４に判定されたブロックがメインブロックとなる。また、このとき、現フィールドと後フィールドを組み合わせるウィーブパターン（パターン２）に判定されたブロックがサブブロック（字幕の領域）となる。

すなわち、ｍは、ウィーブパターンが前フィールドとの組み合わせであるブロックの数と、後フィールドとの組み合わせであるブロックの数のうち多いほうのブロックの数に、どちらのフィールドと組み合わせても良いと判定されたブロックの数を加えた数を示す。言い換えると、ｍは、ウィーブパターンが前フィールドとの組み合わせである領域と、後フィールドとの組み合わせである領域のうち、広いほうの領域の広さに、どちらのフィールドと組み合わせても良いと判定された領域の広さを加えた広さを示している。

Ｓ２１３では、ｍが閾値ｍｊ＿ｔｈよりも大きいかどうかを判定する。Ｓ２１３において、ｍが閾値ｍｊ＿ｔｈよりも大きければＳ２１４に進み、ｍが閾値ｍｊ＿ｔｈよりも小さければ処理を終了する。つまり、本実施形態で想定している合成画像は、現フィールド上において多数のブロックを占める映画本編の画像に、少数のブロックを占める字幕画像が合成されている。また、映画本編の画像と字幕画像とではプルダウンパターンが異なるため、最適なウィーブパターンが異なる場合がある。従って、現フィールドのブロックごとに判定されたウィーブパターンを、多数のウィーブパターンと少数のウィーブパターンに分けることができる場合、少数のウィーブパターンに判定されたブロックには字幕画像が含まれていると考えられる。尚、閾値ｍｊ＿ｔｈは、合成されている２つの映像（本形態では映画本編と字幕）の領域の割合に応じて設定すれば良い。

Ｓ２１４において、ブロック検出部７は、ｐ＿ｃｏｕｎｔとｎ＿ｃｏｕｎｔのうち、小さい方のパターンに判定されたブロックを異パターンブロック（サブブロック）として出力する。上述のように、このサブブロックは、字幕候補ブロックとみなすことができる。

即ち、ブロック検出部７は、第１の合成画像内に第２の合成画像と組み合わせてプログレッシブ画像を構成すべき第１の領域と、第３の合成画像と組み合わせてプログレッシブ画像を構成すべき第２の領域が存在すると判定されると、次のように字幕領域を特定する。すなわち、Ｓ２１４において、それぞれの領域に応じて、第２のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域（字幕領域）を特定する。尚、第１の合成画像には現フィールドが、第２の合成画像には前フィールドが、第３の合成画像には後フィールドが対応する。

尚、上述のように、前フィールド、現フィールド、後フィールドの違いが小さい（動画像の動きが少ない）場合は、コーミング度によるウィーブパターンの判定が困難となる。また、現フィールドが、２−３プルダウンパターンにおいて、１つのプログレッシブ画像から３つのインターレース画像を生成した際の中間のフィールドであった場合も、コーミング度によるウィーブパターンの判定は困難である。しかし、本形態のブロック検出部７は、コーミング度によるウィーブパターンの判定が難しい場合にも、字幕候補ブロックを推定することができる。このことについて、図１０を用いて詳細に説明する。

図１０は、ある時刻Ｔ＝０における現インターレース画像と、それよりも１フィールド期間後のＴ＝１における現インターレース画像の状態を示している。つまり、入力端子１から、Ｔ＝０のインターレース画像の次に、Ｔ＝１のインターレース画像が入力される。

また、図１０の右側に表示されるｐ、ｂ、ｎは、それぞれ、ウィーブパターンが何かを示している。すなわち、ｐはウィーブパターンが前フィールドとの組み合わせ（パターン１）、ｎは後フィールドとの組み合わせ（パターン２）、ｂはどちらフィールドと組み合わせでも良い（パターン４）と判定されたことを示している。

まず、Ｔ＝０において、ウィーブ判定部６は、前述の方法により各ブロック内のウィーブパターンを判定する。そして、ブロック検出部７は、図中のｎで示される領域を字幕候補ブロックとして特定する。

次に、Ｔ＝１において、ブロック検出部７は、Ｔ＝０と同様に字幕候補ブロックを特定する。そして、ブロック検出部７は、Ｔ＝１の現フィールドにおいて特定した字幕候補ブロックに、１フィールド時間前、２フィールド時間前であるＴ＝０とＴ＝−１の、上記の方法により得られた字幕候補ブロックの領域を付加する。尚、Ｔ＝−１のフィールドとは、Ｔ＝０のフィールドの１つ前に入力端子１から入力されたインターレース画像である。また、付加された字幕候補ブロックは、次のフィールド（Ｔ＝２のインターレース画像）においては付加しない。

このように、本実施形態のブロック検出部７は、現インターレース画像において特定された字幕領域を用いて、次のインターレース画像において特定する字幕領域を特定する。このようにすることで、コーミング度によるウィーブパターンの判定が難しいインターレース画像においても、字幕の領域を特定することができる。

字幕検出部８では、ブロック検出部７から出力される字幕候補ブロックに基づいて、字幕の検出を行う。すなわち、字幕検出部８は、字幕候補ブロック内において、例えば補間対象画素と周辺の画素との輝度差情報を用いて字幕画素を検出する。

字幕検出部８は、字幕画素を検出すると、検出された字幕の領域をセレクタ１１に出力する。

動き適応Ｉ／Ｐ変換部９は、３フィールド（前フィールド、現フィールド、後フィールド）から、動き適応Ｉ／Ｐ変換を行い、生成されたフレームの画素データを出力する。すなわち、字幕部分は映画の本編の映像とは異なるプルダウンパターンであるため、本編と同じウィーブパターンでプログレッシブ画像を生成すると、字幕の部分でコーミングが発生する場合がある。したがって、動き適用Ｉ／Ｐ変換部９は、前後に再生されるフレームのデータや動き情報によって、字幕部分を表示させるための補間画素を生成する。尚、本形態の動き適用Ｉ／Ｐ変換部９は、現フィールドから生成された１フレーム分の補間画素データを出力する。即ち、動き適用Ｉ／Ｐ変換部９は、第１の領域と第２の領域のうちの狭いほうの領域（サブブロックの領域）における、現フィールドと組み合わせてフレームを構成するための画素情報を、次のようにして生成する。つまり、動き適用Ｉ／Ｐ変換部９は、画素情報を、現フィールドの前後に表示されるフレームのデータ又は現フィールド内の画素情報を用いて生成する。ただし、上述のように、字幕部分の補間画素の生成は、動き適用Ｉ／Ｐ変換によるものに限らず、例えば現フィールド内の周囲の画素を用いることで、インターレース画像を補間し、プログレッシブ画像を生成するようにしても良い。また、字幕部分であると判定された領域に対しては、動き適用Ｉ／Ｐ変換部９によってウィーブ以外の方法でプログレッシブ画像を生成するようにしても良い。

ウィーブＩ／Ｐ変換部１０は、現フィールドと前フィールドのウィーブによりＩ／Ｐ変換された画素と、現フィールドと前フィールドのウィーブによりＩ／Ｐ変換された画素を、字幕候補ブロックとは逆のウィーブパターンに沿って出力する。つまり、ウィーブＩ／Ｐ変換部１０は、字幕候補ブロックと判定されたブロックのウィーブパターンが、現フィールドと前フィールドとのウィーブであった場合、現フィールドと後フィールドのウィーブでＩ／Ｐ変換した画素データをセレクタ１１に出力する。また、ウィーブＩ／Ｐ変換部１０は、字幕候補ブロックと判定されたブロックのウィーブパターンが、現フィールドと後フィールドのウィーブであった場合、現フィールドと前フィールドのウィーブでＩ／Ｐ変換された画素データをセレクタ１１に出力する。尚、このとき出力する画素データは、現フィールドから生成された１フレーム分である。

即ち、ウィーブＩ／Ｐ変換部１０は、広いほうの領域（メインブロックの領域）における第１の合成画像（現フィールド）と組み合わせてフレームを構成するための画素情報として、ウィーブパターンの判定に応じた第２又は第３の合成画像の画素情報を用いる。尚、第２又は第３の合成画像の画素情報とは、前又は後フィールドの画素情報に対応する。

セレクタ１１は、動き適応Ｉ／Ｐ変換部９から出力された画素データと、ウィーブＩ／Ｐ変換部１０から出力された画素データのうち、出力装置に対して出力する画素データを字幕検出の結果によって切り替える。つまり、セレクタ１１は、字幕部分として検出された領域については、動き適用Ｉ／Ｐ変換部９からの出力画素データを出力し、それ以外の領域については、ウィーブＩ／Ｐ変換部１０からの出力画素データを出力する。

以上説明したように、本実施形態では、ウィーブ判定部６において、ブロック単位でウィーブパターンを判定する。そして、ブロック検出部７において、大部分を占めるウィーブパターンとは逆のウィーブパターンを示すブロックを字幕候補ブロックとして特定する。さらに、字幕検出部８が字幕候補ブロックから画素情報を用いるなどによって字幕の領域を絞り込むことで、字幕領域を特定する。

このようにすることにより、字幕を精度よく検出することができる。また、字幕部分とそれ以外の部分でプログレッシブ画像の生成手法を切り替えることにより、より高精彩なプログレッシブ画像を得ることができる。

つまり、例えば、それぞれ異なるフレームレートで生成された映画本編の領域と字幕の領域とを含む合成画像において、字幕の領域を特定する場合、輝度の情報だけで特定しようとすると、以下のような場合に誤検出してしまうことがある。すなわち、例えば、映画本編の画像内に、字幕と背景の輝度差と同様の輝度差を有するオブジェクト（例えば看板など）があった場合、それを字幕の領域として誤検出してしまうことがある。しかし、本発明のように、合成画像のブロックごとにウィーブパターンを判定し、判定されたブロックが少ないほうのウィーブパターンの領域を字幕の領域の候補として特定することで、字幕の領域をより精度良く特定できるようになる。

尚、実施形態では、映像信号の輝度を例として説明したが、ＲＧＢなどの現信号でも構わないし、色度信号を対象にしても構わない。

また、１：２のインタレース画像を例にとって説明したが、これに限定されず、各算出部を調整することで他の比率のインタレースに対応できる。

＜第２の実施例＞
上記第１の実施形態をパーソナルコンピュータ等の汎用の情報処理装置と、その情報処理装置に実行させるコンピュータプログラムでもって実現しても構わない。以下、その例を第２の実施形態として、第１の実施形態との差異を中心に説明する。

図１１は、第２の実施形態における情報処理装置のブロック構成図である。

図中、３０１は装置全体の制御、及び種々の処理を行う中央演算処理装置（以下、ＣＰＵ）である。３０２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ及びＣＰＵ３０１がワークエリアとして使用するＲＡＭで構成されるメモリである。３０３はキーボード、マウス等のポインティングデバイス、及び各種スイッチで構成される指示入力部である。

３０４は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、図１３、図１４を用いて後述する本実施形態で用いるアプリケーションプログラム、演算に必要な記憶領域を提供する外部記憶装置（例えばハードディスク装置）である。また、外部記憶装置３０４には、例えば後述するビデオカメラ３０６によって撮像された動画像データが記憶される。

３０５は、動画像データを記憶する可搬性記憶媒体（例えば、ＤＶＤ−ＲＯＭやＣＤ−ＲＯＭディスク）にアクセスする記憶装置である。

３０６は動画像をフィールド単位で撮像するビデオカメラである。つまり、ビデオカメラ３０６は、例えば映画用に撮像した毎秒２４枚のプログレッシブ画像から得られた毎秒６０枚のインターレース画像を外部記憶装置３０４に記憶させる。尚、本形態では、ビデオカメラ３０６によって撮像された毎秒６０枚のインターレース画像に、毎秒３０枚のプログレッシブ画像の字幕データが毎秒６０枚のインターレース画像に変換されて合成されている。

３０７はモニタであり、３０９は通信回路であり、ＬＡＮ、公衆回路、無線回路、放送電波で構成されている。３０８は通信回路３０９を介して符号化データを送受信する通信インタフェースである。本実施形態では、通信インターフェース３０８、外部記憶装置３０４、或いは、記憶装置３０５などからの動画像データに対して、字幕の領域を検出する処理を行う。

このような構成における映像信号処理について説明する。

処理に先立ち、指示入力部３０３からの指示により情報処理装置に電源が投入されると、ＣＰＵ３０１はメモリ３０２のブートプログラム（ＲＯＭに格納されている）に従って、外部記憶装置３０４からメモリ３０２（ＲＡＭ）にＯＳをロードする。そして、ユーザによる指示に従い、外部記憶装置３０４からアプリケーションプログラムをメモリ３０２にロードすることで、本装置が映像信号処理装置として機能することになる。このアプリケーションプログラムをメモリ３０２にロードした際のメモリ３０２の状況を図１２に示す。

メモリ３０２には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像の字幕部分を検出するアプリケーションプログラム（映像処理ソフトウェア）が格納されている。更には、ビデオカメラ３０６を制御して動画像をディジタルデータとして１フィールドずつ入力（キャプチャ）する画像入力ソフトウェア、画像をモニタ３０７に表示する画像表示ソフトウェアが格納されている。更に、画像データを格納する画像エリア、各種パラメータ等を格納しておくワーキングエリアが存在する。

図１３はＣＰＵ３０１が実行する映像信号処理を示すフローチャートである。

ステップＳ１では、各部の初期化が行われる。

ステップＳ２は、Ｉ／Ｐ変換処理のプログラムの終了が指示されたか否かの判定を行う。この判定は、ユーザが指示入力部３０３から終了指示が入力されたか否かに基づいて行う。ステップＳ２においてプログラムが終了していないと判定された場合はステップＳ３の処理へ進み、プログラムが終了したと判定された場合は、処理を終了する。

ステップＳ３では、フィールド単位での画像の入力を受け、ステップＳ４に進む。上述のように、ステップＳ３では、通信インターフェース３０８、外部記憶装置３０４、或いは記憶装置３０５などから動画像データが入力される。

ステップＳ４では字幕の検出を行い、ステップＳ５に進む。ステップＳ４における字幕の検出処理は後述する。

ステップＳ５では、ステップＳ４における検出結果に基づいて画素の補正を行い、ステップＳ２の処理に戻る。

ここで、ステップＳ４の字幕検出処理を、図１４のフローチャートを用いて説明する。

Ｓ４００では、現フィールドと前フィールドのウィーブにより生成されるフレームと、現フィールドと後フィールドのウィーブにより生成されるフレームにおける、ブロックごとのコーミング度を算出する。コーミング度の算出方法については、実施形態１で説明した通りである。

Ｓ４０１では、Ｓ４００で算出されたコーミング度に基づいて、ウィーブパターンをブロックごとに判定する。ウィーブパターンの判定手順は、実施形態１における図８、及びその説明と同様である。

Ｓ４０２では、Ｓ４０１で判定されたウィーブのパターンのうち、少ないパターンに判定されたブロック（サブブロック）の領域を、字幕領域の候補として特定する。字幕領域の候補を特定する手順は、実施形態１における図９、及びその説明と同様である。

Ｓ４０３では、字幕位置を例えば輝度情報により正確に特定する。

即ち、Ｓ４０３では、第１の領域と第２の領域のうち、狭いほうの領域内の輝度情報によって、第２のフレームレートのプログレッシブ画像から得られたインターレース画像（字幕）が合成された画素の位置を特定する。尚、第１の領域は、第１の合成画像と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第２の合成画像（前フィールド）である領域である。また、第２の領域は、第１の合成画像を組み合わせてプログレッシブ画像を構成すべきインターレース画像が第３の合成画像（後フィールド）である領域である。尚、この処理は、実施形態１における字幕検出部８が行う処理に対応する。

また、図１３のステップＳ５では画素の補正を行う。上述のように、ステップＳ５では、字幕部分として検出された領域に対しては、例えば、動き適用ＩＰ変換などによって補間を行い、字幕部分以外の領域に対しては、判定されたウィーブパターンに基づいて他のフィールドとの組み合わせによりフレームを生成する。

即ち、第１の領域と第２の領域のうち、狭いほうの領域（サブブロックの領域）における第１の合成画像（現フィールド）と組み合わせてフレームを構成するための画素情報を、前後に表示されるフレームのデータ又は第１の合成画像内の画素情報を用いて生成する。一方、広いほうの領域（メインブロックの領域）における第１の合成画像と組み合わせてフレームを構成するための画素情報として、ウィーブパターンの判定に応じた第２又は第３の合成画像（前又は後フィールド）の画素情報を用いる。尚、この処理は、実施形態１における動き検出Ｉ／Ｐ変換部９、ウィーブＩ／Ｐ変換部１０、及びセレクタ１１の処理に対応する。

このように、本第２の実施形態においては、第１の実施形態で説明した字幕検出処理が、ソフトウェアで実現可能である。

なお、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、これをコンピュータが有する読取装置（ＣＤ−ＲＯＭドライブ）にセットし、システムにコピーもしくはインストールすることで実行可能である。従って、このようなコンピュータ可読記憶媒体が本発明の範疇に入る。

＜その他の実施例＞
上記第１、第２の実施例においては、検出された字幕とそれ以外の部分に対して異なる補間方法を行うことについて説明したが、その限りではない。つまり、検出された字幕の範囲に対して、補間方法の切り替え以外に、例えば、字幕消去、シャープネス、ブラー、ノイズリダクション、拡大、縮小などの処理を行っても良い。

また、上記第１、第２の実施例においては、コーミング度の算出をブロック毎にフレーム全体に渡って算出する場合について説明したが、これに限らない。つまり、特定したいプルダウンパターンの画像（例えば字幕部分）が、表示画面の下側、もしくは上側に表示されるなど、予めわかっている場合、例えば、表示画面の中央部の一部について、コーミング度の算出を省略するようにしても良い。このようにすれば、より少ない負荷で、特定したいプルダウンパターンの画像を検出することができる。

第１の実施形態における映像信号処理装置のブロック構成図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるコーミング度検出を説明するための図である。 第１の実施形態におけるウィーブパターンを判定するための処理手順を示すフローチャートである。 第１の実施形態における異パターン検出を説明するためのフローチャートである。 第１の実施形態における異パターン検出を説明するための図である。 第２の実施形態における映像信号処理装置のブロック構成図である。 第２の実施形態におけるメモリの格納状況を示す図である。 第２の実施形態における映像信号処理装置の処理手順を示すフローチャートである。 第２の実施形態における字幕の検出手順を示すフローチャートである。 本発明の実施形態における２−２プルダウン、２−３プルダウンを説明するための図である。 本発明の実施形態におけるＩ／Ｐ変換を説明するための図である。

符号の説明

４、５ コーミング度算出部
６ ウィーブ判定部
７ ブロック検出部
８ 字幕検出部
９ 動き適用Ｉ／Ｐ変換部
１０ ウィーブＩ／Ｐ変換部
１１ セレクタ

Claims (6)

1. 第１のフレームレートのプログレッシブ画像から得られた第３のフレームレートのインターレース画像内に、
   第２のフレームレートの字幕画像から得られた第３のフレームレートのインターレース画像が合成されたインターレース画像である第１の合成画像から、前記字幕画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置であって、
   前記インターレース画像である第１の合成画像を複数に分割した各領域が、前記第１の合成画像と前記第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か、前記第１の合成画像と前記第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する判定手段と、
   前記第１の合成画像内の各領域のうち、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数を比較して、少ない方の領域を前記字幕画像から得られたインターレース画像が合成された領域として特定する特定手段と
   を有することを特徴とする映像信号処理装置。
2. 前記判定手段は、前記第１の合成画像と組み合わせてプログレッシブ画像を構成すべきインターレース画像が前記第２の合成画像か前記第３の合成画像かを、前記第１の合成画像と前記第２の合成画像とを組み合わせたプログレッシブ画像における上下に隣接する画素値の差、及び、前記第１の合成画像と前記第３の合成画像とを組み合わせたプログレッシブ画像における上下に隣接する画素値の差に基づいて判定する
   ことを特徴とする請求項１記載の映像信号処理装置。
3. 前記特定手段は、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数のうち、少ない方の領域内の輝度情報によって、前記字幕画像から得られたインターレース画像が合成された画素の位置を特定する
   ことを特徴とする請求項１記載の映像信号処理装置。
4. 前記第１の領域と特定された領域と前記第２の領域と特定された領域の数のうち、
   少ない方の領域における前記第１の合成画像と組み合わせてプログレッシブ画像を構成するための画素情報を、前後に表示されるフレームのデータ又は前記第１の合成画像内の画素情報を用いて生成し、
   多い方の領域における前記第１の合成画像と組み合わせてプログレッシブ画像を構成するための画素情報として、前記判定に応じた前記第２又は第３の合成画像の画素情報を用いる補間手段を
   有することを特徴とする請求項１記載の映像信号処理装置。
5. 第１のフレームレートのプログレッシブ画像から得られた第３のフレームレートのインターレース画像内に、
   第２のフレームレートの字幕画像から得られた第３のフレームレートのインターレース画像が合成されたインターレース画像である第１の合成画像から、前記字幕画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置が行う映像信号処理方法であって、
   前記インターレース画像である第１の合成画像を複数に分割した各領域が、前記第１の合成画像と前記第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か、前記第１の合成画像と前記第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する判定工程と、
   前記第１の合成画像内の各領域のうち、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数を比較して、少ない方の領域を前記字幕画像から得られたインターレース画像が合成された領域として特定する特定工程と
   を有することを特徴とする映像信号処理方法。
6. 第１のフレームレートのプログレッシブ画像から得られた第３のフレームレートのインターレース画像内に、
   第２のフレームレートの字幕画像から得られた第３のフレームレートのインターレース画像が合成されたインターレース画像である第１の合成画像から、前記字幕画像から得られたインターレース画像が合成された領域を特定するコンピュータに、
   前記インターレース画像である第１の合成画像を複数に分割した各領域が、前記第１の合成画像と前記第１の合成画像の前に入力された第２の合成画像とを組み合わせてプログレッシブ画像を構成すべき第１の領域か、前記第１の合成画像と前記第１の合成画像の後に入力された第３の合成画像とを組み合わせてプログレッシブ画像を構成すべき第２の領域かを判定する判定手順と、
   前記第１の合成画像内の各領域のうち、前記第１の領域と判定された領域と前記第２の領域と判定された領域との数を比較して、少ない方の領域を前記字幕画像から得られたインターレース画像が合成された領域として特定する特定手順と
   を実行させることを特徴とするプログラム。

Images