JP4910579B2 - 画像信号処理装置、画像信号処理方法、およびプログラム - Google Patents

Description

本発明は、画像信号処理装置、画像信号処理方法、およびプログラムに関し、特に、インタレース信号をプログレッシブ信号に変換する場合に用いて好適な画像信号処理装置、画像信号処理方法、およびプログラムに関する。

テレビジョン受像機などのディスプレイに表示させる画像の画質向上（ラインフリッカの除去など）を目的として、インタレース方式の映像信号（以下、インタレース信号と称する）をプログレッシブ方式の映像信号（以下、プログレッシブ信号と称する）に変換するＩＰ変換処理が存在する。またＩＰ変換処理は、液晶ディスプレイやプラズマディスプレイなどの固定画素ディスプレイにおける必須の技術として普及している。以下、テレビジョン方式としてNTSC(National Television System Committee）方式を例に説明する。

ＩＰ変換処理は、ＩＰ変換前のインタレース信号の種類に応じてさまざまな方法（２・３プルダウン逆変換、２・２プルダウン逆変換、動き適応型ＩＰ変換、動き補償型ＩＰ変換など）がある。

例えば、映画を撮影するときなどに用いられるフィルムカメラによって毎秒２４枚あるいは３０枚撮影された素材を、いわゆるテレシネ装置による３・２プルダウンテレシネ変換または２・２プルダウンテレシネ変換によって毎秒６０枚のインタレース信号に変換したものをフィルム素材と称するが、フィルム素材のインタレース信号をＩＰ変換する場合には、２・３プルダウン逆変換、または２・２プルダウン逆変換が適用している。２・３プルダウン逆変換、または２・２プルダウン逆変換によってＩＰ変換された結果であるプログレッシブ信号は、テレシネ変換前のフィルム素材の元画像が再現されたものとなっており、再生したときにラインフリッカが発生しない。

また例えば、ビデオカメラによってインタレース方式で撮影された素材をビデオ素材と称するが、ビデオ素材のインタレース信号をＩＰ変換する場合には、動き適応型ＩＰ変換、または動き補償型ＩＰ変換が適している。

動き適応型ＩＰ変換では、奇数（偶数）フィールドにおいて補間する偶数（奇数）ラインの画素に動きがない（時間的な変化が無い）場合、当該奇数（偶数）フィールドに前後する偶数（奇数）フィールドの偶数（奇数）ラインに実在する画素を用いて補間を行い、奇数（偶数）フィールドにおいて補間する偶数（奇数）ラインの画素に動きがある（時間的な変化がある）場合、当該奇数（偶数）フィールド内の奇数（偶数）ラインに実在する画素を用いて補間を行う。

この動き適応型ＩＰ変換により、動きのない静止画像ではラインフリッカが除去され、動きのある画像でも、フィルム素材に適したＩＰ変換を施した場合に比較してラインフリッカが軽減される。

したがって従来においては、ＩＰ変換を行う前のインタレース信号がフィルム素材であるかビデオ素材であるかを判定し、この判定結果に基づき、フィルム素材用のＩＰ変換が施されたプログレッシブ信号、またはビデオ素材用のＩＰ変換が施されたプログレッシブ信号のいずれかを出力するようになされていた（例えば、特許文献１参照）。

特開２００４−９６２２３号公報

ところで、通常のビデオカメラは、ビデオ素材のインタレース信号を出力するが、低コストのビデオカメラの一部には、フィルム素材の特徴（詳細は後述する）を有するインタレース信号を出力するものが存在する。

例えば、通常のビデオカメラは約４８０本の垂直解像度を有し、そのうちの半分を奇数フィールド、残りの半分を偶数フィールドとして用いているが、低コストのビデオカメラは約２４０本の垂直解像度だけしか有しておらず、奇数フィールドと偶数フィールドの同一の信号を用いているものがある。

このような低コストのビデオカメラから出力されるインタレース信号は、フィルム素材の特徴を有していると判定されるが、当該インタレース信号にフィルム素材に適したＩＰ変換を施すと、動き適応型ＩＰ変換を施す場合に比較して画質が劣化してしまう。

したがって、上述したような低コストのビデオカメラから出力されるフィルム素材の特徴を有するインタレース信号を見分け、当該インタレース信号に対してはビデオ素材に適したＩＰ変換を施すようにする必要がある。

本発明はこのような状況に鑑みてなされたものであり、インタレース信号に応じて適切なＩＰ変換を選択できるようにするものである。

本発明の一側面である画像信号処理装置は、インタレース信号をプログレッシブ信号に変換する画像信号処理装置において、２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換する第１の変換手段と、動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換する第２の変換手段と、インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定する判定手段と、前記判定手段による判定結果が肯定である場合、前記第２の変換手段による変換結果を選択し、前記判定手段による判定結果が否定である場合、前記第１の変換手段による変換結果を選択する選択手段とを含む。

前記判定手段は、前記２枚のフィールド画像の相関値Ｓを次式に基づいて演算するようにすることができる。
ただし、ｘは画素の水平座標、ｙは画素の垂直座標、ｙ−１はｙより１つ下のラインの垂直座標、ｙ＋１はｙより１つ上のラインの垂直座標、ｆ１は一方のフィールド画像の括弧内座標の画素値、ｆ２は他方のフィールド画像の括弧内座標の画素値、Σは総和を示す
ｐ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ−１）｜
ｑ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ＋１）｜
Ｓ＝ｐ／ｑ （ｐ＞ｑの場合）
Ｓ＝ｑ／ｐ （ｑ≧ｐの場合）

前記判定手段は、前記相関値Ｓと所定の閾値を比較して、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定するようにすることができる。

前記第２の変換手段は、前記動き適応型ＩＰ変換の代わりに、画像間の動きベクトルに基づいて画素を補間する動き補償型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換するようにすることができる。

本発明の一側面である画像信号処理方法は、インタレース信号をプログレッシブ信号に変換する画像信号処理装置の画像信号処理方法において、２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第１の変換結果を生成し、動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第２の変換結果を生成し、インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定し、この判定結果が肯定である場合、前記第２の変換結果を選択し、この前記判定結果が否定である場合、前記第１の変換結果を選択するステップを含む。

本発明の一側面であるプログラムは、インタレース信号をプログレッシブ信号に変換するためのプログラムであって、２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第１の変換結果を生成し、動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第２の変換結果を生成し、インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定し、この判定結果が肯定である場合、前記第２の変換結果を選択し、この判定結果が否定である場合、この前記第１の変換結果を選択するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、２・２プルダウン逆変換によってインタレース信号がプログレッシブ信号に変換されることにより、第１の変換結果が生成され、動き適応型ＩＰ変換によって前記インタレース信号が前記プログレッシブ信号に変換されることにより、第２の変換結果が生成される。そして、インタレース信号による連続した２枚のフィールド画像の相関値Ｓが演算され、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かが判定され、この判定結果が肯定である場合、前記第２の変換結果が選択され、この判定結果が否定である場合、前記第１の変換結果が選択される。

以上のように、本発明の一側面によれば、インタレース信号に応じて適切なＩＰ変換を選択することが可能となる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の一実施の形態である画像処理装置の構成例を示している。この画像処理装置１は、インタレース信号をプログレッシブ信号に変換して表示するものであり、例えばテレビジョン受像機などに内蔵されている。以下、インタレースの信号の画像をフィールド画像、プログレッシブ信号の画像をフレーム画像と称する。

画像処理装置１は、フロント映像信号処理部１１、ＩＰ変換部１２、ディスプレイ駆動部１３、およびディスプレイ１４から構成される。

フロント映像信号処理部１１は、入力されるインタレース方式の映像信号にＡＤコンバート処理やクロマデコード処理などを行ってインタレース信号を生成し、ＩＰ変換部１２に出力する。ＩＰ変換部１２は、入力されるインタレース信号をプログレッシブ信号に変換してディスプレイ駆動部１３に出力する。ディスプレイ駆動部１３は、スケーラと称する画素数変換回路やパネルドライバなどを有し、ＩＰ変換部１２から入力されるプログレッシブ信号に対してディスプレイ１４に適した処理を施し、ディスプレイ１４に出力する。ディスプレイ１４は、ディスプレイ駆動部１３の出力に対応する映像を表示する。

図２は、ＩＰ変換部１２の構成例を示している。

ＩＰ変換部１２は、２・３プルダウン逆変換部２１、２・２プルダウン逆変換部２２、動き適応型ＩＰ変換部２３、３・２シーケンス検出部２４、２・２シーケンス検出部２５、元画像２４０Ｐ検出部２６、およびプログレッシブ信号選択部２７から構成される。

２・３プルダウン逆変換部２１は、前段から入力されるインタレース信号を、３・２シーケンス検出部２４からの通知に基づき、２・３プルダウン逆変換（フィルム素材の元画像から３・２プルダウンテレシネ変換によって生成されたインタレース信号に対して最適なＩＰ変換）によってプログレッシブ信号に変換し、プログレッシブ信号選択部２７に出力する。

２・２プルダウン逆変換部２２は、前段から入力されるインタレース信号を、２・２シーケンス検出部２５からの通知に基づき、２・２プルダウン逆変換（フィルム素材の元画像から２・２プルダウンテレシネ変換によって生成されたインタレース信号に対して最適なＩＰ変換）によってプログレッシブ信号に変換し、プログレッシブ信号選択部２７に出力する。

具体的には、図３Ｂおよび図３Ｃに示すように、連続したフィールド画像Ａ１とＡ２に基づき、２枚連続してプログレッシブのフレーム画像Ａが生成され、同様に、連続したフィールド画像Ｂ１とＢ２に基づき、２枚連続してフレーム画像Ｂが生成され、連続したフィールド画像Ｃ１とＣ２に基づき、２枚連続してフレーム画像Ｃが生成される。なお、連続した２枚のフィールド画像の組み合わせについては、２・２シーケンス検出部２５からの通知に従うものとする。

動き適応型ＩＰ変換部２３は、前段から入力されるインタレース信号を、動き適応型ＩＰ変換（ビデオ素材のインタレース信号に対して最適なＩＰ変換）によってプログレッシブ信号に変換し、プログレッシブ信号選択部２７に出力する。

具体的には、図４に示すように、プログレッシブのフレーム画像Ｆ’を時間的に前記前後するインタレースのフィールド画像Ｅ，Ｆ，Ｇに基づいて生成し、同様に、プログレッシブのフレーム画像Ｇ’を時間的に前記前後するインタレースのフィールド画像Ｆ，Ｇ，Ｈに基づいて生成する。より具体的には、図５に示すように、生成されるフレーム画像（例えば、Ｆ’）の画素Ｐに動きが無い場合（時間的に変化が無い場合）、時間的に前後するフィールド画像に実在する画素（いまの場合、フィールド画像Ｅの画素Ｐ1とＧの画素Ｐ2）を用いて補間を行い、画素Ｐに動きがある場合（時間的に変化がある場合）、対応するフィールド画像内に実在する画素（いまの場合、フィールド画像Ｆの画素Ｐ3とＰ4）を用いて補間を行う。

図２に戻る。３・２シーケンス検出部２４は、前段から入力されるインタレース信号が、元画像から３・２プルダウンテレシネ変換によって生成されたインタレース信号の特徴を有しているか否かを判定し、当該特徴を有していると判定した場合、３・２シーケンス検出信号をプログレッシブ信号選択部２７に出力する。また、３・２シーケンス検出部２４は、入力されるインタレース信号に相当する連続したフィールド画像のうち、どのフィールド画像を組み合わせてフレーム画像を生成するかを２・３プルダウン逆変換部２１に通知する。

２・２シーケンス検出部２５は、前段から入力されるインタレース信号が、毎秒３０フレームで撮影された元画像から２・２プルダウンテレシネ変換によって生成されたインタレース信号の特徴を有しているか否かを判定し、当該特徴を有していると判定した場合、２・２シーケンス検出信号をプログレッシブ信号選択部２７に出力する。また、２・２シーケンス検出部２５は、入力されるインタレース信号に相当する連続したフィールド画像のうち、どの２枚を組み合わせてフレーム画像を生成するかを２・２プルダウン逆変換部２２および元画像２４０Ｐ検出部２６に通知する。

ここで、２・２シーケンス検出部２５による、前段から入力されるインタレース信号が上記特徴を有しているか否かの判定方法の一例について説明する。

２・２プルダウンテレシネ変換では、例えば図３Ａに示す毎秒３０フレームで撮影された元画像Ａに基づいて図３Ｂに示すフィールド画像Ａ１とＡ２が生成される。同様に、元画像Ｂに基づいてフィールド画像Ｂ１とＢ２が生成され、元画像Ｃに基づいてフィールド画像Ｃ１とＣ２が生成される。したがって、隣り合う２枚のフィールド画像の差分を演算して比較した場合、フィールド画像Ａ１とＡ２の差分、フィールド画像Ｂ１とＢ２の差分、およびフィールド画像Ｃ１とＣ２の差分は小さく、フィールド画像Ａ２とＢ１の差分、フィールド画像Ｂ２とＣ１の差分は大きくなる。

このように、隣り合う２枚のフィールド画像の差分の大きさが大小交互に変化するとき、前段から入力されたインタレース信号が、毎秒３０フレームで撮影された元画像から２・２プルダウンテレシネ変換によって生成されたインタレース信号の特徴を有していると判定し、２・２シーケンス検出信号をプログレッシブ信号選択部２７に出力する。

図２に戻る。元画像２４０Ｐ検出部２６は、前段から入力されるインタレース信号が、垂直解像度が２４０本である１枚の元画像（以下、２４０Ｐ元画像と称する）から２枚のフィールド画像が生成されたものの特徴を有しているか否かを判定し、当該特徴を有していると判定した場合、元画像２４０Ｐ検出信号をプログレッシブ信号選択部２７に出力する。

プログレッシブ信号選択部２７は、３・２シーケンス検出信号、２・２シーケンス検出信号、または元画像２４０Ｐ検出信号に基づき、２・３プルダウン逆変換部２１からのプログレッシブ信号、２・２プルダウン逆変換部２２からのプログレッシブ信号、または動き適応型ＩＰ変換部２３からのプログレッシブ信号のいずれかを後段に出力する。

具体的には、３・２シーケンス検出信号が入力されたとき、２・３プルダウン逆変換部２１からのプログレッシブ信号を後段に出力し、２・２シーケンス検出信号が入力され、元画像２４０Ｐ検出信号が入力されないとき、２・２プルダウン逆変換部２２からのプログレッシブ信号を後段に出力し、３・２シーケンス検出信号、および２・２シーケンス検出信号が入力されないとき、あるいは、２・２シーケンス検出信号および元画像２４０Ｐ検出信号が入力されたとき、動き適応型ＩＰ変換部２３からのプログレッシブ信号を後段に出力する。

図６は、元画像２４０Ｐ検出部２６の構成例を示している。元画像２４０Ｐ検出部２６には、奇数フィールドおよび偶数フィールドからなる１つのフレームの全ラインのうち、奇数フィールドには奇数ライン、偶数フィールドには偶数ラインの信号を有するインタレース信号が入力される。そして、この元画像２４０Ｐ検出部２６は、そのインタレース信号を１フィールド周期だけ遅延させるフィールドメモリ３１および３２、フィールドメモリ３１から出力されるフィールド画像（以下、現フィールド画像と称する）とフィールドメモリ３２から出力されるフィールド画像（以下、前フィールド画像と称する）の差分を演算するフィールド差分ａ演算部３３およびフィールド差分ｂ演算部３４、並びに、元画像２４０Ｐ検出部２６の前段から入力されるフィールド画像（以下、次フィールド画像と称する）と現フィールド画像の差分を演算するフィールド差分ｃ演算部３５およびフィールド差分ｄ演算部３６から構成される。

フィールドメモリ３１および３２は、前段から１フィールド画像分のインタレース信号が入力される毎、前段から入力された１フィールド画像分のインタレース信号を保持するとともに、それまで保持していた１フィールド画像分のインタレース信号を後段に出力する。

フィールド差分ａ演算部３３乃至フィールド差分ｄ演算部３６は、現フィールド画像が奇数フィールドであるか偶数フィールドであるかによってその動作を変える。

図７に示すように、現フィールド画像が奇数フィールドである場合、フィールド差分ａ演算部３３は、前フィールド画像の垂直方向の第２ｍ（ｍ＝０，１，２，・・・）ラインと現フィールド画像の第２ｍ＋１ラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和aを演算して判定部３７に出力する。この総和ａは、フィールドメモリ３１またはフィールドメモリ３２に保持されたフィールド内の水平方向および垂直方向の画素の総数に対応する。フィールド差分ｂ演算部３４は、前フィールド画像の垂直方向の第２ｎ（ｎ＝１，２，３，・・・）ラインと現フィールド画像の第２ｎ−１ラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｂを演算して判定部３７に出力する。フィールド差分ｃ演算部３５は、次フィールド画像の垂直方向の第２ｍラインと現フィールド画像の第２ｍ＋１ラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｃを演算して判定部３７に出力する。フィールド差分ｄ演算部３６は、次フィールド画像の垂直方向の第２ｎラインと現フィールド画像の第２ｎ−１ラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｄを演算して判定部３７に出力する。

図８に示すように、現フィールド画像が偶数フィールドである場合、フィールド差分ａ演算部３３は、前フィールド画像の垂直方向の第２ｍ＋１（ｍ＝０，１，２，・・・）ラインと現フィールド画像の第２ｍラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ａを演算して判定部３７に出力する。フィールド差分ｂ演算部３４は、前フィールド画像の垂直方向の第２ｎ−１（ｎ＝１，２，３，・・・）ラインと現フィールド画像の第２ｎラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｂを演算して判定部３７に出力する。フィールド差分ｃ演算部３５は、次フィールド画像の垂直方向の第２ｍ＋１ラインと現フィールド画像の第２ｍラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｃを演算して判定部３７に出力する。フィールド差分ｄ演算部３６は、次フィールド画像の垂直方向の第２ｎ−１ラインと現フィールド画像の第２ｎラインとの水平方向の座標が等しい画素同士の差分の絶対値の総和ｄを演算して判定部３７に出力する。

判定部３７は、２・２シーケンス検出部２５からの通知（どの２枚を組み合わせてフレーム画像を生成するかの通知）が前フィールド画像と現フィールド画像の組み合わせてある場合、演算結果ａ，ｂに基づいて、前段から入力されるインタレース信号が、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成されたものの特徴を有しているか否かを判定する。

また、判定部３７は、２・２シーケンス検出部２５からの通知が現フィールド画像と次フィールド画像の組み合わせてある場合、演算結果ｃ，ｄに基づいて、前段から入力されるインタレース信号が、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成されたものの特徴を有しているか否かを判定する。

具体的には、以下の考えに基づいて判定する。元画像２４０Ｐ検出部２６に入力されるインタレース信号が、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成されたものである場合、前フィールド画像と現フィールド画像の組み合わせ、または、現フィールド画像と次フィールド画像の組み合わせが１枚の２４０Ｐ元画像から生成されているはずである。

そして、１枚の２４０Ｐ元画像から生成された連続する２枚のフィールド画像は、一方
のフィールド画像の偶数２Ｘラインと、他方の奇数（（２Ｘ＋１）または（２Ｘ−１））ラインとの水平方向の座標が等しい画素は同じ値であるので、演算される２種類の差分の絶対値の総和は一方が極めて小さい値となり、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成される過程などにおいてノイズが発生していなければ、その値は０となる。したがって、２種類の差分の絶対値の総和のうち、その大きい方の値を小さい方の値で割った商は１よりも明らかに大きな値となる。

ところで、１枚の２４０Ｐ元画像から生成されたものではない連続する２枚のフィールド画像では、上述した２種類の差分の絶対値の総和を演算した場合、ほぼ同様の値が得られることを確認済みである。したがって、２種類の差分の絶対値の総和のうち、その大きい方の値を小さい方の値で割った商は１に近い値となる。

そこで、２・２シーケンス検出部２５からの通知が前フィールド画像と現フィールド画像の組み合わせてある場合、演算結果ａ，ｂを比較し、その大きい方の値を小さい方の値で割った商を演算して、この商が１よりも大きな所定の閾値α（例えば、α＝２．５，５．０など）より大きいとき、前段から入力されるインタレース信号が、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成されたものの特徴を有していると判定する。

また、２・２シーケンス検出部２５からの通知が現フィールド画像と次フィールド画像の組み合わせてある場合、演算結果ｃ，ｄを比較し、その大きい方の値を小さい方の値で割った商を演算して、この商が１よりも大きな所定の閾値αより大きいとき、前段から入力されるインタレース信号が、１枚の２４０Ｐ元画像から２枚のフィールド画像が生成されたものの特徴を有していると判定する。

なお、上述した商は、前段から入力されるインタレース信号がビデオ素材であるのか、フィルム素材であるのかを判別する場合にも用いることができる。したがって、前段から入力されるインタレース信号がビデオ素材からフィルム素材に切り替わったり、あるいは逆に切り替わったりしたことを判別する場合に用いることができる。

以上の説明をまとめると、図６に示された元画像２４０Ｐ検出部２６の判定部３７は、次式（１）に従ってインタレース信号の２つの連続するフィールド画像の相関値Ｓの算術演算を行うことになる。
ｐ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ−１）｜
ｑ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ＋１）｜
Ｓ＝ｐ／ｑ （ｐ＞ｑの場合）
Ｓ＝ｑ／ｐ （ｑ≧ｐの場合） ・・・（１）

ただし、ｘは画素の水平座標、ｙは画素の垂直座標、ｙ−１はｙより１つ下のラインの垂直座標、ｙ＋１はｙより１つ上のラインの垂直座標を、2つの連続するフィールド画像のうち、ｆ１は一方のフィールド画像の括弧内座標の画素値、ｆ２は他方のフィールド画像の括弧内座標の画素値を、Σは総和を示す。そして、上記1対ｐおよびｑの値は、この実施形態における1対の総和ａおよびｂの値、または、1対の総和ｃおよびｄの値に対応する。

次に、ＩＰ変換部１２の動作について、図９のフローチャートを参照して説明する。ＩＰ変換部１２には上段からインタレース信号が入力され、２・３プルダウン逆変換部２１乃至元画像２４０Ｐ検出部２６に供給される。そして、以下に説明するステップＳ１乃至Ｓ６の処理が平行して実行される。

すなわち、ステップＳ１において、２・３プルダウン逆変換部２１が、上段から入力されたインタレース信号をプログレッシブ信号に変換してプログレッシブ信号選択部２７に出力する。ステップＳ２において、２・２プルダウン逆変換部２２が、上段から入力されたインタレース信号をプログレッシブ信号に変換してプログレッシブ信号選択部２７に出力する。ステップＳ３において、動き適応型ＩＰ変換部２３が、上段から入力されたインタレース信号をプログレッシブ信号に変換してプログレッシブ信号選択部２７に出力する。

ステップＳ４において、３・２シーケンス検出部２４が、上段から入力されたインタレース信号が３・２プルダウンテレシネ変換によって生成されたインタレース信号の特徴を有しているか否かを判定する。そして、当該特徴を有していると判定した場合、３・２シーケンス検出信号をプログレッシブ信号選択部２７に出力する。ステップＳ５において、２・２シーケンス検出部２５が、上段から入力されたインタレース信号が２・２プルダウンテレシネ変換によって生成されたインタレース信号の特徴を有しているか否かを判定する。そして、当該特徴を有していると判定した場合、２・２シーケンス検出信号をプログレッシブ信号選択部２７に出力する。ステップＳ６において、元画像２４０Ｐ検出部２６が、前段から入力されたインタレース信号が、２４０Ｐ元画像から２枚のフィールド画像が生成されたものの特徴を有しているか否かを判定する。そして、当該特徴を有していると判定した場合、元画像２４０Ｐ検出信号をプログレッシブ信号選択部２７に出力する。

ステップＳ７において、プログレッシブ信号選択部２７は、３・２シーケンス検出信号が入力されているか否かを判定し、入力されていると判定した場合、ステップＳ８に進み、２・３プルダウン逆変換部２１から入力されたプログレッシブ信号を後段に出力する。ステップＳ７において、３・２シーケンス検出信号が入力されていないと判定された場合、処理はステップＳ９に進む。

ステップＳ９において、プログレッシブ信号選択部２７は、２・２シーケンス検出信号が入力されているか否かを判定し、入力されていると判定した場合、ステップＳ１０に進み、元画像２４０Ｐ検出信号が入力されているか否かを判定する。そして、元画像２４０Ｐ検出信号が入力されていると判定した場合、ステップＳ１１に進み、２・２プルダウン逆変換部２２から入力されたプログレッシブ信号を後段に出力する。

なお、ステップＳ９において、２・２シーケンス検出信号が入力されていないと判定された場合、またはステップＳ１０において、元画像２４０Ｐ検出信号が入力されていないと判定された場合、処理はステップＳ１１に進む。そして、ステップＳ１２において、プログレッシブ信号選択部２７は、動き適用型ＩＰ変換部２３から入力されたプログレッシブ信号を後段に出力する。以上で、ＩＰ変換部１２の動作説明を終了する。

以上説明したように、ＩＰ変換部１２によれば、２４０Ｐ元画像から生成されたインタレース信号が入力された場合、２・２シーケンス検出信号を発生するものの、元画像２４０Ｐ検出信号も発生するので、比較的画質の劣る２・２プルダウン逆変換部２２から入力されたプログレッシブ信号ではなく、動き適用型ＩＰ変換によって生成されたプログレッシブ信号が後段に出力される。

なお、ステップＳ６の処理によって元画像２４０Ｐ検出信号が出力された段階で、２・３プルダウン逆変換部２１、および２・２プルダウン逆変換部２２の動作を停止するようにしてもかまわない。

また、本実施の形態においては、NTSC方式の４８０Ｉを例に説明したが、本発明は、PAL(Phase Alternation by Line)方式の５７６Ｉ、ハイビジョン方式の１０８０Ｉにも適用することが可能である。

本発明は、２・２プルダウンテレシネ変換によって生成されたフィルム素材のインタレース信号が多く放送されている欧州においてより効果を期待できる。欧州では、３０フレーム/秒ではなく２５フレーム/秒の信号が元画像として使われる。

なお、動き適用型ＩＰ変換部２３の代わりに、画像間の動きベクトルを検出し、その動きベクトルに基づいて画素を補間する動き補償型（ベクトル検出型とも称する）ＩＰ変換部を用いてもかまわない。動き補償型ＩＰ変換部を用いれば、動き適用型ＩＰ変換部２３を用いたときに比較して、画像の動きに対応してより適切に補間されたプログレッシブ信号を生成することができる。

なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の構成例を示すブロック図である。 図１のＩＰ変換部の構成例を示すブロック図である。 ２・２プルダウンテレシネ変換および２・２プルダウン逆変換を説明する図である。 動き適応型ＩＰ変換を説明する図である。 動き適応型ＩＰ変換を説明する図である。 図２の元画像２４０Ｐ検出部の構成例を示すブロック図である。 元画像２４０Ｐ検出部の動作を説明する図である。 元画像２４０Ｐ検出部の動作を説明する図である。 ＩＰ変換部の動作を説明するフローチャートである。

Claims (6)

1. インタレース信号をプログレッシブ信号に変換する画像信号処理装置において、
   ２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換する第１の変換手段と、
   動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換する第２の変換手段と、
   インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定する判定手段と、
   前記判定手段による判定結果が肯定である場合、前記第２の変換手段による変換結果を選択し、前記判定手段による判定結果が否定である場合、前記第１の変換手段による変換結果を選択する選択手段と
   を含む画像信号処理装置。
2. 前記判定手段は、前記２枚のフィールド画像の相関値Ｓを次式に基づいて演算する
   ただし、ｘは画素の水平座標、ｙは画素の垂直座標、ｙ−１はｙより１つ下のラインの垂直座標、ｙ＋１はｙより１つ上のラインの垂直座標、ｆ１は一方のフィールド画像の括弧内座標の画素値、ｆ２は他方のフィールド画像の括弧内座標の画素値、Σは総和を示す
   ｐ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ−１）｜
   ｑ＝Σ｜ｆ１（ｘ，ｙ）−ｆ２（ｘ，ｙ＋１）｜
   Ｓ＝ｐ／ｑ （ｐ＞ｑの場合）
   Ｓ＝ｑ／ｐ （ｑ≧ｐの場合）
   請求項１に記載の画像信号処理装置。
3. 前記判定手段は、前記相関値Ｓと所定の閾値を比較して、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定する
   請求項２に記載の画像信号処理装置。
4. 前記第２の変換手段は、前記動き適応型ＩＰ変換の代わりに、画像間の動きベクトルに基づいて画素を補間する動き補償型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換する
   請求項１に記載の画像信号処理装置。
5. インタレース信号をプログレッシブ信号に変換する画像信号処理装置の画像信号処理方法において、
   ２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第１の変換結果を生成し、
   動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第２の変換結果を生成し、
   インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定し、
   この判定結果が肯定である場合、前記第２の変換結果を選択し、この判定結果が否定である場合、前記第１の変換結果を選択する
   ステップを含む画像信号処理方法。
6. インタレース信号をプログレッシブ信号に変換するためのプログラムであって、
   ２・２プルダウン逆変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第１の変換結果を生成し、
   動き適応型ＩＰ変換によって前記インタレース信号を前記プログレッシブ信号に変換することにより、第２の変換結果を生成し、
   インタレース信号による連続した２枚のフィールド画像の相関値Ｓを演算し、前記相関値Ｓに基づき、前記２枚のフィールド画像が、垂直方向の画素数が前記フィールド画像と等しい１枚のフレーム画像から生成されたものであるか否かを判定し、
   この判定結果が肯定である場合、前記第２の変換結果を選択し、この判定結果が否定である場合、前記第１の変換結果を選択する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images