JP5300600B2 - 映像処理装置およびその方法 - Google Patents

Description

本発明は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理に関する。

例えばテレビジョンなど、動画像データを伝送、蓄積する際の形式として、毎秒60フィールドのインタレース走査画像が用いられている。ディジタル放送や、DVDによるディジタル動画の蓄積には、MPEG-2動画符号化により、インタレース走査画像を圧縮する。また、ビデオカメラによる撮影においても、毎秒60フィールドのインタレース走査による撮影が一般的である。

一方、フィルム映画の撮影、上映においては、毎秒24フレームの画像が用いられる。従って、映画をテレビジョン放送したり、DVDに記録する場合は、毎秒24フレームのプログレッシブ走査画像を毎秒60フィールドのインタレース走査画像に変換する作業が必要になり、この変換は一般に2-3プルダウンと呼ばれている。

また、映画には、台詞が字幕で入る場面がある。この字幕は、毎秒30フレームで作成されている。映画をテレビジョン放送したり、DVDに記録する場合は、毎秒30フレームの字幕画像（プログレッシブ走査画像）を毎秒60フィールドのインタレース走査画像に変換する、一般に2-2プルダウンと呼ばれる変換が行われる。

図1はテレビジョン放送の情報番組において映画を宣伝する場合の画面例を示す図で、例えば、画面の中心に映画の映像を、画面の左下などにコメンテータなどの映像を挿入する場合がある。

図1に示す画面の場合、1フレーム内には2-3プルダウンされた画像121（映画の映像）、2-2プルダウンされた画像122（字幕）、非プルダウンの通常の画像123が混在することになる。このような映像を以下では「ミックスドコンテンツ」と呼ぶ。

図2はフィルム映画をテレビジョン信号に変換するテレシネを説明する図である。図2に示す(24p)は映画のフレーム（毎秒24フレーム）を示し、(60i)はインタレース走査のフィールド（毎秒60フィールド）を示す。2-3プルダウンは、A、B、C、Dと連続する映画の4フレームを、Ao、Ae、Bo、Be、Bo、Ce、Co、De、Do、Deのように、交互に2フィールドと3フィールドのインタレース走査画像に変換する。つまり、映画の4フレームを10フィールド（5フレーム）のテレビジョン信号に変換する。

図3は字幕画像をテレビジョン信号に変換するテレシネを説明する図である。図3に示す(30p)は字幕のフレーム（毎秒30フレーム）を示し、(60i)はインタレース走査のフィールド（毎秒60フィールド）を示す。2-2プルダウンは、A、B、C、D、Eと連続する字幕の5フレームを、Ao、Ae、Bo、Be、Co、Ce、Do、De、Eo、Eeのように、2フィールドのインタレース走査画像に変換する。つまり、字幕の5フレームを10フィールド（5フレーム）のテレビジョン信号に変換する。

図2や図3の(60i)に示す、交互に2フィールドと3フィールドを繰り返すパターンや、2フィールドを繰り返すパターンの検出には、ステートマシン（状態遷移装置）を用いる手法が知られている（特許文献1参照）。ステートマシンは、詳細は特許文献1の図4に記載されているが、予め決められた状態を、決められた条件に従って、決められた順番に遷移する装置のことである。

テレビジョン信号を表示する装置は、古くはCRTを用い、インタレース走査画像をそのまま表示していた。しかし、近年、LCD、プラズマなどに代表されるプログレッシブ走査の表示デバイスが普及し、インタレース走査画像をプログレッシブ走査画像に変換して表示する方式が普及した。

2-3プルダウン、または、2-2プルダウンされたインタレース走査画像をプログレッシブ走査画像に変換（以下、IP変換: interlace to progressive conversion）する手法としてWeave処理が知られている。Weave処理は、前後の2フィールドを合成することによりプログレッシブ画像を生成する処理である（例えば、特許文献2参照）。

図2の(60p)は2-3プルダウンされたインタレース走査画像をWeave処理したプログレッシブ走査画像を示し、図3の(60p)は2-2プルダウンされたインタレース走査画像をWeave処理したプログレッシブ画像を示している。

2-3プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像の各フレームを補間処理する場合の参照フィールド（以下、補間相手）は、A1フレームの場合は後続のフィールド（以下、後フィールド）であるAeフィールドである。また、A2フレームの場合は先行するフィールド（以下、前フィールド）であるAoフィールドである。各フレームの補間相手の関係を抽出すると「後、前、後、前、前」というパターンが繰り返される。

一方、2-2プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像の各フレームを補間相手を抽出すると「後、前」が繰り返される。ただし、2-3プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像との対応を考えると、図2に示すように「後、前、後、前、後」と「前、後、前、後、前」というパターンの繰り返しになる。

従って、映像に字幕がある場合、これら二つの繰り返しパターンが混在することになり、字幕が入ったり消えたりする瞬間、字幕部分に走査線方向の櫛状ノイズが生じる場合がある。また、字幕は正常に表示されるが、映像が走査線方向に櫛状に乱れる現象が生じる場合もある。このようなノイズや乱れはコーミング(combing)ノイズと呼ばれる。

例えば、特許文献3は、映像領域と字幕領域を検出して、領域ごとに適応的な補間を行って、高画質化を図る手法を提案する。しかし、映像領域と字幕領域を適応的に補間するとしても、非プルダウン領域は考慮しないため、画像の一部に画質劣化などの弊害が残る。言い換えれば、従来のプルダウン検出を伴うIP変換は、1フィールドにプルダウン状態が異なる三つ以上の領域を含むミックスドコンテンツに対しては高画質な映像を得ることができない。

特開平10-065964号公報 特開平11-088845号公報 特開2004-350291公報

本発明は、インタレース走査の映像信号に含まれる変換状態が異なる各領域を高精度に検出することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる映像処理は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理であって、注目フィールドと後フィールドから生成したフレームFcnのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームFcのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームFpcのコーミング度を所定の画素ブロック単位およびフレーム単位に算出し、前記画素ブロック単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記画素ブロック単位に算出し、前記フレーム単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記フレーム単位に算出し、前記フレーム単位の評価値からフィールドパターンを検出し、前記検出されたフィールドパターンと、前記画素ブロック単位の評価値からフィールドパターンを判定し、前記フィールドパターンの検出は、所定のフィールドレートのインタレース走査の映像を示す第一のフィールドパターンを検出し、第一のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第二のフィールドパターンを検出し、第二のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第三のフィールドパターンを検出することを特徴とする。

本発明によれば、インタレース走査の映像信号に含まれる変換状態が異なる各領域を高精度に検出することができる。

テレビジョン放送の情報番組において映画を宣伝する場合の画面例を示す図。 フィルム映画をテレビジョン信号に変換するテレシネを説明する図。 字幕画像をテレビジョン信号に変換するテレシネを説明する図。 実施例の映像信号処理装置の構成例を示すブロック図。 コーミング度検出部15によるフレーム画像の生成を示す図。 コーミング度を算出する画素ブロックを構成する画素を説明する図。 コーミング度の算出を説明する図。 コーミング度検出部17によるフレーム画像の生成を示す図。 コーミング度を算出する画素ブロックを構成する画素を説明する図。 コーミング度の算出を説明する図。 コーミング度検出部16が入力するフレーム画像を示す図。 コーミング度を算出する画素ブロックを構成する画素を説明する図。 コーミング度の算出を説明する図。 評価値算出部18による評価値の算出を示すフローチャート。 評価値算出部19による評価値の算出を示すフローチャート。 評価値算出部20による評価値の算出を示すフローチャート。 実施例2の情報処理装置の構成例を示すブロック図。 情報処理装置が映像信号処理を行う際のメインメモリのメモリマップ例を示す図。 CPUが実行する映像信号処理を説明するフローチャート。 パターンの検出の詳細を示すフローチャート。

以下、本発明にかかる実施例の映像処理を図面を参照して詳細に説明する。

［装置の構成］
図4は実施例の映像信号処理装置の構成例を示すブロック図である。なお、説明を簡単にするため、処理対象を映像信号の輝度信号とする例を説明するが、これに限定されるものではない。

入力端子11に入力されるインタレース走査の映像信号（なお、説明を簡単なものとするため、色成分がない輝度信号とする）は、フィールドメモリ12、コーミング度検出部15に供給される。

フィールドメモリ12、13は、インタレース走査の映像信号の1フィールド分を格納するメモリ容量を備える。フィールドメモリ12は、映像信号を1フィールド時間分遅延して、遅延した映像信号をフィールドメモリ13、フィールド内補間部14、コーミング度検出部15、17、フレーム生成部27へ出力する。フィールドメモリ13は、映像信号をさらに1フィールド時間分遅延して、2フィールド（1フレーム）時間分遅延した映像信号をコーミング度検出部17、フレーム生成部27へ出力する。

以下では、2フィールド時間分遅延したフィールドを前フィールドP、1フィールド時間分遅延したフィールドを注目フィールドC、入力端子11に入力されたフィールドを後フィールドNとする。

フィールド内補間部14は、注目フィールドCの画素が存在しないライン（注目ライン）を、注目ラインに隣接する二つのライン（隣接ライン）のデータを用いて、例えばバイキュービック法などにより補間してフレーム画像Fcを生成する。そして、フレーム画像Fcをコーミング度検出部16とフレーム生成部27に出力する。

コーミング度検出部15、16、17はそれぞれ、詳細は後述するが、入力されるフレームのコーミングノイズの量を示す指標（以下、コーミング度）を画素ブロック単位に検出する。コーミング度検出部15は、注目フィールドCと後フィールドNを合成して作成したフレーム画像Fcnのコーミング度を示すスコアS1を画素ブロック単位に検出する。コーミング度検出部16は、フィールド内補間されたフレーム画像Fcのコーミング度を示すスコアS2を画素ブロック単位に検出する。コーミング度検出部17は、前フィールドPと注目フィールドCを合成して作成したフレーム画像Fpcのコーミング度を示すスコアS3を画素ブロック単位に検出する。

評価値算出部18、19、20は、画素ブロック単位のコーミング度を示すスコアS1、S2、S3に基づき、画素ブロック単位の評価値を算出する。また、画素ブロック単位のコーミング度を示すスコアS1、S2、S3からフレーム単位のコーミング度を算出して、算出結果に基づきフレーム単位の評価値を算出する。60iパターン検出部21は、評価値算出部18が出力するフレーム単位の評価値を蓄積して、フィールドレートが60フィールド/秒のインタレース走査の映像信号を示すパターン（以下、60iパターン）を検出する。そして、60iパターンを検出した場合、当該検出を示す信号を出力する。

2-3パターン検出部22は、評価値算出部19が出力するフレーム単位の評価値を蓄積する。そして、蓄積した評価値から、第一のフレームレートである24フレーム/秒のプログレッシブ走査の映像信号からIP変換された、フィールドレートが60フィールド/秒のインタレース走査の映像信号を示すパターンを検出する。このIP変換は2-3プルダウンであり、このパターンを「2-3パターン」と呼ぶことにする。そして、2-3パターンを検出した場合、合成すべきフィールドが前フィールドPか後フィールドNかを示す信号fp2を出力する。

2-2パターン検出部23は、評価値算出部20が出力するフレーム単位の評価値を蓄積する。そして、蓄積した評価値から、第二のフレームレートである30フレーム/秒のプログレッシブ走査の映像信号からIP変換された、フィールドレートが60フィールド/秒のインタレース走査の映像信号を示すパターンを検出する。このIP変換は2-2プルダウンであり、このパターンを「2-2パターン」と呼ぶことにする。そして、2-2パターンを検出した場合、合成すべきフィールドが前フィールドPか後フィールドNかを示す信号fp3を出力する。なお、60iパターン、2-3パターン、2-2パターンを合わせてフィールドパターンと呼ぶ場合がある。

パターン判定部24、25、26は、詳細は後述するが、画素ブロック単位の評価値と、フレーム単位のフィールドパターンの検出結果に基づき、フィールドパターンの検出結果を判定する。フレーム生成部27は、前フィールドP、注目フィールドC、後フィールドNおよびフィールド内補間されたフレーム画像Fcを入力する。そして、パターン判定部24、25、26が出力するフィールドパターンの判定結果に基づき、フレーム画像を生成するとともに画素単位に画素を補正して、生成・補正結果の映像信号を出力端子28に出力する。

●コーミング度検出部15
図5はコーミング度検出部15によるフレーム画像Fcnの生成を示す図である。図5に示すように、コーミング度検出部15は、注目フィールドCと後フィールドNを合成してフレーム画像Fcnを生成し、画素ブロック単位にコーミング度を算出したスコアS1を出力する。

図6はコーミング度c1を算出する画素ブロックを構成する画素を説明する図である。例えば、図6に示すように、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）と、後フィールドNの3×3画素Nij（i, j=0〜2）からなるフレーム画像Fcnの3×5画素を画素ブロックにする。

コーミング度検出部15は、図7に示すように、画素ブロックを構成する注目フィールドCの画素と後フィールドNの画素を用いて三つのフレーム構造（それぞれサブブロックと呼ぶ）を構成する。そして、図7に示すサブブロックA、サブブロックB、サブブロックCにおいて次の演算を行う。
if (サブブロックA) {
A1 = min(|N00-C00|, |N01-C01|, |N02-C02|)；
A2 = min(|C00-N10|, |C01-N11|, |C02-N12|)；
A3 = min(|N00-N10|, |N01-N11|, |N02-N12|)；
SA = A1 + A2 - A3；
}
if (サブブロックB) {
B1 = min(|C00-N10|, |C01-N11|, |C02-N12|)；
B2 = min(|N10-C10|, |N11-C11|, |N12-C12|)；
B3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SB = B1 + B2 - B3；
}
if (サブブロックC) {
C1 = min(|N10-C10|, |N11-C11|, |N12-C12|)；
C2 = min(|C10-N20|, |C11-N21|, |C12-N22|)；
C3 = min(|N10-N20|, |N11-N21|, |N12-N22|)；
SC = C1 ＋ C2 - C3；
} …(1)
ここで、min( )は最小の値を出力する関数。

さらに、各サブブロックの演算結果を基に、次式に従い、評価値算出部18、19、20へ出力するスコアSを算出する。
M1 = min(SA, SB)；
M2 = min(SB, SC)；
S1 = max(M1, M2)； …(2)
ここで、max( )は最大の値を出力する関数。

●コーミング度検出部17
図8はコーミング度検出部17によるフレーム画像Fpcの生成を示す図である。図8に示すように、コーミング度検出部17は、前フィールドPと注目フィールドCを合成してフレーム画像Fpcを生成し、画素ブロック単位にコーミング度を算出したスコアS3を出力する。

図9はコーミング度を算出する画素ブロックを構成する画素を説明する図である。例えば、図9に示すように、前フィールドPの3×3画素Pij（i, j=0〜2）と、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）からなるフレーム画像Fpcの3×5画素を画素ブロックにする。

コーミング度検出部17は、図10に示すように、画素ブロックを構成する前フィールドPの画素と注目フィールドCの画素を用いてサブブロックを構成する。そして、図9に示すサブブロックD、サブブロックE、サブブロックFにおいて次の演算を行う。
if (サブブロックD) {
D1 = min(|P00-C00|, |P01-C01|, |P02-C02|)；
D2 = min(|C00-P10|, |C01-P11|, |C02-P12|)；
D3 = min(|P00-P10|, |P01-P11|, |P02-P12|)；
SD = D1 + D2 - D3；
}
if (サブブロックE) {
E1 = min(|C00-P10|, |C01-P11|, |C02-P12|)；
E2 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
E3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SE = E1 + E2 - E3；
}
if (サブブロックF) {
F1 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
F2 = min(|C10-P20|, |C11-P21|, |C12-P22|)；
F3 = min(|P10-P20|, |P11-P21|, |P12-P22|)；
SF = F1 ＋ F2 - F3；
} …(3)

さらに、各サブブロックの演算結果を基に、次式に従い、評価値算出部18、19、20へ出力するスコアS3を算出する。
M3 = min(SD, SE)；
M4 = min(SE, SF)；
S3 = max(M3, M4)； …(4)

●コーミング度検出部16
図11はコーミング度検出部16が入力するフレーム画像Fcを示す図である。図11に示すように、コーミング度検出部16は、注目フィールドCから補間されたフレーム画像Fcを入力し、画素ブロック単位にコーミング度を算出したスコアS2を出力する。

図12はコーミング度を算出する画素ブロックを構成する画素を説明する図である。例えば、図12に示すように、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）と、注目フィールドCから補間された3×3画素Iij（i, j=0〜2）からなるフレーム画像Fcの3×5画素を画素ブロックにする。

コーミング度検出部16は、図13に示すように、画素ブロックを構成する注目フィールドCの画素と、注目フィールドCから補間された画素を用いてサブブロックを構成する。そして、図12に示すサブブロックG、サブブロックH、サブブロックJにおいて次の演算を行う。
if (サブブロックG) {
G1 = min(|I00-C00|, |I01-C01|, |I02-C02|)；
G2 = min(|C00-I10|, |C01-I11|, |C02-I12|)；
G3 = min(|I00-I10|, |I01-I11|, |I02-I12|)；
SG = G1 + G2 - G3；
}
if (サブブロックH) {
H1 = min(|C00-I10|, |C01-I11|, |C02-I12|)；
H2 = min(|I10-C10|, |I11-C11|, |I12-C12|)；
H3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SH = H1 + H2 - H3；
}
if (サブブロックJ) {
J1 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
J2 = min(|C10-P20|, |C11-P21|, |C12-P22|)；
J3 = min(|P10-P20|, |P11-P21|, |P12-P22|)；
SJ = J1 ＋ J2 - J3；
} …(5)

さらに、各サブブロックの演算結果を基に、次式に従い、評価値算出部18、19、20へ出力するスコアS2を算出する。
M5 = min(SG, SH)；
M6 = min(SH, SJ)；
S2 = max(M5, M6)； …(6)

●評価値算出部（共通）
まず、評価値算出部18、19、20に共通する処理を説明する。三つの評価値算出部18、19、20は、スコアSn（n=1, 2, 3）を入力し、画素ブロック単位のコーミング度をフレーム単位のコーミング度に変換する。

まず、スコアSnと所定の閾値Sthを比較して、Sn＞Sthであれば、当該画素ブロックをコーミング度が高いブロック（以下、コーミングブロック）と判定する。そして、フレーム全体に亘りコーミングブロックの数をスコアS1、S2、S3ごとにカウントして、カウント値Cn_countを得る。そして、次式によりフレーム単位のコーミング度cnを計算する。
c1 = C1_count/C1_count_max；
c2 = C2_count/C2_count_max；
c3 = C3_count/C3_count_max； …(7)

つまり、コーミング度検出部15、16、17は、各画素ブロックに生じるアーティファクトの強度をコーミング度を示すスコアSnとして算出する。また、評価値算出部18、19、20は、フレームに生じるアーティファクトの強度をコーミング度cnとして算出する。

●評価値算出部18
フレーム単位の60iパターンについて、動きが存在する映像を仮定すると、時間的に連続する二つのフィールドから合成されたフレームは、常にコーミングが生じている状態になる。シーンチェンジなどを考慮しなければ、フィールド画像Fpcのコーミング度と、フレーム画像Fcnのコーミング度には余り差がないと推測される。

図14は評価値算出部18による評価値の算出を示すフローチャートである。

フレーム単位の評価値を算出する場合、評価値算出部18は、コーミング度c1とc3の差分絶対値aを計算し(S201)、コーミング度c2とc3の差分絶対値bを計算する(S202)。これはフレーム画像の垂直方向の空間周波数が高い状況が考えられ、その影響を極力低減するためである。

次に、評価値算出部18は、差分絶対値a、bの差分絶対値|a-b|と所定の閾値Cth1（フレーム単位の評価値を算出する場合はCfth1）を比較する(S203)。差分絶対値|a-b|は、フレーム画像Fpcのコーミング度と、フレーム画像Fcnのコーミング度の差に相当する。従って、評価値算出部18は、|a-b|＞Cfth1であれば60iパターンである可能性は低く、判定結果として60iパターンの可能性が低いことを示す‘0’を60iパターン検出部21に出力する(S204)。逆に|a-b|≦Cfth1であれば60iパターンである可能性が高く、判定結果として60iパターンの可能性が高いことを示す‘1’を60iパターン検出部21に出力する(S205)。

画素ブロック単位の評価値を算出する場合、評価値算出部18は、スコアS1とS3の差分絶対値aを計算し(S201)、スコアS2とS3の差分絶対値bを計算する(S202)。前述したように、これはフレーム画像の垂直方向の空間周波数が高い状況が考えられ、その影響を極力低減するためである。

次に、評価値算出部18は、差分絶対値a、bの差分絶対値|a-b|と所定の閾値Cth1（画素ブロック単位の評価値を算出する場合はCbth1）と比較する(S203)。差分絶対値|a-b|は、注目フィールドCと前フィールドPの合成によって作成される画素ブロックのコーミング度と、注目フィールドCと後フィールドNの合成によって作成される画素ブロックのコーミング度の差に相当する。従って、評価値算出部18は、|a-b|＞Cbth1であれば60iパターンである可能性は低く、判定結果として60iパターンの可能性が低いことを示す‘0’をパターン判定部24に出力する(S204)。逆に|a-b|≦Cbth1であれば60iパターンである可能性が高く、判定結果として60iパターンの可能性が高いことを示す‘1’をパターン判定部24に出力する(S205)。

●評価値算出部19
評価値算出部19は、コーミング度c1からc3（またはスコアS1からS3）に基づき、フレーム画像を生成すべきフィールドの組み合わせを示す信号fp2（評価値）を出力する。なお、信号fp2の出力先は、フレーム単位の評価値の場合は2-3パターン検出部22であり、画素ブロック単位の評価値の場合はパターン判定部25である。
if (fp2==p1) 注目フィールドCと後フィールドNの合成が最適；
if (fp2==p2) 前フィールドPと注目フィールドCの合成が最適；
if (fp2==p3) 何れの組み合わせも最適ではない；
if (fp2==p4) 何れの組み合わせも最適ではないが、過去のパターン情報によって注目フィールドCと何れかのフィールドの組み合わせることが適切；

信号fp2がp4の場合、評価値算出部19は、後段に位置するステートマシンの情報を用いて、最終的に信号fp2としてp1、p2、p3の何れかを出力する。

図15は評価値算出部19による評価値の算出を示すフローチャートである。フレーム単位の評価値を算出する場合、評価値算出部19は、カウンタnを0に初期化する(S101)。

次に、評価値算出部19は、コーミング度c1と、min(c1, c2, c3)の差分絶対値|Δc1|を算出し(S102)、差分絶対値|Δc1|と所定の閾値m_th（フレーム単位の評価値を算出する場合はmf_th）を比較する(S103)。そして、|Δc1|≧mf_thならばカウンタnをインクリメントする(S104)。

次に、評価値算出部19は、コーミング度c2と、min(c1, c2, c3)の差分絶対値|Δc2|を算出し(S105)、差分絶対値|Δc2|と所定の閾値m_th（フレーム単位の評価値を算出する場合はmf_th）を比較する(S106)。そして、|Δc2|≧mf_thならばカウンタnをインクリメントする(S107)。

次に、評価値算出部19は、カウンタnの値に応じて処理を分岐する(S108)。カウンタn=1は、c1またはc2が他のコーミング度に比べて大きな値を有することを意味する。例えば、フレーム画像Fpcにコーミングが生じ、フレーム画像Fcnにはコーミングが生じていないことを示す（勿論、前後が逆の場合もある）。つまり、注目フィールドCとコーミングが生じないフィールドを合成してフレーム画像を生成することが最適と言える。そこで、n=1の場合、評価値算出部19は、c1とc2を比較して(S109)、c1＜c2ならば信号fp2=p1を出力し(S110)、c1＞c2ならば信号fp2=p2を出力する(S111)。

また、カウンタn=2は、コーミング度c1とc2が伴に大きな値を有することを意味する。つまり、フレーム画像FpcとFcnにコーミングが生じていることを示し、何れのフィールドとの合成も適さない。そこで、n=2の場合、評価値算出部19は、信号fp2=p3を出力する(S112)。

また、カウンタn=0は、動画像に動きが少ない状況、または、2-3プルダウンされた3フィールド（図2のB1からB3フィールドなど）の中央のフィールド（図2のB2フィールドなど）である。従って、注目フィールドCに合成する最適なフィールドを判断することができない。そこで、n=0の場合、評価値算出部19は、信号fp2=p4を出力する(S113)。なお、上述したように、信号fp2=p4の場合は、評価値算出部19は、ステートマシンにおいて検出されている蓄積パターンに基づき、注目フィールドCに合成する最適なフィールドを最終的に判断する。

画素ブロック単位の評価値を算出する場合、図15に示すコーミング度cnがスコアSnに、差分絶対値|Δc1|と|Δc2|が|ΔS1|と|ΔS2|に代わり、閾値m_thがmf_thになるが、処理の流れは同様であるので、詳細な説明を省略する。

●評価値算出部20
評価値算出部20は、コーミング度c1からc3（またはスコアS1からS3）に基づき、フレーム画像を生成すべきフィールドの組み合わせを示す信号fp3（評価値）を出力する。なお、信号fp3の出力先は、フレーム単位の評価値の場合は2-2パターン検出部23であり、画素ブロック単位の評価値の場合はパターン判定部26である。
if (fp3==p1) 注目フィールドCと後フィールドNの合成が最適；
if (fp3==p2) 前フィールドPと注目フィールドCの合成が最適；
if (fp3==p3) 何れの組み合わせも最適ではない；

2-2パターンにおいては、シーンチェンジなどを考慮しなければ、フレーム画像Fpcのコーミング度と、フレーム画像Fcnのコーミング度は、常に、差が大きいと推測される。

図16は評価値算出部20による評価値の算出を示すフローチャートである。フレーム単位の評価値を算出する場合、評価値算出部20は、コーミング度c1とc3の差分絶対値aを計算し(S501)、コーミング度c2とc3の差分絶対値bを計算する(S502)。これはフレーム画像の垂直方向の空間周波数が高い状況が考えられ、その影響を極力低減するためである。

次に、評価値算出部20は、差分絶対値a、bの差分絶対値|a-b|と所定の閾値Cth3（フレーム単位の評価値を算出する場合はCfth3）を比較する(5203)。差分絶対値|a-b|は、フレーム画像Fpcのコーミング度と、フレーム画像Fcnのコーミング度の差に相当する。評価値算出部20は、|a-b|＞Cfth3であればc1とc2を比較して(S504)、c1＞c2ならば信号fp3=p2を出力し(S506)、c1＜c2ならば信号fp3=p1を出力する(S507)。また、|a-b|≦Cfth3の場合は信号fp3=p3を出力する(S505)。

画素ブロック単位の評価値を算出する場合、図16に示すコーミング度cnがスコアSnに、閾値Cth3がCbth3になるが、処理の流れは同様であるので、詳細な説明を省略する。

●60iパターン検出部（第一のフィールドパターンを検出する第一の検出部）
60iパターン検出部21は、60iパターンを検出するステートマシンである。状態を大別すると、60iパターンが検出された状態と、それ以外の状態に分類され、1フィールドにおいてこの二つの状態が混在することはない。

60iパターン検出部21の入力は、評価値算出部18が出力する60iパターンの可能性を示す信号である。当該信号の‘0’は60iパターンの可能性が低いことを、‘1’は60iパターンの可能性が高いことを示す。60iパターン検出部21の状態は、‘1’が入力されると遷移規則に従い遷移し、‘0’が入力されると初期状態に戻る。例えば、初期状態から1→1→1→1（以下、1111と表記する）の順に信号が入力された場合、60iパターン検出部21の状態は1111である。60iパターンが検出された状態は例えば11111の1状態である。60iパターン検出部21は、60iパターンを検出すると‘1’をパターン判定部24に出力し、そうでなければ‘0’をパターン判定部24に出力する。

●2-3パターン検出部（第二のフィールドパターンを検出する第二の検出部）
2-3パターン検出部22は、2-3パターンを検出するステートマシンである。状態を大別すると、2-3プルダウンが検出された状態、何も検出されていない状態に分類され、1フィールドにおいてこの二つの状態が混在することはない。

2-3パターン検出部22の入力は、評価値算出部19が出力する信号fp2である。2-3パターン検出部22の状態は、fp2=p1またはp2が入力されると遷移規則に従って遷移し、fp2=p3が入力されると初期状態に戻る。例えば、初期状態からp1→p2→p1→p2の順に信号fp2が入力された場合、2-3パターン検出部22の状態は1→2→1→2（以下、1212と表記する）と遷移する。

2-3プルダウンを検出した遷移状態は11212、12112、12121、21121、21211の五つの状態であり、これら以外の遷移状態は、何も検出していない状態である。ただし、12121は2-3プルダウンが検出された12121以外の四つの状態からのみ遷移し、例えば状態1212においてp1が入力されても12121には遷移しないようにする。これは、12121は2-2プルダウンにおいても存在するパターンであるため、2-2プルダウンを2-3プルダウンとして誤検出しないようにする処置である。

2-3プルダウンを検出すると、2-3パターン検出部22は、注目フィールドCに対して前後どちらのフィールドが合成に適するかを検出したパターンから判定する。後フィールドNとの合成が適すると判定した場合はfp2=p1を、前フィールドPとの合成が適すると判定した場合はfp2=p2を、何れでもない場合はfp2=p3をパターン判定部25へ出力する。

●2-2パターン検出部（第三のフィールドパターンを検出する第三の検出部）
2-2パターン検出部23は、2-2パターンを検出するステートマシンである。状態を大別すると、2-2プルダウンが検出された状態、何も検出されていない状態に分類され、1フィールドにおいてこの二つの状態が混在することはない。

2-2パターン検出部23の入力は、評価値算出部20が出力する信号fp3である。2-2パターン検出部23の状態は、fp3=p1またはp2が入力されると遷移規則に従って遷移し、fp3=p3が入力されると初期状態に戻る。例えば、初期状態からp1→p2→p1→p2の順に信号fp3が入力された場合、2-2パターン検出部23の状態は1212と遷移する。

2-2プルダウンを検出した遷移状態は12121と21212の二つの状態であり、これら以外の遷移状態は、何も検出していない状態である。2-2プルダウンを検出すると、2-2パターン検出部23は、注目フィールドCに対して前後どちらのフィールドが合成に適するかを検出したパターンから判定する。後フィールドNとの合成が適すると判定した場合はfp3=p1を、前フィールドPとの合成が適すると判定した場合はfp3=p2を、何れでもない場合はfp3=p3をパターン判定部26へ出力する。

●パターン判定部
パターン判定部24、25、26は、三つのパターン検出部が数フィールドを観察して検出したフィールドパターンが、補正対象画素の周辺の局所的な検出結果と一致するか否かを判定する。

つまり、第一の判定部であるパターン判定部24は、60iパターン検出部21の検出結果と、評価値算出部18の画素ブロック単位の評価値を比較する。そして両者がともに60iパターンの存在を示す‘1’の場合はfp1=‘1’を、そうでない場合はfp1=‘0’を出力する。

第二の判定部であるパターン判定部25は、2-3パターン検出部22の評価値fp2と、評価値算出部19の画素ブロック単位の評価値fp2を比較する。そして両者がともにp1であればfp2=p1を、両者がともにp2であればfp2=p2を出力し、何れでもない場合はfp2=p3を出力する。

第三の判定部であるパターン判定部26は、2-2パターン検出部23の評価値fp3と、評価値算出部20の画素ブロック単位の評価値fp3を比較する。そして両者がともにp1であればfp3=p1を、両者がともにp2であればfp3=p2を出力し、何れでもない場合はfp3=p3を出力する。

なお、fp1=‘1’は60iパターンの検出を示し、fp2=p1またはp2は2-3パターンの検出を示し、fp3=p1またはp2は2-2パターンの検出を示す。

●フレーム生成部
フレーム生成部27は、パターン判定部24、25、26からの入力のうち、一つがフィールドパターンの検出を示し、それ以外が非検出を示す場合は、検出されたフィールドパターンに従うフレーム画像の生成と画素補正を行う。また、複数のフィールドパターンが検出された場合は、fp2、fp1、fp3の順の優先順位に従い、優先順が高いフィールドパターンに従うフレーム画像の生成と画素補正を行う。また、すべてのフィールドパターンが非検出の場合は、フィールドパターンに関係なく一般的に用いられる画素補正を行う。

このように、三種類のフィールドパターン検出を並列処理して、ミックスドコンテンツにおける各画素のフィールドパターンを精度よく検出する。従って、検出結果のフィールドパターンに応じたIP変換手法を用いて、より高精細なプログレッシブ画像を取得することができる。

以下、本発明にかかる実施例2の映像信号処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

パーソナルコンピュータなどの汎用の情報処理装置にコンピュータプログラムを供給して実施例1の映像信号処理装置を実現することができる。実施例2では、そのような実装を説明する。

［装置の構成］
図17は実施例2の情報処理装置の構成例を示すブロック図である。CPU101は、メインメモリ102のRAMをワークメモリとして、メインメモリ102のROMおよびハードディスクドライブ(HDD)105に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。そして、PCI (peripheral component interconnect)バスなどのシステムバス114を介して各構成を制御する。さらに、後述する映像信号処理アプリケーションを含む各種プログラムを実行する。

CPU101は、システムバス114およびシリアルATAインタフェイス(SATA I/F)103を介してHDD105にアクセスする。また、通信I/F104を介してローカルエリアネットワーク(LAN)などのネットワーク113にアクセスする。なお、通信I/F104は、ネットワーク113だけに接続するとは限らず、公衆回線や無線回線への接続、放送電波の受信なども可能である。

以下では、プログラムや各種データをHDD105から読み出すとして説明するが、ネットワーク113上のサーバ装置から読み出すこともできる。

また、CPU101は、ユーザインタフェイス(UI)や処理結果をグラフィックアクセラレータ106を介してモニタ107に表示し、ユーザ指示をキーボード/マウスコントローラ110に接続されたキーボード111、マウス112を介して入力する。なお、モニタ107は、プログレッシブ走査の表示装置である。

また、CPU101は、例えばUSB (Universal Serial Bus)コントローラ108とシリアルバスを介して接続されたチューナ109などからフィールド単位の映像信号を入力する。なお、チューナの代わりにビデオ再生機からフィールド単位の映像信号を入力してもよい。

［映像信号処理］
ユーザは、UIを操作して、チューナ109から映像信号を入力し、撮影信号が表す動画像のモニタ107への表示を指示する。CPU101は、ユーザ指示に応じて、HDD105から映像信号処理アプリケーションのプログラムをメインメモリ102にロードし、映像信号処理を実行する。

図18は情報処理装置が映像信号処理を行う際のメインメモリ102のメモリマップ例を示す図である。メインメモリ102のRAM領域の先頭部にはOSが存在する。その後に、IP変換処理を含む映像信号処理を行う映像信号処理ソフトウェア、画像入力ソフトウェア、動画像をモニタ107に表示する画像表示ソフトウェアなどが存在する。なお、画像入力ソフトウェアは、USBコントローラ108を制御して映像信号を1フィールドずつ入力（キャプチャ）する。さらに、動画像データを格納する画像エリア、各種演算パラメータなどを格納しておくワーキングエリアが存在する。

図19はCPU101が実行する映像信号処理を説明するフローチャートである。CPU101は、映像信号処理ソフトウェアを実行し、画像エリアや各種演算パラメータなどを初期化する(S11)。そして、映像信号処理を終了するか否かを判定する(S12)。ユーザが、UIを操作して、映像信号処理の終了を指示した場合、CPU101は、映像信号処理を終了する。

映像信号処理を継続する場合、CPU101は、フィールド単位に、チューナ109から映像信号を入力し画像エリアに格納する(S13)。そして、画像エリアに格納した映像信号からフィールドパターンを検出し(S14)、フィールドパターンの検出結果に応じて上述した補正処理を行い、IP変換処理結果の映像信号を画像エリアに格納する(S15)。そして、処理をステップS12に戻す。また、CPU101は、画像表示ソフトウェアを実行して、画像エリアに格納したIP変換処理結果の映像信号をモニタ107に表示する。

図20はパターンの検出(S14)の詳細を示すフローチャートである。CPU101は、画像エリアに格納した映像信号から、前フィールドPと注目フィールドCの合成によりフレームFpcを、注目フィールドC内補間によりフレームFcを、注目フィールドCと後フィールドNの合成によりフレームFcnを作成する。そして、上述した画素ブロックのスコアS1〜S3と、各フレームのコーミング度c1〜c3を算出する(S400)。

次に、CPU101は、スコアS1〜S3とコーミング度c1〜c3を基に評価値を算出し(S401)、フレーム単位の評価値を基にフィールドパターンを検出する（ステートマシン処理）(S402)。そして、画素ブロック単位の評価値と、ステートマシン処理によるフィールドパターンの検出結果に基づき、パターン判定部24、25、26と同様の処理を行い、フィールドパターンを検出する(S404)。

［変形例］
上記では、説明を簡単にするため、映像信号の輝度信号を例に説明したが、RGBなどの信号でも構わないし、色度信号を対象にしても構わない。また、1:2のインタレース走査画像を例に説明したが、これに限定されず、各算出部を調整することで他の比率のインタレース走査画像に対応することができる。

［他の実施例］
本発明の目的は、次のようにしても達成される。上記実施例の機能または先に説明したフローチャートの処理や制御を実現するプログラムを記録した記録媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）に前記プログラムを実行させる。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのプログラムと、そのプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

Claims (7)

1. インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理装置であって、
   注目フィールドと後フィールドから生成したフレームFcnのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームFcのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームFpcのコーミング度を所定の画素ブロック単位およびフレーム単位に算出するコーミング度の算出手段と、
   前記画素ブロック単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記画素ブロック単位に算出し、前記フレーム単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記フレーム単位に算出する評価値の算出手段と、
   前記フレーム単位の評価値からフィールドパターンを検出する検出手段と、
   前記検出されたフィールドパターンと、前記画素ブロック単位の評価値からフィールドパターンを判定する判定手段とを有し、
   前記検出手段は、所定のフィールドレートのインタレース走査の映像を示す第一のフィールドパターンを検出する第一の検出手段と、
   第一のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第二のフィールドパターンを検出する第二の検出手段と、
   第二のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第三のフィールドパターンを検出する第三の検出手段とを有することを特徴とする映像処理装置。
2. さらに、前記判定の結果に応じてフィールドからフレームを生成し、前記フレームの画素を補正する生成手段を有することを特徴とする請求項1に記載された映像処理装置。
3. 前記コーミング度の算出手段は、画素ブロックに生じるアーティファクトの強度を前記画素ブロック単位のコーミング度として算出し、前記フレームに生じるアーティファクトの強度を前記フレーム単位のコーミング度として算出することを特徴とする請求項1または請求項2に記載された映像処理装置。
4. 前記判定手段は、前記第一の検出手段の検出結果と、前記フレームFcnの前記画素ブロック単位のコーミング度から算出された評価値に基づき、前記第一のフィールドパターンの存在を判定する第一の判定手段と、
   前記第二の検出手段の検出結果と、前記フレームFcの前記画素ブロック単位のコーミング度から算出された評価値に基づき、前記第二のフィールドパターンの存在を判定する第二の判定手段と、
   前記第三の検出手段の検出結果と、前記フレームFpcの前記画素ブロック単位のコーミング度から算出された評価値に基づき、前記第三のフィールドパターンの存在を判定する第三の判定手段とを有することを特徴とする請求項1から請求項3の何れか一項に記載された映像処理装置。
5. 前記生成手段は、前記第二の判定手段、前記第一の判定手段、前記第三の判定手段の順の優先順位に従い、優先順が高い判定手段の判定結果に従い前記フレームの生成と前記画素の補正を行うことを特徴とする請求項4に記載された映像処理装置。
6. インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理方法であって、
   注目フィールドと後フィールドから生成したフレームFcnのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームFcのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームFpcのコーミング度を所定の画素ブロック単位およびフレーム単位に算出し、
   前記画素ブロック単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記画素ブロック単位に算出し、前記フレーム単位のコーミング度から前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を前記フレーム単位に算出し、
   前記フレーム単位の評価値からフィールドパターンを検出し、
   前記検出されたフィールドパターンと、前記画素ブロック単位の評価値からフィールドパターンを判定し、
   前記フィールドパターンの検出は、所定のフィールドレートのインタレース走査の映像を示す第一のフィールドパターンを検出する第一のステップと、
   第一のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第二のフィールドパターンを検出する第二のステップと、
   第二のフレームレートのプログレッシブ走査の映像から変換された前記所定のフィールドレートのインタレース走査の映像を示す第三のフィールドパターンを検出する第三のステップとを有することを特徴とする映像処理方法。
7. コンピュータを請求項1から請求項5の何れか一項に記載された映像処理装置の各手段として機能させるためのプログラム。

Images