JP3916637B2 - 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 - Google Patents

映像信号処理装置、映像信号処理方法、及び映像信号表示装置 Download PDF

Info

Publication number
JP3916637B2
JP3916637B2 JP2005063555A JP2005063555A JP3916637B2 JP 3916637 B2 JP3916637 B2 JP 3916637B2 JP 2005063555 A JP2005063555 A JP 2005063555A JP 2005063555 A JP2005063555 A JP 2005063555A JP 3916637 B2 JP3916637 B2 JP 3916637B2
Authority
JP
Japan
Prior art keywords
field
signal
sequence
detection
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005063555A
Other languages
English (en)
Other versions
JP2006253766A (ja
Inventor
まさ子 浅村
浩次 南
千尋 佐桑
俊博 賀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005063555A priority Critical patent/JP3916637B2/ja
Priority to US11/884,211 priority patent/US8174614B2/en
Priority to PCT/JP2005/021330 priority patent/WO2006095470A1/ja
Priority to TW094144649A priority patent/TWI309950B/zh
Publication of JP2006253766A publication Critical patent/JP2006253766A/ja
Application granted granted Critical
Publication of JP3916637B2 publication Critical patent/JP3916637B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Description

本発明は、飛び越し走査(インターレース)信号を順次走査(プログレッシブ)の映像信号に変換する映像信号処理装置、映像信号処理方法、及びこの映像信号処理装置又は方法を適用した映像信号表示装置に関し、特に、映画フィルムやコンピュータグラフィックなどで作成された信号から2−3プルダウン方式又は2−2プルダウン方式で変換されたインターレース映像信号か否かを検出し、順次走査変換する映像信号処理装置、映像信号処理方法、及び映像信号表示装置に関するものである。
標準的なテレビジョン信号としては、NTSC方式、ハイビジョン方式、PAL方式などの方式があるが、これらは飛び越し走査(インターレース)信号である。NTSC方式やハイビジョンなどのテレビジョン信号は、毎秒60フィールド(30フレーム)のインターレース信号となっており、また、PAL方式などのテレビジョン信号の場合は、毎秒50フィールド(25フレーム)のインターレース信号である。したがって、映画フィルムやコンピュータグラフィックなどで作成された信号をテレビジョン放送の番組として放送する場合やビデオパッケージとしてパッケージ化する場合には、それぞれのフレーム周波数の信号を毎秒60フィールド又は50フィールドのテレビジョン放送用のインターレース信号へ変換(「テレシネ変換」と呼ぶ。)することになる。
映画フィルムは、毎秒24コマ(フレーム)として撮影されている。映画フィルムの信号を60フィールドのインターレース信号へテレシネ変換する場合には、第1フレーム(奇数番目のコマ)を2フィールドに、第2フレーム(偶数番目のコマ)を3フィールドに対応するよう2−3プルダウン変換し、5フィールドに1回、2フィールド前と同一のフィールドを繰り返すようにする。2−3プルダウン変換により、毎秒24コマの映像信号を毎秒60フィールドのインターレース信号(2−3プルダウンによりテレシネ変換された映像信号であり、「2−3プルダウン信号」と呼ぶ。)に変換することができる。なお、このテレシネ変換では、第1フレームを3フィールドに、第2フレームを2フィールドに対応するよう3−2プルダウン変換する場合もあるが、3−2プルダウン変換は2−3プルダウン変換と実質的には同じ処理であり、本出願において、2−3プルダウン変換として説明する場合には、2−3プルダウン方式による場合だけではなく、3−2プルダウン方式によるテレシネ変換の場合をも含むものとする。
また、映画フィルムの信号を毎秒50フィールドのインターレース信号へテレシネ変換する場合は、1コマの映像信号を1フレームに割り当て、1秒に1回1コマのみ2回表示することで25フレームとし、各フレームを2フィールドに対応させて2−2プルダウン変換する。これにより、毎秒24コマの映像信号を毎秒50フィールドのインターレース信号に変換することができる。
さらに、コンピュータグラフィックスなどで作成されたアニメーション、プロモーションビデオなどの映像の場合には、元の映像信号として、毎秒30枚(フレーム)の映像を作成し、作成された1枚の映像信号を1フレームに割り当て、各フレームを2フィールドに対応させて2−2プルダウン変換する。この2−2プルダウン変換により、毎秒30枚の映像信号を毎秒60フィールドのインターレース信号に変換することができる。上記毎秒24コマの映像信号から得た毎秒50フィールドのインターレース信号、及び毎秒30枚の映像信号から得られた毎秒60フィールドのインターレース信号は、2−2プルダウンによりテレシネ変換された映像信号であり、以下「2−2プルダウン信号」と呼ぶ。
一方、近年では、インターレースのテレビジョン信号を高画質で表示する際、インターレース信号を順次走査(プログレッシブ)の信号に変換(「IP変換」と呼ぶ。)する処理が行われる。IP変換においては、一般に、映像が静止画像である場合には、時間的に隣接するフィールドの対応する走査線の画素をはめ込むことにより補間(フィールド間補間)が行われ、映像が動画像である場合は、同一フィールド内の隣接走査線における画素により補間信号を生成する(フィールド内補間)という動き適応IP変換を行うことが知られている。さらに、IP変換を行う場合には、処理する映像信号がテレシネ変換された映像信号(2−3プルダウン信号及び2−2プルダウン信号であり、「テレシネ映像信号」と呼ぶ。)であるか否かと、プルダウンの位相(同一フレームから変換されたフィールドの方向)を検出(「テレシネ検出」という。)し、テレシネ映像信号に対しては、検出されたプルダウンの位相に応じて、同じフレームから変換されたトップフィールとボトムフィールドによりテレシネ変換される前のプログレッシブ信号を復元し、プログレッシブの映像信号に変換する。なお、テレシネ映像信号に対するIP変換をテレシネ補間と呼ぶ。
テレシネ映像信号を検出してIP変換する従来の映像信号処理装置においては、1フレーム前(すなわち、2フィールド前)のフィールドとの間の差分と、1フィールド前のフィールド(隣接フィールド)との間の差分とを検出し、差分の検出結果におけるフィールド毎の繰り返し周期に基づいて、2−3プルダウン信号及び2−2プルダウン信号のシーケンスを判定することでテレシネ検出を行い、テレシネ補間する装置が提案されている(例えば、特許文献1参照)。
2−3プルダウン信号の場合、5フィールドに1回、2フィールド前と同一のフィールドを繰り返して変換されており、1フレーム前のフィールドとの間の差分によれば、5フィールドに一度の周期で差分情報がゼロ又は所定値以下となる静止画フィールドが存在する。よって、2−3プルダウン信号のシーケンスを判定する際には、フレーム間の差分が5フィールドの繰り返し周期を持つ特性を利用してテレシネ検出を行う。
2−2プルダウン信号の場合には、1フレームが2フィールドに対応して変換されており、隣接フィールド間の差分によれば、2フィールド毎の周期で差分情報がゼロ又は所定値以下となる。よって、2−2プルダウンシーケンスを判定する際には、フィールド間の差分が2フィールドの繰り返し周期の特性を利用してテレシネ検出を行う。
また、隣接フィールド間の差分を検出しテレシネ検出を行うが、フィールド内補間信号との間の差分を用いてシーケンスを判定することで、テレシネ検出における誤検出を防止し、IP変換を行う装置の提案もある(例えば、特許文献2参照)。
さらに、現フィールドのフィールド内補間信号と前後フィールドとの差分からマッチングを表すマッチング信号を生成し、マッチング信号により前後フィールドの信号を混合することでテレシネ補間を行う装置の提案もある(例えば、特許文献3参照)。
特開2003−78926号公報(図1〜図4) 特開2004−96223号公報(図2) 特許第3389984号公報(図1)
隣接フィールド間の差分を用いてテレシネ検出する場合は、1フレーム内における奇数フィールドと偶数フィールドが、基本的に同一の映像で構成されているか否かに基づき検出を行っている。しかし、映像信号がインターレース信号であるため、隣接する2つのフィールドにおける各画素の垂直方向ライン位置は、互いに1/2ラインずれた位置となり、同一位置の画素ではなく、画素同士のレベルを比較しても、全く同一になるとは限らない。
したがって、上記従来の装置においては、隣接フィールドの間の差分を用いてテレシネ検出を行う場合、差分情報の検出の精度が完全でないため、シーケンスを誤検出する可能性がある。また、TV放送などのための編集、CM(コマーシャル)やテロップの挿入などにより、テレシネ映像信号の途中で編集点が頻繁に存在する場合や、テレシネ映像信号以外の信号が混在する場合などに、テレシネ検出において、2−3及び2−2プルダウンのフィールドシーケンス(位相)のずれや抜けなどが発生し、シーケンスの不連続を検出できないこともある。そのため、誤った方向のフィールドでの補間信号によりIP変換してしまい、出力画像が櫛状に割れるいわゆるコーミング現象による画質劣化が生じ、良好なIP変換を行うことができないという問題点がある。
そこで、本発明は、上記の課題を解決するためになされたものであり、その目的は、2−3及び2−2プルダウン方式で変換された飛び越し走査映像信号を順次走査映像信号に変換する処理において、シーケンス検出の誤検出をなくし、コーミング現象による画質劣化が生じないようにすることができる映像信号処理装置、映像信号処理方法、及び映像信号表示装置を提供することにある。
本発明の映像信号処理手段は、飛び越し走査映像信号を順次走査映像信号に変換する映像信号処理装置であって、上記飛び越し走査映像信号をフィールド単位で遅延させるフィールド遅延手段と、上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フレーム前のフィールドとの間の相関を検出し、この検出結果に基づくフレーム間の相関の強さを示す信号を出力するフレーム間相関検出手段と、上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フィールド前のフィールドとの間の相関を検出し、この検出結果に基づくフィールド間の相関の強さを示す信号を出力するフィールド間相関検出手段と、上記飛び越し走査映像信号の注目フィールドにおける高域周波数成分を検出し、この検出結果に基づくフィールド内に存在する高域周波数成分の程度を示す信号を出力するフィールド解像度判定手段と、上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記飛び越し走査映像信号がテレシネ変換された映像信号のフィールドシーケンスを満たすか否かを検出し、この検出結果に基づくテレシネ検出信号を生成して出力するとともに、この検出結果及び上記フィールド内に存在する高域周波数成分の程度を示す信号に基づき、補間信号の混合比を示す混合比信号を生成し出力するプルダウンシーケンス検出手段と、上記飛び越し走査映像信号及び上記フィールド遅延手段で遅延した映像信号に基づいて複数種類の信号を生成し、上記テレシネ検出信号及び上記混合比信号に基づいて、上記複数種類の信号を混合して補間信号を生成し出力する補間信号生成手段と、上記飛び越し走査映像信号及び上記補間信号生成手段から出力された上記補間信号に基づいて、上記順次走査映像信号を生成する変換手段とを有するものである。
また、本発明の映像信号処理方法は、飛び越し走査映像信号を順次走査映像信号に変換する映像信号処理方法であって、上記飛び越し走査映像信号をフィールド単位で遅延させるステップと、上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フレーム前のフィールドとの間の相関を検出し、この検出結果に基づくフレーム間の相関の強さを示す信号を出力するステップと、上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フィールド前のフィールドとの間の相関を検出し、この検出結果に基づくフィールド間の相関の強さを示す信号を出力するステップと、上記飛び越し走査映像信号の注目フィールドにおける高域周波数成分を検出し、この検出結果に基づくフィールド内に存在する高域周波数成分の程度を示す信号を出力するステップと、上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記飛び越し走査映像信号がテレシネ変換された映像信号のフィールドシーケンスを満たすか否かを検出し、この検出結果に基づくテレシネ検出信号を生成して出力するとともに、この検出結果及び上記フィールド内に存在する高域周波数成分の程度を示す信号に基づき、補間信号の混合比を示す混合比信号を生成し出力するステップと、上記飛び越し走査映像信号及び上記フィールド遅延手段で遅延した映像信号に基づいて複数種類の信号を生成し、上記テレシネ検出信号及び上記混合比信号に基づいて、上記複数種類の信号を混合して補間信号を生成し出力するステップと、上記飛び越し走査映像信号及び上記混合された補間信号に基づいて、上記順次走査映像信号を生成するステップとを有するものである。
さらに、本発明の映像信号表示装置は、上記映像信号処理装置と、映像を表示する表示手段と、上記映像信号処理装置から出力された上記順次走査の映像信号に基づく映像を、上記表示手段に表示させる表示処理手段とを有するものである。
本発明の映像信号処理装置又は映像信号処理方法によれば、フレーム差分情報及びフィールド差分情報から、順次入力される飛び越し走査映像信号が2−3プルダウン信号又は2−2プルダウン信号のシーケンスの繰り返し条件を満たすか否かを検出するとともに、それぞれのシーケンスの出現頻度を計測することにより比較的長い期間(フィールド)にわたりシーケンスを監視し、テレシネ映像信号であることの確からしさを示す指標である予測制御フラグに基づいたテレシネ検出信号を出力するようにしており、さらに、各フィールド内に存在する高域周波数成分の程度を判定することで、補間信号の混合比を示す混合比信号を生成し、これによりテレシネ補間信号と動き適応補間による補間信号を混合して、テレシネ補間信号を出力している。したがって、テレシネ検出信号の信頼度が向上し、テレシネ検出信号に基づいて選択される補間走査線信号を適切に選択できるとともに、混合比信号により、補間信号を混合しているので、2−3プルダウン信号及び2−2プルダウン信号のシーケンスの誤検出を回避し、シーケンスの誤検出がある場合に発生するコーミング現象による画質劣化の発生頻度を低減し、テレシネ変換された映像信号を良好な順次走査映像信号に変換することができるという効果がある。
また、本発明の映像信号表示装置によれば、コーミング現象による画質劣化を低減した良好な順次走査映像信号に基づく高品質な映像を表示することができるという効果がある。
本発明の実施の形態における映像信号処理装置、映像信号処理方法、及び映像信号表示装置は、1フレーム前のフィールドとの間の相関を検出し、この検出結果に基づくフレーム間の相関の強さを示す信号を出力するフレーム間相関検出手段と、1フィールド前のフィールドとの間の相関を検出し、この検出結果に基づくフィールド間の相関の強さを示す信号を出力するフィールド間相関検出手段と、フィールドにおける高域周波数を検出し、この検出結果に基づくフィールド内に存在する高域周波数成分の程度を示す信号を出力するフィールド解像度判定手段とを有し、上記フレーム間の相関の強さを示す信号とフィールド間の相関の強さを示す信号に基づいて、入力映像信号がテレシネ変換された映像信号のフィールドシーケンスを満たすか否かを検出し、この検出結果に基づくテレシネ検出信号を生成して出力するとともに、この検出結果と、上記フィールド内に存在する高域周波数成分の程度を示す信号に基づき、補間信号の混合比を示す混合比信号を生成して、上記テレシネ検出信号と混合比信号に基づいて、動き適応処理による補間信号とテレシネ補間処理による補間信号を選択又は混合して補間信号を生成し、IP変換を行うものである。なお、本出願において、「・・・手段」として示される構成は、電気回路(ハードウェア)によって実現されるもの、又は、ソフトウェアによって実現されるもののいずれであってもよい。
実施の形態1.
図1は、本発明の実施の形態1による映像信号処理装置(すなわち、実施の形態1による映像信号処理方法を実施することができる装置)の構成を示すブロック図である。
図1に示されるように、実施の形態1の映像信号処理装置は、インターレース映像信号(入力映像信号又は現フィールド信号ともいう。)Ia0が順次入力される入力端子100と、タイミング信号発生手段1と、インターレース映像信号Ia0を1フィールド遅延させる1フィールド遅延手段2と、1フィールド遅延手段2から出力される1フィールド遅延信号Ib0を1フィールド遅延させる1フィールド遅延手段3と、順次入力されるインターレース映像信号Ia0がテレシネ映像信号か否かを検出するテレシネ検出手段6と、テレシネ検出手段6からの検出信号に基づきテレシネ補間処理を行い、補間信号(補間走査線信号ともいう。)を生成する補間信号生成手段110と、補間信号生成手段110から出力された補間信号Iを実走査線信号Rの対応する走査線間にはめ込み、倍速変換して、プログレッシブ映像信号Progへ変換して出力する倍速変換手段9と、プログレッシブ信号Progを出力する出力端子101とを有している。
補間信号生成手段110は、補間信号Iを生成するものであり、映像信号のフレーム間差分に基づき動きを検出する動き検出手段4と、動き検出手段4の出力detmに従い、動きに応じた走査線補間処理を行う動き適応補間処理手段5と、テレシネ検出手段6からの信号tcfに基づき、2−3又は2−2プルダウン信号に対応した走査線補間処理を行うテレシネ補間処理手段7と、テレシネ検出手段6からの信号tci,tcmixに基づき、動き適応補間処理手段5とテレシネ補間処理手段7からの信号を混合する混合手段8とから構成されている。
また、テレシネ検出手段6は、入力映像信号がテレシネ映像信号か否かとシーケンスの補間位相を検出するものであり、1フレーム前のフィールドとの差分情報からフレーム間の相関を検出するフレーム間相関検出手段11と、1フィールド前のフィールドとの差分情報から1フィールド間の相関を検出するフィールド間相関検出手段12と、現フィールド内に存在する高域周波数成分の程度を判定するフィールド解像度判定手段13と、プルダウンシーケンス検出手段14とを有している。テレシネ検出手段6内のプルダウンシーケンス検出手段14は、入力映像信号がテレシネ映像信号か否かを検出し、テレシネ検出信号tciを出力するとともに、プルダウンのシーケンスを判定し、シーケンスの補間位相フラグtcfと、補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを出力するものである。テレシネ検出手段6内のプルダウンシーケンス検出手段14は、2−3プルダウン信号のシーケンスを検出する2−3シーケンス検出手段15と、2−2プルダウン信号のシーケンスを検出する2−2シーケンス検出手段16と、2−3シーケンス検出手段15と2−2シーケンス検出手段16の検出結果から入力映像信号がテレシネ映像信号かの判定を行うプルダウン判定手段17とを有している。
タイミング信号発生手段1は、入力端子100から入力されたインターレース映像信号Ia0から垂直及び水平同期信号を分離し、分離した同期信号に基づき、タイミング信号を発生する。ここでは、例えば、1フィールド内の所定の領域を示すためのエリア信号teを発生する。
1フィールド遅延手段2は、入力端子100から入力されたインターレース映像信号Ia0を1フィールド分遅延し、1フィールド遅延手段3は、1フィールド遅延手段2からの1フィールド遅延信号Ib0をさらに1フィールド分遅延し、2フィールド遅延信号Ic0を出力する。
テレシネ検出手段6には、入力端子100からの現フィールド信号Ia0、1フィールド遅延手段2からの1フィールド遅延信号Ib0、及び1フィールド遅延手段3からの2フィールド遅延信号Ic0が入力される。テレシネ検出手段6は、1フレーム前のフィールドとの相関(フレーム差分情報ともいう。)と1フィールド前のフィールドとの相関(フィールド差分情報ともいう。)から、入力映像信号が2−3プルダウン信号又は2−2プルダウン信号におけるフィールドシーケンスの繰り返し条件を満たす映像信号であるか否かを検出するとともに、入力映像信号におけるテレシネシーケンスの出現頻度を検出し(すなわち、テレシネ映像信号であることの確からしさを判定し)、これら検出結果に基づいてテレシネ映像信号の検出を示すテレシネ検出信号tciと、シーケンスの位相(すなわち、同一フレームから変換されたフィールドの方向)を示す補間位相フラグtcfを生成して出力する。テレシネ検出手段6は、入力映像信号Ia0がテレシネ映像信号であると検出した場合には、例えば、テレシネ検出信号tciの値を‘1’(すなわち、tci=1)とし、テレシネ映像信号でないと検出した場合には、例えば、テレシネ検出信号tciの値を‘0’(すなわち、tci=0)とする。そして、前フィールドが同一フィールドである場合には、例えば、補間位相フラグtcfの値を‘1’(すなわち、tcf=1)とし、後フィールドが同一フィールドである場合は、例えば、補間位相フラグtcfの値を‘0’(すなわち、tcf=0)とする。
さらに、テレシネ検出手段6は、入力映像信号の各フィールド内における高域成分を検出し、フィールド内に存在する全体的な高域周波数成分の程度を解像度として判定し、この判定結果に基づき、補間信号の混合比を示す混合比信号tcmixを出力する。テレシネ検出手段6は、補間信号生成手段110内の混合手段8において、テレシネ補間信号Itの混合比が100%(テレシネ補間信号Itのみから補間信号Iを生成)である場合は、例えば、混合比信号tcmixの値を‘100’(すなわち、tcmix=100)とし、動き適応補間処理手段5による補間信号Imのみから補間信号Iを生成する場合は、例えば、混合比信号tcmixの値を‘0’(すなわち、tcmix=0)とする。すなわち、例えば、混合比が50%(すなわち、50:50)である場合には、例えば、混合比信号tcmixの値を‘50’(すなわち、tcmix=50)として、混合手段8において、補間信号Imとテレシネ補間信号Itを均等に混合する。
そして、テレシネ検出手段6からの補間位相フラグtcfは、補間信号生成手段110内のテレシネ補間処理手段7へ送られ、テレシネ検出信号tciと混合比信号tcmixは、補間信号生成手段110内の混合手段8へと送られる。以上、テレシネ検出手段6の詳細な構成については後述する。
補間信号生成手段110は、入力端子100からの現フィールド信号Ia0と、1フィールド遅延手段2からの1フィールド遅延信号Ib0と、1フィールド遅延手段3からの2フィールド遅延信号Ic0とが入力され、これら入力された信号に基づいて補間信号Iを生成し、出力する。補間信号生成手段110は、動き適応補間処理手段5による通常の映像信号に対する補間処理と、テレシネ補間処理手段7によるテレシネ映像信号に対するテレシネ補間処理を行い、テレシネ検出手段6からのテレシネ検出信号tciと混合比信号tcmixに基づき、いずれかの処理の補間信号が選択又は補間信号を混合することにより補間信号Iを生成し、倍速変換手段9へと出力する。
補間信号生成手段110内の動き検出手段4は、現フィールド信号Ia0と1フィールド遅延手段3からの2フィールド遅延信号Ic0が入力され、2つのフィールドにおける信号間の差分情報を求める。そして、得られた差分情報に基づき、1フレーム間の映像信号の動きを検出し、映像信号の動きを示す動き検出信号detmを動き適応補間処理手段5へと送る。
補間信号生成手段110内の動き適応補間処理手段5は、1フィールド遅延手段2からの1フィールド遅延信号Ib0と1フィールド遅延手段3からの2フィールド遅延信号Ic0に対し、動き検出手段4からの出力である動き検出信号detmに基づき、動き適応IP変換を行う。補間走査線信号の生成処理は、1フィールド遅延信号Ib0に対して行われる。動き適応補間処理手段5は、動き検出信号detmに基づいて、時間的に前の2フィールド遅延信号Ic0から対応する走査線の画素をはめ込むことによるフィールド間補間、又は、1フィールド遅延信号Ib0における垂直方向の上下に位置する画素信号からのフィールド内補間処理を行い、補間走査線信号(補間信号)Imを出力する。
補間信号生成手段110内のテレシネ補間処理手段7は、現フィールド信号Ia0と1フィールド遅延手段3からの2フィールド遅延信号Ic0が入力され、テレシネ検出手段6からの補間位相フラグtcfに基づき、2−3又は2−2プルダウンの変換位相に対応したフィールドを現フィールド信号Ia0又は2フィールド遅延信号Ic0から選択し、テレシネ映像信号の場合における補間信号(テレシネ補間信号という。)Itとして出力する。
補間信号生成手段110内の混合手段8は、テレシネ検出手段6から出力されるテレシネ検出信号tci及び混合比信号tcmixに応じて、動き適応補間処理手段5からの補間信号Imとテレシネ補間処理手段7からのテレシネ補間信号Itを混合し、補間信号Iとして倍速変換手段9へと送る。テレシネ検出信号tciは、入力映像信号Ia0がテレシネ映像信号であるか否かの検出結果を示す信号であり、混合比信号tcmixは、入力映像信号Ia0の各フィールドに存在する全体的な高域周波数成分の程度を示す解像度の判定結果に基づき、補間信号における補間の混合比を示す信号である。混合手段8は、テレシネ検出信号tciがテレシネ映像信号でないことを示す場合(実施の形態1では、tci=0の場合)には、通常の映像信号であるとして、混合比信号tcmixによる混合比がいずれの値であっても、動き適応補間処理手段5からの補間信号Imを選択し、補間信号Iとして出力する。すなわち、この場合は、テレシネ補間信号Itの混合比0%とすることと同様である。一方、テレシネ検出信号tciがテレシネ映像信号であることを示す場合(実施の形態1では、tci=1の場合)は、混合比信号tcmixによる混合比に基づき、補間信号Imとテレシネ補間信号Itを適応的に混合し、補間信号Iとして出力する。
倍速変換手段9は、補間対象フィールドであり、実走査線信号となる1フィールド遅延手段2からの1フィールド遅延信号R(すなわち、Ib0)と、混合手段8からの補間信号I(すなわち、補間信号Imとテレシネ補間信号Itによる混合信号)が入力され、補間信号を実走査線信号の対応する走査線間にはめ込み、倍速変換して、プログレッシブ映像信号Progへ変換して出力する。そして、出力端子101からは、倍速変換手段9の出力であるプログレッシブ映像信号Progが出力される。
次に、テレシネ検出手段6の構成について詳細に説明する。
図1において、テレシネ検出手段6内のフレーム間相関検出手段11は、入力端子100からの現フィールド信号Ia0と1フィールド遅延手段3からの2フィールド遅延信号Ic0が入力され、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teにより、1フレーム間の相関を検出し、1フレーム間の相関の強さを示す値として1フィールド期間単位のフレーム間動画素累積値mvfrを出力する。また、隣接する2フィールドでの上記フレーム間動画素累積値mvfrの差分絶対値dfmfr(すなわち、1フィールド遅延したフレーム間動画素累積値mvfr1との差分絶対値)を算出し、出力する。図2は、フレーム間相関検出手段11の構成の一例を示すブロック図であり、フレーム間相関検出手段11は、差分検出手段21と、比較手段22と、所定エリア内累積カウンタ23と、遅延手段24と、差分絶対値算出手段25とから構成されている。
図2において、フレーム間相関検出手段11内の差分検出手段21には、入力端子100からの現フィールド信号Ia0と、1フィールド遅延手段3からの2フィールド遅延信号Ic0とが入力される。差分検出手段21は、現フィールド信号Ia0と、2フィールド遅延信号Ic0との各画素間の差分を求め、その差分の絶対値をとり、フレーム間差分情報Drを検出し出力する。ここで、入力映像信号はインターレース信号であるので、入力映像信号の各フィールドにおける垂直方向の画素の位置関係は、図3に示されるようなものになっている。図3に示されるように、現フィールド信号Ia0における画素a0と、2フィールド遅延信号Ic0における画素c0とは、垂直方向の同一ライン上の位置にあり、精度良く、フレーム間の相関を差分値として捉えることができる。差分検出手段21では、差分絶対値|a0−c0|から1フレーム間差分情報Drが検出される。
フレーム間相関検出手段11内の比較手段22には、差分検出手段21からの1フレーム間差分情報Drが入力される。比較手段22は、差分検出手段21からの1フレーム間差分情報Drを所定の閾値と比較し、比較結果を出力する。比較は、例えば、1フレーム間差分情報が所定の閾値より小さければその画素を静止画素と判断し、所定の閾値より大きければ動画素と判断し、結果として、2値化した値を出力する。2値化した値は、例えば、静止画素と判断された場合は値‘0’を、動画素と判断された場合は値‘1’とする。なお、この2値化した値は、上記したものに限るものではなく、比較により静止画素又は動画素として判断された各画素の結果を示す値であれば、他の値であってもよい。
フレーム間相関検出手段11内の所定エリア内累積カウンタ23には、比較手段22により静止画素又は動画素として2値化された値と、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teとが入力される。所定エリア内累積カウンタ23は、静止画素又は動画素として2値化された値に応じて、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teに示されたエリア内において、動画素となる値の画素の数を累積する。すなわち、比較手段22からの動画素と判断された値‘1’となる場合をエリア信号teのエリア内にわたり累積して、エリア内における動画素累積値mvfrを1フィールド内の動画素の数に対応する値(動画素数又は動画素累積値)としてフィールド単位ごとで出力する。この累積結果である動画素累積値mvfrは、フレーム差分情報に基づき、1フレーム間の相関の強さを示す値であり、以下、フレーム間動画素累積値mvfrと呼ぶ。フレーム間動画素累積値mvfrにおいて、相関が強い場合(すなわち、静止画の場合)は、1フィールド内の動画素の数が小さくなり、相関が弱い場合(すなわち、動きが大きい、動画の場合)は、1フィールド内の動画素の数が大きくなる。
ここで、映像信号によっては、レターボックスと呼ばれる画面上下の帯部分に黒信号部(無画部)が存在する映画素材で送られる場合があり、エリア信号teは、例えば、1フィールド内の上下の帯部分と画像のブランキング期間を除く画素の期間を示す信号としてタイミング信号発生手段1において生成される。したがって、所定エリア内累積カウンタ23では、上下の帯部分と画像のブランキング期間を除くエリア内における動画素の数を1フィールド内の動画素数として出力することとなり、誤判定を防止できる。
フレーム間相関検出手段11内の遅延手段24には、所定エリア内累積カウンタ23から出力される1フィールド期間単位のフレーム間動画素累積値mvfrが入力される。遅延手段24は、フレーム間動画素累積値mvfrを1フィールド遅延させ、1フィールド遅延したフレーム間動画素累積値mvfr1を出力する。
フレーム間相関検出手段11内の差分絶対値算出手段25には、所定エリア内累積カウンタ23から出力されるフレーム間動画素累積値mvfrと、遅延手段24からの1フィールド遅延したフレーム間動画素累積値mvfr1とが入力される。差分絶対値算出手段25は、フレーム間動画素累積値mvfrと、フレーム間動画素累積値mvfrを1フィールド遅延したフレーム間動画素累積値mvfr1との間の差分絶対値を算出し、動画素累積差分値dfmvfrとして出力する。2−2プルダウン信号において1フレームから2フィールドを対応させる場合、同一フレームから生成されたフィールド間において、動画素累積差分値dfmvfrは比較的小さな値となり、異なるフレームから生成されたフィールド間では、動画素累積差分値dfmvfrは大きな値となる。
テレシネ検出手段6内のフィールド間相関検出手段12は、入力端子100からの現フィールド信号Ia0と、1フィールド遅延手段2からの1フィールド遅延信号Ib0とが入力され、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teにより、1フィールド間(隣接フィールド間)の相関を検出し、1フィールド間の相関の強さを示す値として1フィールド期間単位のフィールド間動画素累積値mvfilを出力する。図4は、フィールド間相関検出手段12の構成の一例を示すブロック図であり、フィールド間相関検出手段12は、1H遅延手段31と、第1及び第2の差分検出手段32a及び32bと、選択手段33と、垂直差分検出手段34と、垂直エッジ判定手段35と、比較手段36と、所定エリア内累積カウンタ37とから構成されている。
図4において、フィールド間相関検出手段12内の1H遅延手段31には、1フィールド遅延手段2からの1フィールド遅延信号Ib0が入力される。1H遅延手段31は、1フィールド遅延信号Ib0を1水平走査期間(1ライン又は1Hという。)遅延し、1フィールド遅延信号Ib0の1H遅延信号Ib1を出力する
フィールド間相関検出手段12内の第1の差分検出手段32a(図4においては、単に「差分検出手段32a」と表記する。)には、入力端子100からの現フィールド信号Ia0と、1フィールド遅延手段2からの1フィールド遅延信号Ib0とが入力され、第2の差分検出手段32b(図4においては、単に「差分検出手段32b」と表記する。)には、現フィールド信号Ia0と、1H遅延手段31から出力される1フィールド遅延信号Ib0の1H遅延信号Ib1とが入力される。第1の差分検出手段32aは、現フィールド信号Ia0と、1フィールド遅延信号Ib0との画素間の差分を求め、その差分の絶対値をとり、差分情報Di1を検出し出力する。第2の差分検出手段32bは、現フィールド信号Ia0と、1H遅延信号Ib1との画素間の差分を求め、その差分の絶対値をとり、差分情報Di2を検出し出力する。
ここで、図3に示す入力映像信号の各フィールドにおける垂直方向の画素の位置関係から、現フィールド信号Ia0における画素a0に対し、1フィールド遅延信号Ib0における画素はb0に、その1H遅延信号Ib1における画素はb1に示す位置関係となる。画素b0とb1とは、垂直方向上下に位置し、インターレース映像信号であるので、画素a0に対しては、互いに1/2ラインずれた上又は下の位置となる。第1の差分検出手段32aでは、差分絶対値|a0−b0|から差分情報Di1が検出され、第2の差分検出手段32bでは、差分絶対値|a0−b1|から差分情報Di2が検出される。
フィールド間相関検出手段12内の選択手段33には、第1及び第2の差分検出手段32a及び32bからの差分情報Di1及びDi2が入力される。選択手段33は、第1の差分検出手段32aからの差分情報Di1と、第2の差分検出手段32bからの差分情報Di2を比較し、最小値を選択し、フィールド間差分情報DFIを出力する。なお、フィールド間差分情報DFIの選択においては、上記のように最小値に限るものではなく、差分情報Di1と差分情報Di2の平均値から得られる値を選択してもよい。いずれの場合も、図3に示す画素a0と画素b0との間、及び画素a0と画素b1との間の1/2ラインのずれに起因するフィールド間差分の誤検出を防止する。
フィールド間相関検出手段12内の垂直差分検出手段34には、1フィールド遅延手段2からの1フィールド遅延信号Ib0と、1H遅延手段31から出力される1フィールド遅延信号Ib0の1H遅延信号Ib1とが入力される。垂直差分検出手段34は、1フィールド遅延信号Ib0と、1H遅延信号Ib1との垂直方向に上下に位置する画素間の差分を求め、その差分の絶対値をとり、垂直差分情報として検出し、出力する。
フィールド間相関検出手段12内の垂直エッジ判定手段35には、垂直差分検出手段34からの垂直差分情報が入力される。垂直エッジ判定手段35は、垂直差分検出手段34からの垂直差分情報を所定の閾値と比較し、比較結果を垂直エッジフラグvedとして出力する。比較は、例えば、垂直差分情報が所定の閾値より小さければ、垂直エッジ部なし(すなわち、平坦部)と判断し、所定の閾値より大きければ垂直エッジ部と判断し、2値化した値を垂直エッジフラグvedとして出力する。垂直エッジフラグvedの値は、例えば、平坦部と判断された場合は値‘0’(すなわち、ved=0)とし、垂直エッジ部と判断された場合は値‘1’(すなわち、ved=1)とする。なお、この垂直エッジフラグvedの値は、上記したものに限るものではなく、比較により垂直エッジ部か否かが判断された各画素の結果を示す値であれば、他の値であってもよい。
フィールド間相関検出手段12内の比較手段36には、選択手段33からのフィールド間差分情報DFIと、垂直エッジ判定手段35から出力される垂直エッジフラグvedとが入力される。比較手段36は、選択手段33からのフィールド間差分情報DFIと垂直エッジ判定手段35からの垂直エッジフラグvedに基づき、垂直エッジ部ではない平坦部の画素に対し、静止画素又は動画素かを判断し、結果として2値化した値を出力する。すなわち、垂直エッジ判定手段35からの垂直エッジフラグvedが平坦部を示すved=0の場合の画素に対し、選択手段33からのフィールド間差分情報DFIを所定の閾値と比較し、比較結果である2値化した値を出力する。比較は、例えば、フィールド間差分情報DFIが所定の閾値より小さければその画素を静止画素と判断し、所定の閾値より大きければ動画素と判断して、2値化した値を出力する。2値化した値は、例えば、静止画素と判断された場合は値‘0’とし、動画素と判断された場合は値‘1’とする。一方、垂直エッジ判定手段35からの垂直エッジフラグvedが垂直エッジ部を示すved=1の場合については、比較結果によらず、実施の形態1では、例えば、静止画素として、値‘0’を出力する。なお、2値化した値は、上記したものに限るものではなく、比較により静止画素又は動画素として判断された各画素の結果を示す値であれば、他の値であってもよく、また、垂直エッジフラグvedが垂直エッジ部を示す場合の出力値は、上記2値化した値とは別の値(例えば、値‘2’など)とすることもできる。比較手段36における比較結果として、垂直エッジでない平坦部の画素に対し、静止画素又は動画素を判断した値を出力できればよい。
フィールド間相関検出手段12内の所定エリア内累積カウンタ37には、比較手段36により平坦部の画素に対し2値化された値と、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teとが入力される。所定エリア内累積カウンタ37は、比較手段36からの値に応じて、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teに示されたエリア内において、動画素となる値の画素の数を累積する。すなわち、比較手段36からの動画素と判断された値‘1’となる場合を、エリア信号teのエリア内にわたり累積して、エリア内における動画素累積値mvfilを1フィールド内の動画素数としてフィールド単位ごとで出力する。この累積結果である動画素累積値mvfilは、フィールド差分情報に基づき、1フィールド間の相関の強さを示す値であり、以下、フィールド間動画素累積値mvfilと呼ぶ。フィールド間相関検出手段12内の比較手段36において、垂直方向のエッジ部を除く動画素が値‘1’として入力されており、フィールド間動画素累積値mvfilは、垂直方向のエッジ部を除く動画素の累計値であり、これにより、フィールド間の相関を検出する際の垂直エッジ部での誤検出を防止できる。相関が強い場合(すなわち、静止画の場合)は、1フィールド内の動画素の数が小さくなり、相関が弱い場合(すなわち、動きが大きい、動画の場合)は、1フィールド内の動画素の数が大きくなる。
なお、上記説明においては、フィールド間相関検出手段12が、比較手段36により垂直エッジ部ではない平坦部の画素を比較して2値化し、所定エリア内累積カウンタ37において動画素数を累積する場合を説明したが、フィールド間相関検出手段12を図5に示すように構成することもできる。図5においては、比較手段36bは、フィールド間差分情報DFIに対し静止画素又は動画素かを判断し、所定エリア内累積カウンタ37bは、垂直エッジ判定手段35から出力される垂直エッジフラグvedを入力することで、垂直エッジ部ではない平坦部(すなわち、ved=0)の動画素数を累積することもできる。上記図4と同様に、エリア信号te内において、垂直方向のエッジ部を除く動画素累積値mvfilを1フィールド内の動画素数としてフィールド単位ごとで出力する。また、エリア信号teは、1フィールド内の上下の帯部分と画像のブランキング期間を除く画素の期間を示す信号としてタイミング信号発生手段1において発生されるので、所定エリア内累積カウンタ37及び37bでは、上下の帯部分と画像のブランキング期間を除くエリア内における動画素の数を1フィールド内の動画素数として出力することなり、誤判定を防止できる。
テレシネ検出手段6内のフィールド解像度判定手段13は、入力端子100からの現フィールド信号Ia0が入力され、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teにより、フィールド内に存在する全体的な高域周波数成分の程度を判定し、高域周波数成分の程度を示す値(解像度を示す値とも呼ぶ)filhvを出力する。図6は、フィールド解像度判定手段13の構成の一例を示すブロック図であり、フィールド解像度判定手段13は、1H遅延手段41と、水平高域成分抽出手段42と、垂直高域成分抽出手段43と、最大値選択手段44と、比較手段45と、所定エリア内累積カウンタ46とから構成されている。
ここで、フィールド間の相関の検出では、高解像度の映像信号の場合は、1/2ラインのずれに起因するフィールド間差分の誤検出があるが、低解像度の映像信号、すなわち、解像度が低く、ぼけた画像のフィールドにおいても、動きをフィールド間差分として捉える際、動きがあるにもかかわらず相関が強い(静止画)と誤判定する場合がある。そこで、フィールド解像度判定手段13では、フィールド内に存在する高域周波数成分の程度、すなわち、フィールド内における全体的な解像度を判定する。
図6において、フィールド解像度判定手段13内の1H遅延手段41には、入力端子100からの現フィールド信号Ia0が入力される。1H遅延手段41は、現フィールド信号Ia0を1水平走査期間遅延し、現フィールド信号Ia0の1H遅延信号Ia1を出力する。図3に示す入力映像信号の各フィールドにおける垂直方向の画素の位置関係から、現フィールド信号Ia0における画素a0に対し、1H遅延信号Ia1における画素はa1に示す位置関係となる。図3に示されるように、画素a0とa1とは、現フィールドの垂直方向上下ライン上に位置する。
フィールド解像度判定手段13内の水平高域成分抽出手段42には、入力端子100からの現フィールド信号Ia0が入力される。水平高域成分抽出手段42は、現フィールド信号Ia0の水平方向の画素における水平方向の高域周波数成分を抽出し、その絶対値化した値(以下、水平高域成分と呼ぶ。)を抽出し、出力する。例えば、注目画素位置a0を中心とし、その水平方向の隣接画素との間の高域周波数成分(例えば、バンドパスフィルタ出力を絶対値化した値)、又は、その隣々接画素との間の高域成分(バンドパスフィルタ出力を絶対値化した値)を抽出する。
フィールド解像度判定手段13内の垂直高域成分抽出手段43には、入力端子100からの現フィールド信号Ia0と、1H遅延手段41から出力される1H遅延信号Ia1とが入力される。垂直高域成分抽出手段43は、現フィールド信号Ia0と、1H遅延信号Ia1との画素間の差分絶対値から、画素a0における垂直方向の高域周波数成分(以下、垂直高域成分と呼ぶ。)を抽出し、出力する。なお、注目画素位置a0を中心とし、その上下に位置する画素との間の高域周波数成分(バンドパスフィルタ出力を絶対値化した値)を抽出してもよく、注目画素位置a0における垂直高域成分が抽出できればよい。
フィールド解像度判定手段13内の最大値選択手段44には、水平高域成分抽出手段42からの水平高域成分と、垂直高域成分抽出手段43からの垂直高域成分とが入力される。最大値選択手段44は、水平高域成分抽出手段42からの水平高域成分と、垂直高域成分抽出手段43からの垂直高域成分を比較し、その最大値を選択することで、各画素における水平及び垂直方向の高域周波数成分hc(水平垂直高域成分と呼ぶ。)を出力する。すなわち、現フィールド信号Ia0における各画素での高域周波数成分の程度を示し、解像度を示す値として、水平高域成分と垂直高域成分のうちの最大となる値が、水平垂直高域成分hcとして抽出される。
フィールド解像度判定手段13内の比較手段45には、最大値選択手段44からの水平垂直高域成分hcが入力される。比較手段45は、最大値選択手段44からの水平垂直高域成分hcを所定の閾値と比較し、各画素に対し、水平又は垂直方向に高域周波数成分を持つ画素(以下、高域画素と呼ぶ。)であるか否かを判断し、結果として2値化した値を出力する。比較は、例えば、水平垂直高域成分hcが所定の閾値より大きければ高域画素と判断し、それ以外の所定の閾値より小さい場合には、その画素を低域周波数成分による画素、すなわち、高域画素でないと判断し、2値化した値を出力する。2値化した値は、例えば、高域画素と判断された場合は値‘1’とし、高域画素でないと判断された場合は値‘0’とする。なお、2値化した値は、上記したものに限るものではなく、比較により高域画素と判断された画素を示す値であれば、他の値であってもよい。
フィールド解像度判定手段13内の所定エリア内累積カウンタ46には、比較手段45からの高域画素か否かを示す2値化された値と、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teとが入力される。所定エリア内累積カウンタ46は、比較手段45からの高域画素を示す2値化の値に応じて、タイミング信号発生手段1からの1フィールド内の所定エリアを示すエリア信号teに示されたエリア内において、高域画素となる値の画素の数を累積する。すなわち、比較手段45からの高域画素と判断された値‘1’となる場合を、エリア信号teのエリア内にわたり累積して、エリア内における高域画素累積値filhvを1フィールド内の高域画素の数に対応する値(高域画素数又は高域画素累積値)としてフィールド単位ごとで出力する。この累積結果である高域画素累積値filhvは、フィールド内に存在する高域周波数成分の程度を示し、すなわち、フィールド内おける全体的な解像度を示す値であり、解像度が高く、フィールドに存在する高域周波数成分の程度が大きなフィールドである場合(すなわち、高解像度画像の場合)は、1フィールド内の高域画素数が大きくなり、解像度が低いフィールドの場合(すなわち、高域周波数成分の程度が小さく、エッジが少ない、低解像度画像の場合)は、1フィールド内の高域画素数が小さくなる。よって、高域画素累積値filhvから、フィールド内に存在する高域周波数成分の程度として、全体的な解像度を判定できる。
なお、上述したように、エリア信号teは、1フィールド内の上下の帯部分と画像のブランキング期間を除く画素の期間を示す信号としてタイミング信号発生手段1において発生されるので、所定エリア内累積カウンタ46では、上下の帯部分と画像のブランキング期間を除くエリア内における高域画素の数を1フィールド内の高域画素数として出力することなり、フィールド内に存在する高域周波数成分の程度判定の誤判定を防止できる。
次に、図1におけるテレシネ検出手段6内のプルダウンシーケンス検出手段14には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと動画素累積差分値dfmvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilと、フィールド解像度判定手段13からの高域画素累積値filhvとが入力される。プルダウンシーケンス検出手段14は、入力されたフレーム間動画素累積値mvfrと、動画素累積差分値dfmvfrと、フィールド間動画素累積値mvfilとから、入力映像信号がテレシネ映像信号か否かと、プルダウンのシーケンスを検出し、テレシネ検出信号tciとシーケンスの補間位相フラグtcfを出力する。また、プルダウンシーケンス検出手段14は、フィールド解像度判定手段13からの高域画素累積値filhvにより、補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを生成し、出力する。
プルダウンシーケンス検出手段14における動作はフィールド単位で行われ、プルダウンシーケンスの検出を行う2−3シーケンス検出手段15、2−2シーケンス検出手段16、及びプルダウン判定手段17における各ブロックは、フィールド毎で処理するものであり、垂直同期信号に基づくフィールドパルスのタイミングで動作する。
プルダウンシーケンス検出手段14内の2−3シーケンス検出手段15には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilが入力される。2−3シーケンス検出手段15は、フレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilから、2−3プルダウン信号の5フィールドの繰り返し条件により、2−3プルダウンシーケンスであるか否かを検出するとともに、2−3プルダウンのシーケンスの出現頻度を検出して確からしさを判定することで、2−3プルダウン信号の検出結果を予測制御する。そして、2−3プルダウン検出信号tci23(例えば、2−3プルダウン信号と検出する場合はtci23=1、検出されない場合はtci23=0とする)と、2−3プルダウンの位相を示す2−3位相フラグtcf23(例えば、前フィールドが同一フィールドとする場合tcf23=1、後フィールドの場合はtcf23=0とする)を出力する。
図7は、実施の形態1におけるプルダウンシーケンス検出手段14内の2−3シーケンス検出手段15の構成の一例を示すブロック図である。図7において、実施の形態1の2−3シーケンス検出手段15は、2−3フィールドシーケンス検出手段51と、出現頻度検出手段52と、2−3予測制御手段53とを有している。
2−3シーケンス検出手段15内の2−3フィールドシーケンス検出手段51には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilが入力される。2−3フィールドシーケンス検出手段51は、入力されたフレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilのそれぞれに対し、フィールドが静止画フィールドであるか否かを判定して、この判定結果から、入力映像信号が5フィールドのシーケンスの繰り返し条件を満たす映像信号であるか否か、及び2−3プルダウンのシーケンス位相を検出する。
図8は、2−3シーケンス検出手段15内の2−3フィールドシーケンス検出手段51の構成の一例を示すブロック図である。図8に示されるように、2−3フィールドシーケンス検出手段51は、第1、第2、及び第3の静止画検出手段121a、121b、及び121c(図8においては、第1、第2、及び第3の静止画検出手段のそれぞれを静止画検出手段1、静止画検出手段2、及び静止画検出手段3と記載している。)と、フィールド静止画検出手段122と、第1及び第2の動画フィールドカウンタ123及び124(図8においては、第1及び第2の動画フィールドカウンタのそれぞれを動画フィールドカウンタ1及び動画フィールドカウンタ2と記載している。)と、2−3プルダウンのシーケンスの繰り返し条件を検出するシーケンス条件検出手段125と、シーケンスの繰り返しをカウントして、2−3プルダウン信号におけるシーケンス(以下、2−3シーケンスと呼ぶ。)であるか否かを判定するシーケンス判定手段126と、2−3シーケンスの位相を検出するシーケンス位相検出手段127と、シーケンスの条件を満たしていないことを検出する解除検出手段128とを有している。
図8に示されるように、2−3フィールドシーケンス検出手段51内のシーケンス判定手段126は、テレシネ起動カウンタ131と、シーケンス検出信号生成手段132とから構成されている。また、シーケンス位相検出手段127は、シーケンス位相カウンタ133と、補間位相フラグ生成手段134とから構成されている。さらに、解除検出手段128は、フレーム動画連続検出手段135と、フィールド動画連続検出手段136と、静止画連続検出手段137と、比較手段138と、シーケンス内静止画カウンタ140と比較手段141からなるシーケンスずれ検出手段139と、位相判定手段142と、シーンチェンジ検出手段143と、解除信号生成手段144とから構成されている。
ここで、テレシネ映像信号である2−3プルダウン信号は、2フレームのそれぞれを2フィールドと3フィールドに対応させ変換することで、5フィールドに1回、2フィールド前と同一のフィールドを繰り返すフィールドシーケンスとなっている。よって、フレーム差分情報に基づくフレーム間動画素累積値mvfrは、5フィールドに一度の周期でゼロ又は所定値以下となるフィールド(静止画)が存在することになる。
図9は、2−3プルダウン信号を入力映像信号とした場合のフレーム間相関検出手段11から出力されるフレーム間動画素累積値mvfr(縦軸)とフィールド番号(時間、すなわち、横軸)との関係を示す図である。図9には、画像シミュレーションにおいて、2−3プルダウン信号からのフィールド画像をフレーム間相関検出手段11により処理した場合が示されている。図9において、フィールド番号5,10,・・・,30として示されるように、フレーム間動画素累積値mvfrは、5フィールドに一度の周期でゼロ又は所定値以下となる静止画フィールドが繰り返され、その静止画フィールドの前4フィールドは、動画素数が大きなフィールド(動画と呼ぶ)が連続する。すなわち、動画4フィールドの後、静止画1フィールドとなる5フィールドを繰り返すシーケンスとなっている。
さらに、フィールド差分情報に基づくフィールド間動画素累積値mvfilは、フレーム間動画素累積値mvfrが5フィールドに一度静止画となるフィールド(すなわち、図9におけるフィールド番号5,10,・・・,30)とその前のフィールドで連続して、ゼロ又は所定値以下となるフィールド(静止画)が存在し、5フィールドのシーケンス内において、所定値より大きなフィールド間動画素累積値mvfilとなるフィールド(動画)が、2フィールド以上連続して存在することはない。
図10は、フィールド間相関検出手段12から出力されるフィールド間動画素累積値mvfil(縦軸)とフィールド番号(時間、すなわち、横軸)との関係を示す図である。図10には、画像シミュレーションにおいて、図9に示した場合と同じ2−3プルダウン信号からのフィールド画像を、フィールド間相関検出手段12により処理した場合が示されている。図10において、フィールド番号4及び5、9及び10、・・・、29及び30として示されるように、フィールド間動画素累積値mvfilは、5フィールドに一度の周期で、2フィールド連続して、ゼロ又は所定値以下となる静止画フィールドとなり、5フィールドのシーケンス中では動画の次は静止画となるよう繰り返される。
よって、2−3シーケンスであることの条件の検出は、フレーム間動画素累積値mvfrによれば、動画フィールドが4フィールド連続した後、静止画フィールドが1フィールドとなる5フィールド繰り返しシーケンスの検出により行うことができる。さらには、より確実に2−3プルダウンシーケンスの条件を検出するため、フレーム間動画素累積値mvfrによる条件に加え、5フィールドに一度のフレーム間動画素累積値mvfrが静止画となるフィールドとその前フィールドにおいて、2フィールド連続してフィールド間動画素累積値mvfilが静止画フィールドとなる5フィールド繰り返しの検出とすることができる。
2−3フィールドシーケンス検出手段51では、フレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilそれぞれに対し、フィールドが静止画フィールドであるか否かを検出し、5フィールドに一度の静止画及びフィールド差分情報による静止画の連続を検出することで、入力映像信号が2−3シーケンスであることの条件を満たすか否かを検出し、その結果(すなわち、2−3シーケンス検出結果)を示す検出信号tci0と、テレシネ補間時の位相を示す2−3位相フラグtcf23を出力する。
また、出現頻度検出手段52は、2−3フィールドシーケンス検出手段51と同一の2−3シーケンス検出条件を用いて、2−3シーケンスの出現頻度を検出する。2−3フィールドシーケンス検出手段51は、2−3フィールドシーケンス検出手段51により検出している2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqを、出現頻度検出手段52へと出力する。
図8において、フレーム間相関検出手段11から2−3フィールドシーケンス検出手段51へ入力された1フィールド単位のフレーム間動画素累積値mvfrは、第1、第2、及び第3の静止画検出手段121a、121b、及び121cと、解除検出手段128内のシーンチェンジ検出手段143へ送られる。
第1、第2、及び第3の静止画検出手段121a、121b、及び121cは、それぞれにおいてフレーム間相関検出手段11からのフレーム間動画素累積値mvfrを所定の閾値と比較し、そのフィールドが静止画フィールドであるか否かを検出する。第1、第2、及び第3の静止画検出手段121a、121b、及び121cは、入力されたフレーム間動画素累積値mvfrが所定の閾値より小さい場合(すなわち、1フィールド内のフレーム差分情報に基づく動画素の数が、所定の個数より小さい場合)、そのフィールドを静止画として、静止画フィールドを検出する。なお、第1、第2、及び第3の静止画検出手段121a、121b、及び121cは、フレーム間動画素累積値mvfrが所定の閾値より大きい場合(すなわち、1フィールド内に所定の閾値より多くの動画素が含まれる場合)には、そのフィールドを動画フィールドとして、それ以外の場合は静止画と検出することもできる。以下、実施の形態1において、フレーム間動画素累積値mvfrから検出される静止画フィールドをフレーム静止画と呼び、動画フィールドについては、フレーム動画と呼ぶものとして、説明する。
第1の静止画検出手段121aは、フレーム間動画素累積値mvfrを所定の閾値STL_TH1と比較し、入力されたフレーム間動画素累積値mvfrが所定値STL_TH1より小さい場合、そのフィールドを静止画として、検出結果stl1の値を‘1’(stl1=1であり、フレーム静止画を示す。)とし、それ以外の場合は、検出結果stl1の値を‘0’(stl1=0であり、フレーム動画を示す。)とする。ここで、静止画検出のための所定の閾値STL_TH1は、2−3シーケンスにおいて、5フィールドに一度ある同一フィールドによる静止画フィールドを検出することができるような値に設定される。
同様に、第2の静止画検出手段121bは、フレーム間動画素累積値mvfrを所定の閾値STL_TH2と比較し、入力されたフレーム間動画素累積値mvfrが所定の閾値STL_TH2より小さい場合、そのフィールドを静止画として、検出結果stl2の値を‘1’(stl2=1であり、フレーム静止画を示す。)とし、それ以外の場合は、検出結果stl2の値を‘0’(stl2=0、フレーム動画を示す。)とする。この静止画検出のための所定の閾値STL_TH2は、連続する静止画を検出する値とし、字幕などの静止画素の挿入時を考慮した値、又は、完全に静止画となる場合のみを検出できるような値とすることができる。なお、閾値STL_TH2は、上記第1の静止画検出手段121aにおける所定の閾値と同一の値とすることも可能である。
また、第3の静止画検出手段121cは、フレーム間動画素累積値mvfrを所定の閾値STL_TH3と比較し、入力されたフレーム間動画素累積値mvfrが所定の閾値STL_TH3より小さい場合、そのフィールドを静止画として、検出結果stl3の値を‘1’(stl3=1であり、フレーム静止画を示す。)とし、それ以外の場合は、検出結果stl3の値を‘0’(stl3=0、フレーム動画を示す。)とする。この静止画検出のための所定の閾値STL_TH3は、2−3シーケンスの5フィールドに1度のフレーム静止画とは異なるフィールドにおける静止画フィールドを検出することができるような値に設定される。この所定の閾値STL_TH3は、上記第1の静止画検出手段121aにおける所定の閾値と同一の値とすることも可能である。
そして、第1の静止画検出手段121aからの検出結果stl1は、5フィールドの2−3シーケンスを検出するため、第1の動画フィールドカウンタ123、シーケンス条件検出手段125、シーケンス位相検出手段127、及び解除検出手段128内のフレーム動画連続検出手段135と位相判定手段142へと送られるとともに、出現頻度検出手段52へと出力される。また、第2の静止画検出手段121bからの検出結果stl2は、解除検出手段128内の静止画連続検出手段137へ、第3の静止画検出手段121cからの検出結果stl3は、解除検出手段128内のシーケンスずれ検出手段139へと出力される。
フィールド間相関検出手段12から2−3フィールドシーケンス検出手段51へ入力された1フィールド単位のフィールド間動画素累積値mvfilは、フィールド静止画検出手段122へ入力される。フィールド静止画検出手段122は、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilを所定の閾値と比較し、そのフィールドが静止画フィールドであるか否かを検出する。入力されたフィールド間動画素累積値mvfilが所定の閾値より小さい場合(すなわち、1フィールド内のフィールド差分情報に基づく動画素の数が、所定の個数より小さい場合)、そのフィールドを静止画として、静止画フィールドを検出する。なお、フィールド間動画素累積値mvfilが所定の閾値より大きい場合(すなわち、1フィールド内に所定の閾値より多くの動画素が含まれる場合)には、そのフィールドを動画フィールドとして、それ以外の場合は静止画と検出することもできる。以下、実施の形態1において、フィールド間動画素累積値mvfilから検出される静止画フィールドをフィールド静止画と呼び、動画フィールドについては、フィールド動画と呼ぶものとして、説明する。
フィールド静止画検出手段122は、フィールド間動画素累積値mvfilを所定の閾値FIL_TH1と比較し、入力されたフィールド間動画素累積値mvfilが所定値FIL_TH1より小さい場合、そのフィールドを静止画として、検出結果filstlの値を‘1’(filstl=1であり、フィールド静止画を示す。)とし、それ以外の場合は、検出結果filstlの値を‘0’(filstl=0であり、フィールド動画を示す。)とする。フィールド静止画検出手段122からの検出結果filstlは、第2の動画フィールドカウンタ124、シーケンス条件検出手段125、及び解除検出手段128内のフィールド動画連続検出手段136へと出力される。
第1の動画フィールドカウンタ123には、第1の静止画検出手段121aからのフレーム静止画検出結果stl1が入力される。第1の動画フィールドカウンタ123は、入力された検出結果stl1に基づき、フレーム動画の連続をカウントし、前フィールドまでのフレーム動画となるフィールドの連続数frcntを出力する。すなわち、第1の動画フィールドカウンタ123は、入力された検出結果stl1がフレーム静止画を示す‘1’である場合(stl1=1の場合)、カウンタをリセットし、動画を示す‘0’である場合(stl1=0の場合)はカウントして、次フィールドにタイミングを合わせ、カウントしたフレーム動画の連続数frcntを出力する。
第2の動画フィールドカウンタ124には、フィールド静止画検出手段122からのフィールド静止画検出結果filstlが入力される。第2の動画フィールドカウンタ124は、入力された検出結果filstlに基づき、フィールド動画の連続をカウントし、前フィールドまでのフィールド動画となるフィールドの連続数filcntを出力する。すなわち、第2の動画フィールドカウンタ124は、入力された検出結果filstlがフィールド静止画を示す‘1’である場合(filstl=1の場合)、カウンタをリセットし、動画を示す‘0’である場合(filstl=0の場合)はカウントして、次フィールドにタイミングを合わせ、カウントしたフィールド動画の連続数filcntを出力する。
シーケンス条件検出手段125には、第1の静止画検出手段121aからのフレーム静止画検出結果stl1と、第1の動画フィールドカウンタ123からの前フィールドまでのフレーム動画連続数frcntと、フィールド静止画検出手段122からのフィールド静止画検出結果filstlと、第2の動画フィールドカウンタ124からの前フィールドまでのフィールド動画連続数filcntとが入力される。シーケンス条件検出手段125は、フレーム動画が4フィールド連続した後のフレーム静止画であり、かつ、2フィールド連続してフィールド静止画が検出されるフィールドを検出した場合、2−3プルダウン信号における5フィールドに一度の完全静止画フィールドであるとして、2−3シーケンスの条件を検出し、シーケンス条件の検出を示す2−3シーケンス条件検出結果detflを出力する。すなわち、シーケンス条件検出手段125は、フレーム静止画検出結果stl1と、フレーム動画連続数frcntと、フィールド静止画検出結果filstl、及びフィールド動画連続数filcntとに基づき、フレーム静止画検出結果stl1が‘1’(フレーム静止画)、かつ、フレーム動画連続数frcntが‘4’(すなわち、前フィールドまでにフレーム動画が4フィールド連続する。)であり、フィールド静止画検出結果filstlが‘1’(フィールド静止画)、かつ、フィールド動画連続数filcntが‘0’(すなわち、前フィールドもフィールド静止画。)となる4条件を満たすフィールドを検出する。そして、シーケンス条件検出手段125は、シーケンス条件を満たすフィールドが検出される場合は、2−3シーケンス条件検出結果detflの値を‘1’(detfl=1)とし、それ以外の場合は、検出結果detflの値を‘0’(detfl=0)とする。
なお、実施の形態1におけるシーケンス条件検出手段125では、フレーム静止画検出結果stl1、フレーム動画連続数frcnt、フィールド静止画検出結果filstl、及びフィールド動画連続数filcntから、シーケンス条件を満たすフィールドの検出を行っているが、フレーム静止画検出結果stl1が‘1’(フレーム静止画)、かつ、前フィールドまでのフレーム動画連続数frcntが‘4’となる2条件のみを満たすフィールドを検出することにより、2−3シーケンスの条件を検出することもできる。
シーケンス位相検出手段127は、第1の静止画検出手段121aからのフレーム静止画検出結果stl1と、第1の動画フィールドカウンタ123からの前フィールドまでのフレーム動画連続数frcntが入力され、5フィールド単位で繰り返す2−3シーケンスの位相を検出し、5フィールドのシーケンス位相を示すカウント値seqと2−3位相フラグtcf23とを出力する。
シーケンス位相検出手段127内のシーケンス位相カウンタ133には、第1の静止画検出手段121aからのフレーム静止画検出結果stl1と、第1の動画フィールドカウンタ123からの前フィールドまでのフレーム動画連続数frcntとが入力される。シーケンス位相カウンタ133は、フィールド毎で5フィールド周期となる‘0’から‘4’までを繰り返しカウントし、フレーム静止画検出結果stl1とフレーム動画連続数frcntに基づき、繰り返しの周期カウンタのリセットを行う。すなわち、シーケンス位相カウンタ133は、フレーム静止画検出結果stl1が‘1’(フレーム静止画)、かつ、前フィールドまでのフレーム動画連続数frcntが‘4’であるときに、2−3プルダウン信号における5フィールドに一度の完全静止画フィールドであるとして、カウント値をゼロへリセットする。その後、シーケンス位相カウンタ133は、フレーム静止画検出結果stl1が‘1’であり、かつ、フレーム動画連続数frcntが‘4’となるまで(すなわち、カウント値seqが‘1’から‘4’まで)、フィールド毎にカウントする。
シーケンス位相カウンタ133のカウント値seqは、5フィールド単位で繰り返しており、2−3プルダウン信号においては5フィールドごとに一度の完全静止画フィールドに同期してリセットされるので、5フィールドの繰り返しシーケンス、すなわち、2−3シーケンスの位相を示すことになる。そして、2−3シーケンスの位相であるカウント値seqは、補間位相フラグ生成手段134へ送られる。また、カウント値seqは、解除検出手段128におけるシーケンスずれ検出手段139、位相判定手段142、及び出現頻度検出手段52へも出力される。
シーケンス位相検出手段127内の補間位相フラグ生成手段134は、シーケンス位相カウンタ133からのカウント値seqが入力され、テレシネ補間における同一フレームから変換されたフィールドの方向を示す2−3位相フラグtcf23を生成する。シーケンス位相カウンタ133からのカウント値seqは、5フィールド単位で繰り返す信号となっており、2−3プルダウンの位相に同期している。よって、カウント値seqにより、補間時のフィールド方向を示すように、例えば、時間的に前のフィールドからテレシネ補間をするフィールド位相においては、2−3位相フラグtcf23を‘1’とし、時間的に後ろのフィールドからテレシネ補間をするフィールドにおいては、2−3位相フラグtcf23を‘0’とする。なお、2―3位相フラグtcf23の値は上記したものに限らず、前のフィールドからのテレシネ補間の場合と後ろのフィールドからのテレシネ補間の場合を区別できる値であれば、他の値であってもよい。補間位相フラグ生成手段134による2−3位相フラグtcf23は、プルダウン判定手段17へと送られる。
次に、解除検出手段128には、第1、第2、及び第3の静止画検出手段121a、121b、及び121cからの静止画検出結果stl1、stl2、及びstl3と、第1の動画フィールドカウンタ123からのフレーム動画連続数frcntと、フィールド静止画検出手段122からのフィールド静止画検出結果filstlと、第2の動画フィールドカウンタ124からのフィールド動画連続数filcntと、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrとが入力される。さらには、解除検出手段128には、シーケンス位相カウンタ133からのカウント値seqと、シーケンス判定手段126による2−3シーケンス検出結果を示す検出信号tci0が入力される。解除検出手段128は、入力される各信号に基づいて、入力映像信号が2−3シーケンスの条件を満たしていない場合を検出し、2−3シーケンスの条件を満たさない場合に、2−3シーケンス検出信号の解除を行う(すなわち、入力映像信号が2−3シーケンスではないとする)ための解除信号rstを生成し出力する。以下、解除検出手段128内の各ブロックについて説明する。
解除検出手段128内のフレーム動画連続検出手段135には、第1の静止画検出手段121aからのフレーム静止画検出結果stl1と、第1の動画フィールドカウンタ123からのフレーム動画連続数frcntが入力される。フレーム動画連続検出手段135は、フレーム動画連続数frcntが‘4’であり、かつ、フレーム静止画検出結果stl1が‘0’(動画)である場合を検出し、検出結果を出力する。2−3プルダウン信号においては5フィールドに1回、同一フィールドがあるので、フレーム動画となるフィールドの連続は5フィールド以上とならない。したがって、フレーム静止画検出結果stl1により検出フィールドが動画(すなわち、stl1=0)で、前フィールドまでのフレーム動画連続数frcntが‘4’(すなわち、frcnt=4)であれば、5フィールド連続してフレーム動画が連続したことになる。このため、フレーム動画連続数frcntが‘4’であり、かつ、フレーム静止画検出結果stl1が‘0’(フレーム動画)である場合には、2−3シーケンス検出信号の解除を示す信号として、例えば‘1’となる検出結果を出力し、解除信号生成手段144へと送る。
解除検出手段128内のフィールド動画連続検出手段136には、フィールド静止画検出手段122からのフィールド静止画検出結果filstlと、第2の動画フィールドカウンタ124からのフィールド動画連続数filcntが入力される。フィールド動画連続検出手段136は、フィールド動画連続数filcntが‘1’であり、かつ、フィールド静止画検出結果filstlが‘0’(動画)である場合を検出し、検出結果を出力する。2−3プルダウン信号においては、2フレームのそれぞれを2フィールドと3フィールドに対応させ変換しており、フィールド動画の次のフィールドはフィールド静止画となるので、フィールド動画となるフィールドの連続は2フィールド以上とならない。したがって、フィールド静止画検出結果filstlにより検出フィールドが動画(すなわち、filstl=0)で、前フィールドまでのフィールド動画連続数filcntが‘1’(すなわち、filcnt=1)であれば、2フィールド連続してフィールド動画が連続したことになる。このため、フィールド動画連続数filcntが‘1’であり、かつ、フィールド静止画検出結果filstlが‘0’(フィールド動画)である場合には、2−3シーケンス検出信号の解除を示す信号として、例えば、‘1’となる検出結果を出力し、解除信号生成手段144へと送る。
解除検出手段128内の静止画連続検出手段137には、第2の静止画検出手段121bからのフレーム静止画検出結果stl2が入力される。静止画連続検出手段137は、フレーム静止画検出結果stl2に基づいてフレーム静止画となるフィールドの連続をカウントする。すなわち、静止画連続検出手段137は、フレーム静止画検出結果stl2が’0’(動画)のときに、カウント値をゼロへリセットし、フレーム静止画検出結果stl2が‘1’(静止画)であるときにカウントする。静止画連続検出手段137のカウント値は、解除検出手段128内の比較手段138へ出力される。
解除検出手段128内の比較手段138は、静止画連続検出手段137から出力された静止画連続カウント値を受け取り、この静止画連続カウント値を所定の閾値と比較し、連続数が所定の閾値以上となる場合を検出する。比較手段138は、フレーム静止画の連続数が所定の閾値以上である場合に、2−3シーケンス検出信号の解除を示す信号として、例えば、‘1’となる検出結果を、解除信号生成手段144へと送る。比較の所定の閾値は、2−3プルダウン信号の5フィールドの繰り返しシーケンスを考慮し、例えば、5フィールドとし、よって、フレーム静止画が5フィールド以上連続する場合に検出結果‘1’が解除信号生成手段144へ出力される。
解除検出手段128内のシーケンスずれ検出手段139は、2−3シーケンスの検出中に、5フィールドに一度のフレーム静止画とは異なるシーケンス途中のフィールドで、フレーム静止画が存在することを検出して、フィールドシーケンスの位相のずれを検出する。シーケンスずれ検出手段139は、シーケンス内静止画カウンタ140と、比較手段141により構成されている。
シーケンス内静止画カウンタ140には、第3の静止画検出手段121cからのフレーム静止画検出結果stl3と、シーケンス位相カウンタ133からのカウント値seqと、シーケンス判定手段126による2−3シーケンス検出信号tci0が入力される。シーケンス内静止画カウンタ140は、シーケンス判定手段126からの2−3シーケンス検出信号tci0が、2−3シーケンスであることを示す場合、第3の静止画検出手段121cからのフレーム静止画検出結果stl3が‘1’(静止画)となるフィールドをカウントする。ただし、フレーム静止画となるフィールドのカウントは、2−3シーケンス位相に同期したカウント値seqの1周期ごとに行い、5フィールドに一度のフレーム静止画の位置でカウント値を“0”へリセットする。よって、シーケンス内静止画カウンタ140は、2−3プルダウン信号における5フィールドに1回あるフレーム静止画の位置とは異なるフィールドで、シーケンス中にフレーム静止画となるフィールドを検出し、そのフィールドの数を出力することとなる。このシーケンス内静止画カウンタ140におけるカウント値は、シーケンスずれ検出手段139内の比較手段141へと出力される。
シーケンスずれ検出手段139内の比較手段141は、シーケンス内静止画カウンタ140からのカウント値を所定の閾値と比較し、このカウント値が所定の閾値以上の場合に、5フィールドのシーケンス途中におけるフレーム静止画の検出結果dbeを、2−3シーケンス検出信号の解除を示す信号(例えば、‘1’)として出力する。2−3プルダウン信号の場合、5フィールドごとに一度完全フレーム静止画となるため、シーケンス途中におけるその完全フレーム静止画とは異なるフィールドで、フレーム静止画が存在することを検出した場合には、シーケンスが変更して規則性が乱れ、2−3プルダウン位相のずれがあると判断できる。よって、比較手段141は、この比較結果を、2−3プルダウン位相のずれを示す信号dbeとして出力する。なお、比較手段141における比較の所定の閾値は、例えば、‘1’とする。シーケンスずれ検出手段139内の比較手段141からの出力dbeは、解除信号生成手段144へ出力される。
解除検出手段128内の位相判定手段142には、第1の静止画検出手段121aからの静止画検出結果stl1と、シーケンス位相カウンタ133からのカウント値seqが入力される。位相判定手段142は、2−3シーケンスの5フィールドに一度のフレーム静止画となるフィールド位置において、フレーム動画が存在することを検出する。すなわち、位相判定手段142は、2−3シーケンス位相に同期したカウント値seqの1周期ごとに、5フィールドに一度のフレーム静止画の位置でフレーム静止画検出結果stl1が‘0’(動画)である場合を検出し、検出結果dphを出力する。2−3プルダウン信号においては5フィールドに1回、フレーム静止画となるが、そのフィールドにおいて、フレーム静止画検出結果stl1により検出フィールドが動画(すなわち、stl1=0)であれば、2−3シーケンスから位相がはずれたことになる。よって、2−3プルダウン信号における5フィールドに1回あるフレーム静止画の位置で、フレーム静止画検出結果stl1が‘0’(フレーム動画)である場合には、2−3シーケンス検出信号の解除を示す信号として、例えば、‘1’となる検出結果dphを出力し、解除信号生成手段144へと送る。
一方、解除検出手段128内のシーンチェンジ検出手段143には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrが入力される。シーンチェンジ検出手段143は、フレーム間動画素累積値mvfrと所定の閾値STHを比較し、この比較結果に基づいてそのフィールドにおけるシーンチェンジを検出する。
ここで、一般に映像信号での編集点は、シーンの切換わりである可能性が高く、その場合フィールド内のほとんどの画素が動画素と判定される。よって、フレーム差分情報に基づくフレーム動画素累積値mvfrは、通常のシーケンス内での値と比較して大きく変化する。
シーンチェンジ検出手段143は、フレーム間動画素累積値mvfrが所定の閾値STHより大きい場合(すなわち、1フィールド内の所定の閾値より多くの画素が動画素となる場合)には、そのフィールドでシーンチェンジがあったとして、シーンチェンジ検出結果schを‘1’として出力し、それ以外の場合はシーンチェンジ検出結果schを‘0’として出力する。シーンチェンジ検出結果schは、解除信号生成手段144へ出力される。
解除検出手段128内の解除信号生成手段144には、フレーム動画連続検出手段135からのフレーム動画連続検出結果と、フィールド動画連続検出手段136からのフィールド動画連続検出結果と、比較手段138の静止画連続検出結果と、シーケンスずれ検出手段139からのシーケンスの位相ずれを示す信号dbeと、位相判定手段142からの検出結果dphと、シーンチェンジ検出手段32からのシーンチェンジ検出結果schとが入力される。解除信号生成手段144は、2−3プルダウン信号からの切換わりや位相ずれが起こった場合や、2−3シーケンスの条件を満たさない場合に、2−3シーケンス検出信号の解除を行う(すなわち、入力映像信号が2−3シーケンスではないとする)ための解除信号を、入力された各検出結果のいずれかに基づき生成する。例えば、フレーム動画連続検出手段135からのフレーム動画連続検出結果、フィールド動画連続検出手段136からのフィールド動画連続検出結果、比較手段138の静止画連続検出結果、位相判定手段142からの検出結果dph、シーケンスずれ検出手段139からのシーケンスの位相ずれを示す信号dbe、及びシーンチェンジ検出手段143からのシーンチェンジ検出結果schの中から、いずれか1つ以上の検出結果が’1’となった場合に、解除信号rstを‘1’とし、解除しない場合は解除信号rstを‘0’とする。この場合は、フレーム動画又はフレーム静止画が所定フィールド(5フィールド)連続することが検出された場合、フィールド動画が2フィールド連続した場合、フレーム静止画となる位相でフレーム動画が検出された場合、2−3プルダウン信号の検出中に2−3プルダウン位相がずれた場合、及びシーンチェンジが検出された場合のいずれかにおいて、解除信号rstを‘1’とする。
なお、解除信号生成手段144における解除信号rstの生成は、上記条件に限られるものではなく、例えば、フレーム動画連続検出手段135からのフレーム動画連続検出結果、フィールド動画連続検出手段136からのフィールド動画連続検出結果、比較手段138の静止画連続検出結果、位相判定手段142からの検出結果dph、シーケンスずれ検出手段139からのシーケンスの位相ずれを示す信号dbe、及びシーンチェンジ検出手段143からのシーンチェンジ検出結果schの中から、予め決められた検出結果の組み合わせにおいてそれぞれの検出結果が‘1’となった場合、さらには、いずれか2つ以上の検出結果が‘1’となった場合に、解除信号rstを‘1’として出力するよう構成してもよい。また、フレーム動画連続検出手段135からのフレーム動画連続検出結果、フィールド動画連続検出手段136からのフィールド動画連続検出結果、比較手段138の静止画連続検出結果、位相判定手段142からの検出結果dph、及びシーンチェンジ検出手段143からのシーンチェンジ検出結果schにより、フレーム動画又はフレーム静止画が所定フィールド(5フィールド)連続することが検出された場合、フィールド動画が2フィールド連続した場合、フレーム静止画となる位相でフレーム動画が検出された場合、及びシーンチェンジが検出された場合に、解除信号rstを‘1’として出力する条件として設定することもできる。
シーケンス判定手段126には、シーケンス条件検出手段125からの2−3シーケンス条件検出結果detflと、解除検出手段128内の解除信号生成手段144による解除信号rstが入力される。シーケンス判定手段126は、2−3シーケンス条件検出結果detflから、2−3シーケンス条件の繰り返しを検出して、2−3シーケンスであるか否かを判定し、2−3シーケンス検出結果を示す2−3シーケンス検出信号tci0を出力する。以下に、シーケンス判定手段126を構成する各ブロックについて説明する。
シーケンス判定手段126内のテレシネ起動カウンタ131には、シーケンス条件検出手段125からの2−3シーケンス条件検出結果detflと、リセット信号として解除検出手段128内の解除信号生成手段144による解除信号rstが入力される。テレシネ起動カウンタ131は、2−3シーケンス条件検出結果detflに基づき、2−3シーケンス条件を満たすフィールドが検出された場合、すなわち、5フィールドの2−3シーケンスを検出した場合をカウントする。テレシネ起動カウンタ131は、解除信号生成手段144からの解除信号rstが‘1’(rst=1)となった場合は、2−3シーケンスのカウント値oncntをゼロへリセットする。すなわち、テレシネ起動カウンタ131は、2−3シーケンス条件検出結果detflの値が‘1’の場合には、2−3プルダウン信号の5フィールドのシーケンス条件を検出しており、2−3シーケンス条件検出結果detflの値が‘1’となるフィールドの繰り返し回数をカウントする。テレシネ起動カウンタ131は、解除信号生成手段144からの解除信号rstとして‘1’が入力された場合は、入力映像信号が2−3プルダウン信号ではないとしてカウント値をゼロとし、解除信号rstによるリセット後は、再び上記の2−3シーケンス条件検出結果detflの値が‘1’となるフィールドの入力を待ち、‘0’からシーケンスの繰り返し回数のカウントを開始する。そして、テレシネ起動カウンタ131による2−3シーケンスのカウント値oncntは、シーケンス検出信号生成手段132へと出力される。
シーケンス検出信号生成手段132には、テレシネ起動カウンタ131からの2−3シーケンスのカウント値oncntが入力される。シーケンス検出信号生成手段132は、テレシネ起動カウンタ131からの2−3シーケンスカウント値oncntと、所定の閾値(起動カウント値と呼ぶ。)TH1を比較し、2−3シーケンスカウント値oncntが、起動カウント値TH1以上になったとき、すなわち、5フィールドの2−3シーケンスが所定の回数連続して検出されたときに、2−3シーケンス検出結果を示す検出信号tci0を‘1’とし、2−3シーケンスカウント値oncntが起動カウント値TH1より小さいときは検出信号tci0を‘0’として出力する。2−3シーケンス検出信号tci0が‘0’の場合は、2−3シーケンスがカウントされない(2−3プルダウン信号でない)場合や検出されるまでの間、シーケンスカウント値がゼロへリセットされた場合などである。上記起動カウント値TH1は、入力映像信号が2−3シーケンスであると検出するまでのシーケンスの繰り返し回数を設定し、2−3シーケンス検出信号tci0を起動するまでのカウント値である。なお、2−3シーケンス検出信号の値は、これに限らず、2−3シーケンスを所定回数以上連続して検出している場合とそれ以外の場合を判別できる値であれば、他の値であってもよい。シーケンス検出信号生成手段132からの出力である2−3シーケンス検出信号tci0は、シーケンスずれ検出手段139へ送られるとともに、2−3予測制御手段53へと出力される。
次に、図7において、2−3シーケンス検出手段15内の出現頻度検出手段52には、2−3フィールドシーケンス検出手段51から出力される2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqが入力される。出現頻度検出手段52は、入力映像信号のシーケンスを監視し、2−3シーケンスの出現頻度を検出することで、2−3シーケンスの条件を満たす映像信号であるか否か(すなわち、2−3プルダウン信号であることの確からしさ)を判定する。
図11は、実施の形態1による出現頻度検出手段52の構成の一例を示すブロック図である。図11では、出現頻度検出手段52に対し、2−3フィールドシーケンス検出手段51から出力される2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqを入力としている。しかし、出現頻度検出手段52内に、2−3フィールドシーケンス検出手段51における2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqを得るための同様の手段を持つよう構成することもできる。この場合は、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilを入力とし、出現頻度検出手段52内で2−3シーケンス検出の条件を検出することになる。
以下の説明においては、出現頻度検出手段52が、2−3フィールドシーケンス検出手段51から出力される2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqを入力とする場合を説明する。
図11に示されるように、実施の形態1の2−3シーケンス検出手段15内の出現頻度検出手段52は、シーケンス判定回数検出手段151と、予測制御フラグ生成手段152とを有している。シーケンス判定回数検出手段151は、入力映像信号での2−3シーケンスの条件を比較的長い時間(フィールド)にわたって監視し、2−3シーケンスと判定される回数をカウントする。シーケンス判定回数検出手段151は、出現頻度カウンタ153と、カウント値調整手段154から構成される。また、予測制御フラグ生成手段152は、シーケンス判定回数検出手段151から出力されるカウント値tcを所定の閾値PTH1と比較し、この比較結果を2−3プルダウン信号であることの確からしさを示す指標である予測制御信号tciflg0として出力する(すなわち、2−3プルダウン信号であることの確からしさを判定し、判定結果を出力する)。
まず、シーケンス判定回数検出手段151には、2−3フィールドシーケンス検出手段51から出力される2−3シーケンス条件検出結果detfl、フレーム静止画検出結果stl1、及び2−3シーケンスの位相カウント値seqが入力される。シーケンス判定回数検出手段151は、入力映像信号における2−3シーケンスの条件を比較的長いフィールドにわたって監視し、2−3シーケンスと判定される回数をカウントする。シーケンス判定回数検出手段151は、2−3シーケンス条件が検出される場合は所定の値を加算し、一方、5フィールドごとで2−3シーケンス条件が検出されず、2−3シーケンスと判定されない場合は、カウント値から所定の値を減算する。
シーケンス判定回数検出手段151内の出現頻度カウンタ153には、2−3フィールドシーケンス検出手段51からの2−3シーケンス条件検出結果detflと、フレーム静止画検出結果stl1と、2−3シーケンスの位相カウント値seqが入力され、また、カウント値調整手段154において設定された設定値が入力される。
出現頻度カウンタ153は、2−3シーケンス条件検出結果detflと、フレーム静止画検出結果stl1と、2−3シーケンスの位相カウント値seqとに基づいて、所定値Adを加算又は所定値Suを減算するアップダウンカウンタである。出現頻度カウンタ153は、入力映像信号における2−3シーケンス条件を比較的長い時間(フィールド)にわたって監視し、2−3シーケンスと判定される回数をカウントする。出現頻度カウンタ153は、2−3シーケンスの条件となるフィールドが検出された場合、すなわち、2−3シーケンス条件検出結果detflが‘1’のときは、カウント値tcに所定値Adを加算する(すなわち、tc←tc+Ad)。出現頻度カウンタ153は、5フィールド目の位相(すなわち、2−3シーケンス位相カウント値seqが‘0’であり、5フィールドに一度のフレーム静止画の位置)であっても、フレーム静止画検出結果stl1が‘0’(フレーム動画)であり、2−3シーケンスと判定されない場合は、カウント値tcから所定値Suを減算する(すなわち、tc←tc−Su)。出現頻度カウンタ153は、5フィールド目の位相(カウント値seq=0)でフレーム静止画検出結果stl1が‘1’となる場合(すなわち、フレーム静止画の場合)は、上記2−3シーケンス条件検出結果detflが‘0’で、2−3シーケンス条件を検出されなくても、カウント値tcの加減算を行わない(すなわち、tc←tc±0)。これは、5フィールドに一度のフレーム静止画の位置でフレーム静止画検出結果stl1が‘1’であれば、2−3シーケンスか否かどちらにも判定できないためである。
カウント値調整手段154は、出現頻度カウンタ153におけるカウントでの加算値Adと減算値Suのバランス比を調整するもので、例えば、加算値Adを‘1’とした際の減算値Suに相当する値を、出現頻度カウンタ153へと出力する。2−3シーケンスと判定する場合の加算値Adに対し、2−3シーケンスと判定されない場合の減算値Suを大きくすることで、シーケンスの判定回数のカウントにおける上下の変動幅が調整される。すなわち、このカウント値調整手段154で設定する加算値Adと減算値Suのバランス比により、2−3シーケンスと判定される度合いを調整することができる。出現頻度カウンタ153におけるカウントでの加算値及び減算値は、カウント値調整手段154からの値に基づき設定される。
出現頻度カウンタ153におけるシーケンス判定回数であるカウント値(出現頻度カウント値)tcは、予測フラグ生成手段152へと送られる。
次に、予測フラグ生成手段152は、シーケンス判定回数検出手段151からの出現頻度カウント値tcを受け取り、2−3プルダウン信号であることの確からしさを判定し、確からしいと判定されるか否かを示す予測制御フラグtciflg0を出力する。
予測制御フラグ生成手段152には、出現頻度カウンタ153から出力される出現頻度カウント値tcが入力される。予測制御フラグ生成手段152は、出現頻度カウンタ153からの出現頻度カウント値tcと所定の閾値(有効カウント値)PTH1を比較し、2−3プルダウン信号であることの確からしさを判定する。すなわち、出現頻度カウント値tcと有効カウント値PTH1を比較し、出現頻度カウント値tcが有効カウント値PTH1以上になったとき、2−3プルダウン信号であると判定し、予測制御フラグtciflg0を‘1’とする。出現頻度カウント値tcが有効カウント値PTH1より小さい場合は、2−3プルダウン信号らしくないと判定し、予測制御フラグtciflg0は生成せず、予測制御フラグtciflg0を‘0’とする。そして、予測制御フラグ生成手段152からの出力である予測制御フラグtciflg0は、2−3予測制御手段53へと出力される。
なお、予測フラグ生成手段152における有効カウント値PTH1は、出現頻度カウンタ153から出力される出現頻度カウント値tcに対し、2−3プルダウン信号であると判定するまでの出現頻度(2−3シーケンス判定回数)を設定し、2−3プルダウン信号であることの確からしさを判定するためのカウント値である。この有効カウント値PTH1により、2−3プルダウン信号と判定するまでの時間を調整することになる。
次に、図7において、2−3シーケンス検出手段15内の2−3予測制御手段53には、2−3フィールドシーケンス検出手段51からの出力である2−3シーケンス検出信号tci0と、出現頻度検出手段52から出力される予測制御フラグtciflg0が入力される。2−3予測制御手段53は、出現頻度検出手段52において判定された2−3プルダウン信号であることの確からしさを示す予測制御フラグtciflg0に基づき、2−3フィールドシーケンス検出手段51における2−3シーケンスの検出結果を制御し、2−3プルダウン信号の検出を示す2−3プルダウン検出信号tci23を出力する。図7に示されるように、2−3予測制御手段53は、2−3フィールドシーケンス検出手段51での2−3シーケンス検出結果tci0を制御する切換手段54を有している。
2−3予測制御手段53内の切換手段54は、2−3フィールドシーケンス検出手段51からの出力である2−3シーケンス検出信号tci0と、出現頻度検出手段52から出力される予測制御フラグtciflg0とが入力され、出現頻度検出手段52からの予測制御フラグtciflg0に基づき、2−3フィールドシーケンス検出手段51からの2−3シーケンス検出信号tci0と固定信号を切り換える。切換手段54は、予測制御フラグtciflg0が‘1’として入力される場合は、2−3プルダウン信号であると判定し、2−3フィールドシーケンス検出手段51による2−3シーケンス検出信号tci0を選択し、2−3プルダウン信号の検出を示す2−3プルダウン検出信号tci23として出力する。一方、切換手段54は、予測制御フラグtciflg0が‘0’の場合は、2−3プルダウン信号らしくないと判定された場合又は2−3プルダウン信号らしいと判定されるまでのフィールド期間(出現頻度カウント値tcが有効カウント値PTH1以上となるまでの時間)であり、2−3フィールドシーケンス検出手段51による2−3シーケンス検出信号tci0は選択せず、固定信号tci23(値‘0’)を選択する。このとき、2−3シーケンス検出信号tci0が、一時的に通常の2−3シーケンスの条件を満たし2−3シーケンス検出信号tci0が‘1’であっても、テレシネ補間処理が起動はされないこととなる。
そして、2−3予測制御手段53により制御された2−3プルダウン信号の検出を示す2−3プルダウン検出信号tci23は、2−3フィールドシーケンス検出手段51からの2−3位相フラグtcf23とともに、プルダウン判定手段へ送られる。
次に、図1におけるプルダウンシーケンス検出手段14内の2−2シーケンス検出手段16について、構成を説明する。2−2シーケンス検出手段16には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと、動画素累積差分値dfmvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilとが入力される。2−2シーケンス検出手段16は、フレーム間動画素累積値mvfrと、動画素累積差分値dfmvfrと、フィールド間動画素累積値mvfilとから、2−2プルダウン信号の2フィールドの繰り返し条件により、2−2プルダウンシーケンスであるか否かを検出するとともに、2−2プルダウンのシーケンスの出現頻度を検出して確からしさを判定することで、2−2プルダウン信号の検出結果を予測制御する。そして、2−2シーケンス検出手段16は、2−2プルダウン検出信号tci22(例えば、2−2プルダウン信号と検出する場合はtci22=1、検出されない場合はtci22=0とする)と、2−2プルダウンの位相を示す2−2位相フラグtcf22(例えば、前フィールドが同一フィールドとする場合tcf22=1、後フィールドの場合はtcf22=0とする)を出力する。
図12は、実施の形態1におけるプルダウンシーケンス検出手段14内の2−2シーケンス検出手段16の構成の一例を示すブロック図である。図12において、実施の形態1の2−2シーケンス検出手段16は、2−2フィールドシーケンス検出手段61と、出現頻度検出手段62と、2−2予測制御手段63とを有している。
2−2シーケンス検出手段16内の2−2フィールドシーケンス検出手段61には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrと、動画素累積差分値dfmvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilとが入力される。2−2フィールドシーケンス検出手段61は、入力されたフレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilのそれぞれに対し、フィールドが静止画フィールドであるか否かを判定し、また、動画素累積差分値dfmvfrから同一フレームからのフィールドを判定して、この判定結果から、入力映像信号が2フィールドのシーケンスの繰り返し条件を満たす映像信号であるか否か、及び2−2プルダウンのシーケンス位相を検出する。
図13は、2−2シーケンス検出手段16内の2−2フィールドシーケンス検出手段61の構成の一例を示すブロック図である。図13に示されるように、2−2フィールドシーケンス検出手段61は、静止画検出手段161と、同一フレーム判定手段162と、フィールド静止画検出手段163と、動画フィールドカウンタ164と、2−2プルダウンのシーケンスの繰り返し条件を検出するシーケンス条件検出手段165と、シーケンスの繰り返しをカウントして、2−2プルダウン信号におけるシーケンス(以下、2−2シーケンスと呼ぶ。)であるか否かを判定するシーケンス判定手段167と、2−2シーケンスの位相を検出するシーケンス位相検出手段166と、シーケンスの条件を満たしていないことを検出する解除検出手段168とを有している。
図13に示されるように、2−2フィールドシーケンス検出手段61内のシーケンス判定手段167は、シーケンス起動カウンタ173と、シーケンス検出信号生成手段174とから構成されている。また、シーケンス位相検出手段166は、シーケンス位相生成手段171と、補間位相フラグ生成手段172とから構成されている。さらに、解除検出手段168は、動画連続検出手段175と、位相判定手段176と、比較手段177と、シーンチェンジ検出手段178と、解除信号生成手段179とから構成されている。
テレシネ映像信号である2−2プルダウン信号は、1フレームを2フィールドに対応させており、2フィールドを繰り返すシーケンスとなっている。2−2プルダウン信号の場合、フレーム差分情報に基づくフレーム間動画素累積値mvfrは、動きがある映像信号であれば、常に動画素数が大きなフィールドが連続する。また、フレーム間動画素累積値のフィールド間の差である動画素累積差分値dfmvfrは、2フィールドに一度の周期で、所定値以下の比較的小さな値となるフィールドが存在することになる。2−2プルダウン信号の同一フレームから変換された隣接するフィールド間においては、この動画素累積差分値dfmvfrが比較的小さな値となる。
図14は、2−2プルダウン信号を入力映像信号とした場合のフレーム間相関検出手段11から出力されるフレーム間動画素累積値mvfr(縦軸)とフィールド番号(時間、すなわち、横軸)との関係を示す図である。図14には、画像シミュレーションにおいて、2−2プルダウン信号からのフィールド画像をフレーム間相関検出手段11により処理した場合が示されている。図14において示されるように、フレーム間動画素累積値mvfrは、動画素数が大きなフィールド(動画と呼ぶ)が連続する。
図15は、フレーム間相関検出手段11から出力される動画素累積差分値dfmvfr(縦軸)とフィールド番号(時間、すなわち、横軸)との関係を示す図である。図15には、画像シミュレーションにおいて、図14に示した場合と同じ2−2プルダウン信号からのフィールド画像を、フレーム間相関検出手段11により処理した場合が示されている。図15において、フィールド番号2,4,・・・,30として示されるように、動画素累積差分値dfmvfrは、2フィールドの周期で、ゼロ又は所定値以下となるフィールドが繰り返される。
さらに、フィールド差分情報に基づくフィールド間動画素累積値mvfilは、動画素累積差分値dfmvfrが2フィールドごとで比較的小さな値となるフィールド(すなわち、図15におけるフィールド番号2,4,・・・,30)において、ゼロ又は所定値以下となるフィールド(静止画)が存在し、その前フィールドでは、所定値より大きなフィールド間動画素累積値mvfilとなるフィールド(動画)が存在する。すなわち、動画と静止画がフィールドごとで交互に繰り返される。
図16は、フィールド間相関検出手段12から出力されるフィールド間動画素累積値mvfil(縦軸)とフィールド番号(時間、すなわち、横軸)との関係を示す図である。図16には、画像シミュレーションにおいて、図14に示した場合と同じ2−2プルダウン信号からのフィールド画像を、フィールド間相関検出手段12により処理した場合が示されている。図16において、フィールド番号2,4,・・・,30として示されるように、フィールド間動画素累積値mvfilは、2フィールドの周期で、ゼロ又は所定値以下となる静止画フィールドとなり、動画の次は静止画となるよう繰り返される。
よって、2−2シーケンスであることの条件の検出は、フレーム間動画素累積値mvfrが動画フィールドであり、フィールド間動画素累積値mvfilが、2フィールドごとで動画、静止画フィールドを繰り返すフィールド繰り返しの検出とすることができる。さらに、より確実に2−2プルダウンシーケンスの条件を検出するため、フレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilによる条件に加え、2フィールド毎でフィールド間動画素累積値mvfilが静止画となるフィールドにおいて、動画素累積差分値dfmvfrが比較的小さな値となるフィールドの繰り返しの検出とすることができる。
2−2フィールドシーケンス検出手段61では、フレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilのそれぞれに対し、フィールドが静止画フィールドであるか否かを検出し、また、動画素累積差分値dfmvfrから同一フレームからのフィールドを判定して、この判定結果から、入力映像信号が2−2シーケンスであることの条件を満たすか否かを検出し、その結果(すなわち、2−2シーケンス検出結果)を示す検出信号tci1と、テレシネ補間時の位相を示す2−2位相フラグtcf22を出力する。
また、出現頻度検出手段62は、2−2フィールドシーケンス検出手段61と同一の2−2シーケンス検出条件を用いて、2−2シーケンスの出現頻度を検出する。2−2フィールドシーケンス検出手段61は、2−2フィールドシーケンス検出手段61により検出している2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2を、出現頻度検出手段62へと出力する。
図13において、フレーム間相関検出手段11から2−2フィールドシーケンス検出手段61へ入力された1フィールド単位のフレーム間動画素累積値mvfrは、静止画検出手段161と、解除検出手段168内のシーンチェンジ検出手段178へ送られる。
静止画検出手段161は、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrを所定の閾値FRTH2と比較し、そのフィールドが静止画フィールドであるか否かを検出する。静止画検出手段161は、入力されたフレーム間動画素累積値mvfrが所定の閾値FRTH2より小さい場合、そのフィールドをフレーム静止画として、検出結果frstlの値を‘1’(frstl=1)とし、それ以外の場合は、検出結果frstlの値を‘0’(frstl=0であり、フレーム動画を示す。)とする。この静止画検出のための所定の閾値FRTH2は、2−2シーケンスにおいて、フレーム動画となるフィールドを検出することができるような値に設定される。なお、静止画検出手段161は、フレーム間動画素累積値mvfrが所定の閾値FRTH2より大きい場合には、そのフィールドを動画フィールドとして、それ以外の場合は静止画と検出することもできる。
そして、静止画検出手段161からの検出結果frstlは、2−2シーケンスを検出するため、シーケンス条件検出手段165、並びに解除検出手段168内の動画連続検出手段175及び位相判定手段176へと送られるとともに、出現頻度検出手段62へと出力される。
フレーム間相関検出手段11から2−2フィールドシーケンス検出手段61へ入力された動画素累積差分値dfmvfrは、同一フレーム判定手段162と、解除検出手段168内の比較手段177へ送られる。
同一フレーム判定手段162は、フレーム間相関検出手段11からの動画素累積差分値dfmvfrを所定の閾値DTH2と比較し、同一フレームによるフィールドの連続を判定する。同一フレーム判定手段162は、入力された動画素累積差分値dfmvfrが所定の閾値DTH2より小さい場合、同一フレームの連続と判定して、同一フレーム判定結果frdiffの値を‘1’(frdiff=1であり、同一フレームによるフィールドを示す。)とし、それ以外の場合は、検出結果frdiffの値を‘0’(frdiff=0)とする。同一フレーム判定手段162からの同一フレーム判定結果frdiffは、シーケンス条件検出手段165へと送られる。
フィールド間相関検出手段12から2−2フィールドシーケンス検出手段61へ入力された1フィールド単位のフィールド間動画素累積値mvfilは、フィールド静止画検出手段163へ入力される。フィールド静止画検出手段163は、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilを所定の閾値FIL_TH2と比較し、そのフィールドが静止画フィールドであるか否かを検出する。フィールド静止画検出手段163は、入力されたフィールド間動画素累積値mvfilが所定値FIL_TH2より小さい場合、フィールド静止画として、検出結果filstl2の値を‘1’(filst2=1)とし、それ以外の場合は、検出結果filstl2の値を‘0’(filstl=0であり、フィールド動画を示す。)とする。なお、フィールド静止画検出手段163は、フィールド間動画素累積値mvfilが所定の閾値より大きい場合には、そのフィールドをフィールド動画とし、それ以外の場合はフィールド静止画と検出することもできる。フィールド静止画検出手段163からの検出結果filstl2は、動画フィールドカウンタ164、シーケンス条件検出手段165、並びに解除検出手段168内の動画連続検出手段175及び位相判定手段176へと送られるとともに、出現頻度検出手段62へも出力される。
動画フィールドカウンタ164には、フィールド静止画検出手段163からのフィールド静止画検出結果filstl2が入力される。動画フィールドカウンタ164は、入力された検出結果filstl2に基づき、フィールド動画の連続をカウントし、前フィールドまでのフィールド動画となるフィールドの連続数filcnt2を出力する。すなわち、動画フィールドカウンタ164は、入力された検出結果filstl2がフィールド静止画を示す‘1’である場合(filstl2=1の場合)、カウンタをリセットし、動画を示す‘0’である場合(filstl2=0の場合)はカウントして、次フィールドにタイミングを合わせ、カウントしたフィールド動画の連続数filcnt2を出力する。
シーケンス条件検出手段165には、静止画検出手段161からのフレーム静止画検出結果frstlと、同一フレーム判定手段162からの同一フレーム判定結果frdiffと、フィールド静止画検出手段163からのフィールド静止画検出結果filstl2と、動画フィールドカウンタ164からの前フィールドまでのフィールド動画連続数filcnt2とが入力される。シーケンス条件検出手段165は、フレーム動画で、かつ、フィールド静止画が交互に検出されたフィールド動画後のフィールド静止画であって、かつ、動画素累積差分値dfmvfrが所定値以下となるフィールドを検出した場合、2−2プルダウン信号における2フィールドに一度の静止画フィールドであるとして、2−2シーケンスの条件を検出し、シーケンス条件の検出を示す2−2シーケンス条件検出結果detfl2を出力する。すなわち、シーケンス条件検出手段165は、フレーム静止画検出結果frstlと、フィールド静止画検出結果filstl2と、フィールド動画連続数filcnt2と、同一フレーム判定結果frdiffとに基づき、フレーム静止画検出結果frstlが‘0’(フレーム動画)であり、フィールド静止画検出結果filstl2が‘1’(フィールド静止画)、かつ、フィールド動画連続数filcntが‘1’(すなわち、フィールド静止画後のフィールド動画。)であり、さらに、同一フレーム判定結果frdiffが’1’(すなわち、動画素累積差分値dfmvfrが所定値以下の同一フレームと判定。)となる4条件を満たすフィールドを検出する。そして、シーケンス条件検出手段165は、シーケンス条件を満たすフィールドが検出される場合は、2−2シーケンス条件検出結果detfl2の値を‘1’(detfl2=1)とし、それ以外の場合は、検出結果detfl2の値を‘0’(detfl2=0)とする。
なお、実施の形態1におけるシーケンス条件検出手段165では、フレーム静止画検出結果frstlと、フィールド静止画検出結果filstl2と、フィールド動画連続数filcnt2と、同一フレーム判定結果frdiffとから、シーケンス条件を満たすフィールドの検出を行っているが、フレーム静止画検出結果stl1が‘0’(フレーム動画)、かつ、フィールド静止画検出結果filstl2が‘1’(フィールド静止画)、かつ、フィールド動画連続数filcntが‘1’(すなわち、フィールド静止画後のフィールド動画。)となる3条件を満たすフィールドを検出することにより、2−2シーケンスの条件を検出することもできる。
シーケンス位相検出手段166には、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2が入力され、2フィールド単位で繰り返す2−2シーケンスの位相を検出し、2フィールドのシーケンス位相を示すカウント値seq2と2−2位相フラグtcf22とを出力する。
シーケンス位相検出手段166内のシーケンス位相生成手段171には、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2が入力される。シーケンス位相生成手段171は、フィールド毎で2フィールド周期となる‘0’、‘1’の繰り返し信号を生成し、2−2シーケンス条件検出結果detfl2に基づき、繰り返しの周期カウンタのセットを行う。すなわち、シーケンス位相生成手段171は、フィールドごとで‘0’、‘1’を繰り返してカウントし、2−2シーケンス条件検出結果detfl2が‘1’であるときには、2−2プルダウン信号における2フィールドに一度のフィールド静止画となるフィールドであるとして、カウント値seq2を‘1’へセットすることで、カウント値seq2を生成して出力する。フィールドごとで‘0’、‘1’を繰り返すので、カウント値seq2は、常に‘0’、‘1’、‘0’、‘1’、・・・を繰り返し、2−2シーケンス条件検出結果detfl2が‘1’となる際には、カウント値seq2は‘1’となる。なお、シーケンス位相生成手段171から出力するカウント値seq2は、2−2シーケンス条件検出結果detfl2が‘1’である場合に‘1’へセットするとしたが、‘0’へセットしてもよく、また、フィールドで繰り返すカウント値であれば、他の値であってもよい。
シーケンス位相生成手段171のカウント値seq2は、2フィールド単位で繰り返しており、2−2プルダウン信号においては、2フィールドごとのフィールド静止画となるフィールドに同期してセットされているので、2フィールドの繰り返しシーケンス、すなわち、2−2シーケンスの位相を示すことになる。そして、2−2シーケンスの位相であるカウント値seq2は、補間位相フラグ生成手段172へ送られる。また、カウント値seq2は、解除検出手段168における位相判定手段176と比較手段177、及び出現頻度検出手段62へも出力される。
シーケンス位相検出手段166内の補間位相フラグ生成手段172は、シーケンス位相生成手段171からのカウント値seq2が入力され、テレシネ補間における同一フレームから変換されたフィールドの方向を示す2−2位相フラグtcf22を生成する。シーケンス位相生成手段171からのカウント値seq2は、2フィールド単位で繰り返す信号となっており、2−2プルダウンの位相に同期している。よって、カウント値seq2により、補間時のフィールド方向を示すように、例えば、時間的に前のフィールドからテレシネ補間をするフィールド位相においては、2−2位相フラグtcf22を‘1’とし、時間的に後ろのフィールドからテレシネ補間をするフィールドにおいては、2−2位相フラグtcf22を‘0’とする。これは、上記の2−3フィールドシーケンス検出手段51内の補間位相フラグ生成手段134から出力される2−3位相フラグtcf23と同一の設定による補間時のフィールド位相を示す値としており、したがって、テレシネ補間時は2−3プルダウン及び2−2プルダウンの区別なく、同様の処理を行うことができる。なお、2―2位相フラグtcf22の値についても、上記したものに限らず、前のフィールドからのテレシネ補間の場合と後ろのフィールドからのテレシネ補間の場合を区別できる値であれば、他の値であってもよい。補間位相フラグ生成手段172による2−2位相フラグtcf22は、プルダウン判定手段17へと送られる。
次に、解除検出手段168には、静止画検出手段161からのフレーム静止画検出結果frstlと、フィールド静止画検出手段163からのフィールド静止画検出結果filstl2と、動画フィールドカウンタ164からの前フィールドまでのフィールド動画連続数filcnt2と、フレーム間相関検出手段11からのフレーム間動画素累積値mvfr及び動画素累積差分値dfmvfrとが入力される。さらには、解除検出手段168には、シーケンス位相生成手段171からのカウント値seq2が入力される。解除検出手段168は、入力される各信号に基づいて、入力映像信号が2−2シーケンスの条件を満たしていない場合を検出し、2−2シーケンスの条件を満たさない場合に、2−2シーケンス検出信号の解除を行う(すなわち、入力映像信号が2−2シーケンスではないとする)ための解除信号rst2を生成し出力する。以下、解除検出手段168内の各ブロックについて説明する。
解除検出手段168内の動画連続検出手段175には、静止画検出手段161からのフレーム静止画検出結果frstlと、フィールド静止画検出手段163からのフィールド静止画検出結果filstl2と、動画フィールドカウンタ164からのフィールド動画連続数filcnt2とが入力される。動画連続検出手段175は、フレーム静止画検出結果frstlが‘0’(フレーム動画)であって、フィールド静止画検出結果filstlが‘0’(フィールド動画)であり、かつ、フィールド動画連続数filcnt2が‘1’である場合を検出し、検出結果を出力する。2−2プルダウン信号においては、1フレームを2フィールドに順次対応させ変換しており、フィールド動画の次のフィールドは常にフィールド静止画となるので、フィールド動画となるフィールドの連続は2フィールド以上とならない。したがって、フィールド静止画検出結果filstl2により検出フィールドが動画(すなわち、filstl2=0)で、前フィールドまでのフィールド動画連続数filcntが‘1’(すなわち、filcnt=1)であれば、2フィールド連続してフィールド動画が連続したことになる。また、動画時は、フレーム静止画検出結果frstlも‘0’(フレーム動画)である。このため、フレーム静止画検出結果frstlが‘0’であって、フィールド静止画検出結果filstlが‘0’(フィールド動画)、かつ、フィールド動画連続数filcntが‘1’である場合には、2−2シーケンス検出信号の解除を示す信号として、例えば、‘1’となる検出結果を出力し、解除信号生成手段179へと送る。
解除検出手段168内の位相判定手段176には、静止画検出手段161からのフレーム静止画検出結果frstlと、フィールド静止画検出手段163からのフィールド静止画検出結果filstl2と、動画フィールドカウンタ164からのフィールド動画連続数filcnt2と、シーケンス位相生成手段171からのカウント値seq2が入力される。位相判定手段176は、2−2シーケンスの2フィールドに一度のフィールド静止画となるフィールド位置において、検出されるべきシーケンス条件とならないフィールド(例えば、フィールド動画)が存在することを検出する。位相判定手段176は、2−2シーケンス位相に同期したカウント値seq2の1周期である2フィールドのフィールド静止画となる位置において(すなわち、カウント値seq2が‘1’、seq2=1のとき)、フレーム静止画検出結果frstlが‘0’(フレーム動画)であって、フィールド静止画検出結果が‘0’(フィールド動画)であり、フィールド動画連続数filcnt2が‘0’である場合を検出し、検出結果dph2を出力する。つまり、2−2プルダウン信号においては2フィールドに1回、フィールド静止画となるが、そのフィールドにおいて、フィールド静止画検出結果filstl2により検出フィールドがフィールド動画(すなわち、filstl=0)であり、2−2シーケンスの条件を満たさない場合は、2−2シーケンスから位相がはずれたことになる。よって、2−2プルダウン信号における2フィールドに1回あるフィールド静止画の位置で、フレーム静止画検出結果frstlが‘0’(フレーム動画)であって、フィールド静止画検出結果filstlが‘0’(フィールド動画)であり、フィールド動画連続数filcnt2が‘0’である場合には、2−2シーケンス検出信号の解除を示す信号として、例えば、‘1’となる検出結果dph2を出力し、解除信号生成手段179へと送る。
なお、位相判定手段176での2−2シーケンスから位相がはずれたことの判定は、フレーム静止画検出結果frstlと、フィールド静止画検出結果filstlと、フィールド動画連続数filcnt2とから行うとしたが、位相がはずれた条件として、フレーム静止画検出結果frstlが‘0’(フレーム動画)、かつ、フィールド静止画検出結果が‘0’(フィールド動画)である場合として、2−2シーケンス検出信号の解除を示す検出結果dph2を出力してもよい。
解除検出手段168内の比較手段177には、フレーム間相関検出手段11からの動画素累積差分値dfmvfrと、シーケンス位相生成手段171からのカウント値seq2が入力される。比較手段177は、2−2シーケンスの2フィールドに一度のフィールド静止画となるフィールド位置において、動画素累積差分値dfmvfrが所定の閾値より大きな値となるフィールドを検出する。すなわち、比較手段177は、カウント値seq2が2フィールド周期のフィールド静止画となる‘1’(すなわち、seq2=1)の場合、フレーム間相関検出手段11からの動画素累積差分値dfmvfrを所定の閾値SQTHと比較する。カウント値seq2が‘1’で、動画素累積差分値dfmvfrが所定の閾値SQTHより大きい場合は、比較結果sqofの値を‘1’(sqof=1)とし、それ以外の場合は、比較結果sqofの値を‘0’(sqof=0)とする。2−2プルダウン信号の同一フレームから変換された隣接するフィールド間においては、動画素累積差分値dfmvfrが比較的小さな値となるので、2フィールド周期のフィールド静止画となる位置で動画素累積差分値dfmvfrが所定の閾値SQTHより大きな値となる場合は、2−2シーケンスから位相がはずれたことになる。よって、2−2シーケンス検出信号の解除を示す信号として、比較結果sqofを解除信号生成手段179へと送る。
一方、解除検出手段168内のシーンチェンジ検出手段178には、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrが入力される。シーンチェンジ検出手段178は、フレーム間動画素累積値mvfrと所定の閾値STH2を比較し、この比較結果に基づいてそのフィールドにおけるシーンチェンジを検出する。このシーンチェンジ検出手段178の動作は、上記2−3フィールドシーケンス検出手段51内におけるシーンチェンジ検出手段143での動作と同様であるが、シーンチェンジ検出手段178は、フレーム間動画素累積値mvfrが所定の閾値STH2より大きい場合は、そのフィールドでシーンチェンジがあったとして、シーンチェンジ検出結果sch2を‘1’として出力し、それ以外の場合はシーンチェンジ検出結果schを‘0’として出力する。シーンチェンジ検出結果sch2は、解除信号生成手段179へ出力される。
解除検出手段168内の解除信号生成手段179には、動画連続検出手段175からの動画連続検出結果と、位相判定手段176からの検出結果dph2と、比較手段177からの比較結果sqofと、シーンチェンジ検出手段178からのシーンチェンジ検出結果sch2とが入力される。解除信号生成手段179は、2−2プルダウン信号からの切換わりや位相ずれが起こった場合や、2−2シーケンスの条件を満たさない場合に、2−2シーケンス検出信号の解除を行う(すなわち、入力映像信号が2−2シーケンスではないとする)ための解除信号を、入力された各検出結果のいずれかに基づき生成する。例えば、動画連続検出手段175からの動画連続検出結果と、位相判定手段176からの検出結果dph2と、比較手段177の比較結果sqof及びシーンチェンジ検出手段178からのシーンチェンジ検出結果sch2の中から、いずれか1つ以上の検出結果が‘1’となった場合に、解除信号rst2を‘1’とし、解除しない場合は解除信号rst2を‘0’とする。この場合は、フィールド動画が2フィールド連続した場合と、フィールド静止画となる位相でフィールド動画が検出され位相がずれた場合と、フィールド静止画となるフィールドで動画素累積差分値dfmvfrが大きな値となる場合、シーンチェンジが検出された場合のいずれかにおいて、解除信号rst2を‘1’とする。
なお、解除信号生成手段179における解除信号rst2の生成は、上記条件に限られるものではなく、例えば、動画連続検出手段175からの動画連続検出結果と、位相判定手段176からの検出結果dph2と、比較手段177の比較結果sqof及びシーンチェンジ検出手段178からのシーンチェンジ検出結果sch2の中から、予め決められた検出結果の組み合わせにおいてそれぞれの検出結果が‘1’となった場合、さらには、いずれか2つ以上の検出結果が’1’となった場合に、解除信号rst2を‘1’として出力するよう構成してもよい。また、動画連続検出手段175からの動画連続検出結果と、位相判定手段176からの検出結果dph2とにより、フィールド動画が2フィールド連続した場合と、フィールド静止画となる位相でフィールド動画が検出され位相がずれた場合に、解除信号rst2を‘1’として出力する条件として設定することもできる。
シーケンス判定手段167には、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2と、解除検出手段168内の解除信号生成手段179による解除信号rst2が入力される。シーケンス判定手段167は、2−2シーケンス条件検出結果detfl2から、2−2シーケンス条件の繰り返しを検出して、2−2シーケンスであるか否かを判定し、2−2シーケンス検出結果を示す2−2シーケンス検出信号tci1を出力する。以下に、シーケンス判定手段167を構成する各ブロックについて説明する。
シーケンス判定手段167内のシーケンス起動カウンタ173には、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2と、リセット信号として解除検出手段168内の解除信号生成手段179による解除信号rst2が入力される。シーケンス起動カウンタ173は、2−2シーケンス条件検出結果detfl2に基づき、2−2シーケンス条件を満たすフィールドが検出された場合、すなわち、2フィールドの2−2シーケンスを検出した場合をカウントする。シーケンス起動カウンタ173は、解除信号生成手段179からの解除信号rst2が‘1’(rst2=1)となった場合は、2−2シーケンスのカウント値oncnt2をゼロへリセットする。すなわち、シーケンス起動カウンタ173は、2−2シーケンス条件検出結果detfl2の値が‘1’の場合には、2−2プルダウン信号の2フィールドのシーケンス条件を検出しており、2−2シーケンス条件検出結果detfl2の値が‘1’となるフィールドの繰り返し回数をカウントする。シーケンス起動カウンタ173は、解除信号生成手段179からの解除信号rst2として‘1’が入力された場合は、入力映像信号が2−2プルダウン信号ではないとしてカウント値をゼロとし、解除信号rst2によるリセット後は、再び上記の2−2シーケンス条件検出結果detfl2の値が‘1’となるフィールドの入力を待ち、‘0’からシーケンスの繰り返し回数のカウントを開始する。そして、シーケンス起動カウンタ173による2−2シーケンスのカウント値oncnt2は、シーケンス検出信号生成手段174へと出力される。
シーケンス検出信号生成手段174には、シーケンス起動カウンタ173からの2−2シーケンスのカウント値oncnt2が入力される。シーケンス検出信号生成手段174は、シーケンス起動カウンタ173からの2−2シーケンスカウント値oncnt2と、所定の閾値(起動カウント値と呼ぶ。)TH2を比較し、2−2シーケンスカウント値oncnt2が、起動カウント値TH2以上になったとき、すなわち、2フィールドの2−2シーケンスが所定の回数連続して検出されたときに、2−2シーケンス検出結果を示す検出信号tci1を‘1’とし、2−2シーケンスカウント値oncnt2が起動カウント値TH2より小さいときは検出信号tci1を‘0’として出力する。2−2シーケンス検出信号tci1が‘0’の場合は、2−2シーケンスがカウントされない(2−2プルダウン信号でない)場合や検出されるまでの間、シーケンスカウント値がゼロへリセットされた場合などである。上記起動カウント値TH2は、入力映像信号が2−2シーケンスであると検出するまでのシーケンスの繰り返し回数を設定し、2−2シーケンス検出信号tci1を起動するまでのカウント値である。なお、2−2シーケンス検出信号の値は、これに限らず、2−2シーケンスを所定回数以上連続して検出している場合とそれ以外の場合を判別できれる値であれば、他の値であってもよい。シーケンス検出信号生成手段174からの出力である2−2シーケンス検出信号tci1は、2−2予測制御手段63へと出力される。
次に、図12において、2−2シーケンス検出手段16内の出現頻度検出手段62には、2−2フィールドシーケンス検出手段61から出力される2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2が入力され、また、出現頻度検出手段62には、フレーム間相関検出手段11からの動画素累積差分値dfmvfrが入力される。出現頻度検出手段62は、入力映像信号のシーケンスを監視し、2−2シーケンスの出現頻度を検出することで、2−2シーケンスの条件を満たす映像信号であるか否か(すなわち、2−2プルダウン信号であることの確からしさ)を判定する。
図17は、実施の形態1における出現頻度検出手段62の構成の一例を示すブロック図である。図17では、出現頻度検出手段62に対し、2−2フィールドシーケンス検出手段61から出力される2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2を入力としている。しかし、出現頻度検出手段62内に、2−2フィールドシーケンス検出手段61における2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2を得るための同様の手段を持つよう構成することもできる。この場合は、フレーム間相関検出手段11からのフレーム間動画素累積値mvfr及び動画素累積差分値dfmvfrと、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilとを入力とし、出現頻度検出手段62内で2−2シーケンス検出の条件検出することになる。
以下の説明においては、出現頻度検出手段62が、2−2フィールドシーケンス検出手段61から出力される2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2を入力とする場合を説明する。
図17に示されるように、実施の形態1の2−2シーケンス検出手段16内の出現頻度検出手段62は、シーケンス判定回数検出手段181と、予測制御フラグ生成手段182を有している。シーケンス判定回数検出手段181は、入力映像信号での2−2シーケンスの条件を比較的長い時間(フィールド)にわたって監視し、2−2シーケンスと判定される回数をカウントする。シーケンス判定回数検出手段181は、出現頻度カウンタ183と、比較手段184と、カウント値調整手段185とから構成される。また、予測制御フラグ生成手段182は、シーケンス判定回数検出手段181から出力されるカウント値tc1を所定の閾値PTH2と比較し、この比較結果を2−2プルダウン信号であることの確からしさを示す指標である予測制御信号tciflg1として出力する(すなわち、2−2プルダウン信号であることの確からしさを判定し、判定結果を出力する)。
まず、シーケンス判定回数検出手段181には、2−2フィールドシーケンス検出手段51から出力される2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2が入力され、また、フレーム間相関検出手段11からの動画素累積差分値dfmvfrも入力される。シーケンス判定回数検出手段181は、入力映像信号における2−2シーケンスの条件を比較的長いフィールドにわたって監視し、2−2シーケンスと判定される回数をカウントする。シーケンス判定回数検出手段181は、2−2シーケンス条件が検出される場合は所定の値を加算し、一方、2フィールドごとで2−2シーケンス条件が検出されず、2−2シーケンスと判定されない場合は、カウント値から所定の値を減算する。
シーケンス判定回数検出手段181内の比較手段184には、フレーム間相関検出手段11からの動画素累積差分値dfmvfrが入力される。比較手段184は、動画素累積差分値dfmvfrを所定の閾値OFTHと比較する。比較手段184は、動画素累積差分値dfmvfrが所定の閾値OFTHより大きい場合は、比較結果dfrの値を‘1’(dfr=1)とし、それ以外の場合は、比較結果dfrの値を‘0’(dfr=0)として、シーケンス判定回数検出手段181内の出現頻度カウンタ183へと出力する。
シーケンス判定回数検出手段181内の出現頻度カウンタ183には、2−2フィールドシーケンス検出手段61からの2−2シーケンス条件検出結果detfl2と、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、及び2−2シーケンスの位相カウント値seq2が入力され、また、比較手段184からの比較結果dfrと、カウント値調整手段185において設定された設定値とが入力される。
出現頻度カウンタ183は、2−2シーケンス条件検出結果detfl2、フレーム静止画検出結果frstl、フィールド静止画検出結果filstl2、2−2シーケンスの位相カウント値seq2、及び比較結果dfrに基づいて、所定値Ad2を加算又は所定値Su2を減算するアップダウンカウンタである。出現頻度カウンタ183は、入力映像信号における2−2シーケンス条件を比較的長い時間(フィールド)にわたって監視し、2−2シーケンスと判定される回数をカウントする。出現頻度カウンタ183は、2−2シーケンスの条件となるフィールドが検出された場合、すなわち、2−2シーケンス条件検出結果detfl2が‘1’のときは、カウント値tc1に所定値Ad2を加算する(すなわち、tc1←tc1+Ad2)。2フィールド目の位相(すなわち、2−2シーケンス位相カウント値seq2が‘1’であり、2フィールドに一度のフィールド静止画のフィールド位置)であっても、フレーム静止画検出結果frstlが‘0’(フレーム動画)、かつ、フィールド静止画検出結果が‘0’(フィールド動画)である場合か、又は、比較手段184からの比較結果dfrが‘1’となる(動画素累積差分値dfmvfrが大きな値となる)場合で、2−2シーケンスと判定されないときに、カウント値tc1から所定値Su2を減算する(すなわち、tc1←tc1−Su2)。その他の場合は、上記2−2シーケンス条件検出結果detfl2が‘0’で、2−2シーケンス条件を検出されなくても、カウント値tc1の加減算を行わない(すなわち、tc1←tc1±0)。
なお、2−2シーケンスと判定せず、カウント値tc1から所定値Su2を減算する場合の条件は、2フィールド目の位相(seq2=1)であっても、フレーム静止画検出結果frstlが‘0’(フレーム動画)、かつ、フィールド静止画検出結果が‘0’(フィールド動画)である場合のみとしてもよい。この場合は、2フィールド目の位相(seq2=1)で比較手段184からの比較結果dfrが‘1’となる場合は、カウント値tc1の加減算を行わない(すなわち、tc1←tc1±0)こととなる。
カウント値調整手段185は、出現頻度カウンタ183におけるカウントでの加算値Ad2と減算値Su2のバランス比を調整するもので、例えば、加算値Ad2を‘1’とした際の減算値Su2に相当する値を、出現頻度カウンタ183へと出力する。2−2シーケンスと判定する場合の加算値Ad2に対し、2−2シーケンスと判定されない場合の減算値Su2を大きくすることで、シーケンスの判定回数のカウントにおける上下の変動幅が調整される。すなわち、このカウント値調整手段185で設定する加算値Ad2と減算値Su2のバランス比により、2−2シーケンスと判定される度合いを調整することができる。出現頻度カウンタ183におけるカウントでの加算値及び減算値は、カウント値調整手段185からの値に基づき設定される。
出現頻度カウンタ183におけるシーケンス判定回数であるカウント値(出現頻度カウント値)tc1は、予測フラグ生成手段182へと送られる。
次に、予測フラグ生成手段182は、シーケンス判定回数検出手段181からの出現頻度カウント値tc1を受け取り、2−2プルダウン信号であることの確からしさを判定し、確からしいと判定されるか否かを示す予測制御フラグtciflg1を出力する。
予測制御フラグ生成手段182には、出現頻度カウンタ183から出力される出現頻度カウント値tc1が入力される。予測制御フラグ生成手段182は、出現頻度カウンタ183からの出現頻度カウント値tc1と所定の閾値(有効カウント値)PTH2を比較し、2−2プルダウン信号であることの確からしさを判定する。すなわち、予測制御フラグ生成手段182は、出現頻度カウント値tc1と有効カウント値PTH2を比較し、出現頻度カウント値tc1が有効カウント値PTH2以上になったとき、2−2プルダウン信号であると判定し、予測制御フラグtciflg1を‘1’とする。予測制御フラグ生成手段182は、出現頻度カウント値tc1が有効カウント値PTH2より小さい場合は、2−2プルダウン信号らしくないと判定し、予測制御フラグtciflg1は生成せず、予測制御フラグtciflg1を‘0’とする。そして、予測制御フラグ生成手段182からの出力である予測制御フラグtciflg1は、2−2予測制御手段63へと出力される。
なお、予測制御フラグ生成手段182における有効カウント値PTH2は、出現頻度カウンタ183から出力される出現頻度カウント値tc1に対し、2−2プルダウン信号であると判定するまでの出現頻度(2−2シーケンス判定回数)を設定し、2−2プルダウン信号であることの確からしさを判定するためのカウント値である。この有効カウント値PTH2により、2−2プルダウン信号と判定するまでの時間を調整することになる。
次に、図12において、2−2シーケンス検出手段16内の2−2予測制御手段63には、2−2フィールドシーケンス検出手段61からの出力である2−2シーケンス検出信号tci1と、出現頻度検出手段62から出力される予測制御フラグtciflg1が入力される。2−2予測制御手段63は、出現頻度検出手段62において判定された2−2プルダウン信号であることの確からしさを示す予測制御フラグtciflg1に基づき、2−2フィールドシーケンス検出手段61における2−2シーケンスの検出結果を制御し、2−2プルダウン信号の検出を示す2−2プルダウン検出信号tci22を出力する。図12に示されるように、2−2予測制御手段63は、2−2フィールドシーケンス検出手段61での2−2シーケンス検出結果tci1を制御する切換手段64を有している。
2−2予測制御手段63内の切換手段64は、2−2フィールドシーケンス検出手段61からの出力である2−2シーケンス検出信号tci1と、出現頻度検出手段62から出力される予測制御フラグtciflg1が入力され、出現頻度検出手段62からの予測制御フラグtciflg1に基づき、2−2フィールドシーケンス検出手段61からの2−2シーケンス検出信号tci1と固定信号を切り換える。切換手段64は、予測制御フラグtciflg1が‘1’として入力される場合は、2−2プルダウン信号であると判定し、2−2フィールドシーケンス検出手段61による2−2シーケンス検出信号tci1を選択し、2−2プルダウン信号の検出を示す2−2プルダウン検出信号tci22として出力する。一方、切換手段64は、予測制御フラグtciflg1が‘0’の場合は、2−2プルダウン信号らしくないと判定された場合又は2−2プルダウン信号らしいと判定されるまでのフィールド期間(出現頻度カウント値tc1が有効カウント値PTH2以上となるまでの時間)であり、2−2フィールドシーケンス検出手段61による2−2シーケンス検出信号tci1は選択せず、固定信号tci22(値‘0’)を選択する。このとき、2−2シーケンス検出信号tci1が、一時的に通常の2−2シーケンスの条件を満たしており、2−2シーケンス検出信号tci1が‘1’であっても、テレシネ補間処理が起動はされないこととなる。
そして、2−2予測制御手段63により制御された2−2プルダウン信号の検出を示す2−2プルダウン検出信号tci22は、2−2フィールドシーケンス検出手段61からの2−2位相フラグtcf22とともに、プルダウン判定手段へ送られる。
次に、図1におけるプルダウンシーケンス検出手段14内のプルダウン判定手段17について、構成を説明する。
プルダウン判定手段17には、2−3シーケンス検出手段15からの2−3プルダウン検出信号tci23と2−3位相フラグtcf23、2−2シーケンス検出手段16からの2−2プルダウン検出信号tci22と2−2位相フラグtcf22が入力され、また、テレシネ検出手段6内のフィールド解像度判定手段13からの高域画素累積値filhvが入力される。プルダウン判定手段17は、2−3シーケンス検出手段15からの2−3プルダウン検出信号tci23と2−3位相フラグtcf23、2−2シーケンス検出手段16からの2−2プルダウン検出信号tci22と2−2位相フラグtcf22に基づき、入力映像信号がテレシネ映像信号(2−3プルダウン信号又は2−2プルダウン信号のいずれか)であるか否かを検出し、テレシネ検出信号tciとシーケンスの補間位相フラグtcfを出力する。また、フィールド解像度判定手段13からの高域画素累積値filhvにより、上記補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを生成し、出力する。
図18は、実施の形態1におけるプルダウンシーケンス検出手段14内のプルダウン判定手段17の一構成例を示すブロック図である。図18において、実施の形態1のプルダウン判定手段17は、テレシネ判定手段191と、位相フラグ選択手段192と、補間混合比変換手段193と、混合比切換手段194とを有している。上記補間混合比変換手段193は、例えば、非線形変換手段195と、クリップ手段196とから構成されている。
図18において、プルダウン判定手段17内のテレシネ判定手段191には、2−3シーケンス検出手段15からの2−3プルダウン検出信号tci23と、2−2シーケンス検出手段16からの2−2プルダウン検出信号tci22が入力される。テレシネ判定手段191は、2−3プルダウン検出信号tci23と2−2プルダウン検出信号tci22とに基づき、入力映像信号がテレシネ映像信号であるか否か(すなわち、2−3プルダウン信号又は2−2プルダウン信号のいずれかであるか否か)を判定し、判定結果として、テレシネ検出信号tciと、2−3プルダウン信号か2−2プルダウン信号かを区別するための識別信号pdidを生成し出力する。
すなわち、テレシネ判定手段191は、2−3プルダウン検出信号tci23と、2−2プルダウン検出信号tci22とから、2−3プルダウン検出信号tci23が‘1’であるか、2−2プルダウン検出信号tci22が‘1’であるか、どちらか一方が‘1’であれば、入力映像信号がテレシネ映像信号であるとして、テレシネ映像信号の検出を示すテレシネ検出信号tciを‘1’とし、tci23とtci22のいずれも‘0’である場合は、テレシネ映像信号でないとしてテレシネ検出信号tciを‘0’として出力する。テレシネ検出信号tciが‘1’の場合は、2−3プルダウン信号又は2−2プルダウン信号いずれかが検出されている場合である。そして、テレシネ判定手段191は、2−3プルダウン検出信号tci23と2−2プルダウン検出信号tci22に基づき、変換したプルダウンの方式を識別するための識別信号pdidを生成するが、例えば、2−3プルダウン検出信号tci23が‘1’である場合と、tci23とtci22がいずれも‘1’又は‘0’である場合は、識別信号pdidの値を’0’として出力し、2−2プルダウン検出信号tci22が‘1’である場合については、識別信号pdidの値を‘1’として出力する。この場合、2−3プルダウン検出信号tci23が‘1’であり、かつ、2−2プルダウン検出信号tci22も‘1’であるような映像信号の場合は、2−3プルダウン信号であるとして、識別信号pdidは、‘0’として出力される。すなわち、テレシネ映像信号の検出としては、2−3プルダウン検出の結果が優先されることになる。
なお、識別信号pdidの生成は、2−2プルダウン検出の結果を優先し、例えば、2−2プルダウン検出信号tci22が‘1’である場合と、tci23とtci22いずれも‘1’又は‘0’である場合は、識別信号pdidの値を‘1’として出力し、2−3プルダウン検出信号tci23が‘1’である場合については、識別信号pdidの値を‘0’として出力することもできる。この場合、2−3プルダウン検出信号tci23が‘1’であり、かつ、2−2プルダウン検出信号tci22も‘1’であるような映像信号の場合は、2−2プルダウン信号であるとして、識別信号pdidは‘1’として出力される。また、識別信号pdidの値は上記の値に限らず、2−3プルダウン信号か、2−2プルダウン信号かを区別することができる値であれば、他の値であってもよい。
プルダウン判定手段17内の位相フラグ選択手段192には、2−3シーケンス検出手段15からの2−3位相フラグtcf23と、2−2シーケンス検出手段16からの2−2位相フラグtcf22と、テレシネ判定手段191から出力される識別信号pdidが入力される。位相フラグ選択手段192は、テレシネ補間におけるシーケンスの位相を示す補間位相フラグtcf(例えば、前フィールドが同一フィールドとする場合tcf=1、後フィールドの場合はtcf=0とする)を、識別信号pdidに基づき、2−3位相フラグtcf23又は2−2位相フラグtcf22から選択して、出力する。すなわち、例えば、識別信号pdidが‘1’を示す2−2プルダウン信号を検出する場合は、2−2位相フラグtcf22を選択して、補間位相フラグtcfとする。一方、位相フラグ選択手段192は、識別信号pdidが‘0’を示す場合は、2−3位相フラグtcf23を選択して、補間位相フラグtcfとする。
プルダウン判定手段17内の補間混合比変換手段193には、フィールド解像度判定手段13からの高域画素累積値filhvが入力される。補間混合比変換手段193は、フィールド解像度判定手段13からの高域画素累積値filhvから、1フィールド期間単位のフィールド内に存在する高域周波数成分の程度である解像度を判定して補間信号の混合比へ変換し、フィールド内に存在する高域周波数成分の程度に基づく変換後の混合比信号tcmを出力する。
補間混合比変換手段193内の非線形変換手段195は、フィールド解像度判定手段13からの高域画素累積値filhvを非線形変換し、補間信号の混合比へ変換する。非線形変換は、まず、高域画素累積値filhvから、所定の値HBSUBを減算して負の値をゼロとした後、減算結果に所定の値HBMLTを乗算する。
補間混合比変換手段193内のクリップ手段196は、非線形変換手段195からの変換後の値を所定範囲内の値、すなわち、混合比を示す値となるようクリップする。したがって、クリップ手段196からは、高域画素累積値filhvを非線形変換した、所定の範囲内の混合比を示す混合比信号tcmが出力される。
図19は、補間混合比変換手段193において、高域画素累積値filhv(横軸)に対する混合比信号tcm(縦軸)への変換の特性を示す図であり、混合比信号tcmは、混合比率0〜100(%)として出力する場合を示している。混合比信号tcmが値100に近づくほど、フィールド内に存在する高域周波数成分の程度が大きく、高解像度と判定されたフィールドであり、補間信号生成手段110内の混合手段8において、テレシネ補間処理手段7からのテレシネ補間信号Itの比率を大きくする。これは、解像度が高いほど、テレシネ補間によるIP変換の効果が得られるからである。一方、混合比信号tcmの値がゼロである場合は、フィールド内に存在する高域周波数成分の程度が小さく、低解像度と判定するフィールドであり、補間信号生成手段110内の混合手段8において、動き適応補間処理手段5からの補間信号Imを補間信号とする(すなわち、動き適応補間処理5による補間信号Imとテレシネ補間信号Itの比率100:0)。これにより、低解像度と判定されたフィールドでは、フィールド間差分の誤判定が起こりやすいが、テレシネ補間信号Itと補間信号Imとを混合することで補間信号を得るので、コーミング現象による画質劣化を低減できる。
なお、補間混合比変換手段193は、非線形変換手段195と、クリップ手段196とから、フィールド内に存在する高域周波数成分の程度に基づく補間信号の混合比を求める場合を説明したが、高域画素累積値filhvに基づき、ROM(Read Only Memory)などで構成することで、予め得られた変換により、混合比信号tcmを生成するようにしてもよい。
プルダウン判定手段17内の混合比切換手段194には、補間混合比変換手段193による混合比信号tcmと、テレシネ判定手段191からの識別信号pdidとが入力される。混合比切換手段194は、識別信号pdidに基づき、混合比信号tcmと固定信号ftcを切り換え、1フィールド期間単位の補間信号の混合比信号tcmixを出力する。すなわち、混合比切換手段194は、識別信号pdidが‘1’で、2−2プルダウン信号を検出する場合は、混合比信号tcmを選択し、混合比信号tcmixとして出力する。一方、混合比切換手段194は、識別信号pdidが‘0’を示す場合は、2−3プルダウン信号又はテレシネ映像信号以外の場合であり、テレシネ補間信号Itの比率を100%として、混合比信号tcmixとして固定値‘100’を出力する。すなわち、上述の2−3シーケンス検出手段15及び2−2シーケンス検出手段16の構成で説明したように、2−2プルダウン信号を検出する際は、フィールド差分情報の周期を基本としシーケンスを検出しており、2−3プルダウン信号については、フレーム差分情報の周期によりシーケンスを検出できる。フィールド間差分の誤判定による画質劣化を低減するため、2−2プルダウン信号の検出時においてのみ、混合比信号tcmixを用いるよう構成する。
そして、プルダウン判定手段17内の位相フラグ選択手段192からの出力であるシーケンスの補間位相フラグtcfは、補間信号生成手段110内のテレシネ補間処理手段7へと出力される。テレシネ補間処理手段7は、補間位相フラグtcfに基づき、テレシネ補間を行い、テレシネ補間信号Itを出力する。
プルダウン判定手段17内のテレシネ判定手段191からの出力であるテレシネ検出信号tciと、混合比切換手段194からの混合比信号tcmixは、補間信号生成手段110内の混合手段8へと送られる。テレシネ判定手段191により、テレシネ検出信号tciが‘0’で、テレシネ映像信号でないことを示す場合は、図1の混合手段8においては、通常の映像信号であるとして、混合比信号tcmixがいずれの値であっても、動き適応補間処理手段5からの補間信号Imが補間信号Iとして選択される。テレシネ検出信号tciが‘1’で、テレシネ映像信号であることを示す場合は、混合手段8は、混合比信号tcmixによる混合比に基づき、補間信号Imとテレシネ補間信号Itを混合し、補間信号Iとする。混合比切換手段194において、2−2プルダウン信号を検出する場合は、混合比信号tcmを選択しているので、補間は混合比信号tcmixによる混合比に基づく混合信号となる。一方、2−3プルダウン信号の場合は、混合比信号tcmixは固定値‘100’として出力されているので、補間信号Iはテレシネ補間信号Itによる値の信号となる。
次に、実施の形態1による映像信号処理装置において、テレシネ検出手段6内のプルダウンシーケンス検出手段14でのテレシネ映像信号を検出する動作、補間信号生成手段110での動作について具体的に説明する。まず、2−3プルダウン信号が、入力映像信号Ia0として入力端子100から入力された場合の動作について説明する。
図20(a)から(c)までは、2−3プルダウン変換を説明するための図であり、同図(a)は24コマ/秒のフィルム映像、同図(b)は2−3プルダウン信号、同図(c)はフィールド番号を示す。図20(a)から(c)までに示されるように、映画フィルムなどの信号の第1フレームAが映像信号の第1及び第2フィールドAt,Abに対応し、第2フレームBが映像信号の第3から第5フィールドのBt,Bb,Btに対応し、第3フレームCが映像信号の第6及び第7フィールドCb,Ctに、第4フレームDが映像信号の第8から第10フィールドのDb,Dt,Dbに対応するよう変換される。なお、図中の添字tは、相対的に上ラインのフィールドとなるトップフィールドを表し、添字bは、下ラインのフィールドとなるボトムフィールドを表す。
図20(a)から(c)までに示されるように、第3フィールドBtと第5フィールドBtとが同一内容のフィールドであり、第8フィールドDbと第10フィールドDbとが同一内容のフィールドである。このように、2−3プルダウン信号においては、5フィールドに1回、2フィールド前と同一のフィールドを繰り返す。したがって、第5フィールド及び第10フィールドにおけるフレーム間相関検出手段11からのフレーム間動画素累積値mvfrは、ゼロ又は所定値(ゼロに近いノイズ分を考慮した値)以下となる。フレーム間動画素累積値mvfrはフレーム差分情報により得られるものであり、このフレーム差分情報の関係は、5フィールドごとに1回繰り返し発生する。また、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilは、第2フィールド、第4フィールド、第5フィールドと、第7フィールド、第9フィールド、第10フィールド、・・・において、ゼロ又は所定値(ゼロに近いノイズ分を考慮した値)以下となる。
図21(a)から(d)までは、2−3プルダウン信号を検出してIP変換する場合のテレシネ補間と補間位相フラグtcfの関係を説明するための図であり、同図(a)はフィールド番号、同図(b)は2−3プルダウン信号であるインターレース映像信号、同図(c)は補間位相、同図(d)はプログレッシブ映像信号を示す。補間走査線の信号の生成処理は、1フィールド遅延信号に対して行われる。対象となるテレシネ映像信号フィールドに対し、第1フィールドは時間的に後フィールド(すなわち、現フィールド信号。図21(c)では補間位相「後」と示す。)である第2フィールドが補間位相に対応し、第2フィールドは、時間的に前フィールド(すなわち、2フィールド遅延信号。図21(c)では補間位相「前」と示す。)である第1フィールドが、第3フィールドは時間的に後フィールドである第4フィールドが、第4、第5フィールドは時間的に前フィールドである第3、第4フィールドがそれぞれ補間位相に対応するように、繰り返される。そして、補間位相に応じてテレシネ補間を行うことで、元のフレーム(図20(a)のAフレーム、Bフレーム、・・・に対応)へ復元されたプログレッシブ映像信号となり、出力される。
図22は、プルダウンシーケンス検出手段14内の2−3シーケンス検出手段15において、2−3フィールドシーケンスの繰り返し条件を満たすことを検出する処理を説明するフローチャートであり、また、図23は、入力映像信号のシーケンスを監視し、2−3シーケンス検出信号tci0を予測制御する処理を説明するフローチャートである。なお、上述したように、テレシネ検出はフィールド毎に行われ、図22及び図23に示す処理は、1フィールド単位で実行される。
図24(a)から(j)までには、2−3シーケンス検出手段15内の2−3フィールドシーケンス検出手段51での動作を説明するための図であり、同図(a)はフィールド番号、同図(b)は2−3プルダウン信号であるインターレース映像信号、同図(c)は第1の静止画検出手段121aの出力であるフレーム静止画検出結果stl1、同図(d)は第1の動画フィールドカウンタ123の出力であるフレーム動画連続数frcnt、同図(e)はフィールド静止画検出手段122の出力であるフィールド静止画検出結果filstl、同図(f)は第2の動画フィールドカウンタ124の出力であるフィールド動画連続数filcnt、同図(g)はシーケンス位相カウンタ133の出力であるカウント値seq、同図(h)はシーケンス条件検出手段125からの2−3シーケンス条件検出結果detfl、同図(i)はテレシネ起動カウンタ131の出力oncnt、同図(j)はシーケンス検出信号生成手段132の出力である2−3シーケンス検出信号tci0を示す。
以下、2−3プルダウン信号のシーケンスを検出する動作を、図22、図23、及び図24(a)から(j)までを用いて説明する。
入力端子100からインターレースの映像信号として、図20(b)で示したような2−3プルダウン信号が入力されると、フレーム間相関検出手段11は、現フィールド信号Ia0と2フィールド遅延信号Ic0間でのフレーム間差分情報を検出し、フレーム間動画素累積値mvfrと動画素累積差分値dfmvfrとを出力する。また、フィールド間相関検出手段12は、現フィールド信号Ia0と1フィールド遅延信号Ib0間でのフィールド間差分情報を検出し、フィールド間動画素累積値mvfilを出力し、フィールド解像度判定手段13は、現フィールド信号Ia0内における高域画素累積値filhvを出力する。次に、2−3フィールドシーケンス検出手段51内の第1の静止画検出手段121aにおいて、得られたフレーム間動画素累積値mvfrからフレーム静止画を検出し、フレーム静止画検出結果stl1を得る。また、2−3フィールドシーケンス検出手段51内のフィールド静止画検出手段122において、フィールド間動画素累積値mvfilから、フィールド静止画を検出し、フィールド静止画検出結果filstlを得る。
図22においては、フレーム間動画素累積値mvfrとフィールド間動画素累積値mvfilとから、フレーム静止画検出結果stl1とフィールド静止画検出結果filstlとが得られると(ステップS101)、第1及び第2の動画フィールドカウンタ123及び124において、フレーム動画及びフィールド動画の連続数をカウントして、次フィールドにタイミングを合わせ、カウントしたフレーム動画連続数frcnt及びフィールド動画連続数filcntを出力する(ステップS102)。
ここで、1フィールド期間単位のフレーム間動画素累積値mvfr及びフィールド間動画素累積値mvfilは、フィールド内の動画素を累積した値であるので、入力した現フィールド信号Iaとの間のフレーム差分情報及びフィールド差分情報に基づく静止画検出結果は、次のフィールド(1フィールド遅延信号Ib)にタイミングを合わせて出力される。よって、フレーム静止画検出結果stl1とフィールド静止画検出結果filstlは、図24(c)及び(e)にあるように、入力信号に対し次フィールドにタイミングを合わせて出力され、第5フィールド及び第10フィールドの後のフィールド位置(第6、第10フィールド)で、フレーム静止画検出結果stl1が‘1’、フィールド静止画検出結果filstlが‘1’となり、5フィールドに一度完全静止画フィールドが検出される。
次に、シーケンス位相カウンタ133では、フレーム静止画検出結果stl1と前フィールドまでの動画連続数frcntにより、フィールド毎で5フィールド周期となる‘0’から‘4’までを繰り返しカウントする(図22のステップS103、S105)。但し、フレーム静止画検出結果stl1が‘1’であり、かつ、前フィールドまでのフレーム動画連続数frcntが‘4’であるとき、シーケンス位相カウント値seqを‘0’とする(図22のステップS104)。
図24(g)は、シーケンス位相カウント値seqを示し、フレーム静止画検出結果stl1が‘1’であり、かつ、前フィールドまでのフレーム動画連続数frcntが‘4’であるときフィールドで、シーケンス位相カウント値seqが‘0’となっている。図24(g)に示されるように、シーケンス位相カウント値seqは、5フィールド単位で繰り返されており、補間対象フィールドが1フィールド遅延信号であることから、シーケンス位相カウント値seqが‘0’となるフィールドが、2−3プルダウン信号の5フィールドに一度、2フィールド前と同一のフィールドを繰り返したフィールドの位置となる。
図22において、テレシネ起動カウンタ131は、解除信号生成手段144より、解除信号rstとして値‘1’が入力された場合は、入力映像信号が2−3プルダウン信号ではないとしてカウント値をリセット(oncnt=0)する(ステップS106、S107)。2−3プルダウン信号の入力の際は、解除信号rstが‘0’であり(ステップS106)、シーケンス条件検出手段125において、2−3シーケンスの条件を検出する(ステップS108)。2−3シーケンスの条件が検出され、2−3シーケンス条件検出結果detflが‘1’のときに、シーケンスの繰り返し回数をカウントする(ステップS109)。
図24(i)は、テレシネ起動カウンタ131におけるカウント値oncntを示す。2−3シーケンス条件検出結果detflが‘1’となるフィールドのとき、カウント値oncntに‘1’を加算して(すなわち、oncnt←oncnt+1)、2−3シーケンスの繰り返し回数をカウントしている。シーケンス検出信号生成手段132においては、2−3シーケンスのカウント値oncntと起動カウント値TH1を比較し(図22のステップS110)、2−3シーケンスカウント値oncntが起動カウント値TH1以上になり、TH1回連続してシーケンスが検出されると、2−3シーケンス検出結果を示す2−3シーケンス検出信号tci0を‘1’とする(図22のステップS111)。2−3シーケンスカウント値oncntがゼロ又は起動カウント値TH1より小さい場合は、2−3シーケンス検出信号tci0を‘0’とする(図22のステップS112)。図24(j)の2−3シーケンス検出信号tci0は、シーケンスのカウントが、例えば、2回以上で入力映像信号が2−3プルダウン信号であると検出する場合(TH1=2の場合)を示している。したがって、5フィールドの2−3シーケンスが2回以上連続して検出され、2−3シーケンス検出信号tci0が‘1’となると、入力映像信号が2−3プルダウン信号のシーケンス条件を満たしているとして、2−3シーケンス検出信号tci0として‘1’が2−3予測制御手段53へと出力される。
図23において、2−3シーケンス検出手段15内の出現頻度検出手段52は、2−3シーケンスの条件を検出し、2−3シーケンス条件検出結果detflが‘1’となると(ステップS201)、出現頻度カウント値tcに値Adを加算(すなわち、tc←tc+Ad)する(ステップS202)。一方、出現頻度検出手段52は、2−3シーケンスの条件が検出されず、5フィールド目の位相、すなわち、2−3シーケンス位相カウント値seqが‘0’となると(ステップS203)、フレーム静止画検出結果stl1が‘0’でフレーム動画となる場合(ステップS204)は、出現頻度カウント値tcから所定値Suを減算(すなわち、tc←tc−Su)とする(ステップS205)。出現頻度検出手段52は、5フィールド目の位相(すなわち、2−3シーケンス位相カウント値seqが‘0’)で、上記以外の場合は、加減算を行わない(すなわち、tc←tc±0)(ステップS206)。これは、2−3シーケンス位相カウント値seqが‘0’となるととき、フレーム静止画検出結果stl1が‘1’(フレーム静止画)であると、2−3シーケンスか否かどちらにも判定できないためである。
出現頻度検出手段52内の予測制御フラグ生成手段152において、出現頻度カウント値tcと有効カウント値PTH1を比較し、2−3プルダウン信号であることの確からしさを判定する(ステップS207)。予測制御フラグ生成手段152は、出現頻度カウント値tcが有効カウント値PTH1以上になったとき、2−3プルダウン信号であると判定し、予測制御フラグtciflg0を‘1’とする(ステップS209)。なお、予測制御フラグ生成手段152は、2−3プルダウン信号らしいと判定されるまでのフィールド期間(すなわち、出現頻度カウント値tcが有効カウント値PTH1以上となるまでの時間)は、予測制御フラグtciflg0を‘0’とする(ステップS208)。また、編集点が頻繁にあり、2−3シーケンスの不連続が起こると、2−3シーケンスの条件が検出されないため、出現頻度カウント値tcが有効カウント値PTH1に達することはない。よって、2−3プルダウン信号らしくないと判定され、予測制御フラグtciflg0は‘0’のままとなる。
2−3フィールドシーケンス検出手段51からの2−3シーケンス検出信号tci0は、予測制御フラグtciflg0が‘1’となり、2−3プルダウン信号であると判定されている場合に、2−3予測制御手段53における切換手段54において、2−3プルダウン信号の検出を示す2−3プルダウン検出信号tci23として出力される。2−3プルダウン検出信号tci23は、プルダウン判定手段17へ送られ、プルダウン判定手段17において、テレシネ検出信号tciとして、図1における混合手段8へと出力される。2−3プルダウン検出信号tci23が‘1’(tci23=1)で、プルダウン判定手段17からテレシネ検出信号tciが‘1’として出力されると、テレシネ補間処理が起動され、混合手段8では、テレシネ補間処理手段7からの信号を選択することになる。なお、2−3プルダウン検出信号tci23が‘1’で2−3プルダウン信号を検出している場合は、プルダウン判定手段17からの混合比信号tcmixは固定値‘100’として出力されているので、補間信号Iはテレシネ補間信号Itによる値の信号となる。
次に、入力映像信号が2−3プルダウン信号でなくなる場合や、2−3プルダウン信号の途中に、放送のための編集、CMやテロップの挿入などによりシーケンスの規則性が乱れた2−3プルダウン信号が入力端子100から入力された場合に、テレシネ補間処理を解除する動作について説明する。テレシネ補間処理の解除は、プルダウン判定手段17からのテレシネ検出信号tciが‘0’、すなわち、2−3プルダウン検出信号tci23が‘0’となることで行われる。2−3プルダウン検出信号tci23は、2−3フィールドシーケンス検出手段51内の解除信号生成手段144より、解除信号rstが値‘1’となった場合、又は、予測制御フラグ生成手段152において、予測制御フラグtciflg0が‘0’である場合に、入力映像信号が2−3プルダウン信号ではないとして、値‘0’が出力される。
入力映像信号において編集点が頻繁にあり、2−3シーケンスの不連続が起こる場合には、2−3シーケンス検出手段15において、2−3シーケンスの条件が検出されないため、出現頻度カウント値tcが有効カウント値PTH1に達することはなく、2−3プルダウン信号らしくないと判定され、予測制御フラグtciflg0は‘0’となる。よって、2−3プルダウン検出信号tci23は‘0’となり、補間信号生成手段110において、動き適応補間処理手段5からの補間信号Imが補間信号Iとして出力される。
2−3プルダウン信号から、通常のテレビジョン放送などの映像信号へ切換わった場合は、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは大きな値となり、フレーム静止画検出結果stl1は、‘0’(フレーム動画)が連続することになる。よって、5フィールド連続してstl1が‘0’となった時点で、フレーム動画連続検出手段135から、フレーム動画5フィールド連続の検出結果が解除信号生成手段144へと出力され、解除信号生成手段144からは、解除信号rstとして値‘1’がテレシネ起動カウンタ131へと送られる。そして、解除信号rstとして‘1’が入力された場合は、入力映像信号が2−3プルダウン信号ではないとしてカウント値をリセット(oncnt=0)することになり(図22のステップS106、S107)、シーケンス検出信号生成手段132において、2−3シーケンス検出信号tci0が‘0’となる。
また、上記の場合、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilについても大きな値となり、フィールド静止画検出結果filstlは、‘0’(フィールド動画)が連続する。よって、2フィールド連続してfilstlが‘0’となった時点で、フィールド動画連続検出手段136から、フィールド動画2フィールド連続の検出結果が解除信号生成手段144へと出力され、解除信号生成手段144からは、解除信号rstとして値‘1’がテレシネ起動カウンタ131へと送られる。以下の動作は上記のフレーム動画連続時と同様である。
2−3プルダウン信号から、静止画フィールドが連続する映像信号へ切換わった場合においては、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは小さな値となり、第2の静止画検出手段121bによるフレーム静止画検出結果stl2は‘1’(静止画)が連続することになる。よって、静止画連続検出手段137でフレーム静止画が5フィールド連続してカウントされると、比較手段138においてフレーム静止画が5フィールド連続したことを検出し、検出結果が解除信号生成手段144へ出力される。以下の動作は上記のフレーム動画連続時と同様である。
さらに、編集点や映像信号の切換わりなどで2−3シーケンスの不連続あり、5フィールド目の位相(すなわち、2−3シーケンス位相カウント値seqが‘0’)で、フレーム静止画検出結果stl1が‘0’(フレーム動画)となった場合には、位相判定手段142において、5フィールドに一度のフレーム静止画の位置でフレーム静止画検出結果stl1が‘0’(動画)であることを検出し、検出結果dphが‘1’として、解除信号生成手段144へと出力される。解除信号生成手段144からは、解除信号rstとして値‘1’がテレシネ起動カウンタ131へと送られる。以下の動作は上記のフレーム動画連続時と同様である。
シーケンスずれ検出手段139は、5フィールドごとに一度の静止画フィールドとは異なるフィールドで静止画フィールドが存在するような2−3プルダウンのシーケンス位相のずれを検出する。シーケンスずれ検出手段139内のシーケンス内静止画カウンタ140は、2−3シーケンス検出信号tci0が‘1’の場合、まず、2−3シーケンス位相カウント値seqが‘0’になるごとにカウンタ値をゼロへリセットする。2−3プルダウン信号のシーケンス位相が規則正しく送られた場合は、2−3シーケンス位相カウント値seqが‘0’であるフィールドが、フレーム動画が4フィールド連続後フレーム静止画となるフィールド(即ち、5フィールドごとに一度のフレーム静止画)となり(図24参照)、このフィールドにおいて、シーケンス内静止画カウンタ140のカウント値がゼロへリセットされることになる。そして、次にゼロへリセットされるまでの間(次のフィールドシーケンスのフレーム静止画まで)に、第3の静止画検出手段121cからの静止画検出結果stl3が‘1’となる場合をカウントする。これにより、シーケンス内静止画カウンタ140は、5フィールドに一度のフレーム静止画とは異なるフィールドでフレーム静止画となる場合を検出し、その検出したフィールドの数を出力することとなる。
シーケンスずれ検出手段139内の比較手段141は、シーケンス内静止画カウンタ140からのカウント値を所定の閾値(例えば、閾値を‘1’とする)と比較し、所定の閾値1以上の場合に、5フィールドのシーケンス途中におけるフレーム静止画の検出結果dbeを‘1’とする。
そして、シーケンスずれ検出手段139内の比較手段141からの出力dbeは、解除信号生成手段144へ出力される。解除信号生成手段144は、シーケンスずれ検出手段139の結果を使用する設定の場合、比較手段141からのdbeが‘1’のときに解除信号rstを‘1’として、解除信号rstをテレシネ起動カウンタ131へと送る。解除信号rstとして‘1’が入力された場合は、入力映像信号が2−3プルダウン信号ではないとしてカウント値をリセット(oncnt=0)することになり(図22のステップS106、S107)、シーケンス検出信号生成手段132において、2−3シーケンス検出信号tci0が‘0’となる。よって、2−3プルダウン信号の途中にシーケンス位相のずれが検出された場合、2−3シーケンス検出信号tci0が‘0’へ解除される。なお、解除後においても、2−3シーケンス検出手段15では、2−3プルダウン信号の検出の動作を行っており、5フィールドのシーケンスが規則正しく入力され、正確に検出されれば、入力映像信号が2−3シーケンスの条件を満たしているとして、再び2−3シーケンス検出信号tci0が‘1’となり、出力される。
さらには、2−3プルダウン信号の途中に、シーンチェンジが起こる映像信号が入力端子100から入力された場合、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは、通常のシーケンス内での値と比較して大きく変化する。よって、シーンチェンジ検出手段143は、フレーム間動画素累積値mvfrが閾値STHより大きい場合、そのフィールドでシーンチェンジがあったとして、シーンチェンジ検出結果schとして値‘1’を出力する。このシーンチェンジ検出結果schは、解除信号生成手段144へ出力され、解除信号生成手段144では、シーンチェンジ検出手段143での検出結果を使用する設定の場合、シーンチェンジ検出結果schが‘1’とき解除信号rstを‘1’として、解除信号rstをテレシネ起動カウンタ131へと送る。解除信号rstとして‘1’が入力された場合は、入力映像信号が2−3プルダウン信号ではないとしてカウント値をリセット(oncnt=0)することになり(図22のステップS106、S107)、シーケンス検出信号生成手段132において、2−3シーケンス検出信号tci0が‘0’となる。よって、2−3プルダウン信号の途中にシーンチェンジが検出された場合、2−3シーケンス検出信号tci0は‘0’へ解除される。なお、解除後においても、2−3シーケンス検出手段15では、上記2−3プルダウン信号の検出の動作を行っており、5フィールドのシーケンスが規則正しく入力され、正確に検出されれば、入力映像信号が2−3シーケンスの条件を満たしているとして、再び2−3シーケンス検出信号tci0が‘1’となり、出力される。
以上より、実施の形態1の2−3シーケンス検出手段15によれば、フレーム差分情報及びフィールド差分情報から、5フィールドの2−3シーケンスの繰り返し条件を検出するとともに、映像信号の切換わりや編集点がある場合には、解除検出手段128の結果に基づき、2−3シーケンス検出信号tci0を一時的に解除する。そして、2−3シーケンスの出現頻度を計測することで、比較的長い期間(フィールド)にわたってシーケンスを監視し、2−3プルダウン信号であることの確からしさを示す指標である予測制御フラグtciflg0により、2−3シーケンス検出信号tci0を予測制御し2−3プルダウン検出信号tci23を出力するようにしている。よって、2−3プルダウン検出信号tci23が信頼度を向上しており、例えば、一時的に2−3シーケンスの条件を満たしても、テレシネ補間をしないように制御することができ、したがって、2−3プルダウン信号の誤検出が起こることで発生するコーミング現象による画質劣化の発生頻度を低減し、2−3プルダウン信号を良好なプログレッシブ信号Progに変換することができる。
次に、2−2プルダウン信号が、入力映像信号Ia0として入力端子100から入力された場合の動作について説明する。
図25(a)から(c)までは、2−2プルダウン変換を説明するための図であり、同図(a)は30コマ/秒の映像信号、同図(b)は2−2プルダウン信号、同図(c)はフィールド番号を示す。図25(a)から(c)までに示されるように、映画フィルムなどの信号の第1フレームAが映像信号の第1及び第2フィールドAt,Abに対応し、第2フレームBが映像信号の第3及び第4フィールドのBt,Bbに対応し、第3フレームCが映像信号の第5及び第6フィールドCt,Cbに、第4フレームDが映像信号の第7及び第8フィールドのDt,Dbに対応するよう変換される。なお、図中の添字tは、相対的に上ラインのフィールドとなるトップフィールドを表し、添字bは、下ラインのフィールドとなるボトムフィールドを表す。
図25(a)から(c)までに示されるように、2−2プルダウン信号においては、同一フレームが2フィールドのインターレース映像信号に対応し、繰り返している。したがって、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは、異なるフレームによる差分情報であるため、動画素数が大きなフィールドが連続する。また、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilは、第2フィールド、第4フィールド、第6フィールド、第8フィールド、第10フィールド、・・・の2フィールドごとで、ゼロ又は所定値(ゼロに近いノイズ分を考慮した値)以下となる。
さらに、図25(a)から(c)までに示されるように、第1フィールドAtと第3フィールドBtの間のフレーム差分情報と、第2フィールドAbと第4フィールドBbの間のフレーム差分情報とは、それぞれ第1フレームAと第2フレームBとの間のフレーム間の差分情報に相当し、同様に、第3フィールドBtと第5フィールドCtの間のフレーム差分情報と、第4フィールドBbと第6フィールドCbの間のフレーム差分情報とは、それぞれ第2フレームBと第3フレームCとの間のフレーム間の差分情報に相当する。フレーム間相関検出手段11から出力される動画素累積差分値dfmvfrは、第4フィールドにおいては、第3フィールドと第4フィールドでのフレーム間動画素累積値mvfrの差分値であり、第6フィールドにおいては、第5フィールドと第6フィールドでのフレーム間動画素累積値mvfrの差分値である。よって、フレーム間相関検出手段11から出力される動画素累積差分値dfmvfrは、第2フィールドと、第4フィールド、第6フィールド、第8フィールド、第10フィールド、・・・の2フィールドごとで、ゼロ又は所定値(ゼロに近いノイズ分を考慮した値)以下となる。
図26(a)から(d)までは、2−2プルダウン信号を検出してIP変換する場合のテレシネ補間と補間位相フラグtcfの関係を説明するための図であり、同図(a)はフィールド番号、同図(b)は2−2プルダウン信号であるインターレース映像信号、同図(c)は補間位相、同図(d)はプログレッシブ映像信号を示す。補間走査線の信号の生成処理は、1フィールド遅延信号に対して行われる。対象となるテレシネ映像信号フィールドに対し、第1フィールドは時間的に後フィールド(つまりは、現フィールド信号。図21(c)では補間位相「後」と示す。)である第2フィールドが補間位相に対応し、第2フィールドは、時間的に前フィールド(つまりは、2フィールド遅延信号。図21(c)では補間位相「前」と示す。)である第1フィールドが、第3フィールドは時間的に後フィールドである第4フィールドが、第4フィールドは時間的に前フィールドである第3フィールドがそれぞれ補間位相に対応するように、繰り返される。そして、補間位相に応じてテレシネ補間を行うことで、元のフレーム(図25(a)のAフレーム、Bフレーム、・・・に対応)へ復元されたプログレッシブ映像信号となり、出力される。
図27は、プルダウンシーケンス検出手段14内の2−2シーケンス検出手段16において、2−2フィールドシーケンスの繰り返し条件を満たすことを検出する処理を説明するフローチャートであり、また、図28は、入力映像信号のシーケンスを監視し、2−2シーケンス検出信号tci1を予測制御する処理を説明するフローチャートである。なお、上述したように、テレシネ検出はフィールド毎に行われ、図27及び図28に示す処理は、1フィールド単位で実行される。
図29(a)から(j)までには、2−2シーケンス検出手段16内の2−2フィールドシーケンス検出手段61での動作を説明するための図であり、同図(a)はフィールド番号、同図(b)は2−2プルダウン信号であるインターレース映像信号、同図(c)は静止画検出手段161の出力であるフレーム静止画検出結果frstl、同図(d)は同一フレーム判定手段162からの同一フレーム判定結果frdiff、同図(e)はフィールド静止画検出手段163の出力であるフィールド静止画検出結果filstl2、同図(f)は動画フィールドカウンタ164の出力であるフィールド動画連続数filcnt2、同図(g)はシーケンス位相生成手段171の出力である2−2シーケンス位相カウント値seq2、同図(h)はシーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2、同図(i)はシーケンス起動カウンタ173の出力oncnt2、同図(j)はシーケンス検出信号生成手段174の出力である2−2シーケンス検出信号tci1を示す。
以下、2−2プルダウン信号のシーケンスを検出する動作を、図27、図28、及び図29(a)から(j)までを用いて説明する。
入力端子100からインターレースの映像信号として、図25(b)で示したような2−2プルダウン信号が入力されると、フレーム間相関検出手段11は、現フィールド信号Ia0と2フィールド遅延信号Ic0間でのフレーム間差分情報を検出し、フレーム間動画素累積値mvfrと動画素累積差分値dfmvfrとを出力する。また、フィールド間相関検出手段12は、現フィールド信号Ia0と1フィールド遅延信号Ib0間でのフィールド間差分情報を検出し、フィールド間動画素累積値mvfilを出力し、フィールド解像度判定手段13は、現フィールド信号Ia0内における高域画素累積値filhvを出力する。次に、2−2フィールドシーケンス検出手段61内の静止画検出手段161において、得られたフレーム間動画素累積値mvfrからフレーム静止画を検出し、フレーム静止画検出結果frstlを得る。また、同一フレーム判定手段162において、フレーム間相関検出手段11からの動画素累積差分値dfmvfrを所定の閾値DTH2と比較し、同一フレーム判定結果frdiffを得る。さらに、2−2フィールドシーケンス検出手段61内のフィールド静止画検出手段163においては、フィールド間動画素累積値mvfilから、フィールド静止画を検出し、フィールド静止画検出結果filstlを得る。
図27においては、フレーム間動画素累積値mvfrと動画素累積差分値dfmvfrとから、フレーム静止画検出結果frstlと同一フレーム判定結果frdiffが得られ、フィールド間動画素累積値mvfilから、フィールド静止画検出結果filstl2が得られると(ステップS301)、動画フィールドカウンタ164において、フィールド動画の連続数をカウントして、次フィールドにタイミングを合わせ、カウントしたフィールド動画連続数filcnt2を出力する(ステップS302)。
ここで、上述したように、1フィールド期間単位のフレーム間動画素累積値mvfr及びフィールド間動画素累積値mvfilは、フィールド内の動画素を累積した値であるので、入力した現フィールド信号Iaとの間のフレーム差分情報及びフィールド差分情報に基づく検出結果は、次のフィールド(1フィールド遅延信号Ib)にタイミングを合わせて出力される。よって、フレーム静止画検出結果frstlと同一フレーム判定結果frdiff、及びフィールド静止画検出結果filstl2は、図29(c)、(d)、及び(e)に示されるように、入力信号に対し次フィールドにタイミングを合わせて出力され、第2フィールド、第4フィールド、・・・、第10フィールドの後のフィールド位置(第3、第5、・・・第11フィールド)で、フレーム静止画検出結果frstlが‘0’、同一フレーム判定結果frdiffが‘1’、及びフィールド静止画検出結果filstl2が‘1’となり、2フィールドに一度のフィールド静止画が検出される。
次に、シーケンス位相生成手段171では、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2に基づき、フィールド毎で2フィールド周期となる‘0’、‘1’の繰り返しをカウントする(図27のステップS303、S304、S305)。すなわち、シーケンス条件検出手段165からの2−2シーケンス条件検出結果detfl2が‘1’となるフィールドのとき、シーケンス位相カウント値seq2を‘1’とセットし(図27のステップS303、S304)、それ以外は、前フィールドのシーケンス位相カウント値seq2を反転(図27のステップS305)し、2フィールドの繰り返しとなる。
図29(g)はシーケンス位相カウント値seq2を示し、2−2シーケンス条件検出結果detfl2が‘1’となる条件(すなわち、フレーム静止画検出結果frstlが‘0’であって、フィールド静止画検出結果filstl2が‘1’、かつ、フィールド動画連続数filcntが‘1’であり、さらに、同一フレーム判定結果frdiffが’1’)となるフィールドで、シーケンス位相カウント値seq2が‘1’にセットされる。図29(g)に示されるように、シーケンス位相カウント値seq2は、2フィールド単位で繰り返されており、補間対象フィールドが1フィールド遅延信号であることから、シーケンス位相カウント値seq2が‘1’となるフィールドが、2−2プルダウン信号において、隣接する1フィールド前のフィールドと同一のフレームにから変換されたフィールドの位置となる。
図27において、シーケンス起動カウンタ173は、解除信号生成手段179より、解除信号rst2として値‘1’が入力された場合は、入力映像信号が2−2プルダウン信号ではないとしてカウント値をリセット(oncnt2=0)する(ステップS306、S307)。2−2プルダウン信号の入力の際は、解除信号rst2が‘0’であり(ステップS306)、シーケンス条件検出手段165において、2−2シーケンスの条件を検出する(ステップS308)。2−2シーケンスの条件が検出され、2−2シーケンス条件検出結果detfl2が‘1’とき、シーケンスの繰り返し回数をカウントする(ステップS309)。
図29(i)は、シーケンス起動カウンタ173におけるカウント値oncnt2を示す。2−2シーケンス条件検出結果detfl2が‘1’となるフィールドのとき、カウント値oncnt2に‘1’を加算して(すなわち、oncnt2←oncnt2+1)、2−2シーケンスの繰り返し回数をカウントしている。シーケンス検出信号生成手段174においては、2−2シーケンスのカウント値oncnt2と起動カウント値TH2を比較し(図27のステップS310)、2−2シーケンスカウント値oncnt2が起動カウント値TH2以上になり、TH2回連続してシーケンスが検出されると、2−2シーケンス検出結果を示す2−2シーケンス検出信号tci1を‘1’とする(図27のステップS311)。2−2シーケンスカウント値oncnt2がゼロ又は起動カウント値TH2より小さい場合は、2−2シーケンス検出信号tci1を‘0’とする(図27のステップS312)。図29(j)の2−2シーケンス検出信号tci1は、シーケンスのカウントが、例えば、4回以上で入力映像信号が2−2プルダウン信号であると検出する場合(TH2=4の場合)を示している。したがって、2フィールドの繰り返しである2−2シーケンスが4回以上連続して検出され、2−2シーケンス検出信号tci1が‘1’となると、入力映像信号が2−2プルダウン信号のシーケンス条件を満たしているとして、2−2シーケンス検出信号tci1として‘1’が2−2予測制御手段63へと出力される。
図28において、2−2シーケンス検出手段16内の出現頻度検出手段62は、2−2シーケンスの条件を検出し、2−2シーケンス条件検出結果detfl2が‘1’となると(ステップS401)、出現頻度カウント値tc1に値Ad2を加算(すなわち、tc1←tc1+Ad2)する(ステップS402)。一方、出現頻度検出手段62は、2−2シーケンスの条件が検出されず、2フィールド目の位相、すなわち、2−2シーケンス位相カウント値seq2が‘1’となると(ステップS403)、フレーム静止画検出結果frstlが‘0’、かつ、フィールド静止画検出結果filstl2が‘0’となる場合(ステップS404)は、出現頻度カウント値tc1から所定値Su2を減算(すなわち、tc1←tc1−Su2)する(ステップS405)。また、出現頻度検出手段62は、2フィールド目の位相で、比較手段184からの比較結果dfrが‘1’となる場合(ステップS406)についても、同様に、出現頻度カウント値tc1から所定値Su2を減算(すなわち、tc1←tc1−Su2)する(ステップS407)。出現頻度検出手段62は、2フィールド目の位相(すなわち、2−2シーケンス位相カウント値seq2が‘1’)で、上記以外の場合は、加減算を行わない(すなわち、tc1←tc1±0)(ステップS408)。これは、2−2シーケンス位相カウント値seq2が‘1’のフィールドで、フレーム静止画検出結果stl1が‘1’(フレーム静止画)又はフィールド静止画検出結果filstl2が‘1’(フィールド静止画)であると、2−2シーケンスか否かどちらにも判定できないためである。なお、図28のステップS406、S407での比較結果dfrが‘1’となる場合におけるカウント値tc1の減算を行わないようにしてもよい。
出現頻度検出手段62内の予測制御フラグ生成手段182は、出現頻度カウント値tc1と有効カウント値PTH2を比較し、2−2プルダウン信号であることの確からしさを判定する(ステップS409)。出現頻度カウント値tc1が有効カウント値PTH2以上になったとき、2−2プルダウン信号であると判定し、予測制御フラグtciflg1を‘1’とする(ステップS410)。なお、2−2プルダウン信号らしいと判定されるまでのフィールド期間(すなわち、出現頻度カウント値tc1が有効カウント値PTH2以上となるまでの時間)は、予測制御フラグtciflg1を‘0’とする(ステップS411)。また、編集点などにより、2−2シーケンスの不連続が起こると、2−2シーケンスの条件が検出されないため、出現頻度カウント値tc1が有効カウント値PTH2に達することはない。よって、2−2プルダウン信号らしくないと判定され、予測制御フラグtciflg1は‘0’のままとなる。
2−2フィールドシーケンス検出手段61からの2−2シーケンス検出信号tci1は、予測制御フラグtciflg1が‘1’となり、2−2プルダウン信号であると判定されている場合に、2−2予測制御手段63における切換手段64において、2−2プルダウン信号の検出を示す2−2プルダウン検出信号tci22として出力される。2−2プルダウン検出信号tci22は、プルダウン判定手段17へ送られ、プルダウン判定手段17において、テレシネ検出信号tciとして、図1における混合手段8へと出力される。
また、プルダウン判定手段17は、フィールド解像度判定手段13からの高域画素累積値filhvが入力されており、2−2プルダウン検出信号tci22が‘1’となり、2−2プルダウン信号を検出する場合には、高域画素累積値filhvにより、上記補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを生成し、出力する。なお、フレーム間動画素累積値mvfr及びフィールド間動画素累積値mvfilと同様に、高域画素累積値filhvは、フィールド内の高域画素を累積した値であるので、入力した現フィールド信号Iaでの検出結果は、次のフィールド(1フィールド遅延信号Ib)にタイミングを合わせて出力されている。
2−2プルダウン検出信号tci22が‘1’(tci22=1)で、プルダウン判定手段17からテレシネ検出信号tciが‘1’として出力されるとき、高域画素累積値filhvから変換された混合比信号tcmixが、混合手段8へと出力される。2−2プルダウン信号を検出することにより、テレシネ検出信号tciが‘1’となる場合は、補間信号生成手段110内の混合手段8では、混合比信号tcmixによる混合比に基づき、動き適応補間処理手段5からの補間信号Imとテレシネ補間処理手段7からのテレシネ補間信号Itを混合し、混合した値の信号が補間信号Iとなる。すなわち、2−2プルダウン信号を検出する際は、フィールド差分情報の周期を基本としシーケンスを検出しており、フィールド間差分の誤判定による画質劣化を低減するため、補間信号Iの混合を行っている。
次に、入力映像信号が2−2プルダウン信号でなくなる場合や、2−2プルダウン信号の途中に、編集点などによりシーケンスの規則性が乱れた2−2プルダウン信号が入力端子100から入力された場合に、テレシネ補間処理を解除する動作について説明する。テレシネ補間処理の解除は、プルダウン判定手段17からのテレシネ検出信号tciが‘0’、すなわち、2−2プルダウン信号に対しては、2−2プルダウン検出信号tci22が‘0’とすることで行われる。2−2プルダウン検出信号tci22は、2−2フィールドシーケンス検出手段61内の解除信号生成手段179より、解除信号rst2が値‘1’となった場合、又は、予測制御フラグ生成手段182において、予測制御フラグtciflg1が‘0’である場合に、入力映像信号が2−2プルダウン信号ではないとして、値‘0’が出力される。
入力映像信号において編集点が頻繁にあり、2−2シーケンスの不連続が起こる場合には、2−2シーケンス検出手段16において、2−2シーケンスの条件が検出されないため、出現頻度カウント値tc1が有効カウント値PTH2に達することはなく、2−2プルダウン信号らしくないと判定され、予測制御フラグtciflg1は‘0’となる。よって、2−2プルダウン検出信号tci22は‘0’となり、補間信号生成手段110において、動き適応補間処理手段5からの補間信号Imが補間信号Iとして出力される。
2−2プルダウン信号から、通常のテレビジョン放送などの映像信号へ切換わった場合は、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは大きな値であり、フィールド間相関検出手段12からのフィールド間動画素累積値mvfilについても大きな値となる。このとき、フレーム静止画検出結果frstlは、‘0’(フレーム動画)が連続し、フィールド静止画検出結果filstl2も、‘0’(フィールド動画)が連続する。よって、フレーム静止画検出結果frstlが‘0’で、2フィールド連続してfilstlが‘0’となった時点で、動画連続検出手段175から、フィールド動画2フィールド連続の検出結果が解除信号生成手段179へと出力され、解除信号生成手段175からは、解除信号rst2として値‘1’がシーケンス起動カウンタ173へと送られる。そして、解除信号rst2として‘1’が入力された場合は、入力映像信号が2−2プルダウン信号ではないとしてカウント値をリセット(oncnt2=0)することになり(図27ステップS306、S307)、シーケンス検出信号生成手段17において、2−2シーケンス検出信号tci1が‘0’となる。
また、編集点や映像信号の切換わりなどで2−2シーケンスの不連続があり、2フィールド目の位相(すなわち、2−2シーケンス位相カウント値seq2が‘1’)で、フレーム静止画検出結果frstlが‘0’、かつ、フィールド静止画検出結果が‘0’(フィールド動画)であり、フィールド動画連続数filcnt2が‘0’である場合には、位相判定手段176において、2フィールドに一度のフィールド静止画の位置で2−2シーケンスから位相がはずれたことを検出し、検出結果dph2が‘1’として、解除信号生成手段179へと出力される。解除信号生成手段179からは、解除信号rst2として値‘1’がシーケンス起動カウンタ173へと送られる。以下の動作は上記のフィールド動画連続時と同様である。
また、編集点や映像信号の切換わりなどで2−2シーケンスの不連続があり、2フィールド目の位相(すなわち、2−2シーケンス位相カウント値seq2が‘1’)で、フレーム間相関検出手段11からの動画素累積差分値dfmvfrが所定の閾値より大きな値となる場合には、比較手段177において、2−2シーケンスから位相がはずれたことを検出し、比較結果sqofが‘1’とし、解除信号生成手段179へと出力される。解除信号生成手段179からは、解除信号rst2として値‘1’がシーケンス起動カウンタ173へと送られる。以下の動作は上記のフィールド動画連続時と同様である。
さらには、2−2プルダウン信号の途中に、シーンチェンジが起こる映像信号が入力端子100から入力された場合、フレーム間相関検出手段11からのフレーム間動画素累積値mvfrは、通常のシーケンス内での値と比較して大きく変化する。よって、シーンチェンジ検出手段178は、フレーム間動画素累積値mvfrが閾値STH2より大きい場合、そのフィールドでシーンチェンジがあったとして、シーンチェンジ検出結果sch2として値‘1’を出力する。このシーンチェンジ検出結果sch2は、解除信号生成手段179へ出力され、解除信号生成手段179では、シーンチェンジ検出手段178での検出結果を使用する設定の場合、シーンチェンジ検出結果sch2が‘1’とき解除信号rst2を‘1’として、解除信号rst2をシーケンス起動カウンタ173へと送る。解除信号rst2として‘1’が入力された場合は、入力映像信号が2−2プルダウン信号ではないとしてカウント値をリセット(oncnt2=0)することになり(図27のステップS306、S307)、シーケンス検出信号生成手段174において、2−2シーケンス検出信号tci1が‘0’となる。よって、2−2プルダウン信号の途中にシーンチェンジが検出された場合、2−2シーケンス検出信号tci1は‘0’へ解除される。なお、解除後においても、2−2シーケンス検出手段16では、上記2−2プルダウン信号の検出の動作を行っており、2フィールドのシーケンスが規則正しく入力され、正確に検出されれば、入力映像信号が2−2シーケンスの条件を満たしているとして、再び2−2シーケンス検出信号tci1が‘1’となり、出力される。
以上より、実施の形態1の2−2シーケンス検出手段16によれば、フレーム差分情報及びフィールド差分情報から、2フィールドの2−2シーケンスの繰り返し条件を検出するとともに、映像信号の切換わりや編集点がある場合には、解除検出手段168の結果に基づき、2−2シーケンス検出信号tci1を一時的に解除する。そして、2−2シーケンスの出現頻度を計測することで、比較的長い期間(フィールド)にわたってシーケンスを監視し、2−2プルダウン信号であることの確からしさを示す指標である予測制御フラグtciflg1により、2−2シーケンス検出信号tci1を予測制御し2−2プルダウン検出信号tci22を出力するようにしている。さらに、フィールド解像度判定手段13からの高域画素累積値filhvに基づき、2−2プルダウン信号検出時には、補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを生成し、これによりテレシネ補間信号Itと動き適応補間による補間信号Imを混合して、補間信号Iを生成している。よって、2−2プルダウン検出信号tci22が信頼度を向上しており、例えば一時的に2−2シーケンスの条件を満たしても、テレシネ補間をしないように制御することができるとともに、混合比信号に応じて、テレシネ補間信号と動き適応補間による信号を混合しているので、フィールド間差分の誤判定による画質劣化を低減し、2−2プルダウン信号の誤検出がおこることで発生するコーミング現象による画質劣化の発生頻度を低減し、2−2プルダウン信号を良好なプログレッシブ信号Progに変換することができる。
以上説明したように、実施の形態1の映像信号処理装置又は映像信号処理方法によれば、フレーム差分情報及びフィールド差分情報から、順次入力されるインターレース映像信号Iaが、2−3プルダウン信号又は2−2プルダウン信号のシーケンスの繰り返し条件を満たすか否かを検出するとともに、それぞれのシーケンスの出現頻度を計測することで、比較的長い期間(フィールド)にわたってシーケンスを監視し、テレシネ映像信号であることの確からしさを示す指標である予測制御フラグtciflg0及びtciflg1に基づいたテレシネ検出信号tciを出力するようにしている。そして、各フィールド内の高域画素累積値filhvに基づき、フィールド内に存在する高域周波数成分の程度から解像度を判定することにより、補間信号生成手段110における混合手段8で用いる補間信号の混合比を示す混合比信号tcmixを生成し、これによりテレシネ補間信号Itと動き適応補間による補間信号Imを混合して、テレシネ補間信号を出力する。したがって、テレシネ検出信号tciの信頼度が向上し、テレシネ検出信号tciに基づいて選択される補間走査線信号Im又はテレシネ補間信号Itを適切に選択できるとともに、フィールドの高域画素累積値filhvに基づく混合比信号tcmixにより、補間信号を混合しているので、2−3プルダウン信号及び2−2プルダウン信号のシーケンスの誤検出を回避し、シーケンスの誤検出がある場合に発生するコーミング現象による画質劣化の発生頻度を低減し、テレシネ変換された映像信号を良好なプログレッシブ信号Progに変換することができる。
なお、上記実施の形態1におけるフレーム間相関検出手段11及びフィールド間相関検出手段12では、1フィールドの所定エリア内の動画素数を求め、2−3シーケンス検出手段15及び2−2シーケンス検出手段16において、動画素数を所定の閾値と比較して静止画フィールドの検出及びシーンチェンジの検出を行っている。しかし、本発明は、このような構成に限定されるものではなく、フレーム間相関検出手段11及びフィールド間相関検出手段1において、静止画素の数を求め、2−3シーケンス検出手段15及び2−2シーケンス検出手段16で静止画素の数を所定の閾値と比較することにより静止画フィールドの検出及びシーンチェンジの検出を行うなどのように、1フレーム前のフィールド及び1フィールド前のフィールドとの相関の強さが求められる構成であれば、他の構成であってもよく、同様の効果を奏することができる。
また、上記実施の形態1におけるテレシネ検出手段6では、フレーム間相関検出手段11内に差分検出手段21を設けて、1フレーム間の差分情報を検出するように説明したが、本発明はこれに限るものではなく、現フィールド信号Ia0と2フィールド遅延信号Ic0間の差分情報を求めている動き検出手段4における1フレーム差分情報を用いて、フレーム間相関を求めるよう構成してもよい。
さらに、フレーム間相関検出手段11及びフィールド間相関検出手段12が、フレーム間及びフィールド間の差分の絶対値をとり、差分情報として出力すると説明した。しかし、本発明は、このような構成に限定されるものではなく、差分の絶対値に所定の値を乗算し、所定値を減算するなどの非線形変換を行い、変換した値をフレーム間及びフィールド間差分情報としてもよく、得られた差分情報からフレーム間及びフィールド間の相関の強さが検出でき、フィールドが静止画フィールドか、動画フィールドかを検出できればよい。
また、上記実施の形態1における2−3シーケンス検出手段15内のシーケンス位相カウンタ133では5フィールドごとに‘0’から‘4’まで繰り返しカウントを行い、フレーム静止画検出結果stl1が‘1’(フレーム静止画)であり、かつ、フレーム動画連続数frcntが‘4’であるときゼロへリセットするとして説明したが、繰り返しの値とリセット値はこれに限るものではない。5フィールドごとで繰り返す信号であり、フレーム静止画検出結果stl1が‘1’(フレーム静止画)であり、かつ、フレーム動画連続数frcntが‘4’である場合、すなわち、5フィールドごとに1回あるフレーム静止画のフィールドに対して同期し、所定値へリセットされる構成であれば他の構成であってもよく、同様の効果を奏することができる。
また、上記実施の形態1における通常の映像信号に対するIP変換においては、動き適応補間処理を行うように説明したが、本発明は、このような構成に限定されるものではなく、フィールド内補間処理のみによる補間信号を用いる構成であれば、他の構成であってもよく、同様の効果を奏することができる。
さらに、上記説明においては、映像信号処置装置の各構成がハードウェア構成であるように説明しているが、本発明を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態2.
上記実施の形態1においては、テレシネ映像信号を検出し、その検出結果に基づきIP変換を行う映像信号処理装置及び映像信号処理方法について説明したが、本発明は、入力インターレース映像信号をプログレッシブ映像信号にIP変換し、高画質で表示する映像信号表示装置にも適用できる。以下に示す実施の形態2においては、TV放送信号やDVD,VTRなどの記録再生装置などから入力されるインターレース映像信号を処理し、上記実施の形態1の映像信号処理装置又は映像信号処理方法によりプログレッシブ映像信号にIP変換し、この変換されたプログレッシブ映像信号を表示する映像信号表示装置について説明する。
図30は、本発明の実施の形態2による映像信号表示装置の構成の一例を示すブロック図である。図30において、図1の構成と同一又は対応する構成には、同じ符号を付してある。図30において、実施の形態2の映像信号表示装置は、上記実施の形態1の映像信号処理装置(図1参照)の構成に加え、入力端子200と、入力信号処理手段201と、表示処理手段202と、表示手段203とを設け、IP変換した後のプログレッシブ映像信号Progを表示するように構成したものである。これら入力端子200、入力信号処理手段201、表示処理手段202、及び表示手段203に関する部分以外の構成及び動作は、上記実施の形態1に示されるものと同様である。
入力端子200には、TV放送信号やDVD,VTRなどの記録再生装置などからの信号が入力される。入力端子200に入力された信号は、入力信号処理手段201へと送られる。ここで、TV放送信号やDVD,VTRなどから送られる信号は、NTSC方式信号やハイビジョン信号、PAL方式信号などの標準的なテレビジョン信号であり、インターレース映像信号である。
入力信号処理手段201は、TV放送信号やDVD,VTRなどの記録再生装置などからの信号に対し、例えば、アナログ信号をデジタル信号へ変換、同期信号を分離するなどの入力信号処理を施す。入力信号処理手段201の出力は、インターレース映像信号Ia0として、タイミング信号発生手段1、1フィールド遅延手段2、補間信号生成手段110、及びテレシネ検出手段6へ入力される。
実施の形態2による映像信号表示装置においては、入力信号処理手段201からのインターレース映像信号Ia0に対し、テレシネ映像信号を検出し、その検出結果に基づきIP変換を行い、倍速変換手段9は、プログレッシブ映像信号Progを表示処理手段202へと出力する。このIP変換の動作は、上記実施の形態1に示されるものと同様である。
表示処理手段202には、倍速変換手段9からのIP変換されたプログレッシブ映像信号Progが入力される。表示処理手段202は、プログレッシブ映像信号Progに、例えば、スケーリング処理などの表示信号へと変換するための信号処理を施し、プログレッシブ映像として表示するための表示信号として表示手段203へ出力する。
表示手段203は、表示処理手段202からの表示信号に基づき映像をプログレッシブ映像として表示する。
以上に説明したように、実施の形態2の映像信号表示装置によれば、実施の形態1の映像信号処理装置又は映像信号処理方法を用いるので、コーミング現象による画質劣化を低減した良好なプログレッシブ映像信号に基づく高品質な映像を表示することができる。
本発明の実施の形態1による映像信号処理装置の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置におけるフレーム間相関検出手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置において、各フィールドの画素における垂直方向の位置関係を説明するための図である。 実施の形態1による映像信号処理装置におけるフィールド間相関検出手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置におけるフィールド間相関検出手段の構成の他の例を示すブロック図である。 実施の形態1による映像信号処理装置におけるフィールド解像度判定手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置における2−3シーケンス検出手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置における2−3シーケンス検出手段内の2−3フィールドシーケンス検出手段の構成を示すブロック図である。 実施の形態1による映像信号処理装置におけるフレーム間相関検出手段から出力されるフレーム間動画素累積値とフィールド番号との関係(2−3プルダウン信号の場合)を示す図である。 実施の形態1による映像信号処理装置におけるフィールド間相関検出手段から出力されるフィールド間動画素累積値とフィールド番号との関係(2−3プルダウン信号の場合)を示す図である。 実施の形態1による映像信号処理装置における2−3シーケンス検出手段内の出現頻度検出手段の構成を示すブロック図である。 実施の形態1による映像信号処理装置における2−2シーケンス検出手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置における2−2シーケンス検出手段内の2−2フィールドシーケンス検出手段の構成を示すブロック図である。 実施の形態1による映像信号処理装置におけるフレーム間相関検出手段から出力されるフレーム間動画素累積値とフィールド番号との関係(2−2プルダウン信号の場合)を示す図である。 実施の形態1による映像信号処理装置におけるフレーム間相関検出手段から出力される動画素累積差分値とフィールド番号との関係(2−2プルダウン信号の場合)を示す図である。 実施の形態1による映像信号処理装置におけるフィールド間相関検出手段から出力されるフィールド間動画素累積値とフィールド番号との関係(2−2プルダウン信号の場合)を示す図である。 実施の形態1による映像信号処理装置における2−2シーケンス検出手段内の出現頻度検出手段の構成を示すブロック図である。 実施の形態1による映像信号処理装置におけるプルダウン判定手段の構成の一例を示すブロック図である。 実施の形態1による映像信号処理装置におけるプルダウン判定手段内の補間混合比変換手段において、高域画素累積値に対する混合比信号(縦軸)への変換の特性を示す図である。 (a)から(c)までは、2−3プルダウン方式のテレシネ変換の例を示す図である。 (a)から(d)までは、2−3プルダウン信号を検出してIP変換する場合のテレシネ補間と補間位相フラグtcfの関係を説明するための図である。 実施の形態1による映像信号処理装置における2−3シーケンス検出手段内の2−3フィールドシーケンス検出手段での動作を説明するためのフローチャートである。 実施の形態1による映像信号処理装置における2−3シーケンス検出手段内の出現頻度検出手段での動作を説明するためのフローチャートである。 (a)から(j)までは、実施の形態1による映像信号処理装置における2−3シーケンス検出手段内の2−3フィールドシーケンス検出手段での動作を説明するための図である。 (a)から(c)までは、2−2プルダウン方式のテレシネ変換の例を示す図である。 (a)から(d)までは、2−2プルダウン信号を検出してIP変換する場合のテレシネ補間と補間位相フラグの関係を説明するための図である。 実施の形態1による映像信号処理装置における2−2シーケンス検出手段内の2−2フィールドシーケンス検出手段での動作を説明するためのフローチャートである。 実施の形態1による映像信号処理装置における2−2シーケンス検出手段内の出現頻度検出手段での動作を説明するためのフローチャートである。 (a)から(j)までは、実施の形態1による映像信号処理装置における2−2シーケンス検出手段内の2−2フィールドシーケンス検出手段での動作を説明するための図である。 本発明の実施の形態2による映像信号表示装置の構成の一例を示すブロック図である。
符号の説明
1 タイミング信号発生手段、 2,3 1フィールド遅延手段、 110 補間信号生成手段、 4 動き検出手段、 5 動き適応補間処理手段、 6 テレシネ検出手段、 7 テレシネ補間処理手段、 8 混合手段、 9 倍速変換手段、 11 フレーム間相関検出手段、 12 フィールド間相関検出手段、 13 フィールド解像度判定手段、 14 プルダウンシーケンス検出手段、 15 2−3シーケンス検出手段、 16 2−2シーケンス検出手段、 17 プルダウン判定手段、 21 差分検出手段、 22 比較手段、 23 所定エリア内累積カウンタ、 24 遅延手段、 25 差分絶対値算出手段、 31 1H遅延手段、 32a,32b 差分検出手段、 33 選択手段、 34 垂直差分検出手段、 35 垂直エッジ判定手段、 36,36b 比較手段、 37,37b 所定エリア内累積カウンタ、 41 1H遅延手段、 42 水平高域成分抽出手段、 43 垂直高域成分抽出手段、 44 最大値選択手段、 45 比較手段、 46 所定エリア内累積カウンタ、 51 2−3フィールドシーケンス検出手段、 52 出現頻度検出手段、 53 2−3予測制御手段、 54 切換手段、 121a,121b,121c 静止画検出手段、 122 フィールド静止画検出手段、 123,124 動画フィールドカウンタ、 125 シーケンス条件検出手段、 126 シーケンス判定手段、 127 シーケンス位相検出手段、 128 解除検出手段、 131 テレシネ起動カウンタ、 132 シーケンス検出信号生成手段、 133 シーケンス位相カウンタ、 134 補間位相フラグ生成手段、 135 フレーム動画連続検出手段、 136 フィールド動画連続検出手段、 137 静止画連続検出手段、 138 比較手段、 139 シーケンスずれ検出手段、 140 シーケンス内静止画カウンタ、 141 比較手段、 142 位相判定手段、 143 シーンチェンジ検出手段、 144 解除信号生成手段、 151 シーケンス判定回数検出手段、 152 予測制御フラグ生成手段、 153 出現頻度カウンタ、 154 カウント値調整手段、 61 2−2フィールドシーケンス検出手段、 62 出現頻度検出手段、 63 2−2予測制御手段、 64 切換手段、 161 静止画検出手段、 162 同一フレーム判定手段、 163 フィールド静止画検出手段、 164 動画フィールドカウンタ、 165 シーケンス条件検出手段、 166 シーケンス位相検出手段、 167 シーケンス判定手段、 168 解除検出手段、 171 シーケンス位相生成手段、 172 補間位相フラグ生成手段、 173 シーケンス起動カウンタ、 174 シーケンス検出信号生成手段、 175 動画連続検出手段、 176 位相判定手段、 177 比較手段、 178 シーンチェンジ検出手段、 179 解除信号生成手段、 181 シーケンス判定回数検出手段、 182 予測制御フラグ生成手段、 183 出現頻度カウンタ、 184 比較手段、 185 カウント値調整手段、 191 テレシネ判定手段、 192 位相フラグ選択手段、 193 補間混合比変換手段、 194 混合比切換手段、 195 非線形変換手段、 196 クリップ手段、 100,200 入力端子、 101 出力端子、 201 入力信号処理手段、 202 表示処理手段、 203 表示手段、 Ia0 現フィールド信号(インターレース映像信号、入力映像信号)、 Ib0,R 1フィールド遅延信号、 Ic0 2フィールド遅延信号、 Im 補間信号(補間走査線信号)、 It テレシネ補間信号、 I 補間信号、 Prog プログレッシブ映像信号、 mvfr フレーム間動画素累積値、 dfmvfr 動画素累積差分値、 mvfil フィールド間動画素累積値、 detm 動き検出信号、 filhv 高域画素累積値、 tci23 2−3シーケンス検出信号、 tcf23 2−3シーケンス位相フラグ、 tci22 2−2シーケンス検出信号、 tcf22 2−2シーケンス位相フラグ、 tci テレシネ検出信号、 tcf 補間位相フラグ、 tcmix 補間混合比信号。

Claims (16)

  1. 飛び越し走査映像信号を順次走査映像信号に変換する映像信号処理装置であって、
    上記飛び越し走査映像信号をフィールド単位で遅延させるフィールド遅延手段と、
    上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フレーム前のフィールドとの間の相関を検出し、この検出結果に基づくフレーム間の相関の強さを示す信号を出力するフレーム間相関検出手段と、
    上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フィールド前のフィールドとの間の相関を検出し、この検出結果に基づくフィールド間の相関の強さを示す信号を出力するフィールド間相関検出手段と、
    上記飛び越し走査映像信号の注目フィールドにおける高域周波数成分を検出し、この検出結果に基づくフィールド内に存在する高域周波数成分の程度を示す信号を出力するフィールド解像度判定手段と、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記飛び越し走査映像信号がテレシネ変換された映像信号のフィールドシーケンスを満たすか否かを検出し、この検出結果に基づくテレシネ映像信号におけるフィールドシーケンスが検出されたか否かを示すテレシネ検出信号と、同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相と、テレシネ変換におけるプルダウンの方式を示す識別信号を生成するとともに、上記フィールド内に存在する高域周波数成分の程度を示す信号から、高域周波数成分の程度を示す信号に基づく補間信号の混合比を算出し、上記識別信号に応じて、上記算出した補間信号の混合比と固定信号を切り換えることにより、補間信号の混合比を示す混合比信号を生成し出力するプルダウンシーケンス検出手段と
    上記飛び越し走査映像信号及び上記フィールド遅延手段で遅延した映像信号による第1の補間信号を生成し、上記補間位相で示されるフィールドの時間方向により、上記飛び越し走査映像信号の注目フィールドに対し前もしくは後に位置するフィールドの信号から第2の補間信号を生成するとともに、上記混合信号により上記第1の補間信号と第2の補間信号を混合した補間信号を生成し、上記テレシネ検出信号によって、第1の補間信号または上記混合比信号により混合した補間信号のいずれかを選択して出力する補間信号生成手段と、
    上記飛び越し走査映像信号及び上記補間信号生成手段から出力された上記補間信号に基づいて、上記順次走査映像信号を生成する変換手段と
    を有すること特徴とする映像信号処理装置。
  2. 上記フレーム間相関検出手段は、
    上記飛び越し走査映像信号の注目フィールド内における所定の領域又はすべての領域の画素において、上記注目フィールドより1フレーム前のフィールドにおける同一位置の画素との間の差分値を求め、この差分値に基づく差分情報を検出する差分検出手段と、
    上記差分検出手段からの差分情報を所定値と比較し、各画素における動きの有無を判定する比較手段と、
    上記比較手段からの出力に基づき、上記フィールド内の所定の領域又はすべての領域における画素に対し、動き又は静止と判定される画素の数を累積し、フィールド毎の累積結果を出力する累積手段と、
    上記累積手段からの累積結果を1フィールド遅延させる遅延手段と、
    上記累積手段からの累積結果と上記遅延手段で遅延した累積結果との差分絶対値を算出し、累積差分値を出力する差分絶対値算出手段とを有し、
    上記累積手段から出力された累積結果と、上記差分絶対値算出手段から出力された累積差分値を、上記フレーム間の相関の強さを示す信号として出力する
    ことを特徴とする請求項1記載の映像信号処理装置。
  3. 上記フィールド間相関検出手段は、
    上記飛び越し走査映像信号の注目フィールド内における所定の領域又はすべての領域の画素において、上記注目フィールドより1フィールド前のフィールドにおける同一位置近傍の画素との間の差分値を求め、この差分値に基づく差分情報を検出する差分検出手段と、
    上記差分検出手段からの差分情報を所定値と比較し、各画素での動きの有無を判定する比較手段と、
    上記注目フィールドより1フィールド前のフィールドにおける画素に基づき、垂直方向のエッジ部を判定し、この判定結果に基づく垂直方向のエッジ部を示す信号を出力する垂直エッジ判定手段と、
    上記比較手段からの出力及び上記垂直エッジ判定手段からの出力に基づき、上記フィールド内の所定の領域又はすべての領域における画素に対し、動き又は静止と判定される画素の数を累積し、フィールド毎の累積結果を出力する累積手段とを有し、
    上記累積手段から出力された累積結果を、上記フィールド間の相関の強さを示す信号として出力とする
    ことを特徴とする請求項1記載の映像信号処理装置。
  4. 上記フィールド解像度判定手段は、
    上記飛び越し走査映像信号の注目フィールド内における所定の領域又はすべての領域の画素において、水平方向の高域周波数成分を抽出する水平高域成分抽出手段と、
    上記飛び越し走査映像信号の注目フィールド内における所定の領域又はすべての領域の画素において、垂直方向の高域周波数成分を抽出する垂直高域成分抽出手段と、
    上記水平高域成分抽出手段からの出力及び上記垂直高域成分抽出手段からの出力に基づき、各画素における高域周波数成分を選択し、選択した結果を各画素における高域成分として出力する選択手段と、
    上記選択手段からの高域成分を所定値と比較し、各画素が高域成分を持つか否かを判定し、この判定結果に基づく高域成分画素を示す信号を出力する比較手段と、
    上記比較手段からの高域成分画素を示す信号に基づき、上記フィールド内の所定の領域又はすべての領域における画素に対し、高域成分を持つと判定される画素の数を累積し、フィールド毎の累積結果を出力する累積手段とを有し、
    上記累積手段から出力された累積結果を、上記フィールド内に存在する高域周波数成分の程度を示す信号として出力とする
    ことを特徴とする請求項1記載の映像信号処理装置。
  5. 上記プルダウンシーケンス検出手段は、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号により、2−3プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断し、この判断結果及び同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相とを出力する2−3シーケンス検出手段と、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号により、2−2プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断し、この判断結果及び同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相とを出力する2−2シーケンス検出手段と、
    上記2−3シーケンス検出手段からの出力及び上記2−2シーケンス検出手段からの出力により、上記飛び越し走査映像信号がテレシネ変換された映像信号であるか否かを判別し、その判別結果からテレシネ映像信号におけるフィールドシーケンスが検出されたか否かを示すテレシネ検出信号と、同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相と、テレシネ変換におけるプルダウンの方式を示す識別信号を生成するとともに、
    上記フィールド内に存在する高域周波数成分の程度を示す信号に基づき、高域周波数成分の程度を示す信号に基づく補間信号の混合比を算出し、上記識別信号に応じて、上記算出した補間信号の混合比と固定信号を切り換えることにより、補間信号の混合比を示す混合比信号を生成し、上記テレシネ検出信号、補間位相、及び上記混合比信号とを出力するプルダウン判定手段と
    を有することを特徴とする請求項1から4までのいずれかに記載の映像信号処理装置。
  6. 上記2−3シーケンス検出手段は、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、2−3プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断する2−3フィールドシーケンス検出手段と、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記2−3プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすフィールドシーケンスの出現頻度を計測し、この計測結果に基づく予測制御信号を出力する第1の出現頻度検出手段と、
    上記2−3フィールドシーケンス検出手段からの出力及び上記予測制御信号に基づき、2−3プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断し、この判断結果を出力する第1の予測制御手段と
    を有することを特徴とする請求項5記載の映像信号処理装置。
  7. 上記2−3フィールドシーケンス検出手段は、
    上記フレーム間の相関の強さを示す信号を所定の閾値と比較し、この比較結果に基づいて上記注目フィールドが静止画フィールド又は動画フィールドのいずれかであるかを検出する第1のフレーム静止画検出手段と、
    上記第1のフレーム静止画検出手段の検出結果に基づき、動画フィールドを示すフィールドの連続数を検出する第1の動画フィールドカウント手段と、
    上記フィールド間の相関の強さを示す信号を所定の閾値と比較し、この比較結果に基づいて上記注目フィールドが静止画フィールド又は動画フィールドのいずれかであるかを検出する第1のフィールド静止画検出手段と、
    上記第1のフィールド静止画検出手段の検出結果に基づき、動画フィールドを示すフィールドの連続数を検出する第2の動画フィールドカウント手段と、
    上記第1のフレーム静止画検出手段の検出結果及び上記第1の動画フィールドカウント手段の検出結果に基づき、2−3プルダウン方式で変換された映像信号のフィールドシーケンス位相を検出し、補間位相を出力する第1のシーケンス位相検出手段と、
    上記第1のフレーム静止画検出手段の検出結果及び上記第1の動画フィールドカウント手段の検出結果と、上記第1のフィールド静止画検出手段の検出結果及び上記第2の動画フィールドカウント手段の検出結果に基づき、2−3プルダウン方式で変換された映像信号のフィールドシーケンスであることを満たすフィールドを検出し、この検出結果を出力する第1のシーケンス条件検出手段と、
    上記フレーム間の相関の強さを示す信号、上記第1のフレーム静止画検出手段の検出結果、上記第1の動画フィールドカウント手段の検出結果、上記第1のフィールド静止画検出手段の検出結果、及び上記第2の動画フィールドカウント手段の検出結果に基づき、上記飛び越し走査映像信号が2−3プルダウン方式で変換された映像信号のフィールドシーケンス条件を満たさない場合を検出する第1の解除検出手段と、
    上記第1のシーケンス条件検出手段の検出結果及び上記第1の解除検出手段の検出結果に基づき、2−3プルダウン方式で変換された映像信号のフィールドシーケンスを判定し、2−3プルダウンのシーケンス検出信号を出力する第1のシーケンス判定手段と
    を有することを特徴とする請求項5又は6のいずれかに記載の映像信号処理装置。
  8. 上記第1の出現頻度検出手段は、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、2−3プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たす場合を検出した回数をカウントする第1のシーケンス判定回数検出手段と、
    上記第1のシーケンス判定回数検出手段によるカウント値を所定の閾値と比較し、この比較結果を2−3プルダウン方式で変換された映像信号であることの確からしさを示す指標である上記予測制御信号として出力する第1の予測制御フラグ生成手段と
    を有することを特徴とする請求項に記載の映像信号処理装置。
  9. 上記2−2シーケンス検出手段は、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、2−2プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断する2−2フィールドシーケンス検出手段と、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記2−2プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすフィールドシーケンスの出現頻度を計測し、この計測結果に基づく予測制御信号を出力する第2の出現頻度検出手段と、
    上記2−2フィールドシーケンス検出手段からの出力及び上記予測制御信号に基づき、2−2プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たすか否かを判断し、この判断結果を出力する第2の予測制御手段と
    を有することを特徴とする請求項5記載の映像信号処理装置。
  10. 上記2−2フィールドシーケンス検出手段は、
    上記フレーム間の相関の強さを示す信号を所定の閾値と比較し、この比較結果に基づいて上記注目フィールドが静止画フィールド又は動画フィールドのいずれかであるかを検出する第2のフレーム静止画検出手段と、
    上記フレーム間の相関の強さを示す信号を所定の閾値と比較し、この比較結果に基づいて同一フレームによるフィールドを判定し、判定結果を示す信号を出力する同一フレーム判定手段と、
    上記フィールド間の相関の強さを示す信号を所定の閾値と比較し、この比較結果に基づいて上記注目フィールドが静止画フィールド又は動画フィールドのいずれかであるかを検出する第2のフィールド静止画検出手段と、
    上記第2のフィールド静止画検出手段の検出結果に基づき、動画フィールドを示すフィールドの連続数を検出する第3の動画フィールドカウント手段と、
    上記第2のフレーム静止画検出手段の検出結果、上記同一フレーム判定手段の判定結果、上記第2のフィールド静止画検出手段の検出結果、及び上記第3の動画フィールドカウント手段の検出結果に基づき、2−2プルダウン方式で変換された映像信号のフィールドシーケンスであることを満たすフィールドを検出し、この検出結果を出力する第2のシーケンス条件検出手段と、
    上記第2のシーケンス条件検出手段の検出結果に基づき、2−2プルダウン方式で変換された映像信号のフィールドシーケンス位相を検出し、補間位相を出力する第2のシーケンス位相検出手段と、
    上記フレーム間の相関の強さを示す信号、上記第2のフレーム静止画検出手段の検出結果、上記第2のフィールド静止画検出手段の検出結果、及び上記第3の動画フィールドカウント手段の検出結果に基づき、上記飛び越し走査映像信号が2−2プルダウン方式で変換された映像信号のフィールドシーケンス条件を満たさない場合を検出する第2の解除検出手段と、
    上記第2のシーケンス条件検出手段の検出結果及び上記第2の解除検出手段の検出結果に基づき、2−2プルダウン方式で変換された映像信号のフィールドシーケンスを判定し、2−2プルダウンのシーケンス検出信号を出力する第2のシーケンス判定手段と
    を有することを特徴とする請求項5又は9のいずれかに記載の映像信号処理装置。
  11. 上記第2の出現頻度検出手段は、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、2−2プルダウン方式で変換された映像信号のフィールドシーケンスの条件を満たす場合を検出した回数をカウントする第2のシーケンス判定回数検出手段と、
    上記第2のシーケンス判定回数検出手段によるカウント値を所定の閾値と比較し、この比較結果を2−2プルダウン方式で変換された映像信号であることの確からしさを示す指標である上記予測制御信号として出力判定する第2の予測制御フラグ生成手段と
    を有することを特徴とする請求項に記載の映像信号処理装置。
  12. 上記プルダウン判定手段は、
    上記2−3シーケンス検出手段からの出力及び上記2−2シーケンス検出手段からの出力に基づき、上記飛び越し走査映像信号が2−3プルダウン方式で変換された映像信号か、2−2プルダウン方式で変換された映像信号かを判定し、その判定結果から上記テレシネ検出信号及び上記識別信号を生成し出力するテレシネ判定手段と、
    上記テレシネ判定手段からの識別信号に基づき、上記2−3シーケンス検出手段からの出力と上記2−2シーケンス検出手段からの出力から、上記同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相を示す信号を選択し出力する位相フラグ選択手段と、
    上記フィールド内に存在する高域周波数成分の程度を示す信号に基づき、高域周波数成分の程度の大きさ応じて、上記第1及び第2の補間信号の混合比が変化するように、補間信号の混合比を算出する補間混合比変換手段と、
    上記補間混合比変換手段から算出された混合比と上記テレシネ判定手段からの識別信号に基づき、上記識別信号が2−2プルダウン方式であることを示す場合は、上記算出した混合比を選択し、上記識別信号が2−3プルダウン方式である場合は、固定信号を選択することにより、補間信号の混合比を示す混合比信号を生成し出力する混合比切換手段とを有し、
    上記テレシネ判定手段からのテレシネ検出信号と、上記混合比切換手段からの混合比信号を出力する
    ことを特徴とする請求項5記載の映像信号処理装置。
  13. 上記補間混合比変換手段は、
    上記フィールド内に存在する高域周波数成分の程度を示す信号を非線形変換する非線形変換手段と、
    上記非線形変換手段により変換された値を所定の範囲内の値となるようクリップすることによって、上記補間信号の混合比を算出するクリップ手段と
    を有することを特徴とする請求項12記載の映像信号処理装置。
  14. 上記補間信号生成手段は、
    補間フィールドにおける映像信号に基づく演算処理により補間信号を生成するフィールド内補間又は補間フィールドの隣接フィールドにおける映像信号に基づく演算処理により補間信号を生成するフィールド間補間により、上記飛び越し走査映像信号及び上記フィールド遅延手段で遅延した映像信号に基づいて第1の補間信号を生成して出力する動き適応補間処理手段と、
    テレシネ変換された映像信号に対し、補間フィールドの1フィールド前又は1フィールド後の映像信号に基づき、第2の補間信号を生成して出力するテレシネ補間処理手段と、
    上記プルダウンシーケンス検出手段から出力される混合信号により上記第1の補間信号と第2の補間信号を混合した補間信号を生成し、上記プルダウンシーケンス検出手段から出力されるテレシネ検出信号によって、第1の補間信号または上記混合比信号により混合した補間信号のいずれかを選択して出力する混合手段と
    を有すること特徴とする請求項1から13までのいずれかに記載の映像信号処理装置。
  15. 飛び越し走査映像信号を順次走査映像信号に変換する映像信号処理方法であって、
    上記飛び越し走査映像信号をフィールド単位で遅延させるステップと、
    上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フレーム前のフィールドとの間の相関を検出し、この検出結果に基づくフレーム間の相関の強さを示す信号を出力するステップと、
    上記飛び越し走査映像信号の注目フィールドと、上記注目フィールドより1フィールド前のフィールドとの間の相関を検出し、この検出結果に基づくフィールド間の相関の強さを示す信号を出力するステップと、
    上記飛び越し走査映像信号の注目フィールドにおける高域周波数成分を検出し、この検出結果に基づくフィールド内に存在する高域周波数成分の程度を示す信号を出力するステップと、
    上記フレーム間の相関の強さを示す信号及び上記フィールド間の相関の強さを示す信号に基づいて、上記飛び越し走査映像信号がテレシネ変換された映像信号のフィールドシーケンスを満たすか否かを検出し、この検出結果に基づくテレシネ映像信号におけるフィールドシーケンスが検出されたか否かを示すテレシネ検出信号と、同一フレームからテレシネ変換されたフィールドの時間方向を示す補間位相と、テレシネ変換におけるプルダウンの方式を示す識別信号を生成するとともに、上記フィールド内に存在する高域周波数成分の程度を示す信号から、高域周波数成分の程度を示す信号に基づく補間信号の混合比を算出し、上記識別信号に応じて、上記算出した補間信号の混合比と固定信号を切り換えることにより、補間信号の混合比を示す混合比信号を生成し出力するステップと、
    上記飛び越し走査映像信号及び上記フィールド遅延手段で遅延した映像信号による第1の補間信号を生成し、上記補間位相で示されるフィールドの時間方向により、上記飛び越し走査映像信号の注目フィールドに対し前もしくは後に位置するフィールドの信号から第2の補間信号を生成するとともに、上記混合信号により上記第1の補間信号と第2の補間信号を混合した補間信号を生成し、上記テレシネ検出信号によって、第1の補間信号または上記混合比信号により混合した補間信号のいずれかを選択して出力するステップと、
    上記飛び越し走査映像信号及び上記混合した補間信号に基づいて、上記順次走査映像信号を生成するステップと
    を有すること特徴とする映像信号処理方法。
  16. 請求項1から14までのいずれか1項に記載の映像信号処理装置と、
    映像を表示する表示手段と、
    上記映像信号処理装置から出力された上記順次走査の映像信号に基づく映像を、上記表示手段に表示させる表示処理手段と
    を有することを特徴とする映像信号表示装置。
JP2005063555A 2005-03-08 2005-03-08 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 Expired - Fee Related JP3916637B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005063555A JP3916637B2 (ja) 2005-03-08 2005-03-08 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
US11/884,211 US8174614B2 (en) 2005-03-08 2005-11-21 Video signal processing apparatus, video signal processing method, and video signal display apparatus
PCT/JP2005/021330 WO2006095470A1 (ja) 2005-03-08 2005-11-21 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
TW094144649A TWI309950B (en) 2005-03-08 2005-12-16 Image signal processing device, image signal processing method, and image signal displaying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005063555A JP3916637B2 (ja) 2005-03-08 2005-03-08 映像信号処理装置、映像信号処理方法、及び映像信号表示装置

Publications (2)

Publication Number Publication Date
JP2006253766A JP2006253766A (ja) 2006-09-21
JP3916637B2 true JP3916637B2 (ja) 2007-05-16

Family

ID=36953076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005063555A Expired - Fee Related JP3916637B2 (ja) 2005-03-08 2005-03-08 映像信号処理装置、映像信号処理方法、及び映像信号表示装置

Country Status (4)

Country Link
US (1) US8174614B2 (ja)
JP (1) JP3916637B2 (ja)
TW (1) TWI309950B (ja)
WO (1) WO2006095470A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728908B2 (en) 2008-06-27 2010-06-01 Kabushiki Kaisha Toshiba Pull-down signal detecting apparatus, pull-down signal detecting method, and interlace-progressive converter
US7738041B2 (en) 2007-12-26 2010-06-15 Kabushiki Kaisha Toshiba Video signal processor and video signal processing method

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013081A1 (en) * 2001-01-11 2011-01-20 Pixelworks, Inc. System and method for detecting a non-video source in video signals
JP4703267B2 (ja) * 2005-05-31 2011-06-15 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法、及び順次走査変換装置
US8004606B2 (en) * 2005-09-08 2011-08-23 Silicon Image, Inc. Original scan line detection
US8120703B2 (en) * 2005-09-08 2012-02-21 Silicon Image/BSTZ Source-adaptive video deinterlacer
US7982798B2 (en) * 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8086067B2 (en) * 2006-12-20 2011-12-27 Silicon Image, Inc. Noise cancellation
US8542747B2 (en) * 2006-12-26 2013-09-24 Broadcom Corporation Low latency cadence detection for frame rate conversion
JP4983362B2 (ja) * 2007-04-16 2012-07-25 ソニー株式会社 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
EP2023619A3 (en) 2007-08-10 2012-01-04 Sony Corporation Image processing apparatus and method
JP2009060401A (ja) * 2007-08-31 2009-03-19 Sony Corp 画像表示装置および画像処理装置
JP5435242B2 (ja) * 2008-03-21 2014-03-05 日本電気株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JPWO2009118977A1 (ja) * 2008-03-24 2011-07-21 パナソニック株式会社 映像処理装置
JP4517311B2 (ja) * 2008-04-08 2010-08-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5187568B2 (ja) * 2008-05-14 2013-04-24 ソニー株式会社 信号判別装置、信号処理装置、画像表示装置および再生装置
JP4964197B2 (ja) * 2008-07-18 2012-06-27 株式会社Jvcケンウッド 映像信号処理装置及び映像信号処理方法
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
US20100177161A1 (en) * 2009-01-15 2010-07-15 Dell Products L.P. Multiplexed stereoscopic video transmission
CN102349107B (zh) * 2009-02-10 2015-02-18 晶像股份有限公司 块噪声检测和滤波
WO2010092631A1 (ja) * 2009-02-12 2010-08-19 パナソニック株式会社 映像処理装置
JP4958056B2 (ja) * 2009-05-12 2012-06-20 東芝ディーエムエス株式会社 画像補間装置および画像補間プログラム
EP2259084A1 (de) * 2009-06-03 2010-12-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Funkeinrichtung zur Detektion einer Bewegung
TWI462486B (zh) * 2009-08-26 2014-11-21 Mstar Semiconductor Inc 視訊訊號自動相位偵測裝置及其方法
US8264605B2 (en) * 2010-12-22 2012-09-11 Broadcom Corporation Deinterlacer that adapts to irregular video cadence
US8537901B2 (en) * 2010-12-23 2013-09-17 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for exotic cadence detection
US8937683B2 (en) 2011-06-30 2015-01-20 Stmicroelectronics Asia Pacific Pte Ltd Apparatus and method for inverse telecine with local video de-interlacing
US9794452B2 (en) * 2013-05-22 2017-10-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and program
KR102586695B1 (ko) 2018-02-09 2023-10-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3531379B2 (ja) 1996-09-30 2004-05-31 株式会社日立製作所 映像信号の走査変換回路
JPH10112845A (ja) 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の飛び越し順次走査変換方法および回路
JP3389984B2 (ja) 1998-09-01 2003-03-24 日本ビクター株式会社 順次走査変換装置及び方法
JP2001169252A (ja) 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法
JP4538174B2 (ja) 2001-08-31 2010-09-08 パイオニア株式会社 映像信号のテレシネ変換方式検出装置
US7375760B2 (en) * 2001-12-31 2008-05-20 Texas Instruments Incorporated Content-dependent scan rate converter with adaptive noise reduction
US7202907B2 (en) * 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
KR100854091B1 (ko) * 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
JP2004096223A (ja) 2002-08-29 2004-03-25 Sony Corp 映像信号変換方法及び装置
JP2004180242A (ja) 2002-11-29 2004-06-24 Victor Co Of Japan Ltd 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム
JP4208590B2 (ja) 2003-02-07 2009-01-14 キヤノン株式会社 2−2プルダウン検出装置
JP4226939B2 (ja) 2003-03-27 2009-02-18 株式会社東芝 順次走査変換装置及び順次走査変換方法
US7075581B1 (en) * 2003-06-03 2006-07-11 Zoran Corporation Interlaced-to-progressive scan conversion based on film source detection
KR20050011067A (ko) * 2003-07-21 2005-01-29 삼성전자주식회사 2:2 풀다운 시퀀스 판별장치 및 그 방법
US7405766B1 (en) * 2004-12-20 2008-07-29 Kolorific, Inc. Method and apparatus for per-pixel motion adaptive de-interlacing of interlaced video fields

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738041B2 (en) 2007-12-26 2010-06-15 Kabushiki Kaisha Toshiba Video signal processor and video signal processing method
US7728908B2 (en) 2008-06-27 2010-06-01 Kabushiki Kaisha Toshiba Pull-down signal detecting apparatus, pull-down signal detecting method, and interlace-progressive converter

Also Published As

Publication number Publication date
US8174614B2 (en) 2012-05-08
US20080151103A1 (en) 2008-06-26
JP2006253766A (ja) 2006-09-21
TW200633525A (en) 2006-09-16
TWI309950B (en) 2009-05-11
WO2006095470A1 (ja) 2006-09-14

Similar Documents

Publication Publication Date Title
JP3916637B2 (ja) 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
US7075581B1 (en) Interlaced-to-progressive scan conversion based on film source detection
EP1922870B1 (en) Source-adaptive video deinterlacer
KR100902315B1 (ko) 디인터레이싱장치 및 방법
EP1223748B1 (en) Motion detection in an interlaced video signal
JP4847040B2 (ja) ビデオシーケンスでのティッカー処理
US20050259950A1 (en) Film mode correction in still areas
JP2001285810A (ja) 動きベクトルを算出するための方法および装置
EP1501299A1 (en) An apparatus for detecting a telecine signal
JP4001110B2 (ja) 走査変換装置
JP2001169252A (ja) 順次走査変換装置及び方法
EP1432242A2 (en) Image format conversion apparatus and method
US8866967B2 (en) Method and apparatus for motion adaptive deinterlacing
EP1919211A2 (en) Pull-down signal detecting apparatus, pull-down signal detecting method, and video-signal converting apparatus
JP5506550B2 (ja) 映像信号処理装置及び方法、並びに映像信号表示装置
JP4225930B2 (ja) 映像信号処理装置および映像信号処理方法
KR100692597B1 (ko) 필드 선택이 가능한 영상처리 장치 및 그 방법
WO2006035521A1 (ja) 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
US20110298977A1 (en) Video processing device
JP4074306B2 (ja) 2−2プルダウン信号検出装置及び2−2プルダウン信号検出方法
JP4236233B2 (ja) 映像信号処理回路
WO2008038442A1 (fr) Procédé de conversion ip de signal de différence de couleur
JP4551343B2 (ja) 映像処理装置、及び映像処理方法
TWI403160B (zh) 字幕區偵測方法
JP2000078535A (ja) 順次走査変換装置及び方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070206

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees