JP4983362B2 - フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法 - Google Patents

フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法 Download PDF

Info

Publication number
JP4983362B2
JP4983362B2 JP2007107078A JP2007107078A JP4983362B2 JP 4983362 B2 JP4983362 B2 JP 4983362B2 JP 2007107078 A JP2007107078 A JP 2007107078A JP 2007107078 A JP2007107078 A JP 2007107078A JP 4983362 B2 JP4983362 B2 JP 4983362B2
Authority
JP
Japan
Prior art keywords
motion
field
judder
detection
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007107078A
Other languages
English (en)
Other versions
JP2008270877A (ja
JP2008270877A5 (ja
Inventor
禎人 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007107078A priority Critical patent/JP4983362B2/ja
Priority to US12/078,494 priority patent/US20080252721A1/en
Publication of JP2008270877A publication Critical patent/JP2008270877A/ja
Publication of JP2008270877A5 publication Critical patent/JP2008270877A5/ja
Application granted granted Critical
Publication of JP4983362B2 publication Critical patent/JP4983362B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、映像が記録されたフィルム検出装置およびその方法、並びに映像信号処理装置およびその方法に関するものである。
映画などフィルムに記録された映像を、放送等で用いるテレビジョン信号に変換することをテレシネと言う。通常、テレシネではフレームレートの変換が行われる。同時に、放送では主としてインターレース信号が用いられるため、フィルムの各フレームを2つのフィールドに分割する処理も行われる。
テレシネ方式としては、2:2プルダウンおよび3:2プルダウンがよく用いられる。2:2プルダウンはテレビジョン信号のフィールド周波数がフィルムのフレームレートの2倍に近いときに用いられる。ここでは、フィルムの各フレームを偶数ラインおよび奇数ラインのみからなる2つのフィールドに分割することによって、インターレース信号を得る。
これに対して3:2プルダウンは、テレビジョン信号のフィールド周波数がフィルムのフレームレートの2.5倍に近いときに用いられる変換方式である。3:2プルダウンでは、テレビジョン信号の最初の4フィールドについては、2:2プルダウンと全く同様な方法でフィルムの各フレームを分割し、テレビジョン信号の5番目のフィールドについては、3番目のフィールドをくり返すことでインターレース信号を得る。
なお、テレビジョン信号のフィールド周波数とフィルムのフレームレートの組み合わせによっては、これら以外のプルダウン処理が用いられることもある。
テレビジョン信号の受信側では、テレシネによって得られた映像信号(以下、「テレシネ素材」と言う)と、通常のテレビジョンカメラで撮影された映像信号(以下、「ビデオ素材」と言う)とを区別したい場合がある。
たとえばテレビ受像機において順次走査変換を行うときに、テレシネ素材とビデオ素材で異なる変換方式を用いる場合などはその一例である。
これ以外にも、映像記録装置において動画の圧縮記録を行う前に、5フィールドに1回現れる同一内容のフィールドを予め除去する目的で3:2プルダウンの検出が行われることがある。以下では3:2プルダウンの検出や2:2プルダウンの検出など、プルダウン処理された映像信号の検出を総称して「フィルム検出」と呼ぶことにする。
3:2プルダウンを検出する方法としては、たとえば特許文献1に記載の方法がある。3:2プルダウンの検出は、前述したように5フィールドに1回だけ同一内容のフィールド画像が現れることを利用する。
入力映像信号と、入力映像信号を2フィールド遅延させた映像信号との差分を計算すると、3:2プルダウンされた映像信号では5フィールドに1回だけ差分が小さくなる。ビデオ素材においてこのようなことは起こりにくいから、2フィールド間差分の周期的な変化を監視することによって3:2プルダウンを検出することができる。
一方、2:2プルダウンを検出する方法としては、特許文献2に記載の方法がある。特許文献1では2フィールド間差分を用いたが、ここでは入力映像信号と、入力映像信号を1フィールド遅延させた映像信号との差分を計算する。
テレシネ素材では、同じフィルムフレームに由来するフィールド画像同士の差分は、異なるフィルムフレームに由来するフィールド画像同士の差分よりも小さくなることが予想される。したがって2:2プルダウンされた映像信号が入力されている場合には、1フィールドごとにフィールド間差分の大小が切り替わることになる。
なお、特許文献2では3:2プルダウンも共通の回路で検出することができる。3:2プルダウンされた映像信号のフィールド間差分を計算すると、最初の4フィールドについては2:2プルダウンのときと同様にフィールド間差分の大小がフィールドごとに切り替わり、最後のフィールドについては同じフィルムフレームに由来するフィールド画像同士の比較となるので、フィールド間差分は小となる。
このようにしてフィールド間差分が5フィールド周期で大、小、大、小、小と変化する場合には、入力映像信号は3:2プルダウンであると考えることができる。
さらに、特許文献2の方法では、テレシネ素材の編集点にも即座に対応することができる。編集点付近においては、同じフィルムフレームに由来するフィールド画像の片方が失われていることがある。
特に、順次走査変換を行う場合には、単純なフィールド重ね合わせによってもとのフィルムフレームを復元することができなくなるので、編集点の検出が必要となる。通常のテレシネ素材ではフィールド間差分が2フィールド連続して大、大となることはないので、このような場合には編集によって入力映像信号がビデオ素材に切り替わったと考えて良い。
特殊なテレシネ素材の例としては、テレシネ素材とビデオ素材が同じフィールド画像内に混在している映像信号(以下、「ハイブリッド素材」とよぶ)がある。
特許文献3は、このような場合でもなるべく確からしい順次走査変換を行う方法について述べている。ここでは、フィールド間差分を用いて画素ごとにテレシネ素材とビデオ素材の判別を行い、適切な順次走査変換方式を選択するようにしている。
すなわち、現フィールドと前後フィールドの画素値の局所的な差分を比較し、片方のフィールドにのみ差分が小さい場合には、この領域においてテレシネ素材に適した順次走査変換を行うように構成されている。
特許第2870565号公報 米国特許第6580463号明細書 特許第3389984号公報
特許文献1の方式は、5フィールド周期の検出であるため、検出が遅いという問題がある。特に入力映像信号がテレシネ素材とビデオ素材との間で切り替わっても、最悪の場合5フィールド経過しないと切り替わりが検出できない可能性がある。フィルム検出を順次走査変換に用いる場合、検出の遅れは誤変換による画質劣化を招きやすい。また、3:2プルダウンにしか対応できないという不利益もある。
一方、特許文献2の方式は、3:2プルダウンと2:2プルダウンの両方に対応できること、および編集点に対応できることが利点であるが、入力映像信号がビデオ素材からテレシネ素材に切り替わるときの検出が遅いこと、および3:2プルダウンの検出に関しては特許文献1よりも精度が低いことが欠点である。
まず、ビデオ素材からテレシネ素材へ切り替わるときの検出が遅い理由について説明する。ビデオ素材においても、画像の内容によってはフィールド間差分が連続する2フィールドで異なる大きさになることがありうる。したがってテレシネ素材を確実に検出するためには、フィールド間差分の大小がある程度長い期間(たとえば4フィールド以上)にわたって周期的に変化することを監視し続けなければならないことになる。
また、3:2プルダウンの検出精度が低くなる理由は、特許文献1は2フィールド間差分を求めるためにフィルムフレームの偶数ライン同士または奇数ライン同士の差分を計算するのに対して、特許文献2ではフィールド間差分を求めるために偶数ラインと奇数ラインの差分を計算することになるためである。もとのフィルムフレームが垂直高周波成分を含んでいるとすると、同じフィルムフレームに由来するフィールド画像の偶数ラインと奇数ラインが全く同じ内容であるとは限らない。
特許文献1の方式では、比較するラインの偶奇が揃っているため、このような場合でも5フィールドに1回現れる同一内容のフィールドを正しく検出することができる。しかし特許文献2の方式では、2フィールと同一内容のフィールドが現れたとしても大きなフィールド間差分が検出されるおそれがあり、3:2プルダウンの検出に失敗するおそれがある。同じフィルムフレームに由来するフィールド画像同士の差分が必ずしも小さいとは限らないため、2:2プルダウンの検出においても同様の誤検出が起こりうる。
特許文献3の方式は、フィールド画像同士の局所的な差分のみを用いて検出を行うために、即応性が高く、ハイブリッド素材を含めて任意のプルダウンシーケンスにも対応できるという利点があるが、垂直高周波成分を多く含む画像では検出を誤りやすいという欠点がある。前出の特許文献2の方式は、少なくとも局所的に垂直高周波成分を多く含む画像ではフィルム検出を誤ることはないから、特許文献3の方式は特許文献2の方式よりもさらに誤検出の可能性が高いことになる。
本発明は、共通の回路で任意のプルダウンシーケンスを持つテレシネ素材を検出することができ、高い検出精度と検出の即応性を両立させて、映像の編集点やハイブリッド素材にも対応可能なフィルム検出装置およびその方法、並びにこのフィルム検出装置およびその方法を用いた映像信号処理装置およびその方法を提供することにある。
本発明の第1の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出するフィールド動き検出手段と、前記フレーム動き検出手段の検出結果と、前記フィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出するモーションジャダー検出手段と、少なくとも前記モーションジャダー検出手段の検出結果を用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段とを有し、上記フィルム判定手段は、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第2の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、前記現フィールドと、前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、前記現フィールドと、前記前フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、前記フレーム動き検出手段の検出結果と前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、前記フレーム動き検出手段の検出結果と前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、少なくとも前記第1のモーションジャダー検出手段の検出結果と、前記第2のモーションジャダー検出手段の検出結果とを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段とを有し、上記フィルム判定手段は、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第3の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、前記入力映像信号を1フィールド遅延させる第1の遅延手段と、前記入力映像信号を2フィールド遅延させる第2の遅延手段と、前記入力映像信号と、前記第2の遅延手段の出力映像信号とを用いて、映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、前記入力映像信号と、前記第1の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、前記第1の遅延手段の出力映像信号と、前記第2の遅延手段の出力映像信号とを用いて映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、前記フレーム動き検出手段の検出結果と前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、前記フレーム動き検出手段の検出結果と前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、前記第1のモーションジャダー検出手段の検出結果を、空間方向に積算する第1の積算手段と、前記第2のモーションジャダー検出手段の検出結果を、空間方向に積算する第2の積算手段と、少なくとも前記第1の積算手段の積算結果と、前記第2の積算手段の積算結果とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1のフィルム判定手段と、前記第1のフィールド動き検出手段の検出結果または前記第1のモーションジャダー検出手段の検出結果のいずれか一方と、前記第2のフィールド動き検出手段の検出結果または前記第2のモーションジャダー検出手段の検出結果のいずれか一方とを少なくとも用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2のフィルム判定手段とを有し、上記第1および第2のフィルム判定手段は、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第4の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、前記入力映像信号を1フィールド遅延させる第1の遅延手段と、前記入力映像信号を2フィールド遅延させる第2の遅延手段と、前記入力映像信号を3フィールド遅延させる第3の遅延手段と、前記第1の遅延手段の出力映像信号と、前記第3の遅延手段の出力映像信号とを用いて、映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、前記入力映像信号と、前記第1の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、前記第1の遅延手段の出力映像信号と、前記第2の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、前記第2の遅延手段の出力映像信号と、前記第3の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第3のフィールド動き検出手段と、前記フレーム動き検出手段の検出結果と、前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、前記フレーム動き検出手段の検出結果と、前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、前記第1のモーションジャダー検出手段の検出結果を、空間方向に積算する第1の積算手段と、前記第2のモーションジャダー検出手段の検出結果を、空間方向に積算する第2の積算手段と、少なくとも前記第1の積算手段の積算結果と、前記第2の積算手段の積算結果とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1のフィルム判定手段と、少なくとも前記第2のフィールド動き検出手段の検出結果と、前記第3のフィールド動き検出手段の検出結果とを用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2のフィルム判定手段とを有し、上記第1および第2のフィルム判定手段は、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第5の観点は、インターレース信号である入力映像信号をプログレッシブ信号に変換する映像信号処理装置であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出するフィールド動き検出手段と、前記フレーム動き検出手段の検出結果と、前記フィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出するモーションジャダー検出手段と、少なくとも前記モーションジャダー検出手段の検出結果を用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段と少なくとも前記フィルム判定手段の検出結果に応じて、前記入力映像信号をプログレッシブ信号に変換する方法を変化させる順次走査変換手段とを有し、上記フィルム判定手段は、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第6の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きmを、スカラー量またはベクトル量として検出するステップと、前記フレーム間の動きMと、前記フィールド間の動きmとを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJを算出するステップと、少なくとも前記確からしさJを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出する判定ステップとを含み、上記判定ステップでは、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第7の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、前記現フィールドと前記次フィールドとの間における映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、前記現フィールドと前記前フィールドとの間における映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、前記フレーム間の動きMと前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJ1を算出するステップと、前記フレーム間の動きMと前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJ2を算出するステップと、少なくとも前記確からしさJ1と、前記確からしさJ2とを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するは判定ステップとを含み、上記判定ステップでは、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第8の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、前記入力映像信号を1フィールド遅延させて1フィールド遅延信号を得るステップと、前記入力映像信号を2フィールド遅延させて2フィールド遅延信号を得るステップと、前記入力映像信号と、前記2フィールド遅延信号とを用いて、映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、前記入力映像信号と、前記1フィールド遅延信号とを用いて、映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、前記1フィールド遅延信号と、前記2フィールド遅延信号とを用いて、映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、前記フレーム間の動きMと前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj1を算出するステップと、前記フレーム間の動きMと前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj2を算出するステップと、前記確からしさj1を、空間方向に積算して積算値J1を得るステップと、前記確からしさj2を、空間方向に積算して積算値J2を得るステップと、少なくとも前記積算値J1と、前記積算値J2とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1の判定ステップと、前記フィールド間の動きm1または前記確からしさj1のいずれか一方と、前記フィールド間の動きm2または前記確からしさj2のいずれか一方とを少なくとも用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2の判定ステップとを含み、上記第1および第2の判定ステップでは、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第9の観点は、入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、前記入力映像信号を1フィールド遅延させて1フィールド遅延信号を得るステップと、前記入力映像信号を2フィールド遅延させて2フィールド遅延信号を得るステップと、前記入力映像信号を3フィールド遅延させて3フィールド遅延信号を得るステップと、前記1フィールド遅延信号と、前記3フィールド遅延信号とを用いて、映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、前記入力映像信号と、前記1フィールド遅延信号とを用いて、映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、前記1フィールド遅延信号と、前記2フィールド遅延信号とを用いて、映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、前記2フィールド遅延信号と、前記3フィールド遅延信号とを用いて、映像のフィールド間の動きm3を、スカラー量またはベクトル量として検出するステップと、前記フレーム間の動きMと、前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj1を算出するステップと、前記フレーム間の動きMと、前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj2を算出するステップと、前記確からしさj1を、空間方向に積算して積算値J1を得るステップと、前記確からしさj2を、空間方向に積算して積算値J2を得るステップと、少なくとも前記積算値J1と、前記積算値J2とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1の判定ステップと、少なくとも前記フィールド間の動きm2と、前記フィールド間の動きm3とを用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2の判定ステップとを含み、上記第1および第2の判定ステップでは、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明の第10の観点は、インターレース信号である入力映像信号をプログレッシブ信号に変換する映像信号処理方法であって、現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きmを、スカラー量またはベクトル量として検出するステップと、前記フレーム間の動きMと、前記フィールド間の動きmとを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさjを算出するステップと、少なくとも前記確からしさJを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出する判定ステップと少なくとも前記判定ステップの判定結果に応じて、前記入力映像信号をプログレッシブ信号に変換する方法を変化させるステップとを含み、上記判定ステップでは、モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
本発明によれば、モーションジャダー検出手段において、フレーム動き検出手段の検出結果と、フィールド動き検出手段の検出結果とを少なくとも用いて、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止していることの確からしさが算出される。そして、フィルム判定手段において、少なくともモーションジャダー検出手段の検出結果を用いて、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさ算出される。
本発明によれば、共通の回路で任意のプルダウンシーケンスを持つテレシネ素材を検出することができる。
そして、高い検出精度と検出の即応性を両立させて、映像の編集点やハイブリッド素材にも対応可能となる。
以下、本発明の実施形態を図面に関連付けて説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る映像信号処理装置の全体構成を示す図である。
本第1の実施の形態に係る映像信号処理装置100は、図1に示すように、映像信号を入力する入力端子1、垂直同期信号を入力する入力端子2、入力端子1から入力された映像信号を1フィールド遅延させる第1のフィールドメモリ3、1フィールド遅延させた映像信号をさらに1フィールド遅延させることによって、入力端子1から入力された映像信号を2フィールド遅延させる第2のフィールドメモリ4、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定するフィルム検出回路5、フィルム検出回路5の検出結果に応じて順次走査変換の方法を変化させる順次走査変換回路6、および順次走査変換回路6によってプログレッシブ信号に変換された映像信号を出力する出力端子7を有する。
以下では簡単のため、第1のフィールドメモリ3の出力映像信号を現フィールドの映像信号と呼ぶ。さらに入力端子1から入力された映像信号を次フィールドの映像信号、第2のフィールドメモリ4の出力映像信号を前フィールドの映像信号と呼ぶ。前フィールドは現フィールドの1フィールド前のフィールドであり、次フィールドは現フィールドの1フィールド後のフィールドである。
図1において、フィルム検出回路5を表す点線の枠内は、フィルム検出回路5の内部構成を示したものである。
フィルム検出回路5は、次フィールドの映像信号と前フィールドの映像信号を用いて、映像のフレーム間の動きを検出するフレーム動き検出回路8、現フィールドの映像信号と次フィールドの映像信号を用いて、映像のフィールド間の動きを検出するフィールド動きフィールド動き検出回路9、フレーム動き検出回路8で検出されたフレーム間の動きを用いて、フレーム間で映像が静止していることを検出する静止画判定回路10、フレーム動き検出回路8で検出されたフレーム間の動きと、フィールド動き検出回路9で検出されたフィールド間の動きから、映像の動きにジャダーが発生している(以下、映像の動きに発生するジャダーを「モーションジャダー」と呼ぶ)ことを検出するモーションジャダー検出回路11、および静止画判定回路10の検出結果と、モーションジャダー検出回路11の検出結果を用いて、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定するフィルム判定回路12を有する。
フィルム判定回路12の判定結果は、入力端子2から垂直同期信号の基準エッジが入力されるたびに更新される。
モーションジャダー検出回路11は、さらに演算器13と積算器14から構成される。演算器13はフレーム間の動きとフィールド間の動きとを変数とする後述の変換関数を用いてモーションジャダーを算出する回路であり、積算器14は演算器13で算出されたモーションジャダーを空間方向に積算する回路である。積算器14は、入力端子2から垂直同期信号の基準エッジが入力されるたびに積算結果を0にリセットする。
図2は、本実施形態に係るフィルム判定回路12の内部構成を示す図である。
フィルム判定回路12は、図2に示すように、静止画判定回路10の判定結果の時系列、および積算器14の積算結果の時系列を用いて、有限離散個のパターンを生成するパターン生成回路15、パターン生成回路15で生成したパターンと照合するためのパターンが格納されているパターンROM16、およびパターン生成回路15で生成したパターンが、パターンROM16に格納されているパターンのいずれかと合致するかを照合するパターン照合回路17を有する。
パターン生成回路15は、さらに静止画判定回路10の判定結果と積算器14の積算結果によって映像信号の状態を識別する識別回路18と、識別回路18の識別結果を複数フィールドにわたって記憶しておくシフトレジスタ19によって構成される。
図3は、本実施形態に係る順次走査変換回路6の内部構成を示す図である。
図3において、前フィールドの映像信号と次フィールドの映像信号から映像の動きの大きさを表す動き係数を発生する動き検出回路20、動き検出回路20で発生した動き係数に応じて、前フィールドの映像信号、現フィールドの映像信号、および次フィールドの映像信号を適当に重み付け加算することにより、補間すべき走査線上の画素値を生成する補間回路21、後述する加算器23の演算結果に基づいて前フィールドの映像信号と次フィールドの映像信号のいずれかを選択するセレクタ22、フィルム判定回路12の判定結果と、モーションジャダー検出回路11に内蔵されている演算器13で算出されたモーションジャダーを加算する加算器23、加算器23の加算結果から混合係数を発生する混合係数発生回路24、混合係数発生回路24で発生した混合係数に応じて、補間回路21の出力信号とセレクタ22の出力信号を重み付け加算することにより、補間すべき走査線の画素値を生成する混合回路25、および混合回路25で補間された走査線と、現フィールドの実走査線とをインターリーブすることでプログレッシブ信号を生成する順次走査化回路26を有する。
順次走査化回路26によって生成されたプログレッシブ信号は出力端子7から出力される。
以下、本第1の実施の形態に係る映像信号処理装置の動作について、図4から図8に関連付けて説明する。
フレーム動き検出回路8の最も簡単な実装は、1フレームだけ離れた画素間の輝度差を求めるというものである。入力端子1から入力される映像信号に輝度信号が含まれる場合、フレーム動き検出回路8は、前フィールドの輝度信号成分と次フィールドの輝度信号成分の差を求める減算器のみで構成することができる。このとき得られるフレーム間の動きはスカラー量である。高周波ノイズの影響を防ぐため、あるいは、複数の画素から構成されるブロック単位の平均的な動き量を求めるために、減算器の前後に低域通過型の空間フィルタを設けるとしてもよい。
フィールド動き検出回路9についても、フレーム動き検出回路8と同様に減算器のみで構成することができる。ただし、インターレース信号ではフィールドごとに各走査線の表示画面上の位置が半ラインだけずれているため、フィールド動き検出回路9を減算器のみで構成した場合には、表示画面上で半ラインだけ異なる位置の画素同士の輝度差を求めることになる。より正確にフィールド間の動きを求めるためには、群遅延が半ラインだけ異なる2つの空間フィルタを用い、一方の空間フィルタを現フィールドの輝度信号に対して適用し、他方の空間フィルタを次フィールドの輝度信号に対して適用して、これら2つの空間フィルタの出力信号同士を減算器で減算すればよい。
以下の説明では、簡単のため、フレーム動き検出回路8およびフィールド動き検出回路9をそれぞれ減算器のみで構成する場合を考える。フレーム動き検出回路8の出力であるフレーム間の動きは、前フィールドの輝度信号成分から次フィールドの輝度信号成分を減算した値であるとし、以下、この値をMと書くことにする。同様にフィールド動き検出回路9の出力であるフィールド間の動きは、現フィールドの輝度信号成分から次フィールドの輝度信号成分を減算した値であるとし、以下、この値をmと書くことにする。
静止画判定回路10は、フレーム間の動きMに対して単調非減少となる関数を用いて、映像がフレーム間で静止していることの確からしさを判定する。具体的には、正の定数t1およびT1に関して、次式によって求められたsの表示画面全体の総和Sを、映像がフレーム間で静止していることの確からしさを表す値として出力する。
s=med{0,1,(|M|−t1)/T1}
上記においてmed{x,y,z}は、x、y、zの中央値を選択する関数である。また、/は除算記号であり、|x|はxの絶対値を表す記号である。sは図4に示したようにMに関して広義の単調減少、すなわち単調非増加な値である。
モーションジャダー検出回路11に内蔵されている演算器13は、Mとmの値からモーションジャダーjを算出する。後述するように、モーションジャダーjは、フレーム間では大きな動きが検出されているにも関わらず、フィールド間では静止となる状態がケンシュツサレル場合に絶対値が大きな値となるように計算される。このようなモーションジャダーはテレシネ素材に特有のものであって、通常のビデオ素材ではほとんど発生しない。
演算器13はMとmを変数とする以下の変換関数gを用いてjを算出する。
j=g(M,m)
ただし、
g(M,m)=|αM|×(1+2×m/M) −0.5≦m/M<0のとき
g(M,m)=|αM|×(1−2×m/M) 0≦m/M<1のとき
g(M,m)=−|αM|×(3−2×m/M) 1≦m/M<1.5のとき
g(M,m)=0 上記以外のとき
上式においてαは定数であり、α×MをαMと略記している。
図5にm/Mに対するjの変化を示す。図5からわかるようにjの絶対値が最大となるのはm=0およびm=Mとなる場合である。すなわち映像のフィールド間の動きmが0またはフレーム間の動きMと等しい場合である。特にm=0の場合は、現フィールドと次フィールドの間で映像が静止していることを意味し、m=Mの場合は、現フィールドと前フィールドの間で映像が静止していることを意味する。
m=0またはm=Mである場合、|j|=|αM|となる。この値はフレーム間の動きMの絶対値に関して単調増加である。これはフレーム間の動きが大きいほど、大きなモーションジャダーが発生していると見なすことを意味する。演算器13で求められたjの値は、積算器14に出力されると同時に、順次走査変換回路6でも用いられる。
モーションジャダーjを求める関数は前述のgに限らない。たとえば、次のhを変換関数とし、j=h(M,m)によってモーションジャダーjを算出するとしてもよい。
h(M,m)=med{−1,1,g(M,m)}
変換関数としてhを用いた場合、m/Mに対するjの変化は、|αM|≦1のときは図5のようになり、それ以外のときには図6のようになる。このとき|j|は|M|に関して広義の単調増加、すなわち単調非減少となる。変換関数にhを用いた場合も、モーションジャダーjの絶対値は、フレーム間では動き、フィールド間では静止となる場合に大きな値となる。
積算器14は、演算器13から出力されたモーションジャダーjを空間方向に積算する。すなわち入力端子2から垂直同期信号の基準エッジが入力されるたびに積算値を0にリセットし、演算器13によって新たなモーションジャダーjが算出されるたびに現在保持している積算結果Jにjを加算する。これによって、モーションジャダーjの表示画面全体における総和が求められる。
フィルム判定回路12は、積算器14で得られた積算結果Jを用いて、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する。
識別回路18は、静止画判定回路10の判定結果Sと、積算回路14の積算結果Jと、3つの正の閾値Sa、Ja、Jbとを用いて映像の状態を識別する。識別回路18が出力する値をpとすると、pの値は、次のようにして求められる。
p=−2 S<Saかつ−Jb≦J<Jaのとき
p=−1 S<SaかつJ<−Jbのとき
p=0 S≧Saのとき
p=1 S<SaかつJ≧Jaのとき
p=0は静止画、p=−2はビデオ素材の動画、その他の場合はテレシネ素材に対応している。S、Jの値が確定するタイミングが、次のフィールドの開始を表す垂直同期信号の基準エッジが入力されたときであることを考えると、p=1の場合は、現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高く、p=−1の場合は、前フィールドと前フィールドのさらに1フィールド前のフィールドが同じフィルムフレームに由来するフィールド同士である可能性が高い。特にp=−1の場合は、入力映像信号がテレシネ素材から変化しないことを前提とすれば、現フィールドと次フィールドも、同じフィルムフレームに由来するフィールド同士である可能性が高い。
シフトレジスタ19は2個のレジスタから構成され、各段のレジスタ値は垂直同期信号の基準エッジが入力されるたびに更新される。すなわち、初段のレジスタ値は、識別回路18が出力値であるpに更新され、2段目のレジスタ値は初段のレジスタ値に更新される。2個のレジスタに格納されている値の系列は、入力映像信号の時間的な状態変化に対応するパターンを表現している。
パターンROM16には前述のシフトレジスタ19の値と照合するためのパターンが4種類格納されている。パターンROM16に格納されている各パターンは、シフトレジスタ19の2つのレジスタに対応して、最大で2つの数字の並びで構成されている。
これを図7に示す。パターンPTN1は0、パターンPTN2は1、パターンPTN3は−1と0、パターンPTN4は−1と1から成るパターンである。
パターン照合回路17は、シフトレジスタ19を構成する初段のレジスタの値が0であるときに、図7のパターンPTN1とシフトレジスタ19が表すパターンが一致したと判定する。
同様にして、パターン照合回路17は、初段のレジスタの値が1であるときに、図7のパターンPTN2とシフトレジスタ19が表すパターンが一致したと判定し、初段のレジスタの値が−1であり、2段目のレジスタの値が0である場合には、図7のパターンPTN3とシフトレジスタ19が表すパターンが一致したと判定し、初段のレジスタの値が−1であり、2段目のレジスタの値が1である場合には、図7のパターンPTN4とシフトレジスタ19が表すパターンが一致したと判定する。
パターン照合回路17は、シフトレジスタ19が表すパターンと、パターンPTN1またはパターンPTN2のいずれかが一致した場合には、入力映像信号がテレシネによって生成されたインターレース信号であり、現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高いとして負の数−βを出力し、シフトレジスタ19が表すパターンと、パターンPTN3またはパターンPTN4のいずれかが一致した場合には、入力映像信号がテレシネによって生成されたインターレース信号であり、現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高いとして正の数γを出力し、それ以外の場合には入力映像信号がテレシネによって生成されたインターレース信号である可能性は低いとして0を出力する。
パターン照合回路17の出力値は、フィルム判定回路12の出力値として順次走査変換回路6に出力される。以下、フィルム判定回路12の出力値をFと書く。Fの絶対値は入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを表す値であり、Fの符号は同じフィルムフレームに由来するフィールド同士を特定するために用いられる。
順次走査変換回路6は、フィルム判定回路12で得られたFとモーションジャダー検出回路11で得られたjを用いて、入力端子1から入力されたインターレース信号をプログレッシブ信号に変換して出力端子7から出力する。
今、図8に示したように、補間すべき現フィールド内の画素値をiとし、iの1フィールド前の画素値をa、iの1フィールド後の画素値をb、表示画面上でiの1ライン上の画素値をc、表示画面上でiの1ライン下の画素値をdと書く。cおよびdの値は第1のフィールドメモリ3から得られ、aの値は第2のフィールドメモリ4から得られる。また、bの値は入力端子1から入力される映像信号に含まれている。
動き検出回路20は、前フィールドの映像信号と次フィールドの映像信号から動き係数k1を発生する。以下では、aとbの輝度信号成分の差分絶対値を単調非減少な非線形関数で変換することによって得られる値を、動き係数k1とする。すなわちaとbの輝度信号成分の差分絶対値が大きいほど、動き係数k1は大きな値となる。特にaとbの輝度信号成分が一致するときには、k1=0となるとする。
補間回路21はa、b、c、dおよびk1の値から、入力映像信号がビデオ素材に適した補間値を生成する。ここでは、次式によって得られるvを補間回路21の出力値とする。
v=(1−k1)×(a+b)/2+k1×(c+d)/2
補間回路21は、動き係数k1の値が大きいほど上下ライン平均(c+d)/2を選択しやすくなり、逆にk1の値が小さいほどフレーム間平均(a+b)/2を選択しやすくなる。
セレクタ22は、a、bおよび加算器23の出力値F+jから、テレシネ素材に適した補間値を生成する。ここでは、次式によって得られるfをセレクタ22の出力値とする。
f=a F+j<0のとき
f=b F+j≧0のとき
セレクタ22は、現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高い場合に、前フィールド内の画素値aを選択しやすくなり、それ以外の場合には次フィールド内の画素値bを選択しやすくなる。
混合係数発生回路24は、F+jの値から混合係数k2を発生する。すなわち2つの正の定数t2、およびT2に対して、次式によって得られるk2を混合係数として混合回路25に出力する。
k2=med{0,1,(|F+j|−t2)/T2}
混合係数k2と加算器23の出力値F+jの関係を図9に示す。k2は入力映像信号がテレシネ素材であることの確からしさを示す値である。
混合回路25は、補間回路21の出力値v、セレクタ22の出力値f、および混合係数発生回路24で発生した混合係数k2を用いて、次式によって最終的な補間値iを生成する。
i=(1−k2)×v+k2×f
k2が大きいほどテレシネ素材に適した補間方法が選択されやすく、k2が小さいほどビデオ素材に適した補間方法が選択されやすくなる。以上のようにしてテレシネ素材、ビデオ素材それぞれに適した順次走査変換が行われる。
以上のように構成された映像信号処理装置100が、共通の回路で任意のプルダウンシーケンスを持つテレシネ素材を検出することが可能であり、フィルム検出の精度を落とさずに検出の即応性を確保しながら、編集点やハイブリッド素材に対しても誤った順次走査変換が行われにくいことを、以下に図10から図15に関連付けて説明する。
図10は、2:2プルダウンによるテレシネを表した図である。
フィルムに記録された映像の各フレームを、時間的に早い順にA、B、C、Dとする。これらはプログレッシブ信号である。2:2プルダウンによるテレシネでは、フィルムの各フレームを奇数ラインからなるフィールドと、偶数ラインからなるフィールドの2つに分割することによって、インターレース信号を生成する。フレームAに由来する2つのフィールドをAo、Aeと書く。AoとAeは同時刻に撮影された内容であるが、テレビジョン信号として放送に用いられるときには1フィールドだけずれた時刻に送信される。ここではAoの次に送信されるフィールドをAeと書く。同様にしてフレームB、C、Dに由来する2つのフィールドを、時間的に早く送信されるものから順に、それぞれBo、Be、Co、Ce、Do、Deと書く。また、Aoが入力端子1に入力される時刻をフィールドnとし、AeからDeが入力端子1に入力される時刻を、それぞれフィールドn+1からn+9とする。
ここで、フィルムの各フレームの画像内容がすべて異なる場合を考える。このときフレーム動き検出回路8では、常にフレーム間の動きが検出されることになる。したがって、静止画判定回路10の判定結果SはSaよりも小さな値になる可能性が高く、識別回路18の識別結果pが0になる可能性は低い。
さらに現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士であるときには、モーションジャダー検出回路11に内蔵されている演算器13の演算結果jは負の値となる可能性が高く、jの積算結果であるJは、−Jb未満となる可能性が高い。
S<SaかつJ<−Jbであるときには、前述したように、識別回路18の識別結果pは−1となる。同様にして現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士であるときには、識別結果pは1となる可能性が高い。これを図に表したものが図11である。
図11は、各時刻における次フィールド、現フィールド、前フィールドの画像内容と、シフトレジスタ19に内蔵されている2つのレジスタの値、およびフィルム判定回路12の判定結果Fの値を示している。図11において値の欄がUとなっているものは、値が不明であることを示す。
例として前フィールド、現フィールド、次フィールドがそれぞれAo、Ae、Boであるフィールドn+2について考える。
フィールドn+2に関するS、Jの値が確定するのはフィールドn+2の終わりを表す垂直同期信号の基準エッジが入力されたときであるから、フィールドn+2の時点におけるシフトレジスタ19の初段のレジスタ値はUであって、フィールドn+3において初めてフィールドn+2に関する識別回路18の識別結果p=−1が反映される。以下、フィールドn+3以降についても同様である。
シフトレジスタ19によってパターン生成回路15が生成するパターンは、図11からわかるように、図7のパターンPTN2あるいはパターンPTN4のいずれかに合致する。したがって、入力映像信号が2:2プルダウンで生成されたものであるときには、フィルム判定結果Fは常に非0となり、入力映像信号がテレシネによって生成されたテレビジョン信号であることが確からしいと判定されることになる。
さらに前述したパターン照合回路17の動作によって、フィールドn+4、n+6、およびn+8ではF=−βとなる。またこれらのフィールドにおいては、現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士であるから、Mとmはほぼ等しい値であり、jは負の値となる。したがって、フィールドn+4、n+6、およびn+8ではF+j<0かつ|F+j|>t2+T2となる可能性が高いと言える。
F+j<0かつ|F+j|>t2+T2が満たされる場合、セレクタ22の出力値fはaとなり、混合係数発生回路24が発生する混合係数k2の値は1に近くなる。したがって、混合回路25では補間値iとしてaが選択されやすくなる。
フィールドn+4、n+6、およびn+8においては、現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士であるから、以上述べた動作により、順次走査変換回路6によってもとのフィルムフレームが正しく復元できることになる。
F=γとなるフィールドn+5、n+7、およびn+9についても同様である。すなわち現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士であるときには、F+j>0かつ|F+j|>t2+T2が満たされる可能性が高く、補間値としてbが選択されやすくなる。これよってもとのフィルムフレームが正しく復元できることになる。
次に、入力映像信号が3:2プルダウンによるテレシネによって生成されている場合について考える。3:2プルダウンでは図12のように、1つのフィルムフレームを3つのフィールドに分割する場合と、2つのフィールドに分割する場合とが存在する。1つのフィルムフレームを3つのフィールドに分割する場合には、1番目のフィールドと3番目のフィールドが全く同一のフィールドとなる。
図12ではフィールドn+2とn+4に入力されるフィールド(Bo)、およびフィールドn+7とn+9に入力されるフィールド(De)が同一のフィールドである。
フィルムの各フレームの画像内容がすべて異なっているとき、3:2プルダウンによるテレシネ素材に対するフィルム判定回路12の検出結果は、図13に示すようになる。
フィールドn+4では次フィールドと前フィールドがともにBoであるため、フレーム動き検出回路8で検出されるMは0となり、静止画判定回路10の判定結果SはSaよりも大きな値となる可能性が高い。前述したようにS≧Saであるときにはp=0であるから、フィールドn+5におけるシフトレジスタ19の初段のレジスタ値は0となる。
フィールドn+5においてパターン生成回路15が生成するパターンは、図7のパターンPTN1に一致する。またフィールドn+6においてパターン生成回路15が生成するパターンは、図7のパターンPTN3に一致する。これ以外のフィールドでは、フィールドn+4、+7、+9がパターンPTN2に一致し、フィールドn+8がパターンPTN4に一致する。
このように、いずれのフィールドにおいても、パターン生成回路15が生成するパターンは図7のいずれかのパターンに一致する。したがって、3:2プルダウンにおいても、フィルム検出回路5は正しくフィルム検出を行うことができる。
フィールドn+7、+8における順次走査変換回路6の動作については2:2プルダウンの例ですでに説明したものと同じであるので、以下では、フィールドn+4から+6の期間における順次走査変換回路6の動作について説明する。なお、フィールドn+9における順次走査変換回路6の動作は、フィールドn+4とまったく同じである。
最初にフィールドn+4における順次走査変換回路6の動作を説明する。
フィールドn+4においては次フィールドと前フィールドが同じまったく同一のフィールドであるからM=0となり、j=0となる。一方、Fの値は−βであり負の値となるから、F+j<0となる可能性が高い。
したがって、セレクタ22の出力値fはaになる可能性が高い。一方、動き検出回路20の出力値である動き係数k1は、前述したように次フィールドと前フィールドの画像内容が一致するときには0となるから、補間回路21の出力値vは、aとbの平均値となる。フィールドn+4ではa=bとなるから、aとbの平均値はaに等しい。
混合回路25に入力値はf=v=aとなり、混合係数k2の値によらず補間値iはaと等しくなる。これは順次走査変換回路6として正しい動作である。
次に、パターン生成回路15が生成するパターンがパターンPTN1と一致するフィールドn+5の場合を考える。
フィールドn+5においては現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士であるから、jの値もFと同じく負である可能性が高い。したがって、F+j<0かつ|F+j|>t2+T2である可能性が高く、補間値iとして前フィールドの画素値であるaが選ばれる可能性が高くなる。
また、パターン生成回路15が生成するパターンがパターンPTN3と一致するフィールドn+6では、現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士であるから、jの値もFと同じく正である可能性が高い。したがって、F+j>0かつ|F+j|>t2+T2である可能性が高く、補間値iとして次フィールドの画素値であるbが選ばれる可能性が高くなる。
以上のようにして3:2プルダウンにおいても、順次走査変換回路6は正しくもとのフィルムフレームを復元できることになる。
本第1の実施の形態に係るフィルム検出回路5および順次走査変換回路6は、2:2プルダウン、3:2プルダウン以外のテレシネによって生成されたインターレース信号についても、正しくフィルム検出および順次走査変換ができる。
プルダウン処理は、1つのフィルムフレームを必ず2つ以上のフィールドに分割することで行われる。1つのフィルムフレームが3つ以上に分割された場合には、3番目以降のフィールドは必ず2つ前のフィールドと一致するようになっている。したがって、3番目以降のフィールドではフレーム動き検出回路8の検出結果は常にM=0となり、静止画判定回路の判定結果はS≧Saとなって、パターン生成回路15が発生するパターンは図7のパターンPTN1と一致することになる。
パターン生成回路15が発生するパターンがパターンPTN1と一致しなくなるのは、次フィールドのみが異なるフィルムフレームに由来するフィールドになる場合であるが、この場合には、前述した図13におけるフィールドn+6の場合と全く同じ動作により、パターン生成回路15が発生するパターンはパターンPTN3と一致することになる。
さらに、1フィールド後には、次フィールドと現フィールドが同一のフィルムフレームに由来する2つのフィールドとなるから、パターン生成回路15が発生するパターンはパターンPTN4と一致することになる。
以下同様にして、次に異なるフィルムフレームに由来するフィールドが出現するまでパターン生成回路15が発生するパターンはパターンPTN1と一致することになる。したがって、フィルム検出回路5は、2:2プルダウン、3:2プルダウン以外の任意のプルダウンシーケンスに対応できる。
パターン生成回路15が発生するパターンが、パターンROM16に格納されているパターンのいずれかと一致したときに、順次走査変換回路6が正しくもとのフィルムフレームを復元できることは、2:2プルダウンおよび3:2プルダウンの例を用いて、すでに説明したとおりである。したがって、順次走査変換回路6も、2:2プルダウン、3:2プルダウン以外の任意のプルダウンシーケンスに対応できる。
次に、本第1の実施の形態に係るフィルム検出回路5は高い精度でフィルム検出を行うことができることを説明する。
テレシネ素材の特徴は、1つのフィルムフレームを複数のフィールドに分割することによって生成されていることであり、このためにフレーム間で動きが存在する領域のすべてが、フィールド間では静止した状態になっている。これは通常のビデオ素材ではほぼ起こりえないことである。
モーションジャダー検出回路11は、フレーム間では映像に動きが存在し、フィールド間では映像が静止している場合を検出しているため、フィルムの誤検出を抑えることができる。特にフレーム間の動きは、偶数フィールド同士、または奇数フィールド同士を用いて検出することができるため、もとのフィルムフレームが垂直高周波数成分を多く含んでいたとしても、誤った検出を行う可能性は低い。フレーム間の動きとは無関係に、単純にフィールド間の動きのみを検出すると、垂直高周波成分を含む画像の静止領域において誤って動きを検出してしまう場合がある。
しかし、フレーム間の動きが存在する領域についてのみフィールド間の動きを検出するとすれば、垂直高周波成分による誤検出を抑えることができる。このことはテレシネ素材が垂直高周波成分を多く含み、かつフィルムフレーム間の映像の動きが小さい場合に有利に働く。
次に、本第1の実施の形態に係るフィルム検出回路5および順次走査変換回路6は、テレシネ素材とビデオ素材が頻繁に切り替わる場合にも、素早く対応することができることを図14および図15に関連付けて説明する。
図14は、ビデオ素材とテレシネ素材が切り替わる場合を示す図である。図14のAoからHeまでの9つのフィールドのうち、De、Do、Ee、Eoの4フィールドが2:2プルダウンによって生成されたテレシネ素材であるとし、それ以外の5フィールドはビデオ素材であるとする。さらに、フィルムの各フレームの画像内容、およびビデオ素材の各フィールドの画像内容はすべて異なるとする。
図14のような入力に対するフィルム検出回路5の検出結果は図15に示すようになる。
すなわち、フィールドn+2では次フィールド、現フィールド、前フィールドの画像内容がすべて異なるのでフレーム間の動きおよびフィールド間の動きが存在することになる。したがって、静止画判定回路10で検出されるsの値は0に近い値となり、sの積算値であるSの値もSa未満となる可能性が高い。
さらに、m/Mが0.5前後の値となるためにモーションジャダー検出回路11で検出されるモーションジャダーjの値も0に近い値となり、その積算値であるJの値も−Jb≦J<Jaとなる可能性が高くなる。
S<Saかつ−Jb≦J<Jaであるときには、前述したようにp=−2となる。したがってフィールドn+3におけるシフトレジスタ19の初段のレジスタ値は−2となる。これは図7のいずれのパターンとも合致しないから、フィルム判定回路12の判定結果Fは0となる。
以下、同様にしてフィルム判定回路12の判定結果Fが0でない値となるのはフィールドn+5からn+8の間の4フィールドの期間になる。現フィールドがテレシネ素材であるのはフィールドn+4からn+7までの間であるから、フィルム判定回路12は入力映像信号の切り替わりから1フィールド後には正しい判定ができていることになる。
フィールドn+4では現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士であるにも関わらずF=0となっているが、フィールドn+4ではjが正の値となる可能性が高いため、F+jもある程度大きな正の値となる可能性が高い。したがって、補間値iとしてbに近い値が選ばれる可能性は高く、フィールドn+4においても、順次走査変換回路6によってもとのフィルムフレームが復元できる可能性は高い。
一方、フィールドn+8ではすべてのフィールドがビデオ素材であるにもかかわらずFが非0の値となっているが、フィールドn+8においてjは0に近い値となるため、γがt2に対してある程度小さい値に設定されていれば、|F+j|がt2を超えることはなく、k2=0となって、補間値iとしてビデオ素材に適した補間回路21の出力値vが選択される可能性が高いといえる。
このように、フィルム検出回路5はきわめて短時間でフィルム検出ができるようになっており、順次走査変換回路6は入力映像信号の状態に即応して適切な補間値を選択できるようになっている。
実際のテレビジョン信号ではテレシネ素材を編集するなどしてテレシネ素材とビデオ素材が頻繁に切り替わることがありうるが、第1の実施の形態に係るフィルム検出回路5および順次走査変換回路6は、このような映像の編集点が多くあるテレシネ素材に対しても対応することができる。
最後に、本第1の実施の形態に係る順次走査変換回路6が、テレシネ素材とビデオ素材が同じフィールド画像内に混在しているハイブリッド素材に対応できることを説明する。
ハイブリッド素材では表示画面の比較的小さい領域がビデオ素材になっていることが多い。このとき画面の大部分を占めるテレシネ素材によって、フィルム検出回路5の検出結果Fは非0の値となる可能性が高い。
一方、ビデオ素材から成る画像領域では、フレーム間の動きが存在する画像領域では、現フィールドと次フィールドの間、および現フィールドと前フィールドの間のいずれにおいてもフィールド間の動きが存在することになる。
したがって、ビデオ素材の動画領域で検出されるjの値は0に近い値であり、βおよびγがt2に対してある程度小さい値に設定されていれば、|F+j|がt2を超えることはなく、k2=0となって、補間値iとしてビデオ素材に適したvが選択されることになる。
一方、テレシネ素材の動画領域ではFとjの符号は同一である可能性が高いから|F+j|の値はt2を超え、補間値iとしてフィルム素材に適したfが選択されることになる。
静止画領域ではフレーム間の動きは生じないため、当該領域がテレシネ素材、ビデオ素材に関わらずjは0に近い値となってほぼFのみによってF+jの値が決まることになる。ただし静止画領域については補間値iとしてf、vのいずれを選択してもよいから、この場合F+jの値は任意の値であってよい。
したがって、本第1の実施の形態に係る順次走査変換回路6は、ハイブリッド素材に対しても正しい順次走査変換を行うことができる。
以上のように、本第1の実施の形態に係る映像信号処理装置は、共通の回路で任意のプルダウンシーケンスを持つテレシネ素材を検出することが可能であり、フィルム検出の精度を落とさずに検出の即応性を確保しながら、編集点やハイブリッド素材に対しても誤った順次走査変換が行われにくいという効果を持っている。
なお、第1の実施の形態では映像のフレーム間の動き、およびフィールド間の動きをスカラー量として検出する場合について説明したが、これらをベクトル量として検出してもよい。画素単位で映像の動きベクトルを検出する方法としては勾配法が知られており、ブロック単位で映像の動きベクトルを検出する方法としてはブロックマッチング法が知られている。
ベクトル量であるフレーム間の動きおよびフィールド間の動きを用いてモーションジャダーjを検出するためには、たとえばフレーム間の動きベクトルのノルムをMとし、フィールド間の動きベクトルのノルムをmとして、前述した変換関数gまたはhの値を計算してやればよい。
また、これに限らず、モーションジャダーjが動きベクトルの方向に依存するように変換関数を定義してもよい。この場合も、フィールド間の動きベクトルが零ベクトル、またはフレーム間の動きベクトルと等しいときに変換関数の絶対値が最大となるようにし、このときの変換関数の絶対値がフレーム間の動きベクトルのノルムに関して単調非減少となるようにすれば、第1の実施の形態と同様の効果が得られる。
さらに、第1の実施の形態では、モーションジャダーjとフィルム判定結果Fの加算結果に基づいて順次走査変換を行うとしたが、モーションジャダーjのみを用いて順次走査変換を用いるとしても良い。この場合は、フィルム判定結果Fの値を常に0としたときと同じ動作になる。モーションジャダーjのみに応じて、順次走査変換の方法を変化させる場合には、局所的に垂直高周波成分が多い画像に対する検出の精度がやや落ちることになるが、第1の実施の形態と同様の効果を得ることは可能である。
また、第1の実施の形態ではシフトレジスタ19の段数を2段としたが、これに限らず2段よりも多い段数で構成しても良い。
たとえば、シフトレジスタ19の段数を5段とし、パターンROM16に0、1、−1、1、−1の5個の数字からなるパターンを格納するとしても良い。初段のレジスタが0、2段目および4段目のレジスタが1、3段目のレジスタおよび5段目のレジスタが−1となるのは入力映像信号が3:2プルダウンによって生成されたテレビジョン信号であるときであるから、上記のパターンにより3:2プルダウンシーケンスが検出できることになる。
また、第1の実施の形態では、加算器23を順次走査変換回路6に内蔵したが、これをフィルム検出回路5に内蔵するとしても良い。この場合にはF+jがフィルム検出結果となる。
[第2の実施の形態]
図16は、本発明の第2の実施の形態に係る映像信号処理装置の全体構成を示す図である。
図16において、第1の実施の形態と同じ機能を持つ要素については図1と同じ番号を付し、説明を省略する。
本第2の実施の形態に係る映像信号処理装置100Aは、図16に示すように、2フィールド遅延させた映像信号をさらに1フィールド遅延させることによって、入力端子1から入力された映像信号を3フィールド遅延させる第3のフィールドメモリ27、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることを判定するフィルム検出回路28、およびフィルム検出回路28の検出結果に応じて順次走査変換の方法を変化させる順次走査変換回路29有する。
本第2の実施の形態に係る順次走査変換回路29は、入力端子1から入力された映像信号を1フィールド以上遅延させた映像信号を用いる点が、第1の実施の形態である順次走査変換回路6と異なる。順次走査変換回路29によってプログレッシブ信号に変換された映像信号は、出力端子7から出力される。
以下では第1の実施の形態と同じく、入力端子1から入力された映像信号を次フィールドの映像信号と呼び、第1のフィールドメモリ3の出力信号を現フィールドの映像信号、第2のフィールドメモリ4の出力信号を前フィールドの映像信号と呼ぶ。さらに必要に応じて、第3のフィールドメモリ27の出力信号をフィールドN3の映像信号と呼び、前フィールド、現フィールド、次フィールドの映像信号をそれぞれフィールドN2、フィールドN1、フィールドN0の映像信号と呼ぶ。
図16において、フィルム検出回路28を表す点線の枠内は、フィルム検出回路28の内部構成を示したものである。
フィルム検出回路28は、図16に示すように、次フィールドの映像信号と前フィールドの映像信号を用いて、映像のフレーム間の動きを検出するフレーム動き検出回路30、現フィールドの映像信号と次フィールドの映像信号を用いて、映像のフィールド間の動きを検出する第1のフィールド動き検出回路31、現フィールドの映像信号と前フィールドの映像信号を用いて、映像のフィールド間の動きを検出する第2のフィールド動き検出回路32、フレーム動き検出回路30、第1のフィールド動き検出回路31、および第2のフィールド動き検出回路32の検出結果を用いて、連続する2フィールドにわたって映像に一定のフィールド間の動きが存在することの確からしさを判定する動画判定回路33、フレーム動き検出回路30と第1のフィールド動き検出回路31の検出結果を用いてモーションジャダーを検出する第1のモーションジャダー検出回路34、フレーム動き検出回路30と第2のフィールド動き検出回路32の検出結果を用いてモーションジャダーを検出する第2のモーションジャダー検出回路35、および動画判定回路33の判定結果、および第1のモーションジャダー検出回路34と第2のモーションジャダー検出回路35の検出結果を用いて、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定するフィルム判定回路36を有する。
図17は、本第2の実施形態に係るフィルム判定回路36の内部構成を示す図である。
図17に示すように、フィルム判定回路36は、動画判定回路33の判定結果を閾値処理する第1の閾値回路37、第1のモーションジャダー検出回路34と第2のモーションジャダー検出回路35の検出結果の比を閾値処理する第2の閾値回路38、および第1の閾値回路37と第2の閾値回路38の出力値から入力映像信号の状態を識別する識別回路39を有する
識別回路39の識別結果は、フィルム判定回路36の判定結果Fとして順次走査変換回路29に出力される。
図18は、本第2の実施形態に係る順次走査変換回路29の内部構成を示す図である。
順次走査変換回路29は、図18に示すように、フィールドN1の映像信号とフィールドN3の映像信号とを用いて、映像の動きの大きさを表す動き係数k1を発生する動き検出回路40、動き検出回路40で発生した動き係数k1に応じて、フィールドN1、N2、N3の映像信号を適当に重み付け加算することにより、補間すべき走査線上の画素値を生成する補間回路41、フィルム検出回路28の判定結果Fに応じて、補間回路41の出力信号v、フィールドN1の映像信号、およびフィールドN2の映像信号のいずれかを選択するセレクタ42、およびセレクタ42で選択された補間すべき走査線上の映像信号と、現フィールドの実走査線とをインターリーブすることでプログレッシブ信号を生成する順次走査化回路43を有する。
順次走査化回路43によって生成されたプログレッシブ信号は出力端子7から出力される。
ここで、本第2の実施の形態に係る映像信号処理装置の動作について説明する。
フレーム動き検出回路30は、1フレームだけ離れた画素間の輝度差の絶対値D0を単調非線形変換した値をフレーム間の動きMとして検出する。
同様に、第1のフィールド動き検出回路31は、空間的にほぼ同じ位置に存在する現フィールドと次フィールドの2つの画素について輝度差の絶対値D1を求め、この差分絶対値D1を単調非線形変換した値をフィールド間の動きm1として検出する。
さらに、第2のフィールド動き検出回路32は、空間的にほぼ同じ位置に存在する現フィールドと前フィールドの2つの画素について輝度差の絶対値D2を求め、この差分絶対値D2を単調非線形変換した値をフィールド間の動きm2として検出する。
第1の実施の形態と同様、1フレームあるいは1フィールド離れた画素間の輝度差を求める前後に、低域通過型の空間フィルタを設けるとしてもよい。
以下ではD0、D1、D2とM、m1、m2の値の関係が以下の式で定義されるとする。
M=med{0,1,(D0−t3)/T3}
m1=med{0,1,(D1−t3)/T3}
m2=med{0,1,(D2−t3)/T3}
図19は、絶対値D0とフレーム間の動きMの関係を示す図である。D1とm1、およびD2とm2の関係も図19に示したD0とMと同様な関係になる。
動画判定回路33は、M、m1、m2の値を用いて、連続する2フィールドにわたって映像に一定のフィールド間の動きが存在することの確からしさを判定する。画素単位で検出される確からしさの値をzと書くとき、次式よって求められるzの表示画面全体の総和Zを動画判定回路33の判定結果とする。
z=M×m1×m2
フレーム間の動きおよびフィールド間の動きが大きいほど、Zの値は大きな値となる。
第1のモーションジャダー検出回路34は、以下の式を用いて画素単位のモーションジャダーj1を検出する。
j1=M×(1−m1)
モーションジャダーj1は、m1=0、すなわちフィールド間の動きが0であるときに最大となり、その最大値はMに関して単調増加な値である。
モーションジャダーj1は、フレーム間では動きが存在し、現フィールドと次フィールドの間では静止している画素において大きな値をとる。第1のモーションジャダー検出回路34は、第1の実施の形態のモーションジャダー検出回路11と同様にモーションジャダーj1を求める演算器とモーションジャダーj1の表示画面全体の総和を求める積算器とを内蔵しており、積算器の積算結果J1をモーションジャダーの検出結果としてフィルム判定回路36に出力する。J1を求める積算器は、入力端子2から垂直同期信号の基準エッジが入力される度に積算値を0にリセットする。
第2のモーションジャダー検出回路35は、次式によって画素単位のモーションジャダーj2を検出し、その表示画面全体の総和J2を検出結果としてフィルム判定回路36に出力する。
j2=M×(1−m2)
モーションジャダーj2はフレーム間では動きが存在し、現フィールドと前フィールドの間では静止している画素において大きな値をとる。J2を求める積算器も、入力端子2から垂直同期信号の基準エッジが入力される度に積算値を0にリセットする。
第1の閾値回路37は、動画判定回路の判定結果を表すZの値が正の定数Za以上であるときには0を出力し、それ以外の時には1を出力する。Z≧Zaであるときにはz>0となる画素が相当数存在するはずである。
z>0であるためにはM>0、m1>0、m2>0が必要であるから、z>0である画素ではフレーム間の動きとフィールド間の動きの両方が存在することになる。
すなわち、第1の閾値回路37の出力値が0であるときには、画像領域の一部あるいは全部がビデオ素材の動画である可能性が高い。
一方、第2の閾値回路38は、J1とJ2の比と正の定数λ(>1)とを比較し、J1≧λ×J2が成り立つときには1を出力し、J2≧λ×J1が成り立つときには−1を出力し、それ以外のときには0を出力する。
テレシネ素材の動画において現フィールドと次フィールドが同じフィルムフレームに由来するフィールドであり、前フィールドと次フィールドの画像内容が一致しない場合には、多くの画素についてm1=0が成り立つことから、J1≧λ×J2となりやすい。
逆に、現フィールドと前フィールドが同じフィルムフレームに由来するフィールドであり、前フィールドと次フィールドの画像内容が一致しない場合には、多くの画素についてm2=0が成り立つことから、J2≧λ×J1となりやすい。
J1≧λ×J2とJ2≧λ×J1がいずれも成り立たないときには、入力映像信号はフィルム素材の静止画であるか、ビデオ素材であるかのいずれかであると考えられる。
識別回路39は、垂直同期信号の基準エッジが入力されるタイミングで、第1の閾値回路37の出力値と第2の閾値回路38の出力値の積を計算し、得られた値をフィルム検出結果Fとする。
したがって、本第2の実施の形態では、Fの値は−1、0、1のいずれかの値をとる。F=−1となるのは、第1の閾値回路37の出力値が1であり、第2の閾値回路38の出力値が−1となるときであるから、入力映像信号はテレシネ素材の動画であり、フィールドN2とフィールドN3が同じフィルムフレームに由来するフィールド同士になっている可能性が高い。
また、F=0となるのは、第1の閾値回路37の出力値が0であるか、第2の閾値回路38の出力値が0となるときであるから、入力映像信号は、ビデオ素材であるか、ハイブリッド素材であるか、テレシネ素材の静止画のいずれかである可能性が高い。
さらにF=1となるのは、第1の閾値回路37の出力値が1であり、第2の閾値回路38の出力値が1となるときであるから、入力映像信号はテレシネ素材の動画であり、フィールドN1とフィールドN2が同じフィルムフレームに由来するフィールド同士になっている可能性が高い。
順次走査変換回路29は、Fの値によって入力映像信号をプログレッシブ信号に変換する方法を変化させる。
動き検出回路40および補間回路41の動作は、第1の実施の形態に係る動き検出回路20、補間回路21の動作とまったく同じであり、前フィールド、現フィールド、次フィールドの映像信号を用いる代わりに、フィールドN1、フィールドN2、フィールドN3を用いる点のみが異なる。
セレクタ42は、F=0のときには補間回路41の出力値を補間値として選択し、F=−1のときにはフィールドN3の映像信号を補間値として選択し、F=1のときにはフィールドN1の映像信号を補間値として選択することによって補間すべき走査線の画素値を生成する。
以上のように構成された映像信号処理装置が、共通の回路で任意のプルダウンシーケンスを持つテレシネ素材を検出することが可能であり、フィルム検出の精度を落とさずに検出の即応性を確保しながら、編集点やハイブリッド素材に対しても誤った順次走査変換が行われにくいことを、以下に説明する。
最初に、本第2の実施の形態に係るフィルム検出回路28が任意のプルダウンシーケンスを持つテレシネ素材を検出可能である理由について説明する。
テレシネ素材では、連続する3フィールドの少なくとも2つは同じフィルムフレームに由来するフィールドである。フィルムの各フレームの画像内容が異なるときは、m1またはm2のいずれか一方は0に近い値で、他方は0よりも大きな値となるから、Zは0に近い値となり、J1、J2の値はいずれか一方は0に近い値で、他方は0よりも大きな値となる。
このため、入力映像信号がテレシネ素材であるときにはZ<Zaとなり、第1の閾値回路37の出力値は1となる可能性が高い。同様にしてJ1とJ2の値が大きく異なっていれば、J1≧λ×J2またはJ2≧λ×J1のいずれかが成り立ち、第2の閾値回路38の出力値は非0の値となる可能性が高い。
一方、フィルムの各フレームが同一の画像内容であるときには、すべての画素についてM=0となるため、Z=J1=J2=0となってフィルム判定結果はF=0となるが、フィルム素材の静止画はビデオ素材の静止画と区別がつかないため、このように判定しても実用上は問題ない。
実際に、入力信号が静止画であるときには補間回路41の出力値とフィールドN1、N3の映像信号のいずれを選んでも正しい補間となるから、Fの値は任意の値であってよく、特にフィルム検出を行う必要はない。
したがって、フィルム検出回路28は、任意のプルダウンシーケンスを持つテレシネ素材を検出することができると言ってよい。
次に、本第2の実施の形態に係るフィルム検出回路28が高い精度でフィルム検出ができる理由について説明する。
第1のモーションジャダー検出回路34が検出するモーションジャダーj1が大きな値となるのは、フレーム間に動きが存在し、現フィールドと次フィールドの間が静止である場合である。
一方、第2のモーションジャダー検出回路35が検出するモーションジャダーj2が大きな値となるのは、フレーム間に動きが存在し、現フィールドと前フィールドの間が静止である場合である。フレーム間で動き、フィールド間では静止となるのはテレシネ素材に特有の現象であって、ビデオ素材ではほとんど起こりえないから、モーションジャダーj1、j2に基づいてフィルム検出を行うことにより、高い精度でフィルム検出を行うことができる。
また、本第2の実施の形態に係るフィルム検出回路28および順次走査変換回路29は、テレシネ素材とビデオ素材が頻繁に切り替わる場合にも、素早く対応することができる。これはフィルム判定回路36に内蔵されている識別回路39の判定結果が、入力端子1から映像が入力されてから1フィールド後には必ず確定することを考えれば明らかである。
順次走査変換回路29は、入力映像信号を1フィールド以上遅延させた映像信号を用いて順次走査変換を行うため、確定したフィルム判定結果を用いて順次走査変換を行うことができる。したがって、映像の編集点が多く、入力映像信号の状態が頻繁に切り替わる場合でも、入力映像信号の状態に応じて素早く順次走査変換方法を変化させることができる。
さらに、本第2の実施の形態に係る順次走査変換回路29は、入力映像信号がハイブリッド素材である場合にも誤った順次走査変換が行われにくい。入力映像信号がハイブリッド素材である可能性があるときには、動画判定回路33によりフィルム判定結果Fを0として、ビデオ素材に適した補間を行う補間回路41の出力値を補間値として用いるように構成したためである。このときフィルム素材に由来する表示画面領域に対しても、補間回路41の出力値が選択されることになるが、このことによる順次走査変換の性能劣化は、垂直高周波成分を含む動画領域における垂直解像度の劣化にとどまる。
一方、ハイブリッド素材をフィルム素材と見なして順次走査変換を行うと、異なる時間に撮影された画像が重ね合わせられる結果、動画領域に二重像のアーティファクトが現れ、順次走査変換の性能が大きく劣化することになる。
したがって、本第2の実施の形態に係る順次走査変換回路29は、ハイブリッド素材に対しても誤った順次走査変換が行われにくいと言える。
なお、本第2の実施の形態では、J1とJ2の比に基づいてフィルム検出を行ったが、J1とJ2の差に基づいてフィルム検出を行うとしても同様の効果が得られる。
また、本第2の実施の形態では、フレーム間の動きおよびフィールド間の動きを用いてモーションジャダーを検出するとしたが、フレーム間の画素値の類似度およびフィールド間の画素値の類似度を用いてモーションジャダーを検出するとしてもよい。
たとえば、フレーム間の画素値の類似度QをQ=1−M、フィールド間の画素値の類似度q1、q2をq1=1−m1およびq2=1−m2と定義すれば、Q、q1、q2を用いてモーションジャダーj1、j2を算出することが可能である。
[第3の実施の形態]
図20は、本発明の第3の実施の形態に係る映像信号処理装置の全体構成を示す図である。
図20において、第1の実施の形態および第2の実施の形態と同じ機能を持つ要素については前出の図と同じ番号を付し、説明を省略する。
映像信号処理装置100Bは、図20に示すように、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることを判定するフィルム検出回路44、およびフィルム検出回路44の検出結果に応じて順次走査変換の方法を変化させる順次走査変換回路45を有する。
図20において、フィルム検出回路44を表す点線の枠内は、フィルム検出回路44の内部構成を示したものである。フレーム動き検出回路30、第1のフィールド動き検出回路31、第2のフィールド動き検出回路32、動画判定回路33は第2の実施の形態と同一のものである。
また、フィルム検出回路44は、フレーム動き検出回路30で検出されたフレーム間の動きを用いて、フレーム間で映像が静止していることを検出する静止画判定回路46、フレーム動き検出回路30、第1のフィールド動き検出回路31、第2のフィールド動き検出回路32の検出結果を用いてモーションジャダーを検出する第1のモーションジャダー検出回路47、フレーム動き検出回路30、第1のフィールド動き検出回路31、第2のフィールド動き検出回路32の検出結果を用いてモーションジャダーを検出する第2のモーションジャダー検出回路48、第1のモーションジャダー検出回路47の検出結果を空間方向に積算する第1の積算器49、第2のモーションジャダー検出回路48の検出結果を空間方向に積算する第2の積算器50、および動画判定回路33と静止画判定回路46の判定結果と、第1のモーションジャダー検出回路47と第2のモーションジャダー検出回路48の検出結果と、第1の積算器49と第2の積算器50の積算結果とを用いて、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定するフィルム判定回路51を有する。
図21は、本第3の実施の形態に係るフィルム判定回路51の内部構成を示す図である。
フィルム判定回路51は3つのフィルム判定回路によって構成される。
フィルム判定回路51は、図21に示すように、静止画判定回路46の判定結果と、第1の積算器49および第2の積算器50の積算結果とを用いて、大域的な表示画面領域について、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1のフィルム判定回路52、第1のモーションジャダー検出回路47と第2のモーションジャダー検出回路48の検出結果を用いて、局所的な表示画面領域について、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2のフィルム判定回路53、動画判定回路33の判定結果を用いて混合係数を発生する混合係数発生回路54、および第1のフィルム判定回路52の判定結果と第2のフィルム判定回路53の判定結果を、混合係数発生回路54で発生した混合係数によって重み付けすることにより、最終的なフィルム判定結果を得る第3のフィルム判定回路55を有する。
第3のフィルム判定回路55の判定結果は、フィルム判定回路51の判定結果Fとして順次走査変換回路45に出力される。
なお、第1のフィルム判定回路52は、第1の積算器49の積算結果と第2の積算器50の積算結果の差を求める減算器56が存在する以外は、図2に示した第1の実施の形態に係るフィルム判定回路12と同じ構成を持つ。
図22は、本第3の実施の形態に係る順次走査変換回路45の内部構成を示す図である。
順次走査変換回路45の内部構成は、図3に示した第1の実施の形態に係る順次走査変換回路6とほぼ同じ構成であり、加算器23および混合係数発生回路24が存在しない点だけが異なる。
以下、本第3の実施の形態に係る映像信号処理装置の動作について説明する。
静止画判定回路46は、フレーム動き検出回路30で検出されたフレーム間の動きMを用いてs=1−Mを計算し、sの表示画面全体の総和Sを求める。
第1のモーションジャダー検出回路47は、フレーム動き検出回路30で検出されたフレーム間の動きMと、第1のフィールド動き検出回路31で検出されたフィールド間の動きm1と、第2のフィールド動き検出回路32で検出されたフィールド間の動きm2を用いて、次のようにj1を計算する。
j1=M×(1−m1)×(1+m2)/2
j1はM=1、m1=0、m2=1となるときに最大値を取る。これは、フレーム間および現フィールドと前フィールドの間に大きな動きが存在し、現フィールドと次フィールドの間が静止となる場合である。
同様にして、第2のモーションジャダー検出回路48は、M、m1、m2を用いて、次のようにj2を計算する。
j2=M×(1−m2)×(1+m1)/2
j2はM=1、m1=1、m2=0となるときに最大値を取る。これは、フレーム間および現フィールドと次フィールドの間に大きな動きが存在し、現フィールドと前フィールドの間が静止となる場合である。
第1の積算器49は、j1の値を空間方向に積算した値J1をフィルム判定回路51に出力する。J1の値は入力端子2から垂直同期信号の基準エッジが入力されるたびに0にリセットされる。
同様にして、第2の積算器50は、j2の値を空間方向に積算した値J2をフィルム判定回路51に出力する。J2の値は入力端子2から垂直同期信号の基準エッジが入力されるたびに0にリセットされる。
フィルム判定回路51に内蔵される第1のフィルム判定回路52は、減算器56の減算結果であるJ2−J1を識別回路18に入力する。識別回路18は、第1の実施の形態である積算器14の積算結果Jの代わりに積算結果J2−J1を用いて入力信号がテレシネ素材であるかビデオ素材であるかを識別する。パターン照合回路17は、第1の実施の形態とまったく同じ動作により、−βまたはγのいずれかの値を出力する。パターン照合回路17の出力値は第1のフィルム判定回路52の判定結果として、第3のフィルム判定回路55に出力される。
以下、第1のフィルム判定回路52の判定結果をF1と書く。
F1>0であるときには現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高く、F1<0であるときには現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高い。また、F1=0であるときには入力映像信号はビデオ素材である可能性が高い。
第2のフィルム判定回路53は、第1のモーションジャダー検出回路47の検出結果であるj1と、第2のモーションジャダー検出回路48の検出結果であるj2とを用いて画素単位でテレシネ素材の判定を行う。
具体的には、j2−j1に正の定数を乗じた値がフィルム判定結果であるとする。以下、第2のフィルム判定回路53の判定結果をF2と書く。
F2>0であるときには前フィールドと現フィールドが現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高く、F2<0であるときには現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高い。
混合係数発生回路54は、動画検出回路の検出結果Zを用いて混合係数k3を発生する。ここではZを単調非減少な関数で変換して得られる値がk3であるとする。
第3のフィルム判定回路55は、次式によって得られるF3の絶対値および符号を、最終的なフィルム判定結果Fとして順次走査変換回路45に出力する。
F3=(1−k3)×F1+k3×F2
k3の値はZに関して単調非減少であるから、Zの値が大きく、入力映像信号がハイブリッド素材である可能性が高いときにはF2の影響が強くなり、Zの値が小さく入力映像信号がハイブリッド素材である可能性が低いときにはF1の影響が強くなる。
順次走査変換回路45は、第1の実施の形態に係る加算器23で得られたF+jの値の代わりに、フィルム検出回路44のフィルム判定結果Fを用いることを除けば、第1の実施の形態に係る順次走査変換回路6とまったく同じ動作をする。
すなわち、セレクタ22は、フィルム判定結果Fを構成するF3の符号を用いて、F3<0のときは前フィールドの映像信号を選択し、F3≧0のときは次フィールドの映像信号を選択する。また混合回路25は、混合係数k2としてF3の絶対値を用いて補間すべき走査線上の画素値を決定する。
本第3の実施の形態は第1の実施の形態と同様の効果を持ち、かつハイブリッド素材において第1の実施の形態よりも適切な順次走査変換ができる。以下このことを説明する。
本第3の実施の形態に係る第1のフィルム判定回路52は、第1の実施の形態に係るフィルム判定回路12とほぼ同じ回路要素が用いられている。
したがって、本第3の実施の形態に係るフィルム検出回路44は任意のプルダウンシーケンスを持つテレシネ素材に対応することができ、入力がテレシネ素材とビデオ素材で頻繁に切り替わる場合にも、素早くフィルム検出結果を追随させることができる。
また、本第3の実施の形態に係る第1のモーションジャダー検出回路47および第2のモーションジャダー検出回路48は、いずれもフレーム間で動きがあり、フィールド間では静止している画素を検出している。これはテレシネ素材に特有のものであるから、フィルム検出を高い精度で行うことが可能になっている。
さらに、本第3の実施の形態では、第1のフィルム判定回路52で大域的なフィルム検出を行い、第2のフィルム判定回路53で画素単位の局所的なフィルム検出を行っているため、ハイブリッド素材が入力された場合も、表示画面領域ごとに適切な順次走査変換方法を選択することができる。
特に、本第3の実施の形態に係るフィルム判定回路51は、動画判定手段の判定結果Zに応じて大域的なフィルム検出と局所的なフィルム検出の重み付けを変化させている。入力映像信号がハイブリッド素材である可能性が高い場合には、局所的なフィルム検出の結果の影響を強くすることによって、ビデオ素材である表示画面領域の検出漏れを防ぐように動作する。
また、入力映像信号がハイブリッド素材である可能性が低い場合には、大局的なフィルム検出の結果の影響を強くすることによって、垂直高周波成分を多く含むテレシネ素材の動画領域においても、誤ってビデオ素材と判定することを防ぐように動作する。
なお、本第3の実施の形態では、第2のフィルム判定回路53にモーションジャダーj1およびj2を用いたが、j1、j2の代わりにフィールド間の動きm1、m2を用いるとしてもよい。
入力映像信号が垂直高周波成分を含んでいない場合には、m1−m2>0であるときには前フィールドと現フィールドと前フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高く、m1−m2<0であるときには現フィールドと次フィールドが同じフィルムフレームに由来するフィールド同士である可能性が高い。
[第4の実施の形態]
図23は、本発明の第4の実施の形態に係る映像信号処理装置の全体構成を示す図である。
図23において、第1の実施の形態および第3の実施の形態と同じ機能を持つ要素については前出の図と同じ番号を付し、説明を省略する。
本第4の実施の形態に係る映像信号処理装置は、第2の実施の形態と同じく、入力端子1から入力された映像信号を3フィールド遅延させる第3のフィールドメモリ27を備える。また、順次走査変換回路45はフィールドN0、N1、N2の代わりに、フィールドN1、N2、N3を用いて順次走査変換を行う点が第3の実施の形態とは異なる。
本第4の実施形態に係る映像信号処理装置は、第3の実施の形態の映像信号処理装置の構成に加えて、入力端子1から入力された映像信号がテレシネによって生成されたインターレース信号であることを判定するフィルム検出回路57、第2のフィールドメモリ4と第3のフィールドメモリ27の出力映像信号を用いて、映像のフィールド間の動きを検出する第3のフィールド動き検出回路58、および第1の積算器49と第2の積算器50の積算結果と、第2のフィールド動き検出回路32と第3のフィールド動き検出回路58の検出結果とを用いて、入力された映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定するフィルム判定回路59を有する。
これ以外の部分については、第3の実施の形態に係る映像信号処理回路と同じである。
以下では、第3のフィールド動き検出回路58が検出するフィールド間の動きをm3と書くことにする。
フィルム判定回路59は、図21に示した第3の実施の形態に係るフィルム判定回路51と同じ内部構成を持つが、第2のフィルム判定回路53が、モーションジャダーj1、j2の代わりにフィールド動きm2、m3を用いる点が異なる。
また、パターン照合回路17は、シフトレジスタ19が表すパターンと、パターンPTN1またはパターンPTN2とが合致した場合には−βではなくγを出力し、シフトレジスタ19が表すパターンと、パターンPTN3またはパターンPTN4とが合致した場合にはγではなく−βを出力するとする。これは、順次走査変換回路45で用いられる3つのフィールドが、第3の実施の形態の場合よりも1フィールドずつ遅れていることに対応するためである。
このようにして、フィルム判定回路59の判定結果Fは、フィールドN1とフィールドN2が同じフィルムフレームに由来するフィールド同士であるときには正の値となり、フィールドN2とフィールドN3が同じフィルムフレームに由来するフィールド同士であるときには負の値となる。
本第4の実施の形態に係る映像信号処理装置は、第1の積算器49と第2の積算器50の積算結果が確定するまでに1フィールド必要であることを考慮して、1フィールド以上遅延した映像信号を順次走査変換に用いるように構成されている。
第3の実施の形態では、F>0のときにフィールドN2とフィールドN3が同じフィルムフレームに由来するフィールド同士であることを検出し、ここからフィールドN0とフィールドN1が同じフィルムフレームに由来するフィールド同士であることを推定していた。
これに対して、本第4の実施の形態では、フィールドN1、N2、N3が順次走査変換に用いられるため、このような推定をする必要はなく、より確実なフィルム検出が可能になっている。
なお、第1から第4の実施の形態においては、ハードウェアによってフィルム検出および順次走査変換を行う場合について述べたが、これに限らずソフトウェアによってフィルム検出および順次走査変換を行うとしてもよい。
以上説明したように、本第1から第4の実施形態によれば、フレーム間で動きがあり、かつフィールド間では静止している画像領域を検出することによってフィルム検出を行うように構成したので、任意のプルダウンシーケンスを持つテレシネ素材を検出することが可能であり、高いフィルム検出精度とフィルム検出の即応性を両立させることができるという効果がある。
さらに、大域的な画面領域と局所的な画面領域の両方についてフィルム検出を行うように構成したので、ハイブリッド素材に対しても画面領域ごとに入力映像信号がテレシネ素材であるかビデオ素材であるかが判定することができるという効果がある。
本発明の第1の実施の形態に係る映像信号処理装置の全体構成を示す図である。 本実施形態に係るフィルム判定回路の内部構成を示す図である。 本実施形態に係る順次走査変換回路の内部構成を示す図である。 第1の実施の形態に係る映像信号処理装置の動作について説明するための第1図である。 第1の実施の形態に係る映像信号処理装置の動作について説明するための第2図である。 第1の実施の形態に係る映像信号処理装置の動作について説明するための第3図である。 第1の実施の形態に係る映像信号処理装置の動作について説明するための第4図である。 第1の実施の形態に係る映像信号処理装置の動作について説明するための第5図である。 混合係数k2と加算器の出力値F+jの関係を示す図である。 2:2プルダウンによるテレシネを表した図である。 各時刻における次フィールド、現フィールド、前フィールドの画像内容と、シフトレジスタに内蔵されている2つのレジスタの値、およびフィルム判定回路の判定結果Fの値を示す図である。 3:2プルダウンによるテレシネを表した図である。 3:2プルダウンによるテレシネ素材に対するフィルム判定回路の検出結果を示す図である。 ビデオ素材とテレシネ素材が切り替わる場合を示す図である。 図14のような入力に対するフィルム検出回路の検出結果を示す図である。 本発明の第2の実施の形態に係る映像信号処理装置の全体構成を示す図である。 本第2の実施形態に係るフィルム判定回路の内部構成を示す図である。 本第2の実施形態に係る順次走査変換回路の内部構成を示す図である。 絶対値D0とフレーム間の動きMの関係を示す図である。 本発明の第3の実施の形態に係る映像信号処理装置の全体構成を示す図である。 本第3の実施の形態に係るフィルム判定回路の内部構成を示す図である。 本第3の実施の形態に係る順次走査変換回路45の内部構成を示す図である。 本発明の第4の実施の形態に係る映像信号処理装置の全体構成を示す図である。
符号の説明
100,100A〜100C・・・映像信号処理装置、1,2・・・入力端子、3・・・第1のフィールドメモリ、4・・・第2のフィールドメモリ、5・・・フィルム検出回路、6・・・順次走査変換回路、7・・・出力端子、8・・・フレーム動き検出回路、9・・・フィールド動き検出回路、10・・・静止画判定回路、11・・・モーションジャダー検出回路、12・・・フィルム判定回路、13・・・演算器、14・・・積算器、15・・・パターン生成回路、16・・・パターンROM、17・・・パターン照合回路、18・・・識別回路、19・・・シフトレジスタ、20・・・動き検出回路、21・・・補間回路、22・・・セレクタ、23・・・加算器、24・・・混合係数発生回路、25・・・混合回路、26・・・順次走査化回路、27・・・第3のフィールドメモリ、28・・・フィルム検出回路、29・・・順次走査変換回路、30・・・フレーム動き検出回路、31・・・第1のフィールド動き検出回路、32・・・第2のフィールド動き検出回路、33・・・動画判定回路、34・・・第1のモーションジャダー検出回路、35・・・第2のモーションジャダー検出回路、36・・・フィルム判定回路、37・・・第1の閾値回路、38・・・第2の閾値回路、39・・・識別回路、40・・・動き検出回路、41・・・補間回路、42・・・セレクタ、43・・・順次走査化回路、44・・・フィルム検出回路、45・・・順次走査変換回路、46・・・静止画判定回路、47・・・第1のモーションジャダー検出回路、48・・・第2のモーションジャダー検出回路、49・・・第1の積算器、50・・・第2の積算器、51・・・フィルム判定回路、52・・・第1のフィルム判定回路、53・・・第2のフィルム判定回路、54・・・混合係数発生回路、55・・・第3のフィルム判定回路、56・・・減算器、57・・・フィルム検出回路、58・・・第3のフィールド動き検出回路、59・・・フィルム判定回路。

Claims (20)

  1. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、
    前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出するフィールド動き検出手段と、
    前記フレーム動き検出手段の検出結果と、前記フィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出するモーションジャダー検出手段と、
    少なくとも前記モーションジャダー検出手段の検出結果を用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段とを有し、
    上記フィルム判定手段は、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出装置。
  2. 前記モーションジャダー検出手段は、
    所定の変換関数を用いて、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出し、
    前記所定の変換関数は、
    前記フィールド間の動き以外の変数が一定という条件の下では、前記フィールド間の動きが0と等しいか、または前記フィールド間の動きが前記フレーム間の動きと等しいか、のいずれか一方が満たされる場合に絶対値が最大となり、
    前記フィールド間の動きが0であるときの前記所定の変換関数の絶対値、または前記フィールド間の動きが前記フレーム間の動きと等しいときの前記所定の変換関数の絶対値、の少なくともいずれか一方は、前記フレーム間の動きの大きさに対して単調非減少である
    請求項1に記載のフィルム検出装置。
  3. 前記モーションジャダー検出手段は、
    フレーム間では映像に動きが存在し、かつ、前記現フィールドと前記前フィールドとの間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することが相対的により確からしい場合と、フレーム間では映像に動きが存在し、かつ、前記現フィールドと前記次フィールドとの間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することが相対的により確からしい場合とで、検出結果の符号が異なる
    請求項1に記載のフィルム検出装置。
  4. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、
    前記現フィールドと、前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、
    前記現フィールドと、前記前フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、
    前記フレーム動き検出手段の検出結果と前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、
    前記フレーム動き検出手段の検出結果と前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、
    少なくとも前記第1のモーションジャダー検出手段の検出結果と、前記第2のモーションジャダー検出手段の検出結果とを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段とを有し、
    上記フィルム判定手段は、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    を有するフィルム検出装置。
  5. 前記第1のモーションジャダー検出手段は、
    第1の変換関数を用いて、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出し、
    前記第2のモーションジャダー検出手段は、
    第2の変換関数を用いて、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出し、
    前記第1の変換関数の絶対値は、
    前記フレーム間の動きの大きさに関して単調非減少であり、前記第1のフィールド動き検出手段で検出されたフィールド間の動きの大きさに関して単調非増加であって、
    前記第2の変換関数の絶対値は、
    前記フレーム間の動きの大きさに関して単調非減少であり、前記第2のフィールド動き検出手段で検出されたフィールド間の動きの大きさに関して単調非増加である
    請求項4に記載のフィルム検出装置。
  6. 前記フィルム判定手段は、
    前記第1のモーションジャダー検出手段の検出結果と、前記第2のモーションジャダー検出手段の検出結果との比または差に応じて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出し、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    請求項4または5に記載のフィルム検出装置。
  7. 前記モーションジャダー検出手段は、
    前記フレーム動き検出手段の検出結果と、前記フィールド動き検出手段の検出結果とを少なくとも用いて、第1の画像領域について、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する演算手段と、
    前記演算手段の演算結果を空間方向に積算することによって、前記第1の画像領域よりも相対的に大きい第2の画像領域について、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する積算手段と、を含み、
    前記フィルム判定手段は、
    前記積算手段の積算結果のみ、または前記演算手段の演算結果と前記積算手段の積算結果の両方を前記モーションジャダー検出手段の検出結果として用いる
    請求項1から6のいずれか一に記載のフィルム検出装置。
  8. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、
    前記入力映像信号を1フィールド遅延させる第1の遅延手段と、
    前記入力映像信号を2フィールド遅延させる第2の遅延手段と、
    前記入力映像信号と、前記第2の遅延手段の出力映像信号とを用いて、映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、
    前記入力映像信号と、前記第1の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、
    前記第1の遅延手段の出力映像信号と、前記第2の遅延手段の出力映像信号とを用いて映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、
    前記フレーム動き検出手段の検出結果と前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、
    前記フレーム動き検出手段の検出結果と前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、
    前記第1のモーションジャダー検出手段の検出結果を、空間方向に積算する第1の積算手段と、
    前記第2のモーションジャダー検出手段の検出結果を、空間方向に積算する第2の積算手段と、
    少なくとも前記第1の積算手段の積算結果と、前記第2の積算手段の積算結果とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1のフィルム判定手段と、
    前記第1のフィールド動き検出手段の検出結果または前記第1のモーションジャダー検出手段の検出結果のいずれか一方と、前記第2のフィールド動き検出手段の検出結果または前記第2のモーションジャダー検出手段の検出結果のいずれか一方とを少なくとも用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2のフィルム判定手段とを有し、
    上記第1および第2のフィルム判定手段は、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出装置。
  9. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出装置であって、
    前記入力映像信号を1フィールド遅延させる第1の遅延手段と、
    前記入力映像信号を2フィールド遅延させる第2の遅延手段と、
    前記入力映像信号を3フィールド遅延させる第3の遅延手段と、
    前記第1の遅延手段の出力映像信号と、前記第3の遅延手段の出力映像信号とを用いて、映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、
    前記入力映像信号と、前記第1の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第1のフィールド動き検出手段と、
    前記第1の遅延手段の出力映像信号と、前記第2の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第2のフィールド動き検出手段と、
    前記第2の遅延手段の出力映像信号と、前記第3の遅延手段の出力映像信号とを用いて、映像のフィールド間の動きを、スカラー量またはベクトル量として検出する第3のフィールド動き検出手段と、
    前記フレーム動き検出手段の検出結果と、前記第1のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第1のモーションジャダー検出手段と、
    前記フレーム動き検出手段の検出結果と、前記第2のフィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出する第2のモーションジャダー検出手段と、
    前記第1のモーションジャダー検出手段の検出結果を、空間方向に積算する第1の積算手段と、
    前記第2のモーションジャダー検出手段の検出結果を、空間方向に積算する第2の積算手段と、
    少なくとも前記第1の積算手段の積算結果と、前記第2の積算手段の積算結果とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1のフィルム判定手段と、
    少なくとも前記第2のフィールド動き検出手段の検出結果と、前記第3のフィールド動き検出手段の検出結果とを用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2のフィルム判定手段とを有し、
    上記第1および第2のフィルム判定手段は、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出装置。
  10. 前記フィルム検出装置は、
    前記フレーム動き検出手段の検出結果を用いて、映像がフレーム間で静止していることの確からしさを判定する静止画判定手段をさらに有し、
    前記フィルム判定手段は、
    前記静止画判定手段の判定結果に応じて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを変化させる
    請求項1から9のいずれか一に記載のフィルム検出装置。
  11. 前記フィルム判定手段は、
    1つ以上の前記モーションジャダー検出手段の検出結果の時系列を用いて、有限離散個のパターンを生成するパターン発生手段と、
    前記パターン発生手段で生成したパターンと照合するためのパターンを1つ以上格納するパターン格納手段と、
    前記パターン発生手段が発生したパターンと、前記パターン格納手段に格納されているパターンのいずれかとが合致したときに、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを増加させるパターン照合手段と、を含む
    請求項1から10のいずれか一に記載のフィルム検出装置。
  12. 前記フィルム判定手段は、
    1つ以上の前記モーションジャダー検出手段の検出結果の時系列と、前記静止画判定手段の判定結果の時系列とを用いて、有限離散個のパターンを生成するパターン発生手段と、
    前記パターン発生手段で生成したパターンと照合するためのパターンを1つ以上格納するパターン格納手段と、
    前記パターン発生手段が発生したパターンと、前記パターン格納手段に格納されているパターンのいずれかとが合致したときに、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを増加させるパターン照合手段と、を含む
    請求項10に記載のフィルム検出装置。
  13. 前記フィルム検出装置は、
    前記フレーム間の動きと前記フィールド間の動きを用いて、連続する2フィールドにわたって映像にフィールド間の動きが存在することの確からしさを判定する動画判定手段をさらに有し、
    前記フィルム判定手段は、
    前記動画判定手段の判定結果に応じて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを変化させる
    請求項1から12のいずれか一に記載のフィルム検出装置。
  14. インターレース信号である入力映像信号をプログレッシブ信号に変換する映像信号処理装置であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きを、スカラー量またはベクトル量として検出するフレーム動き検出手段と、
    前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きを、スカラー量またはベクトル量として検出するフィールド動き検出手段と、
    前記フレーム動き検出手段の検出結果と、前記フィールド動き検出手段の検出結果とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさを算出するモーションジャダー検出手段と、
    少なくとも前記モーションジャダー検出手段の検出結果を用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するフィルム判定手段と
    少なくとも前記フィルム判定手段の検出結果に応じて、前記入力映像信号をプログレッシブ信号に変換する方法を変化させる順次走査変換手段とを有し、
    上記フィルム判定手段は、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    映像信号処理装置。
  15. インターレース信号である入力映像信号をプログレッシブ信号に変換する映像信号処理装置であって、
    前記映像信号処理装置は、請求項から13のいずれか一に記載のフィルム検出装置と、
    前記入力映像信号をプログレッシブ信号に変換する順次走査変換手段と、を少なくとも有し、
    前記順次走査変換手段は、前記フィルム判定手段の判定結果に応じて、前記入力映像信号をプログレッシブ信号に変換する方法を変化させる
    映像信号処理装置。
  16. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、
    前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きmを、スカラー量またはベクトル量として検出するステップと、
    前記フレーム間の動きMと、前記フィールド間の動きmとを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJを算出するステップと、
    少なくとも前記確からしさJを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出する判定ステップとを含み、
    上記判定ステップでは、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出方法。
  17. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、
    前記現フィールドと前記次フィールドとの間における映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、
    前記現フィールドと前記前フィールドとの間における映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、
    前記フレーム間の動きMと前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJ1を算出するステップと、
    前記フレーム間の動きMと前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさJ2を算出するステップと、
    少なくとも前記確からしさJ1と、前記確からしさJ2とを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出するは判定ステップとを含み、
    上記判定ステップでは、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出方法。
  18. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、
    前記入力映像信号を1フィールド遅延させて1フィールド遅延信号を得るステップと、
    前記入力映像信号を2フィールド遅延させて2フィールド遅延信号を得るステップと、
    前記入力映像信号と、前記2フィールド遅延信号とを用いて、映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、
    前記入力映像信号と、前記1フィールド遅延信号とを用いて、映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、
    前記1フィールド遅延信号と、前記2フィールド遅延信号とを用いて、映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、
    前記フレーム間の動きMと前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj1を算出するステップと、
    前記フレーム間の動きMと前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj2を算出するステップと、
    前記確からしさj1を、空間方向に積算して積算値J1を得るステップと、
    前記確からしさj2を、空間方向に積算して積算値J2を得るステップと、
    少なくとも前記積算値J1と、前記積算値J2とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1の判定ステップと、
    前記フィールド間の動きm1または前記確からしさj1のいずれか一方と、前記フィールド間の動きm2または前記確からしさj2のいずれか一方とを少なくとも用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2の判定ステップとを含み、
    上記第1および第2の判定ステップでは、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出方法。
  19. 入力映像信号がテレシネによって生成されたインターレース信号であることを判別するフィルム検出方法であって、
    前記入力映像信号を1フィールド遅延させて1フィールド遅延信号を得るステップと、
    前記入力映像信号を2フィールド遅延させて2フィールド遅延信号を得るステップと、
    前記入力映像信号を3フィールド遅延させて3フィールド遅延信号を得るステップと、
    前記1フィールド遅延信号と、前記3フィールド遅延信号とを用いて、映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、
    前記入力映像信号と、前記1フィールド遅延信号とを用いて、映像のフィールド間の動きm1を、スカラー量またはベクトル量として検出するステップと、
    前記1フィールド遅延信号と、前記2フィールド遅延信号とを用いて、映像のフィールド間の動きm2を、スカラー量またはベクトル量として検出するステップと、
    前記2フィールド遅延信号と、前記3フィールド遅延信号とを用いて、映像のフィールド間の動きm3を、スカラー量またはベクトル量として検出するステップと、
    前記フレーム間の動きMと、前記フィールド間の動きm1とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj1を算出するステップと、
    前記フレーム間の動きMと、前記フィールド間の動きm2とを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出ステップであり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさj2を算出するステップと、
    前記確からしさj1を、空間方向に積算して積算値J1を得るステップと、
    前記確からしさj2を、空間方向に積算して積算値J2を得るステップと、
    少なくとも前記積算値J1と、前記積算値J2とを用いて、大域的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第1の判定ステップと、
    少なくとも前記フィールド間の動きm2と、前記フィールド間の動きm3とを用いて、前記大域的な画像領域の一部領域である局所的な画像領域について、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを判定する第2の判定ステップとを含み、
    上記第1および第2の判定ステップでは、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    フィルム検出方法。
  20. インターレース信号である入力映像信号をプログレッシブ信号に変換する映像信号処理方法であって、
    現フィールドの1フィールド前のフィールドである前フィールドと、前記現フィールドの1フィールド後のフィールドである次フィールドとの間における映像のフレーム間の動きMを、スカラー量またはベクトル量として検出するステップと、
    前記現フィールドと前記前フィールドまたは前記次フィールドとの間における映像のフィールド間の動きmを、スカラー量またはベクトル量として検出するステップと、
    前記フレーム間の動きMと、前記フィールド間の動きmとを少なくとも用いて、1つ以上の画素を含む画面の一部領域について、映像の動きにモーションジャダーが発生していることを検出する検出手段であり、フレーム間では映像に動きが存在し、かつ、フィールド間では映像が静止しているというモーションジャダー特有の動きを持つ上記画面の一部領域が存在するかを示すモーションジャダーが存在することの確からしさjを算出するステップと、
    少なくとも前記確からしさJを用いて、前記入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさを算出する判定ステップと
    少なくとも前記判定ステップの判定結果に応じて、前記入力映像信号をプログレッシブ信号に変換する方法を変化させるステップとを含み、
    上記判定ステップでは、
    モーションジャダーが存在する確からしさが高いほど、入力映像信号がテレシネによって生成されたインターレース信号であることの確からしさが高いと判定する
    映像信号処理方法。
JP2007107078A 2007-04-16 2007-04-16 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法 Expired - Fee Related JP4983362B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007107078A JP4983362B2 (ja) 2007-04-16 2007-04-16 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
US12/078,494 US20080252721A1 (en) 2007-04-16 2008-04-01 Film detection device and method, and picture signal processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007107078A JP4983362B2 (ja) 2007-04-16 2007-04-16 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法

Publications (3)

Publication Number Publication Date
JP2008270877A JP2008270877A (ja) 2008-11-06
JP2008270877A5 JP2008270877A5 (ja) 2010-02-04
JP4983362B2 true JP4983362B2 (ja) 2012-07-25

Family

ID=39853341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007107078A Expired - Fee Related JP4983362B2 (ja) 2007-04-16 2007-04-16 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法

Country Status (2)

Country Link
US (1) US20080252721A1 (ja)
JP (1) JP4983362B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI384865B (zh) * 2009-03-18 2013-02-01 Mstar Semiconductor Inc 影像處理之方法及電路
KR20110050283A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
WO2011148275A1 (en) * 2010-05-26 2011-12-01 Koninklijke Philips Electronics N.V. High volume rate 3d ultrasonic diagnostic imaging of the heart
JP5965898B2 (ja) * 2010-05-26 2016-08-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 高ボリュームレート3次元超音波診断画像化
TWI448159B (zh) * 2011-02-18 2014-08-01 Novatek Microelectronics Corp 可動視訊態樣偵測裝置與方法
JP6255751B2 (ja) * 2012-07-12 2018-01-10 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
JP6090193B2 (ja) * 2014-02-07 2017-03-08 三菱電機株式会社 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231228B (en) * 1989-04-27 1993-09-22 Sony Corp Video signal to photographic film conversion
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5267035A (en) * 1991-08-08 1993-11-30 Samsung Electronics Co., Ltd. Motion detection for video including that obtained from film
MY113223A (en) * 1994-12-29 2001-12-31 Sony Corp Processing of redundant fields in a moving picture to achive synchronized system operation
US6014182A (en) * 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
US6055018A (en) * 1997-11-04 2000-04-25 Ati Technologies, Inc. System and method for reconstructing noninterlaced captured content for display on a progressive screen
WO2000013418A1 (en) * 1998-08-26 2000-03-09 Sony Corporation Video data processor and processing method, video data encoder and encoding method
KR100495260B1 (ko) * 1999-05-12 2005-06-14 마쯔시다덴기산교 가부시키가이샤 텔레시네 영상신호 검출장치
JP4538174B2 (ja) * 2001-08-31 2010-09-08 パイオニア株式会社 映像信号のテレシネ変換方式検出装置
US7474841B2 (en) * 2003-11-21 2009-01-06 Canon Kabushiki Kaisha Image processing apparatus and its control method, and computer program and computer-readable storage medium
US7468756B2 (en) * 2004-10-05 2008-12-23 Broadcom Corporation Detection and phase lock of 2:2 and 3:2 pull-down video
JP3916637B2 (ja) * 2005-03-08 2007-05-16 三菱電機株式会社 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
US7561206B2 (en) * 2005-06-29 2009-07-14 Microsoft Corporation Detecting progressive video
US7705913B2 (en) * 2005-12-20 2010-04-27 Lsi Corporation Unified approach to film mode detection
US7612828B2 (en) * 2006-02-15 2009-11-03 Lsi Corporation Progressive video detection with aggregated block SADS
FR2901951A1 (fr) * 2006-06-06 2007-12-07 St Microelectronics Sa Detecteur de cadence par regions

Also Published As

Publication number Publication date
JP2008270877A (ja) 2008-11-06
US20080252721A1 (en) 2008-10-16

Similar Documents

Publication Publication Date Title
JP4983362B2 (ja) フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
JP3563422B2 (ja) フィルム/ビデオ検出器
US7265791B2 (en) Method and apparatus for de-interlacing video signal
CN100452832C (zh) 使用行和列向量的运动向量估计
EP1701538B1 (en) Image processing apparatus and method
JP4421508B2 (ja) 静止領域におけるフィルムモード補正方法および装置
US7453518B2 (en) Field interpolation method determination device
US20080055477A1 (en) Method and System for Motion Compensated Noise Reduction
JP2004350281A (ja) 映像信号のデインターレース方法およびデインターレース装置
JP2005318611A (ja) ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器
JP2005318576A (ja) 適応空間最新ベクトルを用いた動き検出
JP4538174B2 (ja) 映像信号のテレシネ変換方式検出装置
EP1424851B1 (en) Motion detection apparatus and method
JP3994720B2 (ja) 映像信号処理装置
JP4365344B2 (ja) フィルムモード検出装置
US8243814B2 (en) Combing artifacts detection apparatus and combing artifacts detection method
US7796189B2 (en) 2-2 pulldown signal detection device and a 2-2 pulldown signal detection method
JP2004320279A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
WO2004045210A1 (ja) リピートフィールド検出装置
US7636129B2 (en) Method and device for detecting sawtooth artifact and/or field motion
JP2004015700A (ja) プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置
JP2002335441A (ja) テレシネ映像信号検出装置
JP4356468B2 (ja) 映像信号処理装置
JP4845569B2 (ja) 信号処理装置及び信号処理方法
JP2010087754A (ja) 画質評価装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees