JPWO2010092631A1 - 映像処理装置 - Google Patents

映像処理装置 Download PDF

Info

Publication number
JPWO2010092631A1
JPWO2010092631A1 JP2010550347A JP2010550347A JPWO2010092631A1 JP WO2010092631 A1 JPWO2010092631 A1 JP WO2010092631A1 JP 2010550347 A JP2010550347 A JP 2010550347A JP 2010550347 A JP2010550347 A JP 2010550347A JP WO2010092631 A1 JPWO2010092631 A1 JP WO2010092631A1
Authority
JP
Japan
Prior art keywords
osd
video
unit
field
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010550347A
Other languages
English (en)
Inventor
裕二 関口
裕二 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2010092631A1 publication Critical patent/JPWO2010092631A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

インタレース信号をプログレッシブ信号に変換する映像処理装置であって、インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部(100)と、異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部(303)と、前記OSD合成部(100)でのOSD合成場所を示すOSD合成信号(S200,S201,S202)と前記シネマ検出部(303)で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部(400)と、前記シネマ検出部(303)での検出結果と前記位相比較部(400)での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部(500)とを有する。

Description

本開示は、インタレース信号をプログレッシブ信号に変換する装置に関し、特にテレシネ映像に字幕やテロップなどのオンディスプレイ(OSD)表示を合成した場合の映像乱れを防止し、高画質なIP変換を行なうことができる映像処理装置に関する。
テレビの薄型化，大型化が進み、インタレース信号の走査線を補間してプログレッシブ信号に変換(IP変換)して表示する映像装置が増えている。IP変換の手法として様々な方法があるが、近年、異なるフィールドの映像差分を利用して映像の動きを検出し、動きを検出した画素に対しては図4に示すように同一フィールド内の画素を用いて補間ラインの映像を補間し(フィールド内補間)、静止と検出した画素に対しては図5に示すように異なるフィールドの映像を補間(フィールド間補間)する動き適応IP変換が用いられている。
また、映画などのシネマ信号をテレビやDVDなどのビデオ信号に変換(テレシネ映像に変換)するとき、NTSCでは32プルダウン，PALでは22プルダウン処理により変換している。このようなテレシネ映像をIP変換する際には、このプルダウン変換するときの規則性を検出(シネマ検出)し、プルダウンの規則性に対応するフィールドの映像を補間ラインに用いることで理想的なプログレッシブ映像を生成することができる。
字幕などのプルダウン変換時の規則性を持たない映像をテレシネ映像に合成すると字幕箇所の画質が低下してしまう。図6を用いて説明すると、テレシネ映像(#1)に字幕(#2)を合成した後の映像(#3)をプルダウンの規則性に合わせてIP変換を行うと(#4)のように字幕箇所で画質が低下してしまう。
そこで図7のように、テレシネ映像のプルダウンの規則性から映像の変化するタイミングを検出し、字幕の挿入タイミングが映像の変化するタイミングと異なるときは、遅延させた字幕と映像を合成して映像と字幕の変化タイミングを同期させた映像を用いてプルダウンの規則性を利用したIP変換を実施することにより、テレシネ映像に字幕が挿入された場合の画質低下を防止する手法が提案されている[特許文献1]。
特開2001-339637号公報(図1)
ところが上記の方法では、テロップなどのように映像が毎フィールド移動するようなOSDが挿入された場合、プルダウン規則性の映像切り替わりタイミングと一致した字幕のみOSD合成を行うため、映像の変化タイミングと一致しないテロップはOSD合成されず画質低下が発生してしまう。たとえば図7のテレシネ映像(#1)とテロップ(#2)を上記方法で合成すると、テロップ(＃2-1,#2-4,#2-6)を合成し、合成後の映像は(#5)になる。この場合、テロップ(#2-2,#2-3,#2-5,#2-7,#2-8)はOSD合成されないためテロップの画質が低下してしまう。
インタレース信号をプログレッシブ信号に変換する映像処理装置であって、インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部と、異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部と、前記OSD合成部でのOSD合成場所を示すOSD合成信号と前記シネマ検出部で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部と、前記シネマ検出部での検出結果と前記位相比較部での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部とを有する。
本発明によれば、OSD合成箇所の移動を検出し、移動箇所に対してフィールド内補間を適用するため、テレシネ映像にテロップなどの動きのあるOSDを合成した映像をIP変換する場合に画質の低下を防止することができる。
図１は第1の実施形態に係る映像処理装置の構成を示すブロック図 図２はシネマ検出部のプルダウン規則性に基づいた補間ラインとして選択する映像の遅延組み合わせと、OSD合成信号の結果と、位相比較部の出力結果との対応関係を示す表 図３は第2の実施形態に係る映像処理装置の構成を示すブロック図 図４はフィールド内補間による画素生成イメージ図 図５はフィールド間補間による画素生成イメージ図 図６は32プルダウン映像と字幕を合成したイメージ図 図７は32プルダウン映像と字幕の挿入タイミングを合わせて合成したイメージ図
本発明のさまざまな実施形態による映像処理装置では、インタレース信号をプログレッシブ信号に変換する映像処理装置であって、インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部と、異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部と、前記OSD合成部でのOSD合成場所を示すOSD合成信号と前記シネマ検出部で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部と、前記シネマ検出部での検出結果と前記位相比較部での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部とを有していることが好ましい。この構成によれば、OSD合成した映像の移動タイミングが、入力映像のプルダウンの規則性と異なる場合にOSD合成箇所の映像低下を防ぐことができる。
なお、前記補間画素生成部は、たとえば、補間ラインの画素をフィールド内の画素データから生成するフィールド内補間部と、前記シネマ検出部での検出結果であるプルダウン情報に基づいて異なるフィールドの画素を選択するフィールド間データ選択部と、前記フィールド内補間部の出力結果,または,前記フィールドデータ選択部の選択結果を選択する補間データ選択部とで構成される。
また、前記位相比較部は、たとえば、少なくとも1フィールド異なるフィールド遅延を持つOSD合成信号と比較することによりOSDの移動を検出するOSD移動検出部と、前記OSD移動検出部がOSD合成場所を移動していないと判断している箇所に対して少なくとも1フィールド異なるフィールド間の映像差分を比較する動き検出部とを有することにより、OSD合成箇所が移動していない場合においてもOSD合成箇所の映像低下を防ぐことができる。
さらに、前記シネマ検出部は、前記OSD合成率が所定の合成率以上の箇所を検出対象外にすることにより、シネマ検出の精度を向上することが可能になる。
以下に本発明の映像信号処理装置について具体的な実施の形態を説明する。
(第1の実施形態)
図1は、第1の実施形態における映像処理装置の構成を示すブロック図である。この映像処理装置は、OSD合成部100と、フィールド遅延部201,202,301,302と、シネマ検出部303と、位相比較部400と、補間画素生成部500とを備えている。
OSD合成部100は、映像入力のインタレース信号とOSD入力とを合成率αで合成する。合成率αとは、出力映像におけるOSD入力の割合を示すもので「出力映像＝α×OSD入力＋(1−α)×入力映像」として表すことができる。
OSD合成部100は、αが0より大きい箇所に対して入力映像にOSDを合成した映像信号0Fを出力する。さらにOSD合成部100は、合成率αが0より大きくOSD合成を行った画素を示すOSD合成信号S200を出力する。なお、OSD合成を行う設定は任意のOSD合成率以上の値に設定することが可能とする。
フィールド遅延部201は、OSD合成部100から出力されるOSD合成信号S200を1フィールド遅延させたOSD合成信号S201を出力する。フィールド遅延部202は、フィールド遅延部201から出力されるOSD合成信号S201を1フィールド遅延させたOSD合成信号S202を出力する。すなわちOSD合成信号S202は、OSD合成部100から出力されるOSD合成信号S200を2フィールド遅延させた信号となる。
フィールド遅延部301は、OSD合成部100から出力される映像信号0Fを1フィールド遅延させた映像信号1Fを出力する。フィールド遅延部302は、フィールド遅延部301から出力される映像信号1Fを1フィールド遅延させた映像信号2Fを出力する。すなわち映像信号2Fは、OSD合成部100から出力される映像信号0Fを2フィールド遅延させた信号となる。
シネマ検出部303は、異なるフィールドの映像を用いて入力映像のプルダウン規則性を検出する。たとえば、入力映像が32プルダウンの場合、映像信号0Fと映像信号2Fのフレーム差分の規則性は5フィールドに1回差分が小さくなる特徴がある。この規則性からプルダウンの規則性を検出する。なお、例では32プルダウンの説明を行ったが、22プルダウンや他のプルダウンの方法でもかまわない。
また、シネマ検出部303において、OSD合成信号S200,S201,S202を用いて、OSD合成を行った画素をシネマ検出の対象外にすることにより、テレシネ映像のプルダウンの規則性と異なる規則性を持つOSD合成映像をシネマ検出対象外にするようにしてもよい。これにより、シネマ検出精度が向上する。
位相比較部400は、OSDが移動しているか否かをOSD移動検出部401にて検出し、この検出結果とシネマ検出部303が出力するプルダウン情報とを用いて、OSD合成する映像とプルダウンの映像の変換するタイミングを比較する。
例を用いて説明すると、OSD移動検出部401は、OSD合成信号S200とOSD合成信号S200を1フレーム遅延させたOSD合成信号S202との比較を行い、どちらか一方にのみOSDが挿入されている箇所がある場合はOSD合成箇所が移動していると判断することができる。位相比較部400は、OSD移動検出部401のOSD合成箇所の検出結果とこのOSD合成箇所の移動するタイミングがシネマ検出部303が出力するプルダウンの規則性と一致するか比較する必要がある。
次に図2を用いて説明する。図2の表は、シネマ検出部303のプルダウン規則性に基づいた補間ラインとして選択する映像の遅延組み合わせと、OSD合成信号S200,S201,S202の結果と、位相比較部400の出力結果との対応関係を示している。
プルダウン規則性が0フィールド遅延の映像(0F)と1フィールド遅延の映像(1F)の組み合わせで1フレームの映像を生成する場合、OSD合成信号S200,S201のどちらか一方にのみOSD情報がある場合はOSDが移動していると判断し、フィールド内補間を選択する。また、プルダウン規則性が1フィールド遅延の映像(1F)と2フィールド遅延の映像(2F)の組み合わせで1フレームの映像を生成する場合においても同様で、OSD合成信号S201,S202のどちらか一方にのみOSD情報がある場合はOSDが移動していると判断し、フィールド内補間を選択する。なお、OSD合成信号を比較するときにインタレース信号であるため1フィールド遅延を比較する場合、映像の重心がずれているため、近隣の映像を用いて比較すればよい。たとえばOSD合成信号S200の場合、OSD合成信号S201はOSD合成信号S200の対象画素の上下どちらか一方にOSD情報があればOSDは移動していないとする。また、OSD合成信号S200とS202のフレーム差分を比較し、OSD合成信号S200とS202の両方にOSD合成の情報があり、OSD合成信号S201にOSD情報があれば、OSDがOSD合成信号S200,S201,S202で連続しており、さらにOSD合成信号S200,S202のOSD合成場所が一致しているため、OSDは移動していないと判断してもよい。
補間画素生成部500は、フィールド間データ選択部501と、フィールド内補間部502と、補間データ選択部503とを備えている。フィールド間データ選択部501は、シネマ検出部303のプルダウン規則性に基づいて、OSD合成後の映像データ(0F),または,2フィールド遅延した映像データ(2F)を選択し、図5に示すようなフィールド間補間を行うためのデータを出力する。フィールド内補間生成部502は、1フィールド遅延した映像データ(1F)より、図4に示すような同一フィールド内の画素データを用いるフィールド内補間のデータを出力する。
補間データ選択部503は、位相比較部400によりOSD合成箇所が移動していると判定された画素に対しては、フィールド内補間生成部502が出力するフィールド内補間データを用いてフィールド内補間を行い、それ以外の箇所については、フィールド間データ選択部501が出力するフィールド間補間データを用いてフィールド間補間(プルダウンの規則性を用いた補間)を行う。
なお、上記実施形態では、OSD合成信号S200はOSD合成部100が出力するデータの例を示したが、これに限らず、マイコンにてOSDの挿入場所を示す情報であってもかまわない。
更に、プルダウンの規則性の検出はシネマ検出部303にて判定を行なう例を示したが、これに限らず、たとえばマイコンなどでプルダウンの規則性を検出しその結果を用いてもかまわない。
以上のように本実施形態によれば、テレシネ映像のプルダウン規則性と異なるタイミングで動作するテロップのように移動するOSD，プルダウン規則性と異なるタイミングで発生消滅を行う字幕などのOSDを合成する映像をIP変換する場合において映像低下を防止することが可能になる。
(第2の実施形態)
図3は第2の実施形態における映像処理装置の構成を示すブロック図である。第1の実施形態の映像処理装置(図1)と異なる点は、位相比較部400内に動き検出部402を設けている点である。動き検出部402は、OSD合成を行った画素を示すOSD合成信号S200,S201,S202の中で少なくとも1つがOSD合成の対象になっている画素に対してOSD移動検部401がOSD合成画素が移動していないと検出した画素に対して、少なくとも1フィールド以上異なるOSD合成後の映像を比較し、映像に差分がある場合、OSD合成後の映像が動作していると判定し、補間データ選択部503にてフィールド内補間部502の出力データを選択する。
たとえば、OSD合成を行う画素の範囲が固定しており、その範囲内に入力映像のプルダウンの規則性と異なるタイミングで変化する映像が入力される場合、OSD合成の箇所が移動しないためOSD合成信号S200,S202は一致し、OSD移動検出部401は映像が移動していないと判断する。このようにOSD移動検出部401がOSDが移動していないと判断した箇所に対して動き検出部402にてOSD合成部100から出力される映像信号0Fとフィールド遅延部302から出力される映像信号2Fとの差分を計算し、差分が大きいときはOSDの映像が動いていると判断することができる。このようにOSD合成場所が移動している箇所,または,OSD合成が行われているがOSD映像に動きのある場合については補間データ選択部503でフィールド内補間部502のデータを選択することにより、テレシネ映像にOSD合成された映像の低下を防ぐことが可能になる。
なお、上記の例では映像信号0Fと2Fの差分を用いたが、他の異なるフィールド映像の組み合わせであってもかまわない。これにより、OSD合成が行われている対象画素が移動しておらず、OSDが動画の場合に対しても映像低下を防止することが可能になる。
以上のように本実施形態はテレシネ映像に字幕やテロップなどのOSD表示を合成する場所が移動しているか検出する。さらに、OSDの移動が検出されない箇所に対してもOSD合成箇所の映像の動きを検出しOSD合成箇所に動きがあるのか判断をする。このOSD合成箇所の移動タイミングとOSD合成箇所の動作タイミングがテレシネ映像のプルダウンの規則性と異なっている場合にプルダウンの規則性とは異なる方法にて補間ラインの映像を生成するため、動きのあるOSDが合成された場合であっても画質の低下を軽減することができる。
本発明は、上述の実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって規定されるべきであって、明細書に記載された詳細には限定されない。特許請求の範囲の均等範囲に属する変形や変更も全て本発明の範囲内である。
本発明の実施形態は、テレシネ信号にOSDが合成された映像に対してIP変換する場合にOSD合成領域の画質低下が発生しない映像処理装置として産業上利用可能である。本発明の映像処置装置は、OSD合成された映像に対するIP変換に対して画質の低下を軽減する効果があることから、デジタルテレビやDVDプレーヤーなどへの組み込みが期待できる。
100…OSD合成部
201,202,301,302…フィールド遅延部
303…シネマ検出部
400…位相比較部
401…OSD移動検出部
402…動き検出部
500…補間画素生成部
501…フィールド間データ選択部
502…フィールド内補間部
503…補間データ選択部
本開示は、インタレース信号をプログレッシブ信号に変換する装置に関し、特にテレシネ映像に字幕やテロップなどのオンディスプレイ(OSD)表示を合成した場合の映像乱れを防止し、高画質なIP変換を行なうことができる映像処理装置に関する。
テレビの薄型化，大型化が進み、インタレース信号の走査線を補間してプログレッシブ信号に変換(IP変換)して表示する映像装置が増えている。IP変換の手法として様々な方法があるが、近年、異なるフィールドの映像差分を利用して映像の動きを検出し、動きを検出した画素に対しては図4に示すように同一フィールド内の画素を用いて補間ラインの映像を補間し(フィールド内補間)、静止と検出した画素に対しては図5に示すように異なるフィールドの映像を補間(フィールド間補間)する動き適応IP変換が用いられている。
また、映画などのシネマ信号をテレビやDVDなどのビデオ信号に変換(テレシネ映像に変換)するとき、NTSCでは32プルダウン，PALでは22プルダウン処理により変換している。このようなテレシネ映像をIP変換する際には、このプルダウン変換するときの規則性を検出(シネマ検出)し、プルダウンの規則性に対応するフィールドの映像を補間ラインに用いることで理想的なプログレッシブ映像を生成することができる。
字幕などのプルダウン変換時の規則性を持たない映像をテレシネ映像に合成すると字幕箇所の画質が低下してしまう。図6を用いて説明すると、テレシネ映像(#1)に字幕(#2)を合成した後の映像(#3)をプルダウンの規則性に合わせてIP変換を行うと(#4)のように字幕箇所で画質が低下してしまう。
そこで図7のように、テレシネ映像のプルダウンの規則性から映像の変化するタイミングを検出し、字幕の挿入タイミングが映像の変化するタイミングと異なるときは、遅延させた字幕と映像を合成して映像と字幕の変化タイミングを同期させた映像を用いてプルダウンの規則性を利用したIP変換を実施することにより、テレシネ映像に字幕が挿入された場合の画質低下を防止する手法が提案されている[特許文献1]。
特開2001-339637号公報(図1)
ところが上記の方法では、テロップなどのように映像が毎フィールド移動するようなOSDが挿入された場合、プルダウン規則性の映像切り替わりタイミングと一致した字幕のみOSD合成を行うため、映像の変化タイミングと一致しないテロップはOSD合成されず画質低下が発生してしまう。たとえば図7のテレシネ映像(#1)とテロップ(#2)を上記方法で合成すると、テロップ(＃2-1,#2-4,#2-6)を合成し、合成後の映像は(#5)になる。この場合、テロップ(#2-2,#2-3,#2-5,#2-7,#2-8)はOSD合成されないためテロップの画質が低下してしまう。
インタレース信号をプログレッシブ信号に変換する映像処理装置であって、インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部と、異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部と、前記OSD合成部でのOSD合成場所を示すOSD合成信号と前記シネマ検出部で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部と、前記シネマ検出部での検出結果と前記位相比較部での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部とを有する。
本発明によれば、OSD合成箇所の移動を検出し、移動箇所に対してフィールド内補間を適用するため、テレシネ映像にテロップなどの動きのあるOSDを合成した映像をIP変換する場合に画質の低下を防止することができる。
第1の実施形態に係る映像処理装置の構成を示すブロック図である。 シネマ検出部のプルダウン規則性に基づいた補間ラインとして選択する映像の遅延組み合わせと、OSD合成信号の結果と、位相比較部の出力結果との対応関係を示す表である。 第2の実施形態に係る映像処理装置の構成を示すブロック図である。 フィールド内補間による画素生成イメージ図である。 フィールド間補間による画素生成イメージ図である。 32プルダウン映像と字幕を合成したイメージ図である。 32プルダウン映像と字幕の挿入タイミングを合わせて合成したイメージ図である。
本発明のさまざまな実施形態による映像処理装置では、インタレース信号をプログレッシブ信号に変換する映像処理装置であって、インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部と、異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部と、前記OSD合成部でのOSD合成場所を示すOSD合成信号と前記シネマ検出部で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部と、前記シネマ検出部での検出結果と前記位相比較部での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部とを有していることが好ましい。この構成によれば、OSD合成した映像の移動タイミングが、入力映像のプルダウンの規則性と異なる場合にOSD合成箇所の映像低下を防ぐことができる。
なお、前記補間画素生成部は、たとえば、補間ラインの画素をフィールド内の画素データから生成するフィールド内補間部と、前記シネマ検出部での検出結果であるプルダウン情報に基づいて異なるフィールドの画素を選択するフィールド間データ選択部と、前記フィールド内補間部の出力結果,または,前記フィールドデータ選択部の選択結果を選択する補間データ選択部とで構成される。
また、前記位相比較部は、たとえば、少なくとも1フィールド異なるフィールド遅延を持つOSD合成信号と比較することによりOSDの移動を検出するOSD移動検出部と、前記OSD移動検出部がOSD合成場所を移動していないと判断している箇所に対して少なくとも1フィールド異なるフィールド間の映像差分を比較する動き検出部とを有することにより、OSD合成箇所が移動していない場合においてもOSD合成箇所の映像低下を防ぐことができる。
さらに、前記シネマ検出部は、前記OSD合成率が所定の合成率以上の箇所を検出対象外にすることにより、シネマ検出の精度を向上することが可能になる。
以下に本発明の映像信号処理装置について具体的な実施の形態を説明する。
(第1の実施形態)
図1は、第1の実施形態における映像処理装置の構成を示すブロック図である。この映像処理装置は、OSD合成部100と、フィールド遅延部201,202,301,302と、シネマ検出部303と、位相比較部400と、補間画素生成部500とを備えている。
OSD合成部100は、映像入力のインタレース信号とOSD入力とを合成率αで合成する。合成率αとは、出力映像におけるOSD入力の割合を示すもので「出力映像＝α×OSD入力＋(1−α)×入力映像」として表すことができる。
OSD合成部100は、αが0より大きい箇所に対して入力映像にOSDを合成した映像信号0Fを出力する。さらにOSD合成部100は、合成率αが0より大きくOSD合成を行った画素を示すOSD合成信号S200を出力する。なお、OSD合成を行う設定は任意のOSD合成率以上の値に設定することが可能とする。
フィールド遅延部201は、OSD合成部100から出力されるOSD合成信号S200を1フィールド遅延させたOSD合成信号S201を出力する。フィールド遅延部202は、フィールド遅延部201から出力されるOSD合成信号S201を1フィールド遅延させたOSD合成信号S202を出力する。すなわちOSD合成信号S202は、OSD合成部100から出力されるOSD合成信号S200を2フィールド遅延させた信号となる。
フィールド遅延部301は、OSD合成部100から出力される映像信号0Fを1フィールド遅延させた映像信号1Fを出力する。フィールド遅延部302は、フィールド遅延部301から出力される映像信号1Fを1フィールド遅延させた映像信号2Fを出力する。すなわち映像信号2Fは、OSD合成部100から出力される映像信号0Fを2フィールド遅延させた信号となる。
シネマ検出部303は、異なるフィールドの映像を用いて入力映像のプルダウン規則性を検出する。たとえば、入力映像が32プルダウンの場合、映像信号0Fと映像信号2Fのフレーム差分の規則性は5フィールドに1回差分が小さくなる特徴がある。この規則性からプルダウンの規則性を検出する。なお、例では32プルダウンの説明を行ったが、22プルダウンや他のプルダウンの方法でもかまわない。
また、シネマ検出部303において、OSD合成信号S200,S201,S202を用いて、OSD合成を行った画素をシネマ検出の対象外にすることにより、テレシネ映像のプルダウンの規則性と異なる規則性を持つOSD合成映像をシネマ検出対象外にするようにしてもよい。これにより、シネマ検出精度が向上する。
位相比較部400は、OSDが移動しているか否かをOSD移動検出部401にて検出し、この検出結果とシネマ検出部303が出力するプルダウン情報とを用いて、OSD合成する映像とプルダウンの映像の変換するタイミングを比較する。
例を用いて説明すると、OSD移動検出部401は、OSD合成信号S200とOSD合成信号S200を1フレーム遅延させたOSD合成信号S202との比較を行い、どちらか一方にのみOSDが挿入されている箇所がある場合はOSD合成箇所が移動していると判断することができる。位相比較部400は、OSD移動検出部401のOSD合成箇所の検出結果とこのOSD合成箇所の移動するタイミングがシネマ検出部303が出力するプルダウンの規則性と一致するか比較する必要がある。
次に図2を用いて説明する。図2の表は、シネマ検出部303のプルダウン規則性に基づいた補間ラインとして選択する映像の遅延組み合わせと、OSD合成信号S200,S201,S202の結果と、位相比較部400の出力結果との対応関係を示している。
プルダウン規則性が0フィールド遅延の映像(0F)と1フィールド遅延の映像(1F)の組み合わせで1フレームの映像を生成する場合、OSD合成信号S200,S201のどちらか一方にのみOSD情報がある場合はOSDが移動していると判断し、フィールド内補間を選択する。また、プルダウン規則性が1フィールド遅延の映像(1F)と2フィールド遅延の映像(2F)の組み合わせで1フレームの映像を生成する場合においても同様で、OSD合成信号S201,S202のどちらか一方にのみOSD情報がある場合はOSDが移動していると判断し、フィールド内補間を選択する。なお、OSD合成信号を比較するときにインタレース信号であるため1フィールド遅延を比較する場合、映像の重心がずれているため、近隣の映像を用いて比較すればよい。たとえばOSD合成信号S200の場合、OSD合成信号S201はOSD合成信号S200の対象画素の上下どちらか一方にOSD情報があればOSDは移動していないとする。また、OSD合成信号S200とS202のフレーム差分を比較し、OSD合成信号S200とS202の両方にOSD合成の情報があり、OSD合成信号S201にOSD情報があれば、OSDがOSD合成信号S200,S201,S202で連続しており、さらにOSD合成信号S200,S202のOSD合成場所が一致しているため、OSDは移動していないと判断してもよい。
補間画素生成部500は、フィールド間データ選択部501と、フィールド内補間部502と、補間データ選択部503とを備えている。フィールド間データ選択部501は、シネマ検出部303のプルダウン規則性に基づいて、OSD合成後の映像データ(0F),または,2フィールド遅延した映像データ(2F)を選択し、図5に示すようなフィールド間補間を行うためのデータを出力する。フィールド内補間生成部502は、1フィールド遅延した映像データ(1F)より、図4に示すような同一フィールド内の画素データを用いるフィールド内補間のデータを出力する。
補間データ選択部503は、位相比較部400によりOSD合成箇所が移動していると判定された画素に対しては、フィールド内補間生成部502が出力するフィールド内補間データを用いてフィールド内補間を行い、それ以外の箇所については、フィールド間データ選択部501が出力するフィールド間補間データを用いてフィールド間補間(プルダウンの規則性を用いた補間)を行う。
なお、上記実施形態では、OSD合成信号S200はOSD合成部100が出力するデータの例を示したが、これに限らず、マイコンにてOSDの挿入場所を示す情報であってもかまわない。
更に、プルダウンの規則性の検出はシネマ検出部303にて判定を行なう例を示したが、これに限らず、たとえばマイコンなどでプルダウンの規則性を検出しその結果を用いてもかまわない。
以上のように本実施形態によれば、テレシネ映像のプルダウン規則性と異なるタイミングで動作するテロップのように移動するOSD，プルダウン規則性と異なるタイミングで発生消滅を行う字幕などのOSDを合成する映像をIP変換する場合において映像低下を防止することが可能になる。
(第2の実施形態)
図3は第2の実施形態における映像処理装置の構成を示すブロック図である。第1の実施形態の映像処理装置(図1)と異なる点は、位相比較部400内に動き検出部402を設けている点である。動き検出部402は、OSD合成を行った画素を示すOSD合成信号S200,S201,S202の中で少なくとも1つがOSD合成の対象になっている画素に対してOSD移動検部401がOSD合成画素が移動していないと検出した画素に対して、少なくとも1フィールド以上異なるOSD合成後の映像を比較し、映像に差分がある場合、OSD合成後の映像が動作していると判定し、補間データ選択部503にてフィールド内補間部502の出力データを選択する。
たとえば、OSD合成を行う画素の範囲が固定しており、その範囲内に入力映像のプルダウンの規則性と異なるタイミングで変化する映像が入力される場合、OSD合成の箇所が移動しないためOSD合成信号S200,S202は一致し、OSD移動検出部401は映像が移動していないと判断する。このようにOSD移動検出部401がOSDが移動していないと判断した箇所に対して動き検出部402にてOSD合成部100から出力される映像信号0Fとフィールド遅延部302から出力される映像信号2Fとの差分を計算し、差分が大きいときはOSDの映像が動いていると判断することができる。このようにOSD合成場所が移動している箇所,または,OSD合成が行われているがOSD映像に動きのある場合については補間データ選択部503でフィールド内補間部502のデータを選択することにより、テレシネ映像にOSD合成された映像の低下を防ぐことが可能になる。
なお、上記の例では映像信号0Fと2Fの差分を用いたが、他の異なるフィールド映像の組み合わせであってもかまわない。これにより、OSD合成が行われている対象画素が移動しておらず、OSDが動画の場合に対しても映像低下を防止することが可能になる。
以上のように本実施形態はテレシネ映像に字幕やテロップなどのOSD表示を合成する場所が移動しているか検出する。さらに、OSDの移動が検出されない箇所に対してもOSD合成箇所の映像の動きを検出しOSD合成箇所に動きがあるのか判断をする。このOSD合成箇所の移動タイミングとOSD合成箇所の動作タイミングがテレシネ映像のプルダウンの規則性と異なっている場合にプルダウンの規則性とは異なる方法にて補間ラインの映像を生成するため、動きのあるOSDが合成された場合であっても画質の低下を軽減することができる。
本発明は、上述の実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって規定されるべきであって、明細書に記載された詳細には限定されない。特許請求の範囲の均等範囲に属する変形や変更も全て本発明の範囲内である。
本発明の実施形態は、テレシネ信号にOSDが合成された映像に対してIP変換する場合にOSD合成領域の画質低下が発生しない映像処理装置として産業上利用可能である。本発明の映像処置装置は、OSD合成された映像に対するIP変換に対して画質の低下を軽減する効果があることから、デジタルテレビやDVDプレーヤーなどへの組み込みが期待できる。
100…OSD合成部
201,202,301,302…フィールド遅延部
303…シネマ検出部
400…位相比較部
401…OSD移動検出部
402…動き検出部
500…補間画素生成部
501…フィールド間データ選択部
502…フィールド内補間部
503…補間データ選択部

Claims (6)

  1. インタレース信号をプログレッシブ信号に変換する映像処理装置であって、
    インタレース信号に字幕やテロップなどのOSD表示を合成するOSD合成部と、
    異なるフィールド間の映像と比較してプルダウンの規則性を検出するシネマ検出部と、
    前記OSD合成部でのOSD合成場所を示すOSD合成信号と前記シネマ検出部で検出されたプルダウン規則性とに基づいて前記OSD表示とシネマ映像の切り替わりタイミングを比較する位相比較部と、
    前記シネマ検出部での検出結果と前記位相比較部での比較結果とに応じた補間方法によって前記インタレース信号のライン間に新たな画素を生成する補間画素生成部と、
    を有する、
    映像処理装置。
  2. 請求項１において、
    前記補間画素生成部は、
    補間ラインの画素をフィールド内の画素データから生成するフィールド内補間部と、
    前記シネマ検出部での検出結果であるプルダウン情報に基づいて異なるフィールドの画素を選択するフィールド間データ選択部と、
    前記フィールド内補間部の出力結果,または,前記フィールドデータ選択部の選択結果を選択する補間データ選択部と、
    を有する、
    映像処理装置。
  3. 請求項１において、
    前記補間データ選択部は、
    前記位相比較部の比較結果に基づいて選択する、
    映像処理装置。
  4. 請求項１において、
    前記位相比較部は、
    少なくとも1フィールド異なるフィールド遅延を持つOSD合成信号と比較することによりOSDの移動を検出するOSD移動検出部を有する、
    映像処理装置。
  5. 請求項４において、
    前記位相比較部は、
    前記OSD移動検出部がOSD合成場所を移動していないと判断している箇所に対して少なくとも1フィールド異なるフィールド間の映像差分を比較する動き検出部を有する、
    映像処理装置。
  6. 請求項１において、
    前記シネマ検出部は、
    前記OSD合成場所をシネマ検出対象外にする、
    映像処理装置。
JP2010550347A 2009-02-12 2009-08-06 映像処理装置 Withdrawn JPWO2010092631A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009029489 2009-02-12
JP2009029489 2009-02-12
PCT/JP2009/003777 WO2010092631A1 (ja) 2009-02-12 2009-08-06 映像処理装置

Publications (1)

Publication Number Publication Date
JPWO2010092631A1 true JPWO2010092631A1 (ja) 2012-08-16

Family

ID=42561485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010550347A Withdrawn JPWO2010092631A1 (ja) 2009-02-12 2009-08-06 映像処理装置

Country Status (4)

Country Link
US (1) US20110298977A1 (ja)
JP (1) JPWO2010092631A1 (ja)
CN (1) CN102308576A (ja)
WO (1) WO2010092631A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150296101A1 (en) * 2014-04-09 2015-10-15 Tao Han Universal Film mode detection for interlaced video stream
GB2553785A (en) * 2016-09-13 2018-03-21 Sony Corp A decoder, encoder, computer program and method
JP2023167637A (ja) * 2022-05-12 2023-11-24 アルプスアルパイン株式会社 表示装置および表示制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339637A (ja) * 2000-05-25 2001-12-07 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2002057993A (ja) * 2000-08-09 2002-02-22 Nec Corp インタレース・プログレッシブ変換装置、インタレース・プログレッシブ変換方法及び記録媒体
EP1441520A4 (en) * 2001-11-02 2009-11-11 Panasonic Corp SCAN CONVERSION DEVICE
JP2004032234A (ja) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd 画像表示装置
KR20040055059A (ko) * 2002-12-20 2004-06-26 삼성전자주식회사 영상포맷의 변환장치 및 방법
JP3916637B2 (ja) * 2005-03-08 2007-05-16 三菱電機株式会社 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
JP2007074439A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 映像処理装置

Also Published As

Publication number Publication date
CN102308576A (zh) 2012-01-04
US20110298977A1 (en) 2011-12-08
WO2010092631A1 (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
US6577345B1 (en) Deinterlacing method and apparatus based on motion-compensated interpolation and edge-directional interpolation
US7212246B2 (en) Image signal format detection apparatus and method
JP4933209B2 (ja) 映像処理装置
JP2001285810A (ja) 動きベクトルを算出するための方法および装置
JP2005318612A (ja) ブロックモード適応動き補償
JP2005175671A (ja) ノイズ低減回路及び方法
JP4772562B2 (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
JP4510874B2 (ja) 合成映像検出装置
JP2002057993A (ja) インタレース・プログレッシブ変換装置、インタレース・プログレッシブ変換方法及び記録媒体
US20140036148A1 (en) Apparatus and method for converting frame rate of video signal, and video processing apparatus using the same
WO2010092631A1 (ja) 映像処理装置
US8203650B2 (en) Pull-down signal detecting apparatus, pull-down signal detecting method, and video-signal converting apparatus
JP2005318613A (ja) 状態情報訂正方法、動き補償画像処理方法及び画像状態情報訂正器
JP5241632B2 (ja) 画像処理回路および画像処理方法
JP2007074439A (ja) 映像処理装置
JP4801678B2 (ja) 色差信号ｉｐ変換方法
JP2008160773A (ja) 順次走査変換装置及び順次走査変換方法
US20100123825A1 (en) Video signal processing device and video signal processing method
JP5172999B2 (ja) 映像信号処理装置及び画像表示装置
US20100103313A1 (en) Signal processor and signal processing method
JP2009159321A (ja) 補間処理装置、補間処理方法及び映像表示装置
WO2006035521A1 (ja) 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
TWI412268B (zh) 水平移動字幕的去交錯方法
JP4346327B2 (ja) 順次走査変換装置及び順次走査変換方法
TWI500316B (zh) 水平移動字幕的去交錯方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120710

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120718

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20121005