JP4933209B2 - 映像処理装置 - Google Patents

Description

本発明は、インターレース走査信号をプログレッシブ信号に変換する映像処理装置に関し、特に、字幕やテロップなどが合成された映像に対して高画質な走査線補間を行うことができる映像処理装置に関するものである。

現行の映像信号方式は、インターレース走査を前提としたインターレース信号方式と、プログレッシブ走査を前提としたプログレッシブ信号方式に大別される。インターレース走査とは、映像の１画面を構成する５２５本または１１２５本の走査線中、１本ずつ走査線を飛び越して走査する方式である。この方式では、１つの表示画面（１フレーム）は２回のインターレース走査により生成され、走査線が互い違いの２つの走査画面（第１および第２フィールド）により１フレームが構成される。一方、プログレッシブ走査は、走査線を１本ずつ順次に走査する方式である。

従来の映像表示装置では、放送局から送信されるインターレース信号をそのまま受像器で再現してこれを表示していたため、１ラインおきの走査線構造による表示画像の粗さやラインフリッカ妨害（画像のちらつき）等が生じて、画質低下の要因となっていた。この画質低下を軽減するためには、受像器側で送信信号に対して走査線補間を行い、プログレッシブ信号に変換して表示するのが効果的であり、この変換表示方法をＩｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ変換（ＩＰ変換）方式と呼んでいる。

このＩＰ変換の手法として様々なものが存在するが、特に最近では、表示画像の高画質化のために、フィールド間の画素データの違いから画像の動きを検出し、動画についてはフィールド内補間方式によって信号を補間し、静止画についてはフィールド間補間方式によって補間することによりラインデータを生成する、動き適応型ＩＰ変換手法が多く用いられている。

この手法では、ラインデータを生成すべきフィールド内の画像から補間した動画用補間データと、ラインを生成すべきフィールドの前後フィールドの画像から補間した静止画用補間データを、適応的に選択または混合し新たなラインの画像データを生成している。そして、この混合比を決める際に、縦縞と横縞といった特殊なパターンが表示されている領域以外の領域で、フィールド間の画素データの違いから検出された画像の動きベクトルの大小に応じて、動きベクトルが大きい時には動画用補間データの混合比を高くし、小さいときには静止画用補間データの混合比を高くする手法が提案されている。
特開平１０−１１２８４５号公報

ところが上記の方法では、例えば字幕やテロップなどのオンスクリーン表示（以下ＯＳＤ）が合成された映像に対してＩＰ変換を行う際、ＯＳＤ上の文字などの背景が動画である場合に、動画用のデータ補間が行われ、文字のエッジ部分にフィールド内補間によるフリッカやにじみを生ずるといった問題があった。ＯＳＤ状の文字部分は、背景の映像に比べ垂直周波数成分が高いため、フリッカを生ずると非常に目立ってしまい画質低下を招くことになる。

一方、このような課題を解決する手法として、ＩＰ変換後の映像に対して、別途プログレッシブに適するよう解像度変換を行ったＯＳＤを合成する方法がある。しかしながらこのようにすると、ＯＳＤの解像度変換回路が別途必要となり、高品位の垂直解像度変換を行うにはラインメモリの容量も大きくなることから、コスト的に不利となる。

そこで本発明は、上記の問題を鑑み、字幕やテロップなどのＯＳＤが合成された映像に対してＩＰ変換を行う際に、文字などのエッジ部分に画質の低下を生じない映像処理装置を提供することを目的とするものである。

本発明の映像処理装置は、インターレース信号をプログレッシブ信号に変換する映像処理装置であって、入力インターレース映像信号にオンスクリーン表示を合成するＯＳＤ合成部と、異なるフィールド間の画素データの比較により動き検出を行う動き検出部と、前記ＯＳＤ合成部でのＯＳＤ合成率と前記動き検出部での動き検出結果に応じた補間方法によって、前記インターレース映像信号のライン間に補間演算で新たな画素を生成する補間画素生成部とを有することを特徴とする。

本発明によれば、ＩＰ変換時の補間画素生成において、入力映像信号の動画情報以外に、ＯＳＤ合成率に応じたフィールド間補間が適用されるため、動画の背景にＯＳＤ表示が合成された画像であっても、文字のフリッカ等により表示画像の画質が低下することを防止することができる。

本発明の映像処理装置では、前記補間画素生成部は、補間ラインの画素を当該フィールド内の画素データから生成するフィールド内補間部と、補間ラインの画素を前後の複数フィールド間の画素データから生成するフィールド間補間部と、前記フィールド内補間部からの補間データと前記フィールド間補間部からの補間データを所定比率で混合する補間データ選択部とを有していることが好ましい。この構成によれば、動画と重複表示されたＯＳＤ表示部分に、フィールド間補間部により生成された補間画素でライン補間する際に生じる、フリッカを低減することができる。なお、前記補間データ選択部は、例えば、前記所定比率を、前記動き検出部によって検出される動き判定度と、前記ＯＳＤ合成率とに基づいて決定することができる。

また、本発明の映像処理装置では、前記補間画素生成部は、補間ラインの画素を当該フィールド内の画素データから生成するフィールド内補間部と、補間ラインの画素を前後の複数フィールド間の画素データから生成するフィールド間補間部と、前記フィールド内補間部からの補間データと前記フィールド間補間部からの補間データのいずれかを選択する補間データ選択部とを有していることが好ましい。この構成によれば、ＯＳＤ表示のフリッカをより簡単な回路構成で防止することができる。なお、前記補間データ選択部は、例えば、前記フィールド内補間部からの補間データと前記フィールド間補間部からの補間データのいずれを選択するかを、前記ＯＳＤ合成率に基づいて決定することができる。

以下、本発明の映像処理装置について、図面を参照しながら具体的な実施の形態を説明する。

（実施の形態１）
図１は、本発明に係る映像処理装置の第１の実施形態における構成を示したブロック図である。

図１に示すように、実施の形態１にかかる映像処理装置は、ＯＳＤ合成部１００、フィールド遅延部２０１、フィールド遅延部２０２、動き検出部２１０、および、補間画素生成部３００を備えている。

ＯＳＤ合成部１００は、インターレース信号である映像入力とＯＳＤ入力とを合成率αにより合成する。ここで、合成率αとは、ある画素の出力映像におけるＯＳＤ入力の度合いを示すもので、「出力映像＝α×ＯＳＤ入力＋（１−α）×入力映像（０≦α≦１）」として表されるものである。

ＯＳＤ合成部１００から出力された映像信号（０Ｆ：フィールド）は、まず、フィールド遅延部２０１によって、１フィールド遅延され（１Ｆ）、さらに、フィールド遅延部２０２によって、もう１フィールド遅延（２Ｆ）される。動き検出部２１０は、ＯＳＤ合成部１００からの出力である０Ｆの映像信号と、２フィールド遅延された、フィールド遅延部２０２からの出力とを比較して、フレーム間で画素毎に輝度差分の絶対値（フレーム差分）を求め、このフレーム差分から動き判定度Ｍを得る。ここでは、０≦Ｍ≦１とし、Ｍ＝１に近いほど動画としての度合いが大きいものとする。

補間画素生成部３００は、フィールド内補間部３０１、フィールド間補間部３０２、および、補間データ選択部３１０から構成されている。ここで、フィールド内補間部３０１には、フィールド遅延部２０１の出力である１フィールドだけ遅延したデータが入力され、この入力されたフィールド画像（１Ｆ）をラインごとに遅延させて、遅延後のラインデータを用いた補間により、ライン間に新たな画素（Ｐｍ）を生成する。これにより、動画に適したフィールド内補間方法、すなわち同一フィールド内のデータのみからプログレッシブ映像信号に必要なラインの画素データを生成することができる。一方のフィールド間補間部３０２では、ＯＳＤ合成部１００の出力であるフィールド遅延のない映像信号（０Ｆ）と、２フィールド遅延した第２のフィールド遅延部２０２からのフィールド画像（２Ｆ）とが入力され、これら２フィールドずれた画像データを用いた補間により、ライン間に新たな画素（Ｐｓ）を生成する。これにより、静止画に適したフィールド間補間が行われる。すなわち、時間的に隣接した異なるフィールド間のデータから、プログレッシブ映像信号に必要なラインの画素データを生成することができる。

なお、図２に、これらフィールド内補間方法とフィールド間補間方法による、画素データの生成の違いをイメージで表す。図２（ａ）のフィールド内補間では、図中に示すフィールド１Ｆにおけるライン１および２の画素Ｐｍを、同じフィールド内でその上下に位置する２つのラインの画像データから生成する。このため、生成された画素データに時間のずれが生じにくくなるため、動画表示の際に適切な画素の補間ができる。一方、図２（ｂ）に示すフィールド間補間では、フィールド１Ｆにおけるライン１および２の画素Ｐｓを、前後の２つのフィールド（０Ｆ、２Ｆ）の画素データから生成する。この場合は、当該画素における表示画素情報の変化が小さくなるので、フリッカなどが出にくくなる。つまり、フィールド間補間は、画素データの時間的変化の許容度が高い場合、すなわち静止画において適切な画素の補間方法である。

次に、補間画素生成部３００の補間データ選択部３１０は、フィールド内補間部３０１から入力される動画に適した補間画素Ｐｍと、フィールド間補間部３０２から入力される静止画に適した補間画素Ｐｓとを、所定の混合比Ｒｍによって混合して、出力用補間画素Ｐｏを出力する。この時、
Ｐｏ＝Ｒｍ×Ｐｍ＋（１−Ｒｍ）×Ｐｓ
と表すことができ、０≦Ｒｍ≦１の値を取る。

本実施形態において、この混合比Ｒｍは、当該画素における動き判定度ＭおよびＯＳＤ合成率αにより求め、ここでは「Ｒｍ＝Ｍ×（１−α）」とする。

このようにすることにより、例えば半透明のＯＳＤが合成された領域、すなわち、元の映像入力とＯＳＤ入力との比率が１：１の画素では、α＝０．５となるから背景の映像が動画（Ｍが１に近い値の場合）であってもＲｍが半減され、静止画（フィールド間）寄りの補間がなされることとなる。このため、フリッカ等の画質低下を防止することができる。

一方、これとは逆に、ＯＳＤ入力の度合いが低い、すなわちＯＳＤの透明度が高く合成される入力画像がよりよく認識できるような場合は、αの値が０に近づくので、ＲｍがＭによって支配されることとなり、背景が動画でＭの値が１に近い場合には動画に適したフィールド内補間よりの画像補間が行われる。このため、背景動画の二重像が目立つといった、動画補間に適さない補間方法を用いた場合に生じる表示画像の過失の低下を回避することができる。

上記、本発明の映像処理装置における画像補間の効果を、図３に示す、ＩＰ変換画像の画像イメージを用いて説明する。本画像例では、移動物体（人型オブジェクト）上にＯＳＤ(矩形領域が半透明の文字ＡＢＣＤＥ)が合成されている。ここで矩形の透明度が高い（α＝小）または本発明による補間機能がＯＦＦの場合、移動物体にかかる文字周辺は動領域となり補間ラインがフィールド内補間により生成されるため、文字の境界が垂直方向に滲み、再生時にチラツキ（フリッカ）を生ずる。一方、透明度が低い（α＝大）の場合は、補間ラインがフィールド間補間により生成されるため、文字の境界は鮮明である。このとき、移動物体は二重像（動きボケ）を生ずるものの、ＯＳＤの背面に隠れているため目立たない。

なお、上記本実施形態では、混合比Ｒｍを「Ｒｍ＝Ｍ×（１―α）」として、ＯＳＤ合成率αに応じて線形的に制御する例を示したが、これに限らず、非線形（Ｒｍ＝ｆ（Ｍ，α））に変動させても良い。例えば「Ｒｍ＝Ｍ×（１―α）²」とすれば、合成率αによるＲｍの減少度合いが大きくなり（α＝０．５でＲｍが１／４）、より静止画寄りの補間がなされる。

このように、フィールド内補間によってＯＳＤ部分の文字のフリッカが生じることによる表示画像の画質低下と、フィールド間補間によって背景の動画が二重像となってしまうという表示画像の画質低下の、いずれが顕著な問題として認識されるかは、ＯＳＤ領域におけるＯＳＤ表示の重なり具合による。従って、フィールド内補間により生成された画素情報Ｐｍと、フィールド間補間により生成された画素情報Ｐｓとの混合比制御関数ｆを、αに対して最適化することにより、表示画像のトータルの画質低下を防止することができる。

（第２の実施形態）
次に、本発明の映像処理装置の第２の実施形態について説明する。

本実施形態では、補間データ選択部３１０が、出力用補間画素Ｐｏとして、フィールド内補間画素Ｐｍとフィールド間補間画素Ｐｓのいずれか一方を選択する構成としている点が、両者を混合することを前提としてその混合率を規定する、上記第１の実施形態の構成と異なる。

例えば、ＯＳＤ合成率αが所定の閾値Ｔｓ以上であるか否かを判別し、ＯＳＤ合成率αがＴｓ以上であれば、静止画に適したフィールド間補間により生成された画素Ｐｓを補間画素として使用し、ＯＳＤ合成率αがＴｓより小さければ、動画に適したフィールド内補間により生成された画素Ｐｍを補間画素として使用するのである。

これにより、補間画素を生成する回路構成が簡略化できる。

以上、本発明の映像処理装置について実施の形態を示して説明してきたが、いずれの実施形態においても、ＯＳＤの合成率が高い場合には、より静止画に適したフィールド間補間により得られた画素によってプログレッシブ走査の画像表示を行うこととしている。したがって、例えば文字などのＯＳＤ上のオブジェクト自体に動きがある場合は、このオブジェクトが二重像となってしまう可能性がある。このような場合には、ＯＳＤの動きの有無を映像処理装置自体で検出できるようにするか、もしくは、外部から与えることにより、ＯＳＤの合成率αに関連づけた混合比Ｒｍの制御をオフして、必要以上により静止画に適したフィールド間補間により合成された画素を使用することを避けるようにすることで回避することができる。ただし、基本的には、一定以上の不透明度を持つ、すなわち一定以上の割合でＯＳＤが合成された場合には、その領域に対しては、フィールド間補間を適用すべきということができる。

本発明にかかる映像処理装置は、ＯＳＤが合成された映像に対するＩＰ変換において、画質の低下を軽減させる効果があることから、例えば、ディジタルテレビ放送を受信する映像受信装置への組込みが期待できる。

本発明は、ＯＳＤが合成された映像に対してＩＰ変換を行う際に文字などのエッジ部分に画質の低下を生じない映像処理装置として、産業上利用可能である。

本発明の実施の形態１に係る映像処理装置の構成を示すブロック図 フィールド内補間（ａ）とフィールド間補間（ｂ）による画素生成を示すイメージ図 本発明の一実施形態にかかる映像処理装置によるＩＰ変換画像のイメージ図

符号の説明

１００ ＯＳＤ合成部
２０１ フィールド遅延部
２０２ フィールド遅延部
２１０ 動き検出部
３００ 補間画素生成部
３０１ フィールド内補間部
３０２ フィールド間補間部
３１０ 補間データ選択部

Claims (1)

1. インターレース信号をプログレッシブ信号に変換する映像処理装置であって、
   インターレース信号である映像入力とＯＳＤ入力とを合成した合成信号を出力し、各画素における前記合成信号に対する前記ＯＳＤ入力の度合いを示すＯＳＤ合成率を出力するＯＳＤ合成部と、
   各画素における前記合成信号と前記合成信号を２フィールド遅延した信号との輝度差分を求め、前記輝度差分が大きい程動画としての度合いが大きいことを示す動き判定度を出力する動き検出部と、
   前記合成信号を１フィールド遅延した信号をラインごとに遅延させ、遅延後のラインデータを用いた補間によりライン間に新たな画素Ｐｍを生成するフィールド内補間部と、
   前記合成信号と前記合成信号を２フィールド遅延した信号とを用いた補間によりライン間に新たな画素Ｐｓを生成するフィールド間補間部と、
   前記動き判定度が大きい程値が大きく、前記ＯＳＤ合成率が大きい程値が小さく、値の取り得る範囲が０以上かつ１以下である混合比Ｒｍについて、１から前記混合比Ｒｍを減じた値と前記画素Ｐｓとの積と、前記混合比Ｒｍと前記画素Ｐｍとの積と、の和である出力用補間画素Ｐｏを出力する補間データ選択部と、
   を有する映像処理装置。

Images