JP4207705B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、インターレース画像の動きを検出し、その結果に応じた補間方法によりノンインターレース画像とするために、インターレース画像のライン間に新たなラインを補完するデータを生成する画像処理装置と画像処理方法とに関するものである。

現行のテレビジョン信号方式は、インターレース走査を前提としたインターレース信号方式と、ノンインターレース走査を前提としたノンインターレース信号方式とに大別される。インターレース走査とは、飛び越し走査とも呼ばれ、テレビジョン画像の１画面を構成する５２５本または１１２５本の走査線中、１本ずつ走査線を飛び越して走査する方式である。この方式では、１つの表示画面（１フレーム）は２回のインターレース走査により生成され、走査線が互い違いの２つの走査画面（第１および第２フィールド）により１フレームが構成される。一方、ノンインターレース走査は飛び越し走査ではなく、走査線１本ずつ順次に走査する方法である。

画像表示装置では、たとえば動画中の一部に別の静止画を表示させる場合、静止画でちらつきを抑え、かつ高画質化するために、インターレース信号をノンインターレース信号に変換して静止画像を表示させる必要がある。この変換はＩＰ(Interlace-Progressive)変換とも呼ばれており、多画面表示のためのＩＰ変換機能を有する画像表示装置が知られている。以下、インターレースとノンインターレースの変換をＩＰ変換という呼び方で統一して用いる。

また、画像表示パネルの種類によって、とくに自発光のＰＤＰ(Plasma Display Panel)やＬＥＤ(Light Emitting Diode)を用いた画像表示パネルなどのように、ノンインターレースのプログレッシブ信号により駆動されるものがあり、これらの画像表示パネルもＩＰ変換機能を有している。

ＩＰ変換の手法はさまざまなものが存在するが、とくに最近では高画質化のために、フィールド間の画素データの違いから画像の動きを検出して、動画はフィールド内補間、静止画はフィールド間補間を行うことにより画像の種類（動画か静止画か）に応じて適応的にラインデータを生成する動き適応型ＩＰ変換手法が多く用いられている。この手法では、ラインデータを生成すべきフィールド内の画像から補間し動画に適した画像データ（以下、動画用補間データという）と、ラインを生成すべきフィールドを含む２つのフィールド間の画像から補間し静止画に適した画像データ（以下、静止画補間データという）とを、適応的に混合して新たなラインの画像データを生成している。その混合比を決める際に、補間する画素の前後フィールドのフレーム差分をもとに、フレーム差分が大きいときは動画用補間データの混合比を高くし、小さいときは静止画用補間データの混合比を高くする手法がとられている。

この動き適応型ＩＰ変換の方法では、混合比を決める際に、動画寄りの判定（すなわち、動画用補間データの混合比を高くするとの判定）をすれば、動画用補間が同じフィールド内での処理であるため画面に大きな破綻は起きない。これに対し、動画を誤って静止画と判定すると、動きに応じて異なったデータとなった２枚のフィールドから１枚の画面を作成することになることから、像の輪郭がギザギザとなり、あるいは横筋が目立ち、ひどいときは画像が２重に見えるなど絵として破綻してしまう。そこで、従来の動き適応型ＩＰ変換では、動画寄りの判定を行う傾向になっていた。
しかし、静止画を正しく静止画と判定しないと垂直解像度が高い静止画像が生成できないことから、動画寄りの判定を行う従来の動き適応型ＩＰ変換では、静止画の垂直解像度を犠牲にして絵としての破綻を防止していた。

この基本的なＩＰ変換方法を発展させて、隣接した２フィールドだけでなく、たとえば６フィールドとさらに多くのフィールドの情報を用いて、補間する画素の時間的あるいは空間的に異なる画素の情報を反映させるＩＰ変換方法が提案されている（たとえば、特許文献１参照）。
この特許文献１に記載された方法で時間的に異なる多くの画素情報を反映させる方法としては、たとえば、現フィールドと２フィールド遅延データとの差分、１フィールド遅延データと３フィールド遅延データとの差分、２フィールド遅延データと６フィールド遅延データとの差分、現フィールド遅延データと６フィールド遅延データとの差分といった広範で複雑に組み合わせたフィールド差分を計算する。この各差分を、あらかじめ決められたしきい値と比較してフラグを立て、得られたフラグデータの論理和を算出し、このフラグデータの論理和によって動画と静止画の混合比を決めている。また、空間的に異なる画素の情報を用いる場合としては、特許文献１に記載されているように、補間したい画素の上下合わせて４ラインで補間演算を行う場合などが、これにあたる。

これらの方法では、補間画素の時間的あるいは空間的に異なる画素の情報を反映させて混合比を決定することから、たとえば、周期的なパターンがその周期にほぼ適合した速さで動く場合に、ある時間間隔でみるとミクロ的にはデータがほとんど変化しないことから静止画と誤検出がされやすい動画部分に対して確実に「動画である」との検出がなされる。また、たとえば、アルファベットなどの文字（テロップ）が画面内を移動する場合でも、一部の画素で動画を静止画と誤って検出されることが減る。よって、この特許文献１に記載されたＩＰ変換方法を用いれば、動画が静止画と誤って検出され、画像のエッジがギザギザに見えるなどの画質劣化が防止できる。

ところが、この特許文献１に記載されたＩＰ変換方法では、動画と静止画の判定に参照するフィールドが多く、大容量のフィールドメモリが必要となりコストがかかる、また、処理も複雑で高速な処理装置が必要となるといった不利益がある。

また、たとえば、ＴＶ番組においてカメラで撮影された動画に対し、ＰＣ（パーソナルコンピュータ）などで作成され静止したテロップが重ねて表示される場合に、余りに広い範囲の周辺画素あるいは多くのフィールドを参照すると、このような広範な検出結果の影響がマイナスの効果として顕れる場合がある。つまり、同じデータが表示されるべき静止画（テロップ）のエッジ部分で、周囲が動画であるため必要以上に動画寄りの判定がなされる可能性がある。この場合、静止したテロップのエッジ部分だけが他のテロップ部分よりくっきりと見えたり、逆にぼやけて見えたりすることがある。テロップは、背景の動画像に比べると水平および垂直の方向の周波数成分が高いのでエッジがぼやけたりすると非常に目立つことから、この意味で画質が低下する。
また、４：３の画面を１６：９の画像に変換する際に、有効画面領域の上下に黒帯を付けて表示する場合、黒帯と有効画面領域の境界で、上記と同じ理由によりエッジがはっきりしたり、ぼやけたりすることがある。

一方、背景が動画である静止画のエッジ部分を目立たなくする方法として、静止画と動画の境界を判定する処理を含むＩＰ変換方法が知られている（たとえば、特許文献２）。
この方法では、動き検出の結果から、現ライン、１ライン前の出力および１ライン後の出力を用いて３ラインとも動きあり、または、３ラインとも動きなし以外の場合、すなわち、この３ライン内で動きありと無しの画素が隣り合わせる場合、動画と静止画の境界ありと判断する。この境界判定の結果と、動き検出の結果が矛盾する箇所がなくなるようにラインデータの置き換えを行う。

この特許文献２に記載されたＩＰ変換方法は、大容量のフィールドメモリを用いることなく、背景が動画である静止画のエッジ部分を目立たなくすることができるという点では優れた方法である。
しかし、この特許文献２に記載された方法では、動きの有無の判定が、現ラインと、その時間的に１ライン分前後したラインの動きの判断だけでなされている。このため、動きの有無の判定に時間的に広範な画素情報が反映されないことから、動きの有無の判断が誤ってなされる可能性がある。この場合、動画と静止画の境界に段差ができ、ひどいときにはテロップ等の静止画の輪郭がギザギザになるなどの不都合が生じる。特許文献２に記載された方法は、この点で改善の余地がある。
特開２００２−１８５９３３号公報 特許第３３４７２３４号公報

解決しようとする問題点は、上記特許文献２の課題、すなわち、背景の動画とテロップ等の静止画の境界部分で、その動きの有無が誤って判定されることがあり、そのため動画と静止画の境界の検出精度が高くできず、静止画の輪郭がぼやける等の画質障害が生じることである。本発明は、この課題を、大容量のフィールドメモリ等を用いることなく簡単に改善するものである。

本発明にかかる画像処理装置は、インターレース画像をノンインターレース画像に変換する画像処理装置であって、インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出部と、当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなラインのデータを作成する画素データ補間部と、前記動き検出部からの動き検出の結果で静止画と連続して判断された回数を示す履歴値を画素ごとに生成する履歴値生成部と、を有し、前記画素データ補間部は、前記動き検出の結果にもとづいて同一フィールド内の複数の画素データを用いた補間により前記インターレース画像のライン間に新たなデータを作成する際、当該補間時にデータを用いる複数の画素の前記履歴値を参照し、前記同一フィールド内で履歴値の差が一定以上の隣接した２画素が検出されたときは、当該２画素の一方のデータを２画素間に拡張して配置する。

本発明にかかる画像処理方法は、インターレース画像をノンインターレース画像に変換する画像処理方法であって、インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出ステップと、当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなラインのデータを作成する画素データの補間ステップと、前記動き検出の結果で静止画と連続して判断された回数を示す履歴値を画素ごとに生成する履歴値生成ステップと、を有し、
前記画素データの補間ステップでは、前記動き検出の結果にもとづいて同一フィールド内の複数の画素データを用いた補間により前記インターレース画像のライン間に新たなデータを作成する際、当該補間時にデータを用いる複数の画素の前記履歴値を参照し、前記同一フィールド内で履歴値の差が一定以上の隣接した２画素が検出されたときは、当該２画素の一方のデータを２画素間に拡張して配置する。

本発明では、好適に、前記画素データ補間部（または、画素データの補間ステップにおいて）は、前記２画素の履歴値に加え、当該２画素が属するフィールドに隣接するフィールド内の画素であって、新たにデータを作成しようとする画素に対応した画素の前記履歴値を参照し、当該参照の結果に応じて、前記データを拡張して配置する画素を前記２画素から一意に決定する。
また、好適に、前記画素データ補間部は、フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間部と、前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間部と、前記フィールド内補間部からの補間データと、前記フィールド間補間部からの補間データとを所定の比率で混合する画素データ混合部と、前記動き検出部の検出結果と前記履歴値を入力し、検出結果により決まる混合比を、前記履歴値が大きいほどフィールド間補間部からの補間データの比率が高まるように変化させる混合比設定部と、を有し、前記フィールド内補間部は、前記履歴値生成部から前記履歴値を入力し、前記２画素が検出されたときに、当該２画素の一方のデータを２画素間に拡張して配置する処理を実行する。

本発明では、インターレースの映像信号が動き検出部に（あるいは、動き検出ステップで）入力されると、たとえばフレーム間の画素データの比較により動き検出が実行される。動き検出で画素データに差がないあるいは差が小さい場合、静止画と判断され、差が大きい場合、動画と判断される。履歴値生成部（あるいは、履歴値生成ステップ）では、この動き検出結果を入力し、連続して静止画と判断される回数である履歴値を画素ごとに生成する。画素データ補間部（あるいは、補間ステップで）は、この生成した履歴値に応じて、データを新たに作成すべき画素の補間方法が決定される。より詳細に、画素データ補間部が、動画に適合したフィールド内補間部と、静止画に適合したフィールド間補間部と、両補間部の出力を所定の比率で混合する画素データ混合部と、動き検出の結果に応じて画素データ混合部の混合比を設定する混合比設定部とを有する。フィールド内補間部に、画素データと前記履歴値が入力される。フィールド内補間部は、補間時にデータを用いる複数の画素の履歴値を参照し、同一フィールド内で隣接した画素の履歴値の差が一定以上あるか否かを調べる。この履歴値の差が大きい２画素が検出されたときは、当該２画素の一方のデータを２画素間に拡張して配置する。これを各ラインで繰り返すことにより、ノンインターレース画像とするためのラインデータが生成される。

このような画像処理では、周囲が動画であるテロップなどの静止画のエッジ部分では、周辺の画素情報は反映されずに、当該画素の履歴値のみが判断材料となるため、当該画素での履歴値はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。
また、フィールド内補間の場合、履歴値が大きい２画素のうち履歴値が小さい画素が動画側境界、履歴値が大きい画素が静止画側境界を構成する。この境界判別は、履歴値を用いているため、一方は動きがあり、他方は動きがない２画素であっても、そのような状態が続かない場合は、履歴値の差が大きくならないので境界と判断されない。したがって、境界の判定精度が高く、テロップなどの輪郭が正しく表示される。

本発明にかかる画像処理装置および画像処理方法は、テロップなどの静止画の背景が動画である場合に、静止画のエッジ部分が目立ったり、逆にぼやけたりすることがない。そのうえ、静止画と動画の境界の検出精度が高いため、静止画の輪郭に段差ができる、あるいはギザギザになるなどの不具合がない。しかも、本発明では、動画と静止画の境界の判別精度を高めるために必要な情報が、大容量なフィールドメモリを用いることなく生成できる。つまり、本発明では静止画であるか動画であるかの情報として１ビットからなるデータを数桁ならべた履歴値を、画素ごとに生成させるだけでよい。このため、画像処理装置の規模およびコストも抑制されたものとなり、また、画像処理方法が複雑でなく、処理速度が実施化への制限要因となりにくい。

以下、本発明に係る画像処理装置および画像処理方法の実施の形態を、図面を参照して説明する。この画像処理装置は、動き適応型ＩＰ変換機能を有した装置あるいは集積回路（ＩＣ）として実現される。

図１に、本発明の実施の形態にかかる画像処理装置のブロック図を示す。
図１に示す画像処理装置１は、大別すると、フィールド遅延部２、フレーム差分演算部３、画素データ補間部４、および、静止画の履歴値生成部５から構成されている。

フィールド遅延部２は、入力したフィールド画面Ｐｉ（０）を１フィールド遅延させて出力する第１のフィールド遅延部２１と、第１のフィールド遅延部２１から入力した１フィールド（１Ｆ）遅延後の画面Ｐｉ（＋Ｆ）をさらに１フィールド遅延させる第２のフィールド遅延部２２と、を有する。第２のフィールド遅延部２２からは２フィールド（２Ｆ）、すなわち１フレームだけ遅延されたフィールド画面Ｐｉ（＋２Ｆ）が出力される。
ここで１フィールドの表示時間（または時間軸上でのフィールド画面間隔）を「Ｆ」で表し、位相が進んでいることを「＋」、位相が遅れていることを「−」の符号で示す。また、現時点を「０」で表記する。図１に示す状態では、フィールド画像Ｆｉ（０）が入力されている時（現時点）において、それより１フィールド表示時間（以下、単に１Ｆという）だけ前に第１のフィールド遅延部２１に入力され、現時点より１Ｆだけ位相が進んだ隣のフィールド画面Ｐｉ（＋Ｆ）が第１のフィールド遅延部２１から出力されている。また、２フィールド表示時間（以下、単に２Ｆという）だけ現時点より前に第１のフィールド遅延部２１に入力され、２Ｆだけ位相が進んださらに隣のフィールド画面Ｐｉ（＋２Ｆ）が第２のフィールド遅延部２２から出力されている。

この３つのフィールド画面Ｐｉ（０）、Ｐｉ（＋Ｆ）、Ｐｉ（＋２Ｆ）の位置関係を、図２に示している。図２は、画面の２次元空間に時間軸を導入して３次元的に示すものであり、時間軸を「→ｔ」により示している。また図３〜図５に、図２に示す正面Ａの側から３画面の位置関係を見た図を示す。
インターレース表示画面は、絵として完成された画面（１フレーム）を２回の飛び越し走査を経て表示することは先に述べたが、図２において、第１回目の走査による第１フィールド画面に属する画素（あるいは画素データ）を白丸で表示し、第２回目の走査による第２フィールド画面に属する画素（あるいは画素データ）を黒丸で表示しているものとする。この場合、現時点の入力画面Ｐｉ（０）と、これより１Ｆだけ位相が進んだ画面Ｐｉ（＋Ｆ）との組み合わせで１フレームが構成され、そのさらに位相が進んだ隣の画像の組、すなわちＰｉ（＋２Ｆ）と不図示のＰｉ（＋３Ｆ）とにより他の１フレームが構成される。図３に示すように、画素を黒丸で示した第２フィールド画面Ｐｉ（＋Ｆ）と、その両側の第１フィールド画面Ｐｉ（０）およびＰｉ（＋２Ｆ）とは、１ライン走査間隔Ｌだけずれた垂直方向の位置関係にある。また、飛び越し走査であることから、各画面の画素データラインの間隔は２ライン走査間隔（２Ｌ）に設定されている。

図１に示すフレーム差分演算部（図中、「ΔＰ」と表記）３は、入力した現時点のフィールド画面Ｐｉ（０）と、第２のフィールド遅延部２２からの１フレーム遅延後のフィールド画面Ｐｉ（＋２Ｆ）とを入力し、フレーム間で画素ごとに、たとえば輝度データの差分の絶対値（以下、フレーム差分という）を演算により求める。たとえば図３に示すように、フィールド画面Ｐｉ（０）内の画素データＤｋ（０）と、フィールド画面Ｐｉ（＋２Ｆ）内の画素データＤｋ（＋２Ｆ）とからフレーム差分Ｄｉｆ（０）を求め、この処理を画素ごとに繰り返す。フレーム差分Ｄｉｆ（０）は画素ごとに演算によって順次生成され、画素データ補間部４と履歴値生成部５のそれぞれに入力される。

画素データ補間部４は、図１に示すように、フィールド内補間部４１、フィールド間補間部４２、画素データ混合部（図中「ＭＩＸ．」と表記）４３、および、混合比Ｒｍｉｘの設定部４４を有する。

フィールド内補間部４１は、とくに図示しないが、入力したフィールド画像データをラインごとに遅延させるライン遅延部と、遅延後のラインデータ等を用いた補間により、インターレース画像のライン間に新たなラインデータを生成する補間部とを有する。これにより、フィールド内補間部４１は動画に適した補間方法、すなわち同一フィールド内のデータのみでノンインターレース画像に必要なラインの画素データを新たに生成することができる。
なお、フィールド内補間部４１には、履歴値生成部５により生成された３種類の履歴値が入力されている。これらの履歴値については後述する。

フィールド内補間方法に限定はないが、入力された履歴値が示す、ある条件の下で、たとえば図４に示す例のように、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）内で、注目しているラインの画素データＤｋ（＋Ｆ）と、その１ライン（フレーム内で見ると２走査ライン：２Ｌ）遅延後の画素データＤｋ−２（＋Ｆ）と、にそれぞれ０．５の係数をかけて混合する平均化により、画素データがなかった中間の走査ラインに新たな画素データＤｋ−１（＋Ｆ）を生成する。あるいは、入力された履歴値が示す他の条件の下では、生成しようとする画素Ｄｋ−１（＋Ｆ）より１Ｌだけ位相が進んだ画素Ｄｋ（＋Ｆ）、１Ｌだけ位相が遅れた画素Ｄｋ−２（＋Ｆ）の何れかのデータを拡張して、そのデータを当該生成しようとする画素Ｄｋ−１（＋Ｆ）に配置する。これらの履歴値に応じたフィールド内補間データ生成の詳細は後述する。
以下、このように同じフィールド内の複数の画素データから生成された動画用の新たな画素データからなるフィールド画面を「動画補間画面Ｐｍ」という。

フィールド間補間部４２は、互いに１フィールド分だけ位相がずれた２系統の画素データ列（２つのフィールド画面）を入力する。フィールド間補間部４２は、とくに図示しないが、この入力した２系統の画素データ列から補間によりインターレース画像のライン間に新たなラインデータを生成する補間部を有する。これにより、フィールド間補間４２は静止画に適した補間方法、すなわち時間的に隣接した異なるフィールド内のデータからノンインターレース画像に必要なラインの画素データを新たに生成することができる。

フィールド間補間方法に限定はないが、たとえば図５に示す例のように、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）に属し注目しているラインの画素データＤｋ（＋Ｆ）と、２Ｆ遅延後のフィールド画面Ｐｉ（＋２Ｆ）の対応する画素データＤｋ（＋２Ｆ）とにそれぞれ０．５の係数をかけて混合する平均化により、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）で画素データがなかった走査ラインに新たな画素データＤｋ−１（＋Ｆ）を生成する。
以下、このように異なるフィールドに属する複数の画素データから生成された静止画用の新たな画素データからなるフィールド画面を「静止画補間画面Ｐｓ」という。

画素データ混合部４３は、動画補間画面Ｐｍをフィールド内補間部４１から入力し、静止画補間画面Ｐｓをフィールド間補間部４２から入力し、２つの補間画面ＰｍとＰｓの画素データを、画素ごとに決められる所定の混合比Ｒｍｉｘによって順次混合し、新たな画素データ列（出力画面）Ｐｏを出力する。このような画素データ混合部４３の機能は、とくに図示しないが、たとえば、各補間データに混合比Ｒｍｉｘを実現するために適した係数をかける２つの乗算器と、２つの乗算器の出力を加算する加算器とにより実現される。
本実施の形態における画素データ混合部４３の混合比Ｒｍｉｘは変更可能となっている。たとえば上記構成では、２つの乗算器の係数が変更可能になっている。

混合比Ｒｍｉｘを設定し変更する手段として、混合比設定部４４が設けられている。混合比設定部４４は、フレーム差分演算部３からフレーム差分Ｄｉｆ（０）を入力し、フレーム差分Ｄｉｆ（０）に応じた混合比Ｒｍｉｘを設定する。なお、変形例として、混合比設定部４４はさらに履歴値を入力し、フレーム差分Ｄｉｆ（０）に応じた混合比を、入力した履歴値に応じて変化させるように構成してもよい。

履歴値生成部５は、入力したフレーム差分Ｄｉｆ（０）と基準ＲＥＦとの大小関係を比較し、動画または静止画を判定する動き比較部（図中、「ＣＯＭＰ．」と表記）５１と、動き比較部５１で「静止画」と連続して判断された回数を履歴値Ｈとして画素ごとに保持し、更新する履歴値メモリ（図中、「Ｈメモリ」と表記）５２と、保持している履歴値Ｈを１フィールドずつ順次遅延させる第１および第２の履歴値フィールド遅延部５４，５５と、を有する。
履歴値メモリ５２は、画素ごとにアドレスが割り当てられたメモリ空間を有し、アドレスにより指定された画素ごとの保持データ（履歴値）をインクリメント可能に構成されている。なお、図１においては、注目している画素の現時点の履歴値をＨｋ（０）と表記し、１Ｆ遅延後の履歴値をＨｋ（＋Ｆ）、２Ｆ遅延後の履歴値をＨｋ（＋２Ｆ）と表記している。第１の履歴値フィールド遅延部５４から１Ｆ遅延後の履歴値Ｈｋ（＋Ｆ）が出力され、第２の履歴値フィールド遅延部５５から２Ｆ遅延後の履歴値Ｈｋ（＋２Ｆ）が出力されている。第２の履歴値フィールド遅延部５５の内部の詳細は図示していないが、その内部に設けられた最初のライン遅延部の出力から（１Ｆ＋２Ｌ（２走査ライン））遅延後の履歴値Ｈｋ−１（＋Ｆ）が出力されている。これら３つの履歴値Ｈｋ（＋Ｆ），Ｈｋ−１（＋Ｆ）およびＨｋ（＋２Ｆ）は、前述したフィールド内補間部４１に入力されている。

このように構成された履歴値生成部５は、つぎのように動作する。
動き比較部５１にフレーム差分Ｄｉｆ（０）が入力されると、動き比較部５１は、入力したフレーム差分Ｄｉｆ（０）を所定の基準ＲＥＦと比較して、入力したフレーム差分Ｄｉｆ（０）が基準ＲＥＦより大きければ（または以上であれば）「動画」、入力したフレーム差分Ｄｉｆ（０）が基準ＲＥＦ以下（または未満）であれば「静止画」といった判断を行う。動き比較部５１は、「静止画」との判断を行うたびに、たとえばハイレベルのパルスを出力するような信号Ｓ５１を出力しており、履歴値メモリ５２は、この信号Ｓ５１でハイレベルのパルスが立つたびに、記憶している当該画素の履歴値Ｈｋ（０）をインクリメントし、出力する。履歴値Ｈｋ（０）は１Ｆずつ２回遅延され、その過程で、上記した３つの履歴値Ｈｋ（＋Ｆ），Ｈｋ−１（＋Ｆ）およびＨｋ（＋２Ｆ）が取り出されフィールド内補間部４１に送られる。同時に、２Ｆ遅延後の履歴値Ｈｋ（＋２Ｆ）が履歴値メモリ５２に送られ、履歴値メモリ５２の記憶内容は履歴値Ｈｋ（＋２Ｆ）により書き換えられる。このため、フィールド内補間部４１に出力された履歴値Ｈｋ（＋２Ｆ）を基礎として静止画と判断されるたびに履歴値が１つずつ加算される仕組みになっている。履歴値算出がフレーム差分Ｄｉｆ（０）にもとづいて行われることから、この点では、図３に示す画素Ｄｋ（０）またはＤｋ（＋２Ｆ）で履歴値をカウントすることが望ましい。一方、図５に示すようにフィールド間補間で画素Ｄｋ（＋２Ｆ）が用いられ、画素Ｄｋ（０）は用いられない。その意味で、画素Ｄｋ（＋２Ｆ）で履歴値をカウントすることが望ましく、本実施の形態では、履歴値Ｈｋ（０）を２Ｆ遅延させた後、フィールド内補間に用いることとしている。
なお、この動き比較部５１と前述したフレーム差分演算部３とは、本発明の「動き検出部」の一実施態様を構成する。

図６に、この履歴値生成処理のフローチャートを示す。
図６に示す処理がスタートする時点では、履歴値メモリ５２に記憶されている履歴値がＨｋ（−２Ｆ）であるとする。ステップＳＴ１において、前回の処理で１フレーム、すなわち２フィールド（２Ｆ）遅延された履歴値、すなわちＨｋ（０）が履歴値メモリ５２に入力される。
ステップＳＴ２でフレーム差分Ｄｉｆ（０）が入力されると、つぎのステップＳＴ３で、フレーム差分Ｄｉｆ（０）を基準ＲＥＦと比較する。フレーム差分Ｄｉｆ（０）が基準ＲＥＦ以上なら、当該画素が動画に属すると判断し、ステップＳＴ４Ａで履歴値メモリ５２の該当するアドレスに記憶された画素の履歴値Ｈｋ（０）をリセットする。これにより処理対象の画像部分が静止状態から脱し動画状態に入ったとの判断がなされる。一方、フレーム差分Ｄｉｆ（０）が基準ＲＥＦ未満なら、当該画素が静止画に属すると判断し、ステップＳＴ４Ｂで履歴値メモリ５２の該当するアドレスに記憶された静止画の履歴値Ｈｋ（０）をインクリメントし、処理対象の画像部分で静止画状態が続いていると判断される。
その後、ステップＳＴ５において、この履歴値Ｈｋ（０）が第１および第２の履歴値フィールド遅延部５４，５５によって１Ｆずつ順次遅延され、その過程で取り出された３つの履歴値Ｈｋ（＋Ｆ），Ｈｋ−１（＋Ｆ）およびＨｋ（＋２Ｆ）がフィールド内補間部４１に送られるとともに、履歴値Ｈｋ（＋２Ｆ）の値によって履歴値メモリ５２の当該画素に対応したアドレスの記憶領域の内容が書き換えられる。
この処理は、画素ごとにフレーム差分Ｄｉｆが入力されるたびに繰り返し実行される。

これらの履歴値は数が大きいほど、静止状態が連続していることを示す。そこで、同じオブジェクトならば一緒に動くので同じ程度の履歴値をもつが、静止しているオブジェクトと動いているオブジェクトの履歴値は大きく異なる。
本実施の形態では、この履歴値の差の大小により補間する画素が同一オブジェクト内にあるか異なるオブジェクトの境界にあるか検出し補間方法を変える制御を行う。

つぎに、３つの履歴値を用いたフィールド内補間を中心に、画素データ補間部４の動作を説明する。
図７に、フィールド内補間処理のフローチャートを示す。また、図８に３つの履歴値に対応した画素の位置関係を示す。ここで、簡略化のため、２Ｆ遅延後の履歴値Ｈｋ（＋２Ｆ）を「履歴値Ｈ_Ａ」、１Ｆ遅延後の履歴値Ｈｋ（＋Ｆ）を「履歴値Ｈ_Ｂ」、（１Ｆ＋２Ｌ）遅延後の履歴値Ｈｋ−２（＋Ｆ）を「履歴値Ｈ_Ｃ」と定義し、以下、この定義した履歴値の名称を用いることとする。また、この履歴値Ｈ_Ａ，Ｈ_Ｂ，Ｈ_Ｃに対応した画素データをＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ、さらに補間により求める画素データをＤ_ｉとおく。

図７に示すステップＳＴ１１において、１Ｆ遅延画面内で補間すべき画素（以下、補間画素という）の下部の画素データＤ_Ｂが、フィールド内補間部４１内の補間部（不図示）に入力され、つぎのステップＳＴ１２において、その２Ｌ遅延後の上部の画素データＤ_Ｃが入力される。続いて、ステップＳＴ１３〜ＳＴ１５において、履歴値生成部５から履歴値Ｈ_Ｂ，Ｈ_Ｃ，Ｈ_Ａが順次、入力される。

つぎのステップＳＴ１６とＳＴ１７では、これら履歴値の大小関係が調べられる。ここで、履歴値の大小関係と「動画」または「静止画」の判定を規定する２つのしきい値Ｖｔ１とＶｔ２を定義する。これらのしきい値Ｖｔ１とＶｔ２は予め設定され、補間部内に保持されている。しきい値Ｖｔ１は静止画であるオブジェクト（または背景）を判別するための基準となり、しきい値Ｖｔ２は動画である背景（またたはオブジェクト）を判別するための基準となる。しきい値Ｖｔ１はしきい値Ｖｔ２より大きく、しきい値Ｖｔ１より履歴値が大きいものが「静止画」、しきい値Ｖｔ２よりしきい値が小さいものが「動画」と判別される。２つのしきい値内、すなわちＶｔ２以上でＶｔ１以内の範囲に履歴値が存在するものは完全な動画とも完全な静止画とも判断ができないものである。

この履歴値の大小関係を調べた結果、履歴値Ｈ_Ｃがしきい値Ｖｔ１より大きく上部画素データＤ_Ｃが「静止画」の範疇に属し、履歴値Ｈ_Ｂがしきい値Ｖｔ２より小さく下部画素データＤ_Ｂが「動画」の範疇に属し、さらに、補間画素位置に隣接する１Ｆ遅延画面内の画素データ（以下、隣接画素データという）Ｄ_Ａの履歴値Ｈ_Ａがしきい値Ｖｔ２より小さく、この画素データＤ_Ａが「動画」の範疇に属する場合、ステップＳＴ１６の判断が「ＹＥＳ」となり、つぎのステップＳＴ１８Ａで、補間画素データＤｉに下部画素データＤ_Ｂをコピーして貼り付ける。すなわち補間画素データＤｉも動画とするため下部画素データＤ_Ｂを補間画素位置に拡張して配置する。
一方、履歴値Ｈ_Ｂがしきい値Ｖｔ１より大きく下部画素データＤ_Ｂが「静止画」の範疇に属し、履歴値Ｈ_Ｃがしきい値Ｖｔ２より小さく上部画素データＤ_Ｃが「動画」の範疇に属し、さらに、隣接画素データＤ_Ａの履歴値Ｈ_Ａがしきい値Ｖｔ２より小さく、この画素データＤ_Ａが「動画」の範疇に属する場合、ステップＳＴ１７の判断が「ＹＥＳ」となり、つぎのステップＳＴ１８Ｂで、補間画素データＤｉに上部画素データＤ_Ｃをコピーして貼り付ける。すなわち補間画素データＤｉも動画とするため上部画素データＤ_Ｃを補間画素位置に拡張して配置する。
上記２つの場合以外ではステップＳＴ１６とＳＴ１７の判断がともに「ＮＯ」となり、つぎのステップＳＴ１８Ｃで、下部画素データＤ_Ｂと上部画素データＤ_Ｃとの平均化によって補間画素データＤｉが生成される。
以上のフィールド内補間処理は、入力される画素データに対し順次繰り返される。

つぎに、フィールド内補間処理の画面全体に対する効果を、図９（Ａ）〜図１０（Ｃ）を用いて説明する。ここでは、図９（Ａ）に具体例として、背景となるオブジェクトに重ねて「ＡＢＣＤＥＦＧ」というテロップが表示されている画面の生成過程を説明する。

テロップとその背景がともに静止画であればフィールド間補間によりラインデータが生成されるため、図９（Ｂ−１）に示すように、ラインを補間した後の１フレーム画面はテロップの境界がぼやけるなどの不都合は生じない。
ところが、背景が動画であるとフィールド内補間処理され、その処理で一律に上下の画素のデータが平均化されると、図９（Ｂ−２）に示すように、補間により生成した画像のとくにテロップと背景オブジェクトとの境界が背景の濃淡の影響を受けてまだらとなり、輪郭がぼやっとしたテロップとなってしまう。

このような不具合を防止するため、本実施の形態では前述した図７に示す手順でフィールド内補間を行う。つまり、３つの履歴値Ｈ_Ａ〜Ｈ_Ｃの大小を、しきい値を用いて調べ、その結果に応じた方法により図８に示す破線部４５内で、上下の２つの画素データＤ_ＣとＤ_Ｂとの間に新たな画素データＤｉを補間する。図１０（Ａ）に一部を示すフィールド画面内全体で走査しながら、この処理を順次繰り返す。このとき、背景が動いているか否かで補間するデータを抽出する画素が決まる。図１０（Ｂ）に示す領域４５Ａのように境界１にかかり、上部画素が動く背景オブジェクトである場合、その動画側の画素データが拡張されて補間される。また、領域４５Ｂのように境界２にかかる場合、背景オブジェクトが下部画素となるので、下部画素データが拡張されて補間される。テロップ内の静止画同士ではフィールド間補間が実行され、また、背景内の動画同士では平均化によるフィールド内補間が実行される。
このような方法による画素データ補間は、背景が動いている場合であっても図１０（Ｃ）のように境界１および境界２で動画置き換え処理がなされる結果、テロップの輪郭がぼやけることが有効に防止されている。

その後、図１に示す画素データ混合部４３で、図９（Ｂ−１）に示すフィールド間補間画像Ｐｓと、図１０（Ｃ）に示すフィールド内補間画像Ｐｍが所定の混合比Ｒｍｉｘで混合される。より詳しくは、混合比設定部４４が、あらかじめ入力したフレーム差分Ｄｉｆ（０）に対応する履歴値Ｈｋ（＋２Ｆ）を入力すると、動画補間画面Ｐｍと静止画補間画面Ｐｓとの混合比Ｒｍｉｘを求める。逐一演算を行ってもよいし、あるいは、フレーム差分および履歴値の２つの入力パラメータによって混合比が特定されるテーブルを内蔵し、そのテーブルを参照することによって混合比Ｒｍｉｘを求めてもよい。このように決定された混合比Ｒｍｉｘにより、画素データ混合部４３が動画補間画面Ｐｍと静止画補間画面Ｐｓとを混合する。
本実施の形態では、この混合により生成された出力画像Ｐｏは、輪郭がはっきりした画像同士の混合により生成された画像であることから、その静止画像（たとえばテロップ）の輪郭もはっきりしたものとなる。

なお、本実施の形態では、２つのしきい値Ｖｔ１とＶｔ２を用いてその差より大きな履歴値の差を有することを調べ、動画と静止画の境界を判別したが、しきい値を用いずに、単に履歴値の差をあらかじめ用意した境界検出値と比べてもよい。２つのしきい値を用いた場合は絶対値での比較となるため動画、静止画の判別精度は高いが、履歴値の差を１つの境界検出値との比較により、大きな履歴値差の有無がある箇所を境界であると推定しても、履歴値が過去の情報を含むため境界の検出が可能である。
また、フレーム差分を、図２の「Ｂ」で示す矢印の方向（走査方向）に隣接する画素でもとって、動画と静止画の判断の精度を高めることができる。また、履歴値もこの走査方向に隣接する画素でカウントするようにして、履歴値の精度を高めることもできる。

本実施の形態における画素データ補間処理では、背景が動画であるテロップなどの静止画のエッジ部分（境界に隣接したテロップ内部分）で、広範な周辺の画素情報は反映されずに、当該補間すべき画素のすくなくとも上下画素の履歴値（静止画履歴値）が判断材料となるため、当該画素での履歴値はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。
さらに、とくにフィールド内補間では、履歴値が大きい２画素のうち履歴値が小さい画素が境界の動画側隣接画素、履歴値が大きい画素が境界の静止画側隣接画素となる。この境界判別は、履歴値を用いているため、一方は動きがあり、他方は動きがない２画素であっても、そのような状態が続かない場合は、履歴値の差が大きくならないので境界と判断されない。したがって、境界の判定精度が高く、テロップなどの輪郭が正しく表示される。また、境界と判別された場合、動画側または静止画側の画素データを拡張して配置するためテロップの境界に不要な段差ができたり、ギザギザになったり、ぼやけたり、あるいは逆に、そこだけくっきりしたりしない。また、４：３の画面に１６：９の画像に上下黒帯を付けて表示する場合に、黒帯と有効画像の境界で上記と同じ理由によりエッジがはっきりしたり、ぼやけたりすることがない。
しかも、本実施の形態では、動画と静止画の境界の判別精度を高めるために必要な情報が、大容量なフィールドメモリを用いることなく生成できる。つまり、静止画であるか動画であるかの情報として１ビットからなるデータを数桁ならべた履歴値を、画素ごとに生成させるだけでよい。このため、画像処理装置の規模およびコストも抑制されたものとなり、また、画像処理方法が複雑でなく、処理速度が実施化への制限要因となりにくい。

なお、本実施の形態で導入されている履歴値というパラメータは、その値が大きいほど静止画である可能性が高いことを意味する。したがって、この履歴値を、混合比Ｒｍｉｘを求める際に参照した場合、静止画の履歴値が大きい場合は、フィールド差分のみの判定に比べ静止画寄りの判定を行うことができる。その結果、さまざまなケースに対応し、動き適応型のインターレースとノンインターレースとの変換の効果を高められる。
つまり、画素ごとに静止画との判断が連続して起こる回数（履歴値）がカウントされていることから、たとえば、所定周期の繰り返しパターンが当該周期に適合した速さで動く場合、そのパターンが繰り返し表示される画素位置では、ミクロ的には静止画と判断されるパターン部分も存在するが、その静止画の履歴値がパターンの幅に対応した周期で途切れ途切れになる。つまり、履歴値がある程度大きくなるとリセットされることから、履歴値の変化を大局的にみると完全な静止画とは判断されないし、完全な動画とも判断されない。このため、繰り返しパターンの周期や動く速さに適合した混合比となり、その混合比で、当該画素位置に新たな画素データが生成される。また、図９に示すように、最初は静止画寄りに判断されていても、あるパターンが動く時間が長いと動画寄りに判断される利点がある。
また、アルファベットなどのテロップが流れるように移動する場合、文字の間で履歴値が途切れ途切れとなることから、同様に、この文字の間隔や動く速さに適合した混合比で、テロップを表示する位置に画素データが生成される。

本発明は、種々の画像表示装置、または、画像表示装置に信号処理ＩＣとして内蔵されている画像処理装置において、インターレース画面をノンインターレース画面に変換する用途に適用できる。

第１の実施の形態にかかる画像処理装置のブロック図 ３つの連続したフィールド画面の位置関係を示す図 図２に示す正面Ａの側から見た３画面の位置関係でフレーム差分のとりかたを示す図 図３と同様な３画面の位置関係でフィールド内補間を示す図 図３と同様な３画面の位置関係でフィールド間補間を示す図 履歴値生成処理のフローチャート フィールド内補間処理のフローチャート 図３と同様な３画面の位置関係でフィールド内補間に用いる画素データと履歴値とを示す図 （Ａ）は背景が動画である静止画テロップ（アルファベットの文字）を有する画面を示す図、（Ｂ−１）は背景が静止画であるときのフィールド間補間画像の一部拡大図、（Ｂ−２）は背景が動画であるときに上下画素の平均化によって生成されたフィールド内補間画像の一部拡大図 （Ａ）は図９（Ａ）から拡大した部分を生成する際のフィールド内補間処理前の１Ｆ遅延後画面を示す図、（Ｂ）はデータ拡張法の説明図、（Ｃ）はフィールド内補間後の画像を示す図

符号の説明

１Ａ，１Ｂ…画像処理装置、２…フィールド遅延部、２１…第１のフィールド遅延部、２２…第２のフィールド遅延部、３…フレーム差分演算部（動き検出部）、４…画素データ補間部、４１…フィールド内補間部、４２…フィールド間補間部、４３…画素データ混合部、４４…混合比設定部、４５…１画素ごとのフィールド内補間処理時に参照する画素データ領域、５…履歴値生成部、５１…動き比較部（動き検出部）、５２…履歴値メモリ、５４…第１の履歴値フィールド遅延部、５５…第２の履歴値フィールド遅延部、Ｐｉ…入力フィールド画面、Ｐｏ…出力フィールド画面、Ｐｍ…動画補間画面、Ｐｓ…静止画補間画面、Ｄｉｆ…フレーム差分、Ｈｋ…履歴値、ＲＥＦ…基準、Ｒｍｉｘ…混合比

Claims (5)

1. インターレース画像をノンインターレース画像に変換する画像処理装置であって、
   インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出部と、
   当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなラインのデータを作成する画素データ補間部と、
   前記動き検出部からの動き検出の結果で静止画と連続して判断された回数を示す履歴値を画素ごとに生成する履歴値生成部と、を有し、
   前記画素データ補間部は、前記動き検出の結果にもとづいて同一フィールド内の複数の画素データを用いた補間により前記インターレース画像のライン間に新たなデータを作成する際、当該補間時にデータを用いる複数の画素の前記履歴値を参照し、前記同一フィールド内で履歴値の差が一定以上の隣接した２画素が検出されたときは、当該２画素の一方のデータを２画素間に拡張して配置する
   画像処理装置。
2. 前記画素データ補間部は、前記２画素の履歴値に加え、当該２画素が属するフィールドに隣接するフィールド内の画素であって、新たにデータを作成しようとする画素に対応した画素の前記履歴値を参照し、当該参照の結果に応じて、前記データを拡張して配置する画素を前記２画素から一意に決定する
   請求項１に記載の画像処理装置。
3. 前記画素データ補間部は、
   フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間部と、
   前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間部と、
   前記フィールド内補間部からの補間データと、前記フィールド間補間部からの補間データとを所定の比率で混合する画素データ混合部と、
   前記動き検出部の検出結果と前記履歴値を入力し、検出結果により決まる混合比を、前記履歴値が大きいほどフィールド間補間部からの補間データの比率が高まるように変化させる混合比設定部と、を有し、
   前記フィールド内補間部は、前記履歴値生成部から前記履歴値を入力し、前記２画素が検出されたときに、当該２画素の一方のデータを２画素間に拡張して配置する処理を実行する
   請求項１に記載の画像処理装置。
4. インターレース画像をノンインターレース画像に変換する画像処理方法であって、
   インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出ステップと、
   当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなラインのデータを作成する画素データの補間ステップと、
   前記動き検出の結果で静止画と連続して判断された回数を示す履歴値を画素ごとに生成する履歴値生成ステップと、を有し、
   前記画素データの補間ステップでは、前記動き検出の結果にもとづいて同一フィールド内の複数の画素データを用いた補間により前記インターレース画像のライン間に新たなデータを作成する際、当該補間時にデータを用いる複数の画素の前記履歴値を参照し、前記同一フィールド内で履歴値の差が一定以上の隣接した２画素が検出されたときは、当該２画素の一方のデータを２画素間に拡張して配置する
   画像処理方法。
5. 前記画素データの補間ステップでは、前記２画素の履歴値に加え、当該２画素が属するフィールドに隣接するフィールド内の画素であって、新たにデータを作成しようとする画素に対応した画素の前記履歴値を参照し、当該参照の結果に応じて、前記データを拡張して配置する画素を前記２画素から一意に決定する
   請求項４に記載の画像処理方法。
   

Images