JP4256471B2

JP4256471B2 - インタレース−順次走査変換方法及び装置

Info

Publication number: JP4256471B2
Application number: JP52554695A
Authority: JP
Inventors: ハーンヘラルドデ; パウルウィレムアルベルトコルネリスビーゼン; オルカヨーデアンソニーオヨ
Original assignee: NXP BV
Current assignee: NXP BV
Priority date: 1994-04-05
Filing date: 1995-03-29
Publication date: 2009-04-22
Anticipated expiration: 2024-04-22
Also published as: JPH08511406A; EP0714576A1; US5532750A; KR100371039B1; EP0714576B1; KR960702976A; WO1995027362A2; DE69506076T2; WO1995027362A3; DE69506076D1

Description

【０００１】
この発明はインタレース画像からノンインタレース画像または順次走査画像を生成する映像信号のインタレース−順次走査変換方法ならびに装置に関するものである。
【０００２】
かかる方法は、F. M. WangおよびD. Anastassiouの論文「Time-recursive deinterlacing for IDTV and pyramid coding」，Signal Processing：Image Communication 2（1990）pp. 365-374、に開示されている。この方法では、次の順次走査画像を生成するために先に得られた順次走査画像が動き補償内挿を含む再帰的方法で使用される。もっと具体的に言うと、この再帰的内挿処理は、順次走査画像を得るために、一つのフィールドのすでに得られたライン間に挿入する付加ラインを供給する。内挿されるラインのスペクトルは動きベクトル推定の不正確さの影響を常に受けるので、もとのインタレース画像ライン、すなわちサブサンプル画像ラインに起因するエイリアシングは内挿ラインのスペクトルによって完全には補償されない。エイリアシングの補償されない部分は視覚的歪となる。
【０００３】
特に、本発明の目的は、前述の欠点を軽減した映像信号のインタレース−順次走査変換方法ならびに装置を提供せんとするものである。この目的のため、本発明第1の態様は請求項1に特定されている変換方法を提供するにある。また本発明第2の態様は請求項2に特定されている変換装置を提供するにある。その他の好適な実施態様は他の請求項に特定されている。
【０００４】
インタレース映像信号を出力順次走査映像信号に変換する本発明の変換方法においては、前記インタレース映像信号に基づいて第1の順次走査映像信号を生成する。次に、前記第1の順次走査映像信号に基づいて動き補償順次走査映像信号を生成する。本発明の特別の特徴によれば、動き補償処理操作に使用される動きクトルの不正確さが視覚的歪を生じないようにするために、前記出力順次走査映像信号のすべての映像ラインを前記第1の順次走査映像信号と前記動き補償順次走査映像信号の両方に基づいて生成する。
【０００５】
本発明は以下の認識に基づくものである。インタレース映像信号はサブサンプルされた信号であり、各フィールドは全ライン数の半分のみを含んでいる。よく知られているように、このサブサンプリングはエイリアシングを生じる。静止画の場合、偶数ラインのエイリアシングと奇数ラインのエイリアシングは逆位相であるため、エイリアシングは視覚的歪にならない。しかしながら、動き画像はエイリアシングに起因する歪を受ける。各フィールドに付加ラインが内挿されるだけで、すでに存在するラインはいかなる処理も受けない従来の順次走査方法では、内挿ラインのエイリアシングともとのラインのエイリアシングは内挿処理に使用される動きベクトルの不正確さのために正確に逆位相にはならないため、動き画像のエイリアシング歪の除去はうまくいかない。しかしながら、本発明の場合には、出力フィールドのすべてのラインが内挿処理を受けており、偶数ラインのエイリアシングと奇数ラインのエイリアシングがほぼ逆位相のままになるため、より良好な画質が得られる。
【０００６】
尚、もとのフィールド間に内挿フィールドを挿入する時に必要とされる内挿間隔（50から100Hzへの変換時に10ms）より小さな内挿間隔（50から100Hzへの変換時に5ms）を必要とする時間シフト操作によってすべての出力フィールドを得る動き補償フレームレート変換がEP−A−0，475，499号に開示されている。この内挿間隔の低減は、より小さな動きベクトルが使用されるために、低減した動きベクトルアーティフアクトをもたらす。本発明には上述のような内挿間隔低減や動きベクトル短縮化などはないから、本発明の課題を解決するのに、EP−A−0，475，449号明細書の教えは、当業者になんらの動機づけも与えるものではない。
【０００７】
本発明のこれらの特徴および他の特徴は以下に説明される実施例から明らかにされる。
図1のインタレース−順次走査変換器の実施例においては、インタレース映像信号ISは順次走査変換器1に印加される。この変換器1は、２つの隣接して存在するラインの位置的に対応する画素値の算術平均を取ることによって付加ライン上の画素値を生成する非常に簡単なフィールド内ライン平均化器とすることができる。また、変換器1は、同じフィールドの2つの隣接して存在するラインとこれらのライン間に位置する前フィールドの中間ラインの位置的に対応する3つの画素値のメジアン（中央値）を取るものとしてもよい。さらにまた、前フィールドの中間ラインは動き補償内挿により得られるものとしてもよく（図1，2に破線で示されている接続）、これについてはUS−A−5，280，350号明細書を参照されたい。この変換器はUS−A−5，001，563号明細書に示されるようなエッジ依存形（輪郭依存形）のものでもよい。
【０００８】
変換器1により出力される第1の順次走査映像信号SSlは混合器3により、以下に説明される動き補償内挿回路5，7，9から得られる動き補償された映像信号MCSと混合される。信号SSlとMCSは比k：（1−k）で混合される。kは動き補償内挿回路5，7，9に使用される動きベクトルの信頼性に依存させるのが好ましい。動きベクトルを得る公知の方法は、現フィールド内の画素ブロックを前フィールド内の複数の画素ブロックと比較する。これにより得られる動きベクトルは現フィールド内のブロックから前フィールド内の最小比較整合誤差を有するブロックへ向うベクトルである。この最小比較整合誤差は動きベクトルの非信頼性の尺度として使用することができる。勿論、適切な混合比kを得る多くの他の方法も使用可能である。
【０００９】
第1の順次操作信号SS1と混合器3の出力信号は混合器11により比p：（１−ｐ）で混合される。混合比ｐは、変換器１の出力信号のあまりにも少量が動き推定比較器９の第１の入力に印加される結果として再帰ループの“ハングアップ（hang up)”が生ずるのを避けるために、混合比ｋと所定の最小値、例えば0.5のうち最大のものとする。
【００１０】
混合器3のノンインタレース出力信号はフルフィールドメモリ5にも供給され、このメモリは順次走査混合器出力信号のすべてのラインを1フィールド周期だけ遅延させる。フィールドメモリ5からの遅延信号は数ラインと数画素の遅延を含むシフタ7に供給されるため、所定の窓内のすべての画素がシフタ7の右側に示す出力端子に得られる。これらシフタ出力端子のうちの1つは動き補償された信号MCSを混合器3に供給する。他のシフタ出力端子は動き推定比較器9の第２の入力に供給される。比較器9は公知の方法で、その第1の入力に供給される画素ブロックを、シフタ7により供給される前フィールド周期からの数個の画素ブロックと比較する。最良の整合が動きベクトルDを生じ、この動きベクトルがシフタ7に供給されて混合器3に供給する動き補償された信号MCSを選択する。勿論、他の動き推定および補償構成も可能であるが、ここに図示した実施例は、動き推定と動き補償内挿の両方に、たった1つのフィールドメモリ5とたった1つのシフタ7を必要とするのみなので非常に簡単である。さらに、フィールドメモリ5は動き推定／補償とデインタレースの両方に使用される。動きベクトル推定と動き補償内挿の両方に対するフィールドメモリの共用についてはEP−A−0，574，068号（US出願SN08／73，403号明細書を参照されたい。好適な動き推定器は文献、G. de Haan：“Motion Estimation and Compensation, an integrated approach to consumer display field rateconversion”，Eindhoven1992、に記載されている。
【００１１】
混合器３の出力信号は出力端子１３に出力順次走査映像信号SSSとして供給される。また、出力端子１３はフィールドメモリ5の出力に接続してもよい。出力信号SSSのすべてのラインが動き補償処理を受けているのが本発明の最大の特徴である。その結果、奇数ラインのエイリアシングと偶数ラインのエイリアシングがほぼ逆位相のままとなるため、エイリアシングに起因する前述の視覚的歪は本発明に係る出力信号では強く低減される。
【００１２】
図２は本発明に係るインタレース−順次走査変換回路の第２の実施例を示す。順次走査変換器1の出力信号SSlと動き補償された信号MCSとは第1の混合器３１で混合比k0：（１−k0）で、内挿ライン用の第２の混合器３３で混合比ki：（１−ki）で混合される。第1の混合器３１はインタレース映像入力信号の現フィールドのもとのラインに位置的に対応する第1のラインに作用する。第２混合器３３はインタレース映像入力信号の現フィールドのもとのライン間に内挿されるラインに位置的に対応する第2のラインに作用する。混合器３１と３３の出力信号はライン周波数スイッチング信号FLにより制御されるマルチプレクサ３５に供給して、出力順次走査信号SSSとして適切な混合器出力信号を出力端子１３に供給する。マルチプレクサ出力信号はまたフィールドメモリ５と動き推定比較器９の第1の入力とに供給される。他の部分については図２の実施例は図１のそれに対応する。
【００１３】
もとのライン用と内挿ライン用に2つの別の混合器31，33を用いる上述の構成または2つの別々の混合比を用いる他の構成の利点は、もとのラインに位置的に対応する第1のライン（混合比k0により制御される）を、内挿ラインに位置的に対応する第2のライン（混合比kiにより制御される）よりも、信頼できない動きベクトルで損なわれることから強く保護する可能性を提供することにある。このことはもとのラインがフィルタに用い得る最も信頼できる入力情報を構成するという認識に基づいている。本発明の基本的原理によれば、完全には正しくない動きベクトルの場合でも、もとのラインのエイリアシングと挿入ラインのエイリアシングが逆位相になるように、もとのラインと挿入ラインとは同じ処理を受けるべきであるが、あまりにも信頼できない動きベクトルの場合にはもとのラインからの新しい情報を多量に使用する場合に、よい結果が得られる。
【００１４】
図1の実施例に関して説明したように、混合比k0，kiは好適には動きベクトル信頼度に依存し、信頼度が低くなるほど、信頼できない動きベクトルにより損なわれてない新しい入力情報をより多く導入するべく混合比を高くする。好適には、ki＝（1＋√d）／16及びk0＝（6＋2√d）／16であり、ここでd＝abs（difsum）／6であり、difsumは変換器1からの現画素をかこむ6つの画素と動き補償された信号MCSからの6つの位置的に対応する画素との間の差の総和であり、abs（difsum）はその絶対値である。この6つの画素は、現画素の上のライン上の3つの画素と、現画素の下のライン上にあって先の3つの画素と同じ水平位置にある3つの画素とすることができる。
【００１５】
さらにもっと好適な変形例では、少なくとも内挿ライン用の混合比kiは垂直方向の動きベクトル成分に依存させ、奇数本のラインに相当する垂直方向動きベクトル成分に対し使用する混合比kiは偶数本のラインに相当する垂直方向動きベクトル成分に対し用する混合比kiより大きくする。この変形例は以下の認識に基づくものである。偶数本のライン数に相当する垂直方向動きベクトル成分の場合には、ラインを時間方向に考察すると、もとのラインと挿入ラインとは交互である。従って、新しい情報の供給は十分であり、古い情報が再帰ループを巡回し続ける危険はない。しかしながら、奇数本のラインに相当する垂直方向動きベクトル成分の場合には、内挿ラインの後に内挿ラインが続くために、小さな混合比では古い情報が再帰ループを巡回するかもしれない。それゆえ、奇数本のラインに相当する動きベクトル成分に関する混合比kiは、再帰ループのかかる“ハングアップ’を避けるべく偶数の動きベクトル成分に関する混合比kiより大きくする。
【００１６】
上述の実施例は本発明を限定するものではなく、本明細書の請求の範囲に規定されている発明の範囲内で各種の変形例を当業者が設計し得ることに注意されたい。図示された好適な実施例は再帰形であり、すなわち出力順次走査信号SSSが動き補償処理手段5−11に供給されるけれども、本発明の要旨はフィールドメモリ5と比較器9の入力が変換器1の出力へ直接接続される非再帰形実施例において実現することもできること明らかである。
本発明は、60Hzで525ライン／2フィールドのインタレース標準方式で動作するテレビジョンセットで有効に使用される。なぜなら、その順次走査変換は大きな視覚改善を生ずるからである。本発明はまた非インタレースマトリックス形の表示に関してもまた有効に使用されるものである。
【００１７】
【図面の簡単な説明】
【図１】図1は本発明に係る変換装置の第1の実施例を示す。
【図２】図2は本発明に係る変換装置の第2の実施例を示す。

Claims

インタレース映像信号を出力順次走査映像信号に変換する方法において、
前記インタレース映像信号に対してライン内挿処理を行ない２倍のライン数を有する第1の順次走査映像信号を生成するステップと、
前記第１の順次走査映像信号を該映像信号に対して検出された動きベクトルに基づいて動き補償を行い動き補償された順次走査映像信号を生成するステップと、
前記第1の順次走査映像信号と前記動き補償順次走査映像信号を合成して前記出力順次走査映像信号を生成するステップと、
を含むことを特徴とする順次走査変換方法。
インタレース映像信号を出力順次走査映像信号に変換する装置において、
前記インタレース映像信号に対してライン内挿処理を行ない２倍のライン数を有する第1の順次走査映像信号を生成するライン内挿手段と、
前記第１の順次走査映像信号を該映像信号に対して検出された動きベクトルに基づいて動き補償を行い動き補償された順次走査映像信号を生成する動き補償手段と、
前記第1の順次走査映像信号と前記動き補償順次走査映像信号を合成して前記出力順次走査映像信号を生成する合成手段と、
を具えることを特徴とする順次走査変換装置。
前記合成手段が、前記第１の順次走査映像信号と前記動き補償された順次走査映像信号とをｋ０：（１−ｋ０）の混合比で混合する第１の混合器と、ｋｉ：（１−ｋｉ）の混合比で混合する第２の混合器とを具え、
前記第１の混合器がインタレース映像信号の現フィールドのもとのラインに位置的に対応する第１のライン用の混合器であり、前記第２の混合器がもとのライン間の内挿ラインに位置的に対応する第２のライン用の第２の混合器であり、前記第１の混合器の出力または前記第２の混合器の出力をライン交互に選択するマルチプレクサを具え、
前記動きベクトルが信頼できないとき、もとのラインに位置的に対応する第１のラインが、内挿ラインに位置的に対応する第２ラインより高い割合で前記動き補償手段に供給されるように、混合因子ｋ０を混合因子ｋｉより大きくすることを特徴とする請求項２記載の装置。
少なくとも前記第２の混合器の混合因子ｋｉが垂直方向の動きベクトル成分に依存し、奇数本のラインに相当する垂直方向の動きベクトル成分について使用される混合因子ｋｉが、偶数本のラインに相当する垂直方向の動きベクトル成分について使用される混合因子ｋｉより大きいことを特徴とする請求項３記載の装置。
前記動き補償手段が、現在のフィールドと前フィールドとのブロック整合により動きベクトルを推定する手段を含み、前記合成手段が、前記出力順次走査映像信号を生成するために、前記第１の順次映像走査信号と前記動き補償順次走査映像信号を前記動きベクトルの信頼性に依存する重みで加重平均する手段を含み、前記動きベクトルの信頼性は、前記第１の順次映像走査信号からの第１の複数画素と、該第１の複数画素と同一位置にある前記動き補償順次走査映像信号からの第２の複数画素との差の総和に基づいて決定されることを特徴とする請求項２記載の装置。