JP4575431B2 - 補正インタレース解除装置による保護 - Google Patents

Description

本発明は、モーション補正インタレース解除装置に関する。

インタレース解除は、インタレースされた映像シーケンス又は信号を進行映像シーケンス又は信号に変換する処理を説明するために用いられる用語である。インタレース映像シーケンスは、ディスプレイの交互のライン上に表示される映像の連続フィールド、すなわち、奇数ライン上に表示されることになる第１のフィールド、及び偶数ライン上に表示されることになる第２のフィールド、それに続く奇数ライン上に表示される更に別の第１のフィールドを含む。従って、インタレース映像シーケンスは、フレームのラインの半分のみが１度に送信されるものである。これは、実質的に、各画面が２度、１度目は奇数ライン上、及び２度目は偶数ライン上で送信されるが、２つの間に時間遅延を伴い、従って奇数ラインと偶数ラインの間で何らかの明白な移動が発生していることを意味する。この２つの信号はフィールドと呼ばれ、一対のフィールドはフレームを構成する。

多くの用途では、映像信号をディスプレイの連続するライン上で送信することが望ましい。これは、進行走査表示と呼ばれ、１対のフィールドを最大解像度進行走査フレームに変換する処理は、インタレース解除と呼ばれる。
インタレース解除する時に、進行走査フレームを生成するために用いられるフレームの対がそれらの間に時間遅延を有するので、問題が生じる可能性がある。従って、フレーム間の画像にモーションが生じている可能性があり、これは、フィールドを単純に組み合わせた場合には、目障りな視覚的アーチファクトをもたらす可能性がある。

欧州特許出願番号ＥＰ−Ａ−０１９２２９２

モーション補正インタレース解除装置は、シーン内で発生しているモーションをモデル化し、これらの目障りな視覚的アーチファクトを低減するように調節することを試みるものである。奇数フィールドがインタレース解除中であり、かつそのフィールドにおけるモーションが正確に予測される場合には、以前の偶数フィールドは、奇数フィールドがＴ₀に対する完全な非インタレースフレームを作り出すための時間であるＴ₀まで時間的に前方に移動させることができる。時間的前方の移動は、ピクセル毎のベースで行われる。

図１は、３つの入力フィールドを示している。これらは、時間Ｔ_-1及びＴ₊₁における奇数入力フィールド、及びＴ₀における偶数フィールドである。Ｔ₀において非インタレースフレームを生成するためには、Ｔ₀において点線の輪郭で示されている奇数フィールドを作り出す必要がある。このフィールドは、モーション補正によって再構成されるべきである。シーン内の自動車のモーションが既知であれば、Ｔ₀における奇数フィールドは、Ｔ_-1から直接導出することができ、それによってＴ₀での完全なフレームを構成することを可能にする。
インタレース解除装置は、映像データを液晶ディスプレイ及びプラズマディスプレイのような進行走査ディスプレイ上に表示するために一般的に用いられる。これらのディスプレイは、テレビジョンにおいて益々用いられてきており、映像データを送信する移動通信デバイスの出現と共に、インタレース解除映像の使用は、より一般的になっている。

モーション補正インタレース解除装置は、シーン内のモーションを正確にモデル化することができれば良好な品質の画像を生成する。公知のモーション補正インタレース解除装置は、ある一定の種類のモーションのモデル化に制限されている。これらは、通常は、シーンの１つの部分から別の部分への対象物の２次元平行移動である。映像シーケンスがスケーリング、リビール、又はオクルージョンのようなそれほど単純にモデル化できないモーションを有する時には、公知のインタレース解除装置は、非常に貧弱な視覚的結果を生成する。本出願人は、モーション補正したインタレース解除装置が良好に機能しない時を検出することが可能であれば、より強力な形式のインタレース解除に切り換えることができることを認めている。これは、出力信号の品質に満足できる下限を設けるが、モーションが正確にモデル化される時に単純なモデル化からの高品質を保つものである。

保護の１つの改善された形式は、「Ｍｅｄｉａｎ」フィルタとして公知であり、欧州特許出願番号ＥＰ−Ａ−０１９２２９２に説明されている。これの基本原則は、再構成されたピクセルが、物理的に隣接するピクセルの色値間のどこかにその色値を有するべきであるということがある。これは、それがシーンから詳細を削除し、エイリアシングを導入するので、比較的貧弱な解決策である。
より洗練された手法は、以前に再構成されたフィールドを現在のモーションベクトルを用いて移動し、これを現在のフィールドと比較する。そのような手法は、Ｔ₀での偶数入力フィールドと同様に奇数入力フィールドを時間Ｔ_-1及びＴ₊₁に示す図２に例示されている。Ｔ_-1における点線の偶数フィールドは、以前のモーション補正結果である。Ｔ_-1とＴ₀の間の正しいモーションベクトルにより、Ｔ₀における入力フィールドのピクセルとモーション補正された以前の再構成フィールドとの間に密接な符合があることになる。正しくないモーションベクトルでは、Ｔ₀と再構成フィールドの間の符合が劣ることになる見込みが高い。従って、この比較は、如何に良好にモーション補正が機能しているかということに関する指標として用いることができる。この比較をＴ_-1Ｔ₀信頼度と呼ぶ。ピクセルの２つのブロック間で符合が如何に密接しているかを判断する一般的な方法は、「絶対差の総和（ＳＡＤ）」である。２つのピクセルの色値は、一方が他方から引かれ、その結果の絶対値が計算される。この総和は、問題とする画像区域にわたる総和である。従って、ピクセルの２つのブロックが同一であれば、ＳＡＤの結果はゼロである。本発明の１つの好ましい実施形態は、ピクセルの輝度のＳＡＤを用いる。しかし、本発明は、ピクセル符合のいかなる特定の方法にも制限されない。
Ｔ_-1Ｔ₀信頼基準の使用は、ある状況においては失敗する。正しくないモーションベクトルは、正しくないモーション補正フィールドを残し、かつＴ₀との密接な符合を生成する可能性がある。そのような効果は、櫛状アーチファクトとして公知であるものをもたらす可能性がある。

本発明の好ましい実施形態は、２つの形式の信頼度を組み合わせることによって信頼基準を用いる考えを拡張し、インタレースされた信号からインタレース解除された信号に変換する際に如何に良好にモーション補正が機能するかということに関するより強力な尺度を生成することを目指すものである。以下に説明する実施形態では、第２の信頼基準を「Ｔ_-1Ｔ₊₁」信頼度と呼ぶ。好ましくは、これは、いくつかのピクセルが選択されたモーションベクトルによって移動された状態で、それらがＴ₊₁と比較してＴ_-1で如何に密接に符合するかということの尺度である。
ここで、本発明の好ましい実施形態を添付図面を参照して以下に例示的に詳細に説明する。

図４では、本発明の実施形態の効果を見ることができる。ベクトルＶは、以前のモーション補正フィールドＭＣＴ_-1とＴ₀における偶数フィールドとにおけるピクセル間の位置の差を表している。これは、Ｔ_-1Ｔ₀信頼基準を導出するために用いられる。これは、ベクトルＶによって偶数フィールドＴ₀内の新しい位置にシフトされたＭＣＴ_-1内のピクセルにおける差を検出することにより導出される。以前のモーション補正ピクセルと実際のピクセルとの間の相関が実行され、それが新しいピクセルと如何に密接に符合するかを判断する。全てのピクセルに関するモーションベクトルは、次に、フレームＴ₀におけるそれらのシフトしたピクセルと相関させることができ、全体的な相関値が判断され、Ｔ_-1Ｔ₀信頼度は、それに基づくものである。

次に、２倍された同じモーションベクトル（２Ｖ）を使用して、Ｔ_-1及びＴ₊₁における奇数入力フィールド内のピクセルを比較する。そのフィールド内の各ピクセルに対して用いられたそれぞれのベクトルによってシフトされた時に、更に別の相関が行われ、Ｔ₊₁におけるピクセルが如何に良好にＴ_-1のピクセルと符合しているかを判断する。これは、図５に例示されている。Ｔ_-1とＴ₊₁の間の相関は、Ｔ_-1Ｔ₊₁信頼基準を導出するために用いられる。

図５は、正しくないモーション補正フィールドＭＣＴ_-1が導出された時の図３の例の続きである。これは、正しくない短いベクトルＶを与えている。実際に、これは、Ｔ_-1Ｔ₀信頼度に対して正しくない良好な符合を与えている。これは、示されている対象物のモーションの速度が線形ではないことを示唆している。しかし、正しくない短いベクトルを２度使用して入力フィールドＴ_-1Ｔ₊₁を比較する時には、不良な符合が見出される。これは、図５に示されており、ベクトル２Ｖは、フィールドＴ₊₁内の対象物の位置に届かない。

２つの信頼基準の値が求められた状態で、それらを組み合わせて、進行走査信号を生成するために異なるインタレース解除装置を用いる必要があるか否かに関する判断を行うことができる。１つの構成では、２つの値の最小信頼度が所定の限界よりも低い場合には、異なるインタレース解除装置に切り換えることができる。別の方法は、２つの値の和を取り、その和が所定の限界の間に入る場合には、異なるインタレース解除装置に切り換えることである。また、別の方法は、これら２つの値の最大値を見つけて、これを用いてモーション補正結果と異なるインタレース解除装置との間で線形的に内挿することである。しかし、本発明は、信頼度を組み合わせるいかなる特定の方法にも制限されない。

図６では、映像信号を受信して交互の奇数及び偶数フィールドをＤＲＡＭメモリ４に供給するＴＶ復号器２が示されている。これは、本発明を具体化するモーション補正インタレース解除装置６によって操作することができる一連のフィールドを記憶する。連続フィールドは、ＳＤＲＡＭ４によってモーション補正インタレース解除装置に供給される。この例では、３つのフィールド、すなわち、フィールドＴ_-1、フィールドＴ₀、及びフィールドＴ₊₁が供給される。更に別のフィールドが供給されると、フィールドＴ_-1は、フィールドＴ₀になることになり、フィールドＴ₀は、フィールドＴ₊₁になることになり、古いフィールドＴ₊₁は廃棄され、新しいＴ_-1が入力されることになる。
モーション補正インタレース解除装置は、モーション補正フィールドＭＣＴ_-0を生成し、これは、現在のフィールドＴ₀と組み合わせられ、モニタ又は他のデバイス８に出力される。このフィールドはまた、ＳＤＲＡＭ４に差し戻され、そこからそれは、続けてモーション補正フィールドＭＣＴ_-1としてモーション補正インタレース解除装置に供給して戻される。

モーション補正インタレース解除装置のブロック図は、図７に示されている。
図から見ることができるように、Ｔ_-1Ｔ₊₁信頼度ユニットは、フィールドＴ_-1及びフィールドＴ₊₁を受信し、ＭＣＴ₊₁を与えるためにＴ_-1内の各ピクセルをベクトル２Ｖによってシフトする。次に、フィールドＴ₊₁及びＭＣＴ₊₁が相関され、それらが如何に良好に符合しているかを判断して信頼基準を導出する。Ｔ₊₁内の各ピクセルをベクトル−２Ｖによってシフトすることにより逆処理を適用してＭＣＴ_-1を与え、次に、これとフィールドＴ_-1を相関して信頼基準を与えることができると考えられる。同様に、モーション補正（これは、Ｔ_-1のモーション補正バージョン）フィールドＭＣＴ_-1及びフィールドＴ₀が、Ｔ_-1Ｔ₀信頼度ユニットによって受信され、これは、以前に導出されたベクトルＶによってピクセルＭＣＴ_-1をシフトし、それらがフィールドＴ₀内のピクセルと如何に良好に符合するかを判断する。

この２つの信頼基準は、次に、配合ユニット１６を制御するために用いられる複合信頼度ユニット１４において組み合わせられる。この配合ユニットは、フィールドＴ_-1を受信し、ユニット１８においてこれにモーション補正を行うものである。同時に、Ｔ₀は、信頼基準が通常のモーション補正の使用を可能にするほど十分に高くない時に使用のための安全な低品質インタレース解除装置２０によって受信される。配合ユニット１６は、使用される基本モーション補正ユニット１８及び安全な低品質インタレース解除装置２０からの信号の比率を判断して最終出力を生成するように複合信頼基準ユニット１４によって制御される。好ましい実施形態は、これらの２つの信号間の配合に線形内挿を用いるが、本発明は、線形内挿に制限されず、２つの信号間の単純な切り換えを用いることもできると考えられる。
モーション補正ユニット１８の出力は、フィールドＴ_-1のシフトしたバージョンから導出されたフィールドＭＣＴ₀である。このフィールドＭＣＴ₀はまた、ＳＤＲＡＭ４に出力して戻される。配合ユニット１６によって生成された最終出力は、図６に示すようにモニタ８に送信される。

代替的な実施形態では、用いられるモーションベクトルは、いくつかの異なるフィールドから導出することができる。また、２つよりも多い信頼基準を用いることもできる。用いられる数は、画面品質に依存するようにすることができるであろう。また、モーション補正フィールドＭＣＴ₀は、逆モーションベクトルに対する軸線によってフィールドＴ_-1ではなくフィールドＴ₊₁から導出することができ、又はいくつかのフィールドから導出することもできると考えられる。

上述のフィールドシーケンスを示す図である。 上述の更に別のフィールドシーケンスを示す図である。 上述の更に別のフィールドシーケンスを示す図である。 本発明の実施形態で導出されると考えられるフィールドシーケンスを示す図である。 本発明の実施形態で導出されると考えられる更に別のフィールドシーケンスを示す図である。 本発明の実施形態のブロック図である。 図５のモーション補正インタレース解除装置のブロック図である。

符号の説明

１０ 第２の信頼基準を導出するための手段
１２ 第１の信頼基準を導出するための手段
１６ 出力を選択するための手段
１８ モーション補正手段
２０ 他のインタレース解除装置

Claims (8)

1. インタレースされた信号から進行走査信号を生成するためのモーション補正インタレース解除装置であって、
   （ａ）インタレースされたフィールド内の欠損ラインをインタレースされた信号内の少なくとも１つの他のフィールドから導出するためのモーション補正手段（１８）と、
   （ｂ）欠損ラインが導出される前記フィールドの既知のラインと以前のモーション補正されたフィールドとを用いて、前記モーション補正手段の精度に関する第１の信頼基準を導出するための手段（１２）と、
   （ｃ）少なくとも２つの他のフィールドの既知のラインを用いて前記モーション補正手段（１８）の精度に関する第２の信頼基準を導出するための手段（１０）と、
   （ｄ）少なくとも前記モーション補正手段（１８）及び１つの他のインタレース解除手段から表示のための出力を選択するための手段（１４、１６）であって、と、該選択を導出された前記第１の信頼基準と前記第２の信頼基準との組み合わせに応じて行う手段（１４、１６）と、
   を含むことを特徴とするモーション補正インタレース解除装置。
2. 導出された前記第１の信頼基準と前記第２の信頼基準との組み合わせと、所定の限界と、の比較の結果に応じて、異なるインタレース解除手段に切り換えるための手段を含むことを特徴とする請求項１に記載のモーション補正インタレース解除装置。
3. 前記異なるインタレース解除手段は、前記信頼基準の１つが所定の値よりも低くなった場合に使用に切り換えられることを特徴とする請求項２に記載のモーション補正インタレース解除装置。
4. 組み合わせられた前記第１の信頼基準及び前記第２の信頼基準によって制御され、２又はそれ以上のインタレース解除手段の出力の比率を配合して、出力インタレース解除信号を生成する、配合手段を含む、請求項１に記載のモーション補正インタレース解除装置。
5. インタレースされた信号から進行走査信号を生成するためにモーション補正インタレース解除する方法であって、
   （ａ）モーション補正手段（１８）により、インタレースされたフィールド内の欠損ラインをインタレースされた信号内の少なくとも１つの他のフィールドから導出する段階と、
   （ｂ）欠損ラインが導出される前記フィールドの既知のラインと以前のモーション補正されたフィールドとを用いて、前記モーション補正の精度に関する第１の信頼基準を導出する段階と、
   （ｃ）少なくとも２つの他のフィールドの既知のラインを用いて前記モーション補正手段（１８）の精度に関する第２の信頼基準を導出する段階と、
   （ｄ）少なくとも前記モーション補正手段（１８）及び１つの他のインタレース解除手段から表示のための出力を選択する段階であって、該選択を導出された前記第１の信頼基準と前記第２の信頼基準との組み合わせに応じて行う段階と、
   を含むことを特徴とする方法。
6. 導出された前記第１の信頼基準と前記第２の信頼基準との組み合わせと、所定の限界と、の比較の結果に応じて、異なるインタレース解除手段に切り換える段階を含むことを特徴とする請求項５に記載の方法。
7. 前記信頼基準の１つが所定の値よりも低くなった場合に異なるインタレース解除手段に切り換える段階を含むことを特徴とする請求項６に記載の方法。
8. 組み合わせられた前記第１の信頼基準及び前記第２の信頼基準に応じて、２又はそれ以上のインタレース解除手段の出力の比率を配合して、出力インタレース解除信号を生成する段階、を含む請求項５に記載の方法。

Images