JP3836159B2 - エッジ相関を用いてインタレース動画をプログレッシブ動画に変換するシステム - Google Patents

Description

発明の背景
本発明は動画フォーマットの変換システムに関し、特に、インタレース動画をプログレッシブ動画に変換する動画フォーマット変換システムに関する。
動画ディスプレイは、通常、規定間隔で表示される複数の走査ラインを有している。普通のテレビジョンディスプレイのような従来のディスプレイは、インタレース（飛び越し）走査ディスプレイを用いている。インタレースシステムは、動画の各フレームの走査ラインを２つのフィールドに分割し、各フィールドはフレームの走査ライン数の半数（１本おき）から成る。インタレース走査ディスプレイの解像度は、各フィールドが黒の代替フィールドの走査ラインで別々に表示されるので制限を受ける。インタレースシステムの一例として、ＮＴＳＣシステムでは、各々のインタレースされたフィールドは１秒の１／６０番日毎に表示され、完全なフレームは１秒の１／３０番目（２フィールド）毎に表示される。
高精細度テレビジョンのような高品質ディスプレイは、プロブレッシブ（順次）走査ディスプレイシステムを用いている。単純なプロブレッシング走査ディスプレイシステムの場合、或る与えられた瞬間において目に見える走査線数は、対応するインタレースシステムにおいて目に見える走査線数の２倍である。プログレッシブ動画は、用語“インタレースされた動画”が意味するような１つ置き走査線の代わりに、画像信号の全ての走査線を連続して表示する。換言すれば、用語“プログレッシブ動画”は、インタレースされた動画を意味しない。
インタレース動画からプログレッシブ動画への変換は、インタレース動画を２倍の水平走査速度で走査して動画情報の走査線数を２倍にすることにより達成できる。１フィールドのインタレース動画の各走査線が表示され、インタレース動画の走査線間の欠けている走査線（通常黒）が補間される。
インタレース動画からプログレッシブ動画に動画画素情報を補間する多数のシステムが知られている。かようなシステムは、大きく３つのタイプのどれかに分類することができる。
第１のタイプの補間システムは、フィールド内補間であり、現フレーム中の走査済みラインの画素のみを用いて走査されていないラインの画素を補間する。通常、かようなシステムは、各ラインを、補間中のラインの真上と真下のラインの画素平均値を用いる方法で補間するものであり画質の低下を招く。最も単純なフィールド内補間は、平均画素値を得るために補間画素の真上の画素値と真下の画素値を平均する。動画のインタレースされたライン間の黒領域を埋める間、この特別なフィールド内補間法は、十分な画質を提供できず、細い部分に関係するフリッカも除去できない。
第２のタイプの補間システムは、フィールド間補間であり、過去及び／又は未来のフィールドの走査ラインと共に現在のフィールドの走査ラインを用い動き補償をせずに現フィールド中の走査されていないラインの補間をする。この方法は、静止シーンの動画像には高画質を付与するが、動きを含む動画部分に重大なアーチファクトが生じる。別のフィールド間補間方法は、１つのフィールドを保管し、それを次のフィールドのスペースを埋めるために使用する。この方法は、動くオブジェクトは近傍フィールドにおいて異なる位置を占めるので、動きを含む動画部分を除けば十分満足できる。言い換えれば、かような補間フレームは２枚の重ね合せフィールドより成り、動くオブジェクトを偶ライン上の１つの位置と奇ライン上のもう１つの位置に表示し、オブジェクトの２重画像を生成する。
第３のタイプの補間システムは、動き補償を伴った補間システムであり、フィールド内補間方法と動き補償無しのフィールド間補間方法に関して動きのある場合に生じる問題を解決する方法である。但し、動き補償には通常多大の計算を要し、時間と費用が増大する。多くの補間システムが、所望の画素回りの領域内の画素値をサンプリングし、その画素のサンプリングを所望の補間される画素の領域内において過去と未来のフィールドに延長することにより、存在する動きを補償することを試みている。インタレース動画の場合の動き補償の難しさには、補間画素を含むフィールドの直前と直後のフィールド内の同一場所にない画素をサンプリングすることが含まれる。又、シーンが切り替わり、即ち、かなりの動画の変化が生じた場合、かようなシステムは失敗しがちである。
Ｌｅｅ他の米国特許第５，４２８，３９７号に、インタレース動画を動き補償を用いてプログレッシブ動画に変換する動画フォーマット変換システムが開示されている。Ｌｅｅ他のこのシステムは、変換を達成するためにフィールド内技法とフィールド間技法の両方を使用する。このシステムは、現画素が定常であるかどうかを判定し、定常であれば、フィールド間技法を用い補間画素の値を決定する。これに反し、システムは、現画素が動いていると判断すると、フィールド内動き補償技法を用い補間画素値を決定する。特に、Ｌｅｅ他が教示するフィールド内技法は、１対のライン遅延回路に接続した簡単な輝度平均計算回路を使用する。従って、比較的高速なフィールド間技法を動きのない部分に適用し、比較的高速なフィールド間技法が不向きである動き部分に比較的低速なフィールド内技法を適用する。
Ｂｒｅｔｌの米国特許第５，４５７，４３８号には、フィールド内技法とフィールド間技法を用い、動画の２つのインタレースフィールドからプログレッシブライン走査動画を展開させる画素補間システムが開示されている。所望の画素の上下のラインの画素輝度を平均することによりフィールド内画素値を算定する。動き値は、画像の動きを示すために算定される。フィールド間画素値は、フィールド内画素値を前後のフレームの内の対応画素と比較することにより算定する。動き値は、フィールド間とフィールド内の画素値を比例調和させて、所望画素に対する値を計算するために使用される。Ｂｒｅｔｌの教示するこのシステムは計算が複雑で、高価な電子機器と多大の計算時間を要する。
Ｓｉｍｏｎｅｔｔｉ他は、その論文“ＩＱＴＶ受信機とマルチメディアアプリケーション用の脱インタレース装置（A DEINTERLACER FOR IQTVRECEIVERS AND MULTIMEDIA APPLICATIONS）”において、インタレース動画をプログレッシブ走査動画に変換するシステムを開示している。Ｓｉｍｏｎｅｔｔｉ他は、ＡＳＩＣ（特定用途向け集積回路）の開発に適したシリコン生産技術と最適設計フローをそなえた簡単であるが有効なアルゴリズムを用いて迅速で低価格の装置での画質の向上を目的とすることを示唆している。このシステムは、選択した画素間の輝度差の絶対値を計算して動きを検出してから、フィールド内又はフィールド間補間技法のいずれかを選択する。動きが検出された場合は、画素付近のオブジェクトの境界が不鮮明になるのを避けるためにフィールド内技法を適用する。Ｓｉｍｏｎｅｔｔｉ他は、画素付近の輝度データの高い相関がある方向に沿って、補間を実施してボケを低く押さえることを試みている。Ｓｉｍｏｎｅｔｔｉ他の教示するアルゴリズムは、各画素毎に多大な回数の比較（条件式の実行）を行い、１つまたはそれ以上の比較に基づき適当な動作を選択することを含んでいる。残念ながら、従来のＲＩＳＣプロセッサでは、かような比較演算を行うために用いられる条件式の実行にはかなりの時間を要する。従って、ＲＩＳＣプロセッサを使用して計算速度を上げるためには、条件式の実行回数を最少にすべきである。
Ｈｏｎｇの米国特許第５，４９３，３３８号には、三次元メジアンフィルタを用いてインタレース動画をプログレッシブ動画に変換するシステムが開示されている。この三次元メジアンフィルタは、水平，垂直及び時間軸判定信号によって補間される画素成分の周縁の水平，垂直及び対角線方向の画素輝度値に重み因数を付ける。しかしながら、Ｈｏｎｇは画素の補間を算定する際に動画中のエッジを使用せず、画質の低下をもたらす。
Ｍａｒｓｉ他は、その論文“非線形画像補間フィルタの超大規模集積回路（ＶＬＳＩ）実装（VLSI IMPLEMENTATION OF A NONLINEAR IMAGE INTERPOLATION FILTER）”において、演算子関数を用い垂直又は水平の何れかの方向に沿って補間することによりインタレース動画をプログレッシブ動画に変換することを開示している。この演算子関数は、画像内のエッジを保存するように設計されている。しかしながら、かような演算子関数は、画像の動きを考慮していないか、或いは、非水平又は非垂直方向のエッジに対して適当な結果をもたらさない。
Ｄｏｎｇ−Ｉｌの米国特許第５，３０７，１６４号には、垂直方向の広域補間信号のゼロ挿入及び低域補間信号の斜め相関を用いて線形補間することによりインタレース動画をプログレッシブ動画に変換するシステムが開示されている。この斜め相関技法は、高相関画素平均輝度値を得ることを含んでおり、画素の相関関係は一連の計算によって対角線方向において検出される。その後、最大の相関関係（最小平均値）を一連の比較によって決定し、それを用いて補間画素を計算するために平均化する２つの画素を選択する。
Ｐａｔｔｉ他の米国特許第５，６０２，６５４号には、インタレース動画から静止画像を得るのに特に適した２段階輪郭検知式脱インタレースシステムが開示されている。第１ステップは、インタレースフィールドの各不足画素について、不足画素の上下の画素の輝度差の絶対値が予め選択されたしきい値より大きいか否かを算定する。不足画素が低垂直周波数位置にあることが決まれば、その値を垂直補間により推定する。もしそうでなければ、第２ステップで、不足画素を通る明確な輪郭があるかないかを判定し、画素ブロックを比較して１つでもあれば輪郭の方向を決定する。明確な輪郭がある場合、不足画素は不足フィールドラインの真上と真下のフィールドライン中の輪郭方向に沿って強度値を平均して求める。しかしながら、Ｐａｔｔｉ他が教示するようにデータブロックを処理して輪郭を決定するために要する計算条件は過大である。
Ｍａｒｔｉｎｅｚ他は、その論文“インタレーステレビジョンピクチャの空間補間（SPATIAL INTERPOLATION OF INTERLACED TELEVISIONPICTURES）”において、インタレース動画の２本の隣り合うラインの対応する画素のセットを用いて画像内の特徴のエッジを決定するアルゴリズムによりインタレース動画をプログレッシブ動画に変換するシステムを教示している。このアルゴリズムは、ラインシフトモデルに基づいており、隣り合うラスタ走査ラインの小さなセグメントは空間的に変化する水平シフトにより関連付けられたものと仮定する。Ｍａｒｔｉｎｅｚ他の教示するこのアルゴリズムは、２つのステップを含んでいる。第１ステップは、注目点回りの画像サンプルの窓から得た速度を推定する。カラーピクチャの場合、このステップは輝度成分に関してのみ実行する。速度推定計算のために、Ｍａｒｔｉｎｅｚ他は、１セットの一次（線形）方程式を各点毎に解かねばならないことを教示している。これは、計算量が膨大で高価な電子機器を必要とすることになる。第２ステップは、所望の補間される画素に隣接した２本のラインに速度推定値を投影することを含み、対応する点における画像強度を平均化する。カラー画像の場合、このステップは各色成分について実行する。
Ｍａｒｔｉｎｅｚ他が教示するアルゴリズムは、概念的には、動画の２本の隣り合うインタレースライン上の点列に１つの面を適合させることであると考えることができる。次に、注目点における勾配を算定する。これは、注目点に対する前記面上の最大急勾配の方向である。その勾配の垂線は前記面上のその点における最も平坦な部分であり、１つの特徴のエッジであると見なす。補間は、エッジの輪郭を維持するために、通常その垂線に沿う画素について実行する。従って、Ｍａｒｔｉｎｅｚ他は、両ラインからの画素値を用いて画素の補間ラインを計算することを教示している。さらに、インタレース動画の次のセットの２本のラインの処理に進む場合、その中の１本は先行補間ラインの補間に使用されており、計算の“面”の性質により計算を簡素化するために再使用できるデータは皆無である。
従って、要望されているのは、計算が集中的でなく、動画内の特徴に関しエッジ情報を保持できる、インタレース動画をプログレッシブ動画に変換するシステムである。
発明の要約
本発明は、先行技術の上記欠点を克服するために、少なくとも第１ラインと第２ラインとを含む画像を処理するためのシステムにおいて、第１ラインと第２ラインは各々複数の画素を含み、第１と第２のラインの中間に位置する複数の補間画素を含む１本の補間ラインを生成する画像処理システムを提供する。このシステムは、第１ラインから第１セットの画素を第２ラインから第２セットの画素を選択し、第１フィルタで第１セットの画素を処理して第１セットのフィルタ処理値を、第２フィルタで第２セットの画素を処理して第２セットのフィルタ処理値を各々生成する。本システムは、第１ラインにおいて、第１セットのフィルタ処理値中の少なくとも１つのエッジ位置を、第１規定値より小さいか等しいかの少なくとも１つの値であるフィルタ処理値の第１セットの第１処理値と、第１規定値より大きいか等しいかの少なくとも１つの値であるフィルタ処理値の第１セットの第２処理値と、により識別する。本システムは、又、第２ラインにおいて、第２セットのフィルタ処理値中の少なくとも１つのエッジ位置を、第２規定値以下の少なくとも１つの値であるフィルタ処理値の第２セットの第１処理値と、第２規定値以上の少なくとも１つの値であるフィルタ処理値の第２セットの第２処理値と、により決定する。システムは、次に、第１ラインの少なくとも１つのエッジ位置と第２ラインの少なくとも１つのエッジ位置に基づき補間を実施して補間ラインの少なくとも１つの補間画素を生成する。別の実施形態において、本システムは、複数の画素を含む第３ラインを含み、補間画素を第１ラインと第３ラインの間に配置する。このシステムは第３ラインから第３セットの画素を選択し、第３フィルタで第３セットの画素を処理して第３セットのフィルタ処理値を生成する。本システムは、第１選択基準に基づいて複数の推定エッジ特徴の少なくとも１つを選択する。ここで、各エッジ特徴は、第１セットのフィルタ処理値中の少なくとも１つのフィルタ処理値と、第２セットのフィルタ処理値中の少なくとも１つのフィルタ処理値と第３セットのフィルタ処理値中の少なくとも１つのフィルタ処理値と、により規定される。第１選択基準は、規定値より大きいかまたは等しいかのいずれか、若しくは規定値より小さいかまたは等しいかである、第１セットのフィルタ処理値中の少なくとも１つのフィルタ処理値と、第２セットのフィルタ処理値中の少なくとも１つのフィルタ処理値と、第３セットのフィルタ処理値中の少なくとも１つのフィルタ処理値との中の、少なくとも２つの値により規定される。システムは、複数の推定エッジ特徴の少なくとも１つを選択することに基づいて補間を行って、補間ラインの補間画素の少なくとも１つを生成する。
好ましい実施形態においては、画素の第４ラインが使用され、推定エッジ特徴は第４ラインの画素を含んでいる。また、好ましい実施形態においては、第２の選択基準を含んでいる。この第２選択基準は、規定値より大きいかまたは等しいかのいずれか、若しくは規定値より小さいかまたは等しいかのうち、第１選択基準で選択されなかった方である、第１セットのフィルタ処理値中の１つのフィルタ処理値と、第２セットのフィルタ処理値中の１つのフィルタ処理値と、第３セットのフィルタ処理値中の１つのフィルタ処理値の、少なくとも２つのフィルタ処理値により規定する。システムは次に、第２選択基準でなく、第１選択基準を含む複数の推定エッジ特徴の少なくとも１つを選択することに基づいて補間を行って、補間ラインの補間画素の少なくとも１つを生成する。
両実施形態において、本システムは、計算が集中的でなく、動画内の特徴に対してエッジ情報を保持できる技法を用いて、インタレース動画をプログレッシブ動画に変換する。又、この技法は、エッジ特徴を曖昧にする影のような輝度変化が生じた時でも画像エッジの詳細を保持する。かようなエッジ特徴を維持するために用いる主要な技法は、画素の輝度値そのものを直接使用するのではなく、その代わりに、より高い画質が結果として得られる“バイナリ”のエッジ特徴を用いる。本システムの他の利点は、インタレース動画の単一ラインに実行する各セットの計算は、インタレース動画のそのラインの上下の補間画素の両方に用いられ、フィルタを使用しての画素値の再計算を要しない。
この発明の上記及び他の目的、特徴及び利益は、添付の図面を参照して本発明の以下の詳細説明を読めば、容易に理解されよう。
【図面の簡単な説明】
図１は、フィールド内補間器，フィールド間補間器及び動き検出器を含むシステム例のブロック図である。
図２は、インタレース動画とプログレッシブ動画を示す図である。
図３は、インタレース動画の２つのライン部分の画素を表現する図である。
図４は、サンプル画素の輝度値を表現する図である。
図５は、［−１ ＋２ −１］フィルタにより図４の画素を処理して得た１セットのフィルタ値を示す図である。
図６は、エッジ特徴を識別するために用いた図５のフィルタ値の１セットの極性値を示す図である。
図７は、１セットのフィルタ値をしきいフィルタを通過させて得た正（＋）及び負（−）値の拡散値を持つゼロを主として含む１セットのしきい値を示す図である。
図８乃至図１２は、図７のしきい値に対する１セットの選択基準例を示す図である。
図１３は、図１２の選択基準に対する垂直エッジ条件のセットを示す図である。
図１４は、図１２の選択基準に対する別の垂直エッジ条件のセットを示す図である。
図１５は、図８の選択基準の１つに対する垂直エッジ条件のセットを示す図である。
図１６は、エッジ選択テストを示す図である。
図１７は、図１６の場合のエッジ推定選択を示す図である。
発明の実施の形態
図１を参照する。フレーム内及びフレーム間の動き適応補間システム８は、入力輝度信号Ｙ_inを含んでいる。この信号Ｙ_inは、フィールド内補間器１０とフィールド間補間器１２により補間されるフィールド内のラインの補間に用いられる。入力画像内の動きを判定する動き検出器１４の判定に基づき、その動きに該当する領域内の補間すべき画素をフレーム内補間器１０又はフレーム間補間器１２により補間する。本発明のシステムがフィールド間の決定及び動き検出に適したシステムを含み得ることを理解すべきである。又、システムは、要望に応じ、フィールド内補間器のみを含むことができる。
図２を参照する。先述のように、インタレース動画は、１フレームの２つの異なるフィールドに拡がる１つの画像を持つ。インタレース動画２０を、高精細テレビジョンのようなディスプレイ用のプログレッシブ動画３０に変換するために、インタレース動画２０の走査ライン間の補間画素を決定する必要がある。補間画素を決定するために選択する技法は、アーチファクトのない高い画質を供給しなければならない。
図３を参照する。補間画素Ｘは、インタレース動画の１ラインの１部分の逐次画素Ａ−Ｇとインタレース動画の次のラインの１部分の逐次画素Ｈ−Ｎとの所与のセットから計算できる。画素Ｈ−Ｎはインタレース動画の次のラインからの画素が望ましい。このシステムが補間画素Ｘの上下の任意の適当な数の画素を使用できることを理解すべきである。尚、画素は、補間画素Ｘの回りのプログレッシブ及び対称の両方であることが望ましい。
数多くの現行の補間技術が遭遇していることは、エッジ特徴を曖昧にさせる影のような輝度の変化時に画像のエッジの詳細を保持することの難しさである。本発明者は、多くの現行の補間技法が、動画の異なるインタレースラインの画素輝度値を直接使用して画像中のエッジ特徴を識別していることに気付いた。画素の輝度値そのものを直接用いてエッジ特徴を識別する技法とは対照的に、本発明者は、“バイナリ”エッジの特徴の相関が、高い画質を結果としてもたらすことを確認した。
本発明者は、Ｍａｒｔｉｎｅｚ他が教示するような１つの“面”の適合には、補間ラインの各補間画素毎に両方の周囲ラインの１部分からの画素強度値を用いて同時に計算することが必要であることを確認した。次の補間ラインに対する補間画素を計算する際に、インタレース動画の共有ライン（２本の補間ライン間のライン）の画素強度値は次の“面”を再計算するために再使用される。Ｍａｒｔｉｎｅｚ他のこの技法に反し、本発明者は、動画の補間ラインの各部分について関数を計算するか又はフィルタを使用する補間技法を用いると、各ラインの関数はインタレース動画の他のラインと無関係であり、次の補間ラインに対する後続の計算にインタレース動画の共有ラインで行なった先の計算を再使用できる、つまり、インタレース動画の単一ラインで実行した計算の各セットはインタレース走査動画のそのラインの上下の両方の補間画素に使用することができることに気づいた。つまり、インタレース動画の単一ライン上で実行された計算の各セットは、インタレース動画のそのラインの上下両方の補間画素に用いられうる。この知識を用い、本発明者は、画像の１ラインに沿う１つのエッジ特徴を表現する典型的な輪郭は２次フィルタ又はハイパスフィルタの何れかで決定できると仮定した。別案として、例えばガウスフィルタ又はソーベルフィルタのような他の適当なフィルタを用いることができる。かようなエッジ特徴は低輝度から高輝度までの強度変化又は高輝度から低輝度までの強度変化を含む。
図４を参照する。１セットのサンプル画素の輝度値が示されている。輝度値に適用される２次ゼロ交差フィルタの１例が、［−１ ＋２ −１］フィルタである。この［−１ ＋２ −１］フィルタはデータの３つの近傍画素の２次導関数を計算する。このゼロ次交差フィルタは、画素のインタレースラインの各画素に適用され、−１を乗じた先行輝度画素値と、＋２を乗じた現画素値と、−１を乗じた後続画素値の合計を計算する。図４の画素を［−１ ＋２ −１］フィルタで処理した後の１セットのフィルタ処理値が図５に示されている。インタレース動画の１ラインに適用したゼロ交差フィルタから得られたフィルタ処理値の大きさは、エッジ特徴の存在を決定する上で重要ではなく、図６に示すように、ゼロ交差フィルタから得られるフィルタ処理値の極性値（正又は負）がエッジ特徴の識別に用いられる。近傍画素の正（＋）から負（−）又は負（−）から正（＋）への変化によりその位置におけるエッジ特徴を識別する。さらに、近傍画素の正（＋）から負（−）さらに正（＋）への変化又は負（−）から正（＋）さらに負（−）への変化は、エッジ特徴又はノイズの何れかを示している。もし望むならば、負（−）又は正（＋）からゼロへの変化でエッジを示すことができる。
尚、望むならば、このゼロ交差フィルタが非近傍画素を使用できることを理解すべきである。１セットの輝度値からの正、負又はゼロのフィルタ処理値の各々を計算するために使用する画素の数は、望みに応じ選択できる。さらに、特別なフィルタを選択すると、エッジ特徴を識別するためにゼロ回りに集中しない１セットのフィルタ処理値を得ることができる。かような場合、エッジ特徴は、規定値より“小さい”か“等しい”値から規定値より“大きい”か“等しい”値への変化に基いて識別して良い。代わりに、変化は規定値より大きいか等しいから規定値より小さいか等しいへの変化でもよい。規定値（ゼロまたは非ゼロ値）にマッチするフィルタ処理値を、望むならば、エッジ特徴を表示するものとしてもよい。これに代え、規定値に一致するフィルタ処理値を無視し、規定値のどちら側かのフィルタ処理値を使用しても良い。
本発明者は、補間システムの主目的が画像中のエッジを検出して保持することであれば、エッジ特徴を示す２本以上のインタレースラインのフィルタ処理値の各セット内の全体特性の変化が、エッジがそれらラインを通過するならば相関すべきであることに気付いた。従って、本発明者は、インタレース動画の２本以上のラインのエッジ特徴は互いに関連すべきであることに気付くにいたった。エッジ特徴は、画素Ｘが位置するラインの上方ライン中の列に最も近いエッジ特徴を識別することによりインタレース走査ライン間のギャップを横断して追跡することができる。図６を参照する。上方ライン（画素Ｘが位置するラインの上にあるライン）の場合、最も近いエッジ特徴は、符号が正（＋）から負（−）に変化する列３から列４である。列４から列５の負（−）からゼロへの変化は、多分極性変化よりも小さいエッジ特徴であるが、エッジ特徴を表示している。さらに、列４乃至６の負（−）からゼロ及び正（＋）への変化は望むならば無視できる。
次に、下方ライン（補間画素Ｘが位置するラインの下にあるライン）において、他のライン中で識別されたエッジ特徴から補間画素Ｘの反対側のエッジ特徴をサーチする。これは、図６の列４から列５の正（＋）から負（−）へのエッジ特徴で示される。もし、下方ライン中で画素Ｘの近傍に多数のエッジ特徴（遷移）が存在するなら、下方ライン画素の輝度が上方ライン中のエッジ特徴の画素輝度に最も近似している遷移位置を、マッチング点として選択する。エッジ特徴をサーチする補間画素Ｘに関して列領域が制限される。例えば、補間画素Ｘの何れかの側に３列と限定する。補間画素Ｘに関しエッジ遷移を識別後、そのエッジにより定められた方向に沿って線形補間を行なう。再び図６を参照する。補間画素Ｘの線形補間は、画素５０と画素５２の画素輝度、即ち（９＋１０）／２である。これに代え、任意の適当な補間技法をエッジ特徴に基いて用いることができる。
上方及び下方のラインで行なう計算は、望むならば逆にしてもよいことを理解すべきである。さらに、画素Ｘを補間するために用いたインタレース動画のラインは、必ず補間画素の真上と真下のラインである必要はない。
先述のように、上記技法は正，負又はゼロの何れかの値で記述される。これに代え、オフセット係数を含む選択されたゼロ交差フィルタに応じて、エッジ特徴の識別のための比較値が正及び負以外の値であってもよい。
エッジ相関が決定されない場合、垂直補間技法が用いられる。
別の補間技法は、輝度値に対し、［＋１ ＋ ３ −３ −１］のようなハイパスフィルタを使用する。この［＋１ ＋３ −３ −１］ハイパスフィルタは、エッジ特徴を示す１セットの画素の高周波内容を識別する。このハイパスフィルタは、画素のインタレースラインの各画素に適用され、＋１を乗じた第２先行輝度画素値と、＋３を乗じた先行画素値と−３を乗じた現行画素値と−１を乗じた次の画素値の合計を計算する。これに代え、＋１を先行画素値に、＋１を次の画素値に、＋３を現行画素値に、＋３を次の画素値に乗じるようにハイパスフィルタの方を右側に移動させることもできる。次に、インタレース動画の１ラインのハイパスフィルタから得られたフィルタ処理値にしきい値関数を適用し、規定しきい値より小さい絶対値を持つフィルタ値をゼロの値に割り当てる。これにより、低い周波数成分を、エッジ特徴をより示さないように、同一値、好ましくはゼロに設定する。残る非ゼロ値がエッジ特徴のような画像中の高周波特徴の存在を示す。インタレース動画の１ラインに適用した高周波フィルタから得た非ゼロフィルタ値の大きさはエッジ特徴の存在を決定する際には重要ではなく、しきい値ハイパスフィルタからの（正又は負の）極性値の方をエッジ特徴の識別に用いる。近傍画素の正（＋）から負（−）、または負（−）から正（−）への変化は、その位置におけるエッジ特徴を識別する。さらに、近傍画素の正（＋）から負（−）さらに正（＋）、または負（−）から正（＋）さらに負（−）への変化はエッジ特徴か或いはノイズの何れかを示している。
ハイパスフィルタは望むならば非近傍画素を使用できることを理解すべきである。正，ゼロまたは負の各フィルタ処理値を決定するために使用する画素数は、希望に応じて選択できる。さらに、特定のハイパスフィルタを用いて、しきい値フィルタを適用したゼロ付近に集中しないフィルタ処理値のセットを得ることができる。かような場合、しきい値フィルタは、画像の低周波特徴を示す或る範囲のフィルタ処理値を除去するか、さもなくば定数に設定する。又、そのような場合、エッジ位置は、規定値より“小さい”か“等しい”値から、規定値より“大きい”か“等しい”値への変化に基づいて識別される。代わりに、エッジ位置を規定値より大きいか等しい値から、規定値より小さいか等しい値への変化に基づいて識別してもよい。この規定値は、低周波数特徴を設定した、ゼロのような値とすることが好ましい。
しきい値を適切に選択することにより、得られる数値マトリックスは、図７に例示したように、主たるゼロと散在する正（＋）と負（−）の値を含んでいる。好ましい技法は、補間画素Ｘの上下それぞれ２ラインの使用を含む。このシステムは補間画素値の上の２ラインと下の２ライン上のフィルタ処理値の極性値を、補間画素Ｘ回りの異なる全体方向のセットの間で比較する。システムは、補間画素Ｘの回りの適当なセットのフィルタ処理値を用いることができる。補間画素Ｘの上方２ラインと下方２ラインを含むようにシステムを延長することにより、システムは有意のエッジ特徴をより容易に識別することができる。望むならば、システムは補間画素Ｘの上方及び／又は下方のより少ないか又は追加したラインを用いることができる。
画素Ｘ回りの検査される一般角度か或いはフィルタ処理値の選択セットに基づくと、好ましい推定選択基準は、補間画素Ｘの真上ラインと真下ライン中と、補間画素の第２上方ラインと第２下方ラインの少なくとも１ライン中との、同一の正又は負の符号値である。異なる角度での画素の複数のセットは、図８乃至図１２に示すように、望みに応じ選択することができる。図８乃至図１２の例の場合、選択６０と６２は選択基準とマッチしている。これに代え、選択基準を、補間画素回りの、１つの全体方向の任意のセットの適当なライン上の任意の適当な数の同じ符号値又は任意選択セットのフィルタ処理値としてもよい。
推定選択基準にマッチするこれらの画素値のセットに対し、第２の試験を実施することが好ましい。各々最初にマッチしたセットに対し、システムはフィルタ処理値を調べ、反対符号の対抗エッジが推定エッジ特徴を横断しないことを確かめる。対抗エッジは、（画素のセットである）ラインの各端からの中間画素位置においてラインと交差する垂直方向でチェックすることができる。図１３を参照する。推定選択６２について、図示のように７つの垂直エッジ条件６４ａ−６４ｇが調べられ、負（交錯極性）の値が選択６２の両端に存在しないことを確認する。図１４は別の例を示す。即ち、システムは、図１４に示すような、選択６２の上方及び下方の画素の垂直エッジ条件６６ａ−６６ｇを調べることができる。図１５を参照する。推定選択６０は、図１２の選択６２より大きい傾斜度を持っている。従って、逆極性エッジの非横断を確認するのに必要なチェック回数が若干少なくなる。従って、一般に水平ラインの場合、チェックすべきより多数の対抗エッジ条件が、候補である推定ラインを除去する可能性を増大させる。エッジ特徴に用いるフィルタ処理値が互いに離れており、実際に、他のエッジに関係することがあるので、かような低い角度の水平ラインがエッジ特徴を示す誤った傾向がこれにより補われる。より多くの垂直方向のラインが、かような追加対抗エッジ条件のチェックによって除去されることはあまりない。
垂直条件は、望みに応じ、ラインに近いか又は離れている画素値をチェックすることができ、推定エッジ特徴のラインを実際に横断する必要がない（例えば、対抗チェック画素が全てラインの片側にあり得る）ことを理解すべきである。さらに、垂直条件は、望むならば斜め角度にしてもよい。チェックされた垂直画素は、推定エッジ特徴を示す画素の長さを延伸するだけであることが好ましい。
上記に代え、推定選択基準にマッチする画素のセットに対し、別の第２のテストを実施することができる。当初のマッチした各画素セットに対し、システムはフィルタ処理値をチェックし反対符号の対抗エッジが推定エッジ特徴を横断しないことを確かめる。この対抗エッジは、斜め角度及び垂直の両方向において推定エッジ特徴の各側の画素群をチェックすることにより調べられる。図１６を参照する。３個の上方画素８０ａ−８０ｃのセットをチェックし、どれかが負（交錯極性）の値を持つているかを判定し、３個の下方画素８２ａ−８２ｃのセットをチェックし、どれかが負（交錯極性）の値を持つているかを判定する。もし、負値（交錯極性）が、上方画素８０ａ−８０ｃのうちの少なくとも１つ及び下方画素８２ａ−８２ｃのうちの少なくとも１つに発見されれば、推定選択６２はエッジ特徴候補として除去する。又、２個の上方画素８４ａ−８４ｂのセットと２個の下方画素８６ａ−８６ｂのセットを、画素８０ａ−８０ｃ及び８２ａ−８２ｃと同様にしてチェックする。さらに、３個の上方画素８８ａ−８８ｃのセットと３個の下方画素９０ａ−９０ｃのセットを、画素８０ａ−８０ｃ及び８２ａ−８２ｃと同様にしてチェックする。画素のブロックを用いると、異なる斜め角度での対抗エッジを、各々のブロック内の各画素のセット合わせを互いに比較する場合に要求される比較回数より少ない比較回数で検出することができる。
画素群は、望みに応じ、ラインに近いか又は離れている画素値をチェックすることができ、推定エッジ特徴のラインを実際に横断する必要がない（例えば、対抗チェック画素が全てラインの片側にあり得る）ことを理解すべきである。さらに、画素群は、望むならば推定エッジ特徴を示す画素の長さだけを伸長することができる。画素群は、望みに応じ、任意の適当な数の画素と個別のグループを含むことができる。
本発明者によって、上記第２テストの何れかを満足する推定エッジがしばしば実際のエッジ特徴でないことが確かめられた。多くの場合、そのような誤ったエッジ特徴は、過剰なテクスチャを含む画像領域での単なる偶然によって決定される。推定エッジがより確かに実際のエッジ特徴であることを確めるために、本システムは、推定エッジ特徴を横断する同一極性のエッジをチェックするテストをさらに含んでいる。このシステムは、より幅の広いエッジ特徴もエッジ特徴であると見なすことができるように、ラインから１画素の距離範囲にあるような推定エッジに近い画素は考慮しないことが好ましい。ラインの制限長により規定されラインから１画素の距離より大きい矩形内に含まれる同じ極性画素の選択が好ましい。同じ極性画素の好ましい選択の何れかが同一極性を有していれば、その推定エッジ特徴は選択されない。
図１７を参照する。推定選択６２に対し、同一極性画素の好ましい選択は９６ａ−９６ｅと９８ａ−９８ｅである。同一極性画素のマッチングに使用した判定基準と交錯画素は、望みに応じ選択することができる。
エッジ相関が無い場合、垂直補間技法を用いる。
これに代え、望むならば、補間画素Ｘ回りの１つの全体方向に沿ったインタレース動画の４本のラインのいずれの３個または４個の画素値間のマッチングを使用できる。さらに、望むならばインタレース動画の付加ラインも使用できる。
ゼロ交差フィルタとハイパスフィルタに関連して記述したエッジ特徴の識別と選択基準は、望むならば互いに切り替えることができる。さらに、先述の技法の何れも曲線エッジ及び円弧に同様によく適用できる。
上記の説明に使用してきた用語と表現は、説明のために使用したものであり、限定するものではなく、図示し説明してきた特徴又はその部分の同等の用語及び表現を除外する意図は全く無い。本発明の範囲は、添付の請求項によってのみ規定され制限されることを認識されたい。

Claims (20)

1. 画像の第１ライン及び第２ライン上の画素から、該第１ライン及び第２ラインの間に補間ラインを生成する方法において、
   （ａ）前記第１ラインに含まれる連続する所定数の画素でなる第１セットの各画素の画素値に対し、画素値間の差異を強調する第１フィルタでフィルタ処理を施す第１フィルタステップと、
   （ｂ）該第１フィルタステップでフィルタ処理を施した結果の、前記第１セット内の各画素の画素値が、第１規定値より小さい値に属する第１セット第１フィルタ処理値であるか、或いは前記第１規定値より大きい値に属する第１セット第２フィルタ処理値であるか、を識別する第１識別ステップと、
   （ｃ）該第１識別ステップで識別した結果、前記第１セット第１フィルタ処理値と前記第１セット第２フィルタ処理値との境界を、前記第１ラインにあるエッジ位置として検出する第１検出ステップと、
   （ｄ）前記第２ラインに含まれる連続する所定数の画素でなる第２セットの各画素の画素値に対し、画素値間の差異を強調する第２フィルタでフィルタ処理を施す第２フィルタステップと、
   （ｅ）該第２フィルタステップでフィルタ処理を施した結果の、前記第２セット内の各画素の画素値が、第２規定値より小さい値に属する第２セット第１フィルタ処理値であるか、或いは前記第２規定値より大きい値に属する第２セット第２フィルタ処理値であるか、を識別する第２識別ステップと、
   （ｆ）該第２識別ステップで識別した結果、前記第２セット第１フィルタ処理値と前記第２セット第２フィルタ処理値との境界を、前記第２ラインにあるエッジ位置として検出する第２検出ステップと、
   （ｇ）前記第１検出ステップで検出したエッジ位置と前記第２検出ステップで検出したエッジ位置とによって定められた方向に基づいて、前記補間ライン上の補間画素の少なくとも１つを生成する生成ステップと、を含むことを特徴とする方法。
2. 前記第１識別ステップは、前記第１セット第１フィルタ処理値を、前記第１規定値より小さい値の代わりに、前記第１規定値より小さい値及び前記第１規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１に記載の方法。
3. 前記第１識別ステップは、前記第１セット第２フィルタ処理値を、記第１規定値より大きい値の代わりに、前記第１規定値より大きい値及び前記第１規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１に記載の方法。
4. 前記第１識別ステップは、前記第１セット第１フィルタ処理値を、前記第１規定値より小さい値の代わりに、前記第１規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１に記載の方法。
5. 前記第１識別ステップは、前記第１セット第２フィルタ処理値を、前記第１規定値より大きい値の代わりに、前記第１規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１に記載の方法。
6. 前記第２識別ステップは、前記第２セット第１フィルタ処理値を、前記第２規定値より小さい値の代わりに、前記第２規定値より小さい値及び前記第２規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記第２識別ステップは、前記第２セット第２フィルタ処理値を、前記第２規定値より大きい値の代わりに、前記第２規定値より大きい値及び前記第２規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
8. 前記第２識別ステップは、前記第２セット第１フィルタ処理値を、前記第２規定値より小さい値の代わりに、前記第２規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
9. 前記第２識別ステップは、前記第２セット第２フィルタ処理値を、前記第２規定値より大きい値の代わりに、前記第２規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
10. 前記第１セットの所定数は３以上であり、前記第２セットの所定数は３以上であることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
11. 前記第１フィルタ及び／又は前記第２フィルタは、連なる画素値間の高周波成分を抽出するハイパスフィルタであり、前記第１フィルタステップ及び／又は前記第２フィルタステップは、対象の画素値に対して前記ハイパスフィルタによって画素値間の高周波成分を抽出する処理を実行するステップであることを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
12. 前記第１フィルタ及び／又は前記第２フィルタは、連なる画素値間の凹凸を抽出する２次フィルタであり、前記第１フィルタステップ及び／又は前記第２フィルタステップは、対象の画素値に対して前記２次フィルタによって画素値間の凹凸を抽出する処理を実行するステップであることを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
13. 前記２次フィルタは、同一ライン上の３つの連なる画素値にそれぞれ−１、２、−１を乗じて和をとる［−１ ２ −１］フィルタであり、前記第１フィルタステップ及び／又は前記第２フィルタステップは、対象の３つの連なる画素値に対して前記［−１ ２ −１］フィルタによってそれぞれ−１、２、−１を乗じて和をとることで、画素値間の凹凸を抽出する処理を実行するステップであることを特徴とする請求項１２に記載の方法。
14. 前記ハイパスフィルタは、同一ライン上の４つの連なる画素値にそれぞれ１、３、−３、−１を乗じて和をとる［＋１ ＋３ −３ −１］フィルタであり、前記第１フィルタステップ及び／又は前記２フィルタステップは、対象の４つの連なる画素値に対して前記［＋１ ＋３ −３ −１］フィルタによってそれぞれ１、３、−３、−１を乗じて和をとることで、画素値間の高周波成分を抽出する処理を実行するステップであることを特徴とする請求項１１に記載の方法。
15. さらに、
    （ｈ）前記第２ラインに対して前記第１ラインと反対側に位置する第３ラインに含まれる連続する所定数の画素でなる第３セットの各画素の画素値に対し、画素値間の差異を強調する第３フィルタでフィルタ処理を施す第３フィルタステップと、
    （ｉ）該第３フィルタステップでフィルタ処理を施した結果の、前記第３セット内の各画素の画素値が、第３規定値より小さい値に属する第３セット第１フィルタ処理値であるか、或いは前記第３規定値より大きい値に属する第３セット第２フィルタ処理値であるか、を識別する第３識別ステップと、
    （ｊ）該第３識別ステップで識別した結果、前記第３セット第１フィルタ処理値と前記第３セット第２フィルタ処理値との境界を、前記第３ラインにあるエッジ位置として検出する第３検出ステップと、
    （ｋ）前記第２検出ステップで検出したエッジ位置と前記第３検出ステップで検出したエッジ位置とによって定められた方向に基づいて、前記第２セットのラインと前記第３セットのラインとの間に位置する補間ライン上の少なくとも１つの補間画素を生成する第２生成ステップと、を含むことを特徴とする請求項１乃至１４のいずれか１項に記載の方法。
16. 画像の第１ライン、第２ライン、及び第３ラインのいずれか２又は３ライン上の画素から、該第１ライン、第２ライン、及び第３ラインのいずれか２ラインの間に補間ラインを生成する方法において、
    （Ａ）前記第１ラインに含まれる連続する所定数の画素でなる第１セットの各画素の画素値に対し、画素値間の差異を強調する第１フィルタでフィルタ処理を施す第１フィルタステップと、
    （Ｂ）前記第２ラインに含まれる連続する所定数の画素でなる第２セットの各画素の画素値に対し、画素値間の差異を強調する第２フィルタでフィルタ処理を施す第２フィルタステップと、
    （Ｃ）前記第３ラインに含まれる連続する所定数の画素でなる第３セットの各画素の画素値に対し、画素値間の差異を強調する第３フィルタでフィルタ処理を施す第３フィルタステップと、
    （Ｄ）前記第１フィルタステップでフィルタ処理を施した結果の少なくとも１つの画素値、前記第２フィルタステップでフィルタ処理を施した結果の少なくとも１つの画素値、及び、前記第３フィルタステップでフィルタ処理を施した結果の少なくとも１つの画素値を含む、フィルタ処理後の画素値セットで表される推定エッジ特徴の各々から、少なくとも１つの推定エッジ特徴を、第１選択基準に基づいて選択する選択ステップと、
    （Ｅ）該選択ステップで選択された推定エッジ特徴によって定められた方向に基づいて、前記補間ラインの補間画素の少なくとも１つを生成する生成ステップと、を含み、
    前記第１選択基準は、フィルタ処理後の各画素値セットに対し、前記第１セット、前記第２セット、及び前記第３セットのうちの少なくとも２つのセットに対応する画素値群の中に、規定値より大きい値に属するフィルタ処理後の画素値のみが存在すること、若しくは前記規定値より小さい値に属するフィルタ処理後の画素値のみが存在すること、とすることを特徴とする方法。
17. 前記第１選択基準のうち、前記規定値より大きい値に属するフィルタ処理後の画素値のみが存在することの代わりに、前記規定値より大きい値及び前記規定値と同じ値に属するフィルタ処理後の画素値のみが存在することを採用することを特徴とする請求項１６に記載の方法。
18. 前記第１選択基準のうち、前記規定値より大きい値の代わりに、前記規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１６に記載の方法。
19. 前記第１選択基準のうち、前記規定値より小さい値に属するフィルタ処理後の画素値のみが存在することの代わりに、前記規定値より小さい値及び前記規定値と同じ値に属するフィルタ処理後の画素値のみが存在することを採用することを特徴とする請求項１６に記載の方法。
20. 前記第１選択基準のうち、前記規定値より小さい値の代わりに、前記規定値と同じ値に属するものとして、識別を行うことを特徴とする請求項１６に記載の方法。

Images