JPH10512429A - ビデオ信号の走査変換 - Google Patents

Abstract

(57)【要約】 以下のステップを含んでいて、インターレース入力信号から出力ビデオ信号を発生する走査変換方法において：インターレース入力信号のもとのラインに相当する第１のライン；内挿されたラインに相当する第２のライン；を含む第１の信号を供給し（１）、第１の信号に関して遅れまたは進んでいて、そしてそれは、第１のラインに相当する第１の処理されたライン；第２のラインに相当する第２の処理されたライン；を含む第２の信号を供給する（５，１１，７，１３）、出力ビデオ信号における出力ラインを：第１の処理されたラインと第１のライン間の第１の差（３）；第２の処理されたラインと第２のライン間の第２の差（９）に依存して得る。

Description

【発明の詳細な説明】 ビデオ信号の走査変換 本発明はビデオ信号の走査変換のための方法と装置、およびそのような変換装 置を含んでいるビデオ信号表示装置に関する。 ＷＯ−Ａ−９５／２７３６２（代理人の参照番号 ＰＨＮ１４，７９４）は、 インターレースビデオ信号を出力順次走査ビデオ信号に変換する方法を開示して いる。第１の順次走査ビデオ信号はインターレースビデオ信号に依存して供給さ れる。次に、動き補正された順次走査信号が第１の順次走査ビデオ信号に依存し て供給される。出力順次走査ビデオ信号のすべてのビデオラインが、動き補償処 理動作において使用される動きベクトルの不正確さが目に見える歪みに帰着する のを防ぐために、第１の順次走査ビデオ信号と動き補償された順次走査信号の両 方に依存して発生される。第１の順次走査ビデオ信号と動き補償された順次走査 信号は、インターレースビデオ信号の現在のフィールドのもとのラインに位置的 に相当している第１のラインのための第１のミキサ、もとのライン間に内挿され たラインに位置的に相当している第２のラインのための第２のミキサ、および第 １のミキサの出力または第２のミキサの出力をライン交互に選択するためのマル チプレクサによって出力順次走査ビデオ信号を供給するために組み合わされてい る。 本発明の目的は、とりわけ、改善されたビデオ信号の走査変換を提供すること にある。この目的のために、本発明の第１の要旨はクレーム１に規定された方法 を提供する。本発明の第２の要旨はクレーム８に規定された走査変換装置を提供 する。本発明の第３の要旨はクレーム１３に規定されたビデオ信号表示装置を提 供する。有利な実施の形態は従属クレームに規定されている。 それ故に、本発明の第１の要旨は： インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i（ｘ− （０，１）^T，ｎ））、および第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））に 加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給し；および 第１の信号に関して遅れまたは進んでいる第２の信号であって、その第２の信 号は、もとのラインに相当する第１の処理されたライン（Ｆ_out（ｘ−（０，１ ）^T−Ｄ，ｎ−１））、および第２のライン（Ｆ_i（ｘ，ｎ））に相当する第２の 処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有している、を供給する； のステップを含んでいて、インターレース入力信号から出力ビデオ信号を発生す る方法を提供し、 その中において、出力ビデオ信号の出力ライン（Ｆ_out（ｘ，ｎ））は： 第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））と第１の ライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、および 第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））と第２のライン（Ｆ_i（ｘ ，ｎ））間の第２の差 に依存して（好ましい実施の形態の詳細な記述における式２１および２７を参照 ）得られる。 好ましくは、出力ビデオ信号は順次走査ビデオ信号であり、そして方法は、も とのラインに相当する第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））、およ び第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の出力ライン（Ｆ_out（ｘ ，ｎ））を有している出力順次走査ビデオ信号を得るために、第１の信号と第 ２の信号を組み合わせるさらなるステップを含んでいる。有利なことに、出力ビ デオ信号の出力ライン（Ｆ_out（ｘ，ｎ））は、第１のライン（Ｆ_i（ｘ−（０， １）^T，ｎ））と第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の関係に 依存してさらに得られる。 本発明の第２の要旨は、出力ラインが、第２の差と、第１の出力ライン（Ｆ_{ou t} （ｘ−（０，１）^Tｎ））と第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T −Ｄ，ｎ−１））間の第３の差に依存して得られることを提供し、その中におい て、第１のラインと第１の出力ライン間の関係と同様に、第１の差は、本発明の 好ましい実施の形態においてはそれに等しい第３の差によって置き替えられる。 参照は、好ましい実施の形態の詳細な記述において式２０に対してなされる。 本発明の別の要旨は、組み合わせるステップが、出力ライン（Ｆ_out（ｘ，ｎ ））と第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））間の差が第１の出 力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と第１の処理されたライン（Ｆ_out（ｘ −（０，１）^T−Ｄ，ｎ−１））間の差に相当するように制御され、好ましい 実施の形態の詳細な記述における式１８を参照されたい。本発明の上述した要旨 は動きの軌道に沿った一貫性を改善し、または、他の言葉に置き替えるならば、 よりスムーズな絵が動き物体に対して得られる。 本発明のこれらおよび他の要旨は、以下に記述される実施の形態から明らかに なり、そして実施の形態を参照して明瞭になるであろう。 図面において： 図１は、本発明に従った順次走査変換器を含んでいるテレビジョン受信機の実 施の形態を示し； 図２は、図１の実施の形態における使用のためのミキサの係数ｋ１とｋ２を計 算するためのデバイスの実施の形態を示し；そして 図３は、図１の実施の形態における使用のためのミキサの係数ｋ１を計算する ためのデバイスの実施の形態を示している。 １．序説 非インターレース化は、最も多くのビデオ走査のフォーマット変換のために要 求される基本的な動作である。画像データの垂直方向および時間方向の内挿は、 サンプリング定理の条件が一般にビデオ信号に合わないので、実際的で基本的な 困難さを引き起こす。サンプリングレート変換理論に基づいた直線的な方法は、 それ故解像度および／または動き描写にネガティブに影響を与える。より進歩し たアルゴリズムは、その方向に最も高い相関で３−Ｄ画像データを内挿するそれ らの共通の試みによって特徴づけられ得る。この目的のために、それらはこの方 向を見つけるために明白かまたは暗黙かの検出器を有している。１−Ｄの時間方 向の内挿の場合においては明白な検出器は通常動き検出器と呼ばれ、２−Ｄの空 間方向の内挿に対してはそれはエッジ検出器と呼ばれ、ところが一方、最適な空 間−時間方向の３−Ｄ内挿の方向を推定する最も進んだデバイスは動き推定器で ある。内挿フィルタはリカーシブかまたはトランスバーサルかで有り得るが、し かし、時間方向のタップの数は好ましくは少ない。 最近、動き補償された順次走査変換器のためのリカーシブ方式を提案している 幾つかのペーパーが発表された［１，２］。実験は、リカーシブが動き補償され たメジアンの重要な改善を生み出し［３］、そしてもし良質の動きベクトルが適 用されるならば、それにこれらのアルゴリズムは基づいていることを示している 。さらに、リカーシブは、もし速度が増しているならば、一般化されたサンプリ ング理論を適用する最近発表された方法［４］に比べて、クリティカルな速度に ついて改善された動作をすることが期待されている。この出願においては、従来 技術で残っている不自然さを抑圧する、改善されたリカーシブな順次走査変換ア ルゴリズムが導入されている。本発明は、アルゴリズムと、オブジェクティブス コア(objective score)において改善を示す新規な評価方法を提供する。高い品 質で、サブ画素の正確な動き推定のため、［５］のアルゴリズムが使用される。 ２．非インターレース化技術 一般に、動き補償された非インターレース化のために必要なサンプルは、たと えば非整数の速度のため、時間離散的な入力信号には存在しない。水平方向の領 域においては、この問題はリニアなサンプリングレート変換（ＳＲＣ）理論、た とえば［６］参照、で解かれ得るが、しかし、サンプリング理論の制約が合わな いので、垂直方向の領域においては解かれない。この問題に対する３つの異なっ た解決が、最近、文献に提案されている： １）それが存在している画素を（殆ど）指すまで、初期の画像への動きベクトル の一直線の延長［７］。 ２）一般化されたサンプリング理論（ＧＳＴ）の応用［４］。 ３）信号のリカーシブな非インターレース化［１，２］。 解決１）は、我々がより大きい時間の場合にわたって速度が一定であると仮定 したときにのみ確実である。これは、方法を実際的に有用でないものにする、む しろシビアな限界である。 ＧＳＴの含意は、１／ｎ倍のＮｙｑｕｉｓｔレートでサンプルされた信号を記 述するｎ個の独立したサンプルのセットで完全に再構築することが可能である。 非インターレース化の問題にとって、ｎ＝２であり、そして要求された２つのセ ットは、現在のフィールドと動き補償された前のフィールドである。もし、２つ が一致しない、すなわち物体が奇数の垂直方向の動きベクトル成分を有しないな らば、独立性の制約が満たされ、そして問題は理論的に解決され得る。実際の問 題は： ａ）速度が奇数の垂直方向の成分を有し得る。 ｂ）完全な再構築は多くのラインからの画素の使用を必要とし、そのための速度 は一定であることを要しない。 ｃ）垂直方向の奇数の近くの速度に対して、ノイズが拡張され得る。 解決３）は、いつかメモリ中に完全に非インターレース化された画像を有する ことが可能である、という仮定に基づいている。ひとたびこれが真実ならば、画 像は次の入力フィールドを非インターレース化するために使用される。動き補償 とともに、この解決は、メモリ中の非インターレース化された画像が垂直方向の 領域においてまたＳＲＣ理論の使用を許すので、完全であり得る。もし、この新 しい非インターレース化されたフィールドがメモリ中に書かれるならば、それは 次に入って来るフィールド、等々を非インターレース化するために使用され得る 。この方法の限界は： Ｉ）動きベクトルの不正確さと内挿の欠陥のため、エラーの伝播 II）光学的なプレフィルタのないカメラの共通の場合を仮定すると、完全に非イ ンターレース化された画像でさえも、垂直方向の周波数領域においてエイリアス を含み得る。 実際問題として、問題１）はより重大であり、特に、殆ど奇数の垂直方向の速 度および／またはノイジーな入力信号に対して重大である。 我々は、ＧＳＴに基づいたリカーシブな非インターレース化および非インター レース化が現在既知の最良の方法であると結論づけた。しかしながら、これらの 最良の方法でさえも不完全である。非インターレース化された出力信号に残って いる不自然さを抑圧するために、両方の方法と組み合わせで適用される改善を提 供することが我々の目標である。事実、我々の提案は、どんな非インターレース 化のアルゴリズムをも改善するために使用され得る。 ３．適用されるアルゴリズムの説明 ［１］においては、時間方向にリカーシブな非インターレース化アルゴリズム が、内挿されるために必要なラインは、前に見つかった非インターレース化され た出力フレームを動き補償することによって見い出されることにおいて提案され ている： ここで、Ｆ（ｘ，ｔ）はインターレース入力信号、Ｆ_out（ｘ，ｎ）は順次出力 、ｎはフィールド番号、およびｘは空間的な位置である。 伝播からエラーを防ぐため、［１］においては、幾つかの付加的な措置が内挿 されたラインを保護するために述べられている。特に、メジアンフィルタがこの 保護を実現するために提案されている。 さらに、代案［１］に暗示されているけれども、我々は、我々の比較のために 基礎としてこのアルゴリズムを使用するであろう。 結果としてのアルゴリズムの品質が動き推定器動作に重く依存することを我々 が予期するので、我々は［５］の動き推定方法を適用した。この高品質のアルゴ リズムは１／４の画素の正確さ、および走査レート変換のために非常に重要であ ると考えられる真の動きベクトルに近いフィールドに生み出す。すべての可能な 補償ベクトルを計算するよりもむしろ、このリカーシブな探索ブロック照合器が ３−Ｄの隣接から空間方向および／または時間方向の“予測ベクトル”、および 単一のアップデートされた予測ベクトルをとる。これは、暗黙に空間方向および ／または時間方向に一貫性を呈する。アップデートするプロセスは、空間的な予 測ベクトルのいずれかに加算されるアップデートベクトルを含む。我々は、そこ からブロック照合器がその結果のベクトルを選択する、次によって定義される候 補のセットＣＳ（Ｘ，ｎ）を適用した。 ここに、アップデートベクトルＵ _a（Ｘ，ｎ）およびＵ _b（Ｘ，ｎ）は二者択一的 に（ブロックベースで）適用可能であり、そして限られた固定の整数のアップデ ートセットから取られ、我々の場合においては： サブ画素の正確さを実現するために、式（４）のアップデートセットは、端数 のアップデート値について拡張される。我々は、アップデートセットに次の端数 のアップデートベクトルを加算することによって１／４の画素の解像度を実現し た： 候補ベクトルの小さい数の故に、方法は、固有のスムーズな制約のため、非常 に能率的で、そして走査フォーマット変換器のために最も適した非常に密着して そして真の動きベクトルに近いフィールドを実現する。 ４．リカーシブな非インターレース化アルゴリズム リカーシブな非インターレース化アルゴリズムの主な不完全さは、出力信号に 残っているエイリアスである。この不完全さは通常、代案の方法に対してより悪 いけれども、一層の改善が魅力的に見える。この欠点についての困難さは、それ が単一画像においてはみえにくく、しかし主に動いているシーケンスにおいて見 えにくいことである。これは、図解することを困難にし、と同時にまた、改善を 示すための数量的尺度も欠けているように見える。 非インターレース化の品質を評価するための共通の方法は、もとの連続的に走 査された画像を、我々がここではＭＳＥ_s標準と読んでいるものを用いて非イン ターレース化された結果と比較することである： この標準は、たとえば解像度ロス、ノイズ、ベクトルエラー、等々による異な った背景を識別することなしに、それはすべての差を合計するので、専らではな いが残っているエイリアスに対して敏感である。この標準の付加的な不便さは、 もとのインターレースされたソース信号についてのアルゴリズムの性能をチェッ クすることが適用され得ないことである。 完全に非インターレース化された画像（残留エイリアスのない）においては、 特性は、動きのモデルが確実である画像部分において、シーケンスが動き軌道に 沿って静止していることである。この特性に基づいて、代案が［５］に暗示され 、そこで、我々は現在のインターレースされた入力フィールドｎが動き補償され た以前に非インターレース化されたフィールドによって如何に良く予測されるか を測定した： この方法は、もとの順次走査されたシーケンスの不在において性能を判断する ことが適用され得るという利点を有している。しかしながら、測定は、クリティ カルな速度においては、内挿されたラインの品質は数字に反映されないので、ク リティカルな速度の場合における限られた値を有している。 この局面で改善する試みにおいて、フィールドｎにおけるすべての出力ライン に対する“動き軌道の非一貫性”（ＭＴＩ（ｎ））を測定することが可能であり 、それを我々は次のように定義する： この測定についての問題は、この標準上で良いスコア(score)が必要であるが 、しかし、処理においては十分な制約ではない。このＭＴＩを非常に低い値にす ることは、たとえば強力な時間方向のフィルタを適用して可能であるが、と同時 に、明らかに画質は低下する。しかしながら、殆ど変化しないＭＳＥスコアに結 合したＭＴＩ標準におけるより低いスコアは品質改善のための強い表示である。 動きベクトルのスムーズな制約［８］と明らかな類似があり、そこでは、動きの 推定技術、わずかなＭＳＥの低下を受け入れる重大な一貫性の改善を生み出す照 合標準にスムーズネスの項を加えることによって改善された。全く同様に、次の ように定義される非インターレース化のコストフギャー(cost figure)を導入す るとがここに可能である： パラメータαは、主観的印象を照合するためのコスト関数のチューニングを許し ている。 式（９）を適用して“残留エイリアス”の量を図った後に、ＭＴＩフィギャー の改善が、動き軌道に沿って静止していないものを抑圧することによって実現さ れ得た。これがＭＳＥスコアを重大に低下させない限り、それは改善されたコス トスコアと、正しくチューンされたαをもって、また改善された主観性能をもた らす。 静止していないものは、もとのライン上と同様内挿されたライン上に存在し得 るので、含意は、両方とも時間方向にフィルタされなければならないことである 。もとのラインのフィルタリング、それは幾らか反直観的であるが、残っている エイリアスを抑圧するのを助けることはまた、それぞれもとの内挿されたライン 上の信号の垂直方向の周波数スペクトラムから理解され得る。もとのリカーシブ な非インターレース化のアルゴリズムにおいて、入力フィールドに存在している ラインは常に直接に出力端子に伝達され、そして決して変形されない。内挿され たラインの第１の繰り返しスペクトラムは常に動きベクトル推定と保護機能にお ける不正確さを被るので、このスペクトラムはもとのラインから生じている（反 位相の）繰り返しスペクトラムに対して十分に補償できない。 上述の結果として、我々が提案するリカーシブな非インターレース化の方法は 、新しいラインだけでなく、等しく強力な両方のタイプのライン上の動き軌道の 一貫性を最大にする試みにおいて、インターレースされた信号に存在しているラ インもまた内挿する： ここに、ｋ（Ｒ）は動きベクトルの信頼性Ｒを反映する制御パラメータであるＦ_i （ｘ，ｎ）は式（２）によって計算され得、しかしまた、我々が後に示すよう な小さい不都合をもって、簡単なイントラフィールド内挿を使用する： 文献においては時々、照合エラーまたは局部的な画像のコントラストのために 補正された照合エラーが使用される。［５］に記述された３−Ｄのリカーシブな 探索ブロック照合器を適用するとき、動きベクトルの信頼性に対する別の表示が 利用できる。このリカーシブな推定器は、空間方向および時間方向の予測の使用 のため、一貫性のある動きベクトルのフィールドを暗に呈している。もし、出力 ベクトルのフィールドがスムーズでないならば、そのとき暗に提示したものは誤 っていて、そしてそれ故動きベクトルは信じられない。 このスムーズネスのために、その空間方向および時間方向の近隣を有する現在 のベクトルの絶対値の（または２乗の）差のどんな合計も適用されるが、しかし 、３−Ｄ ＲＳブロック照合器を用いて、我々は、ベクトルのスムーズネスＳの ための次の定義を用いて良い結果を得た： ここにｐ＝（ｘ，ｙ，ｔ）^Tは空間方向一時間方向の位置、αは実験的に選択さ れた定数、一方、近隣のベクトルが見い出される近隣Ｎは次のように定義される ： この定義において、ＸおよびＹは、それぞれ動き推定器において使用されたよう な水平および垂直ブロックのディメンジョンを意味する。 ５．アルゴリズムの改善 上述したアルゴリズムについて見つかった最も厳しい欠点は： １）大きく同種に動いている画像部分は時々、わずかに異なった速度を有する幾 つかの領域に分解する（地震）。 ２）大きな変位の不連続が起こった領域においては、ブロッキングの人為結果が 時々見える。これらは、信頼性表示器がブロックベースにだけ有効であるためで ある。 これらの困難さの第１は提案された方法の基本に直接関係し、そしてそれ故最 も治療しにくい：もし、動きベクトルの信頼性が良いと考えられるならば、もと のと内挿されたラインの両方をリカーシブにフィルタリングすることによって、 出力は益々“入力から分離”されてくる。この節において、それ故、我々は、出 力画像が入力材料からあまりに遠くドリフトするのを防ぐための解決を導入する 。 洗練のための基礎は、もとのライン上のフィルタされた情報が如何に遠くにフ ィルタされない情報から違っているかを直接に検出し、そして逸脱が大きくなる 場合にはフィルタリングを減少することである。このフィルタリングの適応は画 素ベースで容易に実現されるので、それはさらに、２）に述べた欠点について処 理するための手段を提供する。同じ差が、もっと大きな差は我慢できることが判 明したけれども、内挿されたラインのフィルタリングを減少させるために使用さ れる。 洗練されたアルゴリズム（式（２）の修正）において、出力の輝度は次のよう に見い出される： そして、次のように定義されたリミッタ関数“ｃｌｉｐ”を用いて： ｋ₂は次のように計算される： 従って、ｋ₂は式（４）で定義されたベクトルのスムーズネスＳの、およびイ ンターレースされた格子（ｇｒｉｄ）だけのもとのライン上で測定され動き補償 されたリカーシブなループにおける（画素の）差Ｄｉｆｆの関数である： ここで、Ｗは、内挿された画素の直上または直下のライン上の現在内挿された画 素に最も近い６個の画素を含んでいるウインドウである。Ｄｉｆｆは式（７）の ＭＳＥ_i（ｎ）に関係しているので、ＭＳＥ_i（ｎ）とＭＴＩ（ｎ）の相対的な重 要さをチューンすることは、Ｃ₁を適当に選択することによって可能である。 このチューニングはもとのラインにとってむしろ単純なように見えるけれども 、それは内挿されたラインにとってより複雑である。これらのラインに対してＭ ＴＩ（ｎ）フィギャーは計算されるけれども、しかし重要なＭＳＥ_i（ｎ）は、 この時間方向のフィルタへの入力ラインの品質が最初の順次走査変換アルゴリズ ムの品質に依存するので、見い出せない。この基本の問題から逃れるために、我 々はここに、もとのラインと内挿されたラインのＭＴＩ（ｎ）のフィギャーへの 寄与が、内挿されたラインに対する時間方向のフィルタについてのエネルギーを 無視すると、画素あたり同一であるようにｋ₁をチューンすることを提案する。 仮定は次のようになる： 一方、同時に： ここに、Ｆ_i（ｘ，ｎ）は最初の非インターレース化のアルゴリズム、たとえば 、式（２）または（１１）を使用しての出力である。式（１８）および（１９） の組み合わせは、次によりｋ₁の計算に帰着する： この結果を式（１４）の下方の部分と組み合わせると、次に帰着する： 含意として、内挿されたライン上の時間方向にリカーシブなフィルタリングは、 最初の非インターレース化の方法の質に依存する。簡単なライン平均化アルゴリ ズムは、内挿されたラインについて、例えば動き補償されたメジアンフィルタよ りも、より強く時間方向のフィルタリングを引き起こす。実験的に、我々は、非 インターレース化の性能に由来する差は小さいことを示し得た。 式（１８）の仮定は、上方に隣接しているもとのライン上で測定された差を適 用している内挿されたラインに、時間方向にリカーシブなフィルタリングの適用 に導く。参照として上方のもとのラインを使用するよりもむしろ、下方の隣接し ているラインの方が等しく良く使用され得る。対称のために、２つの隣接してい るもとのライン上での平均の効果を考慮することは有利のように見える。苦心し てつくると、これは式（２０）に対する対称の代案に帰着する： と共に： 絶対の差を平均化するよりもむしろ、平均の絶対値をとり、２つの平均の最大 値をとり、または、整流器（絶対）の前および／または後で（２‐Ｄの）空間方 向のフィルタを適用することが可能である。選択は、動き検出器に適用されたそ れらの通例と似ている。さらに、内挿されたラインに時間方向のフィルタの上述 した制御を適用することも可能であり、と同時に、ｋ₂の値をもとのライン上で フィルタリングしない（ｋ₂＝１）に固定する。一般に、これは幾らか低いＭＳ Ｅ_i（ｎ）フィギャーに帰着するであろうけれども、しかし意味のある高いＭＴ Ｉ（ｎ）スコアに帰着するであろう。 代わりとなる実施の形態においては、ｋ₂は次のように計算される： と共に： 結果として、ｋ₂は、動き補償されたリカーシブなループにおける予測エラー Ｄｉｆｆの関数である。Ｄｉｆｆは式（７）のＭＳＥ（ｎ）に関係しているので 、ＭＳＥ_i（ｎ）とＭＴＩ（ｎ）の相対的な重要さをチューンすることは、Ｃ₂を 適当に選択することによって可能である。 最初の非インターレース化の方法から生じているような、内挿された画素の品 質は明らかにもとの画素のそれより小さいので、これらの画素のフィルタリング は強くあるべきである。さらに、内挿されたラインの位置におけるＤｉｆｆ（ｘ ，ｎ）は、動き補償された予測の品質を決定するために小さな値を有しているの で、我々は次を使用してｋ₁を制御することを提案する。 ここにＣ₁はＣ₂より小さく、そして内挿された画素のためのリカーシブなフィル タの制御は、垂直方向に隣接して存在している画素において動き補償された予測 の質から引き出される。 交互のラインを異なってフィルタリングすることにはリスクがあり、それは目 に見えるライン構造を潜在的に導入するからである。高品質の非インターレース 化の利益は垂直方向のディテールに関する領域において明らかであるけれども、 そのような高い垂直方向の周波数成分を欠いている領域においては利益がない。 それ故、個々のフィルタリングから決して益しない画像部分におけるライン構造 の導入を防ぐために、もし次式が成立するならば、ｋ₁がｋ₂に等しくなされる： 前の節から生じている提案を評価するために、我々は４つのクリティカルなシ ーケンスのセットを選択した。シーケンスは、垂直方向のディテールと、多くの 方向における種々のサブ画素値を有する動きを含んでいる。参照として２節に述 べたバージョンにおける［１］のアルゴリズムを用いて、我々は本ペーパーの提 案を図解している別の２つのアルゴリズムのためのＭＳＥ_sとＭＴＩ_sを計算した 。第１のアルゴリズムは図１に示されたアルゴリズムであり、その中で、リカー シブなループの制御は式（２４，２６）によっている。第２のアルゴリズムは１ に固定されたｋ₂を有し、すなわち、もとの画素のリカーシブなフィルタリング を有さず、そしてさらに同一である。参照のアルゴリズムと比較されると、両方 の提案された新しいアルゴリズムはわずかに改善されたＭＳＥ_iフィギャーを生 み出し、そしてそれは、主に高い空間方向の周波数におけるメジアンディフェク トの除去によることが予測されている。ＭＴＩフィギャーは、しかしながら、目 覚ましく改善され、特に第１のアルゴリズム、すなわち、もとのライン上でさえ もリカーシブなフィルタリングを行うアルゴリズムに対して改善された。両方の アルゴリズムのＭＳＥ_iフィギャーはわずかに少し異なっている。もとの画素の 付加的なリカーシブなフィルタリングは主にＭＴＩフィギャーを改善する（ＭＳ Ｅ_iフィギャーにとって、わずかの不利益でまたはまったく不利益なく）。 図１は、提案された非インターレース化のアルゴリズムの生じているアーキテ クチャを示している。図１において、インターレースされた入力信号が入力端子 Ｉから、その下方の出力端子にもとのラインをそしてその上方の出力端子に内挿 されたラインを供給する最初の順次走査変換器１に供給される。もとのラインは 、ミキサ３とフィールドメモリ５を通して動き補償段７に供給される。同様に、 内挿されたラインは、ミキサ９とフィールドメモリ１１を通して動き補償段７に 供給される。動き補償段７のための動きベクトルＤは、最初の順次走査変換器１ によって供給されたもとのラインを基礎として（または、ミキサ３によって供給 されたラインを基礎として）動き推定器１３によって決定され、そしてシフトさ れたラインが動き補償段７によって供給される。動き補償されシフトされたライ ンは動き補償段７によってミキサ３および９に供給される。ミキサ３は、もとの ラインと動き補償されシフトされたラインとを比率ｋ₂：（１−ｋ₂）で混合する 。ミキサ９は、最初の順次走査変換器１からの内挿されたラインと動き補償され シフトされたラインとを比率ｋ１：（１−ｋ１）で混合する。ミキサ３および９ からの出力信号は、非インターレース化された出力信号、そしてそれは表示ユニ ット１６上に表示される、を発生するために圧縮および多重化段１５に供給され る。 しかるに、この実施の形態は大部分、ＷＯ−Ａ−９５／２７３６２（代理人の 参照番号 ＰＨＮ１４，７９４）に述べられた実施の形態に相当しているけれど も、本発明は主に、ｋ１（およびｋ２）のために最適な値を供給することに関係 している。この目的のために、図２は、図１の実施の形態での使用のためのミキ サの係数ｋ１およびｋ２を計算するためのデバイスの実施の形態を示している。 図２のミキサの係数計算デバイスは、式１２，１３に従って動きベクトルＤに応 じてベクトルのスムーズネスＳを計算するための計算回路１７と、そして式１４ から２３に従ってミキサ３および９に供給される４つの信号に依存してミキシン グの係数ｋ₁およびｋ₂を計算するための第２の計算回路１９とを含んでいる。 図３は、図１の実施の形態での使用のためのミキサの係数ｋ１を計算するため のデバイスの実施の形態を示している。ミキサの係数ｋ２は、１の固定した値を 有している。ミキサの係数ｋ１は、計算デバイス２０によって式２０に従って計 算される。 ６．結論 現存の非インターレース化のアルゴリズムの一般的に適切な改善と、そのよう なアルゴリズムに対する新しい評価尺度とが出願において提案された。提案の典 型的な特徴は、このフィルタリングが内挿された画素だけに限られず、インター レースされた入力信号中に存在する画素のフィルタリングに拡張されることであ る。この幾分か反直観的な動作は、内挿されたラインの繰り返しスペクトラによ って補償されたものとラインの繰り返しスペクトラを有するために、２つが同一 の周波数応答をもつことが本質的であるという仮定に従っている。内挿された画 素が供給された動きベクトルの限られた正確さによって歪ませられ得ることは防 げないので、エイリアスを最大に抑えるために、類似の歪がもとの画素のそれに 最も良く適応され得る。時間方向にリカーシブな非インターレース化に対する改 善の適用が苦心してつくられ、そして改善された動作が確証された。確証は、標 準的なＭＳＥ_iの性能尺度は被らず（事実、幾らかの改善を示しさえしても）、 一方、新規に提案した“動き軌道に沿った一貫性”（ＭＴＩ）は大きく改善した 、という意味において理解されなければならない。 好ましい実施の形態においては、本発明は、少なくとも内挿されたラインのリ カーシブな時間方向のフィルタリングを使用する順次走査変換の方法を提供し、 その中において、フィルタは、隣接ラインのために決められた値に動き軌道に沿 った一貫性を生じている固定の関係（例えば、１）を局部的に与えることによっ て制御される。 上述した実施の形態は本発明を制限するよりもむしろ図解していて、そして当 業者は添付したクレームの範囲から逸脱することなく多くの代案となる実施の形 態を設計することができるであろうことに留意されたい。しかるに絶対の差が述 べられているが、ある実施の形態において通常の差は差の符号を保存するために 使われている。図１はリカーシブな実施の形態を示し、その中においてミキサ３ ，９の出力はフィールドメモリ５，１１を通して動き補償段７に供給されている が；勿論、フィールドメモリ５，１１の入力端子が直接最初の順次走査変換器１ の出力端子に接続されているノンリカーシブな実施の形態もまた可能である。図 １において、最初の順次走査変換器１によって供給される内挿されたラインは、 まさに白、黒またはグレーのラインであり得て；もし、内挿のアルゴリズムが内 挿されたラインを得るために使用されるならば、どんなアルゴリズムもそうであ ろう。クレームにおいて、括弧間に置かれた参照符号はクレームを制限するよう に解釈されるべきではない。本発明は幾つかの個別の要素を含んでいるハードウ ェアによって、そして適当にプログラムされたコンピュータによって実行され得 る。 従って、本発明の好ましい実施の形態は、次のステップを含んでいる、インタ ーレースされた入力信号から順次走査されたビデオ信号を発生する方法を提供す る： インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i（ｘ− （０，１）^T，ｎ））、および第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））に 加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給し；および もとのラインに相当する第１の動き補償されたライン（Ｆ_out（ｘ−（０，１ ）^T−Ｄ，ｎ−１））、および第２のライン（Ｆ_i（ｘ，ｎ））に相当する第２の 動き補償されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有する第２の信号を供給 し； もとのラインに相当する第１の出力ライン（Ｆ_out（ｘ−（０，１）^T，ｎ）） 、および第１の出力ライン（Ｆ_out（ｘ−（０，１）^T，ｎ）間の第２の出力ライ ン（Ｆ_out（ｘ，ｎ））を有する出力順次走査ビデオ信号を得るために、第１の 信号と動き補償された信号を組み合わせ； そこにおいて、第２の出力ライン（Ｆ_out（ｘ，ｎ））は、（式２１および２ ７を参照）に依存して得られる： 第１の動き補償されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））およ び第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、 第２の動き補償されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））および第２のライ ン（Ｆ_i（ｘ，ｎ））間の第２の差、および 第１のライン（Ｆ_i（ｘ−（０，１）^Tｎ））および第１の出力ライン（Ｆ_out （ｘ−（０，１）^T，ｎ））間の関係（ｋ₂）。 しかしながら、本発明が、入力インターレース信号のライン間に垂直方向に位 置されたその出力ラインを有する出力インターレース信号を引き出すために有利 に使用され得るので、出力ビデオ信号が順次走査ビデオ信号であることは必要で ない。そのようなインターレースからインターレースへの変換は、１００Ｈｚの 変換において必要とされ、そこでは１つの入力インターレースフィールドのライ ンが他の入力インターレースフィールドのラインの位置の方向に垂直方向にシフ トされることを必要としている。組み合わせるステップは、順次走査変換におい ては有利であるが、しかし他の走査変換においては必要でない。 同様に、第２の信号が動き補償された内挿によって好ましく得られる一方で、 より複雑でない方法が、第１の信号に関して遅れまたは進んでいる第２の信号を 得るために使用されるとき、メジアンフィルタを使用するそれのように、満足な 結果がすでに得られた。 最後に、第１のラインと第１の出力ライン間の関係（ｋ₂）への依存は改善さ れた結果に貢献するように見え、と同時に、出力ラインが第１および第２の差に のみ依存しているとき良い結果がすでに得られた。 本発明は、テレビジョン受信機またはパーソナルコンピュータのようなビデオ 信号表示装置に有利に適用され得る。 ７．参照

Claims (1)

1. 【特許請求の範囲】 １．以下のステップを含んでいて、インターレース入力信号から出力ビデオ信号 を発生する走査変換方法において： 前記インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i （ｘ−（０，１）^T，ｎ））、および前記第１のライン（Ｆ_i（ｘ−（０，１）^T ，ｎ））に加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給し （１）；および 前記第１の信号に関して遅れまたは進んでいる第２の信号であって、その第 ２の信号は、前記もとのラインに相当する第１の処理されたライン（Ｆ_out（ｘ −（０，１）^T−Ｄ，ｎ−１））、および前記第２のライン（Ｆ_i（ｘ，ｎ））に 相当する第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有している、 を供給する（５，１１，７，１３）； 前記出力ビデオ信号の出力ライン（Ｆ_out（ｘ，ｎ））は、 前記第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））と 前記第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、および 前記第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））と前記第２のラ イン（Ｆ_i（ｘ，ｎ））間の第２の差 に依存して得られることを特徴とする走査変換方法。 ２．請求の範囲第１項記載の方法において、前記出力ビデオ信号は順次走査ビデ オ信号であり、そして方法は、前記もとのラインに相当する第１の出力ライン（ Ｆ_out（ｘ−（０，１）^Tｎ））、および前記第１の出力ライン（Ｆ_out（ ｘ− （０，１）^Tｎ））間の前記出力ライン（Ｆ_out（ｘ，ｎ））を有している出力順 次走査ビデオ信号を得るために、前記第１の信号と前記第２の信号を組み合わせ る（３，９，１５）さらなるステップを含んでいることを特徴とする走査変換方 法。 ３．請求の範囲第２項記載の方法において、前記出力ビデオ信号の前記出力ライ ン（Ｆ_out（ｘ，ｎ））は、前記第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ）） と前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の関係（ｋ₂ ）に依存してさらに得られることを特徴とする走査変換方法。 ４．請求の範囲第１項記載の方法において、前記第１の処理されたライン（Ｆ_{ou t} （ｘ−（０，１）^T−Ｄ，ｎ−１））および前記第２の処理されたライン（Ｆ_{ou t} （ｘ−Ｄ，ｎ−１））は、動き補償された内挿によって得られることを特徴と する走査変換方法。 ５．請求の範囲第２項記載の方法において、前記出力ラインは、前記第２の差と 、前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と前記第１の処理され たライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の第３の差に依存して得 られることを特徴とする走査変換方法。 ６．請求の範囲第２項記載の方法において、前記組み合わせるステップは、前記 出力ライン（Ｆ_out（ｘ，ｎ））と前記第２の処理されたライン（Ｆ_out（ｘ−Ｄ ，ｎ−１））間の差が前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と 前記第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の差 に相当するように制御されることを特徴とする走査変換方法。 ７．請求の範囲第１項記載の方法において、前記第１および第２の差は絶対差で あることを特徴とする走査変換方法。 ８．以下を含んでいて、インターレース入力信号から出力ビデオ信号を発生する ための走査変換装置において： 前記インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i （ｘ−（０，１）^T，ｎ））、および前記第１のライン（Ｆ_i（ｘ−（０，１）^T ，ｎ））に加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給す るための手段（１）；および 前記第１の信号に関して遅れまたは進んでいる第２の信号であって、その第 ２の信号は、前記もとのラインに相当する第１の処理されたライン（Ｆ_out（ｘ −（０，１）^T−Ｄ，ｎ−１））、および前記第２のライン（Ｆ_i（ｘ，ｎ））に 相当する第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有している、 を供給する（５，１１，７，１３）； 前記出力ビデオ信号の出力ライン（Ｆ_out（ｘ，ｎ））を、 前記第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１）） と前記第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、および 前記第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））と前記第２のラ イン（Ｆ_i（ｘ，ｎ））間の第２の差 に依存して発生するための手段（１９，９）によって特徴づけられている走査 変換装置。 ９．請求の範囲第８項記載の装置において、前記出力ビデオ信号は順次走査ビデ オ信号であり、そして装置は、前記もとのラインに相当する第１の出力ライン（ Ｆ_out（ｘ−（０，１）^Tｎ））、および前記第１の出力ライン（Ｆ_out（ｘ−（ ０，１）^Tｎ））間の前記出力ライン（Ｆ_out（ｘ，ｎ））を有している出力順次 走査ビデオ信号を得るために、前記第１の信号と第２の信号を組み合わせるため の手段（３，９，１５）をさらに含んでいることを特徴とする走査変換装置。 10．請求の範囲第９項記載の装置において、前記出力ビデオ信号の前記出力ライ ン（Ｆ_out（ｘ，ｎ））は、前記第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ）） と前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の関係（ｋ₂）に依 存してさらに得られることを特徴とする走査変換装置。 11．請求の範囲第９項記載の装置において、前記出力ラインは、前記第２の差と 、前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と前記第１の処理され たライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の第３の差に依存して得 られる（２０，９）ことを特徴とする走査変換装置。 12．請求の範囲第９項記載の装置において、前記組み合わせる手段は、前記出力 ライン（Ｆ_out（ｘ，ｎ））と前記第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ −１））間の差が前記第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と前記 第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の差に相 当するように制御されることを特徴とする走査変換装置。 13．ビデオ信号表示装置において： インターレース入力信号を供給するための手段（Ｉ）； 以上のクレーム８から１２のいずれかに規定されたような、前記インターレ ース入力信号から出力ビデオ信号を発生するための走査変換装置；および 前記出力ビデオ信号を表示するための手段（１６） を含んでいることを特徴とするビデオ信号表示装置。