JP4355577B2 - ノイズ抑制対角線方向補正によるアップコンバージョン - Google Patents

Description

本発明は、一般に、インタレース・ビデオをプログレシブ（ノンインタレース）ビデオにアップコンバートする分野に関する。特に、本発明はインタレース除去アルゴリズムの分野に関する。

インタレース・ビデオをプログレシブ走査フォーマットに変換する場合、インタレース除去アルゴリズムは一般に、動きが何も検出されない部分では時間的予測（フィールド間）を用いるが、動きのある部分では空間的予測（フィールド内）を用いる。空間的補間は欠落ラインについての予測を、同じフィールド内の該ラインの上下のラインに基づいて、生成するのに用いられる。

輝度画素のフィールドをインタレース除去して、画素のラインで、空間的に該フィールドの既存ライン間にあるもの、を生成する単純な方法として、直上画素の値と直下画素の値との平均をとって新規画素各々を生成することがある。しかしながら、この方法は該フィールドにおける対角線方向細部上にぎざぎざのある端で、水平でない段上にあるか、風になびいて角度が変動する旗上のストライプ端上にあるようなもの、を生成する。

補正対角線方向細部に関する改良方法として、３つの画素平均、すなわち、前述の垂直方向の平均、左対角線方向の平均、及び右対角線方向の平均、から選択することがある。該左対角線方向の平均は、補間される位置より左上の画素の値と、該位置より右下の画素の値との、平均をとることによって算定される。同様に、該右対角線方向の平均は、補間される位置より右上の画素の値と、該位置より左下の画素の値との、平均をとることによって算定される。

２つの対角線方向の平均と垂直方向の平均とのうちから選定する基本的な考え方は西暦１９９０年代初頭にトムソン（Ｔｈｏｍｓｏｎ）社（本特許権者）が資金提供した研究プロジェクトにおいてサーノフ研究所（Ｓａｒｎｏｆｆ Ｒｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｉｅｓ（サーノフ：Ｓａｒｎｏｆｆ））によって検討されたものである。該３つの選択肢から選定するアルゴリズムで最も単純なものはＤＩＡＧ１アルゴリズムとして該研究所の報告書において表されたものである。

これら３つの平均のうちの１つを選定する単純なアルゴリズムはサーノフによって評価され、ＤＩＡＧ１と表された。２つの対角線方向の平均と垂直方向の平均とのうちから選定するＤＩＡＧ１アルゴリズムは同一の画素値を平均として用いて３つの差異を算定し、比較する。各平均について、相当する差異が算定され、それらの差異の絶対値が比較されて最小値を見出す。該最小差異に相当する画素平均が補間値として選定される。

上記サーノフによる成果は２つの報告書、すなわち、Ｓｐａｔｉａｌｌｙ−Ａｄａｐｔｉｖｅ Ｄｅ−Ｉｎｔｅｒｌａｃｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｄｉｇｉｔａｌ Ｆｅａｔｕｒｅ ＴＶ， Ｄｅｃｅｍｂｅｒ ３１，１９９０；及びＤｉｇｉｔａｌ Ｆｅａｔｕｒｅ ＴＶ Ｐｒｏｊｅｃｔ Ｆｉｎａｌ Ｒｅｐｏｒｔ， Ｍａｒｃｈ ３１，１９９１；に文書化されている。空間的補間予測について検討する複数の選択肢を有することには明らかな効果があっても、ＤＩＡＧ１の既存の判定プロセスはやや無作為で、ノイズのあるものであるように見るが、それは、該最小値が常に最良の選択肢である、ということはないからである。改良された判定プロセスで、比較的、実施するのが単純で費用がかからないが、無作為でもノイズがあるものでもないもの、に対して長らく感じられてきた必要性が存在する。

本発明を形成することにより、ノイズ抑制条件が２つの対角線方向の平均と該垂直方向の平均とのうちから選定する該判定プロセスに付加され、効果的に、対角線方向の細部が存在する部分における画質を改良するものである。このノイズ抑制条件によって、ＤＩＡＧ１Ｔと表す、新規アルゴリズムは多義的な場合に該垂直方向の平均を優先させる。

特に、該ＤＩＡＧ１Ｔアルゴリズムは効果的に、２つの条件下で該垂直方向の平均を優先するものであり、それは該ＤＩＡＧ１平均選定アルゴリズムに加えた別の判定工程を表すものである。第１に、該最小差異が一意でない場合、該垂直方向の平均が選定される。第２に、該選定平均が補間される位置より上の画素の値と該位置より下の画素の値との間の範囲内に収まらない場合、該垂直方向の平均が選定される。

該対角線方向において隣接する画素は表示画像において、サンプリング・レートに相当するか、該レートによってかわってくる、角度で、整列する。例えば、７２０ｘ４８０の、４ｘ３のアスペクト比を有する、画像については、対角線は水平線より上での約４１度の角度に相当する。該改良アルゴリズムは該画像における対角線方向の特徴で、この角度よりも急角度なもの、を改良し得る。

〔実施例〕
本発明を形成することによる該インタレース除去アルゴリズムは本明細書及び特許請求の範囲ではＤＩＡＧ１Ｔとして表す。該ＤＩＡＧ１Ｔインタレース除去アルゴリズムは空間のみの（フィールド内）アルゴリズムとしてか、動き適応型インタレース除去アルゴリズムにおける空間的予測として用い得る。該ＤＩＡＧ１Ｔアルゴリズムによって達成される当該改良は、単純なライン平均ではなく該空間的予測で用いられた場合、実質的なものとなる。

以下の説明では、ビデオ信号は成分形式になっていて、輝度成分のみが該ＤＩＡＧ１Ｔアルゴリズムによって処理されるものとする。したがって、本明細書及び特許請求の範囲で用いられる「輝度画素値」又は「画素値」は輝度成分を表す。２つの下位解像度輝度成分をインタレース除去するには単純なライン平均で十分である。

以下のように、入力ビデオの２つの連続するライン上の輝度画素値をＸｉｊと呼び、補間プログレシブ出力ライン画素をＹｉｊと呼ぶこととし、図２に表すように：
入力ライン１： Ｘ１１ Ｘ１２ Ｘ１３ Ｘ１４ Ｘ１５；
出力ライン： Ｙ１１ Ｙ１２ Ｙ１３ Ｙ１４ Ｙ１５；
入力ライン２： Ｘ２１ Ｘ２２ Ｘ２３ Ｘ２４ Ｘ２５；
とする。

単純なライン平均空間的予測は：
Ｙ１ｊ＝（Ｘ１ｊ＋Ｘ２ｊ）／２；
となる。

以下に表す該ＤＩＡＧ１Ｔアルゴリズムの説明は出力位置Ｙ１３に対する該空間的予測の算定に焦点を当てるものとする。別の出力画素については、該説明における画素指数を適宜、調節する。該アルゴリズムの実施例は、所要の画素がない場合、ラインの始めと終わりで本明細書及び特許請求の範囲に記載した当該処理を修正するよう選択し得る。

Ｙ１３については、該ＤＩＡＧ１Ｔアルゴリズムは以下のように、３つの画素平均及び３つの画素差異を以下：
ｙ１Ｌ＝（Ｘ１２＋Ｘ２４）／２； ｄ１Ｌ＝ａｂｓ（Ｘ１２−Ｘ２４）；
ｙ１Ｖ＝（Ｘ１３＋Ｘ２３）／２； ｄ１Ｖ＝ａｂｓ（Ｘ１３−Ｘ２３）；
ｙ１Ｒ＝（Ｘ１４＋Ｘ２２）／２； ｄ１Ｒ＝ａｂｓ（Ｘ１４−Ｘ２２）；
の、ように、かつ、図１に表すように、算定する。
これらの平均及び差異は左対角線方向予測、垂直方向予測、及び右対角線方向予測に相当する。これらの平均及び差異全てを備える回路１０の例示的ブロック図を図１に表し、それはフリップ・フロップ及び別の適切な装置の形態での複数の遅延回路１２、１４、１６、１８、及び２０を含む。例えば、遅延回路１６は遅延ラインであり得る。該回路は更に、最小値回路２２、最大値回路２４、更には、ＡＶＦ−ＤＩＦＦブロック２６、２８及び３０を含む。図１のＡＶＧ−ＤＩＦブロック２６のような例示的ＡＶＧ−ＤＩＦブロックの詳細を図３に表す。ＡＶＧ−ＤＩＦブロック２６は該装置又はブロックの平均化部分に、隣接画素の値を加算する加算器３４及び二分割回路３８を含むことが望ましい。差異部分では、ブロック２６は更に、減算器２６及び絶対値関数３９を含む。

基本ＤＩＡＧ１アルゴリズムは以下：
ｙ＝ｙ１Ｖ； ｄ＝ｄ１Ｖ；
ｉｆ（ｄ１Ｌ＜ｄ）｛ｙ＝ｙ１Ｌ；ｄ＝ｄ１Ｌ；｝
ｉｆ（ｄ１Ｒ＜ｄ） ｙ＝ｙ１Ｒ；
Ｙ１３＝ｙ；
の、ように、かつ、図５に表すように、最小差異に相当する推定値を選定する。

特に、基本ＤＩＡＧ１判定ロジック４２は比較回路５２並びに５８、及び多重化装置５４、５６、並びに５９で、図５に表すように結合されて上記ＤＩＡＧ１アルゴリズムを備えるもの、を用いて表し得るが、本発明はそれに限定されないものである。該ＤＩＡＧ１アルゴリズム又はＤＩＡＧ１判定ロジック４２は図１及び４に表すＤＩＡＧ１Ｔ判定ロジック３２全体の一部を構成することを特筆する。

図４及び６に表すノイズ抑制条件又はＤＩＡＧ１Ｔ抑制ロジック４４で、ＤＩＡＧ１における判定ノイズを除去し、それによってＤＩＡＧ１ＴをＤＩＡＧ１から区別するのに用いられるもの、は更に、所定の出力画素値（Ｙ１３）が所定の出力画素に対する垂直方向の平均を規定する最上位画素の値と最下位画素の値との間の範囲に収まることを要求する。式によれば、これは：
Ｘ１３≦Ｙ１３≦Ｘ２３ 又は Ｘ１３≧Ｙ１３≧Ｘ２３；
の何れかを表す。

この抑制条件が充足されない場合、出力Ｙ１３＝ｙ１Ｖとなる。

ＤＩＡＧ１Ｔを区別する別の抑制条件として、該左対角線方向の差異が該右対角線方向の差異に等しいか実質的に等しいというものがある。すなわち、該左対角線方向における隣接画素に対する差異と該右対角線方向における隣接画素に対する差異とが重複しないことを要する、すなわち、ｄ１Ｒがｄ１Ｌとは異なることを要する。式によれば：
Ｉｆ ｄ１Ｌ＝ｄ１Ｒ、ｔｈｅｎ 出力 Ｙ１３＝ｙ１Ｖ；
である。これらの別の抑制条件は図４及び６に示す。特に、図６に表すＤＩＡＧ１Ｔ抑制ロジック４４は比較回路６０、６２、並びに６４、ＯＲゲート６６及び多重化装置６８で、上記の機能を備えるよう図４及び６に表すように配置されて結合されたもの、によって実施し得る。

トムソン社のプリンストン・エンジン（Ｐｒｉｎｃｅｔｏｎ Ｅｎｇｉｎｅ）リアル・タイム・ディジタル・ビデオ・シミュレータはサーノフのＤＩＡＧ１、ＤＩＡＧ３及びＤＩＡＧ３Ｗのインタレース除去アルゴリズム及びトムソン社の新規のＤＩＡＧ１Ｔインタレース除去アルゴリズムを実証するようプログラム化されたものである。該プリンストン・エンジンは各ＤＩＡＧアルゴリズムを空間のみ（フィールド内）インタレース除去器として、かつ、動き適応型インタレース除去アルゴリズムの空間的予測として、実行するようプログラム化されたものである。

上記アルゴリズムは種々の観察者に向けて、第１に、固定テスト・パターンである、フレーム・レート・スウィープ、によって、次に、ビデオ画面を停止して表示させることによって、更に、最後にリアル・タイムの動画像によって、シミュレートされ、実証されたものである。

フレーム・レート・スウィープ・テスト・パターンでは、各種の水平方向周波数、垂直方向周波数、及び対角線方向周波数が存在する。該サーノフ・インタレース除去アルゴリズムの全てによって、該インタレース除去テスト・パターンが可視境界によって範囲が定められた種々の領域を有するように見えるようになり、そこでは領域の一部は該垂直方向の平均によって予測され、別の領域は左対角線方向の平均又は右対角線方向の平均によって予測されたものである。該４つのアルゴリズムＤＩＡＧ１、ＤＩＡＧ３、ＤＩＡＧ３Ｗ及びＤＡＩＧ１Ｔの間で特に目につく差異は該領域間の境界の特性である。該フレーム・レート・スウィープ・パターンがディジタル形式で生成されると、該境界は特にぎざぎざがなく、まっすぐなものである。しかしながら、該テスト・パターンが、アナログのソースで、いくらかのノイズがあるもの、からの場合、該境界は範囲がはっきりせず、ぎざぎざがあるものである。ＤＩＡＧ３Ｗ及びＤＩＡＧ１Ｔでは、該境界は目立ってぎざぎざがない。ＤＩＡＧ３はＤＩＡＧ１に対していくらかの改良を備える。ＤＩＡＧ３Ｗの外観とＤＩＡＧ１Ｔの外観との間にはほとんど差異はないが、該ＤＩＡＧ１ＴアルゴリズムはＤＩＡＧ３Ｗよりも計算量が少なく、実施するのが容易である。該領域の境界は該ＤＩＡＧ１Ｔアルゴリズムによれば、該ＤＩＡＧ１アルゴリズムによるよりも、かなりぎざぎざが少ない。

静止して表示するビデオ又は動画像によるシミュレーションでは、対角線方向の細部が可視的に改良される。１つのそのような観察情景には風になびくアメリカ合衆国国旗があったものである。該旗上のストライブは、該旗が風になびくとともに水平方向から対角線方向の種々の角度に変動し、対角線方向の細部のあるそのような部分における細部は目に見えて改良されていたものである。該対角線方向の角度の一部の上にあるぎざぎざのある端の改良はかなりのものであった。

動き適応型アルゴリズムの該空間的予測として用いた場合、該ＤＩＡＧ１Ｔアルゴリズムは、実質的に計算量又はコストを付加することなく、該画像の動きのある部分を実質的に改良する。該画像の静止した領域は既に、該ビデオの隣接フィールドよりも優れた細部を有する。本発明の上記の説明に鑑みて、本発明はハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって実施し得る。本発明によってインタレース・ビデオをプログレッシブ・ビデオにアップコンバートする場合に所定の出力画素値を補間する方法は１つの処理システムでの集中的な方法か、分散的方法で、異なる構成部分がいくつかの相互接続されたシステムにまたがって分散されたもの、の何れかによって実施し得る。如何なる種類のコンピュータ・システムでも、本明細書及び特許請求の範囲記載の方法を実施するよう形成された別の装置も、ふさわしいものである。ハードウェアとソフトウェアとの一般的な組み合わせとしては、汎用コンピュータ・プロセッサ又はディジタル信号処理器で、ロードされて実行された場合、該コンピュータ・システムを、本明細書及び特許請求の範囲記載の方法を実施するよう、制御する、コンピュータ・プログラム、を有するもの、があり得る。

本発明は更に、コンピュータ・プログラム・プロダクトで、本明細書及び特許請求の範囲記載の方法の実施例を動作可能にする特徴全てを有し、コンピュータ・システムにロードされた場合、これらの方法を実施することができるもの、を組み込み得る。この意味合いでのコンピュータ・プログラム又はアプリケーションは情報処理機能を有するシステムに特定の機能を、直接か、以下：ａ）別の言語、符号又は記号への変換；とｂ）別の材質形態における再生；とのうちの何れか一方又は両方の後の、何れかで、行わせることを企図した命令群の、如何なる言語、符号又は記号による、如何なる表現をも表すものである。

更に、上記説明は単に、例示の目的を意図したものであり、如何なる方法によっても本発明を限定することを、本特許請求の範囲記載のもの以外に、意図するものでない。

本発明によるＤＩＡＧ１Ｔ対角線方向補正アップコンバージョン・システムのブロック図である。 元画素と補間画素との空間的位置を説明するのに有用な図である。 図１における平均化及び差異（ＡＶＧ−ＤＩＦ）ブロックの詳細を示すブロック図である。 図１に表すＤＩＡＧ１Ｔ回路における信号の流れを示すブロック図である。 図４に表すＤＩＡＧ１判定ロジックのブロック図である。 図４に表すＤＩＡＧ１Ｔ抑制ロジックを示すブロック図である。

Claims (12)

1. インタレース・ビデオをプログレシブ・ビデオに、ノイズ抑制対角線方向補正によって、アップコンバートする方法であって、
   所定の出力画素について、垂直方向平均（ｙ１Ｖ）、左対角線方向平均（ｙ１Ｌ）、右対角線方向平均（ｙ１Ｒ）、垂直方向差異（ｄ１Ｖ）、左対角線方向差異（ｄ１Ｌ）並びに右対角線方向差異（ｄ１Ｒ）を判定する工程、
   該垂直方向平均（ｙ１Ｖ）、該左対角線方向平均（ｙ１Ｌ）、並びに該右対角線方向平均（ｙ１Ｒ）のうちから、該垂直方向差異（ｄ１Ｖ）、該左対角線方向差異（ｄ１Ｌ）並びに該右対角線方向差異（ｄ１Ｒ）のうちの最小差異に基づいて、選定する工程、
   該選定する工程を該垂直方向平均（ｙ１Ｖ）に、該左対角線方向差異が実質的に該右対角線方向差異に等しい（ｄ１Ｌ≒ｄ１Ｒ）場合、抑制する工程、及び
   該選定する工程を該垂直方向平均に、該所定の出力画素の値が該所定出力画素より上に隣接する画素と該所定出力画素より下に隣接する画素によって規定される値の範囲に収まるものでない場合、抑制する工程、
   を有することを特徴とする方法。
2. 請求項１記載の方法であって、更に、
   該選定する工程を該垂直方向平均（ｙ１Ｖ）に、該所定の出力画素の値（例えば、ｙ１３）が該所定出力画素についての該垂直方向平均を規定する、最上位画素の値（例えば、ｘ１３）と最下位画素の値（例えば、ｘ２３）との間の範囲に収まる（例えば、ｘ２３＜ｙ１３＜ｘ１３）ものでない場合、抑制する工程、
   を有することを特徴とする方法。
3. 請求項１記載の方法であって、該垂直方向平均が、該所定出力画素より上の垂直方向において隣接する画素の輝度成分値と、該所定出力画素より下の垂直方向において隣接する画素の輝度成分値とを加算して和を生成し、該和を２で除算することによって得られることを特徴とする方法。
4. 請求項１記載の方法であって、該左対角線方向平均が、該所定出力画素の左上にある対角線方向において隣接する画素の輝度成分値と、該所定出力画素より右下にある対角線方向において隣接する画素の輝度成分値とを加算して和を生成し、該和を２で除算することによって得られることを特徴とする方法。
5. 請求項１記載の方法であって、該右対角線方向平均が、該所定出力画素の右上にある対角線方向において隣接する画素の輝度成分値と、該所定出力画素より左下にある対角線方向において隣接する画素の輝度成分値とを加算して和を生成し、該和を２で除算することによって得られることを特徴とする方法。
6. 請求項１記載の方法であって、該垂直方向差異、該左対角線方向差異及び該右対角線方向差異のうちの該最小差異が、
   該垂直方向差異、該左対角線方向差異及び該右対角線方向差異の絶対値を比較し、
   該垂直方向差異、該左対角線方向差異及び該右対角線方向差異のうちの最小値を選定することによって判定されることを特徴とする方法。
7. 請求項１記載の方法であって、該抑制する工程が該選定する工程を該垂直方向平均に、該左対角線方向差異が該右対角線方向差異に等しい場合、抑制することを特徴とする方法。
8. 請求項１記載の方法であって、
   該垂直方向平均が垂直方向において隣接する画素に基づいたものであり、
   該左対角線方向平均が左上及び右下の対角線方向において隣接する画素に基づいたものであり、かつ
   該右対角線方向平均が右上及び左下の対角線方向において隣接する画素に基づいたものであることを特徴とする方法。
9. 請求項８記載の方法であって、該垂直方向隣接画素の平均、該左対角線隣接画素の平均、及び該右対角線隣接画素の平均のうちから該所定の出力画素についての補間値として選定する工程が、該垂直方向隣接画素の差異、該左対角線隣接画素の差異、及び該右対角線隣接画素の差異のうちの絶対値の最小差異に基づくものであることを特徴とする方法。
10. インタレース・ビデオをプログレシブ・ビデオにアップコンバートするインタレース除去回路であって、
    所定の出力画素について、垂直方向平均（ｙ１Ｖ）、左対角線方向平均（ｙ１Ｌ）、右対角線方向平均（ｙ１Ｒ）、垂直方向差異（ｄ１Ｖ）、左対角線方向差異（ｄ１Ｌ）並びに右対角線方向差異（ｄ１Ｒ）を判定する手段（２６、２８、２０）と、
    該垂直方向平均（ｙ１Ｖ）、該左対角線方向平均（ｙ１Ｌ）、並びに該右対角線方向平均（ｙ１Ｒ）のうちから、該垂直方向差異（ｄ１Ｖ）、該左対角線方向差異（ｄ１Ｌ）並びに該右対角線方向差異（ｄ１Ｒ）のうちの最小差異に基づいて、選定する手段（３２）と、
    左対角線方向において隣接する画素の平均値と右対角線方向において隣接する画素の平均値が実質的に等しい場合、該選定する工程を該垂直方向平均（ｙ１Ｖ）に、抑制し、該所定の出力画素についての値が該所定の出力画素より上の隣接画素と該所定の出力画素より下の隣接画素とによって範囲が定められる値の範囲に収まらない場合、該選定する工程を該垂直方向平均（ｙ１Ｖ）に、抑制する手段（４４）と、
    を有することを特徴とするインタレース除去回路。
11. 請求項１０記載のインタレース除去回路であって、該判定する手段、選定する手段、及び抑制する手段が空間的インタリーブ除去のみを実施することを特徴とするインタレース除去回路。
12. 請求項１０記載のインタレース除去回路であって、該判定する手段、選定する手段、及び抑制する手段が動き適応型インタレース除去アルゴリズムの空間的予測を実施することを特徴とするインタレース除去回路。

Images