JPH1070708A

JPH1070708A - 非インターレース化装置

Info

Publication number: JPH1070708A
Application number: JP9167586A
Authority: JP
Inventors: A Word Benjamin; ベンジャミン・エイ・ワード; Nabiin Tei; ティ・ナビーン
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 1996-06-25
Filing date: 1997-06-24
Publication date: 1998-03-10
Also published as: US5793435A; GB2314720A; GB2314720B; GB9712939D0

Abstract

(57)【要約】【課題】空間的領域及び時間的領域に分離不能で、係
数が可変の空間的且つ時間的な補間フィルタ１４を用い
て、インターレース・ビデオ信号を順次ビデオ信号に変
換する。【解決手段】ビデオ・メモリ１２は、インターレース
・ビデオ信号Ｕを受け、複数のオフセット・ビデオ信号
Ｕoffset及び１つの基準ビデオ信号Ｕrefを発生する。
補間フィルタ１４は、基準ビデオ信号及びオフセット・
ビデオ信号を受け、インターレース・ビデオ信号内の動
きの方向又は最小カラー変化を表す可変係数ｃに応じ
て、補間したビデオ信号Ｕｉを発生する。ブロック２０
は、補間したビデオ信号及び基準ビデオ信号を組み合わ
せて、順次ビデオ信号Ｕｐを発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ信号の処理
装置、特に、可変係数の空間的／時間的フィルタを用い
て、インターレース（飛び越し走査）ビデオ・フォーマ
ットを順次（非飛び越し走査）ビデオ・フォーマットに
変換する非インターレース化装置に関する。

【０００２】

【従来の技術】動画のビデオ・シーケンスは、各画像が
フレームと呼ばれる映画フィルムのように、静止画像の
シーケンスとなる。完全な画像を表示するのに必要な多
数の走査ラインにより、各画像が決まる。順次ビデオ
は、動画ビデオ・シーケンスの各フレームが、そのフレ
ームを構成する走査ラインの全数を含んでいる。インタ
ーレース化されたビデオ（インターレース・ビデオ）で
は、奇数ライン又は偶数ラインのいずれかを、動画ビデ
オ・シーケンスの連続的なフィールドに交互に割り付け
る（グループ化する）ので、インターレース・ビデオ内
の１対のフィールドが、フレーム、即ち、１つの完全な
分解能の映像を構成する。最新のテレビジョン・ビデオ
標準規格では、インターレース・ビデオ・フォーマット
を用いている。例えば、ＮＴＳＣビデオ標準規格では、
１フレーム当たり５２５ラインで、１ビデオ・フィール
ド当たり２６２．５ラインで、１秒当たり約３０フレー
ム（１秒当たり約６０フィールド）のレートである。

【０００３】非インターレース化、即ち、インターレー
ス・ビデオ（インターレース化されたビデオ）を順次ビ
デオに変換する処理には、インターレース・ビデオの交
互のフィールドから落とされた奇数又は偶数走査ライン
の画素（ピクセル）を計算し、再挿入する必要がある。
この処理は、一般に、ライン補間と呼ばれている。非イ
ンターレース・ビデオのフレーム・レートをインターレ
ース・ビデオのフィールド・レートと同じにするには、
ライン・レートを２倍にして、ＮＴＳＣの場合、１秒当
たり約６０フレームにする。元のライン及び補間された
ラインの両方に対して、出力サンプル・クロック周波数
を２倍にして、ライン・レートを２倍にする。これは、
時間圧縮として知られており、表示上でラインを走査す
る際にそのレートを２倍にする。

【０００４】順次ビデオは、多くの理由で望ましい。す
なわち、順次表示では、画像の斜め方向のエッジにおけ
るライン・クロール（むら）や、画像の水平エッジにお
けるトゥイター（小刻みな振動）の如き視覚的アーティ
ファクトが少なくなる。フレーム・レート変換、空間的
寸法調整（画像のズーム）及びデジタル特殊効果の如き
動作を行うには、順次ビデオの方が簡単である。よっ
て、インターレース・ビデオを順次ビデオに変換するこ
とは望ましい。

【０００５】ビデオの非インターレース化に対して、多
くの補間方法が提案されている。整数ファクタ補間の従
来方法は、線形シフト不変（ＬＳＩ）フィルタを用いて
いる。機能的には、元のビデオの交互のライン間に挿入
したゼロ値のピクセルを含むラインにより増加したフィ
ールド・シーケンスを先ず作って、補間を行う。次に、
１次元、２次元又は３次元ＬＳＩフィルタにより、この
増加したフィールド・シーケンスを「平滑化」する。こ
の「平滑化」により、ゼロ値ピクセルを、それを囲むピ
クセルの重み付け和と交換する。この「平均化」は、元
のピクセル値に影響するかもしれないし、影響しないか
もしれない。実際的には、フィルタ処理を伴うゼロ挿入
による補間は、効果的ではなく、一般的には、この形式
では実施されていない。異なる補間フィルタが、異なる
状況で良好に動作する。

【０００６】静的な画像（動きのない画像）は、時間的
方向に沿って変化しないので、時間的なスペクトラムに
おいてＤＣ項を含んでいる。動きのない静止画像（zero
padded static picture）は、時間的ナイキスト周波数
のみにて、即ち、１２０Ｈｚにて、繰り返しスペクトラ
ムを有する。類似した連続的なフィールドの対を付加す
る（フィールド併合を行う）単純な時間的フィルタは、
動きのない画像シーケンスを完全に補間する。画像シー
ケンスが、動きのあるオブジェクト（対象物）又はパン
されるシーンを含んでいる場合、フィールド併合により
可視的なアーティファクトが生じるかもしれない。例え
ば、水平方向に移動する垂直エッジを有するオブジェク
トを含んでいる画像シーケンスを仮定する。フィールド
併合により非インターレース化する（時間のみの補間を
行う）ことにより、オブジェクトの移動するエッジに沿
って、櫛歯状の影響が生じる。同じフィールドから、補
間するピクセルに対して、その上及び下になるピクセル
を平均化する厳密な垂直フィルタは、このアーティファ
クトを生じない。しかし、同じ垂直フィルタ（空間のみ
の補間を行う）は、静止画像に対する垂直分解能が、フ
ィールド併合の場合よりも低い。ビデオ・シーケンス
は、典型的には、フィールドの異なる領域、又はフィー
ルド・シーケンスの異なる時間において、動いているオ
ブジェクトの特性と、静止画像の特性との両方を含んで
いる。時間的に、そして垂直方向に、複数のピクセルに
またがり、局部的な動きの内容に応じて変化するフィル
タは、上述の時間的なアプローチ及び空間的アプローチ
とを良好に組み合わせて構成されている。

【０００７】ＬＳＩフィルタ・アプローチを改善するた
めに、多くの適応補間技術が提案されている。適応構造
の１つのモードは、１９８５年４月に発行されたＩＥＥ
Ｅ会報７３巻４号の５０２〜５２２ページのイー・デュ
ボイス著「ビデオ・システムにおけるアプリケーション
による時間変化イメージのサンプリング及び再構成」に
記載されているように、動きの検出を基にしている。動
き適応補間の目的は、補間されるピクセルに特有の動き
の程度に応じて、有効補間フィルタを可変することであ
る。動き適応補間システムの大部分の実現方法は、アメ
リカ合衆国特許第５２６０７８６号に記載されているも
のに類似しており、これを図３に示す。基本的な考え方
は、インターレース入力ビデオ信号Ｕに対して、空間的
補間ブロックがビデオ・シーケンスの動きのない領域に
おける時間的補間を行って時間的補間済みビデオ信号Ｕ
ｔを発生すると共に、空間的補間ブロックが動きのある
領域における空間的補間を行って空間的補間済みビデオ
信号Ｕｓを発生する。動き検出ブロックは、入力ビデオ
信号Ｕの画像シーケンスにおける動きの存在及びレベル
Ｍを検出する。非直線性ブロックは、信号Ｍを受け、０
（動きなし）から１（顕著な動き）までの間の値である
重み付け係数βと、その１の補数１−βとを発生する。
第１乗算器が空間的補間済みビデオ信号Ｕｓをβで重み
付けし、第２乗算器が時間的補間済みビデオ信号Ｕｔを
１−βで重み付けする。加算器は、これら重み付けした
補間済みビデオ信号を加算して、最終補間ビデオ信号Ｕ
ｉ＝βＵｓ＋（１−β）Ｕｔを発生する。ライン・マル
チプレクサ（ＭＵＸ）及び時間圧縮ブロックは、最終補
間ビデオ信号Ｕｉと、インターレース・ビデオ信号Ｕと
をライン毎に選択し、時間圧縮して、ライン・レートが
インターレース・ビデオの２倍である順次ビデオ信号Ｕ
ｐを発生する。

【０００８】動き検出は、上述した適応補間技術の重要
な要素である。最も一般的な動き検出は、補間されるピ
クセルの近傍におけるフレーム間（inter-frame）ルミ
ナンス差を用いる。ルミナンス差が「小さい」場合、即
ち、βが小さい場合、動きの程度が小さい。また、ルミ
ナンス差が「大きい」場合、即ち、βが大きい場合、動
きの程度が大きいと想定される。動きの方向は、これら
技術では検出されない。水平エッジ、即ち、垂直ルミナ
ンス・ステップを検出する機構が、アメリカ合衆国特許
第４９４７２５１号及び第５０５１８２６号に記載され
ているような動き適応補間システム内に含まれている。
垂直フィルタ処理により空間的補間が支配されるとき、
これは、垂直方向のエッジよりも水平方向のエッジに一
層大きく影響し、垂直帯域幅は低い。よって、水平エッ
ジの存在によって、動き検出器の出力βがルミナンス差
に応じてシフトするので、時間的フィルタ処理から空間
的フィルタ処理に移行するのに、より多くの動き量が必
要となる。

【０００９】図３の適応補間技術の変形もある。その変
形の１つは、カナダのトロントのＩＣＡＳＳＰが１９９
１年に発行したワイ・ワング及びエス・ケー・ミトラ著
「インターレース・ビデオ・シーケンスの動き／パター
ン適応補間」２８２９〜２８３２ページに記載されてい
るように、空間補間用の空間適応フィルタを用いること
である。他の変形は、１９９３年４月に発行されたＩＥ
ＥＥのビデオ技術用回路及びシステムに関する論文集の
３巻２号のケー・ジャンセン及びディー・アナスタッシ
オウ著「ＥＤＴＶ用デジタル援助非インターレース化」
に記載されているように、原理的には図３の適応補間に
類似しているが、インターレース・ビデオと一緒に伝送
され、受信器での補間処理に関する補助情報を用いる。
この後者の変形では、２フィールドの動き補償補間関数
により、ブロック単位で動きベクトルが送られる。これ
は、前方向及び後ろ方向の両方で行われる。付加情報を
ブロック単位で送り、特定のブロックを非インターレー
ス化するのに、どのフィルタ、又はどのフィルタの組合
せを、いずれかの動き補償方法と用いるかを指示する。
５つの選択肢には、（１）前方動きを補償した補間、
（２）後方動きを補償した補間、（３）厳密な空間補
間、（４）選択肢１を伴う選択肢３の平均、（５）選択
肢２を伴う選択肢３の平均がある。

【００１０】

【発明が解決しようとする課題】上述した総ての補間フ
ィルタは、共通の特性を有する。すなわち、これらフィ
ルタは、空間的領域及び時間的領域に分離されたフィル
タで構成されている。そこで、ビデオを非インターレー
ス化するのに、空間的領域及び時間的領域に分離不能
で、係数が可変の空間的且つ時間的フィルタであって、
インターレース・ビデオ内で動くオブジェクトのライン
にしばしば沿っており、最小の色変化の空間的／時間的
経路に沿ったフィルタ処理を近似するフィルタが求めら
れている。

【００１１】

【課題を解決するための手段】本発明によれば、可変係
数の空間的／時間的フィルタを用いて、インターレース
・ビデオ信号を非インターレース化して、順次ビデオ信
号を発生する。まず、このインターレース・ビデオ信号
をビデオ・メモリ（ビデオ蓄積手段）に入力する。この
ビデオ・メモリは、補間されるピクセルに対応する基準
遅延信号（基準ビデオ信号）と、空間的及び時間的の両
方で補間されるピクセルの近傍のピクセルに対応する１
組のオフセット遅延信号（オフセット・ビデオ信号）と
を出力する。係数インデックス信号は、インターレース
・ビデオ信号と共に補助データとして伝送されてもよ
く、これは、インターレース・ビデオ・データに付随し
た動きベクトルでもよく、また、インターレース・ビデ
オ・データから計算してもよい。この係数インデックス
信号を係数メモリに入力し、１組のフィルタ係数を選択
する。基準遅延信号及びオフセット遅延信号と、選択し
た１組のフィルタ係数とを、ＦＩＲフィルタの如き空間
的／時間的補間フィルタに入力する。この空間的／時間
的フィルタは、これら入力信号を１組のフィルタ係数に
応じて互いに重み付けし、補間されたビデオ信号を発生
する。この補間されたビデオ信号は、ライン・マルチプ
レクサ（ＭＵＸ）及び時間圧縮器に入力し、基準遅延信
号と組み合わされる。なお、基準遅延信号は、フィルタ
の処理時間を補償するために、更に遅延されている。ラ
イン・マルチプレクサ及び時間圧縮器の出力信号は、フ
レーム・レートがインターレース・ビデオ信号の２倍で
ある順次ビデオ信号である。係数インデックス信号と、
複数組の係数との結合により、動きの方向、又は各ピク
セルの最小色変化に沿って、インターレース・ビデオ信
号を近似的にロウパス・フィルタ処理したことになる。

【００１２】本発明のその他の目的、利点及び新規な特
徴は、添付図を参照した以下の詳細説明から明らかにな
ろう。

【００１３】

【発明の実施の形態】本発明は、上述の従来の従来のフ
ィルタ方法と異なり、分離不能な空間的／時間的線形フ
ィルタを用いて、インターレース・ビデオを非インター
レース化する。空間的／時間的フィルタは、補間するピ
クセル位置からの垂直方向、水平方向及び時間的方向の
ピクセルの重み付けした和から、新たなピクセル値を計
算して、補間するピクセルに対する動きの方向又は最小
の色の変化に沿って、できる限り、且つ正確にフィルタ
処理を行う。また、このフィルタは、空間的且つ時間的
に変化する。これは、複数の補間点に対して、異なる組
のフィルタ係数を用いることを意味する。係数をダイナ
ミックに変化させることにより、ビデオ・シーケンス内
の局所的な動き及び空間的な特性に補間を合わせること
ができる。フィルタ係数は、ピクセルを補間する毎にし
ばしば変化させてもよいし、たまに変化させてもよい。

【００１４】図１は、可変係数空間的／時間的フィルタ
を具えた本発明の非インターレース化装置のブロック図
である。非インターレース化装置１０は、２つの入力、
即ち、インターレース・ビデオ信号Ｕ及び係数インデッ
クス信号ａを受ける。インターレース・ビデオ信号Ｕ
は、ビデオ・メモリ（ビデオ蓄積手段）１２に入力す
る。このビデオ・メモリ１２は、基準遅延出力信号Ｕre
f、即ち、補間されるピクセルの各々に対して補間され
るピクセルの直ぐ下のピクセルの信号Ｕrefと、空間的
且つ時間的に隣接したピクセルである１組のオフセット
遅延信号Ｕoffsetとを発生する。これは、メモリ１２に
書き込まれたビデオ信号を読出す際の記憶位置を制御す
ることにより実行できる。すなわち、フィールド、ライ
ン及びピクセル・サンプル・インターバルの異なる組合
せによってビデオ・メモリ１２の総てのビデオ出力を遅
延させて、基準遅延出力信号及びオフセット遅延出力信
号を発生する。基準遅延出力信号Ｕrefに対して、オフ
セット出力信号Ｕoffsetは、ライン及びフィールド期
間、並びにピクセル・サンプル・インターバルのオフセ
ット量の異ならせてある。補間すべきピクセルの空間的
／時間的近傍の多数のビデオ・ライン及びピクセルを同
時にアクセスして、これら信号を、選択された係数に応
じて入力信号の重み付け平均を出力するＦＩＲフィルタ
の如き空間的且つ時間的（空間的／時間的）補間フィル
タ１４に供給する。

【００１５】空間的／時間的補間フィルタ１４は、ビデ
オ信号Ｕref及びＵoffsetの重み付けした和を計算す
る。すなわち、このフィルタ１４は、フィルタ係数ｃに
より局部的ビデオ信号を叩き込みし（コンボルーション
処理を行い）、補間ビデオ信号（補間されたビデオ信
号）Ｕｉを発生する。係数インデックス信号ａは、補間
される各ピクセル又はピクセルのブロック用に、係数メ
モリ１６から１組の係数ｃを選択する。すなわち、係数
インデックス信号をメモリ１６のアドレス信号とし、予
め蓄積された係数をメモリ１６から読み出す。基準ビデ
オ信号Ｕref及び補間ビデオ信号Ｕｉを順次ビデオ信号
Ｕｐに併合する前に、処理遅延回路１８により、空間的
／時間的補間フィルタ１４の処理時間に等しい時間だ
け、基準ビデオ信号Ｖrefを遅延させる。最後に、適切
な回路（ライン・マルチプレクサ及び時間圧縮回路）２
０により、遅延基準ビデオ信号Ｕref及び補間ビデオ信
号Ｕｉをライン単位で選択し、時間圧縮して、順次の非
インターレース・ビデオ信号Ｕｐを発生する。かかる回
路２０は、ビデオ信号Ｕｉ及びＵrefを並列のＦＩＦＯ
（ファースト・イン・ファースト・アウト・メモリ）
に、インターレース・ビデオ信号Ｕのライン・レートで
クロック入力し、順次ビデオ信号Ｕｐのライン・レート
で、最初のビデオ信号Ｕref及びＵｉに相当する１ライ
ンを交互にダンプして（取り出して）、順次ビデオ信号
Ｕｐにする。

【００１６】係数インデックス信号ａは、いくつかの手
段により得ることができる。このインデックス信号ａ
は、インターレース・ビデオ信号の補助部分でもよい。
すなわち、ビデオ信号源は、各ピクセルのインデックス
を特定する補助情報を含んでもよい。かかる技術は、圧
縮されコード化されたデジタル・ビデオのフォーマット
であるＭＰＥＧ用の空間的拡大／縮小手順の一部として
提案されている。各フレームのヘッダにおける１ビット
又はそれ以上のビットを、非インターレース化フィルタ
の係数インデックス用に用いる。

【００１７】係数インデックス信号ａを発生する他の方
法は、インターレース・ビデオ信号に付随した動き情報
を用いる。動き情報を用いて、動きの方向に沿ったロウ
パス機能を与える１組の補間フィルタ係数を選択する。
例えば、静止画像シーケンス、即ち、動きのない場合、
フィルタ１４が、従来のフィルタ併合における如く、時
間的次元におけるロウパス・フィルタになる。動き情報
を基にする信号源の例は、圧縮ビデオ信号のエンコード
及びデコードに用いるブロック動きベクトルを含んでも
よいＭＰＥＧ２ビデオ・ストリーム（信号の流れ）であ
る。速度又は動きのベクトルＶの各々を特定の係数メモ
リ・インデックスに割り付けて、（動きをアドレスに割
り当てた）ルックアップ・テーブル２２又は類似機能を
用いて、インデックス信号を発生する。ＭＰＥＧ２ビデ
オ・ストリームにおいて、１６×８又は１６×１６のピ
クセル・ブロックの各々に関連した速度ベクトルが存在
してもよい。他のビデオ・フォーマットが、異なるピク
セル・グループ化技術に対して速度ベクトルを有しても
よい。

【００１８】上述した速度対アドレス・マッピング技術
の変形は、ビデオ信号源ではなく補間器にて計算された
速度ベクトルを有する。局部的速度推定方法は、ＭＰＥ
Ｇ２に用いられている技術のように、ブロック動き推定
技術でもよいし、他の技術に基づいたものでもよい。

【００１９】他の係数インデックス信号発生技術を図２
に示す。インデックス信号の発生は、速度ベクトル情報
と、ライン、エッジ（ルミナンス／クロミナンス・ステ
ップ）又は細かなパターンの如き高帯域幅特徴の存在及
び方向に関する情報との両方に基づいている。空間的特
徴帯域幅及び方向ブロック２４により、オフセット遅延
出力信号Ｕoffset及び基準遅延出力信号Ｕrefから空間
特徴情報を求めて、特徴ベクトルｆを発生する。この特
徴ベクトルは、最も顕著な局部的特徴の方向と、しきい
値に対してその方向に沿い且つその方向に垂直な空間帯
域幅とであってもよい。特徴帯域幅及び方向は、２個又
はそれ以上の方向性ハイパス・フィルタから、空間領域
内で得てもよい。

【００２０】これらフィルタは、エッジ検出用の高微分
器、即ち、２点の差を求める手段が前段にあってもよ
い。これと等価的な情報を、周波数領域内で、補間され
るピクセルに近接したピクセルに対して、短時間に類似
した「短い空間」の２次元フーリエ変換を行って求めて
もよい。最高周波数スペクトラム成分、その方向、及び
その方向に直角なスペクトラム帯域幅に対して、大きさ
のスペクトラムを検索する。（動き及びをアドレスに割
り当てた）ルックアップ・テーブル２６又は類似回路に
より、動きベクトル及び特徴ベクトルの組合せベクトル
をマッピングして、係数インデックス信号を発生する。
すなわち、色変化の最小量の方向を求める。

【００２１】したがって、本発明は、分離不能な空間的
／時間的補間フィルタを用いて、インターレース・ビデ
オ信号を非インターレース化して、順次ビデオ信号を発
生できる。なお、このフィルタの可変係数は、補間され
るピクセルに隣接する局部的な動きを基にするか、及び
／又はインターレース・ビデオ信号内の顕著な特徴を基
にしている。

【００２２】

【発明の効果】上述の如く、本発明によれば、空間的領
域及び時間的領域に分離不能で、係数が可変の空間的且
つ時間的な補間フィルタを用いて、インターレース・ビ
デオ信号内のオブジェクトの動きの方向又は最小カラー
変化を表す可変係数に応じて、インターレース・ビデオ
信号を空間的且つ時間的に補間することによって、この
インターレース・ビデオ信号を順次ビデオ信号に変換で
きる。よって、インターレース・ビデオ信号の非インタ
ーレース化を効率的に実行できる。

【図面の簡単な説明】

【図１】可変係数空間的／時間的フィルタを具えた本発
明の非インターレース化装置のブロック図である。

【図２】本発明による非インターレース化装置用の係数
インデックス信号発生器のブロック図である。

【図３】従来の２次元適応補間フィルタのブロック図で
ある。

【符号の説明】

１０非インターレース化装置１２ビデオ・メモリ（ビデオ蓄積手段）１４空間的／時間的補間フィルタ１６係数メモリ１８処理遅延２０ライン・マルチプレクサ及び時間圧縮器２２ルックアップ・テーブル２４空間的特徴帯域幅及び方向ブロック２６ルックアップ・テーブル

───────────────────────────────────────────────────── フロントページの続き (72)発明者ティ・ナビーンアメリカ合衆国オレゴン州 97006 ビーバートンノースウェストワンハンドレッドシクティシクシス・テラス 2679

Claims

【特許請求の範囲】

【請求項１】インターレース・ビデオ信号を順次ビデ
オ信号に変換する非インターレース化装置であって、入力として上記インターレース・ビデオ信号を受け、出
力として複数のオフセット・ビデオ信号及び１つの基準
ビデオ信号を発生するビデオ蓄積手段と、入力として上記基準ビデオ信号及び上記オフセット・ビ
デオ信号を受け、上記インターレース・ビデオ信号内の
動きの方向又は最小カラー変化を表す可変係数に応じ
て、補間したビデオ信号を発生する空間的且つ時間的補
間フィルタと、上記補間したビデオ信号及び上記基準ビデオ信号を組み
合わせて、上記順次ビデオ信号を発生する手段とを具え
た非インターレース化装置。