JPH08322020A - 動き補償されたアップコンバージョンの方法及び装置 - Google Patents

動き補償されたアップコンバージョンの方法及び装置

Info

Publication number
JPH08322020A
JPH08322020A JP8072631A JP7263196A JPH08322020A JP H08322020 A JPH08322020 A JP H08322020A JP 8072631 A JP8072631 A JP 8072631A JP 7263196 A JP7263196 A JP 7263196A JP H08322020 A JPH08322020 A JP H08322020A
Authority
JP
Japan
Prior art keywords
motion
field
block
compensated
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8072631A
Other languages
English (en)
Other versions
JP3882854B2 (ja
Inventor
Weisser Fritz
ヴァイサー フリッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JPH08322020A publication Critical patent/JPH08322020A/ja
Application granted granted Critical
Publication of JP3882854B2 publication Critical patent/JP3882854B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 本発明は、アーティファクトを誘起すること
なく、動き補償を行うためのアップコンバージョンの方
法及び装置の提供を目的とする。 【解決手段】 本発明の方法及び装置は、動き補償され
たアップコンバージョンとノイズ圧縮を行うため、フィ
ールド周波数を2倍にするためのフィールドメモリ(S
PUFM,FM)と、動き評価器(ME)と、動き補償
された補間器(MCI)を、空間的ノイズ圧縮手段(S
F)と、予測器(PRED)を含む反復時間的ノイズ圧
縮手段(TF)と共に使用する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動き補償されたアッ
プコンバージョンの方法及び装置に関する。
【0002】
【従来の技術】従来のTV標準規格は、50、59.9
4又は60Hzのフィールド周波数を有する。かかる画
像が表示されるとき、特定の画像の内容の場合にライン
状のフリッカーが発生し、或いは、明るい画像の場合
に、大きい領域状のフリッカーが、特に、大きい画面上
で発生する。かかるアーティファクトは、表示アップコ
ンバージョンが受像機で行われ、フィールド周波数が2
倍にされるとき、低減される。しかし、AABBのよう
な簡単なアップコンバージョンアルゴリズムは、新しい
動きのアーティファクトを誘起する。上記アーティファ
クトを防止するため、通常、スピードアップ、動き評価
及び動き補償用の三つの高価なフィールドメモリを必要
とする動き補償が受像機内で行われる。
【0003】欧州特許出願第0574068号明細書に
は、スピードアップ用のフィールドメモリと、動き評価
及び動き補償に共通のフィールドメモリの二つのフィー
ルドメモリだけを用いて上記機能を行う方法が記載され
ている。しかし、多量の動きベクトルを格納するため付
加的なメモリが必要とされる。
【0004】
【発明が解決しようとする課題】本発明の一つの目的
は、二つのフィールドメモリと、動きベクトルを格納す
る一つの小記憶容量のベクトルメモリだけを必要とし、
これにより付加的なノイズ圧縮を実現する動き補償され
たアップコンバージョンの方法を開示することである。
上記目的は請求項1に記載された方法によって実現され
る。
【0005】本発明の他の目的は、上記本発明の方法を
利用する装置を開示することである。上記目的は、請求
項29及び30に記載された装置によって実現される。
【0006】
【課題を解決するための手段】第1のフィールドメモリ
はフィールド周波数を2倍にするため使用される。第2
のフィールドメモリは、高いフィールド周波数の信号上
でノイズ圧縮と共に動き補償された補間を行うため、動
き評価器、動き補償された補間器、予測器、反復フィル
タ手段、及び、適当な処理時間遅延とに接続されて使用
される。
【0007】本発明は、例えば、50/59.94/6
0/50Hzのインターレース方式から100/11
9.88/120/75Hzのインターレース方式への
アップコンバージョン、50/59.94/60/50
Hzのインターレース方式から100/119.88/
120/75Hzのプロスキャン(proscan)方式へのア
ップコンバージョン、及び、50/59.94/60/
50Hzのプロスキャン方式から100/119.88
/120/75Hzのプロスキャン方式へのアップコン
バージョンのため使用することが可能である。
【0008】本発明の一つの利点は、空間的かつ反復時
間的なノイズ圧縮が動き補償されたアップコンバージョ
ン(MCU)に追加された場合でさえ、上記機能を行う
ためには二つのフィールドメモリだけで十分な点であ
る。これは、動き補償された補間が、動き評価器と部分
的に同一のビデオ入力信号を受け、誤りのある動きベク
トルが計算された後、時間的フィルタは上記誤差を伝播
しないという条件下で特殊な回路を用いることにより達
成される。
【0009】上記時間的フィルタに誤差の伝播がないこ
とは、時間的ノイズ圧縮に使用される制御の種類に起因
して得られ、かつ、誤差はフィールドからフィールドで
減衰することがテストによって分かった。本発明の他の
利点は、大きい主ブロックの動きベクトルだけを格納す
ればよいので、ベクトルメモリの容量は小さくても構わ
ないことである。これは、副ブロックの動きベクトルを
格納しなくても済むように、処理中で必要とされる直前
に、上記主ブロックの動きベクトルから、修正された副
ブロックの動きベクトルを計算することにより実現され
る。
【0010】動きベクトル及び/又は時間的フィルタの
計算は、計算されたノイズレベルによって制御し得る利
点がある。原理的に、本発明の方法は、第1の段階で、
ソースフィールドは2倍のフィールド周波数のフィール
ドを形成するため変換され、第2の段階で、動き評価及
び該動き評価からの動き情報を使用する動き補償された
補間は、該2倍のフィールド周波数のフィールドで行わ
れるインターレース方式ビデオ信号の動き補償されたア
ップコンバージョンの方法であって、空間的及び/又は
時間的ノイズ圧縮が該動き補償された補間に含まれる。
【0011】本発明の方法の有利な他の実施例は夫々の
従属項に記載されている。原理的に、本発明のインター
レース方式のビデオ信号の動き補償されたアップコンバ
ージョン用の装置は: − ソースフィールドを2倍のフィールド周波数のフィ
ールドに変換するため使用される第1の記憶手段と; − フィールドからフィールドで動き評価を行う動き評
価器に、その入力及び出力が接続された後続の第2の記
憶手段と; − その入力及び出力が、該動き評価器から該副ブロッ
クの動きベクトルを受け、フィールドからフィールドで
動き補償を行ない、動き補償されたアップコンバージョ
ン出力信号を発生する動き補償された補間器に接続され
た第3の記憶手段と; − 夫々の入力信号は該第2の記憶手段の入力信号から
得られ、最終的な出力信号は該第3の記憶手段の入力に
供給される空間的ノイズ圧縮手段及び/又は後続の時間
的ノイズ圧縮手段とからなり、或いは上記装置は: − ソースフィールドを2倍のフィールド周波数のフィ
ールドに変換するため使用される第1の記憶手段と; − 第2の記憶手段の入力信号は、該第1の記憶手段の
出力信号から得られ、かつ、動き評価器から動き情報を
受け、フィールドからフィールドで動き補償を行い、動
き補償されたアップコンバージョン出力信号を発生する
動き補償された補間器の第1の入力に供給され、これに
より、該動き補償された補間器の第2の入力の信号は第
2の記憶手段の出力信号から得られる後続の第2の記憶
手段と; − 該第2の記憶手段の出力信号を第2の入力に受け、
第1の入力の信号は該第1の記憶手段の出力信号から得
られ、フィールドからフィールドで動き補償を行なう動
き評価器と; − 夫々の入力信号は該第2の記憶手段の入力信号から
得られ、最終的な出力信号は、該第2の記憶手段の入力
と、該動き補償された補間器の上記第1の入力とに供給
される空間的ノイズ圧縮手段及び/又は後続の時間的ノ
イズ圧縮手段とからなる。
【0012】本発明の装置の有利な他の実施例は、夫々
の従属項に記載されている。
【0013】
【発明の実施の形態】以下添付図面を参照して本発明の
好ましい実施例を説明する。動き補償されたアップコン
バージョン処理は以下の三つの段階、即ち: − ルミナンスだけを水平方向及び垂直方向に動き補償
する段階と; − ルミナンスに対し空間的かつ時間的にノイズ圧縮を
行う段階と; − クロミナンスに対し時間的のみにノイズ圧縮を行う
段階と; − ルミナンス及びクロミナンスの動き補償された補間
の段階と に分割することが可能である。
【0014】動き補償評価器は、MVで示される動きベ
クトルを計算し、上記MVには信頼度CLと、1フィー
ルド当たりのノイズレベルNが付随している。この結果
は、ノイス圧縮され、かつ、動き補償された出力画素を
生成するため使用される。以下では、50/60Hzの
範囲において: − 偶数ソースフィールド = ソースフィールド
1,5,..., − 奇数ソースフィールド = ソースフィールド
3,7,..., の場合を考え、100/120Hzの範囲では: − 出力フィールド 1 ← ソースフィールド1から − 出力フィールド 2 ← ソースフィールド1とソ
ースフィールド3の組合せ − 出力フィールド 3 ← ソースフィールド3とソ
ースフィールド5の組合せ − 出力フィールド 4 ← ソースフィールド3とソ
ースフィールド5の組合せ の場合を想定する。
【0015】入力及び出力サンプルは、0=LSB(最
下位ビット)乃至7=MSB(最上位ビット)の8ビッ
ト語で表わされる。ビデオ入力フォーマット(4:1:
1)は: − Y=16(黒)...240(白)、ブランク値=
16 − U,V=−112...0...+112、ブラン
ク値=0(2の補数) の場合を想定する。
【0016】ビデオ出力フォーマット(D/A変換の
前)は: − Y=0(極限の黒)...255(極限の白)、ブ
ランク値=16 − U,V=0...128...255、ブランク値
=128 の場合を想定する。図1において、フィールドメモリ又
はFIFO(先入れ先出し)スピードアップフィールド
メモリSPUFMは、入力信号Iのフィールド周波数を
2倍にするため使用される。出力信号は、小容量のベク
トルメモリを含む動き評価器MEと、第2のフィールド
メモリ又はFIFOフィールドメモリFM1と、空間的
ノイズフィルタSFとに供給される。動き評価器MEの
第2の入力には、フィールドメモリFM1の出力が供給
される。動き評価器MEの出力は、動きベクトルMV及
び他の幾つかの情報を動き補償された補間器MCIと、
予測器PREDの第1の入力とに送る。空間的ノイスフ
ィルタSFの空間的にノイズフィルタリングされた出力
は、時間的ノイズフィルタTNRを介して動き補償され
た補間器MCIの第1の入力と、第3のフィールドメモ
リ又はFIFOフィールドメモリFM2とに供給され
る。動き補償された補間器MCIの第2の入力は、フィ
ールドメモリFM2の出力によって供給される。フィー
ルドメモリFM2の出力は、予測器PREDの第2の入
力に供給される。予測器PREDの出力は、時間的ノイ
ズフィルタTNRの第2の入力に供給される。
【0017】動き補償された補間器MCIの出力Oは、
格納、或いは、画面に表示されるべく、最終的な動き補
償をされ、アップコンバージョンをされ、ノイズ圧縮さ
れた信号である。動き補償されたアップコンバージョン
MCU回路内の処理時間は、別の図に示された適当な遅
延、例えば、PTD1及びPTD2を使用して容易に適
合させ得る。種々のブロックの機能は、他の図面を参照
して以下に説明する。
【0018】図1及び3乃至6において、平行な太線の
ダッシュは、全長(例えば、704画素)のライン遅延
を表わし、それ以外のダッシュは、副サンプリングされ
た画像データを格納する半分のライン遅延を示してい
る。分割された太線のダッシュは、動き補償された補間
器MCI及び予測器PREDの両方で使用される共通の
ライン遅延である。
【0019】上記ライン遅延は、現在のラインの画素が
出力されるとき必要とされる先の計算結果を上記図のブ
ロックで利用可能にするため使用される。動き補償され
た補間器MCIは、更に、例えば、スイッチSW3の出
力信号を使用する。図2の基本的なブロック図には、フ
ィールドメモリ又はFIFOスピードアップフィールド
メモリSPUFMと、第2のフィールドメモリ又はFI
FOフィールドメモリFMと、動き評価器MEと、動き
補償された補間器MCIとが示されている。別個の配置
であるため、二つのフィールドメモリ又はFIFOだけ
が必要とされる。図1に対し、スピードアップフィール
ドメモリSPUFMの出力は、第1の処理時間遅延PT
D1を介して動き補償された補間器MCIの第1の入力
と、フィールドメモリFMとに接続されている。処理時
間遅延PTD1は、動き評価器MEで必要とされる処理
時間を表わしている。フィールドメモリFMの出力は、
動き評価器MEの第2の入力に接続され、第2の処理時
間遅延PTD2を介して動き補償された補間器MCIの
第2の入力に供給される。
【0020】SGS−トムソン製のSTi3220のよ
うな動き評価チップと、SGS−トムソン製のIMSA
110のような2次元の動き補償された補間フィルタ
と、SGS−トムソン製のSTi3500のような2次
元の動き補償された補間器を含むMPEG2方式の復号
化器は、既に市場に出ている。遅延PTD1とPTD2
の遅延時間は等しい。フィールドメモリFMの遅延時間
は、1フィールドから遅延PTD1の遅延時間を引算し
た時間である。これは、動き評価器の第1と第2の入力
の間、及び、動き補償された補間器MCIの第1と第2
の入力の間に、夫々、1フィールド(例えば、10m
s)の総遅延時間が得られることを意味している。
【0021】PTD1で示されたブロックは、遅延PT
D2の出力からの入力信号と、動き評価器からの動き情
報とを受ける新規のノイズ圧縮を含んでいる。図3乃至
6は、図2の基本回路をより詳細に示す他の実施例を表
している。図3の(A)において、図2中のブロックP
TD1+NRは、第1のライン遅延LD1と、処理時間
遅延PTD1と、空間的ノイズフィルタSFと、時間的
ノイズフィルタTFを直列に含んでいる。フィールドメ
モリFMの出力は、第2のライン遅延LD2と、第2の
スイッチSW2の第1の入力と、PTD2とを介して、
動き補償された補間器MCIの第2の入力と、予測器P
REDの第2の入力とに供給されている。スイッチSW
2の第2の入力は、フィールドメモリFMの出力に接続
されている。
【0022】動きベクトルMVと、例えば、ノイズレベ
ルNに関する情報及びベクトルの信頼度CLに関する情
報は、第3のライン遅延LD3を介して動き評価器ME
から動き補償された補間器MCIに送られる。ライン遅
延LD3の入力は第1のスイッチSW1の第1の入力に
接続され、ライン遅延LD3の出力は第1のスイッチS
W1の第2の入力に接続されている。スイッチSW1の
出力は、動きベクトルMVを予測器PREDの第1の入
力に供給する。ライン遅延LD3は、1ラインに対し書
き込まれ、連続する2ラインに対し読み出される。その
理由は、同一の副ブロック動きベクトルが2本のライン
に適用されるからである。
【0023】予測器PREDの出力は、時間的ノイズフ
ィルタTFの第2の入力に接続されている。偶数出力ラ
インEOLの場合、スイッチSW1の第1の入力は動作
的であり、一方、奇数出力ラインOOLの場合、スイッ
チSW1の第2の入力は動作的である。フィールド1及
び2の場合、スイッチSW2の第1の入力は動作的であ
り、一方、フィールド3及び4の場合、スイッチSW2
の第2の入力は動作的であり、即ち、スイッチSW2の
出力に接続されている。
【0024】動き評価器MEは、主ブロック動きベクト
ルと、主ブロックゼロベクトルとを格納するベクトルメ
モリRAMを含む。図3の(B)には、入力信号Iの場
合に現れる信号Oの上記出力フィールドが(ライン番号
と共に)示されている。しかし、フィールドF3及びF
7は、共にO出力フレームの最初のフィールドである。
【0025】基本的に図4の実施例は、ライン遅延LD
1の機能が、動き評価器MEの一部である夫々の1ライ
ン遅延によって行われる点で図4の実施例と相違してい
る。動き評価器MEは、遅延PTD1の入力に接続され
た対応する第2の出力を有する。その上、第2のライン
遅延LD2は図4では省かれている。第2のスイッチS
W2の第2の入力は、動き補償された補間器MCIの第
2の出力と、内部の1ライン遅延とを介して、動き補償
された補間器MCI内の第3のスイッチSW3の出力に
接続されている。スイッチSW3の第1の入力は、フィ
ールド1及び2に対し動作的であり、内部の1ライン遅
延を介して動き補償された補間器MCIの第1の入力に
接続されている。スイッチSW3の第2の入力は、フィ
ールド3及び4に対し動作的であり、動き補償された補
間器MCIの第3の入力を介してフィールドメモリFM
の出力に接続されている。予測器PREDは、出力フィ
ールドOF3及びOF4の処理中に、第4のライン遅延
を必要とする。スイッチSW3の出力のライン遅延は、
動き補償された補間器MCI/予測器PREDの右側で
三つの後続のライン遅延に対し予め配置されたライン遅
延であると見なし得る。
【0026】基本的に、図5の実施例は、空間的フィル
タSFが元の位置で省かれているが、空間的フィルタS
Fの機能が動き評価器MEに組み込まれている点で図4
の実施例とは相違している。基本的に、図6の実施例
は、予測器PREDが元の位置で省かれているが、予測
器PREDの機能が、動き補償された補間器MCIに組
み込まれている点で相違している。
【0027】図2乃至6において、動き評価器MEは、
ノイズ圧縮されていない入力信号と、先に計算された動
きベクトルが既に適用されたノイズ圧縮された入力信号
とを受け、一方、動き補償された補間器MCIは、二つ
のノイズ圧縮された入力信号を受ける。フィールドメモ
リFMは、1フィールドの遅延から時間的フィルタTF
の遅延、例えば、2ラインを引算した遅延を有する。
【0028】ルミナンス処理 ソース信号I、50/60Hz/2:1/625は、フ
ィールドメモリによって、100/120Hz/2:1
/625のAABBフィールド繰り返しフォーマットに
スピードアップされる。図7のタイミングチャートは、
信号Iの奇数(O)/偶数(E)フィールド F1,F
3,F5,...と、スピードアップ(SPU)フィー
ルド F1,F1,F3,F3,F5,...と、出力
信号Oのフィールド F1,F2,F3,F4,F
5,...を示している。
【0029】上記処理の中間段階はプロスキャン変換で
あり、そのグリッドが図9に示されている。動き評価器
ME(図8の(A))の場合、奇数及び偶数フィールド
のラインを共通の垂直方向グリッドに置くため、ルミナ
ンスの奇数ソースフィールドだけが垂直方向に補間され
る。動き補償された補間器の場合、ソースフィールド
と、ルミナンス及びクロミナンスの両方のプロスキャン
のグリッド(図8の(B))は、垂直方向のフィルタに
よって生成される。
【0030】図8では、以下の符号: × ソースグリッド; ○ 垂直方向のプロスキャン補間によって生じたライ
ン; ● 出力ラインの空間的位置; が使用されている。F1は奇数(O)ソースフィールド
であり、一方、F3は偶数(E)ソースフィールドであ
る。
【0031】奇数フィールドF1に対する図9の(A)
と、偶数フィールドF3に対する図9の(B)とに示さ
れているように、動き評価器において、両方のフィール
ドは、水平方向に予めフィルタリングされ、副サンプリ
ングされている。上記の如く生成されたグリッドは、図
8の(A)に示す如く、垂直方向V及び水平方向Hに副
サンプリングされたプロスキャンのグリッドに対応す
る。水平方向の前置フィルタは、係数(1/16,2/
16,3/16,4/16,3/16,2/16,1/
16)を有し、ルミナンス上だけで行われる。フィルタ
リングは、最初に加算し、次いで、切捨てることにより
行われる。
【0032】図9では、以下の符号が使用されている: × ソースグリッド; ×又は○ プロスキャングリッド。○の値は×の値を垂
直方向に平均化することによって計算される; □ 垂直方向及び水平方向に副サンプリングされたプロ
スキャンのグリッド(=第1,第3,第5,...動作
的画素)。これは、動き評価と、信頼度と、ノイズレベ
ルの計算に使用されるグリッドである; 〇 副サンプリング。大きい円で示された中心画素は出
力画素の場所である。
【0033】図10は、垂直方向及び水平方向に副サン
プリングされたプロスキャンのグリッド内の主ブロック
MBと副ブロックSBとを示している。副ブロックSB
は、2*2画素の寸法を有する。副サンプリングされて
いない主ブロックは、1フレームに32画素*16ライ
ンの寸法と、1フィールドに32画素*8ラインの寸法
とを有する。主ブロックは、水平方向及び垂直方向に副
サンプリングされたプロスキャンのグリッドに16画素
*8ラインの寸法を有する。
【0034】動き評価器は、MBで示された大きいルミ
ナンス主ブロック上で両側のブロック突き合わせを行え
る利点がある。主ブロックは16画素*8ラインの寸法
を有する。両側のブロック突き合わせは、本出願人の国
際特許出願PCT/EP94/02870号により詳細
に記載されている。動き評価器において、実現可能な各
動きベクトルMVは各主ブロックMBに適用される。各
動きベクトルに対し、前のフィールドの主ブロックと、
動き方向に沿った現在のフィールドの対応する画素の絶
対値の差(2の補数)を累積することにより誤差Eが計
算される。次いで、最良の突き合わせ、即ち、最小の誤
差を与えるベクトルが、MBMVによって示される主ブ
ロック動きベクトルとして選択される。
【0035】幾つかの等しい最小誤差、即ち、幾つかの
同等に良好な動きベクトルが存在する場合、動きベクト
ルは以下の順序で選択される: 第1番目 最もゼロに近い水平成分を有する動きベクト
ルMV 第2番目 正の水平成分を有する動きベクトルMV 第3番目 最もゼロに近い垂直成分を有する動きベクト
ルMV 第4番目 正の垂直成分を有する動きベクトルMV 動きベクトルMVは、水平成分MVHと垂直成分MVV
とにより構成される。水平成分は、画面上を左から右へ
動く場合に正である。垂直成分は、画面上を上から下へ
動く場合に正である。図11には、補間されるべきフィ
ールド内の次の各主ブロックMBに対し動きベクトルM
Vが生成するための前のフィールドPF(z−1)と、
現在のフィールドCF(z)の特定の探索ウィンドウS
WW内の両側ブロック突き合わせが示されている。
【0036】図12の(B)に示したように、使用され
た副グリッドに起因して、ある種の動きベクトル(−1
4,−10,−6,−2,+2,+6,+10,+1
4)に対し副グリッド画素の距離の2分の1の小さい位
置的誤差が発生する可能性がある。この小さい誤差は許
容可能である。図12の(A)には、垂直動きベクトル
成分MVV:+2,0,−2が示されている。原理的
に、より長いライン遅延が費やされたとき、垂直動きベ
クトルMVVに対しより多数の値を実現することができ
る。ライン遅延は高価である(大きいチップ面積を必要
とする)ので、アップコンバージョンの目的に上記三つ
の値で十分であることを示すテストが行われる。
【0037】図12の(B)には実現可能な水平動きベ
クトル成分MVHが示されている。使用された符号は以
下の意味がある: □ 垂直方向及び水平方向に副サンプリングされたプロ
スキャンのグリッド; ○ 動きベクトルを計算するための正確な位置; ● 動きベクトルを計算するための僅かに誤りのある位
置。
【0038】本発明の一つの特徴は、動き補償されたア
ップコンバージョンを制御するためノイズ測定を使用す
ることである。本発明で使用し得るノイズ測定の一例
は、本出願人の欧州特許出願第0562407号明細書
に記載されている。更なるノイズ測定法を図13と組み
合わせて説明する。テレビ標準規格のB及びGの場合、
動作的画像ACPは、36の主ブロックの高さを有し、
テレビ標準規格のMの場合、32の主ブロックの高さを
有する。一つの中心ゾーンPNL0、又は、例えば、
(実現可能なピクチャーインピクチャーの特徴による)
三つのゾーンPNL1、PNL2及びPNL3は、ノイ
ズを測定するため使用される。最初に、各ゾーンに対す
る最小の主ブロック誤差が計算され、次に、予備のノイ
ズレベルPNLを得るため三つの最小値がメジアンフィ
ルタリングされる。現在のソースフィールドzにおい
て: PNL=メジアン〔PNL1,PNL2,PNL3〕 のように表わされ、PNLは16で分割され: PN(z) =PNL/16 である。最終的なノイズレベルN(z) は更なるメジアン
フィルタリングによって形成され: N(z) =メジアン〔N(z-1) +2,〔PN(z) +PN
(z-1) 〕/2,N(z-1) −2〕{切捨て} のように表わされる。
【0039】従って、ノイズ評価は、1入力フィールド
当たり1回更新され、フィールドとフィールドの間に±
2の最大値で変えられる。N(z) は現在の動作的なフィ
ールドの終わりまで分からないので、N(z) を主ブロッ
ク動きベクトルMBMVに続くブランキング期間中に更
新することが可能である。N(z) は適応時間的ノイズ圧
縮によって使用される。11ビットワード長の場合、N
(z-1) は、上記メジアン値を計算する際にアンダーフロ
ーとオーバーフローを防止するため2と2045の間に
制限される。N(z) 又はそのビットの一部は、I2Cバ
スを介して読出可能である。
【0040】電源投入時の初期化は:PNL,P
(z) ,PN(z-1) =0,N(z-1) =2である。本発明
の更なる特徴は、動き補償されたアップコンバージョン
を制御、即ち、両側のブロック突き合わせによって見つ
けられた動きベクトルを補正する周期的な構造を検出
し、考慮する点である。本発明で使用し得る周期的な構
造の検出の一例は、本出願人の欧州特許出願第9411
5732号明細書に記載されている。
【0041】周期的な構造において動き評価は非常に重
要である。非常に良好な突き合わせ、即ち、非常に小さ
い誤差を示す幾つかのベクトルが存在する。従って、好
ましくは、水平方向の周期的な構造の補正が行われる。
ブロックの突き合わせ処理から、実現可能な各主ブロッ
ク動きベクトルの対応する誤差が分かる。理論的には、
図14の(A)乃至(D)から分かるように、水平方向
の周期的な構造によって、行の範囲内に幾つかの誤差の
最小値が得られるが、同じ行の範囲内に幾つかの誤差の
最大値が生じる。図14において、画素の上側の行はソ
ースフィールド(z)のラインnを示し、下側の行はソ
ースフィールド(z−1)のラインnを示している。図
14の(A)、(B)、(C)及び(D)は、夫々、同
図の(A)の下側に示された周期的な画像輝度信号(例
えば、フェンス)の第1、第2、第3及び第4の実現可
能な動きベクトルを表わしている。従って、最大と最小
の誤差の間に大きな差が存在し、かつ、真の第2の最小
値が存在するならば、現在の主ブロックは周期的な構造
を有すると考えられる。上記ブロックは周期的な構造を
有することが確認された場合、上側又は左側のいずれか
の隣接する最小の誤差が得られる主ブロックに属する動
きベクトルは、現在の主ブロックに対し見つけられた動
きベクトルを置き換える。同一の場合、左側の主ブロッ
クのベクトルの方が優先される。
【0042】フィールド内の第1、即ち、左上の主ブロ
ックに対し、周期的な構造の補正はスイッチオフされ
る。第1の主ブロックの行の残りの部分に対し、左側の
候補だけが得られる。第1の主ブロックの列の残りの部
分に対し、上側の候補だけが得られる。これにより、以
下のアルゴリズムが得られる: もし 〔(真の第2の最小の行の誤差が存在し) かつ (2番目の最小の 行の誤差 − 最小の行の誤差 < 最大のブロック誤差/2)〕 ならば (もし 現在のブロックは最も左側ではない ならば 主ブロック動きベクトルMBMV =主ブロック動きベクトルMBMVleft であり もし 現在のブロックは最も上側ではない かつ MBMVupは最良の突き合わせを与える ならば 主ブロック動きベクトルMBMV =主ブロック動きベクトルMBMVup であり) それ以外の場合 主ブロック動きベクトルMBMV =(最小ブロック誤差に対応する)主ブロック動きベクトルMBMV 第2の最小の行の誤差は、水平方向の両側により大きい
誤差のある真の最小値でなければならない。従って、行
の境界は、非常に小さい誤差、即ち、誤差=ゼロを表わ
していると見なすことができる。
【0043】第2の最小の行の誤差は、現在のブロック
が周期的であるかどうかを判定するためだけに使用され
るので、同一の第2の最小の行の誤差が幾つか存在する
場合、最終的に使用された誤差がどれであるかは重要で
はない。図15には、現在のベクトル範囲のブロックC
UBと、対応する左側のブロックLEBと、上側のブロ
ックUPBの一例が示されている。MVHは水平動きベ
クトル成分、MVVは水平動きベクトル成分、MVUP
は上側ブロックから選択された動きベクトルの場所、M
VLEは左側ブロックから選択された動きベクトルの場
所を表わしている。
【0044】MBEは最大のブロックの誤差の場所を、
MREは最大の行の誤差の場所を、2MREは第2の最
小の行の誤差を、MINREは、上記例の場合、最小の
ブロックの誤差MINBEと一致する最小の行の誤差
を、CHRは最小のブロックの誤差のある行に対応する
選択された行を表わしている。場所MVLE及びMVU
Pから始まる矢印は、夫々、隣接するブロックから対応
する最小の誤差CERRに従って選択された移動ベクト
ルを表わしている。
【0045】偶数出力フィールドにおいて、水平動きベ
クトル成分MVHは、ノイズによる曖昧さを回避するた
めゼロの方向への僅かなバイアスを有する。垂直動きベ
クトル成分MVVは、動きベクトルを計算するため使用
された二つのフィールドの中の一方の垂直方向の補間に
よって、ゼロの方向へのより強いバイアスを受ける。垂
直方向主ブロック境界VMBBを用いて図16に示され
ているように、垂直方向の移動の問題を回避することが
重要である。奇数ソースフィールドOSFと偶数ソース
フィールドESFの間に、奇数の補間されたフィールド
OIFが形成される。
【0046】例えば、Bは値16の黒画素であり、Gは
値128のグレイ画素であり、Wは値240の白画素で
ある。主ブロック動きベクトルMBMV(0,0)は、
垂直方向主ブロック境界VMBBの上にある主ブロック
の最も下の行から16画素*値128=2048の誤差
を生じる。主ブロック動きベクトルMBMV(0,+
2)はゼロの誤差を生じる。
【0047】垂直方向のゼロ強制: もし Error(h,0) ≦ 〔Error(h,v)+2048〕 ならば 主ブロック動きベクトルMBMV=h,0 それ以外の場合 主ブロック動きベクトルMBMV=h,v 水平方向のゼロ強制(上記結果を使用する): もし Error(h,0) ≦ 〔Error(h,v)+64+ZFE+N(z) /4〕 ならば 主ブロック動きベクトルMBMV=0,v それ以外の場合 主ブロック動きベクトルMBMV=h,v ZFE=ゼロ強制化偶数フィールドであり、ZFE=
0,1,2又は4は、I2C−バスを介してプログラミ
ング可能である。デフォルトは:ZFE=1である。N
(z) は上記ノイズレベルである。
【0048】出力フィールド3のゼロ強制:フィールド
OF3は、非常に限界的であり、実在するゼロモーショ
ンが検出されなかった場合、ラインフリッカーを生じ
る。しかし、主ブロック動きベクトルMBMVを計算す
るための水平方向及び垂直方向のゼロ強制は分離されて
いるので、主ブロックゼロベクトルMBZVは主ブロッ
ク動きベクトルMBMVから直接得られる。
【0049】 もし (主ブロック動きベクトルMBMV=0) ならば 主ブロックゼロベクトルMBZV=0 それ以外の場合 主ブロックゼロベクトルMBZV=1 ここまで説明したアルゴリズムは、主ブロック当たり1
個の動きベクトルを生成する。水平動きベクトル成分M
VHには16個の実現可能な値があり、4ビットで符号
化することが可能である。垂直動きベクトル成分MVV
には3個の実現可能な値があり、2ビットで符号化でき
る。完全な動作的な画像(図13を参照のこと)は、現
在の画像(z)当たり792個の主ブロックを生じる3
6*22個の主ブロックを有し、主ブロックは6ビット
毎のワード長で動き評価器MEのベクトルメモリRAM
に格納される。上記ベクトルメモリは、出力フィールド
OF3の計算のため主ブロックゼロベクトルMBZVの
値を格納する。
【0050】次のステップは、例えば、副サンプリング
されたプロスキャングリッド上に2*2画素、又は、プ
ロスキャングリッド上に4*4画素の寸法を有する副ブ
ロックとして知られているより小さい領域に特有の動き
ベクトルを計算するため上記情報を使用することであ
る。副ブロックの動きベクトルの計算の一例は、欧州特
許出願第94113494号明細書により詳細に記載さ
れている。そこから得られる利点は、副ブロック動きベ
クトルが必要とされる直前に計算されるので、格納する
必要がなく、動き評価器に少ない容量のRAMが得られ
る。主ブロックベクトルは最初のフィールドで計算さ
れ、副ブロック動きベクトルは次のフィールドで計算さ
れる。
【0051】三つの空間的に最も近くにある隣接する主
ブロック動きベクトルを特有の副ブロックに適用し、三
つの対応する副ブロック誤差SEを計算することによ
り、特定の副ブロックの動きベクトルとして三つの空間
的に最も近くにある隣接する主ブロック動きベクトルの
中の一つが選択される。図17において、主ブロックC
は四つの領域に分割されている。左上側の領域の副ブロ
ックの候補動きベクトルは、最も近くにある主ブロック
A、B及びCの動きベクトルから選択される。左上側の
領域の副ブロックの候補動きベクトルは、最も近くにあ
る主ブロックA、C及びDの動きベクトルから選択され
る。左下側の領域の副ブロックの候補動きベクトルは、
最も近くにある主ブロックB、C及びEの動きベクトル
から選択される。右下側の領域の副ブロックの候補動き
ベクトルは、最も近くにある主ブロックC、D及びEの
動きベクトルから選択される。
【0052】副ブロックの誤差は、図18に示したよう
に、フィールド(z)とフィールド(z−1)の間の副
ブロックSBの領域内の4個の画素の差di の累積によ
って計算され: SE(x,y)=|d1 |+|d2 |+|d3 |+|d4 | が得られ、式中、x,yは三つの主ブロック動きベクト
ルの中の一つの成分を表わしている。
【0053】最小の誤差SE(x,y)が得られる主ブ
ロック動きベクトルMBMV(x,y)は、現在のブロ
ックに対し予備的に選択されている。次いで、誤りのあ
るベクトルを消去するため、3タップの水平方向メジア
ンフィルタリング演算が副ブロック動きベクトルの各成
分SBMVH及びSBMVVに対し行われる。得られた
動きベクトルは、上記副ブロックに属する偶数出力フィ
ールドの画素を計算するため使用される。x及びyは、
夫々、水平及び垂直方向の副ブロックの位置である。
【0054】上記計算された副ブロック誤差SEは、動
きベクトルの信頼度を直接的に表わすことが利点であ
る。副ブロック誤差SEが小さい数値を有する場合、信
頼度CLは大きく、副ブロック誤差SEが大きい数値を
有する場合、信頼度CLは小さい。本出願人による欧州
特許出願第94115733号明細書には、信頼度の測
定がより詳細に記載されている。
【0055】信頼度CLは、以下の式に従って、動き評
価器MEで計算することができる: CL”=メジアン〔SE(x-1) /2,SE(x) /2,SE(x+1) /2〕 CL =CL”/CLdiv {切捨て} 信頼度CLは、例えば、8ビットに制限される。CLd
ivは、例えば、I2Cバスによってプログラム可能な
予め選択された倍数1,2,4,8である。デフォルト
値は:CLdiv=2である。
【0056】水平方向メジアンフィルタは、信頼度がブ
ロック境界の両側で良好な場合、境界全体で良好な状態
を維持し、一方、フィルタリングされていない信頼度は
良くないことを保証するため適用される。クロミナンス
処理で使用されるソフトスイッチのため、クロマ信頼度
CCを動き評価器MEで計算することが可能である:C
C=CL/2。
【0057】更に、信頼度CLと、ノイズレベルNとは
無関係の時間的ノイズ圧縮オン/オフ信号TNRSは、
以下のように動き評価器MEで生成される: もし (CL*CLdiv < 2*N) ならば 時間的ノイズ圧縮オン/オフ信号TNRS=1 それ以外の場合 時間的ノイズ圧縮オン/オフ信号TNRS=0 本発明の更なる特徴はノイズ圧縮である。ノイズ圧縮に
は2段のノイズ圧縮、即ち、空間的ノイズ圧縮SNR
と、時間的ノイズ圧縮TNRがある。空間的ノイズ圧縮
は、好ましくは、ルミナンス上だけで行われるが、クロ
ミナンスにも適用可能であり、一方、時間的ノイズ圧縮
は、好ましくは、ルミナンス及びクロミナンスの両方で
行われる。図19には、図1乃至6による実施例のノイ
ズ圧縮に対する共通の原理が示されている。付加的な処
理時間又はライン遅延は示されていない。スピードアッ
プ入力信号ISPUは、最初に空間的ノイズ圧縮SNR
手段で処理される。しかし、空間的ノイズ圧縮SNR
と、時間的ノイズ圧縮TNRの順序は反対でも構わな
い。
【0058】空間的ノイズ圧縮SNRはノイズレベルN
で制御され、Nが低い場合、例えば、N≦4の場合、起
こり得る分解能の劣化を回避するためバイパスされる。
上記Nは動き評価器MEから得られる。空間的ノイズ圧
縮は、I2Cバスを介して、動作可能/動作禁止にされ
る。デフォルトは、動作可能である。図20に示したよ
うに、空間的ノイズ圧縮フィルタは、水平方向及び/又
は垂直方向及び/又は対角方向ローパスフィルタによっ
て構成され、或いは、2次元又は方向性メジアンフィル
タによって構成してもよい。方向性フィルタリングの場
合、フィルタの方向は、中心画素の対応する隣接する画
素との相関の関数である。
【0059】図20のフィルタは、例えば、3*3画素
のウィンドウ内で動作し、インパルスノイズを低減する
が、テクスチャー、ディテール、及び、エッジを保存
し、以下の通り動作する:矢印d1乃至d4は、x11
乃至x33の画素値のフィルタリング方向を示してい
る。
【0060】四つの対応する相関は: k1 = min(|x21−x22|,|x22−x23|) k2 = min(|x12−x22|,|x22−x32|) k3 = min(|x13−x22|,|x22−x31|) k4 = min(|x11−x22|,|x22−x33|) のように形成される。
【0061】四つの対応するフィルタリング結果は: m1 = メジアン(x21,x22,x23) m2 = メジアン(x12,x22,x32) m3 = メジアン(x13,x22,x31) m4 = メジアン(x11,x22,x33) のように形成される。
【0062】最小の相関の方向い対応するフィルタリン
グ結果は、位置22の最終的な出力画素の値として選択
される。最小値が二つ以上存在する場合、例えば、次の
順序:m1,m2,m3,m4で優先順位を付けること
ができる。ウィンドがより大きい場合、他の方向に対応
する計算を行ってもよい。図19を参照すると、空間的
ノイズ圧縮の出力は、時間的ノイズフィルタTNRを通
過し、その時間的ノイズフィルタTNRの出力は、動き
補償された補間器MCIに入力されている。基本的に、
時間的フィルタは、現在のフィールドを含む種々のフィ
ールドからのデータを結合する。時間的フィルタTF
(ルミナンス及びクロミナンス)は、非線形係数を伴う
反復フィルタでもよい点が有利である。時間的フィルタ
TFの後ろには、予測器PREDと、補間器MCIと、
フィールド遅延FMとが接続されている。時間的フィル
タTFは、時間的ノイズフィルタTNRとノイズレベル
Nとによって制御される。予測器PREDは、フィール
ドメモリFMの出力信号と、動き評価器MEからの副ブ
ロック動きベクトルSBMVとを受ける。ルミナンスの
場合、空間的及び時間的にノイズ圧縮されたソースフィ
ールド(z−1)からの予測された副ブロックは、空間
的ノイズ圧縮から得られるフィールド(z)の空間的に
ノイス圧縮されたソースフィールドの副ブロックと共に
時間的フィルタTFで考慮される。時間的ノイズ圧縮T
NRの出力信号は、空間的及び時間的にノイズ圧縮され
たソースフィールド(z)の副ブロックからなる。
【0063】ノイズのために誤りのある動きベクトルが
計算された場合、動き評価器MEは、先に計算された動
きベクトルを用いて構成された動き補償された信号を利
用するので、反復時間的フィルタは、誤りのある空間的
位置で部分的に誤りのあるビデオ情報に関する上記誤差
を伝播する。従って、時間的に続く動きベクトルの計算
は、間違っている可能性がある。時間的ノイズ圧縮にお
いて予測されたビデオ情報に適用された係数に起因し
て、かかる妨害の影響はフィールドからフィールドで減
衰する。注意深いテストによって、実際上、かかる誤差
は伝播することなく、従って、本発明のより安価な動き
補償されたアップコンバージョンMCU回路を使用でき
ることが分かった。
【0064】上記係数によって、最大で上記予測された
ビデオ信号の約3/4の部分だけを現在のフィールドの
ビデオ信号に加算することができるようになる。例え
ば、ノイズを含むソース信号の場合に、動きベクトルの
信頼度CLがより低いならば、上記部分は削減されるの
で、可能な誤差伝播は一層減少させられる。動き補償さ
れた補間器MCIは、動き評価器MEから信号SBM
V、N、CL、CC及びMBZVを受け、MBZVは、
ソースフィールド(z−1)の最後の動き評価からの主
ブロックゼロ動きベクトルである。
【0065】時間的ノイズ圧縮オン/オフ信号TNRS
のルミナンス処理を以下に示す: もし (TNRSL 動作可能 〔I2C−バスを介して〕) かつ (TNRS = 1) ならば 時間的ノイズ圧縮ルマはスイッチオンされる それ以外の場合 評価失敗に起因したブラーリング(blurring)を避けるた め時間的ノイズ圧縮ルマはバイパスされる デフォルト値 = TNRSL 動作可能 信号TNRSのクロミナンス処理を以下に示す: もし (TNRSC = 強制状態〔I2C−バスを介して〕) 又は (TNRS = 1) ならば 時間的ノイズ圧縮クロマはスイッチオンされる それ以外の場合 時間的ノイズ圧縮クロマはバイパスされる デフォルト値 = TNRSC 強制状態 予測器PREDは、前のフィールドを動き方向に投射す
るため副ブロック動きベクトルSBMVを利用し、か
つ、インターレースに起因して、インターレースされて
いない画像の失われた画素を発生するため補間、例え
ば、垂直方向の平均化を行う。図21の(A)には垂直
動きベクトル成分MVV=−2の場合の一例が示され、
同図の(B)には水平動きベクトル成分MVH=−4の
場合の一例が示されている。投射された前のフィールド
PPRFは現在のフィールドCUFの位置にある。投射
されたフィールドのラインn+2は、現在のフィールド
のラインn+2の位置にある。
【0066】×は入力画素、○は垂直方向(1/2,1
/2)に補間された画素、CHはクロ画素の位置、〇は
時間的フィルタTFによって使用された画素を表わして
いる。時間的ルミナンスフィルタは、空間的にノイズ圧
縮された現在のフィールド(z)と、予測器から出力さ
れた空間的及び時間的にノイズ圧縮された最後のソース
フィールド(z−1)とを受ける。両方の結合、好まし
くは、非線形結合は、動き補償された補間器MCIのた
め時間的にノイズ圧縮されたルミナンス入力フィールド
を生じる。
【0067】時間的クロミナンスフィルタは、現在のフ
ィールド(z)と、予測器から出力された時間的にノイ
ズ圧縮された最後のソースフィールド(z−1)とを受
ける。両方の結合、好ましくは、非線形結合は、動き補
償された補間器MCIのため時間的にノイズ圧縮された
クロミナンス入力フィールドを生じる。図22には時間
的フィルタの一実施例が示されている。減算手段SUB
において、現在のソースフィールドCUFは予測された
前のフィールドPPRFから減算される。出力信号は、
符号を表わす1ビットを用いて、第1のスイッチSWA
を制御し、絶対値手段ABSを介して第1の乗算手段M
1及び第2の乗算手段M2に伝達される。第1の乗算手
段M1は、入力信号としてノイズレベルNを有する第1
のルックアップテーブルLUT1から出力された倍率に
よって制御される。第1の乗算手段M1の出力信号は、
クリッピング手段CLPと、入力信号Ly及び出力信号
Lzを有する第2のルックアップテーブルLUT2とを
介して、第2の乗算手段の第2の入力に伝達される。第
2の乗算手段の出力は、切捨て手段TRUを介してスイ
ッチSWAの第1の入力に伝達され、更なる2の補数手
段2COを介してスイッチSWAの第2の入力に伝達さ
れる。スイッチSWAの出力信号は、結合手段ADDに
おいて現在のソースフィールドCUFに加えられる。結
合手段ADDの出力信号は、制限手段LIMを介して第
2のスイッチSWBの第2の入力に供給される。現在の
ソースフィールドCUFは、スイッチSWBの第1の入
力に供給される。スイッチSWBは、入力信号TNR
と、(例えば、I2Bバスを介して)TNRSL/TN
RSCとを受け、上記処理を行う論理部LCによって制
御される。時間的ノイズフィルタは、スイッチSWBの
第2の入力が出力OUに接続されたとき、スイッチオン
される。出力信号OUは、フィールドメモリFMと、補
間器MCIに供給される。クリッピング手段CLPは値
175に留まり、切捨て手段TRUは64による除算を
行う。減算手段SUBと結合手段ADDの間の回路は、
出力信号OU中で、現在のソースフィールドCUFと予
測された前のフィールドPPRFとの間に重みを与える
非線形化NONLを生じる。時間的フィルタTF内での
計算は、何れにしても2の補数を用いて行われる。
【0068】時間的ノイズ圧縮の改良された性能は、非
線形化NONLが測定ノイズレベルNに適用された場
合、得られる。これは、例えば、17dBから36dB
まで変化する各ノイズレベルに対し、約1dBの幅で、
異なる非線形化を用いる必要があることを意味する。ル
ックアップテーブルLUT2は所望の出力の値を発生す
る。しかし、ルックアップテーブルLUT2をできる限
り小さいままに保つため、値Nは、ルックアップテーブ
ルLUT1を用いて、倍率SFに変換される。上記倍率
SFは非線形化NONLの入力の値に適用される。ルッ
クアップテーブルLUT1の可能な値は、図24に示さ
れ、ルックアップテーブルLUT2の可能な値は、図2
5に示されている。
【0069】クロミナンス時間的フィルタ(ルミナンス
時間的フィルタと同様である)は、図23に示したよう
に、付加的に第3のスイッチSWCを含む場合がある。
動き補償されたアップコンバージョンがクロス−カラー
圧縮からなる場合、クロマルックアップテーブルLUT
1の出力は、スイッチSWCによって、例えば、1にセ
ットされる。デフォルトのとき、SWCは1に切替えら
れている。
【0070】動き補償された補間器MCIは、二つの入
力フィールド毎に四つの出力フィールドを生成する。奇
数の最初の出力フィールドOF1は、図26に示したよ
うにノイズ圧縮されたソースフィールドF1である。F
1’は次の入力ソースフレームからの最初のフィールド
である。図26乃至31において、×は入力画素を表わ
し、□は出力画素を表わし、CHはクロマソース画素を
表わし、CIは水平方向に補間されたクロマ画素を表わ
し、COはクロマ出力画素を表わしている。図28の
(B)乃至31の(B)において、両側のブロック突き
合わせに起因して、クロマ画素CIは、その位置がクロ
ミナンス予測器PREDに使用される4の倍数のグリッ
ド内にないことを要求される点に注意が必要である。
【0071】第3の出力フィールドOF3の処理は、図
27に示すように非常に特殊である。ノイズ圧縮された
ソースフィールドF3のグリッドは、インターレースと
アップコンバージョンのため、出力フィールドOF3の
グリッドと適合しない。従って、出力フィールドOF3
の画素値を構成するため主ブロックゼロベクトルMBZ
Vの値に依存して、二つの別個のフィルタタイプ、例え
ば、係数が(1/2,1/2)の垂直方向フィルタと、
垂直方向−時間的メジアンフィルタの一方が以下のよう
に適用される: もし 主ブロックゼロベクトルMBZV(z−1)=0 ならば 垂直方向−時間的メジアンフィルタ それ以外の場合 垂直方向フィルタ ダッシュで表わされた境界のある領域は、垂直方向−時
間的メジアンフィルタに関連する画素を示している。領
域0は、垂直方向フィルタに関連する画素を示してい
る。
【0072】偶数出力フィールドOF2及びOF4の各
画素に対し、動き補償された画素と、フォールバック(f
all back) 画素が計算される。最終的なルミナンス出力
は、信頼度CLに依存して、図32に示したソフトスイ
ッチによる動き補償された画素の値と、フォールバック
画素の値の組合せである。異なる処理モードを偶数出力
フィールドOF2及びOF4の計算に使用することが可
能であり、かつ、上記モードはI2Cバスを介して選択
可能にされる点に利点がある。
【0073】モード1(デフォルト):垂直方向の時間
的メジアンフィルタは、図27に関して説明したように
使用される。出力フィールドOF2の画素は、ノイズ圧
縮されたフィールドF1及びF3の(動きの方向に適用
された)垂直方向の時間的メジアンを得ることによって
構成される。換言すれば、出力画素は、垂直ベクトル成
分MVVに対し図28の(A)に、水平ベクトル成分M
VHに対し同図の(B)に示されたような画素f、g及
びhのメジアン値である。同図の(B)では、フィール
ドF3のラインn及びn+2(Lnn+2)と、フィー
ルドF1のラインn−1(Ln−1)との間に、フィー
ルドF2の出力ラインn(OLn)が(水平方向−時間
的範囲において)示されている。
【0074】出力フィールドOF4の画素は、ノイズ圧
縮されたフィールドF3及びフィールドF5の(動きの
方向に適用された)垂直方向の時間的メジアンを得るこ
とによって構成される。換言すれば、出力画素は、垂直
ベクトル成分MVVに対し図24の(A)に、水平ベク
トル成分MVHに対し同図の(B)に示されたような画
素i、j及びkのメジアン値である。同図の(B)で
は、フィールドF5のラインn(Ln)と、フィールド
F3のラインn(Ln)との間に、フィールドF4の出
力ラインn(OLn)が(水平方向−時間的範囲におい
て)示されている。
【0075】出力フィールドOF2及びOF4のフォー
ルバック画素は、上記動き補償された画素と同様に計算
されるが、ゼロモーション、即ち、副ブロック動きベク
トルSBMV=(0,0)が仮定される。フォールバッ
ク画素は、本出願人による欧州特許出願第941156
34号に従って計算し得る。モード 2:線形平均化フィルタが図27に関し説明した
ように使用される。出力フィールドOF2は、ノイズ圧
縮されたフィールドF1及びフィールドF3の線形平均
である。換言すれば、出力画素は、垂直ベクトル成分M
VVに対し図30の(A)に、水平ベクトル成分MVH
に対し同図の(B)に示されたように画素fの1/2、
かつ、画素ghの1/2である。同図の(B)では、フ
ィールドF3のラインn+1(Ln+1)と、フィール
ドF1のラインn−1(Ln−1)との間に、フィール
ドOF2の出力ラインn(OLn)が(水平方向−時間
的範囲において)示されている。
【0076】出力フィールドOF4は、ノイズ圧縮され
たフィールドF3及びフィールドF5の線形平均であ
る。換言すれば、出力画素は、垂直ベクトル成分MVV
に対し図31の(A)に、水平ベクトル成分MVHに対
し同図の(B)に示されたように画素iの1/2、か
つ、画素jkの1/2である。同図の(B)では、フィ
ールドF5のラインn(Ln)と、フィールドF3のラ
インn(Ln)との間に、フィールドOF4の出力ライ
ンn(OLn)が(水平方向−時間的範囲において)示
されている。
【0077】モード1と同様に、モード2において出力
フィールドOF2及びOF4のフォールバック画素は上
記の動き補償された画素と同様に計算されるが、ゼロモ
ーション、即ち、副ブロック動きベクトルSBMV=
(0,0)が仮定される。図32の回路は動き補償され
た補間器MCIの出力に設けられている。奇数出力フィ
ールドの画素OOFPは、スイッチSWFの第1の入力
に供給される。動き補償された画素MCPはソフトスイ
ッチSSWの第1の入力に供給される。フォールバック
画素はソフトスイッチSSWの第2の入力に供給され、
信頼度の値CLはソフトスイッチSSWの第3の入力に
供給される。ソフトスイッチSSWの出力信号は、
(0...255に制限する)制限手段LIM3を介し
て、スイッチSWFの第2の入力に送られる。奇数出力
フィールドの場合、スイッチSWFの第1の入力は、制
御信号OFを用いて出力OUPに接続される。偶数出力
フィールドの場合、スイッチSWFの第2の入力は、出
力OUPに接続される。
【0078】ソフトスイッチSSWは、以下の方法で構
築することができる:第1の入力からの信号は、減算手
段SUBにおいて、第2の入力の信号から減算される。
出力は最小値計算手段MINの第1の入力に供給され
る。第3の入力からの信頼度信号CLは、最小値計算手
段MINの第2の入力に供給され、2の補数手段2CO
を介して、最大値計算手段MAXの第2の入力に供給さ
れる。最大値計算手段MAXの第1の入力は最小値計算
手段MINの出力信号を受ける。最大値計算手段MAX
の出力信号は、結合手段ADDにおいて、ソフトスイッ
チSSWの第1の入力の入力信号に加算され、その結果
はソフトスイッチSSWの出力に供給される。
【0079】クロミナンス処理 基本的に、クロミナンス(U及びV)処理は、ルミナン
ス処理に従って行われる。特に断らない限り、同じブロ
ック図がクロミナンスの処理に使用される。好ましく
は、以下の少なくとも一つの相違点がある: 1)動きベクトルの水平成分MVHは、図21から分か
るように、クロミナンスのサンプリンググリッドに突き
合わせるためクロミナンスに適用される前に最も近い4
の倍数に丸められる。以下の表は、動き評価器MEから
得られた動きベクトルの成分がルミナンス及びクロミナ
ンスのため予測器PRED及び動き補償された補間器M
CIに適用される方式を示している:
【0080】
【表1】
【0081】2)ポイント1)を許容するため、動き補
償された補間器MCIにおいて付加的な水平方向線形平
均化フィルタが必要とされる。従って、動きベクトルが
クロミナンス画素に適用される前に4:1:1のフォー
マットから4:2:2のフォーマットが生成される。 3)空間的ノイズ圧縮SFは行われない。
【0082】4)偶数出力フィールドの補間がルミナン
スの場合のモード2と同様に行われる(線形平均化、プ
ログラム性なし)。 5)クロミナンス信頼度CC(ソフトスイッチSSWの
クロマだけに使用される)は、ルミナンス信頼度CLの
半分である:CC=CL/2 6)線形平均化(1/2,1/2)を用いて4:2:2
→4:4:4の変換を行う。
【0083】図33には、スピードアップフィールドメ
モリSPUFMの入力及び出力と、フィールドメモリF
Mの入力及び出力と、動き評価器ME及び動き補償され
た補間器MCIの出力信号とに関する全体のタイミング
チャートが示されている。図中のF1NR、....、
F5NRは、ノイズ圧縮されたフィールドを表わしてい
る。
【0084】F3NR”に対し特殊な計算が行われる。
上記の如く、主ブロックゼロ動きベクトルMBZVの値
が0の場合、未だノイズ圧縮されていないフィールドF
5へのアクセスを有する垂直方向の時間的メジアンフィ
ルタが適用される。副ブロック動きベクトルSBMV及
び信頼度CLは分からないので、主ブロックゼロベクト
ルMBZV(z−1)が適用される。これにより、小さ
い時間的誤差が生じる。しかし、この誤差は無視し得る
ことがテストにより分かった。
【0085】本発明の動き補償されたアップコンバージ
ョンMCUは、好ましくは、ルミナンスに対し、垂直方
向及び/又は水平方向ピーキング、及び/又は、sin
(x)/x補正を行うことにより改良される。図35に
は対応するブロック図が示されている。垂直方向ピーキ
ングVPEAは、垂直方向の輪郭を増幅するフィールド
間ピーキングでもよい。ノイズの増幅を回避するため、
コアリング関数COR2に依存するノイズレベルは、垂
直方向に高域通過フィルタリングされた信号に加えら
れ、その信号は、次いで、例えば、I2Cバスを介して
予め選択可能な係数PVにより乗算される。高域通過フ
ィルタは、二つのライン遅延Hと、加算器と、1/2切
捨て器TR5と、減算器とにより構成され、ラインn−
1とラインn+1の画素の平均は、夫々、ラインnの画
素から減算される。乗算器PVの後ろに1/4切捨て器
TR6が接続されている。
【0086】水平方向ピーキングHPEAは、水平方向
の輪郭を増幅する。増幅の最大値は、例えば、100H
z域で6.75MHzである。ノイズの増幅を回避する
ため、コアリング関数COR1に依存するノイズレベル
は、水平方向に高域通過フィルタリングされた信号に加
えられ、その信号は、次いで、例えば、I2Cバスを介
して予め選択可能な係数PHにより乗算される。高域通
過フィルタは、画素遅延の回路Tと、加算器と、1/2
切捨て器TR3と、減算器とにより構成され、現在のラ
インの画素m−2と画素m+2の平均は、画素mから減
算される。乗算器PHの後ろに1/4切捨て器TR4が
接続されている。
【0087】sin(x)/x補正器SIXCは、プロ
グラム可能である必要はなく、出力クロックレートに依
存する必要がある。理想的なsin(x)/x補正から
の偏差は、非常に小さく、即ち、0乃至8MHzに対
し、偏差は0.14dbB未満であり、8乃至11MH
zに対し、偏差は−0.74dB未満である。sin
(x)/x補正器は、上記画素遅延回路Tを利用するこ
とが可能であり、更に、加算器と、1/2切捨て器TR
1と、減算器とを有し、現在のラインの画素m−1と画
素m+1の平均は、画素mから減算される。減算器の後
ろには1/8切捨て器TR2が接続されている。
【0088】水平ピーキングHPEA及び垂直ピーキン
グVPEAの出力は、夫々の遅延Tを用いて加算器AH
Vで結合される。加算器AHVの出力は、制限器LIM
2において予め選択された値PLに制限され、加算器V
HSにおいて補正器SIXCの出力及び画素mと結合さ
れる。その結果は、0乃至255の更なる制限器LIM
1において制限される。遅延Tは1/27MHzの遅延
時間を有する。PV、PH及びPLの範囲とデフォルト
値は、以下のようになる: 範囲: PV=0乃至7, PH=0乃至7, PL=7,1
5,31又は63 デフォルト値: PV=4, PH=4, PL=15 図34には、コアリング関数COR1及びCOR2に依
存するノイズレベルNの一例が示されている。Xは入力
信号であり、Yは出力信号である。最小コアリングは、
以下の式に従って行われる: もし |2*N(z−1)|< 16 ならば CO
RING=16 図36には、非線形化NONLの曲線NL(x)の特性
の他の例が示されている。上記非線形化は、図22と同
様に:x>0の場合に負の入力(−x)に対し、出力
は、NL(−x)=−NL(x)である。
【0089】正の入力0<x<1に対し、上記特性は、
λ=0.9の場合に: NL(x)=f(x)=λx(x−1)2 のように定義される。上記特性は、xM =0.333の
場合に最大の振幅を有する。反復フィルタの速い時間的
収束を保証するため、以下の比
【0090】
【数1】
【0091】は制限される。良好な収束と、効果的なノ
イズ圧縮は、k=4の場合に得られる。kが非常に増加
する場合、フィルタリングは、静止画像に対し効果が良
くなるが、収束は非常に遅いので、予測し得ない動きに
対しフィルタによってアーティファクトが生じる可能性
がある。
【0092】kが“1”に向かう場合、非線形フィルタ
リングされた出力に対応する。従って、非線形化は、以
下の式:
【0093】
【数2】
【0094】に従って制限される。上記関数は縮尺され
るべきである。倍率には、アップコンバージョンアルゴ
リズムによって測定されたノイズ評価量Nの標準偏差σ
を利用することが可能である。この場合、非線形化はノ
イズ適応的になる。倍率は、最大でMxM =2σであ
る。これにより得られる縮尺された出力は:
【0095】
【数3】
【0096】のように表わされる。図22のスイッチS
WBは、信頼度CL及び/又は動きベクトル上のCL
(及び、CLから得られた情報TNRS又はTNRSL
/TNRSC)が非常に小さいとき、即ち、誤差の測定
量σcfが非常に大きい、即ち、σcf≧4σのとき、スイ
ッチの出力として時間的フィルタの出力の代わりに入力
を選択する。ここで、σは、アップコンバージョンモジ
ュールで計算されたノイズNの標準偏差である。
【0097】非線形化のよい精度を維持するため、非線
形化を最大の倍率で組み込む必要がある。このため、入
力データは、非線形化部を通過するとき“1”よりも大
きい倍率で−除算ではなく−乗算される。例えば、非線
形化部は192個の入力を有する。上記の如く、この数
は、最大のノイズレベルの倍率の値に対応する。夫々の
ルックアップテーブルの出力の値NL(x)は、図37
に示されている。
【0098】図38には、図22の非線形化部NONL
の他の実施例のブロック図が示され、上記非線形性関数
NLが使用されている。非線形化部NONLの入力の値
は、乗算器M1を介して関数NLを表わすルックアップ
メモリLUT2の入力に値y=x*sとして与えられ
る。ルックアップメモリの出力z=NL(y)は、最終
的な出力の値w=z/sを生じる除算器D1を通過す
る。値sは、倍率ルックアップメモリLUT1の出力か
ら乗算器の第2の入力と除算器に供給され、倍率ルック
アップメモリLUT1の内容は、図39に示され、ノイ
ズ評価量Nによって制御される。
【0099】ノイズは、ブロック突き合わせ法を用いて
動き評価処理により直接生成される。従って、現在の画
像の画素の各ブロックに対し、評価されたベクトルの誤
差値を利用することが可能である。上記誤差は、二つの
対照されたフィールドの間の絶対画素値の差のブロック
の合計、或いは、差の2乗和の平方根の何れでもよい。
完全な画像上の上記ブロック誤差の値の最小値は、ノイ
ズ変動の評価量であると見なされ、これにより、画像内
の少なくとも一つのブロックは、略平坦な増幅領域を有
すると想定されるので、対応するブロック誤差は、ノイ
ズだけによって生じる。従って、上記最小のブロック誤
差の値は、ノイズの測定量を表わし、非線形性を較正す
る倍率をその値から得ることが可能である。
【0100】ノイズレベルに関する精度を非常に高くす
る必要はないので、ノイズレベルの符号化は、ハードウ
ェアの観点から非線形性の倍率が単純化されるような形
で行うことが可能である。一方で、人間の視覚は、二つ
の画像の間で1dBの空間的ノイズ圧縮の差を検出する
ことが可能であり、他方で、アップコンバージョンアル
ゴリズムによって測定されたノイズレベルは、系列内で
1dBの範囲の変動を有することを考慮すると、ノイズ
レベルを符号化するため1dBの精度を選択することが
できる。
【0101】自然の画像の通常のノイズレベルは17d
Bと36dBの範囲を含んでいる。この範囲は、1dB
毎の16個の区間に分割することが可能である。従っ
て、非線形性をノイズ適応性にさせるため16個の符号
化されたノイズレベルLN(係数)を利用し得る。図3
9に示された配列は、符号化ノイズレベルLNの一例を
表わしている。上記配列は、ルックアップテーブルがN
=192個の入力を有するという仮定に基づいている。
【0102】Nは、アップコンバージョンアルゴリズム
によって測定されたノイズの値を表わしている。倍率S
Fは、非線形化部NONLの入力に組み込まれている。
SNRσとσは、前の倍率(スケール=NxM /(2
σ))に対応する正確なノイズレベルを表わしている。
NからLNを発生するため得られた符号化関数は図40
に示されている。同図には、ノイズ測定によって誘起さ
れた偏差が表わされている。最小値は、非線形性の精度
の損失を補償するため僅かに高められている。最大の測
定値は、可能な過剰評価の影響を制限し、曲線を漸近的
な値に近づけるため、常により小さいレベルに符号化さ
れている。
【0103】本発明に示された回路は、1個乃至複数個
のチップ上に集積することが可能であり、I2Cバスに
よって制御可能である。回路の一部は、適当なソフトウ
ェア及びプロセッサ手段とによって置き換えてもよい。
本発明は、4:3又は16:9の標準的な鮮明度、或い
は、テレビ受像機、衛生受信機、ビデオカセットレコー
ダ、及び、ビデオディスクプレーヤのような高品位装置
に使用することが可能である。
【0104】ディジタルビデオ信号の場合には、動き情
報を加えてもよい。このような場合、本発明は、既に存
在する動き情報を利用し、これによって、動き情報の生
成に関連する処理段階を省略、或いは、既に存在する動
き情報に従って適合させ得る。
【図面の簡単な説明】
【図1】三つのフィールドメモリとノイズ圧縮とを備え
た動き補償されたアップコンバータのブロック図であ
る。
【図2】二つのフィールドメモリを備えた動き補償され
たアップコンバータの基本ブロック図である。
【図3】二つのフィールドメモリを備えた動き補償され
たアップコンバータの一実施例のブロック図である。
【図4】二つのフィールドメモリを備えた動き補償され
たアップコンバータの第2の実施例のブロック図であ
る。
【図5】二つのフィールドメモリを備えた動き補償され
たアップコンバータの第3の実施例のブロック図であ
る。
【図6】二つのフィールドメモリを備えた動き補償され
たアップコンバータの第4の実施例のブロック図であ
る。
【図7】アップコンバージョンの主要段階のタイミング
チャートである。
【図8】動き補償された補間器及び評価器で生成された
プロスキャングリッドの説明図である。
【図9】水平方向の前置フィルタと副サンプリングの説
明図である。
【図10】主ブロックと副ブロックの説明図である。
【図11】両側ブロック突き合わせの原理説明図であ
る。
【図12】両側ブロック突き合わせで使用された副グリ
ッドから得られた幾つかの動きベクトルに対する小さい
位置的誤差の説明図である。
【図13】ノイズ測定ゾーンの説明図である。
【図14】周期的構造中に実現可能なベクトルの説明図
である。
【図15】現在のベクトルブロック及び隣接するベクト
ルブロックの詳細図である。
【図16】垂直方向動きベクトル成分と垂直方向移動の
説明図である。
【図17】副ブロック動きベクトルを生成するためその
動きベクトルが使用されるサブロック領域及び関連する
主ブロックの説明図である。
【図18】副ブロックの誤差と共に3次元グリッドを示
す図である。
【図19】ノイズ圧縮器の単純化されたブロック図であ
る。
【図20】空間的ノイズフィルタのフィルタリング方向
の説明図である。
【図21】線形垂直方向平均化の予測器の機能説明図で
ある。
【図22】時間的なルミナンス又はクロミナンスフィル
タの構成図である。
【図23】クロスカラー圧縮と共に使用される付加的な
スイッチの説明図である。
【図24】倍率の第1のルックアップテーブルを表わす
図である。
【図25】非線形性の第2のルックアップテーブルを表
わす図である。
【図26】動き補償された補間器の第1の出力フィール
ドの説明図である。
【図27】動き補償された補間器の第3の出力フィール
ドの説明図である。
【図28】第1のモード中の動き補償された補間器の第
2の出力フィールドの説明図である。
【図29】第1のモード中の動き補償された補間器の第
4の出力フィールドの説明図である。
【図30】第2のモード中の動き補償された補間器の第
2の出力フィールドの説明図である。
【図31】第2のモード中の動き補償された補間器の第
4の出力フィールドの説明図である。
【図32】ソフトスイッチと偶数/奇数選択の構成図で
ある。
【図33】全体のタイミングチャートである。
【図34】コアリング関数の説明図である。
【図35】垂直方向及び水平方向ピーキングとsin
(x)/x補正の説明図である。
【図36】図22の非線形性の更なる実施例の特性の説
明図である。
【図37】更なる実施例の非線形化の第2のルックアッ
プテーブルである。
【図38】図22の非線形化の更なる実施例の構成図で
ある。
【図39】更なる実施例の倍率の第1のルックアップテ
ーブルである。
【図40】ノイズレベルの符号化関数のグラフである。
【符号の説明】
2CO 2の補数手段 2MRE 第2の最小の行の誤差 ABS 絶対値手段 ACP 動作的画像 ADD 結合手段 AHV,VHS 加算器 CC クロミナンス信頼度 CERR 最小の誤差 CH クロマ出力画素 CHR 最小のブロックの誤差のある行に対応する選
択された行 CI 補間されたクロマ画素 CL ルミナンス信頼度 CLP クリッピング手段 CO クロマ出力画素 CUB 現在のブロック CUF 現在のフィールド d1,d2,d3,d4 フィルタリング方向 D1 除算器 EOL 偶数出力ライン ESF 偶数ソースフィールド FBP フォールバック画素 F1,F3 ノイズ圧縮されたソースフィールド FM,FM1,FM2 フィールドメモリ HPEA 水平方向ピーキング I 入力 ISPU スピードアップ入力信号 LC 論理部 LD1,...,LD3 ライン遅延 LEB 左側のブロック LIM,LIM1,LIM2,LIM3 制限手段 LUT1,LUT2 ルックアップテーブル M1,M2 乗算手段 MAX 最大値計算手段 MB 主ブロック MBE 最大のブロックの誤差の場所 MBMV 主ブロック動きベクトル MCI 動き補償された補間器 MCP 動き補償された画素 ME 動き評価器 MIN 最小値計算手段 MINBE 最小のブロックの誤差 MINRE 最小の行の誤差 MRE 最大の行の誤差の場所 MV 動きベクトル MVH 水平動きベクトル MVLE 左側ブロックの動きベクトルの場所 MVUP 上側ブロックの動きベクトルの場所 MVV 垂直動きベクトル N ノイズレベル NL ルックアップメモリ出力 NONL 非線形化部 NR ノイズ圧縮 O,OU,OUP 出力 OF 制御信号 OF1,OF2,OF3,OF4 出力フィールド OIF 奇数の補間されたフィールド OLn 出力ライン OOFP 奇数出力フィールドの画素 OOL 奇数出力ライン OSF 奇数ソースフィールド PF 前のフィールド PH,PV 乗算器 PNL0,PNL1,PNL2,PNL3 中心ゾー
ン PPRF 予測された前のフィールド PRED 予測器 PTD1,PTD2 遅延 RAM ベクトルメモリ SB 副ブロック SBMV 副ブロック動きベクトル SE 副ブロックの誤差 SF 空間的ノイズ圧縮フィルタ SIGN 符号 SINC 補正器 SNR 空間的ノイズ圧縮 SPUFM スピードアップフィールドメモリ SSW ソフトスイッチ SUB 減算手段 SW1,SW2,SWA,SWB,SWC,SWF
スイッチ SWW 特定の探索ウィンドウ T 画素遅延 TF 時間的フィルタ TNR 時間的ノイズ圧縮 TNRS,TNRSC,TNRSL 時間的ノイズ圧
縮オン/オフ信号 TR1,...,TR6,TRU 切捨て手段 UPB 上側のブロック VMBB 垂直方向の主ブロックの境界 VPEA 垂直ピーキング

Claims (37)

    【特許請求の範囲】
  1. 【請求項1】 第1の段階で、ソースフィールドは2倍
    のフィールド周波数のフィールドを形成するため変換さ
    れ、第2の段階で、動き評価及び該動き評価からの動き
    情報を使用して動き補償された補間は、該2倍のフィー
    ルド周波数のフィールドで行われるインターレース方式
    ビデオ信号の動き補償されたアップコンバージョンの方
    法であって、 空間的及び/又は時間的ノイズ圧縮が該動き補償された
    補間に含まれることを特徴とする方法。
  2. 【請求項2】 該時間的ノイズ圧縮は反復的な時間的ノ
    イズ圧縮である請求項1記載の方法。
  3. 【請求項3】 該動き評価と、該動き補償された補間
    と、空間的及び/又は時間的ノイズ圧縮は高々一つのフ
    ィールドメモリを用いて行われる請求項1又は2記載の
    方法。
  4. 【請求項4】 該動き情報は、主ブロックの動きベクト
    ルを含み、一方、該動き補償された補間は、該主ブロッ
    クよりも小さい副ブロックに対し行われる請求項1乃至
    3のうちいずれか1項記載の方法。
  5. 【請求項5】 該動き補償された補間を行うため、副ブ
    ロックの動きベクトルは、各出力副ブロックベクトルに
    対し、現在の主ブロックを含む現在の副ブロックの最も
    近くにある三つの主ブロックの主ブロックの動きベクト
    ルから一つのベクトルを選択することにより、該主ブロ
    ックの動きベクトルから計算される請求項4記載の方
    法。
  6. 【請求項6】 該空間的ノイズ圧縮はルミナンスだけで
    行われ、該時間的ノイズ圧縮はルミナンス及び/又はク
    ロミナンスで行われる請求項1乃至5のうちいずれか1
    項記載の方法。
  7. 【請求項7】 該動き補償された補間はルミナンス及び
    クロミナンスに対し行われる請求項1乃至6のうちいず
    れか1項記載の方法。
  8. 【請求項8】 ソースフィールドの各対の該動き補償さ
    れた補間中に4個の出力フィールドが生成され: − 第1の出力フィールドは現在の上記対の中の第1の
    ソースフィールドから得られ; − 第2の出力フィールドは、上記現在の対の中の第1
    及び第2のソースフィールドの組合せであり; − 第3及び第4の出力フィールドは、上記現在の対の
    中の第2のソースフィールドと、次の対の中の第1のソ
    ースフィールドの組合せである請求項1乃至7のうちい
    ずれか1項記載の方法。
  9. 【請求項9】 該動き評価中に、プロスキャン変換が一
    つおきのソースフィールドに使用される請求項1乃至8
    のうちいずれか1項記載の方法。
  10. 【請求項10】 該動き評価中に、該プロスキャン変換
    は、水平方向に副サンプリングされた画素のグリッドに
    基づいている請求項9記載の方法。
  11. 【請求項11】 該動き評価中に、両側のブロック突き
    合わせが行われる請求項1乃至10のうちいずれか1項
    記載の方法。
  12. 【請求項12】 該動き評価中に、該動きベクトルを補
    正するため使用される周期的な構造の検出が行われる請
    求項1乃至11のうちいずれか1項記載の方法。
  13. 【請求項13】 該動き評価中に、該動きベクトルの一
    方又は両方の成分は、計算されたノイズレベルに依存し
    て強制的に0に近づけられる請求項1乃至12のうちい
    ずれか1項記載の方法。
  14. 【請求項14】 水平方向又は垂直方向のメジアンフィ
    ルタリングが該副ブロックの動きベクトルの一方又は両
    方の成分上で行われる請求項5乃至13のうちいずれか
    1項記載の方法。
  15. 【請求項15】 副ブロックの動きベクトルに対し信頼
    度が副ブロックの誤差から計算され、クロミナンスへの
    適用のため該信頼度に依存するクロミナンス信頼度が更
    に計算される請求項5乃至14のうちいずれか1項記載
    の方法。
  16. 【請求項16】 該空間的及び/又は時間的ノイズ圧縮
    は、夫々、該信頼度及びクロミナンス信頼度によって制
    御される請求項15記載の方法。
  17. 【請求項17】 該空間的ノイズ圧縮は、方向性のある
    フィルタ、特に、メジアンフィルタを含む請求項1乃至
    16のうちいずれか1項記載の方法。
  18. 【請求項18】 該時間的ノイズ圧縮は、前のフィール
    ドからの夫々の画素の動き補償の予測器を含む請求項1
    乃至17のうちいずれか1項記載の方法。
  19. 【請求項19】 該反復的な時間的ノイズ圧縮は、空間
    的にノイズ圧縮された現在のフィールドと、該予測器か
    ら得られる空間的及び/又は時間的にノイズ圧縮され、
    かつ、動き補償された最後のソースフィールドの画素の
    非線形結合を行う請求項18記載の方法。
  20. 【請求項20】 その中の一つは時間的な成分を含む少
    なくとも二つの別個の補間フィルタのタイプの中で上記
    第3の出力フィールドを構成するため使用されるタイプ
    を制御する主ブロックのゼロベクトルは、該動き評価に
    より得られたブロック突き合わせの誤差から計算される
    請求項8乃至19のうちいずれか1項記載の方法。
  21. 【請求項21】 該信頼度及びクロミナンス信頼度によ
    って夫々制御される上記第2及び第4の出力フィールド
    を構成するため、 − 上記第2及び第4の出力フィールドの両方で垂直方
    向に時間的補間、又は、垂直方向に補間された画素と、 − フォールバック画素との組合せが使用され、何れの
    場合でも、上記フォールバック画素は動き補償なしで使
    用される請求項15乃至20のうちいずれか1項記載の
    方法。
  22. 【請求項22】 該予測器は、上記ルミナンス画素に対
    し水平方向に4の倍率で副サンプリングされたクロミナ
    ンス画素を使用する請求項18乃至21のうちいずれか
    1項記載の方法。
  23. 【請求項23】 該信頼度及びクロミナンス信頼度によ
    って夫々制御される上記第2及び第4の出力フィールド
    を構成するため、 − 上記第2及び第4の出力フィールドの両方で垂直方
    向だけに補間された画素と、 − フォールバック画素との組合せが使用され、上記フ
    ォールバック画素は動き補償なしで使用される請求項2
    1又は22記載の方法。
  24. 【請求項24】 該動き補償された補間は、好ましく
    は、ルミナンスに対し、垂直及び/又は水平ピーキング
    及び/又はsin(x)/x補正を含む請求項1乃至2
    3のうちいずれか1項記載の方法。
  25. 【請求項25】 該垂直及び/又は水平ピーキングは、
    該計算されたノイズレベルに依存するコアリング関数を
    含む請求項13乃至24のうちいずれか1項記載の方
    法。
  26. 【請求項26】 該非線形結合を行う関数は、ゼロより
    も大きく、最大可能な量よりも小さい入力の値に対し最
    大の量を有する請求項19乃至25のうちいずれか1項
    記載の方法。
  27. 【請求項27】 該関数は、原理的に動き補償されたア
    ップコンバージョン処理で計算されたノイズ評価の標準
    偏差の2倍の値を有する入力の値に対し最大の量を有す
    る請求項26記載の方法。
  28. 【請求項28】 該関数は最大の倍率で組み込まれてい
    る請求項26又は27記載の方法。
  29. 【請求項29】 インターレース方式のビデオ信号の動
    き補償されたアップコンバージョン用の装置であって、 − ソースフィールドを2倍のフィールド周波数のフィ
    ールドに変換するため使用される第1の記憶手段と; − フィールドからフィールドで動き評価を行う動き評
    価器に、その入力及び出力が接続された後続の第2の記
    憶手段と; − その入力及び出力が、該動き評価器から該副ブロッ
    クの動きベクトルを受け、フィールドからフィールドで
    動き補償を行ない、動き補償されたアップコンバージョ
    ン出力信号を発生する動き補償された補間器に接続され
    た第3の記憶手段と; − 夫々の入力信号は該第2の記憶手段の入力信号から
    得られ、最終的な出力信号は該第3の記憶手段の入力に
    供給される空間的ノイズ圧縮手段及び/又は後続の時間
    的ノイズ圧縮手段とからなる請求項1乃至28のうちい
    ずれか1項記載の方法を行う装置。
  30. 【請求項30】 インターレース方式のビデオ信号の動
    き補償されたアップコンバージョン用の装置であって、 − ソースフィールドを2倍のフィールド周波数のフィ
    ールドに変換するため使用される第1の記憶手段と; − 第2の記憶手段の入力信号は、該第1の記憶手段の
    出力信号から得られ、かつ、動き評価器から動き情報を
    受け、フィールドからフィールドで動き補償を行い、動
    き補償されたアップコンバージョン出力信号を発生する
    動き補償された補間器の第1の入力に供給され、これに
    より、該動き補償された補間器の第2の入力の信号は第
    2の記憶手段の出力信号から得られる後続の第2の記憶
    手段と; − 該第2の記憶手段の出力信号を第2の入力に受け、
    第1の入力の信号は該第1の記憶手段の出力信号から得
    られ、フィールドからフィールドで動き補償を行なう動
    き評価器と; − 夫々の入力信号は該第2の記憶手段の入力信号から
    得られ、最終的な出力信号は、該第2の記憶手段の入力
    と、該動き補償された補間器の上記第1の入力とに供給
    される空間的ノイズ圧縮手段及び/又は後続の時間的ノ
    イズ圧縮手段とからなる請求項1乃至28のうちいずれ
    か1項記載の方法を行う装置。
  31. 【請求項31】 該時間的ノイズ圧縮は反復的な時間的
    ノイズ圧縮である請求項29又は30記載の装置。
  32. 【請求項32】 該動き情報は主ブロックの動きベクト
    ルを含み、一方、該動き補償された補間は該主ブロック
    よりも小さい副ブロックに対し行われる請求項29乃至
    31のうちいずれか1項記載の方法。
  33. 【請求項33】 該動き補償された補間を行うため、副
    ブロックの動きベクトルは、各出力副ブロックベクトル
    に対し、現在の主ブロックを含む現在の副ブロックの最
    も近くにある三つの主ブロックの主ブロックの動きベク
    トルから一つのベクトルを選択することにより、該主ブ
    ロックの動きベクトルから計算される請求項32記載の
    装置。
  34. 【請求項34】 該空間的ノイズ圧縮はルミナンスだけ
    で行われ、該時間的ノイズ圧縮はルミナンス及び/又は
    クロミナンスで行われる請求項29乃至33のうちいず
    れか1項記載の装置。
  35. 【請求項35】 該動き補償された補間はルミナンス及
    びクロミナンスに対し行われる請求項29乃至34のう
    ちいずれか1項記載の装置。
  36. 【請求項36】 該反復的な時間的ノイズ圧縮は、空間
    的にノイズ圧縮された現在のフィールドと、該予測器か
    ら得られる空間的及び/又は時間的にノイズ圧縮され、
    動き補償された最後のソースフィールドからの画素の非
    線形結合を行い、該非線形結合の実行用の第1のルック
    アップテーブルに格納された関数は、その量がゼロより
    も大きく、最大の可能な量よりも小さい入力の値に対し
    最大の量を有する請求項31乃至35のうちいずれか1
    項記載の装置。
  37. 【請求項37】 該関数は、該第1のルックアップテー
    ブルの入力の値を発生する別のルックアップテーブルを
    用いて最大の倍率で組み込まれている請求項36記載の
    装置。
JP07263196A 1995-03-31 1996-03-27 動き補償されたアップコンバージョンの方法及び装置 Expired - Fee Related JP3882854B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP95400722 1995-03-31
FR95400722:5 1995-03-31

Publications (2)

Publication Number Publication Date
JPH08322020A true JPH08322020A (ja) 1996-12-03
JP3882854B2 JP3882854B2 (ja) 2007-02-21

Family

ID=8221476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07263196A Expired - Fee Related JP3882854B2 (ja) 1995-03-31 1996-03-27 動き補償されたアップコンバージョンの方法及び装置

Country Status (2)

Country Link
JP (1) JP3882854B2 (ja)
DE (1) DE69604958T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093680A (ja) * 2008-10-10 2010-04-22 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5490236B2 (ja) * 2010-06-08 2014-05-14 シャープ株式会社 画像処理装置および方法、画像表示装置および方法
DE102020122605A1 (de) 2020-08-28 2022-03-03 Abberior Instruments Gmbh Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093680A (ja) * 2008-10-10 2010-04-22 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法

Also Published As

Publication number Publication date
DE69604958T2 (de) 2000-02-17
DE69604958D1 (de) 1999-12-09
JP3882854B2 (ja) 2007-02-21

Similar Documents

Publication Publication Date Title
US5784114A (en) Motion compensated video processing
US5793435A (en) Deinterlacing of video using a variable coefficient spatio-temporal filter
US7262818B2 (en) Video system with de-motion-blur processing
Ojo et al. Robust motion-compensated video upconversion
US6509930B1 (en) Circuit for scan conversion of picture signal using motion compensation
EP0549681B2 (en) Video image processing
US7671922B2 (en) Chroma upsampling method and apparatus therefor
US5642170A (en) Method and apparatus for motion compensated interpolation of intermediate fields or frames
US20090102966A1 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US5386237A (en) Method and apparatus for adaptive progressive scan conversion
EP0735747B1 (en) Method and apparatus for motion compensated frame rate upconversion
US6930728B2 (en) Scan conversion apparatus
JP4119092B2 (ja) 画像信号のフレーム数変換方法および装置
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
US5386248A (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
US6094232A (en) Method and system for interpolating a missing pixel using a motion vector
EP0735746B1 (en) Method and apparatus for motion compensated frame rate upconversion
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
EP0817478A1 (en) Process for interpolating frames for film mode compatibility
JP3882854B2 (ja) 動き補償されたアップコンバージョンの方法及び装置
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
US7339626B2 (en) Deinterlacing video images with slope detection
JP2005045700A (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JPH08322019A (ja) 動き補償されたアップコンバージョンの方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061107

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees