JPH09233435A - 動きを評価する方法 - Google Patents

動きを評価する方法

Info

Publication number
JPH09233435A
JPH09233435A JP8342172A JP34217296A JPH09233435A JP H09233435 A JPH09233435 A JP H09233435A JP 8342172 A JP8342172 A JP 8342172A JP 34217296 A JP34217296 A JP 34217296A JP H09233435 A JPH09233435 A JP H09233435A
Authority
JP
Japan
Prior art keywords
field
vector
frame
block
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8342172A
Other languages
English (en)
Inventor
Catherine Heimburger
ハイムバーガー カトリーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JPH09233435A publication Critical patent/JPH09233435A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

(57)【要約】 【課題】 本発明は、第1のフレーム(1)と第2のフ
レーム(2/3)との間で第1の動きのベクトル場(M
B(i,j))を判定する段階からなるブロックにより
動きを評価する方法の提供を目的とする。 【解決手段】 本発明の方法は、上記第2のフレームと
第3のフレーム(4)との間で第2の動きのベクトル場
(IB(i,j))を判定する段階を更に有し、上記第
2の場の各ベクトルは上記第1のベクトル場から得られ
た候補ベクトルの組から選択され、その選択は上記第2
及び第3のフレームに格納された情報の関数として行わ
れることを特徴とする。本発明は、特に、テレビジョン
の分野に適用される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動きを評価する方法
に関する。この方法は、特に、フィールド周波数の変更
を行うフレーム変換システム、特に、インタレース走査
方式の50Hzフォーマットを順次走査方式の75Hz
フォーマットに変換するために適当である。本発明は、
フレームのシーケンスを利用するあらゆる分野、特に、
テレビジョンの分野に適用される。
【0002】
【従来の技術】周波数変換システムにおいて、フレーム
の補間を改良すべく定められた動きのベクトルを利用す
るため、フレームのシーケンス内のブロックにより動き
を評価することは周知である。このタイプのシステム
は、例えば、トムソン コンシューマ エレクトロニク
スにより1995年3月31日に出願された欧州特許出
願第95400721号(D94/1271)明細書に
記載されている。
【0003】動きを評価するため、現在のブロックを基
準フレーム内の同一サイズの全ブロックと比較するブロ
ックマッチング処理を含む種々の処理がある。各比較に
対し、ブロックの間の歪みが判定され、僅かな歪みを与
える比較は、一般的に動きのベクトルを判定する。行わ
れるべき計算回数は、基準フレームの面積と比例して増
加することが容易に分かる。計算回数を制限するため、
縮小されたサイズの探索ウィンドウの範囲内だけでブロ
ックの比較を許可することが知られている。動きのベク
トルの最大振幅は、かくして、行われるべき計算回数と
共に制限される。統計的に、(フレームのシーケンス内
の急激な動きにより発生された)大きい振幅のベクトル
の数は、実際的には少ない。
【0004】
【発明が解決しようとする課題】上記手段は、必要とさ
れる比較の回数を減少させるために十分ではない。特
に、大量生産形の消費者機器において、対応する集積回
路の複雑さと面積は、最小限に抑える必要がある。従っ
て、処理の結果として得られたフレームの本質的な質
と、それらを得るための手段との間にバランスを確立す
る必要がある。
【0005】欧州特許出願第0648052号(D93
/0621)には、動きベクトルをつきとめる方法及び
装置が記載されている。
【0006】
【課題を解決するための手段】本発明は、第1のフレー
ムと第2のフレームとの間で第1の動きのベクトル場を
判定する段階からなるブロックにより動きを評価する方
法に関する。本発明の方法は、上記第2のフレームと第
3のフレームとの間で第2の動きのベクトル場を判定す
る段階を更に有し、上記第2の場の各ベクトルは上記第
1のベクトル場から得られた候補ベクトルの組から選択
され、その選択は上記第2及び第3のフレームに格納さ
れた情報の関数として行われることを特徴とする。
【0007】同一シーケンスの幾つかの連続したフレー
ムにおいて連続的な動きが生じ場合を考える。2個の所
定のフレームの間でベクトルを計算するとき、他のフレ
ームに対し先に行われた計算、特に、新しい場を計算す
るため最後に判定されたベクトル場が考慮に入れられ
る。先に計算された場の中の候補ベクトルを選択するこ
とにより、或いは、上記の場から候補ベクトルを得るこ
とによって、より多くの計算を必要とする網羅的な探索
により得られる結果よりも良好な結果が得られる。
【0008】適当な精度及び品質を得るため、第1のベ
クトル場は、網羅的なブロックマッチングの方法を用い
て計算することが可能である。上記の如く、この方法
は、多数の計算を要求するので、全てのフレームに対し
使用される訳ではなく、従って、メモリの要求量と、数
値演算能力が削減される。用語“フレーム”は、2個の
フレームにより構成されるインタレース走査方式のフレ
ーム、順次走査方式のフレーム、インタレース走査方式
のフィールド等を表わすことが認められる。
【0009】本発明の具体的な実施例によれば、第1の
ベクトル場は第1のサイズのブロックに対し判定され、
一方、第2のベクトル場は、上記第1のサイズ以下のサ
イズの第2のサイズのブロックに対し判定される。従来
技術と比べて、空間的というよりむしろ時間的な痕跡で
あり、第2のベクトル場(“細かいフィールド”)は、
第1の場(“粗いフィールド”)を判定するため使用さ
れたフレームの対と同一ではない1対のフレームに対し
判定される。
【0010】本発明の具体的な実施例によれば、候補ベ
クトルの中からベクトルを選択する規準は、最小歪みの
規準である。本発明の具体的な実施例によれば、時間的
に第2のフレームと第3のフレームとの間にある第4の
フレームに対し第2のベクトル場を判定する必要がある
とき、ベクトル及び上記第4のフレームの所定のブロッ
クに関係した歪みは、上記ブロックを上記第2及び第3
のフレーム内で上記ベクトルに沿って投影し、かつ、上
記二つの投影の間の差を評価することによって評価され
る。
【0011】周波数変換の間に、動き評価は出力フレー
ムの補間を改良するため利用される。出力フレームは必
ずしも入力フレームと時間的に一致しなくてもよく、評
価を改良するため、出力フィールドの領域内で時間的に
歪み又は誤差を評価することにより、この事実が考慮に
入れられる。本発明の具体的な実施例によれば、上記第
4のフレームの現在のブロックに対する候補であるベク
トルは、現在のブロックの第2のフレームへの直交投影
により生じたブロックに対応する第2のベクトル場のベ
クトル、及び/又は、上記投影に隣接したブロックのベ
クトルから得られる。
【0012】上記の具体的な実施例によれば、先のフレ
ームに関係した現在のブロックの位置は、時間的に一致
しないフレームに対するベクトル場を計算するときに考
慮されるべき候補ベクトルを定義する。本発明の具体的
な実施例によれば、第2の場に対応したブロックは、第
1の場に対応した水平方向又は垂直方向のブロックの帯
であり、第2のフィールドに対する候補であるベクトル
は、水平又は垂直成分が一つのディジタル化のステップ
により変更された上記投影のベクトルにより構成され
る。
【0013】本発明の具体的な実施例によれば、上記処
理は、50Hzから70Hzへのフレーム周波数変換シ
ステムにおいて行われ、第1のベクトル場は第1の入力
フレームと第2の入力フレームとの間で判定され、第2
のベクトル場は第2の入力フレームと第3の入力フレー
ムとの間で判定され、第1の出力フレームは第1の入力
フレームと時間的に結合され、第2の出力フレームは、
時間的に第1及び第2の入力フレームの間にあり、第3
の出力フレームは、時間的に第2及び第3の入力フレー
ムの間にあり、第3のベクトル場は第2及び第3の入力
フレームの間で判定され、上記第3の場のベクトルに対
する候補であるベクトルは、第2の場のベクトルから得
られ、上記第3の場に対応するブロックは、上記第2の
場に対応するブロックよりも小さいサイズを有する。
【0014】50Hzのフレームを75Hzのフレーム
に変換するシステムにおいて、2個の入力フレームにつ
いて3個の出力フレームが発生される。上記の具体的な
実施例によれば、ベクトル場が第1及び第2の入力フレ
ームの間で計算される。第3の出力フレームの補間のた
め使用できるように、ベクトル場は2回改良され、中間
の改良は、上記の如く、第2及び第3のフレームからで
はなく第1の2個の入力フレームから計算された第1の
ベクトル場をリフレッシュするため行われる。第2のベ
クトル場に対するブロックのサイズは、第1の場のブロ
ックのサイズと、補間のため望ましい密度を有する第3
の場のブロックのサイズとの中間である。第2のブロッ
クのサイズ、即ち、第2の場の密度は、実行されるべき
計算量が本発明の方法を利用する装置の能力の範囲内に
収まるように選択される。第2及び第3の場は、実際
上、上記方法の半周期の間に計算されるべきである。
【0015】本発明の具体的な実施例によれば、成分が
強制的に零にされた上記ベクトルにより生じた歪みと、
上記ベクトルにより生じた歪みとの間の差が、いずれか
のフレームにおける一定の係数により乗算されたノイズ
の評価よりも何れにしても小さい場合に、ベクトルの水
平又は垂直成分は強制的に零にされる。もし、 Err(i,j)(0,v)-Err(i,j)(u,v) < Errminabs*threshold
_x であるならば、 u = 0 であり、もし、 Err(i,j)(0,v)-Err(i,j)(u,v) < Errminabs*threshold
_y であるならば、 v = 0 である。
【0016】本発明の特定の実施例によれば、フレーム
内のノイズの評価は: Errminabs = min {Errmin(i,j), (Errmax-Errmin)(i,
j) } i=1,...,a j=1,...,b により与えられ、式中、a及びbは、夫々、第1のベク
トル場のフレームの幅及び高さ当たりのブロック数を表
わす。
【0017】本発明の特定の実施例によれば、水平及び
垂直成分が強制的に零にされたベクトルにより生じた歪
みと、同一の垂直又は水平成分を有するベクトルにより
生じた歪みとの間の差の行又は列に関する和が、補正係
数により乗算されたフレーム内のノイズの評価よりも低
い場合、即ち、水平成分に関して、
【0018】
【数3】
【0019】垂直成分に関して、
【0020】
【数4】
【0021】であるならば、ベクトルの水平又は垂直成
分は強制的に零にされる。
【0022】
【実施の形態】本発明の更なる特徴及び利点は、以下に
記載され、かつ、添付図面に示されたその例に限定され
ることのない説明から明らかになる。以下、本発明は、
50Hzのインタレース形テレビジョンフレーム周波数
を75Hzの順次フレームに変換する処理に関して説明
される。本願と同日に出願された他の特許出願は上記処
理の別の面を取り扱う。
【0023】慣例的な用語 1周期は、出力フィールドを表示させることができる時
間間隔、即ち、1/75秒として定義される。1サイク
ルは、アルゴリズムの完全なサイクルに必要な時間間
隔、即ち、3周期又は1/25秒として定義される。処
理は、二つおきの出力フィールド又は一つおきの入力フ
ィールドで同様に繰り返される。通例的に、第1の出力
フィールドは1、第2の出力フィールドは2、以下同様
に番号が付けられる。しかし、処理は循環的であるた
め、フィールド1、4、7...は、同じに発生され、
タイプ1のフィールドと呼ばれる。同様に、フィールド
2、5、8...又はフィールド3、6、9...は同
じく発生され、夫々、タイプ2及びタイプ3のフィール
ドと呼ばれる。
【0024】通例的に、入力フィールドは、出力フィー
ルドに対して占める位置を参照して番号が付けられる。
かくして、出力フィールドに時間的に対応する入力フィ
ールドは、出力フィールドと同じ番号を有する。2個の
出力フィールドの間にある入力フィールドは、上記2個
の出力フィールドの番号を有し、例えば、出力フィール
ド2と3の間にある入力フィールドは、フィールド2/
3と呼ばれる。
【0025】図1には入力フィールド及び出力フィール
ドの夫々の位置が示される。入力フィールド番号1は、
テレビジョンスクリーン上に表示され、ライン0として
識別される第1のラインからなる。上記フィールド、即
ち、奇数入力フィールドは、ライン0、2、4、..、
624により形成される。偶数フィールド2/3は、ラ
イン1、3、5、...、623よりなる。変数yは、
走査の方向にスクリーンの上部から下部まで増加するラ
イン番号を表わす。変数xは、画素の横座標を表わし、
走査の方向に左側から右側へ増加する。tは、1個の時
間単位が1サイクルを表わすよう規格化された時間を表
わす。フィールド1は時間0にあり、フィールド2/3
は時間1/2にあり、フィールド4は時間1にある。
【0026】出力フィールドは順次フィールドであるた
め、全てのライン番号により構成される。所定の画素の
位置のルミナンス信号は、変数P(x,y,t)により
表わされる。一般的な図解 開示された変換処理と、その変換処理を行う装置は、単
一のフィールドメモリしか必要としない点で有利であ
る。この制約は、上記の処理が大量生産される消費者器
具に実装されることを意図されている事実により説明さ
れる。従って、機器に関する製造コストの低減は重要な
要因である。
【0027】図2は本発明を実行する装置のブロック図
である。以下、各素子を詳細に説明する。上記装置は、
FIFOとして構造化され、かつ、読み出しの際に二つ
の中の一方のフィールドを繰り返すことによってフィー
ルド周波数を50Hzから75Hzまで増加させること
が意図されたランダムアクセスメモリ1からなる。
【0028】上記装置は、主に、パルス状ノイズを減少
させることを意図された空間的フィルタと、繰り返しの
時間的フィルタとにより構成された2個のフィルタより
なるノイズ減少回路2を更に有する。空間的フィルタ
は、メモリ1から生じたフィールドを受け、次に、フィ
ルタ処理されたフィールドを時間的フィルタに送る。時
間的フィルタは、先に処理されたフィールド情報により
構成された投影フィールドとして知られたフィールドを
受ける。以下、時間的フィルタの動作を詳細に説明す
る。
【0029】時間的にフィルタ処理されたフィールド
は、フィールドメモリ3に記憶され、補間器4に伝達さ
れる。補間器4は、装置の出力フィールドを送出するた
め2個の入力フィールドの間を補間する。補間器4は動
き評価回路5のために動きベクトルを受ける。動きは、
フィールドメモリ3に記憶されたフィールドと、メモリ
1に読み込まれた“現在の”フィールドとの間で評価さ
れる。動きの評価に関係したある量の情報は、ノイズ減
少中に使用される。
【0030】図3には、図2の装置の種々の素子により
処理されたフィールドに関係するタイミングチャートが
含まれる。各タイミングチャートを識別する文字は、図
2に示された素子の間の接続部を識別する文字に対応す
る。フィールドは、フィールドの走査に対応した鋸波の
形式で示される。第1のタイミングチャート(I)は、
メモリ1の入力フィールド、即ち、50Hzでインタレ
ースされたフィールドに対応する。
【0031】第2のタイミングチャート(A)は、メモ
リ1の出力に対応する。フィールドは、再び75Hzの
レートで読まれる。フィールド1(及び、フィールド
4、7)は、1回だけ読まれ、書込みの終了前に読み出
しが始まる。フィールド2/3(及び、フィールド5/
6、8/9...)は2回読まれる。第3のタイミング
チャート(G)はフィールドメモリ3の出力を表わす。
フィールドメモリ3は、1個のフィールドの入力フィー
ルドと出力フィールドとの間の時間的な偏りを保持する
ので、補間を正確に行うことが可能である。このため、
上記メモリは単純に1フィールドの遅延としての動作を
行わない。その場合に、フィルタ処理されたフィールド
2/3は、メモリの入力及び出力に存在する。従って、
フィールドメモリの出力で2回繰り返されるのは、フィ
ルタ処理されたフィールド1である。
【0032】第4のタイミングチャート(B)は、動き
評価器によって装置の残りの部分に供給された情報の計
算の周期を表わす。以下、詳細に説明されるように、動
き評価器は、所定のサイクルの各周期に別々の動作を行
う。タイプ1のフィールドの場合に、粗い動きベクトル
が広いブロック(“MB”と表わされるメインブロック
として知られている)に対し計算され、一方、細かい動
きベクトルは、メインブロックのサブブロック(“S
B”と表わされる)の他の2個のフィールドに対し定め
られる。サブブロックのベクトルの計算は、メインブロ
ックの粗いベクトルに基づく。タイミングチャートの参
照名“MB1//2/3”は、例えば、フィールド1と
フィールド2/3との間の“粗い”動きの評価の周期を
表わす。
【0033】第5のタイミングチャート(C)はノイズ
減少回路の空間的フィルタの出力に関係する。このフィ
ルタ処理は、メモリ1に読み込まれたフィールド上で直
接行われる。第6のタイミングチャート(D)は、ノイ
ズ減少回路によって、空間的にフィルタ処理されたフィ
ールドと対比された投影フィールドを表わす。
【0034】第7のタイミングチャート(E)は、時間
的なフィルタの出力、即ち、補間器4及びフィールドメ
モリ3の入力を示す。最後のタイミングチャートは、補
間器の出力、即ち、装置自体の出力を表わす。動き評価器 動き評価器は、マルチレベルブロックによる比較の処理
によって動作する。この処理は2段階で行われる。フレ
ームは、最初、動きが判定される粗いブロック又は16
*32画素のメインブロックに分割され、次に、上記メ
インブロックは、ベクトル場を精密にするためサブブロ
ックに分割される。
【0035】評価は、一般的に、スクリーン上の対象物
の動きを記述するのに十分な情報を含むルミナンス信号
に対し行われる。評価のため、クロミナンス情報を使用
し、又は、クロミナンス情報とルミナンス情報を組み合
わせ得ることは明らかである。特に、倍率2による入力
フィールドのサブサンプリングが水平方向及び垂直方向
で行われる。従って、評価のため必要とされる計算は4
分の1になる。しかし、サブサンプリングされたフィー
ルドは、動きを評価するためだけに使用される。出力フ
ィールドは、完全なフィールドから補間される。
【0036】上記のサブサンプリング処理は、明らか
に、動きベクトルの成分を偶数の値に制限する。この制
限は、放送中にフィールドのインタレースによって既に
与えられているので、垂直方向では問題にならない。サ
ブサンプリング処理の間に、奇数行と偶数列だけが保持
される。しかし、フレームの点は、ここまで使用された
座標系を用いて依然としてラベル付けされ、一方、サブ
サンプル処理されたドメインに属さない画素を禁止す
る。
【0037】本実施例によれば、サブサンプリング処理
に進む前に、空間的な高い周波数を抑制するべく意図さ
れたローパスフィルタ、即ち、スペクトル的な重ね合わ
せの供給源が上記フィールドに適用される。このローパ
スフィルタを行うため、例えば、7個の係数を有する水
平方向の三角形状のウィンドウが以下の式の如く使用さ
れる。
【0038】
【数5】
【0039】フィルタ処理は垂直方向にも行われる。奇
数行しか保持されないので、これは、入力フィールド1
の垂直方向に補間されたラインの数、及び、フィールド
2/3の入力ラインの数に対応する。2個のサブサンプ
ル処理された入力フィールドのスペクトル的な内容を調
和させるため、入力フィールド2/3のローパスフィル
タ処理が次式の如く行われる。
【0040】
【数6】
【0041】タイプ1のフィールドの場合に、簡単な垂
直方向の平均:
【0042】
【数7】
【0043】を用いて奇数行が生成される。サブサンプ
ル処理関数のPsub-sampled(x,y,0) 及びPsub-sampled
(x,y,1/2) は、偶数x及び奇数yだけに関して定義され
る。簡単化のため、サブサンプル化されたフィールド
は、P'(x,y,t) のように略記される。使用されたフィル
タは図 7に示される。
【0044】上記の如く、マルチレベル評価処理は1サ
イクルの3周期の間に以下の相違した挙動: − フィールド1とフィールド2/3との間の動きを表
わすメインブロックに対応するベクトルは周期1の間に
計算され、 − フィールド1とフィールド2/3との間の動きをよ
り厳密に表わすサブブロックに対応するベクトルは周期
2の間に計算され、計算は周期1の間に判定されたベク
トルによる影響を受け、 − フィールド2/3とフィールド4との間の動きを表
わすサブブロックに対応するベクトルは、周期3の間に
計算される。この例の場合に、計算は、メインブロック
に対応するベクトルの更新された値からなる中間ブロッ
クのベクトルからの影響をうける。
【0045】フィールド1とフィールド2/3との間の
粗いベクトルフィールドの判定 フレームは、最初に、32*16画素のメインブロック
に分割される。活性化フレームのサイズは、標準サンプ
リング周波数に対し720*576画素であるので、1
行につき23個のメインブロックと、1列につき36個
のメインブロックがある。
【0046】iが0乃至22、jが0乃至35を表わす
とき、(i,j) の添字が付けられ、定義により入力フィー
ルド(時間的に最新のフィールド)、即ち、フィールド
2/3又は等価なフィールドに属するメインブロックに
対し、動きベクトル(u,v) に与えられた誤差は、以下の
式:
【0047】
【数8】
【0048】により定められ、式中、Mx =32はメイ
ンブロックの横座標のサイズであり、My =16はメイ
ンブロックの縦座標のサイズである。従って、各メイン
ブロックに対し誤差マトリックスが計算され、上記マト
リックスの各要素は、実現可能な動きベクトルに結合さ
れた誤差、即ち、 u = -16,-14,...,14,16 かつ v = -4,-2,0,2,4 の場合
に Err(i,j) = (E (i,j) (U,V)) に対応する。
【0049】動きベクトルの成分は偶数であり、夫々、
−16乃至+16と、−4乃至+4の範囲にある。考慮
中のメインブロックは、前のフィールドの探索ウィンド
ウのブロックと比較される。上記探索ウィンドウは、前
のフィールドに関係したメインブロックの位置の近くに
ある。全てのベクトルから得られたベクトルは、記録さ
れ(u',v') 、誤差関数の最小値: u = -16,-14,...,14,16 かつ v = -4,-2,0,2,4 の場合
に Errmin = min( E (i,j) (U,V)) = Err(i,j) (u',v') に対応する。
【0050】フレーム全体のベクトル場は、各メインブ
ロックをブロック毎に走査し、上記の探索を各メインブ
ロックに適用することにより計算される。フレームのノ
イズは、メインブロックレベルのベクトル場の計算中に
評価される。この目的のため付加的な値、即ち、マトリ
ックスの最大誤差: u = -16,-14,...,14,16 かつ v = -4,-2,0,2,4 の場合
に Errmax = max( E (i,j) (U,V)) が計算される。
【0051】Errminは、ルミナンス信号に本質的に伴う
ノイズと、動きベクトルをディジタル化するノイズの2
個のノイズの和を評価する。実際上、計算された動きベ
クトルがフレームに実際に存在する動きと対応するなら
ば、Errminは、メインブロックのキャパシティの中の2
個の同一の領域に存在する明度の差の和であり、上記の
差は、単一の発生源としてフレームのノイズを有する。
【0052】一方、可能なベクトルのディジタル化のた
め、動きが計算されたベクトルにより十分に表現されな
いならば、このベクトルに生じた誤差に起因する成分は
前のノイズに加算される。Errminは、フレームの実際の
ノイズを定義するには精密すぎる。従って、第2の評価
量、即ち、Errmax-Errmin が定義される。第2の評価量
もフレームディジタル化ノイズに依存する。均一なゾー
ンに亘って、最大誤差と最小誤差との間の差は、フレー
ムのノイズだけにより生じる。ディジタル化ノイズが大
きい場合、即ち、ErrminとErrmaxが共に影響を受けるな
らば、評価量は、微分によって除去されたディジタル化
ノイズに対し低感度が望ましい。
【0053】Errminabs 及び Noiseest の2個の評価量
が以下の通り定められる:
【0054】
【数9】
【0055】周期1の計算に対し行われる補正 本発明の変形例によれば、第1の補正は、フレームが均
一なゾーンにより構成される場合に行われる。青空の一
部分のような均一なゾーンに亘り、誤差マトリックスは
略一定である。変動はフレーム内にノイズが存在するた
め生じる。本発明の方法により計算されたベクトルは、
予測不能であり、残りの処理部分に対し有害なベクトル
場の著しい不均一性を生じさせる。かかる不均一性が存
在するならば、対応するベクトルを強制的に零にするよ
う決められる。
【0056】上記の強制的な零化は、実際上、成分毎に
適用される。実際、水平方向の境界(例えば、青空によ
り上部が切られた崖)がフレーム内で考慮されるなら
ば、誤差はマトリックスの各行に関し一定であるので、
動きベクトルの成分uは固定ではない。上記の成分は強
制的に零にされる。垂直方向の境界の場合に、成分vに
対し同じことが言える。
【0057】本発明の上記実施例によれば、ベクトル成
分を強制的に零にするべきかどうかを判定するため利用
された規準は、上記の如く計算されたノイズのレベルに
関係する。もし、 Err (i,j) (0,v)-Err (i,j) (u,v) < Errminabs * ther
eshold_x であるならば、 u = 0 であり、もし、 Err (i,j) (0,v)-Err (i,j) (u,v) < Errminabs * ther
eshold_y であるならば、 v = 0 である。
【0058】値 thereshold_x 及び thereshold_y
は、2の倍数と一致し、例えば、2、4、8、...等
である。簡単に言うと、零成分ベクトルにより生じた誤
差と、動きの評価により検出されたベクトルとの間の差
は、補正が行われるフレームに本質的に備わる評価され
たノイズの大きさのオーダーと同じオーダーである。
【0059】本発明の他の実施例によれば、水平成分が
強制的に零にされるべきかどうかを判定する規準は、以
下の通りである。
【0060】
【数10】
【0061】上記の規準により、成分が強制的に零にさ
れる可能性のあるベクトルだけからの差だけではなく、
誤差マトリックスの完全なラインに亘る誤差の差の変動
が考慮される。動きベクトルの成分の曖昧さの検出は、
上記成分に対する可能な値には、他の値ではなくその値
が選択されるべき理由のある値が無いということを推定
により検出することを意味する。上記の各値に関係した
誤差は、調べる必要があり、これにより、誤差マトリッ
クスの全体のラインの試験が行われる。不正確さは、ノ
イズとは無関係に定められる。使用される規準は以下の
通りである。即ち、成分が強制的に零にされるベクトル
誤差に対する差の平均は、ノイズに依存したある閾値よ
りも小さいという規準が使用される。これは、実際上、
誤差マトリックスのラインの不均一性を検出する規準で
ある。
【0062】垂直成分に対する規準は同様に以下の通り
である。
【0063】
【数11】
【0064】上記の他の実施例に従って強制的にゼロに
することにより、厳密な増加関数によりフレーム内のノ
イズの量に結合された精度の限界内で、動きベクトルの
垂直又は水平成分の曖昧さが検出される。これは、行
(又は列)の範囲内の変化の調査によって最小値を含む
誤差マトリックスの全体の行(又は列)を考慮すること
により達成される。
【0065】補正はフレームが周期構造を含むときに行
われる。この種の構造により生じる問題は、既に説明し
た通りである。しかし、図4及び図12は、提案された
検出及び補正がより良く理解できるように明瞭化され
る。図4内の陰影付きブロックは動きが判定されるブロ
ックを表わし、一方、破線内の2個のブロックは、誤差
マトリックスに誤差の最小値を生じさせる基準フレーム
内の2個のブロックである。不正確なベクトルは、出力
フィールドの補間中に非常に著しい欠陥を発生する。
【0066】上記の欠陥は図12に大写しにされ、同図
において、反対のパリティの2個のフィールドの間のブ
ロックの本当の動きは、+2の水平成分を有するベクト
ルにより与えられる。動きベクトルが零であるならば、
同図の右半分に示された欠陥がインタレース中に現れ
る。行の高さは欠陥を明瞭に表わすため誇張されてい
る。
【0067】上記実施例の文脈において、メインブロッ
クのサイズと、動きベクトルの実現可能な垂直成分の範
囲により、上記のタイプの誤差は垂直方向には生じる可
能性が低いので、水平方向の周期性(例えば、垂直方向
に縞のあるシマウマ)だけに限定される。垂直成分の範
囲は、非常に制限されるので有効な検出又は補正が行わ
れない。しかし、当業者は、以下の説明の補正を、特に
垂直方向の周期性に容易に適合させることができる。
【0068】以下、上記のタイプの誤差の検出と補正の
2段階について説明する。上記のタイプの欠陥は、誤差
マトリックスErr から検出される。実際上、マトリック
スの要素の最小値を含む行は、上記の如く、少なくとも
一つの2次最小値を含む。最初に、uが−16≦u≦+
16である場合に、最小値を含む誤差の行Row(u)がマト
リックスから得られる。umin は、Row(u)の最小値の添
字を表わす場合を考える。2次最小値が最初に検出され
る。これは、次式: Row(u-1) > Row(u) かつ Row(u+1) > Row(u) の如く、局部最小値(ローカルミニマム)として表わさ
れる。
【0069】規準を満たす2次最小値の中で最も小さい
ものだけが保持される。Usec_minは、行Row(u)の添字
を表わす。位置uminとusec_min との間にある2次最小
値が次に検出される。これは、次式: Row(u-1) < Row(u) かつ Row(u+1) < Row(u) の如く、局部最小値(ローカルミニマム)として表わさ
れる。
【0070】規準を満たす2次最大値の中で最も大きい
ものだけが保持される。Usec_maxは、行Row(u)の添字
を表わす。図5の度数分布図はかかる状況の特徴的な例
を表わす。周期構造の存在を確認するため、2次最小値
及び絶対的な最小値と、2次最大値とは、二つの付加的
なテスト: − 2個の最小値の値が接近している必要がある(C
1)と、 − それらと、2次最大値との間の差は、現在のノイズ
レベルに対し有意でなければならない(C2)とを受け
る。
【0071】上記の予防措置は、周期性があると見なさ
れる縞の縁上のメインブロックを阻止するため行われ
る。実際上、メインブロックは、上記縞の縁に跨がり、
片側は動物に属し、もう一方側がサバンナに属する可能
性がある。このブロックは、誤差の最小値を与えるが、
この最小値は周期性に関係した最小値よりも大きい。従
って、ノイズ性の誤差マトリックスは、周期的であると
見なされる。
【0072】以下の式: Errmin = Row(umin) Errmax = Row(umax) Err _sec _min = Row(usec_min) Err _sec _max = Row(usec_max) に注意する必要がある。
【0073】以下の条件: (C1)Err _sec _min - Errmin < a*Errmax (C2)Err _sec _max - Err _sec _min > b*Errm
inabs (C3)Errmax > c*Errminabs が与えられる。
【0074】上記例によれば、 a = 0.5 b = 2 c = 4 である。
【0075】全ての条件を照合する誤りのある行は、周
期構造を含む可能性のあるブロックと関係したマトリッ
クスから生じる。一変形例によれば、上記の条件の中の
最初の二つの条件だけが組み合わされる。次に、上記メ
インブロックに関係したベクトルが補正される。この目
的のため、周期的なメインブロックだけを考慮しても十
分ではない。シマウマの図を参照するに、メインブロッ
クに含まれない動物の全ての部分が削除された場合を想
定すると、垂直方向に縞のある矩形が得られる。この矩
形が対応する前のフレームの部分を探索するときに、幾
つかの可能な縞のある矩形が見つけられ、どの矩形を考
慮すべきであるかを決められない。かかる選択を行うた
め、メインブロックは、不正確さを取り除くため徐々に
拡大される。この処理は図6に示され、同図において、
陰影付きのブロックはフレームの1行の中の周期ブロッ
クである。
【0076】所定の行において、周期メインブロックの
検出は、周期構造を含むフレームの全ゾーンが見つけら
れたことを意味する。このメインブロックの動きベクト
ルは、直ぐには保持されない。反対に、このブロックに
対応する誤差マトリックスが記憶される。処理は同じ行
の次のメインブロックに移る。そのメインブロックが周
期的であるならば、その誤差マトリックスが記憶され
る。最終的に周期構造の終わり、この例では、シマウマ
の右側の縁に達する。
【0077】(i1,j1) が最初に見つけられた周期メイン
ブロックの座標を表わし、(i2,j1)が最後に見つけられ
た周期メインブロックの座標を表わす場合を考える。記
憶された全マトリックスは、項目毎に総計される。以下
の成分を有するマトリックスが得られる。
【0078】
【数12】
【0079】のマトリックスが得られる。基本アルゴリ
ズムが、単一メインブロックの幅の(i2 - i1 + 1) 倍の
幅のメインブロックに適用されるならば、同じ誤差マト
リックスが得られる。誤差マトリックスは、明らかに同
じサイズである。上記のマトリックスは、良い動きベク
トルを決めるためには未だ十分ではない。周期構造の最
初及び最後のブロックを考慮する必要がある。実際上、
上記のブロックは、一般的に、動きの周期ゾーンの縁を
含むので、誤差マトリックスに含まれた情報の曖昧さを
除去することが可能になる。
【0080】上記マトリックスを決定した後、以下の処
理が行われる。 − 2個のメインブロックのベクトルは、周期構造の最
初と最後に考慮される。対応する誤差は、各々に対する
和マトリックスから得られる。誤差が最小のベクトルが
保持される。 − 上記ベクトルが誤差マトリックスSum の行の局部最
小値に対応しないならば、誤差マトリックスの最小値が
選択され、対応するベクトルが保持される。 − 最後に、隣接した周期ブロックの間で垂直方向のコ
ヒーレンスを得るため、周期ブロックの上記行の直上に
あるブロックの一つが周期的であるかどうかがテストさ
れ、もしそのブロックが周期的であるならば、そのブロ
ックのベクトルが誤差マトリックスのラインの最小値に
対応する場合に保持される。保持されたベクトルは、周
期構造の全てのブロックに対し使用されるベクトルであ
る。
【0081】ベクトルの決定と、場合によっては第1及
び第2の補正を行った後、以下のように略記されるベク
トル場: 0≦i≦22 かつ 0≦j≦35 に関し
【0082】
【外1】
【0083】が得られる。ベクトル場の空間分解能の改良 この処理のフェーズは、周期2及び3の間に連続して2
回利用される。ベクトルをより小さい要素、即ち、(こ
の実施例の場合に4*4画素のサイズを有する)サブブ
ロック/サブブロックに割り当てることにより、動きを
より細かく表わすことが試みられる。これにより、ベク
トル場が動きのある対象物の縁により良く適合させられ
る。
【0084】上記実施例によれば、フレーム内の幅方向
に180個のサブブロックと、高さ方向に144個のサ
ブブロックがある。上記実施例によれば、可能な動きベ
クトルの全範囲に関係した誤差は、メインブロックに対
し行われたように全て再計算する必要はない。各サブブ
ロックに対し、候補ベクトルがメインブロックのベクト
ルの中から選択され、上記の各候補ベクトルから発生さ
れた誤差が判定される。
【0085】上記実施例の文脈において、サブブロック
の候補ベクトルは、このサブブロックの最も近くにある
4個のメインブロックの中のベクトルである。最小誤差
を発生するベクトルは、サブブロックにある。考慮中の
サブブロックを含むブロックに隣接したメインブロック
と関係した候補ベクトルが使用されるという事実によ
り、動いている対象物の縁、従って、均一な動きを伴う
ゾーンの境界が厳密に判定される。動いている対象物の
縁がメインブロックの中に少しだけ突出するならば、そ
のメインブロックに対し見つけられたベクトルは、背景
を示し、動いている対象物を示さないベクトルである。
その理由は、上記メインブロックの大半の画素が対象物
の動きとは異なる動きでもよい上記背景に属するからで
ある。従って、対象物の縁は正確に再構成されない。
【0086】一方、隣接したメインブロックのベクトル
が対象物の縁のサブブロックに対し考慮されるならば、
隣接したメインブロックの中の少なくとも1個は考慮中
の対象物の一部を形成するので、上記サブブロックの動
きは正確に評価される。フィールド2 フィールド1とフィールド2/3との間のサブブロック
のルミナンスの差を最小限に抑えるベクトル場を判定す
る試みが行われる。しかし、出力フィールド2は最終的
に表示される。そのため、精度を改良するため、サブブ
ロックはこのフィールド2を形成する部分であると見な
される。
【0087】フィールド2の各サブブロックに対し、4
個の隣接したメインブロックが以下の方法で判定され
る。サブブロックは、フィールド2/3上で直角に投影
される(図8を参照のこと)。従って、4個の最近傍ブ
ロックが以下の如く選択される。サブブロック(i,j)(0
< i < 180, 0 < j < 144) について言うと、4個の関連
したメインブロックは、 imod8 < 4 ならば、 i'=-1 さもなければ、 i'=1 jmod4 < 2 ならば、 j'=-1 さもなければ、 j'=1 Rel (i,j) (1) = MB(i∨8, j∨4) Rel (i,j) (2) = MB(i∨8 + i', j ∨4) Rel (i,j) (3) = MB(i∨8, j∨4 + j') Rel (i,j) (4) = MB(i∨8 + i', j ∨4 + j') と表わされ、式中、ユークリッド除算 a割るb の商は、
a∨b として表され、余りは、amodb のように表わされ
る。
【0088】候補ベクトルが選択された後、候補ベクト
ルは互いに比較される必要がある。上記の如く、サブブ
ロックは表示されたフィールドの一部を形成する。問題
にしているメインブロックのベクトルは、スケール処理
を受ける。その中の2/3は、最初に計算され、その結
果が丸められる。かくして、フィールド1とフィールド
2との間の動きのベクトルが得られる。残りのベクトル
は、フィールド2とフィールド2/3との間の動きに対
応する。上記の2個のベクトルを、夫々、後方ベクトル
(rear)及び前方ベクトル(front) と呼ぶならば、以下の
式:
【0089】
【数13】
【0090】が得られる。上記4個のベクトルに関係し
た4個の誤差が以下の式に従って計算される:
【0091】
【数14】
【0092】であり、式中、Sx 及びSy は、サブブロ
ックの横座標及び縦座標画素のサイズを表わす。サブブ
ロックのベクトルは、最小誤差を与えるベクトルであ
る。全てのサブブロックを走査することにより、Raw
(i,j) により表わされるベクトル場が得られる。
【0093】一変形例によれば、フィールドベクトルの
成分は、疑似的な値を除去するためメジアンフィルタ処
理を受け、実際上、サブブロック内の小さい誤差は、ベ
クトル場の局部的な不均一性よりも見分けにくい。以下
の式: a = (1 0) ・Raw (i-1,j) ; a'= (0 1) ・Raw (i-1,j) b = (1 0) ・Raw (i,j) ; b'= (0 1) ・Raw (i,j) c = (1 0) ・Raw (i+1,j) ; c'= (0 1) ・Raw (i+1,j) を仮定すると、ベクトル場は、以下の式:
【0094】
【数15】
【0095】のように表わされる。従って、メジアンフ
ィルタ処理は、所定のサブブロックに対し先に計算され
たベクトルと、水平方向に隣接したサブブロックのベク
トルとを考慮することにより、所定のサブブロックに対
し行われる。4*4画素のサブブロックに対するベクト
ル場はかくして得られる。
【0096】選択されたベクトルに関係した誤差は、各
サブブロックに対し定められる。この誤差は、各動きベ
クトルに置かれた信頼の測定量である。上記誤差は、以
下の式:
【0097】
【数16】
【0098】によって表わされる。フィールド3 フィールド2に対し行われたように、サブブロックの領
域内のベクトルの計算がフィールド3に対しても、フィ
ールド2/3とフィールド4との間の動きを評価すると
共に行われる。しかし、計算は先に行われた計算とは違
う。実際上、本発明の実施例によれば、動きベクトル
は、遅延ラインを節約するため、フィールド2/3とフ
ィールド4との間にあるメインブロックに対し計算され
ない。実際上、メインブロックのベクトルと、隣接した
サブブロックのベクトルをフィールド3に対し計算する
必要があるならば、隣接した全てのメインブロックのベ
クトルを所定のサブブロックに対し計算する必要があ
り、かつ、これにより、メインブロックの行に含まれる
ライン数に略対応する遅延が生じる。
【0099】フィールド3のサブブロックのベクトル
は、フィールド1とフィールド2/3との間で先に計算
されたベクトル場から計算される。これにより、サブブ
ロックのベクトルは実際の動きを反映しないベクトルか
ら計算されるので、速い動きの場合に問題を生じる。上
記実施例によれば、メインブロックに関係した情報は、
サイズがメインブロックのサイズとサブブロックのサイ
ズの正確に中間にある中間ブロックとして知られたブロ
ックに対するベクトル場を作成することにより更新され
る。
【0100】上記実施例によれば、中間ブロックは4ラ
インにつき32画素のサイズを有し、メインブロックの
幅と、サブブロックの高さとを有する。上記中間ブロッ
クに関係した平均的な空間分解能を有するベクトル場
は、フィールド2/3及びフィールド4と、フィールド
1及びフィールド2/3に対し判定されたメインブロッ
クのベクトル場とから計算される。サブブロックのベク
トル場は、第2の段階において、上記中間ブロックに関
係したベクトル場から推定される。フィールド1及びフ
ィールド2/3の間で判定されたベクトル場が候補ベク
トルのソースとして扱われるとき、誤差計算は、依然と
して、フィールド2/3及びフィールド4の情報から行
われる。
【0101】フィールド2のサブブロックの場合と同様
に、上記計算は、出力ブロック、即ち、フィールド3に
属する中間ブロックに対し行われる。上記の如く、中間
ブロックに適用されるべき動きベクトルは、2個のベク
トルに分割される。かくして、ベクトル(u,v) に対し、
前方及び後方ベクトルが以下の式:
【0102】
【数17】
【0103】に従って判定される。中間ブロック(i,j)
に対する動きベクトル(u,v) と関係した誤差は、次式:
【0104】
【数18】
【0105】のように表わされる。フィールド3の所定
の中間ブロックに関して対応するメインブロックが判定
される。フィールド3上で直角に投影されたそのメイン
ブロックは、上記の中間ブロックを含む。所定の中間ブ
ロック(i,j) のある個数の候補ベクトル: − 対応するメインブロックのベクトルと、 − 水平成分を正の向きに1ディジタル化ステップずつ
変更することにより、メインブロックの上記ベクトルか
ら推定されたベクトルと、 − 水平成分を負の向きに1ディジタル化ステップずつ
変更することにより、上記メインブロックから推定され
たベクトルと、 − 中間ブロックの最近傍(上又は下)にあるメインブ
ロックのベクトルと、 − 水平成分を正の向きに1ディジタル化ステップずつ
変更することにより、上記メインブロックから推定され
たベクトルと、 − 水平成分を負の向きに1ディジタル化ステップずつ
変更することにより、上記メインブロックから推定され
たベクトルとが判定される。
【0106】本発明の上記実施例によれば、6個の候補
ベクトルは以下の式:
【0107】
【数19】
【0108】であり、式中、a割るbのユークリッド除
算の商は、a∨bにより表わされ、余りは、amodb
により表わされる。第2及び第3のベクトルは、第1の
ベクトルと同じ垂直成分を有し、水平成分は変更されて
いる。同様に、第5及び第6のベクトルは、第4のベク
トルと同じ垂直成分を有し、水平成分は変更されてい
る。この選択は、2ラインの高さしかない中間ブロック
のサイズに起因する。より垂直方向サイズの大きい中間
ブロックが選択されたならば、垂直成分の補正を考慮す
ることができる。しかし、一つの中間ブロックにつき2
本のラインしかない場合、垂直成分、即ち、垂直成分を
補正するフォーティオリ(fortiori)を高い信頼性で判定
することは難しい。
【0109】6個の各ベクトルと関係した誤差は、各中
間ブロックに対し計算される。6個の候補ベクトルの中
から中間ブロックに対し保持されるベクトルは、最小誤
差を与えるベクトルである。本発明の一変形例によれ
ば、水平成分に関する補正は取り除かれる。これによ
り、ノイズのあるフレームの場合に、ベクトル場の過剰
な不連続性が防止される。IB(i,j) として表わされた平
均空間分解能を有するベクトル場が最終的に得られる。
【0110】フィールド3の動きの評価の最後の段階
は、中間ブロックに関するベクトル場から、サブブロッ
クレベルのベクトル場を判定する段階を含む。明らかに
サブブロックは中間ブロックにあり、中間ブロックの一
部を形成する。上記の実施例によれば、各サブブロック
に対し、2個の候補ベクトルが定められる。第1の候補
ベクトルは、サブブロックがその一部を形成する中間ブ
ロックのベクトルであり、一方、第2のベクトルは、以
下に定義されるように隣接した中間ブロックのベクトル
である。
【0111】座標(i,j) を有するサブブロックに対し、
2個の候補ベクトルがあり、
【0112】
【数20】
【0113】である。m=1,2のとき、以下のベクト
ル:
【0114】
【数21】
【0115】が計算される。従って、誤差は、m=1,
2のとき、
【0116】
【数22】
【0117】である。最小誤差を与えるベクトルが保持
される。ベクトル場(SB3(i,j)) はメジアンフィルタ処
理を受け、対応する誤差フィールド(Err3(i,j)) が計算
される。ノイズ減少 ノイズ減少には、 − 空間的ノイズの減少、及び − 動きの中で補償された時間的ノイズの減少の2段階
が含まれる。
【0118】第1の段階は、単一フィールドに含まれる
情報を利用し、一方、第2の段階は、数個、例えば、2
個の連続フィールドに含まれる情報を利用する。以下、
ルミナンスのフィルタ処理だけを説明する。本発明の実
施例の文脈において、クロミナンスの空間的フィルタリ
ングは考慮する必要がなく、クロミナンス標本は互いに
非常に離れているので、有向タイプのメジアンフィルタ
は方向を持つことができない。特に、クロミナンス情報
の方が稠密な場合、或いは、特に、クロミナンスがルミ
ナンスと同じ分解能を有する場合に、クロミナンスをフ
ィルタ処理してもよいことは明らかである。
【0119】クロミナンスの時間的フィルタ処理は、ク
ロミナンスのサブサンプリングの倍率(即ち、入力フォ
ーマット4:2:2に対しx横座標の向きに2)により
サイズが分割された入力フィールドを考慮することによ
り、ルミナンスの時間的フィルタ処理から直接的に推定
される。動きベクトルのx成分も同じ倍率で分割される
べきである。
【0120】空間的ノイズ減少 空間的ノイズ減少は、入力フィールド内のパルス状のノ
イズを減少させるため設けられる。本発明の上記実施例
によれば、空間的フィルタは、フレームのフロント及び
細かいテキスチャーを低下させない点が有利な有向メジ
アンフィルタである。単純な線形又はメジアンフィルタ
にはこのような利点がない。
【0121】有向メジアンフィルタ処理は、3個の画
素、即ち、現在の画素と、現在の画素を通る同一直線上
にある隣接した2個の画素とに関して行われる。上記の
制約の観点から、水平、垂直及び2本の対角線の4方向
のフィルタリング処理が可能である。考慮すべき方向の
選択は、同一方向の3個の画素の間に存在する相関の関
数として行われる。
【0122】以下の表は、隣接した画素に囲まれた現在
の画素(x22)を表わす。
【0123】
【表1】
【0124】d1という名前の水平方向は、画素x2
1、x22及びx23を通過する。d2という名前の垂
直方向は、画素x12、x22及びx32を通過する。
第1の対角線d3は、画素x31、x22及びx13を
通過する。第2の対角線d4は、画素x11、x22及
びx23を通過する。各方向に関係した相関係数は、夫
々、c1乃至c4により表わされ、フィルタ処理された
値はm1乃至m4である。d1によれば、 c1 = min( |x21-x22 |, |x23-x22 |) m1 = med(x21,x22,x23) であり、d2によれば、 c2 = min( |x12-x22 |, |x32-x22 |) m2 = med(x12,x22,x32) であり、d3によれば、 c3 = min( |x13-x22 |, |x31-x22 |) m3 = med(x13,x22,x31) であり、d4によれば、 c4 = min( |x11-x22 |, |x33-x22 |) m4 = med(x11,x22,x33) である。相関係数の小さい方向が保持される。
【0125】他の相関関数を選択してもよい。同様に、
使用されたウィンドウが許容するならば、フィルタリン
グ処理は、4個以上の画素に関して、又は、4以上の方
向で行われる。動きの中で補償された時間的ノイズの減少 動きの評価における重要な利点は、動きの中で補償され
たノイズ減少処理の適用が可能になる点である。テレビ
ジョン画像を妨害するノイズは、略零の統計的な期待値
を有し、即ち、数画像に亘る時間的な平均が零になる傾
向があるという仮説が開始の点として使用される。上記
ノイズの高周波成分は、フレームのローパス形の時間的
フィルタ処理を行うことにより減少させられる。
【0126】従来のフィルタリング処理は、1画素ずつ
の再帰的ディジタルフィルタリングの実行を含む。上記
処理は、各画素に対し、ある数のサンプルを記憶し、上
記記憶された値と“現在の”画素との間に再帰的な式を
適用する段階を含む。かくして、フィルタ処理された値
は、現在の画素に対し判定され、記憶された値が更新さ
れる。再帰的な式と、記憶される項目数の選択は、フィ
ルタの有効性を決める。
【0127】しかし、ローパス形の時間的フィルタのテ
レビジョン画像シーケンスへの適用は、まさしく上記フ
ィルタの特性に起因する重大な欠点があり、即ち、上記
フィルタの適用は、移動中の全対象物を追跡する痕跡を
生成し、この現象は、著しい残留磁気を有する陰極線管
において見られる現象と類似している。この影響は、あ
る種の市販のテレビジョンセット上で著しく可視化され
る。
【0128】本発明の実施例によれば、上記の影響は、
再帰的な式を利用するとき、既に計算された動きベクト
ルを用いることにより軽減される。再帰法は、静止座標
の画素ではなく、動きベクトルにより並進移動された画
素に関し行われる。換言すれば、対象物の変位が追跡さ
れるので、動いている対象物の同一点のフレームである
画素は一致する。
【0129】本発明の実施例の文脈において、時間的ノ
イズは、(空間的にフィルタ処理された)入力フィール
ド上で単一フィールドメモリを用いて減少させられる。
最大の精度を伴うベクトル場、即ち、サブブロックのベ
クトル場が利用される。かくして得られたベクトル場
は、入力フィールドのノイズを減少させるため使用され
る。補間が上記の方法で処理された入力フィールド、及
び、記憶されたフィールドの間で行われる。従って、補
間のため使用される二つのフィールドは、ノイズ減少を
受ける。
【0130】本発明の実施例の文脈において、単一フィ
ールドメモリが使用され、過去の単一サンプルだけが各
画素に対し保持される。従って、再帰は二つの項目、即
ち、現在の画素及び記憶されたサンプルに関係する。ノ
イズ減少は、以下の部分: − 再帰式が関係する画素の適合と、 − 再帰式の適用とに分けられる。
【0131】画素は、入力フィールドのサブブロック毎
に適合させられる。入力フィールドのサブブロックの画
素と、記憶されたフィールド内の対応する動きベクトル
により指定されたサブブロックの画素が合わされる。記
憶されたフィールドは、動きベクトルのフィールドに従
って投影される。入力フィールドのルミナンスが
【0132】
【外2】
【0133】により示され、メモリに格納されたノイズ
減少化フィールドが
【0134】
【外3】
【0135】により示され、投影されたフィールドが
【0136】
【外4】
【0137】により示されるならば、フィールド2/3
に対する投影されたフィールドは、次式:
【0138】
【数23】
【0139】により表わされる。フィールド4の場合に
は、
【0140】
【数24】
【0141】のように表わされる。以下、再帰的な式が
定義され、適用される。この式は、上記の如く、
【0142】
【外5】
【0143】に関係し、
【0144】
【外6】
【0145】を与える。対象物の見え方があるフレーム
から別のフレームの間で殆ど変わることがなく、何れに
しても、フィルタの時定数に対し遅い場合を想定するな
らば、明度の差は、ノイズだけに起因する。本発明の実
施例の文脈において、次式:
【0146】
【数25】
【0147】の如く再帰式が使用され、式中、fは、使
用された再帰フィルタの図(図10の(b))と共に図
10の(a)に示された非線形関数NLから得られ、ノ
イズに適合された非線形関数を表わす。この関数は、曲
線の先頭に直線部分を有し、受信されたフレームとその
投影との間の僅かな差に対し、補正が最大であり、か
つ、出力画素は、投影に対し倍率3/4、受信された画
素に対し1/4で線形に補間される。差が増加するなら
ば、フレーム内の実際の遷移を削除する確率が増加し、
受信された画素は、偏りが非常に大きい場合に評価が全
く考慮されなくなるまで保護される。
【0148】本発明の実施例によれば、上記関数は、動
きベクトルが計算された時点に評価されたノイズの変動
に適合するので、減少されるべきノイズと、保存される
べき情報との間の差異が検出される。従って、非線形関
数NLは、以下の式:
【0149】
【数26】
【0150】で与えられ、fはR+ に関して次式:
【0151】
【数27】
【0152】により定義されたRインRの奇関数であ
り、式中、sは、上記アルゴリズムにより測定されたノ
イズの典型的な偏差を表わし、xM は関数NLの局部最
大値である。ここで、 s = Noiseest と表わされる。
【0153】本発明の他の一実施例によれば、動きベク
トルの信頼度がフレームのノイズに対し非常に小さいと
きには、時間的ノイズは減少しない。他の変形例によれ
ば、記憶されたフィールドの空間的フィルタリングは、
動きベクトル場に沿った投影の前に行われる。実際上、
動きの評価の前に行われるサブサンプリングの観点から
は、動きベクトル、従って、投影の精度は、2画素であ
る。より細かい細部は、線形ローパスフィルタを用いて
除去される。ローパスフィルタ処理はノイズレベルを略
2dBだけ余分に減少させることが測定により実証され
た。
【0154】補間 補間されるべき各フィールドに対しできるだけ正確なベ
クトル場が得られた後、表示されるべきフィールドは、
上記情報及び入力フィールドから推定される必要があ
る。考慮されたフィールドに依存して、同じ目標には向
けられない。特に、以下の段階が続いて行われる。 − 各フィールドに適合された種々の補間処理における
一様性の維持が試みられ、二つのタイプの補間の間の相
違が非常に大きい場合には、1フィールドの見え方に差
が生じ、一方、フィールドは、1秒につき75回繰り返
され、減少されるフリッカーよりも不快なフリッカーを
生成し、 − 値が大きいが十分に局在化された動きベクトルの誤
差、或いは、例えば、ディジタル化に起因した実際のベ
クトル場と測定されたベクトル場との差によって、過大
な視覚的な妨害が生じることを防止する段階が行われ
る。更に、フレーム内のノイズの存在によって、補間処
理が危険に晒されるべきではない。
【0155】フィールド1(ルミナンス)の補間 フィールド1は、偶数ラインがそのままの状態でピック
アップされる点で、特定のケースである。しかし、奇数
ラインは再現される必要がある。フィールド1の画素の
ルミナンスは、P1(x,y) として表わされ、ここで、0 ≦
x ≦719, 0≦ y ≦ 575 である。
【0156】本発明の実施例によれば、失われたライン
を再現するため、 − 平均化による垂直方向線形補間(真性の空間的フィ
ルタリング)と、 − 静止ゾーン内のフィールド1及びフィールド3のイ
ンタレース処理(真性の時間的フィルタリング)と、 − 動きベクトルを利用する補間(空間的及び時間的フ
ィルタリング)とを含む数タイプの補間が利用される。
補間のタイプの選択は、ベクトル、及び、ブロックに関
係した誤差に結合された規準の関数として、メインブロ
ック毎に行われる。
【0157】フィールド1のメインブロックに関係した
ベクトルは、フィールド2/3の同じ位置にあるメイン
ブロックと関係があるベクトルである。動きは、フィー
ルド1のブロックではなく、フィールド2/3のブロッ
クに対し評価されるが、上記のベクトルは依然として考
慮される。実際上、動いている対象物の縁から遠ざか
り、かつ、動きが規則的である場合には、フィールド1
のブロックに関する直接的な評価により得られたベクト
ルは、フィールド2/3に対し計算されたベクトルと類
似する。
【0158】垂直方向線形補間(真性の空間的フィルタ
リング)は、検出された動きベクトルの信頼度が非常に
低いときに採用される万一のための(フォールバック)
解決法である。以下の式:
【0159】
【数28】
【0160】で表わされる上記の補間は、本発明の実施
例のため利用される。垂直方向平均化処理は、非常に視
覚的な“ステップ”を対角線上に生じさせる欠点があ
る。更に、それは、高々従来のテレビジョンセットの解
像度と等しい平凡な解像度を与えるに過ぎない。最後
に、フィールド2及びフィールド3は、垂直方向平均化
処理によって補間できないので、ラインフリッカーが必
ず生じる。従って、できる限り垂直方向平均化処理を回
避する試みが行われる。
【0161】真性の空間的フィルタリングは、以下に説
明する空間的及び時間的フィルタ内に採用される。メイ
ンブロックと関係した動きベクトルが零であるならば、
フィールド1の失われたラインが別のフィールド内で選
択されることにより、真性の時間的フィルタリングとし
て知られたフィルタリングが行われる。従って、二つの
フィールドのラインはインタレース処理される。メイン
ブロックの統計的な特性を決めるため選択された規準
は、動きの評価の誤差の閾値との比較である。誤差が閾
値よりも小さいならば、ブロックは静止していると見な
される。実際上、ブロックの一部だけが静止しているな
らば、他の部分は依然として重大な誤差を生成する。
【0162】上記規準は、以下の式: MBError(i,j) < threshold × noiseest により表わされ、補間された画素は、 y が偶数の場合 P1(x,y) = P(x,y,0) により表わされ、 y が奇数の場合
【0163】
【数29】
【0164】により表わされる。このタイプの補間は、
平均化による垂直方向形の補間と比べて、2倍の垂直方
向分解能を与え、ラインフリッカーを除去する。動きベ
クトルが零ではない場合、或いは、動きベクトルは零で
あるが、上記定義に付随した誤差に関係する規準が満た
されない場合には、空間的及び時間的フィルタリングが
補間のため利用される。本発明の実施例の文脈におい
て、このフィルタリングは、メジアン形フィルタリング
である。メジアン形フィルタリングにより、真性の線形
フィルタよりも優れた分解能が維持され、フレームのフ
ロント部が重視される。
【0165】図11は上記のタイプの補間を示してい
る。同図において、“×”は補間されるべき画素を表わ
し、“○”はフィールド1の画素を表わし、“△”はフ
ィールド2/3の画素を表わす。補間された画素の値
は、以下の2段階において決定される。第1の段階にお
いて、3個のフィルタF1、F2及びF3に対応する3
個の値が決定される。
【0166】フィルタF1は、補間される画素の上にあ
る画素(b1)の値と、補間される画素の下にある画素
(b2)の値との平均を生成する。フィルタF2は、画
素b1及びb2と、フィールド1の補間されるべき画素
の適当な動きベクトルによる並行移動に対応したフィー
ルド2/3の画素(b)の値との間のメジアン値を与え
る。フィルタF3は、画素(b)の値と、補間される画
素に対し対角方向に隣接した4個の画素(a1,c1,
a2,c2)の値とのメジアン値を与える。
【0167】第2の段階において、メジアン値は上記フ
ィルタにより与えられた3個の値から判定される。MB
(i,j) が、補間されるべき画素により一部が形成される
メインブロックのベクトルを表わすならば、 v x = (1 0) ・MB(i,j) v y = (0 1) ・MB(i,j) を仮定することにより、y が偶数の場合、
【0168】
【数30】
【0169】が得られ、y が奇数の場合、
【0170】
【数31】
【0171】であり、結局、 P1(x,y) = med3(F1(x,y);F2(x,y);F3(x,y)) が得られる。かくして、画素の7個の値に関係するフィ
ルタは構成され、その値の中の1個だけは現在のフィー
ルドに属していない。不十分な動きの評価に起因した影
響は、かくして低減される。一方、分解能は十分に維持
され、対象物の輪郭は、垂直方向及び対角方向に作用す
る有向メジアンフィルタリングにより十分に追跡され
る。
【0172】フィールド2(ルミナンス)の補間 フィールド2は、サブブロックの領域内のベクトル場か
ら補間される。フィールド1の場合と同様に、フィール
ドは入力フィールドと時間的に結合されないので、フィ
ールドの全画素を補間する必要がある。一様性のため、
フィールド2に利用される補間の機構は、フィールド1
に対し利用された機構と類似した特性を有する。従っ
て、サブブロック毎に処理が行われる。
【0173】フィールド1の場合と同様に、サブブロッ
クの動きベクトルと関係した誤差が大きいならば、補間
はフィールド1のため既に利用された空間的及び時間的
フィルタにより行われる。しかし、フィールド2は、フ
ィールド1とフィールド2/3との間に一時的にあるの
で、フィールド1とフィールド2/3との間の動きのベ
クトルは、2個のベクトルに分割され、その中の一方の
フロントベクトルはフィールド1とフィールド2との間
の動きを示し、他方のベクトルはフィールド2とフィー
ルド2/3との間の動きを示す。上記2個のベクトルの
各ベクトルは、整数値に丸められる。動きベクトルの2
個のベクトルへの同一の分割は、フィールド2のサブブ
ロックに関係した動きベクトルの計算中に利用された点
に注意する必要がある。誤差の追加を防止するため、丸
め処理は両方の場合に同一方法で行われる。
【0174】(i,j) が、補間される画素を含むサブブロ
ックの座標を表わすならば、以下のベクトル:
【0175】
【数32】
【0176】が計算される。次に、3個の予備の値(a,
b, c) が決定される。補間される画素が偶数ライン上に
あるか、又は、奇数ライン上にあるかに依存して、計算
法は異なる。y が偶数の場合に、
【0177】
【数33】
【0178】を仮定すると、
【0179】
【数34】
【0180】が得られる。一方、y が奇数の場合に、
【0181】
【数35】
【0182】を仮定すると、
【0183】
【数36】
【0184】が得られる。このフィルタリングは図13
に示される。P2(x,y) は、補間された画素の値であり、
画素a、b及びcからの2個の線形フィルタ及び1個の
メジアンフィルタの結果である3個の値のメジアン値に
対応する。2個の線形フィルタは、補間されるべき画素
の画素a、b、cに関する相対的な位置に対応する重み
係数を用いて時間的補間を行う。2個の真性の、即ち、
各入力フィールド内の単一画素を利用する時間的フィル
タがある点に注意する必要がある。これにより、垂直方
向分解能の損失が回避される。
【0185】上記メジアンフィルタは、発生されたフィ
ールドに良好な空間分解能を維持させる。しかし、メジ
アンフィルタにより、3個のフィールドの種々の補間機
構の間にある種の均一性を保つことが可能になる。サブ
ブロックに関係した動きベクトルが零、又は、ベクトル
の信頼度が高い(小さい誤差)であるならば、補間は、
フィールド1の場合と同様に、真性の時間的補間であ
り、フィールド1とフィールド2/3のラインはインタ
レース処理され、y が偶数であるとき、 P'2 (x,y) = P(x,y,0) であり、y 奇数であるとき、 P'2 (x,y) = P(x,y,1/2) である。
【0186】フォールバック値として知られる上記画素
に対する第2の可能な値が更に計算される。この値は、
以下のFallback2(x,y):
【0187】
【数37】
【0188】のように表わされ、考慮中の2個のフィー
ルド上で空間的な高い周波数を非常に厳密に除去する線
形フィルタリングに対応する。動きベクトルに属する係
数は次式:
【0189】
【数38】
【0190】として定義され、式中、NBPixel は、サブ
サンプル化されたサブブロックに含まれる画素の数を表
わし、Conf(x,y) は、画素に生じた誤差を表わす。従っ
て、補間された画素の値P2(x,y) は、次式:
【0191】
【数39】
【0192】により得られる。上記の値P2(x,y) は動き
中に補償された画素の値と一致するが、調整倍率により
除算された信頼度よりも大きい値によってそれ自体がフ
ォールバック画素の値から削除されないように挿入され
る。フィールド3(ルミナンス)の補間 フィールド3の補間の機構は、フィールド2に対し利用
された機構と類似する。フィールド3は、フィールド2
/3及びフィールド4(即ち、次のサイクルのフィール
ド1)と、サブブロックSB3(i,j)のベクトルとから補間
される。補間係数と、ラインのパリティの現れ方だけが
変わる。
【0193】従って、ベクトルは、以下の式:
【0194】
【数40】
【0195】により計算され、点が計算される。y が奇
数の場合に、
【0196】
【数41】
【0197】を仮定すると、
【0198】
【数42】
【0199】が得られる。y が偶数の場合に、同様に、
【0200】
【数43】
【0201】を仮定すると、
【0202】
【数44】
【0203】が得られる。図14には、上記のフィルタ
リングが示される。信頼度が非常に高く、ベクトルが零
であるならば、真性の時間的補間が再び選択され、y が
偶数の場合に、 P3(x,y) = P(x,y,1) であり、y が奇数の場合に、 P3(x,y) = P(x,y,1/2) である。次に、フォールバック画素が次式:
【0204】
【数45】
【0205】により計算され、動きベクトル内の係数
は、
【0206】
【数46】
【0207】のように表わされる。最後に、表示された
画素の値は、信頼度が低い場合に、その画素がフォール
バック画素の値から遠くに離れるのを防止しながら次
式:
【0208】
【数47】
【0209】のように確定される。上記アルゴリズムは
フィールド2の補間に基づいてモデル化されているの
で、補間の連続性が前のフィールドによって十分に保証
されることが分かる。しかし、サブブロックのベクトル
は、前の出力フィールドに対し定められたメインブロッ
クから計算されているという事実に起因して、時間的な
バイアスを有し、特に、急激に変化する動きの場合に、
上記フィールドの分解能を前のフィールドの分解能より
も低下させる。
【0210】クロミナンスの処理 クロミナンスの補間は、ルミナンスの制約よりは遙かに
厳格ではない制約をうける。実際上、眼の分解能は非常
に低い。更に、4:1:1フォーマットとして知られた
無線周波ネットワーク上の伝送のため採用された規格
は、2本のライン上で同一であるクロミナンス情報の繰
り返しと共に、ルミナンス情報の4個の部分の中の各部
分に対し、1個のクロミナンス情報の部分を伝送するこ
とにより終了するサブサンプリングを含む。かくして、
使用されたフィルタの許容誤差は非常に大きい。従っ
て、簡単化されたフィルタで満足が得られる。
【0211】クロミナンス補間アルゴリズムは、水平方
向に2分の1の画素しか含まないフィールドを考慮し
て、動きベクトルの水平成分を2で除算することによ
り、ルミナンス補間アルゴリズムから直接的に外挿され
る。フィールド1に対し、ルミナンスに使用された7個
の入力画素を有するフィルタは、3個の入力画素に制限
される。
【0212】
【数48】
【0213】を仮定すると、y が偶数である場合に、
【0214】
【数49】
【0215】が得られ、y が奇数である場合に、
【0216】
【数50】
【0217】であり、最終的に、
【0218】
【数51】
【0219】が得られる。フィールド2とフィールド3
に対し、ルミナンスのメジアン時間的フィルタが維持さ
れるが、フォールバックフィルタは除去される。水平方
向フィルタは、空間周波数が低くなり過ぎるまでフィル
タ処理を行うので、時間的ノイズ減少フィルタ内で除去
される。
【0220】フィルムモード フィルムモードは、625/50/2フォーマットでは
なく、625/25/1フォーマットで発生されたビデ
オシーケンスに対応する。上記シーケンスは、入力で順
次的であり、各入力フレームが同じ動きに対応する2個
のフィールドを含むことを意味するフォーマットの形を
なす。
【0221】これにより全体的な問題が発生する。実際
上、上記アルゴリズムが変更されることなく、かかるシ
ーケンスに適用されるならば、メインブロックの計算が
同一フレームの2個のフィールドの間で行われ、その後
に続く全ての連続的な評価は零ベクトルしか発生しない
ので、動きの評価は安全に阻止される。従って、動きが
検出されなかったならば、時間的補間又は動きの補償を
行うことができない。このことは非常に厄介な事であ
り、その理由は、上記シーケンスが表示されたとき、各
入力フレームはスクリーン上に3回しか繰り返されない
からである。これにより、動きを含むあらゆるシーケン
スにおいて特に望まれないジャーク状の影響が生じる。
【0222】かかるジャーク状の影響を著しく減少させ
ることができる簡単、低価格の解決法は、以下の通りで
ある。即ち、情報処理フェーズは、二つの異なるフレー
ムの間の動きが検出され、かつ、評価されるように変更
され、これにより、時間的補間が可能になる。従って、
主要な動きの評価(メインブロックのフェーズ)は、偶
数フィールド1と奇数フィールド2/3との間で行われ
るべきであり、奇数フィールド1と偶数フィールド2/
3との間で行うべきではない。図15のタイミングチャ
ートには、特定の動作モードが示されている。
【0223】従って、全ての処理は、50Hzのフィー
ルドによりオフセットさせられる。これは、出力におい
て、補間されるべきラインが、通常の処理中に有するパ
リティとは反対のパリティを有することを意味する。し
かし、フィルタ及び動き評価は厳密に全く同様に動作す
る。以下のフィールドが連続的に発生させられる。順次
フィールド1は、入力ラインを保持し、上記の7点の空
間的及び時間的メジアンフィルタでそれ以外を補間する
と共に、メインブロックのベクトル場を用いる。
【0224】順次フィールド2は、入力フィールド1及
び2/3で評価されたサブブロックのベクトル場を使用
する。上記の3点のメジアン時間的フィルタも使用され
る。一方、係数1/2及び1/2が、通常の重み係数2
/3及び1/3を適用する代わりに使用され、これは、
かくして発生されたフィールド2が入力フィールド1と
入力フィールド2/3との間で等距離に置かれることを
意味する。係数自体の簡単な変更は、既に処理された全
てのフレーム上で、容易に識別可能であり、かつ、認識
可能であるジャークの重大な減少を含む。かかるジャー
クの減少を説明する図16を参照のこと。
【0225】最後に、順次フィールド3は、通常、中間
ブロックにより補正されたサブブロックのベクトル場を
用いる。実際上、フィールド2/3及びフィールド4
は、同一フレームから生じるので、上記2個のフィール
ドの間に動きはない。従って、信頼度と共にベクトルを
強制的に零にするだけで十分であり、このようにして、
上記フィルタは、完全な順次フレームを再生するため、
2個の入力フィールドを単純かつ簡単にインタレース処
理する。
【0226】結論として、フィルムモードは、フィルタ
の変更と、動きの評価用の機構の変更とを行うことなく
処理が行われる。フィルムモードの存在が検出された
後、処理のフェーズと、フィールド2のフィルタの係数
と、フィールド3のベクトル及び信頼度とを監視するだ
けで十分である。かくして得られたジャークの減少は、
低価格で実現される。
【図面の簡単な説明】
【図1】本発明の方法の入力及び出力フィールドを時間
軸に関して表わす図である。
【図2】本発明の実施例による方法を利用する装置のブ
ロック図である。
【図3】図2の装置のある点のフィールドのタイミング
チャートである。
【図4】周期構造からなるフレームと、かかるフレーム
に対し発生させ得る動きベクトルの一例とを表わす図で
ある。
【図5】マトリックスの最小誤差を含む所定の動きベク
トルの垂直成分と関係した誤差マトリックスのラインの
誤差の度数分布図である。
【図6】フレームの動きのベクトル場の判定に周期ブロ
ックを考慮するため利用される処理の説明図である。
【図7】二つのローパスフィルタを表わす図である。
【図8】フィールド1、2及び2/3と、サブブロック
に対する候補ベクトルとしてベクトルが選択されたメイ
ンブロックに対するサブブロックの位置とを表わす図で
ある。
【図9】フィールド1、2/3及び3と、候補ベクトル
としてベクトルが使用された中間ブロックの位置とを表
わす図である。
【図10】(a)は再帰的な時間的ノイズを減少させる
処理により利用される非線形関数を表わし、(b)は再
帰的な時間的ノイズを減少させるフィルタのブロック図
である。
【図11】フィールド1の補間に使用されるメジアン形
の空間的及び時間的フィルタを表わす図である。
【図12】フレーム内の周期構造の存在と関係した問題
を示す図である。
【図13】フィールド2の補間のため使用される空間的
及び時間的フィルタの2通りの実施例を示す図である。
【図14】フィールド3の補間のため使用される空間的
及び時間的フィルタの2通りの実施例を示す図である。
【図15】図2に示された装置のある点におけるフィー
ルドのフィルムモード中のタイミングチャートである。
【図16】(a)、(b)及び(c)は、夫々、時間に
対し、ビデオフィールドの通常の動作モード、フィルム
フィールドの通常の動作モード及びフィルムフィールド
の特定の動作モードを示す図である。
【符号の説明】
1 ランダムアクセスメモリ 2 ノイズ減少回路 3 フィールドメモリ 4 補間器 5 動き評価回路

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 第1のフレームと第2のフレームとの間
    で第1の動きのベクトル場を判定する段階からなるブロ
    ックにより動きを評価する方法であって、 上記第2のフレームと第3のフレームとの間で第2の動
    きのベクトル場を判定する段階を更に有し、 上記第2の場の各ベクトルは上記第1のベクトル場から
    得られた候補ベクトルの組から選択され、 その選択は上記第2及び第3のフレームに格納された情
    報の関数として行われることを特徴とする方法。
  2. 【請求項2】 上記候補ベクトルの中からベクトルを選
    択する規準は、最小歪みの規準であることを特徴とする
    請求項1記載の方法。
  3. 【請求項3】 上記第1のベクトル場は第1のサイズの
    ブロックに対し判定され、 第2のベクトル場は、上記第1のサイズ以下のサイズの
    第2のサイズのブロックに対し判定されることを特徴と
    する請求項1又は2記載の方法。
  4. 【請求項4】 上記第2のベクトル場が、時間的に上記
    第2のフレームと上記第3のフレームとの間にある第4
    のフレームに対し判定される必要があるとき、ベクトル
    及び上記第4のフレームの所定のブロックに関係した上
    記歪みは、上記ブロックを上記第2及び第3のフレーム
    内で上記ベクトルに沿って投影し、かつ、上記二つの投
    影の間の差を評価することによって評価されることを特
    徴とする請求項3記載の方法。
  5. 【請求項5】 上記第4のフレームの現在のブロックに
    対する候補である上記ベクトルは、上記現在のブロック
    の上記第2のフレームへの直交投影により生じたブロッ
    クに対応する上記第2のベクトル場のベクトル、及び/
    又は、上記投影に隣接したブロックのベクトルから得ら
    れることを特徴とする請求項4記載の方法。
  6. 【請求項6】 上記第2の場に対応したブロックは、上
    記第1の場に対応した水平方向又は垂直方向のブロック
    の帯であり、 上記第2のフィールドに対する候補であるベクトルは、
    水平又は垂直成分が一つのディジタル化の単位又はステ
    ップにより変更された上記投影のベクトルにより構成さ
    れることを特徴とする請求項5記載の方法。
  7. 【請求項7】 50Hzから70Hzへのフレーム周波
    数変換システムにおいて行われ、 上記第1のベクトル場は、第1の入力フレームと第2の
    入力フレームとの間で判定され、 上記第2のベクトル場は、上記第2の入力フレームと第
    3の入力フレームとの間で判定され、 第1の出力フレームは、上記第1の入力フレームと時間
    的に結合され、 第2の出力フレームは、時間的に上記第1及び第2の入
    力フレームの間にあり、 第3の出力フレームは、時間的に上記第2及び第3の入
    力フレームの間にあり、 第3のベクトル場は、上記第2及び第3の入力フレーム
    の間で判定され、 上記第3の場のベクトルに対する候補であるベクトル
    は、上記第2の場のベクトルから得られ、 上記第3の場に対応するブロックは、上記第2の場に対
    応するブロックよりも小さいサイズを有することを特徴
    とする請求項1乃至6のうちいずれか1項記載の方法。
  8. 【請求項8】 Err(i,j)(0,v)-Err(i,j)(u,v) < Errmin
    abs*threshold _xならば、u = 0 であり、 Err(i,j)(0,v)-Err(i,j)(u,v) < Errminabs*threshold
    _y ならば、v = 0 であるように、 成分が強制的に零にされた上記ベクトルにより生じた歪
    みと、上記ベクトルにより生じた歪みとの間の差が、一
    定の係数により乗算されたいずれかのフレームにおける
    ノイズの評価よりも何れにしても小さい場合に、ベクト
    ルの水平又は垂直成分は強制的に零にされることを特徴
    とする請求項1乃至7のうちいずれか1項記載の方法。
  9. 【請求項9】 水平及び垂直成分が強制的に零にされた
    ベクトルにより生じた歪みと、同一の垂直又は水平成分
    を有するベクトルにより生じた歪みとの間の差の行又は
    列に関する和が、補正係数により乗算されたフレーム内
    のノイズの評価よりも低い場合、即ち、 水平成分に関して、 【数1】 垂直成分に関して、 【数2】 であるならば、ベクトルの水平又は垂直成分は強制的に
    零にされることを特徴とする請求項1乃至7のうちいず
    れか1項記載の方法。
  10. 【請求項10】 上記フレーム内のノイズの評価は、 a及びbが、夫々、上記第1のベクトル場のフレームの
    幅当たりのブロック数及び高さ当たりのブロック数を表
    わすとき、 Errminabs = min {Errmin(i,j), (Errmax-Errmin)(i,
    j) } i=1,...,a j=1,...,b により与えられることを特徴とする請求項8又は9記載
    の方法。
JP8342172A 1995-12-22 1996-12-20 動きを評価する方法 Pending JPH09233435A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9515403A FR2742902B1 (fr) 1995-12-22 1995-12-22 Procede d'estimation de mouvement
FR9515403 1995-12-22

Publications (1)

Publication Number Publication Date
JPH09233435A true JPH09233435A (ja) 1997-09-05

Family

ID=9485890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8342172A Pending JPH09233435A (ja) 1995-12-22 1996-12-20 動きを評価する方法

Country Status (4)

Country Link
EP (1) EP0780795A1 (ja)
JP (1) JPH09233435A (ja)
CN (1) CN1168062A (ja)
FR (1) FR2742902B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297329A (ja) * 2000-04-12 2001-10-26 Canon Inc 領域分割方法及び装置並びに記憶媒体
WO2009081675A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
JP2011508517A (ja) * 2007-12-20 2011-03-10 インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド 適応探索範囲を用いた動き推定
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8649437B2 (en) 2007-12-20 2014-02-11 Qualcomm Incorporated Image interpolation with halo reduction
KR101394468B1 (ko) * 2013-11-12 2014-05-14 주식회사 아나패스 블록의 불연속도 연산방법 및 이를 이용한 폴백 수행 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0936575B1 (fr) * 1998-02-17 2004-07-28 Koninklijke Philips Electronics N.V. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
US11381834B2 (en) 2018-04-02 2022-07-05 Hfi Innovation Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0648052B1 (en) 1993-09-08 2000-03-01 THOMSON multimedia Method and apparatus for motion estimation using block matching

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297329A (ja) * 2000-04-12 2001-10-26 Canon Inc 領域分割方法及び装置並びに記憶媒体
JP4553332B2 (ja) * 2000-04-12 2010-09-29 キヤノン株式会社 領域分割方法及び装置並びに記憶媒体
JP2011508517A (ja) * 2007-12-20 2011-03-10 インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド 適応探索範囲を用いた動き推定
US8649437B2 (en) 2007-12-20 2014-02-11 Qualcomm Incorporated Image interpolation with halo reduction
JP2014116951A (ja) * 2007-12-20 2014-06-26 Qualcomm Incorporated 適応探索範囲を用いた動き推定
WO2009081675A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
KR101394468B1 (ko) * 2013-11-12 2014-05-14 주식회사 아나패스 블록의 불연속도 연산방법 및 이를 이용한 폴백 수행 방법

Also Published As

Publication number Publication date
EP0780795A1 (fr) 1997-06-25
CN1168062A (zh) 1997-12-17
FR2742902B1 (fr) 1998-01-23
FR2742902A1 (fr) 1997-06-27

Similar Documents

Publication Publication Date Title
De Haan et al. True-motion estimation with 3-D recursive search block matching
US8144778B2 (en) Motion compensated frame rate conversion system and method
JP5657391B2 (ja) ハローを低減する画像補間
US6600839B2 (en) Non-linear adaptive image filter for filtering noise such as blocking artifacts
EP0800744B1 (en) Video signal scan conversion
EP0395271B1 (en) Motion dependent video signal processing
US6307888B1 (en) Method for estimating the noise level in a video sequence
EP0395275B1 (en) Motion dependent video signal processing
JPH09261600A (ja) 順次フレームの補間方法
EP1585326A1 (en) Motion vector estimation at image borders for frame rate conversion
JP3845456B2 (ja) 動き補正ビデオ信号処理方式
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
JPS62213392A (ja) フイ−ルド補間方法
US20010017889A1 (en) Motion compensated interpolation
EP1592248A1 (en) Motion vector estimation employing adaptive temporal prediction
Van Roosmalen et al. Correction of intensity flicker in old film sequences
JPH09233479A (ja) 周期構造を有するフレーム間の動きの補正と評価の方法
US7197075B2 (en) Method and system for video sequence real-time motion compensated temporal upsampling
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
US20100177239A1 (en) Method of and apparatus for frame rate conversion
JP2006504175A (ja) フォールバックを用いる画像処理装置
EP1583367A1 (en) Motion estimation employing line and column vectors
EP0395269B1 (en) Motion dependent video signal processing
JPH09233435A (ja) 動きを評価する方法
TW201322769A (zh) 運動向量改善裝置及其影像改善方法