JPH06501358A - ビデオ画像処理 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明はビデオ画像処理に、且つ更に詳細には、見掛けの運動の方向及び大き さを示す運動ベクトルを画像の種々の領域に割り当てて所望の出力画像の生成を 助けるようにすることに関係している。

我々の英国特許ＧＢ−Ｂ−２１８８５１０及びＢＢＣ研究部門報告書（ＢＢＣＲ ｕｅｉ！ｃｈ　Ｄｅｐｕｔｍｅａｔ　ｉｌ＋ｐｏｒｔ）　ＲＤ　１９８７／　１ １は、区域全体について適用可能である運動ベクトルであってこれの一つが画像 の各領域に適用されるものと見なされ得るような運動ベクトルの目録（リスト） を与えるためにビデオ画像を処理する方法を記述している。他の方法も又そのよ うな通勤ベクトルの目録を生成するために可能である。そのようなベクトルを使 用するためには次にこれらのベクトルのどれが画像の所与の領域に適用され得る かを選択することが必要である。各領域は画像素子（画素）のように小さいこと もあり又は複数の画像素子若しくは画像のブロックからなっていることもある。

運動ベクトルは、例えば、二つの人力フィールドの時点の中間にある時点に対応 する出力フィールドを生成するために使用されることができる。これは例えばス ローモーション効果を生成する際に、ビデオ画像をフィルムへ若しくはフィルム から転送する際に、又は標準変換の際に必要とされるであろう。

運動補償の最も興味深い応用の一つは、単に各画像を多数回繰り返すことに起因 するびくびくした動きを伴うことなくスローモーション画面を生成することであ る。画像における各物体の運動ベクトルの知識は任意の時点に対応する新しい画 像が生成されて正しく配置された物体を示すことを可能にする。シャブタ付きＣ ＣＤカメラと関連してそのような技法を使用すると、そのようなカメラの使用が もたらすような動作上の問題を伴うことなく、高フレームレートのカメラから得 られるものに近い品質で、鮮鋭な滑らかに動く画像が生成されることが可能にな るはずである。

典型的な画像はその最も簡単な形式においては、図面の図１に幾分線図的に図解 されたように、移動する前景領域と背景領域とを有するものとみなされることが できる。（ａ）には背景の前面における前景物体、例えば球、からなる画像の一 つのフィールドが示されている。（ｂ）にはこの画像の次のフィールドが示され ている。球は位置へから位置已に動いたであろう。画像（ｂ）を見ると、（ａ） において見られた背景の一部分が今では隠されており、且つ（ａ）において見ら れなかった背景の一部分が今では現され又は覆いを取られている。

一般に背景も又、例えばカメラがパンされている場合には、画像において「移動 して」いることがある。それゆえに運動ベクトルはそれぞれ前景にも又背景にも 関係することになる。適当な運動ベクトルは各場合において（例えば我々の前述 の特許において記述されたように生成された）可能な運動ベクトルの目録から、 二つの連Ｉ！シたフィールドを比較して画像の槽々の領域にわたって行われた動 きを考察することによって選ばれる。

この動作は画像区域の大部分についての正確な情報を提供する。すなわち、球の どちらの背景、Ａ又はＢ１によっても覆われていない背景は二つの画像間で比較 されることができる。文法の位置Ａ及び位置Ｂの両方によって覆われた重なり領 域は適当なベクトルを与えるために比較されることができる。しかＬながら、隠 された背景の区域及び現れた又は覆いを取られた背景の区域の両方においては、 フィールリの一方は球の画像を又他方のフィールドは背景の画像を含んでいる。

これらは＊意に相関させられることができない。

多くの運動推定アルゴリズムが提案されている。例えば、ディンタル通信に関す る国際チューリヒセミナーの議事録、１９８４年３月、ページＤ２．１〜Ｄ２゜ ５所載、バーブマン、Ｈ，Ｃ著「通勤適応性フレーム補間Ｊ　（？：ｏｃｅ＋ａ ｔｎｇ＋　ｏｒｔｈｅ　１Ｎｕｎｕｉａｕｌ　２ｕ＋ｉｃｈ　５ｕｉｎ！！　ｏ ｎ　Ｄｉｇｉｎｌ　Ｃｏｍｍｏｎｉｃｉ目ｏｎｅ、Ｍｚ＋ｃｈ　１９８４゜ｐｚ ｇｕ　０２．１−０２．５．　Ｂｅ４ｍｚｎｎ、　Ｈ，Ｃ、”Ｍｏ＋１ｏｎｘｄ ｉｐｔｉｖｅ　Ｉｒｕ＋ｅ　ｉｎ＋＋ｐｐｏｌｉ＋ｉｎh　） を見よ。大抵のものはそのような領域における運動を検出することができないか 又は背景が静止しているときにだけそのような領域を検出することができるが、 それの存在を検出することができるものについて我々は任意のものが、視野から 消え又は再び現れた時点で、その領域の運動の方向又は大きさを決定することが できるとは思わない。

１９９０年１０月３１日公表された欧州特許出願ＥＰ−Ａ−０３９５２６１号は １４２５／′６０／′２：Ｉ　Ｅ（ＤＴＶ信号をフィルムヘノ記録のためｔ：２ ４ｔｈｏ次（非飛越し）形式に変換するための機器を記載しており、この機器は 、第１段が画像の比較的大きい区域を相関させて（ブロック整合させて）可能な 運動ベクトルの目録を決定することからなっており、次にベクトルを何々の画素 に割り当てるための割当て過程が続く２段アルゴリズムを含んでいる運動推定技 法を利用している。この割当て過程においては、ベクトルが現存する入力フィー ルドにおける画素に割り当てられ、そしてこの情報は次に所望の出力フィールド における画素に適用されるように変換されなければならない。三つの人力フレー ムが比較の際に使用される。

発明の要約 この発明は添付の諸請求項に定義されており、今これを参照してみるべきである 。

この発明の採択実施例においては、ビデオ画像の各領域についての画像値が四つ の連続したフィールドのそれぞれに関して、可能な運動ベクトルの目録のそれぞ れのものについて決定される。四つのフィールドに関しての値は比較され、そし てこれらの値が所与のベクトルについて実質土間じであるときには、それはその 領域に適当なベクトルであると仮定される。雇れた又は現れた背景の領域に適し たベクトルも又、フィールド間の差を比較して、フィールド間の差が四つのフィ ールドの群の中心対及び一方の外側対については高く且つ他方の外側対について は低い領域を決定することによって割り当てられることができる。

出力フィールドは補間によって生成されることができる。隠れた背景に対応する 領域を生成するためにはより前のフィールドからの情報だけが使用され、父親れ た背景に対応する領域を生成するためにはより後のフィールドからの情報だけが 使用される。

図面の簡単な説明 この発明の採択実施例は、例のつもりで、諸図面に言及して更に詳細に説明され るが、この諸図面中、 図１（上で言及）は前景物体の移動が生している一連のビデオ画像の二つの連続 したフィールドを示しており、 図２は所与の運動ベクトルについて四つの連続したフィールドにおける対応する 点を図示した１図であり、 図３は四つの連続したフィールド間におけるような前景及び背景の移動を図解し た線図であり、 採択実施例の詳細な説明 画像全体が同じ試行運動ベクトル、すなわち可能な運動ベクトルの目録における ベクトルの一つ、に従って表示されていると仮定すれば、任意の画素の値はその ベクトルの量だけ変位している前のフィールドにおける点を振り返って見ること によって推定される二とができる。別の方法上して、任意所与のフィールドをデ ータとしてとって、前方及び後方を見て、このデータフィールドにおける各画素 についてこの画素が先行及び後続のフィールドの発生時点でとっていたであろう 値を生成することができる。これはデータフィールドにおける画素からその運動 ベクトルに適した量だけ変位しているそれらの先行及び後続のフィールドにおけ る点を考察することによって達成される。この動作は、ビデオ信号の四つのフィ ールドをそれぞれ時点τ−１，ｔ、（＝ｌ、及びｔ−２において線図で示してい る図２に図解されている。垂直軸には一次元で画像を横切る空間部分が示されて いる。運動のために、種々のフィールドにおいて対応している点は空間的に変位 している。

それゆえ、任意所与の運動ベクトルについて、データフィールドにおける各面零 に関して、この［１素が一連のフィールドにおいて有していると予想される値を 確立することができる。運動ベクトルが実際にその画素について正しいものであ るならば、それらの値は大体同じになりそうである。動作がすべての可能な運動 ベクトルについて通り返されるならば、得られた値において最小の変動を生ずる ベクトルがその画素について適当なベクトルでありそうである。この値は、各画 素及び各ベクトルについての割当て誤差の測度を与えるために処理されることが できる。

それゆえ、この発明に従って、我々は、四つの連続したフィールドの内容を朋い て画像の種々の領域のための適当な運動ベクトルを決定することを提案する。

それぞれ時点ｔ−１，ｔ、ｔ＋ｌ、及びｔ＋２において示されたビデオの四つの フィールドを同様に線図で図解している図３に言及が行われる。垂直軸にはそれ 自体移動している背景上で移動している前景物体が一次元で示されている。図に 見られるように前景物体はフィールドｔ−１及びｔ　−２間で常時上方へ移動し ており且つ背景はよりゆっくり下方へ移動している。

現存する／ステムは二つの中心フィールドを及びｔ−１を比較して、画像のある 領域に適したベクトルを決定することができない。特にそれは、フィールド℃と ｊ−ｒｌとの間で隠される背景を表現している。Ｃの符号を付された領域に適し たベクトル、又は現れた背景を表現している、ｅの符号を付された領域に適した ベクトルを決定することができない。

運動ベクトルは補間操作において使用されて、フィールドを及びｔｅ１間の中間 の時点に対応する時点ｔ＋δｔにおいて出力フィールドを生成することができる 。四つすべてのフィールドを利用することによって、運動ベクトルの検出がより 正確になるだけでなく、又画像の領域Ｃ及びｅにベクトルを割り当てることが可 能になる。図２に示された種々の領域ａないしｇのそれぞれに適用される処理は 次のとおりである。

領域ａ及び　背景の運動ベクトルは四つのすべてのフィールドの全域で低い割領 域ゞ　当て誤差を与えるので、四フィールド補間が使用され得る。

領域ｂ　背景の運動ベクトルは四つすべての全域でではなく両中心フィールド間 で低い割当て誤差を与え、中心フィールドの全域におけるニフィールド補間が使 用され、又は最初の二つのフィールドにおける割当て誤差が中心フィールドにお けるそれより小さければ時点ｔにおけるフィールドの補作がことによると使用さ れる。

領域Ｃ背景ベクトルは最初の二つのフィールドだけの全域で低い誤差を与え、池 のベクトルは任意の期間において低い割当て誤差を与えない。それゆえこの区域 は「隠れた」として標識付けされ、そして背景ベクトルを用いて時点ｔにおける フィールドから補作される。

領域ｄ　物体の運動ベクトルは低い四フィールド割当て誤差を与えるので、四フ ィールド補間が使用される。

領域ｅ　背景ベクトルは最後の二つのフィールドにおいて低い割当て誤差を与え 、他のベクトルは任意の期間において低い割当て誤差を与えない。それゆえこの 区域は「現れた」として標識付けされ、そして背景ベクトルを用いて時点ｔ＝１ におけるフィールドから補作される。

領域ｆ　背景ベクトルは四つすべての全域でではなく両中心フィールド間で低い 割当て誤差を与え、中心フィールドの全域におけるニフィールド補間がそれゆえ 使用され、又は最後の二つのフィールドにおける割当て誤差が中心フィールドに おけるそれより小さければ、ことによると時点ｉ＋１におけるフィールドが補作 される。

このようにベクトル割当ては画素ごとの方式であれブロックごとの方式であれ図 解されたすべての画像領域について可能である。隠れた背景に対応する領域は先 行するフィールドにおける情報だけを用いて父親れた背景の区域における情報は 後続のフィールドだけを用いて生成される。

割当て誤差が生成される方法が次に説明される。ビデオ信号の四つのフィールド が適当な記憶によって同時に利用可能にされる。各試行ベクトルに関して、提案 された運動軌道に沿っての四つの値が決定される（図２を見よ）。取られた値は 信号の輝度値である。運動ベクトルは１画素より良い確度で決定されることがで き、そしてこれが事実であるときには運動軌道はフィールドｔ−１，を士１、又 はｔ＋２における現存する標本位置を正確には通過しない。次に、それらのフィ ールドにおける最も近い画素位置に関連した輝度値を計算するために空間補間器 が使用される。

このようにして１！！られな四つの値は時間変化する輝度成分の振幅を測定する 高域フィルタを通過させられる。多くのフィルタ応答が可能であるが、差の絶対 値の重み付き平均値を与える可能なフィルタ応答の例は０．２５Ｘ　（ｌａ　− ａ　：＋１ａｏ−ａ２ｉｔｌ　ｌ ＋Ｑ、　１２５Ｘ　［：ａ−、−ａｏｌ＋２：ａｏ−ａ、　ｌ＋；ａ、−ａ２１ １である。

すなわち値は各画素位置について得られる。画像の全域での値は次に空間低域フ ィルタに加えられることによって平滑化されて、各ベクトルについての四フィー ルドベクトル割当て誤差を形成する。各画素に関してすべての可能な試行ベクト ルについての四フィールドベクトル割当て誤差の大きさが次に比較される。最低 の四フィールドベクトル割当て誤差の大きさが所与のしきい値より下にあるなら ば、対応するベクトルがその画素に割当てられてこの画素は単純な並進運動を受 けているものとして標識付けされる。

最低の四フィールド割当て誤差がこのしきい値より上にあるならば、連続したフ ィールド間の差は、図３に関して上に説明されたように、どのベクトル及び期間 が最低の誤差を与えるかを決定するためにすべての試行ベクトルについて検査さ れる。例えば、領域が現れた背景に対応しているならば、１ａ１−ａ２１は正し い運動ベクトルについて小さい振幅を持っていると予想され且っ１ａＧ−ａ、ｌ 及びｌ　ａ−＋　”０　：は高いであろう。同様に、隠れた背景の領域はｌａ− 、−ａＱ　ｌの低い振幅を生じさせるであろう。最低値が中心期間についてのも のであるとするならば、その領域はちょうど現されたばかりであるか又は隠され ようとしているかであると推断されてよいであろう。三つの誤差は空間フィルタ にかけられ、且つ望ましくは比較される前に重み付は係数によって乗算される。

重み付は係数は最外部フィールド期間の一つについての誤差が中心期間について よりも有意に小さいときにだけ区域が現れた又は隠れた背景として標識付けされ ることを保証するように選ばれる。

図３の方法の実行可能なハードウェア実施が次に図４ないし６をＩＢ＠シて説明 される。図４は試行運動軌道に沿っての四つの輝度値が得られる方法を示してい る。四つの連続したフィールド期間から信号値を与えるために三つの固定フィー ルド遅延器１０か使用される。関連の到来フィールドとベクトルフィールドが生 成されている時間との間の期間に対応する値により乗算された試行ベクトル値に 従ってシフトを行うために可変遅延器１２が使用される。そのような可変遅延器 は適当な読取り及び書込みボイノタによりアドレスされる多数の等速呼用記憶装 置を用いて容易に実現されることができる。フィールドが画素以下の確度で変位 させられる実施例においては、各シフタは周囲の画素の値を与えるために多数の ノックによって！き換えられ、そしてこの値はシフトの画素以下の部分を行うた めに空間補間器に供給される。このような補間器は周知である。

図５は図４において計算された輝度値から四フィールド及びニフィールド割当て 誤差を計算するための可能な装置を示している。これらの誤差はフィールド差の 絶対値を計算するための回路１６が後続している減算器１４を用いて計算されろ 。絶対値差は空間的にフィルタされてニフィールド誤差を形成し、これは四フィ ールド誤差を計算するために使用される。そのような空間フィルタリングを行う ために使用され得るような集積回路が利用可能であり、−例はＴ　ｎｍｏ　５Ａ １１０である。この例においては、四フィールド誤差は単純に加合せ器１８にお いて三つのニフィールド誤差の和から得られる。より複雑な高速フィルタ装置も 又前に説明されたように使用されることができる。これらの誤差は決定回路２０ に送られ、そしてこの回路は互いに関して且つ前に説明されたような所与のしき い厘及び重み付は係数に関して誤差の値に基づいて決定を行う。そのような回路 は比較器及び論理ゲートのような構成部品から構成されることができる。

図６は各試行ベクトルと関連した分類符号及び誤差が最終決定に到達する―めに 比較される方法を示している。これは比較器を用いて各ベクトルについての誤差 を比較して最小のものを決定することを含んでいる。誤差はその分類に依存して 比較前に重み付けされることができ、そのような重み付けは誤差値及び分類符号 によりアドレスされるプログラム可能な固定記憶装置２２を用いることによって 実施されることができる。選ばれたベクトルを示す数は試行運動ベクトルの目録 を収容している探索表をアドレスするだめの数を用いることによってそのベクト ルの水平及び垂直ベクトル成分に容易に変換されることができる。

上に説明されたように碍られたベクトル及び分類情報を用いた画像補間は図４に 示されたものに非常に項似したフィールド遅延器及び可変遅延器の配列を用いて 容易に実施されることができる。可変遅延器は選ばれたベクトルによって制御さ れ、得られた四つの輝度値は、生成されるへきフィールドの分類符号及び時間的 位置により係数が決定される四タップフィルタに送られる。そのようなフィルタ は加算器及び乗算器、並びにフィルタ係数を保持するための固定記憶装置を用い て容易に構成されることができる。

割当て誤差の測度としてフィールド差を用いることの代替例として、各画素の領 域における輝度こう配を考慮することによってより正確な測度を形成することが 可能である。これはより小さい重みが高度′ａＭ区域における誤差に与えられる ことを可能にし、又運動ベクトルにおける小さい不正確さがそのような領域にお いて高いフィールド差を生じさせることがあるので有利である。割当て誤差を計 算する適当な方法は次のとおりである。

割当て誤差＝（：差ニ一定数）／（１こう配ニ一定数）ここで、差＝（ａｏ　ａ ｔ　）　（最初の二つのフィールド間の割当て誤差の場合） 定数は、その関数が、例えば４輝変量子化レベルに等しい、雑音及びセロこう配 からの問題を減小させることができる定数であり、又　こう配＝平方根［Ｙ　（ ｘ−１，ｙ）　−Ｙ　（ｘ−１，ｙ）　）　２＝−（Ｙ　（ｘ、　ｙ−１）　− Ｙ　（Ｘ、　ｙ−１）　）　ｌ　２但し、Ｙ　（ｘ、ｙ）はベクトルフィールド が生成されている時点に時間的に最も近い入力フィールドにおける輝度レベルで あって、（ｘ、ｙ）は考察中の運動ベクトルが通過するこの画像における室標で ある。

この技法は割当てベクトルの任意のものを計算するときに使用されることができ る。結果として生じる誤差は上に説明されたように空間低減フィルタにかけられ る。

割当て誤差の計算に対する更なる実行可能な改良はこれまでに説明されたような 輝度からの情報に加えてクロミナンス信号からの情報を含めることである。二つ のクロミナンス割当て誤差は、いわゆるＵ及びＶクロミナンス信号を使用するこ とによって、ｆｌｌ［文について説明されたのと同じ方法で計算されることがで きる。

クロミナンス割当て誤差は次に輝度成分から得られたそれに加算されて組合せ割 当て誤差信号を与えるが、この誤差信号はｆｉｌｌ！佃部がほとんどなくて有意 のクロミナンス細部がある画像区域において輝度だけの信号よりも信頼性がある であろう。

すべての割当て誤差が大きければ、ベクトルが運動に整合しないと推断されるこ とができ、画素はその場合未知のベクトルを育するものとしてＩｌｌ識付けされ る。

二つ以上のベクトルが類似の低い割当て誤差を与えるならば、正しくないベクト ルが選択されているかもしれない可能性がある。実際にはこれはベクトルが有意 に異なった値を持っているかどうかの問題にすぎない。この発明の一実施例にお いては、信頼性はこの状況においては、独特のベクトルが見つけられるまで、よ り大きい開口を持った空間フィルタを用いて割当て過程全体を繰り返す二とによ って改善される。別の方法として、誤差信号の空間フィルタリングは複数のフィ ルタ開口を用いて並列に行われることができ、そして独特の答を与える最小のフ ィルタ開口からの信号が使用される。低い割当て誤差を与える独特のベクトルが 見つけられない場合には、画素は未知の運動を賀するものとして標識付けされる 。

連続したフィールド間の整合誤差を組み合わせ且つ重み付けする、より複雑な方 法はベクトル割当て過程の信頼性を改善するために使用されることができる。

例えば、この発明の採択実施例においては、七つの整合誤差が次のように三つの 重み付けされていない整合誤差から計算される。

まず、上述のこう配方性を用いて三つの重みなし割当て誤差ＥＯ，Ｅ１及びＥ２ を計算する。ＥＯは（ａｏ”’−ａｌ　）を用いて決定された四つのフィールド の最初の二つのものの間の割当て誤差であり、Ｅｌは中心の二つのものの間の誤 差であり、又Ｅ２は最後の二つのものの間の誤差である。

次に、ＥＯ９Ｅ１及びＥ２の重み付き組合せに基づいて七つの誤差ＷＯ〜Ｗ６を 計算する。すなわち、 Ｗ２＝Ｅ２☆５ｅｃｏｎｄ　ｗｔ Ｗ３”（ＥＯ−ＥＬ）　／’２☆ｔｏｏ　ＷｔＷ４＝（Ｅ１＝Ｅ２）／２☆ｔｗ ｏｗｔＷ５−（Ｅｌ−Ｅ２）／２☆ｔｗｏ　ｗｔＷ６＝（ＥＯ＋Ｅ１４−Ｅ２） ／３☆ｔｈｒｅｅ　ｗｔ重み付は係数はベクトル選択過程の動作を最適化するよ うに選ばれた定数でもよく、又は試行ベクトルの大きさ、割当てフィルタ空間用 開ロリメンシ這ン、及び出力フィールド位置のようなパラメータの関数でもよい 。

一実施例においては、ｆｉｒｓｔ　ｗｔ及び５ｅｃｏｎｄ　ｗｔは背景及び前景 ベクトルが競合するときに物体境界における諸問題を減小するような方法で変化 する関数である。そのような領域においてはＥＯ−Ｅ２に適用された空間低減フ ィルタは背景ベクトルが物体の縁部のすぐ内部で選択されるようにする傾向があ る。次の式はこれら二つの重み付は係数について使用され得る。

ｆｉｒｓｔ　ｗｔ＝１−（δｔ☆ベクトル長）／開口長５ｅｃｏｎｄ　ｗｔ＝１ ＝　（（１−δｔ）☆べ゛クトル長）／開口長ここで、δｔは図３に示されたよ うに範囲０〜１における出力フィールド位置であり、又開口長は割当て誤差ＥＯ −Ｅ２に適用された空間フィルタの大きさである。

これらの重み付は係数は非零に大きいベクトルの場合には固定した最大値に制限 されることができる。

その他の重み付は係数（ｏｎｅ　ｗｔ、ｔｗｏ　ｗｔ及びｔｈｒｅｅ　ｗｔ）は １より小さいように選ばれた定数であり、従って常にｆｉｒｓｔｗｔ又は５ｅｃ ｏｎｄ　ｗｔより小さい。これは前景を表すベクトルが現れた又は隠れた背景を 示すベクトルに関して有利であることを保証する。これは前景物体の縁部が背景 として取り扱われる（物体に穴を現わさせる）よりも移動する物体の縁部の周り の背景が前景として取り扱われる（わずかにぼけた状態になる）方が主観的には るかに良いからである。

各試行ベクトルに関して、重み付き和ＷＯ−Ｗ６が比較され、そして各標本につ いて最小のものが選択させる。この選択に従って、ベクトル及び区域分類が行わ れる。すなわち、Ｗｌ、Ｗ３．Ｗ４．Ｗ５又はＷ６が最小であるならば、対応す るベクトルが割当てられて、前景として標識付けされる。ＷＯが最小であるなら ば、対応するベクトルが割当てられて、隠れた背景として標識付けされる。同権 に、Ｗ２が最小であるならば、ベクトルは現れた背景を表現するものとして標識 付けされる。前に言及したように、最小の誤差か事前設定のしきい値より上にあ るならば画素は未知のベクトルを持つものとして標識付けされることができる。

得られたベクトル及び区域分類情報は必要とされるならば付加的な後処理にかけ られることができる。これは低域又はメツアン空間フィルタの使用を含むことが ある。そのようなフィルタは周知である。

図３に関して注記されたように、上述の操作から得られたベクトル及び分類情報 は画像画面の時間的補間において特別の応用を見いだす。そのような応用は高品 質スローモーション再生の生成、異なったフィールドレート間の標準変換、及び 表示レートをテレビ：、″ヨンのそれに増大するためのフィルム画面における画 像の補間を含んでいる。

再び図３に言及すると、出力画像は現存するフィールド間の任意の時点て補間さ れるものとして示されている。ニフィールド及び四フィールド補間フィルタにつ いての係数の計算は比較的簡単であり且つ周知の過程である。この図はベクトル が割当てられ得ないような領域を示していない。そのような領域は非適合四タッ プ時間フィルタを用いて補間されるが、これの応答は図３における領域ａ。

ｄ及びｇにおいて使用される運動補償口タップフィルタのそれに類似して−）れ ばよい。

この発明の一実施例においては、ベクトル選択過程は二つまでのベクトルが現れ た及び湛れた背景の諸領域における各出力画素について生成されることを可能に するように拡張されることができる。これは前景及び背景物体間の接合部におけ る画像補間のために使用されるベクトル間のソフトスイッチを与える。例えば、 現れた背景として割当てられた各画素（すなわち、最後の二つのフィールド間で 発生した最低の重み付き割当て誤差については、最初の二つのフィー／ｌ、ド１ こつ（１て最小の割当て誤差を与えるベクトルも又決定される。出力画像は次に 、前に説明されたように（所要の出力時点について規準化された）割当てられた 現れた背景ベクトルによりシフトされた後続のフィールドから、この二次ベクト ルによりシフトされた先行のフィールドからの寄与分と共に、補間される。二つ の寄与分の相対的割合は次のように決定されることができる。すなわち、制御信 号は補間されるべき各画素について計算されて、後続のフィールドからとられる べき出力画像の部分を措定する。荷量区域におけるすべての標本について、これ は図３における６℃に等しい定数であり、これは時間的補間フィルタの正常動作 モードである。現れた背景として標識付けされた領域においては、すべての情報 が図３における領域ｅについて前に説明されたように後続のフィールドからとら れるべきであるので、１に等しく設定される。この制御信号は次に低域空間フィ ルタにかけられ、従って現れた背景の領域のすぐ内側ではもはや１に等しくない 。

ベクトル割当て及び時間的補間の両過程は飛越しに言及しないで説明された。

両過程は（標本化線の垂直配置を考慮して）飛越し式信号に直接適用されること かできる。別の方法として、飛越し式信号は処理前に順次又は連続的形式に変換 されることができる。

察知されることであろうが、隠れた背景又は現れた背景を、両方ではなく、検出 することを検出することが望まれるだけである異富な場合には、ただ三つの連続 したフィールドが比較されればよい。

この発明が組み込まれ得るスローモーション再生システムの構成図に関しては、 その開示内容が繋照としてこの明細書に組み込まれる、ＩＥＥ会議出版物（ＩＥ ＥＣｏコｆｕｕｃｅ　Ｐｏｂｌｉｃｕｉｏｎ）　３２７号（［ＢＣ’９０）１２ １ないし１２５ページと、この論文に記載されたＩＩ照文献とにフ照が行われる 。

やはり察知されることであろうが、上述の操作は一般に個別の回路構成による代 わりにコンピュータシステムによって実施されるであろう。上の動作説明は技術 に通じた者により容易に理解されるようなシステムの生成に必要なすべての情報 を与えており、従ってプログラミングブロックについての詳細な説明は不必要で あり、ここには含まれていない。

ｔ−１ｔ　ｔｉｔ　ｔ＋２ ＦＩＧ２ □−□−□−一　物イ本の浬！カ ーーーーーーーーーーー背素の運動 臼Ｇ３ ｖ２＋イ亡の其イ〒Ｎクトルｐ父λ ＩＧ４ フロントページの続き （８１）指定国　ＥＰ（ＡＴ、ＢＥ、ＣＨ，ＤＥ。

ＤＫ、　ＥＳ、ＦＲ，ＧＢ、　ＧＲ，ＩＴ、　ＬＵ、　ＮＬ、ＳＥ）、ＡＵ、Ｂ Ｇ、ＢＲ，ＣＡ、Ｃ３，ＦＩ、ＧＢ、ＨＵ、ＪＰ、　ＫＲ，Ｎｏ、ＰＬ、　ＲＯ ，ＳＵ、　ＵＳ（７２）発明者　バール、マイケル イギリス国ロンドン　ダブりニー４・５ピージー、チズウィック、パワー・ロー ド。

アベニュー・ハウス、ビービーシー・デザイン・アンド・イクイプメント・ディ パートメント（番地なし）

Claims (27)

【特許請求の範囲】
1. １．データフィールドの各領域について及び各可能な運動ベクトルについて、少 なくとも四つの連続したフィールドに関してその領域に適当な画像値を決定する 段階、並びに前記の各領域について、種々の運動ベクトルに関して画像値又はこ れから導出された値を比較してどの運動ベクトルがその領域に適当でありそうで あるかを決定する段階を含んでいる、データフィールドと隣接フィールドとの間 でその領域における見掛けの動きに従ってビデオ画像の領域に複数の可能な運動 ベクトルの適当な一つを割当てる機械的方法。
2. ２．画像値が輝度値である、請求項１に記載の方法。
3. ３．可能な運動ベクトルが１画素より良い確度を持っており、且つ隣接フィール ドについての画素値を決定する段階が空間的補間を含んでいる、請求項１に記載 の方法。
4. ４．各領域が一つの画素からなっている、請求項１に記載の方法。
5. ５．各領域が画素のブロックからなっている、請求項１に記載の方法。
6. ６．画像値が低域時間フィルタされて各領域及び各ベクトルについての割当て誤 差ベクトルを与え、且つ比較が割当て誤差値を比較することを含んでいる、請求 項１に記載の方法。
7. ７．任意の領域について一つの割当て誤差値だけがしきい値より下にあるときに 、対応するベクトルがその領域に割り当てられる、請求項６に記載の方法。
8. ８．任意の領域についてしきい値より下にある割当て誤差値が存在しないときに 、比較する段階が更に、各可能なベクトルについて連続したフィールド間差を計 算すること及び前記の差に依存して運動ベクトルを割当てることを含んでいる、 請求項７に記載の方法。
9. ９．差が空間フィルタリングにかけられる、請求項８に記載の方法。
10. １０．差が重み付け係数をかけられる、請求項８に記載の方法。
11. １１．四つの連続したフィールド（二つの中心フィールド及び二つの対立した外 側フィールド）が検査される、請求項８に記載の方法。
12. １２．中心フィールド間の差がしきい値より下にあるが、外側フィールドの一つ と隣接の中心フィールドとの間の差が高いときに、少なくとも外側フィールドの 前記の一つが運動ベクトルを割り当てる際に無視される、請求項１１に記載の方 法。
13. １３．中心フィールド間の差が高く、前の外側フィールドと隣接中心フィールド との間の差が高く、且つ後の外側フィールドと隣接中心フィールドとの間の差が 低いときに、領域が現れた背景として識別される、請求項１１に記載の方法。
14. １４．前の外側フィールドと隣接中心フィールドとの間の最低割当て誤差を与え るベクトルも又決定されて、識別された現れた背景の領域に隣接した前景素材に 属するものとして識別される、請求項１３に記載の方法。
15. １５．中心フィールド間の差が高く、後の外側フィールドと隣接中心フィールド との間の差が高く、且つ前の外側フィールドと隣接中心フィールドとの間の差が 低いときに、領域が隠れた背景として識別される、請求項１１に記載の方法。
16. １６．後の外側フィールドと隣接中心フィールドとの間の最低割当て誤差を与え るベクトルも又決定されて、識別された隠れた背景の領域に隣接した前景素材の 属するものとして識別される、請求項１４に記載の方法。
17. １７．このように割り当てられた運動ベクトルを用いた運動補償形補間により入 力フィールド間の時間的中間において出力フィールドを生成することを更に含ん でいる、請求項１に記載の方法。
18. １８．現れた又は隠れた背景の区域及び前景の区域における補間の間で、このよ うな現れた又は隠れた背景において決定された二つのベクトルを用いて、補間器 において前及び後のフィールドを移動させることによってソフトスイッチが実施 される、請求項１５に記載の方法。
19. １９．割当て誤差が局所的輝度こう配に対する輝度差値の比から実質上決定され る、請求項１に記載の方法。
20. ２０．割当て誤差を計算する際に輝度差値の外に運動軌道に沿ってのクロミナン ス差値が使用される、請求項１に記載の方法。
21. ２１．複数の重み付き割当て誤差が隣接フィールド間の割当て誤差の組合せによ って形成され、且つ領域が前景、現れた背景又は隠れた背景に対応しているかど うかを決定するときに組合せ誤差が検査される、請求項１に記載の方法。
22. ２２．ベクトルが原初画像に関して任意の時点で割り当てられる、請求項１に記 載の方法。
23. ２３．データフィールドの各領域について及び各可能な運動ベクトルについて、 少なくとも四つの連続したフィールドに関してその領域に適当な画像値を決定す るための装置、並びにこの決定装置に接続されていて、前記の各領域について、 種々の運動ベクトルに関して画像値又はこれから導出された値を比較して、どの 運動ベクトルがその領域に適当でありそうであるかを決定することのできる装置 、を備えている、データフィールドと隣接フィールドとの間でのその領域におけ る見掛けの動きに従ってビデオ画像の領域に複数の可能な運動ベクトルの適当な 一つを割り当てるための装置。
24. ２４．データフィールドの各領域について及び各可能な運動ベクトルについて、 データフィールド及び少なくとも二つの隣接フィールドに関してその領域に適当 な画像値を決定する段階、並びに前記の各領域について、種々の運動ベクトルに 関して画像値又はこれから導出された値を比較して、どの運動ベクトルがその領 域に適当でありそうであるかを決定する段階を含んでいる、データフィールドと 隣接フィールドとの間でのその領域における見掛けの動きに従ってビデオ画像の 領域に複数の可能な運動ベクトルの適当な一つを割り当てる機械的方法。
25. ２５．ベクトルが原初画像に関して任意の時点で割り当てられる、請求項２４に 記載の方法。
26. ２６．データフィールドの各領域について及び各可能な運動ベクトルについて、 データフィールド及び少なくとも二つの隣接フィールドに関してその領域に適当 な画像値を決定するための装置、並びにこの決定装置に接続されていて、前記の 各領域について、種々の運動ベクトルに関して画像値又はこれから導出された値 を比較して、どの運動ベクトルがその領域に適当でありそうであるかを決定する ことができる装置、を備えている、データフィールドと隣接フィールドとの間で のその領域における見掛けの動きに従ってビデオ画像の領域に複数の可能な運動 ベクトルの適当な一つを割り当てるための装置。
27. ２７．ベクトルが原初画像に関して任意の時点で割り当てられる、請求項２６に 記載の装置。