JPH06500225A - ビデオ画像処理 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 已ｌ」 腫」 この発明はビデオ画像処理に、更に詳細には、所望出力画像の生成を助けるため の、ビデオ画像の種々の領域への現在の移動の方向及び大きさを示す運動ベクト ルの導出及び割当てに関係している。

我々の米国特許ＧＢ−Ｂ−２１８８５１０号はビデオ画像の全区域にわたって適 用可能である運動ベクトルの目録を生成してこの目録にある運動ベクトルの適当 な一つを画像の各領域に割り当てるための方法を記述している。運動ベクトルの そのような目録を生成するためには他の方法も可能である。ベクトルが適用され る領域は個々の画像素子（画素）のように小さいこともあり又は複数の画素、す なわち画像のブロック、からなることもある。

そのような運動ベクトルは二つの入力フィールドの中間の時点に対応する出力ビ デオフィールドを生成することが望まれるときに特に有効である。そのような出 力フィールドは、ビデオ画像をフィルムへ又はフィルムから転送するビデオ画像 処理システムにおいて、標準変換において、又はスローモーション効果を生成す る際に必要である。

そのようなすべての応用においては鮮鋭な滑らかに動く画像を生成することが望 ましい、スローモーション生成の場合に、この技法が例えばシャッタ付きＣＯＤ カメラにより使用されるならば、画像は高フレームレートカメラから得られるも のに近い品質で生成されることができる。運動ベクトルの目録を生成してそれを 個々の画像素子に割り当てるための一つの可能な技法は我々の国際特許出願ＷＯ −Ａ−９２０５６６２号において且つ又我々の国際特許出願ＰＣＴ／ＧＢ９１１ ０１６２２において提案されている。この技法は４フイールドアルゴリズムとし て知られており、出力ベクトルフィールドの割当てのために合計四つの入力フィ ールドを使用している。あるｍ＊の運動、特に回転運動に関してはこの形式のシ ステムが常に満足な結果を生じるとはかぎらないことが判明している。

別の従来技術のシステムか英国特許出願ＱＢ−Ａ−２２３１７４３号に記述され ている。これにおいては試行ベクトルの目録がＦｌ及びＦ２で示された一対のフ ィールド間のブロック整合技法を用いて導出される。ベクトルのこの目録又はメ ニューは次に所望の出力ベクトルフィールドの時点においてベクトルフィールド を生成するために三つのフィールド区間Ｆ１ないしＦ、の全域に適用される。こ の技法も又、そのベクトルにより表現されたベクトルが隣り合ったフィールドの 両方に存在しているか否かを必ずしも考慮しないで出力ベクトルフィールドにお いてベクトルが割り当てられるので問題を持っている。すなわち、出力フィール ドにおける誤りが生じ得る。又、次の区間（Ｆ２ないしＦ３）が使用されるとき にはベクトルの新しい集合がＦ２について導出されてその後割り当てられなけれ ばならない、これは余分の計算及び複雑性の増大を生じることになる。

光咀の蒙り 我々は、→の三つのビデオ画像に関して入力フィールドにおいて生じる任意の物 体が前の入力ビデオフィールドか又は次の入力ビデオフィールドに存在すること を察知した。すなわち、中間出力フィールドを生成するために必要とされるすべ ての情報はこれら三つのフィールドに存亡する。それゆえ、出力フィールドを生 成するときにベクトルが正しく割り当てられることを保証する唯一の方法は特に 出力ベクトルを生成する前に入力フィールドベクトルを割り当てることである６ 必要なベクトルメニューを生成してこれを出力フィールドの導出前に入力フィー ルドに割り当てるための二つの技法がこの出願において記述されている。これら の技法はこれが機能する方法のために３フイールドアルゴリズム及び２フイール ドアルゴリズムと呼ばれる。

この発明は添付の諸請求項に定義されており、今度はこれに言及が行われること になる。

抹尺り１セ１１瞠返朋 この発明は今度は例のつもりで添付の諸図面に言及して詳細に説明されるが、こ の諸図面中、 図１は３フイールドアルゴリズムによる相関面の導出を図解した線図であり、図 ２は一連の四つの連続したフィールドの間におけるような前景および背景の移動 を図解した線図であり、 図３はベクトル割当ての一方法を図解した線図であり、図４は２フイールドアル ゴリズムによる相関面の導出を図解した線図であり、図５は図４におけるように 生成されたベクトルメニューについてのベクトル割当てを図解した線図であり、 図６は図１の相関面を生成する回路の構成図であり、又図７は図４の相関面を生 成するための回路の構成図である。

上で言及した３フィールドベクトル割当て方法が最初に説明される。

３フィールドベクトル割当て方法は図４に言及して説明されるが、この図は時点 ｊｏ＋　ｔ、及びｔ２における三つの時間的にずれたフィールドｆ、、ｆ、及び ｆ２を示している。

我々の英国特許ＧＢ−Ｂ−２１８８５１０号に述べられた種類の方法、高速フー リエ変換準拠式位相相関方法を用いて、フィールドｆ０及び１８間の差を定義す るベクトルフィールドを表現するために位相相間面Ｐｌが導出される。ｆ、及び １２間の差を表現するために第２相関面Ｐ２が導出される。これらの位相相関面 は入力フィールドｆ、、ｆ、及びｆ２の複数のブロックのそれぞれについて導出 される。典型的には入力画像は位相相関前に９行の１２ブロツクとして配列され た１０８ブロツクに分割される。他の組合せのものも明らかに可能である０位相 相聞は同じブロックの二つの連続した順次フィールドｆ０及び１９間で行われる 。

相関面Ｐ、及びＦ２は、ｆｏ、及びｆ＋、及びｆ２における対応するブロックに ついて導出された後、加合せ器２において互いに加算されることによって時間的 にフィルタされる。これによって、入力フィールドｆ、にベクトルを割り当てる ために使用されることのできる相関面ＰＴが生成される。この面ＰＴは三つすべ てのフィールドに存在する物体並びにｆ、及びｆ、又はｆ、及びｆ２だけに存在 する物体に関する情報を含んでいる。それゆえにｆｌにおけることごとくの画像 区域にベクトルを割り当てることが可能なはずである。

探索により相関面におけるピークの位置を確認することによってベクトルのｆｌ への割当て前にＰＴからベクトルメニューが導出される。事前設定しきい値より 上の、例えば五つまでのピークの目録が選択されて、相間面が導出されたｆｌの ブロックにおける画像区域への割当てのための試行ベクトルのメニューが形成さ れる。

試行ベクトルのメニューはｆ、に割り当てられる前にパン及びズーム成分につい て解析されて、適当な調整が行われる。これらの調整を行うための技法は我々の 英国特許出願９２０６３９６．５号に記載されている。

このように導出された二のベクトルメニューは、ｆｌにおけることごとくの画素 についてのｆ。及びｆｌ並びにｆｌ及び１２間の運動を独特に記述するベクトル を含んでいるはずである。

ｆ、の画素のデータをｆ。とｆｌ、又はｆｌとｆ２の間の出力フィールドの時間 位置に投影することによって出力フィールドの導出に寄与するために使用され得 るｆｌの画素に割り当てられるベクトルを生成することが割当ての目的である。

これらのベクトルを割り当てるための一方法が我々の国際特許出願ＷＯ−Ａ−９ ２０５６６２号に記載されている。これにおいてはベクトルがｆ、における画素 に割り当てられる際、このベクトルを持ったこの画素のｆ２上及びｆ０上への投 影を導出するときに最低の総合誤差（整合誤差）を与える試行ベクトル目録にお けるベクトルに従ってその割当てが行われる。そのような割当てについての問題 は前景物体が移動しており、従ってフィールド間の画像の背景の部分部分を見せ たり隠したりしているときに生じる。この問題を処理するための若干の提案が４ フイールドアルゴリズムに関して我々の国際特許出願ＷＯ−Ａ−９２０５６６２ 号に述べられており、それの変更されたものは３フイールドアルゴリズムを用い て導出されたベクトルの割当てについて使用されることができる。

背景物体の前で移動している前景物体の場景においては前景物体が前景を覆い隠 すことが仮定されている。前景物体の移動は背景を連続的に覆ったり隠したりし ている。一連の三つのフィールドにおいては中心フィールドにおいて見られるす べてのものは前のフィールド、次のフィールド、又はその両方に存在するはずで ある。これは図２に示されている。この規則に対する例外はあるものをことごと くのフィールドにおいて完全に異なって示す前景における穴により引き起こされ る窓効果である。

３フイールドアルゴリズムは試行ベクトルの〔録を生成するために使用され、そ してこれらのベクトルを用いて画像のことごとくの素子が次の方法の−っで割り 当てられることができる。

ａ）　前景物体。　中心フィールド期間における低い整合誤差ｂ）　隠れた背景 。　フィールド１を割り当てるならば前のフィールド期間における低い整合誤差 Ｃ〉　現れた背景、　フィールド２を割り当てるならば次のフィールド期間にお ける低い整合誤差 ｄ）　喪失ベクトル／窓問題。　良い整合なし３フィールド割当ては入力フィー ルドと同時点のベクトルフィールド及び状態フィールドを生成する。入力時点の ベクトルフィールドが二つの連続した入力フィールドについて利用可能であるな らば、中間出力フィールドの生成は論理的問題である。もちろん、ベクトルがメ ニューから喪失しているならば、画像の区域はフォールバックモードを用いて生 成されるように予定されており、運動補償されない。

乏重さ２旦止劃嵐工 この割当て方法に従って、ベクトル選択過程は二つまでのベクトルが見え隠れす る背景の領域における各出力画素について生成されることを可能にするように拡 張される。これは前景物体と背景物体との閏の接合部での画像補間のために使用 されるベクトル間のソフトスイッチを与える０例えば、現れた背景として割り当 てられる各画素（すなわち、最後の二つのフィールド間に生じた最低の重み付き 割当て誤差）については、最初の二つのフィールドにわたって最小割当て誤差を 与えるベクトルも又決定される。出力画像はそれで、割り当てられた現れた背景 ベクトル（所要の出力時点に対して規準化されたもの）により偏移させられた後 続のフィールドと、又この二次ベクトルにより偏移させられた先行するフィール ドからの寄与分とから補間される。これら二つの寄与分の相対的割合は次のよう に決定されることができる。すなわち、補間されるべき各画素について制御信号 が計算されて、後続のフィールドからとられるべき出力画像の小部分が指定され る。前景区域におけるすべての標本について、これは図２におけるδｔに等しい 定数となり、これは時間的補間フィルタの正常動作モードである。現れた背景と して標識付けされた領域においては、図３における領域ｅについて前に説明され たようにすべての情報が後続のフィールドからとられるべきであるので、制御信 号は１に等しく設定される。この制御信号は次に低域空間フィルタに通されるの で、現れた背景の領域のちょうど内側ではもはや１に等しくない。

出力フィールドを構成する画像素子はその場合どぎつい縁部を最少化する方法で 互いに併合されることができる。原初源画像においては物体間の狭い境界の全域 で互いに混合している。この境界は解像度によって記述される。

出力画像の大部分については画像素子は現在の出力フィールド位置の前及び後の 両フレームに存在する。出力画像は二つの入力画像の重み付き和によって生成さ れる。入力変数のそれぞれからの寄与分はａｓｓｎ−ｆ　ｆと呼ばれる画像大き さ配列である。

隠れた又は現れた背景が使用中であるときには、出力は一つのフレームだけがら 作られる。出力を生成する際には、１フイールド及び２フィールド画像生成間で 画像切換が行われる。この切換は２度生じ、１度は１フイールドがらの背景と２ フイールドからの前景との間で、もう１度は１フイールドを用いた背景と２フイ ールドから生成された背景との間で生じる。

二つの画像大きさ割当てベクトルフィールドは（ａｓｓｎ−Ｖｌ及びａｓｓｎ− ２と呼ばれる）ベクトル割当て中に生成される。第１ベクトルフイールドは出力 画像時点のすぐ前のフィールドに且つ第２のものはそれの後のフィールドに対応 している。

各ベクトルフィールドは３フイールドアルゴリズムを用いてこのフィールドにつ いて導出された異なったメニューから導出される。最小整合誤差が中心期間にお いて見いだされたときには、両ベクトルフィールドは同じ値を与えられ且っａｓ ｓｎ−ｆｆはフィールド１とＴＯ１出カフカフィールド時点間の距離（ｄｉｓｔ ）に等しくされる。出力画像はａｓｓｎ−ｆｒに依存して二つのフィールドの重 み付き平均値として計算される。すなわぢ、 ＾ｏｕｔ　＝＾Ｉ　Ｘ　（１−ａｓｓ−ｆｆ）＋＾２　ａｓｓｎ−ｆｆａｓｓｎ −ｆｆ　＝最良の整合が先行するフィールド開期間に存在しているならば、ｄｉ ｓｔ 最良の整合が先行するフィールド開期間にあるときには、この期間についての最 良のベクトルはベクトルフィールドａｓｓｎ−Ｖｌへ入れられ、且つ中心期間に ついての最良のベクトルはａｓｓｒ＋−Ｖ２へ入れられる。この場合にはａｓｓ ｎ−ｆｆは０に入れられて出力がフィールド１から生成されることを強制する。

最良の整合が次に続くフィールド開期間に存在するときには、中心期間について の最良のベクトルはベクトルフィールドａｓｓｎ−Ｖｌへ入れられ、且つその期 間についての最良のベクトルはａｓｓｎ−Ｖ２へ入れられる。そしてａｓｓｎ− ｆｆは１に入れられて出力がフィールド２から生成されることを強制する。これ は図３に図解されている。

それゆえ理解されることであるが、二つのベクトルが各フィールドにおける各画 素と関連していて、一方のベクトルは前向きの方向に「見る」ときに使用され且 つ他方のベクトルは後ろ向きの方向に「見る」ときに使用される。隠れたり現れ たりする背景の期間中は一方のベクトルが背景を指していて背景を得るために使 用され且つ他方のベクトルが前景物体を指している。ａｓｓｎ−ｆｆの割当て値 のために、ａｓｓｎ−ｆ　ｆ配列が空間的にフィルタされるまではただ一つのベ クトルが一度に使用される。　ａｓｓｎ−ｆｆにおける小さい低域フィルタがモ ード変更中混ざり合いを生じることになる。

出力フィールドはそれゆえ画素ごとに発生されて、ＴＯの前のフィールドはｄｉ ｓｔ＊　ａｓｓｎ−Ｖｌだけ変位させられ、且つＴｏの後のフィールドは（１− ｄｉｓｔ）★ａｓｓｎ−■１だけ変位させられている。

他の環境においては各画素に複数の、例えば二つの運動ベクトルを割り当てるこ とも可能である。この割当ては入力時点において又は出力時点において生じ得る であろう。

下で説明される採択実施例においては第１フイールドと同時点のベクトルフィー ルドは常に前方へ投影され且つ第２フイールドと同時点のベクトルフィールドは 常に後方へ投影される。

プレフィルタリング 割当ての前に入力画像は小さい２Ｄ空間フィルタを通される。このフィルタのイ ンパルス応答は方形であり、従ってステップ応答は線形傾斜になる。整合誤差が 画像間の差から計算されるときには画像こう配（グラジェント）もヌ計ｙ１．さ れる。この差がこのこう配で割られると、その結果は位置誤差に対応する。これ は運動測定のこう配方性に似ており、画像におけるこう配が線形て゛あるときに 轟も正確になるであろう。

変位が非常【′大きい場合Ｇ；は、−の方法は失敗（、こ終わり、結果は変位の 測度てｌｊなく、単なる大きい誤差である。１この方法は単に最良のベクｌ〜ル を選択するために使用される。更なる改善は変位測定を用いて割当てベクトルに おける小さい誤差を補正することである、 副標本化ベクトルフィールド 入力時点のベクトルフパイールドは一つおきの画素について計算される。原初画 像は完全に標本化さね、従って整合誤差の確度は副標本化によって有意には影響 されないが、ハードウェアにおける相当な節約がある。

ｌ！Ｆ合誤差計箪 整合誤差についての通常の意味及び方法は次のように要約されることができる。

すなわち、整合誤差はベクトルメニヱーにおける特定のベクトルが特定の画像素 子に適用されるかどうかを見いだすための手段である。整合誤差は二つの画像を 提案されたベクトル移動風だけ偏移されてその後二つの画像を減算することによ って計算される。これは割当てブロックの区域について行われて、この誤差信号 の係数は中心画像素子の画像こう配によって除算されて、それから空間的にフィ ルタされる。

３フイールドアルゴリズムにおいては、所要の入カベク１−ルフィールドと同時 点の入力画像は静止して保持され且つ前及び後の画像フィールドは試行ベクトル により変位させられる０、これは所要出力時点の前及び後の両フィールドについ て行われなければならない。

これは二つの整合誤差、一つは入力画像の前のもの及び一つはそれの後のもの、 を生じることになる。ベクトルフィールドが後方へ投影されたときには第２の整 合誤差は出力画像時点の期間に対応しており、そして低い整合誤差が背景を示す ことになる。この中心整合誤差はこれを０，５と０．９９との間の重み付は係数 で乗算する１：とによっで小さい優先権を与えられる。ベクトルフィールドが後 方へ投影されソ４：ときには第１整合誤差は出力画像時点の期間に対応していて 低い整合誤差が前紙を示すことになる７この中心フィールド整合誤差は前と同ｌ 二方法で重み付けされる。

他の二つの整合誤差を互いに加算することによって付加的な整合誤差が計算され て、１＝れも又重み付けされる。中心フィールド整合誤差及び組合せ２フィール ド整合誤差は前景を識別することにおいて等しく良好であり、従って重み付は係 数は類似であるように思われる。

実際には、前方投影のための第１画像と同時点のベクトルフィールドはそれが第 ２画像位置にあって後方投影されたときの同ｉ二画像のためのベクＩ・ルフィー ルドに非常に類似している。整合誤差計算は同じであるが、フィールド依存性重 みｆｌ（寸は変更され、従・）で割当てベクトル及び状態値も変更されている。

前方投影フィールド及び後方投影ベクトルフィールドは同時に計算されるが、前 方ベクトルフィールドは１入力フイールド期間だけ遅延させられている。

割当て及び状態 、二の方式においては入力ベクトルフィールドは３６０画素及び２８８フイール ド線に副標本化される。入力ベクトルフィールドにおける各素子について重み付 ぎ整合誤差が比較される。最低の重み付き整合誤差を持った試行ベクトルがその 画像素子に割り当てられる。

前方投影ベクトルフィールドに間しては状態規則は次のとおりである。

前景は第２フイールド又は２フイールド平均値である最低整合誤差によって示さ れる。

隠れた背景は第１フイールドである最低整合誤差によって示される。

喪失運動ベクトルは大きい整合誤差によって示される。

後方投影ベクトルフィールドに関しては状態規則は次ぎのとおりである。

前景は第１フイールド又は２フイールド平均値である最低整合誤差によって示さ れる。

現れた背景は第２フイールドである最低整合誤差によって示される。

喪失運動ベクトルは大きい整合誤差によって示される。

状態は第１及び第２ベクトルフイールドにおける各割当てベクトルと共に記憶さ れる。

出力時点ベクトルフィールド 入力割当てベクトルのマツプはどの方向にあらゆるものが移動しているがを示す ために同時点の画像上に置かれることができる。出力ベクトルフィールドは第１ 人力ベクトルフィールドの各素子を前方の出力時点に且つ第２ベクトルフイール ドを後方の出力位置が投影することによって生成される。入力ベクトルフィール ドは副標本化されているけれども出力ベクトルフィールドは完全な７２０の水平 標本を持っている。

出力時点のベクトルフィールドは入力ベクトルフィールドからのある時間距離に おいて必要とされる。この状況は図４に示されている。第１ベクトルフイールド を投影するときには各入力時点ベクトルの場所は距離により規準化された割当て ベクトルに加算され、そしてこの新しい場所は記憶された割当てベクトルを持っ ている。第２ベクトルフイールドについては各入力時点ベクトルの場所は１距離 により規準化された割当てベクトルが加算され、そしてこの新しい場所は記憶さ れた割当てベクトルを持っている。わずかな複雑化の要因は投影場所が出力ベク トルフィールドにおける正確な場所ではないらしく且つ又出力ベクトルフィール ドが入力ベクトルフィールドよりも密に標本化されることである６両問題はベク トルを投影ベクトルのどちらかの側の場所にも記憶することによって解決される 。

状態及びモード 入力時点ベクトルフィールドの状態は投影ベクトルに従い、そして新しい出力ベ クトル状態が生成される。出力ベクトルフィールドについての規則は次のとおり である。

前景 前景ベクトルは再入力時点ベク１−ルフィールドから前方及び後方へ投影される 。二つの前景へクトルが同じ場所に到達しているならば両ベクトルは記憶されて 状態は二つの前景ベクトルを示す。

後景 隠れた背景は前方へ投影されて状態はその区域を隠れた前景として記す。

現れた背景は後方へ投影されて状態はその区域を現れた前景と記す。

フォールバックモード 画像の区域がどちらの入力時点ベクトルフィールドにおいても大きい整合誤差を 持っているならば、運動ベクトルは利用可能でないものと仮定される。

投影背景に対して物体を失うことを避けるためにその区域は割当て不可能に記さ れてフォールバックモードへ行く、このフォールバックモードは静止ベクトルを 使用しそして入力フィールドに対する出力フィールドの位置に比例して二つの画 像を互いに混合することである。比較的柔かい解像度の画像がフォールパックの ために使用されて非運動補償画像素子のあらさを低減する。

出力ベクトルフィールドの処理 ベクトル投影の結果はベクトルフィールドに穴があるかもしれないことである。

これらの穴は近くの割当てベクトル及び状態によって満たされる。

出力画像は利用可能な入力画像の１移した混合物から生成される。クロスフェー ド係数は二つの入力フィールドの混合物を制御して出力画像を生成する。この「 クロスフェード」信号は次の規則に従って値０ないし１．０をとる。

隠れた背景、　クロスフェード−〇は前の画像から画像をとる。

現れた背景、　クロスフェード＝１は次の画像から画像をとる。

前景、　クロスフェード＝ｄｉｓｔは前及び次の両画像から画像をとる。二つの 前景ベクトルがある場合には第１フイールドは割り当てられるべき第１ベクトル によって移動され且つ第２ベクトルは第２画像を偏移させるために使用される。

高誤差区域、　クロスフェード−ｄｉｓｔ　フォールバックモード、割当てベク トルは０に等しい。

隠れた背景及び現れた背景、　これは低い中心整合が達成され得す且つクロスフ ェイス＝距離が機能することがわかっているときに生じ得る。

出力画像生成 出力画像生成過程は出力画像場所の各素子を通って進み、次のアルゴリズムを適 用する。

ｐｉｅ−１（（ｄｉｓｔ−１）★ｗｅｅ　２だけ偏移しなｘ、ｙ）★クロスフェ ードｖｅｃ−１及びｖｅｅ−２は二つの割当てベクトルであり、ただ一つの割当 てベクトルが存在する場合にはｖｅｃ−Ｚはｖｅｅ−１に等しくされる。

わずかの画素偏移を生成するために補間器が使用されているが、正確な形式はあ る最適化のためになお開かれている。この詳細は最終画像の品質に影響するが、 基本的な３フイールドアルゴリズムには重要でない。

２フイールドベクトル投影アルゴリズム２フイールアルゴリズムはベクトル割当 ての第１段階中にただ二つのフィールドを比較することからその名称を得ている 。２フィールド方式に対する入力ベクトルメニューは３フィールド方式により必 要とされるような画像と同時点ではなく画像間の区間と同時点のベクトルである 。

この方法は図５に概略的に示されている。これは一連の四つのビデオフレームｆ ０ないしｆ、を示している。位相相関面は多対のフレーム間の区間について導出 され、従って相関面Ｐ。１．Ｐ１２及びＰ２□がある。これらのそれぞれは特定 の区間に適用可能である。これらのそれぞれが単にこれが導出されたフィールド にベクトルを割り当てるために使用されるならば、一方のフィールドに存在し且 つ他方には存在しない物体について問題が生じる。それゆえに、三つの相関面の 重み付き平均値が導出されて、中心区間ｆ、ｆ（いしｆ２における画像の生成の ためにベクトルを割り当てるのに使用される。この特定の例においてＰｏｌ及び ＰＸ３が両方共４分の１の重みを与えられ且っＰ　ｌ　２が２分の１の重みを与 えられてその後それらがすべて互いに加え合わされて、ベクＩ・ルメニュ−１２ を導出することのできる時間的にフィルタされた相関面が導出される。−たんベ クトルが割り当てられると、この過程は区間ｆ、ないしｆ４における更なる相関 面を導出してこの面をＰ、□及びＰ２）と共に用いて区間ｆ２ないしｆ、におけ る割当てのためのベクトルメニューを導出することによって繰り返される。この 過程は一連のビデオ画像の全体にわたって継続される。

このように位相相関面が一連のビデオ画像における各フレーム区間について導出 され、そしてこれらの相関面は重み付き平均値に組み合わされて、単一のフレー ム区間に関して適用可能であるベクトルメニューが生成される。このメニューが 二つのフレーム間の区間に関して適用可能であるという事実はそれが２フイール ドアルゴリズムと呼ばれる理由である。

上に論述されたように、出力フィールドに対してではなく入力フィールドに対し て割り当てられることがベクトルにとって望ましく、又察知されることであろう が、例えば、メニュー１２がｆｌ及びｆ２に割り当てられそしてメニュー２３が ｆ２及びｆ、に割り当てられるならば、ｆ２はこれに割り当てられた二つのベク トルフィールドを持つことになる。これらの一方はｆ、に且っ他方はｆ、に関係 づけられている。これらはそれぞれ前方及び後方投影フィールドと呼ばれ、そし てこれらの使用はスローモーション系列生成の際に使用される形式の中間フィー ルドが非常に確実に生成されることが可能である。これらの生成のための理由、 及び出力画像が生成される方法は下で論述される。

生成された割当てベクトルフィールドは我々の英国特許出願９０１３６４２．５ において提案された前方／後方割当てにより生成されたそれと類似している。前 方／後方ベクトルフィールドは付随の整合誤差と共に対で記憶され、そして組み 合わされてベクトル状態を決定する。

組合せベクトルフィールドは出力時点に対して前方及び後方へ投影されて」出力 時点ベクトルフィールドを生成する。第１の出力時点ベクトルは前方投影と関連 しており且つ第２のものは後方投影と関連していてこれらは画像生成システムへ の二つのベク）−小入力を制御するために組み合わされる。

運動推定 運動推定器の特徴の大部分は前に記述された「３フイール町アルゴリズムに類似 している。主な相違は次のとおりである。

ベクトルメニュータイミング 「３フイールド」版のためのメニューは入力フィールド段階の前及び後の雨期間 について妥当であるベクトルメニューを必要とする。偶数次時間フィルタが相関 面について使用されてこの運動段階についての最良の推定値を作る。これは運動 が突然の動き及び高速の加速度を測定することを犠牲にしてがなり連続的である ときの運動推定を改善する妥協策である。

「２フイールド」アルゴリズムは一つのフィールド期間だけについて各メニュー を使用するので、タイミングにおける変化はない。メニューが二つではなく一つ のフィールド段階について妥当であることは比較的ありそうであり、従ってベク トルメニュー問題は妥協が小さい。

相関フィルタ 特定設計の時間的相関フィルタはフィールドレート相関を行うときに飛越しによ り引き起こされる諸問題を相殺することが判明している。時間的フィルタの設計 は奇数の係数タップの和が偶数の係数タップの和に等しいという条件を満たすこ とが望ましい。タップの最もありそうな数は３であるので係数は０．２５．０． ５゜０．２５になる。

図４は２フイールドアルゴリズム及び関連のベクトルフィールドを概略的に示し ており、これは次の諸部分において言及される。

入力時点ベクトルフィールド 推定器により生成された各メニューに関して割当ては２回行われ、１回は前方割 当てを用いて又１回は後方割当てを用いて行われる。前方割当ては第１フイール ドを静止状態に保持し且つ第２フイールドを試行ベクトルにより偏移させて差の 大きさから整合誤差を計算することによって行われる。差はこう配で除算され、 これはこう配方性ベクトル測定の適用であるが、結果は選択のためだけに使用さ れ、誤差は距離に対応している。それは若干後の日付における補正のために使用 されることができる。後方投影フィールドは第２フイールドを静止状態に保持し 且つ第１フイールドを偏移させて過程を繰り返すことによって生成される。各新 入カフイールド及びメニューは二つの割当てベクトルフィールドを生成し、例え ばフィールドｂ及びＣがメニュー２から生成される。

入力時点ベクトルフィールドの組合せ この時点において我々は四つの割当てベクトルフィールド、すなわち出力時点前 のフィールドについての一対及び出力時点後の一対、を持っている。多対に関し て第１のものは前のメニューを前方割当てすることによって且つ第２のものは第 ２のメニューを後方割当てすることによって生成された。

入力ベクトルフィールドが前方投影についてのものであるならば第２ベクトルフ イールドｒｌ）Ｊは中心期間に対応しており且つ前景に関連している。第２ベク トルフイールド及び整合誤差は適用されたｃｅｎｔｒｅ−ｗｔ重み付けを持って おり、これは次に外側フィールド「ａ」整合誤差と比較される。最低の整合誤差 を持ったベクトルが割り当てられる。次の規則はベクトルフィールド「ａ」及び 「ｂ」を組み合わせてベクトルフィールド「Ｃ」を作るときに適用される。

中心フィールド低、　前景　（状態＝３）外側フィールド低、　隠れた背景　（ 状態＝１）両整合誤差高、　喪失ベクトル　く状態＝５）状況は入力ベクトルフ ィールドが後方投影についてのものであるときに類似しているが、但しｃｅｎｔ ｒｅ−ｗｔは後方割当てベクトルフィールド「Ｃ」整合誤差に適用される。「ｃ 」の重み付き整合誤差は「ｄ」の整合誤差と比較されて後方投影ベクトルフィー ルド「ｆ」を生成する。規則は次のようになる。

中心フィールド低、　前景　（状態＝３）外側フィールド低、　現れた背景　（ 状態＝２）両整合誤差高、　喪失ベクトル　（状態；５）前及び後に呼ばれた組 合せベクトルフィールド（図１におけるｅ及びｆ）は３フイールドアルゴリズム において生成された入力時点ベクトルフィールドに類似している。

出力時点ベクトルフィールド むしろ入力時点ベクトルフィールドと同様に、出力フィールドと関連した二つの ベクトルフィールドがある。第１のものは「ｅの前」ベクトルフィールドを前方 へ投影することによって又第２のものは「ｇの後」ベクトルフィールドを後方へ 投影することによって得られる。

ベクトル投影（前方） ベクトル投影は入力ベクトルフィールド「ｅ」における各場所を訪れ、割当てベ クトルにより乗算されたｒｄｉｓｔＪをベクトルのその場所に加算し、そしてベ クトル及び棚を出力ベクトルフィールドへ書き込むことによって達成される。特 定の出力位置へ書込みを行うために前景／背景競合が生じることは確かにありそ うである。この状況は二つの前景ベクトルが空間における同じ点に到達するとき に起こることがあり、従って出力ベクトルフィールドに書込みを行うための簡単 な一組の規則が存在する。

この規則は次のように要約される。

１）　ベクトル配列全体は状態＝０．未割当て、に初期設定される。

２）　任意のベクトルはその状態が既に存在しているものより高いという条件で 出力ベクトルフィールドに書込みを行うことができる。第２のベクトルは無視さ れる。

ベクトル投影（後方） 次の入力フィールドからの後方の出力フィールド位置へのベクトル投影は前方投 影に類似している。出力時点後方ベクトルフィールドは図においてｈとして示さ れており、状態は投影が始まる前にゼロに設定されている。相違は距離が１ｄｉ ｓｔであることである。

出力時点ベクトルフィールドの組合せ 二つの出力ベクトルフィールドは次の表に要約されている別の組の規則に従って 組み合わされる。

モード　ベクフィールドＧ　ベクフィールドＨ出力ベクトル　クロスフェード０ ０　割り当てられず　割り当てられず　より近くなる　最も近くなる最も近けれ ば割り当てられず　フォールパック　０．Ｏｄｉｓｔ０５　割り当てられず　フ ォールパック　最も近い０．Ｏｄｉｓｔ５０　フォールパック　割り当てられず 　ｏ、ｏ　最も近くなる１！　４ｘを始めるモードはｄｉｓｔ又は０．５でクロ スフェードされることができ、やはり最適化を受けるであろう。

ベクトル処理の後にはベクトルｇ、ｈのすべての場所及びクロスフェード係数が 満たされている。出力画像に対する目に見える改善が、二次元空間フィルタをベ クトルフィールド及びクロスフェード面上で通過させることによって見いだされ ている。

出力画像生成 出力画像生成過程は出力画像場所の各素子を通って進み、次のアルゴリズムを適 用する。

Ｐｉｅ−ｏｕｔｐｕｔ　（ｘ、　ｙ）＝ｐｉｅ　１　（ｄｉｓｔ★ｖｅｃ−１だ け偏移しなｘ、　ｙ）★（１−クロスフェード）±ｐｉｃｊ　（ｄｉｓｔ−１） ★ｖｅｃ−２だけ偏移しなｘ、　ｙ）★クロスフェード補間器がわずかの画素偏 移を生成するために使用されているが、正確な形式はある最適化のためになお開 かれている。細部は最終画像の品質に影響するが、基本的３フイールドアルゴリ ズムにとっては重要でない。

図６は３フイールドアルゴリズムを実施するための回路を示している。これは直 列に接続されていて一連のビデオフィールドを受ける一対のフィールド遅延器２ ０を備えている。各遅延器の入力及び出力は位相相関器２２のそれぞれの入力に 結合されている。これらのそれぞれは二つの連続したフィールド闇の運動を表現 する相関面を生成する。これらの面は乗算器２４によって０．５の等しい重みを 与えられて、次に加算器２６において組み合わされる。この平均化された相関面 は次にピークベクトル検出器２８を通過し、この検出器は所定のしきい値を越え たベクトルだけを通過させる。これによって３フィールド集合の中心フィールド に対する割当てのためのベクトルメニューが生成される。このベクトルメニュー が利用可能になる時点までに、それが割り当てられることになっている入力ベク トルはフィールド遅延器２０の２番目のものの出力において利用可能になる。ベ クトルメニュー及び両フィールド遅延器の出力は割当て装置への入力を形成し、 この割当て装置においてベクトルはメニューが導出させた３フィールド系列の中 心フィールドに割り当てられることができる。

図７は図６の回路構成の変更であって、２フイールドアルゴリズムを実施するた めに適している。それは他のフィールド遅延器と直列の付加的なフィールド遅延 器２０を含んでいる。これは関連の位相相関器２２を持っており、この相関器の 出力は第４の乗算器２１によって重み付けされた後、加算器２６において他の位 相相関器の出力と組み合わされる。生成されたベクトルメニュー及びこれが導出 された種々の入力フィールドは割当て装置（図示されていない）への入力を形成 する。

ベクトル割当て及び時間的補間の両過程は飛越しに言及しないで説明された。

これらの過程はく標本化線の垂直位置を考慮して）飛越し大信号に直接適用され ることができる。別の方法として、飛越し大信号は処理前に順次的又は連続的形 式に変換されることができる。

この発明を組み込むことのできるスローモーション再生システムの構成図に関し ては、開示内容がこの明細書に援用されるＩＥＥ＊譲出版物（ＦＥＥ　Ｃｏ１１ ｆｅｒｅｎｃｅＰａｂｌ　１ｃａｔｉｏｎ　）　３２７号（ＩＢＣ′９０＞１２ １ないし１２５ｍページ、及びこの論文に記載された９照文献に参照が行われる 。

上述の諸動作が一般に個別の回路によってではなくコンピュータシステムによっ て実現されることも又察知されるであろう。上の動作説明は技術に通じた者によ り容易に理解されるようなシステムの生成のために必要なすべての情報を与えて おり、従ってプログラミングブロックについての詳細な説明は不必要であり、こ こには含まれていない。

□−□−□−−物体の運動 一−−−−−−−−−−背景の運動 ｅ 国際調査報告 、、、、ＰＣＴ／ＧＢ　９２１００９５２ＰＣＴ／ＧＢ　９２１００９５２ フロントページの続き （８１）指定回　ＥＰ（ＡＴ、ＢＥ、ＣＨ，ＤＥ。

ＤＫ、ＥＳ、ＦＲ，ＧＢ、ＧＲ，ＩＴ、ＬＵ、ＭＣ，ＮＬ、ＳＥ）、０Ａ（ＢＦ 、ＢＪ、ＣＦ、ＣＧ、ＣＩ、ＣＭ、ＧＡ、ＧＮ、ＭＬ、ＭＲ，ＳＮ、ＴＤ、ＴＧ ）、ＡＴ、　ＡＵ、　ＢＢ、　ＢＧ、　ＢＲ，ＣＡ、　ＣＨ，Ｃ３，ＤＥ。

ＤＫ、　ＥＳ、　ＦＩ、　ＣＢ、　ＨＵ、ＪＰ、　ＫＰ、　ＫＲ，ＬＫ、ＬＵ、 ＭＧ、ＭＮ、ＭＷ、ＮＬ、Ｎｏ、ＰＬ、ＲＯ、ＲＵ、ＳＤ、ＳＥ、ＵＳ （７２）発明者　ソムソン、ロデリックイギリス国すリー　ティーダブりニー９ ・２エルデイー、リッチモンド、トリニティー・ロード　１８ （７２）発明者　レイトン、フィリップイギリス国すリー　ニスエム２・５イー キユー、サットン、シダー・ガーデンズ、ゲラスミア−・コート　７

Claims (38)

【特許請求の範囲】
1. １．画像の種々の部分における運動を表現している複数の運動ベクトルを導出す る段階、及びベクトルのそれぞれのものを画像の個別の素子区域に割り当てる段 階を含んでおり、ある基本区域が二つ（以上）のベクトルを割り当てられている ことによって特徴づけられているビデオ信号運動補償の方法。
2. ２．出力フィールドが二つの入力フィールドの中間で生成される、請求項１に記 載の方法。
3. ３．前記のある基本区域において割当てベクトルの第１のものが出力フィールド の一方側への入力フィールドの動きを指定するために使用され且つ第２の割当て ベクトルが出力フィールドの他方側への入力ベクトルの動きを指定するために使 用される、請求項２に記載の方法。
4. ４．割当てベクトルの一つが第１画像部分と関連しており且つ割り当てベクトル の第２のものが第１画像部分とは異なって移動している第２画像部分と関連して いて、対応する出力画像部分がそれぞれの入力画像部分におけるこれら二つのベ クトルの合力の粗合せで形戌されていて移動する物体の縁部においてぼけの感じ を与えている、請求項２に記載の方法。
5. ５．二つの物体が出力画像に存在するための等しい権利を有するように決定され ているならば、二つの割当てベクトルがそれぞれ二つの物体と関連していて、合 力が粗み合わされて出力フィールドを形成する、請求項２に記載の方法。
6. ６．前記のある基本区域において妥当な動き決定が行われ得ず、且つ割当てベク トルの第１のものがフォールバックモードに対応しており且つ割当てベクトルの 第２のものが隣接の測定ブロックからのベクトルに対応している、請求項２に記 載の方法。
7. ７．前記のある基本区域の値についての二つの予測が二つの割当てベクトルに基 づいて行われ、且つ二つの合力が単純又は重み付き平均により組み合わされる、 請求項１に記載の方法。
8. ８．組合せが、平滑化フィルタ関数の適用される時間依存性係数に依存して行わ れる、請求項７に記載の方法。
9. ９．運動ベクトルが画像の複数のブロックのそれぞれについて導出され、且つこ のように導出されたベクトルが画像又はこれの諸部分のために複数のベクトルを 供給するように選択される、請求項１に記載の方法。
10. １０．ベクトルが位相相関技法によって導出される、請求項１に記載の方法。
11. １１．割当てが三つの入力フレームの内容を同時に比較することによって行われ る、請求項２に記載の方法。
12. １２．二つのベクトルフィールドが入力フィールドに割り当てられていて、第１ ベクトルフィールドが先行の入力フィールドヘの後方投影によって割り当てられ 且つ第２入力フィールドが後続の入力フィールドヘの前方投影によって割り当て られている、請求項１に記載の方法。
13. １３．二つ（以上）のベクトルを割り当てられている基本区域が運動ベクトルの 異なった集合から割り当てられたそれらのベクトルを持っている、請求項１に記 載の方法。
14. １４．画像の複数のブロックのそれぞれについて複数の運動ベクトルを導出する ためのベクトル導出装置、及び画像の個々の基本区域にベクトルのそれぞれのも のを割り当てるためのベクトル割当て装値を備えており、このベクトルがある基 本区域に二つ（以上）の妥当なベクトルを割り当てることによって特徴づけられ ているビデオ連動補償のための装置。
15. １５．画像の種々の部分における運動を表現している複数の連動ベクトルを導出 する段階、各入力フィールドの個々の基本区域にベクトルのそれぞれのものを割 り当てる段階、及びこのように割り当てられたベクトルを投影して入力フィール ドの二つのものの中間の出力フィールドを導出する段階を含んでいるビデオ信号 連動補償の方法。
16. １６．少なくとも二つのベクトルが入力フィールドの各基本区域に割り当てられ る、請求項１５に記載の方法。
17. １７．入力フィールドの垂木区域に割り当てられる第１ベクトルが先行の入力フ ィールドヘの後方投影によって導出され且つ同じ基本区域に割り当てられる第２ ベクトルが後続の入力フィールドヘの前方投影によって導出される、請求項１６ に記載の方法。
18. １８．入力フィールドヘの割当てのために使用される運動ベクトルの集合が前記 の入力フィールドと先行及び後続の入力フィールドとの間の比較から導出された 運動ベクトルの二つ（以上）の集合から導出される、請求項１５に記載の方法。
19. １９．運動ベクトルの前記の集合が前記の入力フィールドとこれのすぐ前及びす ぐ後の入力フィールドとの間の比較から導出された運動ベクトルの集合の平均値 を構成している、請求項１８に記載の方法。
20. ２０．運動ベクトルが位相相関技法によって導出される、請求項１５に記載の方 法。
21. ２１．出力フィールドの両側における入力フィールドヘの割り当てのための運動 ベクトルの集合がこれら二つの入力フィールド間の区間について導出された運動 ベクトルの集合から並びに先行及び後続の区間について導出された連動ベクトル の集合かち導出される、請求項１５に記載の方法。
22. ２２．運動ベクトルの前記の集合が前記の区間並びにこの区間のすぐ前及びすぐ 後の区間について導出された運動ベクトルの集合の平均値から導出される、請求 項２１に記載の方法。
23. ２３．平均値が重み付き平均値である、請求項２２に記載の方法。
24. ２４．第１及び第２の入力フィールドを比較することによって運動ベクトルの第 １集合を導出する段階、第２及び第３の入力フィールドを比較することによって 運動ベクトルの第２集合を導出する段階、並びに前記の第１及び第２の集合から ベクトルの第３集合を導出する段階を含んでいる、ビデオ信号運動補償システム における使用のための運動ベクトルの集合を導出する方法。
25. ２５．入力フィールドが順序どおりに連続したフィールドである、請求項２４に 記載の方法。
26. ２６．第３集合のベクトルを画像の基本区域に割り当てる段階を含んでいる、請 求項２４に記載の方法。
27. ２７．第３集合のベクトルを第２入力フィールドにおける画像の基本区域に割り 当てる段階を含んでいる、請求項２４に記載の方法。
28. ２８．運動ベクトルの第１及び第２集合が位相相関技法によって導出される、請 求項２４に記載の方法。
29. ２９．第１及び第２、第２及び第３、並びに第３及び第４の入力フィールドから 運動ベクトルの第１，第２並びに第３の集合を導出する段階、並びに前記の第１ ，第２並びに第３の集合から連動ベクトルの第４集合を導出する段階を含んでい る、ビデオ信号運動補償システムにおける使用に適した連動ベクトルの集合を導 出する方法。
30. ３０．運動ベクトルの第４集合が前記の第１，第２及び第３の集合の平均値から 導出される、請求項２９に記載の方法。
31. ３１．平均値が重み付き平均値である、請求項３０に記載の方法。
32. ３２．入力フィールドが順序どおりに連続したフィールドである、請求項２９に 記載の方法。
33. ３３．第４集合のベクトルをビデオ信号により表現された画像における基本区域 に割り当てる段階を含んでいる、請求項２９に記載の方法。
34. ３４．ベクトルが第２及び第３入力フィールドの基本区域に割り当てられる、請 求項３３に記載の方法。
35. ３５．ベクトルが前方投影技法によって第２入力フィールドに割り当てられ且つ ベクトルが後方投影技法によって第３入力フィールドに割り当てられる、請求項 ３４に記載の方法。
36. ３６．第２，第３，第４及び第５の入力フィールドについて過程を繰り返してこ れにより連動ベクトルの第５集合を導出する段階を含んでいる、請求項２８に記 載の方法。
37. ３７．運動ベクトルの集合が位相相関技法によって導出される、請求項２８に記 載の方法。
38. ３８．直列に接続されていて一連のビデオフィールドを受ける少なくとも二つの フィールド遅延装置、それぞれ対応するフィールド遅延装置の入力及び出力から 入力フィールドを受ける少なくとも二つの運動ベクトル導出装置、並びにベクト ル導出装置の出力に結合されており且つ運動ベクトルの前記の集合を生成する出 力を持っている組合せ装置を備えている、連動補償システムにおける使用に適し た連動ベクトルの集合を導出するための装置。