JP3226539B2 - ビデオ画像処理 - Google Patents

ビデオ画像処理

Info

Publication number
JP3226539B2
JP3226539B2 JP51052392A JP51052392A JP3226539B2 JP 3226539 B2 JP3226539 B2 JP 3226539B2 JP 51052392 A JP51052392 A JP 51052392A JP 51052392 A JP51052392 A JP 51052392A JP 3226539 B2 JP3226539 B2 JP 3226539B2
Authority
JP
Japan
Prior art keywords
vector
field
input
vectors
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51052392A
Other languages
English (en)
Other versions
JPH06500225A (ja
Inventor
バール，マイケル
ソムソン，ロデリック
レイトン，フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB919111348A external-priority patent/GB9111348D0/en
Priority claimed from GB919118781A external-priority patent/GB9118781D0/en
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of JPH06500225A publication Critical patent/JPH06500225A/ja
Application granted granted Critical
Publication of JP3226539B2 publication Critical patent/JP3226539B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Description

【発明の詳細な説明】 発明の背景 この発明はビデオ画像処理に、更に詳細には、所望出
力画像の生成を助けるための、ビデオ画像の種々の領域
への現在の移動の方向及び大きさを示す運動ベクトルの
導出及び割当てに関係している。
我々の米国特許GB−Ｂ−2188510号はビデオ画像の全
区域にわたって適用可能である運動ベクトルの目録を生
成してこの目録にある運動ベクトルの適当な一つを画像
の各領域に割り当てるための方法を記述している。運動
ベクトルのそのような目録を生成するためには他の方法
も可能である。ベクトルが適用される領域は個々の画像
素子（画素）のように小さいこともあり又は複数の画
素、すなわち画像のブロック、からなることもある。
そのような運動ベクトルは二つの入力フィールドの中
間の時点に対応する出力ビデオフィールドを生成するこ
とが望まれるときに特に有効である。そのような出力フ
ィールドは、ビデオ画像をフィルムへ又はフィルムから
転送するビデオ画像処理システムにおいて、標準変換に
おいて、又はスローモーション効果を生成する際に必要
である。
そのようなすべての応用においては鮮鋭な滑らかに動
く画像を生成することが望ましい。スローモーション生
成の場合に、この技法が例えばシャッタ付きCCDカメラ
により使用されるならば、画像は高フレームレートカメ
ラから得られるものに近い品質で生成されることができ
る。運動ベクトルの目録を生成してそれを個々の画像素
子に割り当てるための一つの可能な技法は我々の国際特
許出願WO−Ａ−9205662号において且つ又我々の国際特
許出願PCT/GB91/01622において提案されている。この技
法は４フィールドアルゴリズムとして知られており、出
力ベクトルフィールドの割当てのために合計四つの入力
フィールドを使用している。ある種類の運動、特に回転
運動に関してはこの形式のシステムが常に満足な結果を
生じるとはかぎらないことが判明している。
別の従来技術のシステムが英国特許出願GB−Ａ−2231
743号に記述されている。これにおいては試行ベクトル
の目録がF1及びF2で示された一対のフィールド間のブロ
ック整合技法を用いて導出される。ベクトルのこの目録
又はメニューは次に所望の出力ベクトルフィールドの時
点においてベクトルフィールドを生成するために三つの
フィールド区間F1ないしF4の全域に適用される。この技
法も又、そのベクトルにより表現されたベクトルが隣り
合ったフィールドの両方に存在しているか否かを必ずし
も考慮しないで出力ベクトルフィールドにおいてベクト
ルが割り当てられるので問題を持っている。すなわち、
出力フィールドにおける誤りが生じ得る。又、次の区間
（F2ないしF3）が使用されるときにはベクトルの新しい
集合がF2について導出されてその後割り当てられなけれ
ばならない。これは余分の計算及び複雑性の増大を生じ
ることになる。
発明の要約 我々は、一連の三つのビデオ画像に関して入力フィー
ルドにおいて生じる任意の物体が前の入力ビデオフィー
ルドか又は次の入力ビデオフィールドに存在することを
察知した。すなわち、中間出力フィールドを生成するた
めに必要とされるすべての情報はこれら三つのフィール
ドに存在する。それゆえ、出力フィールドを生成すると
きにベクトルが正しく割り当てられることを保証する唯
一の方法は特に出力ベクトルを生成する前に入力フィー
ルドベクトルを割り当てることである。必要なベクトル
メニューを生成してこれを出力フィールドの導出前に入
力フィールドに割り当てるための二つの技法がこの出願
において記述されている。これらの技法はこれが機能す
る方法のために３フィールドアルゴリズム及び２フィー
ルドアルゴリズムと呼ばれる。
この発明は添付の諸請求項に定義されており、今度は
これに言及が行われることになる。
採択実施例の詳細な説明 この発明は今度は例のつもりで添付の諸図面に言及し
て詳細に説明されるが、この諸図面中、 図１は３フィールドアルゴリズムによる相関面の導出
を図解した線図であり、 図２は一連の四つの連続したフィールドの間における
ような前景および背景の移動を図解した線図であり、 図３はベクトル割当ての一方法を図解した線図であ
り、 図４は２フィールドアルゴリズムによる相関面の導出
を図解した線図であり、 図５は図４におけるように生成されたベクトルメニュ
ーについてのベクトル割当てを図解した線図であり、 図６は図１の相関面を生成する回路の構成図であり、
又 図７は図４の相関面を生成するための回路の構成図で
ある。
上で言及した３フィールドベクトル割当て方法が最初
に説明される。
３フィールドベクトル割当て方法は図１に言及して説
明されるが、この図は時点t0,t1及びt2における三つの
時間的にずれたフィールドf0,f1及びf2を示している。
我々の英国特許GB−Ｂ−2188510号に述べられた種類
の方法、高速フーリエ変換準拠式位相相関方法を用い
て、フィールドf0及びf1間の差を定義するベクトルフィ
ールドを表現するために位相相関面P1が導出される。f1
及びf2間の差を表現するために第２相関面P2が導出され
る。これらの位相相関面は入力フィールドf0,f1及びf2
の複数のブロックのそれぞれについて導出される。典型
的には入力画像は位相相関前に９行の12ブロックとして
配列された108ブロックに分割される。他の組合せのも
のも明らかに可能である。位相相関は同じブロックの二
つの連続した順次フィールドf0及びf1間で行われる。
相関面P1及びP2は、f0,及びf1,及びf2における対応す
るブロックについて導出された後、加合わせ器２におい
て互いに加算されることによって時間的にフィルタされ
る。これによって、入力フィールドf1にベクトル割り当
てるために使用されることのできる相関面PTが生成され
る。この面PTは三つすべてのフィールドに存在する物体
並びにf0及びf1又はf1及びf2だけに存在する物体に関す
る情報を含んでいる。それゆえにf1におけることごとく
の画像区域にベクトルを割り当てることが可能なはずで
ある。
探索により相関面におけるピークの位置を確認するこ
とによってベクトルのf1への割当て前にPTからベクトル
メニューが導出される。事前設定しきい値より上の、例
えば五つまでのピークの目録が選択されて、相関面が導
出されたf1のブロックにおける画像区域への割当てのた
めの試行ベクトルのメニューが形成される。
試行ベクトルのメニューはf1に割り当てられる前にパ
ン及びズーム成分について解析されて、適当な調整が行
われる。これらの調整を行うための技法は我々の英国特
許出願9206396.5号に記載されている。
このように導出されたこのベクトルメニューは、f1に
おけることごとくの画素についてのf0及びf1並びにf1及
びf2間の運動を独特に記述するベクトルを含んでいるは
ずである。
f1の画素のデータをf0とf1,又はf1とf2の間の出力フ
ィールドの時間位置に投影することによって出力フィー
ルドの導出に寄与するために使用され得るf1の画素に割
り当てられるベクトルを生成することが割当ての目的で
ある。これらのベクトルを割り当てるための一方法が我
々の国際特許出願WO−Ａ−9205662号に記載されてい
る。これにおいてはベクトルがf1における画素に割り当
てられる際、このベクトルを持ったこの画素のf2上及び
f0上への投影を導出するときに最低の総合誤差（整合誤
差）を与える試行ベクトル目録におけるベクトルに従っ
てその割当てが行われる。そのような割当てについての
問題は前景物体が移動しており、従ってフィールド間の
画像の背景の部分部分を見せたり隠したりしているとき
に生じる。この問題を処理するための若干の提案が４フ
ィールドアルゴリズムに関して我々の国際特許出願WO−
Ａ−9205662号に述べられており、それの変更されたも
のは３フィールドアルゴリズムを用いて導出されたベク
トルの割当てについて使用されることができる。
背景物体の前で移動している前景物体の場景において
は前景物体が背景を覆い隠すことが仮定されている。前
景物体の移動は背景を連続的に覆ったり隠したりしてい
る。一連の三つのフィールドにおいては中心フィールド
において見られるすべてのものは前のフィールド、次の
フィールド、又はその両方に存在するはずである。これ
は図２に示されている。この規則に対する例外はあるも
のをことごとくのフィールドにおいて完全に異なって示
す前景における穴により引き起こされる窓効果である。
３フィールドアルゴリズムは試行ベクトルの目録を生
成するために使用され、そしてこれらのベクトルを用い
て画像のことどとくの素子が次の方法の一つで割り当て
られることができる。
ａ） 前景物体。中心フィールド期間における低い整合
誤差 ｂ） 隠れた背景。フィールド１を割り当てるならば前
のフィールド期間における低い整合誤差 ｃ） 現れた背景。フィールド２を割り当てるならば次
のフィールド期間における低い整合誤差 ｄ） 喪失ベクトル／窓問題。良い整合なし ３フィールド割当ては入力フィールドと同時点のベク
トルフィールド及び状態フィールドを生成する。入力時
点のベクトルフィールドが二つの連続した入力フィール
ドについて利用可能であるならば、中間出力フィールド
の生成は論理的問題である。もちろん、ベクトルがメニ
ューから喪失しているならば、画像の区域はフォールバ
ックモードを用いて生成されるように予定されており、
運動補償されない。
多重ベクトル割当て この割当て方法に従って、ベクトル選択過程は二つま
でのベクトルが見え隠れする背景の領域における各出力
画素について生成されることを可能にするように拡張さ
れる。これは前景物体と背景物体との間の接合部での画
像補間のために使用されるベクトル間のソフトスイッチ
を与える。例えば、現れた背景として割り当てられる各
画素（すなわち、最後の二つのフィールド間に生じた最
低の重み付き割当て誤差）については、最初の二つのフ
ィールドにわたって最小割当て誤差を与えるベクトルも
又決定される。出力画像はそれで、割り当てられた現れ
た背景ベクトル（所要の出力時点に対して規準化された
もの）により偏移させられた後続のフィールドと、又こ
の二次ベクトルにより偏移させられた先行するフィール
ドからの寄与分とから補間される。これら二つの寄与分
の相対的割合は次のように決定されることができる。す
なわち、補間されるべき各画素について制御信号が計算
されて、後続のフィールドからとられるべき出力画像の
小部分が指定される。前景区域におけるすべての標本に
ついて、これは図２におけるδｔに等しい定数となり、
これは時間的補間フィルタの正常動作モードである。現
れた背景として標識付けされた領域においては、図３に
おける領域ｅについて前に説明されたようにすべての情
報が後続のフィールドからとられるべきであるので、制
御信号は１に等しく設定される。この制御信号は次に低
域空間フィルタに通されるので、現れた背景の領域のち
ょうど内側ではもはや１に等しくない。
出力フィールドを構成する画像素子はその場合どぎつ
い縁部を最少化する方法で互いに併合されることができ
る。原初源画像においては物体間の狭い境界の全域で互
いに混合している。この境界は解像度によって記述され
る。
出力画像の大部分については画像素子は現在の出力フ
ィールド位置の前及び後の両フレームに存在する。出力
画像は二つの入力画像の重き付き和によって生成され
る。入力変数のそれぞれからの寄与分はassn_ffと呼ば
れる画像大きさ配列である。
隠れた又は現れた背景が使用中であるときには、出力
は一つのフレームだけから作られる。出力を生成する際
には、１フィールド及び２フィールド画像生成間で画像
切換が行われる。この切換は２度生じ、１度は１フィー
ルドからの背景と２フィールドからの背景との間で、も
う１度は１フィールドを用いた背景と２フィールドから
生成された背景との間で生じる。
二つの画像大きさ割当てベクトルフィールドは（assn
_V1及びassn_2と呼ばれる）ベクトル割当て中に生成さ
れる。第１ベクトルフィールドは出力画像時点のすぐ前
のフィールドに且つ第２のものはそれの後のフィールド
に対応している。各ベクトルフィールドは３フィールド
アルゴリズムを用いてこのフィールドについて導出され
た異なったメニューから導出される。最小整合誤差が中
心期間において見いだされたときには、両ベクトルフィ
ールドは同じ値を与えられ且つassn_ffはフィールド１
とT0、出力フィールド時点との間の距離（dist）に等し
くされる。出力画素はassn_ffに依存して二つのフィー
ルドの重み付き平均値として計算される。すなわち、 Aout＝Al×（１−ass_ff）＋A2 assn_ff assn_ff＝最良の整合が先行するフィールド間期間に
存在しているならば、dist 最良の整合が先行するフィールド間期間にあるときに
は、この期間についての最良のベクトルはベクトルフィ
ールドassn_V1へ入れられ、且つ中心期間についての最
良のベクトルassn_V2へ入れられる。この場合にはassn_
ffは０に入れられて出力がフィールド１から生成される
ことを強制する。最良の整合が次に続くフィールド間期
間に存在するときには、中心期間についての最良のベク
トルはベクトルフィールドassn_V1へ入れられ、且つそ
の期間についての最良のベクトルはassn_V2へ入れられ
る。そしてassn_ffは１に入れられて出力がフィールド
２から生成されることを強制する。これは図３に図解さ
れている。
それゆえ理解されることであるが、二つのベクトルが
各フィールドにおける各画素と関連していて、一方のベ
クトルは前向きの方向に「見る」ときに使用され且つ他
方のベクトルは後ろ向きの方向に「見る」ときに使用さ
れる。隠れたり現れたりする背景の期間中は一方のベク
トルが背景を指していて背景を得るために使用され且つ
他方のベクトルが前景物体を指している。assn_ffの割
当て値のために、assn_ff配列が空間的にフィルタされ
るまではただ一つのベクトルが一度に使用される。assn
_ffにおける小さい低域フィルタがモード変更中混ざり
合いを生じることになる。
出力フィールドはそれゆえ画素ごとに発生されて、T0
の前のフィールドはdist★ assn_V1だけ変位させられ、
且つT0の後のフィールドは（１−dist）★assn_V1だけ
変位させられている。
他の環境においては各画素に複数の、例えば二つの運
動ベクトルを割り当てることも可能である。この割当て
は入力時点において又は出力時点において生じ得るであ
ろう。
下で説明される採択実施例においては第１フィールド
と同時点のベクトルフィールドは常に前方へ投影され且
つ第２フィールドと同時点のベクトルフィールドは常に
後方へ投影される。
プレフィルタリング 割当ての前に入力画像は小さい2D空間フィルタを通さ
れる。このフィルタのインパルス応答は方形であり、従
ってステップ応答は線形傾斜になる。整合誤差が画像間
の差から計算されるときには画像こう配（グラジエン
ト）も又計算される。この差がこのこう配で割られる
と、その結果は位置誤差に対応する。これは運動測定の
こう配方法に似ており、画像におけるこう配が線形であ
るときに最も正確になるであろう。
変位が非常に大きい場合にはこの方法は失敗に終わ
り、結果は変位の測度ではなく、単なる大きい誤差であ
る。この方法は単に最良のベクトルを選択するために使
用される。更なる改善は変位測定を用いて割当てベクト
ルにおける小さい誤差を補正することである。
副標本化ベクトルフィールド 入力時点のベクトルフィールドは一つおきの画素につ
いて計算される。原初画像は完全に標本化され、従って
整合誤差の確度は副標本化によって有意には影響されな
いが、ハードウェアにおける相当な節約がある。
整合誤差計算 整合誤差についての通常の意味及び方法は次のように
要約されることができる。すなわち、整合誤差はベクト
ルメニューにおける特定のベクトルが特定の画像素子に
適用されるかどうかを見いだすための手段である。整合
誤差は二つの画像を提案されたベクトル移動量だけ偏移
されてその後二つの画像を減算することによって計算さ
れる。これは割当てブロックの区域について行われて、
この誤差信号の係数は中心画像素子の画像こう配によっ
て除算されて、それから空間的にフィルタされる。
３フィールドアルゴリズムにおいては、所要の入力ベ
グトルフィールドと同時点の入力画像は静止して保持さ
れ且つ前及び期の画像フィールドは試行ベクトルにより
変位させられる。これは所要出力時点の前及び後の両フ
ィールドについて行われなければならない。
これは二つの整合誤差、一つは入力画像の前のもの及
び一つはそれの後のもの、を生じることになる。ベクト
ルフィールドが後方へ投影されたときには第２の整合誤
差は出力画像時点の期間に対応しており、そして低い整
合誤差が背景を示すことになる。この中心整合誤差はこ
れを0.5と0.99との間の重み付け係数で乗算することに
よって小さい優先権を与えられる。ベクトルフィールド
が後方へ投影されたときには第１整合誤差は出力画像時
点の期間に対応していて低い整合誤差が前景を示すこと
になる。この中心フィールド整合誤差は前と同じ方法で
重み付けされる。
他の二つの整合誤差を互いに加算することによって付
加的な整合誤差が計算されて、これも又重み付けされ
る。中心フィールド整合誤差及び組合せ２フィールド整
合誤差は前景を識別することにおいて等しく良好であ
り、従って重み付け係数は類似であるように思われる。
実際には、前方投影のための第１画像と同時点のベク
トルフィールドはそれが第２画像位置にあって後方投影
されたときの同じ画像のためのベクトルフィールドに非
常に類似している。整合誤差計算は同じであるが、フィ
ールド依存性重み付けは変更され、従って割当てベクト
ル及び状態値も変更されている。前方投影フィールド及
び後方投影ベクトルフィールドは同時に計算されるが、
前方ベクトルフィールドは１入力フィールド期間だけ遅
延させられている。
割当て及び状態 この方式においては入力ベクトルフィールドは360画
素及び288フィールド線に副標本化される。入力ベクト
ルフィールドにおける各素子について重み付き整合誤差
が比較される。再生の重み付き整合誤差を持った試行ベ
クトルがその画像素子に割り当てられる。
前方投影ベクトルフィールドに関しては状態規則は次
のとおりである。
前景は第２フィールド又は２フィールド平均値である
最低整合誤差によって示される。
隠れた背景は第１フィールドである最低整合誤差によ
って示される。
喪失運動ベクトルは大きい整合誤差によって示され
る。
後方投影ベクトルフィールドに関しては状態規則は次
ぎのとおりである。
前景は第１フィールド又は２フィールド平均値である
最低整合誤差によって示される。
現れた背景は第２フィールドである最低整合誤差によ
って示される。
喪失運動ベクトルは大きい整合誤差によって示され
る。
状態は第１及び第２ベクトルフィールドにおける各割
当てベクトルと共に記憶される。
出力時点ベクトルフィールド 入力割当てベクトルのマップはどの方向にあらゆるも
のが移動しているかを示すために同時点の画像上に置か
れることができる。出力ベクトルフィールドは第１入力
ベクトルフィールドの各素子を前方の出力時点に且つ第
２ベクトルフィールドを後方の出力位置が投影すること
によって生成される。入力ベクトルフィールドは副標本
化されているけれども出力ベクトルフィールドは完全な
720の水平標本を持っている。
出力時点のベクトルフィールドは入力ベクトルフィー
ルドからのある時間距離において必要とされる。この状
況は図４に示されている。第１ベクトルフィールドを投
影するときには各入力時点ベクトルの場所は距離により
規準化された割当てベクトルに加算され、そしてこの新
しい場所は記憶された割当てベクトルを持っている。第
２ベクトルフィールドについては各入力時点ベクトルの
場所は１距離により規準化された割当てベクトルが加算
され、そしてこの新しい場所は記憶された割当てベクト
ルを持っている。わずかな複雑化の要因は投影場所が出
力ベクトルフィールドにおける正確な場所ではないらし
く且つ又出力ベクトルフィールドが入力ベクトルフィー
ルドよりも密に標本化されることである。両問題はベク
トルを投影ベクトルのどちらかの側の場所にも記憶する
ことによって解決される。
状態及びモード 入力時点ベクトルフィールドの状態は投影ベクトルに
従い、そして新しい出力ベクトル状態が生成される。出
力ベクトルフィールドについての規則は次のとおりであ
る。
前景 前景ベクトルは両入力時点ベクトルフィールドから前
方及び後方へ投影される。二つの前景ベクトルが同じ場
所に到達しているならば両ベクトルは記憶されて状態は
二つの前景ベクトルを示す。
後景 隠れた背景は前方へ投影されて状態はその区域を隠れ
た背景として記す。
現れた背景は後方へ投影されて状態はその区域を現れ
た背景を記す。
フォールバックモード 画像の区域がどちらの入力時点ベクトルフィールドに
おいても大きい整合誤差を持っているならば、運動ベク
トルは利用可能でないものと仮定される。投影背景に対
して物体を失うことを避けるためにその区域は割当て不
可能に記されてフォールバックモードへ行く。このフォ
ールバックモードは静止ベクトルを使用しそして入力フ
ィールドに対する出力フィールドの位置に比例して二つ
の画像を互いに混合することである。比較的柔かい解像
度の画像がフォールバックのために使用されて非運動補
償画像素子のあらさを低減する。
出力ベクトルフィールドの処理 ベクトル投影の結果はベクトルフィールドに穴がある
かもしれないことである。これらの穴は近くの割当てベ
クトル及び状態によって満たされる。
出力画像は利用可能な入力画像の偏移した混合物から
生成される。クロスフェード係数は二つの入力フィール
ドの混合物を制御して出力画像を生成する。この「クロ
スフェード」信号は次の規則に従って値０ないし1.0を
とる。
隠れた背景．クロスフェード＝０は前の画像から画像
をとる。
現れた背景．クロスフェード＝１は次の画像から画像
をとる。
前景．クロスフェード＝distは前及び次の両画像から
画像をとる。二つの前景ベクトルがある場合には第１フ
ィールドは割り当てられるべき第１ベクトルによって移
動され且つ第２ベクトルは第２画像を偏移させるために
使用される。
高誤差区域．クロスフェード＝dist フォールバック
モード、割当てベクトルは０に等しい。
隠れた背景及び現れた背景．これは低い中心整合が達
成され得ず且つクロスフェイス＝距離が機能することが
わかっているときに生じ得る。
出力画像生成 出力画像生成は出力画像場所の各素子を通って進み、
次のアルゴリズムを適用する。
pic_output(x,y)＝ pic_1(dist★ vec_1だけ偏移したx,y)★(１−クロスフェード)＋ pic_1((dist−１)★ vec_2だけ偏移したx,y)★クロスフェードvec_1及びvec_2 は二つの割当てベクトルであり、ただ一つの割当てベク
トルが存在する場合にはvec_2はvec_1に等しくされる。
わずかの画素偏移を生成するために補間器が使用され
ているが、正確な形式はある最適化のためになお開かれ
ている。この詳細は最終画像の品質に影響するが、基本
的な３フィールドアルゴリズムには重要でない。
２フィールドベクトル投影アルゴリズム ２フィールドアルゴリズムはベクトル割当ての第１段
階中にただ二つのフィールドを比較することからその名
称を得ている。２フィールド方式に対する入力ベクトル
メニューは３フィールド方式により必要とされるような
画像と同時点ではなく画像間の区間と同時点のベクトル
である。
この方法は図５に概略的に示されている。これは一連
の四つのビデオフレームf0ないしf3を示している。位相
相関面は各対のフレーム間の区間について導出され、従
って相関面P01,P12及びP23がある。これらのそれぞれは
特定の区間に適用可能である。これらのそれぞれが単に
これが導出されたフィールドにベクトルを割り当てるた
めに使用されるならば、一方のフィールドに存在し且つ
他方には存在しない物体について問題が生じる。それゆ
えに、三つの相関面の重み付き平均値が導出されて、中
心区間f1ないしf2における画像の生成のためにベクトル
を割り当てるのに使用される。この特定の例においてP
01及びP23が両方共４分の１の重みを与えられ且つP12が
２分の１の重みを与えられてその後それらがすべて互い
に加え合わされて、ベクトルメニュー12を導出すること
のできる時間的にフィルタされた相関面が導出される。
一たんベクトルが割り当てられると、この過程は区間f3
ないしf4における更なる相関面を導出してこの面をP12
及びP23と共に用いて区間f2ないしf3における割当ての
ためのベクトルメニューを導出することによって繰り返
される。この過程は一連のビデオ画像の全体にわたって
継続される。
このように位相相関面が一連のビデオ画像における各
フレーム区間について導出され、そしてこれらの相関面
は重み付き平均値に組み合わされて、単一のフレーム区
間に関して適用可能であるベクトルメニューが生成され
る。このメニューが二つのフレーム間の区間に関して適
用可能であるという事実はそれが２フィールドアルゴリ
ズムと呼ばれる理由である。
上に論述されたように、出力フィールドに対してでは
なく入力フィールドに対して割り当てられることがベク
トルにとって望ましく、又察知されることであろうが、
例えば、メニュー12がf1及びf2に割り当てられそしてメ
ニュー23がf2及びf3に割り当てられるならば、f2はこれ
に割り当てられた二つのベクトルフィールドを持つこと
になる。これらの一方はf1に且つ他方はf3に関係づけら
れている。これらはそれぞれ前方及び後方投影フィール
ドと呼ばれ、そしてこれらの使用はスローモーション系
列生成の際に使用される形式の中間フィールドが非常に
確実に生成されることが可能である。これらの生成のた
めの理由、及び出力画像が生成される方法は下で論述さ
れる。
生成された割当てベクトルフィールドは我々の英国特
許出願9013642.5において提案された前方／後方割当て
により生成されたそれと類似している。前方／後方ベク
トルフィールドは付随の整合誤差と共に対で記憶され、
そして組み合わされてベクトル状態を決定する。
組合せベクトルフィールドは出力時点に対して前方及
び後方へ投影されて二重出力時点ベクトルフィールドを
生成する。第１の出力時点ベクトルは前方投影と関連し
ており且つ第２のものは後方投影と関連していてこれら
は画像生成システムへの二つのベクトル入力を制御する
ために組み合わされる。
運動推定 運動推定器の特徴の大部分は前に記述された「３フィ
ールド」アルゴリズムに類似している。主な相違は次の
とおりである。
ベクトルメニュータイミング 「３フィールド」版のためのメニューは入力フィール
ド段階の前及び後の両期間について妥当であるベクトル
メニューを必要とする。偶数次時間フィルタが相関面に
ついて使用されてこの運動段階についての最良の推定値
を作る。これは運動が突然の動き及び高速の加速度を測
定することを犠牲にしてかなり連続的であるときの運動
推定を改善する妥協策である。
「２フィールド」アルゴリズムは一つのフィールド期
間だけについて各メニューを使用するので、タイミング
における変化はない。メニューが二つではなく一つのフ
ィールド段階について妥当であることは比較的ありそう
であり、従ってベクトルメニュー問題は妥協が小さい。
相関フィルタ 特定設計の時間的相関フィルタはフィールドレート相
関を行うときに飛越しにより引き起こされる諸問題を相
殺することが判明している。時間的フィルタの設計は奇
数の係数タップの和が偶数の係数タップの和に等しいと
いう条件を満たすことが望ましい。タップの最もありそ
うな数は３であるので係数は0,25,0.5,0,25になる。
図４は２フィールドアルゴリズム及び関連のベクトル
フィールドを概略的に示しており、これは次の諸部分に
おいて言及される。
入力時点ベクトルフィールド 推定器により生成された各メニューに関して割当ては
２回行われ、１回は前方割当てを用いて又１回は後方割
当てを用いて行われる。前方割当ては第１フィールドを
静止状態に保持し且つ第２フィールドを試行ベクトルに
より偏移させて差の大きさから整合誤差を計算すること
によって行われる。差はこう配で除算され、これはこう
配方法ベクトル測定の適用であるが、結果は選択のため
だけに使用され、誤差は距離に対応している。それは若
干後の日付における補正のために使用されることができ
る。後方投影フィールドは第２フィールドを静止状態に
保持し且つ第１フィールドを偏移させて過程を繰り返す
ことによって生成される。各新入力フィールド及びメニ
ューは二つの割当てベクトルフィールドを生成し、例え
ばフィールドｂ及びｃがメニュー２から生成される。
入力時点ベクトルフィールドの組合せ この時点において我々は四つの割当てベクトルフィー
ルド、すなわち出力時点前のフィールドについての一対
及び出力時点後の一対、を持っている。各対に関して第
１のものは前のメニューを前方割当てすることによって
且つ第２のものは第２のメニューを後方割当てすること
によって生成された。
入力ベクトルフィールドが前方投影についてのもので
あるならば第２ベクトルフィールド「ｂ」は中心期間に
対応しており且つ前景に関連している。第２ベクトルフ
ィールド及び整合誤差は適用されたcentre_wt重み付け
を持っており、これは次に外側フィールド「ａ」整合誤
差と比較される。最低の整合誤差を持ったベクトルが割
り当てられる。次の規則はベクトルフィールド「ａ」及
び「ｂ」を組み合わせてベクトルフィールド「ｃ」を作
るときに適用される。
中心フィールド低．前景 （状態＝３） 外側フィールド低．隠れた背景 （状態＝１） 両整合誤差高． 喪失ベクトル （状態＝５） 状況は入力ベクトルフィールドが後方投影についての
ものであるときに類似しているが、但しcentre_wtは後
方割当てベクトルフィールド「ｃ」整合誤差に適用され
る。「ｃ」の重み付き整合誤差は「ｄ」の整合誤差と比
較されて後方投影ベクトルフィールド「ｆ」を生成す
る。規則は次のようになる。
中心フィールド低．前景 （状態＝３） 外側フィールド低．現れた背景 （状態＝２） 両整合誤差高． 喪失ベクトル （状態＝５） 前及び後に呼ばれた組合せベクトルフィールド（図１
におけるｅ及びｆ）は３フィールドアルゴリズムにおい
て生成された入力時点ベクトルフィールドに類似してい
る。
出力時点ベクトルフィールド むしろ入力時点ベクトルフィールドと同様に、出力フ
ィールドと関連した二つのベクトルフィールドがある。
第１のものは「ｅの前」ベクトルフィールドを前方へ投
影することによって又第２のものは「ｇの後」ベクトル
フィールドを後方へ投影することによって得られる。
ベクトル投影（前方） ベクトル投影は入力ベクトルフィールド「ｅ」におけ
る各場所を訪れ、割当てベクトルにより乗算された「di
st」をベクトルのその場所に加算し、そしてベクトル及
び状態を出力ベクトルフィールドへ書き込むことによっ
て達成される。特定の出力位置へ書込みを行うために前
景／背景競合が生じることは確かにありそうである。こ
の状況は二つの前景ベクトルが景観における同じ点に到
達するときに起こることがあり、従って出力ベクトルフ
ィールドに書込みを行うための簡単な一組の規則が存在
する。
この規則は次のように要約される。
１） ベクトル配列全体は状態＝0,未割当て、に初期設
定される。
２） 任意のベクトルはその状態が既に存在しているも
のより高いという条件で出力ベクトルフィールドに書込
みを行うことができる。第２のベクトルは無視される。
ベクトル投影（後方） 次の入力フィールドからの後方の出力フィールド位置
へのベクトル投影は前方投影に類似している。出力時点
後方ベクトルフィールドは図においてｈとして示されて
おり、状態は投影が始まる前にゼロに設定されている。
相違は距離が1distであることである。
出力時点ベクトルフィールドの組合せ 二つの出力ベクトルフィールドは次の表に要約されて
いる別の組の規則に従って組み合わされる。
!! 4xを始めるモードはdist又は0.5でクロスフェード
されることができ、やはり最適化を受けるであろう。
ベクトル処理の後にはベクトルg,hのすべての場所及
びクロスフェード係数が満たされている。出力画像に対
する目に見える改善が、二次元空間フィルタをベクトル
フィールド及びクロスフェード面上で通過させることに
よって見いだされている。
出力画像生成 出力画像生成過程は出力画像場所の各素子を通って進
み、次のアルゴリズムを適用する。
Pic_output（x,y）＝ pic_1（dist★ vec_1だけ偏移したx,y）★（１−クロスフェード）＋ pic_2（dist−１）★ vec_2だけ偏移したx,y）★クロスフェード 補間器がわずかの画素偏移を生成するために使用され
ているが、正確な形式はある最適化のためになお開かれ
ている。細部は最終画像の品質に影響するが、基本的３
フィールドアルゴリズムにとっては重要でない。
図６は３フィールドアルゴリズムを実施するための回
路を示している。これは直列に接続されていて一連のビ
デオフィールドを受ける一対のフィールド遅延器20を備
えている。各遅延器の入力及び出力は位相相関器22のそ
れぞれの入力に結合されている。これらのそれぞれは二
つの連続したフィールド間の運動を表現する相関面を生
成する。これらの面は乗算器24によって0.5の等しい重
みを与えられて、次に加算器26において組み合わされ
る。この平均化された相関面は次にピークベクトル検出
器28を通過し、この検出器は所定のしきい値を越えたベ
クトルだけを通過させる。これによって３フィールド集
合の中心フィールドに対する割当てのためのベクトルメ
ニューが生成される。このベクトルメニューが利用可能
になる時点までに、それが割り当てられることになって
いる入力ベクトルはフィールド遅延器20の２番目のもの
の出力において利用可能になる。ベクトルメニュー及び
両フィールド遅延器の出力は割当て装置への入力を形成
し、この割当て装置においてベクトルはメニューが導出
させた３フィールド系列の中心フィールドに割り当てら
れることができる。
図７は図６の回路構成の変更であって、２フィールド
アルゴリズムを実施するために適している。それは他の
フィールド遅延器と直列の付加的なフィールド遅延器20
を含んでいる。これは関連の位相相関器22を持ってお
り、この相関器の出力は第４の乗算器21によって重み付
けされた後、加算器26において他の位相相関器の出力と
組み合わされる。生成されたベクトルメニュー及びこれ
が導出された種々の入力フィールドは割当て装置（図示
されていない）への入力を形成する。
ベクトル割当て及び時間的補間の両過程は飛越しに言
及しないで説明された。これらの過程は（標本化線の垂
直位置を考慮して）飛越し式信号に直接適用されること
ができる。別の方法として、飛越し式信号は処理前に順
次的又は連続的形式に変換されることができる。
この発明を組み込むことのできるスローモーション再
生システムの構成図に関しては、開示内容がこの明細書
に援用されるIEE会議出版物（IEE Comference Pablicat
ion）327号（IBC′90）121ないし125mページ、及びこの
論文に記載された参照文献に参照が行われる。
上述の諸動作が一般に個別の回路によってではなくコ
ンピュータシステムによって実現されることも又察知さ
れるであろう。上の動作説明は技術に通じた者により容
易に理解されるようなシステムの生成のために必要なす
べての情報を与えており、従ってプログラミングブロッ
クについての詳細な説明は不必要であり、ここには含ま
れていない。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ソムソン，ロデリック イギリス国サリー ティーダブリュー ９・２エルディー，リッチモンド，トリ ニティー・ロード 18 (72)発明者 レイトン，フィリップ イギリス国サリー エスエム２・５イー キュー，サットン，シダー・ガーデン ズ，グラスミアー・コート ７ (56)参考文献 Ｃ．Ｃａｆｆｏｒｉｏ Ｆ．Ｒｏｃｃ ａ ａｎｄ Ｓ．Ｔｕｂａｒｏ，“Ｍｏ ｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉ ｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏ ｎ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯ ＮＳ ＯＮ ＣＯＭＭＵＮＩＣＡＴＩＯ ＮＳ，1990年２月，第38巻，第２号, ｐ．215−222 西川博文，外２名，“蓄積系メディア 用符号化に適したフレーム間／フィール ド間動き補償の検討”，1991年電子情報 通信学会春季全国大会講演論文集，社団 法人電子情報通信学会，1991年３月26 日，分冊７，ｐ．64（Ｄ−354) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/01 H04N 7/24 - 7/68

Claims (30)

    (57)【特許請求の範囲】
  1. 【請求項１】運動補償補間システムにおいて使用するビ
    デオ信号運動補償方法において、 各入力フィールドに対して、該フィールドと先行のフィ
    ールドおよび後続のフィールドとの比較から運動ベクト
    ルの集合を導出するステップと、 前記運動ベクトルのそれぞれを、前記入力フィールドの
    個々の素子区域に割り当てるステップと、 前記入力フィールドの少なくとも一つからのベクトルを
    出力フィールドの素子区域に割り当てることによって、
    二つの入力フィールドの間に出力フィールドを導出する
    ステップと、 を含み、前記出力フィールドの所定の素子区域がその区
    域に割り当てられた二つまたはそれ以上の割り当てベク
    トルを有すること、 を特徴とするビデオ信号運動補償方法。
  2. 【請求項２】前記所定の素子区域において、その区域に
    割り当てられた第一の割り当てベクトルが、前記出力フ
    ィールドの一方側への入力フィールドの動きを指定する
    ために使用され、その区域に割り当てられた第二の割り
    当てベクトルが、前記出力フィールドの他方側への入力
    フィールドの動きを指定するために使用される請求項１
    に記載の方法。
  3. 【請求項３】前記第一の割り当てベクトルが第一の入力
    画像部分に関連し、且つ前記第二の割り当てベクトル
    が、前記第一の入力画像部分とは異なって移動している
    第二の入力画像部分に関連しており、それに対応する出
    力画像部分が前記入力画像部分のそれぞれにおける二つ
    のベクトルの合力の組み合わせによって形成されて、移
    動する物体の縁部におけるぼけ状の表示を与えている請
    求項１に記載の方法。
  4. 【請求項４】二つの物体が出力画像において存在するた
    めに等しい権利を有するように決定されている場合に、
    二つの前記割り当てベクトルが前記二つの物体にそれぞ
    れ関連し、その合力が出力フィールドを形成するために
    組み合わされる請求項２に記載の方法。
  5. 【請求項５】前記所定の素子区域において、有効な動き
    の決定を行うことができず、また前記第一の割り当てベ
    クトルがフォールバックモードに対応しており、且つ前
    記第二の割り当てベクトルが、隣接する測定ブロックか
    らのベクトルに対応している請求項１に記載の方法。
  6. 【請求項６】前記所定の素子区域の値に対する二つの予
    測が、二つの前記割り当てベクトルに基づいて行われ、
    かかる二つのベクトルの合力が、単純平均または重み付
    け平均によって組み合わせられる請求項１に記載の方
    法。
  7. 【請求項７】前記組み合わせは、平滑化フィルタ関数が
    適用される時間依存性の係数にしたがって行われる請求
    項６に記載の方法。
  8. 【請求項８】運動ベクトルが画像の複数のブロックのそ
    れぞれに対して導出され、このようにして導出されたベ
    クトルが、前記画像またはその諸部分に対する複数のベ
    クトルを供給するように選択される請求項１に記載の方
    法。
  9. 【請求項９】前記ベクトルが位相相関技法によって導出
    される請求項１に記載の方法。
  10. 【請求項１０】前記割り当てが、三つの入力フレームの
    内容を同時に比較することによって行われる請求項２に
    記載の方法。
  11. 【請求項１１】二つのベクトルフィールドが入力フィー
    ルドに割り当てられており、その第一のベクトルフィー
    ルドが先行の入力フィールドへの後方投影によって割り
    当てられ、その第二のベクトルフィールドが後続の入力
    フィールドへの前方投影によって割り当てられている請
    求項１に記載の方法。
  12. 【請求項１２】二つまたはそれ以上のベクトル割り当て
    られている素子区域が、運動ベクトルの異なる集合から
    割り当てられる、そのようなベクトルを有している請求
    項１に記載の方法。
  13. 【請求項１３】少なくとも二つのベクトルが、入力フィ
    ールドの各素子区域に割り当てられる請求項１に記載の
    方法。
  14. 【請求項１４】入力フィールドの素子区域に割り当てら
    れた第一のベクトルが、先行の入力フィールドへの後方
    投影によって導出され、同じ素子区域に割り当てられた
    第二のベクトルが、後続の入力フィールドへの前方投影
    によって導出されている請求項１に記載の方法。
  15. 【請求項１５】前記運動ベクトルの集合が、前記入力フ
    ィールドと、その直前および直後の入力フィールドとの
    間の比較から導出された運動ベクトルの集合の平均を構
    成している請求項１に記載の方法。
  16. 【請求項１６】前記平均が重み付け平均である請求項15
    に記載の方法。
  17. 【請求項１７】前記の運動ベクトルの集合を導出するス
    テップが、第一および第二の入力フィールドを比較する
    ことによって運動ベクトルの第一の集合を導出するステ
    ップと、第二および第三の入力フィールドを比較するこ
    とによって運動ベクトルの第二の集合を導出するステッ
    プと、前記第一の集合および前記第二の集合からベクト
    ルの第三の集合を導出するステップと、を含む請求項１
    に記載の方法。
  18. 【請求項１８】前記入力フィールドが順番に連続するフ
    ィールドである請求項17に記載の方法。
  19. 【請求項１９】前記第三の集合のベクトルを、画像の素
    子区域に割り当てるステップを更に含む請求項17に記載
    の方法。
  20. 【請求項２０】前記の割り当てるステップが、前記第三
    の集合のベクトルを、前記第二の入力フィールドにおけ
    る画像の素子区域に割り当てることを含む請求項19に記
    載の方法。
  21. 【請求項２１】前記の運動ベクトルの集合を導出するス
    テップが、第一および第二の入力フィールド、第二およ
    び第三の入力フィールド、および第三および第四の入力
    フィールドから、運動ベクトルの第一の集合、第二の集
    合、および第三の集合を導出するステップと、前記第
    一、第二および第三の集合から運動ベクトルの第四の集
    合を導出するステップと、を含む請求項１に記載の方
    法。
  22. 【請求項２２】運動ベクトルの前記第四の集合が、前記
    前記第一、第二および第三の集合の平均から導出される
    請求項21に記載の方法。
  23. 【請求項２３】前記平均が重み付け平均である請求項22
    に記載の方法。
  24. 【請求項２４】前記入力フィールドが順番に連続するフ
    ィールドである請求項23に記載の方法。
  25. 【請求項２５】前記第四の集合のベクトルを、ビデオ信
    号によって示される画像における素子区域に割り当てる
    ステップを更に含む請求項23に記載の方法。
  26. 【請求項２６】前記ベクトルが、前記第二および第三の
    入力フィールドの素子区域に割り当てられる請求項25に
    記載の方法。
  27. 【請求項２７】前記ベクトルが、前記第二の入力フィー
    ルドに前方投影技法によって割り当てられ、前記第三の
    入力フィールドに後方投影技法によって割り当てられる
    請求項26に記載の方法。
  28. 【請求項２８】前記第二、第三、第四の入力フィール
    ド、および第五の入力フィールドに対して過程を繰り返
    して、運動ベクトルの第五の集合を導出するステップを
    更に含む請求項23に記載の方法。
  29. 【請求項２９】運動ベクトルの前記集合が、位相相関技
    法によって導出される請求項28に記載の方法。
  30. 【請求項３０】各入力フィールドの複数のブロックのそ
    れぞれに対して、該フィールドと先行の入力フィールド
    および後続の入力フィールドとの比較から複数の運動ベ
    クトルを導出するベクトル導出手段と、 前記運動ベクトルのそれぞれを、前記入力フィールドの
    個々の素子区域に割り当てるベクトル割り当て手段と、 前記入力フィールドの少なくとも一つからのベクトルを
    出力フィールドの素子区域に割り当てることによって、
    出力フィールドを導出する手段と、 を含み、前記出力フィールドの所定の素子区域がその区
    域に割り当てられた二つまたはそれ以上の有効ベクトル
    を有すること、 を特徴とするビデオ信号運動補償装置。
JP51052392A 1991-05-24 1992-05-26 ビデオ画像処理 Expired - Fee Related JP3226539B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB9111348.0 1991-05-24
GB919111348A GB9111348D0 (en) 1991-05-24 1991-05-24 Video signal processing
GB9118781.5 1991-09-03
GB919118781A GB9118781D0 (en) 1991-09-03 1991-09-03 Video image processing

Publications (2)

Publication Number Publication Date
JPH06500225A JPH06500225A (ja) 1994-01-06
JP3226539B2 true JP3226539B2 (ja) 2001-11-05

Family

ID=26298953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51052392A Expired - Fee Related JP3226539B2 (ja) 1991-05-24 1992-05-26 ビデオ画像処理

Country Status (18)

Country Link
US (1) US6011596A (ja)
EP (1) EP0540714B1 (ja)
JP (1) JP3226539B2 (ja)
CN (1) CN1079350A (ja)
AT (1) ATE162037T1 (ja)
AU (1) AU660020B2 (ja)
BR (1) BR9205296A (ja)
CA (1) CA2087946A1 (ja)
CZ (1) CZ399892A3 (ja)
DE (1) DE69223925T2 (ja)
DK (1) DK0540714T3 (ja)
ES (1) ES2112316T3 (ja)
FI (1) FI930280A0 (ja)
GB (1) GB2256341B (ja)
HU (1) HU9300005D0 (ja)
NO (1) NO930221L (ja)
SK (1) SK399892A3 (ja)
WO (1) WO1992021201A1 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2265783B (en) * 1992-04-01 1996-05-29 Kenneth Stanley Jones Bandwidth reduction employing a classification channel
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
GB2277000B (en) * 1993-04-08 1997-12-24 Sony Uk Ltd Motion compensated video signal processing
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
US20010041843A1 (en) * 1999-02-02 2001-11-15 Mark Modell Spectral volume microprobe arrays
GB2311183A (en) * 1996-03-13 1997-09-17 Innovision Plc Gradient based motion estimation
US6847490B1 (en) * 1997-01-13 2005-01-25 Medispectra, Inc. Optical probe accessory device for use in vivo diagnostic procedures
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6411838B1 (en) * 1998-12-23 2002-06-25 Medispectra, Inc. Systems and methods for optical examination of samples
US6427082B1 (en) * 1998-12-23 2002-07-30 Medispectra, Incorporated Optical methods and systems for rapid screening of the cervix
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6902935B2 (en) * 1999-12-15 2005-06-07 Medispectra, Inc. Methods of monitoring effects of chemical agents on a sample
US7260248B2 (en) * 1999-12-15 2007-08-21 Medispectra, Inc. Image processing using measures of similarity
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
GB2361372B (en) * 2000-04-07 2004-08-25 Snell & Wilcox Ltd Video signal processing
US6839661B2 (en) * 2000-12-15 2005-01-04 Medispectra, Inc. System for normalizing spectra
WO2002067576A1 (en) * 2001-02-21 2002-08-29 Koninklijke Philips Electronics N.V. Facilitating motion estimation
EP1442608B1 (en) 2001-10-29 2015-05-06 Ceva D.S.P. Ltd. Method and apparatus for motion estimation in a sequence of digital images
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
EP1512276A2 (en) * 2002-05-28 2005-03-09 Koninklijke Philips Electronics N.V. Motion blur decrease by varying duty cycle
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US6818903B2 (en) * 2002-07-09 2004-11-16 Medispectra, Inc. Method and apparatus for identifying spectral artifacts
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US6768918B2 (en) * 2002-07-10 2004-07-27 Medispectra, Inc. Fluorescent fiberoptic probe for tissue health discrimination and method of use thereof
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
EP1665808B1 (en) * 2003-09-02 2016-05-25 Entropic Communications, Inc. Temporal interpolation of a pixel on basis of occlusion detection
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
EP1665806A1 (en) * 2003-09-17 2006-06-07 Koninklijke Philips Electronics N.V. Motion vector field re-timing
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
WO2005088543A1 (en) * 2004-03-02 2005-09-22 Philips Intellectual Property & Standards Gmbh Motion compensation
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US8265145B1 (en) 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP5453304B2 (ja) * 2007-12-20 2014-03-26 クゥアルコム・インコーポレイテッド 適応探索範囲を用いた動き推定
CN101953167B (zh) * 2007-12-20 2013-03-27 高通股份有限公司 减少光晕的图像插值
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8902359B1 (en) * 2011-03-08 2014-12-02 Marvell International Ltd. Processor implemented systems and methods for handling of occlusion for frame rate upconversion
CN102542575B (zh) * 2011-12-06 2014-09-10 晶门科技（深圳）有限公司 基于运动向量投影的静止物体和运动背景区域的检测方法及装置
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
EP3111630B1 (en) * 2014-03-28 2021-06-02 Huawei Technologies Co., Ltd. Method and device for generating a motion-compensated video frame
US9794588B2 (en) 2015-09-30 2017-10-17 Sony Corporation Image processing system with optical flow recovery mechanism and method of operation thereof
US10352838B2 (en) * 2016-09-05 2019-07-16 Omnitek Partners Llc Mechanical high spin-shock testing machines
US10671646B2 (en) * 2016-12-22 2020-06-02 Aon Global Operations Ltd (Singapore Branch) Methods and systems for linking data records from disparate databases

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910009880B1 (ko) * 1983-07-25 1991-12-03 가부시기가이샤 히다찌세이사꾸쇼 인터레이스된 텔레비젼 신호중의 화상의 움직임 검출회로
DE3663875D1 (en) * 1986-03-08 1989-07-13 Ant Nachrichtentech Motion compensating field interpolation method using a hierarchically structured displacement estimator
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement
DE3622487A1 (de) * 1986-07-02 1988-01-14 Schering Ag Arzneimittel mit verzoegerter wirkstoffabgabe
FR2616248B1 (fr) * 1987-06-04 1992-04-24 Thomson Grand Public Procede d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procede
EP0294956B1 (en) * 1987-06-09 1994-07-20 Sony Corporation Motion vector reduction in television images
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231743B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231227B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
US5170144A (en) * 1989-07-31 1992-12-08 Solatrol, Inc. High efficiency, flux-path-switching, electromagnetic actuator
GB9013642D0 (en) * 1990-06-19 1990-08-08 British Broadcasting Corp Video signal processing
WO1992005662A1 (en) * 1990-09-20 1992-04-02 British Broadcasting Corporation Video image processing
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
GB2249906B (en) * 1990-11-15 1994-04-27 Sony Broadcast & Communication Motion compensated interpolation of images
US5185819A (en) * 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ｃ．Ｃａｆｆｏｒｉｏ Ｆ．Ｒｏｃｃａ ａｎｄ Ｓ．Ｔｕｂａｒｏ，"Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ"，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ，１９９０年２月，第３８巻，第２号，ｐ．２１５−２２２
西川博文，外２名，"蓄積系メディア用符号化に適したフレーム間／フィールド間動き補償の検討"，１９９１年電子情報通信学会春季全国大会講演論文集，社団法人電子情報通信学会，１９９１年３月２６日，分冊７，ｐ．６４（Ｄ−３５４）

Also Published As

Publication number Publication date
CZ399892A3 (en) 1993-05-12
HU9300005D0 (en) 1993-04-28
SK399892A3 (en) 1993-07-07
JPH06500225A (ja) 1994-01-06
CA2087946A1 (en) 1992-11-25
DK0540714T3 (da) 1998-09-07
GB9211154D0 (en) 1992-07-08
GB2256341B (en) 1995-02-15
FI930280A (fi) 1993-01-22
FI930280A0 (fi) 1993-01-22
ATE162037T1 (de) 1998-01-15
BR9205296A (pt) 1993-07-27
DE69223925D1 (de) 1998-02-12
NO930221D0 (no) 1993-01-22
EP0540714A1 (en) 1993-05-12
AU1760192A (en) 1992-12-30
NO930221L (no) 1993-01-25
DE69223925T2 (de) 1998-06-18
AU660020B2 (en) 1995-06-08
GB2256341A (en) 1992-12-02
US6011596A (en) 2000-01-04
EP0540714B1 (en) 1998-01-07
ES2112316T3 (es) 1998-04-01
CN1079350A (zh) 1993-12-08
WO1992021201A1 (en) 1992-11-26

Similar Documents

Publication Publication Date Title
JP3226539B2 (ja) ビデオ画像処理
EP0852096B1 (en) Motion compensated interpolation
US6005639A (en) Vector assignment for video image motion compensation
De Haan et al. True-motion estimation with 3-D recursive search block matching
EP0940041B1 (en) Motion estimation and motion-compensated interpolation
US5526053A (en) Motion compensated video signal processing
US9414060B2 (en) Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
US8358878B2 (en) Method and apparatus for interpolating an image
JP2006504175A (ja) フォールバックを用いる画像処理装置
JP3245417B2 (ja) ビデオ信号の画素に対する運動ベクトルの割当て方法および装置
JP2005517251A (ja) ピクセル群の動きベクトルを推定する方法及びユニット
KR100955415B1 (ko) 움직임 파라미터 세트 및 화상 반복 패턴을 제공하기 위한 방법, 컴퓨터 판독가능 저장 매체 및 집적 회로와, 움직임 파라미터를 제공하기 위한 컴퓨터
JPH0795591A (ja) ディジタル画像信号処理装置
GB2205713A (en) Motion compensated interpolation of digital television images
Haindl et al. Fast restoration of colour movie scratches
JP3366059B2 (ja) ビデオ信号処理装置
Lueck et al. Error-tolerant interpolation of intermediate views for real-time applications
Patti Digital video filtering for standards conversion and resolution enhancement

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070831

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080831

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080831

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090831

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees