SK399892A3 - Video image processing - Google Patents

Video image processing Download PDF

Info

Publication number
SK399892A3
SK399892A3 SK399892A SK399892A SK399892A3 SK 399892 A3 SK399892 A3 SK 399892A3 SK 399892 A SK399892 A SK 399892A SK 399892 A SK399892 A SK 399892A SK 399892 A3 SK399892 A3 SK 399892A3
Authority
SK
Slovakia
Prior art keywords
vectors
field
vector
fields
input
Prior art date
Application number
SK399892A
Other languages
English (en)
Inventor
Roderick Thomson
Michael Burl
Philip Layton
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB919111348A external-priority patent/GB9111348D0/en
Priority claimed from GB919118781A external-priority patent/GB9118781D0/en
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of SK399892A3 publication Critical patent/SK399892A3/sk

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Color Television Image Signal Generators (AREA)
  • Lubrication Of Internal Combustion Engines (AREA)
  • Image Analysis (AREA)
  • Lubricants (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

Spracovan i e obrazov
Oblasť techniky
Vynález sa dotýka spracovania obrazov video, najmä odvodenia a priradenia pohybových vektorov indikujúcich smer a veľkosť okamžitého pohybu pre rôzne oblasti obrazu, aby pomohlo generovaniu žiadaných výstupných obrazov.
Doterajší stav techniky
Náš britský vynález č. GB-B-2188510 popisuje spôsob vytvorenia zoznamu pohybových vektorov, ktorý je možno použiť pre celú oblasť video a pre priradenie príslušného z pohybových vektorov v zozname ku každej oblasti obrazu. Možné sú i ďalšie metódy generovania takýchto zoznamov pohybových vektorov. Oblasti, na ktoré sa vektory aplikujú, môžu byť tak malé ako jediný obrazový prvok (pixel) alebo môžu obsahovať veľa obrazových prvkov, tj. celý blok obrazu.
Tieto pohybové vektory sú predovšetkým užitočné, keď sa majú generovať výstupné polia video, ktoré odpovedajú časovému okamžiku medzi dvoma výstupnými poliami. Takéto výstupné polia sú potrebné v systémoch spracovania obrazov video, ktoré prenášajú obrazy video z filmu na film, pri transformácii normy, alebo pri vytváraní spomalovacích efektov.
Vo všetkých týchto aplikáciách je žiadúce vytvorenie ostrého pomaly sa pohybujúceho obrazu. V prípade generovania pomalého pohybu, ak je metóda požitá napr. s uzávierkovou kamerou CCD, je možné generovať obraz s akosťou, ktorá sa blíži akosti dosiahnuteľnej kamerou s veľkou početnosťou snímkov. Jeden možný spôsob generovania zoznamu pohybových vektorov a potom ich priradenie obrazovým prvkom bol navrhnutý v našej medzinárodnej patentovej prihláške č. W0-A-9205662 a tiež v našej medzinárodnej patentovej prihláške č. PCT/GB91/01622.
Tento spôsob je známy ako algoritmus štyroch polí a používa celkom štyri výstupné polia pre priradenie jedného výstupného vektorového poľa. Bolo zistené, že pre určité typy pohybu, osobitne rotačných pohybov, tento typ systému neposkytuje vždy vyhovujúce výsledky.
Iný známy systém je popísaný v britskej patentovej prihláške ô. GB-A-2231743. Tu sa zoznam pokusných vektorov odvodzuje s použitím metódy blokového porovnávania medzi dvojicou polí označených Fi a F3 . Tento zoznam čiže menu vektorov sa potom aplikuje na tri intervaly polí Fi až F4, aby sa vytvorilo vektorové pole v okamžiku žiadaného výstupného vektorového poľa. Tento spôsob má tiež svoje problémy, pretože vektory sú priradené výstupnému vektorovému poľu, bez toho aby sa nutne bralo do úvahy, či objekt, reprezentovaný týmto vektorom, je alebo nie je prítomný na obidvoch súsedných poliach. Tým môžu na výstupných poliach vzniknúť chyby. Tiež keď sa použije ďalší interval /F3 až F3/, je nutné pre F3 odvodiť novú sadu vektorov a potom ich priradiť. To vedie k ďalším výpočtom a zväčšenie zložitosti.
Podstata vynálezu
Uvedomili sme si, že pre sled troch obrazov video, akýkoľvek objekt, ktorý sa vyskytne na výstupnom poli, bude prítomný buď na predošlom výstupnom poli video alebo na nasledujúcom výstupnom poli video. Takto sú všetky informácie potrebné pre generovanie medziľahlého výstupného poľa prítomné na týchto troch poliach. Takže jediný spôsob, ako zaistiť, aby vektory boli pri generovaní výstupných polí správne priradené, je priradiť vektory špecificky vstupným poliam pred generovaním polí výstupných. V tejto prihláške sa popisujú dva spôsoby vytvárania potrebných menu vektorov a ich priradenie vstupným poliam pred odvodzovaním výstupných polí. Tieto spôsoby nazývame algoritmom troch polí a algoritmom dvoch polí vzhľadom na postup akým pracujú.
Vynález je definovaný pripojenými nárokami, na ktoré teraz odkážeme.
Prehľad obrázkov na výkresoch
Vynález teraz podrobne popíšeme na príkladoch s odkazami na pripojené výkresy. Obr. 1 je diagram znázorňujúci odvodenie korelačnej plochy algoritmom troch polí. Na obr. 2 je diagram znázorňujúci pohyb popredia a pozadia medzi sledom štyroch za sebou idúcich pol í.Na obr. 3 je diagram znázorňujúci jeden zo spôsobov priradenia vektorov. Obr. 4 je diagram znázorňujúci odvodenie korelačnej plochy algoritmom dvoch polí. Na obr. 5 je diagram znázorňujúci priradenie vektorov pre menu vektorov generovaných podľa obr. 4. Obr. 6 je skupinová schéma obvodov vytvárajúcich korelačnú plochu podľa obr. 4.
Príklady vyhotovenia vynálezu
Najskôr popíšeme zhora spomenutý spôsob priradenia vektorov algoritmom troch polí. Spôsob priradenia vektorov troch polí popíšeme s odkazmi na obr. 1, ktorý ukazuje tri časové posunuté polia, fo, fi a f 2 v časoch to, ti a t2·
Použitím spôsobu vysvetleného v našom britskom patente č. GB-B-2188510, metódy fázovej korelácie založenej na rýchlej Fourierovej transformácii, sa odvodí plocha Pi fázovej korelácie, zobrazujúca vektorové pole, definujúca rozdiely medzi poľami fo a fi. Potom sa odvodí druhá korelačná plocha P2, zobrazujúca rozdiely medzi poľami fi a f2- Tieto korelačnej plochy sa odvodia pre každý z množstva blokov vstupných polí Fo, Fi a F2 Vstupný obraz sa pred fázovou koreláciou rozdelí na 108 blokov usporiadaných ako 9 radov po 12 blokoch. Zrejme sú možné aj iné permutácie. Fázová korelácia sa vykoná medzi týmito b1okámi na dvoch za sebou idúcich poliach fo fi.
Po odvodení korelačných plôch Pi a P2 pre odpovedajúce bloky v fo, f1 a f2 sa tieto plochy časovo filtrujú spočítaním na sčítačke 2. Tým sa vytvorí korelačná plocha PT, ktorú je možné použit* k priradeniu vektorov vstupnému poľu fi. Táto plocha PT bude obsahovať' informácie o objektoch, ktoré sú prítomné na všetkých troch poliach, a tiež o objektoch, ktoré sú prítomné len na poliach fo a fi alebo fi a f2. Takto by malo byť možné priradiť vektor všetkým oblastiam obrazu na fi.
Pred priradením vektorov poľu fi sa z PT odvodí menu vektorov vyhľadaním umiestnenia vrcholov korelačnej plochy. Vyberie sa zoznam napr. až päť vrcholov nad vopred nastaveným prahom, aby vytvoril menu pokusných vektorov pre priradenie oblastiam obrazu v bloku fi, z ktorého bola plocha odvodená.
Skôr než sa menu pokusných vektorov priradí poľu fi, analyzuje sa na zložky pohybu a priblíženie kamery a vykonajú sa vhodné nastavenia. Spôsoby týchto nastavení sú popísané v našej britskej patentovej prihláške č. 9206396.5.
Takto odvodené menu vektorov by malo obsahovať vektor, ktorý jednoznačne popisuje pohyb medzi fo a f i a medzi fi a f2 pre každý obrazový prvok poľa fi.
Cieľom tohoto priradenia je vytvoriť vektory priradené obrazovým prvkom poľa fi, ktoré môžu byť použité, aby prispeli k odvodeniu výstupného poľa buď medzi fo a fi alebo fi a f2 projekciou údajov tohoto obrazového prvku do časovej polohy výstupného poľa. Jedna z metód priradenia týchto vektorov je popísaná v našej medzinárodnej patentovej prihláške číslo WO-A-9205662. U tejto metódy sa vektor priradí obrazovému prvku v f i podľa toho vektoru v zoznamu pokusných vektorov, ktorý dáva najmenšiu celkovú chybu /chybu zhody/ pri odvodení projekcie tohoto obrazového prvku týmto vektorom na pole f3 a na pole fo. U tohoto priradenia nastávajú problémy, keď sa predmety v popredí pohybujú a v dôsledku toho odkrývajú a zakrývajú časti pozadia obrazu medzi poľami. Niektoré návrhy, ako riešiť tieto problémy, sú uvedené v našej medzinárodnej patentovej prihláške č. WO-A-9205662 vo vzťahu k algoritmu štyroch polí a ich modifikáciu je možné použiť pri priraďovanie odvodených vektorov pri použití algoritmu troch polí.
Na scéne s objektami v popredí pohybujúcimi sa pred objektami pozadia sa predpokladá, že objekt v popredí zakrýva pozadie. Pohyb objektu v popredí spojito zakrýva a odkrýva po5 zadie. V sledu troch polí by všetko, čo je viditeľné v strednom poli, malo byť viditeľné buď v predošlom poli alebo v nasledujúcom poli alebo v obidvoch. To je naznačené na obr. 2. Výnimkou z tohoto pravidla je okienkový efekt, spôsobený otvorom v popredí, ktorý ukazuje na každom poli niečo úplne iného .
Algoritmus troch polí sa použije k vytvoreniu zoznamu pokusných vektorov a z ich použitím je možné všetky prvky obrazu priradiť jedným z týchto spôsobov’ a/ Objekt v popredí: malá chyba zhody v perióde stredného poľa.
b/ Zakryté pozadie’ malá chyba zhody v perióde predošlého poľa pri priradení poľa 1.
c/ Odkryté pozadie’ malá chyba zhody v perióde následujúceho poľa pri priradení poľa 2.
d/ Problém chýbajúceho vektora alebo okienka’ žiadna vyhovujúca zhoda.
Priradenie s troma poľami vytvára pole vektorov a pole stavov časovo odpovedajúce vstupnému poľu. Ak je k dispozícii pole vektorov s časovaním vstupu pre dve za sebou idúce vstupné polia, potom vytvorenie medziľahlého výstupného poľa je len logický problém. Ovšem ak chybí v menu vektor, potom musí byť oblasť obrazu určená použitím návratového režimu a nie je pohybovo kompenzovaná.
Priradenie niekoľko vektorov. Podľa tejto metódy je proces výberu vektorov rozšírený, aby umožnil generovanie až dvoch vektorov pre každý výstupný obrazový prvok v oblastiach odkrývaného a zakrývaného pozadia. To umožňuje hladké prepínanie medzi vektorami použitými pre interpoláciu obrazov na prechodoch medzi objektami popredia a pozadia. Napr. pre každý obrazový prvok, ktorý je priradený ako odkryté pozadie /tj. najmenšia vážená chyba priradenia nastala medzi dvoma poslednými poľami/, sa určí tiež vektor dávajúci najmenšiu chybu priradenia pre prvé dve polia. Výstupný obraz sa potom interpoluje z nasledujúcich polí posunutých priradeným vektorom odkrytého pozadia /načasovaným pre požadovaný čas výstupu/, spo6 lu s príspevkom 2 predchádzajúcich polí, posunutým týmto sekundárnym vektorom. Relativný pomer týchto dvoch príspevkov je možné určiť takto: Pre každý obrazový prvok, ktorý sa má interpolovať, sa vypočíta riadiaci signál, určujúci podiel výstupného obrazu, ktorý sa má vziať 2 nasledujúcich polí. Pre všetky vzorky v oblastiach popredia to bude konštanta <St na obr. 2, čo je normálny pracovný režim časového interpolačného filtra. V oblasti označené ako odkryté pozadie sa riadiaci signál nastaví na jedničku, pretože všetky informace sa majú vziať z nasledujúcich polí, ako bolo popísané skôr pre oblasť e na obr. 2. Tento riadiaci signál sa potom zavedie do dolnofrekvenčnej priestorovej priepusti, takže práve v oblastiach odkrytého pozadia už nebude rovný jedničke.
Obrazové prvky, ktoré obsahuje výstupné pole, je potom možné zmiešeť spôsobom, ktorý minimalizuje tvrdé hrany. V obraze pôvodného zdroja dôjde k zmiešaniu na úzkom rozhraní medzi objektami. Toto rozhranie je dané rozlišovacou schopnosťou.
Pre väčšinu výstupného obrazu budú obrazové prvky prítomné ako na snímke pred, tak i na snímke po okamžitej pozícii výstupného poľa. Výstupný obraz je utvorený váženým súčtom dvoch vstupných obrazov. Príspevok každej zo vstuných premenných je daný maticou o veľkosti obrazu menovanou assn_ff.
Äk sa použije zakryté alebo odkryté pozadie, výstup sa vytvorí len z jednej snímky. Pri vytváraní výstupu nastane prepínanie obrazu medzi vytvárením obrazu z jedného a 20 dvoch polí. Toto prepnutie nastane dvakrát, raz medzi pozadím z jedného poľa a pozadím 2 dvoch polí a znovu medzi pozadím pri použití jedného poľa a popredím vytvoreným 2 dvoch polí.
Počas priradenia vektorov sa vytvoria dve vektorové polia priradené veľkosti obrazu /menované assn_Vl a assn_V2/. Prvé vektorové pole zodpovedá poli bezprostredne pred okamžikom výstupného obrazu a druhé poľu po tomto okamžiku. Každé z vektorových polí je odvodené z iného menu odvodeného pre toto pole použitím algoritmu troch polí. Keď sa v strednej perióde nájde minimálna chyba zhody, obidvom vektorovým poliam sa dá tá istá hodnota a assn_ff sa položí rovno vzdialenosti dist medzi poľom jedna a TO, dobe výstupného poľa. Výstupný obraz sa vypočíta ako vážený priemer oboch polí, závislý na assn_ff;
Aout = Al # (1 - assn_ff) + A2 assn_ff kde assn_ff = dist, ak bola najlepšia zhoda v predchádzajúcej perióde medzi poľami.
Ak je najlepšia zhoda v predchádzajúcej perióde medzi poľami, najlepší vektor pre túto periódu sa vloží do vektorového poľa assn_Vl a najlepší vektor pre strednú periódu sa vloží do assn_V2. V tomto prípade sa za assn_ff vloží 0, aby sa vynútilo vytvorenie výstupu z poľa 1. Ak je najlepšia zhoda v ďalšej nasledujúcej perióde medzi poľami, najlepší vektor pre strednú periódu sa vloží do vektorového poľa assn_Vl a najlepší vektor pre túto periódu sa vloží do assn_V2. Potom sa za assn_ff vloží 1, aby sa vynútilo vytvorenie výstupu z poľa 2. To je naznačené na obr. 3.
Je teda zrejmé, že s každým obrazovým prvkom každého poľa sú združené dva vektory: jeden vektor je použitý pre pohľad dopredu a druhý vektor sa použije pri pohľade“ naspäť. Počas zakrývaného a odkrývaného pozadia mieri jeden vektor na pozadie a použije sa pre získanie pozadia, zatiaľ čo druhý vektor mieri na objekt v popredí. Vzhľadom k priradeným hodnotám assn_ff sa vždy použije len jeden vektor, pokiaľ je matica priestorovo filtrovaná. Malá dolnofrekvenčná priepust na assn_ff spôsobí vzájomné prekrytie v zmenách režimu.
Výstupné pole sa takto generuje po jednotlivých obrazových prvkoch pre pole pre posun TO naspäť o dist*assn_Vl a pole pre posun TO dopredu o (1 - dist)xassn_Vl.
Tiež je možné za iných okolností priradiť každému obrazovému prvku niekoľko pohybových vektorov, napr. 2. Toto priradenie môže nastať v okamžiku vstupu alebo v okamžiku výstupu.
V ďalej popísanom usporiadaní podľa vynálezu je vektorové pole časovo zhodné s prvým poľom vždy premietané dopredu a vektorové pole časovo zhodné s druhým poľom je vždy premietané späť .
Pref i 1trácia. Pred priradením prechádza vstupný obraz ma8 lým priestorovým filtrom 2D. Impulzná ozvena filtra je pravouhlá, takže ozvenou na skok bude lineárny priebeh. Keď sa vypočíta chyba zhody z rozdielu medzi obrazami, vypočíta sa tiež obrazový grádient. Výsledok delenia rozdielu gradientom odpovedá polohovej chybe. Je to obdoba gradientnej metódy merania pohybu a bola by najpresnejšia, keby gradienty obrazu boli lineárne .
Ak je posuv veľmi veľký, metóda sklame a výsledkom nie je miera posuvu, ale veľká chyba. Metóda sa použije iba k výberu najlepšieho vektora. Ďalším zdokonalením je použitie merania posuvu k oprave malých chýb v priradenom vektore.
Neúplne vzorkované vektorové polia. Vektorové polia s časovaním vstupu sa vypočítajú pre každý druhý obrazový prvok. Pôvodný obraz sa vzorkuje úplne a teda presnosť chýb zhody nie je týmto neúplným vzorkovaním podstatne ovplyvnená, ale získa sa významná úspora hardwaru.
Výpočet chyby zhody. Obvyklý význam a metódu chýb zhody je možné zhrnúť takto: Chyby zhody sú prostriedkom pre zistenie, či je určitý vektor v menu vektorov vhodný pre určitý obrasový prvok. Chyba zhody sa vypočíta posuvom dvoch obrazov o navrhnutý posuv vektorov a potom odčítaním obidvoch týchto obrazov. To sa vykoná pre oblasť bloku priradenia a absolutná hodnota tohoto chybového signálu sa delí obrazovým gradientom stredného obrazového prvku a potom sa priestorovo filtruje.
Pri algoritme troch polí sa vstupný obraz časovo zhodný s požadovaným vstupným poľom udržuje stabilný a predchádzajúce a nasledujúce obrazové polia sa posunú pokusným vektorom. To sa vykoná ako pre pole pred, tak pre pole po požadovanom okamžiku výstupu.
Výsledkom sú dve chyby zhody, jedna pred a druhá po vstupnom obraze. Pri projekcii vektorového poľa dopredu druhá chyba zhody opovedá perióde času výstupného obrazu a malá chyba zhody bude indikovať popredie. Tejto strednej chybe zhody sa dá malá preferencia jej násobením váhovým faktorom medzi 0,5 a 0,99. Pri projekcii vektorového poľa naspäť prvá chyba zhody odpovedá perióde doby výstupného obrazu a malá chyba zhody bude indikovať popredie. Táto chyba zhody stredu poľa sa váši rovnako ako predtým.
Prídavná chyba zhody sa vypočíta spočítaním ostatných dvoch chyb zhody a tieš vášením. Ukazuje sa, še chyba zhody stredu poľa a kombinované dve chyby zhody poľa pri identifikácii popredia sú rovnako dobré a váhové faktory sú teda podobné .
V praxi je vektorové pole, časovo zhodné s prvým obrazom pre projekciu dopredu, veľmi podobné vektorovému poľu pre ten istý obraz, keď bol v pozícii druhého obrazu a premietaný späť. Výpočty chyby zhody sú tie isté, avšak vášeňie závislé na polľu sa zmenilo a teda i priradené vektory a stavové hodnoty. Pole pre projekciu dopredu a vektorové pole pre spätnú projekciu sa počítajú súčasne, avšak predné vektorové pole je oneskorené o jednu periódu vstupného poľa.
Priradenie a stav. V tomto usporiadaní sa vstupné vektorové pole vzorkuje pre 360 obrazových prvkov a 288 riadkov poľa. Pre kašdý prvok vstupných vektorov sa porovnávajú vážené chyby zhody. Tomuto prvku sa potom priradí pokusný vektor s najnižšou váženou chybou zhody.
Pre pole vektorov doprednej projekcie platia tieto stavové pravidlá:
- Popredie sa vyznačuje tým, še najmenšiou chybou zhody je druhé pole alebo priemer obidvoch polí.
- Zakryté pozadie je vyznačené tým,še najmenšiou chybou zhody je prvé pole.
- Chýbajúci vektor pohybu je indikovaný veľkou chybou zhody.
Pre pole vektorov spätnej projekcie platia tieto stavové pravidlá:
- Popredie sa vyznačuje tým, še najmenšiou chybou zhody je prvé pole alebo priemer obidvoch polí.
- Odkryté pozadie sa vyznačuje tým, še najmenšiou chybou zhody j e druhé pole.
- Chýbajúci vektor je indikovaný veľkou chybou zhody.
Stav sa ukladá s každým priradeným vektorom v prvom a druhom poli vektorov.
Vektorové pole pre okamžik výstupu. Mapu vstupných priradených vektorov je možné položiť na časovo odpovedajúci obraz pre indikáciu, ktorým smerom sa všetko pohybuje. Pole výstupných vektorov sa vytvorí projekciou každého prvka prvého poľa vstupných vektorov dopredu do okamžiku výstupu a druhého vektorového poľa späť do výstupnej pozície. Aj keď je pole vstupných vektorov vzorkované iba čiastočne, pole výstupných vektorov má plný počet 720 horizontálnych vzorkov.
Pole vektorov s časovaním výstupu je potrebné za nejakú dobu po poli výstupných vektorov. Táto situácia ja naznačená na obr. 4. Pri projekcii prvého poľa vektorov sa miesto každého vektora so vstupným časovaním pripočíta k priradenému vektoru násobenému vzdialenosťou a toto nové miesto má uložené priradený vektor. Pre druhé pole vektorov sa namiesto každého vektora so vstpným časovaním pripočíta k priradenému vektoru násobenému (1 - vzdialenosť) a toto nové miesto má uložené priradený vektor. Malou komplikáciou je, že miesto projekcie pravdepodobne nebude na presnom mieste v poli výstupných vektorov a tiež pole výstupných vektorov je hustejšie vzorkované ako pole vstupných vektorov. Obidva problémy je možné riešiť uložením vektora na miesto vedľa premietnutého vektora.
Stav a režimy. Stav poľa vektorov so vstupným časovaním nasleduje premietnutý vektor a vytvorí sa nový stav výstupných vektorov. Pravidlá pre stav poľa výstupných vektorov sú tieto: Popredie: Vektory popradia sa premietnu dopredu a dozadu od obidvoch vektorových polí so vstupným časovaním. Pokiaľ dva vektory popredia prídu na to samé miesto, obidva vektory sa uložia a stav indikuje dva vektory popredia.
Pozadie: Zakryté pozadie sa premietne dopredu a stav označí oblasť ako zakryté pozadie. Odkryté pozadie sa premietne späť a stav označí oblasť ako odkryté pozadie.
Návratový režim: V oblasti obrazu, kde je v niektorom poli vektorov so vstupným časovaním veľká chyba zhody, sa predpokladá, že nie je k dispozícii žiaden pohybový
- πvektor. Aby sa zabránilo strate objektu na premietanom pozadiu, oblasť sa označí ako nepriradi teľná a prejde do návratového režimu. Okamžitý návratový režim použije stabilný vektor a zmieša obidva obrazy spolu v pomere polohy výstupného poľa vzhľadom k poliam vstupným. Pre návrat sa použije obraz z menším rezlíšením, aby sa zmenšila tvrdosť obrazových prvkov bez kompenzácie pohybu.
Spracovanie poľa výstupných vektorov. Dôs1edkom pro j ekc i e vektorv je, že v poli vektorov môžu byť diery. Tieto diery sa vyplnia susedným priradeným vektorom a stavom.
Výstupný obraz sa vytvorí z posunutej zmesi obrazov, ktoré sú k dispozícii. Faktor preniknutia riadi zmes obidvoch vstupných polí pri vytváraní výstupného obrazu. Tento prenikací signál získava hodnoty O až 1,0 podľa týchto pravidiel:
Zakryté pozadie: Prienik = 0, preberá obraz z predchádzajúceho obrazu.
Odkryté pozadie: Prienik = 1, preberá obraz z nasledujúceho obrazu.
Popredie: Prienik = dist, preberá obraz ako z predchádzajúceho tak nasledujúceho obrazu. Ak sú dva faktory popredia, potom sa prvé pole posúva prvým vektorom, ktorý sa má priradiť, a druhý vektor sa použije k posunutiu druhého obrazu.
Oblasť s veľkou chybou: Prienik = dist: režim návratu, priradené vektory sú rovné 0.
Zakryté pozadie a odkryté pozadie: To môže nastať, keď nie je možné dosiahnuť nízkej strednej chyby zhody a bolo zistené, ža pracuje prienik = dist.
Vytvorenie výstupného obrazu. Proces vytvárania výstupného obrazu prechádza všetkými prvkami miest na výstupnom obraze a používa tento algoritmus:
pic_output/x,y/ = pic_l fvL.yl posunuté o dist*vec_l/ K /1 - prienik/ + pic_2 /x, y/ posunuté o [dist - l]jtvec_2 n prienik kde vec_l a vec_2 sú dva priradené vektory: pokiaľ je len je12 den priradený vektor, vec_2 sa rovná vec_l .
Bol použitý interpolátor pre vytvorenie zlomkových posuvov obrazových prvkov, ale presná podoba je ešte otvorená pre nejakú optimalizáciu. Tento detail ovplyvní akosť konečných obrazov, avšak z hľadiska podstaty algoritmu troch polí nie je dôležitý.
Algoritmus s projekciou vektorov dvoch polí, A1gor i tmus dvoch polí má svoje meno podľa toho, že počas prvého stupňa priradenia vektorov porovnáva iba dve polia. Menu vstupných vektorov pre systém dvoch polí sú vektory časované zhodne s interval ami medzi obrazami a nie s obrazami, ako sa požaduje v systéme troch pol í.
Spôsob je schematicky naznačený na obr. 5. Obrázok ukazuje sled štyroch snímok video fo až £3. Plocha fázovej korelácie sa odvodzuje pre interval medzi každou dvojicou snímok a to sú korelačné plochy Po 1, P13 a P33 Každá z nich je použiteľná pre príslušný interval. Ak sa použije každá z nich jednoducho pre priradenie vektorov poliam, z ktorých je odvodená, vznikne problém z objektami, ktoré sú prítomné na jednom poli a nie na druhom. Preto sa odvodí vážený priemer všetkých troch korelačných plôch a potom sa použije k priradenie vektorov pre generovanie obrazov v strednom intervale f 1 až f2 V tomto konkrétnom príklade sa obidvom plochám Po 1 P33 dáva váha jedna štvrtina a ploche P13 váha jednej polovici, skôr ako sa všetky spočítajú spolu, aby sa odvodila časovo filtrovaná korelačná plocha, z ktorej je možné odvodiť vektorové menu 12. Akonáhle boli vektory priradené, proces sa opakuje odvodením ďalšej korelačnej plochy pre interval f3 až f4 a použitím tejto plochy spolu s P12 a P23 pre odvodenie vektorového menu pre priradenie v intervale f2 až f3- Proces pokračuje celou postupnosťou obrazov video.
Takto sa odvodí plocha fázovej korelácie pre každý interval snímkov v postupnosti obrazov video a tieto korelačné plochy sa potom kombinujú vo váženom priemere k vytvoreniu vektorového menu, ktoré je použiteľné pre jediný interval snímky. Skutočnosť, že menu je použiteľné v intervale medzi dvoma snímkami, je dôvodom, prečo to nazývame algoritmom dvoch polí.
Ako sme už uviedli, je výhodné, aby vektory boli priradené skôr vstupným než výstupným poliam a ocení sa, keď napr. menui2 je priradené k fi a £z a potom menu 23 k £2 a £3, fa bude mať k sebe priradené dve vektorové polia. Jedno 2 nich sa vzťahuje k fi a druhé f3 · Nazývame ich pole doprednej a spätnej projekcie a ich použitie umožňuje veľmi spoľahlivé vytváranie medziľahlých polí typu používaného pri generovaní spomalených sekvencií. Dôvod pre ich generovanie a spôsob, akým sa generujú výstupné obrazy, vysvetlíme v ďalšom.
Priradené vektorové pole je podobné tomu, aké sa vytvára dopredným a spätným priradením, navrhnutom v našej britskej patentovej prihláške d. 9013642.5. Dopredné a spätné vektorové polia sa ukladajú vo dvojiciach s príslušnou chybou zhody a k určeniu vektorového stavu sa kombinujú.
Kombinované vektorové polia sa premietajú pred a po okamžiku výstupu, aby sa vytvorilo dvojité výstupné vektorové pole. Prvý vektor časovaný k výstupu je združený s doprednou projekciou a druhý je združený so spätnou projekciou a obidva sa kombinujú, aby riadili dva vektorové vstupy do systému vytvárania obrazu.
Odhad pohybu. Väčšina vlastností bloku pre odhad pohybu je podobná ako u skôr popísanom algoritme troch polí. Hlavný rozdiel spočíva v :
Casování vektorového menu. Menu pre verziu s troma poli am i vyžaduje vektorové menu, ktoré platia ako pre periódu pred, tak pre periódu po príchode vstupného poľa. Na korelačnú plochu sa aplikuje časový filter párneho radu pre získanie najlepšieho odhadu prípadu tohoto pohybu. To je kompromis, ktorý zdokonaľuje odhad pohybu, ak je pohyb dosť súvislý, na úkor merania náhlych pohybov a veľkých zrýchlení.
Algoritmus dvoch polí používa každé menu iba pre periódu jedného poľa, a preto tu nie je zmena časovania. Je pravdepodobnejšie, že menu bude platné pre prípad jedného poľa než dvoch, a preto problém vektorového poľa je tu menším komprom i som.
Korelačný filter. Zistilo sa, ža urč i t é r i ešeni e časového korelačného filtra odstráni problémy spôsobené pretkávaním pri vykonávaní korelácií početnosťou polí. Riešenie časového filtra skôr splní podmienku, še súčet koeficientov na nepárnych odbočkách je rovný súčtu koeficientov na párnych odbočkách. Pretože najpravdepodobnejšie počet odbočiek je rovný trom, potom koeficienty budú 0,25, 0,5 a 0,25.
Obr. 5 znázorňuje algoritmus dvoch polí a pridružené vektorové polia a v ďalších častiach na neho budeme odkazovať.
Vektorové pole so vstupným časovaním. Pre každé menu vytvorené blokom odhadu sa priradenie vykoná dvakrát, raz s použitím dopredného priradenia a raz s použitím spätného priradenia. Dopredné priradenie sa realizuje podršaním stabilného stavu prvého poľa a posunitím druhého o pokusný vektor a výpočtom chyby zhody z veľkosti rozdielu. Rozdiel sa delí gradientom, Čo je aplikácia merania vektorov gradientnou metódou, avšak výsledok sa použije len pre výber, chyba odpovedá vzdialenosti. Môže sa použiť pre opravu niekedy pozdejšie. Pole spätnej projekcie sa vytvorí podršením stabilného stavu druhého poľa, posuvom prvého a opakovaním postupu. Každé nové vstupné pole a menu vytvorí dve priradené vektorové polia, napr. z menu 2 sa vytvorili polia b a c.
Kombinovanie vektorových polí časovaných so vstupom.
V tomto okamžiku máme štyri priradené polia, jednu dvojicu pre pole pred okamžikom výstupu a jednu dvojicu po okamžiku výstupu. V každej dvojici bolo prvé pole vytvorené spätným priradením predchádzajúceho menu a druhé dopredným priradením druhého menu.
Ak je vstupné vektorové pole pre doprednú projekciu, potom druhé vektorové pole b” odpovedá strednej perióde a je združené s popredím. Na druhé vektorové pole a chybu zhody sa aplikuje sredná váha /centre_wt/ a to sa potom porovná s chybou zhody vonkajšieho poľa “a. Priradí sa vektor s najmenšou chybou zhody. Pri kombinovaní vektorovách polí a a b pre vytvorenie vektorového poľa c sa použijú tieto pravidlá:
Stredné dolné pole: Popredie /stav = 3/
Vonkajšie dolné pole= Zakryté pozadie /stav = 1/
Obidve chyby zhody veľkej = Chýbajúci vektor /stav = 5/ Situácia je podobná, keď je vstupné vektorové pole pre spätnú projekciu, s tou výnimkou, že sa stredná váha použije pre chybu zhody spätne priradeného vektorového poľa c. Vážené chyby zhody pre c sa porovnajú s chybami zhody pre d, aby sa vytvorilo vektorové pole f spätnej projekcie. Použijú sa tieto pravidlá1
Stredné dolné pole: Popredie /stav = 3/
Vonkajšie dolné pole= Odkryté pozadie /stav = 2/
Obidve chyby zhody veľkej; Chýbajúci vektor /stav = 5/
Kombinované vektorové polia nazvané pre a po /na obr. 5 '‘e a f/ sú obdobné vektorovým poliam so vstupným časovaním vytvoreným algoritmom troch polí.
Vektorové polia s výstupným časovaním. Obdobne ako u vektorových polí so vstupným časovaním, sú tiež s výstupným poľom združené dve vektorové polia. Jedno sa získa doprednou projek. ciou vektorového poľa pred e a druhé spätnou projekciou vektorového poľa “pre f“.
Projekcia vektorov /dopredu/. Projekcia vektorov sa vykoná vyhľadaním každého miesta v poli e vstupného vektora, pripočítaním dist násobeného vektorom priradeným tomu miestu vektora a zápisom vektorov a stavu do výstupného vektorového poľa. Je dosť pravdepodobné, že pri zápise do určitej výstupnej pozície dôjde k súpereniu popredia a pozadia. Môže nastať situácia, kedy do rovnakého bodu v priestore prídu dva vektory popredia, a preto je k dispozícii jednoduchá sada pravidiel pre zápis do výstupného vektorového poľa. Pravidlá možno zhrnúť takto:
í/ Celá matica vektorov sa najskôr uvedie do stavu = 0, nepriradená.
2/ Ktorýkoľvek vektor môže zapisovať do výstupného vektorového poľa, pokiaľ je jeho stav vyšší než ten, ktorý je už prítomný. Druhý vektor sa zanedbá.
Projekcia vektorov /spätná/. Projekcia vektorov z nasledujúceho vstupného poľa je podobná projekcii doprednej. Spätné vektorové pole s výstupným časovaním je na obr. 5 naznačené ako h a stav sa pred začiatkom projekcie nastaví na nulu. Rozdieľom je, že vzdialenosť je teraz 1 - dist.
Kombinovanie vektorových polí s výstupným časovaním. Dve výstupné vektorové polia sa kombinujú podľa inej sady pravidiel, ktoré sú zhrnuté do tabuľky’
Režim Vektorové Vektorové Výstupné Prienik pole G pole H vektory
00 nepriradené nepriradené blíži sa stáva s 0, 0 najbližší
Ak sa nepriradí najbižší, dôjde k návratu.
02 nepriradené i odkryté pozadie 0,0 vec_2 dist
03 nepriradené popredie vec_2 vec_2 dist
05 nepriradené návrat najbližšie 0,0 dist
10 zakryté pozadie nepriradené vec_l 0,0 0,0
12 zakryté pozadie odkryté pozadie vec_l vec_2 dist
13 zakryté pozadie popredie vec_2 vec_2 dist
15 zakryté pozadie návrat vec_l 0, 0 dist
30 popred i e nepriradené vec_l vec_l dist
32 popredie odkryté pozadie vec_l vec_l dist
33 popredie popredeie vecj vec-2 dist
35 popredie návrat vec_l 0,0 dist
50 návrat nepriradené 0,0 najbližší
52 návrat odkryté pozadie 0, O vec_2 dist
53 návrat popredie 0, 0 vec_2 dist
55 návrat návrat 0,0 0, 0 dist
Režimy štartujúce 4 x by sa mohli prenikať s dist alebo 0,5’ záležitosť je ešte predmetom optimalizácie.
Po spracovaní vektorov boli vyplnené všetky miesta vektorov g“ a h a faktor prieniku. Bolo zistené zjavné zlepšenie výstupného obrazu po priechode vektorového poľa a prel ínacej plochy dvojrozmerovým priestorovým filtrom.
Vytvorenie výstupného obrazu. Proces vytvorenia výstupného obrazu prechádza všetkými prvkami miest výstupného obrazu a používa tento algoritmus:
P i c_output/x, y/ = pic_l /x, y posunuté o dist » vec_l/ X /1 - prienik/ + pic_2 /x,y posunuté o [dist - 1] * vec_2/ χ prienik bol použitý interpolátor pre vytvorenie zlomkových posuvov obrazových prvkov, avšak presná podoba je ešte otvorená pre ďlšiu optimalizáciu. Tento detail ovplyvní akosť konečných obrazov, ale nie je dôležitý z hľadiska základného algoritmu troch polí.
Obr. 6 ukazuje obvody vykonávajúce algoritmus troch polí. Obsahuje dvojicu spozďovacích obvodov 20 spojených do série, prijímajúcich sled polí video. Vstup a výstup každého z oneskorovacích obvodov je pripojený k príslušnému vstupu obvodu 22 fázovej korelácie. Každý z nich vytvára korelačnú plochu, reprezentujúcu pohyb medzi dvoma za sebou idúcimi poliami. Ttieto plochy dostávajú v násobičkách 24 rovnakú váhu 0,5 a potom sa kombinujú v sčítačke 26. Táto priemerná korelačná plocha potom prechádza špičkovým detektorom 28 vektorov,ktorý prepúšťa len tie vektory, ktoré prekračujú vopred nastavený prah. Tým sa vytvorí menu vektorov pre priradenie strednému poľu sady troch polí. V okamžiku, keď je toto vektorové menu k dispozícii, vstupné pole, ku ktorému má byť priradené, bude k dispozícii na výstup druhého z oneskorovaclch obvodov 20. Menu vektorov a výstupy obidvoch oneskorovacích obvodov tvoria vstupy priraďovacej jednotky, kde môžu byť vektory priradené strednému poľu zo sledu troch polí, z ktorého bolo menu odvodené .
Na obr. 7 je modifikácia obvodov podľa obr. 6 a je vhodná k vykonávaniu algoritmov dvoch polí. Obsahuje ešte ďalší oneskorovací obvod 20 v sérii s ostatnými dvoma. Má pridružený ďalší obvod 22 fázovej korelácie, ktorého výstup sa váži treťou násobičkou 24 než sa v sčítačke 26 kombinuje s výstupami ostatných obvodov 22 fázovej korelácie. Vytvorené menu vektorov ajednotlivé vstupné polia, s ktorých boli odvodené, vstupujú do priraďovacej jednotky /nie je naznačená/.
časovej interpolácie Postup možno aplikouvážením vertikálnej
Ako priradenie vektorov tak proces boli popísané bez ohľadu na prekladanie, vať priamo aj na prekladaný signál /s polohy vzorkovaných riadkov/. inou možnosťou je konverzácia preloženého signálu pred spracovaním na sekvenčný či postupný.
Pokiaľ ide o skupinovú schému systému pre spomalenú reprodukciu, do ktorého môže byť vynález začlenený, odkazujeme na publikáciu č. 327 konferencie IEE /IBC'90/str.121 až 125m popis je tu začlenený ako odkaz - a na odkazy uvedené v tejto práci.
Je zjavné, že zhora popísané operácie je možné obecne realizovať počítačovým systémom skôr než diskrétnymi obvodami. Uvedený funkčný popis poskytuje všetky informácie potrebné pre vytvorenie takého systému, ako bude zrejmé odborníkovi z tohoto odboru a podrobný popis programových blokov nie je preto nutný a nie je tu pripojený.
Citovaná literatúra
1/ Pat. prihláška WO, A, 9,205.662 - British Broacasting Corp. /2. apríla 1992/ - viď str. 13
2/ Pat prihláška EP, A, 0 132.832 - Hitachi Ltd.
/13. februára 1985/ - viď nárok 1
3/ C. Cafforio et al.: Motion compensated image interpolation, str. 218, odst. A B
IEEE Transactions on Communications, vol. 38, č. 2,
February 1990, New York, str. 215 - 222
4/ G.M.X.Fernando et al.:Motion compensated dispay conversion, str. 385, odst. 4: str. 398, odst 6
Proceedings of the 2nd International Workshop on Signál Processing of HDTV, ĽAquila, 29.2. - 2.3.1988, str. 393-399
5/ Pat. prihláška WO, A, 8,705.769 -British Broadcasting Corp. /24. septembra 1987/ - viď str. 1 4 gXEX . ÄWX'

Claims (6)

PATENTOVÉ NÁROKY
1 Dopredné polia vektorov. Vytvorené s použitím priradenia z dvoch polí.
1. Spôsob kompenzácie pohybu v signále video, pozostávajúci z krokov odvodenia rady pohybových vektorov reprezentujúcich pohyb v rôznych častiach obrazu a priradenie príslušných týchto vektorov jednotlivým základným oblastiam obrazu, vy zna čuj úci sa t ý m, že určité základné oblasti majú k sebe priradené dva alebo viac vektorov.
2 Použi strednú váhu na chybu zhody stredného vektorového poľa a zvoľ najlepší vektor. Priraď stavové pole.
2 - sčítačka 20 - oneskorovací obvod 22 - obvod fázovej korelácie 24 - násobička
26 - sčítačka
28 - špičkový detektor /vektorov/
Popis obrázkov
Obr
Obr
Obr
Obr
8 1 a
b c
t + át čas pozadie objekt v popredí vstupné pole v čase výstupné pole v čase pohyb objektu pohyb pozadia pokus čas výstupného poľa zakryté pozadie odkryté pozadie /pozadie z dvoch polí/ pohybujúce sa pozadie /pozadie s jedným poľom/ objekt v popredí /popredie z dvoch polí/ čas súhrn algoritmu dvoch polí vstup stredná váha
Ľavá strana: 1 Spätné polia vektorov pri použití priradenia z dvoch polí. Zisťuj hodnotu chyby zhody.
2. Spôsob podľa bodu 1, v y z n a č u j ú c i sa t ý m, ž e výstupné pole sa generuje medzi ľahlo k dvom vstupným po1 i am. 3. Spôsob podľa bodu 2, v y z n a č u j ú c i sa t ý m, ž e
v uvedenej určitej základnej oblasti sa prvý z priradených vektorov použije k špecifikácii pohybu vstupného poľa na jednu stranu výstupného poľa a druhý priradený vektor sa použije k špecifikácii pohybu vstupného poľa na druhú stranu výstupného poľa.
3 Dve vektorové polia pre čas vstupu a stav
4 Dve vektorové polia pre čas výstupu
4. Spôsob podľa bodu 2, vyznačujúci sa tým, že jeden z priradených vektorov je združený s prvou časťou obrazu a druhý z priradených vektorov je združený s druhou časťou obrazu, pohybujúci sa odlišne od prvej, pričom odpovedajúca časť výstupného obrazu sa vytvorí kombináciou výslednice obidvoch vektorov na príslušnej časti vstupného obrazu, aby sa získal dojem rozmazania na hranách pohybujúceho sa obrazu.
5. Spôsob podľa bodu 2, vyznačujúci sa tým, že ak je určené, že dva objekty majú rovnaké právo byť na výstupnom obraze, dve priradené vektory sú jednotlivo priradené týmto dvom objektom a výslednica sa kombinuje,aby vytvorila výstupné pole.
6. Spôsob podľa bodu 2, vyznačujúci sa tým, še pokiaľ v uvedených určitých základných oblastiach nie je možné platné určenie pohybu, prvý z priradených vektorov odpovedá návratovému režimu a druhý z priradených vektorov odpovedá vektoru 20 susedného bloku merania.
7. Spôsob podľa bodu 1, vyznačujúci sa tým, že sa na základe dvoch priradených vektorov robia dve predpovede pre hodnotu v uvedených určitých základných oblastiach a dve výslednice sa kombinujú ako jednoduchý alebo vážený priemer.
8. Spôsob podľa bodu 7, vyznačujúci sa tým, že sa kombinácia urobí v závislosti na časovo závislom koeficiente, na ktorý sa aplikuje funkcia vyhladzovacieho filtra .
9. Spôsob podľa bodu 1, vyznačujúci sa tým, že sa pohybové vektory odvodia pre všetky 2 rady blokov obrazu a takto odvodené vektory sa zvolia, aby poskytli radu vektorov pre obraz alebo jeho časti,
10. Spôsob podľa bodu 1, vyznačujúci sa tým, že sa tieto vektory odvodia metodou fázovej korelácie.
11. Spôsob podľa bodu 2, vyznačujúci sa tým, že sa priradenie vykoná súčasným porovnaním obsahu troch vstupných snímkov.
12. Spôsob podľa bodu 1, vyznačujúci sa tým, že sa jednému vstupnému poľu priraďujú dve vektorové polia, prvé vektorové pole je priradené spätnou projekciou predchádzajúcemu vstupnému poľu a druhé vektorové pole je priradené doprednou projekciou nasledujúcemu vstupnému poľu.
13. Spôsob podľa bodu 1, vyznačujúci sa tým, še základné oblasti s dvoma či viac priradenými vektorami majú tieto vektory priradené z rôznych sád pohybových vektorov .
14. Zariadenie pre kompenzáciu pohybu v signále video, obsahujúce prostriedky pre odvodenie rady pohybových vektorov pre každý z rady blokov obrazu a prostriedky pre priradenie príslušných z týchto vektorov jednotlivým základným oblastiam obrazu, vyznačujúce sa tým, še prostriedky pre priradenie vektorov priraďujú určitým základným oblastiam dva alebo viac platných vektorov.
15. Spôsob kompenzácie pohybu v signále video, obsahujúci kroky odvodenia rady pohybových vektorov reprezentujúcich pohyb v rôznych častiach obrazu, priraďujúci príslušné z týchto vektorov jednotí ivýn základným oblastiam každého vstupného poľa vyznačujúci sa tým, že projekcia takto priradených vektorov sa použije pre odvodenie výstupného poľa medziľahlého ku dvom vstupným poliam.
16. Spôsob podľa bodu 15, vyznačujúci sa tým, že každej zo základných oblastí vstupného poľa sa priradia aspoň dva vektory.
17. Spôsob podľa bodu 16, vyznačuj úc i sa tým, še prvý vektor priradený základnej oblasti vstupného poľa sa odvodí spätnou projekciou k predchádzajúcemu vstupnému poľu a druhý vektor, priradený tej istej základnej oblasti, sa odvodí doprednou projekciou k nasledujúcemu vstupnému poľu.
18. Spôsob podľa bodu 15, vyznačuj úc i sa tým, še sada pohybových vektorov, použitá pre priradenie jednému vstupnému poľu, sa odvodí s dvoch alebo viac sád pohybových vektorov, odvodených s porovnania medzi týmto vstupným poľom a predchádzajúcim a nasledujúcim poľom.
19. Spôsob podľa bodu 18, vyznačujúci sa tým, že uvedená sada pohybových vektorov obsahuje priemer sád pohybových vektorov, odvodených z porovnania medzi daným vstupným poľom a vstupným poľom bezprostredne predchádzajúcom a vstupným poľom bezprostredne nasledujúcom.
20. Spôsob podľa bodu 15, vyznačujúci sa tým, že pohybové vektory sa odvodzujú metódou fázovej korelácie.
21. Spôsob podľa bodu 15, vyznačujúci sa tým, že súprava pohybových vektorov pre priradenie vstupným poliam na niektorej strane výstupného poľa sa odvodzuje zo sady pohybových vektorov odvodených pre interval medzi dvoma vstupnými poliami a zo sád pohybových vektorov odvodených pre predchádzajúci a nasledujúci interval.
22. Spôsob podľa bodu 21, vyznačujúci sa tým, že uvedená sada pohybových vektorov je odvodená z priemeru sady pohybových vektorov odvodených pre daný interval a pre interval bezprostredne predchádzajúci a interval bezprostredne nasledujúci.
23. Spôsob podľa bodu 22, vyznačujúci sa tým, že použitý priemer je vážený priemer.
24. Spôsob odvodenia sadvy pohybových vektorov pre použitie v systéme pre kompenzáciu pohybu v signále video vyznačujúci sa tým, že pozostáva z krokov odvodenia prvej sady pohybových vektorov porovnaním prvého a druhého vstupného poľa, odvodenie druhej sady pohybových vektorov porovnaním druhého a tretieho vstupného poľa a odvodenie tretej sady vektorov z tejto prvej a druhej sady.
25. Spôsob podľa bodu 24, vyznačujúci sa tým, že vstupné polia sú za sebou idúce polia v sekvenci.
26. Spôsob podľa bodu 24, vyznačuj úc i sa sady tým, že základným obsahuje krok priradenia oblastiam obrazu. vektorov tretej 27. Spôsob podľa bodu 24, v y obsahuje krok priradenia oblastiam obrazu v druhom značuj úc vektorov tretej vstupnom pol i. i sa sady tým, že základným 28. Spôsob podľa bodu 24, v y z n a č u j ú c i sa tým, že
prvá a druhá sada pohybových vektorov sa odvodzuje metódou fázovej korelácie.
29. Spôsob odvodenia súpravy pohybových vektorov vhodných pre použitie v systéme pre kompenzáciu pohybu v signále video, vyznačujúci sa tým, že pozostáva z krokov odvodenia prvej, druhej a tretej sady pohybových vektorov z prvého a druhého, z druhého a tretieho a z tretieho a štvrtého vstupného poľa a z odvodenia štvrtej sady pohybových vektorov z tejto prvej, druhej a tretej sady.
30. Spôsob podľa bodu 29, vyznačujúci. sa tým, že táto štvrtá sada pohybových vektorov je odvodená z priemeru prvej, druhej a tretej sady.
31. Spôsob podľa bodu 30, vyznačujúci sa tým, že použitý priemer je vážený priemer.
32. Spôsob podľa bodu 29, vyznačujúci sa tým, že vstupné polia sú za sebou idúce polia v sekvencii.
33. Spôsob podľa bodu 29, vyznačujúci sa tým, že obsahuje krok priradenia vektorov štvrtej súpravy základ24 ným oblastiam obrazu, reprezentovaného signálom video.
34. Spôsob podľa bodu 33, vyznačujúci sa tým, še vektory sú priradené základným oblastiam druhého a tretieho vstupného poľa.
35. Spôsob podľa bodu 34, vyznačuj úc i sa tým, še vektory sú priradené druhému vstupnému poľu metódou doprednej projekcie a vektory sú priradené tretiemu vstupnému poľu metódou spätnej projekcie.
36. Spôsob podľa bodu 28, vyznačujúci sa tým, še obsahuje krok opakujúci postup pre druhé, tretie, štvrté a piate vstupné pole a takto odvodzujúcu piatu sadu pohybových vektorov.
37. Spôsob podľa bodu 28, vyznačujúci sa tým, še sady pohybových vektorov sa odvodzujú metódou fázovej korelácie.
38. Zariadenie pre odvodenie súpravy pohybových vektorov, vhodné pre použitie v systéme pre kompenzáciu pohybu, v yznačujúce sa tým, še obsahuje aspoň dve oneskorovacie obvody/20/ zapojené do série a prijímajúce sekvenciu polí video, aspoň dve obvody /22/ pre odvodenie pohybových vektorov, kašdý z nich prijíma vstupné pole zo vstupu a výstupu odpovedajúceho oneskorovacieho obvodu /20/ a ďalej kombinujúci obvod /26/, pripojený k výstupom obvodov /22/ pre odvodenie vektorov, ktorého výstup poskytuje uvedenú sadu pohybových vektorov.
Zoznam vzťahových značiek
5 Vytvor výstupný obraz
Pravá strana:
Obr.
6 a 7 viď zoznam vzťahových značiek
SK399892A 1991-05-24 1992-05-26 Video image processing SK399892A3 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB919111348A GB9111348D0 (en) 1991-05-24 1991-05-24 Video signal processing
GB919118781A GB9118781D0 (en) 1991-09-03 1991-09-03 Video image processing
PCT/GB1992/000952 WO1992021201A1 (en) 1991-05-24 1992-05-26 Video image processing

Publications (1)

Publication Number Publication Date
SK399892A3 true SK399892A3 (en) 1993-07-07

Family

ID=26298953

Family Applications (1)

Application Number Title Priority Date Filing Date
SK399892A SK399892A3 (en) 1991-05-24 1992-05-26 Video image processing

Country Status (18)

Country Link
US (1) US6011596A (sk)
EP (1) EP0540714B1 (sk)
JP (1) JP3226539B2 (sk)
CN (1) CN1079350A (sk)
AT (1) ATE162037T1 (sk)
AU (1) AU660020B2 (sk)
BR (1) BR9205296A (sk)
CA (1) CA2087946A1 (sk)
CZ (1) CZ399892A3 (sk)
DE (1) DE69223925T2 (sk)
DK (1) DK0540714T3 (sk)
ES (1) ES2112316T3 (sk)
FI (1) FI930280A0 (sk)
GB (1) GB2256341B (sk)
HU (1) HU9300005D0 (sk)
NO (1) NO930221L (sk)
SK (1) SK399892A3 (sk)
WO (1) WO1992021201A1 (sk)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2265783B (en) * 1992-04-01 1996-05-29 Kenneth Stanley Jones Bandwidth reduction employing a classification channel
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
GB2277000B (en) * 1993-04-08 1997-12-24 Sony Uk Ltd Motion compensated video signal processing
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
US20010041843A1 (en) * 1999-02-02 2001-11-15 Mark Modell Spectral volume microprobe arrays
GB2311183A (en) * 1996-03-13 1997-09-17 Innovision Plc Gradient based motion estimation
US6847490B1 (en) * 1997-01-13 2005-01-25 Medispectra, Inc. Optical probe accessory device for use in vivo diagnostic procedures
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
WO2000037917A2 (en) * 1998-12-23 2000-06-29 Medispectra, Inc. Systems and methods for optical examination of samples
WO2000036973A1 (en) * 1998-12-23 2000-06-29 Medispectra, Inc. Optical methods and systems for cervical screening
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US20020007122A1 (en) * 1999-12-15 2002-01-17 Howard Kaufman Methods of diagnosing disease
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
US7260248B2 (en) * 1999-12-15 2007-08-21 Medispectra, Inc. Image processing using measures of similarity
GB2361372B (en) * 2000-04-07 2004-08-25 Snell & Wilcox Ltd Video signal processing
US6839661B2 (en) * 2000-12-15 2005-01-04 Medispectra, Inc. System for normalizing spectra
JP4197434B2 (ja) * 2001-02-21 2008-12-17 エヌエックスピー ビー ヴィ 動き推定の容易化
EP1442608B1 (en) 2001-10-29 2015-05-06 Ceva D.S.P. Ltd. Method and apparatus for motion estimation in a sequence of digital images
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
AU2003228049A1 (en) * 2002-05-28 2003-12-12 Koninklijke Philips Electronics N.V. Motion blur decrease in varying duty cycle
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
US6818903B2 (en) * 2002-07-09 2004-11-16 Medispectra, Inc. Method and apparatus for identifying spectral artifacts
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US6768918B2 (en) * 2002-07-10 2004-07-27 Medispectra, Inc. Fluorescent fiberoptic probe for tissue health discrimination and method of use thereof
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
WO2005022922A1 (en) * 2003-09-02 2005-03-10 Koninklijke Philips Electronics N.V. Temporal interpolation of a pixel on basis of occlusion detection
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
WO2005027525A1 (en) * 2003-09-17 2005-03-24 Koninklijke Philips Electronics N.V. Motion vector field re-timing
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
EP1723607B1 (en) * 2004-03-02 2018-11-07 Philips Intellectual Property & Standards GmbH Motion compensation
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US8265145B1 (en) 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
JP5453304B2 (ja) * 2007-12-20 2014-03-26 クゥアルコム・インコーポレイテッド 適応探索範囲を用いた動き推定
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8902359B1 (en) * 2011-03-08 2014-12-02 Marvell International Ltd. Processor implemented systems and methods for handling of occlusion for frame rate upconversion
CN102542575B (zh) * 2011-12-06 2014-09-10 晶门科技(深圳)有限公司 基于运动向量投影的静止物体和运动背景区域的检测方法及装置
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
EP3111630B1 (en) * 2014-03-28 2021-06-02 Huawei Technologies Co., Ltd. Method and device for generating a motion-compensated video frame
US9794588B2 (en) 2015-09-30 2017-10-17 Sony Corporation Image processing system with optical flow recovery mechanism and method of operation thereof
US10352838B2 (en) * 2016-09-05 2019-07-16 Omnitek Partners Llc Mechanical high spin-shock testing machines
US10671646B2 (en) * 2016-12-22 2020-06-02 Aon Global Operations Ltd (Singapore Branch) Methods and systems for linking data records from disparate databases

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910009880B1 (ko) * 1983-07-25 1991-12-03 가부시기가이샤 히다찌세이사꾸쇼 인터레이스된 텔레비젼 신호중의 화상의 움직임 검출회로
DE3663875D1 (en) * 1986-03-08 1989-07-13 Ant Nachrichtentech Motion compensating field interpolation method using a hierarchically structured displacement estimator
EP0261137B1 (en) * 1986-03-19 1991-10-16 British Broadcasting Corporation Tv picture motion measurement
DE3622487A1 (de) * 1986-07-02 1988-01-14 Schering Ag Arzneimittel mit verzoegerter wirkstoffabgabe
FR2616248B1 (fr) * 1987-06-04 1992-04-24 Thomson Grand Public Procede d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procede
DE3850709T2 (de) * 1987-06-09 1994-11-24 Sony Corp Reduzierung der Bewegungsvektoren in Fernsehbildern.
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231227B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231743B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
US5170144A (en) * 1989-07-31 1992-12-08 Solatrol, Inc. High efficiency, flux-path-switching, electromagnetic actuator
GB9013642D0 (en) * 1990-06-19 1990-08-08 British Broadcasting Corp Video signal processing
WO1992005662A1 (en) * 1990-09-20 1992-04-02 British Broadcasting Corporation Video image processing
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
GB2249906B (en) * 1990-11-15 1994-04-27 Sony Broadcast & Communication Motion compensated interpolation of images
US5185819A (en) * 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement

Also Published As

Publication number Publication date
CN1079350A (zh) 1993-12-08
NO930221L (no) 1993-01-25
GB9211154D0 (en) 1992-07-08
HU9300005D0 (en) 1993-04-28
EP0540714B1 (en) 1998-01-07
JPH06500225A (ja) 1994-01-06
US6011596A (en) 2000-01-04
AU660020B2 (en) 1995-06-08
GB2256341B (en) 1995-02-15
DK0540714T3 (da) 1998-09-07
CA2087946A1 (en) 1992-11-25
WO1992021201A1 (en) 1992-11-26
GB2256341A (en) 1992-12-02
EP0540714A1 (en) 1993-05-12
CZ399892A3 (en) 1993-05-12
FI930280A (fi) 1993-01-22
ES2112316T3 (es) 1998-04-01
NO930221D0 (no) 1993-01-22
JP3226539B2 (ja) 2001-11-05
DE69223925D1 (de) 1998-02-12
FI930280A0 (fi) 1993-01-22
AU1760192A (en) 1992-12-30
DE69223925T2 (de) 1998-06-18
BR9205296A (pt) 1993-07-27
ATE162037T1 (de) 1998-01-15

Similar Documents

Publication Publication Date Title
SK399892A3 (en) Video image processing
CA2231430C (en) Motion compensated interpolation
EP0395271B1 (en) Motion dependent video signal processing
US7315331B2 (en) Method and device for converting video signals
US4864394A (en) Motion vector selection in television images
EP0478217A2 (en) Motion dependent video signal processing
JPH08508138A (ja) 動き補正を伴う映像信号処理
EP0294962A2 (en) Motion vector estimation in television images
EP0474276A1 (en) Video image motion vector estimation with asymmetric update region
JPH07184167A (ja) 動き補正ビデオ信号処理方式
GB2231743A (en) Motion dependent video signal processing
GB2231225A (en) Motion dependent video signal processing
US20050036066A1 (en) Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
EP0860080B1 (en) Method and apparatus for de-interlacing video fields to progressive scan video frames
EP0395268A2 (en) Motion dependent video signal processing
EP0395272A2 (en) Motion dependent video signal processing
GB2505872A (en) Interpolation of images
GB2231748A (en) Motion compensated video signal processing
US5016102A (en) Motion dependent video signal processing
EP0602114B1 (en) Video image processing
US5355169A (en) Method for processing a digital video signal having portions acquired with different acquisition characteristics
US4543607A (en) Video processors
JP2004519901A (ja) 動き推定の容易化
EP0659021B1 (en) Detection of global translations between images
JPH02292979A (ja) テレビジョン画像の動きを評価する装置