SK399692A3

SK399692A3 - Method of determination of suitable motion vector

Info

Publication number: SK399692A3
Application number: SK3996-92A
Authority: SK
Inventors: Michael Burl; Graham A Thomas
Original assignee: British Broadcasting Corp
Priority date: 1990-09-20
Filing date: 1991-09-20
Publication date: 1995-01-05
Also published as: BG97555A; GB9226485D0; NO930999L; GB2261342A; FI931224A; GB2261342B; HUT64661A; JPH06501358A; DE69123359T2; DE69123359D1; FI931224A0; DE69123359T3; ATE145776T1; BR9106851A; KR930701888A; CN1063190A; EP0549681B1; US6005639A; AU643565B2; AU8624591A

Description

Oblast techniky

Tento vynález se vztahu.ie k zpracování video obrazu a to obzvlášté ke z.iišťování pohybových vektoru. které urču.ií smer a velikost zrejmého pohybu k rúzným oblastera v obrazu, tak aby poraohly ke generaci požadovaného výstupního obrazu.

Dosavadní stav techniky

Patentový

Department Report RD obrazú jako porízení použitelné po celé považován jako použi teln.ý metód?/ jsou rovnež možné spis č. GB-B-2.188.S10 a BBC Research 1987/11 popisu.ií metódu zpracování video seznamu pohybových vektoru, které jsou ploše obrazu a jeden z nich muže být ke každé oblasti v obrazu. Další pro porízení takovýchto seznamu pohybových vektoru. Aby se mohly tyto vektory použít. je nezbytné vybrat které z téchto vektoru se mohou použít k daným oblastem v obrazu. Každá oblast obrazu muže být tak malá .iako je obrazový element (pixel). anebo múže obsahovat množinu obrazových elementu, nebo blok v obrazu.

Pohybové vektory mohou být použitý, na príklad ke generaci výstupních snímku, které odpovídají okamžiku v čase. který leží mezi časy dvou vstupních snímkú. Tohoto múže být použito na príklad pro zpomalování jevú v televizi. prevávéní video obrazú na film. nebo z filmu, anebo pri prevádéní televisních standartú.

Jednou z ne jvýznačné .iších využití pohybové kompensace je generace zpomalovacích sekvencí bez rušících trhavých pohybú. které vznika.ií pri jednoduchém opakovaní každého snímku nékolikrát. Znalost pohybového vektoru každého objektu v obraze dovolu.ie novým obrazúm. odpovída.i ící m v kterémkoliv okamžiku, mít objekty presné na svých místech. Použití této techniky ve spojení s CCD kamerou, která má elektronickou závérku, múže umožnit

-2vznik plynulé pohybujících se obrázkú s kvalitou pŕibližující se kvalite získaných z kameň s velmi vysokou snímkovou rýchlostí a bez manipulačních problémú. které manipulace s témito kamerami vznikaj í.

Typický obraz múže být považován ve své nejjednodušší forme jako mající poprední oblast na oblasti pozadí, tak jak je schematicky znázornéno na obr.l v obrázcích. Na obr.(a) je ukázán jeden snímek obrazu, který se sestává z poprední oblasti, což je míč. na oblasti pozadí. Na obr.(b) je znázornén další snímek obrazu. Míč se bude pohybovat z posice A do posice B. Pri pohleduna obrázek (b), část pozadí, které bylo možno vidét na obr. (a) je nyní zakryto-a část pozadí, které nebylo možno vidét na obr.(a) je nyní odhaleno. nebo nezakryto.

V princípu se pozadí múže rovnéž pohybovat v obraze., na príklad, když se kamera otáčí. Tímto budou pohybové vektory, jak popredí, tak pozadí, ovlivnény. Patričný pohybový vektor je vybrán v každéra prípade ze seznamu možných pohybových vektorú (který b.vl již poŕízen na pŕ. naším již dŕíve zmĺnéném patentu) porovnaním dvou po sobé jdoucích snímkú a sledovaním pohybu, který se udái v rúzných oblastech obrazu.

Tato operace poskytne presnou informaci pro vetšinu obrazové plochy. Tak pozadí, které není pokryté ani jednou posicí raíče A a B. múže být porovnáno mezi dvéma obrazy. Také. pŕekrývající se oblast pokrytá posicemi A a posicí B míče múže být porovnána k získání patričného vektoru. Nicméné. v obou oblastech zakrytého pozadí a oblasti odhaleného nebo nezakrytého pozadí, jeden ze snímkú obsahuje obraz míče a druhý obraz pozadí. Toto neraúže být úmyslné korelováno.

Bylo již navrženo mnoho algoritmu pro pohybový odhad, viz na pŕ. Proceedings of the International Zurich Seminár on Digital Communications. March. 1984. pages D2.1 - D2.5.

Bergraann.H.C. . Motion-adaptive frame interpolation. Vétšina nemúže detekovat pohyb v takových oblastech. nebo múže detekovat takové oblasti jenom když pozadí je statické, ale tém. které mohou detekovat jejich existenci my neveríme, že mohou určit sraér. nebo velikost pohybu v oblasti v čase když mizejí z pohledu. nebo se znova objevují.

-3Evropská patentová prihláška No. EP-A-0 395 S64 vydaná 31.ríjna 1990 popisuje zaŕízení pro prevedení 1125/60/2:1 HDTV signálu do 24 Hz postupného (neprokládaného) formátu pro prevedení na film. který používa pohybové odhadovací techniku, která obsahuje dvoustupňový algoritmus, ve kteréra první stupeň zahrnuje korelac.i (pomoci block matching) relativné velkých plôch v obrazu k určení seznamu možných pohybových vektoru a druhý stupeň pŕiŕazovací proces k pridelení vektoru k jednotlivým píxelúm. V tomto pŕiŕazovacím procesu jsou vektory pridelený k existu.iícím vstupním snímkúm a tato informace pak musí být prevedená k ŕízení pixelu v zadaných výstupních snímcích. Pro srovnávání jsou používány tri vstupní púlsnímky.

Podstata vynálezu

Ve vý’nodnéra provedení vynálezu .ie obrazová hodnota pro každou oblast video obrazu určená pro každý ze čtyr po sobé .idoucích snímcích, pro každý se seznamu možných pohybových vektoru. Tyto hodnoty jsou pro čtyri snímky porovnaný a kd.vž jsou podstatné stejné pro daný vektor, je pŕedpokládáno, že tento vektor .ie príslušný pro danou oblast. Vektory príslušné k oblastem zatemneného anebo odhaleného pozadí mohou být rovnéž prirazený porovnaním mezisnímkových diferencí a určením oblastí kde mezisnímkové rozdíly jsou veliké pro strední páry snímku a nízké pro vné.iší páry skupiny čtyr* snímkú.

Výstupní snímky mohou být generovaný interpolací. Ke generaci oblastí odpovída.i ících zatemnenému pozadí se používa.ií pouze informace z pŕedchozích snímkú a pro generaci oblastí odpovída j ící ch odhalenému pozadí se používa.ií pouze informace z pozde.iších snímkú.

-4Stručný dopíš obrázku

Výhodné provedení vynálezu bude nyní detailné popsáno pomoci príkladu na obrázcích ve kterých:

Obr. 1 ukazu.ie dva po sobé jdoucí snímky sekvence video obrazu. ve kterých se pohybuje ob.iekt popredí.

Obr. S .ie schéma znázorňu.iící odpovída.iící body čtyŕech po sobé jdoucích snímcích pro daný pohybový vektor.

Obr. 3 .ie schematicky znázornén pohyb popredí a pozadí mezi čtyŕmi po sobé .idoucími snímky.

Obr. 4 .ie blokové schéma pro získaní čtyŕ .iasových složek podél procesové pohybové tra.iektorie.

Obr. 5 .ie blokové schéma prístroje pro výpočet určovací chyby, a

Obr. 6 znázorňuje obvod pro porovnávaní klasifikačních kódu a chyb.

Pň í k1ad provedení vynálezu

Jestliže je predpokládáno. že celý obraz .ie zobrazován ve shodé se ste.iným procesovým pohybovým vektorem, který je jeden ze seznamu možných pohybových vektorú. potom hodnota kteréhokoliv pixelu muže být odhadnutá pohledem zpét do stejného bodu v predchozím snímku a .ieho nahrazeníra velikosti tohoto vektoru. Alternatívne, pri vzetí daného snímku, jako je dátumové se raúžeme podívat dozadu i dopredu a pro každý pixel v datumovém snímku se generuje jaká múze být hodnota tohoto pixelu v čase výskytu pŕedcháze.i ícího i následujícího snímku. Toho .ie dosaženo pohledem na body v téch predchozích a následu.i ících snímcích. které .isou preložený z pixelu v datumovém snímku velikosti pŕiméŕenému pohybovému vektoru. Tato operace .ie schematicky znázornéna na obr.3. kde jsou čtyri snímky video signálu v časech t-1. t, t+1. t+2 resp. Na vertikálni ose je znázornén jeden rozraér prostorového rezu obrazu. Näsledkem pohybu bodu. které odpovída.ií rúznýra snírakum. .isou prostorové pŕemístény.

-5Takto lze pro libovoln?/ vektor sestro.iit pro každý pixel v daturaovém snímku hodnoty toho pixelu. které lze pŕedpokládat v nás ledu.i ícím snímku. Jestliže .ie pohybový vektor vskutku správný pro daný pixel. .ieho hodnoty .isou pravdepodobne více méné ste.iné. Jestliže .ie tato operace opakována pro všechny možné pohybové vektory, potom vektor, který má ne.imenší variaci hodnotách ,ie pravdepodobné vhodným vektorem pro tento pixel. Tyto hodnoty mohou určit veiikost určovací chyby, .iak .ie dále popsáno, pro každý pixel a každý vektor.

Proto ve shodé s tímto vynálezem navrhujeme použití obsahu čtyŕ po sobé .idoucích snírakú k určen¹' príslušných pohybových vektoru pro rúzné · oblasti obrazu. Na obr. 3 .isou podobné schematicky znázornény čtyŕi snímky video signálu v časech t-1. t. t+1 a t+2 reso. Na vertikálni ose .ie vyznačen jeden rozmer objektu popredí, pohybu.iící se preš pozadí, které se rovnéž pohybuje. Jak vidno z obrázku, objekt popredí se pohybuje nahoru mezi poli t-1 a t+2. kdežto pozadí se pohybuje pomalú dolú.

Existu.iící systémy porovnávaj! dva centrálni snímky t a t+1 a jsou neschopný určit vektor príslušný k .listým oblastem v obraze. Zvlášté ne.isou schopný určit vektor príslušný k oblasti označené c. která representu.ie pozadí, které .ie-zatemnšno mezi snímky t a t+1, nebo vektor príslušný k oblasti označené e. které representu.ie odhalené pozadí .

Pohybové vektory mohou být použitý k. interpolační operaci ke generaci výstupního snímku v okamžiku t+čt. který .ie v mezidobí mezi t a t+1. Použitím všech 4 snímkú. není detekce pohybového vektoru práve presnejší, ale .ie možné pridšlit vektory k oblastem c a e na obraze. Zpracováni použitá na každé oblasti a až g jsou znázornény na obr. 3:

Oblasti a a g: Pohybový vektor pozadí vykazuje malou určovací chybu pŕes všechny čtyŕi snímky, takže čtyŕsnímková interpolace muže být použitá.

Oblast b: Pohybový vektor pozadí vykazuje malou určovací chy bu pŕes strední snímky, ale ne pŕes všechny čtyŕi: dvousnímková interpolace pŕes strední snímky múže být použitá, nebo je možná extrapolace snímku v

-6čase t jestliže uróovací chyba Dres první dva snímky je menší než pŕes strední snímky.

Oblast c: Vektor pozadí vykazuje malou chybu jenom presprvní dva snímky: žádné jiné vektory nevykazuj! malou určovací chybu v kterémkoliv čase. Oblast je takto zeslabena na zatemnenou a extrapolováze snímku v čase t použitím vektoru pozadí.

Oblast d: Pohybový vektor objektu vykazuje malou čt.vŕsnímkovou určovací chybu, takže čtyŕsnímková interpolace múže být použitá.

Oblast e: Vektor pozadí vykazuje malou určovací chybu preš poslední dva snímky; žádné jiné vektory nevykazuj! malou určovací chybu v kterémkoliv čase. Oblast je takto zeslabena na odhalenou a extrapolována ze snímku v čase t+l použitím vektoru pozadí.

Oblast f: Vektor pozadí vykazuje malou určovací chybu mezi stredními snímky, ale ne preš všechn.v čtyŕi snímky: dvousnímková interpolace pŕes strední snímky je tímto použitá, nebo možný snímek v čase t+l .ie extrapolován jestliže určovací chyba pŕes poslední dva snímky .ie menší než pŕes strední snímky.

Takto je určení vektoru možné ve všech ilustrovaných obrazových oblastech jak na pixel-by-pixel tak block-by-block základe. Oblasti odpovída.iící zatemneným pozadím .isou generovány použitím informací z pŕedcháze.iících snímkú a v oblastech odhaleného pozadí používa.ií informace jenom z následu.iících snímkú.

Zpúsob, .iakým jsou určovací chyby získávány, bude nyní popsán. Čtyŕi snímky video signálu .isou simultánne dostupné použitím vhodné paméti. Pro každý procesový vektor .isou určený čtyŕi hodnoty navržené pohybové tra.iektorie (viz obr.S). Tyto hodnoty .isou .iasovými složkami video signálu. Pohybový vektor múže být určen presnosti lepší než jeden pixel a když pohybová tra.iektorie nebeží presné pŕes existu.iící vzorkové posice na snímcích t-1. t, t+l, t+2 resp. Je použit prostorový

-7interpolátor k výpočtu .iasových složek náleže.iících k nejbližšíra posicí pixelú v téchto sníracích.

Tyto čtyri složky takto získané prochází hornopropustným filtrem. který merí amplitúdu časové se ménící .iasové složky. Exisru.ie mnoho filtrových odezev. ale príklad odezvy, která za.iistí vážený prúmér modulu diferencí rozdilú .ie:

0.25 x f! a-1 - ai ! + ! ao - a2 ! 1 + 0.125 x f! a-1 - ao ! +2 ! ao - ai ! + ! ai - &2 !)

Takto .ie získána hodnota pro každou posici pixelu. Hodnoty pŕes celý obraz Jsou pak vyhlazeny prúchodem dolnopropustným prostorovým filtrem aby vytvoríly čtyrsnímkový vektor určovací chyby pro každý vektor. Pro každý pixel .isou velikosti

č.tyŕsn í rakového vektoru určovací chyby pro všechny možné procesové vektory potom porovnaný. Jestliže .ie velikost na.inižšího etyŕsní mkového vektoru určovací chyby pod daným práhem. pak je odpovída.i ící vektor pŕiŕazen pixelu a tento pixel .ie zeslaben, .iakoby se podrobil jednoduchému posuvnému pohybu.

Jestliže .ie velikost ne.imenší č tyr snímkové určovací chyby nad tímto práhem, pak jsou rozdíly mezi následu.iícími snímky zkoušeny pro všechny procesové vektory za účelera určení, který vektor a časová perióda, dává ne.imenší chybu, tak jak .ie popsáno výše v referenci k obr 3. Na príklad, jestliže oblast odpovídá odhalenému pozadí, potom u !ai - a? ! múžeme očekávat malou amplitúdu pro správný pohybový vektor, kdežto pro !ao -ai ! a !a-i -ao! veiikou. Podobné, oblast zatemneného pozadí múže snížit malou amplitúdu !a-i-ao!. Jestliže ne.inižší hodnota byla pro strední časy. pak múžeme do.iít k záveru. že oblast byla práve odhalená, nebo byla právé pred zatemnením. Tyto tri chyby jsou závislé prostorovém filtru a výhodnej í násobený váhovými faktory pred jejich porovnáním. Váhové faktory jsou vybrány tak, aby se zajistilo. že oblast .ie zeslabena .iako odhalené nebo zatemnené pozadí jenom když chyba .iedné z vnéjších časových periód snímku .ie významné menší než ta pro. strední periódu snímku.

-8Možná hardwarevá realisace metódy podie obr.3 bude nyní popsána pomoci obrázku 4 až 6. Obr.4 ukazuje .lak čtyŕi .iasové složky mohou být získány podél procesové pohybové tra.iektorie. Tri pevné zpoždovací linky 10 .isou použitý k za.iišténí hodnot si&nálu z rúzných čtyŕ po sobé .idoucích sniacich. Zpoždovací linky s promennou délkou zpoždéní 1S .isou použitý pro posunutí ve shodé s hodnotou procesového vektoru násobenou hodnotou odpovída.iící relevantnímu časovému okamžiku mezi pŕicháze.i ící mi snímky a pro čas. pro který vektor snímku .ie generován. Takové proménné zpoždovací linky mohou být snadno realisovány použitím množství RAM paraétí adresovaných patričnými čtecími a zapisovacími obvody, v princípu vynálezu, kde snímky .isou prevedený do sub-pixelové presnosti, každý posouvač .ie nahrazen radou posouvaču k získání hodnot okolních pixelú: tyto hodnoty .isou potom privedený do prostorového interpolátoru k za.iišténí sub-pixelové části posunutí. Takový interpolátor .ie velmi dobre znám.

Obr. 5 ukazu.ie možné uspoŕádání pro výpočet čtyŕsnímkové a dvousnímkové určovací chyby z .iasové složky vypočítané podie obr.4. Chyb?/ .isou vypočítávány použitím odečítacích obvodú 14. které .isou nasledovaný obvody 16 k výpočtu modulu snímkové diference. Moduly diference .isou prostorové filtrovaný k určení dvousnímkové chyby: tyto .isou použitý k výpočtu čtyŕsnímkové chyby. Pro prostorové filtrování mohou být použitý dostupné integrované obvody, na príklad Inmos A110. Na tomto príkladu, čtyŕsnímkové chyba .ie .iednoduše odvozená ze sečítacího obvodu 18 ze součtu tŕí dvousnímkových chyb: více komplexní horno-propustný filtr mohl rovnéž být použit. .ia'k .iiž bylo dŕíve vysvétleno. Tyto chyby .isou vedený do rozhodovacích obvodú SO. které vykonávali rozhodnutí na základe hodnot chyb. které .isou ve vzá.ieraných vztazích. a zadaných hodnot práhú váhových faktoru, .iak .iiž bylo dŕíve vysvétleno. Takovýto obvod múze být zkonstruhován ze součástek .iako .isou komparátory. nebo logická hradia.

Obr.6 znázorňuje, jak klasifikační kódy a chyby spojované s každým procesovým vektorem jsou porovnávány za účelera do.iít ke konečnému rozhodnutí. Toto zahrnuje porovnání chyb pro kaž-9dý vektor užitím komparátorú pro určení jejich nejmenší chyby. Chyby mohou být vážený pred .ie.iich porovnávaním podie jejich kvalifikace: takové váhování múže být provedeno použitím ROM paméti 22. adresované hodnotou chyby a klasifikačním kodem. Číslo oznaóující vybraný vektor múže být snadno pňevedeno do horizontálních nebo vertikálních vektorových komponentú toho vektoru použitím tohoto čísla k adresovaní prohlížecí tabulk.v obsahující seznam procesových pohybových vektorú.

Obrazová interpolace využívající vektorovou a klasifikační inforraaci. získanou jak bylo uvedeno výše. múže být snadno navržena použitím uspoŕádání snímkových zpoždéní a proménných zpoždéní velmi podobných tém na obr.4. Proménná zpoždéní jsou rízena vybraným vektorem: čtyri získané jasové složky procháze.ií čtyrnásobným zpoždovacím filtrem. jehož koeficienty jsou určený klasifikačním kodem a časovou posicí generovaného snímku. Takový filtr je možno snadno zkonstruhuvat pomoci sčítacích a násobících obvodu, zároveň s ROM pamétémi k uchovaní filtrových koef icientú.

Jinou možností využití snímkových diferencí je pro zjíšténí určovací chyby; je možné získat pŕesné.iší mérení použitím jasového gradientu v oblasti každého pixelu. Toto dovoluje. aby byly méné brány v úvahu chyby v oblastech s mnohá detaily a což je výhodné, protože malá nepŕesnost v pohybovém vektoru múže zpúsobit vysokou snímkovou diferenci v takové oblasti.

Vhodná metóda pro výpočet určovací chyby následuje:

určovací chyba = (ídiference! + const )/([gradíent! + const) kde: diference = (ao -ai) (v prípade, že se jedná o určovavací chybu mezi prvními dvémi snímky);

const je konštanta, .iejíž funkce je zmenšit problémy pocházející ze šumu a nulového gradientu. na pŕ. rovná 4 jasovým kvantisačním úrovním;

a gradient = druhá odmocnina í(Yíx-l.y) - Y(x+1))² + (Y(x.y-l) - Y(x,y+1))²}

-10kde Y(x,.v) Je .iasová úroveň vstupního snímku ne.ibližší v čase k okamžiku ve kteréra Je vektor snímku generován. pŕičemž (x.y) jsou koordináty v tomto snímku, kterými pohybový vektor za uvedeného predpokladu prochází.

Tato technika múže být použitá, když se má vypočítat kterákoliv z určovacích chyb. Výsledné chyby jsou subjektem prostorového dolnopropustného filtru, jak bylo výše uvedeno.

Další možné zlepšení výpočtu určovací chyby ,ie možné použitím informace z chrominančního signálu - je.iím pridaní k té chybe z .iasové složky. jak již bylo dŕíve vysvétleno. Dvé chrominanôní určovací chby mohou být vypoeítáván.v stejným zpúsobem jako pro jasovou složku. použitím t. zv. U a V chrominanôních signálú; Chrominanční určovací chyby jsou potom pŕidány k chybám získaných z jasových složek aby se získal kombinovaný určovací chybový signál. který je mnohem spolehlivéjší než chybový signál z pouze jasové složky v obrazových oblastech s malými jasovými detaily. ale význačnéjšími chrominančními detaily.

Jestliže všechny určovací chyby jsou vétší než určitá hodnota, takže žádný vektor není pŕiŕazen pohybu, potom je pixel zesláblý, jako kdyby nemel známý vektor.

Jestliže dva. nebo více vektorú. dávají podobné malé určo vací chyby, tak je možné, že múže být vybrán nesprávný vektor.

V praxi však nastává pouze problém. jestliže vektory mají významné rozdílné hodnoty. V jednom provedení vynálezu je spolehlivost zlepšená za téchto okolností opakovaním celého určovacího procesu použitím prostorových filtrú s velikými štérbinarai, až je jedinečný vektor nalezen. Alternativné múže být prostorové filtrovaní chybových signálú provádéno paralelne užitím množství štérbinových filtrú a ten signál z filtru s nejraenší štérbinou, který dává jedinečnou odezvu. je využit. Jestiže nebyl nalezen žádný jedinečný vektor, který vykazuje malou určovací chybu, pixel potom zeslábne jako ma.iící neznámý pohyb.

-11Více složitých metód kombinovaní a vážení vzťahových chyb mezi po sobé .idoucími snímky múže být použito pro zlepšení spolehlivosti vektorového určovacího procesu. Na príklad, ve výhodném provedení vynálezu, .ie vypočítáváno sedra väzbových chyb ze tŕech néváhových väzbových chyb:

První. vypočítává tri neváhové určovací chyby EO.E1 a E2 užitím gradientové výše uvedené metódy: EO .ie určovací chyba mezi prvními dvéma snímky ze čtyŕ snímkú určená užitím (ao- ai i , El .ie mezi stredními dvéma a E2 .ie chyba mezi posledními dvéma.

Potom se vypočítáva.ií sedm chyb WO - W6, založených na váhových kombinacích EO. El a E2:

WO = EO* first wt W1 = El* one wt W2 = E2* second wt

W3 =	(EO	+	El)	/	2*two	wt
W4 =	(El	+	E2)	/	2*two	wt
W5 =	(EO	+	E2)	/	2*two	wt
W6 =	(EO	+	El	+ '	E2) /	3*three wt

Váhové faktory mohou být konštantami vybranými k optimalisaci operace vektorového výberového procesu, nebo mohou být funkcemi parametrú, .iako .ie velikost procesového vektoru, velikost štérbiny určovacího prostorového filtru a posice výstupního snímku.

V provedení vynálezu, first wt a second wt .isou fukcemi, které se mení takovým zpúsobem aby se snížily problémy na hranicích oblastí když vektory pozadí a popredí si konkuru.ií; v takových oblastech prostorové dolnopropustné filtry použité pro EO-E2 ma.ií sklon zpúsobit. že vektor pozadí bude vybrán pravé na hrané ob.iektu. Následu.iící vzorec múže být použit pro tyto dva váhové faktory:

-12fírst wt = 1 + (čt * délka vektoru)/ velikost štérbin.v second wt = 1 + ((l-čt) * délka vektoru)/velikost štérbíny kde čt je poloha výstupního snímku v rozsahu 0-1 jak je ukázáno na obr.3. a velikost štérbíny je velikost prostorového filtru použitého pro určovací chyby E0-E2.

Tyto váhové vektory mohou být omezeny pevnou maximálni hodnotou v prípade velmi velkých vektorú.

Další váhové faktory (one wt. two wt a three wt) jsou konštantami vybranými tak. že jsou menší než jednotka a jsou vždy menší než first wt. nebo second wt. To zajištuje. že vektory representující popredí jsou zpŕíznény ve vztahu s térai indikujícími odhalené, nebo zatemnené pozadí. Tak to je. protože je subjektivné o hodné lepší pro pozadí okolo hrán pohybujícího se objektu aby se s ním zacházelo jako s popredím Cstává se lehce rozmazaným), než pro hrany objektu popredí, aby se s ním zacházelo jako s pozadím (díry“ se objevují v objektu).

Pro každý procesový vektor jsou váhované sumy porovnávány a z každého vzorku je vybrán ten nejmenší. Vektor a klasifikační plocha .ie podie této selekce vytvorená: Jestliže Wl. W3, W4. wr, nebo WS jsou nejmenší. odpovídající vektor .ie určen a oslaben jako popredí. Jestliže WO je nejmenší. odpovídající vektor je určen a zeslaben jako pozadí. Podobne jestliže W2 je nejmenší. vektor je oslaben jako representující odhalené pozadí. Jak již bylo dríve zmĺnéno, jestliže .ie nejmenší chyba nad stanoveným práhem, potom pixel múže být zeslaben, jako kdyby mél neznámý vektor.

Informace o získaném vektoru a klasifikační ploše múže být subjektem dodateóného post-procesu. je-li vyžadovaní ten múže zahrnovat použití dolnopropustnéch nebo stredových prostorového filtrú. Tyto filtry jsou dobre známé.

Jak již bylo zmĺnéno v referenci k obr. 3, získaná informace o vektoru a klasifikaci z výše popsané operace nachází zvláštni použití v časové interpolací obrazových sekvencí. Taková použití zahrnuji získání velmi kvaiitnich zpomalených prehrávek, prevody standartú s rúznýrai snímkovými kmitočty a

-13interpolaci obrazu na filmových sekvencích ke zvétšení kmitočtu snímkú na televisní kmitočet.

3. je výstupní obraz ukázán jako čase mezi existujícími snímky, dvousnímkové nebo čtyrsnímkové interpolační filtry je relativné jednoduchý a dobre známý proces. Obrázek neukazuje žádné oblasti ke kterýra by nebyl vektor priŕazen: takové oblasti jsou interpolovaný použitím

Pri pohledu na obr. interpolovaný v llbovolnéra Výpočet koeficlentú pro neprizpúsobeného čtyŕnásobného zpoždovacího filtru, jehož odezva je podobná k pohybové korapensaci ste.iného filtru užitého v oblastech a.d.a g v obr.3.

V jednom výhodném provedení výbérový proces vektoru múže být rozšíŕen do dvou vektorú generovaných pro každý výstupní pixel v oblastech odhaleného a zatemneného pozadí. Toto dovoluje mékké prepnutí mezi vektory použitých pro obrazovou interpolaci na stycích mezi objekty popredí a pozadí. Na príklad, pro každý pixel, který je urôen jako odhalené pozadí (tj.nejnižší váhovaná určovací chyba, která nastala mezi posledními dvéma snímky), vektor dávající minimálni určovací chybu pŕes poslední dva snímky je též urôen. Výstupní obraz je potom interpolován z následujících snímkú posunutých určovacím odhaleným' vektorem pozadí (upraven pro požadovaný výstupní čas) jak bylo dŕíve popsáno. dohromady s s pŕíspévkem z pŕedcházejících snímkú posunutých tímto druhým vektorem.. Relatívni podíly téchto pŕíspévkú mohou být určený takto: Ŕídící signál je vypočítán pro každý pixel. který má být interpolován, špecifikovaním zlomku výstupního obrazu, který má být vzat z následujících snímkú. Pro všechny vzorky v oblastech popredí to bude konštanta rovná ót z obr.3. která je v normálníra zpúsobu operace časové interpolace filtru. V oblasti oslabené jako odhalené pozadí, rídící signál bude nastaven jednotné, tudíž všechny informace mohou být prevzatý z následujících snímkú. jak již bylo dríve v.ysvétleno, pro oblast e v obr.3. Tento rídící signál bude pak subjektera dolnopropustného prostorového filtru tak. že nebude dele shodný pravé uvnitŕ oblastí odhaleného pozadí.

-14Oba procesy, jak určovaní vektoru, tak interpolace. zde byly popsány bez ohledu na prokládání obrazu. Oba procesy mohou být použitý pŕírao na prokládaný signál (vzetím v úvahu vertikálního umísténi vzorkovaných rádek): alternatívne prokládaný signál múre být konvertován na sekvenční nebo progresívni formu pred samým procesem.

Bude ocenéno, když v neobvyklé události .ie pouze požadováno detekovat bud zatemnéné pozadí, nebo odhalené popredí, ale ne obo.ií, pak stačí porovnávat pouze tri po sobé jdoucí snímky.

Blokové schéma zpomalovacího prehrávacího systému, ve kterém .ie vynález včlenén. .ie možno vidét v IEE Conference

Publication No. 327 (IBC'90) stránky 121 až 125.

Rovnéž bude ocenéno, když výše popsané operace budou realisovány počítačovým systémem, než pomoci diskrétních obvodú. Výše uvedený operační popis zahrnuje všechny informace nezbytné pro výrobu takového systému a bude mu jasné rozumnéno osobami zručnými v tomto oboru. Proto zde ne.isou uvedený detailní popisy programových blokú.

Claims

PATENTOVE

NÁROKY

1. Zpúsob určení vhodného pohybového vektoru z množiny pohybových vektorú k oblastem na video obraze ve shodé se zrejmým pohýbem v této oblasti mezi dátumovým snímkem a sousedním snírakem. vyznačený tím. že zahrnuje tyto kroky:

určení obrazových hodnot pro každou oblast dátumového snímku a pro. každý možný pohybový vektor, vhodných k této oblasti pro nejméné čtyňi následné snímky; a porovnaní, pro každou ŕečenou oblast, obrazových hodnot nebo hodnot odvozených z nich pro rúzné pohybové vektory za účelem určení který pohybový vektor je pravdepodobné vhodný k oblasti.

S. Zpúsob podie nároku 1. vyznačený tím.že obrazové hodnoty jsou jasové hodnoty.
3. Zpúsob podie nároku 1. vyznačený tím. že možné pohybové vektory mají presnost lepší než jeden pixel a krok určení obrazových hodnot pro sousední snímky zahrnuje prostorovou interpolaci.
4. Zpúsob podie nároku 1. vyznačený tím. že každá oblast obsahuje jeden pixel.
5. Zpúsob podie nároku 1. vyznačený tím. že každá oblast obsahuje blok pixelú.
6. Zpúsob podie nároku 1, vyznačený tím. že obrazové hodnoty jsou horno-propustné časové filtrovány k získání hodnoty určovací chyby pro každou oblast a každý vektor a porovnaní zahrnuje porovnávání hodnot určovacích chyb.
7. Zpúsob podie nároku 6. vyznačený tím, že když pro každou oblast .ie Jedna hodnota uróovací chyby pod práhem. odpovídajíci vektor Je určen k této oblasti.
8. Zpúsob podie nároku 7. vyznačený tím. že když pro llbovolnou oblast neexistuje hodnota uróovací chyby která je pod práhem, krok porovnání dále obsahuje výpočet následujících mezisnímkových diferencí pro každý možný vektor a určení pohybových vektorú v závislosti na uvedených diferencích.
9. Zpúsob podie nároku 8, vyznačený tím, že diference jsou sub jekty prostorového filtrování.
10. Zpúsob podie nároku 8, vyznačený tím. že diference .isôu sub .iekty k váhovým faktorúra.
11. Zpúsob podie nároku 8, vyznačený tím. že čtyŕi po sobé jdoucí snímky jsou zkoušeny (dva strední snímky a dva vné.iší snímky).
12. Zpúsob podie nároku 11, vyznačený tím, že když jsou diference mezi stredními snímky pod práhem, ale diference mezi libovolným vnéjšíra snímkem a jeho pŕilehlýra stňedním snímkem veliké. pak minimálne jeden z vnéjších snímkú .ie i&norován v určení pohybových vektorú.
13. Zpúsob podie nároku 11, vyznačený tím. že když jsou diference mezi stredními snímky veliké. diference mezi predchozím vné.iším snímkem a sousedním stŕedníra snímkem .ie veliký a diference mezi následu.iícíra vné.iším snímkem a sousedním stŕedníra snímkem .ie malá, oblast je označená jako odhalené pozadí.
14. Zpúsob podie nároku 13. vyznačený tím. že. když vektor dáva jící nejnižší uróovací chybu mezi predchozím vnéjším snímkem a sousedním stredním snímkem .ie rovnéž určen a označen jako náležející do popŕedního materiálu prilehlému k oblasti identického odhaleného pozadí.

-1715. Zpúsob podie nároku 11. vyznačený tím. že když reference mezi stňedními snímky je vysoká, diference mezi následu.iícím vnéjším polem a sousedním stňedníra snímkem .ie veliká a diference mezi pňedchozím vne.iším snímkem a sousedním stňedníra snímkem je malá. potom Je oblast označená Jako zatemnené pozadí.
16. Zpúsob podie nároku 14, vyznačený tím, že. když vektor dávající ne.inižší určovací chybu mezi následu.iícím vnéjším snímkem polem a sousedním stňedním snímkem. .ie rovnéž určen a označen .iako náleže.iící do popňedního materiálu prilehlému k oblasti identického zatemneného pozadí.
17. Zpúsob podie nároku 1. vyznačený tím, že. dále skládaný výstupní snímek, v mezidobí mezi vstupními snímky pomoci pohybovékompensované interpolace. .ie generovaný použitím pohybového vektoru takto určeného.
18. Zpúsob podie nároku 15. vyznačený tím. že mékký prepínač se prepína mezi interpoiací v oblastech odhaleného, nebo zatemneného pozadí a oblastech popredí použitím dvou vektorú. určených v takových odhalených nebo zatemnených oblastech k posunutí predcháze.iících a následu.iících snímkú v interpolátoru.
19. Zpúsob podie nároku 1, vyznačený tím, že, určovací chyby jsou určený podstatne z pomérú jasových diferenčních hodnot k lokálnímu .iasovému gradientu.
20. Zpúsob podie nároku 1. vyznačený tím, že barevné diferenční hodnoty podél pohybové tra.iektorie jsou použitý jako dodatek k jasovým diferenčním hodnotám pro výpočet určovací chyby.
21. Zpúsob podie nároku 1. vyznačený tím, že. množina váhových určovacích chyb je tvorená komblnací určovacích chyb mezi sousedními snímky a kombinované chyby jsou zkoušeny když určují. zda oblast odoovídá popredí, odhalenému nebo zatemnenému pozadí.

-1822. Zpúsob podie nároku 1. vyznačený tím. že. vektory .isou určený v libovolném čase ve vztahu k púvodním obrazúm.
23. Zaŕízení pro určení vhodného pohybového vektoru z množiny pohybových vektorú k oblastem na video obraze ve shodé se zrejmým pohýbem v této oblasti mezi dátumovým snímkem a sousedním snímkem, vyznačené tím, že obsahuje: obvod?/ pro určení obrazových hodnot pro každou oblast dátumového snímku a pro každý možný pohybový vektor, vhodných k této oblasti pro ne.iméné čtyŕi následné snímky: a obvody, pripojené k obvodúra pro určení, pro porovnání každé ŕečené oblasti, obrazových hodnot nebo hodnot odvozených z nich pro rúzné pohybové vektory za účelem určení, který pohybový vektor je pravdepodobné vhodný k oblasti.
24. Zpúsob určení vhodného pohybového vektoru z množiny pohybových vektorú k oblastem na video obraze ve shodé se zrejmým pohýbem v této oblasti mezi dátumovým snímkem a sousedním' snímkem. vyznačený tím, že zahrnuje tyto kroky:

určení obrazových hodnot pro každou oblast dátumového snímku a pro každ?/ možný pohybový vektor, vhodných k této oblasti pro dátumový snímek a ne.iméné dva sousední snímky:

a porovnání. pro každou ŕečenou oblast. obrazových hodnot nebo hodnot odvozených z nich pro rúzné pohybové vektory za účelem určení, který pohybový vektor je pravdépodobné vhodný k oblasti.
25. Zpúsob podie nároku 24. vyznačený tím. že. vektory jsou určený v libovolném čase ve vztahu k orlginálním snírakúm.
26. Zaŕízení pro určení vhodného pohybového vektoru z množiny pohybových vektorú k oblastem na video obraze ve shodé se zrejmým pohýbem v této oblasti mezi dátumovým snímkem a sousedním snímkem, vyznačené tím že obsahuje: obvody pro určení -obrazových hodnot pro každou oblast dátumového snímku a pro každý možný pohybový vektor, vhodných k této oblasti pro dátumový snímek

-19a ne.iméné dva sousední snímky: a obvody, pripojené k určovacíra obvodúm. pro porovnání. pro každou ŕečenou oblast, obrazových hodnot nebo hodnot odvozených z nich pro rúzné pohybové vektory za účelem určení, který pohybový vektor je pravdepodobné vhodný k oblasti.
27. Zaŕízení podie nároku 26. vyznačené tím. že vektory jsou ur čen.v v libovolnéra čase ve vztahu k originálním snímkúm.