SE469411B - Saett att detektera och avlaegsna fel oeverstigande en specifik kontrast i digitala videosignaler - Google Patents

Description

15 20 25 30 35 469 411 2 Ett speciellt problem, som skall lösas med sättet enligt upp- finningen, är att på ett korrekt sätt separera signal- och felinformation och att åstadkomma adaptiv filtrering i enlig- het med en för tillfället aktuell, specifik feltyp. Detta problem löses genom ett sätt, som kännetecknas av att fel- detektorn detekterar ett fel om minst ett felaktigt bild- element, som utgör ett bildelement med en specifik kontrast, dvs. skillnad i bildelementintensitet, upptäckes vid jämförel- se av bildelementintensiteterna hos bildelement hörande till minst en av nämnda bilder hörande till bildsekvensen, och att feldetektorn bestämmer en felkonfiguration för ett detekterat fel, vilken felkonfiguration utgör en grupp av bildelement bestående av nämnda felaktiga bildelement och eventuella in- tilliggande bildelement med en specifik kontrast, och att nämnda filter utgörs av ett adaptivt filter, som då ett aktuellt bildelement utgör ett felaktigt bildelement ersätter det aktuella bildelementets intensitet med en intensitet som utgör en matematisk funktion av bildelementintensiteterna hos nämnda aktuella bildelement och de bildelement, som omger nämnda felkonfiguration, medan ett aktuellt bildelement, som ej utgör ett felaktigt bildelement, släppes igenom det adap- tiva filtret.

Lämpliga vidareutvecklingar av uppfinningen anges i de beroen- de patentkraven och kommer att förklaras närmare nedan.

Kort beskrivning av ritningarna.

En föredragen utföringsform av uppfinningen kommer att beskri- vas nedan med hänvisning till bifogade ritningar, där Fig. 1 visar ett blockschema, som åskådliggör de principiella funktionerna hos sättet enligt uppfinningen. Blockschemat visar schematiskt en bildsekvensingång till en feldetektor, ett adaptivt filter, en rörelsevektorestimator och en bildför- dröjare. Pilar utmärker flödet av olika bildinformation. I Yu 10 15 20 25 30 35 3 469 411 figuren visas även en blandarenhet, som avger en bearbetad bildsekvens, Fig. 2a visar tre konsekutiva bilder i en imatad bildsekvens, varvid ett analysfönster visas. Bildernas tidsseparation åskådliggöres med en tidsaxel.

Fig. zb visar två olika matriser innehållande bildelementkon- traster, dvs. skillnader i bildelementintensitet, och två rörelsematriser innehållande rörelseinformation, som alla hör till bildelement inom analysfönstret i de konsekutiva bilder- nafl Fig. 3a visar analysfönstret i tre konsekutiva bilder i en ingångsbildsekvens, som ej innehåller någon rörelse. I den mellersta bilden visas ett fel.

Fig. 3b visar två olika matriser, som innehåller bildelement- kontraster och två rörelsematriser, som innehåller rörelsein- formation, som alla hör till bildelement inom analysfönstret i de tre konsekutiva bilderna, som ej innehåller någon rörelse.

Fig. 4a visar analysfönstret i tre konsekutiva bilder hos en inmatad bildsekvens, som innehåller rörelse. I den mellersta av de konsekutiva bilderna, visas ett fel.

Fig. 4b visar två olika matriser, som innehåller bildelement- kontraster, och två rörelsematriser, som innehåller rörelsein- formation, som alla hör till bildelement inom analysfönstret i de tre konsekutiva bildelementen, som innehåller rörelse.

Fig. Sa visar ett diagram med tids- och vertikaldimensioner, varvid kors representerar bildelement hos fält och bildramar som bildar bilderna i digitala videosignaler. Det bildelement, som skall bearbetas, är markerat i diagrammet.

Fig. 5b visar ett diagram med vertikal- och horisontaldimen- sioner, varvid kors representerar bildelement i ett fält eller 10 15 20 25 30 35 469 411 4 en bildram. Det bildelement, som skall bearbetas är markerat i diagrammet.

Beskrivning av en föredragen utföringsform.

I en föredragen utföringsform av uppfinningen baseras sättet på tredimensionell (innefattande två rumsdimensioner och en temporal dimension) bearbetning av bildelement hörande till bilder i en bildsekvens i nämnda digitala videosignaler. Ett dylikt bildelement bearbetas av en feldetektor för att be- stämma huruvida bildelementet utgör en del av ett fel och, om så är fallet, att bestämma felkonfigurationen, dvs. en grupp bildelement hörande till nämnda fel. För ett bildelement som utgör en del av ett fel, användes felkonfigurationen av ett adaptivt filter, som ersätter detta bildelement med ett mate- matiskt medianvärde av bildelement hörande till en aktuell bild samt bildelement hörande till minst en föregående bild och minst en följande bild i bildsekvensen.

Med hänvisning till fig. 1 skall metodens principiella funk- tioner beskrivas. En bildsekvens 102 inmatas till en feldektor 107, ett adaptivt filter 103, en rörelsevektorestimator 110 och en bildfördröjare 101. Feldetektorn 107 beräknar bild- elementkontraster mellan bilder och utnyttjar rörelseinforma- tion 111 från rörelsevektorestimatorn 110. Feldetektorn 107 detekterar ett fel vid påträffande av ett bildelement, som har minst ett förutbestämt kontrastvärde från bild till bild och som ej antages utgöra en del av en global eller lokal rörelse i bildsekvensen. Feldetektorn 107 bestämmer även konfiguratio- nen av det upptäckta felet, vilken konfiguration utgörs av en grupp omedelbart intilliggande bildelement, som har minst ett förutbestämt kontrastvärde från bild till bild och som ej an- tages utgöra en del av en global eller lokal rörelse i bildse- kvensen. En felkonfigurationssignal 111 avges av feldetektorn 107 till det adaptiva filtret 103. Om något fel ej detekteras, indikerar den avgivna felkonfigurationssignalen 111 en felkon- figuration som ej innehåller några bildelement. Då ett fel 10 15 20 25 30 35 5 469 411 detekteras åstadkommer det adaptiva filtret 103 en filtrering, som ersätter intensiteten för det aktuella bildelementet hörande till felet med en intensitet, som utgör en matematisk funktion av bildelementintensiteterna för det aktuella bild- elementet och bildelement som omger felkonfigurationen. Vidare beräknar feldetektorn 107 en konfidensvärdessignal 109 svaran- de mot sannolikheten att ett aktuellt bildelement har detekte- rats korrekt som ett felaktigt bildelement, varvid beräkningen av denna sannolikhet baseras på nämna differansmatriser och nämnda rörelseinformation 111. Konfidensvärdet användes för styrning av en blandning av ofiltrerade bildelement, som för- dröjts av bildfördröjaren 101, med bildelement avgivna av det adaptiva filtret 103. Blandningen genomföras i en blandarenhet 104, som avger en filtrerad bildsekvens, i vilken höga kontrastfel har avlägsnats. Företrädesvis inmatas en bildur- sprungssignal 106, som anger ursprunget för bildsekvensen, till nämnda feldetektor 107 och till det adaptiva filtret 103 i syfte att anpassa detekteringen och filtreringen till felens egenskaper och till i vilken ordning, som de till en viss bild hörande bildelementen förekommer i den digitala videosignalen.

Med hänvisning till fig. 2a skall nu användningen av ett analysfönster 203 beskrivas. Vid bearbetning av ett aktuellt bildelement jämföres ett område i tre konsekutiva bilder 201, 202, 204. Dessa tre konsekutiva bilder 201, 202, 204 separeras i tiden såsom åskådliggöres med en tidsaxel 205. Detta område betecknas som analysfönstret 203, vilket är centrerat kring läget för ifrågavarande bildelement, vilket är markerat med ett kors i de tre konsekutiva bilderna 201, 202, 204 i bildse- kvensen. De bildelement, som ligger inom analysfönstret 203 i de tre konsekutiva bilderna 201, 202, 204, användes för beräk- ning av två differensmatriser innehållande bildelementkontras- ter, dvs. skillnader i bildelementintensitet. Två rörelsemat- riser innehållande rörelseinformation, likaledes hörande till analysfönstret 203, tillhandahållas av rörelsevektoresti- matorn. 10 15 20 25 30 35 469 411 6 Med hänvisning till fig. 2b följer nu en beskrivning av de båda differensmatriserna 206, 207 och de båda rörelsematriser- na 208, 209 i feldetektorn. De båda differensmatriserna 206, 207 beräknas så att de innnehåller bildelementkontraster, dvs. skillnader i bildelementintensitet, med avseende på bild- element inom analysfönstret hos de tre konsekutiva bilderna.

De båda rörelsematriserna 208, 209 beräknas så att de innehål- ler rörelseinformation, hörande till bildelementen inom ana- lysfönstret hos de tre konsekutiva bilderna. I differensmatri- serna 206, 207 motsvarar de omedelbart intill varandra liggan- de bildelementen som ger framåt beräknade differenser (FDll, ..., FDnn) och bakåt beräknade differenser (BD11, ..., BDnn), vilka överstiger en förutbestämd nivå och har samma tecken i de båda differensmatriserna 206, 207, felkonfigura- tionen.

Företrädesvis använder feldetektorn även rörelseinformation, som erhålles från en rörelsevektorestimator. Denna rörelsein- formation representeras av framåtriktade rörelsevektorer (FMV11, ..., FMVnn) och bakåtriktade rörelsevektorer (BMV1l, ..., BMVnn) i de båda rörelsematriser 208, 209. Dessa rörelse- vektorer användes av feldetektorn i syfte att förbättra nog- grannheten vid feldetektering på så sätt, att de bildelement, som ej utgör en del av en sann global eller lokal rörelse i bildsekvensen, ej detekteras såsom fel.

Med hänvisning till fig. 3a och 3b beskrives nu ett exempel på användning av analysfönstren 301, 302, 305 i feldetektorn. I analysfönstren 301, 302, 305 visas ett orörligt föremål 304 och ett fel 303 i tre konsekutiva bilder. Feldetektorn beräk- nar de båda differensmatriserna 306, 307 och de båda rörelse- matriserna 308, 309, i vilka resultaten visas symboliskt med nollor för utebliven intensitetsskillnad respektive utebliven rörelse och minustecken för negativa intensitetsskillnader.

Med hänvisning till fig. 4a och 4b beskrives ett annat exempel på användning av analysfönster 401, 402, 405 i feldetektorn. I 10 15 20 25 30 L: ._21 n-fl 7 469 analysfönstren 401, 402, 405 visas ett rörligt föremål 404 och ett fel 403 i tre konsekutiva bilder. Feldetektorn beräknar de båda differensmatriserna 406, 407 och de båda rörelsematriser- na 408, 409, i vilka resultatet åskådliggöres symboliskt, näm- ligen med nollor för utebliven intensitetsskillnad eller ute- bliven rörelse, med pilar för rörelsevektorer, med plustecken för positiv intensitetsskillnad och minustecken för negativ intensitetsskillnad.

Med hänvisning till fig. 5a och 5b beskrives nu bildelement som bearbetas i det adaptiva filtret i den föredragna utför- ingsformen. De visade diagrammen, vilka åskådliggör vertikal-, horisontal- och tidsdimensioner, innehåller kors som represen- terar tillgängliga bildelement. Bildelementen i digitala videosignaler bildar fält, som representerar en halv bild.

Fig. 5b visar bildelement hörande till samma fält som ett bildelement 507, som är under bearbetning. Fig. 5a Visar bildelement hörande till samma fält 503 som bildelementet 506, vilket är under bearbetning, samt bildelement hörande till omgivande fält 501, 502, 504, 505. Ursprunget för bildsekven- sen bestämmer vilken bildram, i nämnda digitala videosignaler, som bildelementen hörande till en viss bild tillhör. Enligt detta ursprung och den felkonfiguration som tillhandahålles av feldetektorn, använder det adaptiva filtret en underuppsätt- ning bildelement, såsom visas i fig. Sa och 5b, vid filtrering av ett aktuellt bildelement 506, 507.

Ehuru uppfinningen har beskrivits i anslutning till en före- dragen utföringsform, skall det påpekas att olika modifiering- ar kan göras inom ramen för uppfinningstanken sådan den kommer till uttryck i efterföljande patentkrav.

Claims (10)

10 15 20 25 30 35 469 411 8 PATENTKRAV

1. Sätt att detektera och avlägsna fel i bilder hörande till en bildsekvens i digitala videosignaler genom användning av en feldetektor och ett filter för kontinuerlig bearbetning av bildelement hörande till nämnda bilder, k ä n n e t e c k - av att nämnda feldetektor detekterar ett fel om åt- minstone ett felaktigt bildelement, som utgörs av ett bildele- n a t ment med en specifik kontrast, dvs. skillnad i bildelementin- tensitet, upptäckes vid jämförelse av bildelementintensiteter för bildelement hörande till minst en av nämnda bilder hörande till bildsekvensen, och att feldetektorn fastställer en fel- konfiguration för ett detekterat fel, vilken felkonfiguration utgörs av en grupp bildelement bestående av nämnda felaktiga bildelement och eventuella intilliggande bildelement med en specifik kontrast, och att filtret utgörs av ett adaptivt filter, som då ett aktuellt bildelement utgörs av ett felak- tigt bildelement ersätter intensiteten för det aktuella bild- elementet med en intensitet, som utgör en matematisk funktion av bildelementintensiteterna för nämnda aktuella bildelement och bildelement som omger nämnda felkonfiguration, medan ett aktuellt bildelement som ej utgör ett felaktigt bildelement släppes igenom av det adaptiva filtret.

2. Sätt enligt krav 1, feldektorn använder ett analysfönster centrerat kring positio- k ä n n e t e c k n a t av att nen för nämnda aktuella bildelement i tre konsekutiva bilder i bildsekvensen.

3. Sätt enligt krav 1 och 2, k ä n n e t e c k n a t av att feldektorn, för nämnda analysfönster, beräknar två diffe- rensmatriser, som beskriver skillnader i bildelementintensitet för en aktuell bild i förhållande till en föregående bild och i förhållande till en följande bild i nämnda tre konsekutiva bilder, varvid omedelbart intilliggande bildelement som ger skillnader, som överskrider en förutbestämd nivå, och samma 'w 10 15 20 25 30 35 9 469 411 tecken i båda differensmatriserna, svarar mot nämnda felkon- figuration.

4. Sätt enligt krav 1, k ä n n e t e c k n a t av att feldektorn även använder rörelseinformation om nämnda bilder i syfte att förbättra feldetekteringsnoggrannheten, vilken in- formation tillhandahålles av en rörelsevektorestimator.

5. Sätt enligt krav 1 och 3, k ä n n e t e c k n a t av att feldektorn lagrar nämnda differenser, som beskrives av differensmatriserna, så länge som sådan information krävs för nämnda kontinuerliga bearbetning.

6. Sätt enligt krav 1, k ä n n e t e c k n a t av att nämnda bildelement, som omger felkonfigurationen, är isotropt fördelade, dvs. i alla tre dimensioner, i förhållande till nämnda felkonfiguration.

7. Sätt enligt krav 1, 2 eller 3, k ä n n e t e c k n a t av att ursprunget för nämnda bildsekvens bestämmer förväntade egenskaper hos fel och i vilken ordning bildelement hörande till nämnda tre konsekutiva bilder är belägna i nämnda digi- tala videosignaler.

8. Sätt enligt krav 7, k ä n n e t e c k n a t av att ursprunget inmatas till nämnda feldetektor och till nämnda adaptiva filter i syfte att utvälja de bildelement, som skall omfattas av bearbetningen, beräkningen resp. filtreringen.

9. Sätt enligt krav 1, k ä n n e t e c k n a t av att nämnda matematiska funktion utgörs av ett matematiskt median- värde för nämnda bildelementintensiteter.

10. Sätt enligt något av föregående krav, k ä n n e - t e c k n a t av att feldektorn beräknar en konfidenssignal svarande mot sannolikheten att ett aktuellt bildelement har detekterats såsom felaktigt bildelement på ett korrekt sätt, 469 411 1° varvid beräkningen av denna sannolikhet baseras på nämnda dif- ferensmatriser och, i förekommande fall, nämnda rörelseinfor- mation, varvid konfidensvärdet användes för styrning av en blandning av obearbetade bildelement och bildelement resulte- rande frân nämnda kontinuerliga bearbetning.