NL1019365C2 - Bepaling van een beweging van een achtergrond in een reeks beelden. - Google Patents

Description

Titel: Bepaling van een beweging van een achtergrond in een reeks beelden.

De uitvinding heeft betrekking op een werkwijze en apparaat voor het. bepalen van een beweging van een achtergrond in een reeks beelden. Een dergelijke beweging omvat bijvoorbeeld een translatie en/of een rotatie van de achtergrond. De uitvinding heeft in het bijzonder betrekking op een 5 werkwijze voor het bepalen van een beweging van een afbeelding van een achtergrond in een reeks beelden van een scene, welke werkwijze de stappen omvat van - opslaan van plaatsafhankelijke beeldinformatie afkomstig uit beelden uit een deel van de reeks; 10 - selecteren van een correspondentie tussen een eerste en tweede gebied uit respectievelijk een ingangsbeeld uit de reeks en de beeldinformatie, op grond van overeenkomst van een beeldinhoud in de betrokken gebieden; - bepalen van de beweging uit locaties van het eerste en tweede gebied in respectievelijk het ingangsbeeld en de beeldinformatie.

15 Bij het opnemen van een reeks beelden van een scene treden vaak bewegingen op van een camera ten opzichte van de scene (bijvoorbeeld translaties en/of rotaties). Dientengevolge zal de plaats waar voorwerpen en een achtergrond van deze voorwerpen in achtereenvolgende beelden afgebeeld worden van beeld tot beeld veranderen.

20 Voor uiteenlopende toepassingen is het nodig om deze bewegingen te bepalen. Een voorbeeld van een dergelijke toepassing is het elimineren van het effect van schuddende bewegingen van de camera. Hiervoor is hei nodig om de grootte van de schuddende bewegingen te bepalen. Deze kan bijvoorbeeld uit de beweging van de achtergrond van de scene in het beeld 25 bepaald worden.

US octrooischrift, No. 6.005.639 beschrijft een techniek voor het bepalen van de beweging van de achtergrond en voorwerpen van het ene 1018365» 2 beeld naar het volgende beeld in een video signaal. Hiertoe wordt een maat berekend voor het verschil tussen de beeldinhoud van mogelijk overeenkomende gebieden in opeenvolgende beelden, waarbij de locaties van de gebieden in de verschillende beelden met een verplaatsing van elkaar 5 verschillen. Een verplaatsing die tot een minimale waarde van de maat voor het verschil leidt wordt aangehouden als verplaatsingsvector van het voorwerp of de achtergrond die in de gebieden is afgebeeld.

Bewegingen van voorwerpen ten opzichte van de achtergrond leiden bij deze techniek tot een probleem. Dit komt omdat hierdoor telkens 10 delen van de achtergrond in de beelden afgedekt. worden of juist tevoorschijn komen. Dergelijke bewegingen kunnen het gevolg zijn van "echte" bewegingen van objecten en van schijnbare bewegingen die een gevolg zijn van perspectivische effecten bij camera bewegingen.

US octrooischrift No. 6,005.639 lost dit probleem op door gebruik te 15 maken van vier opeenvolgende beelden en een reeks eenparig verplaatste gebieden in die beelden. Dat wil zeggen dat het verschil van de locatie van de gebieden direct opeenvolgende beelden telkens met dezelfde verplaatsingsvector overeenkomt. Als de beeldinhoud van de gebieden in al deze gebieden minimaal verschilt wordt de verplaatsingsvector gebruikt als 20 verplaatsingsvector van het voorwerp of de achtergrond. Een ander geval is dat de beeldinhoud minimaal verschilt tussen gebieden uit. een paar beelden in de reeks, maar veel meer verschilt met gebieden uit één of meer andere beelden van de reeks. In dit geval is de beeldinhoud kennelijk bedekt in de één of meer andere beelden, maar de verplaatsingsvector kan 25 desalniettemin als verplaatsingsvector van het voorwerp of de achtergrond gebruikt worden.

Zodoende wordt het effect van bedekking van de achtergrond tegengegaan. Dit gebeurt echter op basis van de aanname dat de achtergrond en de voorwerpen zich eenparig bewegen. Deze aanname is niet 30 altijd van toepassing op schuddende bewegingen. Ook beperkt deze 1019365· 3 aanname de lengte van de reeks beelden waarop de techniek van US octrooi schrift No. 6,005,639 bruikbaar is. US octrooischrift No. 6,005,639 gebruikt vier opeenvolgende beelden. Een veel groter aantal is niet bruikbaar vanwege het risico van niet-eenparige bewegingen, en ook 5 vanwege het grote geheugenbeslag dat hiervoor nodig is. Daardoor is de beschreven techniek niet geschikt voor beelden waarin langduriger bedekkingen optreden.

Het is, onder meer, een doel van de uitvinding om te voorzien in 10 een werkwijze en apparaat voor het bepalen van een beweging van een achtergrond in beelden van een scene, waarbij de werkwijze en het apparaat betrouwbaar blijft werken bij tijdelijke bedekking van de achtergrond en zonder dat een geheugen voor een reeks van meerdere beelden nodig is.

De werkwijze volgens de uitvinding heeft het kenmerk dat de werkwijze de 15 stappen omvat van - samenstellen van een combinatiebeeld met beeldpunten die zijn opgebouwd door combinatie van meerdere beelden van de reeks; - bepalen van een veranderingsbeeld dat plaatsafhankelijk aangeeft in welke mate er verschillen zijn tussen de beeldinhoud van beeldpunten uit de 20 reeks beelden die aan eenzelfde beeldpunt in het combinatiebeeld bijdragen; - waarbij bij het selecteren van de correspondentie afhankelijk van het veranderingsbeeld wordt uitgevoerd, zo dat een waarschijnlijkheid dat een kandidaat, gebied als tweede gebied in de correspondentie geselecteerd wordt minder gemaakt wordt naarmate het veranderingsbeeld aangeeft dai 25 de veranderlijkheid van beeldpunten in dat kandidaat gebied groter is.

Een reeks van meerdere beelden wordt zodoende gecombineerd tol een gezamenlijk combinatiebeeld en dat combinatiebeeld wordt aangevuld met een veranderingsbeeld dat plaatsafhankelijk aangeeft in welke mate gebieden uit de reeks beelden verschillen die aan eenzelfde gebied in het 30 combinatiebeeld bijdragen (dit kan in het veranderingsbeeld per pixel of per 1013365· 4 groep van pixels, of bijvoorbeeld per gebied gebeuren). In dit kader wordt met "beeld" elke vorm van plaatsafhankelijke informatie bedoeld, ongeacht het plaatsbereik of de resolutie. Het combinatiebeeld en het veranderingsbeeld strekken zich over het algemeen verder uit dan beelden 5 uit de reeks van beelden.

Het veranderingsbeeld wordt gebruikt bij het zoeken naar corresponderende gebieden in het combinatiebeeld en een ingangsbeeld uit de reeks van beelden. Daarbij worden tweede gebieden in het combinatiebeeld niet gebruikt als zij in hoge mate veranderlijk zijn.

10 Zodoende wordt er, bij gebruik van een camera die zich verplaatst ten opzichte van de afgebeelde scene, voor gezorgd dat voor de bewegingsbepalmg de voorkeur wordt gegeven aan gebieden waarvan de inhoud een afbeelding is van de achtergrond. Bij verplaatsing van de camera zal de afbeelding van objecten uit de voorgrond relatief sneller bewegen dan 15 de achtergrond. Dit leidt tot een hoge veranderlijkheid van gebieden waar de voorgrondobjecten worden afgebeeld. Daardoor zal dankzij de uitvinding gebruik van deze gebieden minder waarschijnlijk gemaakt worden.

Het beperken van de tweede gebieden, die in de correspondentie voor bewegingsbepalmg gebruikt worden, tot gebieden met lage 20 veranderlijkheid kan op verschillende manieren uitgevoerd worden. In een eerste uitvoeringsvorm wordt vooraf geselecteerd voor welke gebieden uit het combinatiebeeld naar corresponderende gebieden in het ingangsbeeld gezocht wordt. De selectie van de gebieden uit het ingangsbeeld gebeurt met een criterium dat afhankelijk van de inhoud van het veranderingsbeeld 25 eenzelfde gebied in het combinatiebeeld al dan niet zal selecteren, wanneer veranderlijkheid van dat gebied volgens het veranderingsbeeld voor dat gebied respectievelijk onder over boven een drempelwaarde ligt. (Overigens hoeft de drempelwaarde niet expliciet berekend te worden: hij kan de facto ontstaan uit, vergelijking met de eigenschappen van andere gebieden in het 30 combinatiebeeld). Het criterium kan alleen de veranderlijkheid meewegen *019365» 5 bij de keuze van de gebieden, maar ook andere factoren kunnen meewegen zoals het contrast in de betrokken gebieden, de afstand tot gebieden die in een voorgaand beeld zichtbaar waren enzovoort. Zodoende kan, afhankelijk van dergelijke factoren de drempelwaarde van de veranderlijkheid die het 5 verschil aangeeft tussen al dan niet selecteren per gebied verschillen..

In een andere uitvoeringsvorm kan de veranderlijkheid bijvoorbeeld meegewogen worden in de bepaling welke correspondentie tussen gebieden overeenkomt met een minimaal verschil in beeldinhoud, zodat bijvoorbeeld een correspondentie tussen een bepaald eerste en tweede 10 gebied al dan niet als minimaal aangemerkt wordt wanneer veranderlijkheid van het tweede gebied volgens het verandenngsbeeld voor dat gebied respectievelijk onder over boven een drempelwaarde ligt. (Ook hier hoeft de drempelwaarde niet expliciet te zijn).

Bijvoorkeur wordt de bepaling van de beweging in meerdere 15 stappen uitgevoerd, eerst een grove stap waarin voorlopige tweede gebieden uit het combinatiebeeld bij gebieden uit het ingangsbeeld gezocht worden, gevolgd door een verfijnende stap, waarin definitieve tweede gebieden uit het combinatiebeeld bij gebieden uit het ingangsbeeld gezocht worden. In de verfijnende stap worden dan alleen gebieden uit het combinatiebeeld 20 gebruikt die bij een beweging die uit, de grove stap volgt niet te veel afwijken van het ingangsbeeld.

Het combinatiebeeld wordt bijvoorkeur telkens bijgewerkt aan de hand van het ingangsbeeld zoals dat. door de beweging op hei combinatiebeeld wordt afgebeeld. Hierbij wordt het combinatiebeeld 25 plaatsafhankelijk bijvoorkeur minder sterk bijgewerkt naarmate het verandenngsbeeld aangeeft dat het combinatiebeeld plaatselijk minder veranderlijk is. Zodoende voorkomt men dat het combinatiebeeld sterk verstoord wordt door tijdelijke bedekking van de achtergrond.

10193 S5*i 6

Deze en andere doelstellingen en voordelen van de werkwijze en het apparaat volgens de uitvinding zullen nader worden beschreven aan de hand van de volgende figuren.

5 Figuur 1 toont een beeldverwerkend apparaat

Figuur 2 toont een ingangsbeeld

Figuur 3 toont een mozaïekbeeld

Figuur 4 toont een flow-chart van een werkwijze volgens de uitvinding 10

Figuur 1 toont een beeldverwerkend apparaat. Het apparaat bevat een camera 10, een mgangsgeheugen 11, een mozaïekgeheugen 12, een zoekeenheid 13, een score geheugen 14, een processor 15, een mozaïek update eenheid 16, een veranderingsbeeldgeheugen 17 en een 15 verandermgsbeeld update eenheid 18.

Hoewel het apparaat opgedeeld in functionele eenheden wordt getoond zal het duidelijk zijn dat verschillende functionele eenheden, zoals de processor 15, de zoekeenheid 13 en de update eenheden 16, 18 in praktijk ook in meerdere of minder mate met dezelfde hardware, geprogrammeerd 20 met verschillende programma's gerealiseerd kunnen worden. Ook kunnen de verschillende geheugens 11, 12, 17 deels of allemaal gerealiseerd worden in verschillende gebieden van een enkel groter geheugen.

Figuur 2 toont een voorbeeld van een ingangsbeeld 20 van camera 10 een dergelijk beeld bevat bijvoorbeeld 720 bij 576 pixels. Figuur 3 toont 25 een voorbeeld van een mozaïekbeeld 30 in mozaïekgeheugen 12. Het mozaïekbeeld 30 is over het algemeen meeromvattend dan het ingangsbeeld (bijvoorbeeld vier keer zo groot, 1440 bij 1152 pixels), maar bevat niet of in mindere mate afbeeldingen van voorwerpen 22, 26 die relatief ten opzichte van een achtergrond bewegen 24. Ter illustratie is een kader 32 dat 30 overeenkomt met de omtrek van het ingangsbeeld 20 in het mozaïekbeeld 30 1019365* i weergegeven. In het kader ontbreken het beeld van een struik 26 en een paal 22 die zich op de voorgrond bevinden en die bij eenparige verplaatsing van de camera 10 niet in beeld komen op een vaste plaats ten opzichte van de achtergrond.

5 De camera 10 heeft een uitgang gekoppeld aan een ingang van het ingangsgeheugen 11 voor het opslaan van ingangsbeelden 20 die door de camera 10 zijn opgenomen in het ingangsgeheugen 11. Het ingangsgeheugen 11 en het mozaïekgeheugen 12 hebben een uitgang gekoppeld aan ingangen van de zoekeenheid 13 voor het toevoeren van beeld 10 informatie uit het ingangsgeheugen 11 en het mozaïekgeheugen 12 aan de zoekeenheid 13.

De processor 15 heeft uitgangen gekoppeld aan het ingangsgeheugen 11 en het mozaïekgeheugen 12 om aan te sturen welke gebieden uit het mozaïekgeheugen 12 aan de zoekeenheid 13 worden 15 toegestuurd. De processor 15 heeft een ingang gekoppeld aan het veranderingsbeeldgeheugen 17 voor het ontvangen van informatie uit een veranderingsbeeld. De processor 15 is ingericht om de keuze van de tweede gebieden te sturen aan de hand van de informatie uit hei veranderingsbeeld.

20 Vanuit het mozaïekgeheugen 12 wordt de beeldinformatie uit een door de processor 15 gekozen gebied uit, een mozaïekbeeld 30 aan de zoekeenheid toegevoerd. De zoekeenheid 13 is ingericht om in het ingangsbeeld 20 uit het ingangsgeheugen 11 te zoeken naar een overeenkomstig gebied waarvan de inhoud zo goed mogelijk met het 25 toegevoerde gebied uit het mozaïekbeeld 30 overeenkomt . De zoekeenheid 13 heeft een uitgang gekoppeld aan de processor 15 om de locatie van het gevonden gebied in het ingangsbeeld aan de processor 15 door te geven. De processor heeft uitgangen gekoppeld aan stuuringangen van de update eenheden 16, 18.

1019365« 8

De update eenheden 16, 18 hebben ingangen gekoppeld aan het ingangsgeheugen 11 en aan het mozaïekgeheugen 12 en het veranderingsbeeldgeheugen 17. De update eenheden 16, 18 hebben uitgangen gekoppeld aan het mozaïekgeheugen 12 en het 5 veranderingsbeeldgeheugen 17.

Figuur 4 toont een flow-chart ter beschrijving van het bedrijf van het apparaat van figuur 1. In een eerste stap 41 neemt de camera 10 een ingangsbeeld 20 op dat in ingangsgeheugen 11 wordt opgeslagen. In een tweede stap 42 kiest processor 15 een aantal gebieden uit een mozaïekbeeld 10 30 dat in mozaïekgeheugen 12 is opgeslagen. Een voorbeeld van een gebied is een rechthoekig gebied van 32 bij 32 pixels.

In een derde stap 43 doet processor 15 mozaïekgeheugen 12 de inhoud van een geselecteerd gebied van het mozaïekbeeld 30 uit het mozaïekgeheugen 12 aan zoekeenheid 13 toevoeren. De zoekeenheid 13 15 zoekt hier een gebied uit het ingangsbeeld 20 in het ingangsgeheugen 11 bij waarvan de inhoud zo goed mogelijk overeenkomt met die van het geselecteerde gebied uit het mozaïekbeeld 30.

De uitvinding is niet afhankelijk van de techniek die de zoekeenheid 13 voor het zoeken gebruikt. Allerlei op zich bekende 20 technieken, zoals bijvoorbeeld blockmatching technieken zijn hiervoor geschikt. Er kan bijvoorbeeld voor verschillende kandidaat gebieden in het ingangsbeeld een afwijkmgsscore met het geselecteerde gebied uit het mozaïekbeeld 30 bepaald worden, waarna het gebied met de kleinste afwijking gekozen wordt. In principe kan naar gebied uit alle mogelijke 25 locaties in het ingangsbeeld 20 gezocht worden, of er kan op grond van bewegingen van voorafgaande mgangsbeelden ten opzichte van hel mozaïekbeeld 30 voor elk gebied uit het mozaïekbeeld 30 een bereik aan posities in het ingangsbeeld 20 voorspeld waaruit de gebieden voor de vergelijking gekozen worden.

T019365» 9

In een vierde stap 44 controleert processor 15 of voor alle geselecteerde gebieden uit het mozaïekbeeld een overeenkomstig gebied uit het ingangsbeeld 20 gezocht is, zoniet, dan wordt de derde stap 43 voor een volgend gebied uitgevoerd. Als alle voor alle gebieden uit het mozaïekbeeld 5 30 een overeenkomstig gebied uit het ingangsbeeld 20 gezocht is wordt een vijfde stap 45 uitgevoerd.

In de vijfde stap 45 bepaalt de processor 15 voor elk van de gebieden uit het mozaïekbeeld de positie waarop het ingangsbeeld 20 over het mozaïekbeeld 30 zou moeten worden geplaatst om het geselecteerde 10 gebied uit het ingangsbeeld 20 over het gebied in het mozaïekbeeld te laten vallen. Uit het veeltal posities dat de processor 15 zodoende voor de verschillende gebieden in het mozaïekbeeld bepaalt berekent processor 15 vervolgens een overall beweging. De beweging kan uitsluitend een translatie (verplaatsingscomponent) bevatten of ook een rotatie component. 15 In principe volgt uit de verplaatsingen van elk tweetal gebieden uit het ingangsbeeld 20 een rotatie en een translatie, terwijl uit de verplaatsing van een enkel gebied alleen een rotatie volgt. Doordat bijvoorkeur meer dan twee gebieden uit het mozaïekbeeld 30 gebruikt worden kunnen meerdere translatie en/of rotatiewaarden berekend worden. Door middeling of door 20 het nemen van een mediaan of op andere wijze wordt een enkele translatie en/of rotatie bepaald.

In een uitvoeringsvorm past de processor 15 in de vijfde stap vervolgens een verfijningsstap toe. waarin de gevonden overall translatie en/of rotatie gebruikt wordt om opnieuw een aantal gebieden uit het 25 mozaïekbeeld 30 te selecteren, maar nu beperkt tot die tweede gebieden die op of nabij de gevonden overall translatie en/of rotatie minder dan een drempel verschillen van het ingangsbeeld 20. (Ook hier kunnen weer gebieden met een lager veranderlijkheid met voorrang geselecteerd worden). Zodoende wordt vermeden dat gebruik gemaakt wordt van delen van de 30 achtergrond uit het mozaïekbeeld die in het ingangsbeeld bedekt zijn.

1019365* 10

Verder wordt het mgangsbeeld 20 in het mgangsgeheugen 13 zonodig geroteerd overeenkomstig de gevonden rotatie. Met de nieuwe geselecteerde gebieden berekent de processor met stappen zoals de tweede stap 42 en het eerder beschreven deel van de vijfde stap 45 opnieuw, maar 5 nu nauwkeuriger een overal positie.

In een zesde stap 46 stuurt processor 15 vervolgens commando's naar de update eenheden 16, 18 om de inhoud van het mozaïekgeheugen 12 en het veranderingsbeeldgeheugen 18 bij te werken op de gekozen overall plaats. Vervolgens herhaalt de processor de werkwijze vanaf de eerste stap 10 41 voor een volgend ingangsbeeld 20.

In de tweede stap 42 stuurt de processor 15 de keuze van de gebieden in het mozaïekbeeld 30 aan de hand van de inhoud van veranderingsbeeld dat in het veranderingsbeeldgeheugen 17 is opgeslagen. Het veranderingsbeeld geeft per pixel of per groep pixels als functie van de 15 locatie aan in welke mate de pixels van verschillende ingangsbeelden 20 die op de betrokken locatie of groep van locaties op het mozaïekbeeld worden afgebeeld aan verandering onderhevig zijn tussen verschillende ingangsbeelden.

Naarmate de veranderlijkheid van de pixels in een gebied van het 20 mozaïekbeeld 30 groter is zal de processor 15 het betrokken gebied minder snel kiezen in de tweede stap 42. Zodoende wordt de verzameling van gebiedsparen waarin de processor 15 in de vijfde stap 45 naar een minimaal verschil zoekt beperkt tot een verzameling met gebieden uit het mozaïekbeeld 30 die een lage veranderlijkheid hebben. Daardoor wordt de 25 betrouwbaarheid van de gevonden correspondentie verhoogd en ook wordt de benodigde hoeveelheid berekeningen voor het bepalen van de verschillen beperkt door alleen naar een beperkt aantal gebieden uit het mozaïekbeeld 30 te kijken.

In een eerste uitvoeringsvorm van de tweede stap 42 kiest de 30 processor 15 eerst een aantal kandidaat gebieden gelijkmatig verspreid over 1019365* 11 het mozaïekbeeld 30. Vervolgens leest de processor 15 voor elk van de gebieden uit het verandermgsbeeldgeheugen 17 hoe groot de mate van veranderlijkheid van het betrokken gebied is. Vervolgens kiest de processor een voorafbepaald aantal gebieden die minder veranderlijk zijn dan alle 5 overige gebieden en gebruikt deze in de derde stap 43.

In een verdere uitvoeringvorm wordt de keuze van de gebieden mede bepaald door ander factoren, zoals een maat voor het contrast in de betrokken gebieden, afstand van de locatie van het betrokken gebied tot het deel 32 van het mozaïekbeeld 30 waarop een voorgaand ingangsbeeld 20 10 werd afgebeeld. Voor elk van deze factoren berekent de processor 15 bijvoorbeeld een score, en telt deze scores op bij de mate van veranderlijkheid zoals die uit de inhoud van het verandermgsbeeldgeheugen 17 blijkt. Vervolgens kiest de processor 15 in de tweede stap 42 die gebieden waarvoor de opgetelde score minimaal is. Hierbij is de score voor het 15 contrast lager naarmate er meer contrast is (wat de gebieden beter geschikt maakt voor bewegingsdetectie en er bovendien op duidt dat het betrokken gebied in focus is), is de score voor de afstand lager naarmate de afstand kleiner is en de mate van veranderlijkheid die bij deze scores wordt opgeteld groter naarmate de veranderlijkheid groter is. Zodoende worden gebieden 20 uit het mozaïekbeeld met hoog contrast (in focus), dichtbij of in het voorgaande ingangsbeeld en met lage veranderlijkheid geprefereerd voor gebruik in de vergelijking in de derde stap 43. Effectief wordt zodoende een drempelwaarde waar de veranderlijkheid voor het betrokken gebied onder moet liggen om geselecteerd te kunnen worden aan de hand van deze 25 factoren aangepast.

Meer algemeen hanteert de processor 15 in de tweede stap 42 een keuzealgoritme waarin een gebied uit het mozaïekbeeld relatief ten opzichte andere gebieden meer kans heeft om gekozen te worden naarmate de veranderlijkheid van het betrokken gebied kleiner is.

1019365* 12

In de zesde stap 46 werken de update eenheden 16, 18 de inhoud van het mozaïek geheugen en het veranderingsbeeldgeheugen bij. Aan de hand van de gevonden translatie en/of translatie wordt bepaald welke pixel locatie van het ingangsbeeld op welke pixel locatie van het mozaïekbeeld 5 afbeeldt (of welke combinaties van pixels op een locatie afbeeldt). Op de locaties waarop het ingangsbeeld werd afgebeeld wordt het mozaïekbeeld bijgewerkt. Voor het mozaïekbeeld gebeurt dit bijvoorbeeld door het ingangsbeeld 20 en het mozaïekbeeld 30 met elkaar te middelen, met een bepaalde weegfactor voor elk van de beelden (bijvoorbeeld 0.1 voor het 10 ingangsbeeld 20 en 0.9 voor het mozaïekbeeld). In een uitvoeringsvorm kiest de update eenheid 16 voor het mozaïekbeeld de weegfactor afhankelijk van de inhoud van het veranderingsbeeld, door het ingangsbeeld 20 in de middeling minder zwaar te wegen naarmate de veranderlijkheid van het mozaïekbeeld 30 ter plaatse kleiner is (de weegfactor kan bijvoorbeeld 15 volgens een vooraf bepaalde functie, bijvoorbeeld een lineaire functie, van veranderlijkheid variëren). Zodoende wordt het effect van overschrijven van delen van het mozaïek beeld 30 die een afbeelding van de achtergrond bevatten kleiner gemaakt. Delen van het mozaïekbeeld 30 die geen achtergrond bevatten (hoge veranderlijkheid) worden zojuist sneller 20 veranderd.

De update eenheid 18 voor het veranderingsbeeld berekent een verschil tussen het mozaïek beeld 30 en het ingangsbeeld 20 (bijvoorbeeld een absolute waarde van een verschil tussen pixelwaarden op overeenkomende pixel locaties) en bewerkt de opgeslagen veranderlijkheid 25 met het berekende verschil. Dit kan bijvoorbeeld door de veranderlijkheid met een vast bedrag te verhogen of te verlagen, afhankelijk van detectie of het verschil onder of boven een drempel licht (waarbij eventueel de veranderlijkheid beperkt wordt tot een bereik tussen een voorafbepaald minimum en maximum). Ook kan de veranderlijkheid door middeling 30 bepaald worden mogelijk met een weegfactor, zodat het oude 1019365· 13 veranderlijkheidsbeeld zwaarder weegt in de middeling dan de nieuw berekende veranderlijkheidswaarden. Ook hier kunnen de weegfactoren ingesteld worden afhankelijkheid van de plaatselijke veranderlijkheid, zodat de oude veranderingswaarde zwaarder weegt naarmate hij kleiner is.

5 Hoewel het gebruik van het veranderingsbeeld beschreven is aan de hand van een specifieke techniek voor bepaling van beweging van de achtergrond zal het duidelijk zijn dat het veranderingsbeeld niet tot deze techniek beperkt is. Zo zou men bijvoorbeeld eerst gebieden in het ingangsbeeld kunnen kiezen en vervolgens gaan zoeken naar 10 corresponderende gebieden in het mozaïekbeeld. Daarbij kan hei veranderingsbeeld volgens de uitvinding gebruikt worden om te bepalen welke gebieden uit het mozaïekbeeld in aanmerking genomen worden, zo dat eenzelfde gebied onder een bepaalde veranderlijkheid wel en boven een bepaalde veranderlijkheid niet in aanmerking genomen wordt.

15 Ook zouden gebieden uit het mozaïekbeeld ongeacht hun veranderlijkheid in aanmerking genomen kunnen worden, waarna een score voor het verschil tussen de inhoud van de gebieden uit het mozaïekbeeld en het ingangsbeeld vervolgens gewogen wordt afhankelijk van de veranderlijkheid van het betrokken gebied in het mozaïekbeeld, zodat de 20 score meer verschil aangeeft naarmate de veranderlijkheid groter is. Zodoende wordt het waarschijnlijker dat bij de keuze van paren van optimaal corresponderende gebieden minder veranderlijke gebieden uit het mozaïekbeeld gebruikt worden.

De het mozaïekbeeld, het veranderingsbeeld en het ingangsbeeld 25 worden bijvoorkeur zo opgeslagen dat uit de locatie van een pixel in het desbetreffende beeld het adres volgt waarop de inhoud van dat pixel in het geheugen is opgeslagen. Zodoende correspondeert de keuze van een bepaald gebieden in de beelden met een aantal adressen in de geheugens waaruit de informatie over het desbetreffende beeld opgehaald wordt. Ook 30 correspondeert een verplaatsingsvector met een vertaling van adressen in 1019365* 14 het ene geheugen naar adressen in het andere geheugen. Zonder van de uitvinding af te wijken kan de informatie over de beelden echter ook op andere wijze worden opgeslagen, bijvoorbeeld in gecomprimeerde vorm zonder dat er een vaste relatie is tussen pixel locaties en adressen.

5 Hoewel hier verder niet op is ingegaan is ook compensatie voor rotatie van de camera 10 mogelijk. Bijvoorkeur wordt deze rotatie voor een mgangsbeeld voorspeld uit voorgaande ingangsbeelden en wordt hel ingangsbeeld over de voorspelde hoek geroteerd in het ingangsgeheugen 11 opgeslagen. Zodoende wordt het effect van camera rotaties geëlimineerd.

10 Zonder van de uitvinding af te wijken kan dit effect echter ook geëlimineerd worden door beeldinformatie uit de geselecteerde gebieden in het mozaïekbeeld volgens de voorspelde rotatie geroteerd aan de zoekeenheid 13 toe te voeren, of door in de zoekeenheid 13 zelf deze rotatie mee te nemen. Het is zelfs mogelijk om bij het zoeken in de zoekeenheid 13 naar een rotatie 15 tussen de gebieden uit het ingangsbeeld en het mozaïekbeeld te zoeken die tot minimaal afwijkende beeldinhoud leidt. Nadat een translatie en rotatie bepaald is wordt het mozaïekbeeld volgens de gevonden rotatie en translatie bij gewerkt.

Verder zijn verschillende verfijningen mogelijk. Zo kan m de vijfde 20 stap 45 het ingangsbeeld of het mozaïekbeeld, na een grove bewegingsbepaling en vergelijking van de beide beelden, gecorrigeerd worden voor camera effecten zoals automatic gain control, alvorens opnieuw naar corresponderende gebieden in beide beelden te zoeken. Verder zal. naarmate de camera zich verder m één bepaalde richting verplaatst telkens 25 een deel van het mozaïekgeheugen 12 vrijgemaakt moeten worden dat een deel van het mozaïekbeeld 30 bevat dat het verst afligt van het ingangsbeeld. Dit om ruimte te maken voor een nieuw in beeld komend stuk achtergrond. Verder kan naast het verandenngsbeeld ook nog een "ouderdomsbeeld" bijgehouden worden dat aangeeft hoe lang de informatie 30 in het mozaïekbeeld niet ververst is. Afbeeldingen van delen van de 1019365* 15 achtergrond die lang bedekt zijn door objecten uit de voorgrond van de scene zullen zo een hogere ouderdomswaarde krijgen. Ook hiermee kan de selectie van de gebieden uit het mozaïekbeeld 30 gestuurd worden zodat "oudere" gebieden minder waarschijnlijk gebruikt zullen worden. De kans is immers 5 groter dat de achtergrond in dergelijke delen veranderd is naarmate ze langer bedekt is geweest.

Het zal verder duidelijk zijn dat het veranderingsbeeld voor andere toepassingen bruikbaar is dan alleen voor het bepalen van bewegingen. Zo kan het veranderingsbeeld ook gebruikt worden voor compressiedoeleinden 10 of voor het plaatsafhankelijk sturen van beeldfiltering of andere beeldbewerkingoperaties.

1013365·

Claims (9)

1. Werkwijze voor het bepalen van een beweging van een afbeelding van een achtergrond in een reeks beelden van een scene, welke werkwijze de stappen omvat van - opslaan van plaatsafhankelijke beeldinformatie afkomstig uit beelden uit 5 een deel van de reeks; - selecteren van een correspondentie tussen een eerste en tweede gebied uit respectievelijk een ingangsbeeld uit de reeks en de beeldinformatie, op grond van overeenkomst van een beeldinhoud in de betrokken gebieden; - bepalen van de beweging uit locaties van het eerste en tweede gebied in 10 respectievelijk het ingangsbeeld en de beeldinformatie, met het kenmerk, dat de werkwijze de stappen omvat van - samenstellen van een combinatiebeeld met beeldpunten die zijn opgebouwd door combinatie van meerdere beelden van de reeks; - bepalen van een verandenngsbeeld dat plaatsafhankelijk aangeeft in 15 welke mate er verschillen zijn tussen de beeldinhoud van beeldpunten uit de reeks beelden die aan eenzelfde beeldpunt m het combinatiebeeld bijdragen; - waarbij bij het selecteren van de correspondentie afhankelijk van het veranderingsbeeld wordt uitgevoerd, zo dat een waarschijnlijkheid dat een kandidaat gebied als tweede gebied in de correspondentie geselecteerd 20 wordt minder gemaakt wordt naarmate het veranderingsbeeld aangeeft dat de veranderlijkheid van beeldpunten in dat kandidaat gebied groter is.

2. Werkwijze volgens conclusie 1, waarin het selecteren van de correspondentie de stappen omvat van - selecteren van het tweede gebied uit meerdere kandidaat-gebieden in het 25 combinatiebeeld, afhankelijk van een inhoud van het veranderingsbeeld voor de kandidaat-gebieden;

101 S3 65* - vervolgens zoeken naar het eerste gebied in het mgangsbeeld aan de hand van het geselecteerde tweede gebied.

3. Werkwijze volgens conclusie 1, waarin het selecteren van de correspondentie de stappen omvat van achtereenvolgens 5. selecteren van een voorlopig tweede gebied uit meerdere kandidaat- gebieden in de het combinatiebeeld, afhankelijk van een inhoud van het veranderingsbeeld voor de kandidaat-gebieden; - zoeken naar een voorlopig eerste gebied in het mgangsbeeld aan de hand van het geselecteerde voorlopige tweede gebied. 10. bepalen van een voorlopige beweging uit een locatie van het voorlopige eerste gebied en voorlopige tweede gebied in respectievelijk het ingangsbeeld en de beeldinformatie; - selecteren van het tweede gebied uit de kandidaat-gebieden uit de beeldinformatie, op locaties waar een verschil tussen de combinatiebeeld en 15 het ingangsbeeld na toepassing van de voorlopige beweging onder een drempel ligt; - zoeken naar het eerste gebied in het ingangsbeeld aan de hand van het geselecteerde tweede gebied.

4. Werkwijze volgens conclusie 1, 2 of 3, waarin het combinatiebeeld 20 bijgewerkt wordt aan de hand van een inhoud van het ingangsbeeld volgens de beweging afgebeeld op het combinatiebeeld.

5. Werkwijze volgens conclusie 4, waarin een mate waarin het combinatiebeeld bijgewerkt wordt plaatsafhankelijk wordt ingesteld afhankelijk van het veranderingsbeeld, zodat minder veranderlijke delen 25 van het combinatiebeeld minder sterk bijgewerkt worden dan meer veranderlijke delen.

6. Werkwijze volgens conclusie één der conclusies 1 tot en met 5, waarin een reeks uitgangsbeelden uit de reeks beelden afgeleid wordt en waarin de bepaalde beweging gebruikt wordt om een beweging van een 30 camera in de reeks uitgangsbeelden te compenseren. 101 9385·

7. Beeldbewerkingsapparaat voorzien van - een ingang voor het ontvangen van een reeks van beelden van een scene; - een geheugen voor opslaan van plaatsafhankelijke beeldinformatie afkomstig uit beelden uit een deel van de reeks; 5. een selectie eenheid voor het selecteren van een correspondentie tussen een eerste en tweede gebied, uit respectievelijk een mgangsbeeld uit de reeks en de beeldinformatie, op grond van overeenkomst van een beeldinhoud in de betrokken gebieden; - een bewegingsbepaler voor het bepalen van de beweging uit de locaties van 10 het eerste en tweede gebied in respectievelijk het mgangsbeeld en de beeldinformatie, met het kenmerk dat het apparaat voorzien is van - een beeldsamenstellingseenheid voor het samenstellen van een combmatiebeeld met beeldpunten die zijn opgebouwd door combinatie van meerdere beelden van de reeks; 15. een veranderingsbepaler voor het bepalen van een veranderingsbeeld dal plaatsafhankelijk aangeeft in welke mate er verschillen zijn tussen de beeldinhoud van beeldpunten uit de reeks beelden die aan eenzelfde beeldpunt in het combinatiebeeld bijdragen; - waarbij de selectie eenheid het selecteren van de correspondentie 20 afhankelijk van het veranderingsbeeld uitvoert, zo dat een waarschijnlijkheid dat een kandidaat-gebied als tweede gebied in de correspondentie geselecteerd wordt minder gemaakt wordt naarmate hei veranderingsbeeld aangeeft dat de veranderlijkheid van beeldpunten in het kandidaat-gebied groter is.

8. Apparaat volgens conclusie 7, waarin de selectie eenheid voorzien is van - middelen voor het selecteren van het tweede gebied uit meerdere kandidaat-gebieden in de het combinatiebeeld, afhankelijk van een inhoud van het veranderingsbeeld voor het kandidaat-gebied: 10193 65· - een zoekeenheid voor het zoeken naar het eerste gebied in het ingangsbeeld aan de hand van het geselecteerde tweede gebied.

9. Apparaat volgens conclusie 7, waarin de selectie eenheid voorzien is van 5. middelen voor het selecteren van het tweede gebied uit meerdere kandidaat-gebieden in de het combinatiebeeld, afhankelijk van een inhoud van het veranderingsbeeld voor het kandidaat-gebied; - een zoekeenheid voor het zoeken naar een eerste gebied in het ingangsbeeld aan de hand van het geselecteerde voorlopige tweede gebied, 10 waarbij het apparaat is ingericht om - eerst met de middelen voor het selecteren een voorlopig tweede gebied uit kandidaat-gebieden in het combinatiebeeld te selecteren en met de zoekeenheid een voorlopig eerste gebied te zoeken in het ingangsbeeld aan de hand van het geselecteerde voorlopige tweede gebied, en met het 15 voorlopige eerste en tweede gebied een voorlopige beweging te bepalen; en - vervolgens met de middelen voor het selecteren het tweede gebied uit kandidaat-gebieden in de het combinatiebeeld te selecteren op locaties waar een verschil tussen het combinatiebeeld en het ingangsbeeld na toepassing van de voorlopige beweging minder dan een drempel verschilt en met de 20 zoekeenheid het eerste gebied te zoeken in het ingangsbeeld aan de hand van het geselecteerde tweede gebied. 101 9 3 6 5 m