NL1031057C2

NL1031057C2 - Werkwijze en inrichting voor het coderen en decoderen van een stereobeeld.

Info

Publication number: NL1031057C2
Application number: NL1031057A
Authority: NL
Inventors: Tae-Hyeun Ha
Original assignee: Samsung Electronics Co Ltd
Priority date: 2005-02-04
Filing date: 2006-02-02
Publication date: 2011-01-18
Also published as: NL1031057A1; CN1816153A; US20060177123A1; KR20060089495A; KR100716992B1

Description

Titel: Werkwijze en inrichting voor het coderen en decoderen van een stereobeeld

Verwijzing naar gerelateerde octrooiaanvraag

Deze aanvraag roept de voorrang in van Koreaanse octrooiaanvraag no. 10-2005-0010754, ingediend op 4 februari 2005 bij het 5 Koreaanse Bureau voor Intellectuele Eigendom, de inhoud ervan wordt hierbij door referentie in zijn geheel opgenomen.

Achtergrond van de uitvinding 10 1. Domein van de uitvinding

Werkwijzen en inrichtingen die overeenkomen met de onderhavige uitvinding hebben betrekking op het coderen en decoderen van een stereobeeld, en meer in het bijzonder, op het coderen en decoderen van een stereobeeld door bewegingsschatting uitgevoerd in een blok gebruik makend 15 van een zoekgebied dat in de tijd of in de ruimte gescheiden is van het blok overeenkomstig de positie van het blok.

2. Beschrijving van het vakgebied

Recentelijk is er onderzoek uitgevoerd naar het uitzenden van driedimensionele (3D) beelden door digitale televisies (DTVs). Om 3D 20 beelden uit te zenden die vergelijkbaar zijn met actuele beelden gezien door blote menselijke ogen, zouden multi-zicht 3D beelden moeten worden gecreëerd, gezonden, ontvangen en gereproduceerd door een 3D weergave-apparaat. Echter, aangezien multi-zicht 3D beelden een grote hoeveelheid data bevatten, kunnen ze niet worden ondergebracht in een 25 kanaalbandbreedte gebruikt in een bestaand digitaal uitzendsysteem.

1031057 2

Zodoende is voorrang gegeven aan het bestuderen van de zending en ontvangst van stereobeelden.

Met betrekking tot 3D beeldgerelateerde technologie, ontwikkelde de Moving Picture Expert Group (MPEG) het MPEG-2 multi-zicht profiel in 5 1996 en een standaard voor het comprimeren van stereobeelden en multi- zichtbeelden is op haar weg naar voltooiing. Gerelateerde organisaties die 3D beelden bestuderen voeren eveneens actief onderzoek uit naar de zending en ontvangst van 3D beelden door het uitzenden van DTV en zijn op dit moment op zoek naar de zending en ontvangst van hoge definitie (HD) 10 stereobeelden. HD stereobeelden duiden op elkaar doorkruisende beelden met resoluties van 1920x1080 of voortschrijdende beelden met resoluties van 1024x720.

Echter, aangezien de bandbreedte van een zendingskanaal dat MPEG-2 gecodeerde beelden overbrengt is gelimiteerd tot 6MHz in het 15 uitzenden van DTV, kan slechts een HD beeld door een kanaal worden gezonden. Met als gevolg dat het moeilijk is om een HD stereobeeld (opgebouwd uit een linkerzichtbeeld en een rechterzichtbeeld) te zenden.

Om zulk een probleem te overwinnen met conventionele technieken, wordt een HD stereobeeld gezonden nadat de hoeveelheid data 20 van het HD stereobeeld is verminderd tot die van een HD monobeeld door het samplen van het HD stereobeeld, i.e. een linkerzichtbeeld en een rechterzichtbeeld, met een ratio van 1:2 om de hoeveelheid data van het HD stereobeeld met de helft te verminderen of nadat de hoeveelheid data van het HD stereobeeld is verminderd door de grootte van het linkerzichtbeeld of 25 het rechterzichtbeeld te verminderen. Echter, aangezien zulke conventionele technieken de hoeveelheid data verminderen door sub-samplen of door grootteverkleining, is achteruitgang van de beeldkwaliteit onvermijdelijk.

Bovendien, hoewel een stereobeeld met een verminderde 30 hoeveelheid data wordt gecreëerd op de hierboven beschreven wijze, varieert 1 03 1 057 3 een compressieratio overeenkomstig een werkwijze van bewegingsschatting en compensatie gebruikt bij het coderen van het stereobeeld. In conventionele coderingswerkwijzen worden een linkerzichtbeeld en een rechterzichtbeeld die een stereobeeld vormen apart verwerkt en wordt 5 beweging van een macroblok van het linker of rechterzichtbeeld in een huidig kader geschat gebruik makend van een bepaald gebied van hetzelfde zichtbeeld van een vorig kader als een zoekgebied in het tijdsdomein.

Op alternatieve wijze kan beweging van een macroblok in een huidig kader worden geschat niet alleen gebruik makend van een vorig 10 kader maar ook van een ander zichtbeeld dat een stereobeeld vormt als zoekgebied. Bijvoorbeeld, wanneer beweging wordt geschat van een macroblok van een linkerzichtbeeld in een huidig kader, kan niet alleen een linkerzichtbeeld in een vorig kader maar ook een rechterzichtbeeld in het huidige kader worden gebruikt als zoekgebieden. • 15 Echter, zulke conventionele werkwijzen zijn inefficient omdat ze geen gebruik maken van vergelijkbaarheden tussen een linkerzichtbeeld en een rechterzichtbeeld. Voorts, aangezien bewegingsschatting in tijd en ruimte elke keer zou moeten worden uitgevoerd, is een grote hoeveelheid tijd nodig voor het coderen.

20

Samenvatting van de uitvinding

De onderhavige uitvinding voorziet in een werkwijze en inrichting voor het coderen en decoderen van een stereobeeld door bewegingsschatting uitgevoerd in een blok gebruik makend van een zoekgebied dat in de tijd en 25 ruimte is gescheiden van het blok overeenkomstig de positie van het blok.

Overeenkomstig een aspect van de onderhavige uitvinding, is er voorzien in een werkwijze voor het coderen van een stereobeeld. De werkwijze omvat het bepalen van de positie van een blok dat dient te worden bewegingsgeschat, het selectief uitvoeren van tijdsdomein 30 bewegingsschatting of ruimtedomein bewegingsschatting overeenkomstig de 4 bepaalde positie, en het uitvoeren van bewegingscompensatie overeenkomstig het resultaat van de bewegingsschatting.

De ruimtedomein bewegingsschatting wordt uitgevoerd als de bepaalde positie is gelegen op een linkerzijde van een linkerzichtbeeld van 5 het stereobeeld of op een rechterzijde van een rechterzichtbeeld van het stereobeeld.

De tijdsdomein bewegingsschatting wordt uitgevoerd gebruik makend van een kader voorafgaand aan een kader dat het blok omvat waarvan de beweging dient te worden geschat en de ruimtedomein 10 bewegingsschatting wordt uitgevoerd gebruik makend van een ander zichtbeeld van het kader dat het blok omvat waarvan de beweging dient te worden geschat.

Het stereobeeld kan een zij-aan-zij formaat of een boven-onder formaat zijn.

15 Overeenkomstig een ander aspect van de onderhavige uitvinding is er voorzien in een inrichting voor het coderen van een stereobeeld. De inrichting omvat een kadergeheugen dat het stereobeeld ontvangt en opslaat, een bewegingsschattingseenheid die de positie van een blok bepaalt waarvan de beweging dient te worden geschat en selectief tijdsdomein 20 bewegingsschatting of ruimtedomein bewegingsschatting uitvoert overeenkomstig de bepaalde positie, en een bewegingscompensatie-eenheid die bewegingscompensatie uitvoert overeenkomstig het resultaat van bewegingsschatting.

De bewegingsschattingseenheid kan een zoekgebied 25 bepalingseenheid omvatten die de positie bepaalt van het blok dat dient te worden bewegingsgeschat, een tijdsdomein bewegingsschattingseenheid die de tijdsdomein bewegingsschatting uitvoert om een bewegingsvector te doen uitgaan overeenkomstig het resultaat van bepaling, en een ruimtedomein bewegingsschattingseenheid die de ruimtedomein bewegingsschatting 5 uitvoert om een verschilvector te doen uitgaan overeenkomstig het resultaat van bepaling.

Overeenkomstig nog een ander aspect van de onderhavige utvinding is er voorzien in een werkwijze voor het decoderen van een 5 stereobeeld. De werkwijze omvat het ontvangen van een gecodeerde bitstroom en het uittrekken van een stereobeeld en bewegingsschattingsinformatie van de gecodeerde bitstroom en het selectief uitvoeren van bewegingscompensatie door tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting gebaseerd op de 10 be we gingsschattingsinformatie.

Overeenkomstig nog een ander aspect van de onderhavige uitvinding is er voorzien in een inrichting voor het decoderen van een stereobeeld. De inrichting omvat een decodeereenheid die een gecodeerde bitstroom ontvangt en die een stereobeeld en bewegingsschattingsinformatie 15 uit de ontvangen bitstroom trekt, en een bewegingscompensatie-eenheid die selectief de bewegingscompensatie uitvoert door tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting gebaseerd op de be we gingsschattingsinformatie.

20 Korte beschrijving van de figuren

De bovengenoemde en andere aspecten van de onderhavige uitvinding zullen duidelijker worden door het in detail beschrijven van voorbeelduitvoeringen met referentie naar de bij gevoegde figuren waarin: Fig. 1 een blokdiagram is dat de algemene creatie van een 25 stereobeeld toont door het samenvoegen van een linkerzichtbeeld en een rechterzichtbeeld die zijn gemaakt door een stereocamera;

Figs. 2A tot 2D verschillende formaten van een stereobeeld tonen; Fig. 3 een blokdiagram is van een algemene inrichting voor het zenden van een stereobeeld; 6

Fig. 4 een blokdiagram is van een algemene inrichting voor het ontvangen van een stereobeeld;

Fig. 5 een voorbeeld toont van een stereobeeld in het zij-aan-zij formaat over de tijd; 5 Figs. 6A en 6B zoekgebieden tonen voor bewegingsschatting van een stereobeeld in zij-aan-zij formaat;

Figs. 7A en 7B zoekgebieden tonen voor bewegingsschatting van een stereobeeld in boven-onder formaat;

Fig. 8 een blokdiagram is van een inrichting voor het coderen van 10 een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding;

Fig. 9 een aanzicht is voor het uitleggen van bewegingsschatting in het tijdsdomein;

Fig. 10 een blokdiagram is van een inrichting voor het decoderen 15 van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding;

Fig. 11 een stroomschema is dat een werkwijze toont voor het coderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding; 20 Fig. 12 een stroomschema is dat een werkwijze toont voor het decoderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding.

Gedetailleerde beschrijving van voorbeelduitvoeringen van de 25 uitvinding

Fig. 1 is een blokdiagram dat de algemene creatie van een stereobeeld toont door het samenvoegen van een linkerzichtbeeld en een rechterzichtbeeld die zijn gemaakt door een stereocamera.

Verwijzend naar fig. 1 neemt een stereocamera 110 apart een 30 linkerzichtbeeld en een rechterzichtbeeld van een voorwerp. Wanneer het 7 linkerzichtbeeld en het rechterzichtbeeld HD beelden zijn, worden de hoeveelheden data van het linkerzichtbeeld en het rechterzichtbeeld apart tot lA verminderd door sub-samplen van het linkerzichtbeeld en het rechterzichtbeeld voor zending door een kanaal met een bandbreedte van 6 5 MHz. In andere woorden, een samenvoegeenheid 120 sub-samplet en voegt dan het linkerzichtbeeld en het rechterzichtbeeld samen om een HD stereobeeld te creëren.

Wanneer de samenvoegeenheid 120 sub-samplet en het linkerzichtbeeld en het rechterzichtbeeld samenvoegt, kan ze de twee 10 beelden in verschillende formaten samenvoegen. Het sub-samplen varieert overeenkomstig een formaat van een stereobeeld dat dient te worden gecreëerd. Hierna zal de creatie van een stereobeeld door de samenvoegeenheid 120 worden beschreven onder verwijzing naar figuren 2A tot 2D.

15 Figuren 2A tot 2D tonen verschillende formaten van een stereobeeld.

Fig. 2A toont een lijn-bij-lijn formaat van een stereobeeld. Om een stereobeeld te creëren gebruik makend van het lijn-bij-lijn formaat, wordt een linkerzichtbeeld en een rechterzichtbeeld apart % gesub-sampled in de 20 verticale richting en wordt elke lijn van pixels van het gesamplede linkerzichtbeeld en elke lijn van pixels van het gesamplede rechterzichtbeeld met elkaar afgewisseld. Fig. 2B toont een pixel-bij-pixel formaat van een stereobeeld. Om een stereobeeld te creëren gebruik makend van het pixel-bij-pixel formaat, wordt een linkerzichtbeeld en een 25 rechterzichtbeeld apart % gesub-sampled in de horizontale richting en worden pixels van het gesamplede linkerzichtbeeld en pixels van het gesamplede rechterzichtbeeld met elkaar afgewisseld. Fig. 2C toont een boven-onder formaat van een stereobeeld. Om een stereobeeld te creëren gebruik makend van het boven-onder formaat, wordt een linkerzichtbeeld 30 en een rechterzichtbeeld apart Vi gesub-sampled in de verticale richting en 8 wordt het gesamplede linkerzichtbeeld geplaatst in een bovenste helft van het stereobeeld en wordt het gesamplede rechterzichtbeeld geplaatst in een onderste helft van het stereobeeld. In andere woorden, een NxM linkerzichtbeeld en een NxM rechterzichtbeeld worden apart gesub-sampled 5 tot een NxM/2 beelden, het gesamplede NxM/2 linkerzichtbeeld wordt geplaatst in een bovenste helft van het stereobeeld en het gesamplede NxM/2 rechterzichtbeeld wordt geplaatst in een onderste helft van het stereobeeld, daardoor een NxM stereobeeld creërend. Fig. 2D toont een zij-aan-zij formaat van een stereobeeld. In dit geval worden een 10 linkerzichtbeeld en een rechterzichtbeeld apart XA gesub-sampled in de horizontale richting, het gesamplede linkerzichtbeeld wordt geplaatst in een linker helft van een stereobeeld en het gesamplede rechterzichtbeeld wordt geplaatst in een rechterhelft van het stereobeeld. In andere woorden, een NxM linkerzichtbeeld en een NxM rechterzichtbeeld worden apart gesub-15 sampled tot N/2xM beelden, het N/2xM gesamplede linkerzichtbeeld wordt geplaatst in een linker helft van het stereobeeld en het N/2xM gesamplede rechterzichtbeeld wordt geplaatst in een rechter helft van het stereobeeld, daardoor een NxM stereobeeld creërend.

Onder de verschillende formaten van een stereobeeld zijn het 20 boven-onder formaat, getoond in Fig. 2C, en het zij-aan-zij formaat, getoond in Fig. 2D, efficiënt voor MPEG gecomprimeerde beeld zending, en worden dus wijd gebruikt.

Fig. 3 is een blokdiagram van een algemene inrichting voor het zenden van een stereobeeld.

25 Verwijzend naar Fig. 3 worden een NxM linkerzichtbeeld en een

NxM rechterzichtbeeld die zijn gemaakt door de stereocamera 110 gesub-sampled en samengevoegd door de samenvoegeenheid 120 tot een NxM stereobeeld met een van de verschillende formaten zoals beschreven in Fig. 2A tot 2D. Een codeerder 130 codeert het gecreëerde stereobeeld 30 overeenkomstig MPEG of verschillende standaarden. Een zendeenheid 140 9 zendt het gecodeerde stereobeeld overeenkomstig een digitale uitzendstandaard of andere zendstandaarden.

Fig. 4 is een blokdiagram van een algemene inrichting voor het ontvangen van een stereobeeld.

5 Verwijzend naar Fig. 4 ontvangt een ontvangereenheid 410 het stereobeeld gezonden door de inrichting voor het zenden van een stereobeeld. Een decodeerder 420 voert het decoderen uit overeenkomstig de gecodeerde standaard gebruikt door de inrichting voor het zenden van een stereobeeld. Bijvoorbeeld, als het coderen is uitgevoerd overeenkomstig de 10 MPEG-2 standaard, wordt het decoderen eveneens uitgevoerd overeenkomstig de MPEG-2 standaard. De NxM stereobeelduitvoer van de decodeerder 420 is invoer voor een scheidingseenheid 430 om het stereobeeld te scheiden in een linkerzichtbeeld en een rechterzichtbeeld. Aangezien het sub-samplen wordt uitgevoerd tijdens het creëren van een 15 stereobeeld om de hoeveelheden data van het linkerzichtbeeld en het rechterzichtbeeld te verminderen, zijn de groottes van het aparte linkerzichtbeeld en het rechterzichtbeeld kleiner dan hun oorspronkelijke groottes. Dus, een schaler 440 schaalt het aparte linkerzichtbeeld en rechterzichtbeeld naar hun oorspronkelijke groottes. Als het ontvangen 20 stereobeeld het boven-onder formaat heeft, dan schaalt de schaler 440 het aparte linkerzichtbeeld en rechterzichtbeeld op in verticale richting. Als het ontvangen stereobeeld het zij-aan-zij formaat heeft, dan schaalt de schaler 440 het aparte linkerzichtbeeld en rechterzichtbeeld op in horizontale richting. In andere woorden, een NxM linkerzichtbeeld en een NxM 25 rechterzichtbeeld worden verkregen. Een 3D weergave-apparaat 450 toont het gecreëerde linkerzichtbeeld en rechterzichtbeeld.

In de inrichting voor het zenden of ontvangen van een stereobeeld worden de resoluties van het linkerzichtbeeld en het rechterzichtbeeld met 1/2 verminderd om het stereobeeld te zenden door een kanaal met beperkte 30 bandbreedte. Als resultaat wordt de resolutie van het ontvangen stereobeeld 10 ook met lA verminderd. In andere woorden, aangezien de samenvoegeenheid 120 een linkerzichtbeeld en een rechterzichtbeeld naar beneden toe samplet tijdens het creëren van het stereobeeld, kan verlies aan beeldkwaliteit niet worden voorkomen zelfs als de schaler 440 het naar beneden toe gesamplede 5 linkerzichtbeeld en rechterzichtbeeld naar hun oorspronkelijke groottes schaalt.

Fig. 5 toont een voorbeeld van een stereobeeld in het zij-aan-zij formaat over de tijd.

Zoals getoond in Fig. 5 worden een linkerzichtbeeld en een 10 rechterzichtbeeld samengevoegd in de horizontale richting om een stereobeeld te creëren en dan te zenden in het zij-aan-zij formaat. Zulke samenvoeging wordt herhaald voor elk kader. Wanneer het stereobeeld dat is gecreëerd op de bovenbeschreven wijze wordt bewegingsgeschat en gecodeerd in een tijdsdomein, kan een linkerzijdegebied 510 van een nde 15 kader niet worden bepaald uit een (n-l)de kader. In andere woorden, zelfs wanneer het zoeken wordt uitgevoerd gebruik makend van een voorafbepaald gebied van het (n-l)de kader als een zoekgebied, kan een blok niet worden gevonden dat vergelijkbaar is met een blok van het linkerzijdegebied 510.

20 Aangezien de achtergrond van het linkerzichtbeeld naar rechts hellend is en de achtergrond van het rechterzichtbeeld naar links hellend is door de kenmerken van een stereobeeld, kan door te zoeken in het rechterzichtbeeld een blok worden gevonden dat vergelijkbaar is met een blok van het linkerzijdegebied 510 dat geen overtolligheid heeft in het 25 tijdsdomein.

Figs. 6A en 6B tonen zoekgebieden voor bewegingsschatting van een stereobeeld in zij-aan-zij formaat.

Verwijzend naar Fig. 6A kan een blok dat vergelijkbaar is met een zoekdoel 610 van een nde kader niet worden gevonden uitgaande van een 30 zoekgebied in de tijd 612 van een (n-l)de kader. Echter, het vergelijkbare 11 blok kan worden gevonden uitgaande van een ruimtelijk zoekgebied 614 van een rechterzichtbeeld van het nde kader. Vergelijkbaar, verwijzend naar Fig. 6B kan een blok dat vergelijkbaar is met een zoekdoel 620 van een nde kader niet worden gevonden uitgaande van een zoekgebied in de tijd 622 van een 5 (n-l)de kader, maar kan worden gevonden uitgaande van een ruimtelijk zoekgebied 624 van een linkerzichtbeeld van het nde kader.

In andere woorden, een beeld dat vergelijkbaar is met de meest linker blokken van een linkerzichtbeeld van een stereobeeld van een kader kan worden gevonden uitgaande van een voorafbepaald gebied van een 10 rechterzichtbeeld van hetzelfde kader en een beeld dat vergelijkbaar is met de meest rechter blokken van een rechterzichtbeeld van een kader kan worden gevonden uitgaande van een voorafbepaald gebied van een linkerzichtbeeld van hetzelfde kader.

Figs. 7A en 7B tonen zoekgebieden voor betvegingsschatting van 15 een stereobeeld in boven-onder formaat.

Verwijzend naar Figs. 7A en 7B kan het worden gezien dat het stereobeeld in het boven-onder formaat ook kan worden verwerkt op dezelfde wijze als het stereobeeld in het zij-aan-zij formaat.

In andere woorden, een blok dat vergelijkbaar is met een zoekdoel 20 710 van een nde kader kan niet worden gevonden uitgaande van een zoekgebied in de tijd 712 van een (n-l)de kader, maar kan worden gevonden uitgaande van een ruimtelijk zoekgebied 714 van een rechterzichtbeeld van het nde kader. Vergelijkbaar, verwijzend naar Fig. 7B kan een blok dat vergelijkbaar is met een zoekdoel 720 van een nde kader kan niet worden 25 gevonden uitgaande van een zoekgebied in de tijd 722 van een (n-l)de kader, maar kan worden gevonden uitgaande van een ruimtelijk zoekgebied 724 van een linkerzichtbeeld van het nde kader.

Fig. 8 is een blokdiagram van een inrichting voor het coderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige 30 uitvinding.

12

De inrichting voor het coderen van een stereobeeld omvat een kadergeheugen 810, een bewegingsschattingseenheid 820, een bewegingscompensatie-eenheid 830 en een stroomcreatie-eenheid 840. Het kadergeheugen 810 omvat een eerste buffer 812, een vertragingseenheid 5 814 en een tweede buffer 816. De bewegingsschattingseenheid 820 omvat een zoekgebied bepalingseenheid 822, een tijdsdomein bewegingsschattingseenheid 824 en een ruimtedomein bewegingsschattingseenheid 826.

Het kadergeheugen 810 ontvangt en slaat een stereobeeld op dat is 10 samengesteld uit een linkerzichtbeeld en een rechterzichtbeeld. Voor bewegingsschatting van een nde kader wordt een (n-l)de kader ook opgeslagen in het kadergeheugen 810. Voor dit doel wordt het nde kader opgeslagen in de eerste buffer 812 en wordt het (n-l)de kader opgeslagen in de tweede buffer 816 na doorheen de vertragingseenheid 814 te zijn gegaan. 15 De bewegingsschattingseenheid 820 zoekt naar een macroblok dat vergelijkbaar is met een macroblok van het nde kader van een zoekgebied van het (n-l)de kader of van een zoekgebied van een ander zichtbeeld in het nde kader. Bewegingsschatting kan worden uitgevoerd in eenheden van macrob lokken of blokken van een voor afbepaalde grootte. De zoekgebied 20 bepalingseenheid 822 controleert de positie van een macroblok in een huidig kader waarvan de beweging wordt geschat om te bepalen of tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting wordt uitgevoerd. In andere woorden, zoals beschreven onder verwijzing naar Figs. 6A en 6B bepaalt de zoekgebied bepalingseenheid 822 of een zoekdoel is geplaatst op 25 de meest linkerzijde van een linkerzichtbeeld of op de meest rechterzijde van een rechterzichtbeeld, controleert de ruimtedomein bewegingsschattingseenheid 826 of ruimtedomein bewegingsschatting wordt uitgevoerd als het zoekdoel is geplaatst op de meest linkerzijde van het linkerzichtbeeld of op de meest rechterzijde van het rechterzichtbeeld en 13 controleert de tijdsdomein bewegingsschattingseenheid 824 of anders tijdsdomein bewegingsschatting wordt uitgevoerd.

De tijdsdomein bewegingsschattingseenheid 824 schat beweging van een macroblok van een huidig kader (het nde kader) gebruik makend 5 van een vorig kader (het (n-l)de kader) als een zoekgebied. De ruimtedomein bewegingsschattingseenheid 826 schat beweging van een macroblok van het huidige kader (het nde kader) gebruik makend van een ander zichtbeeld van het huidige kader (het nde kader) als een zoekgebied. De tijdsdomein bewegingsschattingseenheid 824 voert een be we gings vector (MV) uit. De 10 ruimtedomein bewegingsschattingseenheid 826 voert een verschilvector (DV) uit.

Fig. 9 is een overzicht voor het uitleggen van tijdsdomein be we gingsschatting.

Het zoeken uitgevoerd voor tijdsdomein bewegingsschatting zal nu 15 in detail worden beschreven. Tijdsdomein bewegingsschatting is het proces van het verkrijgen van een MV die een verschil aangeeft tussen bewogen posities van macroblokken door in een vorig kader te zoeken naar een macroblok dat meest vergelijkbaar is met een macroblok van een huidig kader gebruik makend van een voorafbepaalde meetfunctie. Er zijn 20 verschillende werkwijzen voor het zoeken van het meest vergelijkbare macroblok. Als een voorbeeld kan het meest vergelijkbare macroblok worden gezocht door een macroblok pixel voor pixel te bewegen binnen een zoekgebied en de vergelijkbaarheden tussen macroblokken te berekenen.

Verwijzend naar Fig. 9, om de beweging te schatten van een blok 25 910 van een voor afbepaalde grootte in een huidig kader, b.v. een macroblok, onder verwijzing naar een vorig kader, wordt een voorafbepaald zoekgebied 920 bepaald van het vorige kader, wordt een blok van dezelfde grootte als het blok 910 pixel voor pixel bewogen binnen het voor afbepaalde zoekgebied 920 in het vorige kader, en worden een pixel waarde van het blok 910 en een 30 pixel waarde van een blok van het voorafbepaalde zoekgebied 920 14 vergeleken om te zoeken naar het meest vergelijkbare blok. Om te bepalen of een overeenkomstig blok het meest vergelijkbare blok is, kan bijvoorbeeld een blok met een minimale som van absolute verschillen (SAD) worden bepaald als het meest vergelijkbare blok en kunnen pixels die 5 overeenkomen met het blok worden bepaald om gehele pixels te zijn, verkregen door gehele pixel bewegingsschatting.

Om vergelijkbaarheden te meten worden bijvoorbeeld absolute verschillen berekend tussen pixel waardes van macroblokken in een huidig kader en een zoekgebied en kan een macroblok met een minimale som van 10 absolute verschillen worden bepaald als het meest vergelijkbare macroblok.

Meer specifiek, vergelijkbaarheid tussen macroblokken in een vorig kader en een huidig kader wordt bepaald gebruik makend van een vergelijkbaarheidswaarde, i.e. een passende referentiewaarde, berekend gebruik makend van pixel waardes van de macroblokken in het vorige kader 15 en het huidige kader. De vergelijkbaarheidswaarde, i.e. de passende referentiewaarde, wordt berekend gebruik makend van een voorafbepaaide meetfunctie zoals een SAD, een som van absolute getransformeerde verschillen (SATD) of een som van kwadraat verschillen (SSD).

De bewegingscompensatie-eenheid 830 creëert en doet een 20 restbeeld uitgaan dat het verschil is tussen pixel waardes overeenkomstig een MV of een DV, en de stroomcreatie-eenheid 840 creëert het restbeeld tot een gecodeerde stroom gebruik makend van MPEG-2 of een andere stroomcreatiemethode. Wanneer de gecodeerde stroom is gecreëerd, wordt in de gecodeerde stroom ook bewegingsschattingsinformatie opgenomen die 25 aangeeft of tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting was uitgevoerd.

Fig. 10 is een blokdiagram van een inrichting voor het decoderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding.

15

De inrichting voor het decoderen van een stereobeeld omvat een decodeerenheid 1010, een bewegingscompensatie-eenheid 1020, een kadergeheugen 1030 en een controle-eenheid 1040. De decodeereenheid 1010 ontvangt en decodeert een gecodeerde stroom. Een stereobeeld wordt 5 gecreëerd door decoderen. De decodeereenheid 1010 doet ook bewegingsschattingsinformatie uitgaan die aangeeft of het stereobeeld is gecreëerd door tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting.

De bewegingscompensatie-eenheid 1020 voert tijdsdomein 10 bewegingsschatting of ruimtedomein bewegingsschatting uit overeenkomstig de bewegingsschattingsinformatie. Meer specifiek, wanneer de bewegingsschattingsinformatie tijdsdomein bewegingsschatting aangeeft, ontvangt de bewegingscompensatie-eenheid 1020 vorige kader data op geslagen in het kadergeheugen 1030 door de controle-eenheid 1040 en 15 voert de bewegingscompensatie uit. Wanneer de bewegingsschattingsinformatie ruimtedomein bewegingsschatting aangeeft, voert de bewegingscompensatie-eenheid 1020 bewegingscompensatie uit gebruik makend van andere zichtdata in hetzelfde kader om het oorspronkelijke beeld te reconstrueren. Het kadergeheugen 1030 slaat het 20 gereconstrueerde beeld op voor gebruik in bewegingsschatting en doet het gereconstrueerde beeld uitgaan.

De controle-eenheid ontvangt een vorig kader opgeslagen in het kadergeheugen 1030, zendt hetzelfde naar de bewegingscompensatie-eenheid 1020, ontvangt de bewegingsschattingsinformatie van de 25 decodeereenheid 1010 en controleert de bewegingscompensatie-eenheid 1020 om bewegingscompensatie uit te voeren door tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting.

Fig. 11 is een stroomschema dat een werkwijze toont voor het coderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de 30 onderhavige uitvinding.

1 03 1 057 16

In operatie SI 110 wordt een stereobeeld ontvangen en op ge slagen in een kadergeheugen. Op dat moment worden data van een huidig kader zowel als data van een vorig kader opgeslagen. Een zoekgebied bepalingseenheid 822 bepaalt waar een blok is geplaatst dat dient te worden 5 bewegingsgeschat in operatie SI 120. Als het blok dat dient te worden bewegingsgeschat is geplaatst op de meest rechterzijde van een rechterzichtbeeld of op de meest linkerzijde van een linkerzichtbeeld en dus bewegingsschatting niet kan worden uitgevoerd gebruik makend van een vorig kader, wordt ruimtedomein bewegingsschatting uitgevoerd in operatie 10 S1130. Anders wordt tijdsdomein bewegingsschatting uitgevoerd in operatie S1140 waarin naar een vergelijkbaar blok wordt gezocht in een vorig kader.

Zodra een MV of een DV is verkregen door bewegingsschatting, wordt bewegingscompensatie uitgevoerd gebruik makend van de verkregen MV of DV in operatie SI 150. Bewegingscompensatie wordt uitgevoerd zoals 15 hierboven beschreven onder verwijzing naar Fig. 8. In operatie S1160 wordt een bewegingsgecompenseerd restbeeld gecodeerd in een gecodeerde stroom gebruik makend van een voor afbepaalde werkwijze. Op dat moment wordt bewegingsschattingsinformatie die aangeeft of tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting is uitgevoerd ook 20 opgenomen in de gecodeerde stroom.

Fig. 12 is een stroomschema dat een werkwijze toont voor het decoderen van een stereobeeld overeenkomstig een voorbeelduitvoering van de onderhavige uitvinding.

In operatie S1210 wordt een gecodeerde stroom ontvangen. In 25 operatie S1220 wordt de gecodeerde stroom gedecodeerd om een stereobeeld te reconstrueren en wordt bewegingsschattingsinformatie gecreëerd. Bewegingscompensatie wordt uitgevoerd overeenkomstig de gecreëerde bewegingsschattingsinformatie in operatie S1230.

Bewegingsgecompenseerde data wordt gescheiden in een linkerzichtbeeld en 1031057 i 17 een rechterzichtbeeld die uitvoer zijn naar een driedimensionale weergave-apparaat in operatie S1240.

Zoals hierboven beschreven, overeenkomstig de onderhavige uitvinding, wordt bewegingsschatting uitgevoerd op een blok gebruik 5 makend van een zoekgebied dat in de tijd of de ruimte is gescheiden van het blok overeenkomstig de positie van het blok, daardoor de compressie-efficiëntie verbeterend.

De werkwijze voor het coderen of decoderen van een stereobeeld kan eveneens worden verwezenlijkt als een computerprogramma. Code en 10 code segmenten die het computer programma vormen kunnen gemakkelijk worden gemaakt door vakbekwame computerprogrammeurs. Ook kan het computerprogramma worden opgeslagen op computerleesbare media en worden gelezen en uitgevoerd door een computer, daardoor de werkwijze toepassend van het coderen en decoderen van een stereobeeld. Voorbeelden 15 van computerleesbare media omvatten magnetische banden, optische data-opslag inrichtingen en draaggolven.

Terwijl de onderhavige uitvinding in het bijzonder is getoond en beschreven onder verwijzing naar voorbeelduitvoeringen ervan, zal het voor de vakman duidelijk zijn dat verschillende veranderingen in vorm en details 20 daarin kunnen worden gemaakt zonder af te wijken van de geest en het gebied van de onderhavige uitvinding zoals gedefinieerd door de volgende conclusies.

\ 0 ‘ó u J i

Claims

1. Werkwijze voor het coderen van een stereobeeld, waarbij de werkwijze omvat: bepalen van een positie van een blok dat dient te worden bewegingsgeschat; 5 selectief uitvoeren van tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting overeenkomstig de positie; en uitvoeren van bewegingscompensatie overeenkomstig een resultaat van het uitvoeren van de tijdsdomein bewegingsschatting of de ruimtedomein bewegingsschatting.

2. Werkwijze volgens conclusie 1, waarbij de ruimtedomein bewegingsschatting wordt uitgevoerd als de positie is gelegen op een linkerzijde van een linkerzichtbeeld van het stereobeeld of op een rechterzijde van een rechterzichtbeeld van het stereobeeld.

3. Werkwijze volgens conclusie 1, waarbij de tijdsdomein 15 bewegingsschatting wordt uitgevoerd gebruik makend van een kader voorafgaand aan een kader dat het blok omvat waarvan de beweging dient te worden geschat en de ruimtedomein bewegingsschatting wordt uitgevoerd gebruik makend van een ander zichtbeeld van het kader dat het blok omvat waarvan de beweging dient te worden geschat.

4. Werkwijze volgens conclusie 1, waarbij het stereobeeld in een zij- aan-zij formaat of een boven-onder formaat is.

5. Inrichting voor het coderen van een stereobeeld, waarbij de inrichting omvat: een kadergeheugen dat het stereobeeld ontvangt en opslaat; 25 een bewegingsschattingseenheid die een positie bepaalt van een blok dat dient te worden bewegingsgeschat en selectief tijdsdomein 1031057 bewegingsschatting of ruimtedomein bewegingsschatting uitvoert overeenkomstig de positie; en een bewegingscompensatie-eenheid die bewegingscompensatie uitvoert overeenkomstig een resultaat van de tijdsdomein 5 bewegingsschatting of de ruimtedomein bewegingsschatting uitgevoerd door de bewegingsschattingseenheid.

6. Inrichting volgens conclusie 5, waarbij de bewegingsschattingseenheid de ruimtedomein bewegingsschatting uitvoert als de bepaalde positie is gelegen op een linkerzijde van een linkerzichtbeeld 10 van het stereobeeld of op een rechterzijde van een rechterzichtbeeld van het stereobeeld.

7. Inrichting volgens conclusie 5, waarbij de bewegingsschattingseenheid omvat: een zoekgebied bepalingseenheid die de positie bepaalt van het 15 blok dat dient te worden bewegingsgeschat; een tijdsdomein bewegingsschattingseenheid die de tijdsdomein bewegingsschatting uitvoert om een bewegingsvector te doen uitgaan overeenkomstig de positie bepaald door de zoekgebied bepalingseenheid; en ruimtedomein bewegingsschattingseenheid die de ruimtedomein 20 bewegingsschatting uitvoert om een verschilvector te doen uitgaan overeenkomstig de positie bepaald door de zoekgebied bepalingseenheid.

8. Inrichting volgens conclusie 5, waarbij de tijdsdomein bewegingsschatting wordt uitgevoerd gebruik makend van een kader voorafgaand aan een kader dat het blok omvat waarvan de beweging dient 25 te worden geschat en de ruimtedomein bewegingsschatting wordt uitgevoerd gebruik makend van een ander zichtbeeld van het kader dat het blok dat dient te worden bewegingsgeschat omvat.

9. Inrichting volgens conclusie 5, waarbij het stereobeeld in een zij-aan-zij formaat of een boven-onder formaat is. 1 0 3 1 057

10. Werkwijze voor het decoderen van een stereobeeld, waarbij de werkwijze omvat: ontvangen van een gecodeerde bitstroom en uittrekken van een stereobeeld en bewegingsschattingsinformatie van de gecodeerde bitstroom; 5 en selectief uitvoeren van bewegingscompensatie door tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting gebaseerd op de be we gingsschattingsinformatie.

11. Werkwijze volgens conclusie 10, waarbij de ruimtedomein 10 bewegingscompensatie wordt uitgevoerd op een linkerzichtbeeld van het stereobeeld gebruik makend van een rechterzichtbeeld van het stereobeeld en het rechterzichtbeeld gebruik makend van het linkerzichtbeeld als het blok dat dient te worden bewegingsgeschat is gelegen op een linkerzijde van het linkerzichtbeeld of op een rechterzijde van het rechterzichtbeeld.

12. Werkwijze volgens conclusie 10, waarbij de tijdsdomein bewegingsschatting wordt uitgevoerd gebruik makend van een kader voorafgaand aan een kader dat het blok omvat waarvan de beweging dient te worden geschat en de ruimtedomein bewegingsbereking wordt uitgevoerd gebruik makend van een ander zichtbeeld van het kader dat het blok omvat 20 waarvan de beweging dient te worden geschat.

13. Werkwijze volgens conclusie 10, waarbij het stereobeeld in een zij-aan-zij formaat of een boven-onder formaat is.

14. Inrichting voor het decoderen van een stereobeeld, waarbij de inrichting omvat: 25 een decodeereenheid die een gecodeerde bitstroom ontvangt en die een stereobeeld en bewegingsschattingsinformatie uit de gecodeerde bitstroom trekt; en een bewegingscompensatie-eenheid die selectief de bewegingscompensatie uitvoert door tijdsdomein bewegingsschatting of ! ruimtedomein bewegingsschatting gebaseerd op de be we gingsschattingsinformatie.

15. Inrichting volgens conclusie 14, waarbij de bewegingscompensatie-eenheid ruimtedomein bewegingscompensatie uitvoert op een 5 linkerzichtbeeld van het stereobeeld gebruik makend van een rechterzichtbeeld van het stereobeeld en op het rechterzichtbeeld gebruik makend van het linkerzichtbeeld als het blok dat dient te worden bewegingsgeschat is gelegen op een linkerzijde van het linkerzichtbeeld of op een rechterzijde van het rechterzichtbeeld.

16. Inrichting volgens conclusie 14, waarbij de tijdsdomein bewegingsschatting wordt uitgevoerd gebruik makend van een kader voorafgaand aan een kader dat het blok dat dient te worden bewegingsgeschat omvat en de ruimtedomein bewegingsbereking wordt uitgevoerd gebruik makend van een ander zichtbeeld van het kader dat het 15 blok dat dient te worden bewegingsgeschat omvat.

17. Inrichting volgens conclusie 14, waarbij het stereobeeld in een zij-aan-zij formaat of een boven-onder formaat is.

18. Computerleesbaar opnamemedium waarop een programma is opgeslagen voor het toepassen van een werkwijze voor het coderen van een 20 stereobeeld, waarbij de werkwijze omvat: bepalen van een positie van een blok dat dient te worden be we gings ge schat; selectief uitvoeren van tijdsdomein bewegingsschatting of ruimtedomein bewegingsschatting overeenkomstig de positie; en 25 uitvoeren van bewegingscompensatie overeenkomstig een resultaat van het uitvoeren van de tijdsdomein bewegingsschatting of de ruimtedomein bewegingsschatting.

19. Computerleesbaar opnamemedium waarop een programma is opgeslagen voor het toepassen van een werkwijze voor het decoderen van 30 een stereobeeld, waarbij de werkwijze omvat: ontvangen van een gecodeerde bitstroom en uittrekken van een stereobeeld en bewegingsschattingsinformatie van de gecodeerde bitstroom; en selectief uitvoeren van bewegingscompensatie door tijdsdomein 5 bewegingsschatting of ruimtedomein bewegingsschatting gebaseerd op de bewegingsschattingsinformatie. 1031057