NL1010920C2

NL1010920C2 - Inrichting en werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld waarbij gebruik wordt gemaakt van omzetting van beweging-dispariteit in horizontale dispariteit en een nabewerkingsmethode tijdens het genereren van een driedimensionaal beeld.

Info

Publication number: NL1010920C2
Application number: NL1010920A
Authority: NL
Inventors: Man-Bae Kim; Mun-Sup Song; Do-Kyoon Kim
Original assignee: Samsung Electronics Co Ltd
Priority date: 1997-12-30
Filing date: 1998-12-30
Publication date: 2000-12-04
Also published as: US6314211B1; JP4056154B2; JPH11275604A; NL1010920A1

Description

» ft

K

Inrichting en werkwijze om een tweedimensionale beeldsequen-tie om te zetten in een driedimensionaal beeld waarbij gebruik wordt gemaakt van omzetting van beweging-dispariteit in horizontale dispariteit en een nabewerkingsmethode tij-5 dens het genereren van een driedimensionaal beeld.

ACHTERGROND VAN DE UITVINDING

1. Gebied van de uitvinding

De onderhavige uitvinding heeft betrekking op een inrichting en een werkwijze voor het genereren van een 10 driedimensionaal beeld, en in het bijzonder op een inrichting en werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld waarbij gebruik wordt gemaakt van de beweging van de tweedimensionale beeldsequentie en een nabewerkingsmethode tijdens het genereren 15 van een driedimensionaal beeld.

2. Beschrijving van de verwante techniek

Fig. 1 is een routeschema voor het beschrijven van een conventionele werkwijze voor het genereren van een driedimensionaal beeld onder gebruikmaking van een gewijzigd 20 tijdverschil.

Sanyo Electronics Co. Ltd. heeft een methode ontwikkeld waarbij een gewijzigd tijdverschil (MTD) wordt toegepast in de conventionele werkwijze voor het genereren van het driedimensionale beeld. Als we naar fig. 1 kijken, wordt een 25 bewegingsgebied geëxtraheerd uit de tweedimensionale beeldsequentie (stap 100). De bewegingssnelheid en bewegingsrichting van het geëxtraheerde gebied worden geëxtraheerd (stap 110) . Een vertragingsrichting en een vertragingstijd worden bepaald uit een voorgaand beeldraster op basis van de bewe-30 gingssnelheid en bewegingsrichting van een actueel beeld (stap 120). Daarna wordt bepaald naar welk oog een vertraagd beeld en het actuele beeld respectievelijk worden weergegeven in overeenstemming met de bepaalde vertragingsrichting en vertragingstijd (stap 130).

m 1010920 2 *

Fig. 2 beschrijft processen van het bepalen van links-/ rechts-beelden bij de in fig. 1 beschreven werkwijze. Om precies te zijn, fig. 2 beschrijft processen van het bepalen van de links-/rechts-beelden wanneer een camera voor het 5 vangen van de beelden van de tweedimensionale beeldsequentie gefixeerd is en een onderwerp in een beeld beweegt. Overeenkomstig de conventionele werkwijze waarbij gebruik wordt gemaakt van de MTD wordt aan een persoon een binoculaire dispariteit verschaft door het beeld in tijd vertraagd weer 10 te geven in het linkeroog zoals is getoond fig. 2. Een binoculaire dispariteit tegengesteld aan de hierboven genoemde wordt verschaft door een oorspronkelijk beeld aan het linkeroog te tonen en het in tijd vertraagde beeld aan het rechteroog te tonen wanneer het onderwerp naar links 15 beweegt.

De conventionele werkwijze voor het genereren van het driedimensionale beeld onder gebruikmaking van de MTD heeft de volgende problemen.

Ten eerste, aangezien uit voorgaande rasters alleen op 20 basis van bewegingsinformatie van het oorspronkelijke beeld een beeld als het vertraagde beeld wordt gekozen, worden andere diepten van de respectieve gebieden van het oorspronkelijke beeld genegeerd. Daardoor kan geen gevoel van diepte worden waargenomen en kan in een bewegend onderwerp een 25 ruimtelijk effect worden waargenomen. Het is echter niet mogelijk om het ruimtelijke effect waar te nemen in een onderwerp dat nauwelijks beweegt zoals de achtergrond van een scherm.

Ten tweede is het zo dat wanneer de beweging van een 30 onderwerp tussen het oorspronkelijke beeld en het vertraagde beeld een verticale component heeft, en wanneer het driedimensionale beeld wordt gegenereerd door middel van de conventionele werkwijze onder gebruikmaking van de MTD, de ogen van de kijker vermoeid raken vanwege de opbouw van het 35 menselijk gezichtsvermogen waarbij een gevoel van diepte wordt verkregen door een horizontale dispariteit.

110 1 0 920 % 3

Ten derde, wanneer de bewegingsvector van een onderwerp in het oorspronkelijke beeld zeer groot is, zelfs wanneer een raster als het vertraagde beeld wordt gekozen uit een aantal voorafgaande rasters, overschrijdt de dispariteit van 5 het stereo-beeld die is gegenereerd door het oorspronkelijke beeld en het vertraagde beeld de grenzen van het menselijk vermogen om dispariteit waar te nemen.

In het algemeen wordt bij de werkwijze om uit de tweedimensionale beeldsequentie het driedimensionale beeld te 10 genereren tot dusver gebruik gemaakt van de tweedimensionale beeldsequentie die wordt opgenomen door een videocamera met één oog en een ander beeld dat daarmee correspondeert. Daarbij is het van belang hoe een ander beeld wordt gemaakt. Wanneer de kwaliteit van het gemaakte beeld bijvoorbeeld 15 slechter is, wordt de feitelijke beweging van het onderwerp in een enkel oog-beeld niet goed beschreven en wordt de contour van het onderwerp verbroken, waardoor geen natuurlijk driedimensionaal beeld wordt gegenereerd.

SAMENVATTING VAN DE UITVINDING

20 Het is een doel van de onderhavige uitvinding om te voorzien in een inrichting om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld onder gebruikmaking van een omzetting van een beweging-dispariteit en een horizontale dispariteit waardoor het mogelijk is om 25 een nieuw beeld te genereren door de beweging van de tweedimensionale beeldsequentie te meten en de beweging om te zetten in de horizontale dispariteit in overeenstemming met de kenmerkende eigenschappen van de beweging, waardoor een driedimensionaal beeld wordt gegenereerd waarin een gevoel 30 van diepte wordt waargenomen in elk gebied van het beeld, en een natuurlijk ruimtelijk effect wordt waargenomen zelfs wanneer de beweging van een onderwerp in een oorspronkelijk beeld een verticale component heeft, en de bewegingsvector van het onderwerp in het oorspronkelijke beeld kan worden 35 waargenomen door de menselijke dispariteit ongeacht het feit hoe groot deze is.

1010920 4

Het is een ander doel van de onderhavige uitvinding om te voorzien in een werkwijze voor het omzetten van een driedimensionaal beeld die wordt uitgevoerd door de inrichting voor het omzetten van een driedimensionaal beeld.

5 Het is nog een ander doel van de onderhavige uitvinding om te voorzien in een nabewerkingsmethode tijdens het genereren van het driedimensionale beeld onder gebruikmaking van de tweedimensionale beeldsequentie waardoor het mogelijk is om de kwaliteit van een dispariteit-beeld te verbeteren en 10 om een natuurlijk stereobeeld te genereren door tussen de aanwezigheid van dezelfde onderwerpen in aan elkaar grenzende blokken te onderscheiden onder gebruikmaking van de helderheid-kenmerken die de respectieve blokken in het oorspronkelijke beeld hebben en het nabewerken van het 15 dispariteit-beeld in overeenstemming met het resultaat van de onderscheiding.

Bijgevolg is om het eerste doel te bereiken voorzien in een inrichting om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld, die bestaat uit een 20 blokbeweging-meetgedeelte dat dient voor het meten van een bewegingsvector voor elk blok van een actueel beeld dat is verdeeld in blokken van een vooraf bepaalde afmeting onder gebruikmaking van een voorafgaand beeldraster, een horizontale dispariteit-genereerdeel dat dient om uit de bewegings-25 vector van elk blok een horizontale dispariteit te verkrijgen in overeenstemming met de bewegingskarakteristiek van het actuele beeld, een beeld-genereerdeel dat dient om elk blok in een horizontale richting te bewegen in overeenstemming met elke horizontale dispariteit en een samengesteld 30 beeld te genereren dat correspondeert met het actuele beeld, en een uitvoergedeelte voor het weergeven van een driedimensionaal beeld dat is opgebouwd uit het actuele beeld en het samengestelde beeld.

Om het tweede doel te bereiken, is voorzien in een 35 werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld, welke werkwijze be- f0 1 0 92 0 5 staat uit de stappen van (a) het verdelen van een ingevoerd actueel beeld dat is verdeeld in blokken van een vooraf bepaalde afmeting; (b) het meten van een bewegingsvector voor elk blok van het actuele beeld onder gebruikmaking van 5 een voorafgaand beeldraster; (c) het verkrijgen van een horizontale dispariteit uit de bewegingsvector van elk blok in overeenstemming met het bewegingskenmerk van het actuele beeld; (d) het genereren van een samengesteld beeld in overeenstemming met het actuele beeld door elk blok in een 10 horizontale richting in overeenstemming met elk horizontale richting te verplaatsen; en (e) het weergeven van een driedimensionaal beeld dat is gevormd uit het actuele beeld en het samengestelde beeld.

Teneinde het derde doel te realiseren, is voorzien in 15 een werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionale beeldsequentie, omvattend de stappen van (a) het verdelen van een ingevoerd actueel beeld in blokken met een vooraf bepaalde afmeting; (b) het meten van een bewegingsvector voor elk blok van het actuele beeld 20 onder gebruikmaking van een eerder beeldframe; (c) het aan de hand van de bewegingsvector van elk blok verkrijgen van een horizontale dispariteit overeenkomstig de bewegings-karakteristiek van het actuele beeld; (d) het bewegen van elk blok in een horizontale richting overeenkomstig elke 25 horizontale dispariteit en het genereren van een samengesteld beeld dat correspondeert met het actuele beeld; (e) het vaststellen of aan elkaar grenzende blokken tot hetzelfde onderwerp behoren onder gebruikmaking van de helderheids-karakteristiek van elk blok in het actuele beeld en het 30 nabewerken van het samengestelde beeld overeenkomstig het resultaat; en (f) het weergeven van een driedimensionaal beeld dat bestaat uit het actuele beeld en het nabewerkte samengestelde beeld.

KORTE BESCHRIJVING VAN DE TEKENINGEN 35 De bovenstaande doelen en voordelen van de onderhavige uitvinding zullen duidelijker worden door in bijzonderheden 1010920 6 een voorkeuruitvoeringsvorm ervan te beschrijven onder verwijzing naar de bijgevoegde tekeningen, waarbij: fig. 1 een routeschema is dat dient om een conventionele werkwijze voor het genereren van een driedimensionaal 5 beeld onder gebruikmaking van een gewijzigd tijdverschil (MTD) te beschrijven; fig. 2 processen van het bepalen van linker-/rechter-beelden bij de in fig. 1 getoonde werkwijze laat zien; fig. 3 een blokschema is dat een voorkeuruitvoerings-10 vorm van een inrichting om een tweedimensionale beeldsequen-tie om te zetten in een driedimensionaal beeld volgens de onderhavige uitvinding toont; fig. 4 een routeschema overeenkomstig een voorkeuruitvoeringsvorm volgens de onderhavige uitvinding is van een 15 werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld; fig. 5A en 5B het principe van binoculaire dispariteit weergeven; fig. 6 de methode voor het vergelijken van blokken 20 toont, die wordt toegepast om de beweging in elk blok te meten; fig. 7A en 7B voorbeelden tonen van het toepassen van gewogen waarden op aangrenzende blokken in een proces van het normaliseren van een geschatte beweging; 2 5 fig. 8A en 8B processen tonen van het horizontaal verplaatsen van blokken bij de werkwijze volgens fig. 4; fig. 9 een routeschema is dat een nabewerkingsmethode volgens de onderhavige uitvinding toont; fig. 10A en 10B routeschema' s zijn die in het bijzon- 3 0 der de in fig. 9 getoonde nabewerkingsmethode volgens de onderhavige uitvinding laten zien; fig. 11A tot en met 11C een vergeli jkingsvoorbeeld tonen van een verplaatsingsbeeld met het nabewerkte ver-plaatsingsbeeld dat met de onderhavige uitvinding is verkre-3 5 gen; en .10 1 0 920 7 fig. 12A tot en met 12C een ander vergelijkingsvoor-beeld tonen van het verplaatsingsbeeld dat met de onderhavige uitvinding is verkregen.

BESCHRIJVING VAN DE VQORKEURUITVOERINGSVORMEN 5 Hierna zal de opbouw en werking van de inrichting voor het omzetten van een tweedimensionale beeldsequentie in een driedimensionaal beeld volgens de onderhavige uitvinding als volgt worden beschreven onder verwijzing naar de bijgevoegde tekeningen.

10 Fig. 3 is een blokschema dat een voorkeuruitvoerings- vorm van een inrichting voor het omzetten van een tweedimensionale beeldsequentie in een driedimensionaal beeld volgens de onderhavige uitvinding toont. De inrichting bevat een analoog-naar-digitaal omzetter (ADC) 300, een beeld-blokdeel 15 310, een voorafgaand raster-opslagdeel 320, een blokbewe-ging-meetorgaan 330, een horizontale dispariteit-generator 340, een samengesteld beeld-generator 350, een nabewerkings-orgaan 360, een links-/rechts-beeld vaststelorgaan 370, en een eerste en tweede digitaal-naar-analoog omzetter (DAC) 20 382 en 384.

De horizontale dispariteit-generator 340 bevat een horizontale dispariteit-regelorgaan 344, en een bewegings-kenmerken-vaststelorgaan 346. De samengesteld beeld-generator 350 bevat een orgaan 352 voor het horizontaal verplaat-25 sen van blokken, een blokkensamensteller 354 en een interpolator 356.

Bij de onderhavige uitvinding wordt een driedimensionaal beeld gegenereerd onder gebruikmaking van een tweedimensionale beeldsequentie die wordt gevangen door een "een-30 ogige" videocamera waardoor het mogelijk is om via een beeldweergave-inrichting zoals een TV, een videorecorder, een CD-speler, een HDTV en DVD een stereobeeld te bekijken zonder gebruik te maken van twee camera's, dat wil zeggen een stereoscopische camera. De inrichting voor het omzetten 35 van de tweedimensionale beeldsequentie in een driedimensionaal beeld volgens de onderhavige uitvinding genereert een 1010920 8 driedimensionaal beeld dat uit het oorspronkelijke beeld en een nieuw beeld is gevormd door het meten van een bewegings-vector tussen twee continue beelden in de tweedimensionale beeldsequentie die wordt gevangen door de "eenogige" video-5 camera, het genereren van een horizontale dispariteit uit de bewegingsvector, en het overeenkomstig de horizontale dispariteit genereren van een nieuw beeld dat in een horizontale richting is verplaatst ten opzichte van het oorspronkelijke beeld.

10 Als we kijken naar fig. 3, ontvangt de analoog-naar- digitaal omzetter 300 de tweedimensionale beeldsequentie die wordt opgenomen door de "eenogige" videocamera via een ingangsaansluiting IN en zet een analoog tweedimensionaal videosignaal om in een digitaal signaal. Het beeldblokdeel 15 310 verdeelt het in het digitaal signaal omgezette actuele beeld in blokken van een vooraf bepaalde afmeting. Hier bedraagt de vooraf bepaalde afmeting η x n pixels. N is bij voorkeur 4 of 8. Het beeld wordt verdeeld in blokken teneinde de beweging te schatten door een hoofdonderwerp dat 20 beweging vertoont te onderscheiden van een achtergrond waarin weinig beweging optreedt. Het voorafgaand raster-opslagdeel 320 bevat het voorafgaand beeld-raster van het actuele beeld dat door het beeldblokdeel 310 in blokken werd verdeeld.

25 Het blokbeweging-meetorgaan 330 ontvangt het actuele beeld dat door het beeldblokdeel 310 in blokken werd verdeeld en een voorafgaand beeld van het voorafgaand raster-opslagdeel 320. Het blokbeweging-meetorgaan 330 schat de beweging van het voorafgaand beeld-raster van een betreffend 30 zoekgebied met betrekking tot de respectieve blokken van het actuele beeld dat is verdeeld in blokken van een vooraf bepaalde afmeting. De hoeveelheid en richting, dat wil zeggen, de vector van de beweging, worden gemeten onder gebruikmaking van de corresponderende blokken van het voor-35 afgaande beeldraster.

10 1 0 920 9

Teneinde de beweging tussen twee continue beelden te meten, wordt omwille van het realiseringsgemak bij de onderhavige uitvinding een blok-vergelijkingsmethode gebruikt. Volgens deze methode extraheert het blokmeetorgaan 330 een 5 tweede blok met dezelfde middenpositie als het ingevoerde actuele blok, en groter dan het actuele blok en zoekgebied in het voorgaande raster, detecteert een blok dat lijkt op het tweede blok in het zoekgebied, en meet een verschil tussen de middenpositie van een soortgelijk blok en dat van 10 het actuele blok als de beweging ten opzichte van het actuele blok. Hierbij is het tweede blok op z'n minst groot genoeg om het actuele blok te omgeven. Het zoekgebied moet tenminste twee maal zo groot zijn als het actuele blok. De methode van blokvergelijking kan gemakkelijk worden gereali-15 seerd en voorziet in bewegingsvectoren met betrekking tot alle pixels vergeleken met andere methoden ofschoon het kan zijn dat de gemeten beweging niet dezelfde is als de feitelijke beweging van het onderwerp in het beeld aangezien de grens van het zoekgebied en de mate van gelijkenis van de 20 pixelwaarden in het blok worden gehanteerd.

Een (niet weergeven) beweging-normaliseerorgaan kan aanwezig zijn tussen het blokbeweging-meetorgaan 330 en de horizontale dispariteit-generator 340. Het beweging-normaliseerorgaan voert het actuele beeld in, waarbij de bewegingen 25 van de blokken ervan worden gemeten door het blokbeweging-meetorgaan 330, en normaliseert de bewegingen die in respectieve blokken zijn gemeten teneinde correlatie met de bewegingen van andere er omheen gelegen blokken te vertonen.

Bij de methode van blokvergeli jking is het zo dat 3 0 aangezien de mate van gelijkenis van de pixels tussen twee blokken wordt vergeleken, het vergelijkingsresultaat kan verschillen van de feitelijke beweging van het onderwerp in het beeld. Om het verschil te compenseren, is filteren noodzakelijk. Het beweging-normaliseerorgaan filtert de omvang 35 van de bewegingen van de respectieve blokken door de gewogen gemiddelde waarde van de groottes van de beweging van het 10 1 0 920 10 actuele blok die zijn gemeten door het blokbeweging-meetor-gaan 330 en de bewegingen van de blokken grenzend aan het actuele blok te vervangen door de omvang van de beweging van het actuele blok. Hier verdient het de voorkeur dat de 5 gewogen waarde wordt ingesteld evenredig aan de mate van gelijkenis met betrekking tot de omvang van de beweging tussen elk aangrenzend blok en het actuele blok en een afstand van het actuele blok ten opzichte van elk aangrenzend blok. Ook gezien het feit dat de respectieve blokken in 10 de horizontale richting bewegen in een samengesteld beeldgenerator 350 die later nog wordt beschreven, is het meer te prefereren dat een grotere gewogen waarde wordt ingesteld met betrekking tot het aangrenzende blok in verticale richting ten opzichte van het actuele blok dan het aangrenzende 15 blok in de horizontale richting.

Als we kijken naar fig. 3 voert de horizontale dispari-teit-generator 340 het actuele beeld in, waarbij de bewe-gingsvectoren van de blokken ervan worden gemeten door het blokbeweging-meetorgaan 330, en verkrijgt hij de horizontale 20 dispariteit uit de bewegingsvectoren van de respectieve blokken in overeenstemming met de bewegingskarakteristiek van het actuele beeld.

Om precies te zijn, de horizontale dispariteit-omzetter 342 zet de bewegingsvectoren van de respectieve blokken die 25 zijn gemeten door het blokbeweging-meetorgaan 330 om in dispariteiten. Bij de onderhavige uitvinding wordt gebruik gemaakt van een eenvoudige omzettingsmethode waarbij de omvang van de bewegingsvector wordt berekend en de berekende waarde wordt beschouwd als de dispariteit. Hier correspon-30 deert de dispariteit met de horizontale dispariteit die wordt gegenereerd door twee beelden wanneer het samengestelde beeld dat later moet worden gegenereerd en het actuele beeld worden weergeven als het driedimensionale beeld.

De horizontale dispariteit-regelinrichting 344 regelt 35 de horizontale dispariteit van de respectieve blokken die door de horizontale dispariteit-omzetter 342 wordt omgezet 10 1 0 9 2 0 11 in reactie op een vooraf bepaald stuursignaal. Dit is bestemd voor het genereren van het driedimensionale beeld dat door de menselijke dispariteit kan worden waargenomen door de horizontale dispariteit te regelen in overeenstemming met 5 de aanwezigheid van de beweging van de camera die het actuele beeld vangt en de aanwezigheid van de beweging van het hoofdonderwerp in het actuele beeld.

Om precies te zijn, het horizontale dispariteit-regel-orgaan 344 trekt de horizontale dispariteit van de maximum 10 horizontale dispariteit af in reactie op een vooraf bepaald stuursignaal en voert het resultaat van de aftrekbewerking uit als de horizontale dispariteit van de respectieve blokken of voert de door het horizontale dispariteit-omzetorgaan 342 uitgevoerde horizontale dispariteit uit zoals die op dat 15 moment is. Hier wordt de maximum horizontale dispariteit bepaald door het blokbeweging-meetorgaan 330. Ook is de horizontale dispariteit-regelinrichting 344 zodanig van een schaalverdeling voorzien dat de horizontale dispariteit van de respectieve blokken de vooraf bepaalde maximum dispari-20 teit niet overschrijdt alvorens de horizontale dispariteit te regelen.

Het bewegingskarakterstiek-bepalingsorgaan 346 bepaalt de bewegingskarakteristiek van het actuele beeld uit de bewegingsvector van de respectieve blokken die zijn gemeten 25 door het blokbeweging-meetorgaan 330 en genereert het stuursignaal in overeenstemming met het resultaat van de bepaling. Om precies te zijn, het bewegingskarakterstiek-bepa-lingsorgaan 346 analyseert de bewegingsvectoren van de respectieve blokken, vergelijkt de omvang van de beweging 30 van het actuele beeld met een vooraf bepaalde referentiewaarde, en genereert het stuursignaal wanneer de gehele beweging groter is dan de referentiewaarde.

Hier geeft de vooraf bepaalde referentiewaarde de omvang van de gehele beweging aan wanneer de camera die het 35 actuele beeld vangt, beweegt en het hoofdonderwerp in het actuele beeld beweegt. Aangezien het feit dat de camera 1010920 12 beweegt inhoudt dat de achtergrond in het beeld beweegt, is er weinig totale beweging wanneer de achtergrond en het hoofdonderwerp in het beeld samen bewegen. Daarom voert de horizontale dispariteit-regelinrichting 344 de door de 5 horizontale dispariteit-omzetter 342 uitgevoerde horizontale dispariteit onveranderd uit en de waarde die van de maximum horizontale dispariteit is afgetrokken in andere gevallen.

De beeldgenerator 350 voert het actuele beeld met de horizontale dispariteit van de respectieve blokken van de 10 horizontale dispariteit-generator 340 uit en genereert een samengesteld beeld dat correspondeert met het actuele beeld door de respectieve blokken in een horizontale richting te verplaatsen in overeenstemming met elke horizontale dispariteit .

15 Om precies te zijn, het orgaan 352 voor het horizontaal verplaatsen van de blokken verplaatst de posities van alle blokken in het actuele beeld naar rechts in horizontale richting door de horizontale dispariteit van de respectieve blokken. Het blok-samenvoegorgaan 354 voegt de door het 20 orgaan 352 voor het horizontaal verplaatsen van de blokken verplaatste respectieve blokken samen en genereert een samengesteld beeld. De samengesteld beeld-interpolator 356 interpoleert het gebied dat niet wordt gevuld door de respectieve blokken van het actuele beeld in het samengestelde 25 beeld dat is gegenereerd door blok-samenvoegorgaan 354.

Het nabewerkingsorgaan 360 voert samen met de samengesteld beeld-interpolator 356 een vooraf bepaalde nabewerking uit teneinde de kwaliteit van het nieuwe beeld te verbeteren. Tijdens het schatten van de beweging in overeenstemming 30 met de bovengenoemde blok-vergelijkingsmethode en het genereren van een nieuw beeld, kan het gebeuren dat in het gegenereerde nieuwe beeld blokken worden weergegeven of dat de beeldkwaliteit in een perifeer gebied verslechtert. Om dit te compenseren wordt een vooraf bepaalde nabewerking 35 verricht, bijvoorbeeld filteren onder gebruikmaking van een middenfilter. Het nabewerkingsorgaan volgens een voorkeur- 10 1 0 9 20 13 uitvoeringsvorm die door de onderhavige uitvinding wordt verschaft zal hieronder nog in details worden beschreven.

Het linker-/rechter-beeld bepalingsorgaan 370 dat correspondeert met het uitvoerdeel voert het samengesteld 5 beeld in via het nabewerkingsorgaan 360, voert het actuele beeld van de analoog-naar-digitaal omzetter 300 in, en geeft het driedimensionale beeld weer dat is gevormd uit het actuele beeld en het samengestelde beeld. Op dat moment voert het linker-/rechter-beeld bepalingsorgaan 370 ofwel 10 het actuele beeld of het samengestelde beeld uit als het linker-videosignaal en het andere als het rechter-videosig-naal. De signalen worden in analoge videosignalen omgezet door respectievelijk de eerste en tweede digitaal-naar-analoog omzetter 382 en 384 en worden weergegeven via uit-15 voer-aansluitpunten OUT1 en OUT2. Het linker-videosignaal wordt afgebeeld op het linkeroog en het rechter-videosignaal wordt afgebeeld op het rechteroog.

Het linker-/rechter-beeld bepalingsorgaan 370 geeft het actuele beeld weer op het linkeroog en het samengestelde 20 beeld op het rechteroog op basis van positieve dispariteit in een binoculaire dispariteit. Zo'n weergavemethode is niet beperkt. Deze kan variëren in overeenstemming met de horizontale bewegingsmethode tijdens het genereren van het samengestelde beeld en het feit of de richting waarin het 25 gevoel van diepte moet worden verschaft positief of negatief is.

Wanneer bijvoorbeeld de posities van alle blokken in het actuele beeld door het orgaan 3 52 voor horizontale verplaatsing van blokken naar de linker horizontale richting 30 worden verplaatst door de horizontale dispariteit van elk blok, worden het actuele beeld en het samengestelde beeld weergegeven op basis van de negatieve dispariteit. Aangezien menselijke ogen echter vermoeid raken wanneer veel negatieve dispariteit wordt verschaft om het ruimtelijke effect te 35 verbeteren, is het moeilijk om het beeld van de negatieve dispariteit een lange tijd weer te geven. Daarom is bij de to 1 0 9 2 0 14 onderhavige uitvinding bepaald dat het beeld wordt weergegeven door de positieve dispariteit.

Zoals hierboven vermeld behoort de onderhavige uitvinding tot een stereo-technologie waarbij de binoculaire 5 dispariteit wordt gebruikt. Hier zal het principe van de binoculaire dispariteit simpel worden beschreven teneinde het begrijpen van de onderhavige uitvinding te vergemakkelijken .

Fig. 5A en 5B tonen het principe van de binoculaire 10 dispariteit. Fig. 5A en 5B tonen respectievelijk de positieve dispariteit en de negatieve dispariteit. In fig. 5A en 5B is het zo dat wanneer de twee beelden, dat wil zeggen, het oorspronkelijke beeld en het nieuwe beeld op het scherm worden weergegeven, de respectieve beelden worden afgebeeld 15 op respectievelijk het rechter- en linkeroog. De corresponderende punten a en a' van de twee beelden op het scherm corresponderen met de posities b en b' van de twee ogen. Een persoon voelt echter dat het corresponderende punt van de twee beelden zich bevindt in het punt P. Namelijk, de waar-20 genomen positie waar een onderwerp werkelijk aanwezig is, is P in fig. 5A en 5B. De positie van P kan gemakkelijk worden verkregen door een evenredige uitdrukking, aangezien twee driehoeken Δ Paa' en Δ Pbb' soortgelijke figuren zijn.

Daardoor is het zo dat wanneer het driedimensionale 25 beeld dat is gevormd van de twee beelden met de dispariteit, dat wil zeggen, het oorspronkelijke beeld en het nieuwe beeld, op het scherm worden weergegeven, een persoon een gevoel van diepte kan waarnemen. In het geval van de positieve dispariteit van fig. 5A, neemt een persoon waar dat 3 0 het punt P zich achter het scherm bevindt. In het geval van de negatieve dispariteit van fig. 5B neemt een persoon waar dat het punt P zich voor het scherm bevindt.

Het bij de onderhavige uitvinding gegenereerde nieuwe beeld wordt verkregen door het oorspronkelijke beeld door de 35 horizontale dispariteit te verplaatsen in horizontale richting. Daardoor is het zo dat hoewel de beweging van het 1010920 15 onderwerp in het oorspronkelijke beeld een verticale component heeft, er toch een natuurlijk stereobeeld wordt gegenereerd.

Fig. 4 is een routeschema voor het beschrijven van een 5 werkwijze om de tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld volgens de onderhavige uitvinding. Als we kijken naar fig. 4, is daar de werkwijze voor het omzetten van driedimensionale beelden volgens de onderhavige uitvinding beschreven, die wordt uitgevoerd door de 10 in fig. 3 getoonde inrichting.

Eerst wordt het analoge tweedimensionale beeldsequen-tie-signaal via de analoog-naar-digitaal omzetter 300 omgezet in een digitaal signaal (stap 400). Daarna wordt het actuele beeld dat is omgezet in het digitale signaal via het 15 beeldblokdeel 310 verdeeld in blokken met een vooraf bepaalde afmeting (stap 410). Hierbij bedraagt de vooraf bepaalde afmeting η x n pixels en is n bij voorkeur 4 of 8.

Na stap 410 worden de omvang en richting van de beweging van elk blok van het actuele beeld, dat wil zeggen, de 20 bewegingsvector, door het blokbeweging-meetorgaan 330 gemeten onder gebruikmaking van het voorafgaand beeld-raster dat is opgeslagen in het opslagdeel 320 voor rasters van voorafgaande beelden (stap 420). Een optische route-meetwerkwijze of een blok-vergelijkingswerkwijze die worden gehanteerd in 25 bij de motion picture coding experts group (MPEG) I en II wordt toegepast om de bewegingsvector tussen de twee op elkaar volgende beelden te meten. Ook kan een evenwijdige hiërarchische eendimensionale zoekmethode (PHODS) waarbij de hoeveelheid rekenwerk klein is worden gebruikt voor snelle 30 verwerking.

Bij stap 420 wordt de blok-vergelijkingswerkwijze gebruikt als een voorkeuruitvoeringsvorm om de beweging tussen de twee op elkaar volgende beelden te schatten. Volgens de werkwijze wordt een tweede blok met dezelfde 35 middenpositie als het actuele blok, waarvan de beweging moet worden geschat en groter is dan het actuele blok, van het 1101 0 9 20 16 actuele beeld afgetrokken. Daarna wordt het zoekgebied geëxtraheerd uit het voorgaande raster. Een blok dat lijkt op het tweede blok wordt gedetecteerd vanuit het zoekgebied. Er wordt een verschil tussen de middenpositie van het soort-5 gelijke blok en die van het actuele blok berekend. Hier wordt het berekende verschil gemeten door de beweging ten opzichte van het actuele blok. Het tweede blok is op z'n minst groot genoeg om het actuele blok te omgeven. Het zoekgebied moet tenminste twee maal zo groot zijn als het 10 blok.

Fig. 6 beschrijft de blok-vergelijkingswerkwijze die wordt gebruikt om de beweging in elk blok te meten.

Als we kijken naar fig. 6, zal de bij de onderhavige uitvinding toegepaste blok-vergelijkingswerkwijze in details 15 worden beschreven.

Ten eerste bedraagt de omvang van elk blok nl x n2 (n > 0 en N2 < 0) in een kde beeld van de tweedimensionale beeldsequentie, bijvoorbeeld Nl x 2N2 beeld. Een groter blok dat het blok omgeeft wordt een macroblok genoemd. De omvang 20 van het macroblok bedraagt bijvoorbeeld 2nl x 22n2. Bij de onderhavige uitvinding wordt de werkwijze van blokvergelij-king als volgt toegepast.

1. Een blok B met (a,b) = (nl/2, n2/2) als het middelpunt wordt verkregen uit een kde beeld 602.

25 2. Een macroblok M (niet weergegeven) dat dezelfde middenpositie heeft als het blok B en groter is dan het blok B wordt geëxtraheerd van het kde beeld 602.

3. Een zoekgebied W met (a,b) als het middelpunt wordt geëxtraheerd van een (k - l)de beeld van 604. Daarbij is de 30 omvang van het zoekgebied wl x 2w2 (wl > 2nl en w2 > 2n2).

4. Een macroblok M' (niet weergegeven) met (nl/2, n2/2) als het midden wordt geëxtraheerd uit het zoekgebied W.

5. Er wordt een minimum gemiddeld absoluut verschil (MAD) tussen de blokken M en M' verkregen. Hierbij vertegen- 35 woordigt de MAD een verschil tussen de gemiddelde pixelwaar-de van het blok M en die van het blok M'.

10 1 0920 17 6. Wanneer de MAD kleiner is dan een voorafgaande MAD, wordt vastgesteld dat de MAD een nieuwe MAD is. In het zoekgebied wordt de middenpositie van het macroblok M' opgeslagen als (r,c). Wanneer het midden van het macroblok 5 M' (nl/2, n2/2) bedraagt, wordt vastgesteld dat de MAD een initiële MAD is.

7. In het zoekgebied W wordt het macroblok M' in de horizontale richting verplaatst door een eerder vastgestelde verspringing (verspringing > 0) langs een rij.

10 8. Het proces gaat verder naar stap 9 wanneer het verplaatste macroblok M' zich buiten het zoekgebied W bevindt en keert terug naar stap 5 indien dit niet het geval is.

9. Het macroblok M' wordt verplaatst naar een nieuwe 15 positie (a,b) = (a + verspringing, n2/2) in het zoekgebied W. Het proces gaat verder naar stap 10 wanneer het macroblok M' zich buiten het zoekgebied W verkeert en keert terug naar stap 5 indien dit niet het geval is.

10. De beweging van het blok B (u,v) = (a-r, b-c) wordt 20 verkregen uit (r,c) tenslotte opgeslagen in stap 6 en het proces gaat verder naar stap 11.

11. Het midden van het blok B wordt ingesteld op (a,b) = (a,b + nl) door het blok B over de afmeting van het blok te verplaatsen in een horizontale richting. Het proces gaat 25 verder naar stap 12 wanneer het blok B zich buiten het gebied van het kde beeld bevindt en keert terug naar stap 2 indien dit niet het geval is.

12. Het midden van het blok B wordt ingesteld op (a,b) = (a + nl,b) door het blok B over de afmeting van het blok 30 te verplaatsen in een verticale richting. Het proces wordt beëindigd aangezien de blokvergelijking is uitgevoerd met betrekking tot alle blokken wanneer het blok B zich buiten het gebied van het kde beeld bevindt en keert terug naar stap 2 indien dit niet het geval is.

35 In de bovengenoemde processen wordt het met het tweede blok corresponderende macroblok gebruikt in plaats van het 10 1 0 920 18 blok van het oorspronkelijke beeld bij het vergelijken van actuele blokken. De hieruit verkregen beweging wordt vastgesteld als de beweging van het blok van het oorspronkelijke beeld. Dit komt omdat de volgende tekortkomingen worden 5 veroorzaakt wanneer de blokken van het oorspronkelijke beeld in hun hoedanigheid worden gebruikt. Ten eerste, kan vanwege de kleine omvang van de blokken een resultaat opleveren dat verschilt van de werkelijke beweging van het onderwerp in het beeld. Ten tweede is het zeer waarschijnlijk dat er een 10 samenhang bestaat van de beweging tussen twee naast elkaar gelegen blokken. Het resultaat van de blokkenvergelijking vertoont dit echter niet.

Teneinde deze problemen op te lossen wordt daarom het macroblok dat wordt gevormd door het tweede blok gebruikt om 15 de beweging te meten met behulp van de blok-vergelijkingsme-thode volgens de onderhavige uitvinding. Bijgevolg kunnen de volgende voordelen resulteren. Ten eerste, aangezien er een hoge mate van waarschijnlijkheid bestaat dat een specifiek punt in het blok, wanneer het blok dat het actuele beeld met 20 het voorafgaande beeld vergelijkt, groter wordt, is de van het macroblok verkregen beweging relatief gelijk aan de feitelijke beweging van het onderwerp in het beeld. Bijgevolg is het mogelijk om te voorkomen da het beeld wordt onderbroken wanneer het nieuwe beeld wordt gegenereerd.

25 Na stap 420 kan een stap van het normaliseren van de bewegingen die zijn gemeten in de respectieve blokken van het actuele beeld die een samenhang vertonen met de bewegingen van de perifere blokken worden uitgevoerd (niet weergegeven) .

30 De bewegingen van de respectieve blokken die zijn geschat in stap 420 kunnen verschillen van de bewegingen van de perifere blokken. Wanneer dit wordt genegeerd, kan de kwaliteit van het beeld verslechteren wanneer een nieuw beeld wordt gegenereerd. Om dit te voorkomen, worden de 35 bewegingen van de geschatte respectieve blokken genormaliseerd wanneer de bewegingen van de respectieve blokken veel 10 1 0 920 19 verschillen van de bewegingen 'van de perifere blokken. Zo'n normalisering is gebaseerd op de volgende veronderstellingen. Ten eerste is een samenhang tussen de beweging van het blok op een willekeurige pixelpositie (a,b) en de bewegingen 5 van de aangrenzende blokken groter naarmate de afstand tussen de blokken kleiner wordt. Ten tweede, wanneer de beweging meer lijkt op de beweging van het actuele blok, vertoont de beweging meer samenhang.

Teneinde de bewegingen van de respectieve blokken te 10· normaliseren wanneer wordt ten eerste een gewogen waarde ingesteld die evenredig is aan de mate van gelijkenis met het actuele blok met betrekking tot de omvang van de beweging en de afstand tot het actuele blok, met betrekking tot elk blok dat grenst aan het te normaliseren actuele blok. 15 Daarna wordt de gewogen gemiddelde waarde van het actuele blok en de aangrenzende blokken vervangen door de omvang van de beweging van het actuele blok.

De omvang van de beweging van het actuele blok wordt berekend door Vergelijking 1 met behulp van de bovenstaande 20 werkwijze.

[VERGELIJKING 1] te -(H)2e -((a-a^(*-öf)2)/=£S e -«a-a,)2*(ö-t>,·)2) ,-=o . 1 '=0

De omvang van de beweging van het actuele blok wordt eenvoudig berekend met behulp van Vergelijking 2.

[VERGELIJKING 2] μη n-s f i*n n-s λ f= V —^((a-a^Hb-b,)2)/ Σ -—;((a-af+<b-b) ) ti . (t-tf μ (Η)2 25 In de vergelijkingen 1 en 2 is het zo dat wanneer de groep groottes van bewegingen van de blokken waarbij vooraf 10 1 0 920 20 bepaalde s blokken zijn uitgesloten van de η x n (n > 0) naastgelegen blokken die zijn gealigneerd volgens de orde van grootte van de beweging wordt voorgesteld als {tlt t , ... fc } , vertegenwoordigen t, t en (a1,bi) respectievelijk 5 de omvang van de beweging van het actuele blok, de omvang van een willekeurig blok dat bij de groep hoort, en de positie van het blok dat h in het beeld bezit.

De bovenstaande werkwijze voor het normaliseren van de bewegingen van de respectieve blokken wordt echter niet in 10 deze hoedanigheid toegepast. De blokken die in de verticale richting aan elkaar grenzen wordt veel meer gewogen waarde verleend. Bij een andere werkwijze voor het normaliseren van de bewegingen van de respectieve blokken wordt de gewogen waarde namelijk ingesteld met betrekking tot de respectieve 15 blokken die grenzen aan het actuele blok dat moet worden genormaliseerd evenredig aan de mate van gelijkenis met het actuele blok ten opzichte van de omvang van de beweging en de afstand tot het actuele blok.

Daarna wordt bij het blok dat grenst aan het actuele 20 blok in de verticale richting een grotere gewogen waarde ingesteld dan bij het blok dat grenst aan het actuele blok in de horizontale richting. Dan wordt de gewogen gemiddelde waarde van het actuele blok en de aangrenzende blokken vervangen door de omvang van de beweging van het actuele 25 blok.

De reden dat meer gewogen waarde wordt verleend aan de verticale richting is dat kan worden verwacht dat de respectieve blokken in volgende stappen ten opzichte van het nieuwe beeld in de horizontale richting worden verplaatst. 30 Wanneer de groottes van de bewegingen van de respectieve blokken namelijk verschillen van die van de bovenliggende en benedenliggende aangrenzende blokken wanneer de respectieve blokken in de horizontale richting worden verplaatst, kan de beeldkwaliteit van het nieuwe beeld aanzienlijk verslechte-35 ren. In het bijzonder is het beeld slecht in de buurt van de verticale randen van de respectieve blokken. Daarom is het

IfÖ1 0 9 20 21 λ .

nodig om aan de verticaal aan· elkaar grènzende blokken een grotere gewogen waarde te geven.:

Fig. 7A en 7B tonen voorbeelden van het aanleggen van de gewogen waarde op de aan elkaar grenzende blokken in het 5 proces van het normaliseren van de geschatte beweging. Fig. 7A toont een voorbeeld van het toepassen van de gewogen waarde op de aan elkaar grenzende blokken evenredig aan de afstand tot het actuele blok. Fig. 7b toont een voorbeeld van het toepassen van meer gewogen waarde op de verticaal 10 aan elkaar grenzende blokken.

Als we kijken naar fig. 4, is het zo dat wanneer de bewegingsvector ten opzichte van de respectieve blokken van het actuele beeld wordt gemeten in stap 420, horizontale dispariteit wordt verkregen uit de bewegingsvector van elk 15 blok in overeenstemming met de karakteristiek van de beweging van het actuele beeld via de horizontale dispariteit-generator 340 (stap 430).

De stap 430 bevat de volgende stappen. Eerst wordt de bewegingsvector van elk blok die is gemeten in stap 420 20 omgezet in de horizontale dispariteit via de horizontale dispariteit-omzetter 342 (stap 432). De omvang van de bewegingsvector wordt berekend en de berekende waarde wordt beschouwd als de horizontale dispariteit teneinde de horizontale dispariteit te verkrijgen. Hier komt de horizontale 25 dispariteit overeen met de dispariteit die wordt gegenereerd door twee beelden wanneer het later te genereren samengestelde beeld en het actuele beeld worden weergegeven als het driedimensionale beeld. De horizontale dispariteit px wordt verkregen door Vergelijking 3 30 [VERGELIJKING 3] px - sJVx2 + Vy*

Zoals getoond in Vergelijking 3 is de horizontale dispariteit de omvang van de bewegingsvector (V , V) .

x y MO 1 0 920 22

Daarna wordt de bewegingskarakteristiek van het actuele beeld bepaald door het bewegingskarakteristiek-vaststelor-gaan 346 (stap 434) . De omvang van de gehele beweging van het actuele beeld wordt vergeleken met een vooraf bepaalde 5 referentiewaarde door de bewegingsvector van elk blok te analyseren en het vergelijkingsresultaat wordt beschouwd als de bewegingskarakteristiek van het actuele beeld. Hierbij vertegenwoordigt de vooraf bepaalde referentiewaarde de omvang van de gehele beweging wanneer de camera die het 10 actuele beeld vangt, beweegt en het hoofdonderwerp in het actuele beeld beweegt.

Dan wordt de bij stap 432 verkregen horizontale dispariteit in overeenstemming met de bewegingskarakteristiek van het actuele beeld geregeld via de horizontale dispariteit-15 regelinrichting 344 (stap 436) . De horizontale dispariteit wordt geregeld om het driedimensionale beeld te genereren dat door menselijke dispariteit kan worden waargenomen door de dispariteit te regelen in overeenstemming met het feit of de camera die het actuele beeld vangt en het hoofdonderwerp 20 in het actuele beeld al dan niet bewegen.

Wanneer de totale beweging van het actuele beeld niet groter dan een vooraf bepaalde referentiewaarde is, wordt de bij stap 432 verkregen oorspronkelijke horizontale dispariteit in stand gehouden. Wanneer de totale beweging van het 25 actuele beeld wel groter dan de vooraf bepaalde referentiewaarde is, wordt de bij stap 432 verkregen oorspronkelijke horizontale dispariteit afgetrokken van de maximum horizontale dispariteit en wordt het resultaat van de aftrekking vervangen door de horizontale dispariteit van elk blok.

30 Hier wordt de maximum horizontale dispariteit vastge steld bij stap 420. Voorafgaand aan het regelen van de horizontale dispariteit bij stap 436, wordt de horizontale dispariteit van elk blok gemeten opdat de vooraf bepaalde maximum dispariteit niet wordt overschreden. De horizontale 35 dispariteit (px) wordt in het laatste geval verkregen door de Vergelijking 4 101 0 920 23 [VERGELIJKING 4] Ρχ = PXmax - Ρχ

In Vergelijking 2 vertegenwoordigt pxmax de waarde die is vastgesteld door het blokbeweging-meetorgaan 330.

5 Als we kijken naar fig. 4, beweegt na stap 430 elk blok van het actuele beeld in de horizontale richting in overeenstemming met elke horizontale dispariteit via de beeldgenerator 350. Bijgevolg wordt het samengestelde beeld gegenereerd dat correspondeert met het actuele beeld (stap 440).

10 De stap 440 omvat de volgende stappen. Eerst bewegen alle blokken in het actuele beeld naar rechts in een horizontale richting door de horizontale dispariteit van elk blok, via het orgaan 352 voor horizontale verplaatsing van de blokken (stap 442). De pixeldata van alle blokken die bij 15 stap 442 horizontaal zijn verplaatst worden samengevoegd via het blok-samenvoegingsorgaan 354, waardoor het samengestelde beeld wordt gegenereerd (stap 444).

Fig. 8A en 8B beschrijven processen van het horizontaal verplaatsen van de blokken bij de werkwijze die is getoond 20 in fig. 4. Fig. 8A beschrijft de horizontale beweging van de blokken wanneer de horizontale dispariteit px van het eerste verplaatste blok B1 groter is dan de horizontale dispariteit px2 van het volgende verplaatste blok B2. Fig. 8B beschrijft de horizontale beweging van het blok wanneer de horizontale 25 dispariteit pxy van het eerste verplaatste blok Βχ kleiner is dan de horizontale dispariteit px2 van het volgende verplaatste blok B2. ê vertegenwoordigt de positie van de pixel in het blok. (Βχ, px ) vertegenwoordigt de horizontale dispariteit px2 van een ide blok. Ook wordt teneinde de uitleg te 30 vereenvoudigen, wanneer elk blok bestaat uit 8x8 pixels, slechts één aftastlijn als een voorbeeld genomen.

Wanneer in fig. 8A de horizontale dispariteit px± groter is dan de horizontale dispariteit px2, bijvoorbeeld wanneer de horizontale dispariteit ρχχ 3 bedraagt en de horizontale 35 dispariteit px2 1 bedraagt, worden alle pixels van het blok B1 horizontaal verplaatst met 3. In het geval van het blok B2 10 t 0 920

'V

24 worden pixels vanaf de derde pixel horizontaal verplaatst met 1. In het geval van het blok B2 worden namelijk de eerste twee pixels niet verplaatst. Wanneer in fig. 8B de horizontale dispariteit px^ kleiner is dan de horizontale dispari-5 teit px2, bijvoorbeeld wanneer de horizontale dispariteit ρχχ 1 bedraagt en de horizontale dispariteit px2 3 bedraagt, worden alle pixels van de blokken B1 en B2 horizontaal verplaatst met respectievelijk 1 en 3. Aangezien zoals getoond in fig. 8B de horizontale dispariteiten van de blokken Βχ en 10 B2 echter verschillend zijn, wordt het blok B2 met twee pixels gevuld nadat blok Βχ is gevuld. Bijgevolg worden lege pixels gegenereerd.

Na stap 444 worden de gebieden die niet zijn gevuld door de respectieve blokken in het samengestelde beeld dat 15 is opgebouwd via het proces van het horizontaal verplaatsen van blokken geïnterpoleerd via de interpolator 356 (stap 446). Bij het samengestelde beeld kunnen lege pixels namelijk worden gegenereerd zoals weergegeven in fig. 8B aangezien de respectieve blokken van het actuele beeld horizon-20 taal worden verplaatst door verschillende horizontale dispariteiten. Deze verschillende werkwijzen voor het toekennen van geschikte pixelwaarden aan de lege pixels zoals een werkwijze van lineaire interpolatie, een werkwijze van bi-lineaire interpolatie, en een werkwijze van gewogen inter-25 polatie. De eenvoudigste werkwijze bestaat uit het vullen van de lege pixels met de waarden van de meest nabij gelegen linker- of rechter-pixels. Als we kijken naar fig. 8B, wordt de waarde van de pixel a1 of a2 gebruikt. Bij de onderhavige uitvinding wordt deze werkwijze met de kleinste berekenings-30 hoeveelheid toegepast.

Na stap 440 wordt een vooraf bepaalde nabewerking verricht via het nabewerkingsorgaan 360 om de kwaliteit van het nieuwe beeld te verbeteren (stap 450) . Wanneer de beweging wordt gemeten en het nieuwe beeld wordt gegenereerd in 35 'overeenstemming met de bovengenoemde blok-vergelijkingswerk-wijze, kan het gebeuren dat in het gegenereerde nieuwe beeld 10 1 0,9 20 25 blokken worden weergegeven of de kwaliteit in het randgebied wordt verslechterd. Teneinde dit te compenseren, wordt een vooraf bepaalde nabewerking verricht, bijvoorbeeld filteren onder gebruikmaking van een middenfilter. De bewerking van 5 de het nabewerkingsorgaan volgens een voorkeuruitvoerings-vorm die door de onderhavige uitvinding wordt verschaft zal hieronder worden beschreven.

Na stap 450 worden om het uit het actuele beeld en het samengestelde beeld gevormde driedimensionale beeld weer te 10 geven het linker-/rechter-beeld bepaald door het linker-/rechter-beeld-vaststelorgaan 370 (stap 460). Ofwel het actuele beeld of het samengestelde beeld wordt op het linkeroog weergegeven en het andere wordt op het rechteroog weergegeven. Bijgevolg kan een persoon het ruimtelijk effect 15 ervaren door het principe van binoculaire dispariteit. Aangezien deze beelden bestaan uit digitale signalen, worden ze door de eerste en tweede digitaal-naar-analoog omzetter 382 en 384 omgezet in analoge signalen en weergegeven (stap 470). Om het op de weergave-inrichting zoals een monitor via 20 de bovenstaande processen weergegeven driedimensionale beeld te begrijpen, is een stereoscopische bril nodig.

De diepte van het beeld is gerelateerd aan de hoeveelheid beweging. Wanneer de camera beweegt en de gevangen schermbeelden niet bewegen, is de hoeveelheid beweging 2 5 omgekeerd evenredig aan de diepte van het beeld. Ook ver toont een nabij gelegen onderwerp een relatief grote beweging en een onderwerp op afstand een relatief kleinere beweging. Wanneer de camera vast is en zich een bewegen onderwerp in het beeld bevindt, beweegt het nabij gelegen 30 onderwerp snel en beweegt het onderwerp op afstand traag. Wanneer bij de onderhavige uitvinding het linker-/rechter-beeld worden bepaald in stap 450 onder toepassing van het principe, wordt het vaststellen op een andere wijze verricht in overeenstemming met de positieve dispariteit en de nega-35 tieve dispariteit.

1010920 26

Tot dusver zijn de inrichting en werkwijze om de tweedimensionale beeldsequentie om te zetten in het driedimensionale beeld volgens de onderhavige uitvinding toegelicht. Om kort te zijn, bij de tweedimensionale, driedimensionale of 5 eenogige stereobeeld-omzetting wordt de bewegingsvector van elk blok verkregen uit het oorspronkelijke beeld en wordt de dispariteit verkregen onder gebruikmaking van de bewegingsvector. Het dispariteit-beeld wordt gegenereerd door het oorspronkelijke beeld horizontaal te verplaatsen door de 10 dispariteit. Bijgevolg wordt het stereobeeld gegenereerd dat is gevormd uit het oorspronkelijke beeld en het verplaat-singsbeeld.

De bewegingsvector die in blokeenheden uit het oorspronkelijke beeld is verkregen kan echter incorrect zijn. 15 Een dispariteit-kaart die gebruik maakt van de beweging komt namelijk niet goed overeen met de werkelijke omgrenzing van de onderwerpen in het oorspronkelijke beeld vanwege de incorrectheid van de beweging zelf. In het bijzonder aangezien de dispariteit de afmeting van de bewegingsvector 20 weerspiegelt in het geval van omzetting van de bewegingsvector in de dispariteit alleen in de horizontale richting, wanneer verschillende dispariteiten worden toegekend aan de blokken die met dezelfde onderwerpen in het oorspronkelijke beeld corresponderen, wordt het beeld in de verticale rich-25 ting onderbroken.

Daarom is de nabewerking van het dispariteit-beeld die bestaat uit het regelen van de dispariteit tussen aan elkaar grenzende blokken nodig, welke dient om te voorkomen dat de omgrenzing van de onderwerpen in het beeld worden onderbro-30 ken in verticale richting tijdens het genereren van het stereobeeld. Zoals hierboven vermeld, is het nabewerkingsor-gaan 360 gepositioneerd naast de samengesteld beeld-genera-tor 350 in fig. 3. De stap 450 van het nabewerken volgt op de stap 440 van het genereren van het samengestelde beeld 35 in fig. 4. Dit zal in bijzonderheden worden beschreven.

10 1 0 920 « 27

Bij de werkwijze van nabewerking volgens de onderhavige uitvinding wordt vastgesteld of de aan elkaar grenzende blokken hetzelfde onderwerp vormen onder gebruikmaking van de helderheid-karakteristiek van elk blok in het oorspronke-5 lijke beeld. De dispariteit van elk blok van het oorspronkelijke beeld wordt geregeld onder gebruikmaking van een filtermasker met een veranderbare afmeting dat wordt verkregen door het resultaat van de vaststelling. Het dispariteit -beeld wordt gereconstrueerd in overeenstemming met de 10 geregelde dispariteit.

Ook wordt de in het onderstaande beschreven werkwijze van nabewerking volgens de onderhavige uitvinding bij voorkeur toegepast op de inrichting en werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensio-15 naai beeld volgens de onderhavige uitvinding. Hij kan echter ook op andere driedimensionaal beeld-omzetinrichtingen worden toegepast om het dispariteit-beeld te genereren.

Fig. 9 is een routeschema voor het beschrijven van de werkwijze van nabewerking volgens de onderhavige uitvinding. 20 Voor het nabewerken van het dispariteit-beeld dat is gemaakt door de beweging van het oorspronkelijke beeld te extraheren, wordt de dispariteit verkregen in blokeenheden uit het oorspronkelijke beeld, onder gebruikmaking van het oorspronkelijke beeld, het dispariteit-beeld, en een maximum dispa-25 riteit-grens en wordt de dispariteit-kaart gegenereerd die bestaat uit de dispariteiten van alle blokken (stap 900).

Het dispariteit-beeld is in het algemeen gemaakt van de dispariteiten van de respectieve blokken van het oorspronkelijke beeld. Aangezien het echter niet mogelijk is om te 30 weten hoe het dispariteit-beeld in het bijzonder wordt gemaakt, wordt de dispariteit van elk blok van het oorspronkelijke beeld dat is verdeeld in blokken met een vooraf bepaalde afmeting verkregen onder gebruikmaking van het dispariteit-beeld en de maximum dispariteit-grens (stap 35 900). De maximum dispariteit-grens wordt berekend onder gebruikmaking van het zoekgebied wanneer de afmeting van het 10 10 920 28 blok van het oorspronkelijke beeld en de beweging van het blok van het oorspronkelijke beeld worden gezocht in een voorafgaand beeld. De dispariteit van elk blok wordt verkregen door een minimum absoluut gemiddeld verschil (MAD)-5 berekeningsmethode.

De nabewerking wordt verricht met betrekking tot de dispariteit-kaart die is gegenereerd in stap 900.

De helderheid-karakteristieken tussen aan elkaar grenzende blokken worden met elkaar vergeleken in de verticale 10 richting in de respectieve blokken van het oorspronkelijke beeld. Een groep blokken met soortgelijke helderheid-karakteristieken wordt bepaald als filtermasker (stap 920). Het MAD tussen een vooraf bepaald aantal aan elkaar grenzende blokken en het actuele blok wordt verkregen. Wanneer het MAD 15 tussen het actuele blok en het verticale benedenliggende blok het kleinst is, worden deze blokken beschouwd als de grens of de binnenkant van een onderwerp. Het actuele blok wordt continu vergeleken met de aan elkaar grenzende blokken in de verticale richting zolang een toestand waarbij het MAD 20 het kleinst is niet wordt bereikt. Wanneer er geen blokken met soortgelijke helderheid-karakteristieken zijn, wordt bepaald dat de groep blokken tot dan toe samen een filtermasker vormen.

Na stap 920 wordt de dispariteit-kaart gewijzigd door 25 de dispariteit van elk blok van het oorspronkelijke beeld te vervangen door een nieuwe dispariteit onder gebruikmaking van een corresponderend filtermasker (stap 940) . Om precies te zijn, na het aligneren van de blokken in het filtermasker van elk blok dat is vastgesteld in stap 92 0 in de volgorde 30 van omvang van de dispariteit, wordt een midden-dispariteit gebruikt als een nieuwe dispariteit onder de gealigneerde blokken.

Tenslotte wordt het dispariteit-beeld gereconstrueerd onder gebruikmaking van het oorspronkelijke beeld en de 35 gewijzigde dispariteit-kaart (stap 960). Wanneer de dispariteit-kaart wordt gewijzigd in stap 920, wordt het nabewerkte 1010920 29 i '· .

dispariteit-beeld gegenereerd · door reconstructie van het dispariteit-beeld door het oorspronkelijke beeld horizontaal af te beelden, in overeenstemming met de gewijzigde dispari -teit-kaart.

5 Fig. 10A en 10B zijn routeschema' s voor het gedetail leerd beschrijven van de werkwijze van nabewerking volgens de onderhavige uitvinding uit fig. 9. Onder verwijzing naar fig. 10 zullen de in fig. 9 getoonde respectieve stappen in details worden beschreven.

10 . Stap 900 is opgebouwd uit de volgende stappen.

Eerst wordt de maximum dispariteit berekend (stap 902) . De bewegingsvector van elk blok van het oorspronkelijke beeld wordt gemeten door de werkwijze van blokmeting. In het geval van het berekenen van de dispariteit die moet worden 15 gebruikt voor het genereren van het stereobeeld uit de bewegingsvector, wanneer de afmeting van het blok van het oorspronkelijke beeld en de afmeting van het zoekgebied wanneer de beweging van het blok van het oorspronkelijke beeld wordt onderzocht in het voorafgaande beeld bekend 20 zijn, kan de maximum dispariteit worden berekend. De maximum dispariteit (MD) wordt uitgedrukt door Vergelijking 5. [VERGELIJKING 5] waarbij B en W respectievelijk staan voor de afmeting van het blok en de afmeting van het zoekgebied.

25 Na stap 902 wordt het MAD volgens de dispariteit bere kend met betrekking tot het actuele blok van het ingevoerde oorspronkelijke beeld (stap 904) . Het MAD tussen het oorspronkelijke beeld en het dispariteit-beeld wordt berekend teneinde de dispariteit in blokeenheden van het oorspronke-30 lijke beeld te berekenen onder gebruikmaking van het oorspronkelijke beeld en het verplaatsingsbeeld dat is verkre- 1010920 30 gen door de werkwijze van blokschatting. Het MAD wordt berekend met Vergelijking 6.

10 1 0 920 31 [VERGELIJKING 6] MADid,) - 11 oorspronkelijk ^ ~verplaatst y) x,yefi waarbij B en d respectievelijk staan voor het gebied in het blok en de dispariteit. Op dit moment kan de dispariteit dx de MD niet overschrijden. Bij stap 904 wordt het MAD 5 berekend door de dispariteit dx te substitueren tussen 0 en de MD voor Vergelijking 6.

Na stap 904 wordt de dispariteit vastgesteld ten opzichte van het actuele blok (stap 906) . Er wordt namelijk bepaald dat de dispariteit dx die het MAD vormt dat is 10 berekend in stap 104 de dispariteit van het actuele blok is.

Na stap 906 wordt vastgesteld of na de stappen 904 en 906 het actuele blok het laatste blok van het beeld is (stap 910) . Als dit niet het geval is, gaat het proces terug naar stap 904 en wordt de dispariteit van het volgende blok van 15 het oorspronkelijke beeld verkregen. Wanneer wordt aangenomen dat de dispariteiten van alle blokken van het oorspronkelijke beeld worden verkregen in stap 910, wordt de uit de dispariteiten bestaande dispariteit-kaart van het oorspronkelijke beeld gegenereerd.

20 Stap 920 bestaat dan uit de volgende stappen.

Eerst wordt een verschil in helderheid-karakteristieken tussen aan elkaar grenzende blokken berekend (stap 922). Het verschil in helderheid-karakteristiek correspondeert met het MAD tussen de aan elkaar grenzende blokken. In het oorspron-25 kelijke beeld wordt het actuele blok voorgesteld door .. Daarbij staan i en j respectievelijk voor een ide rij en een jde kolom. In een aanvangsfase zijn i en j respectievelijk 0 en worden zeven aan elkaar grenzende blokken met uitzondering van . gekozen als de blokken die grenzen aan het 30 actuele blok B. ..

ii_l *101 0 920 32

De helderheid-karakteristieken tussen het actuele blok B. . en gekozen aan elkaar grenzende blokken worden vergeleken onder gebruikmaking van Vergelijking 7.

[VERGELIJKING 7] NEXT_DIFF(S/y) = Σ I ^original^ï '3^l) ^original (x2-y2)i X1' x2· /2δ®ι-ι./ LEFT_DIFF(Sf. y)= ' Σ i *1- /leSi.y. X2· RIGHT_DIFF(SU)= Σ χι· yvfl,·.,· x2' >is8u-! UPPER_LEFT_DIFF(B. ·)= Σ original^ 2’ y2)l

“ ’ X1. yisS;.y X2· Y2eBi-UH

LOWER_RIGHT_DIFF(ö.y)= Σ I

χ1· χ2·/2£β.· 1.;*1

UPPER_RIGHT_DIFF (S. y) = Σ 11 original^ " Wna/X2·^) I

xv y χ2· ƒ♦!

LOWER_LEFT_DIFF (S(. y) = Σ IW ·*ι) 'UA-^)I

X1· yi5fl/./· χ2· /2ε8,·-ι. y-1 5 Na de stap 922 wordt de mate van gelijkenis tussen het actuele blok B. en de verticaal aan elkaar grenzende blokken gecontroleerd (stap 924) . Daardoor wordt vastgesteld welke blokken verticaal gelijkenis vertonen (stap 926).

In het MAD tussen het actuele blok B. . en de zeven aan 10 elkaar grenzende blokken, dat is berekend in stap 922, is de NEXT_DIFF .) , dat het MAD tussen het actuele blok en het verticaal benedenliggende blok Bi+1 vormt, het kleinst is, houdt dit in dat de twee blokken die in verticale richting gepositioneerd zijn vergeleken met andere blokken de meest 15 gelijkende helderheid-karakteristieken zijn. Ook betekent dit dat deze twee blokken een goede mogelijkheid hebben om f0 1 0 9 2 0 33 hetzelfde onderwerp of dezelfde achtergrond in het beeld te vormen.

Wanneer wordt vastgesteld dat het actuele blok Bi j lijkt op het verticaal benedenliggende blok Bi+1 .. in stap 926 5 de respectieve posities en dispariteiten van het actuele blok B. j en het verticaal benedenliggende blok B.tl .. opgeslagen en wordt het aantal n opgeslagen dispariteiten geteld (stap 928). Hier worden de dispariteiten verkregen onder verwijzing naar de dispariteit-kaart die is gegenereerd in 10 stap 900.

Na stap 928 om te controleren of het actuele blok een helderheid-karakteristiek heeft die lijkt op de verticaal aan elkaar grenzende blokken, wordt de positie van het actuele blok B. j veranderd in de positie van het verticaal 15 benedenliggende blok Bi+1 en keert het proces terug naar stap 924. De stappen 924 tot en met 928 worden herhaald totdat er geen blokken meer zijn met een helderheid-karakteristiek die lijkt op het actuele blok B. tot de laatste rij van het beeld.

20 Wanneer wordt vastgesteld dat het actuele blok Bi geen gelijkenis met het verticaal benedenliggende blok Bi+1

vertoont, wordt in stap 926 vastgesteld of het aantal N

dispariteiten dat is geteld in stap 928 tenminste groter dan 1 is (stap 929). Wanneer het actuele blok Bi tenminste op 25 het verticaal benedenliggende blok B.+1 lijkt, is het moge-lijk om het filtermasker te verkrijgen. Het filtermasker correspondeert met de groep blokken met soortgelijke helder-heid-karakteristieken die is opgeslagen na stap 926.

Stap 940 bestaat dan uit de volgende stappen.

30 Eerst worden de blokken in het filtermasker ten opzichte van het actuele blok B. j gealigneerd in de orden van grootte van dispariteiten (stap 942) . Wanneer het aantal N in stap 929 getelde dispariteiten namelijk groter dan 1 is, worden de blokken in het filtermasker gealigneerd in de 35 orden van grootte van dispariteiten.

f010920 34

Na stap 942 wordt de midden-dispariteit geëxtraheerd uit de gealigneerde blokken en worden de dispariteiten van alle blokken in het filtermasker inclusief het actuele blok vervangen door de midden-dispariteit (stap 944) . Op dat 5 moment wordt ook de dispariteit-kaart gewijzigd.

De dispariteit-kaart wordt alleen gewijzigd wanneer het aantal N dispariteiten tenminste groter dan 1 is. Wanneer namelijk de NEXT_DIFF (B. ) die het MAD tussen het actuele blok B. . en het verticale benedenliggende blok B. . . vormt, 10 niet de kleinste van de MAD's tussen het actuele blok B. j en de zeven aan elkaar grenzende blokken in stap 926 is, wordt het aantal N getelde dispariteiten 0 en wordt stap 940 niet uitgevoerd.

Wanneer het aantal N dispariteiten in stap 929 0 be- 15 draagt, wordt een extra stap 980 uitgevoerd.

Om precies te zijn worden tenminste twee aan elkaar grenzende blokken met gelijkenis geëxtraheerd onder gebruikmaking van de helderheid-karakteristieken tussen het actuele blok B. en het aangrenzende blok die zijn berekend in stap 20 922, en . wordt de midden-dispariteit gekozen uit de dispariteiten tussen de geëxtraheerde blokken en het actuele blok B. (stap 982).

Vergelijking 8 wordt bijvoorbeeld gedefinieerd om de helderheid-karakteristiek in een diagonale richting ten 25 opzichte van het actuele blok Bi j te bekijken.

[VERGELIJKING 8] ULLR (B. .) = UPPER LEFT DIFF (B. .) + LOWER RIGHT DIFF (B. .)

lij - — 1,J — - 1,J

URLL (B. .) = UPPER RIGHT DIFF (B. .) + LOWER LEFT DIFF (B. .) lij — — i,j — — i,j HORIZON (B. .) = LEFT DIFF (B. .) + RIGHT DIFF (B. .) lij — i,j — ' i,j' 30 waarbij ULLR (B± ^.), URLL(B. ) en HORIZON (Bi ^) staan voor de som van de MAD's van de twee blokken in de diagonale richting ten opzichte van het actuele blok (B. ).

Van ULLR (B. .) , URLL (B. .) en HORIZON(B. .) wordt de klein- i/J N i,j i, j ste waarde gekozen. Wanneer ULLR(B. ) de kleinste waarde 35 heeft, wordt de middenwaarde gekozen uit de dispariteiten van B. , . , en B. . die het actuele blok (B. .) bevatten en 1-1, 3-1 1,3 1,3 10 1 0 920 35 wordt vervangen door de dispariteit van het actuele blok (B. ). Ook wordt de dispariteit-kaart gewijzigd. Wanneer URLL(B. .) de kleinste waarde heeft, wordt de middenwaarde 1.3 gekozen uit de dispariteiten van Bi :L en B.^ j_1 die het 5 actuele blok (S± ^) bevatten en wordt vervangen door de dispariteit van het actuele blok (B ) . Ook wordt de dispariteit-kaart gewijzigd. Wanneer HORIZON (B± ..) de kleinste waarde heeft, wordt de middenwaarde gekozen uit de dispariteiten van B. , , en B. . , die het actuele blok (B. .) bevatten 10 en wordt vervangen door de dispariteit van het actuele blok (Bi ). Ook wordt de dispariteit-kaart gewijzigd.

Tenslotte wordt vastgesteld of na stap 940 of het 980 het actuele blok het laatste blok van het beeld is (stap (950). Als dit niet het geval is, gaat het proces terug naar 15 stap 920 en wordt de dispariteit-kaart gewijzigd. Wanneer de dispariteit-kaart wordt gewijzigd omdat de dispariteiten van alle blokken van het oorspronkelijke beeld zijn toegekend aan nieuwe dispariteiten, wordt het dispariteit-beeld gereconstrueerd onder gebruikmaking van het oorspronkelijke 20 beeld en de gewijzigde dispariteit-kaart (stap 960).

Fig. HA tot en met 11C tonen een voorbeeld van vergelijking van het dispariteit-beeld met het nabewerkte dispariteit-beeld dat is verkregen door de onderhavige uitvinding. Fig. 12A tot en met 12C tonen een ander voorbeeld van 25 vergelijking van het dispariteit-beeld met het nabewerkte dispariteit-beeld dat door de onderhavige uitvinding is verkregen. In deze tekeningen geven A, B en C respectievelijk het oorspronkelijke beeld, het dispariteit-beeld en het nabewerkte dispariteit-beeld aan welke door de onderhavige 30 uitvinding zijn verkregen.

Zoals getoond in de tekeningen in het dispariteit-beeld dat niet nabewerkt is, wordt de omgrenzing van het onderwerp verbroken in de verticale richting (in het bijzonder verwijzend naar het gedeelte dat is aangegeven met een rechte 35 lijn). Aangezien de omgrenzing van het onderwerp echter niet verbroken is in het door de onderhavige uitvinding verkregen f0 1 0 920 36 nabewerkte dispariteit-beeld, wordt de beeldkwaliteit van het oorspronkelijke beeld gehandhaafd.

De bovenstaande werkwijze voor nabewerking volgens de onderhavige uitvinding kan worden toegepast op het nabewer-5 kingsfilter dat de werkwijze uitvoert. Het nabewerkingsfliter bezit een masker met een variabele afmeting. De afmeting van het masker wordt vastgesteld onder inachtneming van de helderheid-karakteristieken tussen aan elkaar grenzende blokken, wat een belangrijke karakteristiek is bij het 10 vaststellen of de blokken al dan niet bij hetzelfde onderwerp horen.

Zoals hierboven vermeld, is het door de inrichting en werkwijze om de tweedimensionale beeldsequentie om te zetten in het driedimensionaal beeld mogelijk om het driedimensio-15 nale beeld te genereren waarin elk gebied een gevoel van diepte geeft, wat een natuurlijk ruimtelijk effect creëert ofschoon de beweging van de camera en de verticale en snelle beweging van het onderwerp in het beeld worden gegenereerd, en door menselijke dispariteit kunnen worden waargenomen.

20 Ook wordt bij de inrichting en werkwijze om de tweedi mensionale beeldsequentie om te zetten in het driedimensionale beeld volgens de onderhavige uitvinding het driedimensionale beeld gegenereerd onder gebruikmaking van het tweedimensionale beeld dat wordt gevangen door de "eenogige" 25 videocamera zonder gebruik te maken van de stereoscopische camera. Daardoor is het mogelijk om een stereobeeld te bekijken via een beeldweergave-inrichting zoals de TV, videorecorder, DVD, HDTV en CD en de onderzoek-efficiëntie te verbeteren door de mogelijkheid te bieden om het beeld 30 driedimensionaal te bekijken, toegepast op een medisch gebied oder gebruikmaking van een endoscoop en supersonische golven. Behalve op dit gebied kan hij ook worden toegepast op verschillende andere gebieden, waaronder het gebied van amusement waarbij animatie driedimensionaal wordt gemaakt.

35 Ook is het met behulp van de werkwijze van nabewerking f010020 37 volgens de onderhavige uitvinding mogelijk om de kwaliteit van het verplaatsingsbeeld te verbeteren door vast te stellen of de aan elkaar grenzende blokken bij hetzelfde onderwerp horen waarbij de helderheid-karakteristiek van elk blok 5 in het oorspronkelijke beeld wordt gebruikt en het verplaatsingsbeeld als resultaat wordt nabewerkt. Bijgevolg is het mogelijk om een natuurlijk stereobeeld te genereren.

- conclusies - 101 0 920

Claims

1. Inrichting om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld, die bestaat uit: een blokbeweging-meetdeel dat dient voor het meten van 5 een bewegingsvector voor elk blok van een actueel beeld dat is verdeeld in blokken van een vooraf bepaalde afmeting onder gebruikmaking van een voorafgaand beeldraster; een horizontale dispariteit-genereerdeel dat dient om uit de bewegingsvector van elk blok een horizontale dispari-10 text te verkrijgen in overeenstemming met de beweging-karak-teristiek van het actuele beeld; een beeld-genereerdeel dat dient om elk blok in een horizontale richting te bewegen in overeenstemming met elke horizontale dispariteit en een samengesteld beeld te genere-15 ren dat correspondeert met het actuele beeld; en een uitvoergedeelte dat dient om een driedimensionaal beeld weer te geven dat is opgebouwd uit het actuele beeld en het samengestelde beeld.

2. Inrichting volgens conclusie 1, met het kenmerk, 20 dat wanneer een blok dat dezelfde middenpositie heeft als een ingevoerd actueel blok en dat groter is dan het actuele blok een tweede blok wordt genoemd, het blokbeweging-meetdeel een blok detecteert dat lijkt op het tweede blok in een zoekgebied op het voorgaande raster en een verschil van de 25 middenposities tussen het soortgelijke blok en het actuele blok meet als de beweging van het actuele blok.

3. Inrichting volgens conclusie 2, met het kenmerk, dat het zoekgebied tenminste twee maal zo groot is als het actuele blok.

4. Inrichting volgens conclusie 1, met het kenmerk, dat het horizontale dispariteit-genereerdeel bestaat uit: een horizontale dispariteit-omzetdeel dat dient om de door het blokbeweging-meetdeel gemeten bewegingsvector van elk blok om te zetten in een horizontale dispariteit; 101 0 920 een horizontale dispariteit-regeldeel dat dient om de door het horizontale dispariteit-omzetdeel omgezette horizontale dispariteit in reactie op een vooraf bepaald stuursignaal te regelen; en 5 een beweging-karakteristiek-vaststeldeel dat dient om de beweging-karakteristiek van het actuele beeld vast te stellen aan de hand van de bewegingsvector van elk blok en om in overeenstemming met het resultaat van de vaststelling het stuursignaal te genereren.

5. Inrichting volgens conclusie 4, met het kenmerk, dat het horizontale dispariteit-omzetdeel de omvang van de bewegingsvector berekent en de berekende waarde beschouwt als de horizontale dispariteit.

6. Inrichting volgens conclusie 4, met het kenmerk, 15 dat het horizontale dispariteit-regeldeel de door het horizontale dispariteit-omzetdeel omgezette horizontale dispariteit in die hoedanigheid uitvoert of de horizontale dispariteit aftrekt van een maximum horizontale dispariteit in reactie op het stuursignaal en de inrichting het resultaat 20 van de aftrekking uitvoert als de horizontale dispariteit van de respectieve blokken; waarbij de maximum horizontale dispariteit wordt vast-gesteld door het blokbeweging-meetdeel.

7. Inrichting volgens conclusie 4, waarbij het bewe-25 gingskarakteristiek-vaststeldeel de bewegingsvector van elk blok analyseert, de omvang van de totale beweging van het actuele beeld vergelijkt met een vooraf bepaalde referentiewaarde, en het stuursignaal genereert wanneer de totale beweging groter is dan de referentiewaarde; 30 waarbij de vooraf bepaalde referentiewaarde staat voor de omvang van de totale beweging wanneer een camera die het actuele beeld vangt, beweegt en een hoofdonderwerp in het actuele beeld beweegt.

8. Inrichting volgens conclusie 1, waarbij het beeld-35 genereerdeel bestaat uit: rf 0 1 0 9 2 0 een orgaan voor het horizontaal verplaatsen van de blokken dat de posities van alle blokken in het actuele beeld in horizontale richting naar rechts verplaatst door een horizontale dispariteit van elk blok; en 5 een blok-samenvoegdeel dat dient om alle blokken samen te voegen die door het orgaan voor het horizontaal verplaatsen van de blokken zijn verplaatst en het samengestelde beeld te genereren.

9. Inrichting volgens conclusie 8, met het kenmerk, 10 dat het beeldgenereerdeel verder bestaat uit een blok-inter- poleerdeel dat dient voor het interpoleren van gebieden die niet worden gevuld door alle blokken in het samengestelde beeld dat door het blok-samenvoegdeel is gegenereerd.

10. Inrichting volgens conclusie 1, waarbij het uit-15 voerdeel een linker-/rechterbeeld-vaststeldeel bevat dat dient om ofwel het actuele beeld of het samengestelde beeld uit te voeren als een linker-beeldsignaal en het andere als een rechter-beeldsignaal; waarbij het linker-beeldsignaal wordt weergegeven op 20 het linkeroog en het rechter-beeldsignaal wordt weergegeven op het rechteroog.

11. Inrichting volgens conclusie 1, die verder bestaat uit: een beeld-blokdeel dat dient om het actuele beeld te 25 verdelen in blokken met de vooraf bepaalde afmeting en de blokken uit te voeren naar het blokbeweging-meetdeel; en een voorafgaand raster-opslagdeel dat dient om het voorafgaande beeldraster op te slaan en het voorafgaande beeldraster uit te voeren naar het blokbeweging-meetdeel.

12. Inrichting volgens conclusie 1, die verder bestaat /· - uit een beweging-normaliseerdeel dat dient voor het normaliseren van de beweging die in elk blok door het blokbeweging-meetdeel wordt gemeten om een samenhang met de bewegingen van periferale blokken te vertonen.

13. Inrichting volgens conclusie 12, met het kenmerk, dat het beweging-normaliseerdeel een gewogen gemiddelde t 1010920 waarde tussen de omvang van de beweging van het actuele blok gemeten door het blokbeweging-meetdeel en de omvang van de bewegingen van de blokken grenzend aan het actuele blok vervangt door de omvang van de beweging van het actuele 5 blok.

14. Inrichting volgens conclusie 13, met het kenmerk, dat een gewogen waarde met betrekking tot elk aangrenzend blok wordt ingesteld evenredig aan de mate van gelijkenis met het actuele blok met betrekking tot de omvang van de 10 beweging en een afstand tot het actuele blok.

15. Inrichting volgens conclusie 13, waarbij een gewogen waarde met betrekking tot elk aangrenzend blok wordt ingesteld evenredig aan de mate van gelijkenis van het actuele blok met betrekking tot de omvang van de beweging en 15 een afstand tot het actuele blok en waarbij de gewogen waarde met betrekking tot blokken die verticaal aan het actuele blok grenzen groter wordt ingesteld dan blokken die horizontaal aan het actuele blok grenzen.

16. Werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld, welke werkwijze bestaat uit de stappen van: (a) het verdelen van een ingevoerd actueel beeld in blokken van een vooraf bepaalde afmeting; 25 (b) het meten van een bewegingsvector voor elk blok van het actuele beeld onder gebruikmaking van een voorafgaand beeldraster; (c) het verkrijgen van een horizontale dispariteit uit de bewegingsvector van elk blok in overeenstemming met het 30 bewegingskenmerk van het actuele beeld; (d) het genereren van een samengesteld beeld in overeenstemming met het actuele beeld door elk blok in een horizontale richting in overeenstemming met elk horizontale dispariteit te verplaatsen; en 35 (e) het weergeven van een driedimensionaal beeld dat is gevormd uit het actuele beeld en het samengestelde beeld. 101 6 920

17. Werkwijze volgens conclusie 16, waarbij stap (b) bestaat uit de stappen van: (bl) het uit het actuele beeld extraheren van een tweede blok met dezelfde middenpositie als een actueel blok 5 waarvan de blokbeweging moet worden geschat en groter is dan het actuele blok uit het actuele beeld; (b2) het uit het voorafgaande raster extraheren van een zoekgebied; (b3) het in het zoekgebied detecteren van een blok dat 10 lijkt op het tweede blok; en (b4) het berekenen van een verschil in middenposities tussen het soortgelijke blok en het actuele blok; waarbij wordt geschat dat het verschil de beweging van het actuele blok is.

18. Werkwijze volgens conclusie 17, met het kenmerk, dat het zoekgebied tenminste twee zo groot als het actuele blok.

19. Werkwijze volgens conclusie 16, waarbij de stap (c) bestaat uit de stappen van: 20 (cl) het omzetten van de bewegingsvector van elk blok in een horizontale dispariteit; (c2) het vaststellen van de bewegingskarakteristiek van het actuele beeld; en (c3) het regelen van de horizontale dispariteit in 25 overeenstemming met de bewegingskarakteristiek.

20. Werkwijze volgens conclusie 19, waarbij in stap (cl) de omvang van de bewegingsvector wordt berekend en de berekende waarde wordt verkregen als de horizontale dispariteit .

21. Werkwijze volgens conclusie 19, waarbij in stap (c2) de bewegingsvector van elk blok wordt geanalyseerd, de omvang van de totale beweging van het actuele beeld wordt vergeleken met een vooraf bepaalde referentiewaarde, en het resultaat van de vergelijking wordt beschouwd als de bewe-35 gingskarakteristiek; 10 1 0 9 2 0 waarbij de vooraf bepaalde referentiewaarde staat voor de omvang van de totale beweging wanneer een camera die het actuele beeld vangt beweegt en een hoofdonderwerp in het actuele beeld beweegt.

22. Werkwijze volgens conclusie 21, waarbij de stap (c3) bestaat uit de stappen van: het uitvoeren van de in stap (cl) verkregen horizontale dispariteit in die hoedanigheid wanneer de totale beweging van het actuele beeld niet groter is dan een vooraf bepaalde 10 referentiewaarde; en het van een maximum horizontale dispariteit aftrekken van de horizontale dispariteit wanneer de totale beweging van het actuele beeld groter is dan de vooraf bepaalde referentiewaarde en het uitvoeren van het resultaat van de 15 aftrekking als de horizontale dispariteit van elk blok; waarbij de maximum horizontale dispariteit wordt bepaald in stap (b).

23. Werkwijze volgens conclusie 16, waarbij de stap (d) bestaat uit de stappen van: 20 dl) het verplaatsen van de posities van alle blokken in het actuele beeld in een rechtse horizontale richting door de horizontale dispariteit van elk blok; en (d2) het samenvoegen van alle verplaatste blokken en het genereren van het samengestelde beeld.

24. Werkwijze volgens conclusie 23, waarbij de stap (d) verder bestaat uit de stap van het interpoleren van gebieden die niet worden opgevuld door alle blokken in het samengestelde beeld.

25. Werkwijze volgens conclusie 16, waarbij in stap (e) 30 ofwel het actuele beeld of het samengestelde beeld wordt weergegeven op het linkeroog en het andere wordt weergegeven op het rechteroog.

26. Werkwijze volgens conclusie 16 of 17, waarbij de stap (b) verder bestaat uit de stappen van 3 5 (b5) het instellen van een gewogen waarde met betrek king tot elk blok dat grenst aan een actueel blok om te ÜO1O920 worden genormaliseerd evenredig aan een mate van gelijkenis met het actuele blok met betrekking tot de omvang van de beweging en een afstand tot he.t. actuele blok; (b6) het verkrijgen van een gemiddelde gewogen waarde 5 tussen het actuele blok en de aangrenzende blokken; en (b7) het vervangen van de gewogen gemiddelde waarde door de bewegingsvector van het actuele blok.

27. Werkwijze volgens conclusie 26, waarbij in de stappen (b5) tot en met (b7) de beweging van het actuele 10 blok wordt genormaliseerd onder toepassing van de vergelijking Π"5 · « * /“Π 5 ,f i5 tu u \2\ t= *(i,'öf))/ Σ e '( i) e '(( ,) * ' ;=0 f=0 waarbij wanneer de groep groottes van bewegingen van de blokken met uitzondering van vooraf bepaalde s blokken van 15 de n x n (n > 0) naastgelegen blokken die zijn gealigneerd volgens de orde van grootte van de beweging wordt voorgesteld als {tir t2, ... tnn.s}, t, en (a^jb.) staan voor respectievelijk de omvang van de beweging van het actuele blok, de omvang van een willekeurig blok dat bij de groep 20 hoort, en de positie van het blok dat t. in het beeld bezit.

28. Werkwijze volgens conclusie 26, waarbij in de stappen (b5) tot en met (b7) de beweging van het actuele blok wordt genormaliseerd onder toepassing van de vergelijking t"£ £ ’ -1-«a-afHb-bfi M ((-(/ -0 (f-f,) !f01 0 9 2 0 waarbij wanneer de groep groottes van bewegingen van de blokken met uitzondering van vooraf bepaalde s blokken van de n x n (n > 0) naastgelegen blokken die zijn gealigneerd volgens de orde van grootte van de beweging wordt voorge-5 steld als {tx, t2, ... t„n_s}, t, en (a^Jb.) staan voor respectievelijk de omvang van de beweging van het actuele blok, de omvang van een willekeurig blok dat bij de groep hoort, en de positie van het blok dat t± in het beeld bezit.

29. Werkwijze volgens conclusie 16 of 17, waarbij de 10 stap (b) verder bestaat uit de stappen van (b5) het instellen van een gewogen waarde met betrekking tot elk blok dat grenst aan een actueel blok om te worden genormaliseerd evenredig aan een mate van gelijkenis met het actuele blok met betrekking tot de omvang van de 15 beweging en een afstand tot het actuele blok; (b6) het instellen van een grotere gewogen waarde met betrekking tot blokken die verticaal aan het actuele blok grenzen dan tot blokken die horizontaal aan het actuele blok grenzen; 20 (b7) het verkrijgen van een gewogen gemiddelde waarde tussen het actuele blok en de aangrenzende blokken; en (b8) het vervangen van de gewogen gemiddelde waarde door de bewegingsvector van het actuele blok.

30. Inrichting om een tweedimensionale beeldsequentie 25 om te zetten in een driedimensionaal beeld, die bestaat uit; een blokbeweging-meetdeel dat dient voor het meten van een bewegingsvector voor elk blok van een actueel beeld dat is verdeeld in blokken van een vooraf bepaalde afmeting onder gebruikmaking van een voorafgaand beeldraster; 30 een horizontale dispariteit-genereerdeel dat dient om uit de bewegingsvector van elk blok een horizontale dispariteit te verkrijgen in overeenstemming met de bewegingskarak-teristiek van het actuele beeld; een beeld-genereerdeel dat dient om elk blok in een 35 horizontale richting te verplaatsen in overeenstemming met 1010920 elke horizontale dispariteit en een samengesteld beeld te genereren dat correspondeert met het actuele beeld; een nabewerkingsorgaan dat dient om vast te stellen of aangrenzende blokken bij hetzelfde onderwerp horen waarbij 5 gebruik wordt gemaakt van de helderheid-karakteristiek van elk blok in het actuele beeld en om het samengestelde beeld in overeenstemming met het resultaat na te bewerken; en een uitvoergedeelte voor het weergeven van een driedimensionaal beeld dat is opgebouwd uit het actuele beeld en 10 het nabewerkte samengestelde beeld.

31. Werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionale beeldsequentie, omvattend de stappen van: (a) het verdelen van een ingevoerd actueel beeld in 15 blokken met een vooraf bepaalde afmeting; (b) het meten van een bewegingsvector voor elk blok van het actuele beeld onder gebruikmaking van een eerder beeld-raster; (c) het aan de hand van de bewegingsvector van elk blok 20 verkrijgen van een horizontale dispariteit overeenkomstig de bewegingskarakteristiek van het actuele beeld; (d) het verplaatsen van elk blok in een horizontale richting overeenkomstig elke horizontale dispariteit en het genereren van een samengesteld beeld dat correspondeert met 25 het actuele beeld; (e) het vaststellen of aan elkaar grenzende blokken tot hetzelfde onderwerp behoren onder gebruikmaking van de helderheidskarakteristiek van elk blok in het actuele beeld en het nabewerken van het samengestelde beeld overeenkomstig 30 het resultaat; en (f) het weergeven van een driedimensionaal beeld dat bestaat uit het actuele beeld en het nabewerkte samengestelde beeld.

32. Werkwijze volgens conclusie 31, met het kenmerk, 35 dat de stap (e) bestaat uit de stappen van: i· *010920 V (el) het verkrijgen van de dispariteit van elk blok van het oorspronkelijke beeld verdeeld in blokken met een vooraf bepaalde afmeting onder gebruikmaking van het samengestelde beeld en een maximum dispariteit en het genereren van een 5 dispariteitskaart die is opgebouwd uit dispariteiten van alle blokken; (e2) het vergelijken van helderheidskarakteristieken tussen elk blok en verticaal aangrenzende blokken en het bepalen dat de groep blokken met soortgelijke helderheidska- 10 rakteristieken het filtermasker wordt; (e3) het vervangen van de dispariteit van elk blok door een nieuwe dispariteit die is verkregen van blokken in het betreffende filtermasker en het wijzigen van de dispariteitskaart; en 15 (e4) het reconstrueren van het samengestelde beeld onder gebruikmaking van het oorspronkelijke beeld en de gewijzigde dispariteitskaart.

33. Werkwijze volgens conclusie 32, waarbij de stap (el) bestaat uit de stappen van: 20 (ell) het berekenen van de maximum dispariteit onder gebruikmaking van de afmeting van het blok van het oorspronkelijke beeld en de afmeting van het zoekgebied wanneer de beweging van het blok van het oorspronkelijke beeld wordt gezocht in een vorig beeld; 25 (el2) het berekenen van een absolute gemiddelde fout tussen het oorspronkelijke beeld en het samengestelde beeld door een dispariteit van 0 tot de maximum dispariteit te vervangen door een ingevoerd actueel blok; en (el3) het bepalen van een dispariteit die het berekende 30 absolute gemiddelde fout-minimum maakt tot de dispariteit van het actuele blok, waarbij de dispariteitskaart wordt gegenereerd door de stappen (el2) en (el3) uit te voeren voor alle blokken van het oorspronkelijke beeld.

34. Werkwijze volgens conclusie 33, waarbij stap (e2) bestaat uit de stappen van: 1010920 V (e21) het berekenen van een verschil in helderheidska-rakteristieken tusen een ingevoerd actueel blok en een vooraf bepaald aantal aangrenzende blokken; (e22) het controleren van overeenkomst tussen het 5 actuele blok en het verticaal aangrenzende blok; (e23) het opslaan van de posities en dispariteiten van het actuele blok en het verticaal aangrenzende blok wanneer er overeenkomst is; en (e24) het veranderen van het actuele blok in het verti-10 caal aangrenzende blok en het proces terugvoeren naar stap (e22); waarbij de stappen (e21) tot en met (e24) worden uitgevoerd met betrekking tot alle blokken van het oorspronkelijke beeld en wordt bepaald dat de groep blokken die in stap 15 (e23) is opgeslagen, het filtermasker met betrekking tot elk blok is.

35. Werkwijze volgens conclusie 34, met het kenmerk, dat bij stap (e23) het verschil van de helderheidskarakte-ristiek een minimum absolute gemiddelde waarde tussen het 20 actuele blok en het aangrenzende blok is.

36. Wkerwijze volgens conclusie 34, wanneer in geen dispariteit is opgeslagen in de stap (e23), waarbij de stap (e2) verder bestaat uit de stappen van; 25 (e25) het extraheren van ten minste twee aan elkaar grenzende blokken met overeenkomst onder gebruikmaking van het helderheidskarakteristiek-verschil tussen het vooraf bepaalde aantal aan elkaar grenzende blokken dat is berekend in stap (e21) en het kiezen van een mediaan-dispariteit uit 30 de dispariteiten van de geëxtraheerde blokken en het actuele blok; en (e26) het vervangen van de dispariteit van het actuele blok door de mediaan-dispariteit, waarbij de dispariteitskaart wordt gewijzigd door het 35 uitvoeren van de stappen (e25) en (e26) met betrekking tot 101 0 920 » het blok dat in het oorspronkelijke beeld het filtermasker niet bezit.

37. Werkwijze volgens een der conclusies 34 tot en met 36, waarbij de dispariteitswaarde wordt verkregen onder 5 verwijzing naar de dispariteitskaart die is gegenereerd in de stap (el).

38. Werkwijze volgens conclusie 32, waarbij de stap (e3) bestaat uit de stappen van: (e31) het aligneren van blokken in een filtermasker met 10 betrekking tot een ingevoerd actueel blok in de orde van grootte van dispariteiten; en (e32) het extraheren van een mediaan-dispariteit uit gealigneerde blokken en het vervangen van de dispariteiten van alle blokken in het filtermasker met de mediaan-dispari-15 teit; waarbij de dispariteitskaart wordt gewijzigd door uitvoering van de stappen (e31) en (e32) met betrekking tot het blok met het filtermasker in het oorspronkelijke beeld. 1010920