NL2010463C2 - Werkwijze voor het genereren van een panoramabeeld. - Google Patents

Description

Werkwijze voor het genereren van een panoramabeeld

De onderhavige uitvinding heeft betrekking op een werkwijze voor het genereren van een panoramabeeld.

Binnen de context van de onderhavige uitvinding wordt onder panoramabeeld verstaan een beeld welke verkregen kan worden door middel van meerdere optische camera's waarvan de afzonderlijk beelden worden gecombineerd tot het panoramabeeld en waarbij het gezichtsveld dat wordt weergegeven door het panoramabeeld groter is dan de gezichtsvelden behorende bij de optische camera's waarmee de afzonderlijke beelden zijn verkregen. Hierbij wordt onder gezichtsveld verstaan dat deel van de omgeving dat gezien vanuit een bepaalde positie en oriëntatie kan worden waargenomen door een optische camera of kan worden weergegeven door het panoramabeeld.

Panoramabeelden kunnen bijvoorbeeld informatie verstrekken over infrastructuur welke gebruikt kan worden door onder andere overheden, vastgoedmakelaars, nutsbedrijven, banken en verzekeringsmaatschappijen teneinde lokale situaties te beoordelen, bijvoorbeeld de ligging van vastgoedobjecten, de toestand van infrastructurele objecten en lokale verkeerssituaties.

Gezien bovenstaande toepassing is een belangrijke eis voor panoramabeelden dat de maten van de elementen in het beeld, zoals de hoogte of breedte van een gebouw of weg, voldoende nauwkeurig zijn.

Er bestaat tevens een continue wens om de resolutie van de panoramabeelden te verhogen. Omdat de resolutie van de optische camera's niet toereikend is, dient een veelvoud aan optische camera's gebruikt te worden.

Een verdere eis is dat de afzondelijke beelden welke gebruikt worden voor het genereren van het panoramabeeld verkregen kunnen worden door middel van een systeem dat op of aan een bewegend voertuig is bevestigd en dat de optische camera's de beelden kunnen vastleggen terwijl het voertuig zich beweegt. Indien dit niet het geval zou zijn wordt het moeilijker een afdoende hoeveelheid beelden te verzamelen voor een groot gebied zoals een regio, streek of land.

Een bekend probleem bij het combineren van meerdere beelden is dat deze beelden doorgaans niet vanuit eenzelfde positie met eenzelfde optische camera zijn verkregen. Hierdoor zullen parallax fouten optreden. Om deze fouten te voorkomen zijn een aantal technieken bekend.

In een eerste techniek wordt gebruik gemaakt van een optische camera welke draaibaar is bevestigd. Door de camera niet te verplaatsen maar enkel te roteren kunnen meerdere beelden verkregen worden vanuit min of meer dezelfde positie. Een nadeel van deze techniek is dat deze zich niet leent voor het verkrijgen van beelden vanuit een rijdend voertuig.

Een verder bekende techniek is bekend uit US 2002/0089765 Al en betreft het plaatsen van optische camera's en spiegels in een frame zodanig dat licht dat invalt op een spiegel wordt gereflecteerd naar een optische camera en wel op een zodanig manier dat de schijnbare intreepupil behorende bij deze optische camera dezelfde is als bij de andere camera's in het frame. Hierdoor wordt bereikt dat alle camera's schijnbaar vanuit dezelfde positie beelden waarnemen ondanks het feit dat de camera's allemaal een verschillende oriëntatie hebben. Een nadeel van deze techniek is dat het verkrijgen van een identieke schijnbare intreepupil voor alle camera's eisen stelt aan de plaatsing van de camera's waardoor deze aanpak zich minder leent voor het verhogen van het aantal camera's en in het bijzonder omdat de gewenste plaatsing soms onmogelijk is vanwege de fysieke afmetingen van de camera's.

Een andere techniek is bekend uit EP 1 903 534 Al en betreft een tweetal optische camera's welke op een lengteas van een voertuig achter elkaar op het dak van dat voertuig zijn geplaatst. Doordat het voertuig beweegt kan door middel van een geschikte aansturing van de camera's voor het vastleggen van een beeld bereikt worden dat ten tijde van het vastleggen van het beeld elke camera zich op dezelfde positie ten opzichte van de omgeving bevindt. Een nadeel van de techniek is dat het zich beperkt tot camera's welke in de lengterichting van het voertuig achter elkaar zijn geplaatst. Hierdoor is het verhogen van het aantal camera's beperkt te noemen. Een ander nadeel is dat bij het nemen van bochten er toch parallax fouten kunnen optreden.

Het is een doel van de onderhavige uitvinding een werkwijze te verschaffen voor het genereren van een panoramabeeld van een omgeving van een virtueel standpunt gezien vanuit het virtuele standpunt en overeenkomend met een vooraf bepaald gezichtsveld gebruikmakend van een veelvoud aan beelden, welk panoramabeeld geen tot weinig parallax fouten vertoont en waarbij bovenstaande nadelen zich niet tot nauwelijks voordoen.

Dit doel is bereikt met de werkwijze uit conclusie 1. Volgens de uitvinding omvat de werkwijze het verschaffen van een driedimensionaal (3D) puntenmodel van een omgeving rondom het virtuele standpunt, waarbij het 3D puntenmodel punten omvat met positie informatie en/of hierdoor gevormd wordt en/of hieruit bestaat, welke punten overeenkomen met één of meerdere elementen rondom het virtuele standpunt op een positie overeenkomend met de positie informatie. Het panoramabeeld komt overeen met een beeld dat verkregen zou worden indien een optische camera gebruikt zou worden op het virtuele standpunt welke het gezichtsveld vastlegt behorende bij het panoramabeeld. Doorgaans bestaat een dergelijke camera met de gewenste resolutie en het gewenste gezichtsveld niet waardoor meerdere beelden gebruikt moeten worden.

Een punt in het 3D puntenmodel komt bij voorkeur overeen met de aanwezigheid van een omtrekstructuur van een voorwerp op een plek in de ruimte welke overeenkomt met de positie informatie van dat punt. Een voorbeeld hiervan is een verzameling punten in het 3D puntenmodel welke overeenkomen met een buitenwand of gevel van een gebouw.

De punten uit het 3D puntenmodel komen overeen met één of meerdere elementen rondom het virtuele standpunt. Hiertoe wordt bij voorkeur in hoofdzaak de gehele omgeving rondom het virtuele standpunt afgetast voor het verzamelen van de punten voor het 3D puntenmodel. Het aftasten zelf hoeft hierbij niet vanuit het virtuele standpunt te geschieden. Echter, het 3D puntenmodel is bij voorkeur in die mate volledig dat een waarheidsgetrouw panoramabeeld verschaft kan worden behorende bij het virtuele standpunt en bij voorkeur met een willekeurig gezichtsveld en in het bijzonder met een gezichtsveld van 360 graden.

De werkwijze omvat verder het verkrijgen van een veelvoud aan beelden van de omgeving van het virtuele standpunt, elke beeld verkregen vanuit een bekende positie en met een bekende oriëntatie, waarbij de beelden kleurinformatie omvatten over ten minste een deel van de één of meerdere elementen. De beelden komen hierbij doorgaans overeen met digitale kleurenfoto's.

Voorts omvat de werkwijze het projecteren van de verkregen beelden op het 3D puntenmodel voor het verkrijgen van een 3D puntenmodel met kleurinformatie per punt. In deze stap wordt door middel van correlatie tussen punten uit het 3D puntenmodel en het verkregen beeld, meer in het bijzonder elementen uit dat beeld, de kleur bepaald van het punt in het 3D puntenmodel. Een voorbeeld hiervan is dat een punt in het 3D puntenmodel dat overeenkomt met een plek op een betonnen wand van een gebouw gecorreleerd wordt met diezelfde plek in de digitale foto van de wand of het gebouw. De kleur in de digitale foto van die plek wordt gebruik als basis voor het toekennen van een kleur aan het punt uit het 3D puntenmodel. Doorgaans zal de kleur gecorrigeerd worden om rekening te houden met omgevingsfactoren zoals andere veranderende lichtcondities.

Als laatste stap omvat de werkwijze het genereren van het panoramabeeld met behulp van het zo verkregen 3D puntenmodel van de omgeving. Het 3D puntenmodel omvat positie informatie en kleuren informatie. Daarom is het mogelijk te berekenen wat het panoramabeeld moet zijn gezien vanuit het virtuele standpunt en met een gegeven gezichtsveld.

Uit "Towards a 3D true colored space by the fusion of laser scanner point cloud and digital photos", by A. Abdelhafiz et al., ISPRS XXXVI-5/W17, is een techniek bekend voor het berekenen van een 3D model van een object. Deze techniek omvat eveneens het verschaffen van een 3D puntenmodel en het nemen van een veelvoud aan beelden voor het toekennen van kleur aan punten in het 3D puntenmodel. Echter, deze techniek is gericht op het bepalen van een kleuren 3D puntenmodel. Met een dergelijk model kan een aanzicht van het object gegenereerd worden. Dit document heeft niet als doel het verschaffen van panoramabeelden. In tegenstelling tot de onderhavige uitvinding wordt in dit document niet een 3D puntenmodel verkregen waarvan punten overeenkomen met één of meerdere elementen rondom het virtuele standpunt op een positie overeenkomend met de positie informatie. Eenzelfde overweging geldt voor het verkrijgen van de beelden. Dit geschiedt niet vanuit een positie welke in het 3D puntenmodel valt, maar enkel daarbuiten.

Volgens de uitvinding bevindt het virtueel standpunt zich bij voorkeur op of in de kleinste omhullende bol, ellipsoïde, balk, of doos welke alle punten uit het 3D puntenmodel omsluit. Dit houdt in dat het virtuele standpunt zich bij voorkeur in het 3D puntenmodel bevindt.

Het 3D puntenmodel volgens de uitvinding verschaft bij voorkeur informatie over de aanwezigheid van de één of meerdere elementen in richtingen overeenkomend met een gezichtshoek in het horizontale vlak, gezien vanuit het virtuele standpunt, van 180 graden of meer, bij voorkeur van ten minste 270 graden, en meer bij voorkeur van 360 graden. In aanvulling hierop of in plaats hiervan verschaft het 3D puntenmodel volgens de uitvinding bij voorkeur informatie over de aanwezigheid van de één of meerdere elementen in richtingen overeenkomend met een gezichtshoek in het verticale vlak, gezien vanuit het virtuele standpunt, van ten minste 120 graden, bij voorkeur van ten minste 150 graden, en meer bij voorkeur van 180 graden. Zo kan bijvoorbeeld een eenheid gebruikt worden voor het aftasten van de omgeving welke op het virtuele standpunt is geplaatst en welke ronddraait. Echter, het is voor de onderhavige uitvinding niet noodzakelijk dat de informatie behorende bij de verschillende richtingen wordt verkregen vanuit één en dezelfde positie.

Het verschaffen van een 3D puntenmodel omvat bij voorkeur het met een afstandbepalingseenheid aftasten van de omgeving rondom het virtuele standpunt vanuit één of meerdere bekende posities voor het bepalen van een afstand tussen de één of meerdere bekende posities en de één of meerdere elementen. Het bepalen van afstand is hierbij een voorbeeld van het aftasten van de omgeving. Andere technieken waarbij het aftasten informatie verschaft over de aanwezigheid van een object maar waarbij afstand niet direct wordt gemeten maar indirect kan worden afgeleid worden hierbij niet uitgesloten. Overigens wordt het gebruik van meerdere afstandbepalingseenheden niet uitgesloten. Dergelijke eenheden kunnen simultaan of sequentieel gebruikt worden.

Het verschaffen van het 3D puntenmodel omvat bij voorkeur het combineren van meerdere afstandbepalingen betreffende hetzelfde element vanuit verschillende bekende posities. Het wordt hierdoor bijvoorbeeld mogelijk informatie te verkrijgen over kenmerken van een element, zoals een wand, welke vanuit het virtuele standpunt niet zichtbaar zijn.

Het verschaffen van het 3D puntenmodel omvat bij voorkeur het langs een baan bewegen van een voertuig waarop de afstandbepalingseenheid is bevestigd, waarbij het voertuig stilstaat of beweegt tijdens het afstand bepalen. Doordat het voertuig beweegt vindt de afstandbepaling niet plaats op het virtuele standpunt. Echter, de omgeving van dit standpunt kan afdoende wordt afgetast. Het moge de vakman duidelijk zijn dat de snelheid van het voertuig en/of de snelheid van het aftasten eventueel aangepast dient te worden indien er veel elementen rondom het virtuele standpunt zijn om eventuele obstructie van het aftasten door een element te voorkomen.

Het voertuig kan meerdere eenheden omvatten welke gericht staan onder verschillende hoeken. Dit is met name voordelig indien de afstandbepalingseenheid een beperkt gezichtsveld heeft.

Om te voorkomen dat de omgeving van het virtuele standpunt onjuist wordt weergegeven op het panoramabeeld doordat elementen zich bevinden tussen het virtuele standpunt en één of meerdere posities van waaruit de omgeving is afgetast, kan de kortste afstand tussen de baan waarlangs bewogen wordt en het virtuele standpunt kleiner genomen worden dan een vooraf bepaalde waarde.

De afstandbepalingseenheid omvat bij voorkeur een Light Detection And Ranging (LIDAR) eenheid.

Het gezichtsveld van het panoramabeeld is in het horizontale vlak bij voorkeur gelijk aan of meer dan 180 graden, meer bij voorkeur ten minste 270 graden en nog meer bij voorkeur 360 graden. Het gezichtsveld van het panoramabeeld is in het verticale vlak bij voorkeur gelijk aan of meer dan 120 graden, meer bij voorkeur ten minste 150 graden en nog meer bij voorkeur 180 graden. Echter, de werkwijze volgens de onderhavige uitvinding staat toe dat een willekeurig gezichtsveld genomen wordt. Immers, bij voorkeur is een volledig 3D model van de omgeving voorzien van kleureninformatie beschikbaar.

De positie informatie omvat bij voorkeur driedimensionale positie informatie relatief tot een vooraf bepaalde oorsprong. Tijdens het aftasten wordt doorgaans een afstand verkregen tussen een waargenomen element en de positie van waaruit gedetecteerd wordt. Echter, deze laatste positie kan variabel zijn. Door nu alle positie informatie te relateren aan eenzelfde oorsprong kan de informatie gemakkelijker in een model verwerkt worden.

Het veelvoud aan beelden bestrijkt bij voorkeur in hoofdzaak de gehele omgeving zoals gezien vanuit het virtuele standpunt. Indien een panoramabeeld een beperkt gezichtsveld kent, bijvoorbeeld 100 graden in het horizontale vlak, is het voor het panoramabeeld niet noodzakelijk dat er beelden van de gehele omgeving genomen zijn. Echter, het geniet de voorkeur indien het gezichtsveld en het virtuele standpunt door een gebruiker instelbaar zijn. Door nu de gehele omgeving te bestrijken met beelden kan aan deze behoefte voldaan worden.

Ten minste één van de verkregen beelden heeft bij voorkeur minder beeldelementen in zich dan het gegenereerde panoramabeeld. Hierbij kan een beeldelement refereren aan een object in het beeld maar ook aan een pixel van een digitale foto. De resolutie van het panoramabeeld, bijvoorbeeld gemeten in het totaal aantal pixels per foto, kan verhoogd worden door gebruik te maken van meerdere beelden welke elk met hoge resolutie verkregen zijn maar welke slechts een deel van de omgeving betreffen. Als gevolg hiervan zal een beeld vaak minder elementen in zich hebben dan het resulterende panoramabeeld.

Het verkrijgen van een veelvoud aan beelden van de omgeving van het virtuele standpunt omvat bij voorkeur het nemen van digitale foto's elk vanuit een bekende positie en elk met een bekend gezichtsveld. Hierbij betreffen de digitale foto's elk bij voorkeur een segment van de omgeving van het virtuele standpunt. Tevens is het gezichtsveld behorende bij ten minste twee van de digitale foto's niet overlappend en/of is de positie van waaruit de foto is genomen verschillend bij ten minste twee digitale foto's. Hierdoor wordt de omgeving eigenlijk afgedekt door een veelvoud aan digitale foto's welke als een mozaïek dienen.

Het verkrijgen van het veelvoud aan beelden van de omgeving van het virtuele standpunt omvat bij voorkeur het langs een baan bewegen van een voertuig waarop de optische camera is bevestigd, waarbij het voertuig stilstaat of beweegt tijdens het verkrijgen van het veelvoud aan beelden. Hierbij kan de kortste afstand tussen de baan waarlangs bewogen wordt en het virtuele standpunt kleiner zijn dan een vooraf bepaalde waarde.

Het wordt niet uitgesloten dat het voertuig voor de afstandsbepaling en het voertuig voor het verkrijgen van de beelden hetzelfde voertuig betreft. Indien het twee voertuigen betreft geniet het de voorkeur indien beide voertuigen dezelfde baan afleggen.

De afstand tussen het virtuele standpunt en elk van de bekende posities van waaruit het veelvoud aan beelden is verkregen is bij voorkeur kleiner dan een vooraf bepaalde waarde. Dit sluit overigens niet uit dat er meerdere foto's genomen worden van de omgevingen van meerdere virtuele standpunten. Het geniet echter de voorkeur de foto's welke dienen als kleurinformatie van een omgeving van een gegeven virtueel standpunt te groeperen en te waarborgen dat de posities van waaruit die foto's genomen zijn niet te ver liggen van het virtuele standpunt zelf.

De positie van waaruit een beeld van het veelvoud aan beelden wordt verkregen of de bekende positie(s) voor de afstandbepaling worden bij voorkeur bepaald door middel van een positioneringsysteem zoals Global Positioning System GPS .

Het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel omvat bij voorkeur het toekennen van een kleur aan een punt in het 3D puntenmodel, welke kleur gebaseerd is op een kleur van een overeenkomstig punt in het beeld, rekening houdend met de positie informatie van dat punt in het 3D puntenmodel, de positie van waaruit het beeld is verkregen en het gezichtsveld horende bij het beeld. Hierbij kan gewerkt worden met fictieve projectielijnen welke zich uitstrekken vanuit de positie van waaruit het beeld is verkregen, meestal overeenkomend met de intreepupil van een optische camera, door het beeld naar een punt of een fictief punt in het 3D puntenmodel welke overeenkomt met een punt in het beeld door welke de projectielijn loopt. Hierbij wordt de positie van het beeld tussen het 3D puntenmodel en de positie van waaruit het beeld is verkregen bepaald door onder andere de gebruikte vergroting en/of het gezichtsveld en/of de afstand tussen een element in het 3D puntenmodel en de positie van waaruit het beeld is verkregen.

De toegekende kleur van een punt in het 3D puntenmodel is gebaseerd op de kleur van een overeenkomstig punt in het beeld. Hierbij kan gecorrigeerd worden voor de lichtintensiteit en/of licht samenstelling.

Meer in het bijzonder kan het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel de stappen omvatten van a) het voor een punt uit het beeld bepalen van een overeenkomstig punt in het 3D puntenmodel dat het dichtst ligt bij de bekende positie van waaruit het beeld is verkregen en welke minder dan een vooraf bepaalde afstand gelegen is van een projectielijn welke door het punt uit het beeld en de bekende positie loopt, en b) het toekennen van een kleur aan het in stap a) gevonden punt in het 3D puntenmodel, waarbij de kleur afgeleid wordt van de kleur van het overeenkomstige punt uit het beeld.

De werkwijze kan het verbeteren van het 3D puntenmodel omvatten op basis van het bestaande 3D puntenmodel en een beeld uit het veelvoud aan beelden. Tevens kan het verbeterde 3D puntenmodel gebruikt worden bij het genereren van het panoramabeeld.

Een voorbeeld van het verbeteren van het 3D puntenmodel omvat de stappen van a) het voor een punt uit het beeld bepalen van een veelvoud aan overeenkomstige punten in het 3D puntenmodel welke het dichtst liggen bij de bekende positie van waaruit het beeld is verkregen en welke minder dan een vooraf bepaalde afstand gelegen zijn van een projectielijn welke door het punt uit het beeld en de bekende positie loopt, b) het toevoegen van een punt aan het 3D puntenmodel, welke toegevoegd punt positie informatie krijgt toegekend overeenkomend met een interpolatie van de positie informatie van het genoemde veelvoud aan overeenkomstige punten, en c) het toekennen van een kleur aan het bij stap b) toegevoegde punt, waarbij de kleur afgeleid wordt van de kleur van het overeenkomstige punt uit het beeld. Door deze werkwijze kan het aantal punten in het 3D puntenmodel verhoogd worden.

Naast het zoeken van overeenkomstige punten tussen een beeld en het 3D puntenmodel kan de werkwijze volgens de onderhavige uitvinding verder de stappen omvatten van het extraheren van een eerste objectkenmerk uit het 3D puntenmodel en het extraheren van een tweede objectkenmerk uit een beeld uit het veelvoud aan beelden welke correspondeert met het eerste objectkenmerk. Vervolgens kan het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel mede gebaseerd zijn op een overeenkomst in het eerste en tweede objectkenmerk. Als voorbeeld kan de werkwijze het bepalen omvatten van een relatieve positiefout tussen het beeld en het 3D puntenmodel door de afstand te bepalen tussen de positie van het eerste objectkenmerk en het tweede objectmerk. Hierbij kan de positie informatie van een punt in het 3D puntenmodel, de bekende positie en/of de oriëntatie van waaruit het beeld verkregen is gecorrigeerd worden met behulp van de relatieve positiefout. Hierbij kan gebruik gemaakt worden van een weging welke gerelateerd is aan nauwkeurigheidsinformatie.

Zo kan een correctie van de bekende positie groter zijn naar mate de nauwkeurigheid van deze positie minder wordt ten opzichte van de oriëntatie en/of de positie informatie van een punt in het 3D puntenmodel. Overigens kan het bepalen van de relatieve positiefout ook geschieden na het projecteren van het beeld op het 3D puntenmodel. Zo kan de projectie van een rand van een gebouw op een 3D puntenmodel niet overlappen met de overeenkomstige rand in het 3D puntenmodel waardoor een relatieve positiefout afleidbaar is.

In het hiernavolgende zal de uitvinding in meer detail worden besproken onder verwijzing naar de bij gevoegde figuren, waarbij:

Figuur IA twee voertuigen toont voor het uitvoeren van enkele stappen van een werkwijze volgens de onderhavige uitvinding;

Figuur 1B een detailweergave toont van een van de voertuigen van figuur IA;

Figuur 2 een schematische weergave toont van een foto voor gebruik in een werkwijze volgens de onderhavige uitvinding;

Figuur 3 een driedimensionaal model toont voor gebruik in een werkwijze volgens de onderhavige uitvinding;

Figuur 4 een stroomdiagram toont van een werkwijze volgens onderhavige uitvinding;

Figuur 5 een stroomdiagram toont van een meer specifieke werkwijze volgens de onderhavige uitvinding;

Figuur 6 een schematisch, axonometrisch aanzicht toont van de werkwijze volgens de onderhavige uitvinding.

Voor de uitvinding maakt het op zich niet uit hoe de benodigde foto's verkregen worden en in welke richting zij gemaakt zijn. Zolang er voor een te genereren panoramabeeld maar voldoende beeldinformatie uit de beelden voorradig is voor het toekennen van kleur aan de punten in het 3D puntenmodel, kan een tweedimensionaal aanzicht van het 3D

puntenmodel verkregen worden die de indruk wekt een panoramabeeld in de vorm van een foto te zijn.

Een doel van de onderhavige uitvinding is om uiteindelijk panoramabeelden van de omgeving te genereren met een groot aantal beeldelementen, zodat de omgeving in groot detail weergegeven wordt, groter dan met een enkele opname door een conventionele camera mogelijk is. Voor dit voorbeeld wordt voor de beeldvorming en ter vergelijking met de stand der techniek daarom uitgegaan van een enkel voertuig 110 (figuur IA) met daarop twee camera's 112 en 114 gemonteerd die niet exact dezelfde oriëntatie hebben, maar een enigszins overlappend zichtveld hebben. Volgens de stand der techniek zouden de opnamen van deze camera's 112 en 114 door stitching verenigd kunnen worden tot een enkel beeld met een groter aantal beeldelementen. Door de afstand tussen de intreepupillen van de camera's 112 en 114 zal dit echter een beeld met parallaxfouten opleveren.

Verder wordt een driedimensionaal model gemaakt van de omgeving door een voertuig 120 voorzien van een tweetal Lidarinrichtingen 122 en 124 (figuren IA en 1B). Deze Lidarinrichtingen 122 en 124 hebben een roterende laserstraal waarmee de omgeving afgetast wordt. De roterende laserstralen definiëren elk een vlak 132 respectievelijk 134 waarin objecten 162, 164, 166, en 168 in de omgeving waargenomen worden. De Lidarinrichtingen 122 en 124 tasten slechts in een vlak 132, 134, maar doordat het voertuig 120 zich voortbeweegt over een weg 150, wordt de hele omgeving afgetast. De Lidarinrichtingen 122 en 124 zenden een laserbundel uit. Aan de hand van de tijd die een reflectie er over doet om terug te keren bij de Lidarinrichting 122, 124 kan de afstand van de Lidarinrichting tot een object vastgesteld worden. Aangezien ook bekend is in welke richting de laserbundel uitgezonden is, is de relatieve positie van het object waarop de laserbundel gereflecteerd is ten opzichte van de Lidarinrichting bekend. Door ook de positie van de Lidarinrichting 122, 124, bijvoorbeeld bepaald door middel van GPS, steeds op te slaan is aldus de absolute positie van de reflecties bekend.

Figuur 2 toont een voorbeeld van een opname 200 gemaakt door een van de camera's 112, 114. In de opname 200 is een weergave te zien van de weg 150 en de objecten 162, 164, 166 en 168 in de omgeving. De opname 200 wordt bij voorkeur met een digitale camera 112, 114 gemaakt met hoge resolutie.

Met behulp van de Lidarinrichtingen 122, 124 wordt een driedimensionaal model 300 (figuur 3) van de omgeving gemaakt. De objecten 162, 164, 166 en 168 worden in het 3D puntenmodel gedefinieerd door respectievelijk puntenclusters 362, 364, 366 en 368. De weg 150 wordt eveneens gedefinieerd door een puntencluster 370. Hetzelfde geldt voor de grond.

De punten in het 3D puntenmodel komen dus overeen met punten waar licht gereflecteerd werd door de aanwezigheid van een materiële structuur. Figuur 3 toont een weergave van het 3D puntenmodel 300 vanuit hetzelfde standpunt als waarin foto 200 is genomen.

Een voorbeeldwerkwijze 400 (figuur 4) volgens de onderhavige uitvinding omvat het volgende: de werkwijze gaat uit van een aantal foto's 200 die verkregen dienen te worden 408 en een 3D puntenmodel 300 (verkregen in stap 404) van de omgeving waar de foto's 200 genomen zijn. Het 3D puntenmodel 300 zou bijvoorbeeld een driedimensionale CAD-tekening kunnen zijn van de omgeving. Vaak zijn dergelijke tekeningen echter niet beschikbaar, bijvoorbeeld in oudere buurten. In nieuwere buurten zijn wellicht CAD-tekeningen beschikbaar van individuele gebouwen. Tekeningen van complete buurten zijn uitzonderlijk. Bovendien zijn deze tekeningen vaak nog niet voorzien van absolute positiegegevens. In de praktijk heeft het daarom de voorkeur om het 3D puntenmodel 300 te verkrijgen met behulp van een Lidarinrichting 122, 124. Zonder verdere bewerking levert dit puntenclusters op in een driedimensionale ruimte welke puntenclusters de buitenste oppervlakken van objecten in de omgeving representeren.

Nadat het 3D puntenmodel 300 en de foto's 200 verkregen zijn, worden de foto's 200 in het 3D puntenmodel 300 geprojecteerd 414. De individuele beeldelementen uit de foto's 200, bijvoorbeeld in de vorm van pixels, worden geprojecteerd door langs de projectielijn het punt in het 3D puntenmodel 300 te zoeken dat binnen een gestelde afstand van de projectielijn ligt en het dichtst bij het standpunt gelegen is waarvandaan de foto 200 genomen is. Hierbij strekt de projectielijn zich uit vanuit de intreepupil door de foto naar het 3D puntenmodel, zie figuur 6. De kleur van de pixel wordt vervolgens toegekend aan dit overeenkomstige punt in het 3D puntenmodel 300, waarbij de kleur eventueel aangepast wordt. Op deze wijze wordt het 3D puntenmodel 300 ingekleurd met de foto's 200. Overigens hoeft de bovengenoemde gestelde afstand niet een vaste afstand te zijn. Zo zal een 3D puntenmodel 300 dat verkregen is door Lidarinrichtingen 122, 124 op een auto te monteren die door het gebied rijdt over het algemeen puntenwolken opleveren die op grotere hoogte boven de grond minder dicht zijn dan vlak bij de grond, aangezien de Lidarinrichting 122, 124 tijdens het roteren met een vaste hoek aftast en de afstand tussen de individuele aftastlijnen (de richtingen waarin de laserstraal verzonden wordt) divergeert met toenemende afstand van de Lidarinrichting 122, 124. In dergelijke situaties is het voordelig om de gestelde afstand afhankelijk te maken van bijvoorbeeld de hoogte boven de grond en/of de afstand tot het standpunt waarvandaan de foto genomen is.

Vervolgens wordt een standpunt bepaald 416 behorende bij het te genereren panoramabeeld, alsmede een bijbehorende oriëntatie, ofwel kijkrichting, en een gezichtsveld, om in de volgende stap, stap 418, het 3D puntenmodel 300 te gebruiken om het panoramabeeld te genereren, waarmee de werkwijze eindigt 420.

In een verdere uitvoeringsvorm (figuur 5) worden additionele stappen ondernomen om te kans te verkleinen dat delen van foto's 200 op de verkeerde objecten in het 3D puntenmodel 300 worden geprojecteerd. Deze werkwijze 500 begint 502 en voert in eerste instantie de reeds hierboven besproken stappen uit van het verkrijgen 504 van het 3D puntenmodel 300 en het verkrijgen 508 van de foto's 200.

Na het verkrijgen 504 van het 3D puntenmodel 300 worden uit het 3D puntenmodel 300 objectkenmerken geëxtraheerd 506. Uit de foto's 200 worden eveneens objectkenmerken geëxtraheerd 510. Bij objectkenmerken moet gedacht worden aan kenmerken van objecten die zowel in het 3D puntenmodel 300, als in de foto's 200 relatief gemakkelijk te identificeren zijn, zoals randen en hoeken van objecten die scherp contrasteren met de achtergrond.

Nadat uit zowel het 3D puntenmodel 300 als uit de foto's 200 objectkenmerken geëxtraheerd zijn, worden corresponderende paren van objectkenmerken gezocht 512 in enerzijds het 3D puntenmodel 300 en anderzijds de foto's 200. Vervolgens worden wederom de foto's 200 geprojecteerd 514 in het 3D puntenmodel 300, echter nu wordt bij de projectie rekening gehouden met de corresponderende objectkenmerk paren. Dit wordt gedaan door in het projectieproces de corresponderende objectkenmerken met elkaar uit te lijnen, zodat bijvoorbeeld beeldpunten die bij voorgrondobjecten horen op de voorgrondobjecten geprojecteerd worden en beeldpunten die bij achtergrondobjecten behoren op achtergrondobjecten geprojecteerd worden. Vervolgens wordt, net als in de werkwijze van figuur 4, een virtueel standpunt bepaald 516 met oriëntatie en gezichtsveld, waarna het panoramabeeld wordt gegenereerd, waarmee de procedure eindigt 520.

Bovenstaande wordt verduidelijkt aan de hand van figuur 6. Hierin wordt een 3D model 300 getoond van een kerkgebouw, waarbij het kerkgebouw door een puntencluster wordt voorgesteld omvattende punten 310, zoals deze door een Lidarinrichting 122, 124 verkregen zou kunnen zijn. Ter verduidelijking van de figuur zijn de randen van de vlakken in het 3D puntenmodel 300 weergegeven met gestippelde lijnen. In het daadwerkelijke 3D puntenmodel 300 zijn de punten 310 op of nabij de randen echter niet zonder meer te onderscheiden van de andere punten 310 die zich bijvoorbeeld midden in een vlak bevinden.

Ten minste één foto 200 wordt geprojecteerd op het 3D puntenmodel 300 volgens de projectielijnen 620. De projectielijnen 620 worden bepaald door de geometrie van het optische systeem van de camera waarmee de foto 200 verkregen is en strekken zich uit vanuit de positie 621 van de intreepupil ten tijde van het nemen van foto 200 door de foto 200 richting het 3D puntenmodel. Het 3D puntenmodel kan meerdere punten omvatten die in de buurt liggen van projectielijn 620. Doorgaans zal dat punt gekozen worden welke het dichtst bij positie 621 en de projectielijn 620 ligt. Deze projectie volgens de projectielijnen 620 kent kleuren toe aan de punten 310 in het 3D puntenmodel 300. Optioneel worden extra punten 310 toegevoegd aan het 3D puntenmodel 300.

Vervolgens wordt het (eventueel gedeeltelijk) ingekleurde 3D puntenmodel 300 gebruikt om een panoramabeeld 600 te genereren. Dit kan wederom geschieden door middel van projectie echter nu vanuit 3D puntenmodel 300 richting een virtueel standpunt 622. Hiertoe wordt gebruik gemaakt van projectielijnen 630 welke zich vanuit de punten van 3D puntenmodel 300 uitstrekken naar virtueel standpunt 622.

Het moge de vakman duidelijk zijn dat het in figuur 6 getoonde voorbeeld enkel dient ter illustratie. In de praktijk wordt deze werkwijze gebruikt voor het genereren van panoramabeelden welke een beeld verschaffen van een omgeving van virtueel standpunt 622 en niet een enkel object zoals in figuur 6. In een dergelijk geval omvat het 3D puntenmodel punten rondom virtueel standpunt 622. Virtueel standpunt 622 bevindt zich als het ware in het 3D puntenmodel en niet, zoals uit figuur 6 zou kunnen worden geconcludeerd, buiten het 3D puntenmodel.

De hier beschreven en in de figuren getoonde uitvoeringsvormen zijn slechts voorbeelduitvoeringsvormen die slecht opgenomen zijn ter illustratie van de uitvinding. Deze uitvoeringsvormen dienen derhalve niet opgevat te worden als beperkend. Het zal voor de vakman duidelijk zijn dat velerlei aanpassingen en alternatieven mogelijk zijn binnen de uitvinding. Zo kunnen bijvoorbeeld aspecten van verschillende uitvoeringsvormen gecombineerd worden tot nieuwe uitvoeringsvormen. De gevraagde bescherming wordt slechts beperkt door de nu navolgende conclusies.

Claims (27)

1. Werkwijze voor het genereren van een panoramabeeld van een omgeving van een virtueel standpunt gezien vanuit het virtuele standpunt en overeenkomend met een vooraf bepaald gezichtsveld; het verschaffen van een 3D puntenmodel van een omgeving rondom het virtuele standpunt, waarbij het 3D puntenmodel punten omvat met positie informatie, welke punten overeenkomen met één of meerdere elementen rondom het virtuele standpunt op een positie overeenkomend met de positie informatie; het verkrijgen van een veelvoud aan beelden van de omgeving van het virtuele standpunt, elk beeld verkregen vanuit een bekende positie en met een bekende oriëntatie, waarbij de beelden kleurinformatie omvatten over ten minste een deel van de één of meerdere elementen; het projecteren van de verkregen beelden op het 3D puntenmodel voor het verkrijgen van een 3D puntenmodel met kleurinformatie per punt; het genereren van het panoramabeeld met behulp van het zo verkregen 3D puntenmodel van de omgeving.

2. Werkwijze volgens conclusie 1, waarbij het virtueel standpunt zich bevindt op of in de kleinste omhullende bol, ellipsoïde, balk, of doos welke alle punten uit het 3D puntenmodel omsluit.

3. Werkwijze volgens conclusie 1 of 2, waarbij het 3D puntenmodel informatie verschaft over de aanwezigheid van de één of meerdere elementen in richtingen overeenkomend met een gezichtshoek in het horizontale vlak, gezien vanuit het virtuele standpunt, van 180 graden of meer, bij voorkeur van ten minste 270 graden en meer bij voorkeur van 360 graden; en/of waarbij het 3D puntenmodel informatie verschaft over de aanwezigheid van de één of meerdere elementen in richtingen overeenkomend met een gezichtshoek in het verticale vlak, gezien vanuit het virtuele standpunt, van ten minste 120 graden, bij voorkeur van ten minste 150 graden, en meer bij voorkeur van 180 graden.

4. Werkwijze volgens een van de voorgaande conclusies, waarbij het verschaffen van een 3D puntenmodel het met een afstandbepalingseenheid aftasten van de omgeving rondom het virtuele standpunt vanuit één of meerdere bekende posities omvat voor het bepalen van een afstand tussen de één of meerdere bekende posities en de één of meerdere elementen.

5. Werkwijze volgens conclusie 4, waarbij het verschaffen van het 3D puntenmodel het combineren omvat van meerdere afstandbepalingen betreffende hetzelfde element vanuit verschillende bekende posities.

6. Werkwijze volgens conclusie 4 of 5, waarbij het verschaffen van het 3D puntenmodel het langs een baan bewegen omvat van een voertuig waarop de afstandbepalingseenheid is bevestigd, waarbij het voertuig stilstaat of beweegt tijdens het afstand bepalen.

7. Werkwijze volgens conclusie 6, waarbij het voertuig meerdere eenheden omvat welke gericht staan onder verschillende hoeken.

8. Werkwijze volgens conclusie 7 of 8, waarbij de kortste afstand tussen de baan waarlangs bewogen wordt en het virtuele standpunt kleiner is dan een vooraf bepaalde waarde.

9. Werkwijze volgens een van de conclusies 4-8, waarbij de afstandbepalingseenheid een LIDAR eenheid omvat.

10. Werkwijze volgens een van de voorgaande conclusies, waarbij het gezichtsveld van het panoramabeeld in het horizontale vlak bij voorkeur gelijk aan of meer dan 180 graden, meer bij voorkeur ten minste 270 graden en nog meer bij voorkeur 360 graden is; en/of waarbij het gezichtsveld van het panoramabeeld in het verticale vlak bij voorkeur gelijk aan of meer dan 120 graden, meer bij voorkeur ten minste 150 graden en nog meer bij voorkeur 180 graden is.

11. Werkwijze volgens een van de voorgaande conclusies, waarbij de positie informatie driedimensionale positie informatie omvat relatief tot een vooraf bepaalde oorsprong.

12. Werkwijze volgens een van de voorgaande conclusies, waarbij het veelvoud aan beelden in hoofdzaak de gehele omgeving bestrijkt zoals gezien vanuit het virtuele standpunt.

13. Werkwijze volgens een van de voorgaande conclusies, waarbij ten minste één van de verkregen beelden minder beeldelementen in zich heeft dan het gegenereerde panoramabeeld.

14. Werkwijze volgens een van de voorgaande conclusies, waarbij het verkrijgen van een veelvoud aan beelden van de omgeving van het virtuele standpunt het nemen van digitale foto' s omvat elk vanuit een bekende positie en elk met een bekend gezichtsveld.

15. Werkwijze volgens conclusie 14, waarbij de digitale foto's elk een segment van de omgeving van het virtuele standpunt betreffen.

16. Werkwijze volgens conclusie 14 of 15, waarbij het gezichtsveld behorende bij ten minste twee van de digitale foto's niet overlappend is en/of waarbij de positie van waaruit de foto is genomen verschillend is bij ten minste twee digitale foto's.

17. Werkwijze volgens een van de conclusies 14-16, waarbij het verkrijgen van een veelvoud aan beelden van de omgeving van het virtuele standpunt het langs een baan bewegen omvat van een voertuig waarop één of meerdere optische camera(s) is/zijn bevestigd, waarbij het voertuig stilstaat of beweegt tijdens het verkrijgen van het veelvoud aan beelden.

18. Werkwijze volgens conclusie 17, waarbij de kortste afstand tussen de baan waarlangs bewogen wordt en het virtuele standpunt kleiner is dan een vooraf bepaalde waarde.

19. Werkwijze volgens een van de voorgaande conclusies, waarbij de afstand tussen het virtuele standpunt en elk van de bekende posities van waaruit het veelvoud aan beelden wordt verkregen kleiner is dan een vooraf bepaalde waarde.

20. Werkwijze volgens een van de voorgaande conclusies, waarbij de positie van waaruit een beeld van het veelvoud aan beelden wordt verkregen of de bekende positie(s) voor de afstandbepaling wordt bepaald door middel van een positioneringsysteem zoals GPS.

21. Werkwijze volgens een van de voorgaande conclusies, waarbij het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel het toekennen omvat van een kleur aan een punt in het 3D puntenmodel, welke kleur gebaseerd is op een kleur van een overeenkomstig punt in het beeld, rekening houdend met de positie informatie van dat punt in het 3D puntenmodel, de positie van waaruit het beeld is verkregen en het gezichtsveld horende bij het beeld.

22. Werkwijze volgens conclusie 21, waarbij het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel omvat: a) het voor een punt uit het beeld bepalen van een overeenkomstig punt in het 3D puntenmodel dat het dichtst ligt bij de bekende positie van waaruit het beeld is verkregen en welke minder dan een vooraf bepaalde afstand gelegen is van een projectielijn welke door het punt uit het beeld en de bekende positie loopt; b) het toekennen van een kleur aan het in stap a) gevonden punt in het 3D puntenmodel, waarbij de kleur afgeleid wordt van de kleur van het overeenkomstige punt uit het beeld.

23. Werkwijze volgens een van de voorgaande conclusies, verder omvattende het verbeteren van het 3D puntenmodel op basis van het bestaande 3D puntenmodel en een beeld uit het veelvoud aan beelden.

24. Werkwijze volgens conclusie 23, waarbij het genereren van het panoramabeeld met behulp van het zo verkregen 3D model van de omgeving het genereren omvat met behulp van het verbeterde 3D puntenmodel.

25. Werkwijze volgens conclusie 23 of 24, waarbij het verbeteren van het 3D puntenmodel omvat: a) het voor een punt uit het beeld bepalen van een veelvoud aan overeenkomstige punten in het 3D puntenmodel welke het dichtst liggen bij de bekende positie van waaruit het beeld is verkregen en welke minder dan een vooraf bepaalde afstand gelegen zijn van een projectielijn welke door het punt uit het beeld en de bekende positie loopt; b) het toevoegen van een punt aan het 3D puntenmodel, welke toegevoegd punt positie informatie krijgt toegekend overeenkomend met een interpolatie van de positie informatie van het genoemde veelvoud aan overeenkomstige punten; c) het toekennen van een kleur aan het bij stap b) toegevoegde punt, waarbij de kleur afgeleid wordt van de kleur van het overeenkomstige punt uit het beeld.

26. Werkwijze volgens een van de voorgaande conclusies, verder omvattende de stappen van: het extraheren van een eerste objectkenmerk uit het 3D puntenmodel; het extraheren van een tweede objectkenmerk uit een beeld uit het veelvoud aan beelden dat correspondeert met het eerste objectkenmerk; waarbij het projecteren van een beeld uit het veelvoud aan beelden op het 3D puntenmodel mede gebaseerd is op een overeenkomst in het eerste en tweede objectkenmerk.

27. Werkwijze volgens conclusie 26, verder omvattende de stappen van: het bepalen van een relatieve positiefout tussen het beeld en het 3D puntenmodel door de afstand te bepalen tussen de positie van het eerste objectkenmerk en het tweede obj ectmerk; het corrigeren van de positie informatie van een punt in het 3D puntenmodel en/of het corrigeren van de bekende positie en/of de oriëntatie van waaruit het beeld verkregen is.