NL2008490C2 - Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten. - Google Patents

Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten. Download PDF

Info

Publication number
NL2008490C2
NL2008490C2 NL2008490A NL2008490A NL2008490C2 NL 2008490 C2 NL2008490 C2 NL 2008490C2 NL 2008490 A NL2008490 A NL 2008490A NL 2008490 A NL2008490 A NL 2008490A NL 2008490 C2 NL2008490 C2 NL 2008490C2
Authority
NL
Netherlands
Prior art keywords
objects
information
images
spatial
markers
Prior art date
Application number
NL2008490A
Other languages
English (en)
Inventor
Alexander Petrus Hendricus Franciscus Sluijs
Jan Otto Ooms
Original Assignee
Ooms Otto Bv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48044982&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=NL2008490(C2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Ooms Otto Bv filed Critical Ooms Otto Bv
Priority to NL2008490A priority Critical patent/NL2008490C2/nl
Priority to EP16199861.2A priority patent/EP3153816B1/en
Priority to US14/384,359 priority patent/US9885573B2/en
Priority to JP2015500377A priority patent/JP2015518138A/ja
Priority to PCT/NL2013/050173 priority patent/WO2013137733A1/en
Priority to EP13713554.7A priority patent/EP2825841B1/en
Priority to ES13713554.7T priority patent/ES2616487T3/es
Application granted granted Critical
Publication of NL2008490C2 publication Critical patent/NL2008490C2/nl

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B19/00Mining-hoist operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B9/00Kinds or types of lifts in, or associated with, buildings or other structures
    • B66B9/06Kinds or types of lifts in, or associated with, buildings or other structures inclined, e.g. serving blast furnaces
    • B66B9/08Kinds or types of lifts in, or associated with, buildings or other structures inclined, e.g. serving blast furnaces associated with stairways, e.g. for transporting disabled persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Description

5
Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten
De uitvinding heeft betrekking op een werkwijze voor het extraheren van informatie over een of meerdere ruimtelijke objecten door een persoon, waarbij gebruik wordt gemaakt van een inrichting omvattende een centrale verwerkingseenheid 10 welke is geladen met een computerprogramma, een digitaal geheugen welke is verbonden met de centrale verwerkingseenheid, een camera welke een sequentie aan beelden kan opnemen, en uitvoermiddelen welke zijn verbonden met de centrale verwerkingseenheid. De uitvinding heeft 15 tevens betrekking op de inrichting die bij een dergelijke werkwijze gebruikt kan worden.
De stand van de techniek met betrekking tot het opmeten van trappen ten behoeve van het vervaardigen van een traplift 20 omvat onder meer de zogenaamde fotogrammetrietechniek, waarbij een veelheid aan foto's van de trap en de omgeving daarvan wordt genomen, waarmee een 3D-model van de trap en de omgeving daarvan wordt vervaardigd, en waarbij vervolgens door middel van een CAD-programma virtueel een 25 trapliftgeleiding op de trap wordt aangebracht en de afmetingen van de verschillende onderdelen van de geleiding worden bepaald.
Een nadeel van deze werkwijze is dat het nemen van de foto's 30 en vervolgens het verwerken op een computer relatief lang duurt en dat men tijdens het nemen van de foto's van de trap niet weet of men voldoende foto's heeft gemaakt, en of deze met voldoende overlap en op de correcte wijze (qua 2 belichting en qua opnamehoek), zijn gemaakt om nauwkeurig genoeg een 3D-model van de trap te maken en de afmetingen van de onderdelen te bepalen. Het komt dan ook regelmatig voor dat de meting opnieuw gedaan moet worden. Voorts neemt 5 de grote hoeveelheid aan foto's veel geheugenruimte in beslag en duurt het lang om deze via elektronische weg te versturen.
De uitvinding beoogt een snelle en betrouwbare wijze van het 10 verkrijgen van informatie over objecten, in het bijzonder van het verkrijgen van geometrische informatie van objecten, meer in het bijzonder van het opmeten van objecten, nog meer in het bijzonder van het verkrijgen van geometrische informatie van een trap en de omgeving van de trap ten 15 behoeve van het ontwerp van een geleiding van een traplift.
Daartoe is volgens een eerste aspect van de uitvinding het computerprogramma ingericht om in real-time door middel van beeldanalysetechnieken de sequentie aan beelden te 20 analyseren en informatie te extraheren over de een of meerdere objecten, en althans een deel van deze informatie in real-time door middel van de uitvoermiddelen aan de persoon te communiceren. Volgens een ander aspect van de uitvinding omvat de informatie over de een of meerdere 25 objecten ten minste: de ruimtelijke positie van de een of meerdere objecten, de ruimtelijke afstand tussen twee objecten; de ruimtelijke onderlinge hoek tussen in hoofdzaak twee lineaire objecten; en/of een indicatie over de bereikte (statistische) nauwkeurigheid van de geëxtraheerde 30 informatie.
Bij voorkeur worden markers op of in de nabijheid van de een of meerdere objecten geplaatst voordat middels de inrichting 3 een sequentie aan beelden wordt opgenomen, welke markers een zodanig vorm hebben dat deze in de beelden een detecteerbare ruimtelijke oriëntatie kunnen aannemen, en waarbij het computerprogramma is ingericht om de ruimtelijke positie en 5 oriëntatie van de markers te bepalen op basis van de in de beelden gedetecteerde markers en van in de beelden gedetecteerde markante elementen ("salient features" of "natural features"), en om de informatie van de op die wijze bepaalde positie en oriëntatie van de markers tijdens de 10 opname van elk van de beelden te gebruiken bij het extraheren van de genoemde informatie over de een of meer objecten. Hierdoor wordt een set duidelijk herkenbare punten gemeten, waardoor met grote nauwkeurigheid de positie van de camera kan worden bepaald. Bij voorkeur hebben de markers 15 elk een eigen unieke, detecteerbare ID.
Bij voorkeur omvatten de beeldanalysetechnieken een AR-markertrackingalgoritme en een Simultaneous Localization and Mapping (SLAM) algoritme om de ruimtelijke locaties van de 20 markers en van de camera tijdens elk van de beelden te bepalen; en waarbij de beeldanalysetechnieken een algoritme omvatten dat is gebaseerd op epipolaire geometrie, om de ruimtelijke positie van ten minste twee markante punten van de een of meerdere objecten te bepalen. Middels het AR-25 markertrackingalgoritme kunnen eenduidig bepaalde expliciete meetpunten in de gereconstrueerde objecten worden aangebracht.
Meer bij voorkeur omvatten de beeldanalysetechnieken een 30 Simultaneous Localization and Mapping (SLAM) of Structure from Motion (SfM) algoritme om de positie van de camera en de ruimtelijk locaties van de waargenomen herkenbare punten tijdens elk van de beelden te bepalen; en daarnaast een AR- 4 markertrackingalgoritme waarmee eenduidig bepaalde expliciete meetpunten in de gereconstrueerde scene kunnen worden aangebracht, om de ruimtelijke positie van ten minste twee markante punten van de een of meerdere objecten te 5 bepalen.
De SfM techniek en de SLAM techniek zijn op zich bekende technieken. Het op internet gepubliceerde artikel "Structure & Motion" door Kai Zhou (Matrikelnummer: 0727794) beschrijft 10 en vergelijkt zowel de SfM techniek als de SLAM techniek als twee alternatieve methoden om ruimtelijke informatie over een object te verkrijgen. Volgens het genoemde aspect van de uitvinding wordt de SLAM techniek gebruikt om de positie van de camera te bepalen, alsmede de 3D locaties van de 15 waargenomen uniek-identificeerbare punten uit de camerabeelden. Deze set punten omvat in deze uitvinding zowel de waargenomen hoekpunten van de markers, als de markante elementen ("salient features" of "natural features" die in de omgeving aanwezig zijn.
20
Bij voorkeur wordt de werkwijze gebruikt om de genoemde informatie te extraheren ten behoeve van een de volgende toepassingen: het vervaardigen van een traplift of trapleuning; het installeren van andere bouwkundige 25 objecten; het vastleggen van situaties in forensisch onderzoek; het vastleggen van situaties in archeologisch onderzoek; het inmeten van technische installaties in fabrieken en op andere locaties.
30 De markante punten van de een of meerdere objecten kunnen worden gemarkeerd door een of meer van de markers, zodat een grote nauwkeurigheid van de meting kan worden bereikt en zodat een set duidelijk herkenbare punten wordt gemeten. Bij 5 voorkeur worden markers gebruikt waarvan zowel de locatie als de oriëntatie bepaald kan worden, zodat het te meten punt zich buiten het midden van de marker of buiten het oppervlak van de marker kan bevinden. Afhankelijk van het 5 contrast en de aanwezigheid van herkenbare patronen in het object kunnen markante punten ook door beeldherkenningssoftware worden bepaald.
Het programma is bij voorkeur ingericht om althans een deel 10 van de informatie, bij voorkeur de coördinaten van de genoemde ruimtelijke positie van de een of meerdere objecten, op te slaan in het digitale geheugen.
Volgens een aspect van de uitvinding is het programma bij 15 voorkeur ingericht om in real-time een indicatie over de bereikte (statistische) nauwkeurigheid van de geëxtraheerde informatie over de een of meerdere objecten te berekenen en via de uitvoermiddelen te communiceren, waarbij de indicatie een audio- en/of visueel signaal kan zijn. Op deze wijze 20 wordt zeker gesteld dat er voldoende beelden zijn gemaakt om een nauwkeurige vaststelling van de benodigde informatie te bewerkstelligen.
In een voorkeursuitvoering wordt de werkwijze gebruikt voor 25 het vervaardigen van een traplift, omvattende een geleiding die bij de trap wordt bevestigd en waarlangs een frame waarop een persoon kan plaatsnemen zich kan verplaatsen, waarbij markers op of bij de trap worden aangebracht, en waarbij de informatie over de een of meerdere objecten ten 30 minste omvat de ruimtelijke positie van de markers. Daarbij is het programma bij voorkeur ingericht om afmetingen van onderdelen van de geleiding van de traplift te berekenen. Op deze wijze kan in real-time de vorm en afmetingen van de 6 onderdelen van de geleiding, bijvoorbeeld een rail, worden berekend en eventueel visueel als uitvoer aan de gebruiker worden gepresenteerd.
5 De inrichting omvat bij voorkeur een beeldscherm en de indicatie over de bereikte (statistische) nauwkeurigheid omvat in een voorkeursuitvoering een door de centrale verwerkingseenheid gegenereerd object, bijvoorbeeld bestaande uit een projectie van punten, lijnen en/of 10 vlakken, zoals bijvoorbeeld de trap of de genoemde geleidingsrail, dat in een steeds stabielere mate op het beeldscherm overlappend op het actuele beeld van de camera, bijvoorbeeld van de trap, wordt getoond. Op die wijze ziet de gebruiker terwijl deze met de inrichting langs het object 15 of de objecten beweegt en beelden opneemt het gegenereerde object, bijvoorbeeld de gereconstrueerde trap met eventueel daarin reeds ingeprojecteerd een rail, in augmented reality op het beeldscherm verschijnen, waarbij dit gegenereerde object eerst nog onvolledig in beeld kan zijn en/of van 20 positie kan veranderen, maar zodra er voldoende beelden zijn opgenomen zal het object volledig en op een stabiele positie in beeld zijn.
Het SLAM-algoritme kan bijvoorbeeld door een van de volgende 25 verkrijgbare of daarmee vergelijkbare gereedschappen worden uitgevoerd: PTAMM van de Active Vision Group van de Oxford University, Verenigd Koninkrijk, of de iPad 2-gebaseerde SLAM-implementatie van 13th Lab, Zweden.
30 Het AR-markertrackingalgoritme kan bijvoorbeeld door een van de volgende verkrijgbare of daarmee vergelijkbare gereedschappen wordt uitgevoerd: Vuforia van Qualcomm; ARToolkit van ARToolworks; OpenCV (Open Source Computer
Vision).
7
De inrichting is bij voorkeur een tabletcomputer of een 5 smartphone, welke in de handel verkrijgbaar zijn. De inrichting omvat bij voorkeur een versnellingssensor en/of gyroscoop die is verbonden met de centrale verwerkingseenheid, waarbij het programma is ingericht om door middel van informatie van de versnellingssensor en/of 10 gyroscoop te bepalen of de camera althans in hoofdzaak niet beweegt in de ruimte, en om op dat moment een beeld van de camera op te nemen in de sequentie aan beelden. Op die wijze kunnen automatisch scherpe beelden worden opgenomen.
15 De uitvinding heeft tevens betrekking op het genoemde computerprogramma, al dan niet op een door een computer leesbare drager, voor het extraheren van informatie over een of meerdere ruimtelijke objecten door een persoon.
20 De uitvinding zal hierna aan de hand van een in de figuren weergegeven uitvoeringsvoorbeeld worden toegelicht, waarin:
Figuur 1 een perspectiefaanzicht van een trap met een traplift is; 25
Figuur 2 een perspectiefaanzicht is van een tabletcomputer waarmee de werkwijze volgens de uitvinding kan worden uitgevoerd; 30 Figuur 3 een bovenaanzicht is van een AR-marker die gebruikt kan worden bij de werkwijze volgens de uitvinding; en
Figuur 4 een stroomschema is van een algoritme dat gebruikt kan worden bij de werkwijze volgens de uitvinding.
8
Figuur 1 toont trapliftinstallatie 1, welke een langs een 5 trap 2 met bochten geplaatste rail 3, die een hoek a met de horizontaal H insluit, en een langs de rail 3 beweegbare inrichting 4 voor het transporteren van de last tussen de verschillende niveaus, hier dus een traplift omvat. Een dergelijke traplift is meer uitgebreid beschreven in EP 2 10 216 284 Al.
De rail 3 wordt gedragen door een aantal verdeeld langs de trap 2 aangebrachte staanders 5. De rail 3 is voorzien van een tandheugel waarop de motor van de beweegbare inrichting 15 4 kan aangrijpen. De rail 3 bestaat uit een aantal raildelen 3a, 3b, 3c, van verschillende lengten en krommingen.
Teneinde de traplift te vervaardigen worden op een aantal plaatsen (bijvoorbeeld op elke trede) markers op de trap 20 aangebracht.
Vervolgens wordt middels een inrichting zoals getoond in figuur 2, een tabletcomputer 8 met een camera, waarop een computerprogramma draait dat is ingericht om in real-time 25 camerabeelden te maken en te verwerken, langs de trap met de markers bewogen. Daarbij wordt de tabletcomputer 8 door de gebruiker regelmatig stilgehouden. De sensoren in de tabletcomputer 8 nemen waar wanneer de tabletcomputer niet beweegt, en het computerprogramma is ingericht om op dat 30 moment een opname vast te leggen.
Het computerprogramma is in deze specifieke toepassing ingericht om uit de gemaakte foto's in real-time de positie 9 van de staanders 5 en de afmetingen van de raildelen 3a, 3b, 3c etc. te berekenen. Voorts kan het computerprogramma worden ingericht om zodra deze berekening resultaat levert, in real-time begint met het projecteren van de 5 gereconstrueerde trap met de staanders 5 en de rail 3 op het beeldscherm 9 van de tabletcomputer in het beeld dat op dat moment door de camera wordt waargenomen. Op die manier verschijnt na verloop van tijd door middel van augmented reality de complete tap met de trapliftgeleiding in beeld.
10 De geprojecteerde raildelen 3a, 3b, 3c kunnen eerst nog onvolledig zijn of van plaats veranderen. Hoe meer foto's genomen worden, hoe stabieler en vollediger het geprojecteerde beeld wordt, zodat de gebruiker feedback krijgt over de voortgang van de meting. Deze feedback kan 15 ook op ander manieren middels indicatoren worden gegeven. Indien de nauwkeurigheid van de meting voldoende is, klinkt bovendien een geluidssignaal uit de luidspreker 10 van de tabletcomputer 8. Op dat moment worden ook de vormen en afmetingen van de raildelen in het geheugen van de 20 tabletcomputer 8 opgeslagen. Een dergelijke meting kan in ongeveer 60 seconden voltooid worden. De gegevens over de vormen en afmetingen van de raildelen 3a, 3b, 3c en de benodigde staanders 5 kunnen via een datapoort 11 worden uitgelezen, danwel via een draadloze verbinding worden 25 verzonden voor verdere verwerking.
Het computerprogramma gebruikt een combinatie van een Simultaneous Localization and Mapping (SLAM) algoritme en een AR-trackingalgoritme om de positie van de camera tijdens 30 elk van de gemaakte foto's te bepalen, alsmede de 3D locatie van de waargenomen herkenbare punten. Deze herkenbare punten bestaan uit twee sets: de zogenaamde natural features, en de hoekpunten van de AR-markers. De natural features worden 10 uniek geïdentificeerd door hun zogenaamde feature-vector, en krijgen een opvolgend ID, op basis van de volgorde van waarneming. De marker-hoekpunten worden geïdentificeerd aan de hand van het eigen ID van de marker, én het ID van het 5 hoekpunt. Bijvoorbeeld: linksboven is 0, rechtsboven is 1, rechtsonder is 2, linksonder is 3.
Een opgenomen camerabeeld wordt dus tweemaal geanalyseerd: eenmaal om de Natural Features te detecteren/tracken, en een 10 tweede maal om de ID's en hoekpunten van de AR-markers te extraheren.
Het bijzondere van deze werkwijze is dat AR-markertracking in real-time wordt gecombineerd met SLAM-tracking, waardoor 15 de voordelen van beide beschikbaar komen: - Doordat de AR-markers gegarandeerd uniek te identificeren zijn ontstaat er in het berekende resultaat een duidelijke 3D tekening van de situatie (met alleen SLAM tracking ontstaat alleen een moeilijk 20 te interpreteren puntenwolk) - Doordat de SLAM-tracking de 3D locatie van de waargenomen punten zeer nauwkeurig berekent, in een globaal coördinatenstelsel, kan ook de locatie van de AR-marker zeer nauwkeurig worden berekend. Dit in 25 tegenstelling tot gewone AR-tracking, waarbij de locatie van de markers worden bepaald in het coördinatenstelsel van de camera (dus niet globaal) en met relatief lage precisie, met name in de diepterichting bezien vanuit de camera.
30 - Voor een goede werking van het SLAM algoritme (robuustheid tegen verstoringen, nauwkeurigheid) is het van belang dat er een groot aantal punten overeenkomt tussen camerabeelden, een minimum van 25 wordt genoemd 11 in de literatuur. Als alleen van de hoekpunten van de AR-markers gebruik gemaakt zou worden dan is de kans groot dat tijdens een opname regelmatig de tracking onderbroken wordt. Dan moet het systeem herlokaliseren 5 ("waar is de camera nadat er weer voldoende punten gevonden zijn?") en daarna de nieuw gevormde puntenwolk combineren met de bestaande, wanneer er in eerste instantie te weinig 'aanknopingspunten' gevonden werden. Dit kan een paar seconden duren, en staat een 10 soepele gebruikservaring dus in de weg. Door ook natural features te gebruiken is de kans dat er voldoende punten getrackt kunnen worden veel groter, en de kans op verstoring dus veel kleiner.
Het computerprogramma is ook ingericht om de data real-time 15 middels (statistische) technieken te analyseren. De beeldanalyse gebeurt real-time, in een iteratief proces, net zolang totdat de vereiste (statistische) nauwkeurigheid is bereikt, waarna een geluidssignaal of visueel signaal wordt gegeven.
20
Op het beeldscherm 9 kan op deze wijze een 3-D beeld van de trap 2, en de trapomgeving getoond, voorzien van gegenereerde punten, lijnen en vlakken. Een deel van deze gegenereerde punten, lijnen en vlakken kunnen automatisch 25 worden aangemaakt, bijvoorbeeld ten behoeve van het vormen van de rail 3, doordat herkend wordt dat twee markers bij elkaar horen en een lijn moeten vormen. Andere punten, lijnen en vlakken kunnen interactief door de gebruiker aangemaakt, bijvoorbeeld door twee punten in het beeld te 30 kiezen waartussen een afstand moet worden bepaald, of door drie punten aan te wijzen om een hoek te bepalen, etcetera.
12
Een voorbeeld van een AR-marker als meetpunt is weergegeven in figuur 3. De coördinaat van het meetpunt, dat door de punt van de marker wordt aangeduid, kan worden in zijn algemeenheid worden weergegeven als (x, y, z), en in dit 5 geval als (6, -2, 0).
Een voorbeeld van de stappen in het algoritme zoals weergegeven in figuur 4:
Stap 1 (41) Ontvang camerabeeld van sensor; 10 Stap 2a (42) Detecteer of track natural features in het camerabeeld en sla de 2D coördinaten op in tabel (53);
Stap 2b) (43) Detecteer AR-markers, lees de relatieve 3D
coördinaten uit tabel (52) en controleer de geldigheid van de AR-markers, en sla de 2D coördinaten van de vier 15 hoekpunten van de AR-markers op in tabel (53) waarbij de descriptor een combinatie van het marker-ID en de identificatie van het hoekpunt is;
Stap 3) (44) Voer SIAM analyse uit op de gegevens uit de tabel (53) van de detecties van stap 2a en stap 2b, en de 20 tabel (54) uit stap 4a (47);
Stap 4) (45) Update huidige locatie en oriëntatie van camera (tracking); (46) Indien camerapositie voldoende anders is:
Stap 4a (47) Update 3D reconstructie met nieuwe 25 camera, punten, verfijn bestaande punten (mapping), dit resulteert in 3D locaties voor de natural features in tabel (54), en (48) update de meetkwaliteit van de waargenomen AR markers uit het huidige beeld;
Stap 4b) (49) Bereken coördinatenstelsels van AR
30 markers op basis van nauwkeurige 3D locaties van hoekpunten AR markers uit tabel (54); 13
Stap 4c) (50) Bereken locaties van meetpunten op basis van coördinatenstelsels marker plus relatieve locatie van meetpunt in dat stelsel uit tabel (52);
Stap 5 (51) Render real-time augmented reality view van 5 werkelijkheid plus geometrische informatie en meetinformatie op basis van de gegevens uit stap 3 en indien camerastandpunt volgens stap 4 is gewijzigd ook de gegevens uit stap 4c - hierbij kan gebruik worden gemaakt van gegevens uit een tabel (55) met bijvoorbeeld lijnen en 10 vlakken en van gegevens uit een tabel 56 met bijvoorbeeld afstanden, hoeken, oppervlakken en volumes die zich bevinden tussen meetpunten die door een gebruiker middels een user interface zijn aangewezen, of die automatisch door de processor tussen de meetpunten worden aangebracht op basis 15 van bijvoorbeeld voorgedefinieerde groeperingen van AR markers;
Ga naar stap 1 (41).
Hoewel de uitvinding hier is toegelicht aan de hand van een 20 uitvoeringsvoorbeeld, zal duidelijk zijn dat de onderhavige uitvinding vele toepassingen kan hebben waarbij de locatie en of oriëntatie van objecten in een ruimte moet worden vastgelegd, bijvoorbeeld op het gebied van installatietechniek, forensisch onderzoek, archeologie, 25 tuinarchitectuur, onderwatermetingen, renovaties, bouw, interieurarchitectuur, het leggen van vloeren, weginrichting (zebrapaden, spoorwegovergangen, stoplichten), en dergelij ke.
30

Claims (18)

1. Werkwijze voor het extraheren van informatie over een of meerdere ruimtelijke objecten door een persoon, waarbij 5 gebruik wordt gemaakt van een inrichting omvattende: een centrale verwerkingseenheid welke is geladen met een computerprogramma; een digitaal geheugen welke is verbonden met de centrale verwerkingseenheid; 10 een camera welke een sequentie aan beelden kan opnemen; uitvoermiddelen welke zijn verbonden met de centrale verwerkingseenheid; waarbij het computerprogramma is ingericht om in realtime door middel van beeldanalysetechnieken de sequentie aan 15 beelden te analyseren en informatie te extraheren over de een of meerdere objecten, en althans een deel van deze informatie in real-time door middel van de uitvoermiddelen aan de persoon te communiceren; waarbij de informatie over de een of meerdere objecten 20 ten minste omvat: de ruimtelijke positie van de een of meerdere objecten, de ruimtelijke afstand tussen twee objecten; de ruimtelijke onderlinge hoek tussen in hoofdzaak twee lineaire objecten; en/of 25 een indicatie over de bereikte nauwkeurigheid van de geëxtraheerde informatie.
2. Werkwijze volgens conclusie 1, waarbij markers op of in de nabijheid van de een of meerdere objecten worden 30 geplaatst voordat middels de inrichting een sequentie aan beelden wordt opgenomen, welke markers een zodanig vorm hebben dat deze in de beelden een detecteerbare ruimtelijke oriëntatie kunnen aannemen, en waarbij het computerprogramma is ingericht om de ruimtelijke positie en oriëntatie van de markers te bepalen op basis van de in de beelden gedetecteerde markers en van in de beelden gedetecteerde markante elementen, en om de informatie van de op die wijze 5 bepaalde positie en oriëntatie van de markers tijdens de opname van elk van de beelden te gebruiken bij het extraheren van de genoemde informatie over de een of meer obj ecten.
3. Werkwijze volgens conclusie 1 of 2, waarbij de beeldanalysetechnieken een AR-markertracking algoritme en een Simultaneous Localization and Mapping (SLAM) algoritme omvatten om de positie van de markers en van de camera tijdens elk van de beelden te bepalen; en 15 waarbij de beeldanalysetechnieken een algoritme omvatten dat is gebaseerd op epipolaire geometrie om de ruimtelijke positie van ten minste twee markante punten van de een of meerdere objecten te bepalen, waarbij de door middel van het SLAM-algoritme bepaalde positie van de camera 20 tijdens de opname van elk van de beelden mede als invoer van het algoritme worden gebruikt.
4. Werkwijze volgens conclusie 1, 2 of 3, waarbij de werkwijze wordt gebruikt om de genoemde informatie te 25 extraheren ten behoeve van een de volgende toepassingen: het vervaardigen van een traplift of trapleuning; het installeren van andere bouwkundige objecten; het vastleggen van situaties in forensisch onderzoek; het vastleggen van situaties in archeologisch 30 onderzoek; het inmeten van technische installaties in fabrieken en op andere locaties.
5. Werkwijze volgens een van de voorgaande conclusies, waarbij de markante punten van de een of meerdere objecten worden gemarkeerd door een of meer van de markers.
6. Werkwijze volgens een van de voorgaande conclusies, waarbij het programma is ingericht om althans een deel van de informatie op te slaan in het digitale geheugen.
7. Werkwijze volgens een van de voorgaande conclusies, 10 waarbij het programma is ingericht om coördinaten van de genoemde ruimtelijke positie van de een of meerdere objecten in het digitale geheugen op te slaan.
8. Werkwijze volgens een van de voorgaande conclusies, 15 waarbij het programma is ingericht om in real-time een indicatie over de bereikte statistische nauwkeurigheid van de geëxtraheerde informatie over de een of meerdere objecten te berekenen en via de uitvoermiddelen te communiceren.
9. Werkwijze volgens conclusie 8, waarbij de indicatie een audio- en/of visueel signaal is.
10. Werkwijze volgens een van de voorgaande conclusies, waarbij de werkwijze wordt gebruikt voor het vervaardigen 25 van een traplift, omvattende een geleiding die bij de trap wordt bevestigd en waarlangs een frame waarop een persoon kan plaatsnemen zich kan verplaatsen, waarbij markers op of bij de trap worden aangebracht, en waarbij de informatie over de een of meerdere objecten ten minste omvat de 30 ruimtelijke positie van de markers.
11. Werkwijze volgens conclusie 10, waarbij het programma voorts is ingericht om afmetingen van onderdelen van de geleiding van de traplift te berekenen.
12. Werkwijze volgens een van de voorgaande conclusies, waarbij de inrichting een beeldscherm omvat en de indicatie over de bereikte statistische nauwkeurigheid een door de centrale verwerkingseenheid gegenereerd object, bijvoorbeeld een geleidingsrail, omvat dat in een steeds stabielere mate 10 op het beeldscherm overlappend op het actuele beeld van de camera, bijvoorbeeld van een trap, wordt getoond.
13. Werkwijze volgens een van de voorgaande conclusies, waarbij het SLAM-algoritme door een van de volgende 15 verkrijgbare of daarmee vergelijkbare gereedschappen wordt uitgevoerd: PTAMM van de Active Vision Group van de Oxford University, Verenigd Koninkrijk; de iPad-gebaseerde SLAM-implementatie van 13th Lab,
20 Zweden.
14. Werkwijze volgens een van de voorgaande conclusies, waarbij het AR-markertrackingalgoritme door een van de volgende verkrijgbare of daarmee vergelijkbare 25 gereedschappen wordt uitgevoerd: Vuforia van Qualcomm; ARToolkit van ARToolworks; OpenCV (Open Source Computer Vision).
15. Werkwijze volgens een van de voorgaande conclusies, waarbij de inrichting een tabletcomputer of een smartphone is.
16. Werkwijze volgens een van de voorgaande conclusies, waarbij de inrichting een versnellingssensor en/of gyroscoop omvat die is verbonden met de centrale verwerkingseenheid, en waarbij het programma is ingericht om door middel van 5 informatie van de versnellingssensor en/of gyroscoop te bepalen of de camera althans in hoofdzaak niet beweegt in de ruimte, en om op dat moment een beeld van de camera op te nemen in de sequentie aan beelden.
17. Inrichting voor het extraheren van informatie over een of meerdere ruimtelijke objecten door een persoon, omvattende: een centrale verwerkingseenheid welke is geladen met een computerprogramma; 15 een digitaal geheugen welke is verbonden met de centrale verwerkingseenheid; een camera welke een sequentie aan beelden kan opnemen; uitvoermiddelen welke zijn verbonden met de centrale verwerkingseenheid; 20 waarbij het computerprogramma is ingericht om in real time door middel van beeldanalysetechnieken de sequentie aan beelden te analyseren en informatie te extraheren over de een of meerdere objecten, en althans een deel van deze informatie in real-time door middel van de uitvoermiddelen 25 aan de persoon te communiceren; waarbij de informatie over de een of meerdere objecten ten minste omvat: de ruimtelijke positie van de een of meerdere objecten, de ruimtelijke afstand tussen twee objecten; 30 de ruimtelijke onderlinge hoek tussen in hoofdzaak twee lineaire objecten; en/of een indicatie over de bereikte nauwkeurigheid van de geëxtraheerde informatie.
18. Computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten door een persoon, welk programma is ingericht om in real-time door middel 5 van beeldanalysetechnieken een sequentie aan beelden van een camera te analyseren en informatie te extraheren over een of meerdere objecten, en althans een deel van deze informatie in real-time door middel van uitvoermiddelen aan een persoon te communiceren; 10 waarbij de informatie over de een of meerdere objecten ten minste omvat: de ruimtelijke positie van de een of meerdere objecten, de ruimtelijke afstand tussen twee objecten; de ruimtelijke onderlinge hoek tussen in hoofdzaak twee 15 lineaire objecten; en/of een indicatie over de bereikte nauwkeurigheid van de geëxtraheerde informatie.
NL2008490A 2012-03-15 2012-03-15 Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten. NL2008490C2 (nl)

Priority Applications (7)

Application Number Priority Date Filing Date Title
NL2008490A NL2008490C2 (nl) 2012-03-15 2012-03-15 Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten.
EP16199861.2A EP3153816B1 (en) 2012-03-15 2013-03-14 Method, device and computer programme for extracting information about one or more spatial objects
US14/384,359 US9885573B2 (en) 2012-03-15 2013-03-14 Method, device and computer programme for extracting information about one or more spatial objects
JP2015500377A JP2015518138A (ja) 2012-03-15 2013-03-14 1つ以上の空間物体に関する情報を抽出するための方法、機器およびコンピュータプログラム
PCT/NL2013/050173 WO2013137733A1 (en) 2012-03-15 2013-03-14 Method, device and computer programme for extracting information about one or more spatial objects
EP13713554.7A EP2825841B1 (en) 2012-03-15 2013-03-14 Method, device and computer programme for extracting information about a staircase
ES13713554.7T ES2616487T3 (es) 2012-03-15 2013-03-14 Procedimiento, dispositivo y programa de ordenador para extraer información acerca de una escalera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NL2008490A NL2008490C2 (nl) 2012-03-15 2012-03-15 Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten.
NL2008490 2012-03-15

Publications (1)

Publication Number Publication Date
NL2008490C2 true NL2008490C2 (nl) 2013-09-18

Family

ID=48044982

Family Applications (1)

Application Number Title Priority Date Filing Date
NL2008490A NL2008490C2 (nl) 2012-03-15 2012-03-15 Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten.

Country Status (6)

Country Link
US (1) US9885573B2 (nl)
EP (2) EP2825841B1 (nl)
JP (1) JP2015518138A (nl)
ES (1) ES2616487T3 (nl)
NL (1) NL2008490C2 (nl)
WO (1) WO2013137733A1 (nl)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2851868A1 (en) * 2013-09-20 2015-03-25 ETH Zurich 3D Reconstruction
NL2013355B1 (en) 2014-08-22 2016-09-23 Handicare Stairlifts B V Method and system for designing a stair lift rail assembly.
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム
CN104803259A (zh) * 2015-03-16 2015-07-29 陈长柱 在现有楼梯上增设楼宇智能代步电梯的方法
CN104649105A (zh) * 2015-03-16 2015-05-27 陈长柱 智能化楼道代步电梯
CN106289181B (zh) * 2015-05-22 2018-12-18 北京雷动云合智能技术有限公司 一种基于视觉测量的实时slam方法
ES2670474T3 (es) * 2016-03-30 2018-05-30 Hawle Treppenlifte Gmbh Construcción de elevador para escaleras asistida por simulación
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
WO2018193034A1 (en) * 2017-04-20 2018-10-25 Thyssenkrupp Elevator Ag Method of planning a platform lift
EP3406555B1 (en) 2017-05-23 2019-11-27 thyssenkrupp Stairlifts B.V. Platform lift
DE102017120050A1 (de) * 2017-08-31 2019-02-28 Krones Ag Verfahren zum Planen von Verpackungsanlagen
EP3466858A1 (en) * 2017-10-04 2019-04-10 thyssenkrupp Stairlifts B.V. Method of planning platform lift
NL2021702B1 (en) * 2018-09-25 2020-05-07 Handicare Stairlifts B V Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase
US20220411229A1 (en) * 2020-01-16 2022-12-29 Inventio Ag Method for the digital documentation and simulation of components in a personnel transport installation
GB2591120A (en) * 2020-01-16 2021-07-21 Island Mobility Ltd A method, apparatus and computer program product for selecting a kit of parts for a stairlift rail
NL2025188B1 (en) 2020-03-23 2021-10-20 Otolift Trapliften B V Method, computer device and computer programme for extracting information about staircase
CN111739122B (zh) * 2020-06-23 2023-12-08 武汉数文科技有限公司 平面图合成方法、装置、存储介质及电子设备
NL2028078B1 (en) 2021-04-27 2022-11-03 Sip B V Method for the designing and production of a renovation element for a staircase part
JP7133078B1 (ja) * 2021-10-14 2022-09-07 株式会社インフォマティクス 計測システム、計測方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002241A1 (de) * 2008-06-05 2009-12-10 Robert Bosch Gmbh Verfahren und Messsystem zur bildbasierten Vermessung eines Raumes
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
WO2010142929A1 (en) * 2009-06-11 2010-12-16 Toshiba Research Europe Limited 3d image generation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330710B2 (ja) 1993-12-30 2002-09-30 本田技研工業株式会社 移動ロボットの位置検知および制御装置
JP2004537082A (ja) * 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
NL1025571C2 (nl) * 2004-02-26 2005-08-29 Thyssenkrupp Accessibility B V Traplift.
JP4618247B2 (ja) 2004-03-17 2011-01-26 ソニー株式会社 ロボット装置及びその動作制御方法
GB0802457D0 (en) 2008-02-09 2008-03-19 Stannah Stairlifts Ltd Improvements in or relating to stairlifts
NL2002503C2 (en) 2009-02-06 2010-08-09 Ooms Otto Bv Apparatus for transporting a load from a first to a second level, in particular a stairlift.
US8411086B2 (en) 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
KR101090082B1 (ko) * 2009-05-29 2011-12-07 한국원자력연구원 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US9026242B2 (en) * 2011-05-19 2015-05-05 Taktia Llc Automatically guided tools

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002241A1 (de) * 2008-06-05 2009-12-10 Robert Bosch Gmbh Verfahren und Messsystem zur bildbasierten Vermessung eines Raumes
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
WO2010142929A1 (en) * 2009-06-11 2010-12-16 Toshiba Research Europe Limited 3d image generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREW J DAVISON ET AL: "MonoSLAM: Real-Time Single Camera SLAM", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 29, no. 6, 1 June 2007 (2007-06-01), pages 1052 - 1067, XP011179664, ISSN: 0162-8828, DOI: 10.1109/TPAMI.2007.1049 *

Also Published As

Publication number Publication date
EP3153816B1 (en) 2019-05-08
EP2825841B1 (en) 2016-11-23
EP2825841A1 (en) 2015-01-21
US9885573B2 (en) 2018-02-06
EP3153816A1 (en) 2017-04-12
JP2015518138A (ja) 2015-06-25
US20150049187A1 (en) 2015-02-19
WO2013137733A1 (en) 2013-09-19
ES2616487T3 (es) 2017-06-13

Similar Documents

Publication Publication Date Title
NL2008490C2 (nl) Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten.
US11151744B1 (en) Automated data capture
US11481024B2 (en) Six degree of freedom tracking with scale recovery and obstacle avoidance
GB2564794B (en) Image-stitching for dimensioning
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
CN106796101B (zh) 用于设计楼梯升降机导轨组件的方法和系统
JP2019067383A5 (nl)
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
US20110292036A1 (en) Depth sensor with application interface
JP6632208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN103988226A (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
JP2004326264A (ja) 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム
US11908210B2 (en) Method and apparatus for detecting object in three-dimensional (3D) point cloud
Hosseininaveh et al. Towards fully automatic reliable 3D acquisition: From designing imaging network to a complete and accurate point cloud
KR101090082B1 (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
KR20190063967A (ko) 스테레오 카메라와 3d 바코드를 이용한 위치 측정 방법 및 장치
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
JP2014234085A (ja) 駅ホーム転落検知装置
Runceanu et al. Indoor point cloud segmentation for automatic object interpretation
WO2018134866A1 (ja) カメラ校正装置
NL2021702B1 (en) Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
Fojtu et al. Nao robot navigation based on a single VGA camera
JP6429240B2 (ja) 形状検出装置、形状検出方法、及びプログラム