NL2019756B1

NL2019756B1 - Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, autonoom rijdend voertuig voorzien van een dergelijk systeem en werkwijze voor het trainen van een dergelijk systeem.

Info

Publication number: NL2019756B1
Application number: NL2019756A
Authority: NL
Inventors: Johannes Smit Stephan; Wilhelmus Maria Van Bentum Johannes
Original assignee: Johannes Smit Stephan; Wilhelmus Maria Van Bentum Johannes
Priority date: 2017-10-18
Filing date: 2017-10-18
Publication date: 2019-04-25
Also published as: ES2869583T3; US20190196484A1; EP3473981A1; EP3473981B1

Abstract

Systeem voor het aansturen van een op basis van koers- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, omvattende een navigatiemodule, een stuurmodule en een camera waarbij de stuurmodulenavigatiemodule is ingericht voor het op basis van een ontvangen bestemming een route te plannen over een reeks eerder ontvangen navigatiepunten en de route om te zetten in navigatieinstructies en deze op een navigatiepunt aan te leven aan de , waarbij de is ingericht om navigatie instructie te ontvangen en ontvangen van de live- camerabeelden en deze kan vergelijken met vooraf opgeslagen met ten minste navigatiepunten geannoteerde camerabeelden en het omzetten van de navigatieinstructies en de camerabeelden in koers- en versnellingswaarden voor het bestuurbaar autonoom rijdend voertuig en het vaststellen dat een navigatiepunt bereikt is indien een live-camerabeeld een vooraf vastgestelde mate van overeenkomst heeft met een met een navigatiepunt geannoteerd camerabeeld en het aan de navigatiemodule melden dat het navigatiepunt bereikt is.

Description

Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, autonoom rijdend voertuig voorzien van een dergeiijk systeem en werkwijze voor het trainen van een dergelijk systeem.

De onderhavige uitvinding heeft betrekking op een systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig en werkwijze voor het trainen van een dergelijk systeem.

Onbemande en in het bijzonder autonoom rijdende voertuigen worden in toenemende mate ingezet voor bagage- en pakketvervoer. In afgesloten ruimten zoals distributiecentra of in andere logistieke toepassingen zoals op vliegvelden, waar de omgeving sterk gecontroleerd en/of voorspelbaar is kunnen zij eenvoudig worden gebruikt. Veelal kunnen er in dergelijke situaties vaste routes worden gereden die niet onderhavig zijn aan onvoorspelbare veranderingen.

Anders is dat wanneer autonoom rijdende voertuigen in de openbare ruimte of op de openbare weg worden toegepast. Hoewel het feitelijke af te leggen parcours ook in deze situaties op korte of middellange termijn veelal ongewijzigd is, zorgen omgevingsfactoren en op de openbare weg in het bijzonder medeweggebruikers voor onvoorspelbare situaties. Het is bekend om hierbij gebruik te maken van met regelmaat geüpdatete en zeer gedetailleerde kaarten in hoge resolutie en sensoren voor het vaststellen van medeweggebruikers, maar een afdoende resultaat is hiermee tot dusver niet bereikt, in het bijzonder daar de hoeveelheid data die nodig is om over kaarten van een voldoende detailniveau te kunnen beschikken in de praktijk onacceptabel hoog is. Daarnaast kunnen obstakels weliswaar gedetecteerd worden met behulp van de sensoren, maar het bepalen op welke manier er gereageerd moet worden vormt daarbij een volgende moeilijkheid.

Het is daarom een doel van de onderhavige uitvinding om een systeem te verschaffen voor het besturen van een autonoom rijdend voertuig, dat de bovengenoemde nadelen niet heeft. Het is een verder doel van de onderhavige uitvinding om een voertuig te verschaffen voorzien van een dergelijk systeem en het is weer een verder doel van de onderhavige uitvinding om een werkwijze te verschaffen voor het trainen van een dergelijk systeem.

De uitvinding betreft daartoe een systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, omvattende een navigatiemodule, een stuurmodule, ten minste één camera, een herkenningsmodule, waarbij de navigatiemodule is ingericht voor het van een gebruiker ontvangen van een bestemming, gekozen uit een gesloten lijst met bestemmingen, het bepalen van een positie van het voertuig, het bepalen van een route van de positie naar de bestemming, het omzetten van de route in navigatie-instructies, het verschaffen van de navigatie-instructies aan de stuurmodule, het ontvangen van een herkenningsbevestiging van de herkenningsmodule indien een navigatiepunt, waarbij de camera is ingericht voor het maken van live-camerabeelden vanaf het voertuig en het verschaffen van de beelden aan de stuurmodule en de herkenningsmodule, waarbij de stuurmodule is ingericht voor, het van de navigatiemodule ontvangen van ten minste één navigatieinstructie, het van de camera ontvangen van de live-camerabeelden; en het omzetten van de ten minste éne navigatieinstructie en de camerabeelden in stuur- en versnellingswaarden voor het bestuurbaar autonoom rijdend voertuig en waarbij de herkenningsmodule is ingericht voor het vergelijken van de live-camerabeelden met vooraf opgeslagen met ten minste kenmerken van navigatiepunten geannoteerde camerabeelden en het vaststellen dat een navigatiepunt bereikt is indien een live-camerabeeld een vooraf vastgestelde mate van overeenkomst heeft met een met een navigatiepunt geannoteerd camerabeeld en het aan de navigatiemodule verschaffen van een herkenningsbevestiging indien vastgesteld is dat een navigatiepunt bereikt is.

Het autonoom rijdend voertuig volgens de uitvinding is bestemd en ingericht voor het onbemand rijden, en voor bijvoorbeeld last-miie tijdens pakkettenvervoer, bagage en andere kleine bedrijfszendingen, voedseldistributie, boodschappenbezorging, en/of afvoer van restmateriaal, en is bij voorkeur aangedreven door een niet-C02 uitstotende krachtbron zoals een elektrische aandrijving of een aandrijving met een brandstofcel.

Het systeem volgens de onderhavige uitvinding biedt diverse voordelen. Allereerst wordt door het gebruik van navigatiepunten en het vergelijken van camerabeelden met eerder opgeslagen beelden de noodzaak van het gebruik van gedetailleerde kaarten weggenomen. Het systeem maakt het immers mogelijk om op basis van een relatief grove locatie-aanduiding van navigatiepunt tot navigatiepunt voort te bewegen, waarbij het bereiken van de exacte locatie wordt vastgesteld door het vergelijken van camerabeelden. Een bijkomend voordeel is dat er hierdoor ook geen noodzaak is tot het beschikken over positioneringstechniek, zoals GPS, waardoor het systeem het mogelijk maakt om zonder ontvangst van externe referentiesignalen te werken.

De navigatieinstructies omvatten bij voorkeur ten minste een richtingsaanduiding, zoals een exacte geografische richtingsaanduiding (in graden), een geografische richtingsbenaming (zoals “naar het noorden”) en/of een concrete richtingaanduiding (zoals linksaf). Op basis daarvan en van de ontvangen camerabeelden kan de stuurmodule een stuuruitslag bepalen waarmee het voertuig de beoogde richtingaanduiding volgt.

De instructies kunnen de vorm van een lijst hebben, waarbij er telkens een navigatiepunt genoemd wordt met ten minste een vanaf dat punt te volgen richting. Bij verdere voorkeur omvatten de navigatieinstructies tevens een snelheidsindicatie, die bijvoorbeeld de maximale snelheid aangeeft die vanaf het betreffende navigatiepunt in de aangegeven richting gehanteerd mag worden.

Het systeem kan derhalve zodanig zijn ingericht dat navigatieinstructies door de stuurmodule verwerkt worden als streef- of gewenste waarden die een maximum stellen aan een snelheid. De aard en omstandigheden van de route kunnen daarbij aanleiding vormen om een lagere snelheid aan te houden dan de streefwaarde.

Opgemerkt zij dat in een verdere voorkeursuitvoeringsvorm van de onderhavige uitvinding de live-camerabeelden en de vooraf opgeslagen met ten minste navigatiepunten geannoteerde camerabeelden vergeleken worden na een voorbewerking, waarbij niet de volledige camerabeelden, maar in de live-camerabeelden vastgestelde herkenningspunten vergeleken worden met in de vooraf opgeslagen camerabeelden vastgestelde herkenningspunten. Deze herkenningspunten worden aangebracht door het in de voorbewerking gebruikte algoritme en kunnen bijvoorbeeld (combinaties van) horizontale en verticale lijnen zijn, of andere bij voorkeur van de weersomstandigheid en tijdstip op de dag onafhankelijke kenmerken.

Bij verdere voorkeur is de navigatiemodule ingericht om een volgende navigatieinstructie aan de stuurmodule te verschaffen zodra de herkenningsmodule gemeld heeft dat een navigatiepunt bereikt is. Op deze wijze hoeft de stuurmodule geen complete route op te slaan, maar hoeft hij telkens steeds stuur- en versnellingswaarden op te stellen naar één navigatiepunt.

In een verdere uitvoeringsvorm is de stuurmodule ingericht voor het bepalen van een wijze voor het omzetten van de navigatie-instructies in koers- en versnellingswaarden voor het bestuurbaar autonoom rijden op basis van deep learning. Hierbij wordt een te rijden route of een te berijden gebied ten minste één keer, maar bij voorkeur meerdere keren gereden, waarbij er camerabeelden geregistreerd worden, die door de stuurmodule verwerkt worden. De module herkent daarbij patronen in de beelden, bijvoorbeeld afstanden tot stoepranden, witte strepen op de weg, verkeersborden, afslagen en de daaraan door de gebruiker gegeven koers- en versnellingswaarden. Na op deze wijze getraind te zijn kan het systeem op basis van videobeelden zelf koers- en versnellingswaarden genereren.

Een gebruiker die de stuurmodule traint kan daarbij de navigatiepunten markeren. Door bij bepaalde navigatiepunten, zoals kruisingen, op verschillende keren verschillende keuzes te maken (zoals de eerste keer linksaf en de tweede keer rechtsaf) leert het systeem dat er op een dergelijke plek verschillende mogelijkheden zijn en ook de koers- en versnellingswaarden die bij de verschillende keuzes horen. Door ook de betreffende keuze te registreren (bijvoorbeeld “linksaf” of “rechtsaf” slaan kan het systeem vervolgens een ingegeven navigatieinstructie die correspondeert met een dergelijke keuze uitvoeren.

De techniek van deep learning is op zich bekend en voor het implementeren ervan kan gebruik gemaakt worden van bestaande technologieën. Een beproefd en voor de onderhavige uitvinding geschikt gebleken systeem is commercieel verkrijgbaar als Nvidia Dave 2 netwerk topology.

Dergelijke systemen bieden een technologie die het voor een voertuig mogelijk maakt om bepaald aangeleerd weggedrag te vertonen, waarbij voertuigen zelfstandig op de weg blijven. Door gebruik te maken van navigatiepunten en deze (optisch) te herkennen voegt de onderhavige uitvinding een navigatiemogelijkheid aan toe. Het systeem past aldus op zich bestaande technologie om een weg te volgen toe, maar doordat het keuzemogelijkheden herkent, in het bijzonder op navigatiepunten, kan het instructies van een abstractieniveau “de tweede afslag links” volgen, op basis van camerabeelden en zonder dat de locatie van de keuzemogelijkheid vooraf duidelijk hoeft te zijn.

De navigatieinstructies gelden steeds van navigatiepunt tot navigatiepunt en worden dus relatief laagfrequent gegenereerd en doorgegeven, afhankelijkheid van de afstand tussen de navigatiepunten. Teneinde adequaat te kunnen reageren op snel wisselende verkeerssituaties is de stuurmodule bij voorkeur ingericht voor het verschaffen van stuur en/of versnellingswaarden met een frequentie van ten minste 10 Hz, toegepast bij een snelheid van enkele kilometers per uur. Deze frequentie kan hoger worden gekozen bij een hogere voertuigsnelheid.

Het systeem volgens de onderhavige uitvinding kan optioneel worden uitgevoerd met een GPS systeem ter herkenning van foutsituaties. Daarmee kan er bijvoorbeeld worden vastgesteld of het voertuig meer dan een te verwachten afwijking heeft van een navigatiepunt waarnaar het op weg is, en geconstateerd worden dat er een fout is opgetreden. Het systeem kan zijn ingericht om op zo’n moment een foutmelding te geven, en die bijvoorbeeld naar een centrale bewakingsinrichting zoals een verkeersleiding of een monitoringskamer te sturen.

Het systeem kan voorts zijn aangepast op diverse verkeers- of omstandigheidssituaties, door in al die situaties getraind te worden en bijbehorende aanpassingen in het rijgedrag te registreren. Op die manier kan het bijvoorbeeld worden ingericht om snelheid te minderen op basis van obstakels, weersomstandigheden, belichting of kwaliteit van het wegdek. De training kan zijn op basis van beelden en overige gegevens vastgelegd in de echte wereld maar ook door interactie met virtuele werelden in simulatie.

De uitvinding heeft verder betrekking op een werkwijze voor het trainen van een systeem volgens één van de voorgaande conclusies, omvattende de stappen van A. Het door een bestuurder met het bestuurbaar autonoom rijdend voertuig berijden van ten minste een beoogd autonoom rijdbare route, B. Het tijdens het rijden registreren van camerabeelden van de route, C. Het gerelateerd aan de camerabeelden opslaan van navigatiepunten en D. Het annoteren van de navigatiepunten met coördinaten t.b.v. de navigatiemodule. Tevens is denkbaar dat een systeem geheel in simulatie wordt getraind in het rijden van routes. De simulaties worden deels gevoed door opgenomen beelden in de wereld. Dit kunnen beelden zijn van andere routes.

Teneinde het systeem te kunnen trainen dient het voertuig bestuurbaar te zijn en bestuurd te worden door een bestuurder, die er ten minste een beoogd autonoom rijdbare route mee rijdt, of een gebied waarin zich meerdere routes bevinden mee berijdt. Het kan zijn dat de bestuurder daarbij in of op of nabij het voertuig aanwezig is, maar het heeft de voorkeur om het systeem zo in te richten dat het op afstand bedienbaar en dus ook trainbaar is. Tijdens het rijden geeft de bestuurder zelfs steeds stuur- en versnellingswaarden, die door het systeem gekoppeld worden aan de tijdens het rijden geregistreerde camerabeelden van de route. Op deze manier leert het systeem welke stuur- en versnellingswaarden er bij welk straat of wegbeeld horen en kan het na het trainen op basis van live-beelden bijbehorende koers- en versnellingswaarden genereren. Door navigatiepunten waarop meerdere mogelijkheden zijn (bijvoorbeeld afslagen) meermaals aan te doen bij het trainen en daarbij verschillende keuzes te maken.

Volgens een voorkeursuitvoeringsvorm van de werkwijze volgens de onderhavige uitvinding, worden de camerabeelden in een voor beeldherkenning voorbewerkte vorm geregistreerd. Aldus wordt niet de volledige beeldenstroom opgeslagen, maar worden voor beeld- en/of lokatieherkenning relevante eigenschappen uit het beeld vastgelegd. Hierbij kan gedacht worden aan combinaties van horizontale en verticale lijnen in het beeld, grote vlakken of karakteristieke vormen.

Teneinde de afhankelijkheid van veranderende omstandigheden, zoals het uur van de dag, het weer en of de verkeersdrukte te elimineren omvat de werkwijze volgens de uitvinding bij voorkeur het herhalen van stap A. onder verschillende weers-, en of verkeersomstandigheden. Het systeem leert daarbij de weers- en verkeersomstandigheden te herkennen, en tevens de manier om erop te reageren. De tijdens het trainen geregistreerde camerabeelden kunnen vervolgens off-line verwerkt worden, waarbij ze bijvoorbeeld voor beeldherkenning voorbewerkt worden, en/of er een timestamp, stuuruitslag, en/of versnellingswaarde aan de beelden gekoppeld wordt.

In een verder geavanceerd systeem volgens de uitvinding is het systeem ingericht voor het trainen van één systeem op basis van de door één of meerdere soortgelijke systemen geregistreerde camerabeelden. Op die manier ontstaat een zelflerend systeem en hoeft niet ieder voertuig zelfstandig getraind te worden.

De uitvinding zal nu worden toegelicht aan de hand van figuur 1, die een schematische weergave van een systeem volgens de onderhavige uitvinding weergeeft.

Figuur 1 toont een systeem 1 voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig 2, omvattende een navigatiemodule 3 die is ingericht voor het van een gebruiker ontvangen van een bestemming 5, gekozen uit een in een gegevensopslag 6 gesloten lijst met bestemmingen 16 en het bepalen van een positie van het voertuig, bijvoorbeeld doordat de laatst bekende locatie 17 in de gegevensopslag 6 is vastgelegd, het bepalen van een route van de positie naar de bestemming, welke route eveneens gekozen kan worden uit een lijst van mogelijke routes die eveneens in de gegevensopslag 6 zijn opgeslagen, het omzetten van de route in navigatie-instructies, het verschaffen van de navigatie-instructies 7 aan een stuurmodule 8 en het ontvangen van een herkenningsbevestiging 9 van een herkenningsmodule 10. Het systeem omvat verder een camera 11 die is ingericht voor het maken van live-camerabeelden 12 vanaf het voertuig 2 en het verschaffen van de beelden aan de stuurmodule 8 en de herkenningsmodule 10. De stuurmodule 8 is verder ingericht voor het van de navigatiemodule 3 ontvangen van ten minste één navigatieinstructie 7 en voor het van de camera 11 ontvangen van de live-camerabeelden 12 en het omzetten van de ten minste éne navigatieinstructie 7 en de camerabeelden 12 in stuur- en versnellingswaarden 13 voor het bestuurbaar autonoom rijdend voertuig 2. De stuurmodule 8 maakt daarbij in de getoonde uitvoeringsvorm tevens gebruik van een van een versnellingssensor 15 verkregen versnellingssignaal 14. De herkenningsmodule 10 is tenslotte ingericht voor het vergelijken van de live-camerabeelden 12 met vooraf opgeslagen metten minste kenmerken 18 van navigatiepunten geannoteerde camerabeelden en het vaststellen dat een navigatiepunt bereikt is indien een live-camerabeeld 12 een vooraf vastgestelde mate van overeenkomst heeft met een met een navigatiepunt geannoteerd camerabeeld 18 en het aan de navigatiemodule verschaffen van een herkenningsbevestiging 9 indien vastgesteld is dat een navigatiepunt bereikt is.

Naast het genoemde voorbeeld vallen er vele uitvoeringsvormen onder de beschermingsomvang van de onderhavige aanvrage, zoals vastgelegd in de navolgende conclusies.

Claims

1. Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, omvattende: - een navigatiemodule; - een stuurmodule; - ten minste één camera; - een herkenningsmodule; waarbij de navigatiemodule is ingericht voor: - het van een gebruiker ontvangen van een bestemming, gekozen uit een gesloten lijst met bestemmingen; - het bepalen van een positie van het voertuig; - het bepalen van een route van de positie naar de bestemming; - het omzetten van de route in navigatie-instructies; - het verschaffen van de navigatie-instructies aan de stuurmodule; - het ontvangen van een herkenningsbevestiging van de herkenningsmodule; waarbij de camera is ingericht voor: - het maken van live-camerabeelden vanaf het voertuig en het verschaffen van de beelden aan de stuurmodule en de herkenningsmodule; waarbij de stuurmodule is ingericht voor: - het van de navigatiemodule ontvangen van de ten minste éne navigatieinstructie; - het van de camera ontvangen van de live-camerabeelden; - het omzetten van de ten minste éne navigatieinstructie en de camerabeelden in stuur- en versnellingswaarden voor het bestuurbaar autonoom rijdend voertuig; waarbij de herkenningsmodule is ingericht voor: - het ontvangen van live-camerabeelden; - het vergelijken van de live-camerabeelden met vooraf opgeslagen met ten minste kenmerken van navigatiepunten geannoteerde camerabeelden en - het vaststellen dat een navigatiepunt bereikt is indien een live-camerabeeld een vooraf vastgestelde mate van overeenkomst heeft met een met een navigatiepunt geannoteerd camerabeeld; en - het aan de navigatiemodule verschaffen van een herkenningsbevestiging indien vastgesteld is dat een navigatiepunt bereikt is.

2. Systeem volgens conclusie 1, waarbij: - de navigatiemodule is ingericht voor het omzetten van de van de gebruiker ontvangen bestemming in richtingsinstructies zoals: o een exacte geografische richting (in graden); o een geografische richting (zoals “naar het noorden”); en/of o een concrete richtingaanduiding (zoals linksaf); en waarbij - de stuurmodule is ingericht voor het ontvangen van de richtingsinstructies en het omzetten van de richtingsinstructies in stuur- en versnellingswaarden.

3. Systeem volgens conclusie 1 of 2, ingericht om de live-camerabeelden en de vooraf opgeslagen met ten minste navigatiepunten geannoteerde camerabeelden te vergelijken na een voorbewerkingsslag, waarbij niet de volledige camerabeelden, maar in de live-camerabeelden vastgestelde herkenningspunten vergeleken worden met in de vooraf opgeslagen camerabeelden vastgestelde herkenningspunten.

4. Systeem volgens conclusie één van de voorgaande conclusies, waarbij de navigatiemodule is ingericht om een volgende navigatieinstructie aan de stuurmodule te verschaffen zodra de stuurmodule gemeld heeft dat een navigatiepunt bereikt is.

5. Systeem volgens één van de voorgaande conclusies, waarbij de stuurmodule is ingericht voor het bepalen van een wijze voor het omzetten van de navigatie-instructies in koers- en versnellingswaarden voor het bestuurbaar autonoom rijden, op basis van deep learning.

6. Systeem volgens conclusie 4, waarbij de stuurmodule ten behoeve van het deep learning is voorzien van een Nvidia Dave 2 netwerk topology.

7. Systeem volgens één van de voorgaande conclusies, waarbij de stuurmodule is ingericht voor het verschaffen van koers- en versnellingsinstructies met een frequentie van ten minste 10 Hz.

8. Systeem volgens één van de voorgaande conclusies, voorzien van een GPS systeem ter herkenning van foutsituaties.

9. Systeem volgens één van de voorgaande conclusies, ingericht om snelheid te minderen ten op basis van weersomstandigheden, belichting of kwaliteit van het wegdek.

10. Systeem volgens één van de voorgaande conclusies, omvattende een versnellingssensor, voor het verschaffen van versnellingsinformatie van het voertuig aan de stuurmodule.

11. Voertuig voorzien van een systeem volgens een van de voorgaande conclusies,

12. Werkwijze voor het trainen van een systeem volgens één van de voorgaande conclusies, omvattende: - A. Het door een bestuurder met het bestuurbaar autonoom rijdend voertuig berijden van ten minst een beoogd autonoom rijdbare route; - B. Het tijdens het rijden registreren van camerabeelden van de route; - C. Het gerelateerd aan de camerabeelden opslaan van navigatiepunten; - D. Het annoteren van de navigatiepunten met coördinaten t.b.v. de navigatiemodule.

13. Werkwijze volgens conclusie 12, omvattende het in voor beeldherkenning voorbewerkte vorm registreren van de camerabeelden.

14. Werkwijze volgens conclusie 12 of 13, omvattende het herhalen van stap A. onder verschillende weers-, en of verkeersomstandigheden.

15. Werkwijze volgens één van de conclusies 12-14, omvattende het registreren van een timestamp, stuuruitslag, en/of snelheid gedurende het berijden van de route.

16. Werkwijze volgens één van de conclusies 12-15, omvattende het offline verwerken van de geregistreerde camerabeelden.

17. Werkwijze volgens één van de conclusies 12-16, ingericht voor het trainen van één systeem volgens een van de conclusies 1-10 op basis van de door één of meerdere soortgelijke systemen geregistreerde live-camerabeelden.