SE537739C2 - Säkerhetssystem för detektion av personer och fysiska objektvid manövrering av fordon - Google Patents

Abstract

537 739 SAMMANDRAG Uppfinningen avser en metod for aft undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor dar personer och fysiska objekt ar utforda med en reflekterande anordning samt aft foljande steg innefattas; (a) belysa ett omrade, med en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestarnd vaglangd, (b) registrera en fOrsta bild over onuldet under belysning, med en pa fordonet anordnad sensor, dar sensorn ar anpassad fOr ljuskallans *land, (c) registrera en andra bild Over ett omrade, med en ph fordonet anordnad sensor, (d) detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt utforda med den reflekterande anordningen genom jamfOrelse mellan den forsta bilden och den andra bilden, (e) bestamma, i en pa fordonet anordnad berakningsenhet, om de detekterade objekten ar personer eller fysiska objekt, (f) komtnunicera information om detekterade personer eller fysiska objekt. Vidare avser uppfinningen ett sakerhetssystem saint ett fordon anordnat med ett sakerhetssystem.

Description

537 739 SAKERHETSSYSTEM FOR DETEKTION AV PERSONER OCH FYSISKA OBJEKT VID MANOVRERING AV FORDON TEKNISKT OMRADE Uppfinningen avser en metod for att undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor. Vidare avser uppfinningen ett sakerhetssystem fOr detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor samt en bildvisningsenhet. Vidare avser uppfinningen ett fordon anordnat med ett sakerhetssystem.

UPPFINNINGENS BAKGRUND, PROBLEMSTALLNING OCH KAND TEKNIK Vid arbeten relaterat till byggnationer, gruvdrift, bralgardar, logistik, transport och spedition samt andra arbeten som innefattar transporter med fordon foreligger en risk att med fordon skada personer och/eller fysiska objekt i fordonets naromrade. Speciellt da fordon backar eller fOrflyttas pa ett sadant satt att fordonets fOrare ej har en fullstandig oversikt over hur fordonet fOrflyttas sa existerar en risk att personer lokaliserade i fordonets orngivningar lairs pa av fordonet. Det är vanligt forekommande, beroende pa arbetets art, att ett fordon ofta samverkar med en eller flera personer lokaliserade i narhet av fordonet. Dessa personer dr ofta oskyddade fran fordonet och anpassar sin placering utifran fordonets rorelse.

FOr att underldtta manovrering av ett fordon kan fordonet vara forsett med sensorer som exempelvis en kamera ansluten till, en for foraren av fordonet visad, bildvisningsenhet eller display. Foretradesvis är kameran riktad i fordonets backriktning och den fran kameran visade vyn presenteras for foraren i displayen. Foraren kan utnyttja bildinformationen for att framfOra fordonet. I det fall ett fysiskt objekt eller en person identifierats kan fordonet stoppas. Problem med denna typ av losning är att det är svart att med kameror tacka alla riktningar ddr fordonets framfors, vidare fOmtsatts hog uppmarksamhet av foraren for att tolka den information som presenteras i displayen, speciellt i sammanhang da det är en intensiv aktivitet i naromradet, bilden stOrs av vader som regn samt i de fall da ljusfOrhallandena är sadana att det är svart att identifiera objekt eller personer i bilden, exempelvis i morker. 1 537 739 Vidare fiireligger behov att for autonoma fordon, eller delvis autonoma fordon, att undvika kollisioner med personer eller fysiska objekt som av nagot skal befinner sig i det autonoma fordonets vag. For dessa autonoma fordon forutsatts att fysiska objekt eller personer identifieras och att det autonoma fordonet kan stoppas.

Artikeln "Estimating the 3D Position of Humans wearing a Reflective Vest using a Single Camera System", publicerad pa konferensen "International Conference on Field and Service Robotics" juli 2012 visar pa detektion av personer utforda med reflekterande vast. Den i artikeln visade metoden inkluderar inte identifikation av om objekten som detekterats dr personer eller fysiska objekt.

Patentskrift US 4,833,469 visar ett system for att detektera objekt och indikera detektion av objekt till foraren av ett fordon. Systemet inkluderar en anordning for att sanda elektromagnetisk straining i fordonets fardriktning samt en anordning Mr att ta emot, fran ett objekt reflekterad, elektromagnetisk straining. Vidare berdknar systemet avstand och differentiell hastighet till objektet utifran sand och mottagen elektromagnetisk straining. Vidare beskrivs system for att fOrandra den elektromagnetiska vagens utbredning Mr att tacka en stOrre yta/volym. Det i patentskriften visade systemet inkluderar inte identifikation av objekten som detekterats.

Ytterligare problem som uppfinningen avser att lOsa framgar i anslutning till den efterfoljande detaljerade beskrivningen av de olika utforingsformerna.

UPPFINNINGENS SYFTE OCH DESS SARDRAG FOreliggande uppfinning fOrbattrar mOjligheten att detektera personer och fysiska objekt dar ett fordon framfors. Genom att personer eller objekt fiirses med en reflex eller annan anordning for att, helt eller delvis, reflektera elektromagnetisk straining kan personerna eller de fysiska objekten detekteras och identifieras.

Foreliggande uppfinning avser en metod Mr att undvika kollisioner med personer och fysiska objekt vid maniivrering av fordon innefattande ett fordon utfiirt med minst en sensor ddr personer och fysiska objekt är utforda med en reflekterande anordning samt att fOljande steg innefattas; (a) belysa ett omrade, med en pa fordonet anordnad ljuskalla, ddr ljuskallan har en bestamd vaglangd, 2 537 739 registrera en forsta bild over omradet under belysning, med en pa fordonet anordnad sensor, dar sensorn ar anpassad for ljuskallans vaglangd, registrera en andra bild over ett omrade, med en pa fordonet anordnad sensor, detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt 5 utfOrda med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bilden, bestamma, i en pa fordonet anordnad berakningsenhet, om de detekterade objekten är personer eller fysiska objekt, kommunicera information om detekterade personer eller fysiska objekt.

Enligt ytterligare aspekter for den forbattrade metoden fOr att kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor galler; at t bestamning av om de detekterade objekten är personer eller fysiska objekt sker genom att de detekterade objekten ger olika signatur fran den reflekterande anordningen sa att den reflekterande anordningen for personer ger en forsta reflekterande signatur och sa att den reflekterande anordningen for fysiska objekt ger en andra reflekterande signatur. at t bestamning av om de detekterade objekten är personer eller fysiska objekt sker genom en i berakningsenheten anordnad algoritm som utifran de detekterade objektens lage, storlek, rOrelse eller annan parameter avgor om de detekterade objekten utgors av personer eller fysiska objekt. at t detekterade personer kan identifieras vara liggande, hukandes eller staende. at t informationen om detekterade personer eller fysiska objekt visualiseras i en pa fordonet anordnad bildvisningsenhet. a t t de detekterade objekten visualiseras i form av konturer ddr personer eller fysiska objekt ges olika konturer sa att for personer ges en fOrsta typ av kontur och sa att fOr fysiska objekt ges en andra typ av kontur.

Uppfinningen avser dartill ett forbattrat sakerhetssystem for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor samt en bildvisningsenhet dar personer och fysiska objekt är utforda med en 3 537 739 reflekterande anordning samt att fOljande steg innefattas; en pa fordonet anordnad ljuskalla, ddr ljuskallan bar en bestdmd vaglangd, belyser ett omrade, en pa fordonet anordnad sensorenhet, ddr sensorenheten är anpassad fOr ljuskdllans vagldngd, registrerar en forsta bild Over omradet under belysning, en pa fordonet anordnad sensorenhet registrerar en andra bild, en pa fordonet anordnad berdkningsenhet detekterar objekt anordnade med den reflekterande anordningen genom jdmforelse mellan den forsta bilden och den andra bilden, (e) en pa fordonet anordnad berakningsenhet bestammer om de detekterade objekten är personer eller fysiska objekt, information om de detekterade personerna och de fysiska objekten presenteras pa en bildvisningsenhet.

Enligt ytterligare aspekter for det forbdttrade sakerhetssystemt for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfOrt med minst en sensor samt en bildvisningsenhet galler; a t t den reflekterande anordningen är utformad for att sdrskilja vertikal respektive horisontell orientering av den reflekterande anordningen samt att den reflekterande anordningen har en forsta utformning for personer och en andra utformning for fysiska objekt samt att den reflekterande anordningen är minst en reflex anpassad eller lampad for infrared straining.

Uppfinningen avser dartill ett fordon anordnat med ett sakerhetssystem.

Enligt ytterligare aspekter for ett fordon anordnat med ett sakerhetssystem ganef.; a t t fordonet är anordnat med ett sensorsystem i framriktningen och ett sensorsystem i 30 backriktningen och ddr sakerhetssystemet automatiskt valjer sensorsystem beroende pa fordonets korriktning.

FORDELAR OCH EPPEKTER MED UPPFINNINGEN Utifran foreslagen metod for att undvika kollisioner vid manOvrering av fordon samt foreslaget sakerhetssystem for fordon sa fas ett forbdttrat system for att undvika 4 537 739 kollisionen och hoja sakerheten vid arbete med fordon jamfort med konventionella losningar. Genom att sanda ljus och ta emot den fran en reflexvast reflekterade signalen kan personer och fysiska objekt runt fordonet detekteras oavsett vaderfOrhallande, ljusfOrhallanden eller miljo. Metoden är tillampbar i saval starkt solsken som fullstandigt morker.

Forbattringen jamfort med att anvanda konventionell teknik, som backkameror, är att metoden for att undvika kollisioner vid manOvrering av fordon och sakerhetssystemet aktivt identifierat personer och fysiska objekt i omgivningen medan ett konventionellt system enbart presenterar information. Den foreslagna metoden och det foreslagna systemet är aven lampat for helt eller delvis autonoma system.

FIGURFORTECKNING Uppfinningen kommer i det foljande att beskrivas narmare under hanvisning till de bifogade figurerna dar: Fig. 1 visar ett fordon utfort med ett sakerhetssystem fOr fordon enligt en utf6randeform 20 av uppfinningen.

Fig. 2 visar ett sensorsystem for sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 3a visar en bildvisningsenhet for sakerhetssystem for fordon enligt en utfOrandeform av uppfinningen.

Fig. 3b visar en bildvisningsenhet for sakerhetssystem for fordon anordnad i ett fordon enligt en utforandeform av uppfinningen.

Fig. 4 visar ett flodesschema for en metod for att undvika kollisioner vid manovrering av fordon enligt en utforandeform av uppfinningen.

Fig. 5 visar ett blockschema Over sakerhetssystem for fordon enligt en utforandeform av 35 uppfinningen. 537 739 Fig. 6a visar en vy fran sensor i det visuella vaglangdsomradet fOr ett sakerhetssystem fOr fordon enligt en utfOrandeform av uppfinningen.

Fig. 6b visar en vy fran sensor i det infraroda vagldngdsomradet for ett sakerhetssystem fOr fordon enligt en utfOrandeform av uppfinningen.

Fig. 7a visar en bildvisningsenhet, med vy med perspektiv fran kamera, for ett sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 7b visar en bildvisningsenhet, med vy med perspektiv fran ovan, for ett sakerhetssystem for fordon enligt en utfOrandeform av uppfinningen.

DETALJERAD UTFORANDEBESKRIVNING Ett sakerhetssystem for ett fordon anvands for att minska riskerna for att personer eller fysiska objekt oavsiktligt kors pa eller pa andra sat paverkas av ett fordon. En fOrare av ett fordon kombinerar den visuella information fran rutor, speglar eller andra anordningar for att Oka sikten runt fordonet med bildinformation fran exempelvis en kamera eller annan utrustning som registrerar bildinformation samt sensorinformation fran exempelvis backsensorer. Den registrerade bildinformationen och sensorinformationen presenteras i de fiesta fall pa en display men kan Wen kommuniceras genom ljudinformation eller pa annat sail. Vidare existerar system for detektion av personer eller objekt baserat pa exempelvis ultraljud eller radar. FOraren av fordonet kombinerar informationen fran de stOdjande systemen med sin egen uppfattning av situationen fOr att avgora sina beslut avseende hur fordonet framfors. FOr autonoma system sa styrs fordonet, helt eller delvis, av sensorinformationen.

I sammanhang dâ manga stOrande moment fOrekommer, som exempelvis pa en arbetsplats, beroende av vaderfaktorer, omfattande trafik etc. kravs av foraren av ett fordon att beslut fattas under stress. Kan ett system som ger foraren korrekt och tydlig information inforas i fordonet, och darmed underlattar for foraren, sa kan olycksrisken minskas. Genom anvandandet av ett sakerhetssystem som kan identifiera personer och fysiska objekt i omgivningen av fordonet kan sakerhetssystemet visa information, larma foraren av fordonet och/eller hindra fordonet. Ett sadant sakerhetssystem är Wen tillampbart fOr autonoma fordon, det viii saga fordon utan Oran samt delvis autonoma 6 537 739 system, det viii saga fordon med fi5rare men da fordonet aven helt eller delvis autonomt framfor fordonet.

I figur 1 visas ett fordon 1 utfort med ett sakerhetssystem for fordon 2 dar fordonet är anordnat med sensorsystem 3, 3-. Antalet sensorsystem 3, 3- kan anpassas utifran fordonets 1 korriktningar eller andra avseende fordonets framforande relevanta parametrar. Fordonets sensorsystem 3, 3' detekterar en reflekterande signatur eller en reflex fran personer 4 och fysiska objekt i fordonets naromrade. Fordonets naromrade kan utgoras av omradet framfor fordonets sensorsystem 3, 3' samt i en radie runt fordonet upp till 100 meter fran fordonet men aven andra langre avstand är tankbara om behov av langre avstand foreligger. Det i figur 1 visade fordonet 1 är anordnat med ett sensorsystem 3 i framriktningen samt ett sensorssystem 3' i backriktningen. Personerna 4 eller de fysiska objekten är utfOrda med en reflekterande anordning 5.

I figur 2 visas ett sensorsystem 3 innefattande sensorer 111, 112, kamera 116 samt ljuskalla 115. I det i figur 2 visade utforandet sâ har sensorsystemet tva sensorer 111, 112 samt en kamera 116, sensorsystemet kan aven vara utfort med fler eller farre sensorer och kameror. Vidare är sensorsystemet i figur 2 utfOrt med ljuskalla 115 i form av en eller flera lysdioder anordnade runt sensorerna/kameran men ljuskallan 115 kan aven vara utfOrd som en fristaende enhet eller pa annat satt anordnad fOr att belysa omrddet mot vilket sensorerna/kameran är riktade.

I figur 3a visas en bildvisningsenhet 117 anordnad for att for foraren av fordonet 1 visa en vy i fordonets korriktning eller annan av fordonet eller foraren vald riktning.

Bildvisningsenheten 117 kan aven vara anordnad for att mottaga kommandon fran foraren exempelvis genom tangenter, pekskarm eller annan anordning eller system fOr att anpassa sakerhetssystemet for fordon utifran forarens onskemal.

I figur 3b visas en bildvisningsenhet 117 anordnad i ett fordon 1. Sakerhetssystemet for fordon är i figur 3b anordnat att visa, i bildvisningsenheten 117, en vy i fordonets 1 korriktning.

I figur 4 visas ett flodesschema Mr en metod felr att undvika kollisioner vid maniivrering av fordon 11 dar metoden detekterar personer eller objekt forsedda med en reflekterande anordning. Ett omrAde bestralas eller belyses 12 med elektromagnetisk straining, fOretradesvis infrarod straining vidare benamnt IR-straining. Det reflekterade ljuset registreras 13, i form av en forsta bild, med en sensor, sa. som en kamera eller annan 7 537 739 anordning, anpassade till det sanda ljuset. Vidare kan en andra eller ytterligare bilder registreras 13 med samma sensor eller ytterligare sensorer, dá foretradesvis placerade med ett avstand i fOrhallande till varandra for en stereografisk registrering. Den andra bilden tas foretradesvis utan en foregaende belysning 12. Den forsta bilden är saledes registrerad efter en belysning av de fysiska objekt och personer som foreligger i sensorns registreringsomrade och den andra bilden är saledes registrerad utan en belysning av de fysiska objekt och personer som foreligger i sensorns registreringsomrade. En bildbehandlingsteknisk jamforelse mellan den fOrsta och andra bilden kan saledes detektera de reflekterande fysiska objekten och personerna i bilden.

Det viii saga de fysiska objekt och personer som är anordnade med en elektromagnetiskt reflekterande anordning, sa som en reflexvdst eller andra reflexer, kommer att detekteras.

Vidare kan en fOrsta visuell bild registreras 14 som foretradesvis utfOrs med en sensor kanslig inom det for manniskan synliga optiska omradet. Samtliga bilder och visuella bilder kan detekterad med samma sensor men aven med tva eller flera separata sensorer.

Den registrerade fOrsta bilden bildbehandlas genom att de ljusa objekten i bilden identifieras i blocket bildbehandling segmentering 15. Vidare kan den registrerade andra bilden bildbehandlas genom att de ljusa objekten i bilden identifieras i blocket bildbehandling segmentering 15. JamfOrelsen mellan den fOrsta bilden och den andra bilden efter segmentering 15 ger de fysiska objekt och personer som kan vara utrustad med reflekterande anordning da dessa fysiska objekt och personer sannolikt gett en av belysningen 12 skapad signatur i den fOrsta bilden. I ett andra steg i bildbehandlingen, bildbehandling detektering 16, kan detektering utifran typ av de i det fOrsta steget av bildbehandlingen identifierade upplysta fysiska objekten eller personerna. Detektering av typ kan exempelvis inkludera att det är en person anordnad med en reflekterande vast eller ett fysiskt objekt anordnat med en reflekterande anordning som registrerats. Detektering sker med fOr andamalet lampade algoritmer inkluderandes olika former av larande algoritmer. De detekterade fysiska objekten eller personerna kan darefter fOljas 17 for att avgora om det är en person i rorelse eller ett fysiskt objekt i rorelse, exempelvis ett annat fordon. De objekt som identifierats utgora fysiska objekt och personer, efter bildbehandlingsstegen 15, 16, 17, kan presenteras pa en bildvisningsenhet 117, sa som en display, vilken presenteras fOr Waren av fordonet. RV att underlatta visualiseringen kan de fysiska objekten och/eller personerna presenteras i form av en med farg eller pa annat salt markerad rektangel eller kontur. Med fordel presenteras den fargmarkerade rektangeln eller konturen pa en fargbild med vy Over 8 537 739 kamerans registreringsomrade. De olika sensorerna och kamerorna har saledes med fordel ett helt eller delvis overlappande registreringsomeade. Vidare kan forekomma flera uppsattningar av kameror och sensorer med olika registreringsomraden. Metoden for att undvika kollisioner vid manovrering av fordon ddr metoden detekterar personer eller fysiska objekt forsedda med elektromagnetisk reflekterande anordning 11 kan, forutom att presentera informationen visuellt, ge information om avstand och position av fysiska objekt och/eller personer som kan anvandas av fordonet for exempelvis automatisk bromsning, ge visuell eller audiell information eller pa andra sat som är lampade for den enskilda installationen och/eller fordonet.

I figur 5 visas ett blockschema Over sakerhetssystem for fordon 110. Minst en sensor 111, 112 är anordnad pa ett fordon for registrering i minst en av fordonets fardriktningar. I fallet att fordonet är autonomt är sensorer med fordel anordnade i fordonets samtliga fardriktningar, i fallet att fordonet är manovrerat av en forare är anordningen i de fiesta fall anordnad i fordonets backriktning eller andra riktningar dar sikten är begransad och foraren har svarigheter att se. Sensorn eller sensorerna 111, 112 är anpassade till ljuskallans 115 vaglangd. Genom att anvanda minst tva, med fordel spatialt separerade, sensorer 111, 112 kan avstand till de i bilden registrerade personerna eller objekten beraknas. Sensorerna ansluts, direkt eller via ett granssnitt 113, till en berakningsenhet 114. I berakningsenheten utfOrs for andamalet lamplig bildbehandling. Berakningsenheten 114 kontrollerar aven sensorer 111, 112, kamera 116 samt ljuskalla 115. Ljuskallan 115 belyser fysiska objekt och personer 119 i det omrade ddr sensorerna 111, 112 registrerar bildinformation. Ljuskallan 115 belyser med fOrdel enbart onniclet cla en sensor 111, 112 utfor en registrering av omradet, det viii saga under sensorns slutartid. Vidare kan sakerhetssystemet 110 vara anordnat med en kamera 115 for en registrering av bild av omradet. Det är aven mOjligt att nyttja en pa fordonet for andra andamal anordnad kamera, exempelvis en backkamera. De av berakningsenheten identifierade fysiska objekten eller personerna i bilderna kan visas palagda eller pa annat satt anordnade tillsammans med en bild fran kameran 116 pa en displayenhet 117.

Berakningsenheten kan aven anordnas for att generera en signal 118 som kan nyttjas ftir att exempelvis stoppa det fordon till vilken sakerhetssystemet 110 är anordnad.

I figur 6a och 6b visas vy fran sensorerna och kameran 111, 112, 115. I figur 6a visas en vy fran en sensor som registrerar bildinformation i det visuella vaglangdsomradet. I den i figur 6a visade vyn finns ett fysiskt objekt 6, i form av ett fordon, dar det fysiska objektet är utfort med en reflekterande anordning 7, i form av reflexer anordnade pa fordonet samt en person 4 anordnad med en reflekterande anordning 5. I figur 6b visas 9 537 739 en vy fran en sensor som registrerar bildinformation i det infraroda vaglangdsomradet. Det är tydligt i figur 6b hur den reflekterade informationen, som är elektromagnetisk straining fran ljuskallan som reflekterats i den reflekterande anordningen 5, 7, ger information avseende fysiska objekt 6 och personer 4.

I figur 7a och 7b visas tva olika vyer pa en bildvisningsenhet 117. I figur 7a visas en vy i fordonets kOrriktning fran en kamera anordnad i den riktning som visas i vyn. I figur 7b visas en vy sett fran ovan, den i figur 7b visade vyn är beraknad av sakerhetssystemet for fordon 110. Foraren av fordonet kan vdlja Onskad vy genom ett g,ranssnitt anordnat pa bildvisningsenheten 117. I ett alternativt utfOrande kan sakerhetssystemet for fordon 110 dndra vy i bildvisningsenheten 117 for att pakalla forarens uppmarksamhet. Information i bildvisningsenheten 117 kan vara bildinformation med avstand till personer eller fysiska objekt, vilket indikeras i figur 7a, 7b, med angivelse av distans till de fysiska objekten och/eller personerna. For vy sett fran ovan kan awn avstandslinjer presenteras i bildvisningsenheten 117 for att indikera avstand till fysiska objekt eller personer. Avstandslinjerna presenteras med ett viss bestambart avstand, exempelvis 5 m. Vidare kan fordonets estimerade framtida kOrbana presenteras i bildvisningsenheten vilket indikeras i figur 7b. I figur 7b indikeras att den potentiella framtida banan eller kursen for fordonet 1 blir bredare/storre med okat avstand da osakerheten avseende fordonets framtida bana akar med Okat avstand dá manovermOjligheten okar med avstandet. Befinner sig personer eller fysiska objekt i den prognostiserade banan kan ett visuellt eller audiellt eller pa annat salt indikerat larm uppmarksamma foraren av fordonet 1 att kollisionsrisk foreligger. Det är vidare tankbart att sakerhetssystemet fiir fordon 110 berdknar en estimerad tidpunkt fOr kollision och automatiskt bromsar eller pa annat sat begransar fordonets hastighet.

FUNKTIONSBESKRIVNING I figur 1 visas ett fordon 1 utfOrt med ett sdkerhetssystem for fordon 2 dar fordonet är anordnat med sensorsystem 3, 3 i fordonets framriktning och backriktning. Fordonets sensorsystem 3, 3' kan sanda elektromagnetisk straining och detektera en reflekterande signatur eller en reflex fran personer 4 och fysiska objekt utforda med en reflekterande anordning 5 i fordonets 1 naromrade samt registrera bildinformation med sensorsystemets 3, 3' sensorer och/eller kameror. 537 739 Sensorsystemet 3, som visas i figur 2, innefattar minst en sensor 111, 112, samt minst en kamera 116 samt minst en ljuskalla 115. Det är aven tankbart att samma sensor kan fungera som saval sensor som kamera genom anpassning av sensorn till vaglangdsomradet. Foretradesvis utfors sensorsystemet 3, 3' i en enhet for montering pa fordonet men sensorsystemet kan dven anordnas pa fordonet genom individuell montering eller genom nyttjandet av pa fordonet redan anordnade sensorer, kameror eller ljuskallor. Foretradesvis är tva sensorsystem 3, 3' anordnade pa fordonet 1, ett sensorsystem 3 i framriktning och ett sensorsystem 3' i backriktning samt ddr sakerhetssystemet for fordon 110 automatiskt andrar sensorsystem 3, 3' samt vy i bildvisningsenheten 117 utifran fordonets korriktning sa att da fordonet backar sa valjs det sensorsystem 3, 3 som är anordnat i backriktning 3' samt da fordonet framfiirs i framriktning sa valjs det sensorsystem 3 som är anordnat i framriktning. Vidare kan Edda sensorsystemen 3, 3' anvandas samtidigt for att skapa en vy fran ovan Over situationen runt fordonet.

En bildvisningsenhet 117, som visas i figur 3a, är anordnad for att for fOraren av fordonet 1 visa en vy i fordonets korriktning eller annan av fordonet eller foraren vald riktning. FOraren av fordonet 1 kan aven styra sakerhetssystemet fOr fordonet med bildvisningsenheten 117. I figur 3b visas hur bildvisningsenheten 117 kan anordnas i fordonet sa att foraren dels kan fa en god Overblick Over informationen som presenteras i bildvisningsenheten 117 samt dels kunna manovrera det grdnssnitt med vilket foraren kan styra sakerhetssystemet for fordonet 110.

I figur 4 visas ett flodesschema for en metod for att undvika kollisioner vid manovrering av fordon dar metoden detekterar personer eller objekt forsedda med fOr optisk straining reflekterande anordning 11. Foretradesvis registreras bilder 13 med en frekvens pa 30 bilder per sekund, aven fler eller farm bilder per sekund kan forekomma. Varje registrering av bild 13 sker med en slutartid pa i storleksordningen 1 ms, clamed bor dven belysningen 12 ske med i storleksordningen 1 ms. For varje bild som registreras 13 med belysning 12 av ljuskallan 115, den forsta bilden, registreras 13 en andra bild utan anvandandet av ljuskallan 115. Den andra bilden kan registreras med samma sensor 111, 112 men aven av en annan sensor 111, 112. Ett fordelaktigt utforande registreras den forsta bilden med en fOrsta sensor kanslig i det infraroda omradet och den andra bilden med en andra sensor som är kanslig i hela det visuella omradet. Vidare kan ytterligare uppsattning bilder registreras 13 for att exempelvis erhAlla battre bildkvalitet eller na hogre formaga att berdkna avstand till objekt och personer. DA en uppsattning bilder registrerats upprepas fOrloppet med en registrering av en forsta bild, darefter en 11 537 739 andra bad o.s.v. dar minst en av bilderna är registrerad samtidigt som ljussattning av registreringsomradet sker. Genom jamforelse mellan bilder registrerade da ljuskallan har varit aktiv med bilder registrerade utan ljuskalla kan fysiska objekt och personer som reflekterade ljus fran ljuskallan 115 sarskiljas. Beroende pa omgivande ljusfOrhallanden, som exempelvis starkt solsken eller i totalt morker, kommer skillnader mellan den forsta bilden och den andra bilden vara av olika storleksordning. Med en lamplig algoritm for segmentering 15 kan objekt identifieras, dar objekten representerar de reflekterande fysiska objekten och personerna. De, som genom jamfOrelse mellan den forsta bilden och den andra bilden i blocken segmentering 15, identifierade objekten kan, efter detektering 16, klassificeras vara fysiska objekt eller personer. Detektering 16 sker med en for andamalet anpassad och larande algoritm som identifierar fysiska objekt och personer utifran de fran segmentering 15 detekterade reflekterande objekten. Detektering 16 inkluderar bestamning avseende om de identifierade objekten utgors av fysiska objekt eller personer. Exempelvis kan bestamning ske genom att de identifierade objekten har olika reflekterande signatur med avseende pa monster, intensitet eller frekvensinnehall. Exempelvis kan den reflekterande signaturen ange om det fysiska objektet eller personen är vertikalt eller horisontellt orienterad, exempelvis for att avgora om en person ligger ned eller star upp. I ett fordelaktigt fall kan personer identifieras att sta upp, ligga ner eller befinna sig i en hukande position, dar hukande position inkluderar samtliga positioner mellan liggande och staende. Vidare kan saledes en bedomning avseende en persons observationsfOrmaga och rorlighet goras utifran personens kroppsstallning dar en liggande person bedoms ha lag observationsformaga och rOrlighet vilket resulterar i att stor forsiktighet/aktsamhet vid framforandet av fordonet mot en liggande person maste iakttagas, samt att en hukande person bedoms ha begransad observationsformaga och riirlighet varfor ett fordon som framfors mot en hukande person maste iakttaga forsiktighet/aktsamhet samt i det fall en person är staende sa kan fordonet framforas med begransad/normal forsiktighet/aktsamhet. En staende person bedoms ha normal observationsformaga och rorlighet. Dartill kan en bedomning goras avseende om en person är \rand mot eller fran fordonet. Dar en staende person vand mot fordonet, sa att den staende personen ser fordonet, bedoms ha hOgre observationsformaga och rorlighet jamfort med en staende person som är vand fran fordonet, sa att den staende personen inte ser fordonet. Pa samma salt bediims en hukandes person vand mot fordonet, sa att den hukande personen ser fordonet, ha hOgre observationsformaga och rorlighet jamfort med en hukandes person som är vand fran fordonet, sa att den hukande personen inte ser fordonet. Darmed kan fem olika fall identifierad avseende personer lokalisering: liggandes, hukandes valid mot fordonet, 12 537 739 hukandes vand fran fordonet, staendes vand mot fordonet samt staendes vand fran fordonet.

Vidare kan de fysiska objekten och personerna vara utforda med en reflekterande anordning som ger olika reflekterande sig-natur fOr att kunna sarskilja fysiska objekt fran personer genom den reflekterande signaturen. Aven andra parametrar som paverkar de reflekterande fysiska objekten och personerna kan forekomma. De av detektering 16 detekterade fysiska objekten och personerna kan foljas 17 genom jamforelse med efterkommande bildserier. Genom foljning 17 kan forandringar fOljas av de detekterade fysiska objekten och personerna, som andras relativt fordonet da fordonet forflyttas samt om de fysiska objekten eller personerna forflyttas. Genom foljning 17 kan en fOrbattrad identifikation och bestamning av de fysiska objekten och personerna genomforas, exempelvis kan fysiska objekt och personer som I& sig mot fordonet eller pa annat satt som okar risker for kollision detekteras. De fysiska objekten och personerna kan visas 18 genom att de fysiska objekten och personerna visualiseras exempelvis genom rektanglar i en bild av omradet eller genom konturer av de fysiska objekten, eller konturer av personerna. Med fOrdel ar konturer for personer utforda med en specifik form av kontur, exempelvis genom val av konturens farg eller linjetjocklek eller typ av linje, och de fysiska objekten har en annan specifik form av konturen, exempelvis genom farg eller linjetjocklek eller typ av linje. Konturerna kan aven indikera om personerna är vanda mot fordonet och da far en form av kontur eller vanda fran fordonet, med ryggen mot fordonet, och da visualiseras med en annan form av kontur. I fallet att en person bedoms ha lag uppsikt, exempelvis genom att personen är vand fran fordonet, eller da fordonet är nara en person kan fonnen pa konturen fortydligas genom att konturen exempelvis blinkar eller pa annat satt tydliggor att risk fOreligger. Vidare kan olika typer av fysiska objekt sarskiljas med hjalp av formen pa konturen exempelvis genom farg eller linjetjocklek eller typ av linje.

Med fordel kan de visualiserade objekten presenteras, overlagrad pa, en bild som registrerats 14 med en kamera anordnad pa fordonet. Den kamera som anvands for denna registrering av bild kan vara en pa fordonet redan anordnad kamera, exempelvis en existerande backkamera. Det i figur 4 visade flodesschema for en metod for att undvika kollisioner vid manovrering av fordon dar metoden detekterar personer eller fysiska objekt forsedda med elektromagnetisk reflekterande anordning 11 visar pa att informationen presenteras, visas 18, for en forare av fordonet. Informationen om de fysiska objekten och personerna kan aven anvandas for att stoppa fordonet i de fall fordonet kommer for nara eller pa annat satt kan utsatta de fysiska objekten och 13 537 739 personerna for risk eller i de fall da fordonet 1 kan utsattas for risk. Aven andra alternativ dr tankbara, exempelvis larmsig-naler i form av ljud och/eller ljus i de fall fordonet kommer for nara eller pa annat satt kan utsatta de fysiska objekten och personerna fOr risk. En alternativ losning är att fordonets hastighet automatiskt regleras nedat da fysiska objekt och personer är i narheten av fordonet eller da fordonet narmar sig, ett annat alternativ är att ljudsignaler och/eller ljussignaler iikar i intensitet da fysiska objekt och personer är i narheten av fordonet eller da fordonet narmar sig.

Ett sakerhetssystem for fordon 110, som visas i figur 5, bestar av ett antal sensorer 111, 112 for registrering av huvudsakligen infrarod straining i vaglangdsomradet 700 nm till 1 mm. Sensorerna är exempelvis CMOS sensorer med hog kanslighet i det infrarOda omradet, ett fordelaktigt utfOrande är en kanslighet i NIR-omradet, med en vaglangd pa 750 nm till 1400 nm, speciellt lampat är frekvenserna 850 nm samt 940 nm ddr en mindre mangd naturlig straining frail solen foreligger. Sensorerna är med fordel anordnade med en optisk lins samt ett filter. Antalet sensorer är minst en, anvands flera sensorer är de med fordel placerade med en distans for att mojliggiira avstandsbedOmningar i bilderna. Distansen mellan sensorerna kan vara i storleksordningen 20 cm men awn stone eller mindre distanser kan forekomma. Bestamning av avstand i stereogram, flera bilder registrerade med en inbordes avstand, är att betrakta som alimant kant och ber6rs ej vidare i denna ansokan. En sensor kan aven fOrses med optik for att kunna registrera bilder spatialt. I de fall sakerhetssystemet for fordon 110 presenterar information fOr en forare av ett fordon är det fordelaktigt att presentera information registrerad av sensorerna 111, 112 overlagrade pa en kamerabild. Kamerabilden kan registreras av en kamera 116 anordnad pa fordonet som en del av fordonets iivriga system, som exempelvis backkamera, eller som en del av sakerhetssystemet for fordon 110. Samtliga sensorer 111, 112 och kameran 116 kan anslutas till en berakningsenhet 114. Ett granssnitt 113 kan anordnas mellan sensorerna 111, 112, kameran 116 och berakningsenheten 114 om sa krdvs. Exempelvis kan granssnittet 113 anpassa formatet pa bilder, signalnivaer och andra egenskaper lampade fOr att berakningsenheten 114 skall kunna hantera informationen fran sensorerna 111, 112 och kameran 116. Berakningsenheten 114 styr sensorerna 111, 112, kameran 116 samt ljuskallan 115 och utfor berakningar pa de registrerade bilderna. Resultatet fran berakningsenheten 114 kan presenteras pa en bildvisningsenhet 117 eller i form av en signal 118. I det fall att de fysiska objekt och personer som beraknas och detekterats i berakningsenheten 114 presenteras pa en bildvisningsenhet 117 sa kan de fysiska objekten och personerna presenteras i form av en ram eller en kontur i en kamerabild fran kameran 116. I det fall information om de fysiska objekten och personerna 14 537 739 kommuniceras i form av en signal 118 sa kan informationen helt eller delvis styra fordonet. Informationen om de fysiska objekten och personerna, genom signal 118, kan anvandas fOr att stoppa fordonet i de fall fordonet kommer fiir ndra eller pa' annat sait kan utsdtta de fysiska objekten och personerna for risk. Aven andra alternativ är tankbara, exempelvis larmsignaler i form av ljud och/eller ljus i de fall fordonet kommer far ndra eller pa annat sdtt kan utsdtta de fysiska objekten och personerna for risk. En alternativ losning är att fordonets hastighet automatiskt regleras nedat da fysiska objekt och personer är i narheten av fordonet eller a fordonet narmar sig, ett annat alternativ är att ljudsignaler och/eller ljussignaler Okar i intensitet da fysiska objekt och personer är i ndrheten av fordonet eller da fordonet ndrmar sig. Informationen i signal 118 kan i olika utstrackning styra fordonet, speciellt i fallet att sdkerhetssystemet far fordon 110 är anordnat pa ett autonomt fordon. Sakerhetssystemet for fordon 110 i ett autonomt fordon kan anvandas dels for att detektera och undvika andra fordon, autonoma eller mantivrerade av en farare, anordnade med reflekterande anordning, men dven for att detektera och undvika personer eller fysiska objekt anordnade med en reflekterande anordning.

I figur 6a visas en vy fran en sensor som registrerar bildinformation i det visuella vagldngdsomradet exempelvis en kamera, i denna vy kan information fran sensorerna 111, 112 overlagras. Speciellt da ljusforhallandena är sadana att en visuell bild är svar att tyda, exempelvis i morker, kan overlagringen av information fran sensorerna 111, 112 tydliggora objekt och personer i bilden. Objekt 6 är i figur 6a i form av ett fordon men kan dven utgoras av andra fysiska objekt som olika former av fasta eller mobila installationer, objekt fran naturen som trdd eller stenar eller andra objekt som bör undvikas da ett fordon framfOrs. Objektet 6 är utfort med en reflekterande anordning 7 i form av reflexer anordnade pa fordonet. Reflexerna kan anordnas pa sa sat att objektet kan identifiera, exempelvis genom att reflexen ger en speciell signatur eller genom hur reflexerna placeras. Ett fardelaktigt utforande är om reflexerna kan placeras i form av en kontur av objektet. Vidare visas i vyn, i figur 6a, en person 4 anordnad med en reflekterande anordning 5. Sakerhetssystemet for fordon 110 inkluderar sensorer 111, 112 kdnsliga i det infraroda vagldngdsomradet, i figur 6b visas en vy fran dessa sensorer 111, 112. Det är tydligt i figur 6b hur den reflekterade informationen, som är elektromagnetisk straining fran ljuskallan som reflekterats i den reflekterande anordningen 5, 7, ger information avseende fysiska objekt 6 och personer 4. Utifran informationen flan sensorerna 111, 112, som visas i figur 6b, kan sakerhetssystemet for fordon berdkna om reflexerna utgors av fysiska objekt eller personer samt vilken typ av 537 739 objekt som foreligger samt avstand till objekten eller personerna samt personernas aktuella position.

Informationen fran sakerhetssystemet for fordon 110 presenteras pa en bildvisningsenhet 117. I figur 7a och 7b visas tva olika vyer presenterade pa en bildvisningsenhet 117. I figur 7a visas en vy i fordonets korriktning fran en kamera anordnad i den riktning som visas i vyn. I figur 7b visas en vy sett fran ovan, den i figur 7b visade vyn är beraknad av sakerhetssystemet for fordon 110. Foraren av fordonet kan valja onskad vy genom ett granssnitt anordnat pa bildvisningsenheten 117. I ett alternativt utforande kan sakerhetssystemet for fordon 110 andra vy i bildvisningsenheten 117 fOr att pakalla forarens uppmarksamhet.

ALTERNATIVA UTFORINGSFORMER Uppfinningen är inte begransad till de speciellt visade utforingsformerna utan kan varieras pa olika satt Mom patentkravens ram. En tilldrnpning är navigering av fordon i en miljo dar objekt fOrsetts med reflekterande anordningar, exempelvis for autonom navigering av fordon i en miljo forsedd med reflekterande anordningar. Exempelvis kan en fardvag for ett autonomt fordon utforas med reflekterande anordningar for att leda fordonet. Vidare kan uppfinningen anvandas for navigering av fordon i morker da enbart information fran reflekterande anordningar anvands for att navigera och styra fordonet.

Det inses exempelvis att antalet sensorer, frekvensomraden, fordon, typ av fordon eller system av de i metod feu- att undvika kollisioner vid mantivrering av fordon eller de i sakerhetssystemet ingaende elementen och detaljerna anpassas efter plattform eller anlaggning och &riga konstruktionsegenskaper som for tillfallet foreligger. Sakerhetssystemet och metoden for att undvika kollisioner vid manovrering av fordon kan anvandas for alla system och fordon eller andra anordningar dar behov fOreligger. 16

Claims (10)

537 739 PATENTICRAV 1. Metod fOr att undvika kollisioner med personer och fysiska objekt vid manOvrering av fordon, varvid fordonet innefattar minst en sensor kannetecknad av att personer och fysiska objekt är utrustade med en reflekterande anordning samt att foljande steg innefattas;

1. belysa ett omrade, med en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, 2. registrera en fOrsta bild Over omrAdet under belysning, med en pa fordonet anordnad sensor, dar sensom Sr anpassad for ljuskallans vaglangd, 3. registrera en andra bild Over ett omrade, med en pa fordonet anordnad sensor, 4. detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt utrustade med den reflekterande anordningen genom jamfOrelse mellan den fOrsta bilden och den andra bilden, 5. bestamma, i den pa fordonet anordnade berakningsenheten, om de detekterade objekten ar personer eller fysiska objekt, 6. kommunicera information om detekterade personer eller fysiska objekt.

2. Metod enligt krav 1 kannetecknad av att bestamning av om de detekterade objekten dr personer eller fysiska objekt sker genom att de detekterade objekten ger olika signatur frail den reflekterande anordningen sA att den reflekterande anordningen fOr personer ger en fOrsta reflekterande signatur och sa att den reflekterande anordningen fOr fysiska objekt ger en andra reflekterande signatur.

3. Metod enligt nagot av krav 1 till 2 kannetecknad av att bestamning av om de detekterade objekten ar personer eller fysiska objekt sker genom en i berakningsenheten anordnad algoritm som utifran de detekterade objektens lage, storlek, rOrelse eller annan parameter avgar om de detekterade objekten utgOrs av personer eller fysiska objekt.

4. Metod enligt nagot av krav 1 till 3 kannetecknad av att detekterade personer kan identifieras vara liggande, hukandes eller stiende.

5. Metod enligt nagot av krav 1 till 4 kiinnetecknad av att informationen om detekterade personer eller fysiska objekt visualiseras i en pa fordonet anordnad 17 537 739 bildvisningsenhet.

6. Metod enligt krav kiinnetecknad av att de detekterade objekten visualiseras form av konturer ddr personer eller fysiska objekt ges olika konturer s att for personer ges en forsta typ av kontur och sa att fOr fysiska objekt ges en andra typ av kontur.

7. Sakerhetssystem far detektion av personer och fysiska objekt vid manovrering av fordon, varvid fordonet innefattar minst en sensorenhet samt en bildvisningsenhet kannetecknad av att personer och fysiska objekt är utmstade med en reflekterande anordning samt att foljande enheter innefattas; 1. en pa fordonet anordnad ljuskalla, ddr ljuskallan har en bestamd vaglangd, belyser ett (=rade, 2. den pa fordonet anordnade sensorenheten, dar sensorenheten är anpassad for ljuskallans vaglangd, registrerar en forsta bild Over omradet under belysning, 3. den pa fordonet anordnade sensorenheten registrerar en andra bild, 4. en pa fordonet anordnad berakningsenhet detekterar objekt utrustade med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bilden, (e) den pa fordonet anordnade beraningsenheten bestammer om de detekterade objekten är personer eller fysiska objekt, (f) information om de detekterade personema och de fysiska objekten presenteras pa bildvisningsenheten.

8. Sakerhetssystem enligt krav 7 kfinnetecknad av att den reflekterande anordningen är utformad fOr att sarskilja vertikal respektive horisontell orientering av den reflekterande anordningen samt att den reflekterande anordningen har en forsta utformning fOr personer och en andra utformning for fysiska objekt samt att den reflekterande anordningen är minst en reflex anpassad eller lampad for infrarOd straining.

9. Fordon anordnat med ett sdkerhetssystem enligt nagot av krav 7 till 8.

10. Fordon enligt krav 9 anordnat med ett sakerhetssystem kiinnetecknad av att fordonet är anordnat med ett sensorsystem (3) i framriktningen och ett sensorsystem (3') i backriktningen och dar sakerhetssystemet automatiskt valjer sensorsystem (3, 3') beroende pa fordonets kOrriktning. 18 537 739 1(5) 3"2