SE1400134A1 - Säkerhetssystem för detektion av personer och fysiska objektvid manövrering av fordon - Google Patents

Abstract

19 SAMMANDRAG Uppfinningen avser en metod for att undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor dar personer och fysiska objekt är utforda med en reflekterande anordning samt att ffiljande steg innefattas; (a) belysa ett omrade, med en p5 fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, (b) registrera en forsta bild Over omradet under helysning, med en pa fordonet anordnad sensor, dar sensorn är anpassad for ljuskallans vaglangd, (c) registrera en andra bild over ett omrade, med en pa fordonet anordnad sensor, (d) detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt utforda med den reflekterande anordningen genom jamforelse mellan den fOrsta bilden och den andra bilden, (e) bestamma, i en pa fordonet anordnad berakningsenhet, om de detekterade objekten Or personer eller fysiska objekt, (1) kommunicera information om detekterade personer eller fysiska objekt. Vidare avser uppfinningen ett sakerhetssystem for detektion av personer och fysiska objekt vid manovrering av fordon 1innefattande ett fordon utfort med minst en sensorenhet samt en bildvisningsenhet dar personer och fysiska objekt Or utforda med en reflekterande anordning samt att foljande steg innefattas; (a) en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, belyser ett omrade, (b) den pa fordonet anordnad sensorenhet, dar sensorenheten Or anpassad for ljuskallans vaglangd, registrerar en forsta bild Over omradet under belysning, (c) den pa fordonet anordnad sensorenhet registrerar en andra bild, (d) en pa fordonet anordnad berakningsenhet detekterar objekt anordnade med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bilden, (e) en pa fordonet anordnad berakningsenhet bestammer om de detekterade objekten Or personer eller fysiska objekt, (e) information om de detekterade personerna och de fysiska objekten presenteras pa bildvisningsenheten. Vidare avser uppfmningen ett fordon anordnat med ett sakerhetssystem. Fig. 1.

Description

SAKERHETS SYSTEM FOR FORDON TEKNISKT OMRADE Uppfinningen avser en metod for att undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor. Vidare avser uppfinningen ett sdkerhetssystem for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor saint en bildvisningsenhet. Vidare avser uppfinningen ett fordon anordnat med ett 10 sdkerhetssystem.

UPPFINNINGENS BAKGRUND, PROBLEMSTALLNING OCH KAND TEKNIK Vid arbeten relaterat till byggnationer, gruvdrift, bralgardar, logistik, transport och spedition samt andra arbeten som innefattar transporter med fordon foreligger en risk att med fordon skada personer och/eller fysiska objekt i fordonets ndromrade. Specielit dá fordon backar eller forflyttas pa ett sadant sat att fordonets ffirare ej har en fullstandig Oversikt Over hut' fordonet ffirflyttas sá existerar en risk att personer lokaliserade i fordonets omgivningar kors pa av fordonet. Det är vanligt forekommande, beroende pa arbetets art, att ett fordon ofta samverkar med en eller flera personer lokaliserade i narhet av fordonet. Dessa personer är ofta oskyddade fran fordonet och anpassar sin placering utifran fordonets rorelse.

For att underldtta manovrering av ett fordon kan fordonet vara forsett med sensorer som exempelvis en kamera ansluten till, en for foraren av fordonet visad, bildvisningsenhet eller display. Foretradesvis är kameran riktad i fordonets backriktning och den fran kameran visade vyn presenteras for foraren i displayen. FOraren kan utnyttja bildinformationen for att framfora fordonet. I det fall ett fysiskt objekt eller en person identifierats kan fordonet stoppas. Problem med denna typ av losning är att det är svart att med kameror tacka alla riktningar ddr fordonets framfors, vidare forutsatts hog uppmarksamhet av foraren for att tolka den information som presenteras i displayen, speciellt i sammanhang dâ det dr en intensiv aktivitet i ndromradet, bilden stors av vader som regn samt i de fall dá ljusforhallandena är sadana att det är svart att identifiera objekt eller personer i bilden, exempelvis i mOrker.

I 2 Vidare foreligger behov att for autonoma fordon, eller delvis autonoma fordon, att undvika kollisioner med personer eller fysiska objekt som av nagot skal befinner sig i det autonoma fordonets vag. For dessa autonoma fordon forutsatts att fysiska objekt eller personer identifieras och att det autonoma fordonet kan stoppas.

Artikeln "Estimating the 3D Position of Humans wearing a Reflective Vest using a Single Camera System", publicerad pa konferensen "International Conference on Field and Service Robotics" juli 2012 visar pa detektion av personer utforda med reflekterande vast. Den i artikeln visade metoden inkluderar inte identifikation av om objekten som detekterats är personer eller fysiska objekt.

Patentskrift US 4,833,469 visar ett system for att detektera objekt och indikera detektion av objekt till foraren av ett fordon. Systemet inkluderar en anordning for att sanda elektromagnetisk straining i fordonets fardriktning samt en anordning for att ta emot, fran ett objekt reflekterad, elektromagnetisk straining. Vidare beraknar systemet avstand och differentiell hastighet till objektet utifran sand och mottagen elektromagnetisk straining. Vidare beskrivs system for att forandra den elektromagnetiska vagens utbredning for att tacka en stone yta/volym. Det i patentskriften visade systemet inkluderar inte identifikation av objekten som detekterats.

Ytterligare problem sorn uppfinningen avser att losa framgar i anslutning till den efterfoljande detaljerade beskrivningen av de olika utforingsformerna. 25 UPPFINNINGENS SYFTE OCH DESS SARDRAG Foreliggande uppfinning forbattrar mojligheten att detektera personer och fysiska objekt dar ett fordon framfors. Genom att personer eller objekt forses med en reflex eller annan anordning for att, hclt eller delvis, reflektera elektromagnetisk straining kan personema eller de fysiska objekten detekteras och identifieras.

Foreliggande uppfinning avser en metod for att undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor dar personer och fysiska objekt är utfOrda med en reflekterande anordning samt all foljande steg innefattas; (a) belysa ett omrade, med en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, 3 registrera en forsta bild over omradet under belysning, med en pa fordonet anordnad sensor, dar sensorn ar anpassad for ljuskallans vaglangd, registrera en andra bild Over ett omrade, med en pa fordonet anordnad sensor, detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt utforda med den reflekterande anordningen genom jamfOrelse mellan den fOrsta bilden och den andra bilden, bestamma, i en pa fordonet anordnad berakningsenhet, om de detekterade objekten är personer eller fysiska objekt, kommunicera information om detekterade personer eller fysiska objekt.

Enligt ytterligare aspekter for den forbattrade metoden for att kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor galler; a ii bestamning av om de detekterade objekten Or personer eller fysiska objekt sker genom att de detekterade objekten ger olika signatur fran den reflekterande anordningen sã att den reflekterande anordningen for personer ger en forsta reflekterande signatur och sà att den reflekterande anordningen for fysiska objekt ger en andra reflekterande signatur. "-)0 at t bestamning av om de detekterade objekten Or personer eller fysiska objekt sker genom en i berakningsenheten anordnad algoritm som utifran de detekterade objektens lage, storlek, rorelse eller annan parameter avgor om de detekterade objekten utgors av personer eller fysiska objekt. a t t detekterade personer kan identifieras vara liggande, hukandes eller staende. at t informationen om detekterade personer eller fysiska objekt visualiseras i en pa fordonet anordnad bildvisningsenhet. at t de detekterade objekten visualiseras i form av konturer dar personer eller fysiska objekt ges olika konturer s5 att for personer ges en forsta typ av kontur och sa att fcir fysiska objekt ges en andra typ av kontur.

Uppfinningen avser dartill ett forbattrat sakerhetssystem for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor samt en bildvisningsenhet dar personer och fysiska objekt Or utfOrda med en ' 4 retlekterande anordning samt att foljande steg innefattas; en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, belyser ett omrade, en pa fordonet anordnad sensorenhet, dar sensorenheten är anpassad for ljuskallans vaglangd, registrerar en forsta bild over omradet under belysning, en pa fordonet anordnad sensorenhet registrerar en andra bild, en pa fordonet anordnad berakningsenhet detekterar objekt anordnade med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bit den, (e) en pa fordonet anordnad berakningsenhet bestammer om de detekterade objekten är personer eller fysiska objekt, information om de detekterade personerna och de fysiska objekten presenteras pa en bi Idvisningsenhet.

Enligt ytterligare aspekter for del forbattrade sakerhetssystemt for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor samt en bildvisningsenhet galler; at t den reflekterande anordningen är utformad for att sarskilja vertikal respektive horisontell orientering av den reflekterande anordningen samt att den reflekterande anordningen har en forsta utfon-nning for personer och en andra utformning for fysiska objekt samt att den reflekterande anordningen är minst en reflex anpassad eller 1dmpad for infrarod straining.

Uppfinningen avser dartill ett fordon anordnat med ett sakerhetssystem.

Enligt ytterligare aspekter for ett fordon anordnat med ett sakerhetssystem galler; at t fordonet är anordnat med ett sensorsystem i framriktningen och ett sensorsystem i backriktningen och dar sakerhetssystemet automatiskt valjer sensorsystem beroende pa fordonets korriktning.

FORDELAR OCH EFFEKTER MED UPPFINNINGEN Utifran foreslagen metod for att undvika kollisioner vid manovrering av fordon samt foreslaget sakerhetssystem for fordon sa fas ett forbattrat system for att undvika kollisionen och hoja sakerheten vid arbete med fordon jamfort med konventionella losningar. Genom att sanda ljus och ta emot den fran en reflexvast reflekterade signalen kan personer och fysiska objekt runt fordonet detekteras oavsett vaderforhallande, ljusforhallanden eller mil* Metoden är tillampbar i saval starkt solsken som fallstandigt marker.

Forbattringen jamfort med att anvanda konventionell teknik, som backkameror, är att metoden for att undvika kollisioner vid manOvrering av fordon och sakerhetssystemet aktivt identifierat personer och fysiska objekt i omgivningen medan ett konventionellt system enbart presenterar information. Den foreslagna metoden och det foreslagna systemet är aven lampat for helt eller delvis autonoma system.

F1GURFORTECKNING Uppfinningen kommer i det foljande att beskrivas narmare under hanvisning till de bifogade figurema dar: Fig. 1 visar ett fordon utfort med ett sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 2 visar ett sensorsystem for sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 3a visar en bildvisningsenhet for sakerhetssystem far fordon enligt en utforandeform av uppfinningen.

Fig. 3b visar en bildvisningsenhet ffir sakerhetssystem for fordon anordnad i ett fordon enligt en utforandeform av uppfinningen.

Fig. 4 visar ett flodesschema for en metod for att undvika kollisioner vid manovrering av fordon enligt en utforandeform av uppfinningen.

Fig. 5 visar ett blockschema Over sdkerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 6a visar en vy fran sensor i det visuella vaglangdsomradet for ett sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 6b visar en vy fran sensor i det infraroda vaglangdsomradet fOr ett sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 7a visar en bildvisningsenhet, med vy med perspektiv fran kamera, for ett sakerhetssystem for fordon enligt en utforandeform av uppfinningen.

Fig. 7b visar en bildvisningsenhet, med vy med perspektiv fran ovan, for ett sakerhetssystem for fordon enligt en utfOrandeform av uppfinningen.

DETALJERAD UTFORANDEBESKRIVNING Fit sakerhetssystem for ett fordon anvands for att minska riskerna for att personer eller tYsiska objekt oavsiktligt kors pa eller pa andra salt paverkas av ett fordon. En Ware av ett fordon kombinerar den visuella information fran rutor, speglar eller andra anordningar for att Oka sikten runt fordonet med bildinformation fran exempelvis en kamera eller annan utrustning som registrerar bildinformation samt sensorinformation fran exempelvis backsensorer. Den registrerade bildinformationen och sensorinforrnationen presenteras i de fiesta fall pa en display men kan liven kommuniceras genom ljudinformation eller pa annat satt. Vidare existerar system for detektion av personer eller objekt baserat pa exempelvis ultraljud eller radar. Foraren av fordonet kombinerar informationen frail de stodjande systemen med sin egen uppfattning av situationen for att avgora sina beslut avseende bur fordonet framfOrs. For autonoma system sá styrs fordonet, belt eller delvis, av sensorinformationen.

I sammanhang dã manga storande moment forekommer, som exempelvis pa en arbetsplats, beroende av vaderfaktorer, omfattande trafik etc. kravs av foraren av ett fordon att beslut fattas under stress. Kan ett system som ger foraren korrekt och tydlig information inforas i fordonet, och darmed underlattar for Iciraren, sa kan olycksrisken minskas. Genom anvandandet av ett sakerhetssystem som kan identifiera personer och fysiska objekt i omgivningen av fordonet kan sakerhetssystemet visa information, larma foraren av fordonet och/eller hindra fordonet. Ett sadant sakerhetssystem är aven tillampbart for autonoma fordon, det vill saga fordon utan forare samt delvis autonoma 7 system, det viii saga fordon med ffirare men cid fordonet dven helt eller delvis autonomt framffir fordonet.

I figur 1 visas ett fordon 1 utfort med ett sakerhetssystem for fordon 2 ddr fordonet är anordnat med sensorsystem 3, 3'. Antalet sensorsystem 3, 3' kan anpassas utifran fordonets 1 korriktningar eller andra avseende fordonets framforande relevanta parametrar. Fordonets sensorsystem 3, 3' detekterar en reflekterande signatur eller en reflex fran personer 4 och fysiska objekt i fordonets naromrade. Fordonets ndromrade kan utgoras av omradet framfor fordonets sensorsystem 3, 3' samt i en radie runt fordonet upp till 100 meter fran fordonet men aven andra langre avstand är tankbara om behov av Pangre avstand foreligger. Det i figur 1 visade fordonet 1 är anordnat med ett sensorsystem 3 i framriktningen samt ett sensorssystem 3' i backriktningen. Personerna 4 eller de fysiska objekten är utffirda med en reflekterande anordning 5.

I figur 2 visas ett sensorsystem 3 innefattande sensorer 111, 112, kamera 116 samt ljuskalla 115. I det i figur 2 visade utforandet sa har sensorsystemet tva sensorer 111, 112 samt en kamera 116, sensorsystemet kan aven vara utfort med fler eller fdrre sensorer ()eh kameror. Vidare dr sensorsystemet i figur 2 utfort med ljuskalla 115 i form av en eller flera lysdioder anordnade runt sensorerna/kameran men ljuskallan 115 kan aven vara utford som en fristaende enhet eller pa annat sat! anordnad for att belysa omradet mot vilket sensorerna/kameran är riktade.

I figur 3a visas en bildvisningsenhet 117 anordnad fOr att for foraren av fordonet 1 visa en vy i fordonets korriktning eller annan av fordonet eller foraren vald riktning.

Bildvisningsenheten 117 kan aven vara anordnad for att mottaga kommandon fran fOraren exempelvis genom tangenter, pekskarm eller annan anordning eller system for att anpassa sakerhetssystemet for fordon utifran forarens onskemal.

I figur 3b visas en bildvisningsenhet 117 anordnad i ett fordon 1. Sdkerhetssystemet for fordon är i figur 3b anordnat att visa, i bildvisningsenheten 117, en vy i fordonets 1 korriktning.

I figur 4 visas ett flodesschema for en metod for att undvika kollisioner vid manovrering av fordon 11 ddr metoden detekterar personer eller objekt fOrsedda med en reflekterande anordning. Ett omrade bestralas eller belyses 12 med elektromagnetisk straining, ffiretradesvis infrarod straining vidare benamnt IR-straining. Det reflekterade ljuset registreras 13, i form av en forsta bild, med en sensor, sa som en kamera eller annan 8 anordning, anpassade till det sanda ljuset. Vidare kan en andra eller ytterligare bilder registreras 13 med samma sensor eller ytterligare sensorer, da foretradesvis placerade med ett avstand i forhallande till varandra for en stereografisk registrering. Den andra bilden tas foretradesvis utan en thregaende belysning 12. Den forsta bilden dr saledes registrerad efter en belysning av de fysiska objekt och personer som foreligger i sensoms registreringsomrade och den andra bilden Ar saledes registrerad utan en belysning av de fysiska objekt och personer som foreligger i sensorns registreringsomrade. En bildbehandlingsteknisk jamforelse mellan den forsta och andra bilden kan saledes detektera de reflekterande fysiska objekten och personerna i bilden.

Del vill saga de fysiska objekt och personer som dr anordnade med en elektromagnetiskt reflekterande anordning, sa som en reflexvdst eller andra reflexer, kommer att detekteras.

Vidare kan en ffirsta visuell bild registreras 14 som foretradesvis utffirs med en sensor kdnslig morn det for manniskan synliga optiska omradet. Samtliga bilder och visuella bilder kan detekterad med samma sensor men aven med tva eller flera separata sensorer.

Den registrerade forsta bilden bildbehandlas genom att de ljusa objekten i bilden identifieras i blocket bildbehandling segmentering 15. Vidare kan den registrerade andra bilden bildbehandlas genom att de ljusa objekten i bilden identifieras i blocket bildbehandling segmentering 15. Jamforelsen mellan den forsta bilden och den andra bilden efter segmentering 15 ger de fysiska objekt och personcr som kan vara utrustad med rellekterande anordning da dessa fysiska objekt och personer sannolikt gett en av belysningen 12 skapad signatur i den forsta bilden. I ett andra steg i bildbehandlingen, bildbehandling detektering 16, kan detektering utifran typ av de i det forsta steget av bildbehandlingen identifierade upplysta fysiska objekten eller personerna. Detektering av typ kan exempelvis inkludera att det dr en person anordnad med en reflekterande vast eller ett fysiskt objekt anordnat med en reflekterande anordning som registrerats. Dctektering sker med fOr dndamalet ldmpade algoritmer inkluderandes olika former av larande algoritmer. De detekterade fysiska objekten eller personerna kan darefter ffiljas 17 for att avgora om det dr en person i rorelse eller ett fysiskt objekt i rOrelse, exempelvis ett armat fordon. De objekt som identifierats utgora fysiska objekt och personer, efter bildbehandlingsstegen 15, 16, 17, kan presenteras pa en bildvisningsenhet 117, sa som en display, vilken presenteras for foraren av fordonet. For att underldtta visualiseringen kan de fysiska objekten och/eller personerna presenteras i form av en med farg eller pa annat salt markerad rektangel eller kontur. Med fOrdel presenteras den fdrgmarkerade rektangeln eller konturen pa en fargbild med vy Over 9 kamerans registreringsomrade. De olika sensorerna och kameroma har saledes med ffirdel ett helt eller delvis overlappande registreringsomrade. Vidare kan forekomma flera uppsattningar av kameror och sensorer med olika registreringsomraden. Metoden for att undvika kollisioner vid manovrering av fordon dar metoden detekterar personer eller fysiska objekt forsedda med elektromagnetisk reflekterande anordning 11 kan, forutom att presentera informationen visuellt, ge information om avstand och position av fysiska objekt och/eller personer som kan anvandas av fordonet for exempelvis automatisk bromsning, ge visuell eller audiell information eller pa andra satt som är lampade for den enskilda installationen och/eller fordonet. figur 5 visas ett blockschema over sdkerhetssystem for fordon 110. Minst en sensor 111, 112 är anordnad pa ett fordon for registrering i minst en av fordonets fardriktningar. I fallet att fordonet dr autonomt är sensorer med fOrdel anordnade i fordonets samtliga fardriktningar, i fallet att fordonet är manovrerat av en ffirare är anordningen i de fiesta fall anordnad i fordonets backriktning eller andra riktningar dar sikten är begransad och foraren har svarigheter att se. Sensorn eller sensorerna 111, 112 är anpassade till ljuskallans 115 vaglangd. Genom att anvanda minst tva, med ffirdel spatialt separerade, sensorer 111, 112 kan avstand till de i bilden registrerade personema eller objekten beraknas. Sensorerna ansluts, direkt eller via ett granssnitt 113, till en 90berdkningsenhet 114. 1 beraningsenheten utfOrs fdr andarnalet lamplig bildbehandling.

Berakningsenheten 114 kontrollerar aven sensorer 111, 112, kamera 116 samt ljuskalla 115. Ljuskallan 115 belyser fysiska objekt och personer 119 i det omrade dar sensorerna 111, 112 registrerar bildinformation. Ljuskallan 115 belyser med fOrdel enbart omradet da en sensor 111, 112 utfor en registrering av omradet, det viii saga under sensorns slutartid. Vidare kan sakerhetssystemet 110 vara anordnat med en kamera 115 for en registrering av bild av omradet. Det är aven mojligt att nyttja en pa fordonet for andra andamal anordnad kamera, exempelvis en backkamera. De av berakningsenheten identifierade fysiska objekten eller personerna i bildema kan visas palagda eller pa annat satt anordnade tillsammans med en bild fran kameran 116 pa en displayenhet 117.

Berakningsenheten kan aven anordnas for att generera en signal 118 som kan nyttjas for att exempelvis stoppa det fordon till vilken sakerhetssystemet 110 är anordnad.

I figur 6a och 6b visas vy fran sensorema och kameran 111, 112, 115. I figur 6a visas en vy fran en sensor som registrerar bildinformation i det visuella vaglangdsomranet. I den i figur 6a visade vyn finns ett fysiskt objekt 6, i form av ett fordon, ddr det fysiska objektet Eli utfOrt med en reflekterande anordning 7, i form av reflexer anordnade ph fordonet samt en person 4 anordnad med en reflekterande anordning 5. 1 figur 6b visas en vy fran en sensor som registrerar bildinformation i det infraroda vaglangdsomradet. Det är tydligt i figur 6b hur den reflekterade informationen, som är elektromagnetisk straining fran ljuskallan som reflekterats i den reflekterande anordningen 5, 7, ger information avseende fysiska objekt 6 och personer 4.

I figur 7a och 7b visas tva olika vyer pa en bildvisningsenhet 117. I figur 7a visas en vy i fordonets korriktning fran en kamera anordnad i den riktning som visas i vyn. I figur 7b visas en vy sett fran ovan, den i figur 7b visade vyn är beraknad av sakerhetssystemet for fordon 110. Foraren av fordonet kan valja onskad vy genom ett granssnitt anordnat pa bildvisningsenheten 117. I ett alternativt utforande kan sakerhetssystemet for fordon 110 andra vy i bildvisningsenheten 117 for att pakalla forarens uppmarksamhet. Information i bildvisningsenheten 117 kan vara bildinformation med avstand till personer eller fysiska objekt, vilket indikeras i figur 7a, 7b, med angivelse av distans till de fysiska objekten och/eller personerna. For vy sett fran ovan kan aven avstandslinjer presenteras i bildvisningsenheten 117 for att indikera avstand till fysiska objekt eller personer. Avstandslinjema presenteras med ett viss bestambart avstand, exempelvis 5 m. Vidare kan fordonets estimerade framtida korbana presenteras i bildvisningsenheten vilket indikeras i figur 7b. I figur 7b indikeras att den potentiella framtida banan eller kursen ffir fordonet 1 blir bredare/storre med okat avstand da osakerheten avseende fordonets framtida bana okar med okat avstand da manovermojligheten okar med avstandet. Befinner sig personer eller fysiska objekt i den prognostiserade banan kan ett visuellt eller audiellt eller pa annat satt indikerat larm uppmarksamma ffiraren av fordonet 1 att kollisionsrisk ffireligger. Det dr vidare tankbart att sakerhetssystemet for fordon 110 beraknar en estimerad tidpunkt ffir kollision och automatiskt bromsar eller pa annat satt begransar fordonets hastighet.

FUNKTIONSBESKRIVNING I figur 1 visas ett fordon 1 utfort med ett sakerhetssystem for fordon 2 ddr fordonet är anordnat med sensorsystem 3, 3' i fordonets framriktning och backriktning. Fordonets sensorsystem 3. 3' kan sanda elektromagnetisk straining och detektera en reflekterande signatur eller en reflex fran personer 4 och fysiska objekt utforda med en reflekterande anordning 5 i fordonets 1 naromrade samt registrera bildinformation med sensorsystemets 3, 3' sensorer och/eller kameror. 11 Sensorsystemet 3, som visas i figur 2, innefattar minst en sensor 111, 112, samt minst en kamera 116 samt minst en ljuskalla 115. Det är dven tankbart att samma sensor kan fungera som saval sensor som kamera genom anpassning av sensom till vagidngdsomradet. Foretradesvis utfors sensorsystemet 3, 3' i en enhet for montering pa fordonet men sensorsystemet kan aven anordnas pa fordonet genom individuell montering eller genom nyttjandet av pa fordonet redan anordnade sensorer, kameror eller ljuskallor. Foretradesvis är tva sensorsystem 3, 3' anordnade pa fordonet 1, ett sensorsystem 3 i framriktning och ett sensorsystem 3' i backriktning samt ddr sakerhetssystemet for fordon 110 automatiskt andrar sensorsystem 3, 3' samt vy i bildvisningsenheten 117 utifran fordonets kOrriktning sã att da fordonet backar sá valjs det sensorsystem 3, 3' som är anordnat i backriktning 3' samt da fordonet framfors i framriktning sa valjs det sensorsystem 3 som a.anordnat i framriktning. Vidare kan bada sensorsystemen 3, 3' anvandas samtidigt for au skapa en vy fran ovan over situationen runt fordonet.

En bildvisningsenhet 117, som visas i figur 3a, är anordnad for att for foraren av fordonet 1 visa en vy i fordonets korriktning eller annan av fordonet eller foraren vald riktning. Foraren av fordonet I kan aven styra sakerhetssystemet for fordonet med bildvisningsenheten 117. I figur 3b visas hur bildvisningsenheten 117 kan anordnas i fordonet sã att foraren dels kan fa en god Overblick Over informationen som presenteras i bildvisningsenheten 117 samt dels kunna manovrera det granssnitt med vilket foraren kan styra sakerhetssystemet for fordonet 110.

I figur 4 visas ett flodesschema for en metod for att undvika kollisioner vid manovrering av fordon ddr metoden detekterar personer eller objekt forsedda med fOr optisk straining reflekterande anordning 11. Foretradesvis registreras bilder 13 med en frekvens pa 30 bilder per sekund, dven fler eller farre bilder per sekund kan forekomma. Varje registrering av bild 13 sker med en slutartid pa i storleksordningen 1 ms, armed bor aven belysningen 12 ske med i storleksordningen 1 ms. For varje bild som registreras 13 med belysning 12 av ljuskallan 115, den forsta bilden, registreras 13 en andra bild utan anvandandet av ljuskallan 115. Den andra bilden kan registreras med samma sensor 111, 112 men aven av en annan sensor 111, 112. Ett fordelaktigt utforande registreras den forsta bilden med en forsta sensor kdnslig i det infraroda omradet och den andra bilden med en andra sensor som är kanslig i hela det visuella omradet. Vidare kan ytterligare uppsattning bilder registreras 13 for att exempelvis erhalla battre bildkvalitet eller na hogre formaga att berdkna avstand till objekt och personer. Da en uppsattning bilder registrerats upprepas fOrloppet med en registrering av en forsta bild, ddrefter en 12 andra bild o.s.v. dar minst en av bilderna är registrerad samtidigt som ljussattning av registreringsomradet sker. Genom jamforelse mellan bilder registrerade da ljuskallan har varit aktiv med bilder registrerade utan ljuskalla kan fysiska objekt och personer som reflekterade ljus fran ljuskallan 115 sarskiljas. Beroende pa omgivande ljusforhallanden, som exempelvis starkt solsken eller i totalt morker, kommer skillnader mellan den forsta bilden och den andra bilden vara av olika storleksordning. Med en lamplig algoritm for segmentering 15 kan objekt identifieras, dar objekten representerar de reflekterande fysiska objekten och personema. De, som genom jamforelse mellan den forsta bilden och den andra bilden i blocken segmentering 15, identifierade objekten kan, efter detektering 16, klassificeras vara fysiska objekt eller personer. Detektering 16 sker med en for andamalet anpassad och larande algoritm som identifierar fysiska objekt och personer utifran de fran segmentering 15 detekterade reflekterande objekten. Detektering 16 inkluderar bestamning avseende om de identifierade objekten utgors av fysiska objekt eller personer. Exempelvis kan bestamning ske genom att de identifierade objekten har olika reflekterande signatur med avseende pa monster, intensitet eller frekvensinnehall. Exempelvis kan den reflekterande signaturen ange om det fysiska objektet eller personen är vertikalt eller horisontellt orienterad, exempelvis for att avgbra om en person ligger ned eller star upp. I ett fordelaktigt fall kan personer identifieras att sta upp, ligga ner eller befinna sig i en hukande position, dar hukande position inkluderar samtliga positioner mellan liggande och staende. Vidare kan saledes en bedomning avseende en persons observationsformaga och rorlighet goras utifran personens kroppsstallning ddr en liggande person bedoms ha lag observationsformaga och rorlighet vilket resulterar i att stor forsiktighet/aktsamhet vid framfOrandet av fordonet mot en liggande person maste iakttagas, samt att en hukande person bedOrns ha begransad observationsfdrmaga och rorlighet varfor ett fordon som framfors mot en hukande person maste iakttaga forsiktighet/aktsamhet samt i det fall en person är staende sa kan fordonet framforas med begransad/normal forsiktighet/aktsamhet. En staende person bedoms ha normal observationsformaga och rorlighet. Dartill kan en bedomning goras avseende om en person är vand mot eller fran fordonet. Dar en staende person vand mot fordonet, sa att den staende personen ser fordonet, bedOms ha hOgre observationsformaga och rorlighet jamfort med en staende person som är vand fran fordonet, sa att den staende personen inte ser fordonet. Pa samma satt bedoms en hukandes person vand mot fordonet, sá att den hukande personen ser fordonet, ha hogre observationsformaga och rorlighet jamfort med en hukandes person som är vand fran fordonet, sã att den hukande personen inte ser fordonet. Darrned kan fern olika fall identifierad avseende personer lokalisering: liggandes, hukandes vand mot fordonet, 13 hukandes vand fran fordonet, stdendes vand mot fordonet samt staendes vand fran fordonet.

Vidare kan de fysiska objekten och personerna vara utforda med en reflekterande anordning som ger olika reflekterande signatur for att kunna sarskilja fysiska objekt frail personer genom den reflekterande signaturen. Aven andra parametrar som paverkar de reflekterande fysiska objekten och personerna kan forekomma. De av detektering 16 detekterade fysiska objekten och personerna kan foljas 17 genom jdmforelse med efterkommande bildserier. Genom fOljning 17 kan forandringar foljas av de detekterade fysiska objekten och personerna, som andras relativt fordonet dã fordonet forflyttas samt om de fysiska objekten eller personerna forflyttas. Genom foljning 17 kan en fcirbattrad identifikation och bestdmning av de fysiska objekten och personerna genomforas, exempclvis kan fysiska objekt och personer som rOr sig mot fordonet eller pa annat salt som 'Aar risker for kollision detekteras. De fysiska objekten och personerna kan visas 18 genom att de fysiska objekten och personerna visualiseras exempelvis genom rektanglar i en bild av omradet eller genom konturer av de fysiska objekten, eller konturer av personerna. Med fordel är konturer for personer utforda med en specifik form ay kontur, exempelvis genom val ay konturens firg eller linjetjocklek eller typ ay linje, och de fysiska objekten har en annan specifik form ay konturen, exempelvis genom fdrg eller linjetjocklek eller typ av linje. Konturerna kan Liven indikera om personerna ar vdnda mot fordonet och da far en form ay kontur eller vanda frail fordonet, med ryggen mot fordonet, och da visualiseras med en annan form av kontur. I fal let att en person bedoms ha lag uppsikt, exempelvis genom att personen är vand fran fordonet, eller da fordonet är ndra en person kan formen pa konturen fortydligas genom att konturen exempelvis blinkar eller pa annat satt tydliggor att risk foreligger. Vidare kan olika typer av fysiska objekt sdrskiljas med hjalp av formen pa konturen exempelvis genom farg eller linjetjocklek eller typ ay linje.

Med fordel kan de visualiserade objekten presenteras, oyerlagrad pa, en bild som registrerats 14 med en kamera anordnad pa fordonet. Den kamera som anvands for denna registrering av bild kan vara en pa fordonet redan anordnad kamera, exempelvis en existerande backkamera. Det i figur 4 visade flodesschema for en metod for att undvika kollisioner vid manovrering av fordon dar metoden detekterar personer eller fysiska objekt fOrsedda med elektromagnetisk reflekterande anordning 11 visar pa att informationen presenteras, visas 18, for en forare ay fordonet. Informationen am de fysiska objekten och personerna kan dven anvandas for att stoppa fordonet i de fall fordonet kommer for nara eller pa annat sag kan utsatta de fysiska objekten och 14 personerna for risk eller i de fall da fordonet 1 kan utsattas for risk. Aven andra alternativ ar tankbara, exempelvis larmsignaler i form av ljud och/eller ljus i de fall fordonet kommer fOr nara eller pa annat sat kan utsatta de fysiska objekten och personerna for risk. En alternativ lOsning är att fordonets hastighet automatiskt regleras nedat dá fysiska objekt och personer är i narheten av fordonet eller da fordonet narmar sig, ett annat alternativ Ar att ljudsignaler och/eller ljussignaler okar i intensitet da fysiska objekt och personer ar i narheten av fordonet eller dã fordonet narmar sig.

Ett sakerhetssystem for fordon 110, som visas i flair 5, bestar av ett antal sensorer 111, 112 for registrering av huvudsakligen infrarod straining i vaglangdsomradet 700 nm till 1 mm. Sensorema dr exempeivis CMOS sensorer med hog kanslighet i det infraroda oinraciet, ett fordelaktigt utforande dr en kanslighet i NIR-omradet, med en vaglangd pa 750 nm till 1400 nm, speciellt lampat dr frekvenserna 850 nrn samt 940 nm ddr en mindre mangd naturlig straining fran solen foreligger. Sensorerna ar med fordel anordnade med en optisk lins samt ett filter. Antalet sensorer dr minst en, anvands flera sensorer ar de med fordel placerade med en distans for att mOjliggora aystandsbedomningar i bilderna. Distansen mellan sensorerna kan vara i storieksordningen 20 cm men liven stone eller mindre distanser kan forekomma. Bestamning av avstand i stereogram, flera bilder registrerade med en inbordes al/stand, dr att betrakta som allmant kant och berors ej vidare i derma ansokan. En sensor kan dven ffirses med optik for att kunna registrera bilder spatialt. I de fall sakerhetssystemet for fordon 110 presenterar information fOr en forare av ett fordon är det fordelaktigt att presentera information registrerad av sensorerna 111, 112 overlagrade pa en kamerabild. Kamerabilden kan registreras av en kamera 116 anordnad pa fordonet som en del av fordonets Ovriga system, som exempelvis backkamera, eller som en del av sakerhetssystemet for fordon 110. Samtliga sensorer 111, 112 och kameran 116 kan anslutas till en berdkningsenhet 114. Ett granssnitt 113 kan anordnas mellan sensorerna 111, 112, kameran 116 och berakningsenheten 114 om sá krdvs. Exempelvis kan granssnittet 113 anpassa formatet pa bilder, signalnivaer och andra egenskaper lampade for att berakningsenheten 114 skall kunna hantera informationen fran sensorema 111, 112 och kameran 116. Berakningsenheten 114 styr sensorema 111, 112, kameran 116 samt ljuskallan 115 och tiff& berakningar pa de registrerade bilderna. Resultatet fran berakningsenheten 114 kan presenteras pa en bildvisningsenhet 117 eller i form av en signal 118. I det fall att de fysiska objekt och personer som beraknas och detekterats i berakningsenheten 114 presenteras pa en bildvisningsenhet 117 sá kan de fysiska objekten och personerna presenteras i form av en ram eller en kontur i en kamerabild fran kameran 116. I det fall information om de fysiska objekten och personerna kommuniceras i form av en signal 118 sa kan informationen helt eller delvis styra fordonet. Informationen om de fysiska objekten och personerna, genom signal 118, kan anvandas for att stoppa fordonet i de fall fordonet kommer for nara eller pa annat satt kan utsatta de fysiska objekten och personerna for risk. Aven andra alternativ dr tankbara, exempelvis larmsignaler i form av ljud och/eller ljus i de fall fordonet kommer for nara eller pa annat sat kan utsatta de fysiska objekten och personerna for risk. En alternativ losning är att fordonets hastighet automatiskt regleras nedat da fysiska objekt och personer är i narheten av fordonet eller da fordonet narmar sig, ett annat alternativ är att ljudsignaler och/eller ljussignaler 'Aar i intensitet dâ fysiska objekt och personer är i narheten av fordonet eller da fordonet narmar sig. Informationen i signal 118 kan i olika utstrdckning styra fordonet, speciellt i fallet att sakerhetssystemet for fordon 110 är anordnat pa ett autonomt fordon. Sakerhetssystemet for fordon 110 i ett autonomt fordon kan anvandas dels for att detektera och undvika andra fordon, autonoma eller manovrerade av en forare, anordnade med reflekterande anordning, men aven for att detektera och undvika personer eller fysiska objekt anordnade med en reflekterande anordning.

I figur 6a visas en vy fran en sensor som registrerar bildinformation i det visuella vaglangdsomradet exempelvis en kamera, i denna vy kan information fran sensorerna 111, 112 overlagras. Speciellt da ljusforhallandena är sadana att en visuell bild är svar att tyda, exempelvis i morker, kan overlagringen av information fran sensorema 111, 112 tydliggora objekt och personer i bilden. Objekt 6 är i figur 6a i form av ett fordon men kan awn utgoras av andra fysiska objekt som olika former av fasta eller mobila installationer, objekt fran naturen som trad eller stenar eller andra objekt som bor undvikas dá ett fordon framffirs. Objektet 6 är utfort med en reflekterande anordning 7 i form av reflexer anordnade pa fordonet. Reflexerna kan anordnas pa sa satt att objektet kan identifiera, exempelvis genom att reflexen ger en speciell signatur eller genom hur reflexerna placeras. Ett fordelaktigt utforande är om reflexerna kan placeras i form av en kontur av objektet. Vidare visas i vyn, i figur 6a, en person 4 anordnad med en reflekterande anordning 5. Sakerhetssystemet for fordon 110 inkluderar sensorer 111, 112 kansliga i det infraroda vaglangdsomradet, i figur 6b visas en vy fran dessa sensorer 111, 112. Det är tydligt i figur 6b hur den reflekterade informationen, som är elektromagnetisk straining fran ljuskallan som reflekterats i den reflekterande anordningen 5, 7, ger information avseende fysiska objekt 6 och personer 4. Utifran informationen fran sensorerna 111, 112, som visas i figur 6b, kan sakerhetssysternet for fordon berakna om reflexerna utgors av fysiska objekt eller personer samt vilken typ av 16 objekt som foreligger saint avstand till objekten eller personema samt personernas aktuella position.

Informationen frail sakerhetssystemet for fordon 110 presenteras pa en bildvisningsenhet 117. I figur 7a och 7b visas tva olika vyer presenterade pa en bildvisningsenhet 117. I figur 7a visas en vy i fordonets korriktning fran en kamera anordnad i den riktning som visas i vyn. I figur 7b visas en vy sett fra.n ovan, den i figur 7b visade vyn är beraknad av sakerhetssystemet for fordon 110. Foraren av fordonet kan valja onskad vy genom ett granssnitt anordnat pa bildvisningsenheten 117. I ett alternativt utforande kan sakerhetssystemet for fordon 110 andra vy i bildvisningsenheten 117 for att pàkalla forarens uppmarksamhet.

ALTERNATIVA UTFORINGSFORMER Uppfinningen är inte begransad till de speciellt visade utforingsformema utan kan varieras pa olika salt inom patentkravens ram. En tillampning är navigering av fordon i en miljo dar objekt forsetts med reflekterande anordningar, exempelvis for autonom navigering av fordon i en miljo forsedd med reflekterande anordningar. Exempelvis kan en fardvag for ett autonoint fordon utforas med reflekterande anordningar for att leda fordonet. Vidare kan uppfinningen anvandas for navigering av fordon i morker dá enbart information frail reflekterande anordningar anvands for att navigera och styra fordonet.

Det inses exempelvis att antalet sensorer, frekvensomraden, fordon, typ av fordon eller system av de i metod for att undvika kollisioner vid manovrering av fordon eller de i sakerhetssystemet ingaende elementen och detaljerna anpassas efter plattform eller anlaggning och &riga konstruktionsegenskaper som for tillfallet foreligger. Sakerhetssystemet och metoden for att undvika kollisioner vid manovrering av fordon kan anvandas for alla system och fordon eller andra anordningar dar behov foreligger.

Claims (8)

17 PATENTKRAV Metod for att undvika kollisioner med personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utfort med minst en sensor kannetecknad av att personer och fysiska objekt är utforda med en reflekterande anordning samt att foljande steg innefattas;

1. belysa ett omr5de, med en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd,

2. registrera en ffirsta bild over omradet under belysning, med en pa fordonet anordnad sensor, ddr sensorn är anpassad for ljuskallans vaglangd,

3. registrera en andra bild Over ett omrade, med en p5 fordonet anordnad sensor,

4. detektera, i en pa fordonet anordnad berakningsenhet, personer eller fysiska objekt utforda med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bilden, 5. bestamma, i en pa fordonet anordnad berakningsenhet, om de detekterade objekten är personer eller fysiska objekt, (t) kommunicera information om detekterade personer eller fysiska objekt. 2. Metod enligt krav 1 kannetecknad av att bestamning av om de detekterade objekten dr personer eller fysiska objekt sker genom att de detekterade objekten ger olika signatur fran den reflekterande anordningen 55 att den reflekterande anordningen for personer ger en forsta reflekterande signatur och sa att den reflekterande anordningen for fysiska objekt ger en andra reflekterande signatur. 3. Metod enligt n5got av krav 1 till 2 kannetecknad av att bestamning av om de detekterade objekten är personer eller fysiska objekt sker genom en i berakningsenheten anordnad algoritm som utifran de detekterade objektens lage, storlek, rorelse eller annan parameter avgor om de detekterade objekten utgOrs av personer eller fysiska objekt. Metod enligt nagot av krav 1 till 3 kannetecknad av att detekterade personer kan identilieras vara liggande, hukandes eller stdende.

5. Metod enligt nagot av krav 1 till 4 kannetecknad av att informationen om detekterade personer eller fysiska objekt visualiseras i en pa fordonet anordnad 18 bildvisningsenhet.

6. Metod enligt krav 5 kannetecknad av att de detekterade objekten visualiseras i form av konturer dar personer eller fysiska objekt ges olika konturer sa att fOr personer ges en forsta typ av kontur och st att for fysiska objekt ges en andra typ av kontur.

7. Sakerhetssystem for detektion av personer och fysiska objekt vid manovrering av fordon innefattande ett fordon utffirt med minst en sensorenhet samt en bildvisningsenhet kannetecknad av att personer och fysiska objekt är utffirda med en reflekterande anordning samt att ffiljande steg innefattas; 1. en pa fordonet anordnad ljuskalla, dar ljuskallan har en bestamd vaglangd, belyser ett omrade, 2. den pa fordonet anordnad sensorenhet, dar sensorenheten är anpassad for ljuskallans vaglangd, registrerar en forsta bild over omradet under belysning, 3. den pa fordonet anordnad sensorenhet registrerar en andra bild, 4. en pa fordonet anordnad berakningsenhet detekterar objekt anordnade med den reflekterande anordningen genom jamforelse mellan den forsta bilden och den andra bilden, (e) en pa fordonet anordnad berakningsenhet bestammer om de detekterade objekten är personer eller fysiska objekt, 5. information om de detekterade personerna och de fysiska objekten prcsenteras pa bildvisningsenheten.

8. Sakerhetssystem enligt krav 7 kannetecknad av att den reflekterande anordningen är utformad ffir att sarskilja vertikal respektive horisontell orientering av den reflekterande anordningen samt att den reflekterande anordningen har en ffirsta utformning for personer och en andra utformning for fysiska objekt samt att den reflekterande anordningen är minst en reflex anpassad eller lampad for infrarod straining. Fordon anordnat med ett sakerhetssystem enligt nagot av krav 7 till 8. I 0.Fordon anordnat med ett sakerhetssystem enligt krav 9 kiinnetecknad av att fordonet är anordnat med ett sensorsystem (3) i framriktningen och ett sensorsystem (3') i backriktningen och dar sakerhetssystemet automatiskt valjer sensorsystem (3, 3') beroende pa fordonets korriktning. 1(5) 3'2