SE1351043A1 - Detektering av objekt genom användning av en 3D-kamera och en radar - Google Patents

Abstract

19 SAM MAN DRAG Forfarande (400) och 3D-kamera (110) for ett fordon for detektering av ett objekt (130) i ett omrade (140). Forfarandet (400) innefattar insamling (401) av matdata relaterad till omradet (140) av en sensor (310) i 30-kameran (110), med en forsta sensorinstallning, mottag- fling (402) av matdata relaterad till omradet (140), fran en radar (120) och detektering (405) av objektet (130), baserat pa tolkning av insamlad (401) matdata tillsammans med matdata mottagen (402) fran radarn (120). (Publ. Fig. 1A)

Description

1 RADARINFORMATION TILL 3D-KAMERA FOR ETT FORDON TEKNISKT OMRADE Detta dokument beskriver en 3D-kamera och eft forfarande i en 3D-kamera. Narmare be-stamt beskrivs en mekanism for detektering av eft objekt, baserat pa tolkning av matdata insamlad av 3D-kameran tillsammans med matdata mottagen fran en radar.

BAKGRUND En 3D-kamera placeras ibland i fordon for att assistera fordonets forare och exempelvis 10 faststalla avstand till framforvarande fordon eller annat objekt. Sadan 3D-kamera kan i detta sammanhang utgoras av exempelvis en Time of Flight (ToF)-kamera, en stereokamera, en ljusfaltskamera eller liknande. 3D-kameran kan faststalla avstand till objekt genom att skicka ut en modulerad ljusvag, detektera motsvarande reflekterad ljusvag fran objektet och mata den reflekterade ljusvagens fOrskjutning i relation till den utskickade ljusvagen. Avstandet kan beraknas da ljusets vaglangd respektive hastighet är kanda.

Ett problem for 3D-kameror är att fordon ofta har olika ytor som reflekterar ljuset olika mycket. Exempelvis kan karossen pa en personbil med metallik-lack reflektera ljuset mycket bra, medan samma fordons fOnster reflekterar mycket lite ljus. Detta kan leda till att alltfor lite ljus reflekteras fran vissa objekt for att 3D-kameran ska kunna Ora en tillforlitlig matning. I varsta fall kan detta leda till aft objektet inte detekteras av 3D-kameran, eller att en felbedomning av objektets storlek och/ eller avstand Ors. Alternativt kan 3D-kameran bed6ma att det är eft flertal separata objekt.

Ett annat problem med 3D-kamera kan uppsta da exempelvis en person befinner sig nara ett fordon, eller da en grupp manniskor gar Over ett overgangsstalle. 3D-kameran kan da ha svart att skilja personen och fordonet at och uppfatta dessa som ett sammanhangande objekt.

Vidare kan en 3D-kamera ha svart aft avgora om ett objekt Or exempelvis en stolpe eller en (ovanligt smal och rakryggad) manniska, eller mellan en betongsugga och ett djur. Detta kan bli problem i en nodsituation dar en nodbromsning i kombination med undanmanover maste gams och en prioriteringsordning mellan framforvarande objekt behover goras.

Det kan konstateras att mycket annu aterstar att Ora for att forbattra avstandsbedomning och detektering av objekt med en 3D-kamera. 2 SAMMANFATTNING Det är darfor en malsattning att forbattra objektsdetektion med en 3D-kamera, for att losa atminstone nagot av ovan angivna problem och darmed erhalla en forbattrad detektering av objekt i ett omrade.

Enligt en forsta aspekt uppnas denna malsattning av ett forfarande i en 3D-kamera for ett fordon, anordnad for detektering av ett objekt i ett omr5de. Forfarandet innefattar insamling av matdata relaterad till omradet av en sensor i 3D-kameran, dar sensorn har en viss sen- 10 sorinstallning. Vidare innefattar forfarandet aven mottagning av matdata relaterad till omradet, fr5n radarn. Forfarandet innefattar aven detektering av objektet, baserat p5 tolkning av insamlad matdata tillsammans med matdata mottagen fran radarn.

Enligt en andra aspekt uppnas denna malsattning av en 3D-kamera for ett fordon, anord- nad for detektering av ett objekt i ett omr5de. Sadan 3D-kamera innefattar en sensor, anordnad att insamla matdata relaterad till omradet, dar sensorn har en viss sensorinstallning. 3D-kameran innefattar aven en signalmottagare, anordnad att ta emot en signal innefattande matdata relaterad till omradet, fran en radar. Vidare innefattar 3D-kameran aven en processorkrets, anordnad att detektera ett objekt, baserat pa tolkning av uppmatt mat- data tillsammans med matdata mottagen fran radarn.

Harigenom; genom att anvanda en radar och matdata fran en radar for att komplettera den matdata som detekterats av en 3D kamera, och enligt vissa utforingsformer justera sensorinstallning p5 3D-kameran baserat p5 matdata som tagits emot fran radarn sa kan risken for felaktiga detektioner, eller missade detektioner exempelvis till MIA av objekt som reflekterar ljussignaler d5ligt goras. Darigenom erhalls en forbattrad detektion av objekt inom ett visst matomrade och store tilltro kan goras till det erhallna resultatet. Vidare kan en uppdelning mellan harda objekt och mjuka objekt goras, da radarn är bra p5 detektion av hat-- da objekt men mindre bra p5 detektion av mjuka objekt och 3D kameran i vissa fall kan ha sv5rt att detektera vissa typer av h5rda objekt p5 egen hand. Genom att utfora sklan komplettering av 3D kamerans matdata med sidoinformation mottagen fran radarn snarare an i en extern berakningsenhet sa kan mangden data som behover overforas mellan enheterna reduceras, vilket leder till snabbare detektion av objektet. Att reducera tiden det tar for 3D kameran att detektera ett objekt är darfor en viktig sakerhetsaspekt, da man darigenom exempelvis kan ge en forare en tidigare yarning och en langre reaktionstid, alternativt kan utlOsa en automatisk bromsning, utlosning av krockkudde eller liknande goras. 3 Forbattrad detektion och eventuell klassificering av objekt kan sedan anvandas, exempelvis i ett fordon, for att vidta vissa olycksundvikande, eller skadereducerande atgarder i handelse av ett olyckstillbud, som exempelvis att utlosa ett varningsljud, att bromsa fordo-net, inleda en undanmanover pa fordonet sa att kollision med nagot mjukt objekt undviks, utlosa krockkudde utanfor fordonet da en kollision med ett mjukt objekt Or forestaende och liknande. Harigenom erhalls en tillfOrlitligare och forbattrad detektering av objekt i ett omrade.

Andra fordelar och ytterligare nya sardrag kommer att framga fran foljande detaljerade be-10 skrivning.

FIGURFORTECKNING Utf6ringsformer av uppfinningen kommer nu att beskrivas ytterligare i detalj med hanvisning till bifogade figurer, vilka illustrerar olika utforingsexempel: Figur 1Aillustrerar ett scenario dar ett fordon med en 3D-kamera och en radar detek- terar ett objekt enligt en utforingsform.

Figur 1Billustrerar ett exempel pa hur 3D-kameran uppfattar en omgivning.

Figur 1Cillustrerar ett exempel pa hur radarn uppfattar samma omgivning.

Figur 1Dillustrerar en kombination av matdata som gjorts av 3D-kameran respektive radarn.

Figur 2Aillustrerar ett scenario dar ett fordon med en 3D-kamera och en radar detek- terar ett objekt enligt en utforingsform.

Figur 2Bvisar ett exempel pa ett askadliggorande av en kombination av matdata som gjorts av 3D-kameran respektive radarn.

Figur 3Or ett kombinerat flodesschema och blockdiagram enligt en utf6ringsform av uppfinningen.

Figur 4Or ett flodesschema som illustrerar en utforingsform av uppfinningen.

Figur Or en illustration av en berakningsenhet i anslutning till en 3D-kamera, enligt en utf6ringsform av uppfinningen.

DETALJERAD BESKRIVNING Utf6ringsformer av uppfinningen innefattar ett forfarande och en 3D-kamera, vilka kan realiseras enligt nagot av de nedan beskrivna exemplen. Denna uppfinning kan dock genomforas i manga olika former och ska inte ses som begransad av de hari beskrivna utf6ringsformerna, vilka istallet Or avsedda att belysa och askadliggOra olika aspekter. 4 Ytterligare aspekter och sardrag av uppfinningen kan komma att framga fran den foljande detaljerade beskrivningen nar den beaktas i samband med de bifogade figurerna. Figurerna är dock enbart att betrakta som exempel pa olika utforingsformer av uppfinningen och ska inte ses som begransande for uppfinningen, vilken begransas enbart av de bifogade kraven. Vidare är figurerna inte nodvandigtvis skalenligt ritade och är, om inget annat sarskilt skrivs, avsedda att konceptuellt illustrera aspekter av uppfinningen.

Figur 1A visar ett fordon 100 med en 3D kamera 1och en radar 120. 3D-kameran 110 kan utgoras exempelvis av en Time of Flight (ToF)-kamera, en stereokamera, en ljusfalts10 kamera eller liknande typ av optisk sensor. 3D-kameran 110 kan faststalla narvaro av, och avstand till ett objekt 130, som befinner sig inom ett visst matomrade 140, genom att skicka ut en modulerad ljusvag, detektera motsvarande reflekterad ljusvag fran objektet 130 och mata den reflekterade ljusvagens for- skjutning i relation till den utskickade ljusvagen. Avstandet till objektet 130, och olika ytor pa denna kan beraknas da ljusets vaglangd respektive hastighet är kanda parametrar. I det illustrerade exemplet innefattar objektet 130 tva delobjekt, en sportbil 130-1 och dess fora-re 130-2.

En Time-of-Flight kamera är ett kamerasystem som tar en sekvens av bilder och mater ett avstand till ett foremal baserat pa den kanda ljushastigheten, genom att mata tidsatgangen for en ljussignal mellan kameran och motivet/ foremalet.

Radarn 120 (ordet "radar" är en akronym fran engelskans Radio Detection and Ranging, men ocksa en palindrom som "reflekterar" radarns verkningssatt) innefattar avstandsbestamning till objektet 130 med radiovagor. En radiosignal skickas ut, reflekteras av objektet 130 och denna reflektion detekteras sedan av radarn 120.

Enligt en utforingsform av uppfinningen insamlar 3D-kameran 110 matdata inom ett mat- omrade, i det illustrerade exemplet framfor fordonet 100. 3D-kameran 110 tar aven emot matdata som är insamlad av radarn 120 fran matomradet. Genom att 3D-kameran 110 far tillgang till sidoinformation fran radarn 120, som har ett annat arbetssatt baserat pa radiovagor istallet for ljus, kan logik i 3D-kameran 110 dra en slutsats av hur insamlad matdata ska tolkas, exempelvis hur matpunkter ska klustras ihop till objekt 130, att Ora en grans- dragning mellan ett forsta objekt 130-1 och ett narliggande eller Overlappande andra objekt 130-2. 3D-kameran 110 kan aven anvanda den erhallna sidoinformationen fran radarn 120 for att dra slutsatsen att egen insamlad matdata ar ofullstandig eller otillforlitlig, exempelvis om radarn 120 skickar matdata som indikerar narvaron av ett objekt som 3D-kameran 110 har svart att uppfatta, exempelvis ett genomskinligt eller lagreflekterande objekt. Harvid kan aven en kalibrering av 3D-kameran 110 gams for att battre kunna faststalla narvaron av sadant objekt, exempelvis genom att modulera utskickat ljus, andra exponeringstid, vaglangd pa utskickat ljus, ljusintensitet eller liknande parameter, eller andra ett flertal sensorinstallningar. I vissa utfOringsformer kan 3D-kameran 110 anvanda sidoinformationen fran radarn 120 for att bekrafta narvaron av ett objekt 130 som 3D-kameran 110 redan har detekterat, vilket ger en palitligare detektion. Darmed kan 3D-kameran 110 detektera ett objekt 130 baserat pa tolkning av insamlad matdata tillsammans med matdata mottagen fran 10 radarn 120.

Objektet 130 kan utgoras av ett eller flera separata foremal som exempelvis ett fordon, en vagskylt, en gangtrafikant, ett vilt, en vagg, en fastighet, ett trad eller liknande. I detta fall befinner sig ett forsta objekt 130-1 och ett andra objekt 130-2 inom matomradet 140. Det forsta objektet 130-1 utgors har av ett fordon medan det andra objektet 130-2 utgors av fordonets forare.

Det saknar betydelse for det beskrivna forfarandet och 3D-kameran om objektet 130 är i rorelse eller Or stillastaende. Forfarandet Or Oven oberoende av om 3D kameran 110 Or monterat pa ett fordon 100 eller inte, samt om detta eventuella fordon 100 Or stillastaende eller i rorelse. Man kan tanka sig utfOringsformer dar 3D-kameran Or monterad pa ett stationart foremal, exempelvis for att detektera fordonspassage Over en bro, pa en farja, eller vid omradesbevakning eller liknande.

Med fordon 100 avses i detta sammanhang exempelvis lastbil, langtradare, transportbil, personbil, utryckningsfordon, bil, terrangbil, bandvagn, buss, bat, farja, amfibiefordon, flygplan, helikopter eller annat liknande motordrivet bemannat eller obemannat transportmedel, anpassat f6r sjoburen, luftburen eller landbaserad geografisk forflyttning.

Exempelvis kan 3D-kameran 110 och/eller radarn 120 vara placerad i styrhytten pa fordo-net 100, pa taket pa styrhytten, bakom fordonet 100 for att kunna upptacka objekt 130 bakom fordonet 100, for att nu bara namna nagra exempel pa tankbara placeringar. Radarn 120 kan exempelvis vara av rundrundstralande typ och vara innefattad i fordonets backspegel. Darmed kan objekt 130 detekteras som befinner sig i en riktning dar foraren har ett begransat eller obefintligt synfalt fran forarplatsen enligt vissa utfOringsformer. 6 I detta exempel utgOrs det forsta objektet 130-1 av en sportbil i ljus metallikfarg, vilken reflekterar ljus utskickat av 3D kameran 110 mycket bra, medan de manga glasrutorna och transparanta plasttaket reflekterar ljus daligt, liksom fordonets matta clack. Detta kan leda till att 3D kameran 110 uppfattar objektet 130 inom omradet 140 exempelvis pa det satt 5 som askadliggors i figur 1B.

Radarn 120, som ju skickar ut och tar emot reflektioner av radiosignaler har daremot inga problem att detektera glasytor eller transparent plasttak pa fordonet, det vill saga det forsta objektet 130-1, men kan daremot ha problem aft uppfatta det andra objektet 130-2, fordo- 10 nets forare da radiosignalerna kanske reflekteras mattligt fran denne. Kanske kommer radarn 120 da att uppfatta objektet 130 inom omradet 140 exempelvis pa det satt som askadliggors i figur 1C.

Enligt en utforingsform av uppfinningen skickar radarn 120 matdata till 3D-kameran 110, 15 som är anordnad att sammanstalla den matdata som uppfattats av 3D-kameran 110 med matdata som tagits emot av radarn 120. Da atminstone vissa matpunkter inom omradet 140 ofta detekteras av bade 3D-kameran 110 och radarn 120, kan en inpassning av mat-data goras, liksom en sammanstallning av detektioner inom omradet 140. Eft exempel pa sadan sammanstallning visas i figur 1D.

Figur 1B visar ett exempel pa hur 3D kameran 110 kan uppfatta objektet 130 inom omradet 140, da objektet 130 utgors av en metallik-lackad sportbil 130-1 samt dess forare 12.

Glasrutorna och det transparenta plasttaket i sportbilen 130-1 reflekterar det utsanda ljuset daligt, i synnerhet i forhallande till metalliklackens mycket starka reflektion. Vidare kan 3D kameran 110 komma att uppfatta sportbilen 130-1 och dess forare 130-2 som ett enda objekt, alternativt som en person med en vagn/barnvagn/karra, eller liknande, eller som en grupp av manniskor exempelvis pa ett overgangsstalle, da 3D-kameran 110 utan sidoin- formation -Iran radarn 120 kan ha svart aft skilja harda och mjuka foremal fran varandra.

Figur 1C visar ett exempel pa hur radarn 120 kan uppfatta samma objekt 130 inom omradet 140 som 3D kameran 110 i figur 1 B.

Radarn 120 uppfattar harda ytor som glas eller metall pa fordonet 130-1 bra, daremot uppfattas mjuka objekt som exempelvis fordonets forare 130-2 daligt, eller inte ails. 7 Figur 1D visar ett exempel pa en sammanslagning av den bildinformation som detekterats av bade 3D kameran 110 och radarn 120 inom detta omrade 140.

Genom att komplettera den bildinformation som erhalls tan 3D kameran 110 med ytterliga- re information som detekteras av radarn 120 sa kan fullstandigare och korrektare information om tillstandet inom omradet 140 erhallas. Vidare mojliggors aven ett satt att skilja melIan harda objekt 130-1, som exempelvis fordon, och mjuka objekt 130-2 som exempelvis manniskor eller djur. Denna information kan anvandas exempelvis for att i en nodsituation Ora en undanmanover mot det harda objektet 130-1 och darmed undvika personskador/ 10 djurskador hos det mjuka objektet 130-2. I vissa utforingsformer kan man anvanda informationen for att vidta lampliga sakerhetsatgarder kir att minska skadorna, exempelvis utlosa krockkudden i fordonet 100 vid forarplatsen dá man är pa vag att krocka med ett hart objekt 130-1, respektive utlosa krockkudde framfor fordonet 100, exempelvis placerat pa kofangaren, dá man är pa vag att krocka med ett mjukt objekt 130-2 som en manniska eller ett djur. Med befintlig teknik är detta inte mojligt/lampligt da osakerheten är for stor. Vidare kan detektion av mjuka objekt 130-2 pa ett matomrade 140 som overensstammer med fordonets korbana, eller i narheten av korbanan utlosa ett larm for att uppmarksamma foraren pa detta, exempelvis en alg som star i vagkanten trehundra meter framat. I vissa utforingsformer kan olycksbegransande atgarder utlosas, som att Ora en undanmanover fran det mjuka objektet 130-2, paborja inbromsning, stracka sakerhetsbalte i fordonet 100 da kollision ar fOrestaende, eller liknande.

Figur 2A illustrerar ytterligare ett scenario dar ett fordon 100 med en 3D-kamera 110 och en radar 120 detekterar objekt 130 inom ett matomrade 140, enligt en utforingsform.

I detta scenario upptas matomradet 140 av ett forsta hart men genomskinligt objekt 130-1, exempelvis en glasskulptur (som vid rondellen vid Sergels torg i Stockholm), samt ett mjukt objekt 130-2 som exempelvis en hund. 3D-kameran 110 uppfattar har det mjuka objektet 130-2 utan problem, medan de utskickade ljusstralarna kan passera det genomskinliga objektet 130-1 utan att reflekteras, reflekteras i fel riktning eller reflekteras ofullstandigt.

Med radarn 120 är det i alit vasentligt tvartom, sa att radiovagorna som utsands av radarn 120 passerar det mjuka objektet 130-2 utan att reflekteras, eller reflekteras exempelvis av skelettdelar varvid det är svart att avgora om den mottagna reflektionen kommer fran ett 8 objekt 130 eller är resultatet av ett matfel eller liknande. Daremot reflekteras radiovagorna av glasvaggarna i det genomskinliga objektet 130-1 pa ett bra satt.

Genom att i 3D-kameran 110 ta emot matdata relaterad till matomradet 140, fran radarn 120 kan sadan matdata sammanstallas och analyseras sa att objekt 130 inom matomradet 140 kan detekteras pa ett mer tillforlitligt satt an enligt tidigare kand teknik. Vidare kan ett detekterat objekt 130 klassificeras som hart objekt 130-1 eller mjukt objekt 130-2. Denna klassificering kan sedan anvandas for att undvika eller reducera skador vid ett olyckstillbud, som tidigare beskrivits.

Vidare kan detekterat objekt 130, som ett resultat av matdata som sammanstallts av 3Dkameran 110 askadliggoras for fordonets forare pa exempelvis en bildskarm 210, i vissa utforingsformer vilket askadliggors i figur 2B. Detta kan vara en fordel exempelvis da fordonet 100 backas, alternativt da sikten är skymd; vid 'corning i marker, dimma, kraftig ne- derbord och liknande. Harvid kan sadan bildskarm 210 anvandas som ett forarhjalpmedel i vissa utforingsformer.

Figur 3 illustrerar ett exempel pa en ideprincip enligt en utforingsform av uppfinningen. 3D-kameran 110 innefattar en sensor 310. Sensorn 310 samlar in matdata fran matpunkter i omradet 140 och skickar denna matdata for objektdetektering av en processor i 3Dkameran 110. Aven radarn 120 samlar in matdata fran matpunkter i omradet 140 och skickar sin matdata exempelvis i form av ett objekt for objektdetektering av en processor i 3D-kameran 110.

I en forsta utfOringsform av 3D-kameran 110-1 kan resultatet av denna objektsdetektering sedan skickas till en forsta utforingsform av en berakningsenhet 300-1, vilken kan Ora en klassificering av det detekterade objektet 130, eller objekten 130-1, 130-2, som kan vara fallet. Dessa kan klassificeras som hart objekt 130-1 eller mjukt objekt 130-2 genom att jamfora matdata som exempelvis objekt detekterade med 3D-kamerans sensor 310 respektive radarn 120.

I en andra utforingsform av 3D-kameran 110-2 kan den ovan beskrivna klassificeringen istallet goras i 3D-kameran 110-2, exempelvis i 3D-kamerans processor.

I en andra utforingsform av berakningsenhet 300-2 gars ingen klassificering. Daremot, i vissa utforingsformer av berakningsenheten 300-1, 300-2 sa kan sensorfusion goras av 9 objekt mottagna fr5n 3D-kameran 110-1, 110-2 och radarn 120. Baserat p5 sadan sensor-fusion kan sedan enligt vissa utforingsformer varningslogik utlosa olycksforhindrande eller olyckskonsekvensreducerande atgarder som exempelvis att pakalla forarens uppmarksamhet p5 fotgangare i korbanan, forhindra hastighetsokning da korbanan är sparrad, pa- bola en inbromsning eller liknande.

Figur 4 illustrerar ett exempel p5 en utforingsform av uppfinningen. Flodesschemat i figur 4 askadliggor ett forfarande 400 i en 3D kamera 110 for att detektera ett objekt 130 i ett omrade 140, som ett matomrade. 3D kameran 110 kan utgoras av exempelvis: en Time of Flight (ToF) kamera, en stereokamera, en ljusfaltskamera, en radarmatare, en lasermatare, en lidar, en optisk sensor eller liknande anordning enligt olika utforingsformer.

For att kunna detektera objekt 130 i omradet 140 korrekt, kan forfarandet 400 innefatta ett antal steg 401-408. Det Mr dock observeras att vissa av de beskrivna stegen 401-408 kan ut-foras i en annorlunda kronologisk ordning an vad nummerordningen antyder och att vissa eller ett flertal av dem kan utforas parallellt med varandra, enligt olika utforingsformer. Vi-dare utfors vissa steg enbart i vissa utforingsformer, sasom exempelvis steg 403, 404, 406, 407 och/eller steg 408. Forfarandet 400 innefattar foljande steg: Steg 401 Matdata relaterad till omradet 140 insamlas av en sensor 310 i 3D-kameran 110, med en forsta sensorinstallning. Sadan matdata kan innefatta matpunkter som detekterats av 3Dkameran 110 i omr5det 140.

Steg 402 Matdata relaterad till omradet 140 tas emot fran en radar 120. Matdata kan tas emot over ett tradbundet eller tradlost granssnitt enligt olika utforingsformer. Matdata som tas emot fr5n radarn 120 kan innefatta matpunkter som detekterats av radarn 120 i omr5det 140.

Matdata kan tas emot over ett tradbundet eller tradlost granssnitt enligt olika utforingsformer. Vidare kan berakningsenheten 200 vara innefattad i radarn 120, enligt vissa utforingsformer.

Steg 403 Detta forfarandesteg kan ing5 i vissa, men inte nadvandigtvis samtliga utforingsformer.

En sensorinstallning p5 3D-kameran 110 kan justeras, baserat p5 matdata mottagen 402 fran radarn 120, for att mojliggora insamling av matdata i omradet 140 med en andra sensorinstallning. Sensorinstallningen i 30-kameran 110 kan innefatta exempelvis nagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens p5 utskickad ljusv5g, fasforskjutning p5 utskickad ljusvag och/eller styrka p5 utskickat ljus.

Steg 404 Detta forfarandesteg kan ing5 i vissa, men inte nodvandigtvis samtliga utforingsformer.

Matdata relaterad till omradet 140 kan insamlas med den justerade 403 andra sensorin- stallningen.

Steg 40 Objektet 130 detekteras, baserat p5 tolkning av insamlad 401 matdata tillsammans med matdata mottagen 402 fran radarn 120.

Sac:Ian tolkning av matdata kan innefatta en matchning av dessa matpunkter som 3Dkameran 110 detekterat, med matdata som mottagits 302 fran radarn 120. Tolkningen av insamlad 401, 404 matdata tillsammans med matdata mottagen 402 frAn radarn 120 innefattar en matchning av dessa matpunkter, med matdata som mottagits 402 fran radarn 120.

Steg 406 Detta forfarandesteg kan ing5 i vissa, men inte nodvandigtvis samtliga utforingsformer.

Det detekterade 303 objektet 130 klassificeras som mjukt objekt 130-2 eller hart objekt 130-1, baserat p5 insamlad 401, 404 matdata fran 3D-kameran 110 och mottagen 402 matdata fran radarn 120.

I-15rvid kan ett objekt 130 som detekteras tydligt av radarn 120, men inte ails, eller otydligt av 3D-kameran 110 klassificeras som ett hart objekt 130-1. Vidare kan ett objekt 130 som detekteras tydligt av 3D-kameran 110, men inte ails, eller otydligt av radarn 120 klassificeras som ett mjukt objekt 130-2, enligt vissa utforingsformer.

Steg 407 Detta forfarandesteg kan ing5 i vissa, men inte nodvandigtvis samtliga utforingsformer. 11 Det detekterade 405 objektet 130 kan presenteras, exempelvis for fordonets forare. Presentationen kan goras pa en bildskarm 210, eller liknande.

Sadan presentation kan utgora ett beslutsstod for foraren och vara vardefullt sarskilt vid backning eller for att askadliggora omgivningen i vinklar som inte ar synliga for foraren fran forarsatet. En annan fordel är att foraren kan uppmarksammas pa objekt 130 som befinner sig pa korbanan eller i korbanans nerhet da sikten är begransad till foljd av marker, dimma, nederbord, motljus eller liknande.

Steg 408 Detta forfarandesteg kan inga i vissa, men inte nodvandigtvis samtliga utforingsformer, dar 3D-kameran 110 och radarn 120 kan vara innefattade i ett fordon 100.

Ett kommando genereras for att utfora en olycksbegransande atgard for fordonet 100, baserat pa den gjorda klassificeringen 406. Denna klassificering 406 kan innefatta ett hart objekt 130-1, respektive ett mjukt objekt 130-2. Den olycksbegransande atgarden kan innefatta exempelvis utlosning av en krockkudde i fordonet 100 da man är pa vag krocka med ett hart objekt 130-1, respektive utlosa krockkudde framfor fordonet 100, exempelvis place- rat pa fordonets kofangare da man är pa vag att krocka med ett mjukt objekt 130-2, som en manniska eller ett djur.

Vidare kan den olycksbegransande atgarden innefatta, i en nodsituation nar fordonets beraknade bromsstracka overstiger den bromsstracka som är nodvandig for att stanna fordo- net 100 fore det harda objektet 130-1 och det mjuka objektet 130-2, att en undanmanover gars sa att en kollision med det mjuka objektet 130-2 undviks, aven om detta innebar kollision med det harda objektet 130-1.

Harigenom kan allvarliga skador pa gangtrafikanter och/eller cyklister undvikas.

Figur visar en utforingsform av ett system 500 innefattande bland annat en 3D kamera 110 och en radar 120, for att detektera ett objekt 130 i ett omrade 140.

Systemet 500 for detektering av objektet 130 i omradet 140 innefattar en 3D-kamera 110, anordnad att skicka ut en ljusvag mot omradet 140 och ta emot en reflektion fran en matpunkt av denna ljusvag. 3D-kameran 110 kan exempelvis utgOras av en Time of Flightkamera, en stereokamera, en ljusfaltskamera eller liknande. Vidare innefattar systemet 500 12 en radar 120, anordnad att skicka ut en radiovag mot omradet 140 och ta emot en reflektion fran en matpunkt av denna radiovag. 3D-kameran 110 och/eller radarn 120 kan i vissa fall utgora en fysisk enhet, aven om de fortfarande utgor atskilda logiska enheter. 3D-kameran 110 är anordnad att utfora atminstone delar av forfarandet 400 for att detektera ett objekt 130 i ett omrade 140.

For att pa ett korrekt satt kunna utfora forfarandet 400 innehaller 3D-kameran 110 ett antal komponenter, vilka i den foljande texten beskrivs narmare. Vissa av de beskrivna delkom- 10 ponenterna forekommer i en del, men inte nodvandigtvis samtliga utforingsformer. Det kan aven forekomma ytterligare elektronik i 3D-kameran 110, vilken inte ar helt nadvandig fOr att forsta funktionen av 3D-kameran 110 och forfarandet 400, enligt utforingsformer av uppfinningen. 3D-kameran 110 innefattar en sensor 310, anordnad att insamla matdata relaterad till omradet 140 med en forsta sensorinstallning. Sadan sensor 310 kan vara anordnad att insamla matdata relaterad till omradet 140 med den justerade andra sensorinstallningen. Sadan sensorinstallning i 30-kameran 110 kan innefatta exempelvis nagon av: andring av 3Dkamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasforskjutning pa utskickad ljusvag och/ eller styrka pa utskickat ljus.

Vidare innefattar 30-kameran 110 en signalmottagare 510, anordnad att ta emot en signal innefattande matdata relaterad till omradet 140, fran en radar 120.

Sadan signalmottagning av matdata fran radarn 120 kan goras Over ett tradbundet eller ett tradlost granssnitt enligt olika utforingsformer. Det tradbundna granssnittet kan till exempel innefatta, eller vara baserat pa en kabelforbindelse, ett internetanslutet natverk eller ett kommunikationsbussystem bestaende av en eller flera kommunikationsbussar for att sammankoppla de uppraknade enhetema 110, 120 med varandra och alternativt Oven med andra enheter sasom styrenhet, kontrollenhet och/eller sensorer. Kommunikationsbussen kan exempelvis utgoras av en eller flera av en kabel; en databuss, sasom en CAN-buss (Controller Area Network buss), en MOST-buss (Media Oriented Systems Transport), eller flagon annan busskonfiguration. Det tradlosa granssnittet kan exempelvis vara baserat pa eller inspirerat av nagon av foljande teknologier: Global System for Mobile Communica- tions (GSM), Enhanced Data Rates for GSM Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), Code Division Access (CDMA), (CDMA 2000), Time Division Synchronous CDMA (TD-SCDMA), Long Term Evolution (LTE); Wireless Fidelity 13 (Wi-Fi), definierat av Institute of Electrical and Electronics Engineers (IEEE) standarder 802.11 a, ac, b, g och/ eller n, Internet Protocol (IP), Bluetooth och/ eller Near Field Communication, (NFC), eller liknande kommunikationsteknologi enligt olika utforingsformer. 3D-kameran 110 innefattar aven en processorkrets 520, anordnad att detektera ett objekt 130, baserat pa tolkning av uppmatt matdata tillsammans med matdata mottagen fran radarn 120.

Processorkretsen 520 kan alternativt aven vara anordnad att klassificera det detekterade 10 objektet 130 som mjukt objekt 130-2 eller hart objekt 130-1, baserat pa mottagen matdata fran 3D-kameran 110 och radarn 120 enligt vissa utfOringsformer.

Vidare kan processorkretsen 520 aven vara anordnad enligt vissa utforingsformer att skicka information for att presentera det detekterade objektet 130 pa en bildskarm 210.

Processorkretsen 520 kan vidare vara anordnad att tolka matdata, vilken innefattar matpunkter som detekterats i omradet 140 av 3D-kamerans sensor 310, genom matchning av matpunkter som insamlats och detekterats av 3D-kameran 110 i omradet 140, med matdata som mottagits fran radarn 120.

Processorkretsen 520 kan aven vara anordnad att justera sensorinstallning pa 3D-kameran 110, baserat pa matdata mottagen fran radarn 120, for att mojliggora insamling av matdata i omradet 140 med en andra sensorinstallning. 3D-kameran 110 och radarn 120 kan enligt vissa utforingsformer vara innefattade i ett for-don 100 av godtyckligt slag, exempelvis av hjulburen transportfordonstyp. Processorkretsen 520 kan i vissa sadana utforingsformer vara anordnad att generera ett kommando for att utfora en olycksbegransande atgard for fordonet 100, baserat pa den gjorda klassificeringen.

Processorkretsen 520 kan utgOras av exempelvis en eller flera Central Processing Unit (CPU), mikroprocessor eller annan logik utformad att tolka och utfora instruktioner och/ eller att som att lasa och skriva data. Processorkretsen 520 kan hantera data for inflode, utflode eller databehandling av data innefattande aven buffring av data, kontrollfunktioner och liknande. 14 3D-kameran 110 kan i vissa utforingsformer vidare innefatta en signalsandare 530, anordnad att skicka en styrsignal, exempelvis for att utlosa en varningssignal eller liknande dá ett objekt 130 detekteras i matomradet 140. Signalsandaren 530 kan aven vara anordnad att skicka signaler till en bildskarm 210 for att askadliggora det detekterade objektet 130 i omradet 140. I vissa ufforingsformer kan signalsandaren 530 vara anordnad att skicka en styrsignal for att fOrhindra acceleration pa fordonet 100 och/ eller for att paborja bromsning av fordonet 100 och/ eller for att paborja en undanmanover fran objektet 130, i synnerhet om detta klassificerats som ett mjukt objekt 130-2 enligt vissa utforingsformer. I vissa utforingsformer kan signalsandaren 530 vara anordnad att skicka en styrsignal for att utlosa en 10 krockkudde utanfor fordonet 100 da en kollision med ett mjukt objekt 130-2 kan forutspas. 3D-kameran 110 kan vidare innefatta, enligt vissa utforingsformer, en minnesenhet 525 vilken kan i vissa utforingsformer kan utgoras av ett lagringsmedium for data. Minnesenheten 525 kan utgoras av exempelvis ett minneskort, flashminne, USB-minne, harddisk eller annan liknande datalagringsenhet, till exempel nagon ur gruppen: ROM (Read-Only Memory), PROM (Programmable Read-Only Memory), EPROM (Erasable PROM), Flashminne, EEPROM (Electrically Erasable PROM), etc., i olika utforingsformer.

Vidare innefattar uppfinningen enligt vissa utforingsformer ett datorprogram for detektering av ett objekt 130 i ett omrade 140, genom att ett forfarande 400 enligt atminstone nagot av forfarandestegen 401-408 utfOrs, da datorprogrammet exekveras i en processorkrets 520 i 3D-kameran 110.

Darmed kan forfarandet 400 enligt atminstone nagot av stegen 401-408 implementeras genom en eller flera processorkretsar 520 i 3D-kameran 110 tillsammans med datorprogramkod for att utfOra flagon, nagra, vissa eller alla av de steg 401-408 som beskrivits ovan da ett datorprogram innefattande instruktioner for att utfora stegen 401-408 laddas i processorkretsen 520. 30 Detta ovan beskrivna datorprogram är i vissa utforingsformer anordnat att installeras i minnesenheten 525, exempelvis over ett tradlost eller tradbundet gthnssnitt, exempelvis nagot av de tidigare uppraknade.

De ovan beskrivna och diskuterade enheterna signalmottagare 510, och/ eller signalsandare 530 kan i vissa utforingsformer utgoras av separata sandare och mottagare. Emellertid kan signalmottagare 510 och signalsandare 530 i 3D-kameran 110 i vissa utforingsformer utgoras av en sandtagare, eller transceiver, som är anpassad att sanda och ta emot signa- ler, sasom exempelvis radiosignaler, och dar delar av konstruktionen, exempelvis antennen dar sadan forekommer, är gemensam for sandare och mottagare. Namnda kommunikation kan vara anpassad for tradlos informationsoverforing, via radiovagor, WLAN, Blue-tooth eller infrarod sandare/ mottagarmodul. Dock kan signalmottagare 510, och/ eller sig- nalsandare 530 i vissa utf6ringsformer alternativt vara sarskilt anpassade for tradbundet informationsutbyte, eller alternativt for bade tradlos och tradbunden kommunikation enligt vissa utforingsformer.

Somliga utforingsformer av uppfinningen inbegriper aven ett fordon 100, vilket innefattar ett 10 i fordonet 100 installerat system 500 anordnat att uffora ett forfarande 400 enligt atminstone nagot av forfarandestegen 401-408, for att detektera ett objekt 130 i ett omrade 140. 16

Claims (18)

PATENTKRAV

1. Ett forfarande (400) i en 3D-kamera (110) for ett fordon, for detektering av ett objekt (130) i ett omrade (140), kannetecknat av: insamling (401) av matdata relaterad till omradet (140) av en sensor (310) i 3D- kameran (110), med en forsta sensorinstallning; mottagning (402) av matdata relaterad till omradet (140), fran en radar (120); och detektering (405) av objektet (130), baserat pa tolkning av insamlad (401) matdata tillsammans med matdata mottagen (402) fran radarn (120).

2. FOrfarandet (400) enligt krav 1, vidare innefattande: justering (403) av sensorinstallning pa 3D-kameran (110), baserat pa matdata mottagen (402) fran radarn (120), for att mojliggora insamling av matdata i omradet (140) med en andra sensorinstallning; och insamling (404) av matdata relaterad till omradet (140) med den justerade (403) andra sensorinstallningen; samt dar: detekteringen (405) av objektet (130) är baserat pa tolkning av uppmatt (401, 404) matdata tillsammans med matdata mottagen (402) fran radarn (120).

3. Forfarandet (400) enligt nagot av krav 1 eller krav 2, vidare innefattande: klassificering (406) av det detekterade (405) objektet (130) som mjukt objekt eller hart objekt baserat pa insamlad (401, 404) matdata fran 3D-kameran (110) och mottagen (402) matdata fran radarn (120).

4. Forfarandet (400) enligt nagot av krav 1-3, vidare innefattande: presentation (407) av det detekterade (405) objektet (130).

5. Forfarandet (400) enligt nagot av krav 1-4, dar uppmatt (401, 404) matdata innefattar matpunkter som detekterats i omradet (140) av 3D-kamerans sensor (310), och var- vid tolkningen av insamlad (401, 404) matdata tillsammans med matdata mottagen (402) fran radarn (120) innefattar en matchning av dessa matpunkter, med matdata som mottagits (402) fran radarn (120).

6. Forfarandet (400) enligt nagot av krav 1-5, dar 30-kameran (110) och radarn (120) är innefattade i ett fordon (100), och varvid forfarandet (400) aven innefattar: generering (408) av ett kommando, for att utfOra en olycksbegransande atgard fOr fordonet (100), baserat pa den gjorda klassificeringen (406). 17

7. Forfarandet (400) enligt nagot av krav 1-6, dar sensorinstallningen i 3D-kameran (110) innefattar atminstone nagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens p5 utskickad ljusvag, fasforskjutning p5 utskickad ljusvag och/ eller styrka putskickat ljus.

8. En 3D-kamera (110) for ett fordon, anordnad for detektering av ett objekt (130) i ett omrade (140), kannetecknad av: en sensor (310), anordnad att insamla matdata relaterad till omradet (140) med en 10 forsta sensorinstallning; en signalmottagare (510), anordnad att ta emot en signal innefattande matdata relaterad till omradet (140), fran en radar (120); en processorkrets (520), anordnad att detektera ett objekt (130), baserat p5 tolkning av upprnatt matdata tillsammans med matdata mottagen fran radarn (120).

9. 3D-kameran (110) enligt krav 8, dar: processorkretsen (520) är vidare anordnad att justera sensorinstallning pa 3Dkameran (110), baserat p5 matdata mottagen fran radarn (120), f6r att mojliggora insamling av matdata i omradet (140) med en andra sensorinstallning; och sensorn (310) är anordnad att insamla matdata relaterad till omradet (140) med den justerade andra sensorinstallningen.

10. 3D-kameran (110) enligt n5got av krav 8 eller krav 9, dar processorkretsen (520) 5N/en är anordnad att klassificera det detekterade objektet (130) som mjukt objekt eller hart objekt baserat p5 insamlad matdata fr5n 3D-kameran (110) och mottagen matdata fran radarn (120).

11. 3D-kameran (110) enligt nagot av krav 8-10, dar processorkretsen (520) aven är anordnad att skicka information for att presentera det detekterade objektet (130) p5 en bildskarm (210).

12. 3D-kameran (110) enligt nagot av krav 8-11, dar uppmatt matdata innefattar matpunkter som detekterats i omradet (140) av 3D-kamerans sensor (310); och dar processorkretsen (520) är vidare anordnad att tolka insamlad matdata tillsammans med matdata mottagen fran radarn (120) genom en matchning av dessa matpunkter, med matdata som mottagits fran radarn (120). 18

13. 3D-kameran (110) enligt nagot av krav 8-12, dar 3D-kameran (110) och radarn (120) är innefattade i ett fordon (100), dar processorkretsen (520) är anordnad att generera ett kommando, for att utfora en olycksbegransande atgard for fordonet (100), baserat pa den gjorda klassificeringen.

14. 3D-kameran (110) enligt nagot av krav 8-13, dar sensorinstallningen i 3D-kameran (110) innefattar atminstone nagon av: andring av 3D-kamerans exponeringstid, modulering av frekvens pa utskickad ljusvag, fasforskjutning pa utskickad ljusvag och/ eller styrka pa utskickat ljus.

15. Berakningsenheten (200) enligt nagot av krav 8-14, varvid 3D-kameran (110) utOrs av: en Time of Flight-kamera, en stereokamera eller en ljusfaltskamera.

16. Datorprogram for detektering av ett objekt (130) i ett omrade (140), genom ett for-farande (400) enligt nagot av krav 1-7, da datorprogrammet exekveras i en processorkrets (520) i 3D-kameran (110) enligt nagot av krav 8-15.

17. System (500) for detektering av ett objekt (130) i ett omrade (140), varvid systemet (500) innefattar: en 3D-kamera (110) enligt nagot av krav 8-14; och en radar (120), anordnad att skicka ut en radiovag och ta emot en reflektion fran en matpunkt av denna radiovag.

18. Fordon (100) innefattande ett system (500) enligt krav 17, anordnat att utfora ett forfarande (400) enligt nagot av krav 1-7 for att detektera ett objekt (130) i ett omrade (140). 1 / 1