SE538494C2

SE538494C2 - Omvärldsuppfattningssystem och förfarande för omvärldsuppfattning i stridsfordon

Info

Publication number: SE538494C2
Application number: SE1451335A
Authority: SE
Inventors: Nordin Daniel
Original assignee: BAE Systems Hägglunds AB
Priority date: 2014-11-07
Filing date: 2014-11-07
Publication date: 2016-08-02
Also published as: SE1451335A1; US20170310936A1; EP3216004A1; WO2016072927A1; EP3216004A4; AU2015343784A1

Abstract

538 494 SAMMANDRAG Uppfinningen hanfOr sig till ett system (1) for omvarldsuppfattning i stridsfordon (2), innefattande ett flertal bildupptagande sensorer (3A-3E) konfigurerade att registrera bildsekvenser uppvisande olika delvyer (VA-VE) av stridsfordonets omgivningar, samt ett flertal klientenheter (C1-C3) varav var och en ar konfigurerad att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten onskad vy (Vp) av stridsfordonets omgivningar. De bildupptagande sensorerna ar konfigurerade att anslutas till ett natverk (4) och att sanda namnda bildsekvenser over namnda natverk medelst en teknik dar varje bildsekvens som sands av en bildupptagande sensor kan tas emot av ett flertal mottagare, sasom multicast. Klientenheterna ar ocksa konfigurerade att anslutas till namnda natverk och att via namnda natverk mottaga atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E). Vidare ar varje klientenhet konfigurerad att pa egen hand, utifran den atminstone ena mottagna bildsekvensen, generera namnda onskade vy genom bearbetning av bilder fran den atminstone ena bildsekvensen, samt att ombesorja uppvisning av den onskade vyn pa namnda bildskarm.

Description

Föreliggande uppﬁnning avser ett omvärldsuppfattningssystem och ett förfarandeför omvärldsuppfattning (eng. situation awareness) i stridsfordon. I synnerhet avseruppﬁnningen ett omvärldsuppfattningssystem och förfarande för att möjliggöra föroperatörer av stridsfordon, såsom förare, skyttar, fordonsbefäl, och eventuell övrigbesättning, såsom uppsutten trupp, att via bildskärmar inne i stridsfordonet uppfattaomvärlden utanför stridsfordonet. Uppfinningen avser även ett stridsfordoninnefattande ett sådant omvärldsuppfattningssystem samt ett datorprogram för omvärldsuppfattning i stridsfordon.

BAKGRUND Moderna stridsfordon är typiskt utrustade med en uppsättning sensorer, såsomradarsensorer, akustiska sensorer, periskop och/eller elektro-optiska sensorer,och bildförstärkare för omgivningen av såsom kameror, IR-kameror avkänning av miljön medelst sensoruppsättningen insamlade informationen används i regel för att tillhandahålla (objekt/hot/terräng) i stridsfordonet. Den en omvärldsbild åt operatörer och annan personal i stridsfordonet. Ibland kompletteras sensorinformationen med taktisk information, vilken typiskt tillhandahålls via ett i fordonet ingående stridsledningssystem, exempelvis innefattande digitaliserade kartor med lagrad och/eller uppdaterad taktisk information, och ibland även med teknisk information, exempelvis avseendefordonets hastighet/position, kvarvarande bränslemängd och ammunition etc., erhållen medelst andra i fordonet ingående sensorer.

En ofta central komponent i ett omvärldssystem av ovan angivet slag är ett observationssystem för att tillhandahålla visuell information avseende 2stridsfordonets omgivningar till fordonsoperatörer och annan eventuell personalbelägen inuti stridsfordonet. Ett sådant observationssystem innefattar typiskt ettﬂertal optoelektriska sensorer, såsom kameror eller videokameror, var och enkonﬁgurerad att övervaka en del av stridsfordonets omgivningar. I äldre typer avobservationssystem var varje kamera typiskt kopplad till en separat bildskärm, vilketkrävde ett ﬂertal bildskärmar för att förmedla en full 360-graders vy avomgivningarna kring stridsfordonet. l andra typer av tidiga observationssystem kunde vyerna från de olika kamerorna visas upp intill varandra på en ensam bildskärm.

I modernare sådana som beskrivs i US2012/0229596, US2013073775 och WO2004036894, sätts bilderna från ett ﬂertal videokameror, var och en anordnad att övervaka omgivningarna i en viss observationssystem, exempelvis riktning i förhållande till fordonet, ihop till en panoramavy, varpå hela eller delar avdenna panoramavy kan visas upp på olika bildskärmar tillhörande olika medlemmarav fordonsbesättningen. Ofta genereras en komplett 360-graders panoramavy elleren hel sfär med rymdvinkeln 4Tr steradianer av en kraftfull dator utifrån ett ﬂertalvideoströmmar som mottas från de olika videokamerorna, varpå utvalda delar avdenna panoramavy presenteras för de olika besättningsmedlemmarna på olika bildskärmar kopplade till nämnda dator.

Ett problem med dessa panoramagenererande observationssystem är att det åtgårmycket datorkraft för att utifrån de olika videoströmmarna skapa en komplett 360-graders panoramavy eller sfär. Detta ställer höga krav på graﬁkkort och andrakomponenter som utför de beräkningar som krävs för att på korrekt sätt sy ihopvideoströmmarna från de olika kamerorna, i synnerhet vid högupplöst video med 30 videobilder per sekund eller mer.

Ett annat problem är att den stora datamängd som skapas från alla videokamerorställer höga krav på den dator som tar in alla videoströmmar. Kända lösningar föratt hantera den stora mängden indata består exempelvis i att utrusta datorn medhårdvara som sorterar ut de videokameror som behövs för att skapa det eller desynfält som efterfrågas av besättningsmedlemmarna, så att datorn endast belastas av dessa videoströmmar. l praktiken medför denna lösning en begränsning i hur 3 många bildskärmar och besättningsmedlemmar som datorn kan stödja. Den sorterande hårdvaran medför också en ökad kostnad då sådan hårdvara normalt inte ﬁnns i en standarddator.

Således ﬁnns ett behov av ett förbättrat omvärldsuppfattningssystem och ett förbättrat förfarande för omvärldsuppfattning i stridsfordon.

SYFTE MED UPPFINNINGEN Ett syfte med föreliggande uppﬁnning är att tillhandahålla en lösning föromvärldsuppfattning i stridsfordon, vilken löser eller åtminstone lindrar ett eller ﬂer av de ovan angivna problemen med omvärldsuppfattningssystem enligt känd teknik.

Ett särskilt att åstadkomma ett omvärldsuppfattningssystem för stridsfordon, vilket kan göras billigare och mer syfte med föreliggande uppﬁnning är robust än tidigare kända omvärldsuppfattningssystem.

SAMMANFATTNING AV UPPFINNINGEN Dessa och andra syften, vilka framgår av nedanstående beskrivning, uppnåsmedelst ett system för omvärldsuppfattning i ett stridsfordon, vilket system uppvisarsärdragen angivna i bifogade självständiga patentkrav 1. Vidare uppnås nämndasyften med ett stridsfordon enligt krav 12, förfarande för omvärldsuppfattning istridsfordon enligt krav 13, ett datorprogram för omvärldsuppfattning i stridsfordonenligt krav 20 samt en datorprogramprodukt enligt krav 21. Föredragnautföringsformer av systemet och förfarandet anges de osjälvständiga patentkraven 2-11 och 14-19.

Enligt en aspekt uppnås syftena medelst ett system för omvärldsuppfattning istridsfordon, ett ﬂertal,bildupptagande sensorer konﬁgurerade att registrera bildsekvenser uppvisande varvid systemet innefattar d.v.s. åtminstone två, delar, eller delvyer, av stridsfordonets omgivningar. Systemet innefattar vidare ett 4ﬂertal klientenheter, var och en konfigurerad att på en bildskärm uppvisa en av enanvändare av klientenheten önskad vy av stridsfordonets omgivningar. Debildupptagande sensorerna är konﬁgurerade att anslutas till ett nätverk, typisktEthernet, och att sända nämnda bildsekvenser över nämnda nätverk medelst enteknik där en bildsekvens som skickas en och endast en gång från enbildupptagande sensor kan tas emot av ett flertal mottagare, exempelvis medelstmulticast-teknik. Klientenheterna är även de konﬁgurerad att anslutas till nämndanätverk, varvid nätverket kan sägas utgöra ett i stridsfordonet ingående lokaltnätverk till vilket alla bildupptagande sensorer och alla klientenheter är anslutna.Klientenheterna är konﬁgurerade att via nämnda nätverk mottaga åtminstone enbildsekvens registrerad av åtminstone en bildupptagande sensor, samt att utifrånnämnda åtminstone en bildsekvens på egen hand generera den önskade vyn avstridsfordonets omgivningar genom att bearbeta bilder från nämnda åtminstone enbildsekvens, samt ombesörja uppvisning av den önskade vyn på nämnda bildskärm.

Klienten är vidare konfigurerad att, om den av användaren önskade vyn kräver bildfrån mer än en bildupptagande sensor, begära, ta emot och på egen hand sy ihop bilder från ﬂera bildupptagande sensorer.

Till skillnad från de flesta kända system för omvärldsuppfattning i stridsfordon, vilkaalltså i regel består av en kraftfull specialdator som tar in bildsekvenserna från alla isystemet ingående bildupptagande sensorer, syr ihop de olika bildsekvenserna tillen ofta full, 360-graders panoramavy, och visar upp önskade delar av dennapanoramavy på olika bildskärmar kopplade till nämnda dator, så består alltsåsystemet enligt föreliggande uppﬁnning av ett distribuerat system där ett ﬂertalseparata klientenheter alla är anslutna till de bildupptagande sensorerna via ett istridsfordonet ingående nätverk. På så sätt kan varje klientenhet baserat på enindikation om önskad vy från klientenhetens användare begära bildsekvenserenbart från den eller de bildupptagande sensorer som behövs för att skapa denönskade vyn, varvid det maximala antalet bilder som behöver sammanfogas avsystemet kan reduceras kraftigt. Genom användning av multimottagarteknik, såsomIP multicast, garanteras att var och en av ﬂertalet klientenheter kan begära och 5erhålla de bildsekvenser som krävs för uppvisande av den önskade vyn, oavsett vilka bildsekvenser som begärs av övriga klientenheter.

Således, genom att möjliggöra för ett ﬂertal klientenheter att begära debildsekvenser som behövs för att skapa en önskad vy direkt från denätverksanslutna bildupptagande sensorerna, och genom att förse varje klientenhetmed funktionalitet för att själva generera nämnda önskade vy utifrån den eller debegärda bildsekvenserna, elimineras behovet av en kraftfull och specialanpassaddator kapabel att ta emot och sätta samman bildsekvenser från ett stort antalbildupptagande sensorer för att sedan presentera hela eller delar av densammansatta panoramavyn på därtill anslutna bildskärmar. Vidare minskarkomplexiteten och komponentkostnaden för systemet utan en sådankapacitetskrävande dator eller centralenhet, samtidigt som systemet blir mer robust och skalbart och mindre sårbart.

Det föreslagna systemet är så utformat att bearbetning av bildsekvenser från debildupptagande sensorerna sker av och endast av klientenheterna, vilket betyder attsystemet inte inbegriper någon ytterligare från klientenheterna friståendedatabehandlingsenhet som har till uppgift att sammanfoga eller på annat sättbearbeta bildsekvenserna för senare vidarebefordran till respektive klientenhet. lnteheller innefattar systemet några speciella hårdvarukomponenter i form av specielltavancerade och kostsamma videobehandlingskort för behandling avbildsekvenserna från de olika bildupptagande sensorerna, eller multiplex-enheter(mux) för delning av bildsekvenser. Istället möjliggör kombinationen avnätverksanslutna bildupptagande sensorer med multimottagarfunktionalitet ochnätverksanslutna klientenheter förmögna att inhämta och bearbeta just debildsekvenser som krävs för önskad vy direkt från de bildupptagande sensorerna attsystemet kan utgöras av standardkomponenter. Exempelvis, enligt enutföringsform, utgörs klientenheterna av standarddatorer (eng. general-purposecomputer) utan särskilda videbehandlingskort, särskilda instickskort eller andraspeciella hårdvarukomponenter (eng. special-purpose hardware) med särskilt syfte att bearbeta datatunga bildsekvenser. 6Överhuvudtaget kan sägas att systemet i en föredragen utföringsform inte innefattarnågra hårdvaru- eller som modiﬁerar ytterligare mjukvarukomponenter bildsekvenserna på vägen mellan de bildupptagande sensorerna ochklientenheterna. Som beskrivs nedan kan systemet utöver bildupptagande sensoreroch klientenheter i vissa utföringsformer innefatta en nätverksomkopplare mendenna har då som enda uppgift att styra och duplicera data i nätverket, vilket inte innebär modifiering av bildsekvenserna.

I en utföringsform är åtminstone en klientenhet konﬁgurerad att mottaga ett ﬂertalbildsekvenser registrerade av olika bildupptagande sensorer, sammanfoga bilderfrån de mottagna bildsekvenserna till en sammanfogad bild innefattandebildinformation registrerad av olika bildupptagande sensorer och, på nämndabildskärm uppvisa den sammanfogade bilden eller en del därav som nämndaönskade vy. I denna utföringsform innefattar således ovan angivna bearbetning avbilder från åtminstone en av klientenheten mottagen bildsekvens sammanfogningav bilder från ett ﬂertal, d.v.s. åtminstone två, bildsekvenser registrerade av olika bildupptagande sensorer.

Enligt en utföringsform är således åtminstone en och fördelaktigen samtliga av de isystemet ingående klientenheterna konﬁgurerade att endast begära bildsekvenserfrån de bildupptagande sensorer som behövs för att skapa den av klientenhetensanvändare önskade vyn. Systemet är utformat så att användaren kan indikera,medelst klientenheten, en önskad vy som kräver bildinformation från mer änbildupptagande sensor, varvid klientenheten, om användaren indikerar en sådanönskad vy, är konﬁgurerad att begära, mottaga och på egen hand sammanfogabilder från ﬂera bildupptagande sensorer, samt att på en bildskärm ombesörjauppvisning av den önskade vyn i form av nämnda sammanfogade bild eller en del därav.

I en föredragen utföringsform är åtminstone en klientenhet konﬁgurerad att vidbehov generera en panoramavy utifrån ett ﬂertal mottagna bildsekvenserregistrerade av olika bildupptagande sensorer och presentera den genereradepanoramavyn som nämnda önskade vy. Ovan beskrivna sammanfogning av bilder kan därför vid behov utföras på sådant sätt att den sammanfogade bilden utgör en 7 panoramabild, d.v.s. en sammanhängande bild som spänner över ett synfält som ärstörre än synfältet hos en enskild bildupptagande sensor. Med ett något annorlundaordval kan den sammanfogade bilden i sådant fall sägas uppvisa en panoramavyvilken omfattar ett större synfält än de delvyer som registreras av respektive bildupptagande sensor.

Klientenheterna kan för sådan panoramagenerering vara konﬁgurerade att skapade önskade vyer som uppvisas på de med klientenheterna associeradebildskärmarna genom sammanfogning av ett väsentligen godtyckligt antal bilderfrån olika bildsekvenser registrerade av olika bildupptagande sensorer. Emellertid,eftersom ett syfte med föreliggande uppﬁnning är att eliminera beräkningstungaprocesser och därmed behovet av dyra och komplexa högkapacitetskomponenter,är varje klientenhet företrädelsevis konﬁgurerad att då behov avpanoramagenerering föreligger skapa den önskade vyn genom sammanfogning avhelst bara två och som mest tre bilder från bildsekvenser registrerade av olikabildupptagande sensorer. Oftast räcker det att sammanfoga bildsekvenser från justtvå bildupptagande sensorer för att skapa en av en fordonsoperatör önskadpanoramavy. Det betyder att varje klientenhet vid panoramagenerering i regel intebehöver sy ihop bilder från olika bildsekvenser med mer än en söm, även omklientenheter kapabla att sammanfoga väsentligt ﬂer bilder från olika bildsekvenserockså faller väl inom ramen för föreliggande uppﬁnning. Eftersom varje klientenhet iregel bara behöver sy ihop två bilder åt gången behöver klientenheterna inte besittanågon större beräkningskapacitet trots systemets förmåga att uppvisa ett stort antal olika panoramabilder för ett stort antal olika användare.

Vidare behöver systemet på detta sätt aldrig skapa en fullständig 360-graderspanoramavy eller sfär över stridsfordonets omgivningar, vilket ofta måste göras ipanoramagenererande omvärldsuppfattningssystem enligt känd teknik. l detföreslagna systemet skapar varje klientenhet själv den vy som för stunden önskasav klientenhetens användare utifrån det minimala antalet bildsekvenser som krävsvilket utöver för att skapa den önskade vyn, att minimera kraven på beräkningskapacitet hos klientenheterna även minimerar kraven på dataöverföringskapacitet i nätverket. Det innebär även att ingen i systemet 8ingående komponent behöver ta emot och hantera alla de från de olikabildupptagande sensorerna registrerade bildsekvenserna, en process som i likhet med sammanfogandet av alla bildsekvenser är mycket kapacitetskrävande.

Att systemet med fördel är kapabelt att medelst klientenheterna generera ochpresentera panoramavyer av stridsfordonets omgivningar för medlemmarna ifordonsbesättningen betyder inte att så måste vara fallet. Istället kan åtminstone enav klientenheterna vara konﬁgurerad att generera den önskade vyn utifrån enbildsekvens mottagen från en endaste bildupptagande sensorer. Klientenhetenmåste då inte vara konﬁgurerad för sammanfogning av bilder för generering av enpanoramavy men bör likväl vara konﬁgurerad för andra typer av bearbetning avbilderna i den enda mottagna bildsekvensen innan dessa presenteras som denönskade vyn på klientenhetens bildskärm. Sådan bearbetning kan exempelvisinnefatta: extrahering av utvalda bilddelar, varvid klientenheten kan varakonﬁgurerad att klippa ut delar av bilderna i den mottagna sekvensen för genereringav den önskade vyn; projicering av bilderna eller nämnda delar på en böjd yta,varvid klientenheten kan vara konﬁgurerad att skapa en sfärisk eller cylindriskprojektion av bilderna i den mottagna sekvensen för generering av den önskadevyn; och/eller skalning av bilderna eller nämnda delar, varvid klientenheten kan varakonﬁgurerad att skala om bilderna i den mottagna sekvensen för generering av den önskade vyn.

Företrädelsevis är klientenheterna dock försedda med funktionalitet för att kunnasammanfoga bilder från ﬂera olika bildsekvenser och konfigurerade att sammanfogabilder från olika bildsekvenser till en panoramavy om så krävs för att visa den önskade vy som indikeras av klientenhetens användare.

Företrädesvis är klientenheterna konfigurerade att generera den önskade vynutifrån ett minimum av bildsekvenser, vilket kan innefatta bildsekvenser från en,ﬂera eller samtliga bildupptagande sensorer men typiskt innefattar bildsekvenserfrån en eller två bildupptagande sensorer. Exempelvis kan klientenheten varakonfigurerad att generera den önskade vyn från endast en bildsekvens, utan attutföra någon sammanfogning av bilder, så länge den önskade vyn som indikeras av användaren helt faller inom synfältet eller en central del av synfältet för en enskild 9upptagande bildsensor, och att generera den önskade vyn genom sammanfogning av bilder från två eller ﬂer bildupptagande sensorer om den önskade vyn faller utanför nämnda synfält eller centrala del av synfältet.

I en utföringsform är de bildupptagande sensorerna och klientenheterna anslutna tillvarandra via en eller ﬂera i systemet ingående nätverksomkopplare, såsom enEthernet-switch, vilken är konﬁgurerad att från klientenheterna ta emot förfrågningarom tillsändande av bildsekvenser från utvalda bildupptagande sensorer och,baserat på nämnda förfrågningar, selektivt förmedla bildsekvenser från de olika bildupptagande sensorerna till de olika klientenheterna.

Varje klientenhet är vidare konfigurerad att ta emot en indikation om önskad vy frånen användare av klientenheten, typiskt en operatör eller annan besättningsmedlemav stridsfordonet, och, baserat på nämnda indikation om önskad vy, bestämma vilkabildupptagande sensorer vars registrerade bildsekvenser måste sammanfogas föratt generera den önskade vyn. Klientenheten är vidare konﬁgurerad att sända enförfrågan (inom multicast-teknologi ibland kallad ”join request”) till nämndanätverksomkopplare om tillsändande av bildsekvenser från just dessabildupptagande sensorer, varvid nätverksomkopplaren efter mottagande av nämndatillser att den aktuella klientenheten förfrågan tillsänds de efterfrågade bildsekvenserna.

Varje bildupptagande sensor är fördelaktigen konfigurerad att sända varjeregistrerad bildsekvens en och endast en gång, varvid nätverksomkopplaren ärkonﬁgurerad att ta emot nämnda bildsekvens och, åtminstone om nämndabildsekvens har efterfrågats av ett ﬂertal klientenheter, duplicera bildsekvensen ochskicka den mottagna bildsekvensen eller en kopia därav till var och en avklientenheterna varifrån en förfrågan om tillsändande av den aktuella bildsekvensen mottagits.

Denna funktionalitet erhålles i en utföringsform således av åtminstone en i systemetingående omkopplare i form av en Ethernet-switch med stöd för multicast, vilkensamverkar med de bildupptagande sensorerna försedda med nätverksgränssnittmed stöd för multicast för att åstadkomma erforderlig distribution av bildsekvenser från de bildupptagande sensorerna till klientenheterna med ett minimum avdatatrafik i nätverket.

Klientenheterna kan i regel utgöras av vilken typ av databehandllngsenhet somhelst kapabel att på önskat sätt bearbeta bilderna från den eller de mottagnabildsekvenserna för att därifrån generera den önskade vyn. För ovan nämndapanoramagenerering måste klientenheterna exempelvis vara förmögna attsammanfoga bilder från olika bildsekvenser till en panoramabild och orsakauppvisning av nämnda panoramabild på en i klientenheten ingående eller tillklientenheten ansluten bildskärm. Exempelvis kan klientenheterna utgöras avstationära datorenheter, bärbara datorenheter, pekdatorer (eng. tab/et computer) eller hjälmintegrerade datorenheter.

Enligt en utföringsform innefattar åtminstone en klientenhet eller en därtill anslutenkomponent en riktningsgivare, såsom ett gyro eller en accelerometer, varvidklientenheten är konfigurerad att avkänna hur klientenheten eller den därtill anslutnakomponenten är riktad, och, baserat på nämnda riktning, bestämma vilken vy avstridsfordonets omgivningar som utgör önskad vy och som således ska uppvisas på klientenhetens bildskärm.

I den ovan beskrivna utföringsformen enligt vilken klientenheterna skickarförfrågningar om tillsändande av önskade bildsekvenser till en nätverksomkopplaregenom vilka klientenheterna är ansluta till de bildupptagande sensorerna, baserasnämnda förfrågningar med fördel på den aktuella riktningen hos klientenheten ellerden därtill anslutna komponenten, varvid den vy som uppvisas på klientenhetens bildskärm kommer att bero på nämnda riktning.

Exempelvis kan klientenheten vara integrerad i eller ansluten till en hjälminnefattande en hjälmdisplay samt en riktningsgivare kapabel att avkänna hur enanvändare av hjälmen riktar sitt huvud, varvid klientenheten är konﬁgurerad att,baserat på nämnda huvudriktning, bestämma vilken vy som utgör önskad vy ochsåledes ska uppvisas på nämnda hjälmdisplay. På så sätt kan en operatör eller annan besättningsmedlem av stridsfordonet förmedlas en mycket verklighetsnära 11 känsla av att se rakt igenom stridsfordonets väggar och/eller tak samtidigt somdenne beﬁnner sig i skydd inuti stridsfordonet.

I ett annat exempel utgörs klientenheten av en pekdator, såsom en surfplatta, medinbyggd riktningsgivare, varvid en användare kan vända pekdatorn i den riktning användaren önskar ”se” ut genom stridsfordonet.

Såsom inses av ovanstående beskrivning kan den önskade vy som uppvisas påklientenhetens bildskärm genereras från en endaste bildsekvens registrerad av enenskild bildupptagande sensor, eller från ett ﬂertal bildsekvenser registrerade avolika bildupptagande sensorer, varvid bilderna från olika bildsekvenser på ett ellerannat sätt kan sammanfogas till en sammanfogad bild utgörandes nämnda önskade vy.

Det ska i detta sammanhang betonas att en sammanfogad bild inte nödvändigtvisär en panoramabild. De bildupptagande sensorerna kan exempelvis innefatta bådekonventionella videokameror och IR-kameror, varvid den önskade vyn kan utgörasav en sammanfogad bild som sammanfogats utifrån en bild registrerad av envideokamera och en bild registrerad av en IR-kamera, exempelvis en sammanfogadbild där videokameran. Därmed ska även inses att de delvyer som registreras av de olika bildinformation från IR-kameran överlagrats bildinformation frånbildupptagande sensorerna inte nödvändigtvis måste vara olika delar eller olikadelvyer av stridsfordonets omgivningar. De kan exempelvis utgöras av en visuell vyoch en infraröd vy av samma del av stridsfordonets omgivningar, registrerade av enkonventionell videokamera och en IR-kamera, vilka vyer kan sammanfogas av deolika klientenheterna för att i en önskad vy ge fordonets operatörer möjlighet att sebildinformation från IR-kameran överlagrad bildinformation från den konventionella videokameran.

Huvudsakligen är dock det föreslagna systemet tänkt att användas för att uppvisapanoramavyer i form av bilder och i synnerhet videobilder för fordonsoperatörernapå de olika klientenheterna, vilka således främst är tänkta att sammanfoga bilderfrån bildupptagande sensorer i form av konventionella kameror eller videokameror till panoramabilder för uppvisning på klientenheternas bildskärmar. 12 Enligt en innefattar åtminstone en av klientenheterna panoreringsmedel konfigurerade att åstadkomma panorering i en av klientenheten utföringsfrom uppvisad panoramavy baserat på indata inmatad eller på annat sätt genererad av användaren av klientenheten.

Enligt en utföringsform är åtminstone en av klientenheterna konﬁgurerad att på sinbildskärm uppvisa en sfärisk panoramavy eller delar därav åstadkommen genomapplicering av en sfärisk projektion på de sammanfogade bilderna från de olikabildsekvenserna. På så sätt kan en nära nog helt realistisk känsla av att omges avstridsfordonets omgivningar förmedlas till fordonsoperatörer eller andra medlemmarav fordonsbesättningen belägna inuti stridsfordonet. En full sfärisk panorama kräverdock sammanfogning av ett stort antal bilder, vilket kräver ökad prestanda hosklientenheterna både vad gäller förmåga att sammanfoga bilder och förmåga att taemot och hantera den stora datamängden i de många olika bildsekvenser som skasammanfogas. Klientenheterna kan därför med fördel vara konfigurerade att endastgenerera och uppvisa endast en del av en fullt sfärisk panoramavy, exempelvis en delvy bestående av två eller tre sammanfogade bildsekvenser.

Enligt en annan utföringsform är nämnda åtminstone en klientenhet konfigurerad attpå dess bildskärm uppvisa en cylindrisk panoramavy eller delar däravåstadkommen genom applicering av en cylindrisk projektion på de sammanfogadebilderna från de olika bildsekvenserna. Därmed kan en nära nog lika realistiskkänsla av att vara omgiven av stridsfordonets omgivningar förmedlas till fordonetsbesättningsmedlemmar med lägre prestandakrav på de i systemet ingåendeklientenheterna. Även i detta fall är klientenheterna med fördel konfigurerade attgenerera och uppvisa endast en del av en fullt cylindrisk panoramavy, exempelvis en delvy bestående av två eller tre sammanfogade bildsekvenser.

Enligt en annan aspekt av uppﬁnningen tillhandahålls ett stridsfordon innefattandedet ovan beskrivna systemet för omvärldsuppfattning.

I en utföringsform innefattar stridsfordonet således ett ﬂertal bildupptagandesensorer, såsom videokameror, var och en konﬁgurerad att registrera en bildsekvens uppvisande en delvy av fordonets omgivningar, samt ett ﬂertal 13klientenheter varav var och en är konﬁgurerad att på en bildskärm uppvisa enönskad vy av stridsfordonets omgivningar, varvid den önskade vyn innefattarbildinformation skapad genom sammanfogning av bilder registrerade av olikabildupptagande sensorer. De bildupptagande sensorerna och klientenheterna äranslutna till varandra genom ett i stridsfordonet ingående nätverk och debildupptagande sensorerna är konfigurerade att sända nämnda bildsekvenser övernämnda nätverk medelst en teknik där varje bildsekvens kan tas emot av ett ﬂertalmottagare. Vidare är var och en av klientenheterna konﬁgurerad att via nämndanätverk mottaga ett ﬂertal bildsekvenser registrerade av olika bildupptagandesensorer och att utifrån de mottagna bildsekvenserna på egen hand generera denönskade vyn, typiskt i form av en panoramavy, genom sammanfogning av bilderfrån de olika bildsekvenserna, samt ombesörja uppvisning av den önskade vyn på nämnda bildskärm.

Utöver ovan beskrivna system och stridsfordon tillhandahåller föreliggandeuppﬁnning även ett förfarande för omvärldsuppfattning i stridsfordon.

Enligt en utföringsform tillhandahålls ett förfarande för omvärldsuppfattning istridsfordon, innefattande stegen att registrera ett ﬂertal bildsekvenser uppvisandesdelvyer av stridsfordonets omgivningar medelst ett ﬂertal bildupptagande sensorer,och att på var och en av ett ﬂertal bildskärmar associerade med en respektiveklientenhet av ett ﬂertal klientenheter uppvisa en av en användare av klientenhetenönskad vy av stridsfordonets omgivningar. Vidare innefattar förförandet stegen att: - sända bildsekvenserna från de bildupptagande sensorerna över ett istridsfordonet ingående nätverk medelst en teknik där varje bildsekvens kan tasemot av ett ﬂertal mottagare, samt att i var och en av nämnda ﬂertal klientenheter: - ta emot, över nämnda nätverk, åtminstone en bildsekvens registrerad avåtminstone en bildupptagande sensor; - utifrån nämnda åtminstone ena bildsekvens generera nämnda önskade vygenom bearbetning av bilder från nämnda åtminstone ena bildsekvens, och - uppvisa den önskade vyn på den med klientenheten associerade bildskärmen. 14Såsom framgår av ovanstående beskrivning innefattar steget att generera denönskade vyn typiskt generering av en panoramavy, varvid steget att uppvisa denönskade vyn innefattar uppvisning av panoramavyn eller delar därav på bildskärmen.

Såsom också framgår av ovanstående beskrivning kan förfarandet innefatta stegen att: - registrera en riktning hos respektive klientenhet eller en till respektive klientenhetansluten komponent, och - från respektive klientenhet sända nämnda förfrågan om tillsändande av utvaldabildsekvenser för generering av nämnda önskade vy baserat på nämnda riktning.

Enligt ytterligare en aspekt av föreliggande beskrivning tillhandahålls ettdatorprogram för tillhandahållande av omvärldsuppfattning i ett stridsfordoninnefattande ett ﬂertal bildupptagande sensorer konﬁgurerade att registrerabildsekvenser uppvisande respektive delvyer av stridsfordonets omgivningar.Datorprogrammet innefattar programkod som då den exekveras av en processor ien av ett ﬂertal klientenheter förmår klientenheten att på en bildskärm uppvisa en aven användare av klientenheten önskad vy av stridsfordonets omgivningar. Vidareinnefattar datorprogrammet programkod som då den exekveras av nämndaprocessor förmår klientenheten att, via ett i stridsfordonet ingående nätverk övervilket de bildupptagande sensorerna sänder nämnda bildsekvenser medelst enteknik där varje bildsekvens kan tas emot av ett ﬂertal mottagare: - ta emot åtminstone en bildsekvens registrerad av åtminstone en bildupptagande senson- utifrån nämnda åtminstone en bildsekvens generera nämnda önskade vy genombearbetning av bilder från nämnda åtminstone en bildsekvens, och- uppvisa den önskade vyn på en med klientenheten associerad bildskärm.

Datorprogrammet kan vidare innefatta programkod som då den exekveras avnämnda processor förmår klientenheten att utföra vilket eller vilka som helst av de metodsteg som ovan beskrivits såsom utförda av en klientenhet.

Enligt ytterligare en aspekt av föreliggande beskrivning tillhandahålls endatorprogramprodukt innefattande ett lagringsmedium, såsom ett icke-ﬂyktigt minne, varvid nämnda lagringsmedium lagrar det ovan beskrivna datorprogrammet.

Enligt en ytterligare aspekt av föreliggande beskrivning tillhandahålls en klientenhet,exempelvis i form av en stationär dator, en laptop, en pekdator, en hjälmintegreraddator eller någon annan typ av databehandlingsenhet, innefattande en sådan datorprogramprodukt.

Ytterligare fördelaktiga aspekter av systemet, stridsfordonet, förfarandet ochdatorprogrammet enligt uppﬁnningen kommer att framgå av den härefter följandedetaljbeskrivningen, samt av de därpå följande patentkraven.

FIGURBESKRIVNING Föreliggande uppfinning kommer att förstås bättre med hänvisning till följandedetaljerade beskrivning då denna studeras tillsammans med de bifogaderitningarna, där lika hänvisningsbeteckningar hänför sig till lika delar i de olika vyerna, och i vilka: Fig. 1 schematiskt illustrerar en utföringsform av ett system för tillhandahållande avomvärldsuppfattning i ett stridsfordon; Fig. 2 schematiskt illustrerar ett exempel på en panoramavy som medelst systemet iFig. 1 helt eller delvis kan genereras och uppvisas för tillhandahållande avomvärldsuppfattning åt en eller ﬂera medlemmar av fordonsbesättningen; 16Fig. 3 schematiskt illustrerar ett annat exempel på en panoramavy som medelstsystemet i Fig. 1 helt eller delvis kan genereras och uppvisas för tillhandahållandeav omvärldsuppfattning åt en eller ﬂera medlemmar av fordonsbesättningen; och Fig. 4 schematiskt illustrerar ett exempel på datakommunikation mellan enheterna i ett nätverk till vilka systemkomponenterna i Fig. 1 är anslutna.

Fig. 5 schematiskt illustrerar ett ﬂödesdiagram över en utföringsform av ettförfarande för tillhandahållande av omvärldsuppfattning i ett stridsfordon.

DETALJERAD BESKRIVNING AV UPPFINNINGEN Med ”sammanfogning av bilder” menas häri en process i vilken en ny bild genererasgenom sammanfogning av två eller ﬂer ursprungsbilder, varvid den nya bilden innefattar bildinformation från var och en av de sammanfogade ursprungsbilderna.

Med ”panoramavy” menas häri en vidvinkelvy som innefattar mer bildinformation änvad som kan registreras av en ensam bildupptagande sensor. En panoramabild ärsåledes en vidvinkelbild skapad genom sammanfogning av ett ﬂertal bilderregistrerade av olika bildupptagande sensorer, sammanfogade på ett sådant sätt att panoramabilden uppvisar ett större synfält än vad de enskilda bilderna gör var försig.

Med samtidig hänvisning till Fig. 1-3 ska i det följande beskrivas ett system 1 förtillhandahållande av omvärldsuppfattning i ett stridsfordon 2.

Omvärldsuppfattningssystemet 1 är konfigurerat för att integreras i stridsfordonet 2.Häri beskrivs stridfordonet 2 som ett landgående fordon, såsom en stridsvagn, mendet bör påpekas att systemet även går att realisera och implementera hos envattenfarkost, såsom t.ex. ett ytstridsfartyg, eller en luftburen farkost, såsom t.ex. en helikopter eller ett ﬂygplan. 17Systemet 1 innefattar en sensoranordning 3 innefattande ett ﬂertal bildupptagandesensorer 3A-3E, var och en anordnad att registrera en bildsekvens utvisande åtminstone en del av stridsfordonets omgivningar under operation.

De bildupptagande sensorerna 3A-3E kan vara digitala elektro-optiska sensorerinnefattande åtminstone en eiektro-optisk sensor för upptagning av bildsekvenser utgörandes stillbildssekvenser och/eller videosekvenser.

De bildupptagande sensorerna 3A-3E kan utgöras av digitala kameror ellervideokameror konﬁgurerade att registrera bilder inom det visuella och/eller infraröda(IR) området. De kan också utgöras av bildförstärkare konfigurerade att registrerabilder inom det närinfraröda området (eng. Near Infrared- N/R).

De bildupptagande sensorerna 3A-3E kan vara anordnade exteriört hosstridsfordonet 2 eller interiört hos stridsfordonet 2 i skydd av transparent, skyddande material genom vilket registrering av bildsekvenserna sker.

De bildupptagande sensorerna 3A-3E är företrädesvis inriktade i förhållande tillvarandra så att bildupptagningsområdena för de olika sensorerna, d.v.s. de delvyersom i Fig. 1 benämns VA-VE, delvis överlappar varandra. Även om denexemplifierande utföringsformen i Fig. 1 endast innefattar fem bildupptagandesensorer 3A-3E anordnade att täcka ett knappt 180-gradigt synfält ska det inses attsystemet 1 med fördel kan innefatta ett godtyckligt antal bildupptagande sensorer som med fördel är anordnade att täcka 360° av stridsfordonets omgivningar.

Systemet 1 innefattar vidare ett ﬂertal klientenheter C1-C3, var och en associeradmed en bildskärm eller display D1-D3, vilken kan vara integrerad i eller ansluten tillklientenheten. Klientenheterna är konﬁgurerade att ta emot bildsekvenser från debildupptagande sensorerna 3A-3E, företrädelsevis en eller två bildsekvenser åtgången, och bearbeta och vid behov sammanfoga bilder från de olikabildsekvenserna för uppvisning på den med klientenheten associerade bildskärmen D1-D3, såsom kommer att beskrivas i mer detalj nedan.

För det här ändamålet innefattar klientenheterna C1-C3 en databehandlingsenhet eller processor P1-P3 och ett digitalt lagringsmedium eller minne M1-M3. Det ska 18inses att de åtgärder eller metodsteg som häri anges utföras av en klientenhet C1-C3 utförs genom att klientenhetens processor P1-P3 exekverar en viss del, d.v.s.en viss programkodssekvens, av ett datorprogram som lagras i klientenhetensminne M1-M3.

I en utföringsform utgörs klientenheterna av standarddatorer i den mening att deinte innefattar någon speciell hårdvara (eng. special-purpose hardware) förbearbetning av de mottagna bildsekvenserna. Klientenheterna kan exempelvisutgöras av bärbara eller stationära persondatorer eller mindre bärbara datorenheter,såsom en pekdator eller surfplatta. l Fig. 1 utgörs klientenheterna C1 och C2 avpersondatorer kopplade till externa bildskärmar D1, D2 i form av hjälmdisplayerintegrerade i hjälmar som bärs av besättningsmedlemmar av stridsfordonet 2,medan klientenheten C3 utgörs av en pekdator avsedd att hållas i handen av enytterligare besättningsmedlem av stridsfordonet 2. Det ska därvid inses att klientenheterna C1-C3 utgör separata och självständiga databehandlande enheter.

Klientenheterna C1-C3 och de bildupptagande sensorerna 3A-3E är alla anslutna tillett i stridsfordonet 2 ingående nätverk 4. I en föredragen utföringsform är nätverketett Ethernet-nät, företrädesvis ett Gigabit-Ethernet-nät (GigE). Klientenheterna C1-C3 är anslutna till de bildupptagande sensorerna 3A-3E över nämnda nätverk 4 via en nätverksomkopplare 5, typiskt i form av en Ethernet-switch.

De bildupptagande sensorerna 3A-3E är konﬁgurerade att registrera bildsekvenseruppvisande en respektive delvy VA-VE av stridsfordonets omgivningar, samt attsända dessa bildsekvenser över nämnda nätverk 4 medelst en teknik (t.ex.multicast-teknik) som möjliggör att ett flertal mottagare kan nås av en vissbildsekvens trots att denna endast sänts en gång av en bildupptagande sensor 3A-3E. Varje klientenhet C1-C3 är i sin tur konfigurerad att via nämnda nätverk 4 taemot en eller ﬂera bildsekvenser uppvisande olika delvyer VA-VE av stridsfordonetsomgivningar och på egen hand generera en önskad vy genom att bearbeta bildernafrån den eller de mottagna bildsekvenserna, samt ombesörja uppvisning av denönskade vyn på nämnda bildskärm D1-D3. 19 I den exempliﬁerande utföringsformen som visas i 1-3 används Fig.omvärldsystemet 1 för att på bildskärmarna D1-D3 tillhörande fordonsbesättningensklientenheter C1-C3 uppvisa strömmad video av stridsfordonets omgivningar,skapad genom bearbetning av en eller ﬂer videoströmmar registrerade av debildupptagande sensorerna 3A-3E. I den här utföringsformen är klientenheterna C1-C3 kapabla att uppvisa panoramavideo som skapats genom sammanfogning av två eller ﬂer videoströmmar registrerade av de bildupptagande sensorerna 3A-3E.

I denna utföringsform utgörs de bildupptagande sensorerna 3A-3E av digitalanätverksvideokameror konﬁgurerade att registrera bildsekvenser vilka således utgörvideoströmmar avbildandes de olika delvyerna VA-VE av stridsfordonetsomgivningar. Mer speciﬂkt utgörs de bildupptagande sensorerna 3A-3E i dennautföringsform av Ethernet-videokameror med multicast-funktion, vilket betyder attvideokamerorna 3A-3E är anslutna till Ethernet-nätet 4 och är konﬁgurerade attsända varje registrerad bildsekvens medelst en teknik som trots att varjebildsekvens endast sänds en endaste gång kan tas emot av ett flertal mottagare, d.v.s. klientenheter.

Vidare innefattar klientenheterna C1-C3 i denna utföringsform en respektiveriktningsgivare S1-S3 konﬁgurerad att avkänna en nuvarande riktning hosriktningsgivaren och således riktningen hos den klientenhet eller komponent i vilkenriktningsgivaren ingår. Detta möjliggör för en användare av en klientenhet C1-C3 attindikera en önskad vy av stridsfordonets omgivningar genom att rikta klientenheteneller en därtill ansluten komponent innefattande riktningsgivaren S1-S3 åt det hållanvändaren önskar "se". Såsom illustreras i Fig. 1 kan riktningsgivare S1-S2exempelvis fästas på en hjälm eller hjälmdisplay D1-D2 och anslutas tillklientenheten C1-C2 för att låta användaren indikera önskad vy av stridsfordonetsomgivningar genom att vrida på huvudet och ”titta” åt önskat håll. Såsom ocksåillustreras i Fig. 1 kan riktningsgivaren S3 i andra fall integreras i en bärbarklientenhet, såsom pekdatorn C3, varvid användaren kan indikera önskad vy genomatt rikta pekdatorn åt det håll denne önskar se. I en ytterligare utföringsform (ejvisad) kan omvärldssystemet 1 innefatta medel för ögonföljning, såsom en kamera anordnad att detektera ögonrörelser hos en användare av en klientenhet C1-C3, varvid användaren kan tillåtas indikera önskad vy av stridsfordonets omgivningar genom att titta i en viss riktning.

Av ovanstående beskrivning ska inses att observationssystemet 1 typiskt sättinnefattar ett MMI (eng. man-machine interface) konﬁgurerat att låta användarenindikera en önskad vy genom att via nämnda MMI ange en riktning i vilkenanvändaren vill se stridsfordonets omgivningar och att ett sådant MMI kan utformaspå ett ﬂertal olika sätt. Således ska inses att observationssystemet 1 enligtföreliggande beskrivning inte är begränsat till någon särskild av ett antal möjliga lösningar för att åstadkomma dylik funktionalitet.

När en användare av en klientenhet C1-C3 indikerar en önskad vy avstridsfordonets omgivningar beräknar klientenheten vilken eller vilka delvyer VA-VE som erfordras för att generera den önskade vyn. l händelse av att den önskade vyn ryms inom en av delvyerna VA-VE, det vill sägaom den bildinformation som operatören önskar få uppvisad på bildskärmen D1-D3motsvarar eller utgör en delmängd av en av delvyerna VA-VE, behöver klientenhetenC1-C3 bara begära och ta emot bildsekvenser från en enda bildupptagande sensor3A-3E och inte utföra någon som helst sammanfogning av bilder. Även i dennasituation krävs dock en viss grad av bearbetning av de i bildsekvensen ingåendebilderna för att utifrån dessa generera den önskade vyn för uppvisning påbildskärmen D1-D3. Exempelvis kan bearbetningen i detta fall bestå i att extraheradelar av bilderna, projicera bilderna eller de extraherade bilddelarna på en böjd ytaoch/eller skala om bilderna eller de extraherade bilddelarna innan de presenterassom nämnda önskade vy på den med klientenheten C1-C3 associeradebildskärmen D1-D3.

Den önskade vyn kan således genereras från en bildsekvens registrerad av enenda bildupptagande sensor 3A-3E. Fördelaktigen är klientenheterna C1-C3konﬁgurerade att, baserat på en indikation om önskad vy av stridsfordonetsomgivningar, indikerad av respektive klientenhets användare medelst exempelvisovan angivna riktningsgivare S1-S3, bestämma från hur många och vilka av debildupptagande sensorerna 3A-3E som bildsekvenser måste erhållas för att kunna 21 generera den önskade vyn. Vidare är klientenheterna C1-C3 fördelaktigenkonﬁgurerade att från de bildupptagande sensorerna begära de och endast debildsekvenser som krävs för att kunna generera den önskade vyn. Det här betyderatt klientenheterna C1-C3 i möjligaste mån eftersträvar att generera den önskadevyn utifrån en bildsekvens registrerad av en enda bildupptagande sensor 3A-3E ochatt ytterligare bildsekvenser från andra bildupptagande sensorer 3A-3E endastefterfrågas vid behov. I beskrivande syfte kommer det trots detta hädanefter attantas att den av användaren önskade vyn kräver sammanfogning av bilder frånåtminstone två bildsekvenser registrerade av olika bildupptagande sensorer 3A-3E,för att därigenom skapa en panoramabild motsvarande nämnda önskade vy föruppvisning för användaren.

Såsom illustreras i Fig. 2 kan klientenheten i vissa utföringsformer vara konfigureradatt skapa en fullständig, upp till 360-graders panoramavy genom sammanfogning avalla eller åtminstone ett större antal bildsekvenser avbilande olika delvyer VA-VE,samt ombesörja uppvisning av hela eller delar av denna upp till 360-gradiga panoramavy på klientenhetens bildskärm.

Som nämnts ovan är klientenheterna C1-C3 dock konﬁgurerade att minimeraantalet bildsekvenser som används för generering av den av användaren önskadevyn och eftersom denna i regel inte kräver sammanfogning av mer än två eller maxtre bildsekvenser är klientenheterna C1-C3 med fördel konfigurerade att begränsabegäran om bildsekvenser från de olika videokamerorna till två eller högst tre bildsekvenser.

Fig. 3 visar ett exempel på detta där klientenheten C1 har begärt två bildsekvenserregistrerade av olika videokameror och avbildande två delvis överlappande delvyerVB, VC av stridsfordonets omgivningar. Klientenheten Cl är vidare konﬁgurerad attsammanfoga de två delvyerna till en panoramavy genom att sy ihop (eng. imagestiching) de två delvyerna med en enda söm 6, typiskt med användning avbildinformation som återfinns i de överlappande områdena 7 av de två delvyerna VB, VC enligt principer som är välkända inom teknikområdet för bildbehandling. 22I exemplet som visas i Fig. 3 har klientenheten C1 således skickat en förfrågan tillomkopplaren 5 (se Fig. 1) om att erhålla videoströmmar från videokamerorna 3Boch 3C baserat på en indikation från klientenhetens användare om önskad vy föruppvisning på klientenhetens bildskärm D1. Som svar på denna förfrågan haromkopplaren 5 tillsänt videoströmmarna från videokamerorna 3B och 3C tillklientenheten C1, varpå klientenheten medels mjukvara för generering avpanoramabilder, lagrad i minnet M1 hos klientenheten, sammanfogat bildernaavbildande delvyerna VB, VC till en panoramavy som i det här exempletinnehållerden önskade vy Vp som uppvisas på bildskärmen D1. Även om sömmen 6mellan de sammanfogade delvyerna av förklarande skäl visas i Fig. 3 ska det insesatt panoramavyn som uppvisas på bildskärmen D1 i regel är helt sömlös i denmening att sömmen eller sömmarna mellan sammanfogade bilder från olika bildsekvenseri regel inte är synliga i den sammansatta panoramabilden.

Det ska också inses att den önskade vyn VB som visas på bildskärmen D1 intebehöver innehålla hela delvyerna VB och VC, eller ens någon fullständig delvyöverhuvudtaget. Istället utgör den önskade vyn som uppvisas på bildskärmen D1typiskt en delmängd av en sammanfogad bild som klientenheten C1 genererarutifrån de begärda och mottagna videoströmmarna. Exempelvis kan klientenhetenC1 beställa videoströmmar från videokamerorna 3B och 3C, varpå klientenhetenkan ta emot dessa videoströmmar och därmed delvyerna VB och VC, generera ensammanfogad bild motsvarande vyn VP i Fig. 3 genom att sy samman delvyerna VBoch VC, och lagra denna sammanfogade bild i minnet M1, varpå en önskad vy Vpzinnefattande bildinformation från båda delvyerna VB och VC men endast endelmängd av bildinformationen i nämnda sammanfogade bild kan uppvisas påbildskärmen D1.

Att lagra en större bild i klientenhetens minne M1 än vad som för stunden uppvisaspå den med klientenheten associerade bildskärmen D1 är fördelaktigt eftersomdetta medger snabb uppdatering i visningen av den önskade vyn till följd av småändringar i indikation av önskad vy från operatörerna, exempelvis till följd av småhuvudrörelser hos en operatör försedd med en hjälmintegrerad riktningssensor S1, S2 med vars hjälp operatören indikerar önskad vy för uppvisning på en bildskärm, 23såsom beskrivits ovan. Att den sammanfogade och lagrade bilden har större storlekän den bild som visas upp som önskad vy på bildskärmen gör att det ﬁnns en vissmarginal med bildinformation kring den önskade och uppvisade vyn, varvidbildinformation inom denna marginal kan visas upp när operatören indikerar att såönskas utan att nya beräkningstunga sammanfogningar av bilder behöver göras.Exempelvis kan den sammanfogade bilden som lagras i klientenhetens minnemotsvara en vy på 90 graders horisontellt synfält runt fordonet 2 medan denönskade vyn som uppvisas på bildskärmen endast motsvarar 60 graders horisontellt synfält.

Som angetts ovan är systemet 1 fördelaktigen utformat så att varje klientenhet C1-C3 är konfigurerad att baserat på den önskade vy som indikeras av klientenhetensanvändare efterfråga det minimala antal bildsekvenser från videokamerorna 3A-3Esom krävs för att generera nämnda önskade vy. I en utföringsform är två den övregränsen för antalet bildsekvenser från olika videokameror som får efterfrågas ochsättas samman av respektive klientenhet. I en annan utföringsform är nämnda övregräns tre. I ännu en utföringsform är klientenheterna konﬁgurerade att genomanvändarinmatning låta användarna ange en övre gräns för antalet bildsekvensersom ska efterfrågas och sammanfogas baserat på användarens indikation omönskad vy. På så sätt kan det maximala antalet bilder som sammanfogas avklientenheten exempelvis anpassas till respektive användarens personliga preferenser och/eller beräkningskapaciteten hos respektive klientenhet.

Fig. 4 visar ett exempel på datakommunikation mellan enheterna i nätverket 4.Omkopplaren i Fig. 4 motsvarar således nätverksomkopplaren 5 i Fig. 1 medanvideokamerorna 1-3 och klientenheterna 1 och 2 i Fig. 4 kan utgöras av vilka somhelst av de bildupptagande sensorerna 3A-3E respektive klientenheterna C1-C3 iFig. 1.

I ett första steg S11 skickar en första klientenhet ”Klientenhet 1” en förfrågan tillomkopplaren om tillsändande av bildsekvenser från videokamerorna 1 och 2. Sombeskrivits ovan baserar klientenheten valet av videokameror på en indikation om önskad vy för uppvisning på en bildskärm, mottagen från klientenhetens användare. 24I ett andra steg S12 skickar en andra klientenhet ”Klientenhet 2” på motsvarandesätt en förfrågan till omkopplaren om tillsändande av bildsekvenser från videokamerorna 2 och 3.

I ett tredje steg S13 tar omkopplaren emot en bildsekvens från "Videokamera 1” ochvidarebefordrar denna till ”Klientenhet 1" eftersom detta är den enda klientenhet som efterfrågat denna bildsekvens.

I ett fjärde steg S14 tar omkopplaren emot en bildsekvens från ”Videokamera 2”.Denna är efterfrågad av såväl ”Klientenhet 1” och ”Klientenhet 2". Omkopplarenduplicerar därför bildsekvensen och skickar sedan varsin kopia av bildsekvensen tillde två klientenheterna.

I ett femte steg S15 tar omkopplaren emot en bildsekvens från ”Videokamera 3" ochvidarebefordrar denna till ”Klientenhet 2" eftersom detta är den enda klientenhet som efterfrågat denna bildsekvens.

Som nämnts ovan är alltså de nätverksanslutna videokamerorna 3A-3Ekonﬁgurerade att sända de registrerade bildsekvenser över nätverket 4 medelst enteknik som möjliggör för ett ﬂertal klientenheter C1-C3 att ta emot sammabildsekvens, trots att denna endast sänts en gång av en videokamera. Dettaåstadkoms i en utföringsform genom att konﬁgurera de i Ethernet-nätet 4 ingående nätverksenheterna för användning av IP multicast.

IP multicast är en välkänd teknologi som ofta används för att strömma media överInternet eller andra nätverk. Tekniken bygger på användande av gruppadresser förIP multicast och varje videokamera 3A-3E är fördelaktigen konfigurerade attanvända en speciﬁk gruppadress som destinationsadress för de datapaket som deregistrerade bildsekvenserna skickas i. Klientenheterna använder sedan dessagruppadresser för att informera nätverket att de är intresserade av vissa utvaldabildsekvenser genom att ange att de vill ta emot datapaket skickade till en vissgruppadress. När en klientenhet informerar nätverket om att den vill ta emot pakettill en viss gruppadress säger man att klientenheten ansluter (eng. join) till en gruppsom skickas från med den gruppadressen. Ovan nämnda förfrågningar klientenheterna C1-C3 till nätverksomkopplaren 6 är i en utföringsform sådanaanslutningsförfrågningar (eng. join requests) som indikerar vilka videoströmmar klientenheten vill ta emot och vilka den således inte vill ta emot.

Fig. 5 är ett ﬂödesschema illustrerande en exempliﬁerande utföringsform av ettett stridsfordon.

Förfarandet kommer nedan att beskrivas med samtidig hänvisning till tidigare förfarande för tillhandhahållande av omvärldsuppfattning i beskrivna ﬁgurer.

I ett första steg, S21, registreras ett ﬂertal bildsekvenser uppvisandes delvyer VA-VEav stridsfordonets omgivningar medelst ett ﬂertal bildupptagande sensorer 3A-3E.

I ett andra steg, S22, skickas dessa bildsekvenser över ett i stridsfordonet 2ingående nätverk 4 medelst multimottagarteknik, d.v.s. en teknik där varje bildsekvens kan tas emot av ett ﬂertal mottagare, såsom multicast.

I ett tredje steg, S23, tas utvalda bildsekvenser emot i klientenheterna C1-C3. Somnämnts tidigare är klientenheterna C1-C3 företrädesvis konﬁgurerade att begäraoch ta emot bildsekvenser från ett minimum av bildupptagande sensorer 3A-3E, därde bildupptagande sensorerna och därmed de begärda bildsekvenserna väljs ut avklientenheten baserat på en indikation om önskad vy för uppvisning, mottagen av klientenheten från en användare därav.

I ett ﬁärde steg, S24, skapar varje klientenhet på egen hand den önskade vyngenom bearbetning av bilder från åtminstone en mottagen bildsekvens och, om merän en bildsekvens behövs för att skapa den önskade vyn, genom sammanfogningav bilder från minst två bildsekvenser registrerade av olika bildupptagandesensorer. Som nämnts ovan är den önskade vyn typiskt men inte nödvändigtvis endel av en panoramavy som skapas i och av respektive klientenhet medelstmjukvara för generering av panoramabilder utifrån ett ﬂertal bildsekvenser, vilken mjukvara ﬁnns lagrad i respektive klientenhet.

I ett femte steg, S25, uppvisar varje klientenhet den önskade vyn på en medrespektive klientenhet associerad bildskärm D1-D3. 26Det har ovan beskrivits att den önskade vyn som uppvisas på klientenhetensbildskärm kan vara en sammanfogad bild sammanfogad av bilder från olikabildsekvenser. Dessa bilder kan med fördel utgöras av bildrutor i videoströmmar.Således ska det inses att det som i en föredragen utföringsform uppvisas påklientenheternas bildskärmar är en panoramavideo, eller del av en panoramavideo,som genererats genom sammanfogning av bildrutor från videoströmmar registrerade av olika videokameror 3A-3E.

Den föregående beskrivningen av föredragna utföringsformer av uppfinningen hartillhandahållits i illustrerande och beskrivande syfte. Den är inte avsedd att varauttömmande eller begränsa uppﬁnningen till just de beskrivna utföringsformerna.Därmed ska inses att uppfinningen avser omfatta alla tänkbara utföringsformer som faller inom ramen för de härpå följande patentkraven.

Claims

538 494 PATENTKRAV

1. System (1) fOr omvarldsuppfattning i stridsfordon (2), varvid systemet innefattar ett flertal bildupptagande sensorer (3A-3E), var och en konfigurerad att registrera en bildsekvens uppvisande en delvy (VA-VE) av stridsfordonets omgivningar, samt ett flertal klientenheter (C1-C3), var och en konfigurerad att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten 6nskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av att de bildupptagande sensorerna (3A-3E) är konfigurerade att anslutas till ett natverk (4) och att sanda namnda bildsekvenser over namnda natverk (4) medelst en teknik dar varje bildsekvens som sands av en bildupptagande sensor (3A-3E) kan tas emot av ett flertal mottagare, och av att var och en av namnda klientenheter (C1-C3) ar konfigurerad att anslutas till namnda natverk (4) och att via namnda natverk mottaga atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E), samt att utifran namnda atminstone en bildsekvens pa egen hand generera namnda onskade vy (Vp) genom bearbetning av bilder Than namnda atminstone en bildsekvens, samt att ombesorja uppvisning av den onskade vyn (Vp) pa namnda bildskarm (D1-D3).

2. System (1) enligt krav 1, varvid atminstone en av klientenheterna (C1-C3) är konfigurerad att mottaga ett flertal bildsekvenser registrerade av olika bildupptagande sensorer (3A-3E), sammanfoga bilder Than de mottagna bildsekvenserna till en sammanfogad bild innefattande bildinformation registrerad av olika bildupptagande sensorer (3A-3E) och, pa namnda bildskarm (D1-D3) uppvisa den sammanfogade bilden eller en del darav som namnda onskade vy (Vp).

3. System (1) enligt krav 2, varvid namnda sammanfogade bild ar en panoramabild.

4. System (1) enligt nagot av foregaende krav, varvid atminstone en av klientenheterna (C1-C3) ar konfigurerad att mottaga en indikation fran en 27 538 494 anvandare av klientenheten (C1-C3) pa namnda Onskade vy (Vp) och att, baserat pa namnda indikation, efterfraga och mottaga endast de bildsekvenser som krays for generering av namnda Onskade vy (Vp).

5. System (1) enligt krav 4, varvid namnda atminstone ena klientenhet (C1-C3) är konfigurerad att efterfraga och mottaga som mest tre och foretradesvis endast en eller tva bildsekvenser for generering av namnda onskade vy (Vp).

6. System (1) enligt nagot av foregaende krav, vidare innefattande en natverksomkopplare (5) via vilken de bildupptagande sensorerna (3A-3E) är anslutna till klientenheterna (C1-C3), varvid klientenheterna ar konfigurerade att sanda forfragningar till natverksomkopplaren (5) om tillsandande av utvalda bildsekvenser for generering av namnda onskade vy (Vp), varvid natverksonnkopplaren (5) ar konfigurerad att baserat pa namnda forfragningar selektivt formedla de efterfragade bildsekvenserna tan de olika bildupptagande sensorerna (3A-3E) till de olika klientenheterna (C1-C3).

7. System (1) enligt krav 6, varvid atminstone en av klientenheterna (C1-C3) eller en dartill ansluten komponent innefattar en riktningssensor (S1-S3), varvid klientenheten (C1-C3) är konfigurerad att basera namnda forfragan om tillsandande av utvalda bildsekvenser pa en aktuell riktning hos klientenheten (C1-C3) eller den dartill anslutna komponenten.

8. System (1) enligt nagot av foregaende krav, varvid namnda natverk (4) ar ett Ethernet-nat.

9. System (1) enligt nagot av foregaende krav, varvid de bildupptagande sensorerna (3A-3E) är videokameror.

10. System (1) enligt nagot av foregaende krav, varvid namnda system (1) inte innefattar nagra bildbehandlande hardvarukomponenter som modifierar 28 538 494 bildsekvenserna fran det att de sands av de bildupptagande sensorerna (3A-3E) till dess att de tas emot av klientenheterna (C1-C3).

11. System (1) enligt nagot av foregaende krav, varvid namnda klientenheter (C1- C3) utgOrs av standarddatorer utan sarskilda videobehandlingskort, sarskilda instickskort eller andra speciella hardvarukomponenter med sarskilt syfte att bearbeta bildsekvenser och som vanligen inte aterfinns i standarddatorer.

12. Stridsfordon (2) kannetecknat av att det innefattar ett system (1) enligt nagot av foregaende krav for tillhandahallande av omvarldsuppfattning for fordonsoperatorer inuti stridsfordonet.

13. Forfarande for omvarldsuppfattning i stridsfordon, innefattande stegen att: 1. registrera (S21) ett flertal bildsekvenser uppvisandes delvyer (VA-VE) av stridsfordonets omgivningar medelst ett flertal bildupptagande sensorer (3A-3E), och 2. pa var och en av ett flertal bildskarmar (D1-D3) associerade med en respektive klientenhet (C1-C3) av ett flertal klientenheter (C1-C3), uppvisa en av en anvandare av klientenheten (C1-C3) onskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av stegen att: 3. sanda (S22) bildsekvenserna Than de bildupptagande sensorerna Over ett i stridsfordonet ingaende natverk medelst en teknik dar varje bildsekvens kan tas emot av ett flertal mottagare, och att i var och en av namnda flertal klientenheter (C1-C3): 4. to emot (S23), over namnda natverk (4), atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E); 5. utifran namnda atminstone en bildsekvens generera (S24) namnda 6nskade vy (Vp) genom bearbetning av bilder i namnda atminstone en bildsekvens, och 6. uppvisa (S25) den onskade vyn (Vp) pa den med klientenheten (C1-C3) associerade bildskarmen (D1-D3). 29 538 494

14. Forfarande enligt krav 13, innefattande stegen att i atminstone en av namnda flertal klientenheter (C1-C3) ta emot ett flertal bildsekvenser registrerade av olika bildupptagande sensorer (3A-3E), att bearbeta bilderna genom sammanfogning av bilder fran de olika bildsekvenserna till en sammanfogad bild innefattande bildinformation registrerad av olika bildupptagande sensorer (3A-3E), och att pa namnda bildskarm (D1-D3) uppvisa den sammanfogade bilden eller en del darav som namnda onskade vy (Vp).

15. Forfarande enligt krav 14, varvid sammanfogning sker sa att den sammanfogade bilden utgor en panoramabild.

16. Forfarande enligt nagot av kraven 13-15, vidare innefattande stegen att i atnninstone en av namnda flertal klientenheter (C1-C3) ta emot en indikation fran en anvandare av klientenheten (C1-C3) pa namnda onskade vy (VP) och att, baserat pa namnda indikation, medelst klientenheten (C1-C3) efterfraga och mottaga endast de bildsekvenser som krays for generering av namnda onskade vy (Vp).

17. Forfarande enligt krav 16, varvid steget att medelst klientenheten (C1-C3) efterfraga och mottaga endast de bildsekvenser som krays for generering av namnda onskade vy (Vp) innebar att som mest tre och fOretradesvis endast en eller tva bildsekvenser efterfragas och mottages for generering av namnda onskade vy (Vp).

18. Forfarande enligt nagot av kraven 13-17, vidare innefattande stegen att: ansluta de bildupptagande sensorerna (3A-3E) och klientenheterna (C1-C3) till varandra via en i natverket ingaende natverksomkopplare (5); Than respektive klientenhet (C1-05) sanda (S11, S12) forfragningar till natverksomkopplaren (5) om tillsandande av utvalda bildsekvenser for generering av namnda onskade vy (Vp); 538 494 1. medelst natverksomkopplaren (5) och baserat pa namnda fOrfragningar selektivt formedla (S13-S15) de efterfragade bildsekvenserna fran de bildupptagande sensorerna (3A-3E) till klientenheterna (C1-C3).

19. FOrfarande enligt krav 18, vidare innefattande stegen att: 1. registrera en riktning hos respektive klientenhet (C1-C3) eller en till respektive klientenhet ansluten komponent, och Than respektive klientenhet (C1-C3) sanda (S11, S12) namnda forfragan om tillsandande av utvalda bildsekvenser for generering av namnda onskade vy (Vp) baserat pa namnda riktning.

20. Datorprogram for tillhandahallande av omvarldsuppfattning i ett stridsfordon (2) innefattande ett flertal bildupptagande sensorer (3A-3E) konfigurerade att registrera bildsekvenser uppvisande respektive delvyer (VA-VE) av stridsfordonets omgivningar, varvid datorprogrammet innefattar programkod som da den exekveras av en processor (P1-P3) i en klientenhet (C1-C3) fOrmar klientenheten att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten onskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av att datorprogrammet vidare innefattar programkod som clá den exekveras av namnda processor (P1-P3) fOrmar klientenheten att, via ett i stridsfordonet (2) ingaende natverk (4) over vilket de bildupptagande sensorerna (3A-3E) sander namnda bildsekvenser medelst en teknik dar varje bildsekvens kan tas emot av ett flertal mottagare: 1. to emot (S23) atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E); 2. utifran namnda atminstone en bildsekvens generera (S24) namnda onskade vy (Vp) genom bearbetning av bilder Than namnda atminstone en bildsekvens, och 3. uppvisa (S25) den onskade vyn (Vp) pa namnda bildskarm (D1-D3).

21. Datorprogramprodukt innefattande ett lagringsmedium, sasom ett icke-flyktigt minne (M1-M3), kannetecknad av att namnda lagringsmedium lagrar datorprogrammet enligt krav 20. 31 VP2