NO334183B1 - Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy - Google Patents

Description

Oppfinnelsens område

Den foreliggende oppfinnelse vedrører styring og overvåkning av omgivelsene til en «Unmanned Aerial Vehicle» (UAV).

Bakgrunn

Moderne krigføring og rettshåndhevelse er preget av et økende behov for oppdatert situasjonsforståelse. For å spore opp, eller beskytte seg mot, kriminelle, paramilitære styrker eller terrorister, har politi og soldater ofte et umiddelbart behov for informasjon om hva som er rundt neste hjørne eller bak neste høydedrag.

Fiendtlige styrker vil gjerne gjemme seg eller utnytte det lokale terrenget for å oppnå taktiske fordeler eller flykte fra forfølgerne. I nærvær av fiendtlige styrker, kan en enkel murvegg, et piggtrådgjerde, et vann, bygninger eller til og med et stort åpent område, være uforserbare hindringer når tiden er knapp og taktiske ressurser er utilgjengelig. En aktiv eller uoppdaget trussel kan gjøre situasjonen farlig.

Synlige indikasjoner, støy eller forutsigbare handlinger kan avsløre vennlige styrker, og sette dem i fare. Lav signatur og overraskelsesmoment er imidlertid viktige elementer som kan gi en taktisk fordel. En UAV er et fjernstyrt fly som kan styres via en bakkestasjon eller autonomt ved hjelp av en forhåndsprogrammert rute. UAVer utstyrt med videokameraer kan sende levende bilder som gir UAV-operatøren mulighet til å utføre rekognoserings- og overvåkingsoppgaver og å samle informasjon fra en sikker lokasjon uten å avsløre seg selv.

Vanligvis styres en UAV med en styrespak. De fleste styrespaker er todimensjonale med to bevegelsesakser (tilsvarende en datamus), men én og tre-dimensjonale styrespaker eksisterer også. En styrespak er vanligvis konfigurert slik at å bevege spaken til venstre eller høyre signaliserer bevegelse langs X-aksen, og å bevege den frem (opp) eller tilbake (nedover) signaliserer bevegelse langs Y-aksen. Styrespaker som er konfigurert for tredimensjonal bevegelse, vil med rotering av spaken til venstre (mot urviseren) eller høyre (med klokken) signalisere bevegelser langs Z-aksen. Disse tre akser - X,Y og Z - er, relatert til et luftfartøy - roll, pitch og yaw.

I tillegg til en styrespak er fjernkontrollen som er konfigurert til å operere og kontrollere UAVen vanligvis også supplert med et grafisk brukergrensesnitt («Graphical User Interface» - GUI). Et GUI kan være en flykontrollskjerm som f.eks angir forskjellig dynamisk navigasjonsinformas jon som hastighet, retning, kartreferansepunkter osv. Hvis UAVen er utstyrt med et kamera som sender video eller stillbilder til UAV-basen, bør disse videoene eller stillbildene også vises i GUI'et. Tradisjonelt vises video og stillbilder på en skjerm som er atskilt fra navigasjonsskjermen, eller i en egen del av GUI-skjermen. UAV-systemer som er tilpasset operasjoner i felt har begrenset plass, siden de inneholder både styrespak, GUI og strømforsyning samt UAVene selv, fortrinnsvis kompakt stablet slik at personellet lett kan bære den i felt under operasjoner. Det er derfor behov for en plassbesparende måte å vise både navigasjonsinformasjon og bilder tatt av UAVen uten at det går utover brukervennlighet eller persepsjon.

Publikasjonen US 2010084513 Al viser en metode for å fjernstyre ubemannede luftfartøy hvor en operatør innehar en fjernkontroll med en skjermenhet.

Publikasjonen US 2010286859 Al viser et system for å generere en flyplan for et ubemannet luftfartøy, med en visning av grafiske bilder som vises liggende transparent over kartet.

Ingen av publikasjonene tilveiebringer imidlertid en plasseffektiv måte å fremvise både navigasjonsinformasjon og bilder tatt av UAVen uten at det går utover brukervennlighet eller persepsjon.

Kort beskrivelse

Utførelsene som er beskrevet heri viser en fjernkontroll som inkluderer en flykontrollskjerm og en fremgangsmåte for å styre og overvåke en UAVs omkringliggende områder med fjernkontrollen.

I ett aspekt ved de foreliggende utførelser, er det angitt en fremgangsmåte for å styre, og å overvåke områdene rundt, en «Unmanned Aerial Vehicle» (UAV) av en operatør med en fjernkontroll som inkluderer en flykontrollskjerm, hvor UAVen er utstyrt med et kamera og en posisjoneringsenhet som gir et bilde (levende bilde, et stillbilde eller som en serie av stillbilder) av UAVens omkringliggende områder og posisjoneringsdata i operasjonsområdet, trådløst overført til fjernkontrollen, som inkluderer trinnene med å vise bildet tatt av kameraet på flykontrollskjermen, å tilveiebringe et transparent lag over bildet som innbefatter et kardinalorientert kart av et område over operasjonsområdet inkludert minst et kardinalpunkt, fortrinnsvis et nordpunktsymbol (nord som benyttet i denne beskrivelsen kan erstattes med en hvilken som helst kardinal- eller interkardinal referanse), et UAV-symbol orientert på flykontrollskjermen i forhold til kardinalpunktet som er tilpasset UAVens virkelige kompassretning tilveiebrakt av posisjoneringsenheten, samt et kartreferansepunktsymbol plassert i forhold til UAV-symbolet i tilsvarende avstand og retning som i det virkelige geografiske forhold mellom UAV og kartreferansepunktet.

I et annet aspekt ved de foreliggende utførelser er det angitt en fjernkontroll tilpasset til å styre, og å overvåke områdene rundt, en «Unmanned Aerial Vehicle» (UAV) av en operatør med en fjernkontroll som inkluderer en flykontrollskjerm, hvor UAVen er utstyrt med et kamera og en posisjoneringsenhet som gir et bilde av UAVens omkringliggende områder og posisjoneringsdata i operasjonsområdet, trådløst overført til fjernkontrollen,karakterisert vedat flykontrollskjermen er tilpasset til å vise bildet tatt av kameraet på flykontrollskjermen, og å tilveiebringe et transparent lag over bildet som innbefatter et kardinalorientert kart av et område over operasjonsområdet inkludert minst et kardinalpunkt, et UAV-symbol orientert på flykontrollskjermen i forhold til kardinalpunktet som er tilpasset UAVens virkelige kompassretningen tilveiebrakt av posisjoneringsenhet, samt et kartreferansepunktsymbol plassert i forhold til UAV-symbolet i tilsvarende avstand og retning som i det virkelige geografiske forhold mellom UAV og

kartreferansepunktet.

De herværende utførelser oppnår mange fordeler, av hvilke en ikke-uttømmende liste med eksempler er som følger: En fordel av de foreliggende utførelsesformer er at de tilveiebringer en plassbesparende fjernkontroll for styring og overvåking av omgivelsene til en UAV.

En annen fordel med foreliggende utførelser er at de ikke går utover fjernkontrollens brukervennlighet og persepsjonen av informasjon fra fjernkontrollen.

Videre tilveiebringer de en fullstendig oversikt over situasjonen, ved å benytte en felles skjermdel av en flykontrollskjerm slik at det dermed ikke er nødvendig å skifte øyefokus. Det å vise bilder og posisjons- og navigasjonsinformasjon forstyrrer ikke hverandre, snarere tvert imot.

De foreliggende utførelser er ikke begrenset til de ovenfor nevnte funksjoner. En fagperson på området vil kunne finne ytterligere funksjoner og fordeler ved å lese den påfølgende detaljerte beskrivelse.

Kort beskrivelse av tegningene

Følgende detaljerte beskrivelse av den foretrukne utførelsen er ledsaget av tegninger for å gjøre det lettere forståelig. I

tegningene:

Figur 1 viser et eksempel på en flykontrollskjerm i en UAV-fjernkontroll med navigasjons- og posisjonsinformasjon som er transparent plassert over et bilde tatt av et UAV-kamera (såkalt "overlay" modus), Figur 2 viser et eksempel på et utdrag av elementene i navigasjons- og posisjonsinformasjonen i "overlay" modus, Figur 3 og 4 viser eksempler på forskjellige avstandsringer for navigasjons- og posisjonsinformasjonen, Figur 5 viser et eksempel på et utdrag av elementene i navigasjons- og posisjonsinformasjonen i "Expand" modus, Figur 6 viser et eksempel på et utdrag av elementene i navigasjons- og posisjonsinformasjonen grunnmodus, Figur 7 er et flytskjema som illustrerer et eksempel på en fremgangsmøte i henhold til den foreliggende oppfinnelse.

Tegningene er ikke nødvendigvis i riktig målestokk og dimensjonene av bestemte funksjoner kan ha blitt overdimensjonert for tydelighetens skyld. Det er isteden vektlagt å illustrere prinsippet av de fremlagte utførelsesformer.

Detaljert beskrivelse

I det følgende vil foreliggende oppfinnelse bli diskutert og eksempler på utførelser beskrevet ved henvisning til de vedlagte figurer.

De herværende utførelsesformer gir et overraskende fordelaktig aspekt gjennom en Gestalt-effekt ved kontroll og overvåkning av omgivelsene rundt en UAV ved å kombinere bildet som tas av et UAV-kamera med en transparent overlappende posisjons- og navigasjonskart som gir en persepsjon som gjør operatøren i stand til å ha en fullstendig oversikt over situasjonen, ved å benytte en felles del av en kontrollskjerm slik at det dermed ikke er nødvendig å endre synsvinkel. Det å fremvise bilder samt posisjons- og navigasjonsinformasjon på den måten som er beskrevet i det følgende har vist seg ikke å forstyrre hverandre, snarere tvert imot. Gestalt-effekten er en utformingsgenererende evne knyttet til våre sanser, spesielt med hensyn til visuell gjenkjennelse av tall og hele former i stedet for bare en samling av enkle linjer og kurver.

UAV opereres og styres ved hjelp av en fjernkontroll. UAVen og fjernkontrollen sender og mottar signaler til/fra hverandre, ved hjelp av en passende trådløs kommunikasjonsteknologi. Fjernkontrollens bevegelser som genereres av f.eks. en operatør eller gjennom aktivering av knappene på fjernkontrollen tilsvarer UAVns bevegelser. UAV inneholder et kamera for å tilveiebringe bilder av de omkringliggende områdene der UAV befinner seg. Bildene som tas av kameraet blir overført til, og vises på en flykontrollskjerm. I noen utførelsesformer blir flykontrollskjermen en del av fjernkontrollen, f.eks på fjernkontrollens front, eller den kan være en separat enhet koblet til fjernkontrollen. UAVen innbefatter videre posisjoneringsenheter konfigurert til å hente inn informasjon relatert til plasseringen av UAV i operativ drift, og for å tilveiebringe posisjons- og navigasjonsinformasjon til fjernkontrollen.

Figur 1 viser et eksempel på en flykontrollskjerm. Den illustrerte flykontrollskjermen gir en operatør sensor informasjon (dvs. levende bilder og øyeblikksbilder), systeminformasjon, og grafiske signaler som er formet for å øke operatørens situasjons- og posisjonforståelse. Som vist, er det tre distinkte områder av flykontrollskjermen som brukes til å vise relevant informasjon under flyging: • Senterskjermområde (Center screen) - bilder (levende

bilder og stillbilder), og posisjonsindikatorer

• Høyre rekke - UAV status og informasjon.

• Venstre rekke - Basestasjon- og operatørstatus og NUAV/nyttelast-kommandoer.

Senterskjermsymboler og visningsmoduser er i følgende nærmere beskrevet.

Senterskjermområdet kombinerer bilder og ulike nivåer av posisjons- og navigasjonsinformasjon, transparent lagt over bildet.

Senterskjermområdet kan veksles enten manuelt ved aktivering av for eksempel en knapp på fjernkontrollen, eller automatisk mellom de følgende modi:

• "Overlay" (Overlapp-) modus

• "Expand" (Utvidet) modus

• "Basic" (Grunn-) modus

Bildet kan være enten sanntids video eller et stillbilde, avhengig av valgte visningsmodus. Bildet tas av kameraet som er montert på UAVen, og sendes trådløst til fjernkontrollutstyret på en Digital Data Link (DDL).

Presentasjonen av posisjons- og navigasjonsinformasjon er tilpasset et typisk scenario der UAVen starter fra operatørens posisjon, og beveger seg mot et mål eller et kartreferansepunkt (WayPoint - WP). Informasjonen omfatter et forenklet nord-orientert kart med et minimum av informasjon for å gjøre operatøren i stand til å opprettholde relativ posisjonsoversikt over sin egen posisjon, UAVens posisjon og posisjonene til utvalgte objekter. I en eksempelutførelse, er det tre modi tilgjengelige for operatøren gjennom systemmenyen som beskrevet nedenfor. Symbolbildeinformasjonen i figurene er fjernet av hensyn til klarhet i alle eksempler.

"Overlay" modus er standardmodus, og gir operatøren det høyeste informasjonnivået. Figur 2 viser elementene i "overlay" modus, og tabell 1 beskriver hver av dem.

Kartet vil automatisk skaleres for å holde alle geografiske referanseobjekter (dvs. Operatør, UAV og valgte WP/RP) innenfor visningsområdet. Kartskaleringen er markert med avstandsringer med en ytre radius på henholdsvis lOOm, 200m, 300m, 400m, 600m, 800m eller lOOOm. Ytterligere avstandsringer kan benyttes ved avstander utover lOOOm. Radien for den ytre ringen er merket på ringen.

Hvis den valgte WP eller RP er det ytterste objekt på kartet, vil skaleringen være konstant for å holde disse innenfor visningsområdet. Operatøren kan ha mulighet til å velge bort objekter, og ved bortvalg av det ytterste objektet vil kartet re-skalere slik at det inkluderer det objektet som ligger nest ytterst.

Hvis UAVen er det ytterste objekt, vil kartet skalere til den minste radien som kreves for å holde UAVen innenfor visningsområdet. Etter hvert som avstanden fra operatøren til UAVen økes, zoomes kartet ut trinnvis, og den tilsvarende avstandsring vises. Det motsatte vil skje hvis UAVen flys mot operatøren og slik at avstanden reduseres.

Figur 3 og 4 viser eksempler på forskjellige avstandsringer. 300 og 600 meters avstandsringene, og 400 og 800 meters avstandsringene er nesten identiske med unntak av radius markøren. For å skille mellom dem, kan et mindre UAV-symbol benyttes når radien er mer enn 400 m (dvs. 600m og over) som illustrert i figur 4.

1000 meters avstandsringen i dette eksempelet er mindre og har en tykkere linje enn de andre avstandsringene. Dette er for å markere overfor operatøren at den ytterste gjenstanden er nær den maksimale rekkevidden til DDL. Det indikerer også at kartet er på den minste skalaen, og at objekter utenfor ca 1200m ikke vil bli vist.

Figur 5 viser et eksempel på "expand" modus. I denne modusen er skjermen sentrert rundt den valgte WP og utvidet til å dekke en radius på 20 meter fra WP. Dette gjør det mulig for operatøren å manøvrere UAVen nøyaktig i forhold til WP på lengre avstander kun ved hjelp av skjermen.

UAVen må ligge innenfor en forhåndsdefinert avstand (i dette eksempelet, ca. 20 meter) fra den valgte WP for å skifte til "expand" modus. Hvis modusen velges når UAVen er utenfor den forhåndsdefinerte avstand, vil valgte modus stå på vent, dvs. den vil automatisk gå inn i "expand" modus når UAVen manøvreres innenfor den forhåndsdefinerte avstand til WP. Systemet vil automatisk gå tilbake til "overlay" modus hvis UAVen manøvreres utenfor "expand" modus' dekningsområde.

Informasjonen i "expand" modus er de samme som i "overlay" modus, med unntak av de elementene som er beskrevet i tabell 2.

Figur 6 viser et eksempel på "basic" modus der kartlaget er fjernet fra senterskjermbildet og erstattes med symboler for å indikere UAV-retningen. Figur 7 er et flytskjema som illustrerer en utførelsesform av de grunnleggende trinnene av fremgangsmåten i henhold til oppfinnelsen. Utførelsesformen omfatter henholdsvis å motta bilde og posis joneringsdata fra UAVen, å vise bilde på flykontrollskjermen, og å plassere et transparent kartlag basert på posisjonsdata over bildet.

Beskrivelsen over angir forskjellige eksempler på den foreliggende oppfinnelse av illustrative hensyn. En fagperson på området vil kunne innse en variasjon av forskjellige symbolkombinasjoner, symboldesign med tilhørende knappeserier, alt innen den foreliggende oppfinnelses område.

Det må understrekes at terminologien «utgjøre/utgjør» benyttet i denne spesifikasjonen er valgt for å spesifisere tilstedeværelsen av angitte funksjoner, tall, trinn eller komponenter, men utelukker ikke tilstedeværelse eller tillegg av én eller flere andre, funksjoner, tall, trinn, komponenter eller grupper av disse. Det bør også bemerkes at ordet «en» eller «et» foran et element ikke ekskluderer tilstedeværelsen av en flerhet av dette.

Det bør også understrekes at trinnene i fremgangsmåten definert i de vedlagte krav kan, uten å gå utover utførelsene heri, kan gjennomføres i en annen rekkefølge enn i den rekkefølge de opptrer i kravene.

Claims (9)

1. En fremgangsmåte for å styre, og å overvåke områdene rundt, en «Unmanned Aerial Vehicle» (UAV) av en operatør med en fjernkontroll som inkluderer en flykontrollskjerm, hvor UAVen er utstyrt med et kamera og en posisjoneringsenhet som gir et bilde av UAVens omkringliggende områder og posisjoneringsdata i operasjonsområdet, trådløst overført til fjernkontrollen,karakterisert ved å vise bildet tatt av kameraet på flykontrollskjermen, å tilveiebringe et transparent lag over bildet som innbefatter et kardinalorientert kart av et område over operasjonsområdet inkludert minst ett kardinalpunkt, et UAV-symbol orientert på flykontrollskjermen i forhold til kardinalpunktet som er tilpasset UAVens virkelige kompassretningen tilveiebrakt av posisjoneringsenheten, samt et kartreferansepunktsymbol plassert i forhold til UAV-symbolet i tilsvarende avstand og retning som i det virkelige geografiske forhold mellom UAV og kartreferansepunktet.

2. Fremgangsmåte i henhold til krav 1,karakterisert vedat det kardinalorienterte kartet videre inkluderer et operatørposisjonssymbol plassert i forhold til UAV-symbol og kartreferansesymbolet som i avstand og retning tilsvarer det virkelige geografiske forhold mellom henholdsvis operatør, UAV og kartreferansesymbol.

3. Fremgangsmåte i henhold til krav 1 eller 2,karakterisertved én eller flere ringer som anviser skaleringen av det kardinalorienterte kartet.

4. Fremgangsmåte i henhold til krav 3,karakterisert vedat en eller flere ringer er sentrert rundt operatørposisjonssymbolet som sammenfaller med flykontrollskjermens midtpunkt.

5. Fremgangsmåte i henhold til krav 3,karakterisert vedat en eller flere ringer er merket med en numerisk radiusindikator som angir det kardinalorienterte kartets skalering.

6. Fremgangsmåte i henhold til krav 4,karakterisert ved når UAVen passerer en forhåndsdefinert avstand fra operatørposisjonen, å endre skaleringen av det kardinalorienterte kart, og å endre de en eller flere ringers størrelse og radiusindikasjon.

7. Fremgangsmåte i henhold til krav 3,karakterisert ved når UAVen passerer en forhåndsdefinert avstand fra kartreferanseposisjonen, å endre skaleringen av det kardinalorienterte kartet og å sammenfalle sentrum av en eller flere avstandsringer med kartreferanseposisjonssymbolet.

8. Fremgangsmåte i henhold til krav 1,karakterisert vedat bildet er et videobilde eller ett eller flere stillbilder.

9. En fjernkontroll tilpasset til å styre, og å overvåke områdene rundt, en «Unmanned Aerial Vehicle» (UAV) av en operatør med en fjernkontroll som inkluderer en flykontrollskjerm, hvor UAVen er utstyrt med et kamera og en posisjoneringsenhet som gir et bilde av UAVens omkringliggende områder og posisjoneringsdata i operasjonsområdet, trådløst overført til fjernkontrollen,karakterisert vedat flykontrollskjermen er tilpasset til å vise bildet tatt av kameraet på flykontrollskjermen, å tilveiebringe et transparent lag over bildet som innbefatter et kardinalorientert kart av et område over operasjonsområdet inkludert minst et kardinalpunkt, et UAV-symbol orientert på flykontrollskjermen i forhold til kardinalpunktet som er tilpasset UAVens virkelige kompassretningen tilveiebrakt av posisjoneringsenheten, samt et kartreferansepunktsymbol plassert i forhold til UAV-symbolet i tilsvarende avstand og retning som i det virkelige geografiske forhold mellom UAV og kartreferansepunktet.