SE528330C2 - Metod för övervakning av ett geografiskt område - Google Patents

Description

20 25 30 35 (51 l\ 'I C_ x (N CN CD fig. 1 visar känd teknik för projektion av kameravyer på en 3D-modell, fig. 2 visar kombination ett akustiskt sensomät med kameravyema och 3D-modellen i fig.1, fig. 3 visar en skytts skottfält visualiserat i 3D-modellen och fig. 4 visar kombination av tre passagedetektorer med kameravyema och âD-modellen i fig. 1.

Den grundläggande idén vid uppfinningen år att man använder en tredimensionell virtuell datorrnodell, 3D-modell, av området som ska övervakas, se fig. 1. l området som skall övervakas använder man olika typer av fasta ochleller rörliga sensorer, såsom akustiska sensomät 4 och passagedetektorer 9, 10, 11 samt kameror 1, 2, 3.

Dessa visualiseras med olika typer av virtuella symboler 5, 6, 7 i 3D-modellen till- sammans med sensordata, dvs. olika typer av detektioner. Det de virtuella kameroma 1, 2, 3 ser projiceras 1', 2', 3' på 3D-modellen, dvs. kameroma fungerar som videoprojektoreri (eller stillbildsprojektorer om kameroma är stillbildskameror).

Sammantaget innebär användandet av en virtuell 3D-modell med inlagda kameravyer och sensordata från sensorer såväl innanför som utanför kameravyema att man får en oerhört ökad förmåga till sammanhang och överblick över ett geografiskt omrâde.

Metoden ger också möjlighet att följa ett rörligt objekt inom området. Objektet kan vara en person eller ett fordon som man följer framåt eller bakåt itiden, såväl när det är i bild som när det gàr ur bild för att eventuellt återigen komma i bild. Studiet av förfluten tid kan naturligtvis inte ske i realtid, vilket emellertid är möjligt för ett följande framåt i tiden. Genom att följa en intressant person bakåt i tiden kan man t.ex. i polisiära sammanhang knyta honom till andra personer som vid ett tidigare tillfäile vari bild och som man då i realtid inte noterade särskilt.

Kombinationen av en 3D-modell med inlagda kameravyer 1', 2', 3' medför att man direkt ser hur en kameras bilder hänger ihop med den omgivande miljön. Man kan även se bilder fràn flera kameror samtidigt så att man direkt ser hur bildema är relaterade till varandra. Denna teknik är känd genom Video Flashlight från Samoff Corporation. 10 15 20 25 30 35 528 330 3 När det gäller de olika sensorema kan akustiska sensomät 4 lokalisera, följa och klassificera olika ljud, som sedan visualiseras 5, 6, 7 i 3D-modellen. Till exempel kan fordon och/eller människor följas mellan och utanför kameromas bilder och visualiseras i 3D-modellen. Kombinationen av 3D-modell, kameraövervakning och akustiskt sensomät illustreras i figur 2.

Vid skottlossning kan sensomätet 4 lokalisera skottet, och skyttens position kan markeras i 3D-modellen, vilket i sin tur medför en rad nya förmågor. (1) Om skytten 5 befinner sig i en kameras synfält kan han pekas ut. Därefter kan han följas framåt och bakåt i bildmaterialet (eller med hjälp av andra sensor- data) för att välja ut bilder lämpliga för identifiering, för att varna omgivningen, att analysera beteende, att identiflera medbrottslingar, m.m. (2) Om skytten 5 befinner sig utanför de tillgängliga kameromas synfält kan han följas med andra sensorer (framåt och bakåt i tiden) till dess att han syns i en kamera. (3) Skyttens 5 synfält 5' (skottfält), liksom varje annat objekts synfält, kan beräknas i 3D-modellen och direkt visualiseras i densamma. Därmed kan man vama personer i riskomràdet, och undvika att någon går in i det. Visuali- seríngen går till så att man placerar en (virtuell) ljuskälla i 3D-modellen i skyttens position. Det område som lampan belyser är skyttens skottfält.

Visualisering av skottfält illustreras i figur 3.

Ett akustiskt sensomät 4 fungerar på följande vis. Varje nod i nätet består av (minst) två mikrofoner 8. När en ljuclvàg, t.ex. från ett avfyrat skott, når noden kan man mäta skillnaden i ljudvàgens ankomsttid för de två mikrofonema och därmed beräkna från vilken riktning ljudvågen kom. Om ljudvågen registrerats av flera noder kan man med klassisk krysspejling lokalisera ljudkällan.

Det registrerade ljudet kan även klassificeras, dvs. man kan avgöra om ljudet är t.ex. motorljud, röster eller avlossade skott. Det finns flera kända metoder tillgängliga för sådan klassificering, exempelvis sådan som används i röststyming av datorer och mobiltelefoner. 10 15 20 25 30 35 528 335) 4 En annan typ av detektor är en passagedetektor 9, 10, 11 som vamar för när någon eller något passerar detektom (sensom), vilket kan visualiseras i 3D-modellen och direkt sättas i relation till övervakningsbilderna. Detta visas i figur 4. Exempel pà passagedetektorer är. (1) Sà kallade marklarm 9, dvs. anordningar nergrävda i marken som känner av när marken utsätts för tryck. Marklannen reagerar på såväl människor som fordon. Flera olika typer finns tillgängliga på marknaden; hydrauliska, elektro- magnetiska och fiberoptiska system. (2) Laserdetektorer eller IR-barriärer 10 reagerar när en (vanligen infraröd) laser- stråle bryts av, till exempel, en passerande person eller ett fordon. (3) Geofoner 11 är seismiska sensorer som registrerar vibrationer i marken och reagerar när människor eller fordon passerar.

Andra viktiga sensorer vars data kan kombineras med övrig information är sådana som ger den egna positionen. t.ex. GPS-mottagare och mobiltelefoner. Genom att lägga in symboliska markörer för sådana sensorer kan människor och/eller fordon följas i 3D-modellen.

Uppfinningen ger också en förbättrad förmåga att planera framtida övervaknings- verksamhet. När man ska planera utplacering av belysning, vakter, skyttar eller kameror är det viktigt att veta vilka synfält de får i sina respektive positioner. Genom att visualisera synfälten på det sätt som beskrivits ovan, kan man pröva sig fram, vilket underlättar planeringen.

En viktig ytterligare funktion vid uppfinningen är som nämnts att den ger möjlighet att följa ett objekt, exempelvis en person, ett fordon eller en sensor, i bilder frán en övervakningskamera. Det är då viktigt att fortlöpande kunna markera objektets position i SD-modellen. Detta kan ske på följande sätt: (1) Antag att ett objekts position p i en bild är känd iform av 2D-koordinater. (2) Antag att kameran fràn vilken bilden kommer har en känd fokallängd. Då kan bildpositionen p räknas om till vinklar vi horisontal- och vertikalled relativt kamerans orientering. (3) Antag att kamerans orientering är känd. Dä kan vinklama v räknas om till en (tredimensionell) riktning w, dvs. riktningen frän kameran till objektet. 10 15 20 25 30 528 330 5 (4) Antag att kamerans .position k är känd i tre dimensioner. För att fä fram objektets position i 3D-modellen vill man veta SD-positionen x på modellen som motsvarar p. Det görs genom en att utnyttja en så kallad intersect-j operation som finns inbyggd i de flesta datorers grafikkort som ett hjälpmedel för att beräkna belysning. Intersect-operationen tar en punkt och en riktning, och ger tillbaka koordinatema för det första objektet som skär vektom i den givna riktningen utgående fràn den givna punkten. l vårt fall ger vi intersect- operationen kamerans position k och riktningen frân kameran till objektet w och får tillbaka den sökta positionen x. (5) Positionen x markeras i 3D-modellen, exempelvis genom att placera en symbol iden givna positionen.

Såväl för att utföra projektionen av kamerabilder på 3D-modellen som för att följa objekt enligt ovan krävs att kamerans parametrar är kända. Parametrama ifråga är position, orientering samt synfält och/eller fokallängd. Parametrarna kan tas fram manuellt, exempelvis genom att använda GPS och mäta in kamerans position samt en punkt mitt i kamerans synfält, men eftersom detta i praktiken är svårt kan man i stället använda ett automatiskt iterativt förfarande som utgår fràn en grov upp- skattning av parametrama: (1) En virtuell kamera placeras i 3D-modellen enligt den grova uppskattningen. (2) Bilden från den virtuella kameran jämförs med bilden från den verkliga kameran. Jämförelsen går till så att ett antal viktiga punkter, t.ex. höm på byggnader, identifieras i båda bildema. Punktema skall ha samma position i båda bildema för bildema skall antas överensstämma. (3) Om bildema överensstämmer, är de uppskattade parametrama korrekta. (4) Om bilderna inte överensstämmer ändras parametrama och en ny bild genereras från den virtuella kameran. Gå tillbaka till steg 2.

Det finns flera metoder för hur man kan ändra parametrama i steg 4, exempelvis slumpmässigt, med gradientsökning eller med algebraiska metoder.

Claims (17)

10 15 20 25 30 35 ut ND oc: oi u: CD Patentkrav:

1. Metod för övervakning av ett geografiskt område, varvid man använder över- vakningskameror (1 ,2,3), som avbildar åtminstone delar av området, och en virtuell SD-modell av området, pà vilken bilder fràn övervakningskameroma visualiseras (t',2',3') genom projektion, k ä n n e t e c k n a d a v att man använder andra typer av fasta och/eller rörliga sensorer (8,9,10,11) och visualiserar data (5,6,7) från dem i modellen, att rörliga objekt eller personer i omrâdet, detekterade av nämnda sensorer, spåras framåt och/eller bakåt i tiden och visualiseras i 3D-modellen och att man knyter bildlnformation från tillfällen när objektet eller personen är detekterad av övervakningskameroma till tidigare och/eller senare händelser.

2. Metod enligt patentkravet 1, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera akustiska sensorer (4,8) som används för lokalisering av ljudkällor i området.

3. Metod enligt patentkrav 2, k ä n n e t e c k n a d a v att nämnda ljudkällor klassificeras med hjälp av de akustiska sensorema (4,8) och att olika typer av ljudkällor visualiseras i 3D-modellen med olika symboler (5,6,7).

4. Metod enligt patentkravet 2 eller 3, k ä n n e t e c k n a d a v att nämnda ljudkällor används för att peka ut ljudkällan i kamerabilder visualiserat i 3D~modellen.

5. Metod enligt något av de tidigare patentkraven, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera passagedetektorer (9,10,11).

6. Metod enligt nàgot av de tidigare patentkraven, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera positionsgivande sensorer.

7. Metod enligt nagot av de tidigare patentkraven, k å n n e t e c k n a d a v att ett i området beläget objekts synfâlt, exempelvis en persons eller en sensors, eller ett objekts skottfâlt visualiseras (5') i 3D-modellen. 10 15 20 25 30 35 528 350 7

8. Metod enligt något av de tidigare patentkraven, k ä n n e t e c k n a d a v att man bestämmer åtminstone någon av en kameras (1 ,2,3) parametrar position, orientering och fokallängd genom en automatisk beräkning där först en grov uppskattning av parametrama sker och en virtuell kamera placeras i SD-modellen i det beräknade läget, därpå bilden fràn den virtuella kameran jämförs med en bild från den verkliga kameran och korresponderande punkter identifieras i de båda bildema, varefter kameraparametrama räknas om i ett iterativt förfarande till dess skillnaden mellan koordinatema för de korresponderande punktema i de båda bildema understiger ett förutbestämt värde, varvid det iterativa förfarandet innefattar användning av successiva bilder fràn kameran med de efterhand framräknade kameraparametrama. .

9. Metod enligt något av de tidigare patentkraven, k å n n e t e o k n a d a v att ett objekt pekas ut i en kamerabild, att nämnda objekt också pekas ut i 3D-modellen, att det senare objektets 3D-position beräknas med en intersect-operation utgående från kamerans 3D-position och riktningen från kameran till objektet, att riktningen från kameran till ett objektet beräknas utgående frán kamerans orientering och riktningen till objektet relativt kamerans orientering och att riktningen till objektet relativt kamerans orientering beräknas utgående från objektets position i kamerabilden och kamerans synfält och/eller fokallängd.

10. System för övervakning av ett geografiskt område, innefattande övervaknings- kameror (1,2,3), som avbildar åtminstone delar av området, en beräkningsanordning som har en virtuell 3D-modell av området lagrad och som kombinerar bilder från övervakningskameroma med 3D-modellen så att bildema visualiseras projicerade (1',2',3') på modellen och en presentationsanordning som visar bildema projicerade på modellen, kännetecknat av att det innefattar andra typer av fasta och/eller rörliga sensorer (8,9,10,11), vars data visualiseras (5,6,7) i modellen, att beräkningsanordningen spårar rörliga objekt eller personer i området, detekterade av nämnda sensorer, framåt och/eller bakåt i tiden och visualiserar dem i 3D-modellen och 10 15 20 25 30 35 (Il ß.) CO 8 att beräkningsanordningen knyter bildinfonnation fràn tillfällen när objektet eller personen är detekterad av övervakningskameroma till tidigare och/eller senare händelser.

11. System enligt patentkravet 10, k ä n n e t e c k n a t a v att nämnda sensorer innefattar en eller flera akustiska sensorer (4,8) som används för lokalisering av ljudkällor i området.

12. System enligt patentkrav11, k ä n n e t e c k n at a v att beräkningsanordningen klassificerar nämnda ljudkâllor med hjälp av de akustiska sensorema (4,8) och att beräkningsanordningen visualiserar olika typer av ljudkällor i 3D-modellen med olika symboler (5,6,7).

13. System enligt patentkravet 11 eller 12, k ä n n e t e c k n a t a v att nämnda ljudkällor används för att peka ut ljudkällan i kamerabilder visualiserat i 3D-modellen.

14. System enligt något av patentkraven 10-13, k ä n n e t e c k n a t a v att nämnda sensorer innefttar en eller flera passagedetektorer (9,10,11).

15. System entigtnágot av patentkraven 10-14, k ä n n e t e c k n a t a v att nämnda sensorer innefattar en eller flera positionsgivande sensorer.

16. System enligt något av patentkraven10-15, k ä n n e t e c k n a t a v att beräkningsanordningen visualiserar (5') ett i omrâdet beläget objekts synfält, exempelvis en persons eller en sensors, eller ett objekts skottfält i 3D-modellen.

17. System enligt något av patentkraven 10-16, k ä n n e t e c k n a t a v att beräkningsanordningen bestämmer åtminstone någon av en kameras (1 ,2,3) parametrar position, orientering och fokallängd genom en automatisk beräkning där först en grov uppskattning av parametrama sker och en virtuell kamera placeras i 3D-modellen i det beräknade läget, 9 därpå bilden fràn den virtuella kameran jämförs med en bild från den verkliga kameran och korresponderande punkter identifieras i de båda bilderna, varefter kameraparametrama räknas om i ett iterativt förfarande till dess skillnaden mellan koordinatema för de korresponderande punktema i de båda bildema understiger ett förutbestàmt värde, varvid det iterativa förfarandet innefattar användning av suocessiva bilder från kameran med de efterhand framraknade kameraparametrama.