SE528330C2 - Method for monitoring a geographical area - Google Patents

Method for monitoring a geographical area

Info

Publication number
SE528330C2
SE528330C2 SE0402748A SE0402748A SE528330C2 SE 528330 C2 SE528330 C2 SE 528330C2 SE 0402748 A SE0402748 A SE 0402748A SE 0402748 A SE0402748 A SE 0402748A SE 528330 C2 SE528330 C2 SE 528330C2
Authority
SE
Sweden
Prior art keywords
camera
model
images
sensors
area
Prior art date
Application number
SE0402748A
Other languages
Swedish (sv)
Other versions
SE0402748L (en
SE0402748D0 (en
Inventor
Joergen Ahlberg
Hans Habberstad
Lena Klasen
Fredrik Kullander
Original Assignee
Totalfoersvarets Forskningsins
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Totalfoersvarets Forskningsins filed Critical Totalfoersvarets Forskningsins
Priority to SE0402748A priority Critical patent/SE528330C2/en
Publication of SE0402748D0 publication Critical patent/SE0402748D0/en
Priority to PCT/SE2005/001700 priority patent/WO2006052204A1/en
Priority to EP05800729.5A priority patent/EP1812910A4/en
Publication of SE0402748L publication Critical patent/SE0402748L/en
Publication of SE528330C2 publication Critical patent/SE528330C2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to a method for surveillance of a geographical area, in which a virtual 3D model of the area is used, and a system using the method. Images from surveillance cameras (1 , 2, 3) in the area are visualised (11, 21, 3') by being projected on the 3D model, and data from other types of fixed and/or mobile sensors (8, 9, 10, 11) is also visualised (5, 6, 7) in the 3D model.

Description

20 25 30 35 (51 l\ 'I C_ x (N CN CD fig. 1 visar känd teknik för projektion av kameravyer på en 3D-modell, fig. 2 visar kombination ett akustiskt sensomät med kameravyema och 3D-modellen i fig.1, fig. 3 visar en skytts skottfält visualiserat i 3D-modellen och fig. 4 visar kombination av tre passagedetektorer med kameravyema och âD-modellen i fig. 1. 20 25 30 35 (51 l \ 'I C_ x (N CN CD fi g. 1 shows known technology for projecting camera views on a 3D model, fi g. 2 shows combination an acoustic sensor measurement with the camera views and the 3D model in fi g.1 , fi g. 3 shows a shooter's firing range visualized in the 3D model and fi g. 4 shows a combination of three passage detectors with the camera views and the âD model in fi g. 1.

Den grundläggande idén vid uppfinningen år att man använder en tredimensionell virtuell datorrnodell, 3D-modell, av området som ska övervakas, se fig. 1. l området som skall övervakas använder man olika typer av fasta ochleller rörliga sensorer, såsom akustiska sensomät 4 och passagedetektorer 9, 10, 11 samt kameror 1, 2, 3.The basic idea of the invention is to use a three-dimensional virtual computer model, 3D model, of the area to be monitored, see fi g. In the area to be monitored, different types of fixed and / or moving sensors are used, such as acoustic sensor measurements 4 and passage detectors 9, 10, 11 and cameras 1, 2, 3.

Dessa visualiseras med olika typer av virtuella symboler 5, 6, 7 i 3D-modellen till- sammans med sensordata, dvs. olika typer av detektioner. Det de virtuella kameroma 1, 2, 3 ser projiceras 1', 2', 3' på 3D-modellen, dvs. kameroma fungerar som videoprojektoreri (eller stillbildsprojektorer om kameroma är stillbildskameror).These are visualized with different types of virtual symbols 5, 6, 7 in the 3D model together with sensor data, ie. different types of detections. What the virtual cameras 1, 2, 3 see is projected 1 ', 2', 3 'on the 3D model, ie. the cameras act as video projectors (or still image projectors if the cameras are still cameras).

Sammantaget innebär användandet av en virtuell 3D-modell med inlagda kameravyer och sensordata från sensorer såväl innanför som utanför kameravyema att man får en oerhört ökad förmåga till sammanhang och överblick över ett geografiskt omrâde.All in all, the use of a virtual 3D model with embedded camera views and sensor data from sensors both inside and outside the camera views means that you get an extremely increased ability for context and overview of a geographical area.

Metoden ger också möjlighet att följa ett rörligt objekt inom området. Objektet kan vara en person eller ett fordon som man följer framåt eller bakåt itiden, såväl när det är i bild som när det gàr ur bild för att eventuellt återigen komma i bild. Studiet av förfluten tid kan naturligtvis inte ske i realtid, vilket emellertid är möjligt för ett följande framåt i tiden. Genom att följa en intressant person bakåt i tiden kan man t.ex. i polisiära sammanhang knyta honom till andra personer som vid ett tidigare tillfäile vari bild och som man då i realtid inte noterade särskilt.The method also provides the opportunity to follow a moving object within the area. The object can be a person or a vehicle that you follow forwards or backwards in time, both when it is in the picture and when it goes out of the picture to possibly come into the picture again. The study of for fl without time can of course not take place in real time, which is, however, possible for a following forward in time. By following an interesting person back in time, you can e.g. in police contexts link him to other persons who on an earlier occasion were pictured and who were then not noticed in real time.

Kombinationen av en 3D-modell med inlagda kameravyer 1', 2', 3' medför att man direkt ser hur en kameras bilder hänger ihop med den omgivande miljön. Man kan även se bilder fràn flera kameror samtidigt så att man direkt ser hur bildema är relaterade till varandra. Denna teknik är känd genom Video Flashlight från Samoff Corporation. 10 15 20 25 30 35 528 330 3 När det gäller de olika sensorema kan akustiska sensomät 4 lokalisera, följa och klassificera olika ljud, som sedan visualiseras 5, 6, 7 i 3D-modellen. Till exempel kan fordon och/eller människor följas mellan och utanför kameromas bilder och visualiseras i 3D-modellen. Kombinationen av 3D-modell, kameraövervakning och akustiskt sensomät illustreras i figur 2.The combination of a 3D model with built-in camera views 1 ', 2', 3 'means that you can immediately see how a camera's images are connected to the surrounding environment. You can also see images from your cameras at the same time so that you can directly see how the images are related to each other. This technology is known through Video Flashlight from Samoff Corporation. 10 15 20 25 30 35 528 330 3 As for the different sensors, acoustic sensor measurements 4 can locate, follow and classify different sounds, which are then visualized 5, 6, 7 in the 3D model. For example, vehicles and / or people can be followed between and outside the cameras' images and visualized in the 3D model. The combination of 3D model, camera surveillance and acoustic sensor measurement is illustrated in Figure 2.

Vid skottlossning kan sensomätet 4 lokalisera skottet, och skyttens position kan markeras i 3D-modellen, vilket i sin tur medför en rad nya förmågor. (1) Om skytten 5 befinner sig i en kameras synfält kan han pekas ut. Därefter kan han följas framåt och bakåt i bildmaterialet (eller med hjälp av andra sensor- data) för att välja ut bilder lämpliga för identifiering, för att varna omgivningen, att analysera beteende, att identiflera medbrottslingar, m.m. (2) Om skytten 5 befinner sig utanför de tillgängliga kameromas synfält kan han följas med andra sensorer (framåt och bakåt i tiden) till dess att han syns i en kamera. (3) Skyttens 5 synfält 5' (skottfält), liksom varje annat objekts synfält, kan beräknas i 3D-modellen och direkt visualiseras i densamma. Därmed kan man vama personer i riskomràdet, och undvika att någon går in i det. Visuali- seríngen går till så att man placerar en (virtuell) ljuskälla i 3D-modellen i skyttens position. Det område som lampan belyser är skyttens skottfält.When firing, the sensor gauge 4 can locate the shot, and the shooter's position can be marked in the 3D model, which in turn brings a number of new abilities. (1) If the shooter 5 finds himself in a camera's field of view, he can be pointed out. He can then be followed forwards and backwards in the image material (or with the help of other sensor data) to select images suitable for identification, to warn the environment, to analyze behavior, to identify accomplices, etc. (2) If the shooter 5 is outside the field of view of the available cameras, he can be followed with other sensors (forwards and backwards in time) until he is visible in a camera. (3) The shooter's 5 field of view 5 '(firing field), as well as the field of view of any other object, can be calculated in the 3D model and directly visualized in it. This allows you to warn people in the risk area, and avoid anyone entering it. The visualization is done by placing a (virtual) light source in the 3D model in the shooter's position. The area that the lamp illuminates is the shooter's firing range.

Visualisering av skottfält illustreras i figur 3.Visualization of firing ranges is illustrated in Figure 3.

Ett akustiskt sensomät 4 fungerar på följande vis. Varje nod i nätet består av (minst) två mikrofoner 8. När en ljuclvàg, t.ex. från ett avfyrat skott, når noden kan man mäta skillnaden i ljudvàgens ankomsttid för de två mikrofonema och därmed beräkna från vilken riktning ljudvågen kom. Om ljudvågen registrerats av flera noder kan man med klassisk krysspejling lokalisera ljudkällan.An acoustic sensor 4 works in the following way. Each node in the network consists of (at least) two microphones 8. When a light wave, e.g. from a fired shot, reaching the node, one can measure the difference in the arrival time of the sound wave for the two microphones and thus calculate from which direction the sound wave came. If the sound wave is registered by your nodes, you can locate the sound source with classic cross-mirroring.

Det registrerade ljudet kan även klassificeras, dvs. man kan avgöra om ljudet är t.ex. motorljud, röster eller avlossade skott. Det finns flera kända metoder tillgängliga för sådan klassificering, exempelvis sådan som används i röststyming av datorer och mobiltelefoner. 10 15 20 25 30 35 528 335) 4 En annan typ av detektor är en passagedetektor 9, 10, 11 som vamar för när någon eller något passerar detektom (sensom), vilket kan visualiseras i 3D-modellen och direkt sättas i relation till övervakningsbilderna. Detta visas i figur 4. Exempel pà passagedetektorer är. (1) Sà kallade marklarm 9, dvs. anordningar nergrävda i marken som känner av när marken utsätts för tryck. Marklannen reagerar på såväl människor som fordon. Flera olika typer finns tillgängliga på marknaden; hydrauliska, elektro- magnetiska och fiberoptiska system. (2) Laserdetektorer eller IR-barriärer 10 reagerar när en (vanligen infraröd) laser- stråle bryts av, till exempel, en passerande person eller ett fordon. (3) Geofoner 11 är seismiska sensorer som registrerar vibrationer i marken och reagerar när människor eller fordon passerar.The registered sound can also be classified, ie. you can determine if the sound is e.g. engine noises, voices or fired shots. There are known methods available for such classification, for example those used in voice control of computers and mobile phones. 10 15 20 25 30 35 528 335) 4 Another type of detector is a passage detector 9, 10, 11 which warns when someone or something passes the detector (sensor), which can be visualized in the 3D model and directly related to the surveillance images . This is shown in Figure 4. Examples of passage detectors are. (1) So-called ground alarm 9, ie. devices buried in the ground that sense when the ground is exposed to pressure. The land responds to both people and vehicles. Several different types are available on the market; hydraulic, electromagnetic and professional systems. (2) Laser detectors or IR barriers react when a (usually infrared) laser beam is refracted by, for example, a passing person or a vehicle. (3) Geophones 11 are seismic sensors that detect vibrations in the ground and react when people or vehicles pass.

Andra viktiga sensorer vars data kan kombineras med övrig information är sådana som ger den egna positionen. t.ex. GPS-mottagare och mobiltelefoner. Genom att lägga in symboliska markörer för sådana sensorer kan människor och/eller fordon följas i 3D-modellen.Other important sensors whose data can be combined with other information are those that provide their own position. for example GPS receivers and mobile phones. By adding symbolic markers for such sensors, people and / or vehicles can be followed in the 3D model.

Uppfinningen ger också en förbättrad förmåga att planera framtida övervaknings- verksamhet. När man ska planera utplacering av belysning, vakter, skyttar eller kameror är det viktigt att veta vilka synfält de får i sina respektive positioner. Genom att visualisera synfälten på det sätt som beskrivits ovan, kan man pröva sig fram, vilket underlättar planeringen.The invention also provides an improved ability to plan future monitoring activities. When planning the placement of lighting, guards, shooters or cameras, it is important to know which fields of view they get in their respective positions. By visualizing the fields of view in the way described above, you can try your hand at it, which facilitates planning.

En viktig ytterligare funktion vid uppfinningen är som nämnts att den ger möjlighet att följa ett objekt, exempelvis en person, ett fordon eller en sensor, i bilder frán en övervakningskamera. Det är då viktigt att fortlöpande kunna markera objektets position i SD-modellen. Detta kan ske på följande sätt: (1) Antag att ett objekts position p i en bild är känd iform av 2D-koordinater. (2) Antag att kameran fràn vilken bilden kommer har en känd fokallängd. Då kan bildpositionen p räknas om till vinklar vi horisontal- och vertikalled relativt kamerans orientering. (3) Antag att kamerans orientering är känd. Dä kan vinklama v räknas om till en (tredimensionell) riktning w, dvs. riktningen frän kameran till objektet. 10 15 20 25 30 528 330 5 (4) Antag att kamerans .position k är känd i tre dimensioner. För att fä fram objektets position i 3D-modellen vill man veta SD-positionen x på modellen som motsvarar p. Det görs genom en att utnyttja en så kallad intersect-j operation som finns inbyggd i de flesta datorers grafikkort som ett hjälpmedel för att beräkna belysning. Intersect-operationen tar en punkt och en riktning, och ger tillbaka koordinatema för det första objektet som skär vektom i den givna riktningen utgående fràn den givna punkten. l vårt fall ger vi intersect- operationen kamerans position k och riktningen frân kameran till objektet w och får tillbaka den sökta positionen x. (5) Positionen x markeras i 3D-modellen, exempelvis genom att placera en symbol iden givna positionen.An important further function of the invention is, as mentioned, that it provides the possibility to follow an object, for example a person, a vehicle or a sensor, in images from a surveillance camera. It is then important to be able to continuously mark the object's position in the SD model. This can be done as follows: (1) Assume that the position p of an object in an image is known in the form of 2D coordinates. (2) Assume that the camera from which the image comes has a known focal length. Then the image position p can be converted to angles horizontally and vertically relative to the orientation of the camera. (3) Assume that the camera orientation is known. Then the angles v can be converted to a (three-dimensional) direction w, ie. the direction from the camera to the subject. 10 15 20 25 30 528 330 5 (4) Assume that the position k of the camera is known in three dimensions. To obtain the position of the object in the 3D model, you want to know the SD position x on the model that corresponds to p. This is done by using a so-called intersect-j operation that is built into most computers' graphics cards as an aid to calculate lighting. The intersect operation takes a point and a direction, and returns the coordinates of the first object that intersects the vector in the given direction starting from the given point. In our case, we give the intersect operation the position k of the camera and the direction from the camera to the object w and get back the desired position x. (5) The position x is marked in the 3D model, for example by placing a symbol in the given position.

Såväl för att utföra projektionen av kamerabilder på 3D-modellen som för att följa objekt enligt ovan krävs att kamerans parametrar är kända. Parametrama ifråga är position, orientering samt synfält och/eller fokallängd. Parametrarna kan tas fram manuellt, exempelvis genom att använda GPS och mäta in kamerans position samt en punkt mitt i kamerans synfält, men eftersom detta i praktiken är svårt kan man i stället använda ett automatiskt iterativt förfarande som utgår fràn en grov upp- skattning av parametrama: (1) En virtuell kamera placeras i 3D-modellen enligt den grova uppskattningen. (2) Bilden från den virtuella kameran jämförs med bilden från den verkliga kameran. Jämförelsen går till så att ett antal viktiga punkter, t.ex. höm på byggnader, identifieras i båda bildema. Punktema skall ha samma position i båda bildema för bildema skall antas överensstämma. (3) Om bildema överensstämmer, är de uppskattade parametrama korrekta. (4) Om bilderna inte överensstämmer ändras parametrama och en ny bild genereras från den virtuella kameran. Gå tillbaka till steg 2.Both to perform the projection of camera images on the 3D model and to follow objects as above, the camera parameters are known. The parameters in question are position, orientation and field of view and / or focal length. The parameters can be retrieved manually, for example by using GPS and measuring the camera's position and a point in the middle of the camera's field of view, but since this is difficult in practice, you can instead use an automatic iterative procedure based on a rough estimate of the parameters. : (1) A virtual camera is placed in the 3D model according to the rough estimate. (2) The image from the virtual camera is compared with the image from the real camera. The comparison is made so that a number of important points, e.g. höm on buildings, identified in both pictures. The points must have the same position in both images for the images must be assumed to match. (3) If the images match, the estimated parameters are correct. (4) If the images do not match, the parameters change and a new image is generated from the virtual camera. Go back to step 2.

Det finns flera metoder för hur man kan ändra parametrama i steg 4, exempelvis slumpmässigt, med gradientsökning eller med algebraiska metoder.There are methods for how to change the parameters in step 4, for example randomly, with gradient search or with algebraic methods.

Claims (17)

10 15 20 25 30 35 ut ND oc: oi u: CD Patentkrav:10 15 20 25 30 35 ut ND oc: oi u: CD Patent claim: 1. Metod för övervakning av ett geografiskt område, varvid man använder över- vakningskameror (1 ,2,3), som avbildar åtminstone delar av området, och en virtuell SD-modell av området, pà vilken bilder fràn övervakningskameroma visualiseras (t',2',3') genom projektion, k ä n n e t e c k n a d a v att man använder andra typer av fasta och/eller rörliga sensorer (8,9,10,11) och visualiserar data (5,6,7) från dem i modellen, att rörliga objekt eller personer i omrâdet, detekterade av nämnda sensorer, spåras framåt och/eller bakåt i tiden och visualiseras i 3D-modellen och att man knyter bildlnformation från tillfällen när objektet eller personen är detekterad av övervakningskameroma till tidigare och/eller senare händelser.A method for monitoring a geographical area, using surveillance cameras (1, 2,3), which image at least parts of the area, and a virtual SD model of the area, on which images from the surveillance cameras are visualized (t ', 2 ', 3') by projection, characterized by using other types of fixed and / or moving sensors (8,9,10,11) and visualizing data (5,6,7) from those in the model, that moving objects or persons in the area, detected by said sensors, are tracked forwards and / or backwards in time and visualized in the 3D model and that image information is linked from times when the object or person is detected by the surveillance cameras to previous and / or later events. 2. Metod enligt patentkravet 1, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera akustiska sensorer (4,8) som används för lokalisering av ljudkällor i området.Method according to claim 1, characterized in that said sensors comprise one or more acoustic sensors (4,8) which are used for locating sound sources in the area. 3. Metod enligt patentkrav 2, k ä n n e t e c k n a d a v att nämnda ljudkällor klassificeras med hjälp av de akustiska sensorema (4,8) och att olika typer av ljudkällor visualiseras i 3D-modellen med olika symboler (5,6,7).Method according to claim 2, characterized in that said sound sources are classified by means of the acoustic sensors (4,8) and that different types of sound sources are visualized in the 3D model with different symbols (5,6,7). 4. Metod enligt patentkravet 2 eller 3, k ä n n e t e c k n a d a v att nämnda ljudkällor används för att peka ut ljudkällan i kamerabilder visualiserat i 3D~modellen.A method according to claim 2 or 3, characterized in that said sound sources are used to point out the sound source in camera images visualized in the 3D model. 5. Metod enligt något av de tidigare patentkraven, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera passagedetektorer (9,10,11).5. A method according to any one of the preceding claims, characterized in that said sensors comprise one or more passage detectors (9,10,11). 6. Metod enligt nàgot av de tidigare patentkraven, k ä n n e t e c k n a d a v att nämnda sensorer innefattar en eller flera positionsgivande sensorer.Method according to any one of the preceding claims, characterized in that said sensors comprise one or more position-sensing sensors. 7. Metod enligt nagot av de tidigare patentkraven, k å n n e t e c k n a d a v att ett i området beläget objekts synfâlt, exempelvis en persons eller en sensors, eller ett objekts skottfâlt visualiseras (5') i 3D-modellen. 10 15 20 25 30 35 528 350 7Method according to one of the preceding claims, characterized in that the field of view of an object located in the area, for example a person or a sensor, or the firing field of an object is visualized (5 ') in the 3D model. 10 15 20 25 30 35 528 350 7 8. Metod enligt något av de tidigare patentkraven, k ä n n e t e c k n a d a v att man bestämmer åtminstone någon av en kameras (1 ,2,3) parametrar position, orientering och fokallängd genom en automatisk beräkning där först en grov uppskattning av parametrama sker och en virtuell kamera placeras i SD-modellen i det beräknade läget, därpå bilden fràn den virtuella kameran jämförs med en bild från den verkliga kameran och korresponderande punkter identifieras i de båda bildema, varefter kameraparametrama räknas om i ett iterativt förfarande till dess skillnaden mellan koordinatema för de korresponderande punktema i de båda bildema understiger ett förutbestämt värde, varvid det iterativa förfarandet innefattar användning av successiva bilder fràn kameran med de efterhand framräknade kameraparametrama. .Method according to one of the preceding claims, characterized in that the position, orientation and focal length of at least one of the parameters of a camera (1, 2,3) are determined by an automatic calculation where a rough estimate of the parameters takes place first and a virtual camera is placed in the SD model in the calculated position, then the image from the virtual camera is compared with an image from the real camera and corresponding points are identified in the two images, after which the camera parameters are recalculated in an iterative procedure until the difference between the coordinates of the corresponding points in both images is less than a predetermined value, the iterative method involving the use of successive images from the camera with the subsequently calculated camera parameters. . 9. Metod enligt något av de tidigare patentkraven, k å n n e t e o k n a d a v att ett objekt pekas ut i en kamerabild, att nämnda objekt också pekas ut i 3D-modellen, att det senare objektets 3D-position beräknas med en intersect-operation utgående från kamerans 3D-position och riktningen från kameran till objektet, att riktningen från kameran till ett objektet beräknas utgående frán kamerans orientering och riktningen till objektet relativt kamerans orientering och att riktningen till objektet relativt kamerans orientering beräknas utgående från objektets position i kamerabilden och kamerans synfält och/eller fokallängd.Method according to one of the preceding claims, characterized in that an object is pointed out in a camera image, that said object is also pointed out in the 3D model, that the 3D position of the latter object is calculated with an intersect operation based on the camera 3D position and direction from the camera to the object, that the direction from the camera to an object is calculated based on the camera orientation and the direction to the object relative to the camera orientation and that the direction to the object relative to the camera orientation is calculated based on the object position in the camera image and camera field of view and / or focal length . 10. System för övervakning av ett geografiskt område, innefattande övervaknings- kameror (1,2,3), som avbildar åtminstone delar av området, en beräkningsanordning som har en virtuell 3D-modell av området lagrad och som kombinerar bilder från övervakningskameroma med 3D-modellen så att bildema visualiseras projicerade (1',2',3') på modellen och en presentationsanordning som visar bildema projicerade på modellen, kännetecknat av att det innefattar andra typer av fasta och/eller rörliga sensorer (8,9,10,11), vars data visualiseras (5,6,7) i modellen, att beräkningsanordningen spårar rörliga objekt eller personer i området, detekterade av nämnda sensorer, framåt och/eller bakåt i tiden och visualiserar dem i 3D-modellen och 10 15 20 25 30 35 (Il ß.) CO 8 att beräkningsanordningen knyter bildinfonnation fràn tillfällen när objektet eller personen är detekterad av övervakningskameroma till tidigare och/eller senare händelser.A system for monitoring a geographical area, comprising surveillance cameras (1,2,3), which image at least parts of the area, a computing device having a virtual 3D model of the area stored and combining images from the surveillance cameras with 3D the model so that the images are visualized projected (1 ', 2', 3 ') on the model and a presentation device showing the images projected on the model, characterized in that it comprises other types of fixed and / or moving sensors (8,9,10,11 ), the data of which are visualized (5,6,7) in the model, that the computing device tracks moving objects or persons in the area, detected by said sensors, forwards and / or backwards in time and visualizes them in the 3D model and 10 15 20 25 30 35 (Il ß.) CO 8 that the calculation device links image information from times when the object or person is detected by the surveillance cameras to previous and / or later events. 11. System enligt patentkravet 10, k ä n n e t e c k n a t a v att nämnda sensorer innefattar en eller flera akustiska sensorer (4,8) som används för lokalisering av ljudkällor i området.11. A system according to claim 10, characterized in that said sensors comprise one or more acoustic sensors (4,8) used for locating sound sources in the area. 12. System enligt patentkrav11, k ä n n e t e c k n at a v att beräkningsanordningen klassificerar nämnda ljudkâllor med hjälp av de akustiska sensorema (4,8) och att beräkningsanordningen visualiserar olika typer av ljudkällor i 3D-modellen med olika symboler (5,6,7).System according to claim 11, characterized in that the calculation device classifies said sound sources by means of the acoustic sensors (4,8) and that the calculation device visualizes different types of sound sources in the 3D model with different symbols (5,6,7). 13. System enligt patentkravet 11 eller 12, k ä n n e t e c k n a t a v att nämnda ljudkällor används för att peka ut ljudkällan i kamerabilder visualiserat i 3D-modellen.13. A system according to claim 11 or 12, characterized in that said sound sources are used to point out the sound source in camera images visualized in the 3D model. 14. System enligt något av patentkraven 10-13, k ä n n e t e c k n a t a v att nämnda sensorer innefttar en eller flera passagedetektorer (9,10,11).A system according to any one of claims 10-13, characterized in that said sensors comprise one or more of their passage detectors (9,10,11). 15. System entigtnágot av patentkraven 10-14, k ä n n e t e c k n a t a v att nämnda sensorer innefattar en eller flera positionsgivande sensorer.A system according to any one of claims 10-14, characterized in that said sensors comprise one or more position sensors. 16. System enligt något av patentkraven10-15, k ä n n e t e c k n a t a v att beräkningsanordningen visualiserar (5') ett i omrâdet beläget objekts synfält, exempelvis en persons eller en sensors, eller ett objekts skottfält i 3D-modellen.A system according to any one of claims 10-15, characterized in that the calculation device visualizes (5 ') a field of view of an object located in the area, for example a person or a sensor, or a firing field of an object in the 3D model. 17. System enligt något av patentkraven 10-16, k ä n n e t e c k n a t a v att beräkningsanordningen bestämmer åtminstone någon av en kameras (1 ,2,3) parametrar position, orientering och fokallängd genom en automatisk beräkning där först en grov uppskattning av parametrama sker och en virtuell kamera placeras i 3D-modellen i det beräknade läget, 9 därpå bilden fràn den virtuella kameran jämförs med en bild från den verkliga kameran och korresponderande punkter identifieras i de båda bilderna, varefter kameraparametrama räknas om i ett iterativt förfarande till dess skillnaden mellan koordinatema för de korresponderande punktema i de båda bildema understiger ett förutbestàmt värde, varvid det iterativa förfarandet innefattar användning av suocessiva bilder från kameran med de efterhand framraknade kameraparametrama.A system according to any one of claims 10-16, characterized in that the calculation device determines at least one of the parameters, orientation and focal length of a camera (1, 2,3) by an automatic calculation where first a rough estimate of the parameters takes place and a virtual camera is placed in the 3D model in the calculated position, 9 then the image from the virtual camera is compared with an image from the real camera and corresponding points are identified in the two images, after which the camera parameters are recalculated in an iterative procedure until the difference between the coordinates of the the corresponding points in the two images are less than a predetermined value, the iterative method involving the use of suocessive images from the camera with the subsequently projected camera parameters.
SE0402748A 2004-11-11 2004-11-11 Method for monitoring a geographical area SE528330C2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SE0402748A SE528330C2 (en) 2004-11-11 2004-11-11 Method for monitoring a geographical area
PCT/SE2005/001700 WO2006052204A1 (en) 2004-11-11 2005-11-11 Method for surveillance of a geographical area and a system utilising the method
EP05800729.5A EP1812910A4 (en) 2004-11-11 2005-11-11 METHOD FOR MONITORING A GEOGRAPHIC AREA, AND SYSTEM USING THE SAME

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE0402748A SE528330C2 (en) 2004-11-11 2004-11-11 Method for monitoring a geographical area

Publications (3)

Publication Number Publication Date
SE0402748D0 SE0402748D0 (en) 2004-11-11
SE0402748L SE0402748L (en) 2006-05-12
SE528330C2 true SE528330C2 (en) 2006-10-24

Family

ID=33488214

Family Applications (1)

Application Number Title Priority Date Filing Date
SE0402748A SE528330C2 (en) 2004-11-11 2004-11-11 Method for monitoring a geographical area

Country Status (3)

Country Link
EP (1) EP1812910A4 (en)
SE (1) SE528330C2 (en)
WO (1) WO2006052204A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012211154B4 (en) 2012-06-28 2019-02-14 Robert Bosch Gmbh Monitoring system, open space monitoring and monitoring of a surveillance area
DE102018208604A1 (en) * 2018-05-30 2019-12-05 Siemens Aktiengesellschaft Determining a recording behavior of a recording unit

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355612A (en) * 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
FR2821172B1 (en) * 2001-02-16 2003-05-23 Immervision Internat Pte Ltd METHOD AND DEVICE FOR ORIENTATION OF A DIGITAL PANORAMIC IMAGE

Also Published As

Publication number Publication date
WO2006052204A1 (en) 2006-05-18
EP1812910A1 (en) 2007-08-01
EP1812910A4 (en) 2013-05-29
SE0402748L (en) 2006-05-12
SE0402748D0 (en) 2004-11-11

Similar Documents

Publication Publication Date Title
JP7432595B2 (en) Cooperative virtual interface
US9520040B2 (en) System and method for real-time 3-D object tracking and alerting via networked sensors
JP6532106B2 (en) Monitoring device, monitoring method and program for monitoring
US8761436B2 (en) Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program
US20110115909A1 (en) Method for tracking an object through an environment across multiple cameras
CN116339337A (en) Target intelligent positioning control system and method based on infrared imaging, laser radar and sound directional detection
CN114120171A (en) Fire and smoke detection method, device, device and storage medium based on video frame
KR102531272B1 (en) Control device using artificial intelligence learning images and vibrations and intrusion alert systme including the same
WO1997042764A1 (en) Abnormality detection and surveillance system
US11210529B2 (en) Automated surveillance system and method therefor
JP2021077295A (en) Monitoring device, monitoring method, and program
CN112562005A (en) Space calibration method and system
CN112541403B (en) A method for indoor person fall detection using infrared cameras
US7489255B2 (en) Self-position identification apparatus and self-position identification method
KR102750851B1 (en) Multimodal sensor based integrated fire monitoring system
SE528330C2 (en) Method for monitoring a geographical area
CN120766202A (en) Real-time monitoring and identification method and system of mountain conditions based on deep learning
CN119694087A (en) A LSTM-based edge protection warning method, device and medium
CN116524540B (en) Coal mine underground people counting method based on bipartite graph
WO2024127392A1 (en) System and method for event detection and tracking using optical and acoustic signals
Hayouni et al. Towards Cognitive Vehicles: GNSS-free Localization using Visual Anchors
Jain et al. Optimal Deep Learning Models for Post-Flood House Detection in Drone Imagery
Michail et al. Innovative Visual Analysis Solutions to Support Disaster Management
Boonjun et al. Real time automatic object detection by using template matching for protecting pipelines
KR102810985B1 (en) System and method for automatically collecting location data for safety of worker

Legal Events

Date Code Title Description
NUG Patent has lapsed