WO2021078523A1 - Method for drone surveillance of an area to be monitored having at least one part bordered externally by an area in which surveillance is prohibited - Google Patents

Method for drone surveillance of an area to be monitored having at least one part bordered externally by an area in which surveillance is prohibited Download PDF

Info

Publication number
WO2021078523A1
WO2021078523A1 PCT/EP2020/078179 EP2020078179W WO2021078523A1 WO 2021078523 A1 WO2021078523 A1 WO 2021078523A1 EP 2020078179 W EP2020078179 W EP 2020078179W WO 2021078523 A1 WO2021078523 A1 WO 2021078523A1
Authority
WO
WIPO (PCT)
Prior art keywords
ground
area
camera
spatial coordinates
monitored
Prior art date
Application number
PCT/EP2020/078179
Other languages
French (fr)
Inventor
Antoine LECESTRE
Grégoire LINARD
Original Assignee
Azur Drones
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azur Drones filed Critical Azur Drones
Publication of WO2021078523A1 publication Critical patent/WO2021078523A1/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects

Definitions

  • the present invention relates to a method of drone surveillance of an area to be monitored having at least one part bordered on the outside by a prohibited surveillance zone.
  • the invention also relates to an autonomous flying drone capable of implementing the preceding surveillance procedure.
  • the invention relates more particularly to the field of site surveillance by autonomous aerial drones (UAV for unmanned aerial conveyed).
  • UAV autonomous aerial drones
  • a camera can make it possible to "detect” an individual (the camera makes it possible to see the presence of an individual), but it must not make it possible to "recognize” an individual (the camera makes it possible to detect the presence of an individual and to recognize that it is "Mr. X”), nor to identify an individual within a group (the camera makes it possible to detect the presence of of several individuals, and to find, recognize and locate "Mr. X" in the middle of the crowd).
  • the cameras should not allow viewing of the interior of surrounding private third-party apartment buildings.
  • a camera can be completely fixed, that is to say that its support is fixed and that it does not itself have any degree of freedom.
  • a camera can be arranged on a fixed support, but have one, two or three degrees of freedom.
  • the camera is motorized to pivot about two axes perpendicular to each other, generally a vertical axis and a horizontal axis in order to be able, respectively, to "turn the head” and “lower the head”.
  • the camera can be equipped with a zoom that allows it to "look forward or backward”. These cameras are said to have three degrees of freedom because they can be operated in three different directions.
  • Pan-Tilt-Zoom a camera that uses these cameras to zoom the movement of the motorized lens along the optical Y axis.
  • Pan being the rotation of the camera around the Z axis for panoramic viewing
  • tilt being the inclination of the camera on the X axis for top-to-bottom viewing
  • Zoom being the movement of the motorized lens along the optical Y axis.
  • the camera can be carried by a mobile support, so that the targeted image depends not only on the orientation and zoom of the camera, but also on the movement of the mobile support.
  • any flying machine Like any flying machine, it is mobile in six degrees of freedom: three degrees in translation along three axes perpendicular to each other, constituting a vector base, and three degrees in rotation around said axes.
  • the associated movements are advance, drift and ascent for translational movements, and roll, pitch and yaw for rotational movements.
  • the cameras used for the surveillance of buildings are mainly on fixed supports. While some are capable of performing motorized rotational movements over two degrees of freedom (pan and tilt), they are unable to move in translation. We can therefore predict in advance, precisely, the field of vision they have.
  • the present invention aims to provide a method for monitoring a site using a UAV equipped with a camera capable of fulfilling the legal obligations in terms of viewing the surroundings of the monitored area.
  • a known solution from the prior art is the masking and / or blurring of certain areas of an image to avoid direct viewing of areas belonging to public space.
  • This solution is commonly applied to totally fixed surveillance cameras. As the field of view always remains the same, it is simple for the person skilled in the art to configure areas which should not be observed and therefore to apply a digital mask which blurs or suppresses the area concerned.
  • the viewed image includes areas that are blacked out which prevent the viewer from seeing what is behind the masked areas.
  • the masking In the case of a PTZ mobile camera, the masking must be dynamic depending on the position of the camera and what it observes. It is therefore necessary to determine the zone observed in real time, by knowing the angles and the zoom of the camera, and to apply a masking if the field of vision comes into conflict with an zone which must not be observed.
  • the CNIL Cosmetic Nationale Informatique et Liberté
  • the processing be done as close as possible to the camera, before broadcasting to the user and / or recording since it is not necessary to collect or store of personal data.
  • a first objective of the present invention therefore aims to provide a solution which is inexpensive in terms of energy and weight to be able to be implemented in a UAV, and which makes it possible to fully meet the legal requirements in terms of surveillance of an area. with the exception of its surroundings.
  • a second objective of the invention is to provide a method of monitoring to ensure that the drone can detect the presence of an individual or of an object in public space, but cannot recognize or identify the individual or the object.
  • a third objective of the invention is to provide a versatile method making it possible both to ensure that the drone cannot film a third-party private space and at the same time to detect the presence of an individual on it. public space without being able to recognize or identify it.
  • the invention proposes to use a strategy of blocking the movements of the camera of a UAV and its zoom in order to prevent the outer perimeter of the site overflowing from being filmed under technical conditions prohibited by law. .
  • the present invention provides a method of internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least one part bordered on the outside by a prohibited surveillance zone, with an autonomous flying drone following a flight plan determined and provided with a camera adjustable along three adjustment axes perpendicular to each other, the camera being rotatably mounted about a first panoramic adjustment axis and a second tilt adjustment axis perpendicular to each other, and being provided with an adjustable zoom along a third optical adjustment axis perpendicular to the other two adjustment axes of the camera, the camera having an initial position on each of the three adjustment axes defining an initial cone of vision, the method comprising the following steps: a) the spatial coordinates on the ground of a determined area of interest of the cone of vision are calculated, then; b) the spatial coordinates on the ground of the determined area of interest are compared with the spatial coordinates on the ground of the area to be monitored; c) if the spatial coordinates on the ground of the zone of interest are
  • the determined area of interest of the cone of vision may be an intersection of the initial cone of vision with the ground, the intersection of the initial cone of vision with the ground is calculated from the spatial coordinates of the drone and the setting of the camera on the three adjustment axes, and if the intersection of the cone of vision with the ground is secant with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, a movement of the camera is ordered on at least one of the three adjustment axes until a new cone of vision is defined whose spatial coordinates on the ground of the intersection with the ground are included in the spatial coordinates on the ground of the area to be monitored;
  • the determined area of interest of the cone of vision may be a plane of the cone of vision perpendicular to the optical axis and corresponding to a virtual image of threshold resolution, we choose a threshold resolution beyond which we do not do not wish to obtain an object recognition, one calculates in the initial cone of vision, a position of a threshold virtual image having the threshold resolution, one calculates the spatial coordinates on the ground of an orthogonal projection of the threshold virtual image on the ground, and if the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground intersect with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, a movement of the camera on at least one of the three adjustment axes until a new cone of vision is defined in which the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground are included in the coo r spatial data on the ground of the area to be monitored;
  • the calculations of the spatial coordinates on the ground of the determined area of interest can only be triggered in a vigilance area, internally bordering the part of the area to be monitored which is bordered on the outside by the prohibited monitoring area ;
  • the camera movement control on at least one of the three adjustment axes can primarily be an adjustable zoom control along the optical axis to decrease the zoom value and widen the cone of vision;
  • a zoom movement command is insufficient to allow the spatial coordinates on the ground of the determined area of interest are included in the spatial ground coordinates of the area to be monitored, then one can then command a movement of the camera on at least one of the other two axes to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the spatial ground coordinates of the area to be monitored;
  • the camera movement control on at least one of the three adjustment axes can be primarily a control around the first panoramic axis and / or the second tilt axis to rotate the cone of vision until that the spatial coordinates on the ground of the determined area of interest are included in the spatial coordinates on the ground of the area to be monitored. You can then control a zoom movement along the optical axis to decrease the zoom value and widen the cone of vision;
  • the method can further comprise a modification of the flight plan of the drone;
  • a movement command on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then one can stop operation of the camera until the spatial ground coordinates of the determined area of interest can again be included in the ground spatial coordinates of the area to be monitored by movement on at least one of the three adjustment axes of the camera;
  • a movement command on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then one can stop the transmission of the images captured by the camera to a surveillance center until the spatial coordinates on the ground of the determined area of interest can again be included in the spatial coordinates on the ground of the area to be monitored by a movement on au minus one of the three axes of adjustment of the camera.
  • the invention also relates to an autonomous flying drone for internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least one part bordered on the outside by a prohibited zone of surveillance, the drone being characterized in that it is provided with:
  • a camera adjustable along three adjustment axes perpendicular to each other the camera being mounted to rotate about a first panoramic axis and a second tilting axis perpendicular to each other and being provided with an adjustable zoom along 'a third optical axis perpendicular to the other two adjustment axes of the camera, the camera being provided with position sensors on the three adjustment axes capable of transmitting to the microcontroller the position of the camera on the three adjustment axes, and in this that the microcontroller is programmed to: a) calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision, from the spatial coordinates of the drone and the adjustment positions of the camera b) compare the spatial coordinates on the ground of the zone of interest determined with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance; and c) if the spatial coordinates on the ground of the area of interest intersect with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance, automatically control a movement of
  • FIG. 1 a schematic plan view of an area to be monitored bordered in part by a prohibited capture zone and by a prohibited reconnaissance zone;
  • FIG. 2 a schematic front view of a drone according to the invention, provided with a PTZ camera according to the invention;
  • FIG. 3 a schematic perspective view of a first embodiment of the monitoring method according to the invention to avoid filming the prohibited capture zone, before correction;
  • FIG. 4 a schematic perspective view of a first embodiment of the monitoring method according to the invention to avoid filming the prohibited capture zone, after correction;
  • FIG. 5 a schematic plan view of cones of vision obtained with different zoom settings of the camera of the drone according to the invention
  • FIG. 6 a schematic perspective view of a second embodiment of the surveillance method according to the invention to avoid filming the prohibited recognition zone, before correction;
  • FIG. 7 a schematic perspective view of a second embodiment of the surveillance method according to the invention to avoid filming the prohibited recognition zone, after correction;
  • FIG. 8 a schematic perspective view of a correction variant of the surveillance method according to the invention to avoid filming the prohibited reconnaissance zone
  • FIG. 9 a schematic plan view of an area to be monitored provided with a vigilance area in which the monitoring method according to the invention is triggered.
  • FIG. 1 illustrates an area to be monitored ZS surrounded by several types of areas.
  • the zone to be monitored ZS is bordered by a prohibited zone ZIC capture along a border line BL1.
  • H dwellings are close enough to the BL1 border line for it to be prohibited to film their interior.
  • the zone to be monitored ZS is also bordered by a prohibited zone of ZIR recognition along a border line BL2. In this zone, it is authorized to detect the presence of object 01 or of individuals, but it is forbidden to be able to recognize them. Finally, the zone to be monitored ZS is also bordered along a border line BL3 by an area without any particular prohibition on filming, symbolized by a portion of the sea M.
  • the zone to be monitored ZS is traversed by at least one drone 100 stored and recharged in an SA docking station when it is inactive.
  • the drone 100 When monitoring the ZS zone, the drone 100 follows a PV flight plan which is transmitted to it automatically by the docking station and which can be modified from time to time, in real time, by the user in charge of the surveillance.
  • the user will seek to raise doubts about an alarm that may have been triggered somewhere in the ZS zone. In doing so, he may involuntarily direct the drone 100, and in particular the vision cone CV of the camera, towards a prohibited zone for ZIC or ZIR surveillance.
  • the CV cone of vision is the portion of space seen by the camera looking in the Y optical axis, at a determined zoom value.
  • the surveillance method according to the invention makes it possible to automatically prevent the camera from filming such areas, even when the drone approaches the border lines BL1 or BL2.
  • the autonomous flying drone 100 is used for the internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least a part bordered on the outside by a prohibited surveillance zone.
  • the drone 100 is provided with at least one microcontroller 110 programmed to implement the method according to the invention, and a memory 120 for storing the spatial coordinates of the area to be monitored and of the prohibited surveillance zone (s).
  • the area to be monitored is a private site defined by a fixed exterior cadastral footprint (called “Geofence”).
  • the prohibited control zones are also clearly located and this perimeter can be recorded in the drone's memory by a polygon.
  • the drone 100 also comprises at least one GPS beacon 130 and an altimeter 140 capable of transmitting in real time to the microcontroller 110 the spatial coordinates of the drone 100.
  • the drone also includes an inertial unit to know its orientation and attitude at all times.
  • the microcontroller 110 is therefore capable of perfectly locating the drone in space with respect to the zone to be monitored ZS and to the prohibited zones for ZIS surveillance.
  • the drone also includes a camera 150 adjustable along three adjustment axes X, Y, Z perpendicular to each other: the panoramic axis Z which allows the camera to rotate the cone of vision from right to left and vice versa, the 'X tilt axis, which allows the camera to rotate the cone of vision up and down and vice versa, and the Y optical axis which allows the camera to move its focal point forward or backward, and therefore, respectively, to decrease or increase the field angle of the cone of vision.
  • the panoramic axis Z which allows the camera to rotate the cone of vision from right to left and vice versa
  • the 'X tilt axis which allows the camera to rotate the cone of vision up and down and vice versa
  • the Y optical axis which allows the camera to move its focal point forward or backward, and therefore, respectively, to decrease or increase the field angle of the cone of vision.
  • the camera 150 is fixed to the drone by an articulated and motorized support 160 which comprises a motorized crown 161 rotating around the first panoramic axis Z, and secured to a first end of an arm 162
  • the arm 162 comprises a second end fixed to a second motorized ring 163 rotating around the second axis of inclination X, the second motorized ring also being fixed to a bracket 164 for supporting the camera 150.
  • the camera can be attached to the drone by a similar support, but the first motorized crown of which is rotatably mounted around the second axis of inclination X and the second motorized crown is rotatably mounted around the first panoramic axis Z.
  • the motorized crowns include sensors capable of transmitting to the microcontroller 110 the position of the camera on the three adjustment axes, and therefore of determining the exact angular position of the camera relative to a reference position relative to the drone 100.
  • the surveillance method provides that, starting from an initial cone of vision (the camera having an initial position on each of the three axes of adjustment), we calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision, then we compare the spatial coordinates on the ground of the determined area of interest with the spatial coordinates on the ground of the area to monitor. If the spatial coordinates on the ground of the area of interest are intersecting with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance, a movement of the camera is controlled on at least one of the three axes of adjustment until the spatial ground coordinates of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.
  • the method therefore makes it possible to save energy resources and a great deal of calculation time.
  • FIG. 3 A first embodiment of the monitoring method according to the invention is illustrated in Figures 3 and 4.
  • the determined area of interest of the cone of vision is the intersection ZI1 of the initial cone of vision with the ground.
  • intersection ZI1 of the initial cone of vision CV1 with the ground is calculated from the spatial coordinates of the drone and the adjustment of the camera on the three adjustment axes. In other words, this intersection is obtained by extending, by calculation, the viewing cone down to ground level. This is possible by knowing the angular position of the camera and the altitude of the drone (and therefore of the camera).
  • the coordinates of the points 11, I2, I3, I4 are then obtained by the additional knowledge of the GPS position of the drone, and therefore of the camera (FIG. 3).
  • the spatial coordinates on the ground of the points 11, I2, I3, I4 are compared with the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored.
  • a movement of the camera is controlled on at least one of the three axes of adjustment until a new CV2 vision cone is defined, the spatial coordinates on the ground of the intersection ZI1 'with the ground I ⁇ , G2, G3, G4 are included in the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored.
  • the movement of the camera is a rotation around the X axis. Everything happened as if the drone had lowered its gaze, but continues to observe the area. to monitor.
  • the movement can be more complex and include, for example, an additional rotation around the Z axis. This can be accompanied by an increase in the zoom to reduce the footprint of the intersection of the cone of vision with the ground.
  • the invention therefore avoids heavy digital processing that consumes resources, while fulfilling legal obligations, in particular for areas prohibited from ZIC capture, since the camera turns away from these areas and cannot capture any image.
  • This embodiment is therefore particularly suitable when the cone of vision is directed towards the prohibited zones of ZIC capture.
  • the surveillance method according to the invention provides a second embodiment which takes advantage of legal obligations relating to prohibited areas from recognition.
  • the camera has a horizontal (FOVH) and vertical (FOVv) viewing angle expressed in degrees. These viewing angles are known for each camera and linked together by the formula:
  • FOV H FOV v x Npixel H
  • the drone can control the zoom, the tilt of the camera around the X tilt axis, and the direction of the shot around the pan Z axis.
  • the threshold image IS projected in the field of view of the camera has a virtual width Lis which is calculated as follows:
  • each pixel will have a resolution equal to the threshold resolution Rs.
  • the threshold image IS having a constant width Lis and which depends on the technical characteristics of the camera, it is located at different distances D1 is, D2is, D3is from the camera according to the width of the cone of vision, and therefore according to the zoom value.
  • the threshold resolution chosen is the resolution allowing recognition (100 pixels per meter)
  • the recognition of the object 01 will only be possible within the gray triangle between the camera and the threshold image.
  • the zoom is not powerful enough to allow recognition of the object 01 located behind the border BL1.
  • the distance DT between the camera and the object 01 is greater than the distances D1 is and D2is between the camera and the threshold image.
  • the method according to the invention uses this calculation for an embodiment which makes it possible to avoid any recognition while allowing object detection.
  • the determined area of interest ZI2 of the cone of vision is a plane of the cone of vision perpendicular to the axis optical and corresponding to a virtual image of threshold resolution.
  • this threshold is set at 100 pixels per meter.
  • the distance Dis separating the camera 150 from the virtual threshold image IS is reduced, which brings back the orthogonal projection of the threshold image inside the zone to be monitored, and which makes it possible to continue d '' observe the area to be monitored.
  • the movement control of the camera on at least one of the three adjustment axes is primarily a control of the adjustable zoom along the optical axis Y for decrease the zoom value and widen the cone of vision.
  • this zoom movement command is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then a movement of the camera on at least one of the other two X, Z axes to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
  • This embodiment is preferred when it is possible to continue filming the prohibited surveillance zone as long as it is no longer possible to recognize the objects which are there.
  • the vision cone CV4 always has an intersection l ”1, l” 2, l ”3, l” 4 with the border line BL2, and therefore with the prohibited zone. surveillance, but it does not matter since the objects which are located in this surveillance prohibited zone are located behind the image of threshold resolution, and therefore cannot be recognized.
  • the movement control of the camera on at least one of the three adjustment axes is primarily a control around the first panoramic axis Z and / or around the second tilt axis X, which makes it possible to rotate the cone of vision until the spatial coordinates on the ground of the determined area of interest are included in the spatial coordinates on the ground of the area to be monitored. You can then command a zoom movement along the optical Y axis to decrease the zoom value and widen the cone of vision.
  • the monitoring method according to the invention can further comprise a modification of the flight plan of the drone.
  • Figure 8 shows a possible reaction to the detection, in Figure 6, of an intersection between the orthogonal ground projection of the threshold image and the border line.
  • the drone has automatically combined a pivoting of the camera around the tilting axis X, but also an altitude gain of the drone materialized by the arrow F1, until a new cone is defined.
  • of vision CV5 in which the spatial coordinates on the ground P ”1, P” 2, P ”3, P” 4 of the orthogonal projection of the threshold virtual image IS ”1, IS” 2, IS ”3, IS” 4 on the ground are included in the spatial ground coordinates S1, S2, S3, S4 of the area to be monitored.
  • the method according to the invention can provide, that in certain extreme conditions in which a movement control on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the values. spatial coordinates on the ground of the area to be monitored, then either the operation of the camera is stopped, or the transmission of the images captured by the camera to the monitoring center is stopped.
  • the area to be monitored is constant, and that, generally, the flight volume is also predefined (the drone does not have the authorization to fly above a limit altitude), it is possible to define a ZV vigilance zone based on the technical specificities of the camera on board the drone.
  • This zone of vigilance ZV is defined as the zone in which the camera is likely to capture images prohibited in at least one of its settings. It is defined by a strip of determined width LZV which internally borders the part of the zone to be monitored which is bordered on the outside by the prohibited surveillance zone. The determined width is calculated according to the technical specifications of the camera. As soon as the camera is in this band, it is technically capable of capturing a prohibited image. As soon as the camera is located outside this band, towards the interior of the area to be monitored, it can no longer capture a prohibited image (for example, no image, even if the zoom is maximum, has a resolution sufficient to allow recognition.
  • the calculations of the spatial coordinates on the ground of the determined area of interest are triggered as soon as the drone is in the area.
  • ZV vigilance zone In the case of figure 9, the drone 101 being in the zone of vigilance ZV, it carries out the calculations and it knows that there is no problem since the cone of vision 101a is not directed towards a zone prohibited from surveillance and that the spatial coordinates on the ground of a determined zone of interest of the cone of vision do not intersect with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance.
  • the drone 102 not being in the zone of vigilance, there is no risk that it will capture prohibited images, even if its cone of vision 102a is directed towards a prohibited zone of surveillance.
  • This conditional embodiment of the monitoring method according to the invention avoids consuming the energy resource and the computing resource unnecessarily.
  • a) calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision (intersection or orthogonal projection of the threshold image on the ground), from the spatial coordinates of the drone and the positions of camera adjustment
  • the method according to the invention can serve as a safeguard by preventing an operator from forcing observation of a zone prohibited from surveillance.
  • the drone applies the command and points the camera in the required direction, with the required camera setting.
  • a message indicating the reason for this blockage can be generated and displayed in front of the operator, and an alert can be recorded in the flight history of the drone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

The invention relates to a method for surveilling, with the PTZ camera of an autonomous flying drone, an area to be monitored having one part bordered by an area in which surveillance is prohibited. The method comprises: a) calculating the spatial coordinates on the ground of a determined area of interest of the cone of vision; b) comparing the spatial coordinates on the ground of the area of interest with the spatial coordinates on the ground of the area to be monitored; c) if the spatial coordinates on the ground intersect each other, a movement of the camera is controlled on at least one of the three control axes of the camera until the spatial coordinates on the ground of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.

Description

Procédé de surveillance par drone d’une zone à surveiller ayant au moins une partie bordée extérieurement par une zone interdite de surveillance Method of drone surveillance of an area to be monitored having at least one part bordered on the outside by a prohibited surveillance zone
[0001] La présente invention concerne un procédé de surveillance par drone d’une zone à surveiller ayant au moins une partie bordée extérieurement par une zone interdite de surveillance. L’invention concerne également un drone volant autonome apte à mettre en oeuvre le précédé de surveillance précédente. The present invention relates to a method of drone surveillance of an area to be monitored having at least one part bordered on the outside by a prohibited surveillance zone. The invention also relates to an autonomous flying drone capable of implementing the preceding surveillance procedure.
[0002] L’invention concerne plus particulièrement le domaine de la surveillance de sites par des drones aériens autonomes (UAV pour Unmanned aerial véhiculé). [0002] The invention relates more particularly to the field of site surveillance by autonomous aerial drones (UAV for unmanned aerial conveyed).
[0003] Les organismes de protection de données personnelles régulent la capture d’image sur l’espace public et sur l’espace privé tiers qui sont qualifiés, par la suite, de « zones interdites de surveillance ». [0003] Personal data protection organizations regulate image capture in public space and in third-party private space, which are subsequently referred to as "no-surveillance zones".
[0004] En France, les règles divergent selon qu’une caméra filme le domaine public ou le domaine privé d’un tiers. [0004] In France, the rules differ depending on whether a camera films the public domain or the private domain of a third party.
[0005] Ainsi, il est formellement interdit de filmer tout espace appartement au domaine privé d’un tiers. En effet, cela permettrait de façon certaine de collecter des informations privées. Ces zones interdites de surveillance sont dites « interdites de captation ». [0005] It is therefore strictly forbidden to film any apartment space in the private domain of a third party. Indeed, this would certainly allow the collection of private information. These zones which are prohibited from surveillance are said to be “prohibited from collection”.
[0006] C’est pourquoi il convient de mettre en place une méthode dont l’objectif est de s’assurer que la caméra ne puisse pas filmer un espace privé. [0006] This is why it is necessary to set up a method whose objective is to ensure that the camera cannot film a private space.
[0007] Pour le domaine public, il n’est pas formellement interdit de le filmer, sous réserve que l’on ne puisse ni reconnaître ni identifier un individu. Ces zones interdites de surveillance sont dites « interdites de reconnaissance ». [0007] For the public domain, it is not strictly forbidden to film it, provided that an individual cannot be recognized or identified. These areas prohibited from surveillance are said to be “prohibited from reconnaissance”.
[0008] En d’autres termes, s’agissant du domaine public, une caméra peut permettre de « détecter » un individu (la caméra permet de voir la présence d’un individu), mais elle ne doit pas permettre de « reconnaître » un individu (la caméra permet de détecter la présence d’un individu et de reconnaître qu’il s’agit de « monsieur X »), ni d’identifier un individu au sein d’un groupe (la caméra permet de détecter la présence de plusieurs individus, et de retrouver, reconnaître et localiser « monsieur X » au milieu de la foule). In other words, with regard to the public domain, a camera can make it possible to "detect" an individual (the camera makes it possible to see the presence of an individual), but it must not make it possible to "recognize" an individual (the camera makes it possible to detect the presence of an individual and to recognize that it is "Mr. X"), nor to identify an individual within a group (the camera makes it possible to detect the presence of of several individuals, and to find, recognize and locate "Mr. X" in the middle of the crowd).
[0009] À cette fin, les organismes nationaux ont défini des seuils de qualité d’image permettant de réaliser ces différentes actions. [0010] En France, la CNIL considère que : [0009] To this end, the national bodies have defined image quality thresholds making it possible to carry out these different actions. [0010] In France, the CNIL considers that:
• dans une image dans laquelle 25 pixels représentent un mètre à échelle réelle, on dispose de suffisamment d’information pour réaliser une détection. On fixe donc le seuil de détection à une résolution d’image de 25 pixels par mètre• in an image in which 25 pixels represent a full-scale meter, there is enough information to make a detection. We therefore set the detection threshold at an image resolution of 25 pixels per meter
(ppm). (ppm).
• dans une image dans laquelle 100 pixels représentent un mètre à échelle réelle, on dispose de suffisamment d’information pour réaliser une reconnaissance. On fixe donc le seuil de reconnaissance à une résolution d’image de 100 pixels par mètre (ppm). • in an image in which 100 pixels represent a full-scale meter, there is enough information to perform a recognition. We therefore set the recognition threshold at an image resolution of 100 pixels per meter (ppm).
• dans une image dans laquelle 400 pixels représentent un mètre à échelle réelle, on dispose de suffisamment d’information pour réaliser une identification. On fixe donc le seuil d’identification à une résolution d’image de 400 pixels par mètre (ppm). • in an image in which 400 pixels represent a full-scale meter, there is enough information to make an identification. We therefore set the identification threshold at an image resolution of 400 pixels per meter (ppm).
[0011] En France, seules les autorités publiques (les mairies notamment) peuvent filmer la voie publique. Ni les entreprises ni les établissements publics ne peuvent filmer la voie publique. Ils ont seulement l’autorisation de filmer les abords immédiats de leurs bâtiments et installations (la façade extérieure par exemple, mais pas la rue en tant que telle) s’ils sont susceptibles d’être exposés à des actes de malveillance. [0011] In France, only public authorities (notably town halls) can film public roads. Neither companies nor public establishments can film the public road. They are only allowed to film the immediate surroundings of their buildings and facilities (the exterior facade, for example, but not the street as such) if they are likely to be exposed to malicious acts.
[0012] Cela vaut plus généralement pour la surveillance de sites bordés, au moins en partie, par de l’espace public et/ou par de l’espace privé tiers, communément appelés par la suite « zone interdite de surveillance ». [0012] This applies more generally to the surveillance of sites bordered, at least in part, by public space and / or by third-party private space, commonly referred to hereinafter as "prohibited surveillance zone".
[0013] Ainsi, les caméras ne doivent pas permettre de visualiser l’intérieur des immeubles d’habitation privés tiers alentours. [0013] Thus, the cameras should not allow viewing of the interior of surrounding private third-party apartment buildings.
[0014] Des procédés de masquage irréversible de ces zones doivent donc obligatoirement être mis en oeuvre, et qui dépendent le plus souvent du type de caméra utilisé. Irreversible masking methods of these areas must therefore be implemented, and which most often depend on the type of camera used.
[0015] D’une manière générale, une caméra peut être totalement fixe, c’est-à-dire que son support est fixe et qu’elle ne dispose elle-même d’aucun degré de liberté. [0015] In general, a camera can be completely fixed, that is to say that its support is fixed and that it does not itself have any degree of freedom.
[0016] Alternativement, une caméra peut être agencée sur un support fixe, mais disposer d’un, deux ou trois degrés de liberté. [0017] Dans ce dernier cas, la caméra est motorisée pour pivoter autour de deux axes perpendiculaires entre eux, généralement un axe vertical et un axe horizontal pour pouvoir, respectivement, « tourner la tête » et « baisser la tête ». En outre, la caméra peut être équipée d’un zoom qui lui permet « d’avancer ou de reculer le regard ». On dit que ces caméras ont trois degrés de liberté, car elles peuvent être actionnées dans trois directions différentes. Alternatively, a camera can be arranged on a fixed support, but have one, two or three degrees of freedom. In the latter case, the camera is motorized to pivot about two axes perpendicular to each other, generally a vertical axis and a horizontal axis in order to be able, respectively, to "turn the head" and "lower the head". In addition, the camera can be equipped with a zoom that allows it to "look forward or backward". These cameras are said to have three degrees of freedom because they can be operated in three different directions.
[0018] Ces caméras sont dites PTZ pour « Pan-Tilt-Zoom » : « Pan » étant la rotation de la caméra autour de l'axe Z pour un visionnage panoramique, « Tilt » étant l'inclinaison de la caméra sur l'axe X pour un visionnage de haut en bas, et Zoom étant le mouvement de la lentille motorisée le long de l'axe optique Y. These cameras are called PTZ for "Pan-Tilt-Zoom": "Pan" being the rotation of the camera around the Z axis for panoramic viewing, "Tilt" being the inclination of the camera on the X axis for top-to-bottom viewing, and Zoom being the movement of the motorized lens along the optical Y axis.
[0019] Enfin, la caméra peut être portée par un support mobile, de sorte que l’image visée dépend non seulement de l’orientation et du zoom de la caméra, mais également du mouvement du support mobile. [0019] Finally, the camera can be carried by a mobile support, so that the targeted image depends not only on the orientation and zoom of the camera, but also on the movement of the mobile support.
[0020] C’est contexte de l’invention, car la caméra PTZ est portée par un drone volant automatique. [0020] This is the context of the invention, as the PTZ camera is carried by an automatic flying drone.
[0021] Comme tout engin volant, il est mobile dans six degrés de liberté : trois degrés en translation le long de trois axes perpendiculaires entre eux, constituant une base vectorielle, et trois degrés en rotation autour desdits axes. Like any flying machine, it is mobile in six degrees of freedom: three degrees in translation along three axes perpendicular to each other, constituting a vector base, and three degrees in rotation around said axes.
[0022] Les mouvements associés sont l’avance, la dérive et l’ascension pour les mouvements en translation, et le roulis, le tangage et le lacet pour les mouvements en rotation. [0022] The associated movements are advance, drift and ascent for translational movements, and roll, pitch and yaw for rotational movements.
[0023] Les caméras utilisées pour la surveillance de bâtiments sont majoritairement sur supports fixes. Si certaines sont capables d’effectuer des mouvements de rotations motorisées sur deux degrés de liberté (pan et tilt), elles sont incapables de se mouvoir en translation. On peut donc prévoir à l’avance, de façon précise, le champ de vision qu’elles ont. The cameras used for the surveillance of buildings are mainly on fixed supports. While some are capable of performing motorized rotational movements over two degrees of freedom (pan and tilt), they are unable to move in translation. We can therefore predict in advance, precisely, the field of vision they have.
[0024] Il en est tout autrement dès qu’une caméra peut se déplacer et possède ses six degrés de liberté. C’est le cas d’une caméra embarquée sur un drone. En effet, pouvant se déplacer dans les trois dimensions dans l’espace, le drone est capable d’observer sans « angle mort » n’importe quel point au sol. Afin de respecter les règles de protection de données personnelles, il convient donc de mettre en place des stratégies visant à limiter la capacité d’observation du drone afin de respecter la loi. It is quite different as soon as a camera can move and has its six degrees of freedom. This is the case of a camera mounted on a drone. Indeed, being able to move in the three dimensions in space, the drone is able to observe without "blind spot" any point on the ground. In order to comply with the rules for the protection of personal data, it is therefore necessary to implement strategies aimed at limiting the drone's observation capacity in order to comply with the law.
[0025] Ainsi, la présente invention vise à proposer un procédé de surveillance d’un site à l’aide d’un UAV muni d’une caméra capable de remplir les obligations légales en matière de visualisation des abords de la zone surveillée. [0025] Thus, the present invention aims to provide a method for monitoring a site using a UAV equipped with a camera capable of fulfilling the legal obligations in terms of viewing the surroundings of the monitored area.
[0026] Une solution connue de l’art antérieur est le masquage et/ou le floutage de certaines zones d’une image pour éviter la visualisation directe de zones appartenant à l’espace public. A known solution from the prior art is the masking and / or blurring of certain areas of an image to avoid direct viewing of areas belonging to public space.
[0027] Cette solution est communément en application sur les caméras de surveillance totalement fixes. Le champ de vision restant toujours le même, il est simple pour la personne du métier de configurer des zones qui ne doivent pas être observées et donc d’appliquer un masque numérique qui floute ou supprime la zone concernée. L’image visualisée comprend des zones masquées en noir qui empêche la personne qui visualise ces images de voir ce qu’il y a derrière les zones masquées. This solution is commonly applied to totally fixed surveillance cameras. As the field of view always remains the same, it is simple for the person skilled in the art to configure areas which should not be observed and therefore to apply a digital mask which blurs or suppresses the area concerned. The viewed image includes areas that are blacked out which prevent the viewer from seeing what is behind the masked areas.
[0028] Dans le cas d’une caméra mobile PTZ, le masquage doit être dynamique en fonction de la position de la caméra et de ce qu’elle observe. Il faut donc déterminer la zone observée en temps réel, par la connaissance des angles et du zoom de la caméra, et appliquer un masquage si le champ de vision vient en conflit avec une zone qui ne doit pas être observée. [0028] In the case of a PTZ mobile camera, the masking must be dynamic depending on the position of the camera and what it observes. It is therefore necessary to determine the zone observed in real time, by knowing the angles and the zoom of the camera, and to apply a masking if the field of vision comes into conflict with an zone which must not be observed.
[0029] Cette solution est très intensive en termes de ressources informatiques et énergétiques, ce qui est incompatible avec la surveillance par drone, car on doit économiser au mieux les ressources énergétiques pour optimiser la durée de vol. This solution is very intensive in terms of computer and energy resources, which is incompatible with drone surveillance, because energy resources must be saved as best as possible to optimize flight time.
[0030] En outre, une telle solution n’est possible que dans le cas d’un support fixe de coordonnées spatiales connues afin d’appliquer la transformée de champ de vision. Elle nécessite également de connaître à l’avance les zones à masquer, ce qui ne peut fonctionner pour des objets mobiles se déplaçant sur le domaine public. [0030] In addition, such a solution is only possible in the case of a fixed support of known spatial coordinates in order to apply the field of view transform. It also requires knowing in advance the areas to be masked, which cannot work for moving objects moving in the public domain.
[0031] D’autres méthodes consistent à appliquer des algorithmes de traitement vidéo afin de détecter directement dans le flux vidéo les éléments qui ne doivent être vus, cela indépendamment de toute considération de position spatiale. Par exemple, des méthodes de floutage dynamique sont utilisées en complément d’algorithmes de détection/ identification d’objets ou de personnes à masquer. Other methods consist in applying video processing algorithms in order to detect directly in the video stream the elements which must not be seen, this independently of any consideration of spatial position. Through For example, dynamic blurring methods are used in addition to algorithms for the detection / identification of objects or people to be masked.
[0032] Ces méthodes restent cependant très limitées, car la maturité des algorithmes de détection reste faible et fonctionne uniquement sur un petit nombre de sujets : personnes, véhicules. Elles ne permettent pas encore d’identifier si l’on est en train de filmer en dehors du site et donc ne répond pas complètement aux exigences légales. However, these methods remain very limited, because the maturity of the detection algorithms remains low and only works on a small number of subjects: people, vehicles. They do not yet make it possible to identify whether one is filming outside the site and therefore does not fully meet legal requirements.
[0033] Par ailleurs, en France, la CNIL (Commission Nationale Informatique et Liberté) requiert que le traitement soit fait au plus proche de la caméra, avant diffusion vers l’utilisateur et/ou enregistrement puisqu’il ne faut pas collecter ou stocker de données à caractère personnel. Furthermore, in France, the CNIL (Commission Nationale Informatique et Liberté) requires that the processing be done as close as possible to the camera, before broadcasting to the user and / or recording since it is not necessary to collect or store of personal data.
[0034] Plus cette donnée personnelle est supprimée en amont de la chaîne, moins elle a de chance d’être visualisée par une personne qui n’a pas de raison de la voir. Cela nécessite d’embarquer une puissance de calcul conséquente dont la masse et la consommation énergétique sont également incompatibles avec la surveillance par drone. The more this personal data is deleted upstream in the chain, the less chance it has of being viewed by a person who has no reason to see it. This requires taking on a substantial computing power, the mass and energy consumption of which are also incompatible with drone surveillance.
[0035] En effet, la masse d’un drone autonome de surveillance doit être la plus petite possible pour garantir les niveaux exigés en matière de sécurité, en cas de chute, par exemple. La miniaturisation de l’informatique et l’augmentation de la puissance de calcul embarquée font prévoir un avenir à ces méthodes de floutage dynamique. Cependant, elles ne sont à ce jour pas utilisables telles quelles. [0035] Indeed, the mass of an autonomous surveillance drone must be as small as possible to guarantee the required levels of safety, in the event of a fall, for example. The miniaturization of computing and the increase in on-board computing power are predicting a future for these dynamic blurring methods. However, to date they cannot be used as is.
[0036] Un premier objectif de la présente invention vise donc à proposer une solution peu coûteuse en énergie et en poids pour pouvoir être mise en oeuvre dans un UAV, et qui permet de répondre totalement aux exigences légales en matière de surveillance d’une zone à l’exception de ses abords. A first objective of the present invention therefore aims to provide a solution which is inexpensive in terms of energy and weight to be able to be implemented in a UAV, and which makes it possible to fully meet the legal requirements in terms of surveillance of an area. with the exception of its surroundings.
[0037] C’est pourquoi il convient de mettre en place un procédé dont l’objectif est de s’assurer que le drone ne puisse pas filmer un espace privé tiers. [0037] This is why it is necessary to set up a process whose objective is to ensure that the drone cannot film a third party private space.
[0038] Puisque l’espace public est parfois régi par une règle différente, à savoir qu’il est autorisé de détecter, mais pas de reconnaître ni d’identifier un individu, un deuxième objectif de l’invention est de proposer un procédé de surveillance permettant de s’assurer que le drone puisse détecter la présence d’un individu ou d’un objet sur l’espace public, mais ne puisse ni reconnaître ni identifier l’individu ou l’objet. Since public space is sometimes governed by a different rule, namely that it is authorized to detect, but not to recognize or identify an individual, a second objective of the invention is to provide a method of monitoring to ensure that the drone can detect the presence of an individual or of an object in public space, but cannot recognize or identify the individual or the object.
[0039] Un troisième objectif de l’invention est de proposer un procédé polyvalent permettant à la fois de s’assurer que le drone ne puisse pas filmer un espace privé tiers et à la fois de détecter la présence d’un individu sur l’espace public sans pouvoir le reconnaître ou l’identifier. A third objective of the invention is to provide a versatile method making it possible both to ensure that the drone cannot film a third-party private space and at the same time to detect the presence of an individual on it. public space without being able to recognize or identify it.
[0040] L’invention propose d’utiliser une stratégie de blocage des mouvements de la caméra d’un UAV et de son zoom afin d’empêcher que le périmètre extérieur du site survole ne puisse être filmé dans des conditions techniques interdites par la loi. The invention proposes to use a strategy of blocking the movements of the camera of a UAV and its zoom in order to prevent the outer perimeter of the site overflowing from being filmed under technical conditions prohibited by law. .
[0041] À cette fin, la présente invention propose un procédé de surveillance interne d’une zone à surveiller de coordonnées spatiales au sol connues et ayant au moins une partie bordée extérieurement par une zone interdite de surveillance, avec un drone volant autonome suivant un plan de vol déterminé et muni d’une caméra réglable selon trois axes de réglage perpendiculaires entre eux, la caméra étant montée rotative autour d’un premier axe de réglage panoramique et d’un deuxième axe de réglage d’inclinaison perpendiculaires entre eux, et étant munie d’un zoom réglable le long d’un troisième axe de réglage optique perpendiculaire aux deux autres axes de réglage de la caméra, la caméra ayant une position initiale sur chacun des trois axes de réglage définissant un cône de vision initial, le procédé comprenant les étapes suivantes : a) on calcule les coordonnées spatiales sur le sol d’une zone d’intérêt déterminée du cône de vision, puis ; b) on compare les coordonnées spatiales sur le sol de la zone d’intérêt déterminée avec les coordonnées spatiales au sol de la zone à surveiller ; c) si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. To this end, the present invention provides a method of internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least one part bordered on the outside by a prohibited surveillance zone, with an autonomous flying drone following a flight plan determined and provided with a camera adjustable along three adjustment axes perpendicular to each other, the camera being rotatably mounted about a first panoramic adjustment axis and a second tilt adjustment axis perpendicular to each other, and being provided with an adjustable zoom along a third optical adjustment axis perpendicular to the other two adjustment axes of the camera, the camera having an initial position on each of the three adjustment axes defining an initial cone of vision, the method comprising the following steps: a) the spatial coordinates on the ground of a determined area of interest of the cone of vision are calculated, then; b) the spatial coordinates on the ground of the determined area of interest are compared with the spatial coordinates on the ground of the area to be monitored; c) if the spatial coordinates on the ground of the zone of interest are intersecting with the spatial coordinates on the ground of the zone to be monitored and of the forbidden zone of surveillance, a movement of the camera is commanded on at least one of the three adjustment axes until the spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
[0042] Selon d’autres modes de réalisation, qui peuvent être combinés entre eux : [0043] · la zone d’intérêt déterminée du cône de vision pouvant être une intersection du cône de vision initial avec le sol, on calcule l’intersection du cône de vision initial avec le sol à partir des coordonnées spatiales du drone et du réglage de la caméra sur les trois axes de réglage, et si l’intersection du cône de vision avec le sol est sécante avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à définir un nouveau cône de vision dont les coordonnées spatiales au sol de l’intersection avec le sol sont incluses dans les coordonnées spatiales au sol de la zone à surveiller ; According to other embodiments, which can be combined with one another: The determined area of interest of the cone of vision may be an intersection of the initial cone of vision with the ground, the intersection of the initial cone of vision with the ground is calculated from the spatial coordinates of the drone and the setting of the camera on the three adjustment axes, and if the intersection of the cone of vision with the ground is secant with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, a movement of the camera is ordered on at least one of the three adjustment axes until a new cone of vision is defined whose spatial coordinates on the ground of the intersection with the ground are included in the spatial coordinates on the ground of the area to be monitored;
[0044] · la zone d’intérêt déterminée du cône de vision pouvant être un plan du cône de vision perpendiculaire à l’axe optique et correspondant à une image virtuelle de résolution seuil, on choisit une résolution seuil au-delà de laquelle on ne souhaite pas obtenir une reconnaissance d’objet, on calcule dans le cône de vision initial, une position d’une image virtuelle seuil ayant la résolution seuil, on calcule les coordonnées spatiales au sol d’une projection orthogonale de l’image virtuelle seuil sur le sol, et si les coordonnées spatiales au sol de la projection orthogonale de l’image virtuelle seuil sur le sol sont sécantes avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à définir un nouveau cône de vision dans lequel les coordonnées spatiales au sol de la projection orthogonale de l’image virtuelle seuil sur le sol sont incluses dans les coordonnées spatiales au sol de la zone à surveiller ; The determined area of interest of the cone of vision may be a plane of the cone of vision perpendicular to the optical axis and corresponding to a virtual image of threshold resolution, we choose a threshold resolution beyond which we do not do not wish to obtain an object recognition, one calculates in the initial cone of vision, a position of a threshold virtual image having the threshold resolution, one calculates the spatial coordinates on the ground of an orthogonal projection of the threshold virtual image on the ground, and if the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground intersect with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, a movement of the camera on at least one of the three adjustment axes until a new cone of vision is defined in which the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground are included in the coo r spatial data on the ground of the area to be monitored;
[0045] · les calculs des coordonnées spatiales sur le sol de la zone d’intérêt déterminée peuvent n’être déclenchés que dans une zone de vigilance, bordant intérieurement la partie de la zone à surveiller qui est bordée extérieurement par la zone interdite de surveillance ; The calculations of the spatial coordinates on the ground of the determined area of interest can only be triggered in a vigilance area, internally bordering the part of the area to be monitored which is bordered on the outside by the prohibited monitoring area ;
[0046] · la commande de mouvement de la caméra sur au moins un des trois axes de réglage peut être prioritairement une commande du zoom réglable le long de l’axe optique pour diminuer la valeur de zoom et élargir le cône de vision ; · The camera movement control on at least one of the three adjustment axes can primarily be an adjustable zoom control along the optical axis to decrease the zoom value and widen the cone of vision;
[0047] · si une commande de mouvement du zoom est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on peut commander ensuite un mouvement de la caméra sur au moins un des deux autres axes pour faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller ; If a zoom movement command is insufficient to allow the spatial coordinates on the ground of the determined area of interest are included in the spatial ground coordinates of the area to be monitored, then one can then command a movement of the camera on at least one of the other two axes to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the spatial ground coordinates of the area to be monitored;
[0048] · la commande de mouvement de la caméra sur au moins un des trois axes de réglage peut être prioritairement une commande autour du premier axe panoramique et/ou du deuxième axe d’inclinaison pour faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. On peut commander ensuite un mouvement du zoom le long de l’axe optique pour diminuer la valeur de zoom et élargir le cône de vision ; The camera movement control on at least one of the three adjustment axes can be primarily a control around the first panoramic axis and / or the second tilt axis to rotate the cone of vision until that the spatial coordinates on the ground of the determined area of interest are included in the spatial coordinates on the ground of the area to be monitored. You can then control a zoom movement along the optical axis to decrease the zoom value and widen the cone of vision;
[0049] · le procédé de peut comprendre, en outre, une modification du plan de vol du drone ; · The method can further comprise a modification of the flight plan of the drone;
[0050] · si une commande de mouvement sur les trois axes de réglage est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on peut arrêter le fonctionnement de la caméra jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée puissent à nouveau être incluses dans les coordonnées spatiales au sol de la zone à surveiller par un mouvement sur au moins un des trois axes de réglage de la caméra ; If a movement command on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then one can stop operation of the camera until the spatial ground coordinates of the determined area of interest can again be included in the ground spatial coordinates of the area to be monitored by movement on at least one of the three adjustment axes of the camera;
[0051] · si une commande de mouvement sur les trois axes de réglage est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on peut arrêter la transmission des images captées la caméra à un centre de surveillance jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée puissent à nouveau être incluses dans les coordonnées spatiales au sol de la zone à surveiller par un mouvement sur au moins un des trois axes de réglage de la caméra. If a movement command on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then one can stop the transmission of the images captured by the camera to a surveillance center until the spatial coordinates on the ground of the determined area of interest can again be included in the spatial coordinates on the ground of the area to be monitored by a movement on au minus one of the three axes of adjustment of the camera.
[0052] L’invention a également pour objet un drone volant autonome de surveillance interne d’une zone à surveiller de coordonnées spatiales au sol connues et ayant au moins une partie bordée extérieurement par une zone interdite de surveillance, le drone étant caractérisé en ce qu’il est muni : The invention also relates to an autonomous flying drone for internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least one part bordered on the outside by a prohibited zone of surveillance, the drone being characterized in that it is provided with:
• d’au moins un microcontrôleur • at least one microcontroller
• d’une mémoire de stockage des coordonnées spatiales de la zone à surveiller et de la zone interdite de surveillance, • a memory for storing the spatial coordinates of the area to be monitored and the area prohibited from monitoring,
• d’au moins une balise GPS et d’un altimètre aptes à transmettre au microcontrôleur les coordonnées spatiales du drone • at least one GPS beacon and an altimeter capable of transmitting the spatial coordinates of the drone to the microcontroller
• d’une caméra réglable selon trois axes de réglage perpendiculaires entre eux, la caméra étant montée rotative autour d’un premier axe panoramique et d’un deuxième axe d’inclinaison perpendiculaires entre eux et étant munie d’un zoom réglable le long d’un troisième axe optique perpendiculaire aux deux autres axes de réglage de la caméra, la caméra étant munie de capteurs de position sur les trois axes de réglage aptes à transmettre au microcontrôleur la position de la caméra sur les trois axes de régalage, et en ce que le microcontrôleur est programmé pour : a) calculer les coordonnées spatiales sur le sol d’une zone d’intérêt déterminée du cône de vision, à partir des coordonnées spatiales du drone et des positions de régalage de la caméra b) comparer les coordonnées spatiales sur le sol de la zone d’intérêt déterminée avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance ; et c) si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, commander automatiquement un mouvement de la caméra sur au moins un des trois axes jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. • a camera adjustable along three adjustment axes perpendicular to each other, the camera being mounted to rotate about a first panoramic axis and a second tilting axis perpendicular to each other and being provided with an adjustable zoom along 'a third optical axis perpendicular to the other two adjustment axes of the camera, the camera being provided with position sensors on the three adjustment axes capable of transmitting to the microcontroller the position of the camera on the three adjustment axes, and in this that the microcontroller is programmed to: a) calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision, from the spatial coordinates of the drone and the adjustment positions of the camera b) compare the spatial coordinates on the ground of the zone of interest determined with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance; and c) if the spatial coordinates on the ground of the area of interest intersect with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance, automatically control a movement of the camera on at least one of the three axes until the spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
[0053] D’autres caractéristiques de l’invention seront énoncées dans la description détaillée ci-après, faite en référence aux dessins annexés, qui représentent, respectivement : Other features of the invention will be set out in the detailed description below, made with reference to the accompanying drawings, which represent, respectively:
[0054] [Fig. 1], une vue schématique en plan d’une zone à surveiller bordée en partie par une zone interdite de captation et par une zone interdite de reconnaissance ; [0054] [Fig. 1], a schematic plan view of an area to be monitored bordered in part by a prohibited capture zone and by a prohibited reconnaissance zone;
[0055] [Fig. 2], une vue schématique de face d’un drone selon l’invention, munie d’une caméra PTZ selon l’invention ; [0056] [Fig. 3], une vue schématique en perspective d’un premier mode de réalisation du procédé de surveillance selon l’invention pour éviter de filmer la zone interdite de captation, avant correction ; [0055] [Fig. 2], a schematic front view of a drone according to the invention, provided with a PTZ camera according to the invention; [0056] [Fig. 3], a schematic perspective view of a first embodiment of the monitoring method according to the invention to avoid filming the prohibited capture zone, before correction;
[0057] [Fig. 4], une vue schématique en perspective d’un premier mode de réalisation du procédé de surveillance selon l’invention pour éviter de filmer la zone interdite de captation, après correction ; [0057] [Fig. 4], a schematic perspective view of a first embodiment of the monitoring method according to the invention to avoid filming the prohibited capture zone, after correction;
[0058] [Fig. 5], une vue schématique en plan de cônes de vision obtenus avec différents réglages de zoom de la caméra du drone selon l’invention ; [0058] [Fig. 5], a schematic plan view of cones of vision obtained with different zoom settings of the camera of the drone according to the invention;
[0059] [Fig. 6], une vue schématique en perspective d’un deuxième mode de réalisation du procédé de surveillance selon l’invention pour éviter de filmer la zone interdite de reconnaissance, avant correction ; [0059] [Fig. 6], a schematic perspective view of a second embodiment of the surveillance method according to the invention to avoid filming the prohibited recognition zone, before correction;
[0060] [Fig. 7], une vue schématique en perspective d’un deuxième mode de réalisation du procédé de surveillance selon l’invention pour éviter de filmer la zone interdite de reconnaissance, après correction ; [0060] [Fig. 7], a schematic perspective view of a second embodiment of the surveillance method according to the invention to avoid filming the prohibited recognition zone, after correction;
[0061] [Fig. 8], une vue schématique en perspective d’une variante de correction du procédé de surveillance selon l’invention pour éviter de filmer la zone interdite de reconnaissance ; et [0061] [Fig. 8], a schematic perspective view of a correction variant of the surveillance method according to the invention to avoid filming the prohibited reconnaissance zone; and
[0062] [Fig. 9], une vue schématique en plan d’une zone à surveiller munie d’une zone de vigilance dans laquelle le procédé de surveillance selon l’invention est déclenché. [0062] [Fig. 9], a schematic plan view of an area to be monitored provided with a vigilance area in which the monitoring method according to the invention is triggered.
[0063] La figure 1 illustre une zone à surveiller ZS entourée de plusieurs types de zones. FIG. 1 illustrates an area to be monitored ZS surrounded by several types of areas.
[0064] La zone à surveiller ZS est bordée par une zone interdite de captation ZIC le long d’une ligne de bordure BL1. Dans cette zone interdite de captation ZIC, des habitations H sont suffisamment proches de la ligne de bordure BL1 pour qu’il soit interdit de filmer leur intérieur. The zone to be monitored ZS is bordered by a prohibited zone ZIC capture along a border line BL1. In this prohibited ZIC capture zone, H dwellings are close enough to the BL1 border line for it to be prohibited to film their interior.
[0065] La zone à surveiller ZS est également bordée par une zone interdite de reconnaissance ZIR le long d’une ligne de bordure BL2. Dans cette zone, il est autorisé de détecter la présence d’objet 01 ou d’individus, mais il est interdit de pouvoir les reconnaître. [0066] Enfin, la zone à surveiller ZS est aussi bordée le long d’une ligne de bordure BL3 par une zone sans interdiction particulière de filmer, symbolisée par une portion de mer M. The zone to be monitored ZS is also bordered by a prohibited zone of ZIR recognition along a border line BL2. In this zone, it is authorized to detect the presence of object 01 or of individuals, but it is forbidden to be able to recognize them. Finally, the zone to be monitored ZS is also bordered along a border line BL3 by an area without any particular prohibition on filming, symbolized by a portion of the sea M.
[0067] La zone à surveiller ZS est parcourue par au moins un drone 100 stocké et rechargé dans une station d’accueil SA lorsqu’il est inactif. The zone to be monitored ZS is traversed by at least one drone 100 stored and recharged in an SA docking station when it is inactive.
[0068] Lorsqu’il surveille la zone ZS, le drone 100 suit un plan de vol PV qui lui est transmis automatiquement par la station d’accueil et qui peut être modifié ponctuellement, en temps réel, par l’utilisateur en charge de la surveillance. When monitoring the ZS zone, the drone 100 follows a PV flight plan which is transmitted to it automatically by the docking station and which can be modified from time to time, in real time, by the user in charge of the surveillance.
[0069] Dans ce cas, l’utilisateur chercher à lever un doute sur une alarme qui a pu se déclencher quelque part dans la zone ZS. Ce faisant, il peut involontairement diriger le drone 100, et en particulier le cône de vision CV de la caméra, vers une zone interdite de surveillance ZIC ou ZIR. [0069] In this case, the user will seek to raise doubts about an alarm that may have been triggered somewhere in the ZS zone. In doing so, he may involuntarily direct the drone 100, and in particular the vision cone CV of the camera, towards a prohibited zone for ZIC or ZIR surveillance.
[0070] Le cône de vision CV est la portion de l'espace vue par la caméra regardant dans l’axe optique Y, à une valeur de zoom déterminée. The CV cone of vision is the portion of space seen by the camera looking in the Y optical axis, at a determined zoom value.
[0071] Le procédé de surveillance selon l’invention permet d’éviter automatiquement que la caméra ne filme de telles zones, même lorsque le drone se rapproche des lignes de bordure BL1 ou BL2. The surveillance method according to the invention makes it possible to automatically prevent the camera from filming such areas, even when the drone approaches the border lines BL1 or BL2.
[0072] Le drone volant autonome 100 selon l’invention est utilisé pour la surveillance interne d’une zone à surveiller de coordonnées spatiales au sol connues et ayant au moins une partie bordée extérieurement par une zone interdite de surveillance. The autonomous flying drone 100 according to the invention is used for the internal surveillance of an area to be monitored with known spatial coordinates on the ground and having at least a part bordered on the outside by a prohibited surveillance zone.
[0073] Comme illustré en figure 2, le drone 100 est muni d’au moins un microcontrôleur 110 programmé pour mettre en oeuvre le procédé selon l’invention, et d’une mémoire de stockage 120 des coordonnées spatiales de la zone à surveiller et de la ou des zone(s) interdite(s) de surveillance. En effet, la zone à surveiller est un site privé défini par une empreinte cadastrale extérieure fixe (appelé « Geofence »). Les zones interdites de contrôle sont également clairement localisées et ce périmètre peut être enregistré dans la mémoire du drone par un polygone. As illustrated in Figure 2, the drone 100 is provided with at least one microcontroller 110 programmed to implement the method according to the invention, and a memory 120 for storing the spatial coordinates of the area to be monitored and of the prohibited surveillance zone (s). Indeed, the area to be monitored is a private site defined by a fixed exterior cadastral footprint (called “Geofence”). The prohibited control zones are also clearly located and this perimeter can be recorded in the drone's memory by a polygon.
[0074] Le drone 100 comprend également au moins une balise GPS 130 et un altimètre 140 aptes à transmettre en temps réel au microcontrôleur 110 les coordonnées spatiales du drone 100. Le drone comprend également une centrale inertielle pour connaître à chaque instant son orientation et son assiette. The drone 100 also comprises at least one GPS beacon 130 and an altimeter 140 capable of transmitting in real time to the microcontroller 110 the spatial coordinates of the drone 100. The drone also includes an inertial unit to know its orientation and attitude at all times.
[0075] Le microcontrôleur 110 est donc capable de situer parfaitement le drone dans l’espace par rapport à la zone à surveiller ZS et aux zones interdites de surveillance ZIS. [0075] The microcontroller 110 is therefore capable of perfectly locating the drone in space with respect to the zone to be monitored ZS and to the prohibited zones for ZIS surveillance.
[0076] Le drone comprend également une caméra 150 réglable selon trois axes de réglage X, Y, Z perpendiculaires entre eux : l’axe panoramique Z qui permet à la caméra de faire pivoter le cône de vision de droite à gauche et inversement, l’axe d’inclinaison X, qui permet à la caméra de faire pivoter le cône de vision de haut en bas et inversement, et l’axe optique Y qui permet à la caméra d’avancer ou de reculer son point focal, et donc, respectivement, de diminuer ou d’augmenter l’angle de champ du cône de vision. The drone also includes a camera 150 adjustable along three adjustment axes X, Y, Z perpendicular to each other: the panoramic axis Z which allows the camera to rotate the cone of vision from right to left and vice versa, the 'X tilt axis, which allows the camera to rotate the cone of vision up and down and vice versa, and the Y optical axis which allows the camera to move its focal point forward or backward, and therefore, respectively, to decrease or increase the field angle of the cone of vision.
[0077] Dans le mode de réalisation illustré, la caméra 150 est fixée au drone par un support articulé et motorisé 160 qui comprend une couronne motorisée 161 rotative autour du premier axe panoramique Z, et solidaire d’une première extrémité d’un bras 162. Le bras 162 comprend une deuxième extrémité fixée à une deuxième couronne motorisée 163 rotative autour du deuxième axe d’inclinaison X, la deuxième couronne motorisée étant également fixée à un étrier 164 de support de la caméra 150. In the illustrated embodiment, the camera 150 is fixed to the drone by an articulated and motorized support 160 which comprises a motorized crown 161 rotating around the first panoramic axis Z, and secured to a first end of an arm 162 The arm 162 comprises a second end fixed to a second motorized ring 163 rotating around the second axis of inclination X, the second motorized ring also being fixed to a bracket 164 for supporting the camera 150.
[0078] Alternativement, la caméra peut être fixée au drone par un support similaire, mais dont la première couronne motorisée est montée rotative autour du deuxième axe d’inclinaison X et la deuxième couronne motorisée est monté rotative autour du premier axe panoramique Z. [0078] Alternatively, the camera can be attached to the drone by a similar support, but the first motorized crown of which is rotatably mounted around the second axis of inclination X and the second motorized crown is rotatably mounted around the first panoramic axis Z.
[0079] Les couronnes motorisées comportent des capteurs aptes à transmettre au microcontrôleur 110 la position de la caméra sur les trois axes de régalage, et donc à déterminer la position angulaire exacte de la caméra par rapport à une position de référence relativement au drone 100. The motorized crowns include sensors capable of transmitting to the microcontroller 110 the position of the camera on the three adjustment axes, and therefore of determining the exact angular position of the camera relative to a reference position relative to the drone 100.
[0080] En connaissant les caractéristiques de la caméra, on peut donc déterminer en temps réel, pendant le vol du drone, la direction du cône de vision et son ouverture angulaire. By knowing the characteristics of the camera, it is therefore possible to determine in real time, during the flight of the drone, the direction of the cone of vision and its angular opening.
[0081] Le procédé de surveillance selon l’invention, prévoit que, partant d’un cône de vision initial (la caméra ayant une position initiale sur chacun des trois axes de réglage), on calcule les coordonnées spatiales sur le sol d’une zone d’intérêt déterminée du cône de vision, puis on compare les coordonnées spatiales sur le sol de la zone d’intérêt déterminée avec les coordonnées spatiales au sol de la zone à surveiller. Si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. The surveillance method according to the invention provides that, starting from an initial cone of vision (the camera having an initial position on each of the three axes of adjustment), we calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision, then we compare the spatial coordinates on the ground of the determined area of interest with the spatial coordinates on the ground of the area to monitor. If the spatial coordinates on the ground of the area of interest are intersecting with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance, a movement of the camera is controlled on at least one of the three axes of adjustment until the spatial ground coordinates of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.
[0082] Tout en continuant de permettre la surveillance de la zone à surveiller, on évite ainsi de capter des images de la zone interdite de surveillance, au lieu d’avoir à la traiter pour ajouter un floutage ou un masquage. While continuing to allow surveillance of the area to be monitored, this avoids capturing images of the prohibited surveillance area, instead of having to process it to add blurring or masking.
[0083] Le procédé permet donc d’économiser de la ressource énergétique et beaucoup de temps de calcul. [0083] The method therefore makes it possible to save energy resources and a great deal of calculation time.
[0084] Un premier mode de réalisation du procédé de surveillance selon l’invention est illustré aux figures 3 et 4. A first embodiment of the monitoring method according to the invention is illustrated in Figures 3 and 4.
[0085] Dans ce mode de réalisation, la zone d’intérêt déterminée du cône de vision est l’intersection ZI1 du cône de vision initial avec le sol. In this embodiment, the determined area of interest of the cone of vision is the intersection ZI1 of the initial cone of vision with the ground.
[0086] On calcule l’intersection ZI1 du cône de vision initial CV1 avec le sol à partir des coordonnées spatiales du drone et du réglage de la caméra sur les trois axes de réglage. En d’autres termes, cette intersection est obtenue en prolongeant, par le calcul, le cône de visualisation jusqu’au niveau du sol. Ceci est possible par la connaissance de la position angulaire de la caméra et de l’altitude du drone (et donc de la caméra). The intersection ZI1 of the initial cone of vision CV1 with the ground is calculated from the spatial coordinates of the drone and the adjustment of the camera on the three adjustment axes. In other words, this intersection is obtained by extending, by calculation, the viewing cone down to ground level. This is possible by knowing the angular position of the camera and the altitude of the drone (and therefore of the camera).
[0087] On obtient, alors, les coordonnées des points 11 , I2, I3, I4 par la connaissance supplémentaire de la position GPS du drone, et donc de la caméra (figure 3). The coordinates of the points 11, I2, I3, I4 are then obtained by the additional knowledge of the GPS position of the drone, and therefore of the camera (FIG. 3).
[0088] Puis, on compare les coordonnées spatiales sur le sol des points 11 , I2, I3, I4 avec les coordonnées spatiales au sol S1 , S2, S3, S4 de la zone à surveiller. Then, the spatial coordinates on the ground of the points 11, I2, I3, I4 are compared with the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored.
[0089] Si l’intersection du cône de vision avec le sol est sécante avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à définir un nouveau cône de vision CV2 dont les coordonnées spatiales au sol de l’intersection ZI1 ’ avec le sol IΊ , G2, G3, G4 sont incluses dans les coordonnées spatiales au sol S1 , S2, S3, S4 de la zone à surveiller. Dans l’exemple de réalisation de la figure 4, le mouvement de la caméra est une rotation autour de l’axe X. Tout s’est passé comme si le drone avait baissé le regard, mais qu’il continue d’observer la zone à surveiller. If the intersection of the cone of vision with the ground is secant with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, a movement of the camera is controlled on at least one of the three axes of adjustment until a new CV2 vision cone is defined, the spatial coordinates on the ground of the intersection ZI1 'with the ground IΊ, G2, G3, G4 are included in the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored. In the embodiment of FIG. 4, the movement of the camera is a rotation around the X axis. Everything happened as if the drone had lowered its gaze, but continues to observe the area. to monitor.
[0090] Bien entendu, le mouvement peut être plus complexe et comprendre, par exemple, une rotation supplémentaire autour de l’axe Z. ceci peut être accompagné d’une augmentation du zoom pour diminuer l’empreinte au sol de l’intersection du cône de vision avec le sol. Of course, the movement can be more complex and include, for example, an additional rotation around the Z axis. This can be accompanied by an increase in the zoom to reduce the footprint of the intersection of the cone of vision with the ground.
[0091] L’invention évite donc un traitement numérique lourd et consommateur de ressource, tout en remplissant les obligations légales, en particulier pour les zones interdites de captation ZIC, puisque la caméra se détourne de ces zones et ne peut en capter aucune image. The invention therefore avoids heavy digital processing that consumes resources, while fulfilling legal obligations, in particular for areas prohibited from ZIC capture, since the camera turns away from these areas and cannot capture any image.
[0092] Ce mode de réalisation est donc particulièrement adapté lorsque le cône de vision est dirigé vers les zones interdites de captation ZIC. This embodiment is therefore particularly suitable when the cone of vision is directed towards the prohibited zones of ZIC capture.
[0093] Le procédé de surveillance selon l’invention propose un deuxième mode de réalisation qui tire parti des obligations légales relatives aux zones interdites de reconnaissance. The surveillance method according to the invention provides a second embodiment which takes advantage of legal obligations relating to prohibited areas from recognition.
[0094] Une caméra a une résolution horizontale (NpixelH = nombre de pixels en horizontal) et une résolution verticale (NpixelV= nombre de pixels en vertical). La caméra a un angle de vue horizontal (FOVH) et vertical (FOVv) exprimé en degrés. Ces angles de vue sont connus pour chaque caméra et reliés entre eux par la formule : A camera has a horizontal resolution (NpixelH = number of pixels in horizontal) and a vertical resolution (NpixelV = number of pixels in vertical). The camera has a horizontal (FOVH) and vertical (FOVv) viewing angle expressed in degrees. These viewing angles are known for each camera and linked together by the formula:
[0095] [Math. 1] [0095] [Math. 1]
Npixely Npixely
[0096] FOVH = FOVv x NpixelH FOV H = FOV v x Npixel H
[0097] Le drone peut contrôler le zoom, l’inclinaison de la caméra autour de l’axe d’inclinaison X et la direction de la prise de vue autour de l’axe panoramique Z. The drone can control the zoom, the tilt of the camera around the X tilt axis, and the direction of the shot around the pan Z axis.
[0098] Pour une résolution seuil donnée Rs (correspondant au nombre de pixels représentant 1 mètre en réel), l’image seuil IS projetée dans le champ de vision de la caméra possède une largeur Lis virtuelle qui se calcule comme suit : For a given threshold resolution Rs (corresponding to the number of pixels representing 1 meter in real time), the threshold image IS projected in the field of view of the camera has a virtual width Lis which is calculated as follows:
[0099] [Math. 2] [0100] L/5 = — x NpixelH [0099] [Math. 2] [0100] L / 5 = - x Npixel H
Rs Rs
[0101] Dans cette image seuil virtuelle IS, chaque pixel aura une résolution égale à la résolution seuil Rs. In this virtual threshold image IS, each pixel will have a resolution equal to the threshold resolution Rs.
[0102] On comprend, comme le montre la figure 5, que l’image seuil IS ayant une largeur constante Lis et qui dépend des caractéristiques techniques de la caméra, elle se situe à différentes distances D1 is, D2is, D3is de la caméra selon la largeur du cône de vision, et donc selon la valeur du zoom. It is understood, as shown in FIG. 5, that the threshold image IS having a constant width Lis and which depends on the technical characteristics of the camera, it is located at different distances D1 is, D2is, D3is from the camera according to the width of the cone of vision, and therefore according to the zoom value.
[0103] Sur cette figure, si la résolution seuil choisie est la résolution permettant une reconnaissance (100 pixels par mètre), la reconnaissance de l’objet 01 ne sera possible qu’au sein du triangle grisé entre la caméra et l’image seuil IS. In this figure, if the threshold resolution chosen is the resolution allowing recognition (100 pixels per meter), the recognition of the object 01 will only be possible within the gray triangle between the camera and the threshold image. IS.
[0104] En figure 5A et 5B, le zoom n’est pas assez puissant pour permettre une reconnaissance de l’objet 01 situé derrière la bordure BL1. En d’autres termes, dans ces figures, la distance DT entre la caméra et l’objet 01 est supérieure aux distances D1 is et D2is entre la caméra et l’image seuil. [0104] In FIGS. 5A and 5B, the zoom is not powerful enough to allow recognition of the object 01 located behind the border BL1. In other words, in these figures, the distance DT between the camera and the object 01 is greater than the distances D1 is and D2is between the camera and the threshold image.
[0105] Ce n’est qu’à partir du zoom de la figure 5C que l’objet 01 se trouve dans le triangle grisé de reconnaissance. En d’autres termes, dans cette figure 5C, la distance DT entre la caméra et l’objet 01 est inférieure à la distance D3is entre la caméra et l’image seuil. [0105] It is only from the zoom of Figure 5C that the object 01 is in the gray triangle of recognition. In other words, in this figure 5C, the distance DT between the camera and the object 01 is less than the distance D3is between the camera and the threshold image.
[0106] Le procédé selon l’invention utilise ce calcul pour un mode de réalisation qui permet d’éviter toute reconnaissance tout en permettant une détection d’objet. [0106] The method according to the invention uses this calculation for an embodiment which makes it possible to avoid any recognition while allowing object detection.
[0107] À cette fin, dans un deuxième mode de réalisation du procédé selon l’invention, illustré aux figures 6 et 7, la zone d’intérêt déterminée ZI2 du cône de vision est un plan du cône de vision perpendiculaire à l’axe optique et correspondant à une image virtuelle de résolution seuil. To this end, in a second embodiment of the method according to the invention, illustrated in Figures 6 and 7, the determined area of interest ZI2 of the cone of vision is a plane of the cone of vision perpendicular to the axis optical and corresponding to a virtual image of threshold resolution.
[0108] Ainsi, on choisit une résolution seuil au-delà de laquelle on ne souhaite pas reconnaître un objet. En France ce seuil est fixé à 100 pixels par mètre. [0108] Thus, we choose a threshold resolution beyond which we do not wish to recognize an object. In France this threshold is set at 100 pixels per meter.
[0109] Puis, on calcule dans le cône de vision initial CV3 (c’est-à-dire avec une valeur de zoom donnée initiale et donc une largeur de champs donnée), la position de l’image virtuelle seuil IS ayant la résolution seuil RS et constituant la zone d’intérêt ZI2. Cette position est déterminée par la distance Dis entre l’image seuil IS et la caméra 150. On peut alors déterminer les coordonnées spatiales IS1 , IS2, IS3 IS4 des sommets de l’image seuil IS. Then, in the initial cone of vision CV3 (that is to say with an initial given zoom value and therefore a given field width), the position of the threshold virtual image IS having the resolution threshold RS and constituting the zone of interest ZI2. This position is determined by the distance Dis between the image threshold IS and the camera 150. It is then possible to determine the spatial coordinates IS1, IS2, IS3 IS4 of the vertices of the threshold image IS.
[0110] Puis, on calcule les coordonnées spatiales au sol P1 , P2, P3, P4 de la projection orthogonale de l’image virtuelle seuil sur le sol. [0110] Then, the spatial coordinates on the ground P1, P2, P3, P4 of the orthogonal projection of the threshold virtual image on the ground are calculated.
[0111] Il suffit, pour cela, de projeter au sol, par le calcul, les coordonnées spatiales IS1 , IS2, IS3 IS4 des sommets de l’image seuil IS. [0111] For this, it suffices to project onto the ground, by calculation, the spatial coordinates IS1, IS2, IS3 IS4 of the vertices of the threshold image IS.
[0112] On compare ensuite les coordonnées spatiales sur le sol P1, P2, P3, P4 de l’image seuil avec les coordonnées spatiales au sol S1 , S2, S3, S4 de la zone à surveiller. [0112] The spatial coordinates on the ground P1, P2, P3, P4 of the threshold image are then compared with the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored.
[0113] Si les coordonnées spatiales au sol de la projection orthogonale de l’image virtuelle seuil sur le sol sont sécantes avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance (figure 6), on commande un mouvement de la caméra sur au moins un des trois axes de réglage (figure 7) jusqu’à définir un nouveau cône de vision CV4 dans lequel les coordonnées spatiales au sol RΊ , P’2, P’3, P’4 de la projection orthogonale de l’image virtuelle seuil constituant la zone d’intérêt ZI2’, de coordonnées spatiales IS’1 , IS’2, IS’3 IS’4, sont incluses dans les coordonnées spatiales au sol S1 , S2, S3, S4 de la zone à surveiller. If the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground intersect with the spatial coordinates on the ground of the zone to be monitored and of the forbidden zone of surveillance (FIG. 6), an order is made. movement of the camera on at least one of the three adjustment axes (figure 7) until a new cone of vision CV4 is defined in which the spatial coordinates on the ground RΊ, P'2, P'3, P'4 of the projection orthogonal of the threshold virtual image constituting the zone of interest ZI2 ', with spatial coordinates IS'1, IS'2, IS'3 IS'4, are included in the spatial coordinates on the ground S1, S2, S3, S4 of the area to be monitored.
[0114] Sur la figure 7, le mouvement de la caméra a été effectué le long de l’axe de zoom Y en réduisant le zoom, et donc en élargissant le cône de vision. [0114] In FIG. 7, the movement of the camera has been effected along the Y zoom axis by reducing the zoom, and therefore by widening the cone of vision.
[0115] Ce faisant, on réduit la distance Dis séparant la caméra 150 de l’image seuil virtuelle IS, ce qui ramène la projection orthogonale de l’image seuil à l’intérieure de la zone à surveiller, et qui permet de continuer d’observer la zone à surveiller. In doing so, the distance Dis separating the camera 150 from the virtual threshold image IS is reduced, which brings back the orthogonal projection of the threshold image inside the zone to be monitored, and which makes it possible to continue d '' observe the area to be monitored.
[0116] Dans un mode de réalisation préféré du procédé de surveillance selon l’invention, la commande de mouvement de la caméra sur au moins un des trois axes de réglage est prioritairement une commande du zoom réglable le long de l’axe optique Y pour diminuer la valeur de zoom et élargir le cône de vision. In a preferred embodiment of the surveillance method according to the invention, the movement control of the camera on at least one of the three adjustment axes is primarily a control of the adjustable zoom along the optical axis Y for decrease the zoom value and widen the cone of vision.
[0117] Ensuite, si cette commande de mouvement du zoom est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on commande un mouvement de la caméra sur au moins un des deux autres axes X, Z pour faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. Then, if this zoom movement command is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then a movement of the camera on at least one of the other two X, Z axes to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
[0118] Ce mode de réalisation est préféré lorsqu’il est possible de continuer à filmer la zone interdite de surveillance du moment qu’il n’est plus possible de reconnaître les objets qui sont dedans. [0118] This embodiment is preferred when it is possible to continue filming the prohibited surveillance zone as long as it is no longer possible to recognize the objects which are there.
[0119] En effet, comme le montrent la figure 7, le cône de vision CV4 présente toujours une intersection l”1 , l”2, l”3, l”4 avec la ligne de bordure BL2, et donc avec la zone interdite de surveillance, mais cela n’a pas d’importance puisque les objets qui sont situés dans cette zone interdite de surveillance sont situés derrière l’image de résolution seuil, et ne peuvent donc être reconnus. In fact, as shown in FIG. 7, the vision cone CV4 always has an intersection l ”1, l” 2, l ”3, l” 4 with the border line BL2, and therefore with the prohibited zone. surveillance, but it does not matter since the objects which are located in this surveillance prohibited zone are located behind the image of threshold resolution, and therefore cannot be recognized.
[0120] Dans certains cas, il peut être préférable que la commande de mouvement de la caméra sur au moins un des trois axes de réglage soit prioritairement une commande autour du premier axe panoramique Z et/ou autour du deuxième axe d’inclinaison X, ce qui permet de faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. On peut ensuite commander un mouvement du zoom le long de l’axe optique Y pour diminuer la valeur de zoom et élargir le cône de vision. [0120] In certain cases, it may be preferable that the movement control of the camera on at least one of the three adjustment axes is primarily a control around the first panoramic axis Z and / or around the second tilt axis X, which makes it possible to rotate the cone of vision until the spatial coordinates on the ground of the determined area of interest are included in the spatial coordinates on the ground of the area to be monitored. You can then command a zoom movement along the optical Y axis to decrease the zoom value and widen the cone of vision.
[0121] On évite, ainsi, toute captation d’image en dehors de la zone à surveiller, en détournant le regard de la caméra. [0121] In this way, any image capture outside the area to be monitored is avoided by looking away from the camera.
[0122] Bien entendu, une combinaison de mouvement selon les trois axes peut être préférée, selon, notamment, mais non exclusivement, le plan de vol du drone, et sa direction de vol par rapport à la ligne de bordure en question. [0122] Of course, a combination of movement along the three axes may be preferred, depending in particular, but not exclusively, on the flight plan of the drone, and its direction of flight with respect to the border line in question.
[0123] Dans une variante de réalisation, le procédé de surveillance selon l’invention peut comprendre, en outre, une modification du plan de vol du drone. [0123] In an alternative embodiment, the monitoring method according to the invention can further comprise a modification of the flight plan of the drone.
[0124] Un exemple est illustré en figure 8 qui montre une réaction possible à la détection, en figure 6, d’une intersection entre la projection orthogonale au sol de l’image seuil et la ligne de bordure. [0124] An example is illustrated in Figure 8 which shows a possible reaction to the detection, in Figure 6, of an intersection between the orthogonal ground projection of the threshold image and the border line.
[0125] Sur cette figure 8, le drone a combiné automatiquement un pivotement de la caméra autour de l’axe d’inclinaison X, mais également une prise d’altitude du drone matérialisée par la flèche F1 , jusqu’à définir un nouveau cône de vision CV5 dans lequel les coordonnées spatiales au sol P”1 , P”2, P”3, P”4 de la projection orthogonale de l’image virtuelle seuil IS”1 , IS”2, IS”3, IS”4 sur le sol sont incluses dans les coordonnées spatiales au sol S1 , S2, S3, S4 de la zone à surveiller. [0125] In this figure 8, the drone has automatically combined a pivoting of the camera around the tilting axis X, but also an altitude gain of the drone materialized by the arrow F1, until a new cone is defined. of vision CV5 in which the spatial coordinates on the ground P ”1, P” 2, P ”3, P” 4 of the orthogonal projection of the threshold virtual image IS ”1, IS” 2, IS ”3, IS” 4 on the ground are included in the spatial ground coordinates S1, S2, S3, S4 of the area to be monitored.
[0126] Le procédé selon l’invention peut prévoir, que dans certaines conditions extrêmes dans lesquelles une commande de mouvement sur les trois axes de réglage est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors soit on arrête le fonctionnement de la caméra, soit on arrête la transmission des images captées la caméra au centre de surveillance. The method according to the invention can provide, that in certain extreme conditions in which a movement control on the three adjustment axes is insufficient to allow the spatial coordinates on the ground of the determined area of interest to be included in the values. spatial coordinates on the ground of the area to be monitored, then either the operation of the camera is stopped, or the transmission of the images captured by the camera to the monitoring center is stopped.
[0127] Cela n’empêche pas le drone de continuer les calculs selon le procédé pour redémarrer la caméra ou la transmission des images dès que les coordonnées spatiales au sol de la zone d’intérêt déterminée puissent à nouveau être incluses dans les coordonnées spatiales au sol de la zone à surveiller par un mouvement sur au moins un des trois axes de réglage de la caméra. [0127] This does not prevent the drone from continuing the calculations according to the method for restarting the camera or the transmission of the images as soon as the spatial coordinates on the ground of the determined area of interest can again be included in the spatial coordinates on the ground. ground of the area to be monitored by movement on at least one of the three adjustment axes of the camera.
[0128] Puisque la zone à surveiller est constante, et que, généralement, le volume de vol est aussi prédéfini (le drone n’a pas l’autorisation de voler au-dessus d’une altitude limite), il est possible de définir une zone de vigilance ZV à partir des spécificités techniques de la caméra embarquée dans le drone. [0128] Since the area to be monitored is constant, and that, generally, the flight volume is also predefined (the drone does not have the authorization to fly above a limit altitude), it is possible to define a ZV vigilance zone based on the technical specificities of the camera on board the drone.
[0129] Cette zone de vigilance ZV est définie comme la zone dans laquelle la caméra est susceptible de capter des images interdites dans un au moins de ses réglages. Elle est définie par une bande de largeur déterminée LZVqui borde intérieurement la partie de la zone à surveiller qui est bordée extérieurement par la zone interdite de surveillance. La largeur déterminée est calculée en fonction des spécificités techniques de la caméra. Dès que la caméra se situe dans cette bande, elle est capable techniquement de capturer une image interdite. Dès que la caméra est située en dehors de cette bande, vers l’intérieur de la zone à surveiller, elle ne peut plus capter d’image interdite (par exemple, aucune image, même si le zoom est maximal, n’a une résolution suffisante pour permettre une reconnaissance. This zone of vigilance ZV is defined as the zone in which the camera is likely to capture images prohibited in at least one of its settings. It is defined by a strip of determined width LZV which internally borders the part of the zone to be monitored which is bordered on the outside by the prohibited surveillance zone. The determined width is calculated according to the technical specifications of the camera. As soon as the camera is in this band, it is technically capable of capturing a prohibited image. As soon as the camera is located outside this band, towards the interior of the area to be monitored, it can no longer capture a prohibited image (for example, no image, even if the zoom is maximum, has a resolution sufficient to allow recognition.
[0130] Cela ne signifie pas que la caméra captera nécessairement ces images interdites si le drone est dans la zone de vigilance. Par exemple, comme illustré en figure 9, bien que le drone 101 soit dans la zone de vigilance Z V, son cône de vision 102a n’est pas du tout dirigé vers une zone interdite de surveillance. [0130] This does not mean that the camera will necessarily capture these prohibited images if the drone is in the vigilance zone. For example, as illustrated in FIG. 9, although the drone 101 is in the zone of vigilance ZV, its cone of vision 102a is not at all directed towards a prohibited zone of surveillance.
[0131] Cependant, cela signifie que, conformément à un mode de réalisation avantageux du procédé de surveillance selon l’invention, les calculs des coordonnées spatiales sur le sol de la zone d’intérêt déterminée se déclenchent dès que le drone se situe dans la zone de vigilance ZV. Dans le cas de la figure 9, le drone 101 étant dans la zone de vigilance ZV, il effectue les calculs et il sait qu’il n’y a pas de problème puisque le cône de vision 101a n’est pas dirigé vers une zone interdite de surveillance et que les coordonnées spatiales sur le sol d’une zone d’intérêt déterminée du cône de vision ne sont pas sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance. However, this means that, in accordance with an advantageous embodiment of the monitoring method according to the invention, the calculations of the spatial coordinates on the ground of the determined area of interest are triggered as soon as the drone is in the area. ZV vigilance zone. In the case of figure 9, the drone 101 being in the zone of vigilance ZV, it carries out the calculations and it knows that there is no problem since the cone of vision 101a is not directed towards a zone prohibited from surveillance and that the spatial coordinates on the ground of a determined zone of interest of the cone of vision do not intersect with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance.
[0132] De même, le drone 102 n’étant pas dans la zone de vigilance, il n’y a aucun risque qu’il capte des images interdites, même si son cône de vision 102a est dirigé vers une zone interdite de surveillance. [0132] Likewise, the drone 102 not being in the zone of vigilance, there is no risk that it will capture prohibited images, even if its cone of vision 102a is directed towards a prohibited zone of surveillance.
[0133] Ce mode de réalisation conditionnel du procédé de surveillance selon l’invention éviter de consommer de la ressource énergétique et de la ressource de calcul inutilement. [0133] This conditional embodiment of the monitoring method according to the invention avoids consuming the energy resource and the computing resource unnecessarily.
[0134] Le procédé selon l’invention décrit précédemment est mis en oeuvre automatiquement par le drone dont le microcontrôleur est programmé pour : [0134] The method according to the invention described above is implemented automatically by the drone whose microcontroller is programmed for:
[0135] a) calculer les coordonnées spatiales sur le sol d’une zone d’intérêt déterminée du cône de vision (intersection ou projection orthogonale de l’image seuil sur le sol), à partir des coordonnées spatiales du drone et des positions de régalage de la caméra [0135] a) calculate the spatial coordinates on the ground of a determined area of interest of the cone of vision (intersection or orthogonal projection of the threshold image on the ground), from the spatial coordinates of the drone and the positions of camera adjustment
[0136] b) comparer les coordonnées spatiales sur le sol de la zone d’intérêt déterminée avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance ; et [0136] b) compare the spatial coordinates on the ground of the determined area of interest with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance; and
[0137] c) si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, commander automatiquement un mouvement de la caméra sur au moins un des trois axes jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. [0137] c) if the spatial coordinates on the ground of the zone of interest intersect with the spatial coordinates on the ground of the zone to be monitored and of the prohibited zone of surveillance, automatically controlling a movement of the camera on at least one of the three axes until the coordinates spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
[0138] Le procédé selon l’invention peut servir de garde-fou en interdisant à un opérateur de forcer l’observation d’une zone interdite de surveillance. [0138] The method according to the invention can serve as a safeguard by preventing an operator from forcing observation of a zone prohibited from surveillance.
[0139] Ainsi, lorsqu’un opérateur envoie un ordre de pointage de caméra au drone, ce dernier reçoit cet ordre puis calcule le futur champ de vision qu’il aurait s’il applique l’ordre. Il détermine alors s’il y aurait un conflit après mouvement, c’est- à-dire si les coordonnées spatiales sur le sol de la zone d’intérêt seraient sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance. [0139] Thus, when an operator sends a camera aiming order to the drone, the latter receives this order and then calculates the future field of view that it would have if he applied the order. It then determines if there would be a conflict after movement, i.e. if the spatial coordinates on the ground of the area of interest would intersect with the spatial coordinates on the ground of the area to be monitored and of the surveillance prohibited area.
[0140] S’il n’y en a pas, alors le drone applique l’ordre et pointe la caméra dans la direction requise, avec le réglage caméra requis. [0140] If there is none, then the drone applies the command and points the camera in the required direction, with the required camera setting.
[0141] S’il y a conflit, il détermine les angles maximums de rotation qu’il peut autoriser. Ce seront ces angles qui seront alors appliqués à la caméra. Alternativement ou en combinaison, le drone détermine la valeur de zoom maximale qu’il peut autoriser. Ce sera ce zoom qui sera alors appliqué à la caméra. [0141] If there is a conflict, it determines the maximum angles of rotation it can allow. These angles will then be applied to the camera. Alternatively or in combination, the drone determines the maximum zoom value it can allow. It will be this zoom which will then be applied to the camera.
[0142] Un message indiquant la raison de ce blocage peut être généré et affiché devant l’opérateur, et une alerte peut être enregistrée dans l’historique de vol du drone. [0142] A message indicating the reason for this blockage can be generated and displayed in front of the operator, and an alert can be recorded in the flight history of the drone.
[0143] Non seulement le procédé selon l’invention ne nécessite pas de lourdes ressources de calcul, mais en plus il est mis en oeuvre automatiquement, quelle que soit la position du drone dans l’espace, tout en permettant de poursuivre la surveillance de la zone à surveiller. [0143] Not only does the method according to the invention not require heavy computing resources, but in addition it is implemented automatically, regardless of the position of the drone in space, while making it possible to continue the monitoring of the drone. the area to be monitored.
[0144] L’approche est ici différente de celle de l’art antérieur puisqu’au lieu de devoir supprimer a posteriori des portions d’image, on supprime tout simplement la possibilité de pointer la caméra là où elle ne devrait pas. [0144] The approach here is different from that of the prior art since instead of having to remove portions of the image a posteriori, we simply eliminate the possibility of pointing the camera where it shouldn't.
[0145] Il n’y a donc plus besoin de post traitement gourmand en calculs ce qui permet de l’intégrer à bord d’un micro UAV, le tout en supprimant le lourd travail d’entraînement et de qualification des algorithmes de détection et d’identification vidéo. [0145] There is therefore no longer any need for computationally intensive post-processing, which makes it possible to integrate it on board a micro UAV, while eliminating the heavy training and qualification work of the detection algorithms and video identification.

Claims

Revendications Claims
[Revendication 1] Procédé de surveillance interne d’une zone à surveiller (ZS) de coordonnées spatiales au sol connues (S1-S2-S3-S4) et ayant au moins une partie bordée extérieurement par une zone interdite de surveillance (ZIS, ZIC, ZIR), avec un drone volant autonome (100) suivant un plan de vol déterminé (PV) et muni d’une caméra (150) réglable selon trois axes de réglage perpendiculaires entre eux, la caméra (150) étant montée rotative autour d’un premier axe de réglage panoramique (Z) et d’un deuxième axe de réglage d’inclinaison (X) perpendiculaires entre eux, et étant munie d’un zoom réglable le long d’un troisième axe de réglage optique (Y) perpendiculaire aux deux autres axes de réglage de la caméra, la caméra ayant une position initiale sur chacun des trois axes de réglage définissant un cône de vision initial (CV1), le procédé étant caractérisé en ce qu’il comprend les étapes suivantes : a) on calcule les coordonnées spatiales (11-12-13-14, P1-P2-P3-P4), sur le sol d’une zone d’intérêt déterminée (ZI1 , ZI2) du cône de vision, puis ; b) on compare les coordonnées spatiales sur le sol de la zone d’intérêt déterminée (ZI1 , ZI2) avec les coordonnées spatiales au sol (S1-S2-S3-S4) de la zone à surveiller ; c) si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à ce que les coordonnées spatiales au sol (l’1-l’2-l’3-l’4, P’1-P’2-P’3-P’4, P”1-P”2-P”3- P”4) de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. [Claim 1] A method of internal surveillance of an area to be monitored (ZS) of known spatial coordinates on the ground (S1-S2-S3-S4) and having at least one part bordered on the outside by a prohibited surveillance zone (ZIS, ZIC , ZIR), with an autonomous flying drone (100) following a determined flight plan (PV) and equipped with a camera (150) adjustable along three adjustment axes perpendicular to each other, the camera (150) being mounted to rotate around it '' a first pan adjustment axis (Z) and a second tilt adjustment axis (X) perpendicular to each other, and being provided with an adjustable zoom along a third optical adjustment axis (Y) perpendicular to the other two adjustment axes of the camera, the camera having an initial position on each of the three adjustment axes defining an initial cone of vision (CV1), the method being characterized in that it comprises the following steps: a) on calculate the spatial coordinates (11-12-13-14, P1-P2-P3-P4), on the ground of a zone e of determined interest (ZI1, ZI2) of the cone of vision, then; b) the spatial coordinates on the ground of the determined area of interest (ZI1, ZI2) are compared with the spatial coordinates on the ground (S1-S2-S3-S4) of the area to be monitored; c) if the spatial coordinates on the ground of the zone of interest are intersecting with the spatial coordinates on the ground of the zone to be monitored and of the forbidden zone of surveillance, a movement of the camera is ordered on at least one of the three adjustment axes until the spatial coordinates on the ground (l'1-l'2-l'3-l'4, P'1-P'2-P'3-P'4, P ”1- P ”2-P” 3- P ”4) of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.
[Revendication 2] Procédé de surveillance selon la revendication 1 , dans lequel la zone d’intérêt déterminée du cône de vision est une intersection du cône de vision initial avec le sol, et dans lequel, on calcule l’intersection du cône de vision initial avec le sol à partir des coordonnées spatiales du drone et du réglage de la caméra sur les trois axes de réglage, et si l’intersection du cône de vision avec le sol est sécante avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à définir un nouveau cône de vision dont les coordonnées spatiales au sol de l’intersection avec le sol sont incluses dans les coordonnées spatiales au sol de la zone à surveiller. [Claim 2] The monitoring method according to claim 1, in which the determined area of interest of the cone of vision is an intersection of the initial cone of vision with the ground, and in which the intersection of the initial cone of vision is calculated. with the ground from the spatial coordinates of the drone and the setting of the camera on the three adjustment axes, and if the intersection of the cone of vision with the ground is secant with the spatial coordinates on the ground of the area to be monitored and of the forbidden surveillance zone, a movement of the camera is controlled on at least one of the three adjustment axes until defining a new cone of vision whose spatial coordinates on the ground of the intersection with the ground are included in the spatial coordinates on the ground of the area to be monitored.
[Revendication 3] Procédé de surveillance selon la revendication 1 , dans lequel la zone d’intérêt déterminée du cône de vision est un plan du cône de vision perpendiculaire à l’axe optique et correspondant à une image virtuelle de résolution seuil, et dans lequel on choisit une résolution seuil au-delà de laquelle on ne souhaite pas obtenir une reconnaissance d’objet, on calcule dans le cône de vision initial, une position d’une image virtuelle seuil ayant la résolution seuil, on calcule les coordonnées spatiales au sol d’une projection orthogonale de l’image virtuelle seuil sur le sol, et si les coordonnées spatiales au sol de la projection orthogonale de l’image virtuelle seuil sur le sol sont sécantes avec les coordonnées spatiales au sol de la zone à surveiller et de la zone interdite de surveillance, on commande un mouvement de la caméra sur au moins un des trois axes de réglage jusqu’à définir un nouveau cône de vision dans lequel les coordonnées spatiales au sol de la projection orthogonale de l’image virtuelle seuil sur le sol sont incluses dans les coordonnées spatiales au sol de la zone à surveiller. [Claim 3] The monitoring method according to claim 1, in which the determined area of interest of the cone of vision is a plane of the cone of vision perpendicular to the optical axis and corresponding to a virtual image of threshold resolution, and in which we choose a threshold resolution beyond which we do not want to obtain object recognition, we calculate in the initial cone of vision, a position of a threshold virtual image having the threshold resolution, we calculate the spatial coordinates on the ground an orthogonal projection of the threshold virtual image on the ground, and if the spatial coordinates on the ground of the orthogonal projection of the threshold virtual image on the ground intersect with the spatial coordinates on the ground of the area to be monitored and of the prohibited surveillance zone, a movement of the camera is controlled on at least one of the three adjustment axes until a new cone of vision is defined in which the spatial coordinates on the ground of the projectio n orthogonal to the threshold virtual image on the ground are included in the spatial ground coordinates of the area to be monitored.
[Revendication 4] Procédé de surveillance selon l’une quelconque des revendications 1 à 3, dans lequel les calculs des coordonnées spatiales sur le sol de la zone d’intérêt déterminée ne sont déclenchés que dans une zone de vigilance (ZV), bordant intérieurement la partie de la zone à surveiller (ZS) qui est bordée extérieurement par la zone interdite de surveillance (ZIS). [Claim 4] The monitoring method according to any one of claims 1 to 3, in which the calculations of the spatial coordinates on the ground of the determined zone of interest are only triggered in a vigilance zone (ZV), bordering internally the part of the zone to be monitored (ZS) which is bordered on the outside by the prohibited surveillance zone (ZIS).
[Revendication 5] Procédé de surveillance selon l’une quelconque des revendications 1 à 4, dans lequel la commande de mouvement de la caméra sur au moins un des trois axes de réglage est prioritairement une commande du zoom réglable le long de l’axe optique (Y) pour diminuer la valeur de zoom et élargir le cône de vision. [Claim 5] A monitoring method according to any one of claims 1 to 4, wherein the control of movement of the camera on at least one of the three adjustment axes is primarily an adjustable zoom control along the optical axis. (Y) to decrease the zoom value and widen the cone of vision.
[Revendication 6] Procédé de surveillance selon la revendication 5, dans lequel si une commande de mouvement du zoom est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on commande ensuite un mouvement de la caméra sur au moins un des deux autres axes (Z, X) pour faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. [Claim 6] A monitoring method according to claim 5, wherein if a zoom movement control is insufficient to allow the spatial ground coordinates of the determined area of interest to be included in the ground spatial coordinates of the area to be monitor, then we command a movement of the camera on at least one of the other two axes (Z, X) to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the ground spatial coordinates of the area to be monitored.
[Revendication 7] Procédé de surveillance selon l’une quelconque des revendications 1 à 4, dans lequel la commande de mouvement de la caméra sur au moins un des trois axes de réglage est prioritairement une commande autour du premier axe panoramique (Z) et/ou du deuxième axe d’inclinaison[Claim 7] Surveillance method according to any one of claims 1 to 4, in which the control of movement of the camera on at least one of the three adjustment axes is primarily a control around the first panoramic axis (Z) and / or the second tilt axis
(X) pour faire pivoter le cône de vision jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. (X) to rotate the cone of vision until the spatial ground coordinates of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.
[Revendication 8] Procédé de surveillance selon la revendication 7, dans lequel on commande ensuite un mouvement du zoom le long de l’axe optique[Claim 8] A monitoring method according to claim 7, wherein a movement of the zoom is then controlled along the optical axis
(Y) pour diminuer la valeur de zoom et élargir le cône de vision. (Y) to decrease the zoom value and widen the cone of vision.
[Revendication 9] Procédé de surveillance selon l’une quelconque des revendications 1 à 8, comprenant, en outre, une modification du plan de vol (PV) du drone. [Claim 9] A monitoring method according to any one of claims 1 to 8, further comprising a modification of the flight plan (PV) of the drone.
[Revendication 10] Procédé de surveillance selon l’une quelconque des revendications 1 à 9, dans lequel si une commande de mouvement sur les trois axes de réglage est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on arrête le fonctionnement de la caméra jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée puissent à nouveau être incluses dans les coordonnées spatiales au sol de la zone à surveiller par un mouvement sur au moins un des trois axes de réglage de la caméra. [Claim 10] A monitoring method according to any one of claims 1 to 9, wherein if movement control on the three adjustment axes is insufficient to allow the spatial ground coordinates of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then the operation of the camera is stopped until the spatial coordinates on the ground of the determined area of interest can again be included in the spatial coordinates on the ground of the area to be monitored by movement on at least one of the three adjustment axes of the camera.
[Revendication 11] Procédé de surveillance selon l’une quelconque des revendications 1 à 9, dans lequel si une commande de mouvement sur les trois axes de réglage est insuffisante pour permettre que les coordonnées spatiales au sol de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller, alors on arrête la transmission des images captées la caméra à un centre de surveillance jusqu’à ce que les coordonnées spatiales au sol de la zone d’intérêt déterminée puissent à nouveau être incluses dans les coordonnées spatiales au sol de la zone à surveiller par un mouvement sur au moins un des trois axes de réglage de la caméra. [Claim 11] A monitoring method according to any one of claims 1 to 9, wherein if movement control on the three adjustment axes is insufficient to allow the spatial ground coordinates of the determined area of interest to be included in the spatial coordinates on the ground of the area to be monitored, then the transmission of the images captured by the camera to a surveillance center is stopped until the spatial coordinates on the ground of the determined area of interest can again be included in spatial coordinates on the ground of the area to be monitored by movement on at least one of the three adjustment axes of the camera.
[Revendication 12] Drone volant autonome (100) de surveillance interne d’une zone à surveiller (ZS) de coordonnées spatiales au sol connues (S1- S2-S3-S4) et ayant au moins une partie bordée extérieurement par une zone interdite de surveillance (ZIS), le drone étant caractérisé en ce qu’il est muni : [Claim 12] Autonomous flying drone (100) for internal surveillance of an area to be monitored (ZS) of known spatial coordinates on the ground (S1-S2-S3-S4) and having at least one part bordered on the outside by a forbidden zone of surveillance (ZIS), the drone being characterized in that it is equipped with:
• d’au moins un microcontrôleur (110) • at least one microcontroller (110)
• d’une mémoire de stockage (120) des coordonnées spatiales de la zone à surveiller et de la zone interdite de surveillance, • a storage memory (120) of the spatial coordinates of the area to be monitored and the area prohibited from monitoring,
• d’au moins une balise GPS (130) et d’un altimètre (140) aptes à transmettre au microcontrôleur les coordonnées spatiales du drone • at least one GPS beacon (130) and an altimeter (140) capable of transmitting the spatial coordinates of the drone to the microcontroller
• d’une caméra (150) réglable selon trois axes de réglage (X, Y, Z) perpendiculaires entre eux, la caméra (150) étant montée rotative autour d’un premier axe panoramique (Z) et d’un deuxième axe d’inclinaison (X) perpendiculaires entre eux et étant munie d’un zoom réglable le long d’un troisième axe optique (Y) perpendiculaire aux deux autres axes de réglage de la caméra, la caméra étant munie de capteurs de position sur les trois axes de réglage aptes à transmettre au microcontrôleur la position de la caméra sur les trois axes de régalage, et en ce que le microcontrôleur est programmé pour : a) calculer les coordonnées spatiales (11-12-13-14, P1-P2-P3-P4) sur le sol d’une zone d’intérêt déterminée (ZI1 , ZI2) du cône de vision, à partir des coordonnées spatiales du drone et des positions de régalage de la caméra b) comparer les coordonnées spatiales sur le sol de la zone d’intérêt déterminée (ZI1 , ZI2) avec les coordonnées spatiales au sol (S1-S2-S3-S4) de la zone à surveiller et de la zone interdite de surveillance ; et c) si les coordonnées spatiales sur le sol de la zone d’intérêt sont sécantes avec les coordonnées spatiales sur le sol de la zone à surveiller et de la zone interdite de surveillance, commander automatiquement un mouvement de la caméra sur au moins un des trois axes jusqu’à ce que les coordonnées spatiales au sol (l’1-l’2-l’3-l’4, P’1-P’2-P’3-P’4, P”1-P”2-P”3- P”4) de la zone d’intérêt déterminée soient incluses dans les coordonnées spatiales au sol de la zone à surveiller. • a camera (150) adjustable along three adjustment axes (X, Y, Z) perpendicular to each other, the camera (150) being mounted to rotate around a first panoramic axis (Z) and a second axis d 'tilt (X) perpendicular to each other and being provided with an adjustable zoom along a third optical axis (Y) perpendicular to the other two adjustment axes of the camera, the camera being provided with position sensors on the three axes adjustment devices capable of transmitting to the microcontroller the position of the camera on the three adjustment axes, and in that the microcontroller is programmed to: a) calculate the spatial coordinates (11-12-13-14, P1-P2-P3- P4) on the ground of a determined area of interest (ZI1, ZI2) of the cone of vision, from the spatial coordinates of the drone and the camera adjustment positions b) compare the spatial coordinates on the ground of the area of interest determined (ZI1, ZI2) with the spatial coordinates on the ground (S1-S2-S3-S4) of the area to be monitored and of the forbidden surveillance zone; and c) if the spatial coordinates on the ground of the area of interest intersect with the spatial coordinates on the ground of the area to be monitored and of the prohibited area of surveillance, automatically control a movement of the camera on at least one of the three axes until the spatial coordinates on the ground (l'1-l'2-l'3-l'4, P'1-P'2-P'3-P'4, P ”1-P ”2-P” 3- P ”4) of the determined area of interest are included in the spatial ground coordinates of the area to be monitored.
PCT/EP2020/078179 2019-10-24 2020-10-07 Method for drone surveillance of an area to be monitored having at least one part bordered externally by an area in which surveillance is prohibited WO2021078523A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1911898 2019-10-24
FR1911898A FR3102578B1 (en) 2019-10-24 2019-10-24 Method for surveillance by drone of an area to be monitored having at least one part bordered on the outside by a prohibited area for surveillance

Publications (1)

Publication Number Publication Date
WO2021078523A1 true WO2021078523A1 (en) 2021-04-29

Family

ID=69173068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/078179 WO2021078523A1 (en) 2019-10-24 2020-10-07 Method for drone surveillance of an area to be monitored having at least one part bordered externally by an area in which surveillance is prohibited

Country Status (2)

Country Link
FR (1) FR3102578B1 (en)
WO (1) WO2021078523A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095066A (en) * 2023-10-18 2023-11-21 智广海联(天津)大数据技术有限公司 Method and device for marking PTZ camera screen

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923406B (en) * 2021-09-29 2023-05-12 四川警察学院 Method, device, equipment and storage medium for adjusting video monitoring coverage area

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020673A1 (en) * 2016-07-29 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント Image management system and unmanned flying body
KR20190104015A (en) * 2019-08-16 2019-09-05 엘지전자 주식회사 A method for photographing an unmanned aerial robot and a device for supporting the same in an unmanned aerial vehicle system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020673A1 (en) * 2016-07-29 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント Image management system and unmanned flying body
US20200053256A1 (en) * 2016-07-29 2020-02-13 Sony Interactive Entertainment Inc. Image management system and unmanned flying body
KR20190104015A (en) * 2019-08-16 2019-09-05 엘지전자 주식회사 A method for photographing an unmanned aerial robot and a device for supporting the same in an unmanned aerial vehicle system
US20200036886A1 (en) * 2019-08-16 2020-01-30 Lg Electronics Inc. Method for photographing an unmanned aerial robot and a device for supporting the same in an unmanned aerial vehicle system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095066A (en) * 2023-10-18 2023-11-21 智广海联(天津)大数据技术有限公司 Method and device for marking PTZ camera screen
CN117095066B (en) * 2023-10-18 2024-01-05 智广海联(天津)大数据技术有限公司 Method and device for marking PTZ camera screen

Also Published As

Publication number Publication date
FR3102578A1 (en) 2021-04-30
FR3102578B1 (en) 2022-06-03

Similar Documents

Publication Publication Date Title
US20120242782A1 (en) Image capture device and image processing method
WO2021078523A1 (en) Method for drone surveillance of an area to be monitored having at least one part bordered externally by an area in which surveillance is prohibited
EP3270365B1 (en) A device for assisting the piloting of a rotorcraft, an associated display, and a corresponding method of assisting piloting
EP2119226A2 (en) Device and method for watching real-time augmented reality
FR3038482A1 (en) CAMERA BLOCK CAPABLE OF INBOARDING A DRONE FOR MAPPING A FIELD AND METHOD OF MANAGING IMAGE CAPTURE BY A CAMERA BLOCK
FR3087134A1 (en) OBSTACLE DETECTION ASSEMBLY FOR DRONE, DRONE HAVING SUCH AN OBSTACLE DETECTION ASSEMBLY, AND OBSTACLE DETECTION METHOD
EP2791914A1 (en) System for filming a video movie
FR2944934A1 (en) Sites monitoring method for communication network, involves initially modifying video stream by integration of reference elements adapted to scenic contents of each image in order to identify causes of event
EP2689403A1 (en) Monitoring system
WO2013160255A1 (en) Display device suitable for providing an extended field of vision
EP3367353B1 (en) Control method of a ptz camera, associated computer program product and control device
EP3602253B1 (en) Transparency system for commonplace camera
WO2019158880A1 (en) Device for scalable tactical mapping in an exterior environment, associated system and method
EP3008693A1 (en) System for tracking the position of the shooting camera for shooting video films
EP3571468A1 (en) Method for observing the surface of the earth and device for implementing same
EP4177839A1 (en) Method for determining calibration parameters of an image capturing device and associated computer program product
CA2543150A1 (en) Method and device for capturing a large-field image and region of interest thereof
CH709409A2 (en) Method and system for capturing a series of images 360 from successive locations.
CA3170481A1 (en) Method for assisting in the detection of elements, and associated device and platform
CH710095A2 (en) portable system for capturing a series of panoramic images, 360 °.
EP1206129A1 (en) Computer-aided image producing system
EP3072110B1 (en) Method for estimating the movement of an object
WO2010020624A1 (en) Method of metric telemetry
CA2943912C (en) Optoelectronic surveillance system with variable optical field
EP4321954A2 (en) Method and device for automatically guiding an autonomous aircraft

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20781604

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20781604

Country of ref document: EP

Kind code of ref document: A1