WO2025169697A1 - 飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体 - Google Patents
飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体Info
- Publication number
- WO2025169697A1 WO2025169697A1 PCT/JP2025/001507 JP2025001507W WO2025169697A1 WO 2025169697 A1 WO2025169697 A1 WO 2025169697A1 JP 2025001507 W JP2025001507 W JP 2025001507W WO 2025169697 A1 WO2025169697 A1 WO 2025169697A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- flying object
- detected
- captured
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- This disclosure relates to an airborne object detection device, an airborne object detection system, an airborne object detection method, and a program storage medium for detecting airborne objects.
- No-fly zones for example, the airspace above airports and important facilities and the surrounding areas
- unmanned aerial vehicles small unmanned aircraft
- UAVs Unmanned Aerial Vehicles
- Patent Document 1 JP 2018-101987 A discloses technology for detecting UAVs that appear in a monitored area using audio data collected by a microphone that picks up sound in the monitored area.
- UAVs unmanned aerial vehicles flying in no-fly zones
- One possible method for detecting unmanned aerial vehicles (UAVs) flying in no-fly zones is to use images captured by a camera.
- UAVs are detected from images captured by a camera by analyzing the images of the no-fly zone.
- this method there are cases where it is desirable to detect UAVs in no-fly zones while limiting the number of camera devices used, due to factors such as the installation location and cost of the camera devices that capture the no-fly zones.
- the main purpose of this disclosure is to provide technology that detects target flying objects in a surveillance area while reducing the number of installed imaging devices.
- the flying object detection device of the present disclosure as one aspect thereof, an acquisition unit that acquires a captured image captured by an image capturing device that captures an image of a monitoring area; an extracting unit that extracts, from the captured image, image regions associated with a plurality of airspaces at different distances from the image capturing device; a reduction unit that generates an analysis target image by reducing each image region extracted from the captured image by a reduction rate determined using the distance between the airspace related to the image region and the image capture device; a detection unit that detects a target flying object from an image to be analyzed; a generation unit that generates an image reflecting the detection result by superimposing a figure representing the position of the detected flying object on a captured image in which the flying object detected from the image to be analyzed is captured; and an output unit that outputs an image reflecting the detection result.
- one aspect of the flying object detection system of the present disclosure is an imaging device that captures an image of a monitoring area; and the above-mentioned flying object detection device that uses the images captured by the imaging device.
- the flying object detection method of the present disclosure includes: Acquire a captured image captured by an imaging device that captures an image of a monitoring area; extracting image regions associated with a plurality of airspaces at different distances from the image capture device from the captured image; generating an analysis target image by reducing each of the image regions extracted from the photographed image by a reduction rate determined using the distance between the airspace associated with the image region and the photographing device; Detect the target flying object from the image to be analyzed, A graphic representing the position of the detected flying object is superimposed on the captured image in which the flying object detected from the image to be analyzed is captured, thereby generating an image reflecting the detection result; An image reflecting the detection results is output.
- the program storage medium of the present disclosure includes: A process of acquiring a captured image captured by an imaging device that captures an image of a monitoring area; extracting, from the captured image, image regions associated with a plurality of airspaces at different distances from the image capture device; a process of generating an image to be analyzed by reducing each image area extracted from the photographed image by a reduction rate determined using the distance between the airspace related to the image area and the photographing device; A process of detecting a target flying object from the analysis target image; A process of generating an image reflecting the detection result by superimposing a figure representing the position of the detected flying object on a photographed image in which the flying object detected from the image to be analyzed is photographed; The computer program for causing a computer to execute a process of outputting an image reflecting the detection result is stored.
- FIG. 2 is a diagram illustrating an example of an imaging device used in the flying object detection system.
- FIG. 2 is a diagram illustrating an example of an imaging device together with FIG. 1 .
- FIG. 1 is a diagram illustrating an example of the configuration of a flying object detection device.
- 10 is a diagram illustrating an example of the relationship between a plurality of airspaces at different distances from the image capture device and image regions (aircraft appearance regions) associated with each of the airspaces in the captured image.
- FIG. 2 is a diagram schematically illustrating processing performed by the flying object detection device on a captured image.
- 10 is a diagram illustrating an example of an image reflecting a detection result generated by the flying object detection device.
- 10 is a diagram illustrating another example of an image reflecting a result of detection of an air vehicle.
- 10A and 10B are diagrams illustrating further examples of the detection result reflection image displayed on the display device.
- 10 is a flowchart illustrating an example of an operation related to detection of a flying object in the flying object detection device.
- FIG. 10 is a diagram illustrating another example of the configuration of the flying object detection device.
- FIG. 10 is a diagram illustrating yet another example configuration of the flying object detection device.
- 10 is a flowchart illustrating another example of the operation of the flying object detection device for detecting a flying object.
- a first embodiment of the airborne object detection system is a system that detects a target airborne object in a monitored area using a photographing device, and in the first embodiment, the system is applied to a monitoring system.
- the target airborne object is predetermined by a system designer or the like.
- Examples of the target airborne object include unmanned aerial vehicles (unmanned aerial vehicles) that can be flown by remote control or automatic pilot, such as unmanned airplanes, unmanned rotorcraft, and unmanned airships, as well as objects flown by humans using specific aviation equipment, such as balloons, hang gliders, and paragliders. While various types of airborne objects can be set as the target airborne object, in the first embodiment, a so-called drone (unmanned aerial vehicle) is set as the target airborne object.
- the surveillance system to which the flying object detection system of the first embodiment is applied is a system that monitors the intrusion of a detected flying object into a surveillance area.
- the surveillance area here includes no-fly zones where unmanned aerial vehicles are prohibited by law, etc., such as the airspace above and surrounding areas of airports and important facilities.
- the flying object detection system 1 of the first embodiment comprises an flying object detection device 2 and an imaging device 4.
- the imaging device 4 is a device (e.g., a camera) that captures images of the monitored area, and in the first embodiment, only one is installed. Because only one imaging device 4 is installed, it is necessary to capture the entire monitored area with one imaging device 4. For this reason, the imaging device used as the imaging device 4 is selected taking into consideration the size of the monitored area and the performance of the device. For example, if the monitored area is as large as the airspace above an airport and its surrounding area, it is preferable that the imaging device used as the imaging device 4 be capable of capturing images of flying objects in distant airspace, such as approximately one kilometer away, and have a wide field of view.
- a high-resolution imaging device such as a 4K camera, with a focal length f of 29 millimeters, a horizontal angle of view of approximately 25 degrees, and a vertical angle of view of approximately 17 degrees, is used as the imaging device 4.
- the horizontal direction here refers to the direction along the ground surface
- the vertical direction refers to the direction perpendicular to the ground surface.
- H(d) 239 meters.
- Figure 2 is a schematic diagram of the field of view of the image capture device 4 as seen from the zenith.
- the width W(d) of the field of view of the image capture device 4, along the ground surface and perpendicular to the optical axis, is 354 meters.
- the flying object detection device 2 is a computer device that detects the target flying object by analyzing the images captured by the imaging device 4. That is, the flying object detection device (hereinafter also referred to as the detection device) 2 is directly or indirectly connected to the imaging device 4, and includes, for example, an arithmetic unit 20 and a storage device 30, as shown in FIG. 3.
- the storage device 30 includes a storage medium for storing data and a computer program (hereinafter also referred to as the program) 31.
- storage devices such as magnetic disk drives and semiconductor memory devices.
- semiconductor memory devices such as RAM (Random Access Memory) and ROM (Read Only Memory).
- a computer device may be equipped with multiple types of storage devices depending on the application, but these storage devices will be collectively referred to as the storage device 30 here without distinction. Furthermore, the types and number of storage devices 30 included in the detection device 2 are not limited, and a description thereof will be omitted.
- the detection device 2 may also be connected to a database 6, which is a storage device. In this case, the detection device 2 may write information to or read information from the database 6, but to avoid complicating the explanation, we will omit the explanation here.
- the arithmetic device 20 is composed of processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- the arithmetic device 20 can have functions based on a program 31 by reading and executing the program 31 stored in the storage device 30.
- the arithmetic device 20 has an acquisition unit 21, an extraction unit 22, a reduction unit 23, a detection unit 24, a generation unit 25, and an output unit 26 as functional units related to detecting flying objects.
- the acquisition unit 21 acquires the captured images taken by the camera device 4.
- the method by which the acquisition unit 21 acquires the captured images is not limited; for example, the acquisition unit 21 may acquire the captured images from the camera device 4, or may acquire the captured images taken by the camera device 4 by reading from the database (not shown) the captured images that were temporarily stored in the database by the camera device 4.
- the extraction unit 22 extracts the following multiple image regions from the image captured by the camera device 4. That is, as described above, in the first embodiment, the image captured by the camera device 4 of a wide range of monitored areas is used to detect target flying objects in the monitored area. In other words, the image captured by the camera device 4 captures airspaces from close to the camera device 4 to distant airspaces. In such images, the size of the image of the captured flying object and the area in which the flying object appears vary depending on the distance between the camera device 4 and the flying object.
- Figure 4 shows a schematic representation of the image captured by the camera device 4 when flying objects 5 of the same size appear in airspaces corresponding to positions A, B, and C in the field of view of the camera device 4.
- Position A is the closest of positions A, B, and C to the camera device 4, and for convenience, the airspace corresponding to position A will also be referred to as short-distance airspace A.
- position C is the farthest from the image capture device 4 among positions A, B, and C, and for convenience, the airspace corresponding to position C will also be referred to as long-distance airspace C.
- the airspace corresponding to position B between positions A and C will also be referred to as intermediate airspace B for convenience.
- the flying object 5 is the same size, the image of the flying object 5 shown in the image captured by the camera 4 becomes smaller as it moves farther away from the camera 4. Furthermore, because the field of view of the camera 4 widens the farther away it is from the camera 4, the image area in which the flying object 5 appears in the image captured by the camera 4 also widens the farther away it is from the camera 4.
- unmanned aerial vehicles drones, etc.
- the example of Figure 4 shows the appearance area of the flying object 5 taking into account such flight altitude restrictions for flying objects (unmanned aerial vehicles).
- the range of the area in which the flying object 5 appears in the captured image (hereinafter also referred to as the flying object appearance area) changes depending on the distance from the camera device 4.
- the range of the flying object appearance area in the captured image can be calculated using the angle of view of the camera device 4 and the distance from the camera device 4. The inventors have noticed that the range of the flying object appearance area in the captured image changes depending on the distance from the camera device 4.
- multiple airspaces of interest are defined with different distances from the camera device 4 for detecting flying objects in the monitored area.
- the number and locations of airspaces of interest can be set as appropriate by the system designer, etc., as long as there are multiple airspaces of interest. However, for example, the number and locations of airspaces of interest are set such that detecting flying objects in the multiple set airspaces of interest can be considered to have detected flying objects in the entire monitored area.
- the size of the monitored area, the size of the flying object to be detected, and the expected movement speed of the flying object are taken into consideration when setting the number and locations of such airspaces of interest.
- Information indicating the position of each of the multiple set airspaces of interest (for example, location information represented by the distance from the camera device 4) is stored in the storage device 30.
- an air vehicle appearance area in the captured image is calculated. For example, assume that the aforementioned short-distance airspace A, intermediate airspace B, and long-distance airspace C are set as airspaces of interest. In this case, in the image captured by the imaging device 4, the range of the air vehicle appearance area N for the short-distance airspace A as shown in Figure 4 is calculated, the range of the air vehicle appearance area M for the intermediate airspace B is calculated, and the range of the air vehicle appearance area F for the long-distance airspace C is calculated.
- information that associates information representing the range of such air vehicle appearance areas with airspace identification information that identifies the airspace of interest related to the air vehicle appearance area is generated as extracted area information for each air vehicle appearance area.
- This extracted area information is stored in the storage device 30 of the detection device 2.
- the alert level may differ depending on the flight location and type of the detected flying object.
- the type of flying object detection graphic 8 corresponding to the alert level may be predetermined, and the generation unit 25 may generate an image reflecting the detection results by superimposing the flying object detection graphic 8 of the type corresponding to the alert level on the captured image.
- the alert level is calculated, for example, by the detection unit 24. In other words, when an alert level is set for each flying object appearance area associated with each of the multiple airspaces of interest as described above, relationship data between the flying object appearance area and its alert level is stored in the storage device 30 as alert level judgment information used to determine the alert level.
- the image reflecting the detection results generated by the generation unit 25 may further include text indicating information such as the type of aircraft detected and the alert level.
- the output unit 26 outputs the generated image reflecting the detection results.
- An example of an output destination is the display device 7 shown in Figure 3.
- the display device 7 is a device that notifies (provides) information by displaying the information on a screen using text and images.
- the display device 7 receives the image reflecting the detection results from the output unit 26 and provides the image reflecting the detection results to, for example, a user of the flying object detection system (monitoring system).
- the display device 7 may be, for example, a display device of a terminal device carried by a user of the flying object detection system (monitoring system).
- the captured image output by the image capture device 4 is a video, and a frame image selected from the multiple frame images that make up the captured image is used to perform the series of processes described above to detect the flying object.
- the detection result reflection image generated by these processes is included in the video, which is the captured image, by, for example, replacing the original frame image, and is output to the output destination by the output unit 26.
- the display device 7 displays the video (captured image) output by the output unit 26 in this way. In other words, the output unit 26 can be said to control the display operation of the display device 7.
- FIG. 9 is a flowchart explaining an example of the operation of the detection device 2 to detect an airborne object.
- Figure 9 can also be considered a diagram explaining the method of detecting an airborne object in the detection device 2.
- the storage device 30 in the detection device 2 stores various information (data) used for processing by the arithmetic unit (processor) 20 as described above.
- the acquisition unit 21 of the detection device 2 acquires captured images from the imaging device 4 (step 101 in Figure 9). In the following explanation, it is assumed that the captured images acquired from the imaging device 4 are moving images.
- the extraction unit 22 extracts multiple image regions from the acquired captured image (step 102).
- the captured image from which the extraction unit 22 extracts image regions is, for example, a frame image selected for each predetermined number of frames from a plurality of frame images constituting the captured image (video) acquired from the image capture device 4.
- the multiple image regions extracted from the frame image subject to extraction processing by the extraction unit 22 are, as described above, image regions (aircraft appearance regions) associated with each of a plurality of airspaces of interest that are at different distances from the image capture device 4.
- This extraction process uses the aforementioned extraction region information (information including information indicating the range of the aircraft appearance region in the captured image) stored in the storage device 30.
- the reduction unit 23 reduces each of the extracted image regions (aircraft appearance regions) by a predetermined reduction rate, thereby generating an analysis target image associated with each of the different airspaces of interest (step 103).
- the detection unit 24 then performs a detection process to detect the target aircraft for each of the analysis target images, and determines whether the target aircraft has been detected in any of the analysis target images associated with the image regions (aircraft appearance regions) extracted from the same frame image (step 104). Furthermore, if the target aircraft is detected, the detection unit 24 calculates the position in the frame image (photographed image) where the image of the detected aircraft is captured as detection and photography information.
- the generation unit 25 generates an image reflecting the detection result by superimposing the flying object detection graphic 8 on the captured image in which the detected flying object is captured from the image to be analyzed (step 105).
- the superimposition position of the captured image on which the flying object detection graphic 8 is superimposed is the position represented by the detection and capture information calculated by the detection unit 24.
- the output unit 26 outputs an image reflecting the detection result (step 106).
- the image captured by the imaging device 4 is a video
- the captured image including the image reflecting the detection result (frame image) is output by the output unit 26 to, for example, the display device 7.
- a series of processes for detecting the flying object as described above is executed sequentially for each of the multiple frame images selected from the multiple frame images constituting the image captured by the imaging device 4 (video).
- the detection unit 24 detects an flying object
- the generation unit 25 generates an image reflecting the detection result.
- the captured image including the image reflecting the detection result is output by the output unit 26 to, for example, the display device 7.
- the process for detecting the flying object for that frame image ends, and the process for detecting the flying object for the next frame image is prepared.
- the detection device 2 of the first embodiment and the flying object detection system 1 equipped with the detection device 2 are configured to be able to detect target flying objects in a wide monitoring area using a single imaging device 4.
- this flying object detection system 1 employs a high-resolution imaging device with a telephoto function as the imaging device 4, which can capture images of even distant flying objects so that they can be detected. This allows the flying object detection system 1 to detect target flying objects in a wide monitoring area, such as an airport and its surrounding area, even with a single imaging device 4.
- the detection device 2 of the first embodiment is able to reduce the load on the device. That is, rather than performing image analysis on the entire area of the captured image, the detection device 2 extracts the flying object appearance area from the captured image and performs detection processing using image analysis on that image area. Furthermore, multiple image areas (flying object appearance areas) are extracted from a common captured image, and in this case, reduction processing is performed on the extracted image areas, thereby reducing the load on the device. By being able to reduce the processing load on the detection device 2 in this way, the detection device 2 can reduce the time required for detection processing of flying objects.
- Second Embodiment A second embodiment of the present disclosure will be described below.
- components having the same names as those in the description of the first embodiment will be denoted by the same reference numerals, and duplicate descriptions thereof will be omitted.
- the detection device 2 has the same configuration as the first embodiment, but also includes a calculation unit 27 as shown in FIG. 10.
- the calculation unit 27 is a computer functional unit realized by a processor executing a computer program.
- the calculation unit 27 calculates the range of the aircraft appearance area related to the airspace of interest in the image captured by the image capture device 4 (in other words, the extracted range of the image area extracted from the captured image by the extraction unit 22). For example, a calculation formula for calculating the range of the aircraft appearance area in the captured image is stored in advance in the storage device 30. This calculation formula calculates the range of the aircraft appearance area in the captured image using the distance between the image capture device 4 and the airspace of interest, information representing the field of view (field of view angle) of the image capture device 4, and information about the height at which the image capture device 4 is installed.
- the calculation unit 27 acquires, for example, from a system designer or the like, information necessary for calculating the range of the aircraft appearance area in the captured image.
- the information necessary for calculation is, for example, information necessary for calculation using the formula described above, and includes information such as the distance between the image capture device 4 and the airspace of interest, information representing the field of view (field of view angle) of the image capture device 4, and information about the height at which the image capture device 4 is installed.
- the method for acquiring such information is not limited here, but for example, the information is acquired by displaying, on a display device viewed by an information inputter such as a system designer, an input field for entering the information to be acquired and a message prompting the input of information into the input field.
- the calculation unit 27 acquires a calculation formula and information necessary for calculations using the calculation formula, and calculates the range of the aircraft appearance area in the captured image using the acquired calculation formula and information.
- multiple airspaces of interest are set, and by acquiring information about each of the multiple airspaces of interest that have been set, the calculation unit 27 calculates the range of the aircraft appearance area associated with each of the multiple airspaces of interest in the captured image.
- the information representing the range of the calculated aircraft appearance area is associated with airspace identification information that identifies the airspace of interest associated with the aircraft appearance area, and is stored in the storage device 30 as the extraction area information described in the first embodiment. This extraction area information is used in the extraction process of the extraction unit 22.
- the configuration of the detection device 2 other than that described above is the same as in the first embodiment.
- the flying object detection device and flying object detection system of the present disclosure are not limited to the first and second embodiments and may be implemented in various ways.
- the first and second embodiments illustrate examples in which the flying object detection system is applied to a surveillance system
- the application of the flying object detection system of the present disclosure is not limited to surveillance systems.
- the flying object detection system of the present disclosure may be applied to detect unmanned aircraft that are subject to management as flying objects to be detected.
- the output unit 26 outputs an image reflecting the detection result to the display device 7 via the generation unit 25.
- the output unit 26 may output information indicating that the airborne object has been detected (airborne object detection information) to a predetermined notification destination other than the display device.
- a notification destination is a computer device of a monitoring system to which the airborne object detection system is applied.
- airborne object detection information include text information of a message indicating that an airborne object has been detected, and control information for an alarm sound to notify the detection of an airborne object by sound.
- the degree of reduction of the image area by the reduction unit 23 shown in the first and second embodiments is merely an example, and is not limited to the degree of reduction shown in the first and second embodiments.
- the flying object detection device may also have a configuration such as that shown in FIG. 11. That is, the flying object detection device 50 is, for example, a computer device, and includes functional units implemented by executing a computer program, such as an acquisition unit 51, an extraction unit 52, a reduction unit 53, a detection unit 54, a generation unit 55, and an output unit 56.
- the acquisition unit 51 acquires images captured by a camera that captures the monitored area.
- the extraction unit 52 extracts, from the captured images, image regions associated with multiple airspaces at different distances from the camera.
- the reduction unit 53 generates an image to be analyzed by reducing each of the extracted image regions from the captured images by a reduction rate determined using the distance between the camera and the airspace associated with that image region.
- the detection unit 54 detects the target flying object from the image to be analyzed.
- the generation unit 55 generates an image reflecting the detection result by superimposing a graphic representing the position of the detected flying object on the captured image in which the flying object detected from the image to be analyzed is captured.
- the output unit 56 outputs the image reflecting the detection result. Note that the acquisition unit 21, extraction unit 22, reduction unit 23, detection unit 24, generation unit 25, and output unit 26 of the detection device 2 in the first embodiment described above are examples of the acquisition unit 51, extraction unit 52, reduction unit 53, detection unit 54, generation unit 55, and output unit 56.
- the flying object detection device 50 has the configuration described above.
- the flying object detection device 50 can be used in conjunction with an imaging device 60, as represented by the dotted line in Figure 11, to form an flying object detection system.
- Figure 12 is a flowchart explaining an example of the operation of the flying object detection device 50.
- Figure 12 can also be considered a diagram explaining an example of a flying object detection method used by the flying object detection device 50.
- the extraction unit 52 extracts from the captured image image regions associated with multiple airspaces at different distances from the photographing device (step 202).
- the reduction unit 53 generates an image to be analyzed by reducing each image area extracted from the captured image by a reduction rate determined using the distance between the airspace associated with that image area and the capture device (step 203).
- the detection unit 54 detects the target flying object by executing a process to detect the target flying object from the image to be analyzed (step 204)
- the generation unit 55 generates an image reflecting the detection results (step 205).
- the generation unit 55 generates the image reflecting the detection results by superimposing a graphic representing the position of the detected flying object on the captured image in which the flying object detected from the image to be analyzed is captured.
- the output unit 56 then outputs the image reflecting the detection results (step 206).
- the flying object detection device 50 is configured to extract, from the same captured image, image areas associated with multiple airspaces at different distances from the capture device, and to perform processing related to detecting flying objects for each of the extracted image areas. Therefore, the flying object detection device 50 can detect flying objects in multiple different airspaces using a common captured image, thereby reducing the number of capture devices required to capture images of the monitored area.
- the flying object detection device 50 can reduce the processing load involved in detecting flying objects. In other words, flying objects can be detected even if the image area of the captured image related to an airspace close to the imaging device where the flying object is photographed in large size is coarser than the image area of the captured image related to an airspace far from the imaging device. Using this, the flying object detection device 50 reduces the image area extracted from the captured image by a reduction rate determined using the distance between the imaging device and the airspace related to the image area. The flying object detection device 50 then performs the flying object detection process using the analysis target image generated by reducing this image. In this way, image analysis is performed on the image area (analysis target image) reduced by a reduction rate for each image area that takes into account the distance from the imaging device, thereby reducing the processing load.
- the flying object detection device described in Appendix 1 in which, assuming that flying objects of the same size are photographed in each of the image areas associated with multiple airspaces that are at different distances from the photographing device, the degree of reduction of each of those image areas is such that the sizes of the flying objects photographed in each of the images to be analyzed generated by the reduction are uniform.
- the flying object detection device described in Appendix 1 further includes a calculation unit that calculates the extraction range of the image area to be extracted by the extraction unit in the photographed image using the distance between the airspace related to the image area to be extracted from the photographed image and the photographing device, information representing the field of view range of the photographing device, and information about the height at which the photographing device is installed.
- the detection unit is an aircraft detection device described in Appendix 1 that detects multiple types of aircraft to be detected separately.
- the output unit is an aerial vehicle detection device described in Appendix 1, which performs display control to enlarge and display an image of the detected aerial vehicle in response to a request to enlarge and display the image of the aerial vehicle on a display device.
- the output unit of the flying object detection device described in Appendix 1 outputs information indicating that the flying object has been detected to a predetermined notification destination other than the display device when the flying object to be detected is detected from the image to be analyzed.
- the system is equipped with a detection model generated by learning from photographed images of the target aircraft,
- the detection unit is an aircraft detection device described in Appendix 1, which performs aircraft detection processing using the same detection model for analysis target images related to each of multiple image regions extracted from a captured image.
- Appendix 8 an imaging device for imaging a monitoring area;
- An aircraft detection system comprising the aircraft detection device described in Appendix 1, which uses images captured by the imaging device.
- Appendix 10 A process of acquiring a captured image captured by an imaging device that captures an image of a monitoring area; extracting, from the captured image, image regions associated with a plurality of airspaces at different distances from the image capture device; a process of generating an image to be analyzed by reducing each image area extracted from the photographed image by a reduction rate determined using the distance between the airspace related to the image area and the photographing device; A process of detecting a target flying object from the analysis target image; A process of generating an image reflecting the detection result by superimposing a figure representing the position of the detected flying object on a photographed image in which the flying object detected from the image to be analyzed is photographed; and a program storage medium for storing a computer program that causes a computer to execute a process of outputting an image that reflects the detection result.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
撮影装置の設置数を抑えつつ、監視領域における検知対象の飛行体を検知するために、飛行体検知装置は次のような機能を備える。飛行体検知装置は、監視領域を撮影する撮影装置により撮影された撮影画像を取得する。飛行体検知装置は、撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する。飛行体検知装置は、解析対象画像から検知対象の飛行体を検知する。飛行体検知装置は、解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する。飛行体検知装置は、検知結果反映画像を出力する。
Description
本開示は、飛行体を検知する飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体に関する。
ドローンやＵＡＶ（Unmanned Aerial Vehicle）等とも称される無人航空機（小型無人機）には、飛行禁止空域（例えば、空港や重要施設などの上空およびその周辺領域）が定められており、無人航空機が飛行禁止空域を飛行するためには飛行許可が必要である。しかしながら、無人航空機の利活用の増加により、飛行禁止空域に無許可で侵入してしまう無人航空機の増加が懸念されている。
そこで、飛行禁止空域における無人航空機の飛行を検知する技術が検討されている。例えば、特許文献１（特開２０１８－１０１９８７号公報）には、監視エリアの音声を収音するマイクによる音声データによって、監視エリアに現れた無人航空機が検知される技術が開示されている。
ところで、飛行禁止空域における無人航空機の飛行を検知する手法の一つとして、撮影装置による撮影画像を用いる手法が考えられる。例えば、撮影画像を用いた検知手法では、撮影装置によって撮影された飛行禁止空域の撮影画像を画像解析することにより、当該撮影画像から無人航空機が検知される。この手法を用いる場合、飛行禁止空域を撮影する撮影装置の設置場所や費用などが関係する理由により、撮影装置の数を抑えて飛行禁止空域における無人航空機を検知したい場合がある。
本開示は上述した課題を解決するために考え出された。すなわち、本開示の主な目的は、撮影装置の設置数を抑えつつ、監視領域における検知対象の飛行体を検知する技術を提供することにある。
上述した目的を達成するために、本開示における飛行体検知装置は、その一態様として、
監視領域を撮影する撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する抽出部と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する縮小部と、
解析対象画像から検知対象の飛行体を検知する検知部と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する生成部と、
検知結果反映画像を出力する出力部と
を備える。
監視領域を撮影する撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する抽出部と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する縮小部と、
解析対象画像から検知対象の飛行体を検知する検知部と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する生成部と、
検知結果反映画像を出力する出力部と
を備える。
また、本開示における飛行体検知システムは、その一態様として、
監視領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を用いる上述した飛行体検知装置と
を備える。
監視領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を用いる上述した飛行体検知装置と
を備える。
さらに、本開示における飛行体検知方法は、その一態様として、
監視領域を撮影する撮影装置により撮影された撮影画像を取得し、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成し、
解析対象画像から検知対象の飛行体を検知し、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成し、
検知結果反映画像を出力する。
監視領域を撮影する撮影装置により撮影された撮影画像を取得し、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成し、
解析対象画像から検知対象の飛行体を検知し、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成し、
検知結果反映画像を出力する。
さらに、本開示におけるプログラム記憶媒体は、その一態様として、
監視領域を撮影する撮影装置により撮影された撮影画像を取得する処理と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する処理と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する処理と、
解析対象画像から検知対象の飛行体を検知する処理と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する処理と、
検知結果反映画像を出力する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
監視領域を撮影する撮影装置により撮影された撮影画像を取得する処理と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する処理と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する処理と、
解析対象画像から検知対象の飛行体を検知する処理と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する処理と、
検知結果反映画像を出力する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
本開示によれば、撮影装置の設置数を抑えつつ、監視領域における検知対象の飛行体を検知できる。
以下に、図面を参照しつつ本開示に係る実施形態を説明する。
＜第１実施形態＞
本開示に係る第１実施形態の飛行体検知システムは、撮影装置を用いて監視領域における検知対象の飛行体を検知するシステムであり、第１実施形態では、監視システムに適用される。検知対象の飛行体は、システム設計者などにより予め定められる。検知対象として設定される飛行体の例としては、無人飛行機、無人回転翼航空機、無人飛行船というような遠隔操作又は自動操縦により飛行させることができるもの（無人航空機）や、気球、ハンググライダー、パラグライダーというような特定航空用機器を用いて人が飛行するものが挙げられる。このように、検知対象の飛行体として様々な飛行体が設定され得るが、第１実施形態では、検知対象の飛行体として、いわゆるドローン（無人航空機）が設定されているとする。
本開示に係る第１実施形態の飛行体検知システムは、撮影装置を用いて監視領域における検知対象の飛行体を検知するシステムであり、第１実施形態では、監視システムに適用される。検知対象の飛行体は、システム設計者などにより予め定められる。検知対象として設定される飛行体の例としては、無人飛行機、無人回転翼航空機、無人飛行船というような遠隔操作又は自動操縦により飛行させることができるもの（無人航空機）や、気球、ハンググライダー、パラグライダーというような特定航空用機器を用いて人が飛行するものが挙げられる。このように、検知対象の飛行体として様々な飛行体が設定され得るが、第１実施形態では、検知対象の飛行体として、いわゆるドローン（無人航空機）が設定されているとする。
第１実施形態の飛行体検知システムが適用される監視システムは、検知対象の飛行体の監視領域への侵入を監視するシステムである。ここでの監視領域は、無人航空機の飛行が法令等により禁止されている飛行禁止空域を含み、例えば、空港や重要施設の上空やその周辺領域である。
第１実施形態の飛行体検知システム１は、図１に表されるように、飛行体検知装置２と、撮影装置４とを備える。撮影装置４は監視領域を撮影する装置（例えばカメラ）であり、第１実施形態では、その設置数は１台である。設置数が１台であるため、撮影装置４は１台でもって監視領域の全体を撮影する必要がある。このことから、撮影装置４として採用される撮影装置は、監視領域の広さや、装置の性能を考慮して選定される。例えば、監視領域が空港の上空やその周辺領域というような広さを有する場合には、撮影装置４として採用される撮影装置は約１キロメートル先というような遠方の空域の飛行体を撮影でき、かつ、視野の広い撮影装置であることが好ましい。より具体的には、例えば、４Ｋカメラというような高解像度、かつ、焦点距離ｆが２９ミリメートルであって水平方向の画角が約２５度、垂直方向の画角が約１７度というような視野を持つ撮影装置が撮影装置４として採用される。なお、ここでの水平方向とは、地表面に沿う方向であり、垂直方向とは、地表面に直交する方向である。
上述した具体例の撮影装置４が用いられた場合、撮影装置４から光軸に沿って距離Ｄ（ｚ）＝８００メートル離れた位置における撮影装置４の視野は、垂直方向の高さ（長さ）Ｈ（ｄ）が２３９メートルである。ただ、図１の例では、視野の一部は地表面よりも下になってしまっているので、撮影装置４から距離Ｄ（ｚ）＝８００メートル離れた位置における撮影装置４の視野における垂直方向の地表面からの高さ（長さ）はＨ（ｄ）＝２３９メートルよりも短い。図２は、撮影装置４の視野を天頂から見た模式図である。撮影装置４の視野に関し、地表面に沿う方向であって光軸に直交する幅方向の長さＷ（ｄ）は３５４メートルである。
撮影装置４は、視野を監視領域に向けて、例えば、地表面からの高さがＨ（ｙ）＝１０メートルの位置に、光軸が地表面に沿うように設置される。
飛行体検知装置２はコンピュータ装置であり、撮影装置４により撮影された撮影画像を解析することにより、検知対象の飛行体を検知する。すなわち、飛行体検知装置（以下、略して検知装置とも称する）２は、撮影装置４と直接的又は間接的に接続されており、例えば、図３に表されるように、演算装置２０と記憶装置３０を備えている。記憶装置３０は、データや、コンピュータプログラム（以下、プログラムとも称する）３１を記憶する記憶媒体を備えている。記憶装置には、磁気ディスク装置や、半導体メモリ素子などの複数の種類があり、さらに、半導体メモリ素子には、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの複数の種類があるというように、多数の種類がある。コンピュータ装置には用途に応じた複数種の記憶装置が備えられるが、ここでは、それら記憶装置を区別せずにまとめて記憶装置３０として称することとする。さらにまた、検知装置２が備える記憶装置３０の種類や数は限定されず、その説明は省略される。なお、検知装置２は、記憶装置であるデータベース６と接続する場合もある。この場合には、検知装置２は、データベース６への情報の書き込みやデータベース６からの情報の読み出しを行うことがあるが、ここでは説明の煩雑さを避けるために、そのような場合があってもその説明を省略することとする。
演算装置２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサにより構成される。当該演算装置２０は、記憶装置３０に記憶されているプログラム３１を読み出して実行することにより、当該プログラム３１に基づいた機能を持つことができる。ここでは、演算装置２０は、飛行体の検知に係る機能部として、取得部２１と、抽出部２２と、縮小部２３と、検知部２４と、生成部２５と、出力部２６とを有する。
取得部２１は、撮影装置４により撮影された撮影画像を取得する。ここでは、取得部２１が撮影画像を取得する手法は限定されず、例えば、取得部２１は、撮影装置４から撮影画像を取得してもよいし、撮影装置４からデータベース（図示せず）に一旦、格納された撮影画像をデータベースから読み出すことにより、撮影装置４の撮影画像を取得してもよい。
抽出部２２は、撮影装置４による撮影画像から次のような複数の画像領域を抽出する。すなわち、前述したように、第１実施形態では、撮影装置４によって撮影された広範囲の監視領域の撮影画像を用いて、監視領域における検知対象の飛行体を検知する。つまり、撮影装置４による撮影画像には、撮影装置４に近い空域から遠方の空域まで撮影されている。このような撮影画像において、撮影される飛行体の像の大きさや、飛行体の出現領域は、撮影装置４と飛行体との間の距離により変化する。図４には、撮影装置４の視野におけるＡ位置とＢ位置とＣ位置にそれぞれ対応する空域に同じ大きさの飛行体５が出現した場合における撮影装置４による撮影画像のイメージ図が模式的に表されている。Ａ位置はＡ位置とＢ位置とＣ位置のうちで撮影装置４に最も近い位置であり、ここでは、便宜上、Ａ位置に対応する空域を近距離空域Ａとも称する。また、Ｃ位置はＡ位置とＢ位置とＣ位置のうちで撮影装置４から最も遠い位置であり、ここでは、便宜上、Ｃ位置に対応する空域を遠距離空域Ｃとも称する。さらに、Ａ位置とＣ位置の間のＢ位置に対応する空域は、ここでは、便宜上、中間空域Ｂとも称する。
図４の例にも表されているように、同じ大きさの飛行体５であるが、撮影装置４から遠くなるにしたがって撮影装置４による撮影画像に映っている飛行体５の像は小さくなっていく。また、撮影装置４の視野は撮影装置４から遠くなるにしたがって広がることから、撮影装置４の撮影画像において飛行体５が出現する画像領域は、撮影装置４から遠くなるにしたがって広がっていく。なお、無人航空機（ドローンなど）には、地表から１５０メートル以上の高度の空域は飛行禁止であるというような飛行の高度制限がある。図４の例では、そのような飛行体（無人航空機）の飛行の高度制限が考慮された飛行体５の出現領域が表されている。
図４の例にも表されているように、撮影装置４からの距離に応じて、撮影画像に映る飛行体５の出現領域（以下、飛行体出現領域とも称する）の範囲が変化する。撮影画像における飛行体出現領域の範囲は、撮影装置４の画角と、撮影装置４からの距離とを用いて算出できる。本発明者は、そのような撮影装置４からの距離に応じて撮影画像における飛行体出現領域の範囲が変化することに着目した。
すなわち、ここでは、監視領域における飛行体の検知に関し、撮影装置４からの距離が異なる複数の注目空域が定められる。注目空域の数と位置は、注目空域の数が複数であればシステム設計者などにより適宜に設定してよいものであるが、例えば、設定された複数の注目空域における飛行体の検知を行えば監視領域全体の飛行体の検知を行っていると見なせると考えられる空域の数と位置が設定される。このような注目空域の数と位置の設定には、監視領域の広さや、検知対象の飛行体の大きさ、飛行体の想定される移動速度などが考慮される。なお、設定された複数の注目空域それぞれの位置などを表す情報（例えば、撮影装置４からの距離により表される位置情報）は記憶装置３０に格納される。
そのように定められた複数の注目空域のそれぞれに関し、撮影画像における飛行体出現領域が算出される。例えば、注目空域として、前述したような近距離空域Ａ、中間空域Ｂおよび遠距離空域Ｃが設定されたとする。この場合、撮影装置４による撮影画像において、図４に表されているような近距離空域Ａに関する飛行体出現領域Ｎの範囲が算出され、中間空域Ｂに関する飛行体出現領域Ｍの範囲が算出され、遠距離空域Ｃに関する飛行体出現領域Ｆの範囲が算出される。さらに、このような飛行体出現領域の範囲を表す情報と、当該飛行体出現領域に関連する注目空域を識別する空域識別情報とが関連付けられている情報が飛行体出現領域ごとに抽出領域情報として生成される。当該抽出領域情報は検知装置２の記憶装置３０に格納される。
検知装置２における抽出部２２は、記憶装置３に格納されている抽出領域情報を参照して、取得部２１により取得された撮影画像から図５に表されているように複数の画像領域を抽出する。抽出する複数の画像領域は、前述したような予め設定された複数の注目空域にそれぞれ関連付けられている画像領域である。図５の例では、注目空域である近距離空域Ａと中間空域Ｂと遠距離空域Ｃのそれぞれに関連する複数の飛行体出現領域Ｎ，Ｍ，Ｆが撮影画像からそれぞれ抽出される。なお、図５は、近距離空域Ａと中間空域Ｂと遠距離空域Ｃのそれぞれにおいて、同じ飛行体５が飛行していると仮定した場合のイメージ図であり、撮影画像における飛行体５の重なりは考慮されていない。
縮小部２３は、撮影画像から抽出部２２により抽出された画像領域を縮小することにより、解析対象画像を生成する。ここでの画像領域の縮小度は、当該画像領域に関連する注目空域と撮影装置４との間の距離と、撮影装置４の性能情報とを用いて予め定められている。すなわち、撮影装置４に撮影される飛行体は、前述したように、撮影装置４に近付くほど大きく、反対に、撮影装置４から離れるほど小さくなる。つまり、同じ大きさの飛行体５でも、撮影装置４からの距離によって、当該撮影装置４により撮影された撮影画像における飛行体５の大きさが異なっている。ここで、同じ撮影画像から抽出された互いに異なる複数の画像領域（例えば、図５に表されているような複数の飛行体出現領域Ｎ，Ｍ，Ｆ）のそれぞれに同じ大きさの飛行体５が撮影されているとする。この場合に、それら画像領域（例えば、飛行体出現領域Ｎ，Ｍ，Ｆ）それぞれの縮小度は、縮小後の画像領域それぞれに撮影されている同じ飛行体５の大きさが揃う縮小度である。ここでは、撮影装置４から遠い注目空域に飛行している飛行体５が映っている飛行体出現領域Ｆにおける飛行体５の大きさに飛行体出現領域Ｎ，Ｍの飛行体５の大きさが揃うように飛行体出現領域Ｎ，Ｍ，Ｆのそれぞれの縮小度が定められている。なお、図５に表されている飛行体出現領域Ｆのように、縮小部２３による画像の縮小処理によって実質的には縮小しない場合もある。この場合における縮小度は、縮小無しという縮小度であるとする。
検知部２４は、解析対象画像から検知対象の飛行体を検知する。画像から検知対象の飛行体を検知する手法は様々に提案されており、ここでは、限定されないが、一例として、ＡＩ（Artificial Intelligence）技術を用いる検知手法が挙げられる。この場合、ＡＩ技術により生成された検知モデルが用いられる。この検知モデルは、検知対象の飛行体の画像を教師データとして学習することにより生成される。検知モデルへの入力情報は解析対象画像であり、検知モデルからの出力情報は、入力された解析対象画像における検知対象の飛行体の有無を表す情報と、検知対象の飛行体が検知された場合には検知された飛行体の解析対象画像における位置を表す情報（以下、解析位置情報とも称する）とを含む情報である。
検知部２４は、そのような検知モデルを用いて、解析対象画像から飛行体を検知する。また、検知部２４は、解析対象画像から飛行体が検知された場合には、検知された飛行体の像が映っている撮影画像における位置を検知撮影情報として算出する。この算出処理には、例えば、検知モデルから出力された解析位置情報と、当該解析位置情報に関連する解析対象画像の縮小前の画像領域が抽出された撮影画像における位置（範囲）を表す情報とが用いられる。なお、検知対象の飛行体として複数種の飛行体が設定されている場合には、それら複数種の飛行体の画像を学習させることにより、それら複数種の飛行体をそれぞれ区別して検知する検知モデルを生成し、検知部２４は、当該検知モデルを用いてもよい。この場合には、検知部２４は、検知した飛行体の種類を表す情報をも出力可能となる。
第１実施形態では、解析対象画像は、撮影装置４からの距離によらずに検知対象の同じ大きさの飛行体５の大きさが揃うように画像の縮小処理が成された画像である。このため、検知部２４による検知処理では、撮影装置４からの距離に応じて飛行体５の大きさが異なることを考慮しなくて済むこととなる。これにより、検知装置２は、画像から飛行体を検知する検知処理の負荷を軽くでき、また、飛行体の検知処理に要する時間の短縮を図ることができる。このことは、撮影装置４による撮影画像を用いた飛行体のリアルタイムでの検知の実現に寄与する。
生成部２５は、解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する。検知された飛行体の位置を表す図形（以下、飛行体検知図形とも称する）は、ここでは限定されず、例えば、丸や三角形や四角形でもよいし、記号でもよいし、飛行体を模したマークでもよく、システム設計者などにより適宜に設定される。飛行体検知図形を撮影画像に重畳する位置は、検知部２４により算出された検知撮影情報により表される位置である。
図６と図７には、それぞれ、検知結果反映画像の例が表されている。図６の例では、検知結果反映画像は、星型である飛行体検知図形８が撮影画像に重畳されている画像である。図７の例は、複数種の飛行体が検知された場合の検知結果反映画像の例である。当該検知結果反映画像は、検知された飛行体の種類に応じた星型である飛行体検知図形８と、検知された別の種類の飛行体の種類に応じた円である飛行体検知図形８とが撮影画像に重畳されている画像である。なお、複数種の飛行体が検知された場合に、検知された飛行体の種類によらずに同じ図形の飛行体検知図形８が撮影画像に重畳されてもよい。
また、検知された飛行体の飛行位置や種類などによって、警戒度が異なる場合がある。このような場合には、警戒度に応じた飛行体検知図形８の種類が予め定められ、警戒度に応じた種類の飛行体検知図形８が撮影画像に重畳されることによって、検知結果反映画像が生成部２５により生成されてもよい。なお、ここでは、警戒度は、例えば、検知部２４により算出される。すなわち、前述したような複数の注目空域それぞれに関連する飛行体出現領域のそれぞれに警戒度が設定される場合には、警戒度の判断に用いる警戒度判断情報として、飛行体出現領域とその警戒度との関係データが記憶装置３０に格納される。また、検知対象の飛行体の種類によって警戒度が設定される場合には、飛行体の種類とその警戒度との関係データが警戒度判断情報として記憶装置３０に格納される。さらに、飛行体出現領域と飛行体の種類との組み合わせによる警戒度が設定される場合には、飛行体出現領域と飛行体の種類との組み合わせとその警戒度との関係データが警戒度判断情報として記憶装置３０に格納される。検知部２４は、検知対象の飛行体が検知された場合に、その飛行体が検知された飛行体出現領域と飛行体の種類との一方又は両方と、記憶装置３０に格納されている警戒度判断情報とを用いて、検知された飛行体の警戒度を算出する。生成部２５は、算出された警戒度に応じた種類の飛行体検知図形８を前述の如く撮影画像に重畳することによって、検知結果反映画像を生成する。
さらに、生成部２５による検知結果反映画像には、検知された飛行体の種類や、警戒度などの情報を表す文字がさらに含まれていてもよい。
出力部２６は、生成された検知結果反映画像を出力する。出力先の一例としては、図３に表されるような表示装置７が挙げられる。表示装置７は、文字や画像により情報を画面に表示することにより、情報を報知（提供）する装置である。ここでは、表示装置７は、出力部２６から検知結果反映画像を受けて、例えば飛行体検知システム（監視システム）の利用者（ユーザ）に検知結果反映画像を提供する。なお、表示装置７は、例えば、飛行体検知システム（監視システム）の利用者（ユーザ）が所持している端末装置の表示装置であってもよい。
ところで、ここでは、撮影装置４が出力する撮影画像は動画であり、撮影画像を構成する複数のフレーム画像の中から選択されたフレーム画像が用いられて飛行体を検知する上述したような一連の処理が行われる。これら処理により生成された検知結果反映画像は、例えば、基になったフレーム画像と置換されることにより撮影画像である動画に含まれて出力部２６によって出力先に向けて出力される。表示装置７は、そのように出力部２６によって出力された動画（撮影画像）を表示する。換言すれば、出力部２６は、表示装置７の表示動作を制御しているとも言える。
なお、例えばユーザによって、検知された飛行体５の画像を表示装置７に拡大表示する要求（拡大表示要求）が検知装置２に入力された場合に、出力部２６は、その要求に応じて、図８に表されるように、飛行体５を拡大表示する表示制御を行ってもよい。ユーザによる拡大表示要求の入力手法は、ここでは限定されないが、例えば、図８に表されるようなカーソル１１による飛行体検知図形８のクリック操作により拡大表示要求が検知装置２に入力される手法が挙げられる。また、飛行体５の拡大表示の態様について、ここでは限定されず、適宜に設定された表示態様であってよく、例えば、図８に表されるような、飛行体５が拡大表示されている窓画像が撮影画像に重畳されてもよいし、撮影画像と、飛行体５の拡大表示画像とが並んで表示されてもよい。
第１実施形態の検知装置２は上述したように構成されている。次に、検知装置２における飛行体の検知に関する動作の一例を、図９を参照しながら説明する。図９は、検知装置２における飛行体の検知に関する動作の一例を説明するフローチャートである。また、図９は、検知装置２における飛行体検知方法を説明する図であるとも言える。
例えば、検知装置２における記憶装置３０には、前述したような演算装置（プロセッサ）２０の処理に用いる様々な情報（データ）が格納されているとする。検知装置２の取得部２１は、撮影装置４から撮影画像を取得する（図９におけるステップ１０１）。以下の説明では、撮影装置４から取得する撮影画像は動画であるとする。
抽出部２２は、取得した撮影画像から複数の画像領域を抽出する（ステップ１０２）。ここで抽出部２２が画像領域を抽出する撮影画像は、例えば、撮影装置４から取得される撮影画像（動画）を構成する複数のフレーム画像のうち、予め定められたフレーム数ごとに選択されたフレーム画像である。また、抽出部２２による抽出処理が成される抽出処理対象のフレーム画像から抽出される複数の画像領域は、前述したように、撮影装置４からの距離が互いに異なる複数の注目空域それぞれに関連する画像領域（飛行体出現領域）である。この抽出処理には、記憶装置３０に格納されている前述した抽出領域情報（撮影画像における飛行体出現領域の範囲を表す情報を含む情報）が用いられる。
縮小部２３は、抽出された複数の画像領域（飛行体出現領域）のそれぞれを予め定められた縮小度でもって縮小することにより、互いに異なる複数の注目空域それぞれに関連する解析対象画像を生成する（ステップ１０３）。そして、検知部２４が検知対象の飛行体を検知する検知処理を解析対象画像のそれぞれについて実行し、同じフレーム画像から抽出された複数の画像領域（飛行体出現領域）に関連する複数の解析対象画像の何れかにおいて検知対象の飛行体が検知されたか否かが判断される（ステップ１０４）。また、検知対象の飛行体が検知された場合には、検知部２４は、フレーム画像（撮影画像）において、検知された飛行体の像が映っている位置を検知撮影情報として算出する。
さらに、検知対象の飛行体が検知された場合には、生成部２５が、解析対象画像から検知された飛行体が撮影されている撮影画像に飛行体検知図形８を重畳することにより、検知結果反映画像を生成する（ステップ１０５）。飛行体検知図形８が重畳される撮影画像の重畳位置は検知部２４により算出された検知撮影情報により表される位置である。
そして、出力部２６は、検知結果反映画像を出力する（ステップ１０６）。ここでは、撮影装置４による撮影画像は動画であるから、検知結果反映画像（フレーム画像）を含む撮影画像が出力部２６によって例えば表示装置７に出力される。つまり、ここでは、撮影装置４による撮影画像（動画）を構成する複数のフレーム画像の中から選択された複数のフレーム画像のそれぞれにおいて、順次、前述したような飛行体を検知する一連の処理が実行される。検知部２４により飛行体が検知された場合には検知結果反映画像が生成部２５により生成される。そして、検知結果反映画像（フレーム画像）が生成された場合には、検知結果反映画像を含む撮影画像が出力部２６によって例えば表示装置７に出力される。
一方、検知対象の飛行体がフレーム画像から検知されなかった場合には、当該フレーム画像についての飛行体の検知に関する処理を終了し、次のフレーム画像についての飛行体の検知に関する一連の処理に備える。
第１実施形態の検知装置２および当該検知装置２を備える飛行体検知システム１は、上述したように、１台の撮影装置４を用いて、広範囲の監視領域における検知対象の飛行体を検知可能な構成を備えている。つまり、この飛行体検知システム１においては、撮影装置４として、遠方の飛行体も検知可能に撮影できる高解像度の望遠機能付きの撮影装置が採用されている。これにより、飛行体検知システム１は、１台の撮影装置４でも、例えば、空港およびその周辺領域というような広範囲の監視領域における検知対象の飛行体の検知が可能である。
また、撮影装置４による撮影画像（フレーム画像）の全領域について飛行体の検知処理を実行した場合、その撮影画像は高解像度の画像であることから、画像解析を行う検知処理による装置の負荷は大きくなってしまう。これに対して、第１実施形態の検知装置２においては、装置の負荷を抑えることができる。すなわち、検知装置２においては、撮影画像の全領域について画像解析を行うのではなく、撮影画像から飛行体出現領域を抜き出し（抽出し）当該画像領域について画像解析による検知処理が行われる。また、共通の撮影画像から複数の画像領域（飛行体出現領域）が抽出されるが、ここでは、抽出された画像領域に縮小処理を行うことにより、装置の負荷の抑制が図られている。このように検知装置２の処理の負荷の抑制を図ることができることによって、検知装置２は、飛行体の検知処理に要する時間の短縮化を進めることができる。
さらに、第１実施形態では、撮影画像から抽出した複数の画像領域（飛行体出現領域）それぞれの縮小度は、それら画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、縮小処理後の画像領域（つまり、解析対象画像）それぞれに撮影されている当該飛行体の大きさが揃う縮小度である。このような縮小度でもって縮小されて解析対象画像が生成されるので、当該解析対象画像に映っている検知対象の飛行体の大きさは、撮影装置４からの距離によらずに同様の大きさとなる。このことから、例えば撮影装置４からの距離が異なる複数の注目空域それぞれに関連する解析対象画像について同じ検知モデルを用いて飛行体の検知処理を行うことができる。つまり、複数の注目空域ごとに別々の検知モデルを用意しなくて済む。このことは、検知モデルの生成の手間や生成に必要な時間を削減することができるので、飛行体検知システム１を迅速に立ち上げることができる。
＜第２実施形態＞
以下に、本開示における第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の説明で用いた符号が付された構成部分と同一名称の構成部分には同一符号を付し、その重複説明は省略される。
以下に、本開示における第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の説明で用いた符号が付された構成部分と同一名称の構成部分には同一符号を付し、その重複説明は省略される。
第２実施形態では、検知装置２は、第１実施形態と同様の構成に加えて、図１０に表されるような算出部２７が備えられている。算出部２７も、抽出部２２や縮小部２３などと同様に、プロセッサがコンピュータプログラムを実行することにより実現されるコンピュータの機能部である。
算出部２７は、撮影装置４による撮影画像において、注目空域に関連する飛行体出現領域の範囲（換言すれば、抽出部２２により撮影画像から抽出される画像領域の抽出範囲）を算出する。例えば、撮影画像における飛行体出現領域の範囲を算出する計算式が予め記憶装置３０に格納される。その計算式は、撮影装置４と注目空域との間の距離と、撮影装置４の視野範囲（視野角）を表す情報と、撮影装置４が設置されている高さの情報とを用いて、撮影画像における飛行体出現領域の範囲を算出する計算式である。
算出部２７は、例えば、撮影画像における飛行体出現領域の範囲の算出に必要な情報をシステム設計者などから取得する。算出に必要な情報とは、例えば、上述したような計算式を用いた計算に必要な情報であり、撮影装置４と注目空域との間の距離と、撮影装置４の視野範囲（視野角）を表す情報と、撮影装置４が設置されている高さの情報とを含む情報である。このような情報を取得する手法は、ここでは限定されないが、例えば、システム設計者などの情報入力者が見る表示装置に、取得したい情報を入力するための入力欄と、当該入力欄への情報の入力を促すメッセージとを表示させることにより、情報を取得する。
算出部２７は、計算式と、当該計算式を用いた計算に必要な情報とを取得し、取得した計算式および情報を用いて、撮影画像における飛行体出現領域の範囲を算出する。ここでは、複数の注目空域が設定されることから、設定された複数の注目空域のそれぞれに関する情報が取得されることにより、算出部２７は、撮影画像において、複数の注目空域にそれぞれ関連する飛行体出現領域の範囲を算出する。算出された飛行体出現領域の範囲を表す情報は、当該飛行体出現領域に関連する注目空域を識別する空域識別情報が関連付けられ、第１実施形態で述べた抽出領域情報として記憶装置３０に格納される。この抽出領域情報が抽出部２２の抽出処理で用いられる。
上述した構成以外の検知装置２の構成は、第１実施形態と同様である。
第２実施形態の検知装置２および飛行体検知システム１は、第１実施形態と同様の構成を備えていることから、第１実施形態と同様の効果を奏することができる。さらに、第２実施形態では、検知装置２は算出部２７を備え、撮影画像から抽出部２２により抽出される画像領域（飛行体出現領域）の抽出範囲を算出する機能を備えている。これにより、システム設計者などが撮影画像における飛行体出現領域の範囲を算出するという手間を無くすことができる。
＜その他の実施形態＞
本開示における飛行体検知装置および飛行体検知システムは第１実施形態や第２実施形態に限定されるものではなく、様々な実施の態様を採り得る。例えば、第１実施形態と第２実施形態では、飛行体検知システムが監視システムに適用される例を示しているが、本開示における飛行体検知システムの適用は監視システムに限定されない。例えば、ドローンなどの無人航空機を用いた物流の拠点周辺領域における無人航空機の運航管理システムにおいて、管理対象の無人航空機を検知対象の飛行体として検知するために、本開示における飛行体検知システムが適用されてもよい。
本開示における飛行体検知装置および飛行体検知システムは第１実施形態や第２実施形態に限定されるものではなく、様々な実施の態様を採り得る。例えば、第１実施形態と第２実施形態では、飛行体検知システムが監視システムに適用される例を示しているが、本開示における飛行体検知システムの適用は監視システムに限定されない。例えば、ドローンなどの無人航空機を用いた物流の拠点周辺領域における無人航空機の運航管理システムにおいて、管理対象の無人航空機を検知対象の飛行体として検知するために、本開示における飛行体検知システムが適用されてもよい。
また、第１実施形態と第２実施形態では、出力部２６は、生成部２５により検知結果反映画像を表示装置７に出力している。これに加えて、出力部２６は、検知部２４により飛行体が検知された場合に、飛行体が検知されたことを表す情報（飛行体検知情報）を、表示装置以外の予め定められた通知先に出力してもよい。通知先としては、飛行体検知システムが適用されている監視システムのコンピュータ装置が一例として挙げられる。飛行体検知情報としては、飛行体が検知されたことを表すメッセージの文字情報や、飛行体の検知を音で知らせるための報知音の制御情報などが例として挙げられる。
さらに、第１実施形態と第２実施形態で示した縮小部２３による画像領域の縮小度は一例であって、第１実施形態と第２実施形態で示した縮小度に限定されない。
さらに、飛行体検知装置は、例えば、図１１に表されるような構成をも採り得る。すなわち、飛行体検知装置５０は、例えばコンピュータ装置であり、コンピュータプログラムを実行することにより実現される機能部として、取得部５１、抽出部５２、縮小部５３、検知部５４、生成部５５および出力部５６を備える。取得部５１は、監視領域を撮影する撮影装置により撮影された撮影画像を取得する。抽出部５２は、撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する。縮小部５３は、撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する。検知部５４は、解析対象画像から検知対象の飛行体を検知する。生成部５５は、解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する。出力部５６は、検知結果反映画像を出力する。なお、前述した第１実施形態における検知装置２の取得部２１、抽出部２２、縮小部２３、検知部２４、生成部２５および出力部２６は、取得部５１、抽出部５２、縮小部５３、検知部５４、生成部５５および出力部５６の一例である。
飛行体検知装置５０は上述したような構成を備えている。飛行体検知装置５０は、図１１に点線により表されているような撮影装置６０と共に、飛行体検知システムを構築できる。
次に、飛行体検知装置５０における動作の一例を、図１２を参照しながら説明する。図１２は、飛行体検知装置５０の動作の一例を説明するフローチャートである。また、図１２は、飛行体検知装置５０の飛行体検知方法の一例を説明する図であるとも言える。
例えば、取得部５１が、撮影装置により撮影された撮影画像を取得すると（ステップ２０１）、抽出部５２が、撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する（ステップ２０２）。
そして、縮小部５３が、撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する（ステップ２０３）。検知部５４が、解析対象画像から検知対象の飛行体を検知する処理を実行することにより、検知対象の飛行体を検知すると（ステップ２０４）、生成部５５が、検知結果反映画像を生成する（ステップ２０５）。つまり、生成部５５は、解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する。そして、出力部５６が検知結果反映画像を出力する（ステップ２０６）。
飛行体検知装置５０は、上述したように、同じ撮影画像から、撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域を抽出し、抽出した画像領域のそれぞれについて飛行体の検知に係る処理を実行する構成を備えている。このため、飛行体検知装置５０は、共通の撮影画像を用いて、互いに異なる複数の空域ごとの飛行体の検知が可能であるから、監視領域を撮影する撮影装置の数を抑えることができる。
しかも、飛行体検知装置５０は、飛行体の検知に掛かる処理の負荷の抑制を図ることができる。つまり、撮影装置に近くて飛行体が大きく撮影される空域に関連する撮影画像の画像領域は、撮影装置から遠い空域に関連する撮影画像の画像領域よりも画像が粗くとも飛行体を検知できる。このことを用いて、飛行体検知装置５０は、画像領域に関連する空域と撮影装置との間の距離を用いて定められた縮小度でもって、撮影画像から抽出した画像領域を縮小している。そして、飛行体検知装置５０は、その画像の縮小により生成された解析対象画像を用いて、飛行体の検知の処理を実行している。このように、撮影装置からの距離が考慮された画像領域ごとの縮小度でもって画像領域を縮小した画像領域（解析対象画像）を画像解析することから、処理の負荷の抑制を図ることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
監視領域を撮影する撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する抽出部と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する縮小部と、
解析対象画像から検知対象の飛行体を検知する検知部と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する生成部と、
検知結果反映画像を出力する出力部と
を備える飛行体検知装置。
［付記２］
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、それら画像領域それぞれの縮小度は、縮小により生成された解析対象画像それぞれに撮影されている当該飛行体の大きさが揃う縮小度である
付記１に記載の飛行体検知装置。
［付記３］
撮影画像から抽出する画像領域に関連する空域と前記撮影装置との間の距離と、前記撮影装置の視野範囲を表す情報と、前記撮影装置が設置されている高さの情報とを用いて、撮影画像において前記抽出部が抽出する画像領域の抽出範囲を算出する算出部をさらに備える
付記１に記載の飛行体検知装置。
［付記４］
前記検知部は、複数種の検知対象の飛行体をそれぞれ区別して検知する付記１に記載の飛行体検知装置。
［付記５］
前記出力部は、検知された飛行体の画像を表示装置に拡大表示する要求に応じて当該飛行体の画像を拡大表示する表示制御を行う
付記１に記載の飛行体検知装置。
［付記６］
前記出力部は、解析対象画像から検知対象の飛行体が検知された場合には、飛行体が検知されたことを表す情報を、表示装置以外の予め定められた通知先に出力する
付記１に記載の飛行体検知装置。
［付記７］
検知対象の飛行体が撮影されている撮影画像を学習することにより生成された検知モデルを備えており、
前記検知部は、撮影画像から抽出された複数の画像領域それぞれに関連する解析対象画像について、同じ検知モデルを用いて飛行体の検知処理を実行する
付記１に記載の飛行体検知装置。
［付記８］
監視領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を用いる付記１に記載の飛行体検知装置と
を備える飛行体検知システム。
［付記９］
監視領域を撮影する撮影装置により撮影された撮影画像を取得し、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成し、
解析対象画像から検知対象の飛行体を検知し、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成し、
検知結果反映画像を出力する
飛行体検知方法。
［付記１０］
監視領域を撮影する撮影装置により撮影された撮影画像を取得する処理と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する処理と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する処理と、
解析対象画像から検知対象の飛行体を検知する処理と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する処理と、
検知結果反映画像を出力する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
［付記１］
監視領域を撮影する撮影装置により撮影された撮影画像を取得する取得部と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する抽出部と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する縮小部と、
解析対象画像から検知対象の飛行体を検知する検知部と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する生成部と、
検知結果反映画像を出力する出力部と
を備える飛行体検知装置。
［付記２］
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、それら画像領域それぞれの縮小度は、縮小により生成された解析対象画像それぞれに撮影されている当該飛行体の大きさが揃う縮小度である
付記１に記載の飛行体検知装置。
［付記３］
撮影画像から抽出する画像領域に関連する空域と前記撮影装置との間の距離と、前記撮影装置の視野範囲を表す情報と、前記撮影装置が設置されている高さの情報とを用いて、撮影画像において前記抽出部が抽出する画像領域の抽出範囲を算出する算出部をさらに備える
付記１に記載の飛行体検知装置。
［付記４］
前記検知部は、複数種の検知対象の飛行体をそれぞれ区別して検知する付記１に記載の飛行体検知装置。
［付記５］
前記出力部は、検知された飛行体の画像を表示装置に拡大表示する要求に応じて当該飛行体の画像を拡大表示する表示制御を行う
付記１に記載の飛行体検知装置。
［付記６］
前記出力部は、解析対象画像から検知対象の飛行体が検知された場合には、飛行体が検知されたことを表す情報を、表示装置以外の予め定められた通知先に出力する
付記１に記載の飛行体検知装置。
［付記７］
検知対象の飛行体が撮影されている撮影画像を学習することにより生成された検知モデルを備えており、
前記検知部は、撮影画像から抽出された複数の画像領域それぞれに関連する解析対象画像について、同じ検知モデルを用いて飛行体の検知処理を実行する
付記１に記載の飛行体検知装置。
［付記８］
監視領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を用いる付記１に記載の飛行体検知装置と
を備える飛行体検知システム。
［付記９］
監視領域を撮影する撮影装置により撮影された撮影画像を取得し、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成し、
解析対象画像から検知対象の飛行体を検知し、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成し、
検知結果反映画像を出力する
飛行体検知方法。
［付記１０］
監視領域を撮影する撮影装置により撮影された撮影画像を取得する処理と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する処理と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する処理と、
解析対象画像から検知対象の飛行体を検知する処理と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する処理と、
検知結果反映画像を出力する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
なお、上述した付記１に従属する付記２～付記７に記載した構成の一部または全ては、付記８～１０のそれぞれに対しても付記２～付記７と同様の従属関係により従属し得る。さらには、付記１、付記８～１０に限らず、上述した各実施の形態から逸脱しない範囲において、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための種々の記録手段、またはシステムに対しても同様に、付記として記載した構成の一部または全てを従属させ得る。
以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
この出願は、２０２４年２月５日に出願された日本出願特願２０２４－０１５８３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 飛行体検知システム
２ 検知装置
４，６０ 撮影装置
７ 表示装置
２１，５１ 取得部
２２，５２ 抽出部
２３，５３ 縮小部
２４，５４ 検知部
２５，５５ 生成部
２６、５６ 出力部
２７ 算出部
２ 検知装置
４，６０ 撮影装置
７ 表示装置
２１，５１ 取得部
２２，５２ 抽出部
２３，５３ 縮小部
２４，５４ 検知部
２５，５５ 生成部
２６、５６ 出力部
２７ 算出部
Claims (20)
- 監視領域を撮影する撮影装置により撮影された撮影画像を取得する取得手段と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出する抽出手段と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する縮小手段と、
解析対象画像から検知対象の飛行体を検知する検知手段と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する生成手段と、
検知結果反映画像を出力する出力手段と
を備える飛行体検知装置。 - 前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、それら画像領域それぞれの縮小度は、画像の縮小により生成された解析対象画像それぞれに撮影されている当該飛行体の大きさが揃う縮小度である
請求項１に記載の飛行体検知装置。 - 撮影画像から抽出する画像領域に関連する空域と前記撮影装置との間の距離と、前記撮影装置の視野範囲を表す情報と、前記撮影装置が設置されている高さの情報とを用いて、撮影画像において前記抽出手段が抽出する画像領域の抽出範囲を算出する算出手段をさらに備える
請求項１又は請求項２に記載の飛行体検知装置。 - 前記検知手段は、複数種の検知対象の飛行体をそれぞれ区別して検知する
請求項１乃至請求項３の何れか一項に記載の飛行体検知装置。 - 前記出力手段は、検知された飛行体の画像を表示装置に拡大表示する要求に応じて当該飛行体の画像を拡大表示する表示制御を行う
請求項１乃至請求項４の何れか一項に記載の飛行体検知装置。 - 前記出力手段は、解析対象画像から検知対象の飛行体が検知された場合には、飛行体が検知されたことを表す情報を、表示装置以外の予め定められた通知先に出力する
請求項１乃至請求項５の何れか一項に記載の飛行体検知装置。 - 検知対象の飛行体が撮影されている撮影画像を学習することにより生成された検知モデルを備えており、
前記検知手段は、撮影画像から抽出された複数の画像領域それぞれに関連する解析対象画像について、同じ検知モデルを用いて飛行体の検知処理を実行する
請求項１乃至請求項６の何れか一項に記載の飛行体検知装置。 - 監視領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を用いる
請求項１乃至請求項７の何れか一項に記載の飛行体検知装置と
を備える飛行体検知システム。 - コンピュータによって、
監視領域を撮影する撮影装置により撮影された撮影画像を取得し、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ撮影画像から抽出し、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成し、
解析対象画像から検知対象の飛行体を検知し、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成し、
検知結果反映画像を出力する
飛行体検知方法。 - 監視領域を撮影する撮影装置により撮影された撮影画像を取得する処理と、
前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する処理と、
撮影画像から抽出された画像領域のそれぞれを、当該画像領域に関連する空域と前記撮影装置との間の距離を用いて定められた縮小度でもって縮小することにより、解析対象画像を生成する処理と、
解析対象画像から検知対象の飛行体を検知する処理と、
解析対象画像から検知された飛行体が撮影されている撮影画像に、検知された飛行体の位置を表す図形を重畳することにより、検知結果反映画像を生成する処理と、
検知結果反映画像を出力する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。 - 前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、それら画像領域それぞれの縮小度は、画像の縮小により生成された解析対象画像それぞれに撮影されている当該飛行体の大きさが揃う縮小度である
請求項９に記載の飛行体検知方法。 - 撮影画像から抽出する画像領域に関連する空域と前記撮影装置との間の距離と、前記撮影装置の視野範囲を表す情報と、前記撮影装置が設置されている高さの情報とを用いて、前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する画像領域の抽出範囲をコンピュータによってさらに算出する
請求項９又は請求項１１に記載の飛行体検知方法。 - 検知対象の飛行体を検知する場合に、複数種の検知対象の飛行体をそれぞれ区別して検知する
請求項９、請求項１１又は請求項１２に記載の飛行体検知方法。 - 前記コンピュータは、検知された飛行体の画像を表示装置に拡大表示する要求に応じて当該飛行体の画像を拡大表示する表示制御を行う
請求項９、又は請求項１１乃至請求項１３の何れか一項に記載の飛行体検知方法。 - 解析対象画像から検知対象の飛行体が検知された場合に、飛行体が検知されたことを表す情報を、表示装置以外の予め定められた通知先にさらに出力する
請求項９、又は請求項１１乃至請求項１４の何れか一項に記載の飛行体検知方法。 - 前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域のそれぞれに同じ大きさの飛行体が撮影されているとした場合に、それら画像領域それぞれの縮小度は、画像の縮小により生成された解析対象画像それぞれに撮影されている当該飛行体の大きさが揃う縮小度である
請求項１０に記載のプログラム記憶媒体。 - 撮影画像から抽出する画像領域に関連する空域と前記撮影装置との間の距離と、前記撮影装置の視野範囲を表す情報と、前記撮影装置が設置されている高さの情報とを用いて、前記撮影装置からの距離が互いに異なる複数の空域それぞれに関連する画像領域をそれぞれ前記撮影画像から抽出する画像領域の抽出範囲をコンピュータによってさらに算出する処理をコンピュータに実行させるコンピュータプログラムをさらに記憶する
請求項１０又は請求項１６に記載のプログラム記憶媒体。 - 前記検知対象の飛行体を検知する処理では、複数種の検知対象の飛行体をそれぞれ区別して検知する
請求項１０、請求項１６又は請求項１７に記載のプログラム記憶媒体。 - 検知された飛行体の画像を表示装置に拡大表示する要求に応じて当該飛行体の画像を拡大表示する表示制御を行う処理をコンピュータに実行させるコンピュータプログラムをさらに記憶する
請求項１０、又は請求項１６乃至請求項１８の何れか一項に記載のプログラム記憶媒体。 - 解析対象画像から検知対象の飛行体が検知された場合には、飛行体が検知されたことを表す情報を、表示装置以外の予め定められた通知先に出力する処理をコンピュータに実行させるコンピュータプログラムをさらに記憶する
請求項１０、又は請求項１６乃至請求項１９の何れか一項に記載のプログラム記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024-015838 | 2024-02-05 | ||
| JP2024015838 | 2024-02-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025169697A1 true WO2025169697A1 (ja) | 2025-08-14 |
Family
ID=96699859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/001507 Pending WO2025169697A1 (ja) | 2024-02-05 | 2025-01-20 | 飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025169697A1 (ja) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002027433A (ja) * | 2000-07-06 | 2002-01-25 | Koito Ind Ltd | 画像処理回路、道路監視画像前処理回路及び監視画像処理方法 |
| JP2002123829A (ja) * | 2000-10-13 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 画像変形装置および対象物拡大表示方法 |
| JP2006332743A (ja) * | 2005-05-23 | 2006-12-07 | Nikon Corp | 電子カメラおよび画像処理プログラム |
| JP2007116666A (ja) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | 監視カメラ装置及び監視カメラシステム |
| JP2009253745A (ja) * | 2008-04-08 | 2009-10-29 | Fujifilm Corp | 画像処理システム、画像処理方法、およびプログラム |
| JP2010141429A (ja) * | 2008-12-09 | 2010-06-24 | Panasonic Electric Works Co Ltd | 監視システム |
| JP2011008750A (ja) * | 2009-05-26 | 2011-01-13 | Victor Co Of Japan Ltd | 動き検出装置、記録装置、及び表示装置 |
| JP2011147109A (ja) * | 2009-12-16 | 2011-07-28 | Canon Inc | 撮像装置及び画像処理装置 |
| JP2011205514A (ja) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
| JP2015201704A (ja) * | 2014-04-04 | 2015-11-12 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
| JP2016213574A (ja) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| JP2017092938A (ja) * | 2016-07-12 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | 音源検知システム及び音源検知方法 |
| WO2017221643A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
| JP2018101987A (ja) * | 2018-01-31 | 2018-06-28 | パナソニックＩｐマネジメント株式会社 | 監視エリアの音源表示システム及び音源表示方法 |
| JP2018170557A (ja) * | 2017-03-29 | 2018-11-01 | 日立建機株式会社 | 作業機械の周囲画像表示装置 |
| WO2020070897A1 (ja) * | 2018-10-05 | 2020-04-09 | 株式会社イームズラボ | 監視システム、管理装置、監視方法、管理装置の制御プログラム |
| JP2020127171A (ja) * | 2019-02-06 | 2020-08-20 | アイシン精機株式会社 | 周辺監視装置 |
| JP2021027559A (ja) * | 2019-08-08 | 2021-02-22 | 富士通株式会社 | 画像処理プログラム、画像処理方法および画像処理装置 |
| JP2021103881A (ja) * | 2017-11-13 | 2021-07-15 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| US20220157060A1 (en) * | 2019-02-27 | 2022-05-19 | Telme Electronics Co., Ltd. | Multi-tod surround camera device for detecting drone intrusion, and drone intrusion detection and capture method using same |
| WO2023286295A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | 侵入判断装置、侵入検知システム、侵入判断方法およびプログラム記憶媒体 |
| WO2023286186A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | 不審機対処装置、不審機対処システム、不審機対処方法およびプログラム記憶媒体 |
| KR20230151802A (ko) * | 2022-04-26 | 2023-11-02 | 한국원자력연구원 | 지능형 안티드론 통합 시스템 및 그 운용 방법 |
| JP2024003475A (ja) * | 2022-06-27 | 2024-01-15 | オプテックス株式会社 | セキュリティシステム及びセキュリティシステム用プログラム |
-
2025
- 2025-01-20 WO PCT/JP2025/001507 patent/WO2025169697A1/ja active Pending
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002027433A (ja) * | 2000-07-06 | 2002-01-25 | Koito Ind Ltd | 画像処理回路、道路監視画像前処理回路及び監視画像処理方法 |
| JP2002123829A (ja) * | 2000-10-13 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 画像変形装置および対象物拡大表示方法 |
| JP2006332743A (ja) * | 2005-05-23 | 2006-12-07 | Nikon Corp | 電子カメラおよび画像処理プログラム |
| JP2007116666A (ja) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | 監視カメラ装置及び監視カメラシステム |
| JP2009253745A (ja) * | 2008-04-08 | 2009-10-29 | Fujifilm Corp | 画像処理システム、画像処理方法、およびプログラム |
| JP2010141429A (ja) * | 2008-12-09 | 2010-06-24 | Panasonic Electric Works Co Ltd | 監視システム |
| JP2011008750A (ja) * | 2009-05-26 | 2011-01-13 | Victor Co Of Japan Ltd | 動き検出装置、記録装置、及び表示装置 |
| JP2011147109A (ja) * | 2009-12-16 | 2011-07-28 | Canon Inc | 撮像装置及び画像処理装置 |
| JP2011205514A (ja) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
| JP2015201704A (ja) * | 2014-04-04 | 2015-11-12 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
| JP2016213574A (ja) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| WO2017221643A1 (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
| JP2017092938A (ja) * | 2016-07-12 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | 音源検知システム及び音源検知方法 |
| JP2018170557A (ja) * | 2017-03-29 | 2018-11-01 | 日立建機株式会社 | 作業機械の周囲画像表示装置 |
| JP2021103881A (ja) * | 2017-11-13 | 2021-07-15 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP2018101987A (ja) * | 2018-01-31 | 2018-06-28 | パナソニックＩｐマネジメント株式会社 | 監視エリアの音源表示システム及び音源表示方法 |
| WO2020070897A1 (ja) * | 2018-10-05 | 2020-04-09 | 株式会社イームズラボ | 監視システム、管理装置、監視方法、管理装置の制御プログラム |
| JP2020127171A (ja) * | 2019-02-06 | 2020-08-20 | アイシン精機株式会社 | 周辺監視装置 |
| US20220157060A1 (en) * | 2019-02-27 | 2022-05-19 | Telme Electronics Co., Ltd. | Multi-tod surround camera device for detecting drone intrusion, and drone intrusion detection and capture method using same |
| JP2021027559A (ja) * | 2019-08-08 | 2021-02-22 | 富士通株式会社 | 画像処理プログラム、画像処理方法および画像処理装置 |
| WO2023286295A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | 侵入判断装置、侵入検知システム、侵入判断方法およびプログラム記憶媒体 |
| WO2023286186A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | 不審機対処装置、不審機対処システム、不審機対処方法およびプログラム記憶媒体 |
| KR20230151802A (ko) * | 2022-04-26 | 2023-11-02 | 한국원자력연구원 | 지능형 안티드론 통합 시스템 및 그 운용 방법 |
| JP2024003475A (ja) * | 2022-06-27 | 2024-01-15 | オプテックス株式会社 | セキュリティシステム及びセキュリティシステム用プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230236611A1 (en) | Unmanned Aerial Vehicle Sensor Activation and Correlation System | |
| KR102680675B1 (ko) | 비행 제어 방법 및 이를 지원하는 전자 장치 | |
| US20230162449A1 (en) | Systems and methods for data transmission and rendering of virtual objects for display | |
| US9418299B2 (en) | Surveillance process and apparatus | |
| KR20170101516A (ko) | 무인 항공기를 이용한 화재 감시 장치 및 방법 | |
| US12106569B2 (en) | Tracking two-dimensional objects in a three-dimensional coordinate space | |
| JP7823680B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| JP6364101B1 (ja) | 空中監視装置、空中監視方法及びプログラム | |
| US20220051576A1 (en) | Camera-Based Angle Tracking of Swarms for Collision Avoidance | |
| CN109035294B (zh) | 一种运动目标的图像提取系统及方法 | |
| CN113657261A (zh) | 基于机场远程塔台全景视频的实时目标检测方法及装置 | |
| US20200088831A1 (en) | Mobile body detection device, mobile body detection method, and mobile body detection program | |
| KR102340527B1 (ko) | 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 | |
| US20150015698A1 (en) | Methods and systems for optical aircraft detection | |
| CN116558364B (zh) | 一种针对未知飞行器的干扰拦截系统及方法 | |
| Sevil et al. | Evaluation of extant computer vision techniques for detecting intruder sUAS | |
| CN116150958A (zh) | 车辆测试场景获取方法、系统、电子设备、存储介质 | |
| JP6625289B2 (ja) | データ解析装置 | |
| KR102472289B1 (ko) | 항공표적 감시 장치 및 감시 방법 | |
| EP4303827A1 (en) | Automated change assessment of target objects during a dynamic isr mission | |
| WO2025169696A1 (ja) | 飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体 | |
| KR101948792B1 (ko) | 증강 현실을 이용한 무인 항공기 운용 방법 및 장치 | |
| JP7231113B2 (ja) | 可視化制御装置、可視化システム、可視化制御方法およびコンピュータプログラム | |
| Zarándy et al. | Visual sense-and-avoid system for UAVs | |
| WO2025197288A1 (ja) | 飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25752119 Country of ref document: EP Kind code of ref document: A1 |