WO2021192080A1 - 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体 - Google Patents

可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2021192080A1
WO2021192080A1 PCT/JP2020/013270 JP2020013270W WO2021192080A1 WO 2021192080 A1 WO2021192080 A1 WO 2021192080A1 JP 2020013270 W JP2020013270 W JP 2020013270W WO 2021192080 A1 WO2021192080 A1 WO 2021192080A1
Authority
WO
WIPO (PCT)
Prior art keywords
aircraft
flying object
detected
reference data
visualization
Prior art date
Application number
PCT/JP2020/013270
Other languages
English (en)
French (fr)
Inventor
健介 内田
村上　実
鈴木　淳
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022509870A priority Critical patent/JP7231113B2/ja
Priority to PCT/JP2020/013270 priority patent/WO2021192080A1/ja
Publication of WO2021192080A1 publication Critical patent/WO2021192080A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for

Definitions

  • the present invention relates to a technique for notifying an operator of an aircraft such as a helicopter of the presence of a flying object flying around.
  • flying objects such as drones, UAVs (unmanned aerial vehicles), RPS (remote piloted aircraft systems), UAS (unmanned aircraft systems), flying vehicles, and helicopters are in the same airspace.
  • a flying society is about to be realized. When a large number of flying objects fly in the same airspace in this way, there is a concern that the risk of abnormal approach of the flying objects and collision between the flying objects will increase.
  • Patent Document 1 describes a bird strike in which an object such as a bird collides with an aircraft by using a video image taken by a video camera mounted on an aircraft, or when there is a possibility that a bird strike may occur.
  • the technology for reporting information related to is disclosed.
  • a report reporting information related to a collision includes a collision position, a size, and a feature of an object in an aircraft.
  • Patent Document 1 merely reports the collision position, size, and characteristics of an object in an aircraft, and does not urge the crew (pilot) of the aircraft to take actions to avoid the collision.
  • a main object of the present invention is to provide a technique capable of notifying an aircraft operator of information prompting an action for avoiding a collision with a flying object.
  • the visualization control device is, as one form thereof.
  • the flying object is detected by using the reference data representing the flying object to be detected from the photographed image in which the periphery of the aircraft is photographed by the photographing device mounted on the aircraft, and the flying object and the aircraft are also detected.
  • a detector that detects the distance between the aircraft and the direction of movement of the flying object with respect to the aircraft.
  • a determination unit that determines whether or not there is a risk that the flying object approaches or collides with the aircraft by using the detected movement direction and the distance of the flying object.
  • a display control unit that controls the operation of a display device that visualizes and warns of the existence of the flying object mounted on the aircraft and determined to have a risk of approaching or colliding with the aircraft.
  • the photographing by the photographing device is directed toward a learning device that updates the reference data by machine learning using the teacher data based on the photographed image by the photographing device. It also includes an update unit that outputs an image and acquires the updated reference data from the learning device.
  • the visualization system according to the present invention is, as one form thereof.
  • An imaging device that provides the visualization control device with a captured image that is mounted on the aircraft and that captures the surroundings of the aircraft.
  • a display device that visualizes and warns of the existence of the flying object that is determined by the visualization control device to be at risk of approaching or colliding with the aircraft.
  • a learning device for updating the reference data used by the visualization control device by machine learning by using the teacher data based on the captured image by the photographing device is provided.
  • the flying object is detected by using the reference data representing the flying object to be detected from the photographed image in which the periphery of the aircraft is photographed by the photographing device mounted on the aircraft, and the flying object and the aircraft are also detected. Detects the distance between the aircraft and the direction of movement of the flying object with respect to the aircraft. Using the detected movement direction and the distance of the flying object, it is determined whether or not the flying object is at risk of approaching or colliding with the aircraft. Controls the operation of a display device that visualizes and warns of the presence of a flying object that is mounted on the aircraft and that is determined to be at risk of approaching or colliding with the aircraft.
  • the photographing by the photographing device is directed toward a learning device that updates the reference data by machine learning using the teacher data based on the photographed image by the photographing device.
  • the image is output, and the updated reference data is acquired from the learning device.
  • the program storage medium according to the present invention is, as one form thereof.
  • the flying object is detected by using the reference data representing the flying object to be detected from the photographed image in which the periphery of the aircraft is photographed by the photographing device mounted on the aircraft, and the flying object and the aircraft are also detected.
  • the photographing by the photographing device is directed toward a learning device that updates the reference data by machine learning using the teacher data based on the photographed image by the photographing device.
  • a computer program that outputs an image and causes the computer to execute a process of acquiring the updated reference data from the learning device is stored.
  • FIG. 2 is a block diagram showing the configuration of the visualization system 1 of the first embodiment.
  • the visualization system 1 of the first embodiment has a function of generating and notifying alert information using a photographed image of the periphery of the helicopter 40, and includes a visualization control device 3 and a photographing device 4. , A display device 5 and a base device 6.
  • the photographing device 4 is, for example, a video camera, which is mounted on the helicopter 40 and has a configuration in which the periphery of the helicopter 40 is photographed and a moving image is output to the visualization control device 3 as a photographed image.
  • a 360-degree video camera may be adopted in consideration of photographing the periphery of the helicopter 40, or a video camera having a pan function and a tilt function may be adopted. Further, if it is not assumed that a flying object collides with the helicopter 40 from the rear of the helicopter 40, there may be no photographed image of the rear of the helicopter 40.
  • a photographing device that does not include the rear part of the helicopter 40 in the photographing range may be adopted. In this way, the shooting range required for the shooting device 4 is appropriately set.
  • Information indicating a preset reference direction is associated with the captured image output from the photographing device 4.
  • the reference direction is, for example, the north direction.
  • Information indicating the reference direction based on the sensor output by the orientation sensor built in the photographing device 4 or mounted on the helicopter 40 is associated with the captured image. Further, the captured image output from the photographing device 4 is associated with information indicating the shooting time and information for identifying the photographed photographing device 4.
  • the base device 6 is a device installed in a facility provided at the base where the helicopter 40 stands by, and is configured to include a learning device 30 and a database 32 which is a storage device.
  • the learning device 30 is a computer device having a function of generating reference data used by the visualization control device 3 by machine learning. That is, the learning device 30 includes, for example, an arithmetic unit 31 including a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the arithmetic unit 31 has a function of generating reference data by machine learning using teacher data based on a photographed image photographed by the photographing device 4.
  • the reference data is data used in the process of detecting a flying object that is expected to fly in the flight airspace of the helicopter 40.
  • flying objects include unmanned aerial vehicles (UAVs), flying cars, airships, helicopters, birds, small planes, commercial aircraft, military aircraft, missiles, skydiving people, balloons and gliders (hang gliders). And paragliders).
  • UAVs unmanned aerial vehicles
  • flying cars airships, helicopters, birds, small planes, commercial aircraft, military aircraft, missiles, skydiving people, balloons and gliders (hang gliders). And paragliders).
  • UAVs unmanned aerial vehicles
  • flying cars airships, helicopters, birds, small planes, commercial aircraft, military aircraft, missiles, skydiving people, balloons and gliders (hang gliders). And paragliders).
  • UAVs unmanned aerial vehicles
  • flying cars airships, helicopters, birds, small planes, commercial aircraft, military aircraft, missiles, skydiving people, balloons and gliders (hang gliders). And paragliders).
  • UAVs unmanned aerial vehicles
  • flying cars airships, helicopters,
  • the teacher data used by the arithmetic unit 31 for machine learning may be photographed image data in which information for identifying a flying object is given by a person, or a flying object is generated by pattern recognition by AI (Artificial Intelligence) technology. It may be captured image data to which identification information is added.
  • AI Artificial Intelligence
  • the method of generating the reference data by the learning device 30 by machine learning is a generation method determined according to the processing method executed by the visualization control device 3 using the reference data, and the description thereof will be omitted here. It is assumed that machine learning also includes deep learning.
  • the database 32 is a storage medium for storing reference data generated by the learning device 30 (arithmetic logic unit 31), teacher data used to generate the reference data, and data including image data captured by the photographing device 4. ..
  • the display device 5 is a device that visually notifies information.
  • the information notified (displayed) by the display device 5 is provided by the visualization control device 3.
  • the notification target for which the display device 5 notifies the information is the operator 44 of the helicopter 40.
  • the display device 5 has a mode in which the operator 44 can easily recognize the displayed information.
  • the display device 5 is an aspect of smart glasses. That is, the display device 5 is a glasses-like wearable terminal as shown in FIG. 6, and is, for example, a retinal scanning type display device (display).
  • the visualization control device 3 is a computer device that provides information prompting an operation for avoiding a collision with a flying object to the operator 44 of the helicopter 40 by using the display device 5. That is, the visualization control device 3 includes an arithmetic unit 10 and a storage device 11.
  • the storage device 11 is a storage medium for storing data and a computer program (hereinafter, also referred to as a program) 12. There are various types of storage media, and the storage device 11 may be composed of any storage medium. Further, the visualization control device 3 may be provided with a plurality of types of storage media. In this case, the plurality of types of storage media are collectively represented as the storage device 11. The description of the configuration and operation of the storage device 11 will be omitted.
  • the arithmetic unit 10 includes, for example, a processor such as a CPU or GPU. By reading and executing a program stored in the storage device 11, the processor can have various functions based on the program.
  • the arithmetic unit 10 has functional units such as a detection unit 15, a determination unit 16, a display control unit 17, and an update unit 18.
  • the detection unit 15 detects a flying object from the captured image captured by the photographing device 4, and further detects the distance between the flying object and the helicopter, the movement direction of the detected flying object, and the speed of the flying object. It has a function to do. That is, the detection unit 15 includes an object detection unit 20, a distance detection unit 21, a direction detection unit 22, and a speed detection unit 23.
  • a flying object that is expected to fly in the flight airspace of the helicopter 40 is preset as a detection target.
  • a flying object as shown in FIG. 3 is set as a detection target.
  • an unknown flying object whose type is not specified (in other words, an object that can detect that it is flying but cannot be identified) is also set as an unknown object as a detection target. ..
  • the object detection unit 20 has a function of detecting a flying object to be detected by using the reference data stored in the storage device 11 from the captured image captured by the photographing device 4.
  • the reference data is data for detecting a flying object set as a detection target, is generated by the learning device 30, and is stored in the storage device 11.
  • the object detection unit 20 may execute the detection process for detecting the flying object to be detected on all the frame images constituting the captured image, but only the selected frame image is used to reduce the load on the arithmetic unit 10. May be executed.
  • selecting a frame image to execute the detection process for example, when the frame images are arranged in chronological order, the frame images for each number of sheets determined in consideration of the processing capacity of the arithmetic unit 10 and the like are selected. ..
  • a method of detecting a flying object from a captured image for example, there is a method of using AI (Artificial Intelligence) technology.
  • AI Artificial Intelligence
  • detection methods There are multiple types of detection methods that can be adopted as methods for detecting flying objects from captured images using AI technology.
  • there are various factors such as the processing capacity of the arithmetic unit 10, the resolution of the captured image by the imaging device 4, and the imaging environment.
  • a detection method appropriately selected in consideration of the matters is adopted. The description of the detection method is omitted.
  • the learning device 30 when an unknown flying object is also set as a detection target, the learning device 30 generates reference data by using the captured image in which the unknown flying object is photographed as teacher data. Has a function.
  • the object detection unit 20 detects an unknown flying object.
  • the learning device 30 has a function of generating reference data of a background image by machine learning using teacher data using captured images of various sky conditions. Then, the object detection unit 20 detects an object that is neither a background nor an identifiable flying object in the captured image by using the reference data of such a background image and the data for detecting the identifiable flying object. In some cases, it may be detected that there is an unknown flying object.
  • the distance detection unit 21 has a function of detecting the distance between the detected flying object (hereinafter, also referred to as a detected flying object) and the helicopter 40 from the captured image. That is, the storage device 11 is provided with data for calculating the distance in advance.
  • the distance calculation data is data for calculating the distance between the detected flying object and the helicopter 40 by using the size (for example, the number of pixels) of the detected flying object in the captured image.
  • the distance calculation data is, for example, relationship data between the size of the detected flying object in the captured image and the distance between the detected flying object and the helicopter 40. This relational data is generated by utilizing the results of experiments and simulations that take into consideration the actual size of the detected flying object, the settings of the photographing device 4 when actually photographing such as the lens magnification, and the like.
  • the distance detection unit 21 detects the size (for example, the number of pixels) of the detected flying object in the captured image, and uses the detected size of the detected flying object and the distance calculation data to use the detected flying object and the helicopter 40. Calculate the distance between and.
  • the direction detection unit 22 has a function of detecting the moving direction of the detected flying object with respect to the helicopter 40 when the flying object to be detected is detected from the captured image.
  • the direction detection unit 22 has a displacement direction of the detected flying object in a plurality of frame images which is time series data in which the detected flying object is detected, and a distance between the detected flying object and the helicopter 40 calculated by the distance detection unit 21. Detects changes in the distance. Further, the direction detection unit 22 detects the moving direction of the detected flying object with respect to the helicopter 40 by utilizing the displacement direction of the detected flying object and the change in the distance.
  • the photographing device 4 is provided with a pan function and a tilt function, and may be photographed by the pan function and the tilt function.
  • the position of the detected flying object in the photographed image is specified by using the reference two-dimensional coordinate system determined based on the information of the reference direction included in the photographed image, and this specified position is used. Detects the displacement direction of the flying object. As a result, the displacement direction of the detected flying object can be detected without being adversely affected by the change in the shooting range due to the pan function and the tilt function.
  • the speed detection unit 23 has a function of detecting the relative speed of the detected flying object with respect to the helicopter 40 (hereinafter, also simply referred to as the speed of the flying object). To detect the speed of a flying object, the direction of movement of the flying object detected by the direction detecting unit 22, the change in the distance between the flying object detected by the distance detecting unit 21 and the helicopter 40, and the time required for the change in the distance are used. Is used. The time required to change the distance is acquired by using the information of the shooting time given to the frame image.
  • the determination unit 16 has a function of determining whether or not there is a risk that a flying object approaches or collides with the helicopter 40.
  • the determination includes the distance between the flying object detected by the distance detecting unit 21 and the helicopter 40, the moving direction of the flying object detected by the direction detecting unit 22, the speed of the flying object by the speed detecting unit 23, and preset storage.
  • the determination data stored in the device 11 is used.
  • the judgment data is data that represents a judgment criterion for judging the danger of a flying object approaching or colliding with the helicopter 40 based on the combination of the moving direction, the distance, and the speed as described above.
  • FIG. 4 shows a specific example of the determination data.
  • the determination data shown in FIG. 4 is data that can determine not only the presence or absence of danger but also the level indicating the degree of danger.
  • the speed of the flying object is high, the distance between the detected flying object and the helicopter 40 is short, the detected flying object exists near the helicopter 40, and the detected flying object is present.
  • the risk level is "6".
  • the risk level here is represented by an integer from 1 to 6, and indicates that the risk increases from level 1 to level 6.
  • the flying object speed is high.
  • a speed classification value for determining whether it is slow or slow is given in advance.
  • the speed division value is preset based on, for example, the average speed of the helicopter 40 in a stable flight state in which the fluctuation range of the speed of the helicopter 40 is within a preset allowable range. That is, when determining whether or not a flying object is at risk of approaching or colliding with the helicopter 40, the relative speed of the flying object with respect to the helicopter 40 is considered to be an important determination factor. From this, it is conceivable to use the average speed of the helicopter 40 in a stable flight state for setting the speed classification value for determining whether the speed of the flying object is fast or slow.
  • the speed classification value setting method is not limited to this example.
  • the determination unit 16 has a function of determining whether the speed of the flying object is fast or slow based on the speed classification value set as described above. Further, the determination unit 16 uses the distance determination information to determine whether the distance between the detected flying object and the helicopter 40 corresponds to "far", “medium”, or “close”. To be equipped.
  • the distance determination information is information indicating whether the distance between the detected flying object and the helicopter 40 corresponds to "far", “medium”, or “close”, and is preset and given.
  • the distance determination information includes range information representing "far", range information representing "medium”, and range information representing "close”.
  • the distance between the detected flying object and the helicopter 40 here is one of the determination materials for determining whether or not the flying object has a risk of approaching or colliding with the helicopter 40.
  • the distance between the detected flying object and the helicopter 40 is short, there is a high risk that the flying object approaches or collides with the helicopter 40, and as the distance increases, the flying object approaches or collides with the helicopter 40. The risk becomes lower. It is considered that the average speed of the helicopter 40 in a stable flight state is involved in such a relationship between the distance and the danger.
  • the range representing "far", the range representing "medium”, and the range representing "near” are the helicopter 40 in a stable flight state. It is determined based on the average speed of. Alternatively, those ranges may be a range determined by a combination of the average speed of the helicopter 40 in a stable flight state and the classification (fast or slow) of the flying object speed as shown in FIG.
  • the determination unit 16 uses the determination data and the information on the moving direction, distance, and speed of the detected flying object, and is there a risk that the detected flying object by the object detection unit 20 approaches or collides with the helicopter 40? Judge whether or not. Further, in the first embodiment, the determination unit 16 further determines the level of risk.
  • the display control unit 17 has a function of controlling the operation of the display device 5 that notifies the operator 44 of information.
  • the storage device 11 stores broadcast control data as shown in FIG.
  • the notification control data is data that the display control unit 17 refers to when controlling the display operation of the display device 5, and is a type of information to be displayed according to the level of danger determined by the determination unit 16 and its display. It is data representing the method. For example, in the standard setting shown in FIG. 5, when the danger is level 1, the mark and name of the flying object detected by the detection unit 15 are displayed in small green and no other information is displayed. Information for display control is set.
  • the mark and name of the flying object detected by the detection unit 15, the distance, the speed, the moving direction, the danger level information and the warning display by the determination unit 16 are maximized in red.
  • Information for display control that is displayed is set.
  • As the mark of the flying object for example, a mark as shown in FIG. 3 is displayed.
  • the display sizes "small”, “medium”, “large”, and “maximum” are preset based on the size of the display area of the display device 5.
  • the display color, the wording of the warning display, the symbol, the character decoration, and the like are appropriately set in consideration of the clarity of the display and the like.
  • the selection information is associated with the information that can be notified by the display device 5, such as the mark and name of the flying object, the distance, the speed, the moving direction, and the level of danger.
  • the selection information is information indicating the necessity of notification, and when an input device (not shown) for inputting information to the visualization control device 3 is operated by, for example, the operator 44, either the necessity or the unnecessary of notification can be obtained. It is selected and serves as selection information. It is assumed that this selection information can be set for each level of risk.
  • the notification control data as described above is stored in the storage device 11, a flying object is detected by the detection operation of the detection unit 15, and further, the distance, speed, and moving direction of the detected detected flying object are determined. Suppose it is detected. Furthermore, it is assumed that the determination unit 16 determines the presence or absence of danger and the danger level.
  • the display control unit 17 detects and flies based on the information on the type, the presence or absence of danger, and the level of the detected flying object by the detection unit 15 and the determination unit 16, and the notification control data including the selection information by the operator 44. The operation of the display device 5 is controlled so that the information related to the object is notified to the operator 44.
  • the display control unit 17 has a function of visualizing and warning that there is a flying object that may approach or collide with the helicopter 40 by controlling the operation of the display device 5.
  • the information on the mark and name of the detected flying object by the detection unit 15 and the determination unit 16 is used by the operator. Notified by the display device 5 toward 44. However, in the case of level 1, if it is set that it is not necessary to notify the detection flying object mark and the name information by the selection information by the operator 44 as described above, the detection flying object mark. And the name information (that is, nothing) is not displayed by the display device 5.
  • the update unit 18 learns the data of the captured image photographed by the photographing device 4 and stored in the storage device 11 during the period when the helicopter 40 is waiting on the ground (hereinafter, also referred to as the helicopter 40 is waiting on the ground). It has a function of outputting to the device 30. That is, when the helicopter 40 is on standby on the ground, for example, it is detected that the propeller is stopped by using the sensor output output from the rotation speed sensor that detects the rotation speed of the propeller of the helicopter 40. Can be detected by.
  • the update unit 18 detects that the helicopter 40 is waiting on the ground based on the sensor output of the propeller rotation speed sensor (for example, when landing is detected), and the learning device 30 And outputs the data of the captured image of the storage device 11 to the learning device 30.
  • the output captured image data is associated with information on the shooting time and information for identifying the shooting device 4 that has been shot.
  • the received photographed image data is written in the database 32, and is also referred to by machine learning using the teacher data based on the received and added photographed image data.
  • the data is updated.
  • the updated reference data is overwritten with the reference data of the database 32.
  • the update unit 18 further has a function of synchronizing the reference data stored in the storage device 11 of the helicopter 40 with the reference data of the database 32 via the learning device 30 while the helicopter 40 is on the ground.
  • the timing for synchronizing the reference data for example, the timing at which the helicopter 40 is assumed to transition from the stopped state to the operating state and attempt to take off can be considered.
  • the detection unit 15 in the arithmetic unit 10 can perform a detection operation using the latest reference data.
  • the configuration of the visualization system 1 and the visualization control device 3 of the first embodiment is configured as described above. Next, an operation example of the visualization control device 3 will be described with reference to the flowchart of FIG.
  • the update unit 18 of the visualization control device 3 connects to the learning device 30 of the base device 6. Then, the update unit 18 synchronizes the reference data of the storage device 11 with the reference data of the database 32 of the base device 6 via the learning device 30 (step S101). Further, the display control unit 17 notifies the operator 44 of the information of the option for causing the operator 44 to select the information to be notified by the display device 5 by the display device 5. Based on the operation information of the input device by the operator 44 receiving this, the display control unit 17 sets the notification condition (that is, the selection information of the notification control data) to the operator 44 by the display device 5 (step). S102).
  • the notification condition that is, the selection information of the notification control data
  • the detection unit 15 analyzes the captured image by the photographing device 4 by the AI technology using the reference data, and detects the flying object around the helicopter 40. Further, when the detection unit 15 detects a flying object, the detection unit 15 detects the moving direction of the detected flying object and the distance between the helicopter 40 and the detected flying object. The detection unit 15 executes the detection of the flying object as described above and the detection process of detecting the moving direction and the distance of the detected flying object (step S103). Further, when a flying object is detected by the detection unit 15, the determination unit 16 has a risk that the detected flying object approaches or collides with the helicopter 40 based on the information detected by the detection process and the determination data.
  • a determination process for determining whether or not there is a property is executed (step S104). Further, the display control unit 17 controls the operation of the display device 5 with reference to the notification control data, so that the information obtained by the detection process by the detection unit 15 and the information by the determination process by the determination unit 16 can be obtained from the operator 44.
  • the notification process for notifying the user is executed (step S105).
  • the detection process, determination process, and notification process as described above are repeatedly executed during the flight of the helicopter 40.
  • the update unit 18 detects that the helicopter 40 has landed (while the helicopter 40 is on the ground standby)
  • the update unit 18 connects to the learning device 30 and learns the data of the captured image stored in the storage device 11.
  • Output to 30 step S106.
  • the learning device 30 that has received the captured image data stores the received captured image data in the database 32. Further, the learning device 30 uses the teacher data based on the added captured image data to update the reference data used by the detection unit 15 in the visualization control device 3 by machine learning, and the updated reference data is stored in the database. Overwrite the reference data of 32.
  • the visualization system 1 of the first embodiment and the visualization control device 3 constituting the visualization control device 3 detect a flying object that may collide with the helicopter 40, which is an aircraft, from the captured image, and visualize the information about the detected flying object. It has a function of notifying the operator 44. As a result, the visualization system 1 of the first embodiment and the visualization control device 3 constituting the visualization system 1 can notify the operator 44 of the helicopter 40 of information prompting an operation for avoiding a collision with a flying object. Obtainable.
  • the display device 5 is a smart glass mode and is a device that can be worn by the operator 44, it is not necessary to fix the display device 5 inside the helicopter 40.
  • the space inside the helicopter 40 can be expanded by a minute.
  • the operation of the display device 5 is controlled so that the danger is clearly notified.
  • the visualization system 1 of the first embodiment and the visualization control device 3 constituting the visualization system 1 can effectively notify the operator 44 of the helicopter 40 that there is a danger.
  • the visualization control device 3 includes an update unit 18, and the function of the update unit 18 provides a photographed image taken during flight to the base device 6, and the learning device 30 provides the photographed image. It has a configuration used for machine learning of reference data. Further, the visualization control device 3 can synchronize the reference data of the storage device 11 with the reference data updated by machine learning by the learning device 30 by the function of the update unit 18. With such a configuration, the visualization control device 3 can detect a flying object from the captured image by using the updated reference data, and thereby can improve the reliability of the detection of the flying object. ..
  • the visualization control device 3 is configured to connect to the base device 6 and perform data communication with the base device 6 while the helicopter 40 is on the ground standby. As a result, the visualization control device 3 can perform data communication with the base device 6 in a situation where communication failure is less likely to occur than during flight.
  • the display device 5 is in the form of smart glasses and is a device that can be worn by the operator 44.
  • the display device 5 may be, for example, a projector that displays information in a glass window in front of the operator 44 as shown in FIG.
  • the display device 5 may be a display device other than the smart glasses or the mode shown in FIG. 7 as long as the information can be notified to the driver 44 in a mode that does not interfere with the maneuvering of the driver 44.
  • the base device 6 can be connected to a plurality of helicopters 40, and the learning device 30 is a visualization control device using teacher data based on the captured images of the photographing device 4 received from each of the plurality of helicopters 40.
  • the reference data used in 3 may be machine-learned.
  • the number of teacher data used for machine learning of reference data can be increased as compared with the case of using the captured image of one helicopter 40, and the situation where a flying object is photographed.
  • reference data that can improve the detection accuracy by the detection unit 15 of the visualization control device 3 can be generated, so that the reliability of the information notified by the visualization system and the visualization control device 3 to the operator 44 can be improved.
  • the reference data not only includes data obtained by machine learning the flying object to be detected, but also excludes flying objects that do not need to be detected (for example, small birds that are expected to have a small effect on the helicopter 40).
  • Machine-learned data is included as the data of.
  • the distance and speed information is displayed by character information such as "close” and "fast”, but more specific numerical information is displayed. You may.
  • the direction detection unit 22 shows an example in which the direction detection unit 22 has a function of detecting the moving direction of the detected flying object with respect to the helicopter 40. Instead, for example, the direction detection unit 22 may detect the direction information as the moving direction of the detected flying object by also using the information of the direction sensor mounted on the helicopter 40. In such a case, for example, the direction (for example, "northward” or “southeastward”) may be displayed as the direction information displayed by the display device 5.
  • the visualization control device 3 may further include a reaction detection unit 19 as shown in FIG.
  • the storage device 11 in the visualization control device 3 and the detection unit 15, the determination unit 16, and the update unit 18 in the arithmetic unit 10 are not shown.
  • the reaction detection unit 19 does not respond to the operator 44 even though the display device 5 notifies the operator 44 of information indicating that the display device 5 has a high risk due to the operation of the display control unit 17. It has a function to detect. For example, the reaction detection unit 19 determines whether or not there is a reaction from the operator 44 when the display device 5 notifies the operator 44 of information indicating that the risk is high.
  • the reaction of the operator 44 here is that the operator 44 changes the direction of travel and the flight altitude of the helicopter 40 in response to the fact that the display device 5 notifies the information indicating that the risk is high. Is to do. Such a reaction of the operator 44 is detected based on the operation information of the control lever and the like.
  • the display control unit 17 When the reaction detection unit 19 detects that there is no reaction from the operator 44, the display control unit 17 provides a notification method for notifying that the risk is high, in a direction that more clearly notifies that the risk is high. It also has a function to change to. By providing such a configuration, the visualization control device 3 can more effectively notify the operator 44 that the risk is high. Furthermore, even though the reaction detection unit 19 has changed the notification method in the direction of more clearly notifying the high risk by the display control unit 17, even if a predetermined time has passed since the change, It may have a function of detecting that there is no reaction of the operator 44.
  • the visualization control device When the reaction detection unit 19 detects that there is no response from the operator 44 even though the display control unit 17 has changed the notification method, the visualization control device has a function of notifying a predetermined notification destination. It may be provided in 3.
  • the report destination is, for example, a management center that manages the operation of the helicopter 40. By providing such a notification configuration, it is possible for the management center to alert the operator 44 by wireless communication. Further, for example, the management center can detect that the operator 44 is in poor physical condition and cannot respond to the notification that the risk is high.
  • FIG. 10 is a block diagram showing a configuration of a visualization system according to a second embodiment of the present invention. Further, FIG. 11 is a block diagram showing a functional configuration of a visualization control device constituting the visualization system of the second embodiment.
  • the visualization system 50 of the second embodiment includes a photographing device 51, a visualization control device 52, a display device 53, and a learning device 54.
  • the photographing device 51 is a device that provides the visualization control device 52 with a photographed image mounted on the aircraft and photographed around the aircraft.
  • the display device 53 is a device that visualizes and warns of the existence of a flying object that is determined by the visualization control device 52 to be in danger of approaching or colliding with an aircraft.
  • the learning device 54 has a function of updating the reference data used by the visualization control device 52 by machine learning by using the teacher data based on the image captured by the photographing device 51.
  • the visualization control device 52 includes a detection unit 55, a determination unit 56, a display control unit 57, and an update unit 58.
  • the detection unit 55 has a function of detecting a flying object by using reference data generated by the learning device 54 and representing a flying object to be detected from an image captured by the photographing device 51. Further, the detection unit 55 has a function of detecting the distance between the flying object and the aircraft and the moving direction of the flying object with respect to the aircraft.
  • the determination unit 56 has a function of determining whether or not there is a risk of the flying object approaching or colliding with the aircraft by using the detected movement direction and distance of the flying object.
  • the display control unit 57 has a function of visualizing and warning that there is a flying object determined to be at risk of approaching or colliding with an aircraft by controlling the operation of the display device 53.
  • the update unit 58 has a function of outputting an image captured by the photographing device 51 toward the learning device 54 and acquiring updated reference data from the learning device 54 while the aircraft is on standby on the ground. To be equipped.
  • the detection unit 55 of the visualization control device 52 detects a flying object to be detected from the image captured by the photographing device 51 during the flight of the aircraft, and also determines the distance between the flying object and the aircraft and the aircraft. Detects the moving direction of the flying object with respect to (step S301). Then, the determination unit 56 determines whether or not there is a risk that the flying object approaches or collides with the aircraft by using the detected movement direction and distance of the flying object (step S302). After that, when it is determined that there is a danger of approaching or colliding with the aircraft, the display control unit 57 visualizes and warns that there is a danger by controlling the operation of the display device 53 (step). S303). After that, after the aircraft has landed, the update unit 58 outputs an image captured by the photographing device 51 toward the learning device 54 (step S304).
  • the visualization system 50 and the visualization control device 52 of the second embodiment are operated to avoid a collision with a flying object toward the operator of the aircraft, as in the first embodiment. You can get the effect of being able to notify the information that prompts you.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

航空機の操縦者に向けて、飛行物体との衝突を回避する動作を促す情報を通知できる技術を提供するために、可視化制御装置５２の検知部５５は、撮影装置５１による撮影画像から、学習装置５４により生成され検知対象の飛行物体を表す参考データを利用して飛行物体を検知する。検知部５５は、飛行物体と航空機との間の距離、および、航空機に対する飛行物体の移動方向を検知する。判定部５６は、検知された飛行物体の移動方向および距離を利用して、飛行物体が航空機に接近あるいは衝突する危険性があるか否かを判定する。表示制御部５７は、表示装置５３の動作を制御することにより、航空機に接近あるいは衝突する危険性があると判定された飛行物体が存在することを可視化して警告する。更新部５８は、航空機の地上待機中に、学習装置５４に向けて、撮影装置５１による撮影画像を出力し、また、学習装置５４から、更新された参考データを取得する。

Description

可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体
　本発明は、ヘリコプターなどの航空機の操縦者に向けて、周囲を飛行している飛行物体の存在を通知する技術に関する。
　ドローンやＵＡＶ（unmanned aerial vehicle）やＲＰＡＳ（remote piloted aircraft systems）やＵＡＳ（unmanned aircraft systems）等と称される無人航空機や、空飛ぶ車や、ヘリコプターなどの多種多様な飛行物体が同じ空域内で飛び交う社会が実現されようとしている。このように多数の飛行物体が同じ空域内で飛行するようになると、飛行物体の異常接近や、飛行物体同士の衝突の危険性が高まることが心配される。
特表２０１５－５３３１０９号公報
　特許文献１には、航空機に搭載されているビデオカメラによるビデオ画像を利用して、航空機に鳥などの物体が衝突するバードストライクが発生した、又は、発生する可能性がある場合に、その衝突に関わる情報を報告する技術が開示されている。特許文献１において、衝突に関わる情報を報告するレポートには、航空機における物体の衝突位置やサイズや特徴が含まれることが開示されている。
　特許文献１におけるレポートは、航空機における物体の衝突位置やサイズや特徴を報告するにすぎず、航空機の搭乗員（パイロット）に、衝突を回避する動作を促すものではない。
　本発明の主な目的は、航空機の操縦者に向けて、飛行物体との衝突を回避する動作を促す情報を通知できる技術を提供することにある。
　上記目的を達成するために、本発明に係る可視化制御装置は、その一形態として、
　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知する検知部と、
　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定する判定部と、
　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御する表示制御部と、
　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する更新部と
を備える。
　本発明に係る可視化システムは、その一形態として、
　上述した可視化制御装置と、
　前記航空機に搭載され前記航空機の周辺が撮影されている撮影画像を前記可視化制御装置に提供する撮影装置と、
　前記可視化制御装置によって前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置と、
　前記撮影装置による前記撮影画像に基づいた教師データを利用して前記可視化制御装置が利用する前記参考データを機械学習により更新する学習装置と
を備える。
　本発明に係る可視化制御方法は、その一形態として、
　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知し、
　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定し、
　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御し、
　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する。
　本発明に係るプログラム記憶媒体は、その一形態として、
　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知する処理と、
　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定する処理と、
　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御する処理と、
　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　本発明によれば、航空機の操縦者に向けて、飛行物体との衝突を回避する動作を促す情報を通知できる。
本発明に係る第１実施形態の可視化システムの構成を説明する図である。 第１実施形態の可視化システムを構成する可視化制御装置の機能構成を説明する図である。 検知対象として設定される飛行物体の具体例を表す図である。 判定用データの一例を表す図である。 報知制御用データの一例を表す図である。 表示装置による報知の具体例を表す図である。 表示装置による報知の別の具体例を表す図である。 可視化制御装置の動作例を表すフローチャートである。 その他の実施形態を説明する図である。 本発明に係る第２実施形態の可視化システムの構成を説明する図である。 第２実施形態の可視化システムを構成する可視化制御装置の機能構成を説明する図である。 第２実施形態の可視化制御装置の動作例を表すフローチャートである。
　以下に、本発明に係る実施形態を図面を参照しつつ説明する。
　＜第１実施形態＞
　本発明に係る第１実施形態の可視化システムは、図１に表されているような航空機であるヘリコプター４０の操縦者（パイロット）４４に向けて、ヘリコプター４０に飛行物体が衝突することを回避する動作を促す注意喚起情報を通知可能なシステムである。図２は、第１実施形態の可視化システム１の構成を表すブロック図である。第１実施形態の可視化システム１は、ヘリコプター４０の周辺が撮影されている撮影画像を利用して注意喚起情報を生成して通知する機能を備えており、可視化制御装置３と、撮影装置４と、表示装置５と、基地装置６とを有する。
　撮影装置４は、例えばビデオカメラであり、ヘリコプター４０に搭載されヘリコプター４０の周辺を撮影し、撮影画像として動画を可視化制御装置３に出力する構成を備えている。撮影装置４は、ヘリコプター４０の周辺を撮影することを考慮して、３６０度ビデオカメラが採用されてもよいし、パン機能やチルト機能を備えたビデオカメラが採用されてもよい。また、ヘリコプター４０の後方から飛行物体がヘリコプター４０に衝突する事態を想定しない場合には、ヘリコプター４０の後方を撮影した撮影画像は無くともよい。換言すれば、撮影装置４は、ヘリコプター４０の後方を撮影範囲に含まない撮影装置が採用されてもよい。このように、撮影装置４に要求される撮影範囲は適宜設定される。
　撮影装置４から出力される撮影画像には、予め設定された基準方向を表す情報が関連付けられる。基準方向とは、例えば、北方向である。撮影装置４に内蔵、あるいは、ヘリコプター４０に搭載されている方位センサによるセンサ出力に基づいた基準方向を表す情報が撮影画像に関連付けられる。また、撮影装置４から出力される撮影画像には、撮影時刻を表す情報、および、撮影した撮影装置４を識別する情報も関連付けられている。
　基地装置６は、ヘリコプター４０が待機する基地に設けられた施設に設置される装置であり、ここでは、学習装置３０と、記憶装置であるデータベース３２とを有して構成されている。
　学習装置３０は、可視化制御装置３が使用する参考データを機械学習により生成する機能を備えるコンピュータ装置である。すなわち、学習装置３０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを備えている演算装置３１を備えている。演算装置３１は、撮影装置４により撮影された撮影画像に基づいた教師データを利用した機械学習により参考データを生成する機能を備える。ここでは、参考データとは、ヘリコプター４０の飛行空域において飛行することが想定される飛行物体を検知する処理で利用されるデータである。飛行物体の具体例を挙げると、無人航空機（ＵＡＶ）、空飛ぶ車、飛行船、ヘリコプター、鳥、小型飛行機、商用機、軍用機、ミサイル、スカイダイビングをしている人、気球やグライダー（ハンググライダーやパラグライダーを含む）などがある。図１の例では、飛行物体として、無人航空機４１と、空飛ぶ車４２とが図示されている。
　また、演算装置３１が機械学習に利用する教師データは、飛行物体を識別する情報が人によって付与された撮影画像データであってもよいし、ＡＩ（Ａrtificial Ｉntelligence）技術によるパターン認識により飛行物体を識別する情報が付与された撮影画像データであってもよい。
　さらに、学習装置３０が参考データを機械学習により生成する手法は、可視化制御装置３が参考データを用いて実行する処理手法に応じて定められる生成手法であり、ここでは、その説明は省略する。なお、機械学習には、深層学習も含まれるとする。
　データベース３２は、学習装置３０（演算装置３１）により生成された参考データや、当該参考データの生成に用いた教師データや、撮影装置４による撮影画像のデータを含むデータを記憶する記憶媒体である。
　表示装置５は、情報を視覚的に報知する装置である。ここでは、表示装置５が報知（表示）する情報は、可視化制御装置３から提供される。また、表示装置５が情報を報知する報知対象は、ヘリコプター４０の操縦者４４である。これにより、表示装置５は、表示された情報を操縦者４４が認識しやすいような態様を有している。例えば、図１の例では、表示装置５は、スマートグラスの態様である。すなわち、表示装置５は、図６に表されるようなメガネ状のウェアラブル端末であり、例えば、網膜走査方式の表示装置（ディスプレイ）である。
　可視化制御装置３は、飛行物体との衝突を回避する動作を促す情報を、表示装置５を利用してヘリコプター４０の操縦者４４に向けて提供するコンピュータ装置である。すなわち、可視化制御装置３は、演算装置１０と、記憶装置１１とを備えている。記憶装置１１は、データやコンピュータプログラム（以下、プログラムとも記す）１２を記憶する記憶媒体である。記憶媒体には様々な種類があり、記憶装置１１は、何れの記憶媒体により構成されてもよい。また、可視化制御装置３には、複数種の記憶媒体が備えられていてもよく、この場合には、複数種の記憶媒体をまとめて記憶装置１１として表すこととする。記憶装置１１の構成および動作の説明は省略する。
　演算装置１０は、例えば、ＣＰＵやＧＰＵなどのプロセッサを備えている。プロセッサは、記憶装置１１に記憶されているプログラムを読み出して実行することにより、当該プログラムに基づいた様々な機能を持つことができる。例えば、第１実施形態では、演算装置１０は、検知部１５と、判定部１６と、表示制御部１７と、更新部１８という機能部を有している。
　検知部１５は、撮影装置４により撮影された撮影画像から、飛行物体を検知し、さらに、飛行物体とヘリコプターとの間の距離、検知した飛行物体の移動方向、および、飛行物体の速度を検知する機能を備える。すなわち、検知部１５は、物体検知部２０と、距離検知部２１と、方向検知部２２と、速度検知部２３とを備える。ここでは、ヘリコプター４０の飛行空域において飛行することが想定される飛行物体が検知対象として予め設定されている。例えば、図３に表されているような飛行物体が検知対象として設定される。なお、図３の例では、種類が特定されていない不明な飛行物体（換言すれば、飛行していることを検知できるが、識別できない物体）も、不明な物体として、検知対象として設定される。
　物体検知部２０は、撮影装置４により撮影された撮影画像から、記憶装置１１に格納されている参考データを利用して、検知対象の飛行物体を検知する機能を備えている。参考データとは、検知対象として設定された飛行物体を検知するためのデータであり、学習装置３０により生成されて記憶装置１１に格納される。物体検知部２０は、検知対象の飛行物体を検知する検知処理を、撮影画像を構成する全てのフレーム画像に実行してもよいが、演算装置１０の負荷軽減のために、選択したフレーム画像のみに実行してもよい。検知処理を実行するフレーム画像を選択する場合には、例えば、フレーム画像を時系列で並べた場合に、演算装置１０の処理能力等を考慮して定められた枚数毎のフレーム画像が選択される。
　撮影画像から飛行物体を検知する手法としては、例えば、ＡＩ（Ａrtificial Ｉntelligence）技術を利用する手法がある。ＡＩ技術により撮影画像から飛行物体を検知する手法として採用し得る検知手法には複数種有り、ここでは、演算装置１０の処理能力や、撮影装置４による撮影画像の解像度や撮影環境などの様々な事項を考慮して適宜選択された検知手法が採用される。その検知手法の説明は省略される。なお、上述のように、不明な飛行物体も検知対象として設定される場合には、不明な飛行物体が撮影されている撮影画像をも教師データとして利用して学習装置３０は参考データを生成する機能を持つ。このように生成された参考データを利用して、物体検知部２０は、不明な飛行物体を検知する。あるいは、例えば、様々な空状況の撮影画像を利用した教師データを用いた機械学習によって背景画像の参考データを生成する機能を学習装置３０が持つ。そして、物体検知部２０は、そのような背景画像の参考データと、識別可能な飛行物体を検知するデータとを利用して、撮影画像において、背景でも識別可能な飛行物体でもない物体を検知した場合には、不明な飛行物体があると検知してもよい。
　距離検知部２１は、検知された飛行物体（以下、検知飛行物体とも称する）とヘリコプター４０との間の距離を、撮影画像から検知する機能を備える。すなわち、記憶装置１１には距離算出用データが予め与えられている。距離算出用データは、撮影画像における検知飛行物体の大きさ（例えば画素数）を用いて、検知飛行物体とヘリコプター４０との間の距離を算出するデータである。当該距離算出用データは、例えば、撮影画像における検知飛行物体の大きさと、検知飛行物体とヘリコプター４０との間の距離との関係データである。この関係データは、検知飛行物体の実際の大きさや、レンズ倍率などの実際に撮影する場合の撮影装置４の設定などを考慮した実験やシミュレーションの結果を利用して生成される。
　距離検知部２１は、撮影画像における検知飛行物体の大きさ（例えば画素数）を検知し、当該検知した検知飛行物体の大きさと、距離算出用データとを利用して、検知飛行物体とヘリコプター４０との間の距離を算出する。
　方向検知部２２は、撮影画像から検知対象の飛行物体が検知された場合に、ヘリコプター４０に対する、検知飛行物体の移動方向を検知する機能を備える。例えば、方向検知部２２は、検知飛行物体が検知された時系列データである複数のフレーム画像における検知飛行物体の変位方向と、距離検知部２１により算出された検知飛行物体とヘリコプター４０との間の距離の変化とを検知する。さらに、方向検知部２２は、それら検知飛行物体の変位方向と、距離の変化と利用して、ヘリコプター４０に対する検知飛行物体の移動方向を検知する。なお、撮影装置４がパン機能やチルト機能を備えており、パン機能やチルト機能による撮影が行われる場合がある。この場合には、例えば、撮影画像に含まれている基準方向の情報に基づいて定まる基準の二次元座標系を利用して撮影画像における検知飛行物体の位置を特定し、この特定した位置を利用して検知飛行物体の変位方向を検知する。これにより、パン機能やチルト機能による撮影範囲の変化の悪影響を受けずに、検知飛行物体の変位方向を検知可能である。
　速度検知部２３は、ヘリコプター４０に対する検知飛行物体の相対的な速度（以下、単に飛行物体速度とも称する）を検知する機能を備えている。飛行物体速度の検知には、方向検知部２２による検知飛行物体の移動方向と、距離検知部２１による検知飛行物体とヘリコプター４０との間の距離の変化と、当該距離の変化に要した時間とが利用される。距離の変化に要した時間は、フレーム画像に付与されている撮影時刻の情報を利用して取得される。
　判定部１６は、飛行物体がヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する機能を備える。その判定には、距離検知部２１による検知飛行物体とヘリコプター４０との間の距離、方向検知部２２による検知飛行物体の移動方向、速度検知部２３による飛行物体速度、および、予め設定されて記憶装置１１に格納されている判定用データが用いられる。
　判定用データは、上述したような移動方向と距離と速度の組み合わせに基づいて、飛行物体がヘリコプター４０に接近あるいは衝突する危険性について判定する判断基準が表されているデータである。
　図４には、判定用データの具体例が表されている。図４に表されている判定用データは、危険性の有無だけでなく、危険性の度合いを表すレベルをも判定可能なデータとなっている。図４の判定用データによれば、飛行物体速度が速く、かつ、検知飛行物体とヘリコプター４０との間の距離が短くて検知飛行物体がヘリコプター４０の近くに存在し、かつ、検知飛行物体がヘリコプター４０に近付く方向に移動している場合には、危険性は有りである。また、この場合には、危険性のレベルは、『６』である。ここでの危険性のレベルは、１から６の整数により表され、レベル１からレベル６に向かうに従って危険性が高くなることを表している。
　判定部１６が、図４に表されるような判定用データを利用して、飛行物体がヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する場合には、飛行物体速度が速いか遅いかを判断する速度区分値が予め与えられる。速度区分値は、例えば、ヘリコプター４０の速度の変動幅が予め設定されている許容範囲内であるという安定飛行状態でのヘリコプター４０の平均速度に基づいて予め設定される。つまり、飛行物体がヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する場合に、ヘリコプター４０に対する飛行物体の相対的な速度が重要な判定材料になると考えられる。このことから、飛行物体速度が速いか遅いかを判断する速度区分値の設定に、安定飛行状態でのヘリコプター４０の平均速度を利用することが考えられる。なお、速度区分値の設定手法は、この例に限定されない。
　判定部１６は、上述したように設定される速度区分値に基づいて、飛行物体速度が速いか遅いかを判定する機能を備える。さらに、判定部１６は、距離判定情報を利用して、検知飛行物体とヘリコプター４０との間の距離が『遠い』と『中程度』と『近い』との何れに該当するかを判定する機能を備える。距離判定情報は、検知飛行物体とヘリコプター４０との間の距離が『遠い』と『中程度』と『近い』との何れに該当するかを表す情報であり、予め設定されて与えられる。距離判定情報は、『遠い』を表す範囲情報と、『中程度』を表す範囲情報と、『近い』を表す範囲情報とを含む。ここでの検知飛行物体とヘリコプター４０との間の距離は、飛行物体がヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する判定材料の一つである。つまり、検知飛行物体とヘリコプター４０との間の距離が短い場合には、飛行物体がヘリコプター４０に接近あるいは衝突する危険性が高く、距離が長くなるに従って、飛行物体がヘリコプター４０に接近あるいは衝突する危険性が低くなっていく。このような距離と危険性の関係には、安定飛行状態でのヘリコプター４０の平均速度が関与すると考えられる。このことにより、距離判定情報の設定の具体例としては、例えば、『遠い』を表す範囲と、『中程度』を表す範囲と、『近い』を表す範囲とは、安定飛行状態でのヘリコプター４０の平均速度に基づいて定められる。あるいは、それら範囲は、安定飛行状態でのヘリコプター４０の平均速度と、図４のような飛行物体速度の区分（速い、あるいは、遅い）との組み合わせにより定まる範囲であってもよい。
　判定部１６は、判定用データと、検知飛行物体の移動方向と距離と速度との情報を利用して、物体検知部２０による検知飛行物体が、ヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する。さらに、第１実施形態では、判定部１６は、さらに、危険性のレベルを判定する。
　表示制御部１７は、操縦者４４に向けて情報を報知する表示装置５の動作を制御する機能を備える。例えば、記憶装置１１には、図５に表されるような報知制御用データが格納されているとする。報知制御用データは、表示制御部１７が表示装置５の表示動作を制御する際に参照するデータであり、判定部１６により判定された危険性のレベルに応じて表示する情報の種類とその表示手法を表すデータである。例えば、図５に表されている標準設定では、危険性がレベル１の場合には、検知部１５により検知される飛行物体のマークおよび名称が緑色で小さく表示され、他の情報は表示されないという表示制御用の情報が設定されている。また、危険性がレベル６の場合には、検知部１５により検知される飛行物体のマークおよび名称、距離、速度、移動方向、判定部１６による危険性のレベルの情報および警告表示が赤色で極大表示されるという表示制御用の情報が設定されている。なお、飛行物体のマークとしては、例えば、図３に表されるようなマークが表示される。また、表示の大きさである「小」、「中」、「大」および「極大」は、表示装置５の表示領域の大きさに基づいて予め設定される。また、表示の色や、警告表示の文言、記号、文字飾りなどは、表示の明瞭さ等を考慮して適宜設定されるものである。
　また、ここでは、表示装置５によって報知し得る情報である飛行物体のマークおよび名称、距離、速度、移動方向、危険性のレベルの情報には、選択情報が関連付けられているとする。選択情報は、報知の要否を表す情報であり、可視化制御装置３に情報を入力する入力装置（図示せず）が例えば操縦者４４により操作されることにより、報知の必要と不要の一方が選択されて選択情報と成す。この選択情報は、危険性のレベル毎に設定可能であるとする。
　上述したような報知制御用データが記憶装置１１に格納されている場合に、検知部１５の検知動作により、飛行物体が検知され、さらに、検知された検知飛行物体に関する距離と速度と移動方向が検知されたとする。さらにまた、判定部１６により、危険性の有無と危険レベルが判定されたとする。表示制御部１７は、検知部１５と判定部１６による検知飛行物体の種類と危険性の有無およびレベルとの情報と、操縦者４４による選択情報を含む報知制御用データとに基づいて、検知飛行物体に係る情報が操縦者４４に向けて報知されるように表示装置５の動作を制御する。
　すなわち、表示制御部１７は、表示装置５の動作を制御することによって、ヘリコプター４０に接近あるいは衝突する危険性がある飛行物体が存在することを可視化して警告する機能を備える。
　なお、図５に表される標準設定の例では、危険性が無い（レベル１）と判断された場合にも、検知部１５と判定部１６による検知飛行物体のマークおよび名称の情報が操縦者４４に向けて表示装置５により報知される。ただ、レベル１である場合に、前述したような操縦者４４による選択情報により、検知飛行物体のマークおよび名称の情報の報知が不要であると設定されている場合には、検知飛行物体のマークおよび名称の情報も（つまり、何も）表示装置５により表示されない。
　更新部１８は、ヘリコプター４０が地上で待機している期間中（以下、ヘリコプター４０の地上待機中とも称する）に、撮影装置４により撮影され記憶装置１１に記憶されている撮影画像のデータを学習装置３０に向けて出力する機能を備えている。すなわち、ヘリコプター４０が地上で待機していることは、例えば、ヘリコプター４０のプロペラの回転数を検知する回転数センサから出力されるセンサ出力を利用してプロペラが停止していることを検知することにより、検知可能である。これにより、更新部１８は、プロペラの回転数センサのセンサ出力に基づいてヘリコプター４０が地上で待機していることを検知している期間中に（例えば着陸を検知した時点で）、学習装置３０に接続し、学習装置３０に向けて記憶装置１１の撮影画像のデータを出力する。出力される撮影画像のデータには、前述したように、撮影時刻の情報と、撮影した撮影装置４を識別する情報とが関連付けられている。
　ヘリコプター４０から撮影画像を受信した学習装置３０においては、受信した撮影画像のデータがデータベース３２に書き込まれ、また、受信し追加された撮影画像のデータに基づいた教師データを利用した機械学習により参考データが更新される。更新された参考データはデータベース３２の参考データに上書きされる。
　更新部１８は、さらに、ヘリコプター４０の地上待機中に、学習装置３０を介してヘリコプター４０の記憶装置１１に格納されている参考データを、データベース３２の参考データに同期させる機能を備えている。参考データの同期を行うタイミングは、例えば、ヘリコプター４０が稼動停止状態から稼動状態に遷移し、離陸しようとしていると想定されるタイミングが考えられる。これにより、ヘリコプター４０の飛行中に、演算装置１０における検知部１５は、最新の参考データを利用した検知動作を行うことが可能となる。
　第１実施形態の可視化システム１および可視化制御装置３の構成は上記のように構成されている。次に、可視化制御装置３の動作例を図８のフローチャートを利用して説明する。
　例えば、ヘリコプター４０を離陸させるべく離陸準備が開始されて電源が投入されると、可視化制御装置３の更新部１８は、基地装置６の学習装置３０と接続する。そして、更新部１８は、学習装置３０を介して、記憶装置１１の参考データを、基地装置６のデータベース３２の参考データに同期させる（ステップＳ１０１）。また、表示制御部１７は、表示装置５により報知する情報を操縦者４４に選択させる選択肢の情報を表示装置５によって操縦者４４に向けて通知する。これを受けた操縦者４４による入力装置の操作情報に基づいて、表示制御部１７は、表示装置５による操縦者４４への報知条件（つまり、報知制御用データの選択情報）を設定する（ステップＳ１０２）。
　然る後に、ヘリコプター４０が離陸した以降の飛行中において、検知部１５は、撮影装置４による撮影画像を、参考データを利用したＡＩ技術により解析し、ヘリコプター４０の周辺の飛行物体を検知する。さらに、検知部１５は、飛行物体を検知した場合には、検知飛行物体の移動方向と、ヘリコプター４０と検知飛行物体との間の距離とを検知する。検知部１５は、上述したような飛行物体の検知と、検知飛行物体の移動方向と距離とを検知する検知処理を実行する（ステップＳ１０３）。さらに、検知部１５により飛行物体が検知された場合には、判定部１６は、検知処理により検知された情報と、判定用データとに基づいて、検知飛行物体がヘリコプター４０に接近あるいは衝突する危険性があるか否かを判定する判定処理を実行する（ステップＳ１０４）。さらに、表示制御部１７は、報知制御用データを参照して表示装置５の動作を制御することにより、検知部１５による検知処理による情報と、判定部１６による判定処理による情報とを操縦者４４に向けて報知する報知処理を実行する（ステップＳ１０５）。
　上述したような検知処理と判定処理と報知処理は、ヘリコプター４０の飛行中、繰り返し実行される。
　その後、更新部１８は、ヘリコプター４０が着陸したことを検知した場合（ヘリコプター４０の地上待機中）には、学習装置３０に接続し、記憶装置１１に格納されている撮影画像のデータを学習装置３０に出力する（ステップＳ１０６）。撮影画像のデータを受信した学習装置３０は、受信した撮影画像のデータをデータベース３２に格納する。また、学習装置３０は、追加された撮影画像のデータに基づいた教師データを利用して、可視化制御装置３における検知部１５が利用する参考データを機械学習により更新し、更新した参考データをデータベース３２の参考データに上書きする。
　第１実施形態の可視化システム１およびそれを構成する可視化制御装置３は、撮影画像から、航空機であるヘリコプター４０に衝突する危険性がある飛行物体を検知し、当該検知飛行物体に関する情報を可視化して操縦者４４に向けて報知する機能を備えている。これにより、第１実施形態の可視化システム１およびそれを構成する可視化制御装置３は、ヘリコプター４０の操縦者４４に向けて、飛行物体との衝突を回避する動作を促す情報を通知できるという効果を得ることができる。
　また、第１実施形態では、表示装置５は、スマートグラスの態様であり、操縦者４４が装着可能な装置であるから、ヘリコプター４０の内部に表示装置５を固定する必要が無いことから、その分、ヘリコプター４０の内部のスペースを拡げることができる。
　さらに、第１実施形態では、危険性が有る旨の報知を行う場合に、危険性が有ることが明瞭に報知されるように表示装置５の動作が制御される。これにより、第１実施形態の可視化システム１およびそれを構成する可視化制御装置３は、ヘリコプター４０の操縦者４４に向けて、危険性が有る旨の報知を効果的に行うことができる。
　さらに、第１実施形態では、可視化制御装置３は更新部１８を備え、更新部１８の機能によって、飛行中に撮影した撮影画像を基地装置６に提供し、学習装置３０は、その撮影画像を参考データの機械学習に利用する構成を備えている。さらに、可視化制御装置３は、更新部１８の機能によって、記憶装置１１の参考データを、学習装置３０による機械学習により更新された参考データと同期させることができる。このような構成により、可視化制御装置３は、更新済みの参考データを利用して、撮影画像から飛行物体を検知することができることとなり、これにより、飛行物体の検知に対する信頼性を高めることができる。
　さらに、第１実施形態では、可視化制御装置３は、ヘリコプター４０の地上待機中に基地装置６に接続して基地装置６とのデータ通信を行う構成である。これにより、飛行中よりも通信不良が発生しにくい状況で、可視化制御装置３は、基地装置６とデータ通信できる。
　なお、第１実施形態では、表示装置５は、スマートグラスの態様であり、操縦者４４が装着可能な装置である。これに代えて、表示装置５は、図７に表されているような操縦者４４の前面のガラス窓に情報を表示する例えばプロジェクタであってもよい。また、表示装置５は、操縦者４４の操縦を妨げない態様で情報を操縦者４４に通知できれば、スマートグラスや図７に表される態様以外の表示装置であってもよい。
　また、基地装置６は、複数のヘリコプター４０と接続可能であり、学習装置３０は、複数のヘリコプター４０のそれぞれから受信した撮影装置４の撮影画像に基づいた教師データを利用して、可視化制御装置３が用いる参考データを機械学習する構成としてもよい。この場合には、参考データの機械学習に用いる教師データの数を、１台のヘリコプター４０における撮影画像を利用する場合に比べて、増加することができ、また、飛行物体が撮影されている状況が様々に異なる撮影画像が得やすくなる。これにより、可視化制御装置３の検知部１５による検知精度を高めることができる参考データを生成できるため、可視化システムおよび可視化制御装置３が操縦者４４に報知する情報の信頼性を高めることができる。
　さらに、参考データは、検知したい飛行物体を機械学習したデータを含むだけでなく、検知しなくともよい飛行物体（例えば、ヘリコプター４０への影響が小さいと想定される小鳥など）を、検知対象外のデータとして機械学習したデータが含まれる。
　さらに、図６や図７の例では、距離や速度の情報は、「近い」、「速い」などの文字情報によって表示される例が示されているが、より具体的な数値情報が表示されてもよい。さらに、方向検知部２２は、ヘリコプター４０に対する検知飛行物体の移動方向を検知する機能を備えている例を示している。これに代えて、例えば、方向検知部２２は、ヘリコプター４０に搭載されている方位センサの情報をも利用することにより、検知飛行物体の移動方向として方位情報を検知してもよい。このような場合には、例えば、表示装置５により表示される方向の情報として、方位（例えば、「北向き」、「南東向き」）が表示されてもよい。
　さらに、可視化制御装置３は、図９に表されるような反応検知部１９をさらに備えていてもよい。なお、図９においては、可視化制御装置３における記憶装置１１と、演算装置１０における検知部１５と判定部１６と更新部１８との図示が省略されている。
　反応検知部１９は、表示制御部１７の動作によって表示装置５により危険性が高いことを表す情報が操縦者４４に向けて報知されているのにも拘わらず、操縦者４４の反応が無いことを検知する機能を備えている。例えば、反応検知部１９は、表示装置５により危険性が高いことを表す情報が操縦者４４に向けて報知されている場合に、操縦者４４の反応があるか否かを判断する。ここでの操縦者４４の反応とは、表示装置５により危険性が高いことを表す情報が報知されていることに対して、操縦者４４が、ヘリコプター４０の進行方向や飛行高度を変更する操縦を行うことである。このような操縦者４４の反応は、操縦レバーなどの操作情報に基づいて検知される。
　反応検知部１９により操縦者４４の反応が無いことが検知された場合に、表示制御部１７は、危険性が高いことを報知する報知手法を、危険性が高いことをより明瞭に報知する方向に変更する機能をさらに備える。このような構成を備えることにより、可視化制御装置３は、より効果的に危険性が高いことを操縦者４４に報知することができる。さらにまた、反応検知部１９は、表示制御部１７によって危険性が高いことをより明瞭に報知する方向に報知手法を変更したのにも拘わらず、変更してから所定時間を経過しても、操縦者４４の反応が無いことを検知する機能を備えていてもよい。表示制御部１７によって報知手法を変更したのにも拘わらず、操縦者４４の反応が無いことが反応検知部１９により検知された場合に、予め定められた通報先に通報する機能が可視化制御装置３に備えられていてもよい。その通報先は、例えば、ヘリコプター４０の運航を管理している管理センターである。このような通報の構成を備えていることにより、管理センターからも、無線通信により、操縦者４４に向けて注意喚起を行うことが可能となる。また、例えば、操縦者４４が体調不良のために、危険性が高いという報知に反応できない重大な事態が発生していることを管理センターにて検知可能となる。
　＜第２実施形態＞
　図１０は、本発明に係る第２実施形態の可視化システムの構成を表すブロック図である。また、図１１は、第２実施形態の可視化システムを構成する可視化制御装置の機能構成を表すブロック図である。
　第２実施形態の可視化システム５０は、撮影装置５１と、可視化制御装置５２と、表示装置５３と、学習装置５４とを備えている。
　撮影装置５１は、航空機に搭載され航空機の周辺が撮影されている撮影画像を可視化制御装置５２に提供する装置である。
　表示装置５３は、可視化制御装置５２によって航空機に接近あるいは衝突する危険性があると判定された飛行物体が存在することを可視化して警告する装置である。
　学習装置５４は、撮影装置５１による撮影画像に基づいた教師データを利用して可視化制御装置５２が利用する参考データを機械学習により更新する機能を備える。
　可視化制御装置５２は、図１１に表されているように、検知部５５と、判定部５６と、表示制御部５７と、更新部５８とを備える。
　検知部５５は、撮影装置５１による撮影画像から、学習装置５４により生成され検知対象の飛行物体を表す参考データを利用して飛行物体を検知する機能を備える。また、検知部５５は、飛行物体と航空機との間の距離、および、航空機に対する飛行物体の移動方向を検知する機能を備える。
　判定部５６は、検知された飛行物体の移動方向および距離を利用して、飛行物体が航空機に接近あるいは衝突する危険性があるか否かを判定する機能を備える。
　表示制御部５７は、表示装置５３の動作を制御することによって、航空機に接近あるいは衝突する危険性があると判定された飛行物体が存在することを可視化して警告する機能を備える。
　更新部５８は、航空機が地上で待機している期間中に、学習装置５４に向けて、撮影装置５１による撮影画像を出力し、また、学習装置５４から、更新された参考データを取得する機能を備える。
　次に、可視化制御装置５２の動作例を図１２を利用して説明する。例えば、可視化制御装置５２の検知部５５は、航空機の飛行中に、撮影装置５１による撮影画像から、検知対象の飛行物体を検知し、また、飛行物体と航空機との間の距離、および、航空機に対する飛行物体の移動方向を検知する（ステップＳ３０１）。そして、判定部５６は、検知された飛行物体の移動方向および距離を利用して、飛行物体が航空機に接近あるいは衝突する危険性があるか否かを判定する（ステップＳ３０２）。その後、表示制御部５７は、航空機に接近あるいは衝突する危険性があると判定された場合には、表示装置５３の動作を制御することによって、危険性があることを可視化して警告する（ステップＳ３０３）。然る後に、航空機が着陸した以降に、更新部５８は、学習装置５４に向けて、撮影装置５１による撮影画像を出力する（ステップＳ３０４）。
　第２実施形態の可視化システム５０および可視化制御装置５２は、上記のような構成を備えることにより、第１実施形態と同様に、航空機の操縦者に向けて、飛行物体との衝突を回避する動作を促す情報を通知できるという効果を得ることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　１，５０　可視化システム
　３，５２　可視化制御装置
　４，５１　撮影装置
　１５，５５　検知部
　１６，５６　判定部
　１７，５７　表示制御部

Claims (8)

  1. 　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知する検知手段と、
    　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定する判定手段と、
    　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御する表示制御手段と、
    　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する更新手段と
    を備える可視化制御装置。
  2. 　前記判定手段は、危険性の度合いを表すレベルをも判定する機能を備え、
    　前記表示制御手段は、前記レベルに応じて前記表示装置による警告の報知手法を変更する請求項１に記載の可視化制御装置。
  3. 　前記更新手段は、前記航空機が地上で待機している期間中であって、離陸準備をしている場合に、更新された前記参考データを取得する請求項１又は請求項２に記載の可視化制御装置。
  4. 　請求項１乃至請求項３の何れか一項に記載の可視化制御装置と、
    　前記航空機に搭載され前記航空機の周辺が撮影されている撮影画像を前記可視化制御装置に提供する撮影装置と、
    　前記可視化制御装置によって前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置と、
    　前記撮影装置による前記撮影画像に基づいた教師データを利用して前記可視化制御装置が利用する前記参考データを機械学習により更新する学習装置と
    を備える可視化システム。
  5. 　前記表示装置は、前記航空機の操縦者が装着する態様を備える請求項４に記載の可視化システム。
  6. 　前記表示装置は、前記航空機における操縦者の前面の窓に情報を投射する態様を備える請求項４に記載の可視化システム。
  7. 　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知し、
    　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定し、
    　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御し、
    　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する可視化制御方法。
  8. 　航空機に搭載されている撮影装置によって前記航空機の周辺が撮影されている撮影画像から、検知対象の飛行物体を表す参考データを利用して前記飛行物体を検知し、また、前記飛行物体と前記航空機との間の距離、および、前記航空機に対する前記飛行物体の移動方向を検知する処理と、
    　検知された前記飛行物体の前記移動方向および前記距離を利用して、前記飛行物体が前記航空機に接近あるいは衝突する危険性があるか否かを判定する処理と、
    　前記航空機に搭載され、かつ、前記航空機に接近あるいは衝突する危険性があると判定された前記飛行物体が存在することを可視化して警告する表示装置の動作を制御する処理と、
    　前記航空機が地上で待機している期間中に、前記撮影装置による前記撮影画像に基づいた教師データを利用して前記参考データを機械学習により更新する学習装置に向けて、前記撮影装置による前記撮影画像を出力し、また、前記学習装置から、更新された前記参考データを取得する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2020/013270 2020-03-25 2020-03-25 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体 WO2021192080A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022509870A JP7231113B2 (ja) 2020-03-25 2020-03-25 可視化制御装置、可視化システム、可視化制御方法およびコンピュータプログラム
PCT/JP2020/013270 WO2021192080A1 (ja) 2020-03-25 2020-03-25 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013270 WO2021192080A1 (ja) 2020-03-25 2020-03-25 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体

Publications (1)

Publication Number Publication Date
WO2021192080A1 true WO2021192080A1 (ja) 2021-09-30

Family

ID=77891123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013270 WO2021192080A1 (ja) 2020-03-25 2020-03-25 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体

Country Status (2)

Country Link
JP (1) JP7231113B2 (ja)
WO (1) WO2021192080A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195965A (ja) * 2017-05-17 2018-12-06 日本電気株式会社 飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラム
US20190033861A1 (en) * 2017-07-27 2019-01-31 SkyRyse, Inc. System and method for situational awareness, vehicle control, and/or contingency planning
JP2019055769A (ja) * 2017-07-17 2019-04-11 オーロラ フライト サイエンシズ コーポレーション 航空機システムにおいて障害物を検出するためのシステム及び方法
JP2019061659A (ja) * 2017-08-11 2019-04-18 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 自動検出及び回避システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195965A (ja) * 2017-05-17 2018-12-06 日本電気株式会社 飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラム
JP2019055769A (ja) * 2017-07-17 2019-04-11 オーロラ フライト サイエンシズ コーポレーション 航空機システムにおいて障害物を検出するためのシステム及び方法
US20190033861A1 (en) * 2017-07-27 2019-01-31 SkyRyse, Inc. System and method for situational awareness, vehicle control, and/or contingency planning
JP2019061659A (ja) * 2017-08-11 2019-04-18 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 自動検出及び回避システム

Also Published As

Publication number Publication date
JP7231113B2 (ja) 2023-03-01
JPWO2021192080A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
US11181935B2 (en) System and method for detecting obstacles in aerial systems
US10318057B2 (en) Touch screen instrument panel
US11645434B2 (en) Systems and methods for autonomous vehicle systems testing
US7932853B1 (en) System and method for identifying incursion threat levels
US10917557B2 (en) Human-automation collaborative tracker of fused object
US9824598B2 (en) Flight hindrance display apparatus, flight hindrance display method, and computer-readable medium
US20180232097A1 (en) Touch Screen Instrument Panel
JP6915683B2 (ja) 制御装置、制御方法およびプログラム
JP2014041601A (ja) 予測不可能なビークルナビゲーション
US20220343773A1 (en) Updating airspace awareness for unmanned aerial vehicles
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
WO2022231989A1 (en) Unmanned aerial vehicle response to object detection
CN114724412A (zh) 飞行航段终端可视化系统和用于飞行航段终端可视化的方法
US20230066809A1 (en) Information processing device, information processing method, and program
WO2021192080A1 (ja) 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体
US20230016277A1 (en) System, Method, and Computer Program Product for Avoiding Ground Blindness in a Vehicle
US20240096099A1 (en) Intrusion determination device, intrusion detection system, intrusion determination method, and program storage medium
US20230282122A1 (en) Geofence management with an unmanned aerial vehicle
EP4357868A1 (en) Multiple aircraft flight management system, method, and program
JP2021121916A (ja) 衝突回避のためのカメラ利用による集団の角度追跡
CN115482688A (zh) 基于多机群的飞机交通冲突解脱方法及系统
KR20230032338A (ko) 복수의 무인 비행체의 촬영 영상을 표출하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509870

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926631

Country of ref document: EP

Kind code of ref document: A1