WO2018211777A1 - 制御装置、制御方法およびプログラム - Google Patents

制御装置、制御方法およびプログラム Download PDF

Info

Publication number
WO2018211777A1
WO2018211777A1 PCT/JP2018/007992 JP2018007992W WO2018211777A1 WO 2018211777 A1 WO2018211777 A1 WO 2018211777A1 JP 2018007992 W JP2018007992 W JP 2018007992W WO 2018211777 A1 WO2018211777 A1 WO 2018211777A1
Authority
WO
WIPO (PCT)
Prior art keywords
uav
control
sign
flight
information
Prior art date
Application number
PCT/JP2018/007992
Other languages
English (en)
French (fr)
Inventor
象 村越
Original Assignee
ソニーネットワークコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーネットワークコミュニケーションズ株式会社 filed Critical ソニーネットワークコミュニケーションズ株式会社
Priority to US16/612,406 priority Critical patent/US20200115050A1/en
Priority to JP2019519071A priority patent/JP6915683B2/ja
Publication of WO2018211777A1 publication Critical patent/WO2018211777A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • B64U2201/202Remote controls using tethers for connecting to ground station

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • a plurality of passing target points (also referred to as “Waypoint”), which are three-dimensional regions having a predetermined size and shape (for example, a spherical shape), are designated on the flight path, and pass through these passing target points.
  • a method for controlling the flight of a UAV is mentioned.
  • the UAV grasps the location information of the own device based on the GNSS signal received by the GNSS (Global Navigation Satellite System) receiver mounted on the own device, and uses the location information to pass the target. Control the flight of your device to pass the point.
  • GNSS Global Navigation Satellite System
  • UAV flight may not be properly controlled.
  • the UAV position information obtained based on the GNSS signal may not be stable, and the position information may fluctuate by several tens [cm] or several [m].
  • the UAV may not be able to pass the passing target point due to the influence of the wind or the setting of the passing target point (for example, when the passing target point is small (passing target range is narrow), turning that exceeds the turning performance of the UAV is required. For example, when each passing target point is set). As a result, the UAV tries again until it passes through the passing target point, and there is a possibility that the flight time of the UAV becomes longer or a dangerous flight is performed.
  • the present disclosure has been made in view of the above, and the present disclosure provides a new and improved control device, control method, and program capable of more appropriately controlling the flight of the UAV.
  • control unit includes: an identification unit that identifies a sign installed on the ground based on information acquired by the UAV; and a control unit that controls the flight of the UAV according to the identification.
  • An apparatus is provided.
  • the computer includes identifying a sign installed on the ground based on information acquired by the UAV, and controlling the flight of the UAV according to the identification.
  • a control method executed by is provided.
  • the computer can identify the signs installed on the ground based on the information acquired by the UAV, and can control the flight of the UAV according to the identification.
  • a program is provided.
  • FIG. 1 is a diagram illustrating an example of a UAV flight control method by specifying a passing target point.
  • a passing target point when a user designates a passing target point using a predetermined information processing terminal, as shown in FIG. 1, the user sets a passing target point with respect to a captured image or a map image taken from above the UAV flight area.
  • a method of specifying the horizontal position and the passing order is conceivable (in FIG. 1, the passing order is indicated by numbers 1 to 5).
  • a passing target point is set by the user adding altitude information to the designated horizontal position. This designation method is merely an example, and the designation method of the passing target point is arbitrary.
  • UAV flight may not be properly controlled.
  • the UAV position information obtained based on the GNSS signal may not be stable, and the position information may fluctuate by several tens [cm] or several [m]. Therefore, the UAV posture may become unstable when the UAV is flying (floating) near the ground surface, particularly immediately after takeoff or immediately before landing. More specifically, when the UAV controls the flight of the own device while comparing the position information of the ground surface with the position information of the own device, the position information of the own device does not fluctuate. Since fluctuation occurs only in the information, the flight (posture and the like) of the UAV becomes unstable according to the fluctuation. As a result, for example, there is an increased risk that a UAV flying (floating) near the ground surface will be out of balance and crashed, or may collide with equipment or a person.
  • the UAV may not be able to pass the passing target point due to the influence of the wind or the setting of the passing target point. For example, when the passing target point is small (the passing target range is narrow), or when each passing target point is set so that turning exceeding the turning performance of the UAV is required, the UAV passes the passing target point. The possibility of not being able to increase.
  • the UAV when the UAV is set to retry until it can pass the target point, the flight time of the UAV becomes longer, or the UAV passes the target point so that the UAV moves rapidly.
  • the risk of accidents increases due to the sudden rise and fall.
  • the flight operation when the UAV cannot pass the passing target point is not set in detail, it is difficult for the user to predict the behavior of the UAV, so even if an accident does not occur, For example, a UAV may pass through a passage-prohibited airspace or the like.
  • the control device, the control method, and the program according to the present disclosure identify an anti-air sign installed on the ground based on information acquired by the UAV, and control the flight of the UAV according to the identification result.
  • a control device, a control method, and a program according to the present disclosure identify an anti-air sign in a photographed image by analyzing a photographed image acquired by the UAV, and perform flight control corresponding to the identified anti-air sign to the UAV. Do it.
  • the control device, the control method, and the program according to the present disclosure can more appropriately control the flight of the UAV.
  • an embodiment of the present disclosure will be described in more detail.
  • the present disclosure can be used for various systems or apparatuses.
  • the present disclosure may be used for a logistics system using UAV, a soil surveying system, an automatic flight system, and the like.
  • a case where the present disclosure is used in a physical distribution system will be described. More specifically, a case will be described in which a UAV flight is controlled by the technology of the present disclosure in a logistics system in which a UAV transports an arbitrary article.
  • FIG. 2 is a diagram illustrating an example of the configuration of the control system according to the present embodiment.
  • the control system includes a UAV 100, an anti-air sign 200, and a control device 300.
  • the UAV 100 is equipped with a camera (imaging device) 101.
  • the anti-air marker 200 is a marker used for flight control of the UAV 100 in the control system according to the present embodiment. More specifically, the anti-air sign 200 is installed on the ground surface near the area where the UAV 100 flies, and the UAV 100 detects and identifies the anti-air sign 200 during the flight, and the flight of the own device based on the identification result. To control.
  • various types of anti-air signs 200 having different appearances (shape and / or color) are used, and the anti-air signs 200 have identification information (hereinafter referred to as “ID” for convenience) for each type.
  • ID identification information
  • the shape of the anti-air sign 200 is arbitrary.
  • the shape of the anti-air sign 200 may be various shapes such as a round shape, a quadrangular shape, a triangular shape, a double round shape, or a combination of these shapes.
  • the color of the anti-air sign 200 (or a mark attached to the anti-air sign 200) is also arbitrary.
  • the color of the anti-air sign 200 may be each color such as red, blue, yellow, green, and black, or a combination of these colors. Accordingly, the UAV 100 can identify the anti-air sign 200 detected from the captured image based on its appearance (shape and / or color).
  • the appearance of the anti-air sign 200 is not particularly limited as long as the UAV 100 can identify the anti-air sign 200. For example, as long as the UAV 100 can identify the anti-air sign 200 by performing wireless communication with the anti-air sign 200, the appearance of the anti-air sign 200 may be the same.
  • control information information for controlling the flight of the UAV 100 (hereinafter referred to as “control information” for convenience) is associated with each ID of the anti-air sign 200.
  • the content of the control information associated with each ID of the anti-air sign 200 is arbitrary.
  • the control information may be flight operations such as “take off”, “landing”, “speed up”, “speed down”, “right turn”, “left turn”, “up”, “down”, etc. Yes, it is a flight operation specified in more detail numerically, such as “50 [m] rise”, “speed up to 60 [m / s]”, [turn right at 100 [m]] May be.
  • control information is based on a captured image or the like, such as “perform flight control so that the anti-air sign 200 appears in a predetermined area (for example, approximately the center of the captured image) in the captured image”. It may be specified in more detail.
  • control information is a virtual geographical boundary line (this virtual geographical boundary line is also referred to as a “geo fence”.
  • a geo fence is a geographical area such as a no-passage airspace. This may be information indicating a geographical boundary line indicating a closed space to be defined).
  • the control information may include contents relating to control other than flight of the UAV 100 such as “shooting start” and “shooting end”.
  • a plurality of control information may be associated with one anti-air marker 200.
  • information regarding the priority (and / or urgency) of the flight operation may be attached to the control information.
  • information regarding the priority (and / or urgency) of the flight operation may be attached to the control information.
  • a predetermined flight operation is required in the vicinity of a dangerous airspace (for example, when the maximum flight altitude is specified or the maximum flight speed is specified), or when the aircraft quickly leaves the prohibited airspace
  • information on priority may be attached to the control information.
  • the UAV 100 detects a plurality of anti-air signs 200, it is possible to determine which flight control is to be preferentially performed.
  • the anti-air sign 200 may function as a passing target point. More specifically, the anti-air sign 200 is installed on the ground surface below the planned flight path of the UAV 100, and the UAV 100 is able to detect and identify the anti-air sign 200 installed on the ground surface during the flight. It may be determined that it has passed. This increases the possibility that the UAV 100 can pass the passing target point. Details will be described later.
  • the anti-air marking 200 is equipped with a GNSS receiver.
  • the GNSS receiver receives radio signals from a plurality of GNSS satellites, and uses these signals to determine the separation distance between each GNSS satellite and the receiver. By calculating, the position of the device itself may be grasped. As a result, the surveyor does not have to go to the installation location of each anti-air sign 200 and measure the position of the anti-air sign 200.
  • the anti-air sign 200 has a wireless communication function, and may share the ID or position information of the own device with the external device by performing wireless communication with the external device such as the UAV 100.
  • the UAV 100 may detect and identify the anti-air sign 200 not by analyzing the captured image but by wireless communication with the anti-air sign 200. More specifically, by adjusting the strength of the radio signal emitted from the anti-air marker 200, wireless communication with the anti-air marker 200 is possible when the distance from the anti-air marker 200 is within a predetermined distance. In this case, the UAV 100 can determine that the separation distance from the anti-air marker 200 is closer than a predetermined distance based on the successful wireless communication with the anti-air marker 200. That is, as described above, the UAV 100 can control the flight of its own device in real time by detecting the anti-air marker 200 from the captured image during the flight, but also by detecting the anti-air marker 200 by wireless communication. You can control your flight in real time.
  • the UAV 100 is a flying object in the control system according to the present embodiment.
  • UAV100 which concerns on this embodiment should just have a basic flight function, and the kind of UAV100 is arbitrary.
  • the UAV 100 may be an airplane-type aircraft (such as Vertical Take-Off and Landing (VTOL)), a helicopter-type aircraft, or a multi-copter-type aircraft.
  • VTOL has characteristics of both airplane type and multicopter type.
  • the UAV 100 may be able to transport any item.
  • the UAV 100 in the present embodiment is not limited to an unmanned vehicle, but may be, for example, a flying vehicle that transports people (for example, a flying vehicle that transports people by automatic driving or semi-automatic driving).
  • the UAV 100 performs the flight specified by the control device 300 described later.
  • the UAV 100 flies through the designated passing target point at the altitude and speed designated by the control device 300.
  • the contents specified by the control device 300 are not limited to these contents, and may be changed as appropriate.
  • the UAV 100 detects and identifies the anti-air sign 200 installed on the ground surface by a predetermined method during flight.
  • the UAV 100 is equipped with a camera 101, and the camera 101 captures an anti-air sign 200 installed on the ground surface during the flight of the UAV 100. Then, the UAV 100 detects and identifies the anti-air marker 200 in the captured image by analyzing the captured image. Further, the UAV 100 may detect and identify the anti-air sign 200 by performing wireless communication with the anti-air sign 200 and acquiring the ID or position information of the anti-air sign 200.
  • the UAV 100 controls the flight of its own device based on the ID of the identified anti-air sign 200. For example, the UAV 100 performs a flight operation associated with the ID of the anti-air sign 200. As a result, the UAV 100 can control the flight autonomously and in real time without any user operation.
  • the anti-air sign 200 may function as a passing target point.
  • the UAV 100 flies to the target passing point specified in advance by the control device 300 and can detect and identify the anti-air sign 200 functioning as the specified passing target point, the UAV 100 passes the passing target point. You may judge that you did. This increases the possibility that the UAV 100 can pass the passing target point. More specifically, the UAV may not be able to pass through the passing target point due to the influence of the wind or the setting of the passing target point by the control device 300 (when the passing target point is small, turning that exceeds the turning performance of the UAV 100 is required).
  • the UAV 100 detects and identifies the anti-air sign 200 through a captured image or wireless communication, and the identified anti-air sign 200 is set as the passing target point.
  • the possibility that the passage target point cannot be passed due to the influence or the setting of the passage target point by the control device 300 can be reduced.
  • the UAV 100 according to the present embodiment causes the occurrence of an accident caused by shortening the flight time or performing a sudden behavior (sudden turn, sudden rise, sudden drop, etc.) in order for the UAV to pass the passing target point.
  • the UAV can be prevented from passing through a passage-prohibited airspace or the like.
  • the UAV 100 when the UAV 100 is flying (floating) near the ground surface (for example, immediately after takeoff or immediately before landing), the UAV 100 performs a stable flight by performing control using the ground position information of the identified anti-air sign 200.
  • the UAV 100 detects and identifies the anti-air sign 200 installed at a take-off point or a landing point by using a captured image or wireless communication, and acquires the ground position information of the anti-air sign 200. Then, the UAV 100 corrects the position information of the own device by changing the weights of the ground position information of the anti-air marker 200 and the position information of the own device obtained by the GNSS receiver mounted on the own device according to the flight altitude. To do.
  • the UAV 100 increases the weight of the ground position information of the anti-air sign 200 as the altitude is lower (lightens the weight of the position information of the own device obtained by the GNSS receiver mounted on the own device).
  • the higher the weight the lighter the weight of the ground position information of the anti-air sign 200 (the weight of the position information of the own device obtained by the GNSS receiver mounted on the own device).
  • the UAV 100 is flying (floating) near the ground surface, fluctuations in the position information of the device itself become smaller, so the flight (posture, etc.) of the UAV 100 is stabilized.
  • the control device 300 is an information processing device that manages the control system according to the present embodiment.
  • the control device 300 is configured by a device having a communication function such as a PC (Personal Computer), a tablet, or a smartphone executing a predetermined program.
  • the control device 300 is operated by a user who manages the control system, and the user uses the control device 300 for various information used for flying the UAV 100 (information about the speed or altitude of the UAV 100, a passing target point, etc.) ) Is set.
  • these functions are merely examples, and the functions of the control device 300 can be changed as appropriate.
  • the control device 300 may be able to change the control information associated with the ID of the anti-air sign 200, or when the anti-air sign 200 is displayed electronically, the display of the anti-air sign 200 can be changed. May be. Thereby, the control device 300 can flexibly change the flight control of the UAV 100 without replacing the anti-air marker 200.
  • control device 300 has a wireless communication function, and by performing wireless communication with an external device such as the UAV 100 or the anti-air marker 200, the above setting contents and the like are shared with the external device such as the UAV 100 or the anti-air marker 200. To do.
  • control system includes a cloud server (not shown), and the cloud server and the UAV 100 may perform wireless communication. That is, the control system may be configured to include the UAV 100, the anti-air marking 200, the control device 300, and the cloud server. Alternatively, the cloud server may acquire a captured image from the camera 101 of the UAV 100, detect and identify an anti-air sign instead of the UAV 100, and transmit the identification result to the UAV 100 by wireless communication.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the UAV 100 according to the present embodiment.
  • the UAV 100 includes a communication unit 110, a sign processing unit 120, a control unit 130, a drive control unit 140, a flight mechanism 150, and a storage unit 160.
  • the sign processing unit 120 includes a detection unit 121 and an identification unit 122.
  • the communication unit 110 has a functional configuration for communicating with an external device such as the camera 101, the anti-air sign 200, or the control device 300. More specifically, the communication unit 110 receives captured image data by performing communication (wireless communication and / or wired communication) with the camera 101. In addition, the communication unit 110 receives the ID and position information of the anti-air sign 200 by performing wireless communication with the anti-air sign 200. Further, the communication unit 110 wirelessly communicates with the control device 300 to receive various setting information (such as UAV 100 speed setting or altitude setting, information on the passing target point) used for the flight of the UAV 100, The information regarding the flight status is transmitted to the control device 300. The above communication is merely an example, and the communication content can be changed as appropriate. The communication unit 110 provides the received information to the sign processing unit 120 and the control unit 130 described later.
  • the sign processing unit 120 performs processing related to the anti-air sign 200. More specifically, the sign processing unit 120 includes a detection unit 121 and an identification unit 122, and detects and identifies the anti-air marker 200 by controlling these components. Hereinafter, the detection unit 121 and the identification unit 122 will be described.
  • the detection unit 121 detects the anti-air sign 200.
  • the detection unit 121 detects the anti-air marker 200 photographed by analyzing photographed image data photographed by the camera 101.
  • the analysis method is arbitrary.
  • the detection unit 121 performs, for the captured image data, pixel binarization processing, erosion processing (erosion processing), dilation processing (expansion processing), and pixel contour estimated to be an anti-air marker 200.
  • a contour detection process for detecting a contour a process for extracting a rectangle circumscribing the contour, a process for extracting an area where the anti-air marker 200 is expected to be photographed (also referred to as a candidate area), a process for extracting a feature amount of a candidate area, and the like.
  • the anti-air sign 200 may be detected from the captured image.
  • the detection unit 121 may detect the anti-air sign 200 based on the successful wireless communication with the anti-air sign 200.
  • the detection unit 121 provides information about the detected anti-air marker 200 (for example, information about the characteristics of the anti-air marker 200 in the captured image, information included in the wireless signal, etc.) to the identification unit 122 described later.
  • the identification unit 122 identifies the anti-air mark 200 detected by the detection unit 121. For example, the identification unit 122 compares information about the characteristics of the anti-air signs 200 in the captured image provided by the detection unit 121 with information about the characteristics of each anti-air sign 200 stored in the storage unit 160 in advance. To identify the anti-air sign 200 detected from the captured image (in other words, the ID of the anti-air sign 200 is specified). For example, the identification unit 122 identifies the anti-air marker 200 detected from the captured image by recognizing the color, shape, size, or combination thereof of the anti-air marker 200 in the captured image.
  • the identification unit 122 may identify the anti-air sign 200 by analyzing information included in the wireless signal provided by the detection unit 121 and acquiring the ID of the anti-air sign 200 from the signal.
  • the identification unit 122 provides information related to the identification result of the anti-air marking 200 to the control unit 130 described later.
  • Control unit 130 The control unit 130 controls the flight of the UAV 100 based on information regarding the identification result of the anti-air marking 200 provided by the identification unit 122. For example, the control unit 130 generates a control signal in order to realize the flight operation associated with the ID of the anti-air sign 200 and provides the signal to the drive control unit 140 described later.
  • the control unit 130 determines that the passing target point corresponding to the anti-air marker 200 has passed, and performs flight control toward the next passing target point.
  • the control unit 130 determines the ground position information of the anti-air sign 200 and the information on the own device according to the flight altitude. Using the position information of the own apparatus obtained by the GNSS receiver, the position of the own apparatus is calculated by changing both weights, and flight control is performed based on the calculation result.
  • the timing at which the control unit 130 performs the above control is arbitrary.
  • the control unit 130 may perform the above-described control immediately after the anti-air marker 200 is identified, or the identified anti-air marker 200 is placed in a predetermined region (for example, approximately the center of the captured image) in the captured image.
  • the above control may be performed at a timing when the image is captured at a predetermined size.
  • the control unit 130 controls the flight of the UAV 100 so that the identified anti-air marker 200 appears in a predetermined area in the captured image with a predetermined size, and at the timing when these conditions are satisfied, the anti-air marker 200 Flight control corresponding to may be executed.
  • the timing of flight control of the UAV 100 is defined in detail based on the positional relationship between the UAV 100 and the anti-air sign 200.
  • said control is an example to the last, and the control content by the control part 130 can be changed suitably.
  • the contents of the flight control when a plurality of anti-air signs 200 are simultaneously identified are arbitrary.
  • the control unit 130 may not perform flight control corresponding to each anti-air sign 200.
  • the control unit 130 does not perform each flight control, and each flight control contradicts each other.
  • Each flight control may be performed only when not (for example, “take off” and “left turn”).
  • control unit 130 may ignore the anti-air marker 200 after performing flight control based on the previously identified anti-air marker 200. Thereby, when another anti-air marker 200 is also identified thereafter, the control unit 130 can perform flight control based on the other anti-air marker 200.
  • the drive control unit 140 controls the flight mechanism 150 described later according to the control of the control unit 130. More specifically, the drive control unit 140 generates a control signal for driving an actuator or the like based on the control signal provided from the control unit 130, and provides the signal to the flight mechanism 150. Note that this control is merely an example, and the control content by the drive control unit 140 can be changed as appropriate.
  • the flight mechanism 150 is configured to fly the UAV 100 and includes, for example, an actuator, a motor, a propeller, and the like (not shown). The flight mechanism 150 is driven according to the control signal provided from the drive control unit 140 and causes the UAV 100 to fly.
  • the storage unit 160 stores various information.
  • the storage unit 160 stores the position information of the UAV 100, various setting information used for the flight of the UAV 100 (such as the speed setting or altitude setting of the UAV 100, information on the passing target point), information on the characteristics of each anti-air sign 200, and the anti-air sign 200 Information related to flight control corresponding to the ID of the ID is stored. Note that these pieces of information are merely examples, and the information stored in the storage unit 160 is arbitrary.
  • the storage unit 160 may store programs or parameters used by each functional configuration of the UAV 100.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the anti-air marking 200 according to the present embodiment.
  • the anti-air marking 200 includes a communication unit 210, a control unit 220, a position specifying unit 230, and a storage unit 240.
  • a communication unit 210 the control unit 220
  • a position specifying unit 230 the position of the display 220
  • a storage unit 240 the storage unit 240.
  • the communication unit 210 has a functional configuration for performing communication with an external device such as the UAV 100 or the control device 300.
  • the communication unit 210 performs wireless communication with the UAV 100 or the control device 300 to share the ID of the own device with the UAV 100 or the control device 300, or the position information of the own device specified by the position specifying unit 230 described later. Are shared by the UAV 100 or the control device 300.
  • the above communication is merely an example, and the communication content by the communication unit 210 can be changed as appropriate. For example, when the anti-air sign 200 is displayed electronically, the communication unit 210 may receive information regarding the displayed sign from an external device.
  • Control unit 220 The control unit 220 comprehensively controls the processing of the anti-air marking 200.
  • the control unit 220 specifies the position (latitude, longitude, altitude, etc.) of its own device by controlling a position specifying unit 230 described later.
  • the control unit 220 controls the communication unit 210 to realize the communication process described above.
  • the control is merely an example, and the control content by the control unit 220 can be changed as appropriate.
  • the position specifying unit 230 specifies the position of the own device. More specifically, the position specifying unit 230 includes an antenna and a GNSS receiver, receives a radio signal from a GNSS satellite using the antenna, and extracts GNSS observation data from the radio signal using the GNSS receiver. Then, the position (latitude, longitude, altitude, etc.) of the device itself is specified by performing positioning processing by the single positioning method using the data.
  • the storage unit 240 stores various information.
  • the storage unit 240 stores the position information of the own device specified by the single positioning method. Note that the information is merely an example, and the information stored in the storage unit 240 is arbitrary.
  • the storage unit 240 may store programs or parameters used by each functional configuration of the anti-air marking 200.
  • FIG. 5 is a block diagram illustrating an example of a functional configuration of the control device 300 according to the present embodiment.
  • the control device 300 includes a communication unit 310, a control unit 320, an input unit 330, an output unit 340, and a storage unit 350.
  • a communication unit 310 includes a communication unit 310, a control unit 320, an input unit 330, an output unit 340, and a storage unit 350.
  • the communication unit 310 has a functional configuration for performing communication with an external device such as the UAV 100 or the anti-air sign 200.
  • the communication unit 310 transmits various setting information used for the flight of the UAV 100 (speed setting or altitude setting of the UAV 100, information on the passing target point, etc.) to the UAV 100, or the flight status of the UAV 100. Information from the UAV 100 is received.
  • the communication unit 310 receives the ID, position information, and the like of the anti-air sign 200 by performing wireless communication with the anti-air sign 200.
  • the above communication is merely an example, and the communication content can be changed as appropriate.
  • the communication unit 310 provides the received information to the control unit 320 described later.
  • Control unit 320 The control unit 320 comprehensively controls processing of the control device 300.
  • the control unit 320 performs various settings (UAV100 speed setting or altitude setting, passing target point setting, etc.) used for the flight of the UAV 100 based on a user operation, and the setting information is transmitted via the communication unit 310.
  • UAV100 User Vehicle
  • the control by the control unit 320 is not limited to the above control.
  • the control unit 320 may provide various types of information to the user by controlling an output unit 340 described later.
  • the input unit 330 acquires input from the user.
  • the input unit 330 includes input mechanisms such as a touch panel, a keyboard, a mouse, and buttons. When the user performs various operations on these input mechanisms, the input unit 330 inputs information based on the operations. And providing input information to the control unit 320.
  • the input mechanism with which the input part 330 is provided, and the content inputted are arbitrary.
  • the output unit 340 controls various outputs.
  • the output unit 340 includes an output mechanism such as a display, a speaker, and a lamp.
  • the output unit 340 displays various information on the display based on a control signal from the control unit 320 and generates various sounds using the speaker.
  • the output unit 340 includes a movable part, and the part may be moved variously based on a control signal from the control unit 320.
  • the output mechanism with which the output part 340 is provided, and the content output are arbitrary.
  • the storage unit 350 stores various information.
  • the storage unit 350 stores information regarding the flight status of the UAV 100, various setting information used for the flight of the UAV 100 (such as speed setting or altitude setting of the UAV 100, information regarding the passing target point), position information of the anti-air sign 200, and the like. .
  • these pieces of information are merely examples, and the information stored in the storage unit 350 is arbitrary.
  • the storage unit 350 may store programs or parameters used by each functional configuration of the control device 300.
  • FIG. 6 is a flowchart showing an example of flight control of the UAV 100 based on the identification of the anti-air sign 200.
  • step S1000 the camera 101 captures the ground surface, and the sign processing unit 120 of the UAV 100 acquires captured image data captured by the camera 101.
  • step S1004 the detection unit 121 detects the anti-air marker 200 from the captured image by analyzing the captured image data.
  • step S1008, the identification unit 122 identifies the anti-air sign 200 based on the characteristics of the anti-air sign 200 detected (identifies the ID of the anti-air sign 200).
  • control part 130 confirms the content of the flight control corresponding to ID of the anti-air marker 200 in step S1012, and complete
  • the UAV 100 can autonomously control the flight of its own device without being constantly operated by the user. Note that the UAV 100 can continuously control the flight of its own device by repeatedly performing the above operation.
  • FIG. 7 is a flowchart showing an example of flight control of the UAV 100 when the anti-air marker 200 functions as a passing target point.
  • step S1100 to step S1108 is the same as the operation from step S1000 to step S1008 in FIG.
  • the control unit 130 determines that the anti-air marker 200 has been identified in step S1116. Is determined to have passed, and the process ends (control is performed so as to fly toward the next passing target point).
  • the control unit 130 confirms the contents of the flight control corresponding to the ID of the anti-air marker 200 in step S1120. In step S1124, the flight control is performed, and the process is completed.
  • the above operation increases the possibility that the UAV 100 can pass the passing target point. That is, when the anti-air sign is placed in front of the passing target point and the meaning of the ID is set to “fly at a lower speed (lower speed)”, the UAV 100 flies at a low speed in front of the passing target point. This increases the possibility of passing through the airspace set as the passing target point.
  • the UAV 100 may not be able to pass the passing target point due to the influence of the wind or the setting of the passing target point by the control device 300 (if the passing target point is small, each pass is required so that turning exceeding the turning performance of the UAV 100 is required.
  • the possibility that the UAV 100 cannot pass the passing target point due to these factors can be reduced by the function of the anti-air marking 200 as the passing target point.
  • FIG. 8 is a flowchart showing an example of flight control of the UAV 100 near the ground surface.
  • step S1200 the camera 101 captures the anti-air sign 200 installed at the point where the UAV 100 takes off and landing, and the sign processing unit 120 of the UAV 100 acquires the captured image data captured by the camera 101.
  • the detection unit 121 detects the anti-air sign 200 from the captured image by analyzing the captured image data.
  • the identification unit 122 identifies the anti-air marker 200 based on the characteristics of the detected anti-air marker 200 (identifies the ID of the anti-air marker 200).
  • step S ⁇ b> 1212 the control unit 130 acquires position information of the anti-air sign 200 by wireless communication with the anti-air sign 200.
  • step S1216 the control unit 130 acquires the position information (latitude, longitude, altitude, etc.) of the own apparatus using the GNSS receiver mounted on the own apparatus.
  • step S1220 the control unit 130 weights the position information of the anti-air marker 200 and the position information acquired using the GNSS receiver mounted on the own apparatus according to the flight altitude of the own apparatus.
  • step S1224 the position information of the own device is corrected.
  • the posture of the UAV 100 at takeoff can be further stabilized. Further, even when the UAV 100 is a flying object having a high moving speed, such as an airplane-type flying object (airplane or VTOL), the above-described operation improves the difficulty of passing the passing target point. Can do.
  • FIG. 9 is a diagram showing a hardware configuration of the information processing apparatus 900 that embodies the UAV 100, the anti-air marking 200, or the control apparatus 300 according to the present embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904.
  • the information processing apparatus 900 includes a bridge 905, an external bus 906, an interface 907, an input device 908, an output device 909, a storage device (HDD) 910, a drive 911, and a communication device 912.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation within the UAV 100, the anti-air marker 200, or the control device 300 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 904 including a CPU bus.
  • the functions of the sign processing unit 120, the control unit 130, the drive control unit 140, the position specifying unit 230 of the anti-air sign 200, the control unit 220, and the control unit 320 of the control device 300 are combined. Is realized.
  • the host bus 904 is connected to an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 905.
  • an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904, the bridge 905, and the external bus 906 are not necessarily configured separately, and these functions may be mounted on one bus.
  • the input device 908 includes input means for inputting information such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. Etc.
  • a user who uses the UAV 100, the anti-air marker 200, or the control device 300 can operate the input device 908 to input various data or instruct a processing operation to each device.
  • the function of the input unit 330 of the control device 300 is realized by the input device 908 (the functional configuration corresponding to the input device 908 in the UAV 100 and the anti-air marking 200 is not shown).
  • the output device 909 includes display devices such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp. Furthermore, the output device 909 includes an audio output device such as a speaker and headphones. The output device 909 outputs the played content, for example. Specifically, the display device displays various information such as reproduced video data as text or images. On the other hand, the audio output device converts reproduced audio data or the like into audio and outputs it.
  • the function of the output unit 340 of the control device 300 is realized by the output device 909 (the functional configuration corresponding to the output device 909 in the UAV 100 and the anti-air marking 200 is not shown).
  • the storage device 910 is a data storage device configured as an example of the storage unit 160 of the UAV 100, the storage unit 240 of the anti-air marking 200, or the storage unit 350 of the control device 300 according to the present embodiment.
  • the storage device 910 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 910 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the drive 911 is a storage medium reader / writer, and is built in or externally attached to the UAV 100, the anti-aircraft sign 200, or the control device 300.
  • the drive 911 reads information recorded in a removable storage medium 913 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 911 can also write information to the removable storage medium 913.
  • the communication device 912 is a communication interface configured by a communication device for connecting to the communication network 914, for example.
  • the communication device 912 implements the functions of the communication unit 110 of the UAV 100, the communication unit 210 of the anti-air sign 200, or the communication unit 310 of the control device 300.
  • the control device, the control method, and the program according to the present disclosure identify the anti-air sign 200 installed on the ground based on the information acquired by the UAV 100, and according to the result of the identification.
  • Control the flight of the UAV100 For example, the UAV 100 detects and identifies the anti-air marker 200 by analyzing a captured image captured by the camera 101 during flight or by performing wireless communication with the anti-air marker 200, and the anti-air marker 200.
  • the flight of the own device is controlled based on the ID. Thereby, the UAV 100 can more appropriately control the flight of the own device.
  • the anti-air sign 200 also functions as a passing target point, the possibility that the UAV 100 can pass the passing target point is increased. Furthermore, when the UAV 100 is flying (floating) near the ground surface (for example, immediately after takeoff or immediately before landing), the UAV 100 performs stable flight by performing control using the ground position information of the identified anti-air sign 200. Can be realized.
  • steps shown in the flowcharts described above do not necessarily have to be processed in time series in the order described in the flowcharts. That is, each step may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a part of the functional configuration of the UAV 100, the anti-air marking 200, or the control device 300 may be provided in an external device as appropriate.
  • part of the functions of the UAV 100 may be implemented by the control unit 130.
  • the control unit 130 may embody part of the functions of the communication unit 110, the sign processing unit 120, or the drive control unit 140.
  • a part of the function of the anti-air marking 200 may be implemented by the control unit 220.
  • the control unit 220 may implement part of the functions of the communication unit 210 or the position specifying unit 230.
  • a part of the function of the control device 300 may be implemented by the control unit 320.
  • the control unit 320 may implement part of the functions of the communication unit 310, the input unit 330, or the output unit 340.
  • the present disclosure can be used in various systems, but when the present disclosure is used in a soil surveying system, the anti-air marker 200 is not only used as a marker for flight control of the UAV 100, It may be used as a marker for soil surveying.
  • the identification unit performs the identification during the flight of the UAV.
  • the control unit performs the control corresponding to the sign, The control device according to (1) or (2).
  • the sign serves as a passing target point for the UAV, The control unit determines success or failure of passage of the passage target point by the UAV according to the identification.
  • the control unit also performs the control using positional information of the sign.
  • the control unit obtains the position information of the UAV using the position information of the sign, The control device according to (5).
  • the control unit is configured to change the weight of each of the UAV position information and the marker position information obtained based on the GNSS signal received by the UAV according to the height of the UAV, thereby changing the position of the UAV. Correct information, The control device according to (6) above.
  • the information is information acquired when a separation distance between the UAV and the sign is a predetermined distance or less.
  • the control device according to any one of (1) to (7).
  • the information is photographed image data in which the sign taken from the UAV is photographed.
  • the information is signal information acquired by the UAV through wireless communication with the sign, The control device according to (8).
  • the identification unit performs the identification based on the color of the sign.
  • (12) The identification unit performs the identification based on the shape of the sign.
  • (14) Identifying signs installed on the ground based on information obtained by the UAV; Controlling the flight of the UAV according to the identification; A program to make a computer realize.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】UAVの飛行をより適切に制御することを可能にする。 【解決手段】UAVによって取得された情報に基づいて地上に設置された標識の識別を行う識別部と、前記識別に応じて前記UAVの飛行の制御を行う制御部と、を備える、制御装置が提供される。

Description

制御装置、制御方法およびプログラム
 本開示は、制御装置、制御方法およびプログラムに関する。
 近年、UAV(無人航空機:Unmanned Aerial Vehicle)を用いるシステム、サービス等が盛んに開発されている。例えば、以下の特許文献1には、対空標識を設置して、その撮影により得られる撮影画像に映る対空標識が設置された標定点に基づいて、地上の3次元モデルを作成することで各種測量を行う技術が開示されている。
 これらのシステム、サービス等において、UAVの飛行を制御する方法は様々である。例えば、所定の大きさと形状(例えば球形状)を有する3次元領域である通過目標点(「Waypoint」とも呼称される)が飛行経路上に複数指定され、これらの通過目標点を通過するようにUAVの飛行を制御する方法が挙げられる。当該方法において、UAVは、例えば、自装置に搭載されているGNSS(Global Navigation Satelite System)受信機が受信したGNSS信号に基づいて自装置の位置情報を把握し、当該位置情報を用いて通過目標点を通過するように自装置の飛行を制御する。
特開2005-140550号公報
 しかし、当該方法によっては、適切にUAVの飛行を制御することができない場合がある。例えば、GNSS信号に基づいて求められたUAVの位置情報が安定せず、位置情報に数十[cm]もしくは数[m]程度の揺らぎが生じる場合がある。また、風の影響や、通過目標点の設定によってUAVが通過目標点を通過できない場合がある(例えば、通過目標点が小さい(通過目標範囲が狭い)場合UAVの旋回性能を上回る旋回が求められるように各通過目標点が設定されている場合等)。これによって、UAVが通過目標点を通過するまで再試行を行うことになり、UAVの飛行時間が長くなったり、危険な飛行を行ったりする可能性がある。
 そこで、本開示は、上記に鑑みてなされたものであり、本開示は、UAVの飛行をより適切に制御することが可能な、新規かつ改良された制御装置、制御方法およびプログラムを提供する。
 本開示によれば、UAVによって取得された情報に基づいて地上に設置された標識の識別を行う識別部と、前記識別に応じて前記UAVの飛行の制御を行う制御部と、を備える、制御装置が提供される。
 また、本開示によれば、UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、前記識別に応じて前記UAVの飛行の制御を行うことと、を有する、コンピュータにより実行される制御方法が提供される。
 また、本開示によれば、UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、前記識別に応じて前記UAVの飛行の制御を行うことと、をコンピュータに実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、UAVの飛行をより適切に制御することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
通過目標点の指定によるUAVの飛行制御方法の一例を示す図である。 本実施形態に係る制御システムの構成の一例を示す図である。 本実施形態に係るUAVの機能構成の一例を示すブロック図である。 本実施形態に係る対空標識の機能構成の一例を示すブロック図である。 本実施形態に係る管制装置の機能構成の一例を示すブロック図である。 対空標識の識別に基づくUAVの飛行制御の一例を示すフローチャートである。 対空標識が通過目標点として機能する場合におけるUAVの飛行制御の一例を示すフローチャートである。 地表面付近におけるUAVの飛行制御の一例を示すフローチャートである。 本実施形態に係るUAV、対空標識または管制装置を具現する情報処理装置のハードウェア構成を示す図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.背景
 2.本実施形態の概要
 3.装置の機能構成
 4.装置の動作
 5.ハードウェア構成
 6.むすび
  <1.背景>
 近年、UAVを用いるシステム、サービス等が盛んに開発されており、これらのシステム、サービス等において、UAVの飛行を制御する方法は様々である。例えば、上記のように、通過目標点(通過目標範囲)が飛行経路上に複数指定され、これらの通過目標点を通過するようにUAVの飛行を制御する方法が挙げられる。
 ここで、図1を参照して、通過目標点の指定によるUAVの飛行制御方法について説明する。図1は、通過目標点の指定によるUAVの飛行制御方法の一例を示す図である。
 例えば、ユーザが所定の情報処理端末を用いて通過目標点を指定する場合、図1に示すように、UAVの飛行領域を上空から撮影した撮影画像や地図画像に対してユーザが通過目標点の水平位置および通過順を指定する方法が考えられる(図1には、通過順が1~5の番号によって示されている)。さらに、ユーザが、指定した水平位置に対して高度の情報を追加することによって、通過目標点が設定される。なお、この指定方法はあくまで一例であり、通過目標点の指定方法は任意である。
 しかし、当該方法によっては、適切にUAVの飛行を制御することができない場合がある。
 例えば、GNSS信号に基づいて求められたUAVの位置情報が安定せず、位置情報に数十[cm]もしくは数[m]程度の揺らぎが生じる場合がある。そのため、特に離陸直後や着陸直前において、UAVが地表面付近を飛行(浮遊)しているときには、UAVの姿勢が不安定になる場合がある。より具体的には、UAVが地表面の位置情報と自装置の位置情報とを比較しながら自装置の飛行を制御する場合に、地表面の位置情報には揺らぎが生じず、自装置の位置情報にだけ揺らぎが生じるため、その揺らぎに応じてUAVの飛行(姿勢等)が不安定になる。これによって、例えば、地表面付近を飛行(浮遊)しているUAVがバランスを崩して墜落したり、設備や人間に衝突したりする危険性が高まる。
 また、風の影響や、通過目標点の設定によってUAVが通過目標点を通過できない場合がある。例えば、通過目標点が小さい(通過目標範囲が狭い)場合や、UAVの旋回性能を上回る旋回が求められるように各通過目標点が設定されている場合等には、UAVが通過目標点を通過できない可能性が高くなる。
 また、UAVが通過目標点を通過できるまで再試行を行うように設定されている場合には、UAVの飛行時間が長くなったり、UAVが通過目標点を通過するために急挙動(急旋回、急上昇、急降下等)を行うことで事故が発生する危険性が高くなったりする。特に、UAVが通過目標点を通過できなかった場合の飛行動作が詳細に設定されていない場合には、ユーザがUAVの挙動を予測することは困難であるため、事故が発生しなくても、例えば、UAVが通過禁止空域等を通過してしまう場合も発生し得る。
 本件の開示者は、上記事情に鑑みて本技術に想到するに至った。本開示に係る制御装置、制御方法およびプログラムは、UAVによって取得された情報に基づいて地上に設置された対空標識の識別を行い、当該識別の結果に応じてUAVの飛行を制御する。例えば、本開示に係る制御装置、制御方法およびプログラムは、UAVによって取得された撮影画像を解析することによって撮影画像中の対空標識を識別し、識別した対空標識に対応する飛行制御をUAVに対して行う。これによって、本開示に係る制御装置、制御方法およびプログラムは、UAVの飛行をより適切に制御することができる。以降では、本開示の一実施形態についてより詳細に説明していく。
  <2.本実施形態の概要>
 まず、本実施形態の概要について説明する。
 本開示は様々なシステムまたは装置等に用いられ得る。例えば、本開示は、UAVを用いる物流システム、土量測量システム、自動飛行システム等に用いられ得る。本書では、一例として、本開示が物流システムに用いられる場合を想定して説明する。より具体的には、UAVが任意の物品を輸送する物流システムにおいて、本開示の技術によってUAVの飛行が制御される場合を想定して記載する。
 ここで、図2を参照して、本実施形態に係る制御システムの構成について説明する。図2は、本実施形態に係る制御システムの構成の一例を示す図である。
 図2に示すように、本実施形態に係る制御システムは、UAV100と、対空標識200と、管制装置300と、を備える。また、UAV100はカメラ(撮像装置)101を搭載している。
 (対空標識200)
 対空標識200は、本実施形態に係る制御システムにおいて、UAV100の飛行制御に用いられる標識である。より具体的には、対空標識200は、UAV100が飛行する領域付近の地表に設置され、UAV100は、飛行中に当該対空標識200の検出および識別を行い、その識別結果に基づいて自装置の飛行を制御する。
 本実施形態においては、外観(形状および/または色彩等)が異なる様々な種類の対空標識200が用いられ、対空標識200にはその種類毎に識別情報(以降、便宜的に「ID」と呼称する)が付与されている。ここで、対空標識200(または対空標識200に付されたマーク)の形状は任意である。例えば、対空標識200の形状は、丸形状、四角形状、三角形状、二重丸形状等の各種形状でもよいし、これらの形状の組み合わせでもよい。また、対空標識200(または対空標識200に付されたマーク)の色彩も任意である。例えば、対空標識200の色彩は、赤色、青色、黄色、緑色、黒色等の各色でもよいし、これらの色彩の組み合わせであってもよい。これによって、UAV100は、撮影画像から検出された対空標識200を、その外観(形状および/または色彩等)に基づいて識別することができる。なお、上記はあくまで一例であり、UAV100が対空標識200を識別することができれば、対空標識200の外観は特に限定されない。例えば、UAV100が対空標識200と無線通信を行うこと等により対空標識200を識別することができれば、対空標識200の外観は互いに同一であってもよい。
 そして、対空標識200のID毎にUAV100の飛行を制御するための情報(以降、便宜的に「制御情報」と呼称する)が対応付けられている。対空標識200のID毎に対応付けられている制御情報の内容は任意である。例えば、制御情報は、「離陸」、「着陸」、「スピードアップ」、「スピードダウン」、「右旋回」、「左旋回」、「上昇」、「下降」等の飛行動作であってもよいし、「50[m]上昇」、「60[m/s]までスピードアップ」、[100[m]先で右旋回]等のように数値でより詳細に指定された飛行動作であってもよい。
 また、制御情報は、「対空標識200が、撮影画像における所定の領域(例えば、撮影画像の略中央)に所定の大きさで写るように飛行制御を行う」等のように、撮影画像等によってより詳細に指定されてもよい。また、制御情報は、仮想的な地理的境界線(この仮想的な地理的境界線は「ジオフェンス」とも呼称される。ジオフェンスは、例えば、通過禁止空域等のように地理的エリア上で定義される閉じられた空間を示す地理的境界線等のことである。)を示す情報であってもよい。また、制御情報は、「撮影開始」、「撮影終了」等のUAV100の飛行以外の制御に関する内容であってもよい。なお、一つの対空標識200に複数の制御情報が対応付けられていてもよい。
 また、飛行動作の優先度(および/または緊急度)に関する情報が制御情報に付されてもよい。例えば、危険空域の付近にて所定の飛行動作が要求される場合(例えば、最大飛行高度が指定される場合、最大飛行速度が指定される場合等)や、早急に通過禁止空域から離れることが要求される場合等に、優先度に関する情報が制御情報に付されてもよい。これによって、例えば、UAV100が複数の対空標識200を検出した場合において、いずれの飛行制御を優先的に行うかを判断すること等ができる。
 また、対空標識200が通過目標点として機能してもよい。より具体的には、対空標識200がUAV100の飛行予定経路の下の地表に設置され、UAV100が、飛行中に地表に設置された対空標識200の検出および識別ができたことによって通過目標点を通過したと判断してもよい。これによって、UAV100が通過目標点を通過できる可能性が高くなる。詳細については後述する。
 また、対空標識200は、GNSS受信機を搭載しており、当該GNSS受信機によって複数のGNSS衛星からの電波信号を受信し、これらの信号を用いて各GNSS衛星と受信機との離隔距離を算出することによって、自装置の位置を把握してもよい。これによって、測量者が、各対空標識200の設置場所に赴き、対空標識200の位置を測量しなくてもよくなる。
 さらに、対空標識200は、無線通信機能を有しており、UAV100等の外部装置と無線通信を行うことによって自装置のIDまたは位置情報等を外部装置に共有してもよい。
 また、対空標識200が無線通信機能を有することによって、UAV100は、撮影画像の解析によってではなく、対空標識200との無線通信によって対空標識200の検出および識別を行ってもよい。より具体的には、対空標識200が発出する無線信号の強度が調整されることで、対空標識200からの離隔距離が所定の距離以内である場合に対空標識200との無線通信が可能である場合、UAV100は、対空標識200との無線通信に成功したことに基づいて対空標識200との離隔距離が所定の距離よりも近くなったと判断することができる。すなわち、UAV100は、上記のように、飛行中に撮影画像から対空標識200を検出することによってリアルタイムに自装置の飛行を制御することができるが、無線通信によって対空標識200を検出することによってもリアルタイムに自装置の飛行を制御することができる。
 (UAV100)
 UAV100は、本実施形態に係る制御システムにおいて、飛行体である。本実施形態に係るUAV100は、基本的な飛行機能を有するものであればよく、UAV100の種類は任意である。例えば、UAV100は、飛行機型の飛行体(垂直離着陸機(VTOL:Vertical Take-Off and Landing)等)、ヘリコプタ―型の飛行体、またはマルチコプター型の飛行体等であってもよい。VTOLは飛行機型とマルチコプター型の両方の特性を持つ。なお、UAV100は任意の物品を輸送することが可能であってもよい。また、本実施形態におけるUAV100は、無人である場合だけでなく、例えば、人を輸送する飛行体であってもよい(例えば、自動運転もしくは半自動運転によって人を輸送する飛行体等)。
 本実施形態に係るUAV100は、後述する管制装置300によって指定された内容の飛行を行う。例えば、UAV100は、管制装置300によって指定された高度および速度で、指定された通過目標点を通るように飛行を行う。なお、管制装置300によって指定される内容はこれらの内容に限定されず、適宜変更され得る。
 また、本実施形態に係るUAV100は、飛行中に、所定の方法により地表面に設置された対空標識200の検出および識別を行う。例えば、UAV100は、カメラ101を搭載しており、カメラ101は、UAV100の飛行中に地表面に設置される対空標識200を撮影する。そして、UAV100は、撮影画像を解析することによって、撮影画像中の対空標識200の検出および識別を行う。また、UAV100は、対空標識200と無線通信を行い、対空標識200のIDまたは位置情報等を取得することによって対空標識200の検出および識別を行ってもよい。
 そして、UAV100は、識別した対空標識200のIDに基づいて自装置の飛行を制御する。例えば、UAV100は、対空標識200のIDに対応付けられている飛行動作を行う。これによって、UAV100は、ユーザによる操作なしに自律的かつリアルタイムに飛行を制御することができる。
 また、上記のように対空標識200が通過目標点として機能してもよい。例えば、UAV100は、管制装置300によって予め指定された通過目標点を目標に飛行し、指定された通過目標点として機能する対空標識200の検出および識別ができた場合には、通過目標点を通過したと判断してもよい。これによって、UAV100が通過目標点を通過できる可能性が高くなる。より具体的には、風の影響や、管制装置300による通過目標点の設定によってUAVが通過目標点を通過できない場合がある(通過目標点が小さい場合、UAV100の旋回性能を上回る旋回が求められるように各通過目標点が設定されている場合等)が、UAV100が撮影画像や無線通信によって対空標識200の検出および識別を行い、識別した対空標識200を通過目標点とすることで、風の影響や管制装置300による通過目標点の設定等が原因で通過目標点を通過できない可能性を低減させることができる。これによって、本実施形態に係るUAV100は、飛行時間を短縮化させたり、UAVが通過目標点を通過するために急挙動(急旋回、急上昇、急降下等)を行うこと等に起因する事故の発生や、UAVが通過禁止空域等を通過すること等を抑制したりすることができる。
 また、UAV100は、地表面付近を飛行(浮遊)している時(例えば、離陸直後や着陸直前)において、識別した対空標識200の地上位置情報を用いて制御を行うことで、安定した飛行を実現することができる。例えば、UAV100は、上記のように、撮影画像や無線通信によって、離陸地点または着陸地点に設置された対空標識200の検出および識別を行い、対空標識200の地上位置情報を取得する。そして、UAV100は、対空標識200の地上位置情報と自装置搭載のGNSS受信機によって得られた自装置の位置情報それぞれの重み付けを、飛行高度に応じて変更することで自装置の位置情報を補正する。
 より具体的には、UAV100は、高度が低いほど対空標識200の地上位置情報の重みを重く(自装置搭載のGNSS受信機によって得られた自装置の位置情報の重みを軽く)し、高度が高いほど対空標識200の地上位置情報の重みを軽く(自装置搭載のGNSS受信機によって得られた自装置の位置情報の重みを重く)する。これによって、UAV100が地表面付近を飛行(浮遊)しているときにも、自装置の位置情報の揺らぎがより小さくなるため、UAV100の飛行(姿勢等)は安定する。
 (管制装置300)
 管制装置300は、本実施形態に係る制御システムを管理する情報処理装置である。管制装置300は、PC(Personal Computer)、タブレット若しくはスマートフォン等の通信機能を有する装置が所定のプログラムを実行することで構成される。
 本実施形態に係る管制装置300は、制御システムを管理するユーザによって操作され、ユーザは、管制装置300を用いてUAV100の飛行に用いられる各種情報(UAV100の速度もしくは高度、通過目標点に関する情報等)を設定する。なお、これらの機能はあくまで一例であり、管制装置300の機能は適宜変更され得る。例えば、管制装置300は、対空標識200のIDに対応付けられている制御情報を変更できてもよいし、対空標識200が電子的に表示される場合には、対空標識200の表示を変更できてもよい。これによって、管制装置300は、対空標識200を入れ替えることなくUAV100の飛行制御を柔軟に変更することができる。
 また、管制装置300は、無線通信機能を有しており、UAV100または対空標識200等の外部装置と無線通信を行うことによって、上記の設定内容等をUAV100または対空標識200等の外部装置に共有する。
 なお、本実施形態に係る制御システムは、クラウドサーバー(不図示)を有し、クラウドサーバーとUAV100とが無線通信を行っても構わない。すなわち、制御システムがUAV100と、対空標識200と、管制装置300と、クラウドサーバーとを有する構成であっても構わない。また、クラウドサーバーがUAV100のカメラ101から撮影画像を取得し、UAV100の代わりに対空標識の検出・識別を行い、識別結果を無線通信でUAV100へ伝送するようにしても構わない。
  <3.装置の機能構成>
 上記では、本実施形態の概要について説明した。続いて、図3~図5を参照して、本実施形態に係る各装置の機能構成について説明する。
 (UAV100の機能構成)
 まず、図3を参照して、本実施形態に係るUAV100の機能構成について説明する。図3は、本実施形態に係るUAV100の機能構成の一例を示すブロック図である。
 図3に示すように、本実施形態に係るUAV100は、通信部110と、標識処理部120と、制御部130と、駆動制御部140と、飛行機構150と、記憶部160と、を備える。また、標識処理部120は、検出部121と、識別部122と、を備える。以降で各機能構成について説明する。
 (通信部110)
 通信部110は、カメラ101、対空標識200または管制装置300等の外部装置との通信を行う機能構成である。より具体的には、通信部110は、カメラ101と通信(無線通信および/または有線通信)を行うことにより、撮影画像データを受信する。また、通信部110は、対空標識200と無線通信を行うことにより対空標識200のIDや位置情報を受信する。また、通信部110は、管制装置300と無線通信を行うことにより、UAV100の飛行に用いられる各種設定情報(UAV100の速度設定もしくは高度設定、通過目標点に関する情報等)を受信したり、自装置の飛行状況に関する情報を管制装置300へ送信したりする。なお、上記の通信はあくまで一例であり、通信内容は適宜変更され得る。通信部110は、受信した情報を後述する標識処理部120や制御部130に提供する。
 (標識処理部120)
 標識処理部120は、対空標識200に関する処理を行う。より具体的には、標識処理部120は、検出部121と識別部122を備え、これらの構成を制御することによって、対空標識200の検出および識別等を行う。以降で検出部121および識別部122について説明する。
 (検出部121)
 検出部121は、対空標識200の検出を行う。例えば、検出部121は、カメラ101によって撮影された撮影画像データを解析することによって撮影された対空標識200を検出する。当該解析方法は任意である。例えば、検出部121は、撮影画像データに対して、撮影画像の画素の2値化処理、Erosion処理(浸食処理)、Dilation処理(膨張処理)、対空標識200であると推定される画素の輪郭を検出する輪郭検出処理、輪郭に外接する矩形の抽出処理、対空標識200が撮影されていると予想される領域(候補領域とも呼称する)の抽出処理、候補領域の特徴量抽出処理等を行うことにより、撮影画像から対空標識200の検出を行ってもよい。
 なお、上記のように、検出部121は、対空標識200との無線通信が成功したことに基づいて対空標識200を検出してもよい。検出部121は、検出した対空標識200に関する情報(例えば、撮影画像中の対空標識200の特徴に関する情報、無線信号に含まれる情報等)を後述する識別部122に提供する。
 (識別部122)
 識別部122は、検出部121により検出された対空標識200の識別を行う。例えば、識別部122は、検出部121により提供された撮影画像中の対空標識200の特徴に関する情報と、予め記憶部160で記憶している各対空標識200の特徴に関する情報とを比較すること等によって撮影画像から検出された対空標識200を識別する(換言すると、対空標識200のIDを特定する)。例えば、識別部122は、撮影画像中の対空標識200の色彩、形状、大きさまたはそれらの組み合わせを認識することで撮影画像から検出された対空標識200を識別する。
 また、識別部122は、検出部121により提供された無線信号に含まれる情報を解析し、当該信号から対空標識200のIDを取得することにより対空標識200を識別してもよい。識別部122は、対空標識200の識別結果に関する情報を後述する制御部130に提供する。
 (制御部130)
 制御部130は、識別部122により提供された対空標識200の識別結果に関する情報に基づいてUAV100の飛行を制御する。例えば、制御部130は、対空標識200のIDに対応付けられている飛行動作を実現するために制御信号を生成し、当該信号を後述する駆動制御部140に提供する。また、対空標識200が通過目標点として機能する場合、制御部130は、対空標識200に対応する通過目標点を通過したと判断し、次の通過目標点に向けて飛行制御を行う。また、自装置が地表面付近を飛行(浮遊)している時(例えば、離陸直後や着陸直前)において、制御部130は、飛行高度に応じて対空標識200の地上位置情報と自装置搭載のGNSS受信機によって得られた自装置の位置情報とを用いて、両方の重み付けを変更して自装置の位置を算出し、算出結果に基づいて飛行制御を行う。
 なお、制御部130が上記の制御を行うタイミングは任意である。例えば、制御部130は、対空標識200が識別された直後に上記の制御を行ってもよいし、識別された対空標識200が撮影画像中の所定の領域(例えば、撮影画像の略中央)に所定の大きさで写ったタイミングで上記の制御を行ってもよい。また、制御部130は、識別された対空標識200が撮影画像中の所定の領域に所定の大きさで写るようにUAV100の飛行を制御し、これらの条件が満たされたタイミングで、対空標識200に対応する飛行制御を実行してもよい。これによって、UAV100の飛行制御のタイミングが、UAV100と対空標識200との位置関係に基づいて詳細に規定される。なお、上記の制御はあくまで一例であり、制御部130による制御内容は適宜変更され得る。
 また、複数の対空標識200が同時に識別された場合(例えば、撮影画像中に複数の対空標識200が写っている場合等)における飛行制御の内容は任意である。例えば、複数の対空標識200が同時に識別された場合、制御部130は、各対空標識200に対応する飛行制御を行わなくてもよい。また、制御部130は、複数の対空標識200に対応する飛行制御が互いに矛盾する場合(例えば、「離陸」と「着陸」等)においては、各飛行制御を行わず、各飛行制御が互いに矛盾しない場合(例えば、「離陸」と「左旋回」等)においてのみ各飛行制御を行ってもよい。また、制御部130は、先に識別された対空標識200に基づいて飛行制御を行った後には、当該対空標識200を無視してもよい。これにより、その後、別の対空標識200も識別された場合に、制御部130は、当該別の対空標識200に基づいて飛行制御を行うことができる。
 (駆動制御部140)
 駆動制御部140は、制御部130の制御に従い、後述する飛行機構150を制御する。より具体的には、駆動制御部140は、制御部130から提供される制御信号に基づいて、アクチュエータ等を駆動させるための制御信号を生成し、当該信号を飛行機構150に提供する。なお、当該制御はあくまで一例であり、駆動制御部140による制御内容は適宜変更され得る。
 (飛行機構150)
 飛行機構150は、UAV100を飛行させるための構成であり、例えば、アクチュエータ、モーター、プロペラ等(図示なし)を含む。飛行機構150は、駆動制御部140から提供された制御信号に従って駆動し、UAV100を飛行させる。
 (記憶部160)
 記憶部160は、各種情報を記憶する。例えば、記憶部160は、UAV100の位置情報、UAV100の飛行に用いられる各種設定情報(UAV100の速度設定もしくは高度設定、通過目標点に関する情報等)、各対空標識200の特徴に関する情報、対空標識200のIDに対応する飛行制御に関する情報等を記憶する。なお、これらの情報はあくまで一例であり、記憶部160が記憶する情報は任意である。例えば、記憶部160は、UAV100の各機能構成によって使用されるプログラムまたはパラメータ等を記憶してもよい。
 (対空標識200の機能構成)
 上記では、本実施形態に係るUAV100の機能構成について説明した。続いて、図4を参照して、本実施形態に係る対空標識200の機能構成について説明する。図4は、本実施形態に係る対空標識200の機能構成の一例を示すブロック図である。
 図4に示すように、本実施形態に係る対空標識200は、通信部210と、制御部220と、位置特定部230と、記憶部240と、を備える。以降で各機能構成について説明する。
 (通信部210)
 通信部210は、UAV100または管制装置300等の外部装置との通信を行う機能構成である。例えば、通信部210は、UAV100または管制装置300と無線通信を行うことにより、自装置のIDをUAV100または管制装置300に共有したり、後述する位置特定部230によって特定された自装置の位置情報をUAV100または管制装置300に共有したりする。なお、上記の通信はあくまで一例であり、通信部210による通信内容は適宜変更され得る。例えば、対空標識200が電子的に表示される場合には、通信部210は、表示する標識に関する情報を外部装置から受信してもよい。
 (制御部220)
 制御部220は、対空標識200の処理を統括的に制御する。例えば、制御部220は、後述する位置特定部230を制御することにより、自装置の位置(緯度、経度、高度等)を特定する。また、制御部220は、通信部210を制御することにより、上記の通信処理を実現する。なお、当該制御はあくまで一例であり、制御部220による制御内容は適宜変更され得る。
 (位置特定部230)
 位置特定部230は、自装置の位置を特定する。より具体的には、位置特定部230は、アンテナおよびGNSS受信機を備えており、アンテナを用いてGNSS衛星からの電波信号を受信し、GNSS受信機を用いて電波信号からGNSS観測データを抽出し、当該データを用いて単独測位法による測位処理を行うことで自装置の位置(緯度、経度、高度等)を特定する。
 (記憶部240)
 記憶部240は、各種情報を記憶する。例えば、記憶部240は、単独測位法により特定された自装置の位置情報等を記憶する。なお、当該情報はあくまで一例であり、記憶部240が記憶する情報は任意である。例えば、記憶部240は、対空標識200の各機能構成によって使用されるプログラムまたはパラメータ等を記憶してもよい。
 (管制装置300の機能構成)
 上記では、本実施形態に係る対空標識200の機能構成について説明した。続いて、図5を参照して、本実施形態に係る管制装置300の機能構成について説明する。図5は、本実施形態に係る管制装置300の機能構成の一例を示すブロック図である。
 図5に示すように、本実施形態に係る管制装置300は、通信部310と、制御部320と、入力部330と、出力部340と、記憶部350と、を備える。以降で各機能構成について説明する。
 (通信部310)
 通信部310は、UAV100または対空標識200等の外部装置との通信を行う機能構成である。UAV100との通信については、例えば、通信部310は、UAV100の飛行に用いられる各種設定情報(UAV100の速度設定もしくは高度設定、通過目標点に関する情報等)をUAV100に送信したり、UAV100の飛行状況に関する情報をUAV100から受信したりする。また、通信部310は、対空標識200と無線通信を行うことにより、対空標識200のIDや位置情報等を受信する。なお、上記の通信はあくまで一例であり、通信内容は適宜変更され得る。通信部310は、受信した情報を後述する制御部320に提供する。
 (制御部320)
 制御部320は、管制装置300の処理を統括的に制御する。例えば、制御部320は、ユーザ操作に基づいて、UAV100の飛行に用いられる各種設定(UAV100の速度設定もしくは高度設定、通過目標点の設定等)を行い、通信部310を介して当該設定情報をUAV100に提供する。なお、制御部320による制御は、上記制御に限定されない。例えば、制御部320は、後述する出力部340を制御することによってユーザに各種情報を提供してもよい。
 (入力部330)
 入力部330は、ユーザによる入力を取得する。例えば、入力部330は、タッチパネル、キーボード、マウス、ボタン等の入力機構を備えており、ユーザがこれらの入力機構に対して各種操作を行った場合、入力部330は当該操作に基づいて入力情報を生成し、制御部320に対して入力情報を提供する。なお、入力部330が備える入力機構および入力される内容は任意である。
 (出力部340)
 出力部340は、各種出力を制御する。例えば、出力部340は、ディスプレイ、スピーカ、ランプ等の出力機構を備えており、制御部320からの制御信号に基づいて各種情報をディスプレイに表示させたり、各種音をスピーカによって発生させたりする。また、出力部340は、可動部位を備えており、制御部320からの制御信号に基づいて当該部位を様々に可動させてもよい。なお、出力部340が備える出力機構および出力される内容は任意である。
 (記憶部350)
 記憶部350は、各種情報を記憶する。例えば、記憶部350は、UAV100の飛行状況に関する情報、UAV100の飛行に用いられる各種設定情報(UAV100の速度設定もしくは高度設定、通過目標点に関する情報等)、対空標識200の位置情報等を記憶する。なお、これらの情報はあくまで一例であり、記憶部350が記憶する情報は任意である。例えば、記憶部350は、管制装置300の各機能構成によって使用されるプログラムまたはパラメータ等を記憶してもよい。
  <4.装置の動作>
 上記では、本実施形態に係る各装置の機能構成について説明した。続いて、本実施形態に係る各装置の動作について説明する。なお、以降では、撮影画像中の対空標識200に基づいてUAV100の飛行制御が行われる場合を一例として説明するが、これに限定されない。より具体的には、以降で説明する動作は、無線信号に基づいて対空標識200の検出および識別が行われ、UAV100の飛行制御が行われる場合に応用されてもよい。
 (4-1.対空標識200の識別に基づくUAV100の飛行制御)
 まず、図6を参照して、対空標識200の識別に基づくUAV100の飛行制御の一例について説明する。図6は、対空標識200の識別に基づくUAV100の飛行制御の一例を示すフローチャートである。
 ステップS1000では、カメラ101が地表面を撮影し、UAV100の標識処理部120がカメラ101によって撮像された撮影画像データを取得する。ステップS1004では、検出部121が撮影画像データを解析することによって撮影画像の中から対空標識200を検出する。ステップS1008では、識別部122が検出された対空標識200の特徴等に基づいて対空標識200を識別する(対空標識200のIDを特定する)。
 そして、制御部130は、ステップS1012にて、対空標識200のIDに対応する飛行制御の内容を確認し、ステップS1016にて、当該飛行制御を実施することで処理が終了する。
 上記の動作によって、UAV100は、ユーザによって常時操作されなくても自律的に自装置の飛行を制御することができる。なお、UAV100は、上記の動作を繰り返し行うことで、継続的に自装置の飛行を制御し続けることができる。
 (4-2.対空標識200が通過目標点として機能する場合におけるUAV100の飛行制御)
 続いて、図7を参照して、対空標識200が通過目標点として機能する場合におけるUAV100の飛行制御の一例について説明する。図7は、対空標識200が通過目標点として機能する場合におけるUAV100の飛行制御の一例を示すフローチャートである。
 ステップS1100~ステップS1108の動作は、図6のステップS1000~ステップS1008の動作と同一であるため説明を省略する。UAV100の識別部122が識別した対空標識200が通過目標点を表す標識である場合(ステップS1112/Yes)、ステップS1116にて、制御部130は、対空標識200が識別されたことによって通過目標点を通過したと判断し、処理が終了する(次の通過目標点を目指して飛行するように制御する)。識別部122が識別した対空標識200が通過目標点を表す標識ではない場合(ステップS1112/No)、制御部130は、ステップS1120にて、対空標識200のIDに対応する飛行制御の内容を確認し、ステップS1124にて、当該飛行制御を実施することで処理が終了する。
 上記の動作によって、UAV100が通過目標点を通過できる可能性が高くなる。すなわち、対空標識が通過目標点の手前に設置され、またそのIDの意味が「より低速度で飛ぶ(速度を下げる)」と設定されている場合、UAV100が通過目標点の手前で低速で飛ぶことにより通過目標点として設定されている空域を通過できる可能性が高くなる。また、風の影響や、管制装置300による通過目標点の設定によってUAV100が通過目標点を通過できない場合がある(通過目標点が小さい場合、UAV100の旋回性能を上回る旋回が求められるように各通過目標点が設定されている場合等)が、対空標識200が通過目標点として機能することで、これらの要因でUAV100が通過目標点を通過できない可能性を低減させることができる。
 (4-3.地表面付近のUAV100の飛行制御)
 続いて、図8を参照して、地表面付近におけるUAV100の飛行制御(例えば、UAV100が離着陸を行う場合の動作)の一例について説明する。図8は、地表面付近におけるUAV100の飛行制御の一例を示すフローチャートである。
 ステップS1200では、カメラ101がUAV100の離着陸が行われる地点に設置された対空標識200を撮影し、UAV100の標識処理部120がカメラ101によって撮像された撮影画像データを取得する。ステップS1204では、検出部121が撮影画像データを解析することによって撮影画像の中から対空標識200を検出する。ステップS1208では、識別部122が検出された対空標識200の特徴等に基づいて対空標識200を識別する(対空標識200のIDを特定する)。
 ステップS1212では、制御部130は、対空標識200との無線通信等によって対空標識200の位置情報を取得する。ステップS1216では、制御部130は、自装置搭載のGNSS受信機を用いて自装置の位置情報(緯度、経度、高度等)を取得する。そして、制御部130は、ステップS1220にて、自装置の飛行高度に応じて、対空標識200の位置情報と自装置搭載のGNSS受信機を用いて取得した位置情報の重み付けを行うことで、ステップS1224にて、自装置の位置情報を補正する。
 上記の動作によって、UAV100が地表面付近を飛行(浮遊)しているときにも、自装置の位置情報の揺らぎがより小さくなるため、UAV100の飛行(姿勢等)は安定する。
 上記の動作によって、特に、UAV100がVTOLまたはマルチコプター型の飛行体である場合に、離陸時におけるUAV100の姿勢をより安定させることができる。また、UAV100が飛行機型の飛行体(飛行機やVTOL)のように、移動速度が速い飛行体である場合であっても、上記の動作によって、通過目標点の通過のしにくさを改善することができる。
  <5.ハードウェア構成>
 以上、本開示の実施形態を説明した。上記の飛行制御等の情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図9は、本実施形態に係るUAV100、対空標識200または管制装置300を具現する情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、を備える。また、情報処理装置900は、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従ってUAV100、対空標識200または管制装置300内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、UAV100の標識処理部120、制御部130、駆動制御部140、対空標識200の位置特定部230、制御部220、管制装置300の制御部320の各機能が実現される。
 ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。UAV100、対空標識200または管制装置300を使用するユーザは、該入力装置908を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置908により、管制装置300の入力部330の機能が実現される(UAV100および対空標識200における入力装置908に対応する機能構成は図示していない)。
 出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。当該出力装置909により、管制装置300の出力部340の機能が実現される(UAV100および対空標識200における出力装置909に対応する機能構成は図示していない)。
 ストレージ装置910は、本実施形態にかかるUAV100の記憶部160、対空標識200の記憶部240、または管制装置300の記憶部350の一例として構成されたデータ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
 ドライブ911は、記憶媒体用リーダライタであり、UAV100、対空標識200または管制装置300に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
 通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により、UAV100の通信部110、対空標識200の通信部210、または管制装置300の通信部310の各機能が実現される。
  <6.むすび>
 以上で説明してきたように、本開示に係る制御装置、制御方法およびプログラムは、UAV100によって取得された情報に基づいて地上に設置された対空標識200の識別を行い、当該識別の結果に応じてUAV100の飛行を制御する。例えば、UAV100は、飛行中に、カメラ101によって撮影された撮影画像を解析することによって、または、対空標識200と無線通信を行うことによって、対空標識200の検出および識別を行い、当該対空標識200のIDに基づいて自装置の飛行を制御する。これによって、UAV100は、自装置の飛行をより適切に制御することができる。
 また、対空標識200が通過目標点としても機能することによって、UAV100が通過目標点を通過できる可能性が高くなる。さらに、UAV100は、地表面付近を飛行(浮遊)している時(例えば、離陸直後や着陸直前)において、識別した対空標識200の地上位置情報を用いて制御を行うことで、安定した飛行を実現することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記の各フローチャートに示した各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、UAV100、対空標識200または管制装置300の機能構成の一部は、適宜外部装置に設けられてもよい。また、UAV100の機能の一部が、制御部130によって具現されてもよい。例えば、制御部130が通信部110、標識処理部120または駆動制御部140の機能の一部を具現してもよい。また、対空標識200の機能の一部が、制御部220によって具現されてもよい。例えば、制御部220が通信部210または位置特定部230の機能の一部を具現してもよい。また、管制装置300の機能の一部が、制御部320によって具現されてもよい。例えば、制御部320が通信部310、入力部330または出力部340の機能の一部を具現してもよい。
 また、上記のとおり、本開示は様々なシステムに用いられ得るが、本開示が土量測量システムに用いられる場合には、対空標識200は、UAV100の飛行制御のための標識としてだけでなく、土量測量用の標識として使用されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 UAVによって取得された情報に基づいて地上に設置された標識の識別を行う識別部と、
 前記識別に応じて前記UAVの飛行の制御を行う制御部と、を備える、
 制御装置。
(2)
 前記識別部は、前記UAVの飛行中に前記識別を行う、
 前記(1)に記載の制御装置。
(3)
 前記制御部は、前記標識に対応する前記制御を行う、
 前記(1)または(2)に記載の制御装置。
(4)
 前記標識は、前記UAVの通過目標点として機能し、
 前記制御部は、前記識別に応じて前記UAVによる前記通過目標点の通過の成否を判断する、
 前記(3)に記載の制御装置。
(5)
 前記制御部は、併せて前記標識の位置情報も用いて前記制御を行う、
 前記(3)に記載の制御装置。
(6)
 前記制御部は、前記標識の位置情報を用いて前記UAVの位置情報を求める、
 前記(5)に記載の制御装置。
(7)
 前記制御部は、前記UAVによって受信されたGNSS信号に基づいて求められた前記UAVの位置情報と前記標識の位置情報それぞれの重み付けを、前記UAVの高度に応じて変更することにより前記UAVの位置情報を補正する、
 前記(6)に記載の制御装置。
(8)
 前記情報は、前記UAVと前記標識との離隔距離が所定の距離以下である場合に取得される情報である、
 前記(1)から(7)のいずれか1項に記載の制御装置。
(9)
 前記情報は、前記UAVから空撮された前記標識が写る撮影画像データである、
 前記(8)に記載の制御装置。
(10)
 前記情報は、前記UAVが前記標識との無線通信によって取得した信号情報である、
 前記(8)に記載の制御装置。
(11)
 前記識別部は、前記標識の色彩に基づいて前記識別を行う、
 前記(1)から(10)のいずれか1項に記載の制御装置。
(12)
 前記識別部は、前記標識の形状に基づいて前記識別を行う、
 前記(1)から(11)のいずれか1項に記載の制御装置。
(13)
 UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、
 前記識別に応じて前記UAVの飛行の制御を行うことと、を有する、
 コンピュータにより実行される制御方法。
(14)
 UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、
 前記識別に応じて前記UAVの飛行の制御を行うことと、
 をコンピュータに実現させるためのプログラム。
 100  UAV
 101  カメラ
 110  通信部
 120  標識処理部
 121  検出部
 122  識別部
 130  制御部
 140  駆動制御部
 150  飛行機構
 160  記憶部
 200  対空標識
 210  通信部
 220  制御部
 230  位置特定部
 240  記憶部
 300  管制装置
 310  通信部
 320  制御部
 330  入力部
 340  出力部
 350  記憶部

Claims (14)

  1.  UAVによって取得された情報に基づいて地上に設置された標識の識別を行う識別部と、
     前記識別に応じて前記UAVの飛行の制御を行う制御部と、を備える、
     制御装置。
  2.  前記識別部は、前記UAVの飛行中に前記識別を行う、
     請求項1に記載の制御装置。
  3.  前記制御部は、前記標識に対応する前記制御を行う、
     請求項1に記載の制御装置。
  4.  前記標識は、前記UAVの通過目標点として機能し、
     前記制御部は、前記識別に応じて前記UAVによる前記通過目標点の通過の成否を判断する、
     請求項3に記載の制御装置。
  5.  前記制御部は、併せて前記標識の位置情報も用いて前記制御を行う、
     請求項3に記載の制御装置。
  6.  前記制御部は、前記標識の位置情報を用いて前記UAVの位置情報を求める、
     請求項5に記載の制御装置。
  7.  前記制御部は、前記UAVによって受信されたGNSS信号に基づいて求められた前記UAVの位置情報と前記標識の位置情報それぞれの重み付けを、前記UAVの高度に応じて変更することにより前記UAVの位置情報を補正する、
     請求項6に記載の制御装置。
  8.  前記情報は、前記UAVと前記標識との離隔距離が所定の距離以下である場合に取得される情報である、
     請求項1に記載の制御装置。
  9.  前記情報は、前記UAVから空撮された前記標識が写る撮影画像データである、
     請求項8に記載の制御装置。
  10.  前記情報は、前記UAVが前記標識との無線通信によって取得した信号情報である、
     請求項8に記載の制御装置。
  11.  前記識別部は、前記標識の色彩に基づいて前記識別を行う、
     請求項1に記載の制御装置。
  12.  前記識別部は、前記標識の形状に基づいて前記識別を行う、
     請求項1に記載の制御装置。
  13.  UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、
     前記識別に応じて前記UAVの飛行の制御を行うことと、を有する、
     コンピュータにより実行される制御方法。
  14.  UAVによって取得された情報に基づいて地上に設置された標識の識別を行うことと、
     前記識別に応じて前記UAVの飛行の制御を行うことと、
     をコンピュータに実現させるためのプログラム。
PCT/JP2018/007992 2017-05-18 2018-03-02 制御装置、制御方法およびプログラム WO2018211777A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/612,406 US20200115050A1 (en) 2017-05-18 2018-03-02 Control device, control method, and program
JP2019519071A JP6915683B2 (ja) 2017-05-18 2018-03-02 制御装置、制御方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017098643 2017-05-18
JP2017-098643 2017-05-18

Publications (1)

Publication Number Publication Date
WO2018211777A1 true WO2018211777A1 (ja) 2018-11-22

Family

ID=64273753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007992 WO2018211777A1 (ja) 2017-05-18 2018-03-02 制御装置、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20200115050A1 (ja)
JP (2) JP6915683B2 (ja)
WO (1) WO2018211777A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052029A (ja) * 2019-03-22 2020-04-02 国立研究開発法人農業・食品産業技術総合研究機構 全球測位衛星システム受信機搭載の対空標識
WO2020166350A1 (ja) * 2019-02-13 2020-08-20 ソニー株式会社 無人航空機、通信方法、およびプログラム
JP2020134486A (ja) * 2019-02-26 2020-08-31 日本電気通信システム株式会社 位置測位装置、位置測位方法及びコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020097072A1 (en) 2018-11-05 2020-05-14 Usic, Llc Systems and methods for an autonomous marking apparatus
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
US11585949B2 (en) * 2020-10-15 2023-02-21 Skydio, Inc. Low-light and no-light aerial navigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214926A (ja) * 1999-01-22 2000-08-04 Sogo Keibi Hosho Co Ltd 自律移動体の走行位置検知手段
JP2003323215A (ja) * 2002-04-30 2003-11-14 Sogo Keibi Hosho Co Ltd 自律移動体
JP2014031118A (ja) * 2012-08-03 2014-02-20 Tsubakimoto Chain Co 飛行体及び飛行体システム
JP2015212621A (ja) * 2014-04-17 2015-11-26 善郎 水野 マーカ装置を含むシステム及びこれを利用した方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5948043A (en) * 1996-11-08 1999-09-07 Etak, Inc. Navigation system using GPS data
JP4377346B2 (ja) * 2005-03-11 2009-12-02 セコム株式会社 移動ロボット
US8774970B2 (en) * 2009-06-11 2014-07-08 S.C. Johnson & Son, Inc. Trainable multi-mode floor cleaning device
JP5775354B2 (ja) * 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
KR101502275B1 (ko) * 2014-04-11 2015-03-13 중앙대학교 산학협력단 무인 헬기 자동 제어 장치 및 제어 방법
US9530313B2 (en) * 2014-10-27 2016-12-27 Here Global B.V. Negative image for sign placement detection
US9903952B2 (en) * 2015-03-18 2018-02-27 Amazon Technologies, Inc. GPS error correction via network of fixed point ground stations
CN112908042A (zh) * 2015-03-31 2021-06-04 深圳市大疆创新科技有限公司 用于操作无人飞行器的系统和遥控器
US10049434B2 (en) * 2015-10-15 2018-08-14 The Boeing Company Systems and methods for object detection
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214926A (ja) * 1999-01-22 2000-08-04 Sogo Keibi Hosho Co Ltd 自律移動体の走行位置検知手段
JP2003323215A (ja) * 2002-04-30 2003-11-14 Sogo Keibi Hosho Co Ltd 自律移動体
JP2014031118A (ja) * 2012-08-03 2014-02-20 Tsubakimoto Chain Co 飛行体及び飛行体システム
JP2015212621A (ja) * 2014-04-17 2015-11-26 善郎 水野 マーカ装置を含むシステム及びこれを利用した方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166350A1 (ja) * 2019-02-13 2020-08-20 ソニー株式会社 無人航空機、通信方法、およびプログラム
JP2020134486A (ja) * 2019-02-26 2020-08-31 日本電気通信システム株式会社 位置測位装置、位置測位方法及びコンピュータプログラム
JP2020052029A (ja) * 2019-03-22 2020-04-02 国立研究開発法人農業・食品産業技術総合研究機構 全球測位衛星システム受信機搭載の対空標識
JP7142918B2 (ja) 2019-03-22 2022-09-28 国立研究開発法人農業・食品産業技術総合研究機構 全球測位衛星システム受信機搭載の対空標識

Also Published As

Publication number Publication date
JP6915683B2 (ja) 2021-08-04
JP2021184262A (ja) 2021-12-02
JPWO2018211777A1 (ja) 2020-01-23
US20200115050A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
WO2018211777A1 (ja) 制御装置、制御方法およびプログラム
US11794890B2 (en) Unmanned aerial vehicle inspection system
US11550315B2 (en) Unmanned aerial vehicle inspection system
WO2017186137A1 (zh) 无人飞行器控制方法及装置
US10181211B2 (en) Method and apparatus of prompting position of aerial vehicle
US9513635B1 (en) Unmanned aerial vehicle inspection system
US11733042B2 (en) Information processing apparatus, information processing method, program, and ground marker system
EP3125213B1 (en) Onboard aircraft systems and methods to identify moving landing platforms
IL259680B (en) Aircraft systems and methods for adjusting a displayed image of a field of view sensor
JPWO2018198313A1 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
JP2020138681A (ja) 無人飛行体の制御システム
KR20190097350A (ko) 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론
US9547992B2 (en) Apparatus and method for playing video based on real-time data
CN106506944B (zh) 用于无人机的图像跟踪方法和设备
KR20200003525A (ko) 자폭형 무인기의 제어를 위한 지상통제장비
US20220166917A1 (en) Information processing apparatus, information processing method, and program
KR20220165960A (ko) 무인비행체를 이용한 바람정보 생성방법 및 시스템
KR102181809B1 (ko) 시설물 점검 장치 및 방법
US20210157338A1 (en) Flying body control apparatus, flying body control method, and flying body control program
US20230023069A1 (en) Vision-based landing system
KR102671487B1 (ko) Ar을 적용한 비가시권 드론 임무 체계 운용 장치 및 그 방법
US12007761B2 (en) Unmanned aerial vehicle inspection system
US20220229433A1 (en) Maneuvering support apparatus, maneuvering support method, and computer-readable recording medium
JPWO2018179423A1 (ja) 点群処理システム
KR20230105412A (ko) 드론의 정밀 착륙 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802894

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519071

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802894

Country of ref document: EP

Kind code of ref document: A1