WO2023209772A1 - 無人機及び配送システム - Google Patents

無人機及び配送システム Download PDF

Info

Publication number
WO2023209772A1
WO2023209772A1 PCT/JP2022/018726 JP2022018726W WO2023209772A1 WO 2023209772 A1 WO2023209772 A1 WO 2023209772A1 JP 2022018726 W JP2022018726 W JP 2022018726W WO 2023209772 A1 WO2023209772 A1 WO 2023209772A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
package
unmanned aircraft
control unit
delivery
Prior art date
Application number
PCT/JP2022/018726
Other languages
English (en)
French (fr)
Inventor
大貴 田中
敏明 田爪
孝慈 井沼
麻希 松本
真斗 谷
Original Assignee
楽天グループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天グループ株式会社 filed Critical 楽天グループ株式会社
Priority to PCT/JP2022/018726 priority Critical patent/WO2023209772A1/ja
Priority to EP22902466.6A priority patent/EP4289730A4/en
Priority to CN202280008215.0A priority patent/CN117320960A/zh
Priority to JP2023514902A priority patent/JP7307867B1/ja
Publication of WO2023209772A1 publication Critical patent/WO2023209772A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Definitions

  • the present invention relates to a technical field such as a delivery system for delivering packages.
  • Patent Document 1 discloses a system in which a delivery person takes a photo of a package that has been placed and delivered using a terminal, and the taken image is sent to a recipient's terminal.
  • the invention according to claim 1 provides an unmanned aerial vehicle for delivering luggage, which includes a camera that captures an image within an angle of view, and a first control that releases the luggage from the unmanned aerial vehicle. controlling at least one of the position and orientation of the unmanned aircraft so that the baggage placed at the release location and the surrounding area of the baggage are included in the angle of view by the first control unit;
  • the present invention is characterized by comprising a second control unit that causes a storage unit to store an image of the package and the surrounding area captured by a camera as an image certifying completion of delivery of the package. This makes it possible to save an appropriate image to prove that the package has been delivered.
  • the invention according to claim 2 is the unmanned aircraft according to claim 1, wherein the second control unit detects a feature that serves as a landmark together with the baggage placed at the release location in the range, and at least:
  • the present invention is characterized in that an image of the surrounding area including the package and the feature taken at the timing when the feature is detected together with the package is stored in a storage unit as an image certifying completion of delivery of the package. This makes it possible to save an image unique to the destination of the package.
  • the invention according to claim 3 is the unmanned aircraft according to claim 2, in which the second control unit detects the plurality of terrestrial objects located at different positions together with the luggage, and at least detects the plurality of terrestrial objects located at different positions together with the luggage.
  • the present invention is characterized in that an image of the package and the surrounding area including the feature taken at the timing when the feature is detected is stored in a storage unit as an image certifying completion of delivery of the package. This makes it possible to save an image that is even more unique to the delivery destination of the package.
  • the invention according to claim 4 is the unmanned aerial vehicle according to claim 2 or 3, wherein the second control unit controls the rate of change of color values in each of the images continuously captured by the camera. and detecting the terrestrial feature at a timing when the rate of change becomes equal to or higher than a first threshold value. This reduces the processing load on the unmanned vehicle until the image certifying delivery completion is saved, reduces the power consumption of the drone's battery, and further shortens the time it takes to save the image. I can do it.
  • the invention according to claim 5 is the unmanned aircraft according to claim 2 or 3, wherein the unmanned aircraft is an unmanned flying vehicle capable of flying unmanned, and the second control unit is configured to control the unmanned aircraft when the baggage is released. After that, the unmanned aerial vehicle is raised or lowered, and while the unmanned aerial vehicle is ascending or descending, the terrestrial feature is detected together with the baggage.
  • the invention according to claim 6 is the unmanned aircraft according to claim 5, wherein the second control unit causes the unmanned aircraft to hover at a timing when the terrestrial feature is detected together with the baggage, and the unmanned aircraft hovers.
  • An image of the surrounding area including the package and the terrestrial feature taken during the delivery is stored in a storage unit as an image certifying completion of delivery of the package. This allows a clearer image to be saved.
  • the second control unit acquires information indicating the brightness around the unmanned aerial vehicle, which is measured by a light meter included in the camera.
  • the present invention is characterized in that the speed at which the unmanned aircraft ascends or descends is changed depending on the brightness. This allows a clearer image to be saved.
  • the invention according to claim 8 is the unmanned aerial vehicle according to claim 1, wherein the second control unit calculates a rate of change in color value in each of the images continuously captured by the camera.
  • the method is characterized in that at least the image captured at the timing when the rate of change becomes equal to or higher than a first threshold value is stored in the storage unit as an image certifying completion of delivery of the package. This reduces the processing load on the unmanned vehicle until the image certifying delivery completion is saved, reduces the power consumption of the drone's battery, and further shortens the time it takes to save the image. I can do it.
  • the invention according to claim 9 is the unmanned aircraft according to claim 8, wherein the unmanned aircraft is an unmanned flying vehicle that can fly unmanned, and the second control unit controls the unmanned aircraft after the baggage is released.
  • the method is characterized in that the unmanned aerial vehicle is raised or lowered, and a rate of change in color values in the image is calculated while the unmanned aerial vehicle is ascending or descending.
  • the second control unit causes the unmanned aerial vehicle to hover at a timing when the rate of change becomes a first threshold value or more;
  • the image captured while hovering is stored in the storage unit as an image certifying completion of delivery of the package. This allows a clearer image to be saved.
  • the invention according to claim 11 is the unmanned aircraft according to claim 9 or 10, wherein the second control unit includes information indicating the brightness around the unmanned aircraft, which is measured by an exposure meter included in the camera. is obtained, and the speed at which the unmanned aircraft ascends or descends is changed depending on the brightness. This allows a clearer image to be saved.
  • the invention according to claim 12 is the unmanned aircraft according to any one of claims 1 to 3 and 8 to 10, in which the second control unit controls the load when the load is imaged at the timing when the load is released. and an image of the surrounding area and an image of the surrounding area including the package and the feature captured at the timing when the feature was detected together with the package as an image certifying completion of delivery of the package. It is characterized by being stored in a storage unit. Thereby, even if the package appearing in the saved image is small and difficult to visually recognize, the recipient of the package can easily recognize the package from the enlarged image of the package.
  • the invention according to claim 13 is the unmanned aircraft according to any one of claims 1 to 3 and 8 to 10, wherein the second control unit specifies the certification suitability of the captured image.
  • the captured image is stored in a storage unit as an image certifying completion of delivery of the package when the degree of certification suitability is equal to or higher than a second threshold value. Thereby, the usefulness of the image certifying the completion of delivery of the package can be increased.
  • the invention according to claim 14 is the unmanned aerial vehicle according to claim 13, in which the degree of certification adequacy of the second image captured after the first image is stored in the storage unit is the same as that of the first image. If the degree of certification suitability of the image is greater than the degree of certification suitability of the image, the second control unit deletes the first image from the storage unit and saves the second image as an image certifying completion of delivery of the package. It is characterized by being stored in the department. As a result, the usefulness of the image certifying the completion of delivery of the package can be further increased, and the memory capacity can be reduced compared to storing a plurality of images.
  • the invention according to claim 15 provides the unmanned aircraft according to any one of claims 1 to 3 and 8 to 10, wherein the image stored in the storage unit is provided to a terminal of the recipient of the package.
  • the image forming apparatus is characterized by further comprising an image providing section. This allows the recipient to be visually informed that the package has been delivered.
  • the invention according to claim 16 is a delivery system for delivering packages by an unmanned aircraft equipped with a camera that captures an image within a field of view, wherein the delivery system is such that the cargo is delivered by an unmanned aircraft that is released from the unmanned aircraft and placed at a release location. At least one of the position and orientation of the unmanned aerial vehicle is controlled so that the baggage and the surrounding area of the baggage fit within the angle of view, and the image of the baggage and the surrounding area taken by the camera is used as the image of the baggage and the surrounding area of the baggage.
  • the present invention is characterized by comprising a control unit that causes the storage unit to store the image as an image certifying completion of delivery of the item.
  • the invention according to claim 17 is a control device for an unmanned aircraft that delivers cargo and is equipped with a camera that captures an image within a field of view, and the control device is such that the unmanned aircraft that is placed at a release location by being released from the unmanned aircraft is At least one of the position and orientation of the unmanned aerial vehicle is controlled so that the baggage and the surrounding area of the baggage fit within the angle of view, and the image of the baggage and the surrounding area taken by the camera is used as the image of the baggage and the surrounding area of the baggage.
  • the feature is that the image is saved in the storage unit as an image proving the completion of delivery.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a delivery system S.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a UAV 1.
  • FIG. 3 is a diagram showing an example of functional blocks in the control unit 16.
  • FIG. 3 is a diagram illustrating a state in which the UAV 1 releases the luggage 101 while landing at a release location near the building 102.
  • FIG. 3 is a diagram illustrating an example of an image I1 captured at the timing when a building 102 is detected as a landmark feature in the area surrounding the package 101.
  • FIG. FIG. 7 is a conceptual diagram showing an example of a classification label indicating an object detected in an image I2 input to a trained model and a classification probability for each bounding box.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of a management server 2.
  • FIG. 5 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in the first embodiment.
  • 7 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in Example 2.
  • FIG. 12 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in the third embodiment. 12 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in Example 4.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a delivery system S.
  • the delivery system S includes an unmanned aerial vehicle (hereinafter referred to as "UAV (Unmanned Aerial Vehicle)") 1 and a management server 2, which can be connected to a communication network NW.
  • the communication network NW includes, for example, the Internet, a mobile communication network, its wireless base station, and the like.
  • the UAV 1 is an example of an unmanned aircraft and an unmanned flying vehicle, and is also called a drone or a multicopter.
  • the management server 2 is a server for managing and controlling delivery of packages. Furthermore, the management server 2 can also control the UAV 1.
  • the management server 2 is capable of communicating with the UAV 1 via the communication network NW.
  • the luggage (cargo) loaded on the UAV 1 is, for example, goods such as products or home delivery items ordered on an EC (electronic commerce) site or a home delivery site.
  • Such packages are transported from a delivery base to a delivery destination (delivery destination) specified in an order by a delivery requester (for example, a product orderer).
  • the delivery base is a place where packages are loaded onto the UAV1.
  • the delivery destination is, for example, the residence of the recipient of the package.
  • Such delivery may be performed, for example, when delivery is set as the delivery method at the time of ordering, or may be performed when the recipient is unable to receive the package directly due to being absent from the delivery destination or other reasons.
  • the delivered package is placed, for example, at any open location within the premises (eg, garden) of the residence where the recipient resides. If the residence is an apartment building (for example, a condominium or apartment), the delivered package may be placed near the building's common entrance or at any open location on the roof of the building. Note that the release location is the ground or the roof of a building.
  • FIG. 2 is a diagram showing an example of a schematic configuration of the UAV 1.
  • the UAV 1 includes a drive unit 11, a positioning unit 12, a communication unit 13, a sensor unit 14, a storage unit 15 (an example of a storage unit), a control unit 16 (an example of a control device), and the like.
  • the UAV 1 includes a battery (not shown) that supplies power to each part of the UAV 1, a rotor (propeller) that is a horizontal rotary blade, a holding mechanism for holding loaded cargo, and the like.
  • the holding mechanism includes a holding member such as a hook that holds the cargo, and an actuator that includes a motor or the like.
  • the holding mechanism releases the cargo from the holding member (that is, separates the cargo) by driving an actuator in accordance with a control signal output from the control unit 16.
  • the holding mechanism may include a linear member such as a wire connected to the holding member, and a reel (winch) that feeds out or winds up the linear member.
  • the drive unit 11 includes a motor, a rotating shaft, and the like.
  • the drive unit 11 rotates a plurality of rotors using a motor, a rotating shaft, etc. that are driven according to a control signal output from the control unit 16 .
  • the positioning unit 12 includes a radio wave receiver, an altitude sensor, and the like.
  • the positioning unit 12 receives, for example, radio waves transmitted from a GNSS (Global Navigation Satellite System) satellite with a radio wave receiver, and detects the current horizontal position (latitude and longitude) of the UAV 1 based on the radio waves. Note that the current position of the UAV 1 in the horizontal direction may be corrected based on an image captured by a camera of the sensor unit 14.
  • GNSS Global Navigation Satellite System
  • the current horizontal position of the UAV 1 may be corrected by an RTK (Real Time Kinematic) method that utilizes the radio waves received by a reference station whose installation position is specified (a reference station that can communicate with the UAV 1).
  • Position information indicating the current position detected by the positioning unit 12 is output to the control unit 16.
  • the positioning unit 12 may detect the current position (altitude) of the UAV 1 in the vertical direction using an altitude sensor such as an atmospheric pressure sensor.
  • the position information includes altitude information indicating the altitude of the UAV1.
  • the communication unit 13 has a wireless communication function and is responsible for controlling communication performed via the communication network NW.
  • the sensor unit 14 includes various sensors used for flight control of the UAV 1 and the like.
  • the various sensors include, for example, an optical sensor, a 3-axis angular velocity sensor, a 3-axis acceleration sensor, and a geomagnetic sensor.
  • Optical sensors include cameras (eg, RGB cameras).
  • the camera includes a lens, an image sensor, a shutter, a light meter, and the like, and captures an image within an angle of view in response to an imaging command from the control unit 16.
  • the angle of view is an angle that represents the range in which light from the outside hits the image sensor through the lens.
  • imaging refers to capturing an image by converting light received by an image sensor into an electrical signal.
  • the optical sensor may include a camera for capturing an image in the traveling direction of the UAV 1 and a camera for capturing an image below the UAV 1. Further, the direction of the camera may be controlled by the control unit 16.
  • the light meter measures the brightness around UAV1. The shutter speed and aperture of the camera are automatically adjusted according to the brightness measured by the exposure meter.
  • the optical sensor may include a LiDAR (Light Detection and Ranging, or Laser Imaging Detection and Ranging) sensor that measures the shape of an object and the distance to the object.
  • Sensing information obtained by sensing by the sensor unit 14 is continuously output to the control unit 16.
  • the sensing information includes data of an image (for example, an RGB image) captured by a camera. Further, the sensing information may include data of a distance image (depth image) measured by a LiDAR sensor. Further, information indicating the brightness measured by the exposure meter of the camera may be output to the control unit 16.
  • the storage unit 15 is composed of a nonvolatile memory, etc., and stores various programs and data. Furthermore, the storage unit 15 stores an aircraft ID that identifies the UAV 1. This aircraft ID is identification information for identifying the UAV1. Note that the storage unit 15 may store a learned model generated by machine learning. This trained model is for estimating objects existing on the ground (including baggage and terrestrial objects described below) from images captured by a camera.
  • the control unit 16 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the RAM is provided with a buffer memory that temporarily stores images that are continuously output from the camera. A plurality of consecutive images (image frames) are stored in the buffer memory at predetermined time intervals.
  • control unit 16 controls a flight control unit 161, a release control unit 162 (an example of a first control unit), as shown in FIG. It functions as an imaging control section 163 (an example of a second control section), an image providing section 164, and the like.
  • the flight control unit 161 performs flight control to fly the UAV 1.
  • Flight controls include takeoff control, hovering control, and landing control.
  • position information indicating the current position detected by the positioning unit 12, sensing information sensed by the sensor unit 14, delivery destination information, etc. are used to control the rotation speed of the rotor and the current position of the UAV 1. , posture and direction of movement are controlled.
  • the delivery destination information may be set in the UAV 1 at the delivery base, for example, together with the package information and recipient information, or may be transmitted and set from the management server 2 together with the package information and recipient information.
  • the delivery destination information includes location information (latitude and longitude) of the delivery destination.
  • the package information includes a package ID for identifying the package delivered by the UAV 1, a photo image of the package, and the like.
  • the appearance feature amount of the luggage may be extracted from the photographic image of the luggage.
  • the recipient information includes a user ID that identifies the recipient of the package, and the recipient's email address or telephone number. Note that while the UAV 1 is in flight, the location information of the UAV 1 and the aircraft ID of the UAV 1 are sequentially transmitted to the management server 2 by the communication unit 13. Further, the sensing information sensed by the sensor unit 14 and the body ID of the UAV 1 may be sequentially transmitted to the management server 2 by the communication unit 13.
  • the release control unit 162 performs release control to release the cargo from the UAV 1 at the release location.
  • the release control unit 162 releases the cargo from the holding member by outputting a control signal to the holding mechanism of the UAV 1 while the UAV 1 is landing at the release location.
  • FIG. 4 is a diagram showing a state in which the UAV 1 releases the luggage 101 while landing at a release location (ground) near the building 102.
  • the release control unit 162 may send out the linear member by outputting a control signal to the holding mechanism of the UAV 1 while the UAV 1 is hovering above the release location. Thereby, the release control unit 162 releases the cargo from the holding member after the holding member is lowered to the release location (for example, after the cargo touches the ground).
  • the release control unit 162 may release the cargo from the holding member by outputting a control signal to the holding mechanism of the UAV 1. It may be released (that is, dropped).
  • the release location of the package may be specified by the release control unit 162 based on an image (for example, an RGB image or a distance image) from an optical sensor in the vicinity of the delivery destination.
  • the imaging control unit 163 uses the sensing information from the optical sensor to move the UAV 1 so that the baggage placed at the release location and the surrounding area of the baggage (that is, the surrounding area including the baggage) are within the angle of view of the camera. control at least one of the position and orientation of the For example, at least one of the position and orientation of the UAV 1 until a package having a preset appearance feature is detected (object detection) from an image captured by a camera (or until several seconds after the detection) is controlled.
  • the position of the UAV 1 is at least one of the horizontal position and the vertical position of the UAV 1. Control of the vertical position will cause the UAV 1 to rise or fall.
  • the direction of the UAV 1 is, for example, the optical axis direction of a camera provided in the sensor unit 14 (the direction in which the optical axis of the photographing optical system extends).
  • the imaging control unit 163 causes the storage unit 15 to store an image (image data) of the surrounding area including the package captured by the camera as an image certifying completion of delivery of the package (hereinafter referred to as "delivery certificate image").
  • the delivery proof image is saved as an image file in a predetermined file format.
  • the imaging control unit 163 may transmit the delivery proof image to the management server 2 through the communication unit 13 and have it stored therein.
  • FIG. 5 is a diagram illustrating an example of an image I1 captured at the timing when a building 102 (a portion) is detected as a landmark feature in the area surrounding the package 101.
  • the imaging control unit 163 saves at least the image I1 (that is, the image of the surrounding area including the package and the feature) captured at the timing when the feature was detected together with the package as a delivery proof image (that is, at least save the image). This allows a delivery certificate image unique to the destination of the package to be saved.
  • the timing at which the feature is detected is, for example, any time between the time the feature is detected and a predetermined time (for example, several seconds) after the time the feature is detected.
  • a feature having the preset appearance feature (a feature that serves as a landmark) is detected from the image captured by the camera (in other words, it is detected in the same image frame).
  • At least one of the position and orientation of the UAV 1 is controlled until the UAV 1 is detected.
  • the imaging control unit 163 preferably detects a plurality of terrestrial objects located at different positions together with the luggage.
  • the imaging control unit 163 causes at least an image captured at the timing when a plurality of features (landmark features) are detected together with the package to be saved as a delivery proof image.
  • the plurality of features may be different types of features. This makes it possible to save a delivery certificate image that is even more unique to the delivery destination of the package.
  • the imaging control unit 163 may raise or lower the UAV 1 after the cargo is released by the release control unit 162, and may detect a landmark along with the cargo while the UAV 1 is ascending or descending. At this time, the imaging control unit 163 preferably acquires information indicating the brightness around the UAV 1 measured by a light meter included in the camera, and changes the speed at which the UAV 1 ascends or descends according to the brightness. . For example, the darker the surroundings of the UAV 1, the lower the climbing speed of the UAV 1. This allows a clearer delivery proof image to be saved.
  • the imaging control unit 163 raises or lowers the UAV 1 after the baggage is released by the release control unit 162, and hovers the UAV 1 (that is, when the UAV 1 moves) at the timing when a landmark is detected together with the baggage. It is also possible to temporarily stop the current state. In this case, the imaging control unit 163 causes the image taken while the UAV 1 is hovering to be saved as a delivery proof image. As a result, an even clearer delivery proof image can be saved.
  • a feature that serves as a landmark is something that can be visually recognized as a landmark by the recipient of the package.
  • Such terrestrial objects are natural objects, artificial objects, etc., which are particularly present in contact with the ground, and may be planar objects or three-dimensional objects. Examples of such features include buildings, garages, fences, gates, hedges, entrance slopes, trees, plants, cars, bicycles, and the like.
  • the appearance feature amounts of these features are set in advance.
  • the luggage and landmarks may be estimated from a trained model stored in the storage unit 15. According to this configuration, the image captured by the camera is input to the trained model, and the trained model outputs estimation result information such as classification labels (types) indicating each of the luggage and landmarks. be done.
  • machine learning algorithms such as R-CNN (Region based Convolutional Neural Networks) or SSD (Single Shot Multibox Detector) are preferably used.
  • the images captured by the camera are input to a trained model using a neural network, and the trained model is able to identify each of the multiple objects (i.e., luggage and landmarks).
  • Estimation result information such as bounding boxes, classification labels indicating objects, and classification probabilities are output.
  • the release control unit 162 detects the package and landmarks based on the output estimation result information.
  • FIG. 6 is a conceptual diagram showing an example of a classification label indicating an object detected in the image I2 input to the learned model and a classification probability for each bounding box.
  • a package is shown within the bounding box B1, and 89% is shown as the classification probability corresponding to this package.
  • a building is shown as a landmark feature within the bounding box B2, and 63% is shown as the classification probability corresponding to this building.
  • a plant is shown as a feature serving as a landmark within the bounding box B3, and 76% is shown as the classification probability corresponding to the plant.
  • a feature whose classification probability is less than or equal to a reference probability for example, 60%
  • it is preferable that at least one of the position and orientation of the UAV 1 is controlled until a package with a classification probability equal to or higher than a reference probability and a landmark are detected.
  • the imaging control unit 163 continuously captures images with the camera while controlling at least one of the position and direction of the UAV 1 (that is, while the range that fits within the camera's angle of view is changing).
  • the rate of change in color values in the image may be calculated for each image, and a feature serving as a landmark may be detected at the timing when the rate of change becomes equal to or greater than a reference rate of change (first threshold).
  • the color value is, for example, at least one of an R value, a G value, and a B value that constitute a pixel.
  • the rate of change in color value is the rate of change in color value per unit time.
  • the timing at which the rate of change of color values becomes equal to or higher than the standard rate of change is, for example, any time between the time when the rate of change of color values exceeds the standard rate of change and a predetermined period of time (for example, several seconds) after that time. This is the point in time.
  • the feature that serves as a landmark is detected at the timing when the rate of change becomes equal to or higher than the standard rate of change, so the processing to detect the feature that serves as a landmark is not performed while the rate of change is less than the standard rate of change. do not have. Thereby, it is possible to reduce the processing load on the CPU until the delivery certificate image is saved, reduce the power consumption of the battery, and further shorten the time until the delivery certificate image is saved.
  • FIG. 7 is a diagram showing an example of captured images I3 and I4 and histograms H1 and H2 of color values in the respective images.
  • the left side shows an image I3 captured at the timing when the luggage 101 was released, and a histogram H1 of color values in the image I3.
  • the right side shows an image I4 taken at the timing when the rate of change in color values became equal to or higher than the reference rate of change while the UAV 1 was ascending after releasing the cargo 101, and a histogram H2 of color values in the image I4. shows.
  • the luggage 101 appearing in the image I3 can be visually recognized as an enlarged version of the luggage 101 appearing in the image I4.
  • FIG. 7 shows an example of captured images I3 and I4 and histograms H1 and H2 of color values in the respective images.
  • the building 102 and the plants 103 appear within the angle of view of the camera while the UAV 1 is ascending, resulting in a large rate of change in the G value and B value (In other words, it becomes larger (larger than before the landmark appeared). As a result, the rate of change exceeds the reference rate of change, and the building 102 and the plants 103 are detected together with the baggage 101.
  • the imaging control unit 163 may cause the UAV 1 to hover at the timing when the building 102 and the plants 103 are detected together with the luggage 101, as shown in FIG.
  • the imaging control unit 163 causes the image including the package 101, the building 102, and the plants 103, captured while the UAV 1 is hovering, to be saved as a delivery certificate image.
  • the imaging control unit 163 generates an image I3 captured at the timing when the luggage 101 is released, and an image captured at the timing when the building 102 and the plants 103 are detected together with the luggage 101.
  • I4 may be saved as a delivery proof image.
  • a moving image including an image captured at the timing when a feature is detected along with the package may be saved as the delivery proof image.
  • a predetermined time e.g., several seconds to several tens of seconds
  • a predetermined time e.g., several seconds to several tens of seconds
  • the imaging control unit 163 calculates the rate of change of color values in each image continuously captured by the camera.
  • At least an image captured at the timing when the rate of change becomes equal to or higher than a reference rate of change may be stored as a delivery proof image.
  • the image captured at the timing when the rate of change of the color value becomes equal to or higher than the reference rate of change includes a landmark, and the image is saved as a delivery proof image.
  • there is no need to detect landmarks from the image so it is possible to reduce the processing load on the CPU until the delivery proof image is saved, as well as reduce battery power consumption. This can shorten the time it takes to complete the process.
  • the imaging control unit 163 calculates the rate of change in color values in images continuously captured while the UAV 1 is ascending or descending, and the UAV 1 may be hovered. Then, the imaging control unit 163 causes the image taken while the UAV 1 is hovering to be saved as a delivery proof image. At this time, the imaging control unit 163 acquires information indicating the brightness around the UAV 1 measured by a light meter included in the camera, and changes the speed at which the UAV 1 ascends or descends depending on the brightness. good.
  • the imaging control unit 163 identifies the certification suitability of the captured image as described above, and when the certification suitability is equal to or higher than the reference suitability (second threshold), the imaging control unit 163 delivers the captured image. It may also be saved as a proof image. Thereby, the usefulness (in other words, the value) of the delivery proof image can be increased.
  • the certification suitability is a value that quantitatively indicates to what extent a captured image is suitable as a delivery proof image.
  • the degree of certification suitability increases as the image becomes more specific to the delivery destination.
  • the degree of certification suitability may be calculated from the type of feature that serves as a landmark, the number of features, the positional relationship between multiple features, and the like.
  • the imaging control unit 163 determines that the certification adequacy of the image (second image) captured after the delivery proof image (first image) is stored in the storage unit 15 is the same as that of the already stored delivery proof image. (first image), the imaging control unit 163 deletes the already stored delivery proof image from the storage unit 15 and saves the second image as a new delivery proof image ( update). Thereby, the usefulness of the delivery proof image can be further enhanced, and the memory capacity of the storage unit 15 can be reduced compared to storing a plurality of delivery proof images.
  • the image providing unit 164 provides the delivery certificate image stored by the above-described processing method of the imaging control unit 163 to the terminal (for example, a smartphone) of the recipient of the package using a predetermined providing method. This allows the recipient to be visually informed that the package has been delivered. For example, the image providing unit 164 sends an e-mail containing a URL (Uniform Resource Locator) indicating the location (storage location) of the saved delivery proof image to the e-mail address of the recipient of the package. Thereby, the recipient's terminal can acquire and display the delivery proof image by accessing the URL.
  • a URL Uniform Resource Locator
  • the image providing unit 164 may send a message containing a URL for accessing the stored delivery proof image to the phone number of the recipient of the package via SMS (Short Message Service).
  • SMS Short Message Service
  • the saved delivery proof image may be push-distributed to an application resident on the terminal of the recipient of the package.
  • FIG. 8 is a diagram showing an example of a schematic configuration of the management server 2.
  • the management server 2 includes a communication section 21, a storage section 22, a control section 23, and the like.
  • the communication unit 21 is responsible for controlling communications performed via the communication network NW.
  • the location information and aircraft ID transmitted from the UAV 1 are received by the communication unit 21.
  • the management server 2 can recognize the current location of the UAV 1 based on the location information of the UAV 1.
  • the sensing information and aircraft ID transmitted from the UAV 1 are received by the communication unit 21.
  • the storage unit 22 includes, for example, a hard disk drive, and stores various programs and data.
  • the storage unit 22 may store the above-described trained model. Note that the storage unit 22 may function as a storage unit for storing the delivery proof image.
  • the delivery management database 221 is a database for managing information regarding delivery of packages.
  • package information, aircraft information, delivery destination information, delivery schedule, recipient information, etc. are stored (registered) in association with each other.
  • the aircraft information includes information regarding the UAV 1 that delivers the package (eg, aircraft ID, etc.).
  • the delivery management database 221 stores a URL indicating the location of the delivery certificate image of the package in association with the package information.
  • the control unit 23 includes a CPU, ROM, RAM, etc.
  • the control unit 23 monitors the current position of the UAV 1 and controls the UAV 1 by appropriately transmitting control commands to the UAV 1 (an example of a control device).
  • control may include at least one of UAV 1 flight control, cargo release control, and imaging control.
  • imaging control is performed based on sensing information from the UAV 1.
  • This processing method is similar to the processing method of the imaging control unit 163 of the UAV 1.
  • the control unit 23 may provide the delivery proof image to the terminal of the recipient of the package. This providing method is similar to the providing method of the image providing unit 164 of the UAV 1.
  • FIG. 9 is a flowchart illustrating an example of a process executed by the control unit 16 of the UAV 1 in the first embodiment.
  • the process shown in FIG. 9 is started, for example, when the UAV 1 carrying cargo arrives above the delivery destination.
  • the control unit 16 causes the UAV 1 to hover, and specifies the release location of the baggage based on sensing information from the optical sensor (step S1). For example, when UAV 1 releases cargo while it is in a landing state, a release location that is larger than the two-dimensional size required for UAV 1 to land (for example, vertical ym x width x m) and is flat (without obstacles) is specified. It is good.
  • the UAV 1 releases the cargo while hovering, it is preferable to specify a release location that is wider and flat than the two-dimensional size of the cargo.
  • control unit 16 performs release control to release the cargo from the UAV 1 at the release location specified in step S1 (step S2). For example, after the UAV 1 lands at the release location, the release control unit 162 releases the cargo from the holding member by outputting a control signal to the holding mechanism of the UAV 1. Alternatively, the release control unit 162 sends out the linear member by outputting a control signal to the holding mechanism of the UAV 1 while the UAV 1 is hovering above the release location, and releases the cargo from the lowered holding member.
  • the control unit 16 acquires the image captured by the camera, and adjusts the position and orientation of the UAV 1 so that the surrounding area including the baggage placed at the release location identified in step S1 falls within the angle of view of the camera. At least one of them is controlled (step S3). For example, if a baggage is released while the UAV 1 has landed at a release location, the imaging control unit 163 raises the UAV 1 so that the surrounding area including the baggage placed at the release location falls within the angle of view of the camera. let On the other hand, if the baggage is released while the UAV 1 is hovering, the imaging control unit 163 lowers the UAV 1 so that the surrounding area including the baggage placed at the release location falls within the angle of view of the camera. In such imaging control, a process for detecting luggage and landmarks is started. Note that the imaging control unit 163 may change the direction of the UAV 1 while raising or lowering the UAV 1.
  • the control unit 16 determines whether a landmark along with the baggage is detected from the image captured by the camera (step S4).
  • the imaging control unit 163 inputs the captured image into a trained model, and determines whether or not a landmark has been detected together with the luggage, based on the estimation result information output from the trained model. It's good to do that.
  • the estimation result information includes a bounding box corresponding to each of the package and the feature (one or more features), a classification label indicating the object, and a classification probability, and each classification probability is greater than or equal to the standard probability. If this is the case, it is determined that a feature serving as a landmark has been detected together with the luggage.
  • step S4 If it is determined that a feature serving as a landmark has been detected together with the luggage (step S4: YES), the process proceeds to step S5. On the other hand, if it is determined that no feature serving as a landmark has been detected together with the luggage (step S4: NO), the process returns to step S3. Returning to step S3, the control unit 16 changes at least one of the position and orientation of the UAV 1 while keeping the surrounding area including the luggage within the angle of view of the camera. At this time, the imaging control unit 163 may change the direction of the UAV 1 while raising or lowering the UAV 1.
  • sensing information from the optical sensor may be transmitted from the UAV 1 to the management server 2.
  • the management server 2 inputs the image included in the sensing information into the learned model, and transmits the estimation result information output from the learned model to the UAV 1.
  • the imaging control unit 163 determines, based on the estimation result information received from the management server 2, whether or not a landmark has been detected together with the luggage.
  • the management server 2 may determine whether or not a landmark has been detected along with the luggage, based on the estimation result information output from the learned model, and may transmit the determination result to the UAV 1. .
  • the imaging control unit 163 determines, based on the determination result received from the management server 2, whether or not a feature serving as a landmark has been detected together with the luggage.
  • step S5 the control unit 16 causes the storage unit 15 to store an image taken at the timing when a landmark is detected together with the package as a delivery proof image.
  • the imaging control unit 163 may cause the UAV 1 to hover.
  • the imaging control unit 163 causes the storage unit 15 to store an image captured while the UAV 1 is hovering as a delivery proof image.
  • the image capturing control unit 163 may save an image captured at the timing when the package was released and an image captured at the timing when the feature was detected with the package as the delivery certificate image.
  • the imaging control unit 163 may include a plurality of images included between the timing when the package is released and a predetermined time (for example, several seconds to several tens of seconds) after the timing when the feature is detected with the package.
  • the moving image displayed may be stored in the storage unit 15 as a delivery proof image.
  • the control unit 16 causes the image providing unit 164 to provide the delivery proof image saved in step S5 to the terminal of the recipient of the package (step S6).
  • a URL indicating the location of the saved delivery proof image is generated, and an e-mail containing the URL is sent to the e-mail address of the recipient of the package.
  • the UAV 1 returns to the delivery base or moves to the next delivery destination.
  • the image providing unit 164 may cause the storage unit 22 of the management server 2 to store the delivery certificate image by transmitting a storage request including the delivery certificate image saved in step S5 to the management server 2.
  • the management server 2 uses the image providing unit 164 to provide the delivery certificate image stored in the storage unit 22 to the terminal of the recipient of the package.
  • FIG. 10 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in the second embodiment. Note that the processing in steps S11 to S13 shown in FIG. 10 is similar to the processing in steps S1 to S3 shown in FIG.
  • step S14 the control unit 16 calculates the rate of change in color values in the image captured by the camera. For example, the rate of change in color values is calculated from an image captured a unit time ago (in other words, several frames ago).
  • step S15 the rate of change calculated in step S14 is equal to or higher than the reference rate of change. If it is determined that the color value change rate is equal to or greater than the reference change rate (step S15: YES), the process proceeds to step S16. On the other hand, if it is determined that the color value change rate is not equal to or greater than the reference change rate (step S15: NO), the process returns to step S13.
  • the processing when returning to step S13 is the same as the processing when returning to step S3.
  • step S16 the control unit 16 causes the storage unit 15 to store the image captured at the timing when the rate of change of the color value becomes equal to or higher than the reference rate of change as a delivery proof image.
  • the imaging control unit 163 may cause the UAV 1 to hover.
  • the imaging control unit 163 causes the storage unit 15 to store an image captured while the UAV 1 is hovering as a delivery proof image.
  • the process in step S17 shown in FIG. 10 is similar to the process in step S6 shown in FIG.
  • FIG. 11 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in the third embodiment. Note that the processing in steps S21 to S23 shown in FIG. 11 is similar to the processing in steps S1 to S3 shown in FIG.
  • step S24 similarly to step S14, the control unit 16 calculates the rate of change in color values in the image captured by the camera.
  • step S25 the control unit 16 determines whether the rate of change calculated in step S24 is equal to or greater than the reference rate of change (step S25). If it is determined that the rate of change in the color value is equal to or greater than the reference rate of change (step S25: YES), the process proceeds to step S26. On the other hand, if it is determined that the color value change rate is not equal to or greater than the reference change rate (step S25: NO), the process returns to step S23. The processing when returning to step S23 is the same as the processing when returning to step S3.
  • step S26 the control unit 16 causes the imaging control unit 163 to determine whether or not a feature serving as a landmark has been detected together with the baggage from the image captured at the timing when the rate of change of the color value becomes equal to or higher than the reference rate of change. do. If it is determined that a feature serving as a landmark has been detected together with the luggage (step S26: YES), the process proceeds to step S27. Note that the processing in steps S27 and S28 shown in FIG. 11 is similar to the processing in steps S5 and S6 shown in FIG. On the other hand, if it is determined that no landmarks have been detected together with the luggage (step S26: NO), the process returns to step S23. The processing when returning to step S23 is the same as the processing when returning to step S3.
  • FIG. 12 is a flowchart illustrating an example of processing executed by the control unit 16 of the UAV 1 in the fourth embodiment. Note that the processing in steps S31 and S32 shown in FIG. 12 is similar to the processing in steps S1 and S2 shown in FIG. 9. In the imaging control process of step S33 shown in FIG. 12, the processes of steps S3 and S4 shown in FIG. 9, the processes of steps S13 to S15 shown in FIG. 10, or the processes of steps S23 to S26 shown in FIG. 11 are performed.
  • step S34 the control unit 16 determines the certification suitability of the image captured at the timing when a landmark is detected together with the baggage, or at the timing when the rate of change of the color value becomes equal to or higher than the reference rate of change. 163.
  • step S35 the control unit 16 determines by the imaging control unit 163 whether the proof suitability specified in step S34 is equal to or higher than the reference suitability. If it is determined that the proof suitability is equal to or higher than the reference suitability (step S35: YES), the process proceeds to step S36. On the other hand, if it is determined that the proof adequacy is not equal to or higher than the reference adequacy (step S35: NO), the process proceeds to step S40.
  • step S36 the control unit 16 determines whether the delivery certificate image and its certification suitability are stored in the storage unit 15. If it is determined that the delivery proof image and its certification suitability are not stored in the storage unit 15 (step S36: NO), the control unit 16 stores the image captured at the above timing in the storage unit 15 as the delivery proof image. It is saved (step S37). On the other hand, if it is determined that the delivery certificate image and its certification suitability are already stored in the storage unit 15 (step S36: YES), the process proceeds to step S38.
  • step S38 the control unit 16 determines whether the certification suitability of the image currently captured at the above timing (second image) is greater than the certification suitability of the already stored delivery proof image (first image).
  • the imaging control unit 163 determines whether or not it is possible. If it is determined that the certification suitability of the image captured at the above timing is greater than the certification suitability of the already stored delivery proof image (step S38: YES), the process proceeds to step S39. On the other hand, if it is determined that the certification suitability of the image captured at the above timing is not greater than the certification suitability of the already stored delivery proof image (step S38: NO), the process proceeds to step S40.
  • step S39 the control unit 16 deletes the already saved delivery proof image from the storage unit 15, and newly saves the image captured at the above timing as the delivery proof image. This updates the delivery proof image. At this time, the certification suitability of the newly saved delivery proof image is stored in the storage unit 15 in association with the delivery proof image, and the process proceeds to step S40.
  • step S40 the control unit 16 determines whether a predetermined period of time has elapsed since the baggage was released. If it is determined that the predetermined time has not passed since the baggage was released (step S40: NO), the process returns to step S33. At this time, the control unit 16 may reduce the standard suitability. On the other hand, if it is determined that the predetermined time has passed since the release of the luggage (step S40: YES), the process proceeds to step S41.
  • step S41 the control unit 16 provides the finally saved delivery proof image to the terminal of the recipient of the package using the image providing unit 164.
  • the image providing unit 164 may transmit to the management server 2 a storage request including the finally stored delivery proof image and its certification suitability.
  • the management server 2 causes the storage unit 22 to save the delivery certificate image and its certification suitability in response to the storage request.
  • At least one of the position and orientation of the UAV 1 is adjusted so that the baggage placed at the release location by the UAV 1 and the surrounding area of the baggage fit within the angle of view of the camera.
  • the camera is configured to control the image of the surrounding area including the package and save it as a delivery proof image, so even if the UAV 1, which does not require a delivery person, performs the delivery, the package cannot be delivered. Appropriate images may be saved to prove completion.
  • a feature that serves as a landmark is detected along with the package placed in the release area, and an image taken at the timing when the feature is detected with the package is saved as a delivery proof image. A unique proof of delivery image can be saved. As a result, even if the package is placed in a large area of the recipient's house, for example, the recipient of the package can easily determine its location.
  • the control unit 23 of the management server 2 is configured to sequentially receive sensing information including images captured by a camera from the UAV 1 and perform imaging control of the UAV 1 based on the captured images. Good too. In this case, the control unit 23 of the management server 2 issues a control command to control at least one of the position and orientation of the UAV 1 so that the surrounding area including the baggage fits within the angle of view based on the captured image.
  • the control unit 23 of the management server 2 causes the storage unit 22 to store an image of the surrounding area including the package captured by the camera of the UAV 1 as a delivery certificate image, and transfers the stored delivery certificate image to the recipient of the package. Provide to the terminal.
  • the control unit 23 of the management server 2 detects a feature that serves as a landmark along with the package, and stores an image taken at the timing when the feature is detected with the package in the storage unit 22 as a delivery proof image. It's okay.
  • the control unit 23 of the management server 2 calculates the rate of change in color values in each image continuously captured by the camera of the UAV 1, and marks the mark at the timing when the rate of change becomes equal to or higher than the reference rate of change. You may also detect a feature that is .
  • the control unit 23 of the management server 2 specifies the certification suitability of the captured image, and if the certification suitability is equal to or higher than the reference suitability, the control unit 23 causes the captured image to be saved as a delivery certification image. Good too.
  • the UAV is used as an example of an unmanned vehicle, but the present invention is also applicable to flying robots and the like. Furthermore, the above embodiments are also applicable to UGVs (Unmanned Ground Vehicles) that can be loaded with luggage and autonomously travel on the ground unmanned (however, excluding hovering). Such a UGV may have a plurality of wheels, or may be a robot without wheels (for example, a bipedal walking robot). For example, when the UGV arrives near the delivery destination, it specifies a release location for the cargo, and releases (carries out) the cargo at the release location through the UGV's delivery mechanism.
  • UGVs Unmanned Ground Vehicles
  • Such a UGV may have a plurality of wheels, or may be a robot without wheels (for example, a bipedal walking robot). For example, when the UGV arrives near the delivery destination, it specifies a release location for the cargo, and releases (carries out) the cargo at the release location through the UGV's delivery mechanism.
  • the UGV controls at least one of the position and orientation of the UGV so that the baggage placed at the release location and the surrounding area of the baggage fit within the angle of view of the UGV's camera, and the image is captured by the camera.
  • An image of the surrounding area including the package is stored in the storage unit as a delivery proof image.
  • the luggage and the surrounding area of the luggage can be imaged. It may be arranged to fit in a corner, and this case is also within the technical scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Studio Devices (AREA)

Abstract

ＵＡＶ１及び管理サーバ２を含んで構成される配送システムＳにおいて、ＵＡＶ１は、解放場所に置かれた荷物と当該荷物の周辺領域とがカメラの画角に収まるようにＵＡＶ１の位置と向きとの少なくとも何れか一方を制御する。そして、ＵＡＶ１は、当該カメラにより撮像された荷物を含む周辺領域の画像を、当該荷物の配送完了を証明する画像として、ＵＡＶ１の記憶部１５または管理サーバ２の記憶部２２などにおける保存部に保存させる。

Description

無人機及び配送システム
　本発明は、荷物を配送する配送システム等の技術分野に関する。
　従来、荷物の配送方法として、例えば配達者が受取人宅の敷地内に荷物を置くことで配送を完了するいわゆる置き配が知られている。例えば、特許文献１には、置き配が完了した荷物の写真を配達者が端末で撮影し、当該撮影された画像が受取人の端末に送信されるシステムが開示されている。
特開２０１９－１６１５７号公報
　しかし、配達者を必要としない無人機が置き配を行う場合、配送が完了した荷物の写真を配達者が撮影することができないため、配送完了を証明するための適切な画像を保存することが困難である。特に、受取人宅の広い敷地内の何れかの位置に荷物が置かれる場合、受取人がその位置を判断できるような画像を保存しておくことが望ましい。
　そこで、荷物の配送完了を証明するための適切な画像を保存することが可能な無人機及び配送システムを提供する。
　上記課題を解決するために、請求項１に記載の発明は、荷物を配送する無人機であって、画角に収まる範囲を撮像するカメラと、前記無人機から前記荷物を解放させる第１制御部と、前記第１制御部により解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させる第２制御部と、を備えることを特徴とする。これにより、荷物の配送完了を証明するための適切な画像を保存することができる。
　請求項２に記載の発明は、請求項１に記載の無人機において、前記第２制御部は、前記範囲において前記解放場所に置かれた前記荷物とともに目印となる地物を検出し、少なくとも、前記荷物とともに前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、荷物の配送先に特有の画像を保存させることができる。
　請求項３に記載の発明は、請求項２に記載の無人機において、前記第２制御部は、前記荷物とともに異なる位置にある複数の前記地物を検出し、少なくとも、前記荷物とともに複数の前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、より一層、荷物の配送先に特有の画像を保存させることができる。
　請求項４に記載の発明は、請求項２または３に記載の無人機において、前記第２制御部は、前記カメラにより連続的に撮像された前記画像ごとに当該画像におけるカラー値の変化率を算出し、当該変化率が第１閾値以上になったタイミングで前記地物を検出することを特徴とする。これにより、配送完了を証明する画像が保存されるまでの無人機の処理負荷を低減できるとともに無人機のバッテリの消費電力を低減でき、さらに、当該画像が保存されるまでの時間を短縮することができる。
　請求項５に記載の発明は、請求項２または３に記載の無人機において、前記無人機は、無人で飛行可能な無人飛行体であり、前記第２制御部は、前記荷物が解放された後、前記無人機を上昇または下降させ、前記無人機が上昇または下降している間に前記荷物とともに前記地物を検出することを特徴とする。
　請求項６に記載の発明は、請求項５に記載の無人機において、前記第２制御部は、前記荷物とともに前記地物が検出されたタイミングで前記無人機をホバリングさせ、前記無人機がホバリングしている間に撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、より鮮明な画像を保存させることができる。
　請求項７に記載の発明は、請求項５に記載の無人機において、前記第２制御部は、前記カメラが備える露出計により測定された、前記無人機の周囲の明るさを示す情報を取得し、当該明るさに応じて前記無人機が上昇または下降する速度を変化させることを特徴とする。これにより、より鮮明な画像を保存させることができる。
　請求項８に記載の発明は、請求項１に記載の無人機において、前記第２制御部は、前記カメラにより連続的に撮像された前記画像ごとに当該画像におけるカラー値の変化率を算出し、少なくとも、当該変化率が第１閾値以上になったタイミングで撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、配送完了を証明する画像が保存されるまでの無人機の処理負荷を低減できるとともに無人機のバッテリの消費電力を低減でき、さらに、当該画像が保存されるまでの時間を短縮することができる。
　請求項９に記載の発明は、請求項８に記載の無人機において、前記無人機は、無人で飛行可能な無人飛行体であり、前記第２制御部は、前記荷物が解放された後、前記無人機を上昇または下降させ、前記無人機が上昇または下降している間に前記画像におけるカラー値の変化率を算出することを特徴とする。
　請求項１０に記載の発明は、請求項９に記載の無人機において、前記第２制御部は、前記変化率が第１閾値以上になったタイミングで前記無人機をホバリングさせ、前記無人機がホバリングしている間に撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、より鮮明な画像を保存させることができる。
　請求項１１に記載の発明は、請求項９または１０に記載の無人機において、前記第２制御部は、前記カメラが備える露出計により測定された、前記無人機の周囲の明るさを示す情報を取得し、当該明るさに応じて前記無人機が上昇または下降する速度を変化させることを特徴とする。これにより、より鮮明な画像を保存させることができる。
　請求項１２に記載の発明は、請求項１乃至３、８乃至１０の何れか一項に記載の無人機において、前記第２制御部は、前記荷物が解放されたタイミングで撮像された前記荷物及び前記周辺領域の画像と、その後に前記荷物とともに前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像とを前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、荷物の受取人は、保存される画像に表れる荷物が小さいために視認し難い場合であっても、拡大された荷物の画像から容易に視認することができる。
　請求項１３に記載の発明は、請求項１乃至３、８乃至１０の何れか一項に記載の無人機において、前記第２制御部は、前記撮像された前記画像の証明適正度を特定し、当該証明適正度が第２閾値以上である場合に、前記撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、荷物の配送完了を証明する画像の有用性を高めることができる。
　請求項１４に記載の発明は、請求項１３に記載の無人機において、前記保存部に第１の前記画像が保存された後に撮像された第２の前記画像の証明適正度が前記第１の前記画像の証明適正度より大きい場合に、前記第２制御部は、前記第１の前記画像を前記保存部から消去し、前記第２の前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。これにより、より一層、荷物の配送完了を証明する画像の有用性を高めることができ、また、複数の画像を保存させるよりもメモリ容量を抑えることができる。
　請求項１５に記載の発明は、請求項１乃至３、８乃至１０の何れか一項に記載の無人機において、前記保存部に保存された前記画像を前記荷物の受取人の端末に提供する画像提供部を更に備えることを特徴とする。これにより、荷物の配送完了を受取人に視覚的に伝えることができる。
　請求項１６に記載の発明は、画角に収まる範囲を撮像するカメラを搭載する無人機により荷物を配送する配送システムであって、前記無人機から解放されることにより解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させる制御部を備えることを特徴とする。
　請求項１７に記載の発明は、画角に収まる範囲を撮像するカメラを搭載し荷物を配送する無人機の制御装置であって、前記無人機から解放されることにより解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする。
　本発明によれば、荷物の配送完了を証明するための適切な画像を保存することができる。
配送システムＳの概要構成例を示す図である。 ＵＡＶ１の概要構成例を示す図である。 制御部１６における機能ブロック例を示す図である。 ＵＡＶ１が建物１０２の近傍の解放場所に着陸している状態において荷物１０１を解放したときの様子を示す図である。 荷物１０１の周辺領域において建物１０２が目印となる地物として検出されたタイミングで撮像された画像Ｉ１の一例を示す図である。 学習済モデルに入力された画像Ｉ２において検出された物体を示す分類ラベル、及び分類確率の一例をバウンディングボックスごとに示す概念図である。 撮像された画像Ｉ３,Ｉ４と、それぞれの画像におけるカラー値のヒストグラムＨ１,Ｈ２の一例を示す図である。 管理サーバ２の概要構成例を示す図である。 実施例１においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。 実施例２においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。 実施例３においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。 実施例４においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の一実施形態について説明する。なお、以下の実施形態は、荷物を配送する配送システムの一実施形態である。
［１．配送システムＳの構成］
　先ず、図１を参照して、本発明の一実施形態に係る配送システムＳの構成について説明する。図１は、配送システムＳの概要構成例を示す図である。図１に示すように、配送システムＳは、無人航空機（以下、「ＵＡＶ（Unmanned Aerial Vehicle）」と称する）１、及び管理サーバ２を含んで構成され、これらは、通信ネットワークＮＷに接続可能になっている。ここで、通信ネットワークＮＷは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。ＵＡＶ１は無人機及び無人飛行体の一例であり、ドローン、またはマルチコプタとも呼ばれる。管理サーバ２は、荷物の配送を管理及び制御するためのサーバである。また、管理サーバ２は、ＵＡＶ１を制御することもできる。管理サーバ２は、ＵＡＶ１との間で通信ネットワークＮＷを介して通信可能になっている。
　ＵＡＶ１に積載される荷物（貨物）は、例えば、ＥＣ（Electronic commerce）サイトまたは宅配サイトなどで注文される商品または宅配品などの物品である。このような荷物は、配送拠点から、配送依頼人（例えば、商品の注文者）による注文で指定された配送先（配達先）に向けて運搬される。ここで、配送拠点は、荷物がＵＡＶ１に積み込まれる場所である。配送先は、例えば、荷物の受取人の居住する住宅などである。ただし、本実施形態では、配送先の近傍においてＵＡＶ１が荷物を解放して解放場所に置くことで配送を完了すること（つまり、置き配）を想定する。かかる置き配は、例えば注文時に配送方法として置き配が設定された場合に行われてもよいし、受取人が配送先に不在などの理由で荷物を直接受け取れない場合に行われてもよい。配送された荷物は、例えば、受取人が居住する住宅の敷地（例えば、庭）内の何れかの解放場所に置かれる。住宅が集合住宅（例えばマンションやアパート）である場合、配送された荷物は、その建物の共通のエントランス付近、または、その建物の屋上における何れかの解放場所に置かれてもよい。なお、解放場所は、地面または建物の屋上面である。
［１－１．ＵＡＶ１の構成及び機能］
　次に、図２を参照して、ＵＡＶ１の構成及び機能について説明する。図２は、ＵＡＶ１の概要構成例を示す図である。図２に示すように、ＵＡＶ１は、駆動部１１、測位部１２、通信部１３、センサ部１４、記憶部１５（保存部の一例）、及び制御部１６（制御装置の一例）等を備える。さらに、ＵＡＶ１は、ＵＡＶ１の各部へ電力を供給するバッテリ（図示せず）、水平回転翼であるロータ（プロペラ）、及び積載される荷物を保持するための保持機構等を備える。保持機構は、荷物を保持するフック等の保持部材、及びモータ等により構成されるアクチュエータを含む。保持機構は、制御部１６から出力される制御信号に応じてアクチュエータを駆動することで保持部材から荷物を解放する（つまり、荷物を切り離す）。なお、保持機構には、保持部材に接続されたワイヤ等の線状部材、及び線状部材の送り出しまたは巻き取りを行うリール（ウインチ）が備えられてもよい。
　駆動部１１は、モータ及び回転軸等を備える。駆動部１１は、制御部１６から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。測位部１２は、電波受信機及び高度センサ等を備える。測位部１２は、例えば、ＧＮＳＳ（Global Navigation Satellite System）の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＡＶ１の水平方向の現在位置（緯度及び経度）を検出する。なお、ＵＡＶ１の水平方向の現在位置は、センサ部１４のカメラにより撮像された画像に基づいて補正されてもよい。また、ＵＡＶ１の水平方向の現在位置は、設置位置が特定されている基準局（ＵＡＶ１と通信可能な基準局）により受信された上記電波を利用するＲＴＫ（Real Time Kinematic）手法により補正されてもよい。測位部１２により検出された現在位置を示す位置情報は、制御部１６へ出力される。さらに、測位部１２は、気圧センサ等の高度センサによりＵＡＶ１の垂直方向の現在位置（高度）を検出してもよい。この場合、位置情報には、ＵＡＶ１の高度を示す高度情報が含まれる。
　通信部１３は、無線通信機能を備え、通信ネットワークＮＷを介して行われる通信の制御を担う。センサ部１４は、ＵＡＶ１の飛行制御等に用いられる各種センサを備える。各種センサには、例えば、光学センサ、３軸角速度センサ、３軸加速度センサ、及び地磁気センサ等が含まれる。光学センサは、カメラ（例えば、RGBカメラ）を含む。カメラは、レンズ、撮像素子、シャッター、及び露出計等を備え、制御部１６からの撮像指令に応じて画角に収まる範囲を撮像する。画角は、外部からの光がレンズを介して撮像素子に当たる範囲を表す角度である。ここで、撮像とは、撮像素子で受光された光が電気信号に変換されることにより画像が撮られることをいう。光学センサには、ＵＡＶ１の進行方向を撮像するためのカメラと、ＵＡＶ１の下方を撮像するためのカメラとが含まれてもよい。また、カメラの向きが制御部１６により制御されてもよい。露出計は、ＵＡＶ１の周囲の明るさを測定する。露出計により測定された明るさに応じてカメラのシャッターの速度及び絞りが自動調整される。
　なお、光学センサには、物体の形状や物体までの距離を測定するLiDAR（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）センサが含まれてもよい。センサ部１４によりセンシングされることで得られたセンシング情報は、制御部１６へ連続的に出力される。センシング情報には、カメラにより撮像された画像（例えば、RGB画像）のデータが含まれる。また、センシング情報には、LiDARセンサにより測定された距離画像（デプス画像）のデータが含まれてもよい。また、カメラの露出計により測定された明るさを示す情報が制御部１６へ出力されてもよい。
　記憶部１５は、不揮発性メモリ等から構成され、各種プログラム及びデータを記憶する。また、記憶部１５は、ＵＡＶ１を識別する機体ＩＤを記憶する。この機体ＩＤは、ＵＡＶ１を識別するための識別情報である。なお、記憶部１５には、機械学習により生成された学習済モデルが記憶されてもよい。かかる学習済モデルは、カメラにより撮像された画像から地上に存在する物体（荷物、及び後述する地物を含む）を推定するためのものである。制御部１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を備える。ＲＡＭには、カメラから連続的に出力される画像を一時的に記憶するバッファメモリが設けられる。バッファメモリには、所定の時間間隔で連続する複数の画像（画像フレーム）が記憶される。図３は、制御部１６における機能ブロック例を示す図である。制御部１６は、ＲＯＭ（または、記憶部１５）に記憶されたプログラム（プログラムコード群）に従って、図３に示すように、飛行制御部１６１、解放制御部１６２（第１制御部の一例）、撮像制御部１６３（第２制御部の一例）、及び画像提供部１６４等として機能する。
　飛行制御部１６１は、ＵＡＶ１を飛行させる飛行制御を行う。飛行制御には、離陸制御、ホバリング制御、及び着陸制御が含まれる。飛行制御においては、測位部１２により検出された現在位置を示す位置情報、センサ部１４によりセンシングされたセンシング情報、及び配送先情報等が用いられて、ロータの回転数の制御、ＵＡＶ１の現在位置、姿勢及び進行方向の制御が行われる。これにより、ＵＡＶ１は自律的に配送先に向けて飛行することができる。配送先情報は、荷物情報及び受取人情報とともに例えば配送拠点でＵＡＶ１に設定されてもよいし、管理サーバ２から荷物情報及び受取人情報とともに送信されて設定されてもよい。ここで、配送先情報には、配送先の位置情報（緯度及び経度）等が含まれる。荷物情報には、ＵＡＶ１により配送される荷物を識別するための荷物ＩＤ及び荷物の写真画像等が含まれる。荷物の写真画像から当該荷物の外観特徴量が抽出されてもよい。受取人情報には、荷物の受取人を識別するユーザＩＤ、及び受取人のメールアドレスまたは電話番号等が含まれる。なお、ＵＡＶ１の飛行中に、ＵＡＶ１の位置情報、及びＵＡＶ１の機体ＩＤは、通信部１３により管理サーバ２へ逐次送信される。また、センサ部１４によりセンシングされたセンシング情報及びＵＡＶ１の機体ＩＤは、通信部１３により管理サーバ２へ逐次送信されてもよい。
　解放制御部１６２は、解放場所においてＵＡＶ１から荷物を解放させる解放制御を行う。例えば、解放制御部１６２は、ＵＡＶ１が解放場所に着陸している状態において、ＵＡＶ１の保持機構へ制御信号を出力することで保持部材から荷物を解放させる。図４は、ＵＡＶ１が建物１０２の近傍の解放場所（地面）に着陸している状態において荷物１０１を解放したときの様子を示す図である。これとは別の例として、解放制御部１６２は、ＵＡＶ１が解放場所の上空でホバリングしている状態において、ＵＡＶ１の保持機構へ制御信号を出力することで線状部材を送り出させてもよい。これにより、解放制御部１６２は、保持部材を解放場所に降下させた後（例えば、荷物が接地した後）に保持部材から荷物を解放させる。或いは、ＵＡＶ１が解放場所から垂直方向に数十ｃｍ～２ｍ程度離れた位置でホバリングしている状態において、解放制御部１６２は、ＵＡＶ１の保持機構へ制御信号を出力することで保持部材から荷物を解放（つまり、投下）させてもよい。なお、荷物の解放場所は、配送先の近傍において光センサからの画像（例えば、RGB画像または距離画像）に基づいて解放制御部１６２により特定されるとよい。
　撮像制御部１６３は、光センサからのセンシング情報を用いて、上記解放場所に置かれた荷物と当該荷物の周辺領域（つまり、荷物を含む周辺領域）とがカメラの画角に収まるようにＵＡＶ１の位置と向きとの少なくとも何れか一方を制御する。例えば、予め設定された外観特徴量を有する荷物が、カメラにより撮像された画像から検出（物体検出）されるまで（または、当該検出から数秒後まで）ＵＡＶ１の位置と向きとの少なくとも何れか一方が制御される。ここで、ＵＡＶ１の位置とは、ＵＡＶ１の水平方向の位置と垂直方向の位置との少なくとも何れか一方である。垂直方向の位置の制御により、ＵＡＶ１が上昇または下降することになる。ＵＡＶ１の向きとは、例えば、センサ部１４に備えられるカメラの光軸方向（撮影光学系の光軸が延びる方向）である。そして、撮像制御部１６３は、カメラにより撮像された荷物を含む周辺領域の画像（画像データ）を荷物の配送完了を証明する画像（以下、「配送証明画像」という）として記憶部１５に保存させる。例えば、配送証明画像は、所定のファイル形式の画像ファイルとして保存される。なお、撮像制御部１６３は、配送証明画像を通信部１３により管理サーバ２に送信して保存させてもよい。
　また、撮像制御部１６３は、カメラの画角に収まる範囲において解放場所に置かれた荷物とともに目印となる地物を検出してもよい。図５は、荷物１０１の周辺領域において建物１０２（一部分）が目印となる地物として検出されたタイミングで撮像された画像Ｉ１の一例を示す図である。この場合、撮像制御部１６３は、少なくとも、荷物とともに地物が検出されたタイミングで撮像された画像Ｉ１（つまり、荷物及び地物を含む周辺領域の画像）を配送証明画像として保存（つまり、少なくとも当該画像を保存）させる。これにより、荷物の配送先に特有の配送証明画像を保存させることができる。ここで、地物が検出されたタイミングとは、例えば、地物が検出された時点からその所定時間（例えば、数秒）後までの間の何れかの時点である。この場合、予め設定された外観特徴量を有する荷物とともに、予め設定された外観特徴量を有する地物（目印となる地物）が、カメラにより撮像された画像から検出（つまり、同一画像フレーム上で検出）されるまでＵＡＶ１の位置と向きとの少なくとも何れか一方が制御される。特に、撮像制御部１６３は、荷物とともに異なる位置にある複数の地物を検出するとよい。この場合、撮像制御部１６３は、少なくとも、荷物とともに複数の地物（目印となる地物）が検出されたタイミングで撮像された画像を配送証明画像として保存させる。ここで、複数の地物は、異なる種類の地物であるとよい。これにより、より一層、当該荷物の配送先に特有の配送証明画像を保存させることができる。
　また、撮像制御部１６３は、解放制御部１６２により荷物が解放された後にＵＡＶ１を上昇または下降させ、ＵＡＶ１が上昇または下降している間に荷物とともに目印となる地物を検出してもよい。このとき、撮像制御部１６３は、カメラが備える露出計により測定された、ＵＡＶ１の周囲の明るさを示す情報を取得し、当該明るさに応じてＵＡＶ１が上昇または下降する速度を変化させるとよい。例えば、ＵＡＶ１の周囲が暗いほどＵＡＶ１の上昇速度を低下させる。これにより、より鮮明な配送証明画像を保存させることができる。また、撮像制御部１６３は、解放制御部１６２により荷物が解放された後にＵＡＶ１を上昇または下降させ、荷物とともに目印となる地物が検出されたタイミングでＵＡＶ１をホバリング（つまり、ＵＡＶ１が移動している状態から一時停止）させてもよい。この場合、撮像制御部１６３は、ＵＡＶ１がホバリングしている間に撮像された画像を配送証明画像として保存させる。これにより、より一層、より鮮明な配送証明画像を保存させることができる。
　なお、目印となる地物とは、荷物の受取人が目印として視認可能な物である。かかる地物は、自然物や人工物など、特に地面に接して存在する物であり、平面的な物であってもよいし、立体的な物であってもよい。かかる地物の例として、建物、ガレージ、フェンス、門扉、垣根、玄関スロープ、樹木、植栽、自動車、自転車などが挙げられる。これらの地物の外観特徴量は予め設定される。また、荷物及び目印となる地物は、記憶部１５に記憶された学習済モデルから推定されてもよい。この構成によれば、カメラにより撮像された画像が学習済モデルに入力されることで、当該学習済モデルから荷物及び目印となる地物それぞれを示す分類ラベル（種類）等の推定結果情報が出力される。ここで、画像から複数の物体を検出する場合、Ｒ-ＣＮＮ（Region based Convolutional Neural Networks）やＳＳＤ（Single Shot Multibox Detector）の機械学習アルゴリズムが用いられるとよい。この場合、カメラにより撮像された画像が、ニューラルネットワークを用いた学習済モデルに入力されることで、当該学習済モデルから、複数の物体（つまり、荷物及び目印となる地物）それぞれに対応するバウンディングボックス、物体を示す分類ラベル、及び分類確率等の推定結果情報が出力される。解放制御部１６２は、当該出力された推定結果情報に基づいて、荷物及び目印となる地物を検出する。
　図６は、学習済モデルに入力された画像Ｉ２において検出された物体を示す分類ラベル、及び分類確率の一例をバウンディングボックスごとに示す概念図である。図６の例では、バウンディングボックスＢ１内には荷物が示されており、かかる荷物に対応する分類確率として８９％が示されている。また、バウンディングボックスＢ２内には目印となる地物として建物が示されており、かかる建物に対応する分類確率として６３％が示されている。また、また、バウンディングボックスＢ３内には目印となる地物として植栽が示されており、かかる植栽に対応する分類確率として７６％が示されている。ここで、分類確率が基準確率（例えば、６０％）以下の地物は検出対象外としてもよい（つまり、目印となる地物として検出されない）。この場合、分類確率が基準確率以上の荷物及び目印となる地物が検出されるまでＵＡＶ１の位置と向きとの少なくとも何れか一方が制御されるとよい。
　また、撮像制御部１６３は、ＵＡＶ１の位置と向きとの少なくとも何れか一方を制御している間（つまり、カメラの画角に収まる範囲が変化している間）に、カメラにより連続的に撮像された画像ごとに当該画像におけるカラー値の変化率を算出し、当該変化率が基準変化率（第１閾値）以上になったタイミングで目印となる地物を検出してもよい。ここで、カラー値とは、例えば、画素を構成するR値、G値、及びB値のうち少なくとも何れか１つである。カラー値の変化率とは、単位時間におけるカラー値の変化の割合である。カラー値の変化率が基準変化率以上になったタイミングとは、例えば、カラー値の変化率が基準変化率以上になった時点からその所定時間（例えば、数秒）後までの間の何れかの時点である。当該変化率が基準変化率以上になったタイミングで目印となる地物が検出されるので、当該変化率が基準変化率未満である間、目印となる地物を検出するための処理は行われない。これにより、配送証明画像が保存されるまでのＣＰＵの処理負荷を低減できるとともにバッテリの消費電力を低減でき、さらに、配送証明画像が保存されるまでの時間を短縮することができる。
　図７は、撮像された画像Ｉ３,Ｉ４と、それぞれの画像におけるカラー値のヒストグラムＨ１,Ｈ２の一例を示す図である。図７において、左側は、荷物１０１が解放されたタイミングで撮像された画像Ｉ３と、画像Ｉ３におけるカラー値のヒストグラムＨ１とを示す。一方、図７において、右側は、荷物１０１の解放後ＵＡＶ１が上昇中にカラー値の変化率が基準変化率以上になったタイミングで撮像された画像Ｉ４と、画像Ｉ４におけるカラー値のヒストグラムＨ２とを示す。画像Ｉ３に表れる荷物１０１は、画像Ｉ４に表れる荷物１０１が拡大されたように視認できるものになっている。図７の例では、ＵＡＶ１が上昇中にカメラの画角に収まる範囲内に建物１０２及び植栽１０３（目印となる地物）が出現することで、G値及びB値の変化率が大きく（つまり、目印となる地物の出現前より大きく）なる。これにより、当該変化率が基準変化率を超え、荷物１０１とともに建物１０２及び植栽１０３が検出されることになる。
　また、撮像制御部１６３は、図７に示すように荷物１０１とともに建物１０２及び植栽１０３が検出されたタイミングでＵＡＶ１をホバリングさせてもよい。この場合、撮像制御部１６３は、ＵＡＶ１がホバリングしている間に撮像された荷物１０１、建物１０２及び植栽１０３を含む画像を配送証明画像として保存させる。また、撮像制御部１６３は、図７に示すように荷物１０１が解放されたタイミングで撮像された画像Ｉ３と、その後に荷物１０１とともに建物１０２及び植栽１０３が検出されたタイミングで撮像された画像Ｉ４とを配送証明画像として保存させてもよい。これにより、置き配された荷物１０１の受取人は、画像Ｉ３に表れる荷物１０１が小さいために視認し難い場合であっても、あたかも拡大されたように見える荷物１０１を画像Ｉ４から容易に視認することができる。また、荷物とともに地物が検出されたタイミングで撮像された画像を含む動画像が配送証明画像として保存されてもよい。この場合、例えば、荷物とともに地物が検出されたタイミングの所定時間（例えば、数秒～数十秒）前から当該タイミングの所定時間（例えば、数秒～数十秒）後までの間に含まれる複数の画像から構成される動画像（例えば、数十フレームレートの動画像）が配送証明画像として保存される。
　別の例として、撮像制御部１６３は、ＵＡＶ１の位置と向きとの少なくとも何れか一方を制御している間に、カメラにより連続的に撮像された画像ごとに当該画像におけるカラー値の変化率を算出し、少なくとも、当該変化率が基準変化率以上になったタイミングで撮像された画像を配送証明画像として保存させてもよい。つまり、カラー値の変化率が基準変化率以上になったタイミングで撮像された画像に目印となる地物が含まれているものとみなし、当該画像を配送証明画像として保存させる。この場合、目印となる地物を画像から検出する必要がないので、配送証明画像が保存されるまでのＣＰＵの処理負荷を低減できるとともにバッテリの消費電力を低減でき、さらに、配送証明画像が保存されるまでの時間を短縮することができる。この場合、撮像制御部１６３は、ＵＡＶ１が上昇または下降している間に連続的に撮像された画像におけるカラー値の変化率を算出し、当該変化率が基準変化率以上になったタイミングでＵＡＶ１をホバリングさせてもよい。そして、撮像制御部１６３は、ＵＡＶ１がホバリングしている間に撮像された画像を配送証明画像として保存させる。このとき、撮像制御部１６３は、カメラが備える露出計により測定された、ＵＡＶ１の周囲の明るさを示す情報を取得し、当該明るさに応じてＵＡＶ１が上昇または下降する速度を変化させてもよい。
　また、撮像制御部１６３は、上述したように撮像された画像の証明適正度を特定し、当該証明適正度が基準適正度（第２閾値）以上である場合に、当該撮像された画像を配送証明画像として保存させてもよい。これにより、配送証明画像の有用性（換言すると、価値）を高めることができる。ここで、証明適正度は、撮像された画像がどの程度、配送証明画像に適しているかどうかを定量的に示す値である。証明適正度は、配送先に特有の画像であればあるほど高くなる。証明適正度は、目印となる地物の種類、地物の数、及び複数の地物間の位置関係などから算出されるとよい。例えば、上記撮像された画像に含まれる地物が、過去に保存された多くの配送証明画像（つまり、異なる配送先に対応付けられた配送証明画像）において表れる頻度が低いほど、当該画像の証明適正度が高くなる。また、上記撮像された画像に含まれる地物の数が多いほど、当該画像の証明適正度が高くなる。また、上記撮像された画像に含まれる複数の地物間の位置関係が、過去に保存された多くの配送証明画像において表れる頻度が低いほど、当該画像の証明適正度が高くなる。
　なお、撮像制御部１６３は、記憶部１５に配送証明画像（第１の画像）が保存された後に撮像された画像（第２の画像）の証明適正度が、既に保存されている配送証明画像（第１の画像）の証明適正度より大きい場合、撮像制御部１６３は、既に保存されている配送証明画像を記憶部１５から消去し、当該第２の画像を新たな配送証明画像として保存（更新）させてもよい。これにより、より一層、配送証明画像の有用性を高めることができ、また、複数の配送証明画像を保存させるよりも記憶部１５のメモリ容量を抑えることができる。
　画像提供部１６４は、撮像制御部１６３の上記処理方法で保存された配送証明画像を、所定の提供方法により、荷物の受取人の端末（例えば、スマートフォン）に提供する。これにより、荷物の配送完了を受取人に視覚的に伝えることができる。例えば、画像提供部１６４は、保存された配送証明画像の所在（保存場所）を示すＵＲＬ（Uniform Resource Locator）が記述された電子メールを荷物の受取人のメールアドレス宛に送信する。これにより、受取人の端末は、当該ＵＲＬにアクセスすることで配送証明画像を取得して表示することができる。或いは、画像提供部１６４は、保存された配送証明画像へアクセスするためのＵＲＬが記述されたメッセージをＳＭＳ（Short Message Service）により荷物の受取人の電話番号宛に送信してもよい。或いは、荷物の受取人の端末において常住しているアプリケーションに対して、保存された配送証明画像をプッシュ配信してもよい。
［１－２．管理サーバ２の構成及び機能］
　次に、図８を参照して、管理サーバ２の構成及び機能について説明する。図８は、管理サーバ２の概要構成例を示す図である。図８に示すように、管理サーバ２は、通信部２１、記憶部２２、及び制御部２３等を備える。通信部２１は、通信ネットワークＮＷを介して行われる通信の制御を担う。ＵＡＶ１から送信された位置情報及び機体ＩＤは、通信部２１により受信される。管理サーバ２は、ＵＡＶ１の位置情報によりＵＡＶ１の現在位置を認識することができる。また、ＵＡＶ１から送信されたセンシング情報及び機体ＩＤは、通信部２１により受信される。記憶部２２は、例えば、ハードディスクドライブ等から構成され、各種プログラム及びデータを記憶する。記憶部２２には、上述した学習済モデルが記憶されてもよい。なお、記憶部２２は、配送証明画像を保存するための保存部として機能してもよい。
　また、記憶部２２には、配送管理データベース２２１等が構築される。配送管理データベース２２１は、荷物の配送に関する情報を管理するためのデータベースである。配送管理データベース２２１には、荷物情報、機体情報、配送先情報、配送スケジュール、及び受取人情報等が対応付けられて格納（登録）される。ここで、機体情報には、荷物を配送するＵＡＶ１に関する情報（例えば、機体ＩＤ等）が含まれる。なお、配送管理データベース２２１には、ＵＡＶ１により荷物が置き配された場合、当該荷物の配送証明画像の所在を示すＵＲＬが荷物情報に対応付けられて格納される。
　制御部２３は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備える。制御部２３は、ＵＡＶ１の現在位置を監視し、適宜、ＵＡＶ１へ制御指令を送信することでＵＡＶ１を制御する（制御装置の一例）。かかる制御には、ＵＡＶ１の飛行制御、荷物の解放制御、及び撮像制御のうち少なくとも何れか１つが含まれてもよい。ここで、撮像制御は、ＵＡＶ１からのセンシング情報に基づいて行われる。この処理方法はＵＡＶ１の撮像制御部１６３の処理方法と同様である。また、記憶部２２に配送証明画像が保存された場合、制御部２３は、当該配送証明画像を荷物の受取人の端末に提供してもよい。かかる提供方法は、ＵＡＶ１の画像提供部１６４の提供方法と同様である。
［２．配送システムＳの動作］
　次に、配送システムＳの動作について、実施例１～実施例４に分けて説明する。
（実施例１）
　先ず、図９を参照して、実施例１について説明する。図９は、実施例１においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。図９に示す処理は、例えば、荷物を積載するＵＡＶ１が配送先の上空に到着した場合に開始される。図９に示す処理が開始されると、制御部１６は、ＵＡＶ１をホバリングさせ、光センサからのセンシング情報に基づいて荷物の解放場所を特定する（ステップＳ１）。例えば、ＵＡＶ１が着陸状態で荷物を解放する場合、ＵＡＶ１の着陸に必要な２次元サイズ（例えば、縦ｙｍ×横ｘｍ）以上の広さで且つ平坦な（障害物がない）解放場所が特定されるとよい。一方、ＵＡＶ１がホバリング状態で荷物を解放する場合、荷物の２次元サイズ以上に広さで且つ平坦な解放場所が特定されるとよい。
　次いで、制御部１６は、ステップＳ１で特定された解放場所においてＵＡＶ１から荷物を解放させる解放制御を行う（ステップＳ２）。例えば、解放制御部１６２は、ＵＡＶ１を解放場所に着陸させた後、ＵＡＶ１の保持機構へ制御信号を出力することにより、保持部材から荷物を解放させる。或いは、解放制御部１６２は、ＵＡＶ１が解放場所の上空でホバリングしている状態において、ＵＡＶ１の保持機構へ制御信号を出力することにより、線状部材を送り出させ、降下した保持部材から荷物を解放させる。
　次いで、制御部１６は、カメラにより撮像された画像を取得し、ステップＳ１で特定された解放場所に置かれた荷物を含む周辺領域がカメラの画角に収まるようにＵＡＶ１の位置と向きとの少なくとも何れか一方を制御する（ステップＳ３）。例えば、ＵＡＶ１が解放場所に着陸している状態で荷物が解放された場合、撮像制御部１６３は、当該解放場所に置かれた荷物を含む周辺領域がカメラの画角に収まるようにＵＡＶ１を上昇させる。一方、ＵＡＶ１がホバリングしている状態で荷物が解放された場合、撮像制御部１６３は、当該解放場所に置かれた荷物を含む周辺領域がカメラの画角に収まるようにＵＡＶ１を下降させる。このような撮像制御において、荷物及び目印となる地物を検出する処理が開始される。なお、撮像制御部１６３は、ＵＡＶ１を上昇または下降させながら、ＵＡＶ１の向きを変化させてもよい。
　次いで、制御部１６は、カメラにより撮像された画像から、荷物とともに目印となる地物が検出されたか否かを判定する（ステップＳ４）。例えば、撮像制御部１６３は、撮像された画像を学習済モデルに入力し、当該学習済モデルから出力された推定結果情報に基づいて、荷物とともに目印となる地物が検出されたか否かを判定するとよい。この場合、推定結果情報に、荷物及び地物（１または複数の地物）それぞれに対応するバウンディングボックス、当該物体を示す分類ラベル、及び分類確率が含まれ、且つそれぞれの分類確率が基準確率以上である場合に、荷物とともに目印となる地物が検出されたと判定する。荷物とともに目印となる地物が検出されたと判定された場合（ステップＳ４：ＹＥＳ）、処理はステップＳ５へ進む。一方、荷物とともに目印となる地物が検出されていないと判定された場合（ステップＳ４：ＮＯ）、処理はステップＳ３に戻る。ステップＳ３に戻ると、制御部１６は、荷物を含む周辺領域をカメラの画角に収まらせながらＵＡＶ１の位置と向きとの少なくとも何れか一方を変化させる。このとき、撮像制御部１６３は、ＵＡＶ１を上昇または下降させながら、ＵＡＶ１の向きを変化させてもよい。
　なお、光センサからのセンシング情報がＵＡＶ１から管理サーバ２へ送信されてもよい。この場合、管理サーバ２は、センシング情報に含まれる画像を学習済モデルに入力し、当該学習済モデルから出力された推定結果情報をＵＡＶ１へ送信する。この場合、撮像制御部１６３は、管理サーバ２から受信された推定結果情報に基づいて、荷物とともに目印となる地物が検出されたか否かを判定する。或いは、管理サーバ２は、当該学習済モデルから出力された推定結果情報に基づいて、荷物とともに目印となる地物が検出されたか否かを判定し、その判定結果をＵＡＶ１へ送信してもよい。この場合、撮像制御部１６３は、管理サーバ２から受信された判定結果に基づいて、荷物とともに目印となる地物が検出されたか否かを判定する。
　ステップＳ５では、制御部１６は、荷物とともに目印となる地物が検出されたタイミングで撮像された画像を配送証明画像として記憶部１５に保存させる。なお、ステップＳ４において、撮像制御部１６３は、荷物とともに目印となる地物が検出されたと判定した場合、ＵＡＶ１をホバリングさせてもよい。この場合、撮像制御部１６３は、ＵＡＶ１がホバリングしている間に撮像された画像を配送証明画像として記憶部１５に保存させる。また、撮像制御部１６３は、荷物が解放されたタイミングで撮像された画像と、その後に荷物とともに地物が検出されたタイミングで撮像された画像とを配送証明画像として保存させてもよい。或いは、撮像制御部１６３は、荷物が解放されたタイミングから、当該荷物とともに地物が検出されたタイミングの所定時間（例えば、数秒～数十秒）後までの間に含まれる複数の画像から構成される動画像を配送証明画像として記憶部１５に保存させてもよい。
　次いで、制御部１６は、ステップＳ５で保存された配送証明画像を荷物の受取人の端末に画像提供部１６４により提供する（ステップＳ６）。例えば、保存された配送証明画像の所在を示すＵＲＬが生成され、当該ＵＲＬが記述された電子メールが荷物の受取人のメールアドレス宛に送信される。配送証明画像が荷物の受取人の端末に提供された後、ＵＡＶ１は配送拠点に帰還するか、次の配送先へ移動する。なお、画像提供部１６４は、ステップＳ５で保存された配送証明画像を含む保存要求を管理サーバ２へ送信することで配送証明画像を管理サーバ２の記憶部２２に保存させてもよい。この場合、管理サーバ２は、記憶部２２に保存された配送証明画像を荷物の受取人の端末に画像提供部１６４により提供する。
（実施例２）
　次に、図１０を参照して、実施例２について説明する。図１０は、実施例２においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。なお、図１０に示すステップＳ１１～Ｓ１３の処理は、図９に示すステップＳ１～Ｓ３の処理と同様である。
　ステップＳ１４では、制御部１６は、カメラにより撮像された画像におけるカラー値の変化率を算出する。例えば、単位時間前（換言すると、数フレーム前）に撮像された画像からカラー値の変化率が算出される。次いで、制御部１６は、ステップＳ１４で算出された変化率が基準変化率以上になったか否かを判定する（ステップＳ１５）。カラー値の変化率が基準変化率以上になったと判定された場合（ステップＳ１５：ＹＥＳ）、処理はステップＳ１６へ進む。一方、カラー値の変化率が基準変化率以上になっていないと判定された場合（ステップＳ１５：ＮＯ）、処理はステップＳ１３に戻る。ステップＳ１３に戻ったときの処理は、ステップＳ３に戻ったときの処理と同様である。
　ステップＳ１６では、制御部１６は、カラー値の変化率が基準変化率以上になったタイミングで撮像された画像を配送証明画像として記憶部１５に保存させる。なお、ステップＳ１５において、撮像制御部１６３は、カラー値の変化率が基準変化率以上になったと判定した場合、ＵＡＶ１をホバリングさせてもよい。この場合、撮像制御部１６３は、ＵＡＶ１がホバリングしている間に撮像された画像を配送証明画像として記憶部１５に保存させる。なお、図１０に示すステップＳ１７の処理は、図９に示すステップＳ６の処理と同様である。
（実施例３）
　次に、図１１を参照して、実施例３について説明する。図１１は、実施例３においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。なお、図１１に示すステップＳ２１～Ｓ２３の処理は、図９に示すステップＳ１～Ｓ３の処理と同様である。
　ステップＳ２４では、ステップＳ１４と同様、制御部１６は、カメラにより撮像された画像におけるカラー値の変化率を算出する。次いで、ステップＳ１５と同様、制御部１６は、ステップＳ２４で算出された変化率が基準変化率以上になったか否かを判定する（ステップＳ２５）。カラー値の変化率が基準変化率以上になったと判定された場合（ステップＳ２５：ＹＥＳ）、処理はステップＳ２６へ進む。一方、カラー値の変化率が基準変化率以上になっていないと判定された場合（ステップＳ２５：ＮＯ）、処理はステップＳ２３に戻る。ステップＳ２３に戻ったときの処理は、ステップＳ３に戻ったときの処理と同様である。
　ステップＳ２６では、制御部１６は、カラー値の変化率が基準変化率以上になったタイミングで撮像された画像から、荷物とともに目印となる地物が検出されたか否かを撮像制御部１６３により判定する。荷物とともに目印となる地物が検出されたと判定された場合（ステップＳ２６：ＹＥＳ）、処理はステップＳ２７へ進む。なお、図１１に示すステップＳ２７及びＳ２８の処理は、図９に示すステップＳ５及びＳ６の処理と同様である。一方、荷物とともに目印となる地物が検出されていないと判定された場合（ステップＳ２６：ＮＯ）、処理はステップＳ２３に戻る。ステップＳ２３に戻ったときの処理は、ステップＳ３に戻ったときの処理と同様である。
（実施例４）
　次に、図１２を参照して、実施例４について説明する。図１２は、実施例４においてＵＡＶ１の制御部１６により実行される処理の一例を示すフローチャートである。なお、図１２に示すステップＳ３１及びＳ３２の処理は、図９に示すステップＳ１及びＳ２の処理と同様である。図１２に示すステップＳ３３の撮像制御処理では、図９に示すステップＳ３及びＳ４の処理、図１０に示すステップＳ１３～Ｓ１５の処理、または、図１１に示すステップＳ２３～Ｓ２６の処理が行われる。
　ステップＳ３４では、制御部１６は、荷物とともに目印となる地物が検出されたタイミング、またはカラー値の変化率が基準変化率以上になったタイミングで撮像された画像の証明適正度を撮像制御部１６３により特定する。次いで、制御部１６は、ステップＳ３４で特定された証明適正度が基準適正度以上であるか否かを撮像制御部１６３により判定する（ステップＳ３５）。証明適正度が基準適正度以上であると判定された場合（ステップＳ３５：ＹＥＳ）、処理はステップＳ３６へ進む。一方、証明適正度が基準適正度以上でないと判定された場合（ステップＳ３５：ＮＯ）、処理はステップＳ４０へ進む。
　ステップＳ３６では、制御部１６は、配送証明画像及びその証明適正度が記憶部１５に保存されているか否かを判定する。配送証明画像及びその証明適正度が記憶部１５に保存されていないと判定された場合（ステップＳ３６：ＮＯ）、制御部１６は、上記タイミングで撮像された画像を配送証明画像として記憶部１５に保存させる（ステップＳ３７）。一方、配送証明画像及びその証明適正度が記憶部１５に既に保存されていると判定された場合（ステップＳ３６：ＹＥＳ）、処理はステップＳ３８へ進む。
　ステップＳ３８では、制御部１６は、上記タイミングで今回撮像された画像（第２の画像）の証明適正度が、既に保存されている配送証明画像（第１の画像）の証明適正度より大きいか否かを撮像制御部１６３により判定する。上記タイミングで撮像された画像の証明適正度が、既に保存されている配送証明画像の証明適正度より大きいと判定された場合（ステップＳ３８：ＹＥＳ）、処理はステップＳ３９へ進む。一方、上記タイミングで撮像された画像の証明適正度が、既に保存されている配送証明画像の証明適正度より大きくないと判定された場合（ステップＳ３８：ＮＯ）、処理はステップＳ４０へ進む。
　ステップＳ３９では、制御部１６は、既に保存されている配送証明画像を記憶部１５から消去し、上記タイミングで撮像された画像を配送証明画像として新たに保存させる。これにより配送証明画像が更新される。このとき、新たに保存された配送証明画像の証明適正度が配送証明画像に対応付けられて記憶部１５に保存され、処理はステップＳ４０へ進む。
　ステップＳ４０では、制御部１６は、荷物の解放から所定時間が経過したか否かを判定する。荷物の解放から所定時間が経過していないと判定された場合（ステップＳ４０：ＮＯ）、処理はステップＳ３３に戻る。このとき、制御部１６は、基準適正度を低下させてもよい。一方、荷物の解放から所定時間が経過したと判定された場合（ステップＳ４０：ＹＥＳ）、処理はステップＳ４１へ進む。
　ステップＳ４１では、制御部１６は、最終的に保存された配送証明画像を荷物の受取人の端末に画像提供部１６４により画像提供部１６４により提供する。なお、画像提供部１６４は、最終的に保存された配送証明画像及びその証明適正度を含む保存要求を管理サーバ２へ送信してもよい。これにより、管理サーバ２は、当該保存要求に応じて、配送証明画像及びその証明適正度を記憶部２２に保存させる。
　以上説明したように、上記実施形態によれば、ＵＡＶ１により解放場所に置かれた荷物と当該荷物の周辺領域とがカメラの画角に収まるようにＵＡＶ１の位置と向きとの少なくとも何れか一方を制御し、当該カメラにより撮像された荷物を含む周辺領域の画像を配送証明画像として保存させるように構成したので、配達者を必要としないＵＡＶ１が置き配を行う場合であっても、荷物の配送完了を証明するための適切な画像を保存することができる。また、解放場所に置かれた荷物とともに目印となる地物を検出し、荷物とともに地物が検出されたタイミングで撮像された画像を配送証明画像として保存させる構成によれば、当該荷物の配送先に特有の配送証明画像が保存させることができる。これにより、例えば受取人宅の広い敷地内に荷物が置かれる場合であっても、荷物の受取人にその位置を容易に判断させることができる。
　なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態において、管理サーバ２の制御部２３は、カメラにより撮像された画像を含むセンシング情報をＵＡＶ１から逐次受信し、当該撮像された画像に基づいてＵＡＶ１の撮像制御を行うように構成してもよい。この場合、管理サーバ２の制御部２３は、当該撮像された画像に基づいて荷物を含む周辺領域が画角に収まるようにＵＡＶ１の位置と向きとの少なくとも何れか一方を制御するための制御指令をＵＡＶ１へ送信する。そして、管理サーバ２の制御部２３は、ＵＡＶ１のカメラにより撮像された荷物を含む周辺領域の画像を配送証明画像として記憶部２２に保存させ、当該保存された配送証明画像を荷物の受取人の端末に提供する。
　この場合において、管理サーバ２の制御部２３は、当該荷物とともに目印となる地物を検出し、荷物とともに地物が検出されたタイミングで撮像された画像を配送証明画像として記憶部２２に保存させてもよい。また、管理サーバ２の制御部２３は、ＵＡＶ１のカメラにより連続的に撮像された画像ごとに当該画像におけるカラー値の変化率を算出し、当該変化率が基準変化率以上になったタイミングで目印となる地物を検出してもよい。さらに、管理サーバ２の制御部２３は、撮像された画像の証明適正度を特定し、当該証明適正度が基準適正度以上である場合に、当該撮像された画像を配送証明画像として保存させてもよい。
　また、上記実施形態においては、無人機としてＵＡＶを例にとって説明したが、飛行ロボットなどに対しても本発明は適用可能である。また、上記実施形態は、荷物を積載し、無人で地上を自律的に走行することが可能なＵＧＶ（Unmanned Ground Vehicle）に対しても適用可能である（ただし、ホバリングさせることを除く）。かかるＵＧＶは、複数の車輪を有するものであってもよいし、車輪を有しないロボット（例えば、２足歩行ロボット）等であってもよい。例えば、ＵＧＶは、配送先の近傍に到着した場合に、荷物の解放場所を特定し、当該解放場所においてＵＧＶの搬出機構を通じて荷物を解放（搬出）させる。そして、ＵＧＶは、解放場所に置かれた荷物と当該荷物の周辺領域とがＵＧＶのカメラの画角に収まるようにＵＧＶの位置と向きとの少なくとも何れか一方を制御し、当該カメラにより撮像された荷物を含む周辺領域の画像を配送証明画像として保存部に保存させる。また、無人機の向きを制御することに代えて、或いは、無人機の向きを制御するとともに、無人機に搭載されたカメラの向きを制御することで、荷物と当該荷物の周辺領域とが画角に収まるようにしてもよく、この場合も本発明の技術的範囲に含まれる。
１　ＵＡＶ
２　管理サーバ
１１　駆動部
１２　測位部
１３　通信部
１４　センサ部
１５　記憶部
１６　制御部
１６１　飛行制御部
１６２　解放制御部
１６３　撮像制御部
１６４　画像提供部
２１　通信部
２２　記憶部
２３　制御部
Ｓ　配送システム

Claims (17)

  1. 　荷物を配送する無人機であって、
    　画角に収まる範囲を撮像するカメラと、
    　前記無人機から前記荷物を解放させる第１制御部と、
    　前記第１制御部により解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させる第２制御部と、
    　を備えることを特徴とする無人機。
  2. 　前記第２制御部は、前記範囲において前記解放場所に置かれた前記荷物とともに目印となる地物を検出し、少なくとも、前記荷物とともに前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項１に記載の無人機。
  3. 　前記第２制御部は、前記荷物とともに異なる位置にある複数の前記地物を検出し、少なくとも、前記荷物とともに複数の前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項２に記載の無人機。
  4. 　前記第２制御部は、前記カメラにより連続的に撮像された前記画像ごとに当該画像におけるカラー値の変化率を算出し、当該変化率が第１閾値以上になったタイミングで前記地物を検出することを特徴とする請求項２または３に記載の無人機。
  5. 　前記無人機は、無人で飛行可能な無人飛行体であり、
    　前記第２制御部は、前記荷物が解放された後、前記無人機を上昇または下降させ、前記無人機が上昇または下降している間に前記荷物とともに前記地物を検出することを特徴とする請求項２または３に記載の無人機。
  6. 　前記第２制御部は、前記荷物とともに前記地物が検出されたタイミングで前記無人機をホバリングさせ、前記無人機がホバリングしている間に撮像された前記荷物及び前記地物を含む前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項５に記載の無人機。
  7. 　前記第２制御部は、前記カメラが備える露出計により測定された、前記無人機の周囲の明るさを示す情報を取得し、当該明るさに応じて前記無人機が上昇または下降する速度を変化させることを特徴とする請求項５に記載の無人機。
  8. 　前記第２制御部は、前記カメラにより連続的に撮像された前記画像ごとに当該画像におけるカラー値の変化率を算出し、少なくとも、当該変化率が第１閾値以上になったタイミングで撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項１に記載の無人機。
  9. 　前記無人機は、無人で飛行可能な無人飛行体であり、
    　前記第２制御部は、前記荷物が解放された後、前記無人機を上昇または下降させ、前記無人機が上昇または下降している間に前記画像におけるカラー値の変化率を算出することを特徴とする請求項８に記載の無人機。
  10. 　前記第２制御部は、前記変化率が第１閾値以上になったタイミングで前記無人機をホバリングさせ、前記無人機がホバリングしている間に撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項９に記載の無人機。
  11. 　前記第２制御部は、前記カメラが備える露出計により測定された、前記無人機の周囲の明るさを示す情報を取得し、当該明るさに応じて前記無人機が上昇または下降する速度を変化させることを特徴とする請求項９または１０に記載の無人機。
  12. 　前記第２制御部は、前記荷物が解放されたタイミングで撮像された前記荷物及び前記周辺領域の画像と、その後に前記荷物とともに前記地物が検出されたタイミングで撮像された前記荷物及び前記地物を含む前記周辺領域の画像とを前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項１乃至３、８乃至１０の何れか一項に記載の無人機。
  13. 　前記第２制御部は、前記撮像された前記画像の証明適正度を特定し、当該証明適正度が第２閾値以上である場合に、前記撮像された前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項１乃至３、８乃至１０の何れか一項に記載の無人機。
  14. 　前記保存部に第１の前記画像が保存された後に撮像された第２の前記画像の証明適正度が前記第１の前記画像の証明適正度より大きい場合に、前記第２制御部は、前記第１の前記画像を前記保存部から消去し、前記第２の前記画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする請求項１３に記載の無人機。
  15. 　前記保存部に保存された前記画像を前記荷物の受取人の端末に提供する画像提供部を更に備えることを特徴とする請求項１乃至３、８乃至１０の何れか一項に記載の無人機。
  16. 　画角に収まる範囲を撮像するカメラを搭載する無人機により荷物を配送する配送システムであって、
    　前記無人機から解放されることにより解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させる制御部を備えることを特徴とする配送システム。
  17. 　画角に収まる範囲を撮像するカメラを搭載し荷物を配送する無人機の制御装置であって、
    　前記無人機から解放されることにより解放場所に置かれた前記荷物と当該荷物の周辺領域とが前記画角に収まるように前記無人機の位置と向きとの少なくとも何れか一方を制御し、前記カメラにより撮像された前記荷物及び前記周辺領域の画像を前記荷物の配送完了を証明する画像として保存部に保存させることを特徴とする制御装置。
PCT/JP2022/018726 2022-04-25 2022-04-25 無人機及び配送システム WO2023209772A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2022/018726 WO2023209772A1 (ja) 2022-04-25 2022-04-25 無人機及び配送システム
EP22902466.6A EP4289730A4 (en) 2022-04-25 2022-04-25 UNMANNED AIRCRAFT AND DISTRIBUTION SYSTEM
CN202280008215.0A CN117320960A (zh) 2022-04-25 2022-04-25 无人机及配送系统
JP2023514902A JP7307867B1 (ja) 2022-04-25 2022-04-25 無人機及び配送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018726 WO2023209772A1 (ja) 2022-04-25 2022-04-25 無人機及び配送システム

Publications (1)

Publication Number Publication Date
WO2023209772A1 true WO2023209772A1 (ja) 2023-11-02

Family

ID=87072627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018726 WO2023209772A1 (ja) 2022-04-25 2022-04-25 無人機及び配送システム

Country Status (4)

Country Link
EP (1) EP4289730A4 (ja)
JP (1) JP7307867B1 (ja)
CN (1) CN117320960A (ja)
WO (1) WO2023209772A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016088675A (ja) * 2014-11-04 2016-05-23 ドーンコーラス合同会社 無人飛行体による配送方法
JP2017058937A (ja) * 2015-09-16 2017-03-23 株式会社デンソーウェーブ 飛行配送システム
JP2019016157A (ja) 2017-07-06 2019-01-31 アスクル株式会社 配達管理システム、配達管理装置、配達管理方法および配達管理プログラム
US20190041852A1 (en) * 2017-08-02 2019-02-07 X Development Llc Model for Determining Drop-off Spot at Delivery Location
JP2021096865A (ja) * 2018-09-28 2021-06-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074542B2 (en) * 2018-09-27 2021-07-27 Intel Corporation Automated delivery device and method for delivering a package
WO2021119564A1 (en) * 2019-12-13 2021-06-17 Skygrid, Llc Confirmation of successful delivery by an unmanned aerial vehicle (uav)
EP3886012A1 (en) * 2020-03-27 2021-09-29 Sony Group Corporation Improved utilization of a fleet of unmanned aerial vehicles for delivery of goods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016088675A (ja) * 2014-11-04 2016-05-23 ドーンコーラス合同会社 無人飛行体による配送方法
JP2017058937A (ja) * 2015-09-16 2017-03-23 株式会社デンソーウェーブ 飛行配送システム
JP2019016157A (ja) 2017-07-06 2019-01-31 アスクル株式会社 配達管理システム、配達管理装置、配達管理方法および配達管理プログラム
US20190041852A1 (en) * 2017-08-02 2019-02-07 X Development Llc Model for Determining Drop-off Spot at Delivery Location
JP2021096865A (ja) * 2018-09-28 2021-06-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4289730A4

Also Published As

Publication number Publication date
EP4289730A1 (en) 2023-12-13
CN117320960A (zh) 2023-12-29
JPWO2023209772A1 (ja) 2023-11-02
JP7307867B1 (ja) 2023-07-12
EP4289730A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
EP3662335B1 (en) Model for determining drop-off spot at delivery location
US20200207474A1 (en) Unmanned aerial vehicle and payload delivery system
CN111506109B (zh) 传感器数据的选择性处理
US11656633B2 (en) Determining method of article transfer place, determining method of landing place, article transfer system, and information processing device
JP2019513653A (ja) 具体的に意図された対象と相互作用する無人航空機システム及び方法
US10997544B1 (en) Delivery location identifiers
JP6712682B1 (ja) 配置場所の決定方法、輸送システム、及び情報処理装置
US20210209543A1 (en) Directing secondary delivery vehicles using primary delivery vehicles
US11816999B2 (en) Unmanned aerial vehicle control system, unmanned aerial vehicle control method, and program
WO2020166350A1 (ja) 無人航空機、通信方法、およびプログラム
JP7280174B2 (ja) 制御方法、及び物品受け渡しシステム
KR20200050487A (ko) Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법
CN108364159A (zh) 一种无人机物流面签装置和方法
WO2023209772A1 (ja) 無人機及び配送システム
US20230122535A1 (en) Processes for Generating and Updating Flyable Airspace for Unmanned Aerial Vehicles
JP6637209B1 (ja) 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置
WO2023162486A1 (ja) 配送用ドローンおよび配送方法
US20240124137A1 (en) Obstacle avoidance for aircraft from shadow analysis
US20230260410A1 (en) Information processing device, landing suitability determining method, and non-transitory computer readable memory
CN208044659U (zh) 一种无人机物流面签装置
JP2023123993A (ja) 配送用ドローン
JP2023123994A (ja) 配送用ドローン

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023514902

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280008215.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022902466

Country of ref document: EP

Effective date: 20230613

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22902466

Country of ref document: EP

Kind code of ref document: A1