WO2023276454A1 - 制御装置、基地局、制御方法、及びプログラム - Google Patents

制御装置、基地局、制御方法、及びプログラム Download PDF

Info

Publication number
WO2023276454A1
WO2023276454A1 PCT/JP2022/019851 JP2022019851W WO2023276454A1 WO 2023276454 A1 WO2023276454 A1 WO 2023276454A1 JP 2022019851 W JP2022019851 W JP 2022019851W WO 2023276454 A1 WO2023276454 A1 WO 2023276454A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
flying object
distance
ranging
flight
Prior art date
Application number
PCT/JP2022/019851
Other languages
English (en)
French (fr)
Inventor
哲 和田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023531486A priority Critical patent/JPWO2023276454A1/ja
Publication of WO2023276454A1 publication Critical patent/WO2023276454A1/ja
Priority to US18/534,713 priority patent/US20240111311A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/80Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/89Specific applications of the controlled vehicles for information gathering, e.g. for academic research for inspecting structures, e.g. wind mills, bridges, buildings or vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • G05D2109/25Rotorcrafts
    • G05D2109/254Flying platforms, e.g. multicopters

Definitions

  • the technology of the present disclosure relates to control devices, base stations, control methods, and programs.
  • Japanese Patent Application Laid-Open No. 2017-151008 discloses that a retroreflector of a flying object equipped with a retroreflector is irradiated with tracking light, the tracking light is received, and optical tracking for tracking the flying object based on the light reception result, and flight an image of the body is obtained, the flying object is detected from the image, and the flying object is tracked based on the detection result; There is disclosed a flying object tracking method for returning to optical tracking based on the detection result of image tracking when tracking becomes impossible.
  • Japanese Patent Application Laid-Open No. 2014-104797 describes a moving mechanism that moves on the floor and enters the building, a camera provided in the moving mechanism, a pan-tilt mechanism of the camera, a flying object that can be mounted on the moving mechanism, A luminous body provided on the flying body, a pan-tilt control means for controlling the pan-tilt mechanism so that the camera tracks the luminous body, a display means for displaying an image taken by the camera, and an operating means for operating at least the flying body. and an in-building investigation system is disclosed.
  • Japanese Unexamined Patent Application Publication No. 2018-173960 discloses an information processing system that performs flight control of an unmanned airplane, and when the unmanned airplane is flying in a position that is photographed by a network camera, it is possible to fly in a position that is not photographed by the network camera.
  • An information processing system is disclosed comprising control means for controlling the flight of an unmanned aerial vehicle to do so.
  • Japanese Patent Application Laid-Open No. 2018-070013 discloses an unmanned aircraft control system in which an unmanned aircraft connected to a base station by a cable and an information processing device are connected via a network. and cable adjustment means for controlling the length of the cable to be shorter than the width of the base station when the length of the cable is determined to be longer than the width of the base station by the comparison means.
  • An unmanned aerial vehicle control system is disclosed.
  • a moving body identification system for identifying a moving body, in which first position information of a plurality of moving bodies detected by a moving state monitoring device that monitors the moving state of the moving body is obtaining movement state information including the moving state information, obtaining predetermined report information including second position information of the mobile body measured by the mobile body, based on the first position information and the second position information, A mobile identification system is disclosed for identifying the registration status of a mobile.
  • the object is imaged by a first imaging device mounted on a flying object that flies along the object.
  • a control device for example, a control device, a base station, a control method, and a program capable of maintaining a constant resolution of an image obtained by the above.
  • a first aspect of the technology of the present disclosure includes a processor and a memory connected to or built into the processor, wherein the processor rotates the range finder with respect to a rotary drive device to which the range finder is attached. causing the ranging device to measure a first distance between the object and the ranging device at a plurality of ranging points on the object; based on the first distance measured for each ranging point, setting a flight route along which the flying object flies along the object, causing the flying object to fly along the flight route, and capturing a plurality of subjects of the object with respect to a first imaging device mounted on the flying object; The control device performs control to keep the pixel resolution of the first imaging device constant when acquiring a plurality of first images by imaging an imaging region.
  • a second aspect of the technology of the present disclosure is the control device according to the first aspect, wherein the processor sets the rotation angle of the rotary drive device to a second rotation angle at which the flying object is included in the ranging range of the ranging device. and causing the rangefinder to measure a second distance between the aircraft and the rangefinder, and flying the flight route to the aircraft based on the second rotation angle and the second distance It is a control device that controls the
  • a third aspect of the technology of the present disclosure is the control device according to the second aspect, wherein the ranging device includes a LiDAR scanner, the second distance is a distance between the flying object and the LiDAR scanner, The processor derives a second absolute coordinate of the flying object based on the first absolute coordinate of the rotary drive device, the second rotation angle, the angle of the laser beam irradiated from the LiDAR scanner toward the flying object, and the second distance. and controls the aircraft to fly a flight route based on the second absolute coordinates.
  • a fourth aspect of the technology of the present disclosure is the control device according to the second aspect or the third aspect, wherein the rotary drive device is attached with a second imaging device, and the processor comprises the second imaging device is a control device that performs control to adjust the rotation angle of the rotary drive device to a second rotation angle based on a second image obtained by capturing an image of the flying object by.
  • a fifth aspect of the technology of the present disclosure is the control device according to the fourth aspect, wherein the second rotation angle is an angle at which the flying object is positioned at the center of the angle of view of the second imaging device. be.
  • a sixth aspect of the technology of the present disclosure is the control device according to the fourth aspect or the fifth aspect, wherein the aircraft includes a plurality of members classified in different manners, and the processor converts the second image to A control device for controlling the attitude of an aircraft based on the positions of a plurality of photographed members.
  • a seventh aspect according to the technology of the present disclosure is the control device according to the sixth aspect, wherein the different aspects are different colors and the member is a propeller.
  • An eighth aspect of the technology of the present disclosure is the control device according to the sixth aspect, wherein the different aspects are different colors and the member is a light emitter.
  • a ninth aspect of the technology of the present disclosure is the control device according to the sixth aspect, wherein the different aspect is a different blinking pattern, and the member is a light emitter.
  • a tenth aspect of the technology of the present disclosure is the control device according to any one of the first to ninth aspects, wherein the plurality of first images is a plurality of images in which the flying object is set on the flight route. is an image acquired each time it reaches each of the first imaging positions of .
  • An eleventh aspect of the technology of the present disclosure is the control device according to the tenth aspect, wherein the plurality of first imaging positions are first imaging positions acquired at adjacent first imaging positions among the plurality of first imaging positions. A control device where the images partially overlap.
  • a twelfth aspect of the technology of the present disclosure is the control device according to any one of the first to eleventh aspects, wherein the surface of the object has a concave portion, and
  • the processor is a controller that sets a flight route on a smooth virtual surface facing the surface when the area of the opening of the recess is smaller than the predetermined area.
  • a thirteenth aspect of the technology of the present disclosure is the control device according to the twelfth aspect, wherein the processor, when the flying object flies over the concave portion, selects one of the zoom lens and the focus lens of the first imaging device. It is a control device that performs control to keep the pixel resolution constant by operating at least one of them.
  • a fourteenth aspect of the technology of the present disclosure is the control device according to any one of the first to thirteenth aspects, wherein the processor is attached with a first rangefinder as a rangefinder.
  • a first distance measuring device is rotated with respect to a first rotation driving device as a rotation driving device, and a first distance is obtained at a plurality of first distance measuring locations among a plurality of distance measuring locations with respect to the first ranging device.
  • the second range finder is rotated with respect to the second rotary drive device as the rotary drive device to which the second range finder as the range finder is attached, and with respect to the second range finder, A first distance is measured at a plurality of second ranging points among the plurality of ranging points, and the first distance is measured at each first ranging point and the first distance is measured at each second ranging point.
  • a fifteenth aspect of the technology of the present disclosure is the control device according to the fourteenth aspect, wherein the processor measures the first distance measured by the second rangefinder based on predetermined first calibration information, A control device for converting a distance based on the position of the first rangefinder.
  • a sixteenth aspect of the technology of the present disclosure is the control device according to the fourteenth aspect or the fifteenth aspect, wherein the processor, based on predetermined second calibration information, measures A control device that converts the position of the flying object into a position based on the position of the first rangefinder.
  • a seventeenth aspect of the technology of the present disclosure is the control device according to any one of the fourteenth to sixteenth aspects, wherein the processor, in accordance with the position of the flying object, A control device for selecting a rangefinder for measuring the position of an aircraft from among the second rangefinders.
  • An eighteenth aspect of the technology of the present disclosure is the control device according to any one of the fourteenth to seventeenth aspects, wherein the processor comprises: When a flight route is set based on a point located outside the second ranging area of the ranging device, the distance between the point and the first ranging device is calculated from the position of the point with respect to the first ranging device. and a control device for deriving based on the angle of the direction and the distance between the first rangefinder and the second rangefinder.
  • a nineteenth aspect of the technology of the present disclosure is the control device according to the eighteenth aspect, wherein when the flying object is positioned outside the first ranging area and the second ranging area, the processor Control for deriving the distance between the first rangefinder based on the angle of the direction in which the aircraft is positioned with respect to the first rangefinder and the distance between the first rangefinder and the second rangefinder It is a device.
  • a twentieth aspect of the technology of the present disclosure is the control device according to any one of the first to nineteenth aspects, wherein the flying object includes a third imaging device, Based on the third image obtained by imaging the object with the third imaging device when the flying object that has moved from the set second imaging position reaches the third imaging position set on the flight route A position correction process for correcting the position of the flying object is performed, and the position correcting process causes the third imaging device to pick up an image of the object when the flying object reaches the second imaging position, thereby obtaining a fourth image.
  • the fourth image and the third image are acquired. This is processing for correcting the position of the flying object to a position where the amount of overlap between the fourth image and the fifth image becomes the predetermined amount of overlap based on the overlap amount of .
  • a twenty-first aspect of the technology of the present disclosure is a base station including a control device according to any one of the first to twentieth aspects, a rotary drive device, and a distance measuring device.
  • a twenty-second aspect of the technology of the present disclosure is to rotate the distance measuring device with respect to a rotary drive device to which the distance measuring device is attached, and rotate the distance measuring device with respect to a plurality of distance measuring points of the object.
  • measuring a first distance between the object and the rangefinder setting a flight route for the aircraft to fly along the object based on the first distance measured at each range-finding location; and acquiring a plurality of first images by causing the aircraft to fly along a flight route and causing a first image pickup device mounted on the aircraft to image a plurality of areas to be imaged of the object.
  • the control method includes performing control to keep the pixel resolution of the first imaging device constant when the first imaging device is to be set.
  • a twenty-third aspect of the technology of the present disclosure is to rotate the distance measuring device with respect to the rotation drive device to which the distance measuring device is attached, measuring a first distance between the object and the rangefinder; setting a flight route for the aircraft to fly along the object based on the first distance measured at each range-finding location; and acquiring a plurality of first images by causing the aircraft to fly along a flight route and causing a first image pickup device mounted on the aircraft to image a plurality of areas to be imaged of the object.
  • a program for causing a computer to execute processing including performing control to keep the pixel resolution of the first imaging device constant when the image is to be captured.
  • FIG. 1 is a side view showing an example of an inspection system according to a first embodiment of technology of the present disclosure
  • FIG. 1 is a plan view showing an example of an inspection system according to a first embodiment of technology of the present disclosure
  • FIG. 1 is a plan view showing an example of an aircraft according to a first embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of a base station according to a first embodiment of technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of a base station rotary drive device according to a first embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an imaging device of a base station according to the first embodiment of the technique of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of a distance measuring device of a base station according to the first embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an aircraft according to a first embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an imaging device for a flying object according to a first embodiment of the technology of the present disclosure
  • FIG. FIG. 4 is a block diagram showing an example of a functional configuration of a processor of the base station according to the first embodiment of the technology of the present disclosure
  • It is a block diagram showing an example of functional composition of a flight route setting processing part concerning a 1st embodiment of art of this indication.
  • FIG. 1 is a block diagram showing an example of an electrical configuration of a distance measuring device of a base station according to the first embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an aircraft according to a first embodiment of the technology
  • FIG. 3 is a block diagram showing an example of a functional configuration of a flight control processing unit according to the first embodiment of the technology of the present disclosure
  • 2 is a block diagram showing an example of a functional configuration of an imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 3 is a block diagram showing an example of a functional configuration of a processor of the aircraft according to the first embodiment of the technology of the present disclosure
  • FIG. 5 is an explanatory diagram illustrating an example of the first operation of the flight route setting processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 5 is an explanatory diagram illustrating an example of a second operation of the flight route setting processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a third operation of the flight route setting processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a fourth operation of the flight route setting processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a fifth operation of the flight route setting processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 4 is an explanatory diagram illustrating an example of a first operation of the flight control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 5 is an explanatory diagram illustrating an example of a second operation of the flight control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a third operation of the flight control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 5 is an explanatory diagram illustrating an example of a first operation of the imaging control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 7 is an explanatory diagram illustrating an example of a second operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 7 is an explanatory diagram illustrating an example of a third operation of the imaging control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a fourth operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 5 is an explanatory diagram illustrating an example of a first operation of the imaging control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 7 is an explanatory diagram illustrating an example of a second operation of the imaging control processing unit according to
  • FIG. 11 is an explanatory diagram illustrating an example of a fifth operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of a sixth operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of a seventh operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of an eighth operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 20 is an explanatory diagram illustrating an example of a ninth operation of the imaging control processing unit according to the first embodiment of the technology of the present disclosure
  • FIG. 20 is an explanatory diagram illustrating an example of a tenth operation of the imaging control processing unit according to the first embodiment of the technique of the present disclosure
  • FIG. 20 is an explanatory diagram illustrating an example of an eleventh operation of the imaging control processing unit according to the first embodiment of the technology of the present disclosure
  • 6 is a flow chart showing an example of the flow of the first process of the flight imaging support process according to the first embodiment of the technology of the present disclosure
  • 7 is a flowchart showing an example of the flow of second processing of flight imaging support processing according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is a flowchart showing an example of the flow of third processing of flight imaging support processing according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is a flowchart showing an example of a flow of fourth processing of flight imaging support processing according to the first embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flowchart showing an example of the flow of a fifth process of the flight imaging support process according to the first embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flow chart showing an example of the flow of sixth processing of flight imaging support processing according to the first embodiment of the technology of the present disclosure
  • FIG. 4 is a flow chart showing an example of the flow of the first processing of flight imaging processing according to the first embodiment of the technology of the present disclosure
  • 7 is a flowchart showing an example of the flow of second processing of flight imaging processing according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is a flowchart showing an example of the flow of third processing of flight imaging processing according to the first embodiment of the technology of the present disclosure
  • FIG. FIG. 4 is a plan view showing a modified example of the flying object according to the first embodiment of the technology of the present disclosure
  • FIG. 11 is a plan view showing an example of an inspection system according to a second embodiment of the technology of the present disclosure
  • FIG. 7 is a block diagram showing an example of a functional configuration of a flight route setting processing unit according to a second embodiment of the technology of the present disclosure
  • FIG. 7 is a block diagram showing an example of a functional configuration of a flight control processing unit according to a second embodiment of the technology of the present disclosure
  • FIG. 7 is a block diagram showing an example of a functional configuration of an imaging control processing unit according to a second embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a first operation of a flight route setting processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of a second operation of the flight route setting processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 11 is a schematic diagram showing an example of a plurality of points in an area where distance measurement areas of each distance measuring device overlap with each other according to the second embodiment of the technology of the present disclosure
  • FIG. 11 is a schematic diagram showing an example of a plurality of points in an area where distance measurement areas of each distance measuring device overlap with each other according to the second embodiment of the technology of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of a third operation of the flight route setting processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 12 is an explanatory diagram illustrating an example of a fourth operation of the flight route setting processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 7 is an explanatory diagram illustrating an example of the operation of a flight control processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 10 is an explanatory diagram illustrating an example of the operation of an imaging control processing unit according to the second embodiment of the technology of the present disclosure
  • FIG. 11 is a flowchart showing an example of the flow of first processing of flight imaging support processing according to the second embodiment of the technology of the present disclosure
  • FIG. 11 is a flowchart showing an example of a flow of second processing of flight imaging support processing according to the second embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flowchart showing an example of the flow of third processing of flight imaging support processing according to the second embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flow chart showing an example of the flow of a fourth process of flight imaging support processing according to the second embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flowchart showing an example of the flow of a fifth process of flight imaging support processing according to the second embodiment of the technology of the present disclosure
  • FIG. 11 is a block diagram showing an example of a functional configuration of a processor of a base station according to a third embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a first operation of a distance derivation processing unit according to a third embodiment of the technology of the present disclosure
  • FIG. 13 is an explanatory diagram illustrating an example of a second operation of a distance derivation processing unit according to the third embodiment of the technology of the present disclosure
  • FIG. 11 is a schematic diagram showing an example of points located outside the range-finding area of each range-finding device according to the third embodiment of the technology of the present disclosure
  • FIG. 11 is a block diagram showing an example of a functional configuration of a processor of a base station according to a third embodiment of the technology of the present disclosure
  • FIG. 11 is an explanatory diagram illustrating an example of a first operation of a distance derivation processing unit according to a third embodiment of the technology of the present disclosure
  • FIG. 13 is an explan
  • FIG. 11 is an explanatory diagram illustrating an example of distance derivation processing according to the third embodiment of the technology of the present disclosure
  • FIG. 12 is a block diagram showing an example of a functional configuration of a processor of a base station according to the fourth embodiment of the technology of the present disclosure
  • FIG. 12 is a block diagram showing an example of a functional configuration of a position correction processing unit according to the fourth embodiment of the technique of the present disclosure
  • FIG. 14 is a block diagram showing an example of a first operation of a position correction processing unit according to the fourth embodiment of the technique of the present disclosure
  • FIG. 11 is a flow chart showing an example of the flow of the first process of the position correction process according to the fourth embodiment of the technology of the present disclosure
  • FIG. FIG. 11 is a flowchart showing an example of the flow of second processing of position correction processing according to the fourth embodiment of the technology of the present disclosure
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • IC is an abbreviation for "Integrated Circuit”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip.”
  • SSD is an abbreviation for "Solid State Drive”.
  • HDD is an abbreviation for "Hard Disk Drive”.
  • EEPROM is an abbreviation for "Electrically Erasable and Programmable Read Only Memory”.
  • SRAM is an abbreviation for "Static Random Access Memory”.
  • I/F is an abbreviation for "Interface”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • LED is an abbreviation for "light emitting diode”.
  • EL is an abbreviation for "Electro Luminescence”.
  • LiDAR is an abbreviation for “light detection and ranging”.
  • MEMS is an abbreviation for “Micro Electro Mechanical Systems”.
  • AI is an abbreviation for “Artificial Intelligence”.
  • the “horizontal direction” means an error that is generally allowed in the technical field to which the technology of the present disclosure belongs in addition to the complete horizontal direction, and is contrary to the spirit of the technology of the present disclosure. It refers to the horizontal direction in the sense of including the degree of error that does not occur.
  • the “vertical direction” means an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to the perfect vertical direction, and is contrary to the spirit of the technology of the present disclosure. It refers to the vertical direction in the sense of including the degree of error that does not occur.
  • parallel means, in addition to complete parallelism, an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and does not go against the spirit of the technology of the present disclosure. It refers to parallel in the sense of including the error of
  • symmetry means, in addition to perfect symmetry, an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and does not go against the spirit of the technology of the present disclosure.
  • an inspection system 1 includes an image analysis device 2 and an imaging system S, and inspects an inspection object 3 .
  • the inspection object 3 is a bridge pier.
  • the piers are made of reinforced concrete.
  • Road facilities include, for example, road surfaces, tunnels, guardrails, traffic lights, and/or windbreak fences.
  • the inspection object 3 may be social infrastructure other than road facilities (for example, airport facilities, port facilities, water storage facilities, gas facilities, medical facilities, firefighting facilities, and/or educational facilities, etc.). , may be private property. Also, the inspection object 3 may be land (for example, state-owned land and/or private land).
  • the bridge piers illustrated as the inspection object 3 may be bridge piers other than those made of reinforced concrete.
  • inspection refers to inspection of the state of the inspection object 3, for example.
  • the inspection system 1 inspects whether or not the inspection object 3 is damaged and/or the extent of the damage.
  • the inspection target 3 is an example of the "target" according to the technology of the present disclosure.
  • the imaging system S includes a base station 10 and an aircraft 310.
  • Base station 10 has a control function.
  • the control function is a function of controlling the flying object 310 by giving an instruction such as a flight instruction or an imaging instruction to the flying object 310 .
  • the flying object 310 has a flight function and a first imaging function.
  • the flight function is a function of flying based on flight instructions.
  • the first image capturing function is a function of capturing an image of a subject (in the example shown in FIG. 1, the inspection object 3) based on an image capturing instruction.
  • the flying object 310 will be described in more detail.
  • the communication device 12 is installed in the base station 10 , and the communication device 312 communicates with the communication device 12 .
  • the communication device 312 may communicate with the communication device 12 wirelessly or may communicate with the communication device 12 by wire.
  • a first imaging function is realized by the imaging device 330 .
  • the imaging device 330 may be, for example, a digital camera or a video camera.
  • the imaging device 330 images the second subject (in the example shown in FIG. 1, the inspection target 3).
  • the imaging device 330 is mounted on the upper part of the aircraft body 320, but this is only an example, and the imaging device 330 may be mounted on the lower part of the aircraft body 320.
  • the imaging device 330 is mounted in the central portion of the aircraft main body 320 and is arranged in an orientation to image the front of the aircraft 310 .
  • the imaging device 330 is an example of a “first imaging device” according to the technology of the present disclosure.
  • the imaging system S is a system that provides the image analysis device 2 with image data obtained by imaging the inspection object 3 by the flying object 310 .
  • the image analysis device 2 performs image analysis processing on the image data provided from the imaging system S to inspect the presence or absence of damage and/or the degree of damage to the inspection object 3, and outputs inspection results. do.
  • the image analysis process is a process of analyzing an image using template matching technology and/or artificial intelligence.
  • the base station 10 includes a rotary drive device 20, an imaging device 30, and a distance measuring device 40 in addition to the communication device 12.
  • the rotary drive device 20 has a pedestal 27 .
  • the rotary drive device 20 is a device capable of rotating the pedestal 27 horizontally and vertically. In FIG. 1, arrow V indicates the vertical direction.
  • the imaging device 30 and the distance measuring device 40 are attached to the pedestal 27 .
  • the imaging device 30 is arranged above the distance measuring device 40, but this is only an example, and the imaging device 30 may be arranged below the distance measuring device 40. It may be arranged horizontally along with the distance measuring device 40 .
  • the imaging device 30 is a device having a second imaging function.
  • the second imaging function is a function of imaging an imaging scene including the inspection object 3 or the flying object 310 .
  • the second imaging function is implemented by, for example, a digital camera or a video camera.
  • the imaging device 30 is an example of a “second imaging device” according to the technology of the present disclosure.
  • the distance measuring device 40 is a device having a distance measuring function.
  • the ranging function is a function of measuring the distance between the inspection object 3 or the flying object 310 and the ranging device 40 .
  • the ranging function is implemented by, for example, an ultrasonic ranging device, a laser ranging device, a radar ranging device, or the like.
  • Laser rangefinders include LiDAR scanners. A case in which a LiDAR scanner is used as an example of a laser rangefinder that realizes a rangefinder function will be described below.
  • the direction in which the rangefinder 40 scans with laser light (hereinafter referred to as the scanning direction) is set in the horizontal direction.
  • arrow H indicates the horizontal direction.
  • a distance measuring range 41 which is a range scanned by the distance measuring device 40 with laser light, is set within an imaging range 31 of the imaging device 30 in plan view.
  • a range in which the first subject is located in the center of the distance measurement range 41 when the first subject (for example, the flying object 310 shown in FIGS. 1 and 2) is located in the center of the angle of view of the imaging device 30.
  • the distance measuring range 41 is set.
  • the optical axis OA1 of the imaging device 30 coincides with the central axis AC of the range-finding range 41 in a plan view of the imaging system S. As shown in FIG.
  • the scanning direction of the distance measuring device 40 may be set in the vertical direction, or may be set in both the horizontal direction and the vertical direction.
  • the base station 10 includes the imaging device 30 and the distance measuring device 40, but this is only an example, and the base station 10 has the second imaging function and the measuring function.
  • An imaging device having a distance function may be provided.
  • An imaging device having the second imaging function and the ranging function includes, for example, a stereo camera or a phase difference pixel camera.
  • the aircraft main body 320 is a multicopter having a first propeller 341A, a second propeller 341B, a third propeller 341C, and a fourth propeller 341D.
  • the first propeller 341A is arranged on the front right side of the aircraft body 320
  • the second propeller 341B is arranged on the front left side of the aircraft body 320
  • the third propeller 341C is arranged on the rear side of the aircraft body 320.
  • the fourth propeller 341D is arranged on the rear left side of the aircraft main body 320.
  • the first propeller 341A and the third propeller 341C are arranged on the right side with respect to the imaging device 330, and the second propeller 341B and the fourth propeller 341D are arranged on the left side with respect to the imaging device 330.
  • the first propeller 341A is arranged at a line-symmetrical position with respect to the second propeller 341B centering on the optical axis OA2 of the imaging device 330 in plan view
  • the third propeller 341C is arranged at a line-symmetrical position with respect to the optical axis OA2 of the imaging device 330 in plan view. centered on the fourth propeller 341D.
  • the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D are examples of the "plurality of members" according to the technology of the present disclosure.
  • the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D are classified with different colors as examples of different aspects.
  • dots attached to the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D express the color of each propeller.
  • the color of the first propeller 341A is the same as the color of the second propeller 341B
  • the color of the third propeller 341C is the same as the color of the fourth propeller 341D.
  • the first color set for the first propeller 341A and the second propeller 341B is different from the second color set for the third propeller 341C and the fourth propeller 341D.
  • the first color and the second color may each be chromatic or achromatic.
  • a processor 51 (see FIG. 4) of the base station 10 (to be described later) can distinguish the first color and the second color based on an image obtained by being imaged by the imaging device 30. Any color may be used as long as it is a color.
  • the first color is set for the first propeller 341A and the second propeller 341B
  • the second color is set for the third propeller 341C and the fourth propeller 341D
  • the first color may be set for the first propeller 341A and the third propeller 341C
  • the second color may be set for the second propeller 341B and the fourth propeller 341D
  • a first color may be set for the first propeller 341A and the fourth propeller 341D
  • a second color may be set for the second propeller 341B and the third propeller 341C.
  • different colors may be set for the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D.
  • the base station 10 includes a communication device 12, a reception device 14, a display 16, a rotation drive device 20, an imaging device 30, a distance measurement device 40, and a computer 50.
  • the computer 50 is an example of a "control device” and a “computer” according to the technology of the present disclosure.
  • Computer 50 comprises processor 51 , storage 52 and RAM 53 .
  • the processor 51 is an example of the “processor” according to the technology of the present disclosure
  • the RAM 53 is an example of the “memory” according to the technology of the present disclosure.
  • Processor 51 , storage 52 and RAM 53 are interconnected via bus 54 .
  • Also connected to the bus 54 are the communication device 12 , reception device 14 , display 16 , rotary drive device 20 , imaging device 30 and distance measuring device 40 .
  • one bus is illustrated as the bus 54 for convenience of illustration, but a plurality of buses may be used.
  • Bus 54 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the processor 51 has, for example, a CPU and controls the base station 10 as a whole. Although an example in which the processor 51 has a CPU is given here, this is merely an example.
  • processor 51 may have a CPU and a GPU. In this case, for example, the GPU operates under the control of the CPU and is responsible for executing image processing.
  • the storage 52 is a nonvolatile storage device that stores various programs and various parameters. Examples of the storage 52 include HDDs and SSDs. Note that the HDD and SSD are merely examples, and flash memory, magnetoresistive memory, and/or ferroelectric memory may be used in place of or together with the HDD and/or SSD. .
  • the RAM 53 is a memory that temporarily stores information, and is used by the processor 51 as a work memory. Examples of the RAM 53 include DRAM and/or SRAM.
  • the reception device 14 has a keyboard, mouse, touch pad, etc., and receives information provided by the user.
  • the display 16 displays various information (eg, images, characters, etc.) under the control of the processor 51 .
  • Examples of the display 16 include an EL display (such as an organic EL display or an inorganic EL display). Note that the display 16 is not limited to the EL display, and may be another type of display 16 such as a liquid crystal display.
  • the communication device 12 is communicably connected to the aircraft 310 .
  • the communication device 12 is connected so as to be able to communicate wirelessly with the aircraft 310 according to a predetermined wireless communication standard.
  • the predefined wireless communication standard includes, for example, Bluetooth (registered trademark). Note that other wireless communication standards (eg, WI/Fi, 5G, etc.) may be used. Although wireless communication is exemplified here, the technology of the present disclosure is not limited to this, and wired communication may be applied instead of wireless communication.
  • the communication device 12 controls transmission and reception of information with the aircraft 310 . For example, the communication device 12 transmits information requested by the processor 51 to the aircraft 310 .
  • the communication device 12 also receives information transmitted from the aircraft 310 and outputs the received information to the processor 51 via the bus 54 .
  • the rotary drive device 20 includes an input/output I/F 22, a motor driver 23, a pan motor 24, a tilt motor 25, a pan-tilt mechanism 26, and a pedestal 27.
  • the motor driver 23 is connected to the processor 51 via the input/output I/F 22 and bus 54 .
  • the motor driver 23 controls the pan motor 24 and tilt motor 25 according to instructions from the processor 51 .
  • the pan motor 24 and tilt motor 25 are motors such as DC brushed motors, brushless motors, or stepping motors.
  • the pan-tilt mechanism 26 is, for example, a two-axis gimbal, and includes a pan mechanism 28 and a tilt mechanism 29.
  • the pan mechanism 28 is connected to the rotating shaft of the pan motor 24
  • the tilt mechanism 29 is connected to the rotating shaft of the tilt motor 25 .
  • the pedestal 27 is connected to the pan-tilt mechanism 26 .
  • the pan mechanism 28 receives the rotational force of the pan motor 24 to impart a horizontal rotational force to the pedestal 27, and the tilt mechanism 29 receives the rotational force of the tilt motor 25 to impart a vertical rotational force to the pedestal.
  • the pedestal 27 is horizontally rotated by a rotational force applied from the pan motor 24 via the pan mechanism 28 and vertically rotated by a rotational force applied from the tilt motor 25 via the tilt mechanism 29 .
  • the imaging device 30 includes an input/output I/F 32, an image sensor driver 33, and an image sensor .
  • the image sensor driver 33 and image sensor 34 are connected to the processor 51 via the input/output I/F 32 and bus 54 .
  • the image sensor driver 33 controls the image sensor 34 according to instructions from the processor 51 .
  • Image sensor 34 is, for example, a CMOS image sensor. Although a CMOS image sensor is exemplified as the image sensor 34 here, the technology of the present disclosure is not limited to this, and other image sensors may be used.
  • the image sensor 34 captures an image of the first subject (for example, the flying object 310 shown in FIGS. 1 and 2) and outputs the captured image to the processor 51. do.
  • the imaging device 30 includes optical components such as an objective lens, a focus lens, a zoom lens, and an aperture. Also, although not shown, the imaging device 30 includes actuators for driving optical components such as a focus lens, a zoom lens, and a diaphragm. When the imaging device 30 takes an image, optical components such as a focus lens, a zoom lens, and an aperture provided in the imaging device 30 are driven by controlling the actuator.
  • the rangefinder 40 includes an input/output I/F 42, a rangefinder sensor driver 43, a rangefinder sensor 44, a scanner driver 45, and a scanner mechanism 46.
  • the ranging sensor driver 43 , ranging sensor 44 , and scanner driver 45 are connected to the processor 51 via the input/output I/F 42 and bus 54 .
  • the ranging sensor driver 43 controls the ranging sensor 44 according to instructions from the processor 51 .
  • the ranging sensor 44 has a laser light output function, a reflected light detection function, and a distance information output function.
  • the laser light output function is a function to output a laser light
  • the reflected light detection function is a function to detect the reflected light that is the light reflected by an object
  • the distance information output function is a function to detect the laser light. This is a function of outputting distance information (that is, information indicating the distance from the distance measuring sensor 44 to the object) according to the time from output to detection of reflected light.
  • the scanner mechanism 46 is, for example, a galvanomirror scanner or a MEMS mirror scanner, and includes a scanner mirror 47 and a scanner actuator 48.
  • Scanner mirror 47 reflects the laser light.
  • the laser beam reflected by the scanner mirror 47 is applied to an object (for example, the flying vehicle 310 or the inspection object 3 shown in FIG. 1).
  • the scanner actuator 48 changes the angle of the scanner mirror 47 by applying power to the scanner mirror 47 .
  • the reflection angle of the laser beam reflected by the scanner mirror 47 changes in the horizontal direction.
  • an aircraft 310 includes a communication device 312, an image memory 314, an input/output I/F 322, an imaging device 330, a flight device 340, and a computer 350.
  • the computer 350 includes a processor 351, storage 352, and RAM353.
  • the processor 351 , storage 352 and RAM 353 are interconnected via a bus 354 , and the bus 354 is connected to the input/output I/F 322 .
  • a communication device 312 , an image memory 314 , and an imaging device 330 are also connected to the input/output I/F 322 .
  • one bus is shown as the bus 354 for convenience of illustration, but a plurality of buses may be used.
  • Bus 354 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the processor 351 has, for example, a CPU, and controls the aircraft 310 as a whole. Although an example in which the processor 351 has a CPU is given here, this is merely an example.
  • processor 351 may have a CPU and a GPU. In this case, for example, the GPU operates under the control of the CPU and is responsible for executing image processing.
  • the storage 352 is a nonvolatile storage device that stores various programs and various parameters. Examples of the storage 352 include HDDs and SSDs. Note that the HDD and SSD are merely examples, and flash memory, magnetoresistive memory, and/or ferroelectric memory may be used in place of or together with the HDD and/or SSD. .
  • the RAM 353 is a memory that temporarily stores information, and is used by the processor 351 as a work memory. Examples of the RAM 353 include DRAM and/or SRAM.
  • the image memory 314 is, for example, an EEPROM. However, this is merely an example, and an HDD and/or an SSD or the like may be applied as the image memory 314 instead of or together with the EEPROM. Also, the image memory 314 may be a memory card. The image memory 314 stores an image captured by the imaging device 330 .
  • the communication device 312 is communicably connected to the base station 10 .
  • the communication device 312 is in charge of exchanging information with the base station 10 .
  • the communication device 312 transmits information requested by the processor 351 to the base station 10 .
  • Communication device 312 also receives information transmitted from base station 10 and outputs the received information to processor 351 via bus 354 .
  • the flight device 340 has a first propeller 341A, a second propeller 341B, a third propeller 341C, a fourth propeller 341D, a plurality of motors 342, and a motor driver 343.
  • the motor driver 343 is connected to the processor 351 via the input/output I/F 322 and bus 354 .
  • a motor driver 343 individually controls a plurality of motors 342 according to instructions from the processor 351 .
  • the number of motors 342 is the same as the number of propellers 341 .
  • the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D are fixed to the rotating shaft of each motor 342. Below, if there is no need to distinguish between the first propeller 341A, the second propeller 341B, the third propeller 341C, and the fourth propeller 341D, the first propeller 341A, the second propeller 341B, the third propeller 341C, and the third propeller 341C will be described.
  • the four propellers 341D are called propellers 341, respectively.
  • Each motor 342 rotates the propeller 341 .
  • the aircraft 310 flies by rotating the propellers 341 .
  • the flying object 310 rises, and when the number of rotations per unit time of the plurality of propellers 341 (hereinafter also simply referred to as "rotation number") decreases, the flying object 310 descends.
  • the propulsive forces of the propellers 341 and the gravity acting on the flying object 310 are balanced, the flying object 310 stops in the air (that is, hovers).
  • the aircraft 310 rolls, turns, advances, retreats, and/or laterally moves.
  • the number of the plurality of propellers 341 included in the aircraft main body 320 is four as an example, this is merely an example, and the number of the plurality of propellers 341 may be, for example, three, five or more. It's okay.
  • the imaging device 330 includes an image sensor driver 333, an image sensor 334, an imaging lens 335, a first actuator 336A, a second actuator 336B, a third actuator 336C, a first sensor 337A, a second sensor 337B, a third sensor 337C, and a controller 338.
  • Image sensor driver 333 , image sensor 334 , and controller 338 are connected to processor 351 via input/output I/F 322 and bus 354 .
  • the image sensor driver 333 controls the image sensor 334 according to instructions from the processor 351 .
  • Image sensor 334 is, for example, a CMOS image sensor. Although a CMOS image sensor is exemplified as the image sensor 334 here, the technology of the present disclosure is not limited to this, and other image sensors may be used.
  • the image sensor captures an image of the second subject (for example, the inspection target 3 shown in FIGS. 1 and 2) and outputs the captured image to the processor 351. .
  • the imaging lens 335 has an objective lens 335A, a focus lens 335B, a zoom lens 335C, and an aperture 335D.
  • the objective lens 335A, the focus lens 335B, the zoom lens 335C, and the diaphragm 335D are arranged along the optical axis OA2 of the imaging device 330 from the subject side (object side) to the image sensor 334 side (image side).
  • a lens 335B, a zoom lens 335C, and a diaphragm 335D are arranged in this order.
  • the controller 338 controls the first actuator 336A, the second actuator 336B, and the third actuator 336C according to instructions from the processor 351.
  • Controller 338 is, for example, a device having a computer including a CPU, NVM, RAM, and the like. Although a computer is exemplified here, this is merely an example, and devices including ASIC, FPGA, and/or PLD may be applied. Also, as the controller 338, for example, a device realized by a combination of hardware configuration and software configuration may be used.
  • the first actuator 336A includes a focus slide mechanism (not shown) and a focus motor (not shown).
  • a focus lens 335B is attached to the focus slide mechanism so as to be slidable along the optical axis OA2.
  • a focus motor is connected to the focus slide mechanism, and the focus slide mechanism receives power from the focus motor and operates to move the focus lens 335B along the optical axis OA2.
  • the second actuator 336B includes a zoom slide mechanism (not shown) and a zoom motor (not shown).
  • a zoom lens 335C is attached to the zoom slide mechanism so as to be slidable along the optical axis OA2.
  • a zoom motor is connected to the zoom slide mechanism, and the zoom slide mechanism receives power from the zoom motor to move the zoom lens 335C along the optical axis OA2.
  • an example of a form in which the focus slide mechanism and the zoom slide mechanism are provided separately is given, but this is only an example, and an integrated slide mechanism capable of both focusing and zooming is provided. It may be a mechanism. Also, in this case, power generated by one motor may be transmitted to the slide mechanism without using a focusing motor and a zooming motor.
  • the third actuator 336C includes a power transmission mechanism (not shown) and a diaphragm motor (not shown).
  • the diaphragm 335D has an aperture 335D1, and is a diaphragm with a variable size of the aperture 335D1.
  • the opening 335D1 is formed by a plurality of blades 335D2.
  • the multiple blades 335D2 are connected to the power transmission mechanism.
  • a diaphragm motor is connected to the power transmission mechanism, and the power transmission mechanism transmits the power of the diaphragm motor to the plurality of blades 335D2.
  • the plurality of blades 335D2 change the size of the opening 335D1 by receiving power transmitted from the power transmission mechanism.
  • the diaphragm 335D adjusts exposure by changing the size of the aperture 335D1.
  • the focus motor, zoom motor, and aperture motor are connected to the controller 338, and the controller 338 controls driving of the focus motor, zoom motor, and aperture motor.
  • the controller 338 controls driving of the focus motor, zoom motor, and aperture motor.
  • stepping motors are used for the focus motor, the zoom motor, and the aperture motor. Therefore, the focus motor, zoom motor, and aperture motor operate in synchronization with the pulse signal according to commands from the controller 338 .
  • the first sensor 337A detects the position of the focus lens 335B on the optical axis OA2.
  • An example of the first sensor 337A is a potentiometer.
  • a detection result by the first sensor 337 A is acquired by the controller 338 and output to the processor 351 .
  • the processor 351 adjusts the position of the focus lens 335B on the optical axis OA2 based on the detection result of the first sensor 337A.
  • the second sensor 337B detects the position of the zoom lens 335C on the optical axis OA2.
  • An example of the second sensor 337B is a potentiometer.
  • a detection result by the second sensor 337 B is acquired by the controller 338 and output to the processor 351 .
  • Processor 351 adjusts the position of zoom lens 335C on optical axis OA2 based on the detection result of second sensor 337B.
  • the third sensor 337C detects the size of the opening 335D1.
  • An example of the third sensor 337C is a potentiometer.
  • a detection result by the third sensor 337 ⁇ /b>C is acquired by the controller 338 and output to the processor 351 .
  • Processor 351 adjusts the size of opening 335D1 based on the detection result of third sensor 337C.
  • the storage 52 of the base station 10 stores a flight imaging support program 100 .
  • the processor 51 reads the flight imaging support program 100 from the storage 52 and executes the read flight imaging support program 100 on the RAM 53 .
  • the processor 51 operates as an operation mode setting unit 102 , a flight route setting processing unit 104 , a flight control processing unit 106 and an imaging control processing unit 108 by executing the flight imaging support program 100 .
  • the base station 10 has a flight route setting processing mode, a flight control processing mode, and an imaging control processing mode as operation modes.
  • the operation mode setting unit 102 selectively sets a flight route setting processing mode, a flight control processing mode, and an imaging control processing mode as the operation modes of the base station 10 .
  • the processor 51 operates as the flight route setting processing unit 104 .
  • the processor 51 operates as the flight control processing unit 106 .
  • the processor 51 operates as the imaging control processing unit 108 .
  • the flight route setting processing unit 104 performs flight route setting processing.
  • the flight route setting processing is processing performed by the flight route setting processing unit 104 when the operation mode of the base station 10 is set to the flight route setting processing mode.
  • the flight route setting processing unit 104 includes a first acceptance determination unit 112, a first rotation control unit 114, a first imaging control unit 116, an image information storage control unit 118, a first distance measurement control unit 120, and a distance information storage control unit 122.
  • first zoom magnification determination unit 138 a first zoom magnification storage control section 140 , a first flight route setting section 142 , a second zoom magnification determination section 144 , a second zoom magnification storage control section 146 , and a second flight route setting section 148 .
  • the flight control processing unit 106 performs flight control processing. Flight control processing is processing performed by the flight control processing unit 106 when the operation mode of the base station 10 is set to the flight control processing mode.
  • the flight control processing unit 106 includes a third acceptance determination unit 152, a second imaging control unit 154, an aircraft position derivation unit 156, a position deviation determination unit 158, a second rotation control unit 160, a second ranging control unit 162, a flight It has a body coordinate derivation unit 164 , an imaging position arrival determination unit 166 , a flight instruction generation unit 168 , and a flight instruction transmission control unit 170 .
  • the imaging control processing unit 108 performs imaging control processing.
  • the imaging control processing is processing performed by the imaging control processing unit 108 when the operation mode of the base station 10 is set to the imaging control processing mode.
  • the imaging control processing unit 108 includes a hovering instruction transmission control unit 172, a hovering report reception determination unit 174, a third imaging control unit 176, an aircraft attitude identification unit 178, an attitude correction instruction generation unit 180, an attitude correction instruction transmission control unit 182, Posture correction report reception determination unit 184 , zoom magnification determination unit 186 , first angle of view setting instruction transmission control unit 188 , distance derivation unit 190 , second angle of view setting instruction generation unit 192 , second angle of view setting instruction transmission control unit 194 , a view angle setting report reception determination unit 196 , an imaging instruction transmission control unit 198 , an imaging report reception determination unit 200 , an end determination unit 202 , and an end instruction transmission control unit 204 .
  • the flight imaging program 400 is stored in the storage 352 of the flying object 310 .
  • the processor 351 reads the flight imaging program 400 from the storage 352 and executes the read flight imaging program 400 on the RAM 353 .
  • the processor 351 performs flight imaging processing according to the flight imaging program 400 executed on the RAM 353 .
  • the processor 351 executes a flight instruction reception determination unit 402, a flight control unit 404, a hovering instruction reception determination unit 406, a hovering control unit 408, a hovering report transmission control unit 410, and an attitude correction instruction reception determination.
  • unit 412 posture correction control unit 414, posture correction report transmission control unit 416, view angle setting instruction reception determination unit 418, view angle control unit 420, view angle setting report transmission control unit 422, imaging instruction reception determination unit 424, imaging control It operates as a unit 426 , an image storage control unit 428 , an imaging report transmission control unit 430 , an end instruction reception determination unit 432 , and an end control unit 434 .
  • the inspection object 3 has a wall surface 4 .
  • An example of inspecting the wall surface 4 will be described below as an example.
  • the wall surface 4 is an example of the "surface" according to the technology of the present disclosure.
  • the wall surface 4 has a first surface 4A, a second surface 4B, a third surface 4C, a fourth surface 4D and a fifth surface 4E.
  • the base station 10 is installed at a position where the imaging device 30 can image the wall surface 4 and the rangefinder 40 can measure the distance between the wall surface 4 and the rangefinder 40 .
  • the wall surface 4 is within the distance measurement area of the distance measurement device 40 .
  • the distance measurement area is an area in which the wall surface 4 is scanned multiple times by the distance measurement device 40 while the pedestal 27 is rotated from the first rotation position to the second rotation position. In the distance measurement area, the image of the wall surface 4 is captured by the imaging device 30 in a plurality of times.
  • the first surface 4A, the second surface 4B, the third surface 4C, the fourth surface 4D, and the fifth surface 4E all face the base station 10.
  • the second surface 4B is positioned between the first surface 4A and the third surface 4C.
  • the second surface 4B is inclined with respect to the first surface 4A and the third surface 4C.
  • the second surface 4B is an inclined surface that becomes farther from the base station 10 as it goes from the first surface 4A side toward the third surface 4C side.
  • the third surface 4C is positioned farther from the base station 10 than the first surface 4A.
  • the wall surface 4 of the inspection object 3 has a concave portion 4F.
  • the recess 4F has an opening 4F1 that opens toward the base station 10 side.
  • the area of the opening 4F1 is less than the area that allows the flying object 310 to enter the recess 4F.
  • the recess 4 ⁇ /b>F is formed from the lower end to the upper end of the inspection object 3 .
  • the recess 4F is formed between the third surface 4C and the fifth surface 4E, and the fourth surface 4D is formed by the bottom surface of the recess 4F.
  • the fourth surface 4D is positioned farther from the base station 10 than the third surface 4C and the fifth surface 4E, and the fifth surface 4E is positioned closer to the base station 10 than the third surface 4C. doing.
  • the first surface 4A, the third surface 4C, the fourth surface 4D, and the fifth surface 4E are surfaces parallel to each other. The following description assumes that the first surface 4A, the second surface 4B, the third surface 4C, the fourth surface 4D, and the fifth surface 4E are planes parallel to the vertical direction.
  • the worker 5 gives a measurement start instruction to the reception device 14 .
  • the first reception determination unit 112 determines whether or not the measurement start instruction has been received by the reception device 14 .
  • the first rotation control unit 114 moves the pedestal 27 from the first rotation position to the first rotation with respect to the rotary drive device 20. Control is performed to rotate toward a second rotation position, which is a position different from the position. Specifically, the first rotation control unit 114 rotates the base 27 from the first rotation position toward the second rotation position by operating the pan motor 24 via the motor driver 23 of the rotation drive device 20 . As a result, the imaging device 30 and the distance measuring device 40 attached to the pedestal 27 start rotating in the horizontal direction.
  • the first imaging control unit 116 controls the imaging device 30 to image the wall surface 4 . Specifically, the first imaging control unit 116 causes the image sensor 34 to image the wall surface 4 via the image sensor driver 33 of the imaging device 30 . In this case, the imaging device 30 images a portion of the wall surface 4 in the horizontal direction. As a result, an image is obtained by capturing an image of a portion of the wall surface 4 in the horizontal direction by the imaging device 30 .
  • a rotation detector (not shown) is provided on the pan-tilt mechanism 26 and/or the pedestal 27, and the rotational position of the pedestal 27 (hereinafter also simply referred to as "rotational position") is detected by the rotation detector.
  • the image information storage control unit 118 generates image information based on the image obtained by imaging by the imaging device 30 and the rotational position detected by the rotation detector, and stores the image information in the storage 52 .
  • the image information is information that associates an image obtained by being imaged by the imaging device 30 with the rotational position detected by the rotation detector.
  • the first ranging control unit 120 controls the ranging device 40 to scan the wall surface 4 with laser light. Specifically, the first ranging control unit 120 causes the ranging sensor 44 to output a laser beam by controlling the ranging sensor 44 via the ranging sensor driver 43 of the ranging device 40, and The reflected light of the laser beam reflected by the wall surface 4 is detected by the distance measuring sensor 44 . Further, the first distance measurement control unit 120 rotates the scanner mirror 47 by controlling the scanner actuator 48 via the scanner driver 45 of the distance measurement device 40, thereby changing the position of the laser light in the horizontal direction. In this case, the distance measuring device 40 scans a portion of the wall surface 4 in the horizontal direction.
  • the distance between the wall surface 4 and the distance measuring device 40 is measured by scanning a part of the wall surface 4 in the horizontal direction by the distance measuring device 40 .
  • the distance between the wall surface 4 and the distance measuring device 40 is measured at a plurality of distance measuring points on a portion of the wall surface 4 in the horizontal direction.
  • the distance between the wall surface 4 and the distance measuring device 40 is an example of the "first distance" according to the technology of the present disclosure.
  • the scanner mirror 47 is provided with an angle detector (not shown), and the angle detector detects the rotation angle of the scanner mirror 47 (hereinafter also simply referred to as "rotation angle").
  • the distance information storage control unit 122 generates distance information based on the distance measured for each distance measurement point, the rotational position detected by the rotation detector, and the rotational angle detected by the angle detector, and calculates the distance.
  • the information is stored in storage 52 .
  • the distance information is information that associates the rotational position detected by the rotation detector with respect to the distance measured for each distance measurement location and the rotational angle detected by the angle detector.
  • the rotational position determination unit 124 determines whether or not the rotational position of the pedestal 27 has reached the second rotational position.
  • the rotational position determination unit 124 determines whether or not the rotational position of the base 27 has reached the second rotational position, for example, by comparing the rotational position detected by the rotation detector and the position of the second rotational position. judge.
  • the rotational position determination unit 124 determines that the rotational position of the pedestal 27 has not reached the second rotational position
  • the above-described first imaging control unit 116, image information storage control unit 118, and first ranging control unit 120 is executed.
  • the control by the above-described first imaging control unit 116 and the image information storage control unit 118 is repeatedly executed, so that the first end of the wall surface 4 A plurality of imaging regions of the wall surface 4 are continuously imaged in order from the side to the second end side. Image information corresponding to each imaged area is stored in the storage 52 .
  • the control by the first distance measurement control section 120 and the distance information storage control section 122 is repeatedly executed, thereby the first A plurality of ranging areas of the wall surface 4 are continuously scanned by laser light from the first end side to the second end side. Distance information corresponding to each ranging area is stored in the storage 52 .
  • the rotation stop control unit 126 controls the rotation driving device 20 to stop the rotation of the base 27 when the rotation position determination unit 124 determines that the rotation position of the base 27 has reached the second rotation position. Specifically, the rotation stop control unit 126 stops the rotation of the base 27 by stopping the rotation of the pan motor 24 via the motor driver 23 of the rotation drive device 20 .
  • the imaging device 30 captures images of the wall surface 4 a plurality of times
  • the distance measuring device 40 captures the wall surface 4 a plurality of times.
  • Image information and distance information corresponding to the wall surface 4 are obtained by scanning the wall surface.
  • the image display control unit 128 displays an image (that is, an image in which the wall surface 4 appears as an image) on the display 16 based on the image information stored in the storage 52. is displayed.
  • the image display control unit 128, based on the rotational positions included in the image information corresponding to the first surface 4A, the second surface 4B, the third surface 4C, the fourth surface 4D, and the fifth surface 4E , the first surface 4A, the second surface 4B, the third surface 4C, the fourth surface 4D, and the fifth surface 4E are displayed side by side on the display 16. .
  • the operator 5 Based on the image displayed on the display 16 (for example, while visually referring to the image), the operator 5 performs the first surface 4A, the second surface 4B, the third surface 4C, the fourth surface 4D, and the fifth surface.
  • An inspection target surface 4G to be inspected by the flying object 310 is determined from the surface 4E.
  • the worker 5 provides the reception device 14 with inspection target surface designation information indicating that the inspection target surface 4G is designated.
  • the second reception determination unit 130 determines whether or not the inspection target surface specification information has been received by the reception device 14 .
  • the copying surface setting unit 132 sets the copying surface 6 based on the inspection surface designation information.
  • the copying surface 6 is a surface that is separated from the inspection target surface 4G in the normal direction of the inspection target surface 4G by a predetermined distance L and that follows the inspection target surface 4G (that is, a virtual surface along the inspection target surface 4G).
  • the predetermined distance L is a distance at which the inspection target surface 4G is included in the depth of field of the imaging device 330 of the aircraft 310, and is a preset distance. As an example, the default distance L is set to 1 m to 3 m.
  • the operator 5 designates the first surface 4A, the second surface 4B, and the third surface 4C as the inspection target surface 4G. Therefore, in the example shown in FIG. 16, the copying surface 6 has a first copying surface 6A that copies the first surface 4A, a second copying surface 6B that copies the second surface 4B, and a third copying surface 6C that copies the third surface 4C. is set by the copying plane setting unit 132 .
  • the first copying surface 6A is a surface separated from the first surface 4A by a predetermined distance L
  • the second copying surface 6B is a surface separated from the second surface 4B by a predetermined distance L
  • the third copying surface 6C is , a plane separated by a predetermined distance L from the third plane 4C.
  • the smooth surface setting unit 134 smoothes the copying surface 6 to set the smooth surface 7 (that is, the smooth virtual surface facing the wall surface 4).
  • “Smooth” refers to, for example, a smooth aspect without discontinuities and without irregularities. Also, “smoothing” is realized by reducing the degree of bending of the copying surface 6 to a degree designated as an allowable degree.
  • smoothing the copying surface 6 means replacing the copying surface 6 with the smooth surface 7 as it is.
  • the smooth surface setting unit 134 sets the smooth surface 7 that satisfies the following first and second conditions.
  • the first condition is a condition that the smooth surface 7 is a surface that passes through at least one of the plurality of surfaces forming the copying surface 6 and faces the inspection target surface 4G.
  • the second condition is a condition that the smooth surface 7 is defined as a surface having a predetermined distance L or more between each of the plurality of surfaces forming the inspection target surface 4G and the smooth surface 7 .
  • the smooth surface 7 that satisfies the above first and second conditions passes through the first copying surface 6A, the second copying surface 6B, and the third copying surface 6C, and the inspection target surface 4G.
  • Opposing smooth surfaces 7 are provided.
  • the example shown in FIG. 17 is an example in which the operator 5 designates the third surface 4C, the fourth surface 4D, and the fifth surface 4E as the inspection target surface 4G.
  • a copying surface 6 having a third copying surface 6C that copies the third surface 4C, a fourth copying surface 6D that copies the fourth surface 4D, and a fifth copying surface 6E that copies the fifth surface 4E is copied.
  • the third copying surface 6C is a surface separated from the third surface 4C by a predetermined distance L
  • the fourth copying surface 6D is a surface separated from the fourth surface 4D by a predetermined distance L
  • the fifth copying surface 6E is , and a plane separated by a predetermined distance L from the fifth plane 4E.
  • the smooth surface 7 that passes through the fifth copying surface 6E and faces the inspection target surface 4G is set as the smooth surface 7 that satisfies the above first and second conditions.
  • the distance determination unit 136 determines whether the distance between the inspection target surface 4G and the smooth surface 7 is constant. For example, in the example shown in FIG. 16, the distance between the surface to be inspected 4G and the smooth surface 7 is the predetermined distance L, which is constant. Therefore, in the example shown in FIG. 16, the distance determination unit 136 determines that the distance between the inspection target surface 4G and the smooth surface 7 is constant. On the other hand, for example, in the example shown in FIG. 17, the distance between the inspection target surface 4G and the smooth surface 7 is not constant.
  • the distance determination unit 136 determines that the distance between the inspection target surface 4G and the smooth surface 7 is not constant.
  • the example shown in FIG. 18 is an example in which the distance between the inspection target surface 4G and the smooth surface 7 is constant at the predetermined distance L, similar to the example shown in FIG.
  • the first zoom magnification determination unit 138 determines that the distance between the inspection target surface 4G and the smooth surface 7 is constant when the distance determination unit 136 determines that the distance is constant.
  • the zoom magnification of the imaging device 330 (see FIG. 1) of the flying object 310 is determined to be the first zoom magnification.
  • the first zoom magnification is a zoom magnification at which the pixel resolution of the imaging device 330 is the default value when the imaging device 330 captures an image of the inspection target surface 4G from a position a predetermined distance L away from the inspection target surface 4G. be.
  • the pixel resolution of the imaging device 330 corresponds to the size of the field of view per pixel of the image sensor 334 provided in the imaging device 330 .
  • the size of the field of view corresponds to the range in which the subject is actually imaged.
  • the default value for the pixel resolution is the presence or absence of damage to the inspection target surface 4G when image analysis processing is performed by the image analysis device 2 (see FIG. 1) on an image obtained by imaging the inspection target surface 4G. and/or is set to a value that allows inspection of the degree of damage or the like.
  • the first zoom magnification storage control unit 140 causes the storage 52 to store the first zoom magnification determined by the first zoom magnification determination unit 138 .
  • the first flight route setting unit 142 sets a plurality of imaging positions 8A on the smooth surface 7 based on the first zoom magnification determined by the first zoom magnification determining unit 138, thereby determining the plurality of imaging positions 8A.
  • a flight route 8 to pass through is set.
  • a plurality of imaging positions 8A are positions where the inspection target surface 4G is imaged by the imaging device 330 (see FIG. 1) of the flying object 310.
  • the first flight route setting unit 142 selects adjacent imaging positions 8A among the plurality of imaging positions 8A.
  • a flight route 8 passing through the plurality of imaging positions 8A is set.
  • a plurality of imaging positions 8A can be obtained as described later. The images obtained by being imaged by the imaging device 330 each time the position 8A is reached partially overlap each other.
  • a plurality of imaging positions 8A is an example of a "first imaging position" according to the technology of the present disclosure.
  • the example shown in FIG. 19 is an example in which the distance between the inspection target surface 4G and the smooth surface 7 is not constant, similar to the example shown in FIG.
  • the second zoom magnification determining unit 144 determines that the distance between the inspection target surface 4G and the smooth surface 7 is not constant by the distance determining unit 136.
  • the zoom magnification of the imaging device 330 (see FIG. 1) of the flying object 310 is determined to be the second zoom magnification.
  • the second zoom magnification is set by the imaging device 330 from a position separated by the shortest distance between the inspection target surface 4G and the smooth surface 7 (in this case, the distance L5 between the fifth surface 4E and the smooth surface 7). is the zoom magnification at which the pixel resolution of the imaging device 330 becomes the above-described default value when the inspection target surface 4G is imaged by .
  • the second zoom magnification storage control unit 146 causes the storage 52 to store the second zoom magnification determined by the second zoom magnification determination unit 144 .
  • the second flight route setting unit 148 sets a plurality of imaging positions 8A on the smooth surface 7 based on the second zoom magnification determined by the second zoom magnification determining unit 144, thereby determining the plurality of imaging positions 8A.
  • a flight route 8 to pass through is set.
  • the second zoom magnification determined by the second zoom magnification determination unit 144 is used to image the inspection target surface 4G. Control is performed to keep the pixel resolution of the imaging device 330 constant by adjusting according to the distance from the position 8A.
  • the second flight route setting unit 148 adjusts the second zoom magnification determined by the second zoom magnification determination unit 144 according to the distance between the inspection target surface 4G and the imaging position 8A.
  • a flight route passing through the plurality of imaging positions 8A can be obtained.
  • Set 8 By setting a plurality of imaging positions 8A at positions where the imaging ranges 331 of the imaging device 330 partly overlap with each other at adjacent imaging positions 8A among the plurality of imaging positions 8A, a plurality of imaging positions 8A can be obtained as described later. The images obtained by being imaged by the imaging device 330 each time the position 8A is reached partially overlap each other.
  • the flying object 310 is placed within the imaging range 31 of the imaging device 30 of the base station 10 .
  • the operator 5 issues a flight start instruction to the reception device 14 when the aircraft 310 is ready to start flying.
  • the third reception determination unit 152 determines whether or not the flight start instruction has been received by the reception device 14 .
  • the second imaging control unit 154 controls the imaging device 30 to capture an imaging scene including the aircraft 310 . conduct. Specifically, the second imaging control unit 154 causes the image sensor 34 to image the imaging scene including the aircraft 310 via the image sensor driver 33 of the imaging device 30 . As a result, an image is obtained by capturing an imaging scene including the flying object 310 with the imaging device 30 .
  • the image obtained by imaging the imaging scene including the flying object 310 is an example of the "second image" according to the technology of the present disclosure.
  • the flying object position derivation unit 156 performs object recognition processing on an image obtained by capturing an imaging scene including the flying object 310 with the imaging device 30, thereby determining the flying object 310 included as an image in the image. Derive the position in the image of
  • the positional deviation determination unit 158 determines whether the position of the flying object 310 is shifted with respect to the central portion of the angle of view of the imaging device 30. determine whether or not
  • the second rotation control unit 160 controls the rotation angle in the horizontal direction and/or the vertical direction of the rotary drive device 20. is adjusted to an angle at which the flying object 310 is positioned at the center of the angle of view of the imaging device 30 .
  • the second rotation control unit 160 controls the pan motor 24 and/or the tilt motor 25 via the motor driver 23 of the rotary drive device 20, thereby controlling the horizontal rotation angle and/or the rotation angle of the rotary drive device 20.
  • the rotation angle in the vertical direction is adjusted so that the flying object 310 is positioned at the center of the angle of view of the imaging device 30 .
  • the flying object 310 is included in the central portion of the ranging range 41 (see FIG. 21) of the ranging device 40 .
  • the horizontal rotation angle and/or the vertical rotation angle of the rotary drive device 20 will be referred to as the rotation angle of the rotary drive device 20 .
  • the rotation angle of the rotary drive device 20 in this case is an example of the "second rotation angle" according to the technology of the present disclosure.
  • the second ranging control unit 162 controls the ranging device 40 to scan the ranging range 41 with laser light.
  • the second ranging control unit 162 controls the ranging sensor 44 via the ranging sensor driver 43 of the ranging device 40 to cause the ranging sensor 44 to output a laser beam, and
  • the distance measurement sensor 44 is made to detect the reflected light of the laser light reflected by the object (for example, the flying object 310 and other objects in this case) included in the distance measurement range 41 .
  • the second distance measurement control unit 162 rotates the scanner mirror 47 by controlling the scanner actuator 48 via the scanner driver 45 of the distance measurement device 40, thereby changing the position of the laser light in the horizontal direction.
  • the distance measuring range 41 is scanned by the distance measuring device 40 .
  • the distance between the object and the ranging device 40 is measured.
  • the distance between the object and the range finder 40 is measured at a plurality of range measurement locations in the range 41 .
  • the distance between the flying object 310 and the ranging device 40 is measured by the ranging device 40 .
  • the flying object coordinate deriving unit 164 calculates the absolute coordinates of the rotation driving device 20, the rotation angle of the rotation driving device 20, the angle of the laser beam irradiated from the rangefinder 40 toward the flying object 310, and the flying object 310 and the measured value. Based on the distance to the range device 40, the absolute coordinates of the aircraft 310 are derived. Absolute coordinates are coordinates measured from the origin of a coordinate system (here, for example, an absolute coordinate system set at a fixed point on the imaging system S).
  • the absolute coordinates of the rotary drive device 20 are an example of the "first absolute coordinates" according to the technology of the present disclosure
  • the absolute coordinates of the aircraft 310 are an example of the "second absolute coordinates" according to the technology of the present disclosure. .
  • the flying object coordinate derivation unit 164 calculates the absolute coordinates of the rotary drive device 20, the rotation angle of the rotary drive device 20, the angle of the laser light emitted from the rangefinder 40 toward the flying object 310, and the flight
  • the distance between body 310 and rangefinder 40 is obtained as follows.
  • the flying object coordinate derivation unit 164 acquires the distance between the flying object 310 and the ranging device 40 from the distance information obtained by scanning the ranging range 41 with the ranging device 40 .
  • the flying object coordinate deriving unit 164 acquires the distance measured about the central portion of the ranging range 41 of the ranging device 40 as the distance between the flying object 310 and the ranging device 40 .
  • the distance between the vehicle 310 and the rangefinder 40 corresponds to the distance between the vehicle 310 and the LiDAR scanner.
  • the flying object coordinate derivation unit 164 calculates the average value of the distances measured at a plurality of distance measurement points in a predetermined area including the center of the ranging range 41 of the ranging device 40, It may be obtained as the distance between
  • the default area is, for example, an area that includes only the flying object 310 .
  • the distance between the flying object 310 and the rangefinder 40 is an example of the "second distance" according to the technology of the present disclosure.
  • the aircraft coordinate derivation unit 164 may, for example, calculate the coordinates of the base station 10 (for example, Absolute coordinates of the rotary drive device 20 are obtained based on the three-dimensional coordinates corresponding to latitude, longitude, and altitude.
  • the absolute coordinates of rotary drive device 20 correspond to the absolute coordinates of base station 10 .
  • the flying object coordinate derivation unit 164 acquires the angle of the laser beam emitted from the rangefinder 40 toward the flying object 310 based on the rotation angle of the scanner mirror 47 detected by the angle detector.
  • the angle of the laser light emitted from the rangefinder 40 toward the flying object 310 corresponds to the angle of the laser light emitted from the LiDAR scanner toward the flying object 310 .
  • the aircraft coordinate derivation unit 164 calculates the rotation angle of the rotary drive device 20 based on the rotation position of the base 27 detected by the pan/tilt mechanism 26 and/or a rotation detector (not shown) provided on the base 27. get.
  • the imaging position arrival determination unit 166 determines the coordinates of the flying object 310 derived by the flying object coordinates deriving unit 164, and the imaging position 8A closest to the flying object 310 among the plurality of imaging positions 8A (hereinafter referred to as the target imaging position 8A). ), it is determined whether or not the flying object 310 has reached the target imaging position 8A.
  • the flight instruction generating unit 168 combines the coordinates of the flying object 310 derived by the flying object coordinates deriving unit 164 with the target.
  • a flight instruction for the flying object 310 is generated based on the difference between the coordinates of the imaging position 8A.
  • the flight instruction generating unit 168 determines whether the flying object 310 flies along the flight route 8 based on the absolute coordinates of the flying object 310 derived by the flying object coordinate deriving unit 164 and the absolute coordinates of the target imaging position 8A.
  • the flight instruction generator 168 calculates the rotation speed of each propeller 341 corresponding to the flight direction of the aircraft 310 and the amount of movement of the aircraft 310, and generates flight instructions corresponding to the rotation speed of each propeller 341. .
  • the flight instruction transmission control unit 170 controls transmission of flight instructions to the aircraft 310 via the communication device 12 .
  • the flight instruction reception determination unit 402 determines whether the communication device 312 has received the flight instruction.
  • the flight control unit 404 controls the flight device 340 according to the flight instruction. Specifically, the flight control unit 404 controls the plurality of motors 342 via the motor driver 343 of the flight device 340 according to the flight instruction, thereby adjusting the rotation speed of each propeller 341 to the rotation speed corresponding to the flight instruction. do. As a result, the flying object 310 flies toward the target imaging position 8A.
  • the hovering instruction transmission control unit 172 causes the communication device 12 to move when the imaging position arrival determination unit 166 determines that the aircraft 310 has reached the target imaging position 8A. Control is performed to transmit a hovering instruction to the flying object 310 via.
  • the hovering instruction reception determining unit 406 determines whether the communication device 312 has received the hovering instruction.
  • the hovering control unit 408 controls the flight device 340 to hover the aircraft 310 . Specifically, the hovering control unit 408 controls the plurality of motors 342 via the motor driver 343 of the flight device 340 to adjust the rotation speed of each propeller 341 to the rotation speed at which the aircraft 310 hovers. As a result, the flying object 310 hovers.
  • the hovering report transmission control unit 410 performs control to transmit a hovering report to the effect that the flying object 310 is hovering to the base station 10 via the communication device 312 after the control by the hovering control unit 408 is performed. conduct.
  • the hovering report reception determining unit 174 determines whether or not the communication device 12 has received the hovering report.
  • the third imaging control unit 176 controls the imaging device 30 to capture an imaging scene including the flying object 310 . Specifically, the third imaging control unit 176 causes the image sensor 34 to image the imaging scene including the flying object 310 via the image sensor driver 33 of the imaging device 30 . As a result, an image is obtained by capturing an imaging scene including the flying object 310 with the imaging device 30 .
  • the flying object posture identification unit 178 performs object recognition processing (for example, template matching type object recognition processing, or , AI-based object recognition processing), the attitude of the flying object 310 is specified based on the positions of the plurality of propellers 341 shown in the image. Specifically, the aircraft attitude identification unit 178 identifies the positions of the plurality of propellers 341 by identifying the colors of the plurality of propellers 341 shown in the image based on the image. Then, the flying object attitude identification unit 178 identifies the attitude of the flying object 310 based on the positions of the propellers 341 .
  • the attitude of the aircraft 310 includes the orientation of the aircraft 310 and/or the inclination of the aircraft 310 and the like.
  • the attitude correction instruction generating unit 180 generates an attitude correction instruction for the flying object 310 based on the attitude of the flying object 310 identified by the flying object attitude identifying unit 178 . Specifically, based on the attitude of the flying object 310 identified by the flying object attitude identifying unit 178, the attitude correction instruction generating unit 180 adjusts the attitude of the flying object 310 to a horizontal state facing the inspection target surface 4G. A posture correction amount for correcting the posture is calculated. Then, the attitude correction instruction generator 180 calculates the number of rotations of each propeller 341 corresponding to the amount of attitude correction, and generates an attitude correction instruction corresponding to the number of rotations of each propeller 341 .
  • the attitude correction instruction transmission control unit 182 controls transmission of the attitude correction instruction to the aircraft 310 via the communication device 12 .
  • the attitude correction instruction reception determination unit 412 determines whether the communication device 312 has received the attitude correction instruction.
  • the attitude correction control unit 414 instructs the flight device 340 to correct the attitude of the aircraft 310 according to the attitude correction instruction. do. Specifically, the attitude correction control unit 414 controls the plurality of motors 342 via the motor driver 343 of the flight device 340 in accordance with the attitude correction instruction, thereby increasing the number of rotations of the plurality of propellers 341 to the number of revolutions corresponding to the attitude correction instruction. Adjust the rpm. As a result, the attitude of the flying object 310 is corrected so that it faces the inspection target surface 4G in a horizontal state. By correcting the posture of the flying object 310 to face the inspection target surface 4G in a horizontal state, the optical axis OA2 of the imaging device 330 is perpendicular to the inspection target surface 4G when the imaging device 330 is horizontal.
  • the attitude correction report transmission control unit 416 sends an attitude correction report to the base station 10 via the communication device 312 to the effect that the attitude of the aircraft 310 has been corrected. Control to send.
  • the distance between the inspection target surface 4G and the smooth surface 7 is constant at the predetermined distance L, as in the example shown in FIG.
  • the first zoom magnification is stored in the storage 52 by (see FIG. 18).
  • the posture correction report reception determining unit 184 determines whether or not the communication device 12 has received the posture correction report.
  • the zoom magnification determination unit 186 performs the above-described first zoom magnification storage control unit 140 or the second zoom magnification storage control unit 146. determines whether the zoom magnification stored in the storage 52 is the first zoom magnification or the second zoom magnification.
  • the zoom magnification determination unit 186 determines that the zoom magnification stored in the storage 52 is the first zoom magnification
  • the first angle-of-view setting instruction transmission control unit 188 sends a command to the aircraft 310 via the communication device 12. control to transmit the first angle of view setting instruction corresponding to the first zoom magnification.
  • the distance between the inspection target surface 4G and the smooth surface 7 is not constant as in the example shown in FIG. ) is an example in which the second zoom magnification is stored in the storage 52 .
  • the distance deriving unit 190 determines that the zoom magnification stored in the storage 52 is the second zoom magnification, if the zoom magnification determination unit 186 determines that the zoom magnification is the second zoom magnification. Based on the distance information stored in the storage 52 by the information storage controller 122, the distance between the inspection target surface 4G and the target imaging position 8A is derived.
  • the second angle-of-view setting instruction generation unit 192 Based on the distance derived by the distance derivation unit 190, the second angle-of-view setting instruction generation unit 192 adjusts the second zoom magnification to the zoom magnification that makes the pixel resolution of the imaging device 330 the default value described above. Then, the second angle-of-view setting instruction generating section 192 generates a second angle-of-view setting instruction corresponding to the second zoom magnification adjusted based on the distance derived by the distance deriving section 190 .
  • the second angle-of-view setting instruction generation unit 192 sets the second zoom magnification A second angle of view setting instruction corresponding to the second zoom magnification determined by the determining unit 144 is generated.
  • the second view angle setting instruction generation unit 192 determines the second zoom magnification determination unit The second zoom magnification is adjusted by increasing the second zoom magnification determined by 144 according to the distance derived by the distance derivation unit 190 . Then, the second angle-of-view setting instruction generation unit 192 generates a second angle-of-view setting instruction corresponding to the adjusted second zoom magnification.
  • the second angle of view setting instruction transmission control unit 194 performs control to transmit the second angle of view setting instruction generated by the second angle of view setting instruction generation unit 192 to the aircraft 310 via the communication device 12 .
  • the first angle of view setting instruction and the second angle of view setting instruction will be referred to as the angle of view setting instruction when there is no need to distinguish between the first angle of view setting instruction and the second angle of view setting instruction.
  • the view angle setting instruction reception determining unit 418 determines whether the communication device 312 has received the view angle setting instruction.
  • the angle-of-view control unit 420 instructs the imaging device 330 to set the angle of view of the imaging device 330 . Control is performed to set the angle of view corresponding to the instruction. Specifically, the view angle control unit 420 controls the second actuator 336B via the controller 338 to adjust the position of the zoom lens 335C to a position corresponding to the view angle setting instruction. The zoom magnification of the imaging device 330 is adjusted by adjusting the position of the zoom lens 335C.
  • the angle-of-view control unit 420 sets the zoom magnification of the imaging device 330 to the first zoom magnification in accordance with the first angle-of-view setting instruction.
  • the angle-of-view control unit 420 sets the zoom magnification of the imaging device 330 to the second zoom magnification in accordance with the second angle-of-view setting instruction.
  • the view angle control unit 420 controls the first actuator 336A via the controller 338 to adjust the position of the focus lens 335B to a position corresponding to the view angle setting instruction.
  • the focus of the imaging device 330 is adjusted by adjusting the focus position.
  • the view angle control section 420 may operate at least one of the zoom lens 335C and the focus lens 335B.
  • the angle-of-view setting report transmission control unit 422 After the control by the angle-of-view control unit 420, the angle-of-view setting report transmission control unit 422 notifies the base station 10 via the communication device 312 that the angle of view of the imaging device 330 corresponds to the angle-of-view setting instruction. Control is performed to transmit a field angle setting report to the effect that the field angle has been set.
  • the view angle setting report reception determination unit 196 determines whether the communication device 12 has received the view angle setting report.
  • the image capture command transmission control unit 198 transmits the capture command to the aircraft 310 via the communication device 12. to control.
  • the imaging instruction reception determination unit 424 determines whether or not the communication device 312 has received the imaging instruction.
  • the imaging control unit 426 controls the imaging device 330 to image the inspection target surface 4G. Specifically, the imaging control unit 426 causes the image sensor 334 to image the inspection target surface 4G via the image sensor driver 333 of the imaging device 330 . In this case, the imaging device 330 images a part of the inspection target surface 4G. As a result, an image is obtained by capturing an image of a portion of the inspection target surface 4G by the imaging device 330 . An image obtained by being captured by the imaging device 330 under the control of the imaging control unit 426 is an example of the "first image" according to the technology of the present disclosure.
  • the image storage control unit 428 causes the image memory 314 to store an image captured by the imaging device 330 .
  • the imaging report transmission control unit 430 sends an imaging report to the base station 10 via the communication device 312 to the effect that part of the inspection target surface 4G has been imaged by the imaging device 330. to control the transmission of
  • the imaging report reception determination unit 200 determines whether or not the communication device 12 has received the imaging report.
  • the termination determination unit 202 determines whether or not the conditions for terminating the flight imaging support process are satisfied.
  • a condition for ending the flight imaging support process is that the number of imaging reports reaches the number of imaging positions 8A. If the number of imaging reports is smaller than the number of imaging positions 8A, the termination determination unit 202 determines that the conditions for terminating the flight imaging support process are not met.
  • the flying object 310 moves to each imaging position 8A in order by flying along the flight route 8, and each time it reaches each of the plurality of imaging positions 8A.
  • a plurality of images are acquired by imaging the surface 4G to be inspected by the imaging device 330 at the time.
  • the zoom magnification of the imaging device 330 is maintained at the first zoom magnification at each imaging position 8A. Accordingly, the pixel resolution of the imaging device 330 is kept constant.
  • the distance between the inspection target surface 4G and each imaging position 8A fluctuates.
  • the pixel resolution of the imaging device 330 is kept constant by adjusting the second zoom magnification of the imaging device 330 according to the distance between the inspection target surface 4G and the imaging position 8A.
  • the range actually captured by the imaging device 330 is kept constant.
  • the distance between the inspection target surface 4G and the imaging position 8A corresponds to the distance between the inspection target surface 4G and the imaging device 330 .
  • the termination determination unit 202 determines that the conditions for terminating the flight imaging support process have been met.
  • the termination instruction transmission control unit 204 performs control to transmit an termination instruction to the flying object 310 via the communication device 12 when the termination determination unit 202 determines that the condition for terminating the flight imaging support processing is satisfied. .
  • the termination instruction reception determination unit 432 determines whether the communication device 312 has received the termination instruction.
  • the termination control section 434 controls the flight device 340 to terminate the flight.
  • the control to end the flight includes, for example, control to land the flying object 310, control to return the flying object 310 to the position where the flying object 310 started the flight imaging process, and/or control the flying object 310 to a pilot (not shown). ), and the like.
  • the termination control unit 434 adjusts the rotation speed of each propeller 341 by controlling a plurality of motors 342 via the motor driver 343 of the flight device 340 according to the termination instruction.
  • FIG. 34 to 42 the action of the imaging system S according to the first embodiment will be described with reference to FIGS. 34 to 42.
  • FIG. 34 An example of the flow of flight imaging support processing performed by the processor 51 of the base station 10 will be described with reference to FIGS. 34 to 39.
  • FIG. 34 An example of the flow of flight imaging support processing performed by the processor 51 of the base station 10 will be described with reference to FIGS. 34 to 39.
  • step ST10 the operation mode setting unit 102 sets the operation mode of the base station 10 to the flight route setting mode. After the process of step ST10 is executed, the flight imaging support process proceeds to step ST11.
  • step ST11 the first reception determination unit 112 determines whether or not the reception device 14 has received the measurement start instruction. In step ST11, if the measurement start instruction has not been received by the receiving device 14, the determination is negative, and the determination of step ST11 is performed again. In step ST11, when the measurement start instruction is accepted by the accepting device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST12.
  • step ST12 the first rotation control section 114 rotates the pedestal 27 from the first rotation position toward the second rotation position by controlling the rotary drive device 20 based on the measurement start instruction.
  • step ST13 the flight imaging support process proceeds to step ST13.
  • step ST13 the first imaging control unit 116 causes the imaging device 30 to image the wall surface 4.
  • step ST13 the flight imaging support process proceeds to step ST14.
  • step ST14 the image information storage control unit 118 causes the storage 52 to store image information generated by associating the rotation position of the base 27 with the image obtained at step ST13.
  • step ST14 the flight imaging support process proceeds to step ST15.
  • step ST15 the first ranging control unit 120 causes the ranging device 40 to scan the wall surface 4. After the process of step ST15 is executed, the flight imaging support process proceeds to step ST16.
  • step ST16 the distance information storage control unit 122 adds the rotational position detected by the rotation detector (not shown) and the rotational angle detected by the angle detector (not shown) to the distance measured in step ST15.
  • the storage 52 stores the distance information generated by associating the .
  • step ST17 the rotational position determination unit 124 determines whether or not the rotational position of the pedestal 27 has reached the second rotational position. In step ST17, if the rotational position of the pedestal 27 has not reached the second rotational position, the determination is negative, and the flight imaging support process proceeds to step ST13.
  • step ST13 and ST14 are repeatedly executed, so that from the first end side to the second end side of the wall surface 4, A plurality of areas to be imaged on the wall surface 4 are continuously imaged. Image information corresponding to each imaged area is stored in the storage 52 .
  • the steps ST15 and ST16 described above are repeatedly executed, thereby moving the wall surface 4 from the first end side to the second end side. A plurality of range-finding areas on the wall surface 4 are successively scanned by the laser light. Distance information corresponding to each ranging area is stored in the storage 52 .
  • step ST17 when the rotational position of the pedestal 27 reaches the second rotational position, the determination is affirmative, and the flight imaging support process proceeds to step ST18.
  • step ST18 the rotation stop control section 126 stops the rotation of the pedestal 27 by stopping the rotation of the rotary drive device 20.
  • the flight imaging support process proceeds to step ST20 shown in FIG.
  • step ST20 shown in FIG. 35 the image display control unit 128 causes the display 16 to display an image based on the image information stored in the storage 52.
  • the wall surface 4 is represented as an image in the image.
  • step ST21 the second reception determination unit 130 determines whether or not the inspection target surface designation information provided by the operator 5 has been received by the reception device 14. In step ST21, if the inspection target surface specification information has not been received by the receiving device 14, the determination is negative, and the determination of step ST21 is performed again. In step ST21, when the inspection target plane designation information is received by the receiving device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST22.
  • step ST22 the copying plane setting unit 132 sets the copying plane 6 that copies the inspection plane 4G based on the inspection plane designation information. After the process of step ST22 is executed, the flight imaging support process proceeds to step ST23.
  • step ST23 the smooth surface setting unit 134 sets the smooth surface 7 by smoothing the copying surface 6. After the process of step ST23 is executed, the flight imaging support process proceeds to step ST24.
  • step ST24 the distance determination unit 136 determines whether or not the distance between the inspection target surface 4G and the smooth surface 7 is constant based on the distance information stored in the storage 52. In step ST24, if the distance between the inspection target surface 4G and the smooth surface 7 is constant, the determination is affirmative, and the flight imaging support process proceeds to step ST25. In step ST24, if the distance between the inspection target surface 4G and the smooth surface 7 is not constant, the determination is negative, and the flight imaging support process proceeds to step ST28.
  • the first zoom magnification determining unit 138 determines the zoom magnification of the imaging device 330 of the flying object 310 to be the first zoom magnification.
  • the first zoom magnification is a zoom magnification at which the pixel resolution of the imaging device 330 is a default value.
  • step ST26 the first zoom magnification storage control section 140 causes the storage 52 to store the first zoom magnification determined by the first zoom magnification determination section 138.
  • FIG. After the process of step ST26 is executed, the flight imaging support process proceeds to step ST27.
  • step ST27 the first flight route setting section 142 sets a plurality of imaging positions 8A on the smooth surface 7 based on the first zoom magnification determined by the first zoom magnification determining section 138, thereby obtaining a plurality of A flight route 8 passing through the imaging position 8A is set.
  • the first flight route setting unit 142 images the inspection target surface 4G at the first zoom magnification determined by the first zoom magnification determining unit 138
  • the first flight route setting unit 142 selects adjacent imaging positions 8A among the plurality of imaging positions 8A.
  • a flight route 8 passing through the plurality of imaging positions 8A is set.
  • step ST28 the second zoom magnification determination unit 144 determines the zoom magnification of the imaging device 330 of the flying object 310 to be the second zoom magnification. After the process of step ST28 is executed, the flight imaging support process proceeds to step ST29.
  • step ST29 the second zoom magnification storage control section 146 stores the second zoom magnification determined by the second zoom magnification determination section 144 in the storage 52. After the process of step ST29 is executed, the flight imaging support process proceeds to step ST30.
  • step ST30 the second flight route setting section 148 sets a plurality of imaging positions 8A on the smooth surface 7 based on the second zoom magnification determined by the second zoom magnification determination section 144, thereby obtaining a plurality of A flight route 8 passing through the imaging position 8A is set. Even when the second zoom magnification is adjusted according to the distance between the inspection target surface 4G and the imaging position 8A in steps ST73 and ST74, which will be described later, the second flight route setting unit 148 sets a plurality of imaging positions 8A. By setting a plurality of imaging positions 8A at positions where the imaging ranges 331 of the imaging devices 330 partly overlap with each other at adjacent imaging positions 8A, a flight route 8 passing through the plurality of imaging positions 8A is set. After the process of step ST30 is executed, the flight imaging support process proceeds to step ST40 shown in FIG.
  • step ST40 shown in FIG. 36 the operation mode setting section 102 sets the operation mode of the base station 10 to the flight control mode. After the process of step ST40 is executed, the flight imaging support process proceeds to step ST41.
  • step ST41 the third reception determination unit 152 determines whether or not the reception device 14 has received the flight start instruction. In step ST41, if the instruction to start flight has not been received by the receiving device 14, the determination is negative, and the determination in step ST41 is performed again. In step ST41, when the instruction to start flight is accepted by the accepting device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST42.
  • step ST42 the second imaging control unit 154 causes the imaging device 30 to capture an imaging scene including the flying object 310.
  • the flight imaging support process proceeds to step ST43.
  • step ST43 the flying object position derivation unit 156 derives the position of the flying object 310 in the image obtained by being imaged by the imaging device 30. After the process of step ST43 is executed, the flight imaging support process proceeds to step ST44.
  • step ST44 based on the position of the flying object 310 in the image derived in step ST43, the positional deviation determination unit 158 determines whether the position of the flying object 310 is shifted from the central portion of the angle of view of the imaging device 30. determine whether or not In step ST44, if the flying object 310 is out of position with respect to the central portion of the angle of view, the determination is affirmative, and the flight imaging support process proceeds to step ST45. In step ST44, if the position of the flying object 310 is not shifted with respect to the central portion of the angle of view, the determination is negative, and the flight imaging support process proceeds to step ST46.
  • step ST45 the second rotation control unit 160 adjusts the rotation angle of the rotation drive device 20 to an angle at which the flying object 310 is positioned at the center of the angle of view of the imaging device 30.
  • step ST45 the flight imaging support process proceeds to step ST46.
  • step ST46 the second ranging control section 162 causes the ranging device 40 to scan the ranging range 41 with laser light. In this case, since the flying object 310 is positioned within the ranging range 41 of the ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained. After the process of step ST46 is executed, the flight imaging support process proceeds to step ST47.
  • step ST47 the flying object coordinate derivation unit 164 determines the absolute coordinates of the rotary drive device 20, the rotation angle of the rotary drive device 20, the angle of the laser light emitted from the rangefinder 40 toward the flying object 310, and the flight Based on the distance between the body 310 and the rangefinder 40, the absolute coordinates of the aircraft 310 are derived.
  • the flight imaging support process proceeds to step ST48.
  • step ST48 the imaging position arrival determination unit 166 determines whether the flying object 310 has reached the target imaging position 8A based on the absolute coordinates of the flying object 310 and the absolute coordinates of the target imaging position 8A derived in step ST47. determine whether In step ST48, if the flying object 310 has not reached the target imaging position 8A, the determination is negative, and the flight imaging support process proceeds to step ST49. In step ST48, when the flying object 310 reaches the target imaging position 8A, the determination is affirmative, and the flight imaging support process proceeds to step ST60 shown in FIG.
  • step ST49 the flight instruction generating unit 168 generates flight instructions for the flying object 310 based on the difference between the absolute coordinates of the flying object 310 derived at step ST47 and the absolute coordinates of the target imaging position 8A. After the process of step ST49 is executed, the flight imaging support process proceeds to step ST50.
  • step ST50 the flight instruction transmission control section 170 transmits flight instructions to the aircraft 310 via the communication device 12.
  • step ST50 the flight imaging support process proceeds to step ST42.
  • step ST48 the determination in step ST48 is affirmative, and the flight imaging support process proceeds to step ST60 shown in FIG. Transition.
  • step ST60 shown in FIG. 37 the operation mode setting unit 102 sets the operation mode of the base station 10 to the imaging control mode. After the process of step ST60 is executed, the flight imaging support process proceeds to step ST61.
  • step ST61 the hovering instruction transmission control section 172 transmits a hovering instruction to the aircraft 310 via the communication device 12.
  • the flight imaging support process proceeds to step ST62.
  • the hovering instruction is transmitted to the flying object 310 by executing the process of step ST61
  • the process of steps ST92 to ST94 (see FIG. 40) of the flight imaging process is executed by the processor 351 of the flying object 310.
  • a hovering report is transmitted from the aircraft 310 to the base station 10 by .
  • step ST62 the hovering report reception determining unit 174 determines whether or not the hovering report transmitted from the aircraft 310 has been received by the communication device 12. In step ST62, when the hovering report is not received by the communication device 12, the determination is negative, and the determination in step ST62 is performed again. In step ST62, when the hovering report is received by the communication device 12, the determination is affirmative, and the flight imaging support process proceeds to step ST63.
  • step ST63 the third imaging control unit 176 causes the imaging device 30 to capture an imaging scene including the flying object 310. After the process of step ST63 is executed, the flight imaging support process proceeds to step ST64.
  • step ST64 the flying object attitude identification unit 178 performs object recognition processing on the image obtained by the image pickup device 30, and based on the positions of the plurality of propellers 341 captured in the image. to identify the attitude of the aircraft 310 .
  • the flight imaging support process proceeds to step ST65.
  • step ST65 the attitude correction instruction generating section 180 generates an attitude correction instruction for the flying object 310 based on the attitude of the flying object 310 specified at step ST64.
  • step ST66 the flight imaging support process proceeds to step ST66.
  • step ST66 the attitude correction instruction transmission control section 182 transmits an attitude correction instruction to the aircraft 310 via the communication device 12.
  • the flight imaging support process proceeds to step ST70.
  • the attitude correction instruction is transmitted to the flying object 310 by executing the process of step ST66
  • the process of steps ST100 to ST102 (see FIG. 41) of the flight imaging process is executed by the processor 351 of the flying object 310, As a result, an attitude correction report is transmitted from the aircraft 310 to the base station 10 .
  • step ST70 the attitude correction report reception determination unit 184 determines whether or not the communication device 12 has received the attitude correction report transmitted from the aircraft 310. In step ST70, if the attitude correction report has not been received by the communication device 12, the determination is negative, and the determination in step ST70 is performed again. In step ST70, when the attitude correction report is received by the communication device 12, the determination is affirmative, and the flight imaging support process proceeds to step ST71.
  • the zoom magnification determination unit 186 determines whether the zoom magnification stored in the storage 52 at step ST26 or step ST29 is the first zoom magnification or the second zoom magnification. In step ST71, when the zoom magnification stored in the storage 52 is the first zoom magnification, the flight imaging support processing proceeds to step ST72. In step ST71, when the zoom magnification stored in the storage 52 is the second zoom magnification, the flight imaging support processing proceeds to step ST73.
  • step ST72 the first angle-of-view setting instruction transmission control unit 188 transmits a first angle-of-view setting instruction corresponding to the first zoom magnification to the aircraft 310 via the communication device 12.
  • step ST72 the flight imaging support process proceeds to step ST80.
  • the process of steps ST103 to ST105 (see FIG. 41) of the flight imaging process is executed by the processor 351 of the flying object 310.
  • a field angle setting report is transmitted from the aircraft 310 to the base station 10 by this.
  • step ST73 the distance derivation unit 190 derives the distance between the inspection target surface 4G and the target imaging position 8A based on the distance information stored in the storage 52 at step ST15. After the process of step ST73 is executed, the flight imaging support process proceeds to step ST74.
  • step ST74 the second angle-of-view setting instruction generation unit 192 adjusts the second zoom magnification to the zoom magnification that makes the pixel resolution of the imaging device 330 the default value described above, based on the distance derived in step ST73. Then, the second angle-of-view setting instruction generator 192 generates a second angle-of-view setting instruction corresponding to the second zoom magnification adjusted based on the distance derived in step ST73. After the process of step ST74 is executed, the flight imaging support process proceeds to step ST75.
  • step ST75 the second angle-of-view setting instruction transmission control unit 194 performs control to transmit the second angle-of-view setting instruction generated in step ST74 to the aircraft 310 via the communication device 12.
  • step ST80 the flight imaging support process proceeds to step ST80.
  • the process of steps ST103 to ST105 (see FIG. 41) of the flight imaging process is executed by the processor 351 of the flying object 310.
  • a field angle setting report is transmitted from the aircraft 310 to the base station 10 by this.
  • the flying object 310 transmits the angle of view setting report to the base station 10 by executing the process of step ST72, and the flying object 310 transmits the image to the base station 10 by executing the process of step ST75.
  • An angle setting report is sent. Therefore, in step ST80, the view angle setting report reception determination unit 196 determines whether or not the view angle setting report transmitted from the flying object 310 has been received by the communication device 12 or not. In step ST80, if the communication device 12 has not received the view angle setting report, the determination is negative, and the determination in step ST80 is performed again. In step ST80, if the communication device 12 receives the view angle setting report, the determination is affirmative, and the flight imaging support process proceeds to step ST81.
  • step ST81 the imaging instruction transmission control unit 198 transmits an imaging instruction to the flying object 310 via the communication device 12.
  • the flight imaging support process proceeds to step ST82.
  • the imaging instruction is transmitted to the flying object 310 by executing the process of step ST81
  • the process of steps ST110 to ST113 (see FIG. 42) of the flight imaging process is executed by the processor 351 of the flying object 310.
  • An imaging report is transmitted from the aircraft 310 to the base station 10 by .
  • step ST82 the imaging report reception determination unit 200 determines whether or not the imaging report transmitted from the flying object 310 has been received by the communication device 12. In step ST82, if the imaging report has not been received by the communication device 12, the determination is negative, and the determination in step ST82 is performed again. In step ST82, when the imaging report is received by the communication device 12, the determination is affirmative, and the flight imaging support process proceeds to step ST83.
  • step ST83 the termination determination unit 202 determines whether or not the conditions for terminating the flight imaging support process are satisfied.
  • An example of a condition for ending the flight imaging support process is that the number of imaging reports received in step ST82 (that is, the number of times the determination in step ST82 is affirmative) reaches the number of imaging positions 8A.
  • step ST83 if the condition for ending the flight imaging support process is not satisfied, the determination is negative, and the flight imaging support process proceeds to step ST42. Then, a plurality of images are acquired by repeatedly executing the flight imaging support process described above.
  • step ST83 if the condition for ending the flight imaging support process is satisfied, the determination is affirmative, and the flight imaging support process proceeds to step ST84.
  • step ST84 the termination instruction transmission control section 204 transmits an termination instruction to the aircraft 310 via the communication device 12. After the process of step ST84 is executed, the flight imaging support process ends.
  • FIG. 40 An example of the flow of flight imaging processing performed by the processor 351 of the flying object 310 will be described with reference to FIGS. 40 to 42.
  • FIG. 40 An example of the flow of flight imaging processing performed by the processor 351 of the flying object 310 will be described with reference to FIGS. 40 to 42.
  • step ST90 the flight instruction reception determination unit 402 determines whether or not the communication device 312 has received a flight instruction. In step ST90, if no flight instruction has been received by communication device 312, the determination is negative, and the flight imaging process proceeds to step ST92. In step ST90, if the communication device 312 receives a flight instruction, the determination is affirmative, and the flight imaging process proceeds to step ST91.
  • step ST91 the flight control section 404 controls the flight device 340 according to the flight instruction. After the process of step ST91 is executed, the flight imaging process proceeds to step ST92.
  • step ST92 the hovering instruction reception determination unit 406 determines whether or not the communication device 312 has received a hovering instruction. In step ST92, if no hovering instruction has been received by communication device 312, the determination is negative, and the flight imaging process proceeds to step ST100. In step ST92, if the hovering instruction is received by the communication device 312, the determination is affirmative, and the flight imaging process proceeds to step ST93.
  • step ST93 the hovering control section 408 causes the flying object 310 to hover.
  • step ST93 the flight imaging process proceeds to step ST94.
  • step ST94 the hovering report transmission control section 410 transmits the hovering report to the base station 10 via the communication device 312. After the process of step ST94 is executed, the flight imaging process proceeds to step ST100.
  • step ST100 the attitude correction instruction reception determination unit 412 determines whether or not the communication device 312 has received an attitude correction instruction. In step ST100, if the attitude correction instruction has not been received by the communication device 312, the determination is negative, and the flight imaging process proceeds to step ST103. In step ST100, if the communication device 312 receives an attitude correction instruction, the determination is affirmative, and the flight imaging process proceeds to step ST101.
  • step ST101 the attitude correction control section 414 corrects the attitude of the flying object 310 according to the attitude correction instruction.
  • step ST101 the attitude correction control section 414 corrects the attitude of the flying object 310 according to the attitude correction instruction.
  • step ST102 the attitude correction report transmission control section 416 transmits the attitude correction report to the base station 10 via the communication device 312 .
  • step ST102 the flight imaging process proceeds to step ST103.
  • step ST103 the angle-of-view setting instruction reception determination unit 418 determines whether or not the communication device 312 has received an angle-of-view setting instruction. In step ST103, if the communication device 312 has not received an angle-of-view setting instruction, the determination is negative, and the flight imaging process proceeds to step ST110. In step ST103, when the communication device 312 receives the angle of view setting instruction, the determination is affirmative, and the flight imaging process proceeds to step ST104.
  • step ST104 the field angle control unit 420 sets the field angle of the imaging device 330 to the field angle corresponding to the field angle setting instruction. After the process of step ST104 is executed, the flight imaging process proceeds to step ST105.
  • step ST105 the view angle setting report transmission control section 422 transmits the view angle setting report to the base station 10 via the communication device 312. After the process of step ST105 is executed, the flight imaging process proceeds to step ST110.
  • step ST110 the imaging instruction reception determination unit 424 determines whether or not the communication device 312 has received an imaging instruction. In step ST110, if the imaging instruction has not been received by communication device 312, the determination is negative, and the flight imaging process proceeds to step ST114. In step ST110, if the communication device 312 has received the imaging instruction, the determination is affirmative, and the flight imaging process proceeds to step ST111.
  • step ST111 the imaging control unit 426 causes the imaging device 330 to image the inspection target surface 4G. After the process of step ST111 is executed, the flight imaging process proceeds to step ST112.
  • step ST112 the image information storage control unit 118 causes the image memory 314 to store the image obtained by being imaged by the imaging device 330. After the process of step ST112 is executed, the flight imaging process proceeds to step ST113.
  • step ST113 the imaging report transmission control section 430 transmits the imaging report to the base station 10 via the communication device 312. After the process of step ST113 is executed, the flight imaging process proceeds to step ST114.
  • step ST114 the termination instruction reception determination unit 432 determines whether or not the communication device 312 has received the termination instruction. In step ST114, if the communication device 312 has not received the end instruction, the determination is negative, and the flight imaging process proceeds to step ST90. In step ST114, when the communication device 312 receives the end instruction, the determination is affirmative, and the flight imaging process proceeds to step ST115.
  • the termination control section 434 terminates the flight of the aircraft 310.
  • the control for ending the flight by the end control unit 434 includes, for example, control for landing the flying object 310, control for returning the flying object 310 to the position where the flying object 310 started the flight imaging process, and/or the flying object 310. Examples include control for switching to operation by a pilot (not shown). After the process of step ST115 is executed, the flight imaging process ends.
  • control method described as the action of the imaging system S described above is an example of the "control method” according to the technology of the present disclosure.
  • the processor 51 rotates the distance measuring device 40 with respect to the rotation driving device 20 to which the distance measuring device 40 is attached, and rotates the wall surface 4 with respect to the distance measuring device 40 .
  • the distance between the wall surface 4 and the distance measuring device 40 is measured at a plurality of distance measuring points.
  • the processor 51 sets a flight route 8 along which the aircraft 310 flies along the wall surface 4 based on the distances measured at each distance measurement point.
  • the processor 51 controls the flying object 310 to fly along the flight route 8 and controls the imaging device 330 mounted on the flying object 310 to image a plurality of areas to be imaged on the wall surface 4. . Therefore, for example, without using a satellite positioning system, the flying object 310 can fly along the wall surface 4 and a plurality of areas to be imaged on the wall surface 4 can be imaged by the imaging device 330 .
  • the processor 51 causes the flying object 310 to fly along the flight route 8 and causes the imaging device 330 mounted on the flying object 310 to image a plurality of areas to be imaged on the wall surface 4 .
  • control is performed to keep the pixel resolution of the imaging device 330 constant. Therefore, even if the wall surface 4 has a concave portion 4F, for example, the resolution of the image can be kept constant.
  • the processor 51 adjusts the rotation angle of the rotary drive device 20 to a rotation angle at which the flying object 310 is included in the ranging range 41 of the ranging device 40, The distance between the distance device 40 is measured. Then, the processor 51 controls the flying object 310 to fly along the flight route 8 based on the rotation angle of the rotary drive device 20 and the distance between the flying object 310 and the distance measuring device 40 . Therefore, for example, the flying object 310 can fly over a wider range than when the ranging range 41 of the ranging device 40 is fixed.
  • the processor 51 also calculates the absolute coordinates of the rotary drive device 20, the rotation angle of the rotary drive device 20, the angle of the laser beam emitted from the rangefinder 40 toward the aircraft 310, and the coordinates of the aircraft 310 and the rangefinder 40.
  • the absolute coordinates of the aircraft 310 are derived based on the distance between .
  • the flying object 310 is controlled to fly the flight route 8 . Therefore, for example, the flying object 310 can be flown along the wall surface 4 based on the absolute coordinates of the flying object 310 without using a satellite positioning system.
  • the processor 51 determines the rotation angle of the rotation drive device 20 based on the image obtained by imaging the flying object 310 with the imaging device 30 . control to adjust the rotation angle. Therefore, for example, the distance measuring range 41 of the distance measuring device 40 can be moved to follow the flying object 310 .
  • the processor 51 performs control to adjust the rotation angle of the rotary drive device 20 to an angle at which the flying object 310 is positioned at the center of the angle of view of the imaging device 30 . Therefore, for example, compared to the case where the rotation angle of the rotary drive device 20 is adjusted to an angle in which the flying object 310 is positioned outside the center of the angle of view of the imaging device 30, the flying object 310 does not move. Also, it is possible to prevent the flying object 310 from deviating from the angle of view of the imaging device 30 .
  • the flying object 310 includes a plurality of propellers 341 classified in different manners. Then, the processor 51 controls the attitude of the flying object 310 based on the positions of the propellers 341 captured in the images captured by the imaging device 30 . Therefore, for example, the attitude of the flying object 310 can be controlled with higher accuracy than when the plurality of propellers 341 are not classified in different manners.
  • the plurality of propellers 341 are classified by different colors. Therefore, for example, the attitude of the flying object 310 can be identified by a simple configuration in which the propellers 341 have different colors.
  • the flying object 310 acquires a plurality of images each time it reaches each of the plurality of imaging positions 8A set on the flight route 8. Therefore, for example, the condition of the wall surface 4 can be inspected by analyzing a plurality of images with the image analysis device 2 .
  • the plurality of imaging positions 8A are set at positions where the images acquired at adjacent imaging positions 8A among the plurality of imaging positions 8A partially overlap. Therefore, for example, the image analysis device 2 can recognize that the images are adjacent images based on the amount of overlap between the images.
  • the processor 51 operates at least one of the zoom lens 335C and the focus lens 335B of the imaging device 330 to keep the pixel resolution of the imaging device 330 constant. keep in control. Therefore, for example, even when the flying object 310 flies over the concave portion 4F, the pixel resolution of the imaging device 330 can be kept constant.
  • the flying object 310 may include a first member 360A, a second member 360B, a third member 360C, and a fourth member 360D.
  • the first member 360A is arranged on the front right side of the aircraft body 320
  • the second member 360B is arranged on the front left side of the aircraft body 320
  • the third member 360C is arranged on the aircraft body 320.
  • the fourth member 360D is arranged on the rear left side of the aircraft main body 320. As shown in FIG.
  • the first member 360A and the third member 360C are arranged on the right side with respect to the imaging device 330, and the second member 360B and the fourth member 360D are arranged on the left side with respect to the imaging device 330.
  • the first member 360A is arranged at a line-symmetrical position with respect to the second member 360B centering on the optical axis OA2 of the image pickup device 330 in plan view
  • the third member 360C is arranged at a line-symmetrical position with respect to the optical axis OA2 of the image pickup device 330 in plan view. centered on the fourth member 360D.
  • the first member 360A, the second member 360B, the third member 360C, and the fourth member 360D are examples of the "plurality of members" according to the technology of the present disclosure.
  • the first member 360A, the second member 360B, the third member 360C, and the fourth member 360D are classified with different colors as examples of different modes.
  • dots attached to the first member 360A, the second member 360B, the third member 360C, and the fourth member 360D express the color of each member.
  • the color of the first member 360A is the same as the color of the second member 360B, and the color of the third member 360C is the same as the color of the fourth member 360D.
  • the first color set for the first member 360A and the second member 360B is different from the second color set for the third member 360C and the fourth member 360D.
  • the first color and the second color may each be chromatic or achromatic.
  • the first color and the second color can be identified based on an image obtained by the processor 51 (see FIG. 4) of the base station 10 (described later) being imaged by the imaging device 30. Any color may be used as long as it is a color.
  • the first color is set for the first member 360A and the second member 360B
  • the second color is set for the third member 360C and the fourth member 360D
  • the first color may be set for the first member 360A and the third member 360C
  • the second color may be set for the second member 360B and the fourth member 360D
  • a first color may be set for the first member 360A and the fourth member 360D
  • a second color may be set for the second member 360B and the third member 360C.
  • different colors may be set for the first member 360A, the second member 360B, the third member 360C, and the fourth member 360D.
  • first member 360A, the second member 360B, the third member 360C, and the fourth member 360D may be light emitters that emit light of different colors as examples of different modes. Furthermore, the first member 360A, the second member 360B, the third member 360C, and the fourth member 360D may be light emitters that blink in different blinking patterns as examples of different modes.
  • the processor 51 instead of the distance determination unit 136, the processor 51 performs image recognition processing on the image information stored in the storage 52, and the image represented by the image information corresponds to the concave portion 4F. By determining whether an image is included, it may be determined whether or not the surface 4G to be inspected has the concave portion 4F.
  • the processing by the first zoom magnification determination unit 138, the first zoom magnification storage control unit 140, and the first flight route setting unit 142 is executed, and the inspection target surface 4G is does not have the concave portion 4F, the processing by the second zoom magnification determination section 144, the second zoom magnification storage control section 146, and the second flight route setting section 148 may be executed. Even in this case, the image resolution can be kept constant.
  • the processor 51 determines whether or not the surface 4G to be inspected has the recessed portion 4F, and when it is determined that the surface 4G to be inspected has the recessed portion 4F, the area of the opening 4F1 of the recessed portion 4F is predetermined. You may determine whether it is smaller than an area.
  • the predetermined opening area is set, for example, to be less than the area that allows the flying object 310 to enter the recess 4F.
  • the processor 51 may set the flight route 8 along the inspection target surface 4G.
  • the processor 51 determines that the surface to be inspected 4G has the concave portion 4F and the area of the opening portion 4F1 of the concave portion 4F is equal to or larger than the predetermined area, the processor 51 performs flight along the inner surface of the concave portion 4F along the copying surface 6.
  • Route 8 may be set.
  • the processor 51 determines that the surface to be inspected 4G has the recessed portion 4F and the area of the opening 4F1 of the recessed portion 4F is smaller than the predetermined area, the processor 51 determines that the smooth surface facing the surface to be inspected 4G having the recessed portion 4F has the recessed portion 4F.
  • a flight route 8 may be set on the surface 7 (that is, a smooth virtual surface facing the inspection target surface 4G). Even in this case, the image resolution can be kept constant.
  • the inspection object 3 has the concave portion 4F, but may have a convex portion instead of the concave portion 4F.
  • the processor 51 causes the flying object 310 to fly along the flight route 8 and causes the imaging device 330 mounted on the flying object 310 to image the inspection target surface 4G, thereby acquiring a plurality of images.
  • control may be performed to keep the pixel resolution of the imaging device 330 constant.
  • the imaging system S includes a first base station 10A and a second base station 10B as an example of a plurality of base stations.
  • the imaging system S includes a controller 60 common to the first base station 10A and the second base station 10B.
  • Controller 60 comprises accepting device 14 , display 16 and computer 150 .
  • a computer 150 includes a processor 51, a storage 52, and a RAM 53, and the processor 51, storage 52, RAM 53, reception device 14, and display 16 are connected to a bus, as in the first embodiment.
  • Each base station 10 includes a rotation drive device 20 , an imaging device 30 and a distance measuring device 40 .
  • the rotary drive device 20 , imaging device 30 , and distance measuring device 40 are electrically connected to the controller 60 .
  • the configurations of the rotary drive device 20, the imaging device 30, and the distance measuring device 40 are the same as in the first embodiment.
  • the first base station 10A and the second base station 10B can image the wall surface 4 of the inspection object 3 with the imaging device 30, and measure the distance between the wall surface 4 and the distance measuring device 40 with the distance measuring device 40. Installed in a measurable position. For example, if the inspection object 3 is a bridge across a river, the first base station 10A is installed on one side of the river, and the second base station 10B is installed on the other side of the river.
  • the first base station 10A and the second base station 10B are installed at positions where the ranging areas of the respective ranging devices 40 partially overlap.
  • the example which the rangefinder 40 irradiates a laser beam toward diagonally upward as an example is demonstrated.
  • the rotary drive device 20, the imaging device 30, and the distance measuring device 40 of the first base station 10A are the “first rotary driving device”, the “first imaging device”, and the “first distance measuring device” according to the technology of the present disclosure.
  • the rotary drive device 20, the imaging device 30, and the distance measuring device 40 of the second base station 10B are the "second rotary driving device”, the “second imaging device”, and the “second distance measuring device” according to the technology of the present disclosure. is an example of
  • the flight route setting processing unit 104 includes a first acceptance determination unit 112, a first rotation control unit 114, a first imaging control unit 116, an image information storage control unit 118, a first ranging control unit 120, distance information storage control unit 122, rotation position determination unit 124, rotation stop control unit 126, image display control unit 128, second acceptance determination unit 130, copying surface setting unit 132, smooth surface setting unit 134, distance determination unit 136, a first zoom magnification determination unit 138, a first zoom magnification storage control unit 140, a first flight route setting unit 142, a second zoom magnification determination unit 144, a second zoom magnification storage control unit 146, and a second flight route setting
  • the unit 148 it has a calibration information derivation unit 212 and a calibration information storage control unit 214 .
  • the flight control processing unit 106 includes a third reception determination unit 152, a second imaging control unit 154, an aircraft position derivation unit 156, a position deviation determination unit 158, a second rotation control unit 160,
  • the first aircraft determination section 216 is provided.
  • the imaging control processing unit 108 includes a hovering instruction transmission control unit 172, a hovering report reception determination unit 174, a third imaging control unit 176, an aircraft attitude identification unit 178, and an attitude correction instruction generation unit 180.
  • attitude correction instruction transmission control unit 182 attitude correction report reception determination unit 184
  • zoom magnification determination unit 186 first angle of view setting instruction transmission control unit 188
  • distance derivation unit 190 second angle of view setting instruction generation unit 192
  • angle-of-view setting report reception determination unit 196 the imaging instruction transmission control unit 198
  • imaging report reception determination unit 200 the end determination unit 202
  • end instruction transmission control unit 204 It has two flying object determination units 218 .
  • worker 5 gives a measurement start instruction to reception device 14 .
  • the first reception determination unit 112 determines whether or not the measurement start instruction has been received by the reception device 14 .
  • the first rotation control unit 114 moves the pedestal 27 to the first rotation position with respect to the rotation drive device 20 of each base station 10 . to the second rotation position.
  • An example in which the first rotation control unit 114 synchronously rotates the pedestals 27 of the base stations 10 will be described below as an example.
  • the first imaging control unit 116 controls the imaging device 30 of each base station 10 to image the wall surface 4 .
  • the image information storage control unit 118 detects images obtained by imaging by the imaging device 30 of each base station 10 using a rotation detector (not shown) provided on the pan/tilt mechanism 26 and/or the pedestal 27. Image information is generated by associating the detected rotational position of the pedestal 27 and the image information is stored in the storage 52 .
  • the first ranging control unit 120 controls the ranging device 40 of each base station 10 to scan the wall surface 4 with laser light. In one scan of the distance measuring device 40 of each base station 10, the distance between the wall surface 4 and the distance measuring device 40 is measured at a plurality of distance measuring points on a part of the wall surface 4 in the horizontal direction.
  • the measurement of the first base station 10A A ranging point measured by the ranging device 40 is called a first ranging point, and a ranging point measured by the ranging device 40 of the second base station 10B is called a second ranging point.
  • the first ranging point is an example of the "first ranging point” according to the technology of the present disclosure
  • the second ranging point is an example of the "first ranging point” according to the technology of the present disclosure
  • the distance between the wall surface 4 and the range finder 40 measured by the range finder 40 of the first base station 10A is an example of the "first distance” according to the technology of the present disclosure
  • the distance of the second base station 10B The distance between the wall surface 4 and the distance measuring device 40 measured by the distance measuring device 40 is an example of the "second distance” according to the technology of the present disclosure.
  • the distance information storage control unit 122 stores the distance measured for each distance measurement point in each base station 10 by the pedestal detected by the rotation detector (not shown) provided on the pan/tilt mechanism 26 and/or the pedestal 27. 27 and the rotation angle of the scanner mirror 47 detected by an angle detector (not shown) provided on the scanner mirror 47 to generate distance information and store the distance information in the storage 52.
  • the rotational position determination unit 124 determines whether or not the rotational position of the pedestal 27 of each base station 10 has reached the second rotational position.
  • the rotational position determination unit 124 compares the rotational position of the pedestal 27 detected by, for example, the pan-tilt mechanism 26 and/or a rotation detector (not shown) provided on the pedestal 27 with the position of the second rotational position. determines whether or not the rotational position of the pedestal 27 has reached the second rotational position.
  • the rotation stop control unit 126 causes each rotary drive device 20 to rotate the pedestal 27. Control to stop.
  • the imaging device 30 captures images of the wall surface 4 a plurality of times
  • the distance measuring device 40 captures images of the wall surface 4 . Image information and distance information corresponding to the wall surface 4 are obtained by scanning the wall surface 4 in a plurality of times.
  • the image display control unit 128 displays an image (that is, an image showing the wall surface 4) on the display 16 based on the image information stored in the storage 52. Control the display.
  • the operator 5 determines the inspection target surface 4G to be inspected by the flying object 310. Then, the worker 5 provides the reception device 14 with inspection target surface designation information indicating that the inspection target surface 4G is designated.
  • inspection target surface designation information indicating that the inspection target surface 4G is designated.
  • the operator 5 determines a plurality of positions on the wall surface 4 from areas where the range-finding areas of the range-finding devices 40 overlap. Then, position specifying information for specifying a plurality of positions is given to the receiving device 14 .
  • An example in which the points A and B of the wall surface 4 are determined as a plurality of positions on the wall surface 4 as shown in FIG. 50 will be described below. Points A and B are horizontally and vertically separated from each other.
  • the second reception determination unit 130 determines whether or not the inspection target surface designation information and the position designation information have been received by the reception device 14 .
  • the calibration information derivation unit 212 derives calibration information based on the position designation information and the distance information.
  • the calibration information is the distance measured by the distance measuring device 40 of the second base station 10B (that is, the distance between the wall surface 4 and the second base station 10B) and the This is information for conversion into a distance based on the position of the distance measuring device 40 .
  • the calibration information is for converting the position of the flying object 310 measured by the rangefinder 40 of the second base station 10B into a position based on the position of the rangefinder 40 of the first base station 10A.
  • Information Specifically, the calibration information derivation unit 212 derives the calibration information in the following procedure.
  • the calibration information derivation unit 212 calculates the length La1 of the side A1 based on the distance information.
  • a side A1 is a side connecting the point A and the point C1 of the first base station 10A.
  • calibration information derivation section 212 calculates angle ⁇ ac1 based on the distance information.
  • the angle ⁇ ac1 is the angle formed by the side A1 and the side C.
  • a side C is a side connecting a point C1 of the first base station 10A and a point C2 of the second base station 10B.
  • the calibration information derivation unit 212 calculates the length Lb1 of the side B1 based on the distance information.
  • a side B1 is a side connecting a point C1 and a point B indicating the position where the first base station 10A is installed.
  • the calibration information derivation unit 212 calculates the angle ⁇ bc1 based on the distance information.
  • the angle ⁇ bc1 is the angle formed by the side B1 and the side C.
  • the calibration information derivation unit 212 calculates the angle ⁇ ab1 based on the following formula (1).
  • the angle ⁇ ab1 is the angle formed by the side A1 and the side B1.
  • the calibration information derivation unit 212 calculates the length La2 of the side A2 based on the distance information.
  • Side A2 is a side connecting point A and point C2 indicating the position where the second base station 10B is installed.
  • the calibration information deriving section 212 calculates the angle ⁇ ac2 based on the distance information.
  • the angle ⁇ ac2 is the angle formed by the side A2 and the side C.
  • the calibration information derivation unit 212 calculates the length Lb2 of the side B2 based on the distance information.
  • a side B2 is a side connecting the point C2 and the point B of the second base station 10B.
  • the calibration information deriving section 212 calculates the angle ⁇ bc2 based on the distance information.
  • the angle ⁇ bc2 is the angle formed by the side B2 and the side C.
  • the calibration information derivation unit 212 calculates the angle ⁇ ab2 based on the following formula (2).
  • the angle ⁇ ab2 is the angle formed by the side A2 and the side B2.
  • the calibration information derivation unit 212 calculates the angle ⁇ 1 based on the following formula (3) based on the law of cosines.
  • the angle ⁇ 1 is the angle between the side A1 and the side AB.
  • a side AB is a side connecting the points A and B.
  • the calibration information derivation unit 212 calculates the angle ⁇ 2 based on the following formula (4) based on the law of cosines.
  • the angle ⁇ 2 is the angle between the side A2 and the side AB.
  • the calibration information derivation unit 212 calculates the angle ⁇ based on the following formula (5).
  • the calibration information derivation unit 212 calculates the length Lc of the side C based on the following formula (6) based on the law of cosines. Also, the calibration information derivation unit 212 derives the coordinates of the side C as an angle reference.
  • the length Lc calculated by Equation (6) (that is, the first base station 10A and the second base station 10B ), the length Ld2 and the angle ⁇ 2 of the side D2 measured at the second base station 10B can be obtained from the first base station 10A based on the following equations (7) and (8): It can be converted into the length Ld1 and the angle ⁇ 1 of the side D1 which are measured in a pseudo manner.
  • the side D1 is the side connecting the position D and the point C1 of the first base station 10A
  • the side D2 is the side connecting the position D and the point C2 of the second base station 10B.
  • Angle ⁇ 1 and angle ⁇ 2 are angles with side C as a reference.
  • the angle ⁇ 1 is the angle formed by the side D1 and the side C
  • the angle ⁇ 2 is the angle formed by the side D2 and the side C.
  • the distance measured by the distance measuring device 40 of the second base station 10B is converted into a distance based on the position of the first base station 10A by the following formula (7).
  • the position of the first base station 10A is synonymous with the position of the ranging device 40 of the first base station 10A.
  • the rotation angle of the rotary drive device 20 of the second base station 10B is converted into an angle based on the position of the first base station 10A by the following formula (8).
  • the calibration information storage control unit 214 uses the conversion formula obtained by substituting the value of the length Lc calculated by the formula (6) into the following formulas (7) and (8) and the coordinates of the side C as calibration information. Store in the storage 52 .
  • the calibration information stored in the storage 52 is an example of "default first calibration information" and "default second calibration information” according to the technology of the present disclosure.
  • the image display control unit 128 displays an image (that is, an image of the wall surface 4) on the display 16 based on the image information stored in the storage 52. Control to display.
  • the operator 5 determines the inspection target surface 4G based on the image displayed on the display 16. Then, the worker 5 provides the reception device 14 with inspection target surface designation information indicating that the inspection target surface 4G is designated.
  • the second reception determination unit 130 determines whether or not the inspection target surface specification information has been received by the reception device 14 .
  • the copying surface setting unit 132 sets the copying surface 6 based on the inspection surface designation information.
  • the scanning surface 6 is the first scanning surface 6A positioned within the ranging area of the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B. and a second copying surface 6B positioned within the range-finding area of .
  • the scanning plane setting unit 132 sets the second scanning plane 6B based on the calibration information stored in the storage 52, based on the relative coordinates with reference to the position of the first base station 10A.
  • a copy plane 6B is set.
  • the entire copying surface 6 is set based on the relative coordinates based on the position of the first base station 10A.
  • the smooth surface setting unit 134 smoothes the copying surface 6 to set the smooth surface 7 (that is, the smooth virtual surface facing the wall surface 4). Like the copying surface 6, the smooth surface 7 is also set based on relative coordinates with reference to the position of the first base station 10A. The method by which the smooth surface setting unit 134 sets the smooth surface 7 is the same as in the first embodiment.
  • the functions of the magnification storage control unit 146 and the second flight route setting unit 148 are the same as in the first embodiment.
  • the first flight route setting unit 142 or the second flight route setting unit 148 sets a flight route 8 passing through a plurality of imaging positions 8A.
  • the flight route 8 is set by relative coordinates based on the position of the first base station 10A.
  • the flying object 310 is arranged within the imaging range 31 of the imaging device 30 of the first base station 10A.
  • the operator 5 issues a flight start instruction to the reception device 14 when the aircraft 310 is ready to start flying.
  • the third reception determination unit 152 determines whether or not the flight start instruction has been received by the reception device 14 .
  • the second imaging control unit 154 controls the imaging device 30 of each base station 10 to image the imaging scene. .
  • the first flying object determination unit 216 performs object recognition processing on images obtained by imaging by the imaging device 30 of each base station 10, thereby determining the first base station 10A and the second base station 10B. It is determined which of the images obtained by the base station 10 has the flying object 310 as an image. According to the determination result of the first flying object determination unit 216, as will be described later, the position of the flying object 310 of the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B is measured. A range finder 40 is selected.
  • the flying object position deriving unit 156 executes object recognition processing on an image in which the flying object 310 is shown as an image, out of the images obtained by the first base station 10A or the images obtained by the second base station 10B. Thus, the position in the image of the flying object 310 included as an image in the image is derived.
  • the positional deviation determining unit 158 Based on the position of the flying object 310 in the image derived by the flying object position deriving unit 156, the positional deviation determining unit 158 adjusts the central portion of the angle of view of the imaging device 30 of the first base station 10A or the second base station 10B. It is determined whether or not the position of the flying object 310 is displaced with respect to .
  • the second rotation control unit 160 controls the rotation angle in the horizontal direction and/or the vertical direction of the rotary drive device 20. is adjusted to an angle at which the flying object 310 is positioned at the center of the angle of view of the imaging device 30 .
  • the second ranging control unit 162 determines whether the flying object 310 of the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B A range finder 40 is selected to measure the position. That is, the second ranging control unit 162 selects the base station 10A or the second base station 10B from which the first flying object determination unit 216 determines that an image of the flying object 310 is obtained. The range finder 40 of the station 10 is selected as the range finder 40 for measuring the position of the aircraft 310 .
  • the second ranging control unit 162 uses the laser beam to measure the distance measuring device 40 selected from the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B. Control to scan the distance range 41 is performed. In this case, since the flying object 310 is positioned within the ranging range 41 of the selected ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained.
  • the flying object coordinate deriving unit 164 determines that the first flying object determining unit 216 has obtained an image of the flying object 310 from the first base station 10A and the second base station 10B. , the rotation angle of the rotation drive device 20, the angle of the laser beam irradiated from the rangefinder 40 toward the aircraft 310, and the distance between the aircraft 310 and the rangefinder 40, each base station Derive the relative coordinates of the vehicle 310 with respect to the 10 positions.
  • the flying object coordinate derivation unit 164 calculates the second base station based on the calibration information stored in the storage 52.
  • the relative coordinates of the aircraft 310 based on the position of 10B are converted into relative coordinates based on the position of the first base station 10A. That is, the position of the aircraft 310 measured by the rangefinder 40 of the second base station 10B is converted into a position based on the position of the first base station 10A.
  • the imaging position arrival determination unit 166 determines the coordinates of the flying object 310 derived by the flying object coordinates deriving unit 164, and the imaging position 8A closest to the flying object 310 among the plurality of imaging positions 8A (hereinafter referred to as the target imaging position 8A). ), it is determined whether or not the flying object 310 has reached the target imaging position 8A. Both the coordinates of the aircraft 310 and the coordinates of the target imaging position 8A are relative coordinates based on the position of the first base station 10A.
  • the flight instruction generating unit 168 combines the coordinates of the flying object 310 derived by the flying object coordinates deriving unit 164 with the target.
  • a flight instruction for the flying object 310 is generated based on the difference between the coordinates of the imaging position 8A.
  • the flight instruction transmission control unit 170 controls transmission of flight instructions to the aircraft 310 via the communication device 12 .
  • the flying object 310 flies toward the target imaging position 8A according to the flight instruction.
  • the hovering instruction transmission control unit 172 controls the communication device 12 to control to transmit a hovering instruction to the flying object 310.
  • the hovering report reception determination unit 174 determines whether the communication device 12 has received a hovering report transmitted from the flying object 310 as the flying object 310 hovers.
  • the third imaging control unit 176 controls the imaging device 30 of each base station 10 to capture the imaging scene.
  • the second flying object determination unit 218 performs object recognition processing on images obtained by imaging by the imaging device 30 of each base station 10, thereby determining the first base station 10A and the second base station 10B. It is determined which of the images obtained by the base station 10 has the flying object 310 as an image.
  • the flying object attitude identification unit 178 executes object recognition processing on an image in which the flying object 310 is shown as an image among the images obtained by the first base station 10A and the images obtained by the second base station 10B.
  • the attitude of the flying object 310 is specified based on the positions of the propellers 341 captured in the image.
  • the attitude correction instruction generating unit 180 generates an attitude correction instruction for the flying object 310 based on the attitude of the flying object 310 identified by the flying object attitude identifying unit 178 .
  • the attitude correction instruction transmission control unit 182 performs control for transmitting an attitude correction instruction to the aircraft 310 via the communication device 12 . As a result, the attitude of the flying object 310 is corrected.
  • the attitude correction report reception determination unit 184 the zoom magnification determination unit 186, the first angle of view setting instruction transmission control unit 188, the distance derivation unit 190, the second angle of view setting instruction generation unit 192, and the second angle of view
  • the functions of the setting instruction transmission control unit 194, the view angle setting report reception determination unit 196, the imaging instruction transmission control unit 198, the imaging report reception determination unit 200, the end determination unit 202, and the end instruction transmission control unit 204 are the same as those in the first embodiment. is similar to
  • FIG. 55 An example of the flow of flight imaging support processing performed by the processor 51 of the controller 60 in the imaging system S according to the second embodiment will be described with reference to FIGS. 55 to 59.
  • FIG. 55 An example of the flow of flight imaging support processing performed by the processor 51 of the controller 60 in the imaging system S according to the second embodiment will be described with reference to FIGS. 55 to 59.
  • step ST210 the operation mode setting section 102 sets the operation mode of the base station 10 to the flight route setting mode. After the process of step ST210 is executed, the flight imaging support process proceeds to step ST211.
  • step ST211 the first reception determination section 112 determines whether or not the reception device 14 has received the measurement start instruction. In step ST211, if the measurement start instruction has not been received by the receiving device 14, the determination is negative, and the determination in step ST211 is performed again. In step ST211, when the measurement start instruction is accepted by the accepting device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST212.
  • step ST212 the first rotation control section 114 rotates the pedestal 27 from the first rotation position toward the second rotation position by controlling the rotary drive device 20 of each base station 10 based on the measurement start instruction. After the process of step ST212 is executed, the flight imaging support process proceeds to step ST213.
  • step ST213 the first imaging control unit 116 causes the imaging device 30 of each base station 10 to image the wall surface 4.
  • step ST213 the flight imaging support process proceeds to step ST214.
  • step ST214 the image information storage control unit 118 causes the storage 52 to store the image information generated by associating the rotation position detected by the rotation detector with the image obtained in each base station 10 in step ST213. After the process of step ST214 is executed, the flight imaging support process proceeds to step ST215.
  • step ST215 the first ranging control unit 120 causes the ranging device 40 of each base station 10 to scan the wall surface 4. After the process of step ST215 is executed, the flight imaging support process proceeds to step ST216.
  • step ST216 distance information storage control section 122 associates the rotational position detected by the rotation detector and the rotational angle detected by the angle detector with the distance measured at each base station 10 in step ST215.
  • the distance information generated by is stored in the storage 52 .
  • step ST217 the rotational position determination unit 124 determines whether or not the rotational position of the pedestal 27 of each base station 10 has reached the second rotational position. In step ST217, if the rotational position of the pedestal 27 of each base station 10 has not reached the second rotational position, the determination is negative, and the flight imaging support process proceeds to step ST213.
  • step ST213 and ST214 are repeatedly executed, so that a plurality of areas to be imaged on the wall surface 4 are continuously captured. imaged. Image information corresponding to each imaged area is stored in the storage 52 . Further, by repeatedly executing the above-described steps ST215 and ST216 until the rotational position of the pedestal 27 of each base station 10 reaches the second rotational position, the plurality of ranging areas of the wall surface 4 are respectively It is continuously scanned by laser light. Distance information corresponding to each ranging area is stored in the storage 52 . In step ST217, when the rotational position of the pedestal 27 of each base station 10 reaches the second rotational position, the determination is affirmative, and the flight imaging support process proceeds to step ST218.
  • step ST218 the rotation stop control section 126 stops the rotation of the pedestal 27 by stopping the rotation of the rotary drive device 20 of each base station 10. After the process of step ST218 is executed, the flight imaging support process proceeds to step ST220.
  • step ST220 the image display control unit 128 causes the display 16 to display an image based on the image information stored in the storage 52.
  • the wall surface 4 is represented as an image in the image.
  • step ST221 the second reception determination unit 130 determines whether or not the inspection surface designation information and the position designation information provided by the worker 5 have been received by the reception device 14. In step ST221, if the inspection target surface designation information and the position designation information have not been received by the reception device 14, the determination is negative, and the determination in step ST221 is performed again. In step ST221, if the inspection target surface designation information and the position designation information are received by the reception device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST221A.
  • step ST221A the calibration information derivation unit 212 derives calibration information based on the position designation information and the distance information. After the process of step ST221A is executed, the flight imaging support process proceeds to step ST221B.
  • step ST221B the calibration information storage control section 214 stores the calibration information in the storage 52. After the process of step ST221B is executed, the flight imaging support process proceeds to step ST222.
  • step ST222 the copying plane setting unit 132 sets the copying plane 6 that copies the inspection plane 4G based on the inspection plane designation information and the calibration information. After the process of step ST222 is executed, the flight imaging support process proceeds to step ST223.
  • step ST223 the smooth surface setting section 134 sets the smooth surface 7 by smoothing the copy surface 6. After the process of step ST223 is executed, the flight imaging support process proceeds to step ST224.
  • step ST224 the distance determination unit 136 determines whether or not the distance between the inspection target surface 4G and the smooth surface 7 is constant based on the distance information stored in the storage 52. In step ST224, if the distance between the inspection target surface 4G and the smooth surface 7 is constant, the determination is affirmative, and the flight imaging support process proceeds to step ST225. In step ST224, if the distance between the surface 4G to be inspected and the smooth surface 7 is not constant, the determination is negative, and the flight imaging support process proceeds to step ST228.
  • the first zoom magnification determination unit 138 determines the zoom magnification of the imaging device 330 of the flying object 310 to be the first zoom magnification.
  • the first zoom magnification is a zoom magnification at which the pixel resolution of the imaging device 330 is a default value.
  • step ST226 the first zoom magnification storage control section 140 stores the first zoom magnification determined by the first zoom magnification determination section 138 in the storage 52. After the process of step ST226 is executed, the flight imaging support process proceeds to step ST227.
  • step ST227 the first flight route setting section 142 sets a plurality of imaging positions 8A on the smooth surface 7 based on the first zoom magnification determined by the first zoom magnification determining section 138, thereby obtaining a plurality of A flight route 8 passing through the imaging position 8A is set.
  • the first flight route setting unit 142 images the inspection target surface 4G at the first zoom magnification determined by the first zoom magnification determining unit 138
  • the first flight route setting unit 142 selects adjacent imaging positions 8A among the plurality of imaging positions 8A.
  • a flight route 8 passing through the plurality of imaging positions 8A is set.
  • step ST228 the second zoom magnification determination unit 144 determines the zoom magnification of the imaging device 330 of the flying object 310 to be the second zoom magnification. After the process of step ST228 is executed, the flight imaging support process proceeds to step ST229.
  • step ST229 the second zoom magnification storage control section 146 causes the storage 52 to store the second zoom magnification determined by the second zoom magnification determination section 144.
  • FIG. After the process of step ST229 is executed, the flight imaging support process proceeds to step ST230.
  • step ST230 the second flight route setting section 148 sets a plurality of imaging positions 8A on the smooth surface 7 based on the second zoom magnification determined by the second zoom magnification determining section 144, thereby obtaining a plurality of A flight route 8 passing through the imaging position 8A is set. Even when the second zoom magnification is adjusted according to the distance between the inspection target surface 4G and the imaging position 8A in steps ST273 and ST274, which will be described later, the second flight route setting unit 148 sets a plurality of imaging positions 8A. By setting a plurality of imaging positions 8A at positions where the imaging ranges 331 of the imaging devices 330 partly overlap with each other at adjacent imaging positions 8A, a flight route 8 passing through the plurality of imaging positions 8A is set. After the process of step ST230 is executed, the flight imaging support process proceeds to step ST240.
  • step ST240 operation mode setting section 102 sets the operation mode of base station 10 to flight control mode. After the process of step ST240 is executed, the flight imaging support process proceeds to step ST241.
  • step ST241 the third reception determination unit 152 determines whether or not the instruction to start flight has been received by the reception device 14. In step ST241, if the instruction to start flight has not been received by the reception device 14, the determination is negative, and the determination in step ST241 is performed again. In step ST241, when the instruction to start flight is accepted by the accepting device 14, the determination is affirmative, and the flight imaging support process proceeds to step ST242.
  • step ST242 the second imaging control unit 154 causes the imaging device 30 of each base station 10 to image the imaging scene.
  • step ST242 the flight imaging support process proceeds to step ST242A.
  • step ST242A the first flying object determination unit 216 executes object recognition processing on the images obtained by the imaging device 30 of each base station 10, so that the first base station 10A and the first base station 10A It is determined which base station 10 of the two base stations 10B has an image in which the aircraft 310 is captured.
  • step ST242A if the first flying object determination unit 216 determines that the flying object 310 is shown as an image in the image obtained by the first base station 10A, the flight imaging support process proceeds to step ST243A. do.
  • step ST242A if the first flying object determination unit 216 determines that the flying object 310 is shown as an image in the image obtained by the second base station 10B, the flight imaging support process proceeds to step ST243B. do.
  • step ST243A the flying object position deriving unit 156 derives the position of the flying object 310 in the image obtained by being imaged by the imaging device 30 of the first base station 10A. After the process of step ST243A is executed, the flight imaging support process proceeds to step ST244A.
  • step ST244A the positional deviation determination unit 158 determines the position of the flying object 310 relative to the central portion of the angle of view of the imaging device 30 of the first base station 10A based on the position of the flying object 310 in the image derived in step ST243A. is out of position.
  • step ST244A if the position of flying object 310 is deviated from the central portion of the angle of view of first base station 10A, the determination is affirmative, and the flight imaging support process proceeds to step ST245A.
  • step ST244A if the position of flying object 310 is not shifted with respect to the central portion of the angle of view, the determination is negative, and the flight imaging support process proceeds to step ST246A.
  • step ST245A the second rotation control unit 160 adjusts the rotation angle of the rotation drive device 20 of the first base station 10A to an angle at which the aircraft 310 is positioned at the center of the angle of view of the imaging device 30.
  • step ST245A the flight imaging support process proceeds to step ST246A.
  • step ST243B the flying object position deriving unit 156 derives the position of the flying object 310 in the image obtained by being imaged by the imaging device 30 of the second base station 10B. After the process of step ST243 is executed, the flight imaging support process proceeds to step ST244B.
  • step ST244B based on the position of the flying object 310 in the image derived in step ST243B, the positional deviation determination unit 158 determines whether the flying object 310 is positioned relative to the central portion of the angle of view of the imaging device 30 of the second base station 10B. is out of position.
  • step ST244B if the position of flying object 310 is deviated from the central portion of the angle of view of second base station 10B, the determination is affirmative, and the flight imaging support process proceeds to step ST245B.
  • step ST244B if the position of flying object 310 is not shifted with respect to the central portion of the angle of view, the determination is negative, and the flight imaging support process proceeds to step ST246B.
  • step ST245B the second rotation control unit 160 adjusts the rotation angle of the rotation drive device 20 of the second base station 10B to an angle at which the aircraft 310 is positioned at the center of the angle of view of the imaging device 30.
  • step ST245B the flight imaging support process proceeds to step ST246B.
  • step ST246A the second ranging control section 162 causes the ranging device 40 of the first base station 10A to scan the ranging range 41 with laser light. In this case, since the flying object 310 is positioned within the ranging range 41 of the ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained.
  • step ST246A the flight imaging support process proceeds to step ST247A.
  • step ST247A the flying object coordinate derivation unit 164 calculates the rotation angle of the rotary drive device 20, the angle of the laser light emitted from the rangefinder 40 toward the flying object 310, and the flying object coordinates for the first base station 10A. Based on the distance between 310 and rangefinder 40, relative coordinates of flying object 310 with respect to the position of first base station 10A are derived. After the process of step ST247A is executed, the flight imaging support process proceeds to step ST248.
  • step ST246B the second ranging control section 162 causes the ranging device 40 of the second base station 10B to scan the ranging range 41 with laser light. In this case, since the flying object 310 is positioned within the ranging range 41 of the ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained.
  • step ST246B the flight imaging support process proceeds to step ST247B.
  • step ST247B the flying object coordinate deriving unit 164 calculates the rotation angle of the rotary drive device 20, the angle of the laser light emitted from the rangefinder 40 toward the flying object 310, and the flying object coordinates for the second base station 10B. Relative coordinates of the aircraft 310 with respect to the position of the first base station 10A are derived based on the distance between 310 and the rangefinder 40 and the calibration information.
  • step ST248 the flight imaging support process proceeds to step ST248.
  • step ST248 the imaging position arrival determination unit 166 determines whether the flying object 310 has reached the target imaging position 8A based on the coordinates of the flying object 310 derived in step ST247A or step ST247B and the coordinates of the target imaging position 8A. determine whether or not In step ST248, if the flying object 310 has not reached the target imaging position 8A, the determination is negative, and the flight imaging support process proceeds to step ST260. In step ST248, when the flying object 310 reaches the target imaging position 8A, the determination is affirmative, and the flight imaging support process proceeds to step ST249.
  • step ST249 the flight instruction generator 168 issues flight instructions to the flying object 310 based on the difference between the absolute coordinates of the flying object 310 derived in step ST247A or step ST247B and the absolute coordinates of the target imaging position 8A. Generate. After the process of step ST249 is executed, the flight imaging support process proceeds to step ST250.
  • step ST250 the flight instruction transmission control section 170 transmits flight instructions to the aircraft 310 via the communication device 12.
  • step ST250 the flight imaging support process proceeds to step ST241.
  • Steps ST241 to ST244B and steps ST246A to ST250 are repeatedly executed, and when the flying object 310 reaches the target imaging position 8A, the determination in step ST250 is affirmative, and the flight imaging support process The process proceeds to step ST260.
  • step ST260 the operation mode setting section 102 sets the operation mode of the base station 10 to the imaging control mode. After the process of step ST260 is executed, the flight imaging support process proceeds to step ST261.
  • step ST261 the hovering instruction transmission control section 172 transmits a hovering instruction to the aircraft 310 via the communication device 12. After the process of step ST261 is executed, the flight imaging support process proceeds to step ST262.
  • step ST262 the hovering report reception determination unit 174 determines whether or not the communication device 12 has received a hovering report. In step ST262, if no hovering report has been received by the communication device 12, the determination is negative, and the determination in step ST262 is performed again. In step ST262, when the hovering report is received by the communication device 12, the determination is affirmative, and the flight imaging support process proceeds to step ST263.
  • step ST263 the third imaging control unit 176 causes the imaging device 30 of each base station 10 to image the imaging scene.
  • step ST263 the flight imaging support process proceeds to step ST263A.
  • step ST263A the second flying object determination unit 218 performs object recognition processing on images obtained by imaging by the imaging device 30 of each base station 10, thereby performing object recognition processing on the first base station 10A and the first base station 10A. It is determined which base station 10 of the two base stations 10B has an image in which the aircraft 310 is captured.
  • step ST263A if the second flying object determination unit 218 determines that the flying object 310 is shown as an image in the image obtained by the first base station 10A, the flight imaging support process proceeds to step ST264A. do.
  • step ST263A if the first flying object determination unit 216 determines that the flying object 310 is shown as an image in the image obtained by the second base station 10B, the flight imaging support process proceeds to step ST264B. do.
  • step ST264A the aircraft attitude identifying section 178 performs object recognition processing on the image obtained by the first base station 10A, thereby determining the flight position based on the positions of the propellers 341 captured in the image. Identify the pose of the body 310 .
  • step ST264A the flight imaging support process proceeds to step ST265.
  • step ST264B the aircraft attitude identification section 178 performs object recognition processing on the image obtained by the second base station 10B, thereby determining the flight position based on the positions of the plurality of propellers 341 captured in the image. Identify the pose of the body 310 .
  • step ST264B the flight imaging support process proceeds to step ST265.
  • step ST265 the attitude correction instruction generating section 180 generates an attitude correction instruction for the flying object 310 based on the attitude of the flying object 310 identified at step ST264.
  • step ST265 the flight imaging support process proceeds to step ST266.
  • step ST266 the attitude correction instruction transmission control section 182 transmits an attitude correction instruction to the aircraft 310 via the communication device 12.
  • the flight imaging support process proceeds to step ST70 (see FIG. 38).
  • Steps ST70 to ST84 are the same as in the first embodiment. Note that in the second embodiment, if the determination in step ST83 (see FIG. 39) is negative, the flight imaging support process proceeds to step ST241.
  • the processor 51 rotates the distance measuring device 40 with respect to the rotary drive device 20 of the first base station 10A, and rotates the distance measuring device 40 of the first base station 10A. to measure the distances at a plurality of first distance measurement points on the wall surface 4 . Further, the processor 51 rotates the distance measuring device 40 with respect to the rotary drive device 20 of the second base station 10B, and causes the distance measuring device 40 of the second base station 10B to perform a plurality of second measurements of the wall surface 4. Have the distance measured for the distance point. Then, the processor 51 sets the flight route 8 based on the distance measured at each first ranging point and the distance measured at each second ranging point. Therefore, for example, a long flight route 8 can be set compared to setting the flight route 8 with one base station 10 .
  • processor 51 converts the distance measured by ranging device 40 of second base station 10B to the distance based on the position of ranging device 40 of first base station 10A based on predetermined calibration information. Convert. Therefore, for example, the flight route 8 can be set with respect to the ranging area of the ranging device 40 of the second base station 10B based on the position of the ranging device 40 of the first base station 10A.
  • the processor 51 calculates the position of the flying object 310 measured by the ranging device 40 of the second base station 10B based on the predetermined calibration information, and the position of the ranging device 40 of the first base station 10A as a reference. Convert to the position where Therefore, for example, when the flying object 310 flies in the ranging area of the ranging device 40 of the second base station 10B, the flying object 310 can be controlled based on the position of the first base station 10A.
  • the processor 51 selects the distance measuring device 40 of the first base station 10A and the distance measuring device 40 of the second base station 10B to measure the position of the flying object 310 according to the position of the flying object 310. to select. Therefore, for example, the flying object 310 that flies along the flight route 8 set from the ranging area of the ranging device 40 of the first base station 10A to the ranging area of the ranging device 40 of the first base station 10A is controlled. can do.
  • the imaging system S includes the first base station 10A and the second base station 10B as examples of the plurality of base stations, but may include three or more base stations.
  • the controller 60 has a distance derivation mode as an operation mode. While the flight route setting processing unit 104 is executing the flight route setting process, the operation mode setting unit 102 determines the distance between the point X located outside the range-finding area of each range-finding device 40 and each range-finding device 40 . A distance derivation mode is set as the operation mode of the controller 60 when deriving the distance between.
  • the operation mode setting unit 102 sets the distance between the point X located outside the range-finding area of each range-finding device 40 and each range-finding device 40 while the flight control processing unit 106 is executing the flight control processing.
  • a distance derivation mode is set as the operation mode of the base station 10.
  • the processor 51 operates as the distance derivation processing unit 220 .
  • the distance derivation processing section 220 has a rotation control section 222 and a distance derivation section 224 .
  • the third embodiment in contrast to the second embodiment, a point X positioned outside the range-finding area of each range-finding device 40 and each range-finding device 40 An example of deriving the distance between will be described.
  • the point X is the position of the inspection object 3 on the wall surface 4, which is the reference position for setting the flight route 8.
  • FIG. 61 the point X is the position of the inspection object 3 on the wall surface 4, which is the reference position for setting the flight route 8.
  • the ranging area is called a first ranging area
  • the ranging area of the ranging device 40 of the second base station 10B is called a second ranging area.
  • the first ranging area is an example of the "first ranging area” according to the technique of the present disclosure
  • the second ranging area is an example of the "second ranging area” according to the technique of the present disclosure.
  • the rotation control unit 222 controls each rotation drive device 20 to adjust the rotation angle of each rotation drive device 20 to an angle at which the point X is positioned at the center of the angle of view of each imaging device 30 .
  • the rotation control unit 222 controls each rotation drive device 20 based on the position designation instruction to perform each rotation drive.
  • the rotation angle of the device 20 is adjusted so that the point X on the wall surface 4 is positioned at the center of the angle of view of each imaging device 30 .
  • the rotation control unit 222 controls the rotation angle of the rotation drive device 20 of the first base station 10A.
  • the rotation angle of the rotation driving device 20 of the second base station 10B is adjusted so that the aircraft 310 is positioned at the center of the angle of view of the imaging device 30 of the second base station 10B. Adjust to the desired angle.
  • the rotation control unit 222 controls the rotation angle of the rotation drive device 20 of the second base station 10B.
  • the rotation angle of the rotation driving device 20 of the first base station 10A is adjusted so that the aircraft 310 is positioned at the center of the angle of view of the imaging device 30 of the first base station 10A. Adjust to the desired angle.
  • the rotation angle of the rotary drive device 20 of the first base station 10A is adjusted.
  • the rotation angle of the rotary drive device 20 is set to the angle in the direction in which the point X is positioned with respect to the distance measuring device 40 of the first base station 10A.
  • the second base station 10B by adjusting the rotation angle of the rotation drive device 20 of the second base station 10B to an angle at which the aircraft 310 is positioned in the center of the angle of view of the imaging device 30 of the second base station 10B, the second base station 10B The rotation angle of the rotary drive device 20 of the station 10B is set to the angle of the direction in which the point X is positioned with respect to the distance measuring device 40 of the second base station 10B.
  • the distance derivation unit 224 derives the distance between each distance measuring device 40 and the point X based on the calibration information and the rotation angle of each rotary drive device 20 . A procedure for deriving the distance between each distance measuring device 40 and the point X will be described below with reference to FIG.
  • the distance derivation unit 224 derives the angle ⁇ xc1 of the side X1 with the side C as a reference based on the calibration information and the rotation angle of the rotary drive device 20 of the first base station 10A.
  • a side X1 is a side connecting the point X and the point C1 of the first base station 10A.
  • the position of the first base station 10A is synonymous with the position of the ranging device 40 of the first base station 10A.
  • the distance derivation unit 224 derives the angle ⁇ xc2 of the side X2 with the side C as a reference based on the calibration information and the rotation angle of the rotary drive device 20 of the second base station 10B.
  • a side X2 is a side connecting the point X and the point C2 of the second base station 10B.
  • the position of the second base station 10B is synonymous with the position of the ranging device 40 of the second base station 10B.
  • the distance derivation unit 224 calculates the length Lx1 of the side X1 based on (9) below.
  • the distance derivation unit 224 calculates the length Lx2 of the side X2 based on (10) below. The distance between each distance measuring device 40 and the point X is derived by the above procedure.
  • step ST321 the rotation control unit 222 controls each rotation driving device 20 to set the rotation angle of each rotation driving device 20 to the center of the angle of view of each imaging device 30. Adjust the angle so that the point X is located in the part.
  • step ST322 the distance derivation unit 224 derives the distance between each distance measuring device 40 and the point X based on the calibration information and the rotation angle of each rotary drive device 20.
  • the processor 51 determines the first ranging area of the ranging device 40 of the first base station 10A and the second ranging area of the ranging device 40 of the second base station 10B.
  • the distance between the point X and the range finder 40 of the first base station 10A is calculated as It is derived based on the angle of the direction in which the point X is located and the distance between the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B.
  • the processor 51 calculates the distance between the point X and the ranging device 40 of the second base station 10B by the angle of the direction in which the point X is located with respect to the ranging device 40 of the second base station 10B, It is derived based on the distance between the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B. Therefore, the flight route 8 can be set based on the point X located outside the first range-finding area and the second range-finding area.
  • the processor 51 calculates the distance between the flying object 310 and the ranging device 40 of the first base station 10A as the first Based on the angle of the direction in which the flying object 310 is positioned with respect to the ranging device 40 of the first base station 10A and the distance between the ranging device 40 of the first base station 10A and the ranging device 40 of the second base station 10B to derive Similarly, the processor 51 calculates the distance between the flying object 310 and the ranging device 40 of the second base station 10B by the angle of the direction in which the flying object 310 is positioned with respect to the ranging device 40 of the second base station 10B.
  • the processor 51 executes the flight imaging support program 100 to perform the operation mode setting unit 102, the flight route setting processing unit 104, the flight control processing unit 106, and the imaging control processing unit 108, as well as the position correction processing unit. 230.
  • the base station 10 has, as operation modes, a flight route setting processing mode, a flight control processing mode, a position correction processing mode, and an imaging control processing mode.
  • the operation mode setting unit 102 sets a flight route setting processing mode, a flight control processing mode, a position correction processing mode, and an imaging control processing mode as the operation modes of the base station 10 .
  • the processor 51 operates as the position correction processing unit 230 .
  • the operation mode setting unit 102 switches from the flight control processing mode to the imaging control processing mode, but in the fourth embodiment, the operation mode setting unit 102 switches from the flight control processing mode to the imaging control processing mode. During the transition, set the position correction processing mode.
  • the position correction processing unit 230 includes an imaging instruction transmission control unit 232, an imaging report reception determination unit 234, an overlap amount derivation unit 236, a position correction amount derivation unit 238, a position correction instruction generation unit 240. , a position correction instruction transmission control unit 242, an imaging control unit 244, an aircraft position derivation unit 246, a position deviation determination unit 248, a rotation control unit 250, a ranging control unit 252, an aircraft coordinate derivation unit 254, and a position correction determination unit 256.
  • the imaging instruction transmission control unit 232 control to transmit imaging instructions to the flying object 310 via.
  • the imaging device 330 of the flying object 310 images the wall surface 4 according to the imaging instruction. As a result, a position correction image is obtained.
  • the flying object 310 transmits an imaging report to the base station 10 .
  • the imaging report includes the inspection image acquired in the previous imaging control process and the position correction image described above.
  • the inspection image acquired in the previous imaging control process will be referred to as the previous inspection image.
  • the imaging position 8A reached by the flying object 310 when the previous inspection image was acquired will be referred to as the previous imaging position 8A.
  • the previous inspection image is an image captured by the imaging device 330 under the control of the imaging instruction transmission control unit 198 (see FIG. 30) of the imaging control processing unit 108 in the imaging control processing mode. .
  • the imaging report reception determination unit 234 determines whether or not the communication device 12 has received the imaging report.
  • the overlap amount derivation unit 236 derives the overlap amount between the previous inspection image and the position correction image when the imaging report reception determination unit 234 determines that the communication device 12 has received the imaging report.
  • the position correction amount derivation unit 238 derives a position correction amount for correcting the position of the aircraft 310 with respect to the target imaging position 8A based on the overlap amount derived by the overlap amount derivation unit 236. In this case, the position correction amount derivation unit 238 calculates the position correction amount corresponding to the difference between the overlap amount derived by the overlap amount derivation unit 236 and the predetermined overlap amount. is derived based on the distance of The predetermined overlap amount is an amount that defines the amount of overlap between adjacent inspection images. The amount is set to allow recognition of adjacent inspection images.
  • the position correction instruction generation unit 240 generates a position correction instruction based on the position correction amount derived by the position correction amount derivation unit 238 .
  • the position correction instruction transmission control unit 242 performs control for transmitting a position correction instruction to the aircraft 310 via the communication device 12 .
  • the flying object 310 receives the position correction instruction as a flight instruction (see FIG. 22). Upon receiving the position correction instruction as the flight instruction, the flying object 310 changes its position by flying according to the position correction instruction.
  • the imaging control unit 244 controls the imaging device 30 to capture an imaging scene including the flying object 310 .
  • the flying object position deriving unit 246 performs object recognition processing on an image obtained by capturing an imaging scene including the flying object 310 with the imaging device 30, thereby determining the flying object 310 included in the image as an image. Derive the position in the image of
  • the positional deviation determination unit 248 determines whether the position of the flying object 310 is shifted from the central portion of the angle of view of the imaging device 30. determine whether or not
  • the rotation control unit 250 adjusts the horizontal rotation angle and/or the vertical rotation of the rotary drive device 20. Control is performed to adjust the angle so that the aircraft 310 is positioned at the center of the angle of view of the imaging device 30 .
  • the ranging control unit 252 controls the ranging device 40 to scan the ranging range 41 with laser light. In this case, since the flying object 310 is positioned within the ranging range 41 of the ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained.
  • the flying object coordinate deriving unit 254 calculates the absolute coordinates of the rotary drive device 20, the rotation angle of the rotary driving device 20, the angle of the laser beam emitted from the rangefinder 40 toward the flying object 310, and the flying object 310 and the measured value. Based on the distance to the range device 40, the absolute coordinates of the aircraft 310 are derived.
  • the position correction determining unit 256 determines whether or not the position of the flying object 310 has been corrected based on the absolute coordinates of the flying object 310 derived by the flying object coordinate deriving unit 254 .
  • the imaging instruction transmission control unit 232, the imaging report reception determination unit 234, the overlap amount deriving unit 236, the position correction amount A derivation unit 238, a position correction instruction generation unit 240, a position correction instruction transmission control unit 242, an imaging control unit 244, an aircraft position derivation unit 246, a position deviation determination unit 248, a rotation control unit 250, a ranging control unit 252, and a flight Processing by the body coordinate derivation unit 254 is executed. As a result, control is executed to fly the aircraft 310 to a position where the amount of overlap between the previous inspection image and the current inspection image is the predetermined overlap amount.
  • the imaging control processing mode is set as the operation mode of the base station 10, as in the first embodiment.
  • an inspection image is acquired in the current imaging control process.
  • the inspection image acquired in the current imaging control process will be referred to as the current inspection image.
  • the imaging position 8A reached by the aircraft 310 when the current inspection image is acquired will be referred to as the current imaging position 8A.
  • the operation mode of the base station 10 is an example of the "operation mode” according to the technology of the present disclosure.
  • the flight control processing mode is an example of the “first mode” according to the technology of the present disclosure
  • the position correction processing mode is an example of the "second mode” according to the technology of the present disclosure.
  • the imaging device 330 of the flying object 310 is an example of the “third imaging device” according to the technology of the present disclosure.
  • the phase correction image is an example of the "third image” according to the technology of the present disclosure.
  • the previous inspection image is an example of the "fourth image” according to the technology of the present disclosure. This inspection image is an example of the “fifth image” according to the technology of the present disclosure.
  • the previous imaging position 8A is an example of a "second imaging position” according to the technology of the present disclosure.
  • the current imaging position 8A is an example of a “third imaging position” according to the technology of the present disclosure.
  • the processing by the overlap amount derivation unit 236, that is, the processing for deriving the overlap amount between the previous inspection image and the position correction image may be executed by the processor 351 of the aircraft 310.
  • the overlap amount derived by the processor 351 of the aircraft 310 may then be transmitted to the processor 51 of the base station 10 .
  • FIG. 68 An example of the flow of position correction processing executed by the position correction processing section 230 according to the fourth embodiment will be described with reference to FIGS. 68 and 69.
  • FIG. 68 An example of the flow of position correction processing executed by the position correction processing section 230 according to the fourth embodiment will be described with reference to FIGS. 68 and 69.
  • step ST411 the imaging instruction transmission control unit 232 transmits an imaging instruction to the flying object 310 via the communication device 12.
  • step ST411 the position correction process proceeds to step ST412.
  • step ST412 the imaging report reception determination unit 234 determines whether or not the communication device 12 has received the imaging report. In step ST412, if the communication device 12 has not received the imaging report, the determination is negative, and the determination in step ST412 is performed again. In step ST412, when the communication device 12 receives the imaging report, the determination is affirmative, and the position correction process proceeds to step ST413.
  • step ST413 the overlap amount derivation unit 236 derives the overlap amount between the previous inspection image and the position correction image. After the process of step ST413 is executed, the position correction process proceeds to step ST414.
  • step ST414 the position correction amount derivation section 238 calculates the position correction amount corresponding to the difference between the overlap amount derived by the overlap amount derivation section 236 and the predetermined overlap amount. is derived based on the distance of After the process of step ST414 is executed, the position correction process proceeds to step ST415.
  • step ST415 the position correction instruction generation unit 240 generates a position correction instruction based on the position correction amount derived by the position correction amount derivation unit 238. After the process of step ST415 is executed, the position correction process proceeds to step ST416.
  • step ST416 the position correction instruction transmission control section 242 transmits a position correction instruction to the flying object 310 via the communication device 12. After the process of step ST416 is executed, the position correction process proceeds to step ST420.
  • step ST420 the imaging control unit 244 causes the imaging device 30 to capture an imaging scene including the flying object 310. After the process of step ST420 is executed, the position correction process proceeds to step ST421.
  • step ST421 the flying object position derivation unit 246 derives the position of the flying object 310 in the image obtained by being imaged by the imaging device 30. After the process of step ST421 is executed, the position correction process proceeds to step ST422.
  • step ST422 based on the position of the flying object 310 in the image derived in step ST421, the positional deviation determination unit 248 determines whether the position of the flying object 310 is shifted with respect to the central portion of the angle of view of the imaging device 30. determine whether or not In step ST422, if the position of the flying object 310 is deviated from the central portion of the angle of view, the determination is affirmative, and the position correction process proceeds to step ST423. In step ST422, if the position of flying object 310 is not shifted with respect to the central portion of the angle of view, the determination is negative, and the position correction process proceeds to step ST430.
  • step ST423 the rotation control unit 250 adjusts the rotation angle of the rotation drive device 20 to an angle at which the flying object 310 is positioned at the center of the angle of view of the imaging device 30.
  • step ST423 the position correction process proceeds to step ST430.
  • step ST430 the ranging control section 252 causes the ranging device 40 to scan the ranging range 41 with laser light. In this case, since the flying object 310 is positioned within the ranging range 41 of the ranging device 40, the distance between the flying object 310 and the ranging device 40 can be obtained. After the process of step ST430 is executed, the position correction process proceeds to step ST431.
  • step ST431 the flying object coordinate derivation unit 254 determines the absolute coordinates of the rotary drive device 20, the rotation angle of the rotary drive device 20, the angle of the laser light emitted from the rangefinder 40 toward the flying object 310, and the flight Based on the distance between the body 310 and the rangefinder 40, the absolute coordinates of the aircraft 310 are derived.
  • step ST431 the position correction process proceeds to step ST432.
  • the position correction determination unit 256 determines whether or not the position of the flying object 310 has been corrected based on the absolute coordinates of the flying object 310 derived at step ST431. In step ST432, if the position of flying object 310 has not been corrected, the determination is negative, and the position correction process proceeds to step ST420. In step ST432, if the position of the flying object 310 has been corrected, the determination is affirmative, and the position correction process ends.
  • the processor 51 uses the flight control processing mode in which the aircraft 310 flies based on the flight route 8 as the operation mode of the base station 10, and A position correction processing mode for correcting the position of the flying object 310 based on the position correction image obtained by imaging the wall surface 4 with the imaging device 330 when the flying object 310 reaches the current imaging position 8A. set. Then, the processor 51 causes the imaging device 330 to acquire the previous inspection image when the flying object 310 reaches the previous imaging position 8A, and then causes the flying object 310 to reach the current imaging position 8A.
  • the imaging device 330 In the position correction processing mode, when the imaging device 330 is caused to acquire the current inspection image in accordance with the fact that the previous inspection image The position of the aircraft 310 is corrected so that the amount of overlap between the current inspection image and the current inspection image becomes a predetermined overlap amount. Therefore, by correcting the position of the flying object 310, for example, when the flying object 310 reaches the current imaging position 8A, the imaging device 330 acquires the current inspection image. It is possible to improve the accuracy of the amount of overlap between the inspection image and the current inspection image.
  • imaging system S is used for inspection in the above embodiment, it may be used for purposes other than inspection, such as transportation, photography, surveying, pesticide spraying, maintenance, or security.
  • the base station 10 and the flying object 310 may perform the flight imaging support processing in a distributed manner.
  • the base station 10 and the external device may execute the flight imaging support processing in a distributed manner, the base station 10, the aircraft 310, and the external device may perform the flight imaging support processing in a distributed manner, and the aircraft 310 and the external device may perform the flight imaging support processing in a distributed manner.
  • the flight imaging assistance program 100 may be stored in a portable storage medium such as an SSD or USB memory.
  • a storage medium is a non-transitory computer-readable storage medium (ie, computer-readable storage medium).
  • a flight imaging support program 100 stored in a storage medium is installed in the computer 50 of the base station 10 .
  • the processor 51 of the base station 10 executes flight imaging support processing according to the flight imaging support program 100 .
  • the flight imaging program 400 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • a flight imaging program 400 stored in a storage medium is installed in the computer 350 of the aircraft 310 .
  • the processor 351 of the flying object 310 executes flight imaging processing according to the flight imaging program 400 .
  • the flight imaging support program 100 is stored in a storage device such as another computer or server device connected to the base station 10 via the network, and the flight imaging support program 100 is stored in response to a request from the base station 10.
  • the support program 100 may be downloaded and installed on the computer 50 of the base station 10.
  • flight imaging support program 100 it is not necessary to store all of the flight imaging support program 100 in a storage device such as another computer or server device connected to the base station 10, or in the storage 52 of the base station 10. A part may be stored.
  • the flight imaging program 400 is stored in a storage device such as another computer or a server device connected to the aircraft 310 via the network, and the flight imaging program 400 is stored in response to a request from the aircraft 310 .
  • 400 may be downloaded and installed on computer 350 of air vehicle 310 .
  • flight imaging program 400 it is not necessary to store all of the flight imaging program 400 in a storage device such as another computer or server device connected to the flying object 310 or in the storage 352 of the flying object 310. may be stored.
  • the computer 50 is built in the base station 10, but the technology of the present disclosure is not limited to this, and the computer 50 may be provided outside the base station 10, for example.
  • the computer 350 is built in the flying object 310, but the technology of the present disclosure is not limited to this, and the computer 350 may be provided outside the flying object 310, for example.
  • the computer 50 is used in the base station 10, but the technology of the present disclosure is not limited to this, and a device including ASIC, FPGA, and/or PLD is applied instead of the computer 50. You may also, instead of the computer 50, a combination of hardware configuration and software configuration may be used.
  • the computer 350 is used in the aircraft 310, but the technology of the present disclosure is not limited to this, and instead of the computer 350, a device including ASIC, FPGA, and/or PLD is applied. You may also, instead of the computer 350, a combination of hardware configuration and software configuration may be used.
  • processors can be used as hardware resources for executing the various processes described in the above embodiments.
  • processors include CPUs, which are general-purpose processors that function as hardware resources that execute various processes by executing software, that is, programs.
  • the processor includes, for example, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing specific processing such as FPGA, PLD, or ASIC.
  • a memory is built in or connected to each processor, and each processor executes processing by using the memory.
  • hardware resources for executing various processes may be configured with one of these various processors, or a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs, or a combination of a CPU and an FPGA).
  • the hardware resource that executes the processing may be one processor.
  • one processor is configured by combining one or more CPUs and software, and this processor functions as a hardware resource that executes various processes.
  • this processor functions as a hardware resource that executes various processes.
  • SoC SoC, etc.
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used.
  • a and/or B means that only A, only B, or a combination of A and B may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

制御装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリとを備える。プロセッサは、測距装置が取り付けられた回転駆動装置に対して、測距装置を回転させ、測距装置に対して、対象物の複数の測距箇所について対象物と測距装置との間の第1距離を測定させ、測距箇所毎に測定された第1距離に基づいて、対象物に沿って飛行体を飛行させる飛行ルートを設定し、飛行体に対して、飛行ルートを飛行させ、かつ、飛行体に搭載された第1撮像装置に対して、対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、第1撮像装置の画素分解能を一定に保つ制御を行う。

Description

制御装置、基地局、制御方法、及びプログラム
 本開示の技術は、制御装置、基地局、制御方法、及びプログラムに関する。
 特開2017-151008号公報には、再帰反射体を備えた飛行体の再帰反射体に追尾光を照射し、追尾光を受光し、受光結果に基づき飛行体の追尾を行う光学追尾と、飛行体の画像を取得し、該画像から飛行体を検出し、検出結果に基づき飛行体の追尾を行う画像追尾とを備え、光学追尾と画像追尾とは並行して実行され、光学追尾で飛行体の追尾が不能となった場合に、画像追尾の検出結果に基づき光学追尾に復帰させる飛行体追尾方法が開示されている。
 特開2014-104797号公報には、床面を移動して建屋内に侵入する移動機構と、移動機構に設けられたカメラと、カメラのパンチルト機構と、移動機構に搭載可能な飛行体と、飛行体に設けられた発光体と、カメラが発光体を追尾するようにパンチルト機構を制御するパンチルト制御手段と、カメラで撮影された画像を表示する表示手段と、少なくとも飛行体を操作する操作手段と、を備える建屋内調査システムが開示されている。
 特開2018-173960号公報には、無人飛行機の飛行制御を行う情報処理システムであって、無人飛行機がネットワークカメラに撮影される位置を飛行している場合に、ネットワークカメラに撮影されない位置を飛行するように無人飛行機の飛行を制御する制御手段を備える情報処理システムが開示されている。
 特開2018-070013号公報には、基地局とケーブルで接続された無人航空機と情報処理装置とがネットワークを介して接続された無人航空機制御システムであって、基地局の広さとケーブルの長さを比較する比較手段と、比較手段によりケーブルの長さが基地局の広さよりも長いと判定された場合、ケーブルの長さが基地局の広さよりも短くなるよう制御するケーブル調整手段と、を有する無人航空機制御システムが開示されている。
 国際公開第2017/017984号パンフレットには、移動体を識別する移動体識別システムであって、移動体の移動状態を監視する移動状態監視装置が検知した複数の移動体の第一の位置情報を含む移動状態情報を取得し、移動体から、移動体が測定した自身の第二の位置情報を含む所定の報告情報を取得し、第一の位置情報と第二の位置情報とに基づいて、移動体の登録状況を識別する移動体識別システムが開示されている。
 本開示の技術に係る一つの実施形態は、例えば、対象物に凹部又は凸部があっても、対象物に沿って飛行する飛行体に搭載された第1撮像装置によって対象物が撮像されることで得られた画像の解像度を一定に保つことができる制御装置、基地局、制御方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、測距装置が取り付けられた回転駆動装置に対して、測距装置を回転させ、測距装置に対して、対象物の複数の測距箇所について対象物と測距装置との間の第1距離を測定させ、測距箇所毎に測定された第1距離に基づいて、対象物に沿って飛行体を飛行させる飛行ルートを設定し、飛行体に対して、飛行ルートを飛行させ、かつ、飛行体に搭載された第1撮像装置に対して、対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、第1撮像装置の画素分解能を一定に保つ制御を行う制御装置である。
 本開示の技術に係る第2の態様は、第1の態様に係る制御装置において、プロセッサは、回転駆動装置の回転角度を、測距装置の測距範囲に飛行体が含まれる第2回転角度に調節し、測距装置に対して、飛行体と測距装置との間の第2距離を測定させ、第2回転角度及び第2距離に基づいて、飛行体に対して、飛行ルートを飛行させる制御を行う制御装置である。
 本開示の技術に係る第3の態様は、第2の態様に係る制御装置において、測距装置は、LiDARスキャナを含み、第2距離は、飛行体とLiDARスキャナとの間の距離であり、プロセッサは、回転駆動装置の第1絶対座標、第2回転角度、LiDARスキャナから飛行体に向けて照射されたレーザ光の角度、及び第2距離に基づいて、飛行体の第2絶対座標を導出し、第2絶対座標に基づいて、飛行体に対して、飛行ルートを飛行させる制御を行う制御装置である。
 本開示の技術に係る第4の態様は、第2の態様又は第3の態様に係る制御装置において、回転駆動装置には、第2撮像装置が取り付けられており、プロセッサは、第2撮像装置によって飛行体が撮像されることで得られた第2画像に基づいて、回転駆動装置の回転角度を第2回転角度に調節する制御を行う制御装置である。
 本開示の技術に係る第5の態様は、第4の態様に係る制御装置において、第2回転角度は、第2撮像装置の画角の中央部に飛行体が位置する角度である制御装置である。
 本開示の技術に係る第6の態様は、第4の態様又は第5の態様に係る制御装置において、飛行体は、異なる態様で分類される複数の部材を備え、プロセッサは、第2画像に写された複数の部材の位置に基づいて、飛行体の姿勢を制御する制御装置である。
 本開示の技術に係る第7の態様は、第6の態様に係る制御装置において、異なる態様は、異なる色であり、部材は、プロペラである制御装置である。
 本開示の技術に係る第8の態様は、第6の態様に係る制御装置において、異なる態様は、異なる色であり、部材は、発光体である制御装置である。
 本開示の技術に係る第9の態様は、第6の態様に係る制御装置において、異なる態様は、異なる点滅パターンであり、部材は、発光体である制御装置である。
 本開示の技術に係る第10の態様は、第1の態様から第9の態様の何れか一つの態様に係る制御装置において、複数の第1画像は、飛行体が飛行ルートに設定された複数の第1撮像位置のそれぞれに到達する毎に取得される画像である制御装置である。
 本開示の技術に係る第11の態様は、第10の態様に係る制御装置において、複数の第1撮像位置は、複数の第1撮像位置のうち隣り合う第1撮像位置で取得される第1画像同士の一部がオーバーラップする位置である制御装置である。
 本開示の技術に係る第12の態様は、第1の態様から第11の態様の何れか一つの態様に係る制御装置において、対象物の表面が凹部を有している場合であり、かつ、凹部の開口部の面積が既定面積よりも小さい場合に、プロセッサは、表面と対向する平滑な仮想面上に飛行ルートを設定する制御装置である。
 本開示の技術に係る第13の態様は、第12の態様に係る制御装置において、プロセッサは、飛行体が凹部を跨いで飛行する場合に、第1撮像装置のズームレンズ及びフォーカスレンズのうちの少なくとも一方を動作させることにより、画素分解能を一定に保つ制御を行う制御装置である。
 本開示の技術に係る第14の態様は、第1の態様から第13の態様の何れか一つの態様に係る制御装置において、プロセッサは、測距装置としての第1測距装置が取り付けられた回転駆動装置としての第1回転駆動装置に対して、第1測距装置を回転させ、第1測距装置に対して、複数の測距箇所のうち複数の第1測距箇所について第1距離を測定させ、測距装置としての第2測距装置が取り付けられた回転駆動装置としての第2回転駆動装置に対して、第2測距装置を回転させ、第2測距装置に対して、複数の測距箇所のうち複数の第2測距箇所について第1距離を測定させ、第1測距箇所毎に測定された第1距離、及び第2測距箇所毎に測定された第1距離に基づいて、飛行ルートを設定する制御装置である。
 本開示の技術に係る第15の態様は、第14の態様に係る制御装置において、プロセッサは、既定の第1キャリブレーション情報に基づいて、第2測距装置によって測定された第1距離を、第1測距装置の位置を基準にした距離に換算する制御装置である。
 本開示の技術に係る第16の態様は、第14の態様又は第15の態様に係る制御装置において、プロセッサは、既定の第2キャリブレーション情報に基づいて、第2測距装置によって測定された飛行体の位置を、第1測距装置の位置を基準にした位置に換算する制御装置である。
 本開示の技術に係る第17の態様は、第14の態様から第16の態様の何れか一つの態様に係る制御装置において、プロセッサは、飛行体の位置に応じて、第1測距装置及び第2測距装置のうち飛行体の位置を測定する測距装置を選択する制御装置である。
 本開示の技術に係る第18の態様は、第14の態様から第17の態様の何れか一つの態様に係る制御装置において、プロセッサは、第1測距装置の第1測距領域及び第2測距装置の第2測距領域の外に位置する点を基準に飛行ルートを設定する場合、点と第1測距装置との間の距離を、第1測距装置に対して点が位置する方向の角度と、第1測距装置及び第2測距装置間の距離とに基づいて導出する制御装置である。
 本開示の技術に係る第19の態様は、第18の態様に係る制御装置において、プロセッサは、第1測距領域及び第2測距領域の外に飛行体が位置する場合、飛行体と第1測距装置との間の距離を、第1測距装置に対して飛行体が位置する方向の角度と、第1測距装置及び第2測距装置間の距離とに基づいて導出する制御装置である。
 本開示の技術に係る第20の態様は、第1の態様から第19の態様の何れか一つの態様に係る制御装置において、飛行体は、第3撮像装置を備え、プロセッサは、飛行ルートに設定された第2撮像位置から移動した飛行体が飛行ルートに設定された第3撮像位置に到達した場合に第3撮像装置によって対象物が撮像されることで得られた第3画像に基づいて飛行体の位置を補正する位置補正処理を行い、位置補正処理は、第2撮像位置に飛行体が到達したことに伴って第3撮像装置に対して対象物を撮像させることで第4画像を取得させた後に、第3撮像位置に飛行体が到達したことに伴って第3撮像装置に対して対象物を撮像させることで第5画像を取得させる場合に、第4画像と第3画像とのオーバーラップ量に基づいて、第4画像と第5画像とのオーバーラップ量が既定のオーバーラップ量になる位置に飛行体の位置を補正する処理である。
 本開示の技術に係る第21の態様は、第1の態様から第20の態様の何れか一つの態様に係る制御装置と、回転駆動装置と、測距装置とを備える基地局である。
 本開示の技術に係る第22の態様は、測距装置が取り付けられた回転駆動装置に対して、測距装置を回転させること、測距装置に対して、対象物の複数の測距箇所について対象物と測距装置との間の第1距離を測定させること、測距箇所毎に測定された第1距離に基づいて、対象物に沿って飛行体を飛行させる飛行ルートを設定すること、及び、飛行体に対して、飛行ルートを飛行させ、かつ、飛行体に搭載された第1撮像装置に対して、対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、第1撮像装置の画素分解能を一定に保つ制御を行うことを備える制御方法である。
 本開示の技術に係る第23の態様は、測距装置が取り付けられた回転駆動装置に対して、測距装置を回転させること、測距装置に対して、対象物の複数の測距箇所について対象物と測距装置との間の第1距離を測定させること、測距箇所毎に測定された第1距離に基づいて、対象物に沿って飛行体を飛行させる飛行ルートを設定すること、及び、飛行体に対して、飛行ルートを飛行させ、かつ、飛行体に搭載された第1撮像装置に対して、対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、第1撮像装置の画素分解能を一定に保つ制御を行うことを含む処理をコンピュータに実行させるためのプログラムである。
本開示の技術の第1実施形態に係る点検システムの一例を示す側面図である。 本開示の技術の第1実施形態に係る点検システムの一例を示す平面図である。 本開示の技術の第1実施形態に係る飛行体の一例を示す平面図である。 本開示の技術の第1実施形態に係る基地局の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る基地局の回転駆動装置の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る基地局の撮像装置の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る基地局の測距装置の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行体の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行体の撮像装置の電気的な構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る基地局のプロセッサの機能的構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行制御処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る撮像制御処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行体のプロセッサの機能的構成の一例を示すブロック図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の第1動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の第2動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の第3動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の第4動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行ルート設定処理部の第5動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行制御処理部の第1動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行制御処理部の第2動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行制御処理部の第3動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第1動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第2動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第3動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第4動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第5動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第6動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第7動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第8動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第9動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第10動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る撮像制御処理部の第11動作の一例を説明する説明図である。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第1処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第2処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第3処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第4処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第5処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像支援処理の第6処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像処理の第1処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像処理の第2処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行撮像処理の第3処理の流れの一例を示すフローチャートである。 本開示の技術の第1実施形態に係る飛行体の変形例を示す平面図である。 本開示の技術の第2実施形態に係る点検システムの一例を示す平面図である。 本開示の技術の第2実施形態に係る飛行ルート設定処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第2実施形態に係る飛行制御処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第2実施形態に係る撮像制御処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第2実施形態に係る飛行ルート設定処理部の第1動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る飛行ルート設定処理部の第2動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る各測距装置の測距領域同士が重複する領域の複数の点の一例を示す模式図である。 本開示の技術の第2実施形態に係る飛行ルート設定処理部の第3動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る飛行ルート設定処理部の第4動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る飛行制御処理部の動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る撮像制御処理部の動作の一例を説明する説明図である。 本開示の技術の第2実施形態に係る飛行撮像支援処理の第1処理の流れの一例を示すフローチャートである。 本開示の技術の第2実施形態に係る飛行撮像支援処理の第2処理の流れの一例を示すフローチャートである。 本開示の技術の第2実施形態に係る飛行撮像支援処理の第3処理の流れの一例を示すフローチャートである。 本開示の技術の第2実施形態に係る飛行撮像支援処理の第4処理の流れの一例を示すフローチャートである。 本開示の技術の第2実施形態に係る飛行撮像支援処理の第5処理の流れの一例を示すフローチャートである。 本開示の技術の第3実施形態に係る基地局のプロセッサの機能的な構成の一例を示すブロック図である。 本開示の技術の第3実施形態に係る距離導出処理部の第1動作の一例を説明する説明図である。 本開示の技術の第3実施形態に係る距離導出処理部の第2動作の一例を説明する説明図である。 本開示の技術の第3実施形態に係る各測距装置の測距領域外に位置する点の一例を示す模式図である。 本開示の技術の第3実施形態に係る距離導出処理の一例を説明する説明図である。 本開示の技術の第4実施形態に係る基地局のプロセッサの機能的な構成の一例を示すブロック図である。 本開示の技術の第4実施形態に係る位置補正処理部の機能的構成の一例を示すブロック図である。 本開示の技術の第4実施形態に係る位置補正処理部の第1動作の一例を示すブロック図である。 本開示の技術の第4実施形態に係る位置補正処理の第1処理の流れの一例を示すフローチャートである。 本開示の技術の第4実施形態に係る位置補正処理の第2処理の流れの一例を示すフローチャートである。
 以下、添付図面に従って本開示の技術に係る制御装置、基地局、制御方法、及びプログラムの実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。LEDとは、“light emitting diode”の略称を指す。ELとは、“Electro Luminescence”の略称を指す。LiDARとは、“light detection and ranging”の略称を指す。MEMSとは、“Micro Electro Mechanical Systems”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。
 本明細書の説明において、「水平方向」とは、完全な水平方向の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの水平方向を指す。本明細書の説明において、「鉛直方向」とは、完全な鉛直方向の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの鉛直方向を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。本明細書の説明において、「対称」とは、完全な対称の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの対称を指す。本明細書において、「一定」とは、完全な一定の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一定を指す。本明細書において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。また、以下の説明において「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。
 [第1実施形態]
 一例として図1に示すように、点検システム1は、画像解析装置2及び撮像システムSを備えており、点検対象物3を点検する。
 一例として、点検対象物3は、橋梁の橋脚である。一例として、橋脚は、鉄筋コンクリート製である。ここでは、点検対象物3の一例として、橋脚が挙げられているが、点検対象物3は、橋脚以外の道路設備であってもよい。道路設備としては、例えば、路面、トンネル、ガードレール、信号機、及び/又は、防風フェンス等が挙げられる。点検対象物3は、道路設備以外の社会的なインフラストラクチャ(例えば、空港設備、港湾設備、貯水設備、ガス設備、医療設備、消防設備、及び/又は、教育設備等)であってもよいし、私的な所有物であってもよい。また、点検対象物3は、土地(例えば、国有地及び/又は私有地等)であってもよい。点検対象物3として例示している橋脚は、鉄筋コンクリート製以外の橋脚でもよい。
 本実施形態において、点検とは、例えば、点検対象物3の状態の点検を指す。例えば、点検対象物3の損傷の有無及び/又は損傷の程度等が点検システム1によって点検される。点検対象物3は、本開示の技術に係る「対象物」の一例である。
 撮像システムSは、基地局10及び飛行体310を備える。基地局10は、制御機能を有する。制御機能は、飛行体310に対して飛行指示又は撮像指示等の指示を付与することにより飛行体310を制御する機能である。飛行体310は、飛行機能及び第1撮像機能を有する。飛行機能は、飛行指示に基づいて飛行する機能である。第1撮像機能は、撮像指示に基づいて被写体(図1に示す例では、点検対象物3)を撮像する機能である。
 飛行体310について更に詳しく説明すると、飛行体310は、例えばドローン等の無人航空機であり、通信装置312、飛行体本体320、及び撮像装置330を備える。基地局10には、通信装置12が搭載されており、通信装置312は、通信装置12と通信する。通信装置312は、通信装置12と無線で通信してもよいし、通信装置12と有線で通信してもよい。
 第1撮像機能は、撮像装置330によって実現される。撮像装置330としては、例えば、デジタルカメラ又はビデオカメラ等が挙げられる。撮像装置330は、第2被写体(図1に示す例では、点検対象物3)を撮像する。図1に示す例では、撮像装置330は、飛行体本体320の上部に搭載されているが、これはあくまでも一例に過ぎず、撮像装置330は、飛行体本体320の下部に搭載されてもよい。撮像装置330は、飛行体本体320の中央部に搭載されており、かつ、飛行体310の前方を撮像する向きで配置されている。撮像装置330は、本開示の技術に係る「第1撮像装置」の一例である。
 撮像システムSは、飛行体310によって点検対象物3が撮像されることで得られた画像データを画像解析装置2に提供するシステムである。画像解析装置2は、撮像システムSから提供された画像データに対して画像解析処理を実行することで、点検対象物3の損傷の有無及び/又は損傷の程度等を点検し、点検結果を出力する。一例として、画像解析処理は、テンプレートマッチング技術及び/又は人工知能等を利用して画像を解析する処理である。
 基地局10は、通信装置12の他に、回転駆動装置20、撮像装置30、及び測距装置40を備える。回転駆動装置20は、台座27を備える。回転駆動装置20は、台座27を水平方向及び鉛直方向に回転させることが可能な装置である。図1において、矢印Vは鉛直方向を示している。撮像装置30及び測距装置40は、台座27に取り付けられている。図1に示す例では、撮像装置30は、測距装置40の上側に配置されているが、これはあくまでも一例に過ぎず、撮像装置30は、測距装置40の下側に配置されてもよく、測距装置40と水平方向に並んで配置されてもよい。
 撮像装置30は、第2撮像機能を有する装置である。第2撮像機能は、点検対象物3又は飛行体310を含む撮像シーンを撮像する機能である。第2撮像機能は、例えば、デジタルカメラ又はビデオカメラ等によって実現される。撮像装置30は、本開示の技術に係る「第2撮像装置」の一例である。測距装置40は、測距機能を有する装置である。測距機能は、点検対象物3又は飛行体310と測距装置40との間の距離を測定する機能である。測距機能は、例えば、超音波式測距装置、レーザ式測距装置、又はレーダ式測距装置等によって実現される。レーザ式測距装置としては、LiDARスキャナが挙げられる。以下、測距機能を実現するレーザ式測距装置の一例として、LiDARスキャナが用いられた場合について説明する。
 一例として図2に示すように、測距装置40がレーザ光によってスキャンする方向(以下、スキャン方向と称する)は、水平方向に設定されている。図2において、矢印Hは水平方向を示している。また、測距装置40がレーザ光によってスキャンする範囲である測距範囲41は、平面視で撮像装置30の撮像範囲31内に設定されている。撮像装置30の画角の中央部に第1被写体(例えば、図1及び図2に示す飛行体310)が位置している場合に、測距範囲41の中央部に第1被写体が位置する範囲に、測距範囲41は設定されている。また、撮像装置30の光軸OA1は、撮像システムSに対する平面視で測距範囲41の中心軸ACと一致する。
 なお、測距装置40のスキャン方向は、鉛直方向に設定されていてもよく、また、水平方向及び鉛直方向の両方の方向に設定されていてもよい。また、一例として図1及び図2に示す例では、基地局10は、撮像装置30及び測距装置40を備えるが、これはあくまでも一例に過ぎず、基地局10は、第2撮像機能及び測距機能を有する撮像装置を備えていてもよい。第2撮像機能及び測距機能を有する撮像装置としては、例えばステレオカメラ又は位相差画素カメラ等が挙げられる。
 一例として図3に示すように、飛行体本体320は、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dを有するマルチコプタである。第1プロペラ341Aは、飛行体本体320の前方右側に配置されており、第2プロペラ341Bは、飛行体本体320の前方左側に配置されており、第3プロペラ341Cは、飛行体本体320の後方右側に配置されており、第4プロペラ341Dは、飛行体本体320の後方左側に配置されている。
 一例として、第1プロペラ341A及び第3プロペラ341Cは、撮像装置330に対する右側に配置されており、第2プロペラ341B及び第4プロペラ341Dは、撮像装置330に対する左側に配置されている。第1プロペラ341Aは、平面視で撮像装置330の光軸OA2を中心に第2プロペラ341Bと線対称な位置に配置されており、第3プロペラ341Cは、平面視で撮像装置330の光軸OA2を中心に第4プロペラ341Dと線対称な位置に配置されている。第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dは、本開示の技術に係る「複数の部材」の一例である。
 第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dは、異なる態様の一例として、異なる色で分類されている。図3に示す例では、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dにそれぞれ付されたドットにより各プロペラの色が表現されている。
 一例として、第1プロペラ341Aの色は、第2プロペラ341Bの色と同じであり、第3プロペラ341Cの色は、第4プロペラ341Dの色と同じである。第1プロペラ341A及び第2プロペラ341Bに設定された第1色は、第3プロペラ341C及び第4プロペラ341Dに設定された第2色と異なる。第1色及び第2色は、それぞれ有彩色でもよく、無彩色でもよい。第1色及び第2色は、撮像装置30によって撮像されることで得られた画像に基づいて後述の基地局10のプロセッサ51(図4参照)が第1色及び第2色を識別可能な色であれば、どのような色でもよい。
 なお、図3に示す例では、第1プロペラ341A及び第2プロペラ341Bに第1色が設定され、第3プロペラ341C及び第4プロペラ341Dに第2色が設定されているが、これはあくまでも一例に過ぎず、第1プロペラ341A及び第3プロペラ341Cに第1色が設定され、第2プロペラ341B及び第4プロペラ341Dに第2色が設定されてもよい。また、第1プロペラ341A及び第4プロペラ341Dに第1色が設定され、第2プロペラ341B及び第3プロペラ341Cに第2色が設定されてもよい。また、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dに互いに異なる色が設定されてもよい。
 一例として図4に示すように、基地局10は、通信装置12、受付装置14、ディスプレイ16、回転駆動装置20、撮像装置30、測距装置40、及びコンピュータ50を備える。
 コンピュータ50は、本開示の技術に係る「制御装置」及び「コンピュータ」の一例である。コンピュータ50は、プロセッサ51、ストレージ52、及びRAM53を備える。プロセッサ51は、本開示の技術に係る「プロセッサ」の一例であり、RAM53は、本開示の技術に係る「メモリ」の一例である。プロセッサ51、ストレージ52、及びRAM53は、バス54を介して相互に接続されている。また、通信装置12、受付装置14、ディスプレイ16、回転駆動装置20、撮像装置30、及び測距装置40も、バス54に接続されている。図4に示す例では、図示の都合上、バス54として1本のバスが図示されているが、複数本のバスであってもよい。バス54は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 プロセッサ51は、例えば、CPUを有しており、基地局10の全体を制御する。ここでは、プロセッサ51がCPUを有する例を挙げているが、これは、あくまでも一例に過ぎない。例えば、プロセッサ51は、CPU及びGPUを有していてもよい。この場合、例えば、GPUは、CPUの制御下で動作し、画像処理の実行を担う。
 ストレージ52は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ52としては、例えば、HDD及びSSD等が挙げられる。なお、HDD及びSSDは、あくまでも一例に過ぎず、HDD及び/又はSSDに代えて、或いは、HDD及び/又はSSDと共に、フラッシュメモリ、磁気抵抗メモリ、及び/又は強誘電体メモリを用いてもよい。
 RAM53は、一時的に情報が記憶されるメモリであり、プロセッサ51によってワークメモリとして用いられる。RAM53としては、例えば、DRAM及び/又はSRAM等が挙げられる。
 受付装置14は、キーボード、マウス、及びタッチパッド等を有しており、ユーザから付与された情報を受け付ける。ディスプレイ16は、プロセッサ51の制御下で、各種情報(例えば、画像及び文字等)を表示する。ディスプレイ16としては、例えば、ELディスプレイ(例えば、有機ELディスプレイ又は無機ELディスプレイ)等が挙げられる。なお、ELディスプレイに限らず、液晶ディスプレイ等の他の種類のディスプレイ16であってもよい。
 通信装置12は、飛行体310と通信可能に接続されている。ここでは、通信装置12が既定の無線通信規格で飛行体310と無線通信可能に接続されている。既定の無線通信規格とは、例えば、Bluetooth(登録商標)等が挙げられる。なお、これ以外の無線通信規格(例えば、WI/Fi又は5G等)であってもよい。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信装置12は、飛行体310との間の情報の授受を司る。例えば、通信装置12は、プロセッサ51からの要求に応じた情報を飛行体310に送信する。また、通信装置12は、飛行体310から送信された情報を受信し、受信した情報を、バス54を介してプロセッサ51に出力する。
 一例として図5に示すように、回転駆動装置20は、入出力I/F22、モータドライバ23、パンモータ24、チルトモータ25、パンチルト機構26、及び台座27を備える。
 モータドライバ23は、入出力I/F22及びバス54を介してプロセッサ51と接続されている。モータドライバ23は、プロセッサ51からの指示に従って、パンモータ24及びチルトモータ25を制御する。パンモータ24及びチルトモータ25は、例えば直流ブラシ付きモータ、ブラシレスモータ、又はステッピングモータ等のモータである。
 パンチルト機構26は、例えば2軸ジンバルであり、パン機構28及びチルト機構29を備える。パン機構28は、パンモータ24の回転軸と接続されており、チルト機構29は、チルトモータ25の回転軸と接続されている。台座27は、パンチルト機構26と接続されている。パン機構28は、パンモータ24の回転力を受けることにより水平方向の回転力を台座27に対して付与し、チルト機構29は、チルトモータ25の回転力を受けることにより鉛直方向の回転力を台座27に対して付与する。台座27は、パン機構28を介してパンモータ24から付与された回転力により水平方向に回転し、チルト機構29を介してチルトモータ25から付与された回転力により鉛直方向に回転する。
 一例として図6に示すように、撮像装置30は、入出力I/F32、イメージセンサドライバ33、及びイメージセンサ34を備える。イメージセンサドライバ33及びイメージセンサ34は、入出力I/F32及びバス54を介してプロセッサ51と接続されている。
 イメージセンサドライバ33は、プロセッサ51からの指示に従って、イメージセンサ34を制御する。イメージセンサ34は、例えば、CMOSイメージセンサである。なお、ここでは、イメージセンサ34としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサ34は、イメージセンサドライバ33の制御下で、第1被写体(例えば、図1及び図2に示す飛行体310)を撮像し、撮像することで得られた画像をプロセッサ51に対して出力する。
 なお、特に図示しないが、撮像装置30は、対物レンズ、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を備える。また、特に図示しないが、撮像装置30は、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を駆動させるアクチュエータを備える。撮像装置30によって撮像が行われる場合には、アクチュエータが制御されることにより、撮像装置30に備えられたフォーカスレンズ、ズームレンズ、及び絞り等の光学部品が駆動する。
 一例として図7に示すように、測距装置40は、入出力I/F42、測距センサドライバ43、測距センサ44、スキャナドライバ45、及びスキャナ機構46を備える。測距センサドライバ43、測距センサ44、及びスキャナドライバ45は、入出力I/F42及びバス54を介してプロセッサ51と接続されている。
 測距センサドライバ43は、プロセッサ51からの指示に従って、測距センサ44を制御する。測距センサ44は、レーザ光出力機能、反射光検出機能、及び距離情報出力機能を有する。レーザ光出力機能は、レーザ光を出力する機能であり、反射光検出機能は、レーザ光が対象物で反射した光である反射光を検出する機能であり、距離情報出力機能は、レーザ光を出力してから反射光を検出するまでの時間に応じた距離情報(すなわち、測距センサ44から対象物までの距離を示す情報)を出力する機能である。
 スキャナ機構46は、例えば、ガルバノミラースキャナ又はMEMSミラースキャナであり、スキャナミラー47及びスキャナアクチュエータ48を備える。スキャナミラー47は、レーザ光を反射する。スキャナミラー47で反射したレーザ光は、対象物(例えば、図1に示される飛行体310又は点検対象物3)に照射される。スキャナアクチュエータ48は、スキャナミラー47に対して動力を付与することでスキャナミラー47の角度を変化させる。スキャナミラー47の角度が変化することにより、スキャナミラー47で反射するレーザ光の反射角度が水平方向に変化する。また、スキャナミラー47で反射するレーザ光の反射角度が水平方向に変化することにより、対象物に照射されるレーザ光の位置が水平方向に変化し、これにより、対象物がレーザ光によって水平方向にスキャンされる。なお、ここでは、水平方向のスキャンを例示しているが、これはあくまでも一例に過ぎず、鉛直方向のスキャンも、同様の原理で実現される。
 一例として図8に示すように、飛行体310は、通信装置312、画像メモリ314、入出力I/F322、撮像装置330、飛行装置340、及びコンピュータ350を備える。
 コンピュータ350は、プロセッサ351、ストレージ352、及びRAM353を備える。プロセッサ351、ストレージ352、及びRAM353は、バス354を介して相互に接続されており、バス354は、入出力I/F322に接続されている。また、通信装置312、画像メモリ314、及び撮像装置330も、入出力I/F322に接続されている。図8に示す例では、図示の都合上、バス354として1本のバスが図示されているが、複数本のバスであってもよい。バス354は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 プロセッサ351は、例えば、CPUを有しており、飛行体310の全体を制御する。ここでは、プロセッサ351がCPUを有する例を挙げているが、これは、あくまでも一例に過ぎない。例えば、プロセッサ351は、CPU及びGPUを有していてもよい。この場合、例えば、GPUは、CPUの制御下で動作し、画像処理の実行を担う。
 ストレージ352は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ352としては、例えば、HDD及びSSD等が挙げられる。なお、HDD及びSSDは、あくまでも一例に過ぎず、HDD及び/又はSSDに代えて、或いは、HDD及び/又はSSDと共に、フラッシュメモリ、磁気抵抗メモリ、及び/又は強誘電体メモリを用いてもよい。
 RAM353は、一時的に情報が記憶されるメモリであり、プロセッサ351によってワークメモリとして用いられる。RAM353としては、例えば、DRAM及び/又はSRAM等が挙げられる。
 画像メモリ314は、例えば、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等を画像メモリ314として適用してもよい。また、画像メモリ314は、メモリカードでもよい。画像メモリ314には、撮像装置330によって撮像されることで得られた画像が記憶される。
 通信装置312は、基地局10と通信可能に接続されている。通信装置312は、基地局10との間の情報の授受を司る。例えば、通信装置312は、プロセッサ351からの要求に応じた情報を基地局10に送信する。また、通信装置312は、基地局10から送信された情報を受信し、受信した情報を、バス354を介してプロセッサ351に出力する。
 飛行装置340は、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341D、複数のモータ342、及びモータドライバ343を有する。モータドライバ343は、入出力I/F322及びバス354を介してプロセッサ351と接続されている。モータドライバ343は、プロセッサ351からの指示に従って、複数のモータ342を個別に制御する。複数のモータ342の数は、複数のプロペラ341の数と同じである。
 第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dは、各モータ342の回転軸に固定されている。以下では、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dを区別して説明する必要が無い場合、第1プロペラ341A、第2プロペラ341B、第3プロペラ341C、及び第4プロペラ341Dをそれぞれプロペラ341と称する。
 各モータ342は、プロペラ341を回転させる。複数のプロペラ341が回転することにより、飛行体310が飛行する。複数のプロペラ341の単位時間あたりの回転数が増加すると、飛行体310が上昇し、複数のプロペラ341の単位時間あたりの回転数(以下、単に「回転数」とも称する)が減少すると、飛行体310が下降する。また、複数のプロペラ341の推進力と飛行体310に作用する重力とが釣り合った状態では、飛行体310が空中で停止する(すなわち、ホバリングする)。さらに、複数のプロペラ341の回転数に差を生じさせることにより、飛行体310がロール、旋回、前進、後退、及び/又は横移動する。
 なお、飛行体本体320が備える複数のプロペラ341の数は、一例として4つであるが、これはあくまでも一例に過ぎず、複数のプロペラ341の数は、例えば、3つでもよく、5つ以上でもよい。
 一例として図9に示すように、撮像装置330は、イメージセンサドライバ333、イメージセンサ334、撮像レンズ335、第1アクチュエータ336A、第2アクチュエータ336B、第3アクチュエータ336C、第1センサ337A、第2センサ337B、第3センサ337C、及びコントローラ338を備える。イメージセンサドライバ333、イメージセンサ334、及びコントローラ338は、入出力I/F322及びバス354を介してプロセッサ351と接続されている。
 イメージセンサドライバ333は、プロセッサ351からの指示に従って、イメージセンサ334を制御する。イメージセンサ334は、例えば、CMOSイメージセンサである。なお、ここでは、イメージセンサ334としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサは、イメージセンサドライバ333の制御下で、第2被写体(例えば、図1及び図2に示す点検対象物3)を撮像し、撮像することで得た画像をプロセッサ351に対して出力する。
 撮像レンズ335は、対物レンズ335A、フォーカスレンズ335B、ズームレンズ335C、及び絞り335Dを有する。対物レンズ335A、フォーカスレンズ335B、ズームレンズ335C、及び絞り335Dは、被写体側(物体側)からイメージセンサ334側(像側)にかけて、撮像装置330の光軸OA2に沿って、対物レンズ335A、フォーカスレンズ335B、ズームレンズ335C、及び絞り335Dの順に配置されている。
 コントローラ338は、プロセッサ351からの指示に従って、第1アクチュエータ336A、第2アクチュエータ336B、及び第3アクチュエータ336Cを制御する。コントローラ338は、例えば、CPU、NVM、及びRAM等を含むコンピュータを有する装置である。なお、ここでは、コンピュータを例示しているが、これは、あくまでも一例に過ぎず、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コントローラ338として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
 第1アクチュエータ336Aは、フォーカス用スライド機構(図示省略)及びフォーカス用モータ(図示省略)を備える。フォーカス用スライド機構には、光軸OA2に沿ってスライド可能にフォーカスレンズ335Bが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ335Bを光軸OA2に沿って移動させる。
 第2アクチュエータ336Bは、ズーム用スライド機構(図示省略)及びズーム用モータ(図示省略)を備える。ズーム用スライド機構には、光軸OA2に沿ってスライド可能にズームレンズ335Cが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ335Cを光軸OA2に沿って移動させる。
 なお、ここでは、フォーカス用スライド機構とズーム用スライド機構とが別々に設けられている形態例を挙げているが、これはあくまでも一例に過ぎず、フォーカス及びズームを共に実現可能な一体型のスライド機構であってもよい。また、この場合、フォーカス用モータとズーム用モータとを用いずに、1つのモータによって生成された動力がスライド機構に伝達されるようにすればよい。
 第3アクチュエータ336Cは、動力伝達機構(図示省略)及び絞り用モータ(図示省略)を備える。絞り335Dは、開口335D1を有しており、開口335D1の大きさが可変な絞りである。開口335D1は、複数枚の羽根335D2によって形成されている。複数枚の羽根335D2は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の羽根335D2に伝達する。複数枚の羽根335D2は、動力伝達機構から伝達される動力を受けて作動することで開口335D1の大きさを変化させる。絞り335Dは、開口335D1の大きさを変化させることで露出を調節する。
 フォーカス用モータ、ズーム用モータ、及び絞り用モータは、コントローラ338に接続されており、コントローラ338によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、一例として、フォーカス用モータ、ズーム用モータ、及び絞り用モータには、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、コントローラ338からの命令によりパルス信号に同期して動作する。
 第1センサ337Aは、フォーカスレンズ335Bの光軸OA2上での位置を検出する。第1センサ337Aの一例としては、ポテンショメータが挙げられる。第1センサ337Aによる検出結果は、コントローラ338によって取得され、プロセッサ351に出力される。プロセッサ351は、第1センサ337Aによる検出結果に基づいてフォーカスレンズ335Bの光軸OA2上での位置を調節する。
 第2センサ337Bは、ズームレンズ335Cの光軸OA2上での位置を検出する。第2センサ337Bの一例としては、ポテンショメータが挙げられる。第2センサ337Bによる検出結果は、コントローラ338によって取得され、プロセッサ351に出力される。プロセッサ351は、第2センサ337Bによる検出結果に基づいてズームレンズ335Cの光軸OA2上での位置を調節する。
 第3センサ337Cは、開口335D1の大きさを検出する。第3センサ337Cの一例としては、ポテンショメータが挙げられる。第3センサ337Cによる検出結果は、コントローラ338によって取得され、プロセッサ351に出力される。プロセッサ351は、第3センサ337Cによる検出結果に基づいて開口335D1の大きさを調節する。
 一例として図10に示すように、基地局10のストレージ52には、飛行撮像支援プログラム100が記憶されている。
 プロセッサ51は、ストレージ52から飛行撮像支援プログラム100を読み出し、読み出した飛行撮像支援プログラム100をRAM53上で実行する。プロセッサ51は、飛行撮像支援プログラム100を実行することで、動作モード設定部102、飛行ルート設定処理部104、飛行制御処理部106、及び撮像制御処理部108として動作する。
 基地局10は、動作モードとして、飛行ルート設定処理モード、飛行制御処理モード、及び撮像制御処理モードを有する。動作モード設定部102は、基地局10の動作モードとして、飛行ルート設定処理モード、飛行制御処理モード、及び撮像制御処理モードを選択的に設定する。動作モード設定部102によって基地局10の動作モードが飛行ルート設定処理モードに設定された場合、プロセッサ51は、飛行ルート設定処理部104として動作する。動作モード設定部102によって基地局10の動作モードが飛行制御処理モードに設定された場合、プロセッサ51は、飛行制御処理部106として動作する。動作モード設定部102によって基地局10の動作モードが撮像制御処理モードに設定された場合、プロセッサ51は、撮像制御処理部108として動作する。
 一例として図11に示すように、飛行ルート設定処理部104は、飛行ルート設定処理を行う。飛行ルート設定処理は、基地局10の動作モードが飛行ルート設定処理モードに設定された場合に飛行ルート設定処理部104によって行われる処理である。飛行ルート設定処理部104は、第1受付判定部112、第1回転制御部114、第1撮像制御部116、画像情報記憶制御部118、第1測距制御部120、距離情報記憶制御部122、回転位置判定部124、回転停止制御部126、画像表示制御部128、第2受付判定部130、倣い面設定部132、平滑面設定部134、距離判定部136、第1ズーム倍率決定部138、第1ズーム倍率記憶制御部140、第1飛行ルート設定部142、第2ズーム倍率決定部144、第2ズーム倍率記憶制御部146、及び第2飛行ルート設定部148を有する。
 一例として図12に示すように、飛行制御処理部106は、飛行制御処理を行う。飛行制御処理は、基地局10の動作モードが飛行制御処理モードに設定された場合に飛行制御処理部106によって行われる処理である。飛行制御処理部106は、第3受付判定部152、第2撮像制御部154、飛行体位置導出部156、位置ずれ判定部158、第2回転制御部160、第2測距制御部162、飛行体座標導出部164、撮像位置到達判定部166、飛行指示生成部168、及び飛行指示送信制御部170を有する。
 一例として図13に示すように、撮像制御処理部108は、撮像制御処理を行う。撮像制御処理は、基地局10の動作モードが撮像制御処理モードに設定された場合に撮像制御処理部108によって行われる処理である。撮像制御処理部108は、ホバリング指示送信制御部172、ホバリング報告受信判定部174、第3撮像制御部176、飛行体姿勢特定部178、姿勢補正指示生成部180、姿勢補正指示送信制御部182、姿勢補正報告受信判定部184、ズーム倍率判定部186、第1画角設定指示送信制御部188、距離導出部190、第2画角設定指示生成部192、第2画角設定指示送信制御部194、画角設定報告受信判定部196、撮像指示送信制御部198、撮像報告受信判定部200、終了判定部202、及び終了指示送信制御部204を有する。
 一例として図14に示すように、飛行体310のストレージ352には、飛行撮像プログラム400が記憶されている。
 プロセッサ351は、ストレージ352から飛行撮像プログラム400を読み出し、読み出した飛行撮像プログラム400をRAM353上で実行する。プロセッサ351は、RAM353上で実行する飛行撮像プログラム400に従って飛行撮像処理を行う。プロセッサ351は、飛行撮像プログラム400を実行することで、飛行指示受信判定部402、飛行制御部404、ホバリング指示受信判定部406、ホバリング制御部408、ホバリング報告送信制御部410、姿勢補正指示受信判定部412、姿勢補正制御部414、姿勢補正報告送信制御部416、画角設定指示受信判定部418、画角制御部420、画角設定報告送信制御部422、撮像指示受信判定部424、撮像制御部426、画像記憶制御部428、撮像報告送信制御部430、終了指示受信判定部432、及び終了制御部434として動作する。
 一例として図15に示すように、点検対象物3は、壁面4を有する。以下では、一例として、壁面4を点検する例について説明する。壁面4は、本開示の技術に係る「表面」の一例である。壁面4は、第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eを有する。
 基地局10は、撮像装置30によって壁面4を撮像可能であり、かつ、測距装置40によって壁面4と測距装置40との間の距離を測定可能な位置に設置される。以下では、一例として、測距装置40の測距領域内に壁面4が収まっていることを前提に説明する。
 測距領域は、台座27を第1回転位置から第2回転位置に回転させる間に、測距装置40によって壁面4が複数回に分けてスキャンされる領域である。測距領域では、撮像装置30によって壁面4が複数回に分けて撮像される。
 第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eは、何れも基地局10に面している。第2面4Bは、第1面4Aと第3面4Cとの間に位置している。第2面4Bは、第1面4A及び第3面4Cに対して傾斜している。第2面4Bは、第1面4A側から第3面4C側に向かうに従って基地局10から遠ざかる傾斜面である。第3面4Cは、第1面4Aよりも基地局10から離れた側に位置している。
 点検対象物3の壁面4は、凹部4Fを有する。凹部4Fは、基地局10側に開口する開口部4F1を有する。一例として、開口部4F1の面積は、飛行体310が凹部4Fの内側に侵入することができる面積未満である。一例として、凹部4Fは、点検対象物3の下端から上端に亘って形成されている。凹部4Fは、第3面4Cと第5面4Eとの間に形成されており、第4面4Dは、凹部4Fの底面によって形成されている。第4面4Dは、第3面4C及び第5面4Eよりも基地局10から離れた側に位置しており、第5面4Eは、第3面4Cよりも基地局10に近い側に位置している。第1面4A、第3面4C、第4面4D、及び第5面4Eは、互いに平行な面である。以下では、第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eが何れも鉛直方向と平行な平面であることを前提として説明する。
 作業者5は、測定開始指示を受付装置14に対して付与する。基地局10において、第1受付判定部112は、測定開始指示が受付装置14によって受け付けられたか否かを判定する。
 第1回転制御部114は、測定開始指示が受付装置14によって受け付けられたと第1受付判定部112によって判定された場合、回転駆動装置20に対して台座27を第1回転位置から、第1回転位置とは異なる位置である第2回転位置に向けて回転させる制御を行う。具体的には、第1回転制御部114は、回転駆動装置20のモータドライバ23を介してパンモータ24を作動させることにより、台座27を第1回転位置から第2回転位置に向けて回転させる。これにより、台座27に取り付けられた撮像装置30及び測距装置40が水平方向への回転を開始する。
 第1撮像制御部116は、撮像装置30に対して、壁面4を撮像させる制御を行う。具体的には、第1撮像制御部116は、撮像装置30のイメージセンサドライバ33を介してイメージセンサ34に壁面4を撮像させる。この場合に、撮像装置30は、壁面4の水平方向の一部を撮像する。これにより、撮像装置30によって壁面4の水平方向の一部が撮像されることで画像が得られる。
 パンチルト機構26及び/又は台座27には、回転検出器(図示省略)が設けられており、回転検出器によって台座27の回転位置(以下、単に「回転位置」とも称する)が検出される。画像情報記憶制御部118は、撮像装置30によって撮像されることで得られた画像と回転検出器によって検出された回転位置とに基づいて画像情報を生成し、画像情報をストレージ52に記憶させる。例えば、画像情報は、撮像装置30によって撮像されることで得られた画像に対して回転検出器によって検出された回転位置を関連付けた情報である。
 第1測距制御部120は、測距装置40に対して、レーザ光によって壁面4をスキャンさせる制御を行う。具体的には、第1測距制御部120は、測距装置40の測距センサドライバ43を介して測距センサ44を制御することにより、測距センサ44からレーザ光を出力させ、かつ、壁面4で反射したレーザ光の反射光を測距センサ44に検出させる。また、第1測距制御部120は、測距装置40のスキャナドライバ45を介してスキャナアクチュエータ48を制御することによりスキャナミラー47を回転させることで、レーザ光の位置を水平方向に変化させる。この場合に、測距装置40は、壁面4の水平方向の一部をスキャンする。これにより、測距装置40によって壁面4の水平方向の一部がスキャンされることで壁面4と測距装置40との間の距離が測定される。測距装置40の1回のスキャンでは、壁面4の水平方向の一部における複数の測距箇所について壁面4と測距装置40との間の距離が測定される。壁面4と測距装置40との間の距離は、本開示の技術に係る「第1距離」の一例である。
 スキャナミラー47には、角度検出器(図示省略)が設けられており、角度検出器によってスキャナミラー47の回転角度(以下、単に「回転角度」とも称する)が検出される。距離情報記憶制御部122は、測距箇所毎に測定された距離と、回転検出器によって検出された回転位置と、角度検出器によって検出された回転角度とに基づいて距離情報を生成し、距離情報をストレージ52に記憶させる。例えば、距離情報は、測距箇所毎に測定された距離に対して回転検出器によって検出された回転位置と、角度検出器によって検出された回転角度とを関連付けた情報である。
 回転位置判定部124は、台座27の回転位置が第2回転位置に到達したか否かを判定する。回転位置判定部124は、例えば、回転検出器によって検出された回転位置と、第2回転位置の位置とを比較することにより、台座27の回転位置が第2回転位置に到達したか否かを判定する。台座27の回転位置が第2回転位置に到達していないと回転位置判定部124によって判定された場合、上述の第1撮像制御部116、画像情報記憶制御部118、第1測距制御部120、及び距離情報記憶制御部122による制御が実行される。
 台座27の回転位置が第2回転位置に到達するまでの間に、上述の第1撮像制御部116及び画像情報記憶制御部118による制御が繰り返し実行されることにより、壁面4の第1端部側から第2端部側へ順に、壁面4の複数の被撮像領域が連続的に撮像される。そして、各被撮像領域に対応する画像情報がストレージ52に記憶される。また、台座27の回転位置が第2回転位置に到達するまでの間に、上述の第1測距制御部120及び距離情報記憶制御部122による制御が繰り返し実行されることにより、壁面4の第1端部側から第2端部側へ順に、壁面4の複数の測距領域がそれぞれレーザ光によって連続的にスキャンされる。そして、各測距領域に対応する距離情報がストレージ52に記憶される。
 回転停止制御部126は、台座27の回転位置が第2回転位置に到達したと回転位置判定部124によって判定された場合、回転駆動装置20に対して台座27の回転を停止させる制御を行う。具体的には、回転停止制御部126は、回転駆動装置20のモータドライバ23を介してパンモータ24の回転を停止させることにより、台座27の回転を停止させる。
 以上により、台座27が第1回転位置から第2回転位置に回転する間に、撮像装置30によって壁面4が複数回に分けて撮像され、かつ、測距装置40によって壁面4が複数回に分けてスキャンされることにより、壁面4に対応する画像情報及び距離情報が得られる。
 一例として図16に示すように、基地局10において、画像表示制御部128は、ストレージ52に記憶された画像情報に基づいて、ディスプレイ16に画像(すなわち、壁面4が像として表れている画像)を表示させる制御を行う。この場合に、画像表示制御部128は、第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eに対応して画像情報に含まれる回転位置に基づいて、第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eに対応する像(ここでは、一例として、電子像である画像)をディスプレイ16に並べて表示する。
 作業者5は、ディスプレイ16に表示された画像に基づいて(例えば、目視で画像を参照しながら)、第1面4A、第2面4B、第3面4C、第4面4D、及び第5面4Eから飛行体310に点検させる点検対象面4Gを決定する。そして、作業者5は、点検対象面4Gを指定する旨の点検対象面指定情報を受付装置14に対して付与する。第2受付判定部130は、点検対象面指定情報が受付装置14によって受け付けられたか否かを判定する。
 倣い面設定部132は、点検対象面指定情報が受付装置14によって受け付けられたと第2受付判定部130によって判定された場合、点検対象面指定情報に基づいて倣い面6を設定する。倣い面6は、点検対象面4Gから点検対象面4Gの法線方向に既定距離Lだけ離れ、かつ、点検対象面4Gに倣う面(すなわち、点検対象面4Gに沿う仮想的な面)である。既定距離Lは、飛行体310の撮像装置330の被写界深度内に点検対象面4Gが含まれる距離であり、予め設定される距離である。一例として、既定距離Lは、1m~3mに設定される。
 一例として図16に示す例では、作業者5によって第1面4A、第2面4B、及び第3面4Cが点検対象面4Gに指定されている。したがって、図16に示す例では、第1面4Aに倣う第1倣い面6A、第2面4Bに倣う第2倣い面6B、及び第3面4Cに倣う第3倣い面6Cを有する倣い面6が倣い面設定部132によって設定される。第1倣い面6Aは、第1面4Aから既定距離Lだけ離れた面であり、第2倣い面6Bは、第2面4Bから既定距離Lだけ離れた面であり、第3倣い面6Cは、第3面4Cから既定距離Lだけ離れた面である。
 平滑面設定部134は、倣い面6を平滑化することによって平滑面7(すなわち、壁面4と対向する平滑な仮想面)を設定する。「平滑」とは、例えば、不連続な箇所がなく、かつ、凹凸がない滑らかな態様を指す。また、「平滑化」は、倣い面6の屈曲の度合いを、許容される度合いとして指定された度合いまで小さくすることによって実現される。倣い面6がもともと平滑である場合、倣い面6を平滑化するとは、倣い面6がそのまま平滑面7に置き換えられることである。一例として、平滑面設定部134は、次の第1条件及び第2条件を満たす平滑面7を設定する。すなわち、第1条件は、倣い面6を形成する複数の面のうちの少なくとも何れかの面を通り、点検対象面4Gと対向する面を平滑面7とする条件である。第2条件は、点検対象面4Gを形成する複数の面と平滑面7との間の距離が何れも既定距離L以上である面を平滑面7とする条件である。
 例えば、図16に示す例では、上記第1条件及び第2条件を満たす平滑面7として、第1倣い面6A、第2倣い面6B、及び第3倣い面6Cを通り、点検対象面4Gと対向する平滑面7が設定される。一方、一例として図17に示す例は、作業者5によって第3面4C、第4面4D、及び第5面4Eが点検対象面4Gに指定された例である。図17に示す例では、第3面4Cに倣う第3倣い面6C、第4面4Dに倣う第4倣い面6D、及び第5面4Eに倣う第5倣い面6Eを有する倣い面6が倣い面設定部132によって設定される。第3倣い面6Cは、第3面4Cから既定距離Lだけ離れた面であり、第4倣い面6Dは、第4面4Dから既定距離Lだけ離れた面であり、第5倣い面6Eは、第5面4Eから既定距離Lだけ離れた面である。また、図17に示す例では、上述の第1条件及び第2条件を満たす平滑面7として、第5倣い面6Eを通り、点検対象面4Gと対向する平滑面7が設定される。
 距離判定部136は、ストレージ52に記憶されている距離情報に基づいて、点検対象面4Gと平滑面7との間の距離が一定であるか否かを判定する。例えば、図16に示す例では、点検対象面4Gと平滑面7との間の距離が既定距離Lで一定である。したがって、図16に示す例では、距離判定部136は、点検対象面4Gと平滑面7との間の距離が一定であると判定する。一方、例えば、図17に示す例では、点検対象面4Gと平滑面7との間の距離は一定ではない。すなわち、凹部4Fの底面である第4面4Dと平滑面7との間の距離L4は、第3面4Cと平滑面7との間の距離L3よりも長い。また、凹部4Fの底面である第4面4Dと平滑面7との間の距離L4は、第5面4Eと平滑面7との間の距離L5よりも長い。したがって、図17に示す例では、距離判定部136は、点検対象面4Gと平滑面7との間の距離が一定ではないと判定する。
 図18に示す例は、図16に示す例と同様に、点検対象面4Gと平滑面7との間の距離が既定距離Lで一定である例である。一例として図18に示すように、基地局10において、第1ズーム倍率決定部138は、距離判定部136によって点検対象面4Gと平滑面7との間の距離が一定であると判定された場合、飛行体310の撮像装置330(図1参照)のズーム倍率を第1ズーム倍率に決定する。一例として、第1ズーム倍率は、点検対象面4Gから既定距離Lだけ離れた位置から撮像装置330によって点検対象面4Gを撮像する場合に、撮像装置330の画素分解能が既定値となるズーム倍率である。
 撮像装置330の画素分解能は、撮像装置330が備えるイメージセンサ334の一画素あたりの視野の大きさに相当する。視野の大きさは、被写体を実際に撮像する範囲に相当する。画素分解能に関する既定値は、点検対象面4Gを撮像することで得られる画像に対して画像解析装置2(図1参照)によって画像解析処理が実行された場合に、点検対象面4Gの損傷の有無及び/又は損傷の程度等を点検し得る値に設定される。
 第1ズーム倍率記憶制御部140は、第1ズーム倍率決定部138によって決定された第1ズーム倍率をストレージ52に記憶させる。
 第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。複数の撮像位置8Aは、飛行体310の撮像装置330(図1参照)によって点検対象面4Gを撮像する位置である。
 一例として、第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率で点検対象面4Gを撮像する場合に、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部がオーバーラップする位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部がオーバーラップする位置に複数の撮像位置8Aが設定されることにより、後述するように、複数の撮像位置8Aのそれぞれに到達する毎に撮像装置330によって撮像されることで得られる画像同士の一部がオーバーラップする。複数の撮像位置8Aは、本開示の技術に係る「第1撮像位置」の一例である。
 図19に示す例は、図17に示す例と同様に、点検対象面4Gと平滑面7との間の距離が一定ではない例である。一例として図19に示すように、基地局10において、第2ズーム倍率決定部144は、距離判定部136によって点検対象面4Gと平滑面7との間の距離が一定ではないと判定された場合、飛行体310の撮像装置330(図1参照)のズーム倍率を第2ズーム倍率に決定する。一例として、第2ズーム倍率は、点検対象面4Gと平滑面7との間の最短距離(この場合、第5面4Eと平滑面7との間の距離L5)だけ離れた位置から撮像装置330によって点検対象面4Gを撮像する場合に、撮像装置330の画素分解能が上述の既定値となるズーム倍率である。
 第2ズーム倍率記憶制御部146は、第2ズーム倍率決定部144によって決定された第2ズーム倍率をストレージ52に記憶させる。
 第2飛行ルート設定部148は、第2ズーム倍率決定部144で決定された第2ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。第2飛行ルート設定部148によって設定された飛行ルート8を飛行体310が飛行する場合、後述するように、第2ズーム倍率決定部144で決定された第2ズーム倍率が点検対象面4Gと撮像位置8Aとの間の距離に応じて調整されることにより、撮像装置330の画素分解能が一定に保たれる制御が行われる。
 一例として、第2飛行ルート設定部148は、第2ズーム倍率決定部144で決定された第2ズーム倍率が点検対象面4Gと撮像位置8Aとの間の距離に応じて調整される場合でも、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部が重複する位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部がオーバーラップする位置に複数の撮像位置8Aが設定されることにより、後述するように、複数の撮像位置8Aのそれぞれに到達する毎に撮像装置330によって撮像されることで得られる画像同士の一部がオーバーラップする。
 一例として図20に示すように、飛行体310は、基地局10の撮像装置30の撮像範囲31内に配置される。作業者5は、飛行体310が飛行を開始できる状態になった段階で、飛行開始指示を受付装置14に対して付与する。基地局10において、第3受付判定部152は、飛行開始指示が受付装置14によって受け付けられたか否かを判定する。
 第2撮像制御部154は、飛行開始指示が受付装置14によって受け付けられたと第3受付判定部152によって判定された場合、撮像装置30に対して、飛行体310を含む撮像シーンを撮像させる制御を行う。具体的には、第2撮像制御部154は、撮像装置30のイメージセンサドライバ33を介してイメージセンサ34に飛行体310を含む撮像シーンを撮像させる。これにより、撮像装置30によって飛行体310を含む撮像シーンが撮像されることで画像が得られる。この場合に飛行体310を含む撮像シーンが撮像されることで得られた画像は、本開示の技術に係る「第2画像」の一例である。
 飛行体位置導出部156は、撮像装置30によって飛行体310を含む撮像シーンが撮像されることで得られた画像に対して物体認識処理を実行することにより、画像に像として含まれる飛行体310の画像内の位置を導出する。
 位置ずれ判定部158は、飛行体位置導出部156によって導出された飛行体310の画像内の位置に基づいて、撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。
 第2回転制御部160は、撮像装置30の画角の中央部に対して飛行体310の位置がずれていると判定された場合、回転駆動装置20の水平方向の回転角度及び/又は鉛直方向の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する制御を行う。具体的には、第2回転制御部160は、回転駆動装置20のモータドライバ23を介してパンモータ24及び/又はチルトモータ25を制御することにより、回転駆動装置20の水平方向の回転角度及び/又は鉛直方向の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。これにより、測距装置40の測距範囲41(図21参照)の中央部に飛行体310が含まれる。
 以下、回転駆動装置20の水平方向の回転角度及び/又は鉛直方向の回転角度を、回転駆動装置20の回転角度と称する。この場合の回転駆動装置20の回転角度は、本開示の技術に係る「第2回転角度」の一例である。
 一例として図21に示すように、基地局10において、第2測距制御部162は、測距装置40に対して、レーザ光によって測距範囲41をスキャンさせる制御を行う。具体的には、第2測距制御部162は、測距装置40の測距センサドライバ43を介して測距センサ44を制御することにより、測距センサ44からレーザ光を出力させ、かつ、測距範囲41に含まれる物体(例えば、この場合、飛行体310及びその他の物体)で反射したレーザ光の反射光を測距センサ44に検出させる。また、第2測距制御部162は、測距装置40のスキャナドライバ45を介してスキャナアクチュエータ48を制御することによりスキャナミラー47を回転させることで、レーザ光の位置を水平方向に変化させる。これにより、測距装置40によって測距範囲41がスキャンされる。測距範囲41が測距装置40によってスキャンされることによって、物体と測距装置40との間の距離が測定される。
 測距装置40の1回のスキャンでは、測距範囲41の複数の測距箇所について物体と測距装置40との間の距離が測定される。この場合、測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が測距装置40によって測定される。
 飛行体座標導出部164は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離に基づいて、飛行体310の絶対座標を導出する。絶対座標とは、座標系(ここでは、例えば、撮像システムS上の固定点に設定される絶対座標系)の原点から計測される座標のことである。回転駆動装置20の絶対座標は、本開示の技術に係る「第1絶対座標」の一例であり、飛行体310の絶対座標は、本開示の技術に係る「第2絶対座標」の一例である。この場合に、飛行体座標導出部164は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離を次の要領で取得する。
 すなわち、飛行体座標導出部164は、測距装置40によって測距範囲41がスキャンされることで得られた距離情報から、飛行体310と測距装置40との間の距離を取得する。例えば、飛行体座標導出部164は、測距装置40の測距範囲41の中央部について測定された距離を、飛行体310と測距装置40との間の距離として取得する。例えば、飛行体310と測距装置40との間の距離は、飛行体310とLiDARスキャナとの間の距離に相当する。なお、飛行体座標導出部164は、測距装置40の測距範囲41の中央部を含む既定領域の複数の測距箇所について測定された距離の平均値を、飛行体310と測距装置40との間の距離として取得してもよい。既定領域は、例えば、飛行体310のみを含む領域である。飛行体310と測距装置40との間の距離は、本開示の技術に係る「第2距離」の一例である。
 また、飛行体座標導出部164は、例えば、基地局10が測定現場に設置された状態で衛星測位システム(例えば、全地球測位システム)等を用いて測定された基地局10の座標(例えば、緯度、経度、及び高度に相当する3次元座標)に基づいて、回転駆動装置20の絶対座標を取得する。回転駆動装置20の絶対座標は、基地局10の絶対座標に相当する。また、飛行体座標導出部164は、角度検出器によって検出されたスキャナミラー47の回転角度に基づいて、測距装置40から飛行体310に向けて照射されたレーザ光の角度を取得する。測距装置40から飛行体310に向けて照射されたレーザ光の角度は、LiDARスキャナから飛行体310に向けて照射されたレーザ光の角度に相当する。また、飛行体座標導出部164は、パンチルト機構26及び/又は台座27に設けられた回転検出器(図示省略)によって検出された台座27の回転位置に基づいて、回転駆動装置20の回転角度を取得する。
 撮像位置到達判定部166は、飛行体座標導出部164によって導出された飛行体310の座標、及び複数の撮像位置8Aのうち飛行体310に最も近い撮像位置8A(以下、目標撮像位置8Aと称する)の絶対座標に基づいて、飛行体310が目標撮像位置8Aに到達したか否かを判定する。
 飛行指示生成部168は、飛行体310が目標撮像位置8Aに到達していないと撮像位置到達判定部166によって判定された場合、飛行体座標導出部164によって導出された飛行体310の座標と目標撮像位置8Aの座標との間の差分に基づいて、飛行体310に対する飛行指示を生成する。具体的には、飛行指示生成部168は、飛行体座標導出部164によって導出された飛行体310の絶対座標、及び目標撮像位置8Aの絶対座標に基づいて、飛行体310が飛行ルート8を飛行することにより目標撮像位置8Aに到達するための飛行体310の飛行方向、及び飛行体310の移動量を算出する。そして、飛行指示生成部168は、飛行体310の飛行方向、及び飛行体310の移動量に対応する各プロペラ341の回転数を算出し、各プロペラ341の回転数に対応する飛行指示を生成する。
 飛行指示送信制御部170は、通信装置12を介して飛行体310に対して飛行指示を送信する制御を行う。
 一例として図22に示すように、飛行体310において、飛行指示受信判定部402は、通信装置312が飛行指示を受信したか否かを判定する。
 飛行制御部404は、通信装置312が飛行指示を受信したと飛行指示受信判定部402によって判定された場合、飛行指示に従って飛行装置340を制御する。具体的には、飛行制御部404は、飛行指示に従って飛行装置340のモータドライバ343を介して複数のモータ342を制御することにより、各プロペラ341の回転数を飛行指示に対応する回転数に調節する。これにより、飛行体310が目標撮像位置8Aに向けて飛行する。
 一例として図23に示すように、基地局10において、ホバリング指示送信制御部172は、飛行体310が目標撮像位置8Aに到達したと撮像位置到達判定部166によって判定された場合、通信装置12を介して飛行体310に対してホバリング指示を送信する制御を行う。
 一例として図24に示すように、飛行体310において、ホバリング指示受信判定部406は、通信装置312がホバリング指示を受信したか否かを判定する。
 ホバリング制御部408は、通信装置312がホバリング指示を受信したとホバリング指示受信判定部406によって判定された場合、飛行装置340に対して、飛行体310をホバリングさせる制御を行う。具体的には、ホバリング制御部408は、飛行装置340のモータドライバ343を介して複数のモータ342を制御することにより、各プロペラ341の回転数を飛行体310がホバリングする回転数に調節する。これにより、飛行体310がホバリングする。
 ホバリング報告送信制御部410は、ホバリング制御部408による制御が行われた後、通信装置312を介して基地局10に対して、飛行体310がホバリングしている旨のホバリング報告を送信する制御を行う。
 一例として図25に示すように、基地局10において、ホバリング報告受信判定部174は、通信装置12がホバリング報告を受信したか否かを判定する。
 第3撮像制御部176は、撮像装置30に対して、飛行体310を含む撮像シーンを撮像させる制御を行う。具体的には、第3撮像制御部176は、撮像装置30のイメージセンサドライバ33を介してイメージセンサ34に飛行体310を含む撮像シーンを撮像させる。これにより、飛行体310を含む撮像シーンが撮像装置30によって撮像されることで画像が得られる。
 飛行体姿勢特定部178は、第3撮像制御部176による制御に基づいて撮像装置30によって撮像されることで得られた画像に対して物体認識処理(例えば、テンプレートマッチング方式の物体認識処理、又は、AI方式の物体認識処理)を実行することにより、画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。具体的には、飛行体姿勢特定部178は、画像に基づいて、画像に写された複数のプロペラ341の色を識別することにより、複数のプロペラ341の位置を特定する。そして、飛行体姿勢特定部178は、複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。飛行体310の姿勢には、飛行体310の向き及び/又は飛行体310の傾斜等が含まれる。
 姿勢補正指示生成部180は、飛行体姿勢特定部178によって特定された飛行体310の姿勢に基づいて、飛行体310に対する姿勢補正指示を生成する。具体的には、姿勢補正指示生成部180は、飛行体姿勢特定部178によって特定された飛行体310の姿勢に基づいて、飛行体310の姿勢を水平な状態で点検対象面4Gと正対する姿勢に補正するための姿勢補正量を算出する。そして、姿勢補正指示生成部180は、姿勢補正量に対応する各プロペラ341の回転数を算出し、各プロペラ341の回転数に対応する姿勢補正指示を生成する。
 姿勢補正指示送信制御部182は、通信装置12を介して飛行体310に対して姿勢補正指示を送信する制御を行う。
 一例として図26に示すように、飛行体310において、姿勢補正指示受信判定部412は、通信装置312が姿勢補正指示を受信したか否かを判定する。
 姿勢補正制御部414は、通信装置312が姿勢補正指示を受信したと姿勢補正指示受信判定部412によって判定された場合、姿勢補正指示に従って飛行体310の姿勢を補正する制御を飛行装置340に対して行う。具体的には、姿勢補正制御部414は、姿勢補正指示に従って飛行装置340のモータドライバ343を介して複数のモータ342を制御することにより、姿勢補正指示に対応する回転数に複数のプロペラ341の回転数を調節する。これにより、飛行体310の姿勢が水平な状態で点検対象面4Gと正対する姿勢に補正される。飛行体310の姿勢が水平な状態で点検対象面4Gと正対する姿勢に補正されることにより、撮像装置330が水平な状態で撮像装置330の光軸OA2が点検対象面4Gと直交する。
 姿勢補正報告送信制御部416は、姿勢補正制御部414による制御が行われた後、通信装置312を介して基地局10に対して、飛行体310の姿勢が補正された旨の姿勢補正報告を送信する制御を行う。
 一例として図27に示す例は、図18に示す例のように、点検対象面4Gと平滑面7との間の距離が既定距離Lで一定であることにより、第1ズーム倍率記憶制御部140(図18参照)によってストレージ52に第1ズーム倍率が記憶された例である。
 一例として図27に示すように、基地局10において、姿勢補正報告受信判定部184は、通信装置12が姿勢補正報告を受信したか否かを判定する。
 ズーム倍率判定部186は、通信装置12が姿勢補正報告を受信したと姿勢補正報告受信判定部184によって判定された場合、上述の第1ズーム倍率記憶制御部140又は第2ズーム倍率記憶制御部146によってストレージ52に記憶されたズーム倍率が第1ズーム倍率及び第2ズーム倍率のどちらであるのかを判定する。
 第1画角設定指示送信制御部188は、ストレージ52に記憶されたズーム倍率が第1ズーム倍率であるとズーム倍率判定部186によって判定された場合、通信装置12を介して飛行体310に対して、第1ズーム倍率に対応する第1画角設定指示を送信する制御を行う。
 一例として図28に示す例は、図19に示す例のように、点検対象面4Gと平滑面7との間の距離が一定ではないことにより、第2ズーム倍率記憶制御部146(図19参照)によってストレージ52に第2ズーム倍率が記憶された例である。
 一例として図28に示すように、基地局10において、距離導出部190は、ストレージ52に記憶されたズーム倍率が第2ズーム倍率であるとズーム倍率判定部186によって判定された場合、上述の距離情報記憶制御部122によってストレージ52に記憶された距離情報に基づいて、点検対象面4Gと目標撮像位置8Aとの間の距離を導出する。
 第2画角設定指示生成部192は、距離導出部190によって導出された距離に基づいて、撮像装置330の画素分解能が上述の既定値となるズーム倍率に第2ズーム倍率を調整する。そして、第2画角設定指示生成部192は、距離導出部190によって導出された距離に基づいて調整した第2ズーム倍率に対応する第2画角設定指示を生成する。具体的には、第2画角設定指示生成部192は、距離導出部190によって導出された距離が点検対象面4Gと平滑面7との間の最短距離である場合には、第2ズーム倍率決定部144によって決定された第2ズーム倍率に対応する第2画角設定指示を生成する。
 一方、第2画角設定指示生成部192は、距離導出部190によって導出された距離が点検対象面4Gと平滑面7との間の最短距離よりも長い場合には、第2ズーム倍率決定部144によって決定された第2ズーム倍率を距離導出部190によって導出された距離に応じて増加させることにより第2ズーム倍率を調整する。そして、第2画角設定指示生成部192は、調整した第2ズーム倍率に対応する第2画角設定指示を生成する。
 第2画角設定指示送信制御部194は、通信装置12を介して飛行体310に対して、第2画角設定指示生成部192によって生成された第2画角設定指示を送信する制御を行う。以下では、第1画角設定指示及び第2画角設定指示を区別して説明する必要が無い場合、第1画角設定指示及び第2画角設定指示を画角設定指示と称する。
 一例として図29に示すように、飛行体310において、画角設定指示受信判定部418は、通信装置312が画角設定指示を受信したか否かを判定する。
 画角制御部420は、通信装置312が画角設定指示を受信したと画角設定指示受信判定部418によって判定された場合、撮像装置330に対して、撮像装置330の画角を画角設定指示に対応する画角に設定する制御を行う。具体的には、画角制御部420は、コントローラ338を介して第2アクチュエータ336Bを制御することにより、ズームレンズ335Cの位置を画角設定指示に対応する位置に調節する。ズームレンズ335Cの位置が調節されることにより、撮像装置330のズーム倍率が調整される。
 例えば、通信装置312が画角設定指示として第1画角設定指示を受信した場合、画角制御部420は、第1画角設定指示に従って撮像装置330のズーム倍率を第1ズーム倍率に設定する。一方、通信装置312が画角設定指示として第2画角設定指示を受信した場合、画角制御部420は、第2画角設定指示に従って撮像装置330のズーム倍率を第2ズーム倍率に設定する。
 また、画角制御部420は、コントローラ338を介して第1アクチュエータ336Aを制御することにより、フォーカスレンズ335Bの位置を画角設定指示に対応する位置に調節する。フォーカスの位置が調節されることにより、撮像装置330のピントが調節される。なお、この場合に、画角制御部420は、ズームレンズ335C及びフォーカスレンズ335Bのうちの少なくとも一方を動作させてもよい。画角制御部420によって画角が調節されることにより、撮像装置330の画素分解能が一定に保たれる。撮像装置330の画素分解能が一定に保たれることにより、点検対象面4Gと撮像位置8Aとの間の距離が変動しても、撮像装置330によって点検対象面4Gが実際に撮像される範囲が一定に保たれる。
 画角設定報告送信制御部422は、画角制御部420による制御が行われた後、通信装置312を介して基地局10に対して、撮像装置330の画角が画角設定指示に対応する画角に設定された旨の画角設定報告を送信する制御を行う。
 一例として図30に示すように、基地局10において、画角設定報告受信判定部196は、通信装置12が画角設定報告を受信したか否かを判定する。
 撮像指示送信制御部198は、通信装置12が画角設定報告を受信したと画角設定報告受信判定部196によって判定された場合、通信装置12を介して飛行体310に対して撮像指示を送信する制御を行う。
 一例として図31に示すように、飛行体310において、撮像指示受信判定部424は、通信装置312が撮像指示を受信したか否かを判定する。
 撮像制御部426は、通信装置312が撮像指示を受信したと撮像指示受信判定部424によって判定された場合、撮像装置330に対して、点検対象面4Gを撮像させる制御を行う。具体的には、撮像制御部426は、撮像装置330のイメージセンサドライバ333を介してイメージセンサ334に点検対象面4Gを撮像させる。この場合に、撮像装置330は、点検対象面4Gの一部を撮像する。これにより、撮像装置330によって点検対象面4Gの一部が撮像されることで画像が得られる。撮像制御部426による制御下で撮像装置330によって撮像されることで得られた画像は、本開示の技術に係る「第1画像」の一例である。
 画像記憶制御部428は、撮像装置330によって撮像されることで得られた画像を画像メモリ314に記憶させる。
 撮像報告送信制御部430は、画像メモリ314に画像が記憶された後、通信装置312を介して基地局10に対して、撮像装置330によって点検対象面4Gの一部を撮像した旨の撮像報告を送信する制御を行う。
 一例として図32に示すように、基地局10において、撮像報告受信判定部200は、通信装置12が撮像報告を受信したか否かを判定する。
 終了判定部202は、飛行撮像支援処理を終了する条件が成立したか否かを判定する。飛行撮像支援処理を終了する条件としては、撮像報告の数が撮像位置8Aの数に達したことが挙げられる。終了判定部202は、撮像報告の数が撮像位置8Aの数よりも少ない場合には、飛行撮像支援処理を終了する条件が成立していないと判定する。
 飛行撮像支援処理を終了する条件が成立していない場合には、上述の基地局10による飛行撮像支援処理が繰り返し実行される。基地局10による飛行撮像支援処理が繰り返し実行されることに合わせて、飛行体310が飛行ルート8を飛行することにより各撮像位置8Aに順に移動し、複数の撮像位置8Aのそれぞれに到達する毎に撮像装置330によって点検対象面4Gが撮像されることにより、複数の画像が取得される。また、点検対象面4Gと各撮像位置8Aとの間の距離が既定距離Lで一定である場合(図18参照)、各撮像位置8Aで撮像装置330のズーム倍率が第1ズーム倍率に維持されることにより、撮像装置330の画素分解能が一定に保たれる。
 一方、例えば、飛行体310が凹部4Fを跨いで飛行する場合(図19参照)、点検対象面4Gと各撮像位置8Aとの間の距離が変動するので、この場合には、各撮像位置8Aで点検対象面4Gと撮像位置8Aとの間の距離に応じて撮像装置330の第2ズーム倍率が調整されることにより、撮像装置330の画素分解能が一定に保たれる。撮像装置330の画素分解能が一定に保たれることにより、点検対象面4Gと撮像位置8Aとの間の距離が変動しても、撮像装置330によって実際に撮像される範囲が一定に保たれる。なお、点検対象面4Gと撮像位置8Aとの間の距離は、点検対象面4Gと撮像装置330との間の距離に相当する。
 終了判定部202は、撮像報告の数が撮像位置8Aの数に達した場合には、飛行撮像支援処理を終了する条件が成立したと判定する。
 終了指示送信制御部204は、飛行撮像支援処理を終了する条件が成立したと終了判定部202によって判定された場合、通信装置12を介して飛行体310に対して終了指示を送信する制御を行う。
 一例として図33に示すように、飛行体310において、終了指示受信判定部432は、通信装置312が終了指示を受信したか否かを判定する。
 終了制御部434は、通信装置312が終了指示を受信したと終了指示受信判定部432によって判定された場合、飛行装置340に対して、飛行を終了させる制御を行う。飛行を終了させる制御としては、例えば、飛行体310を着陸させる制御、飛行体310が飛行撮像処理を開始した位置に飛行体310を帰還させる制御、及び/又は飛行体310を操縦機(図示省略)による操縦に切り替える制御等が挙げられる。
 終了制御部434は、終了指示に従って、飛行装置340のモータドライバ343を介して複数のモータ342を制御することにより、各プロペラ341の回転数を調節する。
 次に、第1実施形態に係る撮像システムSの作用について図34から図42を参照しながら説明する。
 はじめに、図34から図39を参照しながら、基地局10のプロセッサ51によって行われる飛行撮像支援処理の流れの一例について説明する。
 図34に示す飛行撮像支援処理では、先ず、ステップST10で、動作モード設定部102は、基地局10の動作モードを飛行ルート設定モードに設定する。ステップST10の処理が実行された後、飛行撮像支援処理は、ステップST11へ移行する。
 ステップST11で、第1受付判定部112は、測定開始指示が受付装置14によって受け付けられたか否かを判定する。ステップST11において、測定開始指示が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST11の判定が再び行われる。ステップST11において、測定開始指示が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST12へ移行する。
 ステップST12で、第1回転制御部114は、測定開始指示に基づいて回転駆動装置20を制御することにより台座27を第1回転位置から第2回転位置に向けて回転させる。ステップST12の処理が実行された後、飛行撮像支援処理は、ステップST13へ移行する。
 ステップST13で、第1撮像制御部116は、撮像装置30に壁面4を撮像させる。ステップST13の処理が実行された後、飛行撮像支援処理は、ステップST14へ移行する。
 ステップST14で、画像情報記憶制御部118は、ステップST13で得られた画像に台座27の回転位置を関連付けることにより生成した画像情報をストレージ52に記憶させる。ステップST14の処理が実行された後、飛行撮像支援処理は、ステップST15へ移行する。
 ステップST15で、第1測距制御部120は、測距装置40に壁面4をスキャンさせる。ステップST15の処理が実行された後、飛行撮像支援処理は、ステップST16へ移行する。
 ステップST16で、距離情報記憶制御部122は、ステップST15で測定された距離に、回転検出器(図示省略)によって検出された回転位置と、角度検出器(図示省略)によって検出された回転角度とを関連付けることにより生成した距離情報をストレージ52に記憶させる。ステップST16の処理が実行された後、飛行撮像支援処理は、ステップST17へ移行する。
 ステップST17で、回転位置判定部124は、台座27の回転位置が第2回転位置に到達したか否かを判定する。ステップST17において、台座27の回転位置が第2回転位置に到達していない場合には、判定が否定されて、飛行撮像支援処理は、ステップST13へ移行する。
 台座27の回転位置が第2回転位置に到達するまでの間に、上述のステップST13及びステップST14が繰り返し実行されることにより、壁面4の第1端部側から第2端部側へ順に、壁面4の複数の被撮像領域が連続的に撮像される。そして、各被撮像領域に対応する画像情報がストレージ52に記憶される。また、台座27の回転位置が第2回転位置に到達するまでの間に、上述のステップST15及びステップST16が繰り返し実行されることにより、壁面4の第1端部側から第2端部側へ順に、壁面4の複数の測距領域がそれぞれレーザ光によって連続的にスキャンされる。そして、各測距領域に対応する距離情報がストレージ52に記憶される。ステップST17において、台座27の回転位置が第2回転位置に到達した場合には、判定が肯定されて、飛行撮像支援処理は、ステップST18へ移行する。
 ステップST18で、回転停止制御部126は、回転駆動装置20の回転を停止させることにより台座27の回転を停止させる。ステップST18の処理が実行された後、飛行撮像支援処理は、図35に示すステップST20へ移行する。
 図35に示すステップST20で、画像表示制御部128は、ストレージ52に記憶された画像情報に基づいて、ディスプレイ16に画像を表示させる。画像には、壁面4が像として表される。ステップST20の処理が実行された後、飛行撮像支援処理は、ステップST21へ移行する。
 ステップST21で、第2受付判定部130は、作業者5から付与された点検対象面指定情報が受付装置14によって受け付けられたか否かを判定する。ステップST21において、点検対象面指定情報が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST21の判定が再び行われる。ステップST21において、点検対象面指定情報が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST22へ移行する。
 ステップST22で、倣い面設定部132は、点検対象面指定情報に基づいて点検対象面4Gに倣う倣い面6を設定する。ステップST22の処理が実行された後、飛行撮像支援処理は、ステップST23へ移行する。
 ステップST23で、平滑面設定部134は、倣い面6を平滑化することによって平滑面7を設定する。ステップST23の処理が実行された後、飛行撮像支援処理は、ステップST24へ移行する。
 ステップST24で、距離判定部136は、ストレージ52に記憶されている距離情報に基づいて、点検対象面4Gと平滑面7との間の距離が一定であるか否かを判定する。ステップST24において、点検対象面4Gと平滑面7との間の距離が一定である場合には、判定が肯定されて、飛行撮像支援処理は、ステップST25へ移行する。ステップST24において、点検対象面4Gと平滑面7との間の距離が一定でない場合には、判定が否定されて、飛行撮像支援処理は、ステップST28へ移行する。
 ステップST25で、第1ズーム倍率決定部138は、飛行体310の撮像装置330のズーム倍率を第1ズーム倍率に決定する。第1ズーム倍率は、撮像装置330の画素分解能が既定値となるズーム倍率である。ステップST25の処理が実行された後、飛行撮像支援処理は、ステップST26へ移行する。
 ステップST26で、第1ズーム倍率記憶制御部140は、第1ズーム倍率決定部138によって決定された第1ズーム倍率をストレージ52に記憶させる。ステップST26の処理が実行された後、飛行撮像支援処理は、ステップST27へ移行する。
 ステップST27で、第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。一例として、第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率で点検対象面4Gを撮像する場合に、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部がオーバーラップする位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。ステップST27の処理が実行された後、飛行撮像支援処理は、図36に示すステップST40へ移行する。
 ステップST28で、第2ズーム倍率決定部144は、飛行体310の撮像装置330のズーム倍率を第2ズーム倍率に決定する。ステップST28の処理が実行された後、飛行撮像支援処理は、ステップST29へ移行する。
 ステップST29で、第2ズーム倍率記憶制御部146は、第2ズーム倍率決定部144によって決定された第2ズーム倍率をストレージ52に記憶させる。ステップST29の処理が実行された後、飛行撮像支援処理は、ステップST30へ移行する。
 ステップST30で、第2飛行ルート設定部148は、第2ズーム倍率決定部144で決定された第2ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。第2飛行ルート設定部148は、後述するステップST73及びステップST74で第2ズーム倍率が点検対象面4Gと撮像位置8Aとの間の距離に応じて調整される場合でも、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部が重複する位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。ステップST30の処理が実行された後、飛行撮像支援処理は、図36に示すステップST40へ移行する。
 図36に示すステップST40で、動作モード設定部102は、基地局10の動作モードを飛行制御モードに設定する。ステップST40の処理が実行された後、飛行撮像支援処理は、ステップST41へ移行する。
 ステップST41で、第3受付判定部152は、飛行開始指示が受付装置14によって受け付けられたか否かを判定する。ステップST41において、飛行開始指示が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST41の判定が再び行われる。ステップST41において、飛行開始指示が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST42へ移行する。
 ステップST42で、第2撮像制御部154は、撮像装置30に飛行体310を含む撮像シーンを撮像させる。ステップST42の処理が実行された後、飛行撮像支援処理は、ステップST43へ移行する。
 ステップST43で、飛行体位置導出部156は、撮像装置30によって撮像されることで得られた画像内の飛行体310の位置を導出する。ステップST43の処理が実行された後、飛行撮像支援処理は、ステップST44へ移行する。
 ステップST44で、位置ずれ判定部158は、ステップST43で導出された飛行体310の画像内の位置に基づいて、撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。ステップST44において、画角の中央部に対して飛行体310の位置がずれている場合には、判定が肯定されて、飛行撮像支援処理は、ステップST45へ移行する。ステップST44において、画角の中央部に対して飛行体310の位置がずれていない場合には、判定が否定されて、飛行撮像支援処理は、ステップST46へ移行する。
 ステップST45で、第2回転制御部160は、回転駆動装置20の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。ステップST45の処理が実行された後、飛行撮像支援処理は、ステップST46へ移行する。
 ステップST46で、第2測距制御部162は、測距装置40にレーザ光によって測距範囲41をスキャンさせる。この場合に測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。ステップST46の処理が実行された後、飛行撮像支援処理は、ステップST47へ移行する。
 ステップST47で、飛行体座標導出部164は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、並びに、飛行体310と測距装置40との間の距離に基づいて、飛行体310の絶対座標を導出する。ステップST47の処理が実行された後、飛行撮像支援処理は、ステップST48へ移行する。
 ステップST48で、撮像位置到達判定部166は、ステップST47で導出された飛行体310の絶対座標、及び目標撮像位置8Aの絶対座標に基づいて、飛行体310が目標撮像位置8Aに到達したか否かを判定する。ステップST48において、飛行体310が目標撮像位置8Aに到達していない場合には、判定が否定されて、飛行撮像支援処理は、ステップST49へ移行する。ステップST48において、飛行体310が目標撮像位置8Aに到達した場合には、判定が肯定されて、飛行撮像支援処理は、図37に示すステップST60へ移行する。
 ステップST49で、飛行指示生成部168は、ステップST47で導出された飛行体310の絶対座標と目標撮像位置8Aの絶対座標との間の差分に基づいて、飛行体310に対する飛行指示を生成する。ステップST49の処理が実行された後、飛行撮像支援処理は、ステップST50へ移行する。
 ステップST50で、飛行指示送信制御部170は、通信装置12を介して飛行体310に飛行指示を送信する。ステップST50の処理が実行された後、飛行撮像支援処理は、ステップST42へ移行する。そして、ステップST42~ステップST50が繰り返し実行されることにより、飛行体310が目標撮像位置8Aに到達すると、ステップST48において、判定が肯定されて、飛行撮像支援処理は、図37に示すステップST60へ移行する。
 図37に示すステップST60で、動作モード設定部102は、基地局10の動作モードを撮像制御モードに設定する。ステップST60の処理が実行された後、飛行撮像支援処理は、ステップST61へ移行する。
 ステップST61で、ホバリング指示送信制御部172は、通信装置12を介して飛行体310にホバリング指示を送信する。ステップST61の処理が実行された後、飛行撮像支援処理は、ステップST62へ移行する。ステップST61の処理が実行されることによってホバリング指示が飛行体310に送信されると、飛行撮像処理のステップST92からステップST94の処理(図40参照)が飛行体310のプロセッサ351によって実行され、これによって飛行体310から基地局10にホバリング報告が送信される。
 そこで、ステップST62で、ホバリング報告受信判定部174は、飛行体310から送信されたホバリング報告が通信装置12によって受信されたか否かを判定する。ステップST62において、通信装置12によってホバリング報告が受信されていない場合には、判定が否定されて、ステップST62の判定が再び行われる。ステップST62において、通信装置12によってホバリング報告が受信された場合には、判定が肯定されて、飛行撮像支援処理は、ステップST63へ移行する。
 ステップST63で、第3撮像制御部176は、撮像装置30に飛行体310を含む撮像シーンを撮像させる。ステップST63の処理が実行された後、飛行撮像支援処理は、ステップST64へ移行する。
 ステップST64で、飛行体姿勢特定部178は、撮像装置30によって撮像されることで得られた画像に対して物体認識処理を実行することにより、画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。ステップST64の処理が実行された後、飛行撮像支援処理は、ステップST65へ移行する。
 ステップST65で、姿勢補正指示生成部180は、ステップST64で特定された飛行体310の姿勢に基づいて、飛行体310に対する姿勢補正指示を生成する。ステップST65の処理が実行された後、飛行撮像支援処理は、ステップST66へ移行する。
 ステップST66で、姿勢補正指示送信制御部182は、通信装置12を介して飛行体310に姿勢補正指示を送信する。ステップST66の処理が実行された後、飛行撮像支援処理は、ステップST70へ移行する。ステップST66の処理が実行されることによって姿勢補正指示が飛行体310に送信されると、飛行撮像処理のステップST100からステップST102の処理(図41参照)が飛行体310のプロセッサ351によって実行され、これによって飛行体310から基地局10に姿勢補正報告が送信される。
 ステップST70で、姿勢補正報告受信判定部184は、飛行体310から送信された姿勢補正報告が通信装置12によって受信されたか否かを判定する。ステップST70において、通信装置12によって姿勢補正報告が受信されていない場合には、判定が否定されて、ステップST70の判定が再び行われる。ステップST70において、通信装置12によって姿勢補正報告が受信された場合には、判定が肯定されて、飛行撮像支援処理は、ステップST71へ移行する。
 ステップST71で、ズーム倍率判定部186は、ステップST26又はステップST29でストレージ52に記憶されたズーム倍率は第1ズーム倍率及び第2ズーム倍率のどちらであるのかを判定する。ステップST71において、ストレージ52に記憶されたズーム倍率が第1ズーム倍率である場合には、飛行撮像支援処理は、ステップST72へ移行する。ステップST71において、ストレージ52に記憶されたズーム倍率が第2ズーム倍率である場合には、飛行撮像支援処理は、ステップST73へ移行する。
 ステップST72で、第1画角設定指示送信制御部188は、通信装置12を介して飛行体310に第1ズーム倍率に対応する第1画角設定指示を送信する。ステップST72の処理が実行された後、飛行撮像支援処理は、ステップST80へ移行する。ステップST72の処理が実行されることによって第1画角設定指示が飛行体310に送信されると、飛行撮像処理のステップST103からステップST105の処理(図41参照)が飛行体310のプロセッサ351によって実行され、これによって飛行体310から基地局10に画角設定報告が送信される。
 ステップST73で、距離導出部190は、ステップST15でストレージ52に記憶された距離情報に基づいて、点検対象面4Gと目標撮像位置8Aとの間の距離を導出する。ステップST73の処理が実行された後、飛行撮像支援処理は、ステップST74へ移行する。
 ステップST74で、第2画角設定指示生成部192は、ステップST73で導出された距離に基づいて、撮像装置330の画素分解能が上述の既定値となるズーム倍率に第2ズーム倍率を調整する。そして、第2画角設定指示生成部192は、ステップST73で導出された距離に基づいて調整した第2ズーム倍率に対応する第2画角設定指示を生成する。ステップST74の処理が実行された後、飛行撮像支援処理は、ステップST75へ移行する。
 ステップST75で、第2画角設定指示送信制御部194は、通信装置12を介して飛行体310に、ステップST74で生成された第2画角設定指示を送信する制御を行う。ステップST75の処理が実行された後、飛行撮像支援処理は、ステップST80へ移行する。ステップST75の処理が実行されることによって第2画角設定指示が飛行体310に送信されると、飛行撮像処理のステップST103からステップST105の処理(図41参照)が飛行体310のプロセッサ351によって実行され、これによって飛行体310から基地局10に画角設定報告が送信される。
 上述したように、ステップST72の処理が実行されることによって飛行体310から基地局10に画角設定報告が送信され、ステップST75の処理が実行されることによって飛行体310から基地局10に画角設定報告が送信される。そこで、ステップST80で、画角設定報告受信判定部196は、飛行体310から送信された画角設定報告が通信装置12によって受信されたか否かを判定する。ステップST80において、通信装置12によって画角設定報告が受信されていない場合には、判定が否定されて、ステップST80の判定が再び行われる。ステップST80において、通信装置12によって画角設定報告が受信された場合には、判定が肯定されて、飛行撮像支援処理は、ステップST81へ移行する。
 ステップST81で、撮像指示送信制御部198は、通信装置12を介して飛行体310に撮像指示を送信する。ステップST81の処理が実行された後、飛行撮像支援処理は、ステップST82へ移行する。ステップST81の処理が実行されることによって撮像指示が飛行体310に送信されると、飛行撮像処理のステップST110からステップST113の処理(図42参照)が飛行体310のプロセッサ351によって実行され、これによって飛行体310から基地局10に撮像報告が送信される。
 そこで、ステップST82で、撮像報告受信判定部200は、飛行体310から送信された撮像報告が通信装置12によって受信されたか否かを判定する。ステップST82において、通信装置12によって撮像報告が受信されていない場合には、判定が否定されて、ステップST82の判定が再び行われる。ステップST82において、通信装置12によって撮像報告が受信された場合には、判定が肯定されて、飛行撮像支援処理は、ステップST83へ移行する。
 ステップST83で、終了判定部202は、飛行撮像支援処理を終了する条件が成立したか否かを判定する。飛行撮像支援処理を終了する条件の一例としては、ステップST82において受信された撮像報告の数(すなわち、ステップST82において判定が肯定された回数)が撮像位置8Aの数に達したことが挙げられる。ステップST83において、飛行撮像支援処理を終了する条件が成立していない場合には、判定が否定されて、飛行撮像支援処理は、ステップST42へ移行する。そして、上述の飛行撮像支援処理が繰り返し実行されることにより、複数の画像が取得される。ステップST83において、飛行撮像支援処理を終了する条件が成立した場合には、判定が肯定されて、飛行撮像支援処理は、ステップST84へ移行する。
 ステップST84で、終了指示送信制御部204は、通信装置12を介して飛行体310に終了指示を送信する。ステップST84の処理が実行された後、飛行撮像支援処理は終了する。
 次に、図40から図42を参照しながら、飛行体310のプロセッサ351によって行われる飛行撮像処理の流れの一例について説明する。
 図40に示す飛行撮像処理では、先ず、ステップST90で、飛行指示受信判定部402は、通信装置312によって飛行指示が受信されたか否かを判定する。ステップST90において、通信装置312によって飛行指示が受信されていない場合には、判定が否定されて、飛行撮像処理は、ステップST92へ移行する。ステップST90において、通信装置312によって飛行指示が受信された場合には、判定が肯定されて、飛行撮像処理は、ステップST91へ移行する。
 ステップST91で、飛行制御部404は、飛行指示に従って飛行装置340を制御する。ステップST91の処理が実行された後、飛行撮像処理は、ステップST92へ移行する。
 ステップST92で、ホバリング指示受信判定部406は、通信装置312によってホバリング指示が受信されたか否かを判定する。ステップST92において、通信装置312によってホバリング指示が受信されていない場合には、判定が否定されて、飛行撮像処理は、ステップST100へ移行する。ステップST92において、通信装置312によってホバリング指示が受信された場合には、判定が肯定されて、飛行撮像処理は、ステップST93へ移行する。
 ステップST93で、ホバリング制御部408は、飛行体310をホバリングさせる。ステップST93の処理が実行された後、飛行撮像処理は、ステップST94へ移行する。
 ステップST94で、ホバリング報告送信制御部410は、通信装置312を介して基地局10にホバリング報告を送信する。ステップST94の処理が実行された後、飛行撮像処理は、ステップST100へ移行する。
 ステップST100で、姿勢補正指示受信判定部412は、通信装置312によって姿勢補正指示が受信されたか否かを判定する。ステップST100において、通信装置312によって姿勢補正指示が受信されていない場合には、判定が否定されて、飛行撮像処理は、ステップST103へ移行する。ステップST100において、通信装置312によって姿勢補正指示が受信された場合には、判定が肯定されて、飛行撮像処理は、ステップST101へ移行する。
 ステップST101で、姿勢補正制御部414は、姿勢補正指示に従って飛行体310の姿勢を補正する。ステップST101の処理が実行された後、飛行撮像処理は、ステップST102へ移行する。
 ステップST102で、姿勢補正報告送信制御部416は、通信装置312を介して基地局10に姿勢補正報告を送信する。ステップST102の処理が実行された後、飛行撮像処理は、ステップST103へ移行する。
 ステップST103で、画角設定指示受信判定部418は、通信装置312によって画角設定指示が受信されたか否かを判定する。ステップST103において、通信装置312によって画角設定指示が受信されていない場合には、判定が否定されて、飛行撮像処理は、ステップST110へ移行する。ステップST103において、通信装置312によって画角設定指示が受信された場合には、判定が肯定されて、飛行撮像処理は、ステップST104へ移行する。
 ステップST104で、画角制御部420は、撮像装置330の画角を画角設定指示に対応する画角に設定する。ステップST104の処理が実行された後、飛行撮像処理は、ステップST105へ移行する。
 ステップST105で、画角設定報告送信制御部422は、通信装置312を介して基地局10に画角設定報告を送信する。ステップST105の処理が実行された後、飛行撮像処理は、ステップST110へ移行する。
 ステップST110で、撮像指示受信判定部424は、通信装置312によって撮像指示が受信されたか否かを判定する。ステップST110において、通信装置312によって撮像指示が受信されていない場合には、判定が否定されて、飛行撮像処理は、ステップST114へ移行する。ステップST110において、通信装置312によって撮像指示が受信された場合には、判定が肯定されて、飛行撮像処理は、ステップST111へ移行する。
 ステップST111で、撮像制御部426は、撮像装置330に点検対象面4Gを撮像させる。ステップST111の処理が実行された後、飛行撮像処理は、ステップST112へ移行する。
 ステップST112で、画像情報記憶制御部118は、撮像装置330によって撮像されることで得られた画像を画像メモリ314に記憶させる。ステップST112の処理が実行された後、飛行撮像処理は、ステップST113へ移行する。
 ステップST113で、撮像報告送信制御部430は、通信装置312を介して基地局10に撮像報告を送信する。ステップST113の処理が実行された後、飛行撮像処理は、ステップST114へ移行する。
 ステップST114で、終了指示受信判定部432は、通信装置312が終了指示を受信したか否かを判定する。ステップST114において、通信装置312が終了指示を受信していない場合には、判定が否定されて、飛行撮像処理は、ステップST90へ移行する。ステップST114において、通信装置312が終了指示を受信した場合には、判定が肯定されて、飛行撮像処理は、ステップST115へ移行する。
 ステップST115で、終了制御部434は、飛行体310の飛行を終了させる。終了制御部434による飛行を終了させる制御としては、例えば、飛行体310を着陸させる制御、飛行体310が飛行撮像処理を開始した位置に飛行体310を帰還させる制御、及び/又は飛行体310を操縦機(図示省略)による操縦に切り替える制御等が挙げられる。ステップST115の処理が実行された後、飛行撮像処理は終了する。
 なお、上述の撮像システムSの作用として説明した制御方法は、本開示の技術に係る「制御方法」の一例である。
 以上説明したように、第1実施形態では、プロセッサ51は、測距装置40が取り付けられた回転駆動装置20に対して、測距装置40を回転させ、測距装置40に対して、壁面4の複数の測距箇所について壁面4と測距装置40との間の距離を測定させる。また、プロセッサ51は、測距箇所毎に測定された距離に基づいて、壁面4に沿って飛行体310を飛行させる飛行ルート8を設定する。そして、プロセッサ51は、飛行体310に対して、飛行ルート8を飛行させ、かつ、飛行体310に搭載された撮像装置330に対して、壁面4の複数の被撮像領域を撮像させる制御を行う。したがって、例えば、衛星測位システムを用いなくても、壁面4に沿って飛行体310を飛行させ、かつ、撮像装置330によって壁面4の複数の被撮像領域を撮像することができる。
 また、プロセッサ51は、飛行体310に対して、飛行ルート8を飛行させ、かつ、飛行体310に搭載された撮像装置330に対して、壁面4の複数の被撮像領域を撮像させることによって複数の画像を取得させる場合に、撮像装置330の画素分解能を一定に保つ制御を行う。したがって、例えば壁面4に凹部4Fがあっても、画像の解像度を一定に保つことができる。
 また、プロセッサ51は、回転駆動装置20の回転角度を、測距装置40の測距範囲41に飛行体310が含まれる回転角度に調節し、測距装置40に対して、飛行体310と測距装置40との間の距離を測定させる。そして、プロセッサ51は、回転駆動装置20の回転角度及び飛行体310と測距装置40との間の距離に基づいて、飛行体310に対して、飛行ルート8を飛行させる制御を行う。したがって、例えば、測距装置40の測距範囲41が固定されている場合に比して、飛行体310を広範囲に飛行させることができる。
 また、プロセッサ51は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び飛行体310と測距装置40との間の距離に基づいて、飛行体310の絶対座標を導出する。そして、飛行体310の絶対座標に基づいて、飛行体310に対して、飛行ルート8を飛行させる制御を行う。したがって、例えば、衛星測位システムを用いなくても、飛行体310の絶対座標に基づいて、飛行体310を壁面4に沿って飛行させることができる。
 また、プロセッサ51は、撮像装置30によって飛行体310が撮像されることで得られた画像に基づいて、回転駆動装置20の回転角度を測距装置40の測距範囲41に飛行体310が含まれる回転角度に調節する制御を行う。したがって、例えば、飛行体310に追従して測距装置40の測距範囲41を移動させることができる。
 また、プロセッサ51は、回転駆動装置20の回転角度を撮像装置30の画角の中央部に飛行体310が位置する角度に調節する制御を行う。したがって、例えば、回転駆動装置20の回転角度が撮像装置30の画角の中央部から外れた位置に飛行体310が位置する角度に調節される場合に比して、飛行体310が移動しても飛行体310が撮像装置30の画角から外れることを抑制することができる。
 また、飛行体310は、異なる態様で分類された複数のプロペラ341を備える。そして、プロセッサ51は、撮像装置30によって撮像されることで得らえた画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を制御する。したがって、例えば、複数のプロペラ341が異なる態様で分類されていない場合に比して、飛行体310の姿勢を精度良く制御することができる。
 また、複数のプロペラ341は、異なる色で分類されている。したがって、例えば、複数のプロペラ341の色を異ならせただけの簡単な構成によって、飛行体310の姿勢を特定することができる。
 また、飛行体310は、飛行体310が飛行ルート8に設定された複数の撮像位置8Aのそれぞれに到達する毎に複数の画像を取得する。したがって、例えば、複数の画像を画像解析装置2によって解析することにより壁面4の状態を点検することができる。
 また、複数の撮像位置8Aは、複数の撮像位置8Aのうち隣り合う撮像位置8Aで取得される画像同士の一部がオーバーラップする位置に設定されている。したがって、例えば、画像解析装置2において画像同士のオーバーラップ量に基づいて画像同士が隣り合う画像であることを認識することができる。
 また、プロセッサ51は、飛行体310が凹部4Fを跨いで飛行する場合に、撮像装置330のズームレンズ335C及びフォーカスレンズ335Bのうちの少なくとも一方を動作させることにより、撮像装置330の画素分解能を一定に保つ制御を行う。したがって、例えば、飛行体310が凹部4Fを跨いで飛行する場合でも、撮像装置330の画素分解能を一定に保つことができる。
 なお、一例として図43に示すように、飛行体310は、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dを備えていてもよい。第1部材360Aは、飛行体本体320の前部右側に配置されており、第2部材360Bは、飛行体本体320の前部左側に配置されており、第3部材360Cは、飛行体本体320の後部右側に配置されており、第4部材360Dは、飛行体本体320の後部左側に配置されている。
 一例として、第1部材360A及び第3部材360Cは、撮像装置330に対する右側に配置されており、第2部材360B及び第4部材360Dは、撮像装置330に対する左側に配置されている。第1部材360Aは、平面視で撮像装置330の光軸OA2を中心に第2部材360Bと線対称な位置に配置されており、第3部材360Cは、平面視で撮像装置330の光軸OA2を中心に第4部材360Dと線対称な位置に配置されている。第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dは、本開示の技術に係る「複数の部材」の一例である。
 第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dは、異なる態様の一例として、異なる色で分類されている。図43では、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dにそれぞれ付されたドットにより各部材の色が表現されている。
 一例として、第1部材360Aの色は、第2部材360Bの色と同じであり、第3部材360Cの色は、第4部材360Dの色と同じである。第1部材360A及び第2部材360Bに設定された第1色は、第3部材360C及び第4部材360Dに設定された第2色と異なる。第1色及び第2色は、それぞれ有彩色でもよく、無彩色でもよい。第1色及び第2色は、後述する基地局10のプロセッサ51(図4参照)が撮像装置30によって撮像されることで得られた画像に基づいて第1色及び第2色を識別可能な色であれば、どのような色でもよい。
 なお、図43に示す例では、第1部材360A及び第2部材360Bに第1色が設定され、第3部材360C及び第4部材360Dに第2色が設定されているが、これはあくまでも一例に過ぎず、第1部材360A及び第3部材360Cに第1色が設定され、第2部材360B及び第4部材360Dに第2色が設定されてもよい。また、第1部材360A及び第4部材360Dに第1色が設定され、第2部材360B及び第3部材360Cに第2色が設定されてもよい。また、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dに互いに異なる色が設定されてもよい。
 また、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dは、異なる態様の一例として、異なる色に発光する発光体でもよい。さらに、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dは、異なる態様の一例として、異なる点滅パターンで点滅する発光体でもよい。
 このような変形例によっても、第1部材360A、第2部材360B、第3部材360C、及び第4部材360Dの態様を異ならせるだけの簡単な構成によって、飛行体310の姿勢を特定することができる。
 また、第1実施形態では、距離判定部136の代わりに、プロセッサ51は、ストレージ52に記憶されている画像情報に対して画像認識処理を実行し、画像情報が表す画像に凹部4Fに対応する像が含まれるか否かを判定することにより、点検対象面4Gが凹部4Fを有するか否かを判定してもよい。そして、点検対象面4Gが凹部4Fを有する場合には、第1ズーム倍率決定部138、第1ズーム倍率記憶制御部140、及び第1飛行ルート設定部142による処理が実行され、点検対象面4Gが凹部4Fを有しない場合には、第2ズーム倍率決定部144、第2ズーム倍率記憶制御部146、及び第2飛行ルート設定部148による処理が実行されてもよい。この場合でも、画像の解像度を一定に保つことができる。
 また、プロセッサ51は、点検対象面4Gが凹部4Fを有するか否かを判定し、かつ、点検対象面4Gが凹部4Fを有すると判定した場合に、さらに凹部4Fの開口部4F1の面積が既定面積よりも小さいか否かを判定してもよい。既定の開口面積は、例えば、飛行体310が凹部4Fの内側に侵入することができる面積未満に設定される。そして、プロセッサ51は、点検対象面4Gが凹部4Fを有しないと判定した場合には、点検対象面4Gに沿って飛行ルート8を設定してもよい。
 また、プロセッサ51は、点検対象面4Gが凹部4Fを有するが、凹部4Fの開口部4F1の面積が既定面積以上であると判定した場合には、凹部4Fの内面に沿う倣い面6を通る飛行ルート8を設定してもよい。一方、プロセッサ51は、点検対象面4Gが凹部4Fを有し、凹部4Fの開口部4F1の面積が既定面積よりも小さいと判定した場合には、凹部4Fを有する点検対象面4Gと対向する平滑面7(すなわち、点検対象面4Gと対向する平滑な仮想面)上に飛行ルート8を設定してもよい。この場合でも、画像の解像度を一定に保つことができる。
 また、第1実施形態では、点検対象物3は、凹部4Fを有するが、凹部4Fの代わりに凸部を有していてもよい。そして、プロセッサ51は、飛行体310に対して、飛行ルート8を飛行させ、かつ、飛行体310に搭載された撮像装置330に対して、点検対象面4Gを撮像させることによって複数の画像を取得させる場合に、撮像装置330の画素分解能を一定に保つ制御を行ってもよい。
 [第2実施形態]
 一例として図44に示すように、第2実施形態では、第1実施形態に対して、撮像システムSの構成が次のように変更されている。
 すなわち、撮像システムSは、複数の基地局の一例として、第1基地局10A及び第2基地局10Bを備える。撮像システムSは、第1基地局10A及び第2基地局10Bに共通のコントローラ60を備える。コントローラ60は、受付装置14、ディスプレイ16、及びコンピュータ150を備える。コンピュータ150がプロセッサ51、ストレージ52、及びRAM53を備え、プロセッサ51、ストレージ52、RAM53、受付装置14、及びディスプレイ16がバスに接続されている点は、第1実施形態と同様である。
 以下では、第1基地局10A及び第2基地局10Bを区別して説明する必要が無い場合、第1基地局10A及び第2基地局10Bをそれぞれ基地局10と称する。各基地局10は、回転駆動装置20、撮像装置30、及び測距装置40を備える。回転駆動装置20、撮像装置30、及び測距装置40は、コントローラ60と電気的に接続されている。回転駆動装置20、撮像装置30、及び測距装置40の構成は、第1実施形態と同様である。
 第1基地局10A及び第2基地局10Bは、撮像装置30によって点検対象物3の壁面4を撮像可能であり、かつ、測距装置40によって壁面4と測距装置40との間の距離を測定可能な位置に設置される。例えば、点検対象物3が河川を跨ぐ橋梁である場合、第1基地局10Aは、河川の一方側の川岸に設置され、第2基地局10Bは、河川の他方側の川岸に設置される。
 一例として、第1基地局10A及び第2基地局10Bは、各測距装置40の測距領域同士の一部が重複する位置に設置される。なお、以下では、一例として、測距装置40が斜め上方に向けてレーザ光を照射する例を説明する。
 第1基地局10Aの回転駆動装置20、撮像装置30、及び測距装置40は、本開示の技術に係る「第1回転駆動装置」、「第1撮像装置」、及び「第1測距装置」の一例である。第2基地局10Bの回転駆動装置20、撮像装置30、及び測距装置40は、本開示の技術に係る「第2回転駆動装置」、「第2撮像装置」、及び「第2測距装置」の一例である。
 一例として図45に示すように、飛行ルート設定処理部104は、第1受付判定部112、第1回転制御部114、第1撮像制御部116、画像情報記憶制御部118、第1測距制御部120、距離情報記憶制御部122、回転位置判定部124、回転停止制御部126、画像表示制御部128、第2受付判定部130、倣い面設定部132、平滑面設定部134、距離判定部136、第1ズーム倍率決定部138、第1ズーム倍率記憶制御部140、第1飛行ルート設定部142、第2ズーム倍率決定部144、第2ズーム倍率記憶制御部146、及び第2飛行ルート設定部148に加えて、キャリブレーション情報導出部212及びキャリブレーション情報記憶制御部214を有する。
 一例として図46に示すように、飛行制御処理部106は、第3受付判定部152、第2撮像制御部154、飛行体位置導出部156、位置ずれ判定部158、第2回転制御部160、第2測距制御部162、飛行体座標導出部164、撮像位置到達判定部166、飛行指示生成部168、及び飛行指示送信制御部170に加えて、第1飛行体判定部216を有する。
 一例として図47に示すように、撮像制御処理部108は、ホバリング指示送信制御部172、ホバリング報告受信判定部174、第3撮像制御部176、飛行体姿勢特定部178、姿勢補正指示生成部180、姿勢補正指示送信制御部182、姿勢補正報告受信判定部184、ズーム倍率判定部186、第1画角設定指示送信制御部188、距離導出部190、第2画角設定指示生成部192、第2画角設定指示送信制御部194、画角設定報告受信判定部196、撮像指示送信制御部198、撮像報告受信判定部200、終了判定部202、及び終了指示送信制御部204に加えて、第2飛行体判定部218を有する。
 一例として、図48に示すように、作業者5は、測定開始指示を受付装置14に対して付与する。第1受付判定部112は、測定開始指示が受付装置14によって受け付けられたか否かを判定する。
 第1回転制御部114は、測定開始指示が受付装置14によって受け付けられたと第1受付判定部112によって判定された場合、各基地局10の回転駆動装置20に対して台座27を第1回転位置から第2回転位置に向けて回転させる制御を行う。以下では、一例として、第1回転制御部114が各基地局10の台座27を同期して回転させる例を説明する。
 第1撮像制御部116は、各基地局10の撮像装置30に対して、壁面4を撮像させる制御を行う。画像情報記憶制御部118は、各基地局10の撮像装置30によって撮像されることで得られた画像に対して、パンチルト機構26及び/又は台座27に設けられた回転検出器(図示省略)によって検出された台座27の回転位置を関連付けることにより画像情報を生成し、画像情報をストレージ52に記憶させる。
 第1測距制御部120は、各基地局10の測距装置40に対して、レーザ光によって壁面4をスキャンさせる制御を行う。各基地局10の測距装置40の1回のスキャンでは、壁面4の水平方向の一部における複数の測距箇所について壁面4と測距装置40との間の距離が測定される。
 以下、第1基地局10Aの測距装置40によって測定される測距箇所と第2基地局10Bの測距装置40によって測定される測距箇所とを区別する場合、第1基地局10Aの測距装置40によって測定される測距箇所を第1測距箇所と称し、第2基地局10Bの測距装置40によって測定される測距箇所を第2測距箇所と称する。
 第1測距箇所は、本開示の技術に係る「第1測距箇所」の一例であり、第2測距箇所は、本開示の技術に係る「第1測距箇所」の一例である。第1基地局10Aの測距装置40によって測定される壁面4と測距装置40との間の距離は、本開示の技術に係る「第1距離」の一例であり、第2基地局10Bの測距装置40によって測定される壁面4と測距装置40との間の距離は、本開示の技術に係る「第2距離」の一例である。
 距離情報記憶制御部122は、各基地局10で測距箇所毎に測定された距離に対して、パンチルト機構26及び/又は台座27に設けられた回転検出器(図示省略)によって検出された台座27の回転位置と、スキャナミラー47に設けられた角度検出器(図示省略)によって検出されたスキャナミラー47の回転角度とを関連付けることにより距離情報を生成し、距離情報をストレージ52に記憶させる。
 回転位置判定部124は、各基地局10の台座27の回転位置が第2回転位置に到達したか否かを判定する。回転位置判定部124は、例えば、パンチルト機構26及び/又は台座27に設けられた回転検出器(図示省略)によって検出された台座27の回転位置と、第2回転位置の位置とを比較することにより、台座27の回転位置が第2回転位置に到達したか否かを判定する。
 回転停止制御部126は、各基地局10の台座27の回転位置が第2回転位置に到達したと回転位置判定部124によって判定された場合、各回転駆動装置20に対して台座27の回転を停止させる制御を行う。
 以上により、各基地局10において、台座27が第1回転位置から第2回転位置に回転する間に、撮像装置30によって壁面4が複数回に分けて撮像され、かつ、測距装置40によって壁面4が複数回に分けてスキャンされることにより、壁面4に対応する画像情報及び距離情報が得られる。
 一例として図49に示すように、コントローラ60において、画像表示制御部128は、ストレージ52に記憶された画像情報に基づいて、ディスプレイ16に画像(すなわち、壁面4が像として表れている画像)を表示させる制御を行う。
 作業者5は、ディスプレイ16に表示された画像に基づいて、飛行体310に点検させる点検対象面4Gを決定する。そして、作業者5は、点検対象面4Gを指定する旨の点検対象面指定情報を受付装置14に対して付与する。以下では、一例として、壁面4が点検対象面4Gとして決定された例を説明する。
 また、作業者5は、ディスプレイ16に表示された画像に基づいて、各測距装置40の測距領域同士が重複する領域から壁面4の複数の位置を決定する。そして、複数の位置を指定する旨の位置指定情報を受付装置14に対して付与する。以下では、一例として図50に示すように、壁面4の点A及び点Bが壁面4の複数の位置として決定された例を説明する。点A及び点Bは、水平方向及び鉛直方向に互いに離れた位置である。
 第2受付判定部130は、点検対象面指定情報及び位置指定情報が受付装置14によって受け付けられたか否かを判定する。
 キャリブレーション情報導出部212は、位置指定情報及び距離情報に基づいてキャリブレーション情報を導出する。キャリブレーション情報は、後述するように、第2基地局10Bの測距装置40によって測定された距離(すなわち、壁面4と第2基地局10Bとの間の距離)を、第1基地局10Aの測距装置40の位置を基準にした距離に換算するための情報である。また、キャリブレーション情報は、第2基地局10Bの測距装置40によって測定された飛行体310の位置を、第1基地局10Aの測距装置40の位置を基準にした位置に換算するための情報である。具体的には、キャリブレーション情報導出部212は、以下の手順でキャリブレーション情報を導出する。
 先ず、キャリブレーション情報導出部212は、距離情報に基づいて辺A1の長さLa1を算出する。辺A1は、点Aと第1基地局10Aの点C1とを結ぶ辺である。次いで、キャリブレーション情報導出部212は、距離情報に基づいて角度θac1を算出する。角度θac1は、辺A1と辺Cとのなす角度である。辺Cは、第1基地局10Aの点C1と第2基地局10Bの点C2とを結ぶ辺である。
 次いで、キャリブレーション情報導出部212は、距離情報に基づいて辺B1の長さLb1を算出する。辺B1は、第1基地局10Aが設置されている位置を示す点C1と点Bとを結ぶ辺である。次いで、キャリブレーション情報導出部212は、距離情報に基づいて角度θbc1を算出する。角度θbc1は、辺B1と辺Cとのなす角度である。
 そして、キャリブレーション情報導出部212は、下式(1)に基づいて角度θab1を算出する。角度θab1は、辺A1と辺B1とのなす角度である。
Figure JPOXMLDOC01-appb-M000001
 同様に、キャリブレーション情報導出部212は、距離情報に基づいて辺A2の長さLa2を算出する。辺A2は、第2基地局10Bが設置されている位置を示す点C2と点Aとを結ぶ辺である。次いで、キャリブレーション情報導出部212は、距離情報に基づいて角度θac2を算出する。角度θac2は、辺A2と辺Cとのなす角度である。
 次いで、キャリブレーション情報導出部212は、距離情報に基づいて辺B2の長さLb2を算出する。辺B2は、第2基地局10Bの点C2と点Bとを結ぶ辺である。次いで、キャリブレーション情報導出部212は、距離情報に基づいて角度θbc2を算出する。角度θbc2は、辺B2と辺Cとのなす角度である。
 そして、キャリブレーション情報導出部212は、下式(2)に基づいて角度θab2を算出する。角度θab2は、辺A2と辺B2とのなす角度である。
Figure JPOXMLDOC01-appb-M000002
 次いで、キャリブレーション情報導出部212は、余弦定理に基づく下式(3)に基づいて角度α1を算出する。角度α1は、辺A1と辺ABとのなす角度である。辺ABは、点Aと点Bとを結ぶ辺である。
Figure JPOXMLDOC01-appb-M000003
 同様に、キャリブレーション情報導出部212は、余弦定理に基づく下式(4)に基づいて角度α2を算出する。角度α2は、辺A2と辺ABとのなす角度である。
Figure JPOXMLDOC01-appb-M000004
 そして、キャリブレーション情報導出部212は、下式(5)に基づいて角度αを算出する。
Figure JPOXMLDOC01-appb-M000005
 次いで、キャリブレーション情報導出部212は、余弦定理に基づく下式(6)に基づいて辺Cの長さLcを算出する。
Figure JPOXMLDOC01-appb-M000006

 また、キャリブレーション情報導出部212は、辺Cの座標を角度基準として導出する。
 以上より、未知の位置D(例えば、壁面4上の位置又は飛行体310の位置)については、式(6)で算出された長さLc(すなわち、第1基地局10A及び第2基地局10B間の距離)を用いることにより、下式(7)及び下式(8)に基づいて、第2基地局10Bで測定される辺D2の長さLd2及び角度γ2を、第1基地局10Aで疑似的に測定される辺D1の長さLd1及び角度γ1に換算することができる。辺D1は、位置Dと第1基地局10Aの点C1とを結ぶ辺であり、辺D2は、位置Dと第2基地局10Bの点C2とを結ぶ辺である。角度γ1及び角度γ2は、辺Cを基準にした角度である。角度γ1は、辺D1と辺Cとのなす角度であり、角度γ2は、辺D2と辺Cとのなす角度である。
 下式(7)により、第2基地局10Bの測距装置40によって測定された距離は、第1基地局10Aの位置を基準にした距離に換算される。第1基地局10Aの位置は、第1基地局10Aの測距装置40の位置と同義である。
Figure JPOXMLDOC01-appb-M000007
 また、下式(8)により、第2基地局10Bの回転駆動装置20の回転角度は、第1基地局10Aの位置を基準にした角度に換算される。
Figure JPOXMLDOC01-appb-M000008
 キャリブレーション情報記憶制御部214は、式(6)で算出された長さLcの値を下式(7)及び下式(8)に代入した換算式、及び辺Cの座標をキャリブレーション情報としてストレージ52に記憶する。ストレージ52に記憶されたキャリブレーション情報は、本開示の技術に係る「既定の第1キャリブレーション情報」及び「既定の第2キャリブレーション情報」の一例である。
 一例として図51に示すように、コントローラ60において、画像表示制御部128は、ストレージ52に記憶された画像情報に基づいて、ディスプレイ16に画像(すなわち、壁面4が像として表れている画像)を表示させる制御を行う。
 作業者5は、ディスプレイ16に表示された画像に基づいて点検対象面4Gを決定する。そして、作業者5は、点検対象面4Gを指定する旨の点検対象面指定情報を受付装置14に対して付与する。第2受付判定部130は、点検対象面指定情報が受付装置14によって受け付けられたか否かを判定する。
 倣い面設定部132は、点検対象面指定情報が受付装置14によって受け付けられたと第2受付判定部130によって判定された場合、点検対象面指定情報に基づいて倣い面6を設定する。図51に示す例では、一例として、倣い面6は、第1基地局10Aの測距装置40の測距領域内に位置する第1倣い面6Aと、第2基地局10Bの測距装置40の測距領域内に位置する第2倣い面6Bとを有する。この場合に、倣い面設定部132は、第2倣い面6Bについては、ストレージ52に記憶されたキャリブレーション情報に基づいて、第1基地局10Aの位置を基準にした相対座標に基づいて第2倣い面6Bを設定する。これにより、倣い面6の全体が第1基地局10Aの位置を基準にした相対座標に基づいて設定される。
 平滑面設定部134は、倣い面6を平滑化することによって平滑面7(すなわち、壁面4と対向する平滑な仮想面)を設定する。平滑面7も、倣い面6と同様に、第1基地局10Aの位置を基準にした相対座標に基づいて設定される。平滑面設定部134が平滑面7を設定する手法は、第1実施形態と同様である。
 一例として図52に示すように、距離判定部136、第1ズーム倍率決定部138、第1ズーム倍率記憶制御部140、第1飛行ルート設定部142、第2ズーム倍率決定部144、第2ズーム倍率記憶制御部146、及び第2飛行ルート設定部148の機能は、第1実施形態と同様である。一例として図52に示す例では、第1飛行ルート設定部142又は第2飛行ルート設定部148によって、複数の撮像位置8Aを通過する飛行ルート8が設定される。飛行ルート8は、第1基地局10Aの位置を基準にした相対座標によって設定される。
 一例として図53に示すように、飛行体310は、第1基地局10Aの撮像装置30の撮像範囲31内に配置される。作業者5は、飛行体310が飛行を開始できる状態になった段階で、飛行開始指示を受付装置14に対して付与する。第3受付判定部152は、飛行開始指示が受付装置14によって受け付けられたか否かを判定する。
 第2撮像制御部154は、飛行開始指示が受付装置14によって受け付けられたと第3受付判定部152によって判定された場合、各基地局10の撮像装置30に対して撮像シーンを撮像させる制御を行う。
 第1飛行体判定部216は、各基地局10の撮像装置30によって撮像されることで得られた画像に対して物体認識処理を実行することにより、第1基地局10A及び第2基地局10Bのうちどちらの基地局10で得られた画像に飛行体310が像として写っているかを判定する。第1飛行体判定部216による判定結果に応じて、後述するように、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40のうち飛行体310の位置を測定する測距装置40が選択される。
 飛行体位置導出部156は、第1基地局10Aで得られた画像又は第2基地局10Bで得られた画像のうち飛行体310が像として写っている画像に対して物体認識処理を実行することにより、画像に像として含まれる飛行体310の画像内の位置を導出する。
 位置ずれ判定部158は、飛行体位置導出部156によって導出された飛行体310の画像内の位置に基づいて、第1基地局10A又は第2基地局10Bの撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。
 第2回転制御部160は、撮像装置30の画角の中央部に対して飛行体310の位置がずれていると判定された場合、回転駆動装置20の水平方向の回転角度及び/又は鉛直方向の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する制御を行う。
 第2測距制御部162は、第1飛行体判定部216による判定結果に基づいて、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40のうち飛行体310の位置を測定する測距装置40を選択する。つまり、第2測距制御部162は、第1基地局10A及び第2基地局10Bのうち飛行体310が像として写っている画像が得られたと第1飛行体判定部216によって判定された基地局10の測距装置40を飛行体310の位置を測定する測距装置40として選択する。
 そして、第2測距制御部162は、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40のうち選択した方の測距装置40に対して、レーザ光によって測距範囲41をスキャンさせる制御を行う。この場合に選択された方の測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。
 飛行体座標導出部164は、第1基地局10A及び第2基地局10Bのうち飛行体310が像として写っている画像が得られたと第1飛行体判定部216によって判定された基地局10について、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離に基づいて、各基地局10の位置を基準にした飛行体310の相対座標を導出する。
 なお、第2基地局10Bの撮像装置30の撮像範囲31内に飛行体310が位置する場合、飛行体座標導出部164は、ストレージ52に記憶されたキャリブレーション情報に基づいて、第2基地局10Bの位置を基準にした飛行体310の相対座標を、第1基地局10Aの位置を基準にした相対座標に換算する。つまり、第2基地局10Bの測距装置40によって測定された飛行体310の位置は、第1基地局10Aの位置を基準にした位置に換算される。
 撮像位置到達判定部166は、飛行体座標導出部164によって導出された飛行体310の座標、及び複数の撮像位置8Aのうち飛行体310に最も近い撮像位置8A(以下、目標撮像位置8Aと称する)の座標に基づいて、飛行体310が目標撮像位置8Aに到達したか否かを判定する。飛行体310の座標及び目標撮像位置8Aの座標は、何れも第1基地局10Aの位置を基準にした相対座標である。
 飛行指示生成部168は、飛行体310が目標撮像位置8Aに到達していないと撮像位置到達判定部166によって判定された場合、飛行体座標導出部164によって導出された飛行体310の座標と目標撮像位置8Aの座標との間の差分に基づいて、飛行体310に対する飛行指示を生成する。
 飛行指示送信制御部170は、通信装置12を介して飛行体310に対して飛行指示を送信する制御を行う。これにより、飛行体310が飛行指示に従って目標撮像位置8Aに向けて飛行する。
 一例として図54に示すように、コントローラ60において、ホバリング指示送信制御部172は、飛行体310が目標撮像位置8Aに到達したと撮像位置到達判定部166によって判定された場合、通信装置12を介して飛行体310に対してホバリング指示を送信する制御を行う。
 ホバリング報告受信判定部174は、飛行体310がホバリングしたことに伴って飛行体310から送信されたホバリング報告を通信装置12が受信したか否かを判定する。
 第3撮像制御部176は、ホバリング報告を通信装置12が受信したとホバリング報告受信判定部174によって判定された場合、各基地局10の撮像装置30に対して撮像シーンを撮像させる制御を行う。
 第2飛行体判定部218は、各基地局10の撮像装置30によって撮像されることで得られた画像に対して物体認識処理を実行することにより、第1基地局10A及び第2基地局10Bのうちどちらの基地局10で得られた画像に飛行体310が像として写っているかを判定する。
 飛行体姿勢特定部178は、第1基地局10Aで得られた画像又は第2基地局10Bで得られた画像のうち飛行体310が像として写っている画像に対して物体認識処理を実行することにより、画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。
 姿勢補正指示生成部180は、飛行体姿勢特定部178によって特定された飛行体310の姿勢に基づいて、飛行体310に対する姿勢補正指示を生成する。姿勢補正指示送信制御部182は、通信装置12を介して飛行体310に対して姿勢補正指示を送信する制御を行う。これにより、飛行体310の姿勢が補正される。
 なお、図47に示す姿勢補正報告受信判定部184、ズーム倍率判定部186、第1画角設定指示送信制御部188、距離導出部190、第2画角設定指示生成部192、第2画角設定指示送信制御部194、画角設定報告受信判定部196、撮像指示送信制御部198、撮像報告受信判定部200、終了判定部202、及び終了指示送信制御部204の機能は、第1実施形態と同様である。
 次に、図55から図59を参照しながら、第2実施形態に係る撮像システムSにおいて、コントローラ60のプロセッサ51によって行われる飛行撮像支援処理の流れの一例について説明する。
 図55に示す飛行撮像支援処理では、先ず、ステップST210で、動作モード設定部102は、基地局10の動作モードを飛行ルート設定モードに設定する。ステップST210の処理が実行された後、飛行撮像支援処理は、ステップST211へ移行する。
 ステップST211で、第1受付判定部112は、測定開始指示が受付装置14によって受け付けられたか否かを判定する。ステップST211において、測定開始指示が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST211の判定が再び行われる。ステップST211において、測定開始指示が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST212へ移行する。
 ステップST212で、第1回転制御部114は、測定開始指示に基づいて各基地局10の回転駆動装置20を制御することにより台座27を第1回転位置から第2回転位置に向けて回転させる。ステップST212の処理が実行された後、飛行撮像支援処理は、ステップST213へ移行する。
 ステップST213で、第1撮像制御部116は、各基地局10の撮像装置30に壁面4を撮像させる。ステップST213の処理が実行された後、飛行撮像支援処理は、ステップST214へ移行する。
 ステップST214で、画像情報記憶制御部118は、ステップST213で各基地局10において得られた画像に、回転検出器によって検出された回転位置を関連付けることにより生成した画像情報をストレージ52に記憶させる。ステップST214の処理が実行された後、飛行撮像支援処理は、ステップST215へ移行する。
 ステップST215で、第1測距制御部120は、各基地局10の測距装置40に壁面4をスキャンさせる。ステップST215の処理が実行された後、飛行撮像支援処理は、ステップST216へ移行する。
 ステップST216で、距離情報記憶制御部122は、ステップST215で各基地局10において測定された距離に、回転検出器によって検出された回転位置と、角度検出器によって検出された回転角度とを関連付けることにより生成した距離情報をストレージ52に記憶させる。ステップST216の処理が実行された後、飛行撮像支援処理は、ステップST217へ移行する。
 ステップST217で、回転位置判定部124は、各基地局10の台座27の回転位置が第2回転位置に到達したか否かを判定する。ステップST217において、各基地局10の台座27の回転位置が第2回転位置に到達していない場合には、判定が否定されて、飛行撮像支援処理は、ステップST213へ移行する。
 各基地局10の台座27の回転位置が第2回転位置に到達するまでの間に、上述のステップST213及びステップST214が繰り返し実行されることにより、壁面4の複数の被撮像領域が連続的に撮像される。そして、各被撮像領域に対応する画像情報がストレージ52に記憶される。また、各基地局10の台座27の回転位置が第2回転位置に到達するまでの間に、上述のステップST215及びステップST216が繰り返し実行されることにより、壁面4の複数の測距領域がそれぞれレーザ光によって連続的にスキャンされる。そして、各測距領域に対応する距離情報がストレージ52に記憶される。ステップST217において、各基地局10の台座27の回転位置が第2回転位置に到達した場合には、判定が肯定されて、飛行撮像支援処理は、ステップST218へ移行する。
 ステップST218で、回転停止制御部126は、各基地局10の回転駆動装置20の回転を停止させることにより台座27の回転を停止させる。ステップST218の処理が実行された後、飛行撮像支援処理は、ステップST220へ移行する。
 ステップST220で、画像表示制御部128は、ストレージ52に記憶された画像情報に基づいて、ディスプレイ16に画像を表示させる。画像には、壁面4が像として表される。ステップST220の処理が実行された後、飛行撮像支援処理は、ステップST221へ移行する。
 ステップST221で、第2受付判定部130は、作業者5から付与された点検対象面指定情報及び位置指定情報が受付装置14によって受け付けられたか否かを判定する。ステップST221において、点検対象面指定情報及び位置指定情報が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST221の判定が再び行われる。ステップST221において、点検対象面指定情報及び位置指定情報が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST221Aへ移行する。
 ステップST221Aで、キャリブレーション情報導出部212は、位置指定情報及び距離情報に基づいてキャリブレーション情報を導出する。ステップST221Aの処理が実行された後、飛行撮像支援処理は、ステップST221Bへ移行する。
 ステップST221Bで、キャリブレーション情報記憶制御部214は、キャリブレーション情報をストレージ52に記憶する。ステップST221Bの処理が実行された後、飛行撮像支援処理は、ステップST222へ移行する。
 ステップST222で、倣い面設定部132は、点検対象面指定情報及びキャリブレーション情報に基づいて点検対象面4Gに倣う倣い面6を設定する。ステップST222の処理が実行された後、飛行撮像支援処理は、ステップST223へ移行する。
 ステップST223で、平滑面設定部134は、倣い面6を平滑化することによって平滑面7を設定する。ステップST223の処理が実行された後、飛行撮像支援処理は、ステップST224へ移行する。
 ステップST224で、距離判定部136は、ストレージ52に記憶されている距離情報に基づいて、点検対象面4Gと平滑面7との間の距離が一定であるか否かを判定する。ステップST224において、点検対象面4Gと平滑面7との間の距離が一定である場合には、判定が肯定されて、飛行撮像支援処理は、ステップST225へ移行する。ステップST224において、点検対象面4Gと平滑面7との間の距離が一定でない場合には、判定が否定されて、飛行撮像支援処理は、ステップST228へ移行する。
 ステップST225で、第1ズーム倍率決定部138は、飛行体310の撮像装置330のズーム倍率を第1ズーム倍率に決定する。第1ズーム倍率は、撮像装置330の画素分解能が既定値となるズーム倍率である。ステップST225の処理が実行された後、飛行撮像支援処理は、ステップST226へ移行する。
 ステップST226で、第1ズーム倍率記憶制御部140は、第1ズーム倍率決定部138によって決定された第1ズーム倍率をストレージ52に記憶させる。ステップST226の処理が実行された後、飛行撮像支援処理は、ステップST227へ移行する。
 ステップST227で、第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。一例として、第1飛行ルート設定部142は、第1ズーム倍率決定部138で決定された第1ズーム倍率で点検対象面4Gを撮像する場合に、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部がオーバーラップする位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。ステップST227の処理が実行された後、飛行撮像支援処理は、ステップST240へ移行する。
 ステップST228で、第2ズーム倍率決定部144は、飛行体310の撮像装置330のズーム倍率を第2ズーム倍率に決定する。ステップST228の処理が実行された後、飛行撮像支援処理は、ステップST229へ移行する。
 ステップST229で、第2ズーム倍率記憶制御部146は、第2ズーム倍率決定部144によって決定された第2ズーム倍率をストレージ52に記憶させる。ステップST229の処理が実行された後、飛行撮像支援処理は、ステップST230へ移行する。
 ステップST230で、第2飛行ルート設定部148は、第2ズーム倍率決定部144で決定された第2ズーム倍率に基づいて、平滑面7上に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。第2飛行ルート設定部148は、後述するステップST273及びステップST274で第2ズーム倍率が点検対象面4Gと撮像位置8Aとの間の距離に応じて調整される場合でも、複数の撮像位置8Aのうち隣り合う撮像位置8Aで撮像装置330の撮像範囲331同士の一部が重複する位置に複数の撮像位置8Aを設定することにより、複数の撮像位置8Aを通過する飛行ルート8を設定する。ステップST230の処理が実行された後、飛行撮像支援処理は、ステップST240へ移行する。
 ステップST240で、動作モード設定部102は、基地局10の動作モードを飛行制御モードに設定する。ステップST240の処理が実行された後、飛行撮像支援処理は、ステップST241へ移行する。
 ステップST241で、第3受付判定部152は、飛行開始指示が受付装置14によって受け付けられたか否かを判定する。ステップST241において、飛行開始指示が受付装置14によって受け付けられていない場合には、判定が否定されて、ステップST241の判定が再び行われる。ステップST241において、飛行開始指示が受付装置14によって受け付けられた場合には、判定が肯定されて、飛行撮像支援処理は、ステップST242へ移行する。
 ステップST242で、第2撮像制御部154は、各基地局10の撮像装置30に撮像シーンを撮像させる。ステップST242の処理が実行された後、飛行撮像支援処理は、ステップST242Aへ移行する。
 ステップST242Aで、第1飛行体判定部216は、各基地局10の撮像装置30によって撮像されることで得られた画像に対して物体認識処理を実行することにより、第1基地局10A及び第2基地局10Bのうちどちらの基地局10で得られた画像に飛行体310が像として写っているかを判定する。ステップST242Aにおいて、第1基地局10Aで得られた画像に飛行体310が像として写っていると第1飛行体判定部216によって判定された場合には、飛行撮像支援処理は、ステップST243Aへ移行する。ステップST242Aにおいて、第2基地局10Bで得られた画像に飛行体310が像として写っていると第1飛行体判定部216によって判定された場合には、飛行撮像支援処理は、ステップST243Bへ移行する。
 ステップST243Aで、飛行体位置導出部156は、第1基地局10Aの撮像装置30によって撮像されることで得られた画像内の飛行体310の位置を導出する。ステップST243Aの処理が実行された後、飛行撮像支援処理は、ステップST244Aへ移行する。
 ステップST244Aで、位置ずれ判定部158は、ステップST243Aで導出された飛行体310の画像内の位置に基づいて、第1基地局10Aの撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。ステップST244Aにおいて、第1基地局10Aの画角の中央部に対して飛行体310の位置がずれている場合には、判定が肯定されて、飛行撮像支援処理は、ステップST245Aへ移行する。ステップST244Aにおいて、画角の中央部に対して飛行体310の位置がずれていない場合には、判定が否定されて、飛行撮像支援処理は、ステップST246Aへ移行する。
 ステップST245Aで、第2回転制御部160は、第1基地局10Aの回転駆動装置20の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。ステップST245Aの処理が実行された後、飛行撮像支援処理は、ステップST246Aへ移行する。
 ステップST243Bで、飛行体位置導出部156は、第2基地局10Bの撮像装置30によって撮像されることで得られた画像内の飛行体310の位置を導出する。ステップST243の処理が実行された後、飛行撮像支援処理は、ステップST244Bへ移行する。
 ステップST244Bで、位置ずれ判定部158は、ステップST243Bで導出された飛行体310の画像内の位置に基づいて、第2基地局10Bの撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。ステップST244Bにおいて、第2基地局10Bの画角の中央部に対して飛行体310の位置がずれている場合には、判定が肯定されて、飛行撮像支援処理は、ステップST245Bへ移行する。ステップST244Bにおいて、画角の中央部に対して飛行体310の位置がずれていない場合には、判定が否定されて、飛行撮像支援処理は、ステップST246Bへ移行する。
 ステップST245Bで、第2回転制御部160は、第2基地局10Bの回転駆動装置20の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。ステップST245Bの処理が実行された後、飛行撮像支援処理は、ステップST246Bへ移行する。
 ステップST246Aで、第2測距制御部162は、第1基地局10Aの測距装置40にレーザ光によって測距範囲41をスキャンさせる。この場合に測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。ステップST246Aの処理が実行された後、飛行撮像支援処理は、ステップST247Aへ移行する。
 ステップST247Aで、飛行体座標導出部164は、第1基地局10Aについて、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離に基づいて、第1基地局10Aの位置を基準にした飛行体310の相対座標を導出する。ステップST247Aの処理が実行された後、飛行撮像支援処理は、ステップST248へ移行する。
 ステップST246Bで、第2測距制御部162は、第2基地局10Bの測距装置40にレーザ光によって測距範囲41をスキャンさせる。この場合に測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。ステップST246Bの処理が実行された後、飛行撮像支援処理は、ステップST247Bへ移行する。
 ステップST247Bで、飛行体座標導出部164は、第2基地局10Bについて、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離、並びに、キャリブレーション情報に基づいて、第1基地局10Aの位置を基準にした飛行体310の相対座標を導出する。ステップST247Bの処理が実行された後、飛行撮像支援処理は、ステップST248へ移行する。
 ステップST248で、撮像位置到達判定部166は、ステップST247A又はステップST247Bで導出された飛行体310の座標、及び目標撮像位置8Aの座標に基づいて、飛行体310が目標撮像位置8Aに到達したか否かを判定する。ステップST248において、飛行体310が目標撮像位置8Aに到達していない場合には、判定が否定されて、飛行撮像支援処理は、ステップST260へ移行する。ステップST248において、飛行体310が目標撮像位置8Aに到達した場合には、判定が肯定されて、飛行撮像支援処理は、ステップST249へ移行する。
 ステップST249で、飛行指示生成部168は、ステップST247A又はステップST247Bで導出された飛行体310の絶対座標と目標撮像位置8Aの絶対座標との間の差分に基づいて、飛行体310に対する飛行指示を生成する。ステップST249の処理が実行された後、飛行撮像支援処理は、ステップST250へ移行する。
 ステップST250で、飛行指示送信制御部170は、通信装置12を介して飛行体310に飛行指示を送信する。ステップST250の処理が実行された後、飛行撮像支援処理は、ステップST241へ移行する。そして、ステップST241~ステップST244B、及びステップST246A~ステップST250が繰り返し実行されることにより、飛行体310が目標撮像位置8Aに到達すると、ステップST250において、判定が肯定されて、飛行撮像支援処理は、ステップST260へ移行する。
 ステップST260で、動作モード設定部102は、基地局10の動作モードを撮像制御モードに設定する。ステップST260の処理が実行された後、飛行撮像支援処理は、ステップST261へ移行する。
 ステップST261で、ホバリング指示送信制御部172は、通信装置12を介して飛行体310にホバリング指示を送信する。ステップST261の処理が実行された後、飛行撮像支援処理は、ステップST262へ移行する。
 ステップST262で、ホバリング報告受信判定部174は、通信装置12によってホバリング報告が受信されたか否かを判定する。ステップST262において、通信装置12によってホバリング報告が受信されていない場合には、判定が否定されて、ステップST262の判定が再び行われる。ステップST262において、通信装置12によってホバリング報告が受信された場合には、判定が肯定されて、飛行撮像支援処理は、ステップST263へ移行する。
 ステップST263で、第3撮像制御部176は、各基地局10の撮像装置30に撮像シーンを撮像させる。ステップST263の処理が実行された後、飛行撮像支援処理は、ステップST263Aへ移行する。
 ステップST263Aで、第2飛行体判定部218は、各基地局10の撮像装置30によって撮像されることで得られた画像に対して物体認識処理を実行することにより、第1基地局10A及び第2基地局10Bのうちどちらの基地局10で得られた画像に飛行体310が像として写っているかを判定する。ステップST263Aにおいて、第1基地局10Aで得られた画像に飛行体310が像として写っていると第2飛行体判定部218によって判定された場合には、飛行撮像支援処理は、ステップST264Aへ移行する。ステップST263Aにおいて、第2基地局10Bで得られた画像に飛行体310が像として写っていると第1飛行体判定部216によって判定された場合には、飛行撮像支援処理は、ステップST264Bへ移行する。
 ステップST264Aで、飛行体姿勢特定部178は、第1基地局10Aで得られた画像に対して物体認識処理を実行することにより、画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。ステップST264Aの処理が実行された後、飛行撮像支援処理は、ステップST265へ移行する。
 ステップST264Bで、飛行体姿勢特定部178は、第2基地局10Bで得られた画像に対して物体認識処理を実行することにより、画像に写された複数のプロペラ341の位置に基づいて、飛行体310の姿勢を特定する。ステップST264Bの処理が実行された後、飛行撮像支援処理は、ステップST265へ移行する。
 ステップST265で、姿勢補正指示生成部180は、ステップST264で特定された飛行体310の姿勢に基づいて、飛行体310に対する姿勢補正指示を生成する。ステップST265の処理が実行された後、飛行撮像支援処理は、ステップST266へ移行する。
 ステップST266で、姿勢補正指示送信制御部182は、通信装置12を介して飛行体310に姿勢補正指示を送信する。ステップST266の処理が実行された後、飛行撮像支援処理は、ステップST70(図38参照)へ移行する。
 ステップST70~ステップST84(図38及び図39参照)は、第1実施形態と同様である。なお、第2実施形態において、ステップST83(図39参照)で判定が否定された場合、飛行撮像支援処理は、ステップST241へ移行する。
 以上説明したように、第2実施形態では、プロセッサ51は、第1基地局10Aの回転駆動装置20に対して、測距装置40を回転させ、第1基地局10Aの測距装置40に対して、壁面4の複数の第1測距箇所について距離を測定させる。また、プロセッサ51は、第2基地局10Bの回転駆動装置20に対して、測距装置40を回転させ、第2基地局10Bの測距装置40に対して、壁面4の複数の第2測距箇所について距離を測定させる。そして、プロセッサ51は、第1測距箇所毎に測定された距離、及び第2測距箇所毎に測定された距離に基づいて、飛行ルート8を設定する。したがって、例えば、一つの基地局10で飛行ルート8を設定する場合に比して、長い飛行ルート8を設定することができる。
 また、プロセッサ51は、既定のキャリブレーション情報に基づいて、第2基地局10Bの測距装置40によって測定された距離を、第1基地局10Aの測距装置40の位置を基準にした距離に換算する。したがって、例えば、第2基地局10Bの測距装置40の測距領域に対して、第1基地局10Aの測距装置40の位置を基準にして飛行ルート8を設定することができる。
 また、プロセッサ51は、既定のキャリブレーション情報に基づいて、第2基地局10Bの測距装置40によって測定された飛行体310の位置を、第1基地局10Aの測距装置40の位置を基準にした位置に換算する。したがって、例えば、第2基地局10Bの測距装置40の測距領域に飛行体310が飛行する場合に、第1基地局10Aの位置を基準にして飛行体310を制御することができる
 また、プロセッサ51は、飛行体310の位置に応じて、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40のうち飛行体310の位置を測定する測距装置40を選択する。したがって、例えば、第1基地局10Aの測距装置40の測距領域から第1基地局10Aの測距装置40の測距領域に亘って設定された飛行ルート8を飛行する飛行体310を制御することができる。
 なお、第2実施形態では、撮像システムSは、複数の基地局の一例として、第1基地局10A及び第2基地局10Bを備えるが、3つ以上の基地局を備えていてもよい。
 [第3実施形態]
 一例として図60に示すように、第3実施形態では、第2実施形態に対して、コントローラ60の構成が次のように変更されている。
 すなわち、コントローラ60は、動作モードとして、距離導出モードを有する。動作モード設定部102は、飛行ルート設定処理部104によって飛行ルート設定処理が実行されている状態で、各測距装置40の測距領域の外に位置する点Xと各測距装置40との間の距離を導出する場合に、コントローラ60の動作モードとして、距離導出モードを設定する。
 また、動作モード設定部102は、飛行制御処理部106によって飛行制御処理が実行されている状態で、各測距装置40の測距領域の外に位置する点Xと各測距装置40との間の距離を導出する場合に、基地局10の動作モードとして、距離導出モードを設定する。動作モード設定部102によってコントローラ60の動作モードが距離導出モードに設定された場合、プロセッサ51は、距離導出処理部220として動作する。一例として図61及び図62に示すように、距離導出処理部220は、回転制御部222及び距離導出部224を有する。
 一例として図61及び図62に示すように、第3実施形態では、第2実施形態に対して、各測距装置40の測距領域の外に位置する点Xと各測距装置40との間の距離を導出する例について説明する。一例として、図61では、点Xは、点検対象物3の壁面4上の位置であり、飛行ルート8を設定する場合の基準となる位置である。また、一例として、図62では、点Xは、飛行ルート8を飛行する飛行体310の位置である。
 以下、第1基地局10Aの測距装置40の測距領域と第2基地局10Bの測距装置40の測距領域とを区別する場合には、第1基地局10Aの測距装置40の測距領域を第1測距領域と称し、第2基地局10Bの測距装置40の測距領域を第2測距領域と称する。第1測距領域は、本開示の技術に係る「第1測距領域」の一例であり、第2測距領域は、本開示の技術に係る「第2測距領域」の一例である。
 回転制御部222は、各回転駆動装置20を制御することにより、各回転駆動装置20の回転角度を各撮像装置30の画角の中央部に点Xが位置する角度に調節する。例えば、作業者5によって壁面4上の点Xを指定する位置指定指示が付与された場合、回転制御部222は、位置指定指示に基づいて各回転駆動装置20を制御することにより、各回転駆動装置20の回転角度を各撮像装置30の画角の中央部に壁面4上の点Xが位置する角度に調節する。
 また、例えば、第1基地局10Aの撮像装置30の画角の中央部に飛行体310が位置する場合、回転制御部222は、第1基地局10Aの回転駆動装置20の回転角度に基づいて第2基地局10Bの回転駆動装置20を制御することにより、第2基地局10Bの回転駆動装置20の回転角度を第2基地局10Bの撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。
 また、例えば、第2基地局10Bの撮像装置30の画角の中央部に飛行体310が位置する場合、回転制御部222は、第2基地局10Bの回転駆動装置20の回転角度に基づいて第1基地局10Aの回転駆動装置20を制御することにより、第1基地局10Aの回転駆動装置20の回転角度を第1基地局10Aの撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。
 第1基地局10Aの回転駆動装置20の回転角度が第1基地局10Aの撮像装置30の画角の中央部に飛行体310が位置する角度に調節されることにより、第1基地局10Aの回転駆動装置20の回転角度が、第1基地局10Aの測距装置40に対して点Xが位置する方向の角度に設定される。同様に、第2基地局10Bの回転駆動装置20の回転角度が第2基地局10Bの撮像装置30の画角の中央部に飛行体310が位置する角度に調節されることにより、第2基地局10Bの回転駆動装置20の回転角度が、第2基地局10Bの測距装置40に対して点Xが位置する方向の角度に設定される。
 距離導出部224は、キャリブレーション情報、及び各回転駆動装置20の回転角度に基づいて、各測距装置40と点Xとの間の距離を導出する。以下、図63を参照しながら、各測距装置40と点Xとの間の距離を導出する手順を説明する。
 距離導出部224は、キャリブレーション情報、及び第1基地局10Aの回転駆動装置20の回転角度に基づいて、辺Cを基準にした辺X1の角度θxc1を導出する。辺X1は、点Xと第1基地局10Aの点C1とを結ぶ辺である。第1基地局10Aの位置は、第1基地局10Aの測距装置40の位置と同義である。
 また、距離導出部224は、キャリブレーション情報、及び第2基地局10Bの回転駆動装置20の回転角度に基づいて、辺Cを基準にした辺X2の角度θxc2を導出する。辺X2は、点Xと第2基地局10Bの点C2とを結ぶ辺である。第2基地局10Bの位置は、第2基地局10Bの測距装置40の位置と同義である。
 次いで、距離導出部224は、下記(9)に基づいて、辺X1の長さLx1を算出する。
Figure JPOXMLDOC01-appb-M000009
 同様に、距離導出部224は、下記(10)に基づいて、辺X2の長さLx2を算出する。
Figure JPOXMLDOC01-appb-M000010

 以上の手順により、各測距装置40と点Xとの間の距離が導出される。
 次に、図64を参照しながら、第3実施形態に係る距離導出処理部220によって実行される距離導出処理の一例について説明する。
 図64に示す距離導出処理では、先ず、ステップST321で、回転制御部222は、各回転駆動装置20を制御することにより、各回転駆動装置20の回転角度を各撮像装置30の画角の中央部に点Xが位置する角度に調節する。
 ステップST322で、距離導出部224は、キャリブレーション情報、及び各回転駆動装置20の回転角度に基づいて、各測距装置40と点Xとの間の距離を導出する。
 以上説明したように、第3実施形態では、プロセッサ51は、第1基地局10Aの測距装置40の第1測距領域及び第2基地局10Bの測距装置40の第2測距領域の外に位置する点Xを基準に飛行ルート8を設定する場合、点Xと第1基地局10Aの測距装置40との間の距離を、第1基地局10Aの測距装置40に対して点Xが位置する方向の角度と、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40間の距離とに基づいて導出する。同様に、プロセッサ51は、点Xと第2基地局10Bの測距装置40との間の距離を、第2基地局10Bの測距装置40に対して点Xが位置する方向の角度と、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40間の距離とに基づいて導出する。したがって、第1測距領域及び第2測距領域の外に位置する点Xを基準に飛行ルート8を設定することができる。
 また、プロセッサ51は、第1測距領域及び第2測距領域の外に飛行体310が位置する場合、飛行体310と第1基地局10Aの測距装置40との間の距離を、第1基地局10Aの測距装置40に対して飛行体310が位置する方向の角度と、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40間の距離とに基づいて導出する。同様に、プロセッサ51は、飛行体310と第2基地局10Bの測距装置40との間の距離を、第2基地局10Bの測距装置40に対して飛行体310が位置する方向の角度と、第1基地局10Aの測距装置40及び第2基地局10Bの測距装置40間の距離とに基づいて導出する。したがって、第1測距領域及び第2測距領域の外に設定された飛行ルートを飛行する飛行体310を制御することができる。
 [第4実施形態]
 一例として図65に示すように、第4実施形態では、第1実施形態に対して、基地局10の構成が次のように変更されている。
 すなわち、プロセッサ51は、飛行撮像支援プログラム100を実行することで、動作モード設定部102、飛行ルート設定処理部104、飛行制御処理部106、及び撮像制御処理部108に加えて、位置補正処理部230として動作する。
 基地局10は、動作モードとして、飛行ルート設定処理モード、飛行制御処理モード、位置補正処理モード、及び撮像制御処理モードを有する。動作モード設定部102は、基地局10の動作モードとして、飛行ルート設定処理モード、飛行制御処理モード、位置補正処理モード、及び撮像制御処理モードを設定する。動作モード設定部102によって基地局10の動作モードが位置補正処理モードに設定された場合、プロセッサ51は、位置補正処理部230として動作する。第1実施形態では、動作モード設定部102は、飛行制御処理モードから撮像制御処理モードに移行させるが、第4実施形態では、動作モード設定部102は、飛行制御処理モードから撮像制御処理モードに移行させる間に、位置補正処理モードを設定する。
 一例として図66に示すように、位置補正処理部230は、撮像指示送信制御部232、撮像報告受信判定部234、オーバーラップ量導出部236、位置補正量導出部238、位置補正指示生成部240、位置補正指示送信制御部242、撮像制御部244、飛行体位置導出部246、位置ずれ判定部248、回転制御部250、測距制御部252、飛行体座標導出部254、及び位置補正判定部256を有する。
 一例として図67に示すように、撮像指示送信制御部232は、飛行体310が目標撮像位置8Aに到達したと撮像位置到達判定部166(図21参照)によって判定された場合、通信装置12を介して飛行体310に対して撮像指示を送信する制御を行う。
 飛行体310の撮像装置330は、撮像指示に従って壁面4を撮像する。これにより、位置補正用画像が得られる。飛行体310は、撮像装置330によって壁面4を撮像した後、撮像報告を基地局10に対して送信する。撮像報告には、前回の撮像制御処理で取得された点検用画像、及び上述の位置補正用画像が含まれる。以下、前回の撮像制御処理で取得された点検用画像を前回の点検用画像と称する。また、以下、前回の点検用画像が取得された場合に飛行体310が到達した撮像位置8Aを前回の撮像位置8Aと称する。
 前回の点検用画像は、撮像制御処理モードにおいて、撮像制御処理部108の撮像指示送信制御部198(図30参照)による制御に基づいて撮像装置330によって撮像されることで得られた画像である。
 撮像報告受信判定部234は、通信装置12が撮像報告を受信したか否かを判定する。オーバーラップ量導出部236は、通信装置12が撮像報告を受信したと撮像報告受信判定部234によって判定された場合、前回の点検用画像と位置補正用画像のオーバーラップ量を導出する。
 位置補正量導出部238は、オーバーラップ量導出部236によって導出されたオーバーラップ量に基づいて、目標撮像位置8Aに対して飛行体310の位置を補正するための位置補正量を導出する。この場合に、位置補正量導出部238は、オーバーラップ量導出部236によって導出されたオーバーラップ量と既定のオーバーラップ量との差分に対応する位置補正量を壁面4と飛行体310との間の距離に基づいて導出する。既定のオーバーラップ量は、隣り合う点検用画像同士のオーバーラップ量を規定した量であり、画像解析装置2(図1参照)において点検用画像同士のオーバーラップ量に基づいて点検用画像同士が隣り合う点検用画像であることを認識することができる量に設定される。
 位置補正指示生成部240は、位置補正量導出部238によって導出された位置補正量に基づいて位置補正指示を生成する。位置補正指示送信制御部242は、通信装置12を介して飛行体310に対して位置補正指示を送信する制御を行う。飛行体310は、位置補正指示を飛行指示(図22参照)として受信する。飛行体310は、飛行指示としての位置補正指示を受信すると、位置補正指示に従って飛行することにより位置を変更する。
 撮像制御部244は、撮像装置30に対して、飛行体310を含む撮像シーンを撮像させる制御を行う。飛行体位置導出部246は、撮像装置30によって飛行体310を含む撮像シーンが撮像されることで得られた画像に対して物体認識処理を実行することにより、画像に像として含まれる飛行体310の画像内の位置を導出する。
 位置ずれ判定部248は、飛行体位置導出部246によって導出された飛行体310の画像内の位置に基づいて、撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。
 回転制御部250は、撮像装置30の画角の中央部に対して飛行体310の位置がずれていると判定された場合、回転駆動装置20の水平方向の回転角度及び/又は鉛直方向の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する制御を行う。
 測距制御部252は、測距装置40に対して、レーザ光によって測距範囲41をスキャンさせる制御を行う。この場合に測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。
 飛行体座標導出部254は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、及び、飛行体310と測距装置40との間の距離に基づいて、飛行体310の絶対座標を導出する。
 位置補正判定部256は、飛行体座標導出部254によって導出された飛行体310の絶対座標に基づいて、飛行体310の位置が補正されたか否かを判定する。飛行体310の位置が補正されていないと位置補正判定部256によって判定された場合には、上述の撮像指示送信制御部232、撮像報告受信判定部234、オーバーラップ量導出部236、位置補正量導出部238、位置補正指示生成部240、位置補正指示送信制御部242、撮像制御部244、飛行体位置導出部246、位置ずれ判定部248、回転制御部250、測距制御部252、及び飛行体座標導出部254による処理が実行される。これにより、前回の点検用画像と今回の点検用画像とのオーバーラップ量が既定のオーバーラップ量になる位置に飛行体310を飛行させる制御が実行される。
 そして、第4実施形態では、飛行体310の位置が補正されたと位置補正判定部256によって判定された場合、第1実施形態と同様に、基地局10の動作モードとして、撮像制御処理モードが設定されることにより、今回の撮像制御処理で点検用画像が取得される。以下、今回の撮像制御処理で取得される点検用画像を今回の点検用画像と称する。また、以下、今回の点検用画像が取得される場合に飛行体310が到達する撮像位置8Aを今回の撮像位置8Aと称する。
 基地局10の動作モードは、本開示の技術に係る「動作モード」の一例である。
 飛行制御処理モードは、本開示の技術に係る「第1モード」の一例であり、位置補正処理モードは、本開示の技術に係る「第2モード」の一例である。飛行体310の撮像装置330は、本開示の技術に係る「第3撮像装置」の一例である。位相補正用画像は、本開示の技術に係る「第3画像」の一例である。前回の点検用画像は、本開示の技術に係る「第4画像」の一例である。今回の点検用画像は、本開示の技術に係る「第5画像」の一例である。前回の撮像位置8Aは、本開示の技術に係る「第2撮像位置」の一例である。今回の撮像位置8Aは、本開示の技術に係る「第3撮像位置」の一例である。
 なお、オーバーラップ量導出部236による処理、すなわち、前回の点検用画像及び位置補正用画像のオーバーラップ量を導出する処理は、飛行体310のプロセッサ351で実行されてもよい。そして、飛行体310のプロセッサ351で導出されたオーバーラップ量が基地局10のプロセッサ51に対して送信されてもよい。
 次に、図68及び図69を参照しながら、第4実施形態に係る位置補正処理部230によって実行される位置補正処理の流れの一例について説明する。
 図68に示す位置補正処理では、先ず、ステップST411で、撮像指示送信制御部232は、通信装置12を介して飛行体310に撮像指示を送信する。ステップST411の処理が実行された後、位置補正処理は、ステップST412へ移行する。
 ステップST412で、撮像報告受信判定部234は、通信装置12が撮像報告を受信したか否かを判定する。ステップST412において、通信装置12が撮像報告を受信していない場合には、判定が否定されて、ステップST412の判定が再び行われる。ステップST412において、通信装置12が撮像報告を受信した場合には、判定が肯定されて、位置補正処理は、ステップST413へ移行する。
 ステップST413で、オーバーラップ量導出部236は、前回の点検用画像と位置補正用画像のオーバーラップ量を導出する。ステップST413の処理が実行された後、位置補正処理は、ステップST414へ移行する。
 ステップST414で、位置補正量導出部238は、オーバーラップ量導出部236によって導出されたオーバーラップ量と既定のオーバーラップ量との差分に対応する位置補正量を壁面4と飛行体310との間の距離に基づいて導出する。ステップST414の処理が実行された後、位置補正処理は、ステップST415へ移行する。
 ステップST415で、位置補正指示生成部240は、位置補正量導出部238によって導出された位置補正量に基づいて位置補正指示を生成する。ステップST415の処理が実行された後、位置補正処理は、ステップST416へ移行する。
 ステップST416で、位置補正指示送信制御部242は、通信装置12を介して飛行体310に位置補正指示を送信する。ステップST416の処理が実行された後、位置補正処理は、ステップST420へ移行する。
 ステップST420で、撮像制御部244は、撮像装置30に飛行体310を含む撮像シーンを撮像させる。ステップST420の処理が実行された後、位置補正処理は、ステップST421へ移行する。
 ステップST421で、飛行体位置導出部246は、撮像装置30によって撮像されることで得られた画像内の飛行体310の位置を導出する。ステップST421の処理が実行された後、位置補正処理は、ステップST422へ移行する。
 ステップST422で、位置ずれ判定部248は、ステップST421で導出された飛行体310の画像内の位置に基づいて、撮像装置30の画角の中央部に対して飛行体310の位置がずれているか否かを判定する。ステップST422において、画角の中央部に対して飛行体310の位置がずれている場合には、判定が肯定されて、位置補正処理は、ステップST423へ移行する。ステップST422において、画角の中央部に対して飛行体310の位置がずれていない場合には、判定が否定されて、位置補正処理は、ステップST430へ移行する。
 ステップST423で、回転制御部250は、回転駆動装置20の回転角度を、撮像装置30の画角の中央部に飛行体310が位置する角度に調節する。ステップST423の処理が実行された後、位置補正処理は、ステップST430へ移行する。
 ステップST430で、測距制御部252は、測距装置40にレーザ光によって測距範囲41をスキャンさせる。この場合に測距装置40の測距範囲41内には飛行体310が位置するため、飛行体310と測距装置40との間の距離が得られる。ステップST430の処理が実行された後、位置補正処理は、ステップST431へ移行する。
 ステップST431で、飛行体座標導出部254は、回転駆動装置20の絶対座標、回転駆動装置20の回転角度、測距装置40から飛行体310に向けて照射されたレーザ光の角度、並びに、飛行体310と測距装置40との間の距離に基づいて、飛行体310の絶対座標を導出する。ステップST431の処理が実行された後、位置補正処理は、ステップST432へ移行する。
 ステップST432で、位置補正判定部256は、ステップST431で導出された飛行体310の絶対座標に基づいて、飛行体310の位置が補正されたか否かを判定する。ステップST432において、飛行体310の位置が補正されていない場合には、判定が否定されて、位置補正処理は、ステップST420へ移行する。ステップST432において、飛行体310の位置が補正された場合には、判定が肯定されて、位置補正処理は終了する。
 以上説明したように、第4実施形態では、プロセッサ51は、基地局10の動作モードとして、飛行ルート8に基づいて飛行体310を飛行させる飛行制御処理モードと、前回の撮像位置8Aから移動した飛行体310が今回の撮像位置8Aに到達した場合に撮像装置330によって壁面4が撮像されることで得られた位置補正用画像に基づいて飛行体310の位置を補正する位置補正処理モードとを設定する。そして、プロセッサ51は、前回の撮像位置8Aに飛行体310が到達したことに伴って撮像装置330に対して前回の点検用画像を取得させた後に、今回の撮像位置8Aに飛行体310が到達したことに伴って撮像装置330に対して今回の点検用画像を取得させる場合に、位置補正処理モードでは、前回の点検用画像と位置補正用画像とのオーバーラップ量に基づいて、前回の点検用画像と今回の点検用画像とのオーバーラップ量が既定のオーバーラップ量になる位置に飛行体310の位置を補正する。したがって、飛行体310の位置を補正する分、例えば、飛行体310が今回の撮像位置8Aに到達した時点で撮像装置330に対して今回の点検用画像を取得させる場合に比して、前回の点検用画像と今回の点検用画像とのオーバーラップ量の精度を向上させることができる。
 なお、上記実施形態では、撮像システムSは、点検の用途で用いられているが、例えば、運搬、撮影、測量、農薬散布、メンテナンス、又は警備など、点検以外の用途で用いられてもよい。
 また、上記実施形態では、基地局10が飛行撮像支援処理を実行する形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、基地局10及び飛行体310が飛行撮像支援処理を分散して実行してもよい。また、例えば、基地局10及び/又は飛行体310と通信可能に接続された外部装置が設定された場合に、基地局10及び外部装置が飛行撮像支援処理を分散して実行してもよく、基地局10、飛行体310及び外部装置が飛行撮像支援処理を分散して実行してもよく、飛行体310及び外部装置が飛行撮像支援処理を分散して実行してもよい。
 また、上記実施形態では、基地局10のストレージ52に飛行撮像支援プログラム100が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、飛行撮像支援プログラム100がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体(すなわち、コンピュータ可読記憶媒体)である。記憶媒体に記憶されている飛行撮像支援プログラム100は、基地局10のコンピュータ50にインストールされる。基地局10のプロセッサ51は、飛行撮像支援プログラム100に従って飛行撮像支援処理を実行する。
 また、上記実施形態では、飛行体310のストレージ352に飛行撮像プログラム400が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、飛行撮像プログラム400がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている飛行撮像プログラム400は、飛行体310のコンピュータ350にインストールされる。飛行体310のプロセッサ351は、飛行撮像プログラム400に従って飛行撮像処理を実行する。
 また、上記実施形態では、ネットワークを介して基地局10に接続される他のコンピュータ又はサーバ装置等の記憶装置に飛行撮像支援プログラム100を記憶させておき、基地局10の要求に応じて飛行撮像支援プログラム100がダウンロードされ、基地局10のコンピュータ50にインストールされるようにしてもよい。
 また、基地局10に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は基地局10のストレージ52に飛行撮像支援プログラム100の全てを記憶させておく必要はなく、飛行撮像支援プログラム100の一部を記憶させておいてもよい。
 また、上記実施形態では、ネットワークを介して飛行体310に接続される他のコンピュータ又はサーバ装置等の記憶装置に飛行撮像プログラム400を記憶させておき、飛行体310の要求に応じて飛行撮像プログラム400がダウンロードされ、飛行体310のコンピュータ350にインストールされるようにしてもよい。
 また、飛行体310に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は飛行体310のストレージ352に飛行撮像プログラム400の全てを記憶させておく必要はなく、飛行撮像プログラム400の一部を記憶させておいてもよい。
 また、上記実施形態では、基地局10にコンピュータ50が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ50が基地局10の外部に設けられてもよい。
 また、上記実施形態では、飛行体310にコンピュータ350が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ350が飛行体310の外部に設けられてもよい。
 また、上記実施形態では、基地局10にコンピュータ50が用いられているが、本開示の技術はこれに限定されず、コンピュータ50に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記実施形態では、飛行体310にコンピュータ350が用いられているが、本開示の技術はこれに限定されず、コンピュータ350に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ350に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPU等が挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで処理を実行する。
 また、各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。さらに、上記第1実施形態、第2実施形態、第3実施形態、及び第4実施形態は、適宜組み合わされて実施されてもよい。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (23)

  1.  プロセッサと、
     前記プロセッサに接続又は内蔵されたメモリと、を備え、
     前記プロセッサは、
     測距装置が取り付けられた回転駆動装置に対して、前記測距装置を回転させ、
     前記測距装置に対して、対象物の複数の測距箇所について前記対象物と前記測距装置との間の第1距離を測定させ、
     前記測距箇所毎に測定された前記第1距離に基づいて、前記対象物に沿って飛行体を飛行させる飛行ルートを設定し、
     前記飛行体に対して、前記飛行ルートを飛行させ、かつ、前記飛行体に搭載された第1撮像装置に対して、前記対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、前記第1撮像装置の画素分解能を一定に保つ制御を行う
     制御装置。
  2.  前記プロセッサは、
     前記回転駆動装置の回転角度を、前記測距装置の測距範囲に前記飛行体が含まれる第2回転角度に調節し、
     前記測距装置に対して、前記飛行体と前記測距装置との間の第2距離を測定させ、
     前記第2回転角度及び前記第2距離に基づいて、前記飛行体に対して、前記飛行ルートを飛行させる制御を行う
     請求項1に記載の制御装置。
  3.  前記測距装置は、LiDARスキャナを含み、
     前記第2距離は、前記飛行体と前記LiDARスキャナとの間の距離であり、
     前記プロセッサは、
     前記回転駆動装置の第1絶対座標、前記第2回転角度、前記LiDARスキャナから前記飛行体に向けて照射されたレーザ光の角度、及び前記第2距離に基づいて、前記飛行体の第2絶対座標を導出し、
     前記第2絶対座標に基づいて、前記飛行体に対して、前記飛行ルートを飛行させる制御を行う
     請求項2に記載の制御装置。
  4.  前記回転駆動装置には、第2撮像装置が取り付けられており、
     前記プロセッサは、前記第2撮像装置によって前記飛行体が撮像されることで得られた第2画像に基づいて、前記回転駆動装置の回転角度を前記第2回転角度に調節する制御を行う
     請求項2又は請求項3に記載の制御装置。
  5.  前記第2回転角度は、前記第2撮像装置の画角の中央部に前記飛行体が位置する角度である
     請求項4に記載の制御装置。
  6.  前記飛行体は、異なる態様で分類される複数の部材を備え、
     前記プロセッサは、前記第2画像に写された前記複数の部材の位置に基づいて、前記飛行体の姿勢を制御する
     請求項4又は請求項5に記載の制御装置。
  7.  前記異なる態様は、異なる色であり、
     前記部材は、プロペラである
     請求項6に記載の制御装置。
  8.  前記異なる態様は、異なる色であり、
     前記部材は、発光体である
     請求項6に記載の制御装置。
  9.  前記異なる態様は、異なる点滅パターンであり、
     前記部材は、発光体である
     請求項6に記載の制御装置。
  10.  前記複数の第1画像は、前記飛行体が前記飛行ルートに設定された複数の第1撮像位置のそれぞれに到達する毎に取得される画像である
     請求項1から請求項9の何れか一項に記載の制御装置。
  11.  前記複数の第1撮像位置は、前記複数の第1撮像位置のうち隣り合う第1撮像位置で取得される前記第1画像同士の一部がオーバーラップする位置である
     請求項10に記載の制御装置。
  12.  前記対象物の表面が凹部を有している場合であり、かつ、前記凹部の開口部の面積が既定面積よりも小さい場合に、
     前記プロセッサは、前記表面と対向する平滑な仮想面上に前記飛行ルートを設定する
     請求項1から請求項11の何れか一項に記載の制御装置。
  13.  前記プロセッサは、前記飛行体が前記凹部を跨いで飛行する場合に、前記第1撮像装置のズームレンズ及びフォーカスレンズのうちの少なくとも一方を動作させることにより、前記画素分解能を一定に保つ制御を行う
     請求項12に記載の制御装置。
  14.  前記プロセッサは、
     前記測距装置としての第1測距装置が取り付けられた前記回転駆動装置としての第1回転駆動装置に対して、前記第1測距装置を回転させ、
     前記第1測距装置に対して、前記複数の測距箇所のうち複数の第1測距箇所について前記第1距離を測定させ、
     前記測距装置としての第2測距装置が取り付けられた前記回転駆動装置としての第2回転駆動装置に対して、前記第2測距装置を回転させ、
     前記第2測距装置に対して、前記複数の測距箇所のうち複数の第2測距箇所について前記第1距離を測定させ、
     前記第1測距箇所毎に測定された前記第1距離、及び前記第2測距箇所毎に測定された前記第1距離に基づいて、前記飛行ルートを設定する
     請求項1から請求項13の何れか一項に記載の制御装置。
  15.  前記プロセッサは、既定の第1キャリブレーション情報に基づいて、前記第2測距装置によって測定された前記第1距離を、前記第1測距装置の位置を基準にした距離に換算する
     請求項14に記載の制御装置。
  16.  前記プロセッサは、既定の第2キャリブレーション情報に基づいて、前記第2測距装置によって測定された前記飛行体の位置を、前記第1測距装置の位置を基準にした位置に換算する
     請求項14又は請求項15に記載の制御装置。
  17.  前記プロセッサは、前記飛行体の位置に応じて、前記第1測距装置及び前記第2測距装置のうち前記飛行体の位置を測定する測距装置を選択する
     請求項14から請求項16の何れか一項に記載の制御装置。
  18.  前記プロセッサは、前記第1測距装置の第1測距領域及び前記第2測距装置の第2測距領域の外に位置する点を基準に前記飛行ルートを設定する場合、前記点と前記第1測距装置との間の距離を、前記第1測距装置に対して前記点が位置する方向の角度と、前記第1測距装置及び前記第2測距装置間の距離とに基づいて導出する
     請求項14から請求項17の何れか一項に記載の制御装置。
  19.  前記プロセッサは、前記第1測距領域及び前記第2測距領域の外に前記飛行体が位置する場合、前記飛行体と前記第1測距装置との間の距離を、前記第1測距装置に対して前記飛行体が位置する方向の角度と、前記第1測距装置及び前記第2測距装置間の距離とに基づいて導出する
     請求項18に記載の制御装置。
  20.  前記飛行体は、第3撮像装置を備え、
     前記プロセッサは、
     前記飛行ルートに設定された第2撮像位置から移動した前記飛行体が前記飛行ルートに設定された第3撮像位置に到達した場合に前記第3撮像装置によって前記対象物が撮像されることで得られた第3画像に基づいて前記飛行体の位置を補正する位置補正処理を行い、
     前記位置補正処理は、前記第2撮像位置に前記飛行体が到達したことに伴って前記第3撮像装置に対して前記対象物を撮像させることで第4画像を取得させた後に、前記第3撮像位置に前記飛行体が到達したことに伴って前記第3撮像装置に対して前記対象物を撮像させることで第5画像を取得させる場合に、前記第4画像と前記第3画像とのオーバーラップ量に基づいて、前記第4画像と前記第5画像とのオーバーラップ量が既定のオーバーラップ量になる位置に前記飛行体の位置を補正する処理である
     請求項1から請求項19の何れか一項に記載の制御装置。
  21.  請求項1から請求項20の何れか一項に記載の制御装置と、
     前記回転駆動装置と、
     前記測距装置と、
     を備える基地局。
  22.  測距装置が取り付けられた回転駆動装置に対して、前記測距装置を回転させること、
     前記測距装置に対して、対象物の複数の測距箇所について前記対象物と前記測距装置との間の第1距離を測定させること、
     前記測距箇所毎に測定された前記第1距離に基づいて、前記対象物に沿って飛行体を飛行させる飛行ルートを設定すること、及び、
     前記飛行体に対して、前記飛行ルートを飛行させ、かつ、前記飛行体に搭載された第1撮像装置に対して、前記対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、前記第1撮像装置の画素分解能を一定に保つ制御を行うこと
     を備える制御方法。
  23.  測距装置が取り付けられた回転駆動装置に対して、前記測距装置を回転させること、
     前記測距装置に対して、対象物の複数の測距箇所について前記対象物と前記測距装置との間の第1距離を測定させること、
     前記測距箇所毎に測定された前記第1距離に基づいて、前記対象物に沿って飛行体を飛行させる飛行ルートを設定すること、及び、
     前記飛行体に対して、前記飛行ルートを飛行させ、かつ、前記飛行体に搭載された第1撮像装置に対して、前記対象物の複数の被撮像領域を撮像させることによって複数の第1画像を取得させる場合に、前記第1撮像装置の画素分解能を一定に保つ制御を行うこと
     を含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2022/019851 2021-06-29 2022-05-10 制御装置、基地局、制御方法、及びプログラム WO2023276454A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023531486A JPWO2023276454A1 (ja) 2021-06-29 2022-05-10
US18/534,713 US20240111311A1 (en) 2021-06-29 2023-12-10 Control apparatus, base station, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021108047 2021-06-29
JP2021-108047 2021-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/534,713 Continuation US20240111311A1 (en) 2021-06-29 2023-12-10 Control apparatus, base station, control method, and program

Publications (1)

Publication Number Publication Date
WO2023276454A1 true WO2023276454A1 (ja) 2023-01-05

Family

ID=84692724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019851 WO2023276454A1 (ja) 2021-06-29 2022-05-10 制御装置、基地局、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240111311A1 (ja)
JP (1) JPWO2023276454A1 (ja)
WO (1) WO2023276454A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2016111414A (ja) * 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
JP2019117127A (ja) * 2017-12-27 2019-07-18 株式会社トプコン 三次元情報処理部、三次元情報処理部を備える装置、無人航空機、報知装置、三次元情報処理部を用いた移動体制御方法および移動体制御処理用プログラム
JP2020201850A (ja) * 2019-06-12 2020-12-17 九州旅客鉄道株式会社 飛行体の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2016111414A (ja) * 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
JP2019117127A (ja) * 2017-12-27 2019-07-18 株式会社トプコン 三次元情報処理部、三次元情報処理部を備える装置、無人航空機、報知装置、三次元情報処理部を用いた移動体制御方法および移動体制御処理用プログラム
JP2020201850A (ja) * 2019-06-12 2020-12-17 九州旅客鉄道株式会社 飛行体の制御方法

Also Published As

Publication number Publication date
US20240111311A1 (en) 2024-04-04
JPWO2023276454A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US9989357B2 (en) Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US11513029B2 (en) Moving flying object for scanning an object, and system for analyzing damage to the object
JP3600230B2 (ja) 建築および土木構造物計測・解析システム
US7697126B2 (en) Three dimensional spatial imaging system and method
JP6560366B2 (ja) 構造物の部材特定装置及び方法
EP2863174B1 (en) Measuring method and measuring instrument
BR102018012662A2 (pt) Sistema de posicionamento para inspeção aérea não destrutiva
JP4691701B2 (ja) 人数検出装置及び方法
JP2016111414A (ja) 飛行体の位置検出システム及び飛行体
JP6541743B2 (ja) 飛翔体を用いた風力発電設備の検査システム及び検査方法
CN109739239A (zh) 一种用于巡检机器人的不间断仪表识别的规划方法
US20220307834A1 (en) Surveying System
US20230101728A1 (en) Flight imaging system and method
JP2004309491A (ja) 建築および土木構造物計測・解析システム
JP4565348B2 (ja) 形状測定装置及びその方法
WO2023276454A1 (ja) 制御装置、基地局、制御方法、及びプログラム
CN113984019A (zh) 测量系统、测量方法以及测量用程序
JP6699019B2 (ja) 壁面計測装置、飛行ロボットおよび壁面検査システム
WO2022078437A1 (zh) 一种移动物体之间的三维处理设备及方法
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
WO2019093372A1 (ja) 物体検出システム及び物体検出プログラム
WO2022259799A1 (ja) 制御装置、飛行体システム、制御方法、及びプログラム
KR102669474B1 (ko) 항공기를 위한 레이저 스페클 시스템
JP7165800B2 (ja) 撮影画像補正方法
US20240176025A1 (en) Generating a parallax free two and a half (2.5) dimensional point cloud using a high resolution image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22830375

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531486

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE